采用集中上载方式的非线性制作网的若干细节归纳

2004年度河南省广播电视优秀科技论文二等奖

一、概述
目前，非线性制作网络在电视行业中已大量应用，以FC+以太网的双网结构是最为普遍的做法。由于前期的节目采集中，仍在大量使用磁带这一传统的线性方式作为记录的主体，在后期的节目制作前，素材的上载成为不可避免的步骤与环节。现在流行的方式是在配有视音频处理卡的工作站上加挂放机，以分散的上载工作站承担素材上载的工作。这种方式由于其流程简单、使用灵活而在早期的网络中大量存在，但在中小型的网络中，由于工作站点的不足，经常会出现素材上载人员与节目编辑人员争用站点的现象。为避免这种情况的出现，将节目制作站点从素材上载中解放出来，河南电视台都市频道在2003年底建成的节目制作网以集中上载来代替原先新闻制作网中的分散上载方式。

二、网络分析
由于上载部分的独立，从而使网络的结构在功能上产生了分解、细化，使得原先作为整体的、基于标准C/S构架的、功能集成的网络，演变成为多个功能专一的、独立的子网。如图1、2所示：
注：箭头代表数据流向
从以上两图的比较当中可以看出，在原先的网络中，素材上载、节目制作、素材存储、以及网络的管理等功能，都是通过各站点独立在网络中进行交互的，而各站点之间是一种对等、并列的关系，它们之间不存在根本性的功能差异，这就在简洁、明了的背后掩盖了各功能间不确定的、潜在的冲突（即在用机繁忙时，素材上载人员与节目编辑人员争用站点的现象时有发生；而在更多的时间中，大部分站点又处于闲置状态）。在新的网络中，各功能相对独立，更有利于网络的管理与维护。并且，对于功能的扩充（如加入播出网），也由原来的网间连接变为内部子网的扩展，在理解上更加容易、操作上更加可行。

三、网络结构
下面笔者就以图二的功能子网模式，对都市频道的非线性节目制作网进行结构上的分析。
•上载子网
从物理上该部分由两台转码工作站（ZMS-01和ZMS-02）、一台转码调度服务器站（ZMC）、一台上载控制站（SZC）、一台视频服务器（MAV70）及该视频服务器的网关（GateWay）所组成；从逻辑上分为上载、存储与转码三部分。
在SZC上运行着集中上载主程序MAV70Upload.exe和定时收录任务Uploadsvr.exe两个程序，MAV70Upload.exe是集中上载系统的主程序，记载了整个上载部分的路由信息，负责素材的采集、将采集的条目写入专有的上载数据库、并向素材管理DispClip.exe发送上载信息，它也是上载人员操控的主界面；而Uploadsvr.exe功能较为单一，只进行卫星的定时收录任务。同时，SZC通过MOXA卡及其连接盒与各放机和MAV70的控制口相连，对其进行各种操作的控制。
ZMC包含素材管理DispClip.exe和转码调度服务器SbRemoteSvr.exe两个程序，素材管理DispClip.exe接收到来自主程序的上载信息，检查数据库，将新增的条目生成转码任务并提交，并将其发送于转码部分，待转码完成后将信息（转码成功、失败或因未找到转码素材而没有转码）返回于主程序；当素材管理DispClip.exe收到转码任务成功时，还要将素材信息写入整个网络的主数据库。而转码调度服务器SbRemoteSvr.exe的作用是接受来自于素材管理DispClip.exe的任务，并根据当前的任务量对转码工作站集群进行任务调度和分配，待转码站完成任务后，向素材管理DispClip.exe返回完成信息。
两台ZMS组成了转码工作站的群集，在其上的本地转码SbTrLocalSvr.exe程序根据从转码调度服务器站发来任务，通过网关从MAV70中找到相应的素材文件的位置，将其转为制作网所识别的高（低）质量的视音频文件，并存放于为该用户指定的相应位置；在转码工作站上另有一手动提交软件TaskSubmit.exe，该软件可将各类MPEG-II视音频（如DVD），网络中各种流行的视频格式（如rmvb、wmv、asf、mp3等）及其他公司的视音频文件（如SEACHANGE、GVGGXF）转为制作网中可识别的格式，它的功能相当于一手动提交任务的“万能转码”软件。
MAV70用来临时存放采集的视、音频文件，由于其不能直接将视、音频流转为制作网所识别的格式文件，也就使得转码成为必须的步骤；而且MAV70是视频服务器，无法以高速的I/O吞吐能力直接与网络进行交互，因此为其配一专用的网关，解决网络中的高数据流量。
SZC上的MAV70Upload.exe和Uploadsvr.exe两个程序与ZMC上的素材管理DispClip.exe组成了上载部分，它们之间相互独立，互相配合。用户通过主程序进行操作，在登录时申请供上载用的空闲通道，并从网络中的主数据库中读出相应的用户信息（上载的权限、有效的使用空间、用户需求的视频文件的码率类型及要存放的位置等），待录制（素材上载）完成后，将相应的素材信息写入上载数据库，并发送信息给素材管理DispClip.exe。素材管理DispClip.exe接收到主程序发送的素材信息后，检查上载数据库，将其中的新增条目生成转码任务并向转码调度服务器提交。当素材管理DispClip.exe接收到从转码调度服务器发送的转码完成的返回信息后，将该条目的所有相应信息写入制作网主数据库，并且向主上载程序发送转码成功信息。主程序在得到转码任务成功的信息后，向上载数据库写入完成信息，并于一小时后自动从MAV70中释放已完成转码的素材所占用的空间；若返回的是失败信息，素材管理DispClip.exe将不进行写入主数据库的操作，同时返回给主程序，由主程序向上载数据库写入失败信息，并将素材一直存放在MAV70内，成为“垃圾”文件。管理人员若发现转码任务失败，可通过该任务在转码调度服务器中的执行信息进行判断，如果是任务意外中止，可在转码调度服务器中手动重作该任务，若录入的素材有问题，则应通过上载主程序的管理界面删除该任务。用户还可进行卫星定时收录工作，与人工上载不同的是定时上载不需要手工去操作，只需要在第一次上载前，由用户对录制起止时间、录制期数进行预先设定，在录制的前两分钟，定时上载程序会自动向上载主程序发送录制申请。由于定时上载在设计时即被定义了较高的优先级，因此在定时上载发送录制申请后，如果设备已被占用，主程序会强行终止该任务，释放通道，供定时上载程序使用。
转码调度服务器、转码工作站群集与手动任务提交组成了转码部分。转码调度服务器与转码工作站群集组成了正常的上载模式，转码调度服务器根据当前转码站的忙闲状态进行任务分配。在有空闲的转码工作站时，转码调度服务器向其发送任务与相关素材信息；若所有转码站的通道均被占用时，转码调度服务器则将任务以FIFO（先进先出）的方式建立一任务队列，依序进行任务分配。
作为存储部分的MAV70及其网关，只是用来临时存放素材文件的场所，等转码成功一小时后，其所占用的空间将被自动释放；网关只作为供转码站与MAV70交互的一个平台。
•存储子网
双网结构中以FC环境构成的SAN（存储区域网）则成为了存储子网的主要构成部分。节目素材通过转码工作站，分别经光纤和以太网连接，以高低两种画质存储在FC网的共享海量存储磁盘阵列和以太网域主服务器的共享SCSI硬盘塔进行存储，供带有视音频编解码板的有卡工作站使用，所以存储子网也就由海量存储磁盘阵列、磁盘控制器、MDC服务器及与域主服务器相连的SCSI硬盘塔组成。素材文件由经转码工作站的转码，送入网络的相应存储体中，低质量素材存放在SCSI硬盘塔中，相对应的高质量素材存放在海量存储磁盘阵列中。
对于SCSI硬盘塔而言，域主服务器与其关系就如同MAV70与其网关的关系相似，只是域主服务器并不是单为SCSI硬盘塔共享存储而配，做为域主服务器、网络的核心，它还发挥着更为重要的维持整个网络运行的作用。在SCSI硬盘塔上分别存放有数据库群集、制作网低质量素材和节目的所有信息。
海量存储磁盘阵列是全网的主要存储设备，与以往不同之处在于它并不直接连入SAN中，而是配有专门的磁盘控制器，这样可以更加安全可靠地管理磁盘阵列。目前，都市频道制作网中使用的磁盘控制器为使用了单控制器的S2A3000，它管理着磁盘阵列中的全部十六块硬盘，并将其分为六通道的三个“tier”（S2A3000对磁盘的一种逻辑表示方式），如图3显示的是磁盘阵列中，各物理盘的对应关系。
其实，S2A控制器对磁盘阵列采用了较特殊的管理方式（DirectRAID技术），尚未公布对外细节，我们无法十分准确地对其进行了解、掌握，只能通过概念进行逻辑上的理解。在这里，每一个tier可以简单地看作是一带奇偶校验的带区集。例如：tier1是由1A、1B、1C、1D、1P、1S组成，其中标号是A、B、C、D为数据盘，P为奇偶校验盘，S为空闲热备盘，但是它可以替换阵列中的任一块故障盘，既便它们不属于同一tier。但实际情况是每块盘上都有专用于奇偶校验的区块，而不是使用单独的奇偶校验盘。
此时如果一块数据硬盘出现故障，例如disk2A故障，则该盘所在的Tier中的其他5块数据盘会自动将数据Rebuild到热备盘上，即1S；当故障硬盘被新盘替换，并且S2A控制器检测到新硬盘上线后，系统会将备份盘（如1S）上的数据拷贝到新硬盘中。如果新硬盘上线时，系统对热备盘的rebuild尚未结束，则系统会先将热备盘的rebuild过程完成，然后再将热备盘上的恢复完整的数据拷贝到新硬盘上。
S2A控制器以双通道的方式与FC交换机连接，占用了FC交换机的两个端口，分担各结点与存储阵列之间的通讯量，尽量做到数据吞吐量的负载平衡。
SAN的优势在于提供了工作站点通过光纤通道（FC）对共享存储体（海量存储磁盘阵列）的直接访问，而基于SAN结构的SANergy文件共享系统则提供了多个站点对存储体的实时共享。元数据控制器（MDC）服务器是共享存储体的所有者，是专用于对共享存储体进行管理的服务器，通过SANergy软件对共享存储体进行设备和卷的分配，使得共享存储体成为SAN中的每台工作站点都可以识别的资源，客户端正是通过它对共享存储体进行访问的。
从MDC服务器的角度来看，共享存储体就是它的本地磁盘，可由操作系统自带的磁盘管理软件进行管理和配置，网络中的其他工作站点则通过以太网路由将MDC服务器管理的共享存储体进行磁盘映射、进行访问的。当工作站通过以太网以逻辑卷的方式访问共享存储体时，它从MDC服务器得到逻辑卷的相关元数据，如文件名称、数据结构、文件大小等，而实际数据则经由FC直接进行传输。
•制作子网
该部分与传统的制作网络无异，因此不加赘述。
•管理子网
管理子网由域控制器（主服务器）群集、数据库群集、制作网网管软件组成，也包括FC控制软件SANergy、FC交换机的管理软件SANinsite、MAV70及S2A磁盘控制器的管理程序。
域控制器群集是网络运行的核心部分，担负了主域控制器的所有工作。它是将两台硬件配置相同的服务器，通过服务器编组，由一根心跳线相连，使其虚拟成一台单独的服务器，。其中一台作为主控机，另一台为作为它的镜像，当主控机故障时，镜像机会立时接替原主控机，资源的所有者，例如磁盘驱动器和IP地址，将自动从故障的服务器转到可用的服务器上。工作负荷可在幸存的服务器上重新启动失效的应用程序，或是直接被分配过来，对于用户而言，只是觉得服务暂时停顿了一下。
数据库群集与域控制器群集类似，它是在域控制器群集安装完成之后，在域控制器群集和各节点上装入并配置的。有所不同的是，进行群集切换时，正在执行的数据库查询将不会重新启动，数据库的重启也会较其他工作慢一些。
现有的网络中运行着两个数据库，一个是记录主要制作信息的主数据库，一个是专用于记录集中上载信息的上载数据库。这两个数据库是相互独立、互无影响的。
网管软件是对针对制作网的专用管理软件，它要对网络中各工作站进行设备登记，通过对主数据库进行操作，来创建制作网的用户、分配权限、监测用户空间，它还对每个用户的各种操作加以记录。
对于其他的管理软件，都是针对各自的专用对象、实现特定的功能。