第一节 数字视频处理技术
一、视频基础技术知识
1.电视广播系统的组成
电视广播系统主要由节目制作与播出、发送与传输、接收与重现三大部分组成。
节目制作与播出是整个广播电视系统的信号源部分，主要是将自然界中的光图像转换为电信号，并利用必要的广播电视设备及技术手段制作出符合标准的电视节目信号，然后按一定的时间顺序（节目表）进行播出。节目制作与播出工作主要在节目制作部门或电视中心（电视台等）完成。
电视节目处理的对象是活动图像及其伴音。处理图像信号需要的设备主要包括演播室、摄像机、录像机、编辑制作设备、特技切换台等。处理声音信号需要的设备和技术主要包括录音室（或播音室）、录音设备、调音台、传声器、声音节目的编辑加工设备、高质量的监听系统等。
发送与传输部分的作用是将广播电视节目信号进行一定的技术处理（如编码、调制等）后，经过某种传输方式（如地面传输、卫星广播、有线传输等）传送到接收端。广播电视信号的发送一般在发射台、卫星地面站、有线电视前端完成，而传输则要依靠某种特定的传输介质来实现。
传输介质主要包括同轴电缆、光缆等有线介质和无线电波等无线介质。目前广播电视的发送传输方式主要有三种，即地面无线传输、有线网络传输及卫星传输。地面无线传输是利用无线电波来传送广播电视节目信号；有线传输是利用同轴电缆、光缆等有线介质传输信号；卫星传输是利用地球同步卫星上的转发器进行广播电视节目信号的传输。
节目接收与重现部分是电视广播系统的终端，其主要作用是利用适当的接收设备接收传输通道送来的电视信号，并对其进行必要的处理，然后送往显示器或扬声器以重现原始图像及声音。显示器是将视频信号转换成光图像的电—光转换设备，扬声器是将音频信号转换成声音的电—声转换设备。
节目传输方式不同，接收端采用的接收方式也不同，基本可分为地面无线接收、有线接收、卫星接收三种接收方式，相应的设备也不相同。对节目进行接收与重现之后，观众就能看到电视节目了。
2.节目制作与播出之视频信号
视频一词来自英文Video，电影、电视、动画都属于视频的范畴。视频是由一幅幅静态画面组成的，每幅画面称为一帧。由于人眼的视觉暂留特性，静态图像连续播放就产生了运动影像。
“视觉暂留”原理的依据是人眼的生理特性。人的眼睛看到物体后，物体的残像会在人眼的视网膜上停留约1/24秒的时间。运用这一原理，在一幅图像还没有消失前播放另一幅图像，就会给人造成运动变化的视觉效果。
如果图像以每秒钟24幅的速度播放，运动则十分流畅，与眼睛所见的真实世界并无二致。因此，电影采用了每秒24幅的速度拍摄和播放画面，电视采用每秒25帧（PAL制式）或者30帧（NTSC制式）的速度拍摄和播放画面。如果以低于每秒24幅的速度拍摄和播放，就会产生视觉停顿和跳跃的现象。
摄像机拍摄图像和电视机显示图像时，使用的都是RGB信号。但考虑到视频信号的发射、传输等问题，以及某些设备的兼容性，经常使用的却是一些由RGB信号派生出来的其他视频信号。将RGB信号转换为其他视频信号的过程称为编码，把它们还原成RGB信号的逆过程则叫解码。
RGB信号
彩色电视在发送端把彩色景物分解成R（红）、G（绿）、B（蓝）三基色图像，并转换成三基色电信号；在接收端再把R、G、B三基色电信号还原成三基色图像信号，并合成为彩色图像。RGB信号的带宽可以达到几十兆，是质量最好的电视信号。但在传输时会极大地增加带宽，提高设备成本，而且与黑白电视不兼容。
YUV分量信号
彩色电视系统是在黑白电视系统的基础上发展起来的，在研究制定彩色电视制式及其技术时，必须考虑彩色电视与黑白电视的双向兼容问题。为此，彩色电视信号必须满足一些基本条件，即彩色电视信号中必须包含亮度信号（Y信号）和色度信号（亮度信号供黑白电视接收机收看黑白图像，色度信号使彩色电视接收机能够显示彩色图像），彩色电视信号只能占用和黑白电视信号相同的频带宽度。
这样，发送端首先要对三基色电信号进行编码，接收端再将接收到的信号解码还原成三基色电信号。
三基色电信号通过计算可以得到亮度电信号（计算公式见第五章第一节“图像数字化过程——采样、量化、编码”），此信号与黑白全电视信号中的图像信号完全相同。
色度信息包含在三个基色电信号中。但实际上只需传送其中任意两个基色信号即可，因为彩色电视机在收到亮度信号和两个基色信号后，可以计算出第三个基色信号，从而得到完整的色度信息。
但是亮、色信息已经分离，不能直接将两个基色信号作为色度信号传送，而应首先扣除基色信号中的亮度分量，得到色差信号（红色差R-Y，用V表示；绿色差信号G-Y；蓝色差B-Y，用U表示），然后选择两个色差信号作为色度信号传送。电视系统选择红色差信号和蓝色差信号进行传输（G-Y信号的幅度小，易受干扰）。
一些电视设备上带有Y/R-Y/B-Y、YUV、YCbCr、YPbPr等标记的接口，就是模拟分量信号的输入输出接口，其中YPbPr表示逐行扫描色差输出，YCb-Cr表示隔行扫描色差输出。
彩色电视机接收到彩色电视信号时，首先根据色差方程计算出绿色差信号，然后再将三个色差信号分别与亮度信号相加，即可得到三基色电信号。
此外，根据人眼的视觉特性，人眼对彩色细节的分辨力低于对黑白细节的分辨力。
对过于精细的彩色细节，人眼无法分辨，因此就没有必要传送这些彩色细节。图像细节的精细程度与视频信号的带宽是对应的。因此，在彩色电视中，亮度信号用较宽的频带传送，以保证清晰度，而色差信号经过频带压缩后用较窄的频带传送，从而缓解对传输条件的要求。
S视频信号
也称Y/C信号或亮色分离信号，即把两路色差信号合为一路色度信号C，图像质量比YUV分量信号差。但是它比下边介绍的复合视频信号质量好，所以称为S（Super）信号。
复合视频信号
这是我们日常生活中最常见的视频信号，它把亮度和色度信号合并为一路信号。
由于将亮度和色度合并，容易造成色度对亮度的串扰现象，所以图像质量比S视频信号差。某种型号录像机的后面板，包括了多种信号接口。
彩色全电视信号
除图像（亮度和色度信号）外，电视信号还包括声音信号、同步信号和消隐信号。
同步是指摄像端（发送端）的行、场扫描步调要与显像端（接收端）的扫描步调（下文介绍）完全一致，即要求同频率、同相位才能得到一幅稳定的画面。
在电视信号中，每一行有一个行同步信号作时间基准，每一场有一个场同步信号作时间基准，而为了保证行、场扫描逆程回扫线不被显示，还要加有行、场消隐信号，因此，彩色全电视信号由图像信号、同步信号、消隐信号和声音信号组成。
3.节目制作与播出之电视扫描
构成一幅画面的所有像素在进行光电转换（二维的光图像信号转换为一维的电图像信号）、传输以及电光转换时都要按照一定的规律进行，实现这一规律的过程称为扫描。扫描是电视系统的一项关键技术。
电视系统中的扫描包括发送端光电转换过程中的扫描和接收端电光转换过程中的扫描。在这两个过程中，扫描规律必须严格一致，即必须同步。同步有两方面含义，一是同频，即发送端和接收端的扫描速度相同；二是同相，即发送端和接收端的时空对应关系要一致。
电视系统应用的扫描轨迹是直线型的，类似人眼在看书时视线的移动，即对每一幅画面来说，扫描自上而下一行一行进行，每一行从左到右进行。扫描完第一幅画面之后再扫描第二幅，如此循环进行。如果扫描速度足够快，使画面换幅频率既能满足画面及活动景物连续感的要求，又能满足临界闪烁频率的要求，则在接收端屏幕上看到的就是具有连续感的活动影像了。
根据人眼的视觉暂留特性，当频率太低时，就会有闪烁感。略低于24Hz是不引起闪烁感的最低重复频率，称为临界闪烁频率。实际上，为了使显示端显示的电视图像完全没有闪烁感，电视图像的帧频应达到50Hz。因此，电视系统的扫描方式又分为逐行扫描和隔行扫描。
逐行扫描是指在对一帧画面进行光电转换及电光转换的过程中，扫描是一行一行从上到下依次进行的，扫描的轨迹称为光栅。逐行扫描有很多优点，如有较高的时间和动态空间分解力，运动重现性能较好等。不过逐行扫描存在一个问题：为了使电视图像的帧频达到50Hz，对传输通道的带宽要求很高，同时也使电视设备复杂化。为了在不增加信号带宽的情况下有效克服闪烁现象，世界各国的彩色电视制式大都采用隔行扫描方式。
隔行扫描是指将一帧电视图像分成两场来扫描，第一场扫描画面的奇数行（1、3、5……），称为奇数场；第二场再扫描画面的偶数行（2、4、6……），称为偶数场。奇数场和偶数场图像嵌套在一起形成一幅完整的图像。
隔行扫描方式中，帧频没有改变，仍为25Hz（或30Hz），但由于将每一帧分成两场来传送和显示，因此，重现画面的闪烁频率变成50Hz，在很大程度上克服了闪烁现象。
相关概念：
垂直分辨率。一帧图像的扫描行数决定了图像的垂直分辨率，是度量垂直清晰度的指标，行数越多，垂直分辨率越高。电视的扫描行数除去逆程行（一行扫描完成，需要回到下一行的开始，场扫完要回到下一场的开头，称为行场扫描逆程，扫描逆程占据扫描时间，但不需要显示信号，所以需要消隐信号进行消除），为有效行数。但由于隔行扫描可能会造成局部并行，所以实际的垂直分辨率还要把总的有效行数乘以一个Kell系数，在2∶1隔行扫描方式（一帧分为两场）中，Kell系数为0.7，即垂直分辨率为有效电视行数的0.7倍。
帧频（帧速率）和场频（场速率）。帧频指帧重复的频率。场频指场重复的频率。
行频。又称为“水平扫描频率”，指每秒扫描过的水平线数量。
4.节目制作与播出之彩色电视制式
电视信号的标准称为电视制式。电视的制式决定视频的传输和存储方式，如帧频（场频）、分辨率、信号带宽以及载频、色彩空间的转换关系等等。
格式和制式的含义类似。通常格式是指表达、记录图像等信息的方式，如视频标准中最基本的参数是扫描格式，规定了每行像素数、每帧行数、每秒场数和帧数；还有时间码格式、画面格式等等。录像机的记录方式也称为格式，如D1、D5格式，DVCAM格式，DVCPRO及Digital-S格式等。格式往往是范围较小的概念，而制式则是更大范围的概念。如果格式是一个系统中不同的表示方式，制式可以说是不同系统的表达方式。
世界上现行的彩色电视制式有三种：美国以及日本采用的是NTSC制式（美国国家电视委员会制式、正交平衡调幅制），中国以及一些欧洲国家采用PAL电视制式（逐行倒相制式），而法国等一些其他的欧洲国家使用SECAM制式（顺序同时制式）。
SECAM制式电路相对复杂，图像清晰度较另两种稍差，市场上较少见。
PAL制式采用隔行扫描方式，规定每帧的扫描行数为625行，分两场扫描，每场扫描行数为312.5行，每秒扫描25帧、50场。数字化后常见的图像尺寸是720？576，4∶3的比例没有变，但像素是矩形。根据不同的参数细节，PAL制式又可以进一步划分为G、I、D等制式，其中PAL-D制是我国大陆采用的制式。
NTSC电视制式采用隔行扫描方式，规定每帧的扫描行数为525行，分两场扫描，采用30帧/秒的帧速率。但由于电视广播的技术原因，目前它采取29.97的帧速率，其结果会造成实际播放和测量的时间长度有0.1%的差异。因此NTST制式使用一种Drop Frame（掉帧）的时间码，它在每分钟的记数中会自动忽略掉两帧的计算，每10分钟有9分钟是按照这种方式计算的，也就是说有一分钟不进行忽略计算。
5.节目制作与播出之基本制作系统
电视节目制作系统由制作某一具体节目所需的各种设备组成。无论制作活动简单还是精细，是现场制作还是演播室制作，系统工作的基本原理都是一样的：摄像机将自己所“看”到的东西（光学图像）转换成电子信号，暂时储存起来或直接由电视机转换成可视的画面；话筒也将自己“听”到的东西（实际声音）转换成电子信号，暂时储存起来或直接由扬声器转化成声音。