作者简介
作者:(土耳其)A.缪拉·泰卡尔普
目录
Contents
1 Multi-Dimensional Signals and Systems 1
1.1 Multi-Dimensional Signals 2
1.1.1 Finite-Extent Signals and Periodic Signals 2
1.1.2 Symmetric Signals 5
1.1.3 Special Multi-Dimensional Signals 5
1.2 Multi-Dimensional Transforms 8
1.2.1 Fourier Transform of Continuous Signals 8
1.2.2 Fourier Transform of Discrete Signals 12
1.2.3 Discrete Fourier Transform (DFT) 14
1.2.4 Discrete Cosine Transform (DCT) 18
1.3 Multi-Dimensional Systems 20
1.3.1 Impulse Response and 2D Convolution 20
1.3.2 Frequency Response 23
1.3.3 FIR Filters and Symmetry 25
1.3.4 IIR Filters and Partial Difference Equations 27
1.4 Multi-Dimensional Sampling Theory 30
1.4.1 Sampling on a Lattice 30
1.4.2 Spectrum of Signals Sampled on a Lattice 34
1.4.3 Nyquist Criterion for Sampling on a Lattice 36
1.4.4 Reconstruction from Samples on a Lattice 41
1.5 Sampling Structure Conversion 42
References 47
Exercises 48
Problem Set 1 48
MATLAB Exercises 50
2 Digital Images and Video 53
2.1 Human Visual System and Color 54
2.1.1 Color Vision and Models 54
2.1.2 Contrast Sensitivity 57
2.1.3 Spatio-Temporal Frequency Response 59
2.1.4 Stereo/Depth Perception 62
2.2 Digital Video 63
2.2.1 Spatial Resolution and Frame Rate 64
2.2.2 Color, Dynamic Range, and Bit-Depth 65
2.2.3 Color Image Processing 67
2.2.4 Digital-Video Standards 70
2.3 3D Video 75
2.3.1 3D-Display Technologies 75
2.3.2 Stereoscopic Video 79
2.3.3 Multi-View Video 79
2.4 Digital-Video Applications 81
2.4.1 Digital TV 81
2.4.2 Digital Cinema 85
2.4.3 Video Streaming over the Internet 88
2.4.4 Computer Vision and Scene/Activity Understanding 91
2.5 Image and Video Quality 92
2.5.1 Visual Artifacts 92
2.5.2 Subjective Quality Assessment 93
2.5.3 Objective Quality Assessment 94
References 96
Image Filtering 101
3.1 Image Smoothing 102
3.1.1 Linear Shift-Invariant Low-Pass Filtering 102
3.1.2 Bi-Lateral Filtering 105
3.2 Image Re-Sampling and Multi-Resolution Representations 106
3.2.1 Image Decimation 107
3.2.2 Interpolation 109
3.2.3 Multi-Resolution Pyramid Representations 116
3.2.4 Wavelet Representations 117
3.3 Image-Gradient Estimation, Edge and Feature Detection 123
3.3.1 Estimation of the Image Gradient 124
3.3.2 Estimation of the Laplacian 128
3.3.3 Canny Edge Detection 130
3.3.4 Harris Corner Detection 131
3.4 Image Enhancement 133
3.4.1 Pixel-Based Contrast Enhancement 133
3.4.2 Spatial Filtering for Tone Mapping and Image Sharpening 138
3.5 Image Denoising 143
3.5.1 Image and Noise Models 144
3.5.2 Linear Space-Invariant Filters in the DFT Domain 146
3.5.3 Local Adaptive Filtering 149
3.5.4Nonlinear Filtering: Order-Statistics, Wavelet Shrinkage,and Bi-Lateral Filtering 154
3.5.5 Non-Local Filtering: NL-Means and BM3D 158
3.6 Image Restoration 160
3.6.1 Blur Models 161
3.6.2Restoration of Images Degraded by Linear Space-Invariant Blurs 165
3.6.3 Blind Restoration – Blur Identification 171
3.6.4 Restoration of Images Degraded by Space-Varying Blurs 173
3.6.5 Image In-Painting 176
References 177
Exercises 182
Problem Set 3 182
MATLAB Exercises 185
MATLAB Resources 189
4 Motion Estimation 191
4.1 Image Formation 192
4.1.1 Camera Models 192
4.1.2 Photometric Effects of 3D Motion 197
4.2 Motion Models 198
4.2.1 Projected Motion vs. Apparent Motion 199
4.2.2 Projected 3D Rigid-Motion Models 203
4.2.3 2D Apparent-Motion Models 206
4.3 2D Apparent-Motion Estimation 210
4.3.1Sparse Correspondence, Optical-Flow Estimation, andImage-Registration Problems 210
4.3.2 Optical-Flow Equation and Normal Flow 213
4.3.3 Displaced-Frame Difference 215
4.3.4Motion Estimation is Ill-Posed: Occlusion and Aperture Problems 216
4.3.5 Hierarchical Motion Estimation 219
4.3.6 Performance Measures for Motion Estimation 220
4.4 Differential Methods 221
4.4.1 Lukas–Kanade Method 221
4.4.2 Horn–Schunk Motion Estimation 226
4.5 Matching Methods 229
4.5.1 Basic Block-Matching 230
4.5.2 Variable-Size Block-Matching 234
4.5.3 Hierarchical Block-Matching 236
4.5.4 Generalized Block-Matching – Local Deformable Motion 237
4.5.5 Homography Estimation from Feature Correspondences 239
4.6 Nonlinear Optimization Methods 241
4.6.1 Pel-Recursive Motion Estimation 241
4.6.2 Bayesian Motion Estimation 243
4.7 Transform-Domain Methods 245
4.7.1 Phase-Correlation Method 245
4.7.2 Space-Frequency Spectral Methods 247
4.8 3D Motion and Structure Estimation 247
4.8.1 Camera Calibration 248
4.8.2 Affine Reconstruction 249
4.8.3 Projective Reconstruction 251
4.8.4 Euclidean Reconstruction 256
4.8.5Planar-Parallax and Relative Affine StructureReconstruction 257
4.8.6 Dense Structure from Stereo 259
References 259
Exercises 264
Problem Set 4 264
MATLAB Exercises 266
MATLAB Resources 268
5 Video Segmentation and Tracking 269
5.1 Image Segmentation 271
5.1.1 Thresholding 271
5.1.2 Clustering 273
5.1.3 Bayesian Methods 277
5.1.4 Graph-Based Methods 281
5.1.5 Active-Contour Models 283
5.2 Change Detection 285
5.2.1 Shot-Boundary Detection 285
5.2.2 Background Subtraction 287
5.3 Motion Segmentation 294
5.3.1 Dominant-Motion Segmentation 295
5.3.2 Multiple-Motion Segmentation 298
5.3.3Region-Based Motion Segmentation: Fusion of Color and Motion 307
5.3.4 Simultaneous Motion Estimation and Segmentation 309
5.4 Motion Tracking 313
5.4.1 Graph-Based Spatio-Temporal Segmentation and Tracking 315
5.4.2 Kanade–Lucas–Tomasi Tracking 315
5.4.3 Mean-Shift Tracking 317
5.4.4 Particle-Filter Tracking 319
5.4.5 Active-Contour Tracking 321
5.4.6 2D-Mesh Tracking 323
5.5 Image and Video Matting 324
5.6 Performance Evaluation 326
References 327
MATLAB Exercises 334
Internet Resources 335
6 Video Filtering 337
6.1 Theory of Spatio-Temporal Filtering 338
6.1.1 Frequency Spectrum of Video 338
6.1.2 Motion-Adaptive Filtering 341
6.1.3 Motion-Compensated Filtering 341
6.2 Video-Format Conversion 345
6.2.1 Down-Conversion 347
6.2.2 De-Interlacing 351
6.2.3 Frame-Rate Conversion 357
6.3 Multi-Frame Noise Filtering 363
6.3.1 Motion-Adaptive Noise Filtering 363
6.3.2 Motion-Compensated Noise Filtering 365
6.4 Multi-Frame Restoration 370
6.4.1 Multi-Frame Modeling 371
6.4.2 Multi-Frame Wiener Restoration 371
6.5 Multi-Frame Super-Resolution 373
6.5.1 What Is Super-Resolution374
6.5.2 Modeling Low-Resolution Sampling 377
6.5.3 Super-Resolution in the Frequency Domain 382
6.5.4 Multi-Frame Spatial-Domain Methods 385
References 390
Exercises 395
Problem Set 6 395
MATLAB Exercises 396
7 Image Compression 397
7.1 Basics of Image Compression 398
7.1.1 Information Theoretic Concepts 398
7.1.2 Elements of Image-Compression Systems 401
7.1.3 Quantization 402
7.1.4 Symbol Coding 405
7.1.5 Huffman Coding 406
7.1.6 Arithmetic Coding 410
7.2 Discrete-Cosine Transform Coding and JPEG 413
7.2.1 Discrete-Cosine Transform 414
7.2.2 ISO JPEG Standard 416
7.2.3 Encoder Control and Compression Artifacts 423
7.3 Wavelet-Transform Coding and JPEG 2000 424
7.3.1 Wavelet Transform and Choice of Filters 425
7.3.2 ISO JPEG 2000 Standard 429
References 435
Exercises 437
Internet Resources 440
8 Video Compression 441
8.1 Video-Compression Approaches 442
8.1.1Intra-Frame Compression, Motion JPEG 2000, andDigital Cinema 442
8.1.2 3D-Transform Coding 443
8.1.3 Motion-Compensated Transform Coding 446
8.2 Early Video-Compression Standards 447
8.2.1 ISO and ITU Standards 447
8.2.2 MPEG-1 Standard 448
8.2.3 MPEG-2 Standard 456
8.3 MPEG-4 AVC/ITU-T H.264 Standard 463
8.3.1 Input-Video Formats and Data Structure 464
8.3.2 Intra-Prediction 465
8.3.3 Motion Compensation 466
8.3.4 Transform 468
8.3.5 Other Tools and Improvements 469
8.4 High-Efficiency Video-Coding (HEVC) Standard 471
8.4.1 Video-Input Format and Data Structure 471
8.4.2 Coding-Tree Units 472
8.4.3 Tools for Parallel Encoding/Decoding 473
8.4.4 Other Tools and Improvements 475
8.5 Scalable-Video Compression 477
8.5.1 Temporal Scalability 478
8.5.2 Spatial Scalability 479
8.5.3 Quality (SNR) Scalability 480
8.5.4 Hybrid Scalability 482
8.6 Stereo and Multi-View Video Compression 482
8.6.1 Frame-Compatible Stereo-Video Compression 483
8.6.2Stereo and Multi-View Video-Coding Extensions ofthe H.264/AVC Standard 484
8.6.3 Multi-View Video Plus Depth Compression 487
References 492
Exercises 494
Internet Resources 495
A Ill-Posed Problems in Image and Video Processing 497
A.1 Image Representations 497
A.1.1 Deterministic Framework – Function/Vector Spaces 497
A.1.2 Bayesian Framework – Random Fields 498
A.2 Overview of Image Models 498
A.3 Basics of Sparse-Image Modeling 500
A.4 Well-Posed Formulations of Ill-Posed Problems 501
A.4.1 Constrained-Optimization Problem 501
A.4.2 Bayesian-Estimation Problem 502
References 502
B Markov and Gibbs Random Fields 503
B.1 Equivalence of Markov Random Fields and Gibbs Random Fields 503
B.1.1 Markov Random Fields 504
B.1.2 Gibbs Random Fields 505
B.1.3 Equivalence of MRF and GRF 506
B.2 Gibbs Distribution as an a priori PDF Model 507
B.3Computation of Local Conditional Probabilities from a Gibbs Distribution 508
References 509
C Optimization Methods 511
C.1 Gradient-Based Optimization 512
C.1.1 Steepest-Descent Method 512
C.1.2 Newton–Raphson Method 513
C.2 Simulated Annealing 514
C.2.1 Metropolis Algorithm 515
C.2.2 Gibbs Sampler 516
C.3 Greedy Methods 517
C.3.1 Iterated Conditional Modes 517
C.3.2 Mean-Field Annealing 518
C.3.3 Highest Confidence First 518
References 519
D Model Fitting 521
D.1 Least-Squares Fitting 521
D.2 Least-Squares Solution of Homogeneous Linear Equations 522
D.2.1 Alternate Derivation 523
D.3 Total Least-Squares Fitting 524
D.4 Random-Sample Consensus (RANSAC) 526
References 526
Glossary527
目录
第1章 多维信号与系统 1
1.1 多维信号 2
1.1.1 有限域信号和周期信号 2
1.1.2 对称信号 5
1.1.3 特殊的多维信号 5
1.2 多维变换 8
1.2.1 连续信号的傅里叶变换 8
1.2.2 离散信号的傅里叶变换 12
1.2.3 离散傅里叶变换（DFT） 14
1.2.4 离散余弦变换（DCT） 18
1.3 多维系统 20
1.3.1 脉冲响应和2D卷积 20
1.3.2 频率响应 23
1.3.3 FIR滤波器及对称性 25
1.3.4 IIR滤波器及偏微分方程 27
1.4 多维采样理论 30
1.4.1 格上采样 30
1.4.2 格上采样信号的谱 34
1.4.3 格上采样中的奈奎斯特准则 36
1.4.4 格上采样信号重建 41
1.5 采样格式转换 42
参考文献 47
习题 48
问题集1 48
MATLAB习题 50
第2章 数字图像和视频 53
2.1 人类视觉系统和色彩 54
2.1.1 色觉及彩色模型 54
2.1.2 对比敏感度 57
2.1.3 时空频率响应 59
2.1.4 立体/深度感知 62
2.2 数字视频 63
2.2.1 空间分辨率和帧速 64
2.2.2 颜色、动态范围和位深 65
2.2.3 彩色图像处理 67
2.2.4 数字视频标准 70
2.3 3D视频 75
2.3.1 3D显示技术 75
2.3.2 立体视频 79
2.3.3 多视角视频 79
2.4 数字视频应用 81
2.4.1 数字电视 81
2.4.2 数字影院 85
2.4.3 互联网中的视频流 88
2.4.4 计算机视觉和场景/行为理解 91
2.5 图像和视频的质量 92
2.5.1 视觉效果损伤 92
2.5.2 主观质量评估 93
2.5.3 客观质量评估 94
参考文献 96
第3章 图像滤波 101
3.1 图像平滑 102
3.1.1 线性移不变低通滤波 102
3.1.2 双边滤波 105
3.2 图像重采样和多分辨率表示 106
3.2.1 图像抽取 107
3.2.2 图像内插 109
3.2.3 多分辨率金字塔表示 116
3.2.4 小波表示 117
3.3 图像梯度估计、边缘和特征检测 123
3.3.1 图像梯度估计 124
3.3.2 拉普拉斯估计 128
3.3.3 Canny边缘检测 130
3.3.4 Harris角检测 131
3.4 图像增强 133
3.4.1 基于像素的对比度增强 133
3.4.2 用于色调映射和图像锐化的空间滤波 138
3.5 图像去噪 143
3.5.1 图像和噪声模型 144
3.5.2 DFT域的线性空间不变滤波器 146
3.5.3 局部自适应滤波 149
3.5.4 非线性滤波：排序统计、小波收缩和双边滤波 154
3.5.5 非局部滤波：NL-Means和BM3D 158
3.6 图像复原 160
3.6.1 模糊模型 161
3.6.2 线性空间不变模糊图像的复原 165
3.6.3 盲复原—模糊识别 171
3.6.4 空间变化模糊图像的复原 173
3.6.5 图像修复 176
参考文献 187
习题 182
问题集3 182
MATLAB习题 185
MATLAB资源 189
第4章 运动估计 191
4.1 图像的形成 191
4.1.1 相机模型 192
4.1.2 3D运动的光学效果 197
4.2 运动模型 198
4.2.1 投射运动与表观运动 199
4.2.2 3D刚体运动投射模型 203
4.2.3 2D表观运动模型 206
4.3 2D表观运动估计 210
4.3.1 稀疏对应性、光流估计和图像配准问题 210
4.3.2 光流方程和法向流 213
4.3.3 帧间差 215
4.3.4 运动估计的病态性：遮挡与孔洞问题 216
4.3.5 分层运动估计 219
4.3.6 运动估计的性能衡量 220
4.4 差分法 221
4.4.1 Lukas-Kanade法 221
4.4.2 Horn-Schunk运动估计 226
4.5 匹配法 229
4.5.1 基本的块匹配 230
4.5.2 变尺寸块匹配 234
4.5.3 分层块匹配 236
4.5.4 扩展的块匹配—局部变形运动 237
4.5.5 特征对应的单应性估计 239
4.6 非线性优化法 241
4.6.1 像素递归运动估计 241
4.6.2 贝叶斯运动估计 243
4.7 变换域方法 245
4.7.1 相位相关法 245
4.7.2 空间-频率谱法 247
4.8 3D运动估计和结构估计 247
4.8.1 相机标定 248
4.8.2 仿射重建 249
4.8.3 投影重建 251
4.8.4 欧氏重建 256
4.8.5 平面视差和相关仿射结构重建 257
4.8.6 立体中的致密结构 259
参考文献 259
习题 264
问题集4 264
MATLAB习题 266
MATLAB资源 268
第5章 视频分割与跟踪 269
5.1 图像分割 271
5.1.1 阈值法 271
5.1.2 聚类法 273
5.1.3 贝叶斯法 277
5.1.4 图形法 281
5.1.5 主动轮廓模型 283
5.2 变化检测 285
5.2.1 镜头边界检测 285
5.2.2 背景差法 287
5.3 运动分割 294
5.3.1 主要运动分割 295
5.3.2 复杂运动分割 298
5.3.3 基于区域的运动分割：彩色与运动的融合 307
5.3.4 运动估计与分割的同时实现 309
5.4 运动跟踪 313
5.4.1 基于图形的空-时分割与跟踪 315
5.4.2 Kanade-Lucas-Tomasi跟踪 315
5.4.3 Mean-Shift跟踪 317
5.4.4 粒子滤波跟踪 319
5.4.5 主动轮廓跟踪 321
5.4.6 2D-Mesh跟踪 323
5.5 图像抠图和视频抠像 324
5.6 性能评估 326
参考文献 327
MATLAB习题 334
互联网资源 335
第6章 视频滤波 337
6.1 空–时滤波理论 338
6.1.1 视频的频谱 339
6.1.2 运动自适应滤波 341
6.1.3 运动补偿滤波 341
6.2 视频格式转换 345
6.2.1 降采样 347
6.2.2 去隔行 351
6.2.3 帧率转换 357
6.3 多帧联合噪声滤除 363
6.3.1 运动自适应噪声滤除 363
6.3.2 运动补偿噪声滤除 365
6.4 多帧联合复原 370
6.4.1 多帧联合建模 371
6.4.2 多帧联合维纳复原 371
6.5 多帧联合超分辨率重建 373
6.5.1 什么是超分辨率重建 374
6.5.2 低分辨率采样建模 377
6.5.3 频域超分辨率重建 382
6.5.4 空域多帧法 385
参考文献 390
习题 395
问题集6 395
MATLAB习题 396
第7章 图像压缩 397
7.1 图像压缩的基础 398
7.1.1 信息论概念 398
7.1.2 图像压缩系统的组成 401
7.1.3 量化 402
7.1.4 符号编码 405
7.1.5 Huffman编码 406
7.1.6 算术编码 410
7.2 离散余弦变换编码和JPEG 413
7.2.1 离散余弦变换 414
7.2.2 ISO JPEG标准 416
7.2.3 编码控制与压缩损伤 423
7.3 小波变换编码和JPEG 2000 424
7.3.1 小波变换和滤波器选择 425
7.3.2 ISO JPEG 2000标准 429
参考文献 435
习题 437
互联网资源 440
第8章 视频压缩 441
8.1 视频压缩方法 442
8.1.1 帧内压缩、运动JPEG 2000和数字影院 442
8.1.2 3D变换编码 443
8.1.3 运动压缩变换编码 446
8.2 早期的视频压缩标准 447
8.2.1 ISO和ITU标准 447
8.2.2 MPEG-1标准 448
8.2.3 MPEG-2标准 456
8.3 MPEG-4 AVC/ITU-T H.264标准 463
8.3.1 视频输入格式和数据结构 464
8.3.2 帧内预测 465
8.3.3 运动补偿 466
8.3.4 变换 468
8.3.5 其他工具和改进 469
8.4 高效视频编码（HEVC）标准 471
8.4.1 视频输入格式和数据结构 471
8.4.2 编码树单元 472
8.4.3 并行编码/解码工具 473
8.4.4 其他工具与改进 475
8.5 可伸缩视频压缩 477
8.5.1 时间可伸缩性 478
8.5.2 空间可伸缩性 479
8.5.3 质量（SNR）分级 480
8.5.4 混合可伸缩 482
8.6 立体视频和多视角视频压缩 482
8.6.1 帧兼容的立体视频压缩 483
8.6.2 H.264/AVC标准中关于立体和多视角视频编码的扩展 484
8.6.3 多视角加深度信息的视频压缩 487
参考文献 492
习题 494
互联网资源 495
附录A 图像和视频处理中的病态问题 497
A.1 图像表示 497
A.1.1 确定性框架—函数/矢量空间 497
A.1.2 贝叶斯框架—随机场 498
A.2 图像模型概览 498
A.3 图像稀疏建模基础 500
A.4 病态问题的适定公式 501
A.4.1 条件优化问题 501
A.4.2 贝叶斯估计问题 502
参考文献 502
附录B Markov和Gibbs随机场 503
B.1 Markov随机场与Gibbs随机场的等价性 503
B.1.1 Markov随机场 504
B.1.2 Gibbs随机场 505
B.1.3 MRF和GRF的等价性 506
B.2 先验PDF模型的Gibbs分布 507
B.3 Gibbs分布中局部条件概率的计算 508
参考文献 509
附录C 优化方法 511
C.1 基于梯度的优化 512
C.1.1 最速下降法 512
C.1.2 Newton-Raphson法 513
C.2 模拟退火法 514
C.2.1 Metropolis算法 515
C.2.2 Gibbs抽样 516
C.3 贪婪法 517
C.3.1 条件递归法 517
C.3.2 平均场退火法 518
C.3.3 最高信任优先法 518
参考文献 519
附录D 模型拟合 521
D.1 最小均方拟合法 522
D.2 齐次线性方程组的LS解 522
D.2.1 交替推导法 523
D.3 总体最小均方拟合法 524
D.4 随机采样一致性（RANSAC） 526
参考文献 526
术语表 527
作者:(土耳其)A.缪拉·泰卡尔普
目录
Contents
1 Multi-Dimensional Signals and Systems 1
1.1 Multi-Dimensional Signals 2
1.1.1 Finite-Extent Signals and Periodic Signals 2
1.1.2 Symmetric Signals 5
1.1.3 Special Multi-Dimensional Signals 5
1.2 Multi-Dimensional Transforms 8
1.2.1 Fourier Transform of Continuous Signals 8
1.2.2 Fourier Transform of Discrete Signals 12
1.2.3 Discrete Fourier Transform (DFT) 14
1.2.4 Discrete Cosine Transform (DCT) 18
1.3 Multi-Dimensional Systems 20
1.3.1 Impulse Response and 2D Convolution 20
1.3.2 Frequency Response 23
1.3.3 FIR Filters and Symmetry 25
1.3.4 IIR Filters and Partial Difference Equations 27
1.4 Multi-Dimensional Sampling Theory 30
1.4.1 Sampling on a Lattice 30
1.4.2 Spectrum of Signals Sampled on a Lattice 34
1.4.3 Nyquist Criterion for Sampling on a Lattice 36
1.4.4 Reconstruction from Samples on a Lattice 41
1.5 Sampling Structure Conversion 42
References 47
Exercises 48
Problem Set 1 48
MATLAB Exercises 50
2 Digital Images and Video 53
2.1 Human Visual System and Color 54
2.1.1 Color Vision and Models 54
2.1.2 Contrast Sensitivity 57
2.1.3 Spatio-Temporal Frequency Response 59
2.1.4 Stereo/Depth Perception 62
2.2 Digital Video 63
2.2.1 Spatial Resolution and Frame Rate 64
2.2.2 Color, Dynamic Range, and Bit-Depth 65
2.2.3 Color Image Processing 67
2.2.4 Digital-Video Standards 70
2.3 3D Video 75
2.3.1 3D-Display Technologies 75
2.3.2 Stereoscopic Video 79
2.3.3 Multi-View Video 79
2.4 Digital-Video Applications 81
2.4.1 Digital TV 81
2.4.2 Digital Cinema 85
2.4.3 Video Streaming over the Internet 88
2.4.4 Computer Vision and Scene/Activity Understanding 91
2.5 Image and Video Quality 92
2.5.1 Visual Artifacts 92
2.5.2 Subjective Quality Assessment 93
2.5.3 Objective Quality Assessment 94
References 96
Image Filtering 101
3.1 Image Smoothing 102
3.1.1 Linear Shift-Invariant Low-Pass Filtering 102
3.1.2 Bi-Lateral Filtering 105
3.2 Image Re-Sampling and Multi-Resolution Representations 106
3.2.1 Image Decimation 107
3.2.2 Interpolation 109
3.2.3 Multi-Resolution Pyramid Representations 116
3.2.4 Wavelet Representations 117
3.3 Image-Gradient Estimation, Edge and Feature Detection 123
3.3.1 Estimation of the Image Gradient 124
3.3.2 Estimation of the Laplacian 128
3.3.3 Canny Edge Detection 130
3.3.4 Harris Corner Detection 131
3.4 Image Enhancement 133
3.4.1 Pixel-Based Contrast Enhancement 133
3.4.2 Spatial Filtering for Tone Mapping and Image Sharpening 138
3.5 Image Denoising 143
3.5.1 Image and Noise Models 144
3.5.2 Linear Space-Invariant Filters in the DFT Domain 146
3.5.3 Local Adaptive Filtering 149
3.5.4Nonlinear Filtering: Order-Statistics, Wavelet Shrinkage,and Bi-Lateral Filtering 154
3.5.5 Non-Local Filtering: NL-Means and BM3D 158
3.6 Image Restoration 160
3.6.1 Blur Models 161
3.6.2Restoration of Images Degraded by Linear Space-Invariant Blurs 165
3.6.3 Blind Restoration – Blur Identification 171
3.6.4 Restoration of Images Degraded by Space-Varying Blurs 173
3.6.5 Image In-Painting 176
References 177
Exercises 182
Problem Set 3 182
MATLAB Exercises 185
MATLAB Resources 189
4 Motion Estimation 191
4.1 Image Formation 192
4.1.1 Camera Models 192
4.1.2 Photometric Effects of 3D Motion 197
4.2 Motion Models 198
4.2.1 Projected Motion vs. Apparent Motion 199
4.2.2 Projected 3D Rigid-Motion Models 203
4.2.3 2D Apparent-Motion Models 206
4.3 2D Apparent-Motion Estimation 210
4.3.1Sparse Correspondence, Optical-Flow Estimation, andImage-Registration Problems 210
4.3.2 Optical-Flow Equation and Normal Flow 213
4.3.3 Displaced-Frame Difference 215
4.3.4Motion Estimation is Ill-Posed: Occlusion and Aperture Problems 216
4.3.5 Hierarchical Motion Estimation 219
4.3.6 Performance Measures for Motion Estimation 220
4.4 Differential Methods 221
4.4.1 Lukas–Kanade Method 221
4.4.2 Horn–Schunk Motion Estimation 226
4.5 Matching Methods 229
4.5.1 Basic Block-Matching 230
4.5.2 Variable-Size Block-Matching 234
4.5.3 Hierarchical Block-Matching 236
4.5.4 Generalized Block-Matching – Local Deformable Motion 237
4.5.5 Homography Estimation from Feature Correspondences 239
4.6 Nonlinear Optimization Methods 241
4.6.1 Pel-Recursive Motion Estimation 241
4.6.2 Bayesian Motion Estimation 243
4.7 Transform-Domain Methods 245
4.7.1 Phase-Correlation Method 245
4.7.2 Space-Frequency Spectral Methods 247
4.8 3D Motion and Structure Estimation 247
4.8.1 Camera Calibration 248
4.8.2 Affine Reconstruction 249
4.8.3 Projective Reconstruction 251
4.8.4 Euclidean Reconstruction 256
4.8.5Planar-Parallax and Relative Affine StructureReconstruction 257
4.8.6 Dense Structure from Stereo 259
References 259
Exercises 264
Problem Set 4 264
MATLAB Exercises 266
MATLAB Resources 268
5 Video Segmentation and Tracking 269
5.1 Image Segmentation 271
5.1.1 Thresholding 271
5.1.2 Clustering 273
5.1.3 Bayesian Methods 277
5.1.4 Graph-Based Methods 281
5.1.5 Active-Contour Models 283
5.2 Change Detection 285
5.2.1 Shot-Boundary Detection 285
5.2.2 Background Subtraction 287
5.3 Motion Segmentation 294
5.3.1 Dominant-Motion Segmentation 295
5.3.2 Multiple-Motion Segmentation 298
5.3.3Region-Based Motion Segmentation: Fusion of Color and Motion 307
5.3.4 Simultaneous Motion Estimation and Segmentation 309
5.4 Motion Tracking 313
5.4.1 Graph-Based Spatio-Temporal Segmentation and Tracking 315
5.4.2 Kanade–Lucas–Tomasi Tracking 315
5.4.3 Mean-Shift Tracking 317
5.4.4 Particle-Filter Tracking 319
5.4.5 Active-Contour Tracking 321
5.4.6 2D-Mesh Tracking 323
5.5 Image and Video Matting 324
5.6 Performance Evaluation 326
References 327
MATLAB Exercises 334
Internet Resources 335
6 Video Filtering 337
6.1 Theory of Spatio-Temporal Filtering 338
6.1.1 Frequency Spectrum of Video 338
6.1.2 Motion-Adaptive Filtering 341
6.1.3 Motion-Compensated Filtering 341
6.2 Video-Format Conversion 345
6.2.1 Down-Conversion 347
6.2.2 De-Interlacing 351
6.2.3 Frame-Rate Conversion 357
6.3 Multi-Frame Noise Filtering 363
6.3.1 Motion-Adaptive Noise Filtering 363
6.3.2 Motion-Compensated Noise Filtering 365
6.4 Multi-Frame Restoration 370
6.4.1 Multi-Frame Modeling 371
6.4.2 Multi-Frame Wiener Restoration 371
6.5 Multi-Frame Super-Resolution 373
6.5.1 What Is Super-Resolution374
6.5.2 Modeling Low-Resolution Sampling 377
6.5.3 Super-Resolution in the Frequency Domain 382
6.5.4 Multi-Frame Spatial-Domain Methods 385
References 390
Exercises 395
Problem Set 6 395
MATLAB Exercises 396
7 Image Compression 397
7.1 Basics of Image Compression 398
7.1.1 Information Theoretic Concepts 398
7.1.2 Elements of Image-Compression Systems 401
7.1.3 Quantization 402
7.1.4 Symbol Coding 405
7.1.5 Huffman Coding 406
7.1.6 Arithmetic Coding 410
7.2 Discrete-Cosine Transform Coding and JPEG 413
7.2.1 Discrete-Cosine Transform 414
7.2.2 ISO JPEG Standard 416
7.2.3 Encoder Control and Compression Artifacts 423
7.3 Wavelet-Transform Coding and JPEG 2000 424
7.3.1 Wavelet Transform and Choice of Filters 425
7.3.2 ISO JPEG 2000 Standard 429
References 435
Exercises 437
Internet Resources 440
8 Video Compression 441
8.1 Video-Compression Approaches 442
8.1.1Intra-Frame Compression, Motion JPEG 2000, andDigital Cinema 442
8.1.2 3D-Transform Coding 443
8.1.3 Motion-Compensated Transform Coding 446
8.2 Early Video-Compression Standards 447
8.2.1 ISO and ITU Standards 447
8.2.2 MPEG-1 Standard 448
8.2.3 MPEG-2 Standard 456
8.3 MPEG-4 AVC/ITU-T H.264 Standard 463
8.3.1 Input-Video Formats and Data Structure 464
8.3.2 Intra-Prediction 465
8.3.3 Motion Compensation 466
8.3.4 Transform 468
8.3.5 Other Tools and Improvements 469
8.4 High-Efficiency Video-Coding (HEVC) Standard 471
8.4.1 Video-Input Format and Data Structure 471
8.4.2 Coding-Tree Units 472
8.4.3 Tools for Parallel Encoding/Decoding 473
8.4.4 Other Tools and Improvements 475
8.5 Scalable-Video Compression 477
8.5.1 Temporal Scalability 478
8.5.2 Spatial Scalability 479
8.5.3 Quality (SNR) Scalability 480
8.5.4 Hybrid Scalability 482
8.6 Stereo and Multi-View Video Compression 482
8.6.1 Frame-Compatible Stereo-Video Compression 483
8.6.2Stereo and Multi-View Video-Coding Extensions ofthe H.264/AVC Standard 484
8.6.3 Multi-View Video Plus Depth Compression 487
References 492
Exercises 494
Internet Resources 495
A Ill-Posed Problems in Image and Video Processing 497
A.1 Image Representations 497
A.1.1 Deterministic Framework – Function/Vector Spaces 497
A.1.2 Bayesian Framework – Random Fields 498
A.2 Overview of Image Models 498
A.3 Basics of Sparse-Image Modeling 500
A.4 Well-Posed Formulations of Ill-Posed Problems 501
A.4.1 Constrained-Optimization Problem 501
A.4.2 Bayesian-Estimation Problem 502
References 502
B Markov and Gibbs Random Fields 503
B.1 Equivalence of Markov Random Fields and Gibbs Random Fields 503
B.1.1 Markov Random Fields 504
B.1.2 Gibbs Random Fields 505
B.1.3 Equivalence of MRF and GRF 506
B.2 Gibbs Distribution as an a priori PDF Model 507
B.3Computation of Local Conditional Probabilities from a Gibbs Distribution 508
References 509
C Optimization Methods 511
C.1 Gradient-Based Optimization 512
C.1.1 Steepest-Descent Method 512
C.1.2 Newton–Raphson Method 513
C.2 Simulated Annealing 514
C.2.1 Metropolis Algorithm 515
C.2.2 Gibbs Sampler 516
C.3 Greedy Methods 517
C.3.1 Iterated Conditional Modes 517
C.3.2 Mean-Field Annealing 518
C.3.3 Highest Confidence First 518
References 519
D Model Fitting 521
D.1 Least-Squares Fitting 521
D.2 Least-Squares Solution of Homogeneous Linear Equations 522
D.2.1 Alternate Derivation 523
D.3 Total Least-Squares Fitting 524
D.4 Random-Sample Consensus (RANSAC) 526
References 526
Glossary527
目录
第1章 多维信号与系统 1
1.1 多维信号 2
1.1.1 有限域信号和周期信号 2
1.1.2 对称信号 5
1.1.3 特殊的多维信号 5
1.2 多维变换 8
1.2.1 连续信号的傅里叶变换 8
1.2.2 离散信号的傅里叶变换 12
1.2.3 离散傅里叶变换（DFT） 14
1.2.4 离散余弦变换（DCT） 18
1.3 多维系统 20
1.3.1 脉冲响应和2D卷积 20
1.3.2 频率响应 23
1.3.3 FIR滤波器及对称性 25
1.3.4 IIR滤波器及偏微分方程 27
1.4 多维采样理论 30
1.4.1 格上采样 30
1.4.2 格上采样信号的谱 34
1.4.3 格上采样中的奈奎斯特准则 36
1.4.4 格上采样信号重建 41
1.5 采样格式转换 42
参考文献 47
习题 48
问题集1 48
MATLAB习题 50
第2章 数字图像和视频 53
2.1 人类视觉系统和色彩 54
2.1.1 色觉及彩色模型 54
2.1.2 对比敏感度 57
2.1.3 时空频率响应 59
2.1.4 立体/深度感知 62
2.2 数字视频 63
2.2.1 空间分辨率和帧速 64
2.2.2 颜色、动态范围和位深 65
2.2.3 彩色图像处理 67
2.2.4 数字视频标准 70
2.3 3D视频 75
2.3.1 3D显示技术 75
2.3.2 立体视频 79
2.3.3 多视角视频 79
2.4 数字视频应用 81
2.4.1 数字电视 81
2.4.2 数字影院 85
2.4.3 互联网中的视频流 88
2.4.4 计算机视觉和场景/行为理解 91
2.5 图像和视频的质量 92
2.5.1 视觉效果损伤 92
2.5.2 主观质量评估 93
2.5.3 客观质量评估 94
参考文献 96
第3章 图像滤波 101
3.1 图像平滑 102
3.1.1 线性移不变低通滤波 102
3.1.2 双边滤波 105
3.2 图像重采样和多分辨率表示 106
3.2.1 图像抽取 107
3.2.2 图像内插 109
3.2.3 多分辨率金字塔表示 116
3.2.4 小波表示 117
3.3 图像梯度估计、边缘和特征检测 123
3.3.1 图像梯度估计 124
3.3.2 拉普拉斯估计 128
3.3.3 Canny边缘检测 130
3.3.4 Harris角检测 131
3.4 图像增强 133
3.4.1 基于像素的对比度增强 133
3.4.2 用于色调映射和图像锐化的空间滤波 138
3.5 图像去噪 143
3.5.1 图像和噪声模型 144
3.5.2 DFT域的线性空间不变滤波器 146
3.5.3 局部自适应滤波 149
3.5.4 非线性滤波：排序统计、小波收缩和双边滤波 154
3.5.5 非局部滤波：NL-Means和BM3D 158
3.6 图像复原 160
3.6.1 模糊模型 161
3.6.2 线性空间不变模糊图像的复原 165
3.6.3 盲复原—模糊识别 171
3.6.4 空间变化模糊图像的复原 173
3.6.5 图像修复 176
参考文献 187
习题 182
问题集3 182
MATLAB习题 185
MATLAB资源 189
第4章 运动估计 191
4.1 图像的形成 191
4.1.1 相机模型 192
4.1.2 3D运动的光学效果 197
4.2 运动模型 198
4.2.1 投射运动与表观运动 199
4.2.2 3D刚体运动投射模型 203
4.2.3 2D表观运动模型 206
4.3 2D表观运动估计 210
4.3.1 稀疏对应性、光流估计和图像配准问题 210
4.3.2 光流方程和法向流 213
4.3.3 帧间差 215
4.3.4 运动估计的病态性：遮挡与孔洞问题 216
4.3.5 分层运动估计 219
4.3.6 运动估计的性能衡量 220
4.4 差分法 221
4.4.1 Lukas-Kanade法 221
4.4.2 Horn-Schunk运动估计 226
4.5 匹配法 229
4.5.1 基本的块匹配 230
4.5.2 变尺寸块匹配 234
4.5.3 分层块匹配 236
4.5.4 扩展的块匹配—局部变形运动 237
4.5.5 特征对应的单应性估计 239
4.6 非线性优化法 241
4.6.1 像素递归运动估计 241
4.6.2 贝叶斯运动估计 243
4.7 变换域方法 245
4.7.1 相位相关法 245
4.7.2 空间-频率谱法 247
4.8 3D运动估计和结构估计 247
4.8.1 相机标定 248
4.8.2 仿射重建 249
4.8.3 投影重建 251
4.8.4 欧氏重建 256
4.8.5 平面视差和相关仿射结构重建 257
4.8.6 立体中的致密结构 259
参考文献 259
习题 264
问题集4 264
MATLAB习题 266
MATLAB资源 268
第5章 视频分割与跟踪 269
5.1 图像分割 271
5.1.1 阈值法 271
5.1.2 聚类法 273
5.1.3 贝叶斯法 277
5.1.4 图形法 281
5.1.5 主动轮廓模型 283
5.2 变化检测 285
5.2.1 镜头边界检测 285
5.2.2 背景差法 287
5.3 运动分割 294
5.3.1 主要运动分割 295
5.3.2 复杂运动分割 298
5.3.3 基于区域的运动分割：彩色与运动的融合 307
5.3.4 运动估计与分割的同时实现 309
5.4 运动跟踪 313
5.4.1 基于图形的空-时分割与跟踪 315
5.4.2 Kanade-Lucas-Tomasi跟踪 315
5.4.3 Mean-Shift跟踪 317
5.4.4 粒子滤波跟踪 319
5.4.5 主动轮廓跟踪 321
5.4.6 2D-Mesh跟踪 323
5.5 图像抠图和视频抠像 324
5.6 性能评估 326
参考文献 327
MATLAB习题 334
互联网资源 335
第6章 视频滤波 337
6.1 空–时滤波理论 338
6.1.1 视频的频谱 339
6.1.2 运动自适应滤波 341
6.1.3 运动补偿滤波 341
6.2 视频格式转换 345
6.2.1 降采样 347
6.2.2 去隔行 351
6.2.3 帧率转换 357
6.3 多帧联合噪声滤除 363
6.3.1 运动自适应噪声滤除 363
6.3.2 运动补偿噪声滤除 365
6.4 多帧联合复原 370
6.4.1 多帧联合建模 371
6.4.2 多帧联合维纳复原 371
6.5 多帧联合超分辨率重建 373
6.5.1 什么是超分辨率重建 374
6.5.2 低分辨率采样建模 377
6.5.3 频域超分辨率重建 382
6.5.4 空域多帧法 385
参考文献 390
习题 395
问题集6 395
MATLAB习题 396
第7章 图像压缩 397
7.1 图像压缩的基础 398
7.1.1 信息论概念 398
7.1.2 图像压缩系统的组成 401
7.1.3 量化 402
7.1.4 符号编码 405
7.1.5 Huffman编码 406
7.1.6 算术编码 410
7.2 离散余弦变换编码和JPEG 413
7.2.1 离散余弦变换 414
7.2.2 ISO JPEG标准 416
7.2.3 编码控制与压缩损伤 423
7.3 小波变换编码和JPEG 2000 424
7.3.1 小波变换和滤波器选择 425
7.3.2 ISO JPEG 2000标准 429
参考文献 435
习题 437
互联网资源 440
第8章 视频压缩 441
8.1 视频压缩方法 442
8.1.1 帧内压缩、运动JPEG 2000和数字影院 442
8.1.2 3D变换编码 443
8.1.3 运动压缩变换编码 446
8.2 早期的视频压缩标准 447
8.2.1 ISO和ITU标准 447
8.2.2 MPEG-1标准 448
8.2.3 MPEG-2标准 456
8.3 MPEG-4 AVC/ITU-T H.264标准 463
8.3.1 视频输入格式和数据结构 464
8.3.2 帧内预测 465
8.3.3 运动补偿 466
8.3.4 变换 468
8.3.5 其他工具和改进 469
8.4 高效视频编码（HEVC）标准 471
8.4.1 视频输入格式和数据结构 471
8.4.2 编码树单元 472
8.4.3 并行编码/解码工具 473
8.4.4 其他工具与改进 475
8.5 可伸缩视频压缩 477
8.5.1 时间可伸缩性 478
8.5.2 空间可伸缩性 479
8.5.3 质量（SNR）分级 480
8.5.4 混合可伸缩 482
8.6 立体视频和多视角视频压缩 482
8.6.1 帧兼容的立体视频压缩 483
8.6.2 H.264/AVC标准中关于立体和多视角视频编码的扩展 484
8.6.3 多视角加深度信息的视频压缩 487
参考文献 492
习题 494
互联网资源 495
附录A 图像和视频处理中的病态问题 497
A.1 图像表示 497
A.1.1 确定性框架—函数/矢量空间 497
A.1.2 贝叶斯框架—随机场 498
A.2 图像模型概览 498
A.3 图像稀疏建模基础 500
A.4 病态问题的适定公式 501
A.4.1 条件优化问题 501
A.4.2 贝叶斯估计问题 502
参考文献 502
附录B Markov和Gibbs随机场 503
B.1 Markov随机场与Gibbs随机场的等价性 503
B.1.1 Markov随机场 504
B.1.2 Gibbs随机场 505
B.1.3 MRF和GRF的等价性 506
B.2 先验PDF模型的Gibbs分布 507
B.3 Gibbs分布中局部条件概率的计算 508
参考文献 509
附录C 优化方法 511
C.1 基于梯度的优化 512
C.1.1 最速下降法 512
C.1.2 Newton-Raphson法 513
C.2 模拟退火法 514
C.2.1 Metropolis算法 515
C.2.2 Gibbs抽样 516
C.3 贪婪法 517
C.3.1 条件递归法 517
C.3.2 平均场退火法 518
C.3.3 最高信任优先法 518
参考文献 519
附录D 模型拟合 521
D.1 最小均方拟合法 522
D.2 齐次线性方程组的LS解 522
D.2.1 交替推导法 523
D.3 总体最小均方拟合法 524
D.4 随机采样一致性（RANSAC） 526
参考文献 526
术语表 527
| ISBN | 7111532864,9787111532866 |
|---|---|
| 出版社 | 机械工业出版社 |
| 作者 | A.缪拉·泰卡尔普 |
| 尺寸 | 16 |