图像、音频和视频的二进制表示

王老师

图像

计算机中的图像主要分为位图和矢量图，这里我们主要讨论位图图像的二进制表示。位图图像由一个个像素组成，每个像素都有自己的颜色信息。在常见的 RGB 颜色模式下，每个像素的颜色由红（R）、绿（G）、蓝（B）三种颜色分量组成，每种颜色分量通常用 8 位二进制数表示，取值范围是 0 到 255 。例如，一个红色分量值为 150，绿色分量值为 100，蓝色分量值为 200 的像素，其 RGB 值对应的二进制分别是 10010110、01100100、11001000，组合起来这个像素就可以用 24 位二进制数 10010110 01100100 11001000 表示 。

常见的图像文件格式如 BMP、JPEG，它们对二进制数据的组织方式有所不同。BMP 格式是一种简单的位图存储格式，它直接存储像素的 RGB 值，文件结构包括文件头、信息头、调色板（对于 256 色以下的图像）和像素数据 。而 JPEG 格式是一种有损压缩格式，它通过离散余弦变换（DCT）等算法对图像进行压缩，去除人眼不易察觉的高频信息，从而减小文件大小。在压缩过程中，会对像素数据进行量化和编码，使得二进制数据的存储方式更加复杂，但大大节省了存储空间，适合存储照片等对文件大小敏感的图像 。

音频

音频信号是一种连续的模拟信号，要在计算机中存储和处理，需要通过采样和量化转换为二进制数字信号。采样是指每隔一定时间间隔对音频信号的幅度进行测量，量化则是将采样得到的幅度值转换为有限个离散的数值，并将这些数值用二进制表示 。


例如，对于一个音频信号，以 44100Hz 的采样率进行采样，即每秒对音频信号进行 44100 次测量，每次测量得到的幅度值通过量化后转换为 16 位二进制数表示（常见的量化精度）。这样，每秒的音频数据量就是 44100×16 bit 。
常见的音频文件格式中，WAV 格式是一种无损音频格式，它较为简单，直接存储采样和量化后的音频数据，文件头包含了音频的采样率、量化位数、声道数等信息 。而 MP3 格式是一种有损压缩格式，它利用人耳的听觉特性，去除一些人耳难以察觉的音频成分，通过心理声学模型和压缩算法对音频数据进行压缩，大大减小了文件大小，便于音频的存储和传输，是目前最常用的音频格式之一 。

视频

视频是由一系列图像帧组成，每帧图像都可以看作是一幅静态图像。因此，视频文件中的二进制数据既包含了图像信息，也包含了音频信息，以及一些用于描述视频属性（如帧率、分辨率等）的元信息 。
以常见的 MP4 格式为例，它是一种多媒体容器格式，将视频、音频和其他元数据封装在一起。视频部分通常采用 H.264、H.265 等视频编码标准进行压缩，这些编码标准利用帧间预测、运动补偿等技术，去除视频帧之间的冗余信息，以减小视频文件的大小 。音频部分则采用如 AAC 等音频编码格式进行压缩 。MP4 文件中的二进制数据按照特定的结构组织，包含了多个原子（atom），每个原子都有特定的含义和用途，用于存储视频的各种信息 。而 AVI 格式也是一种音视频交错格式，它将音频和视频数据交叉存储，使得音频和视频能够同步播放，但相较于 MP4，AVI 格式的压缩效率和兼容性可能稍逊一筹 。