音频数据源之PCM(2)
声音与音频
声音是波,成为声波,而声波的三要素是频率、振幅和波形。频率代表音阶的高低(女高音、男低音)单位赫兹(Hz),人耳能听到的声波范围:频率在20Hz~20kHz之间;振幅代表响度(音量);波形代表音色。而我们音频处理就是对声波采集成数字信号后进行处理。
音频采集与关键名词
音频采集的过程主要是通过设备设置采样率、采样数,将音频信号采集为pcm(Pulse-code modulation,脉冲编码调制)编码的原始数据(无损压缩),然后编码压缩成mp3、aac等封装格式的数据。音频关键知识:
- 采样率: 一段音频数据中单位时间内(每秒)采样的个数。
- 位宽: 一次最大能传递数据的宽度,可以理解成放单个采集数据的内存。常有8位和16位,而8位:代表着每个采集点的数据都使用8位(1字节)来存储;16位:代表着每个采集点的数据都使用16位(2字节)来存储。
- 声道数: 扬声器的个数,单声道、双声道等。每一个声道都占一个位宽。
来一张图来描述一下:
一段时间内的数据大小如何计算?
采样率 x (位宽 / 8) x 声道数 x 时间 = 数据大小(单位:字节)
比如 2分钟的CD(采样率为:44100,位宽:16,声道数:2)的数据大小:44100 x (16 / 8) x 2 x 120 = 20671.875 Byte 约为 20.18M。
PCM数据的基本使用
我们采集到的pcm原始数据要怎么玩?首先得知道怎么这些数据都代表啥意思,然后才能入手处理。
1、pcm数据时如何组成(存储)?
举个例子,分别使用不同的方式存储一段采集数据 0x11 0x22 0x33 0x44 0x55 0x66 0x77 0x88 总共8个字节。
8位单声道: 按照数据采集时间顺序存储,即:0x11 0x22 0x33 0x44 0x55 0x66 0x77 0x88
8位双声道: L声道-R声道-L声道-R声道形式存储,即:0x11(L) 0x22(R) 0x33(L) 0x44(R) ……
16位单声道: 首先从 维基多媒体:pcm了解到位宽大于8位时,字节的排序方式是有差别的,描述如下:
When more than one byte is used to represent a PCM sample, the byte order (big endian vs. little endian) must be known. Due to the widespread use of little-endian Intel CPUs, little-endian PCM tends to be the most common byte orientation.
当使用一个以上的字节表示PCM样本时,必须知道字节顺序(大端与小端)。由于低端字节Intel CPU的广泛使用,低端字节PCM往往是最常见的字节方向。
举个栗子:当位宽为16位(2字节)存储一个采集数据时,如:
0x12ab
,大端和小端分别是:big-endian:
0x12
0xab
; little-endian:0xab
0x12
。所以: big-endian存储方式:0x1122 0x3344 0x5566 0x7788; little-endian存储方式:0x2211 0x4433 0x6655 0x8877。
16位双声道: L声道-R声道-L声道-R声道形式存储:
big-endian:0x1122(L) 0x3344(R) 0x5566(L) 0x7788(R)
little-endian: 0x2211(L) 0x4433(R) 0x66550(L) 0x8877(R)
2、pcm原始数据可以怎么玩?
将little-endian_2_44100_16.pcm采样数据进行切割,只保留后面5秒的数据
/** * 将little-endian_2_44100_16.pcm采样数据进行切割,只保留后面5秒的数据 * 1、该类型数据5秒有多长? * 2、从哪里开始截取? */ int cut5second(const char *url){ FILE *in = fopen(url, "rb+"); FILE *out = fopen("./output/spit5second.pcm", "wb+"); long long data5Length = 44100 * (16/8) * 2 * 5; struct stat statbuf; stat(url,&statbuf); long long fileLength = statbuf.st_size; long long start = fileLength - data5Length; char *simple = (char *)malloc(data5Length); //把指针位置移动到start位置开始读取 fseek(in,start,1); //每次从in文件中读取1组data5Length个长度数据的到simple中 fread(simple,data5Length,1,in); fwrite(simple,data5Length,1,out); fclose(in); fclose(out); return 0; }
分离各声道的数据:把各个声道的采集点数据分开存储。
/** * 将little-endian_2_44100_16.pcm 分离各声道的数据,即把各个声道的采集点数据分开存储。 */ int separateLR(const char *url){ FILE *in = fopen(url, "rb+"); FILE *outL = fopen("./output/l.pcm", "wb+"); FILE *outR = fopen("./output/r.pcm", "wb+"); int simpleLength = 16 / 8 * 2; char *simple = (char *)malloc(simpleLength); while (1){ //每次从in文件中读取1组4个长度数据的到simple中 fread(simple,4,1,in); if(feof(in)){ break; } //l(0声道):1-2 fwrite(simple,2,1,outL); //r(1声道):3-4 fwrite(simple+2,2,1,outR); } fclose(in); fclose(outL); fclose(outR); return 0; }
音量调节:把每个采集点数据的值 x 调节比例。注意:需要注意的是可调节范围,如:8位有无符号时最大是多少。
/** * 将little-endian_2_44100_16.pcm 调节音量 比例 * 1、little-endian排序的值是如何排序的?真正的值是多少? * 2、little-endian转成真正的值之后再进行计算,得到的结果再反转little-endian。 * 如:原始pcm数据:0xaa 0x01(左声道采样点数据),当scale=2: * -> 值:0x01aa * 2 = 0x0354 * -> 转回little-endian再进行存储:0x5403(缩放后的值) */ int volumeAdjustment(const char *url, float scale){ FILE *in = fopen(url, "rb+"); FILE *out = fopen("./output/volume_adjustment.pcm", "wb+"); char *simple = (char *)malloc(4); while (1){ //每次从in文件中读取1组4个长度数据的到simple中 fread(simple, 4, 1, in); if(feof(in)){ break; } short *simple8bitTemp = (short *)malloc(2); //l(0声道): simple8bitTemp[0] = (simple[0] + (simple[1] << 8)) * scale; //r(1声道): simple8bitTemp[1] = (simple[2] + (simple[3] << 8)) * scale; simple[0] = simple8bitTemp[0] & 0x00FF; simple[1] = simple8bitTemp[0] >> 8; simple[2] = simple8bitTemp[1] & 0x00FF; simple[3] = simple8bitTemp[1] >> 8; for(int i=0; i<4; i++){ printf("simple[%d]=%d\n",i,simple[i]); } fwrite(simple, 4, 1, out); } fclose(in); fclose(out); return 0; }
播放速度:按照比例丢弃(或插入0)采集点的数据即可。(涉及到不是整数倍不单单是这么处理,我也不懂)
参照雷神的必看项目: 视音频数据处理入门:PCM音频采样数据处理 。
Android终端音频采样介绍
- 1、关于采集的主要api介绍
/**
* @param audioSource 音频来源{@link MediaRecorder.AudioSource};如指定麦克风:MediaRecorder.AudioSource.MIC
* @param sampleRateInHz 采样率{@link AudioFormat#SAMPLE_RATE_UNSPECIFIED},单位Hz;安卓支持所有的设备是:44100Hz
* @param channelConfig 声道数{@link AudioFormat#CHANNEL_IN_MONO};
* @param audioFormat 位宽{@link AudioFormat#ENCODING_PCM_8BIT}
* @param bufferSizeInBytes 采集期间缓存区的大小
*/
public AudioRecord(int audioSource, int sampleRateInHz, int channelConfig, int audioFormat,
int bufferSizeInBytes)
//获取最小缓存区,参数跟AudioRecord保持一致
int getMinBufferSize(int sampleRateInHz, int channelConfig, int audioFormat) {}
- 2、实现采集的伪代码
//1、申请权限
//2、获取最小缓存大小(根据api介绍,应该取要比预期大的缓冲区大小),这个大小其实也可以取①和②计算得来的大小
int minBufferSize = AudioRecord.getMinBufferSize(44100, AudioFormat.CHANNEL_IN_STEREO, AudioFormat.ENCODING_PCM_16BIT) * 2;
//3、初始化AudioRecord对象
AudioRecord audioRecord = new AudioRecord(MediaRecorder.AudioSource.MIC, 44100, AudioFormat.CHANNEL_IN_STEREO, AudioFormat.ENCODING_PCM_16BIT, minBufferSize);
//4、开始在子线程中进行采集数据
new Thread(new Runnable() {
@Override
public void run() {
audioRecord.startRecording();
while(isRunning){
byte[] bytes = new byte[minBufferSize];
int len = audioRecord.read(bytes, 0, bytes.length);
//这里就可以把数据直接写入到sdcard了,如:xxx.pcm;输出排序方式为:little endian。
}
//5、停止录音机
audioRecord.stop();
}
}).start();
//6、最后释放资源
audioRecord.release();
播放pcm原始数据
- ffmpeg:
ffplay -f s16le -sample_rate 44100 -channels 2 -i xxx.pcm
- 其他:
Adobe Audition
参考
- 维基多媒体:pcm
- 视音频数据处理入门:PCM音频采样数据处理
- Android 音视频开发_何俊林(书)