harmony 鸿蒙音频解码

  • 2023-06-24
  • 浏览 (1268)

音频解码

开发者可以调用本模块的Native API接口,完成音频解码,即将媒体数据解码为PCM码流。

当前支持的解码能力如下:

容器规格 音频解码类型
mp4 AAC、MPEG(MP3)、Flac、Vorbis
m4a AAC
flac Flac
ogg Vorbis
aac AAC
mp3 MPEG(MP3)

适用场景

  • 音频播放

在播放音频之前,需要先解码音频,再将数据输送到硬件扬声器播放。 - 音频渲染

在对音频文件进行音效处理之前,需要先解码再由音频处理模块进行音频渲染。 - 音频编辑

音频编辑(如调整单个声道的播放倍速等)需要基于PCM码流进行,所以需要先将音频文件解码。

开发指导

详细的API说明请参考API文档。 参考以下示例代码,完成音频解码的全流程,包括:创建解码器,设置解码参数(采样率/码率/声道数等),开始,刷新,重置,销毁资源。

在应用开发过程中,开发者应按一定顺序调用方法,执行对应操作,否则系统可能会抛出异常或生成其他未定义的行为。具体顺序可参考下列开发步骤及对应说明。

如下为音频解码调用关系图: Invoking relationship of audio decode stream

在 CMake 脚本中链接动态库

target_link_libraries(sample PUBLIC libnative_media_codecbase.so)
target_link_libraries(sample PUBLIC libnative_media_core.so)
target_link_libraries(sample PUBLIC libnative_media_adec.so)

开发步骤

  1. 添加头文件。
   #include <multimedia/player_framework/native_avcodec_audiodecoder.h>
   #include <multimedia/player_framework/avcodec_audio_channel_layout.h>
   #include <multimedia/player_framework/native_avcapability.h>
   #include <multimedia/player_framework/native_avcodec_base.h>
   #include <multimedia/player_framework/native_avformat.h>
  1. 创建解码器实例对象。

    //c++标准库命名空间
    using namespace std;
    //通过 codecname 创建解码器
    OH_AVCapability *capability = OH_AVCodec_GetCapability(OH_AVCODEC_MIMETYPE_AUDIO_MPEG, false);
    const char *name = OH_AVCapability_GetName(capability);
    OH_AVCodec *audioDec = OH_AudioDecoder_CreateByName(name);
    
    //通过 Mimetype 创建解码器
    OH_AVCodec *audioDec = OH_AudioDecoder_CreateByMime(OH_AVCODEC_MIMETYPE_AUDIO_MPEG);
    
    // 初始化队列
    class ADecSignal {
    public:
        mutex inMutex_;
        mutex outMutex_;
        mutex startMutex_;
        condition_variable inCond_;
        condition_variable outCond_;
        condition_variable startCond_;
        queue<uint32_t> inQueue_;
        queue<uint32_t> outQueue_;
        queue<OH_AVMemory *> inBufferQueue_;
        queue<OH_AVMemory *> outBufferQueue_;
        queue<OH_AVCodecBufferAttr> attrQueue_;
    };
    ADecSignal *signal_;
    
  2. 调用OH_AudioDecoder_SetCallback()设置回调函数。 注册回调函数指针集合OH_AVCodecAsyncCallback,包括:

    • OH_AVCodecOnError:解码器运行错误。
    • OH_AVCodecOnStreamChanged:码流信息变化,如声道变化等。
    • OH_AVCodecOnNeedInputData:运行过程中需要新的输入数据,即解码器已准备好,可以输入数据。
    • OH_AVCodecOnNewOutputData:运行过程中产生了新的输出数据,即解码完成。

开发者可以通过处理该回调报告的信息,确保解码器正常运转。

```cpp

// OH_AVCodecOnError回调函数的实现 static void OnError(OH_AVCodec *codec, int32_t errorCode, void *userData) { (void)codec; (void)errorCode; (void)userData; } // OH_AVCodecOnStreamChanged回调函数的实现 static void OnStreamChanged(OH_AVCodec *codec, OH_AVFormat *format, void*userData) { (void)codec; (void)format; (void)userData; } // OH_AVCodecOnNeedInputData回调函数的实现 static void onNeedInputData(OH_AVCodec *codec, uint32_t index, OH_AVMemory*data, void *userData) { (void)codec; ADecSignal *signal = static_cast(userData); uniquelock lock(signal->inMutex); signal->inQueue.push(index); signal->inBufferQueue.push(data); signal->inCond_.notify_all(); // 解码输入码流送入InputBuffer队列 } // OH_AVCodecOnNewOutputData回调函数的实现 static void onNeedOutputData(OH_AVCodec *codec, uint32_t index, OH_AVMemory*data, OH_AVCodecBufferAttr *attr, void *userData) { (void)codec; ADecSignal *signal = static_cast(userData); uniquelock lock(signal->outMutex); signal->outQueue.push(index); signal->outBufferQueue.push(data); if (attr) { signal->attrQueue.push(*attr); } signal->outCond.notify_all(); // 将对应输出buffer的 index 送入OutputQueue队列 // 将对应解码完成的数据data送入OutputBuffer队列 } signal = new ADecSignal(); OH_AVCodecAsyncCallback cb = {&OnError, &OnStreamChanged, &onNeedInputData, &onNeedOutputData}; // 配置异步回调 int32_t ret = OH_AudioDecoderSetCallback(audioDec, cb, signal); if (ret != AV_ERR_OK) { // 异常处理 } “`

  1. 调用OH_AudioDecoder_Configure()配置解码器。 配置必选项:采样率、码率、声道数;可选项:最大输入长度。

    • AAC解码 需要额外标识是否为adts类型否则会被认为是latm类型
    // 设置解码分辨率
    int32_t ret;
    // 配置音频采样率(必须)
    constexpr uint32_t DEFAULT_SMAPLERATE = 44100; 
    // 配置音频码率(必须)
    constexpr uint32_t DEFAULT_BITRATE = 32000;
    // 配置音频声道数(必须)
    constexpr uint32_t DEFAULT_CHANNEL_COUNT = 2;
    // 配置最大输入长度(可选)
    constexpr uint32_t DEFAULT_MAX_INPUT_SIZE = 1152;
    // 配置是否为ADTS解码(acc)
    constexpr uint32_t DEFAULT_AAC_TYPE = 1;
    OH_AVFormat *format = OH_AVFormat_Create();
    // 写入format
    OH_AVFormat_SetIntValue(format, OH_MD_KEY_AUD_SAMPLE_RATE,DEFAULT_SMAPLERATE);
    OH_AVFormat_SetIntValue(format, OH_MD_KEY_BITRATE,DEFAULT_BITRATE);
    OH_AVFormat_SetIntValue(format, OH_MD_KEY_AUD_CHANNEL_COUNT,DEFAULT_CHANNEL_COUNT);
    OH_AVFormat_SetIntValue(format, OH_MD_KEY_MAX_INPUT_SIZE,DEFAULT_MAX_INPUT_SIZE);
    OH_AVFormat_SetIntValue(format, OH_MD_KEY_AAC_IS_ADTS, DEFAULT_AAC_TYPE);
    // 配置解码器
    ret = OH_AudioDecoder_Configure(audioDec, format);
    if (ret != AV_ERR_OK) {
        // 异常处理
    }
    
  2. 调用OH_AudioDecoder_Prepare(),解码器就绪。

    ret = OH_AudioDecoder_Prepare(audioDec);
    if (ret != AV_ERR_OK) {
        // 异常处理
    }
    
  3. 调用OH_AudioDecoder_Start()启动解码器,进入运行态。

    unique_ptr<ifstream> inputFile_ = make_unique<ifstream>();
    unique_ptr<ofstream> outFile_ = make_unique<ofstream>();
    // 打开待解码二进制文件路径
    inputFile_->open(inputFilePath.data(), ios::in|ios::binary); 
    //配置解码文件输出路径
    outFile_->open(outputFilePath.data(), ios::out|ios::binary);
    // 开始解码
    ret = OH_AudioDecoder_Start(audioDec);
    if (ret != AV_ERR_OK) {
    // 异常处理
    }
    
  4. 调用OH_AudioDecoder_PushInputData(),写入待解码的数据。

如果是结束,需要对flag标识成AVCODEC_BUFFER_FLAGS_EOS。

```c++
// 配置buffer info信息
OH_AVCodecBufferAttr info;
// 设置输入尺寸、偏移量、时间戳等信息
auto buffer = signal_->inBufferQueue_.front();
int64_t size;
int64_t pts;
inputFile_.read(reinterpret_cast<char *>(&size), sizeof(size));
if (inputFile_->eof()) {
    size = 0;
    info.flags = AVCODEC_BUFFER_FLAGS_EOS;
} else {
    inputFile_.read(reinterpret_cast<char *>(&pts), sizeof(pts));
    inputFile_.read((char *)OH_AVMemory_GetAddr(buffer), size);
    info.flags = AVCODEC_BUFFER_FLAGS_CODEC_DATA;
}
info.size = size;
info.offset = 0;
info.pts = pts;
uint32_t index = signal_->inQueue_.front();
// 送入解码输入队列进行解码, index为对应队列下标
int32_t ret = OH_AudioDecoder_PushInputData(audioDec, index, info);
if (ret != AV_ERR_OK) {
    // 异常处理
}
```
  1. 调用OH_AudioDecoder_FreeOutputData(),输出解码后的PCM码流。

    OH_AVCodecBufferAttr attr = signal_->attrQueue_.front();
    OH_AVMemory *data = signal_->outBufferQueue_.front();
    uint32_t index = signal_->outQueue_.front();
    // 将解码完成数据data写入到对应输出文件中
    outFile_->write(reinterpret_cast<char *>(OH_AVMemory_GetAddr(data)), attr.size);
    // buffer 模式, 释放已完成写入的数据
    ret = OH_AudioDecoder_FreeOutputData(audioDec, index);
    if (ret != AV_ERR_OK) {
        // 异常处理
    }
    
  2. (可选)调用OH_AudioDecoder_Flush()刷新解码器。 调用OH_AudioDecoder_Flush()后,解码器仍处于运行态,但会将当前队列清空,将已解码的数据释放。 此时需要调用OH_AudioDecoder_Start()重新开始解码。 使用情况:

    • 在文件EOS之后,需要调用刷新
    • 在执行过程中遇到可继续执行的错误时(即OH_AudioDecoder_IsValid 为true)调用
    // 刷新解码器 audioDec
    ret = OH_AudioDecoder_Flush(audioDec);
    if (ret != AV_ERR_OK) {
        // 异常处理
    }
    // 重新开始解码
    ret = OH_AudioDecoder_Start(audioDec);
    if (ret != AV_ERR_OK) {
        // 异常处理
    }
    
  3. (可选)调用OH_AudioDecoder_Reset()重置解码器。 调用OH_AudioDecoder_Reset()后,解码器回到初始化的状态,需要调用OH_AudioDecoder_Configure()重新配置,然后调用OH_AudioDecoder_Start()重新开始解码。

    // 重置解码器 audioDec
    ret = OH_AudioDecoder_Reset(audioDec);
    if (ret != AV_ERR_OK) {
        // 异常处理
    }
    // 重新配置解码器参数
    ret = OH_AudioDecoder_Configure(audioDec, format);
    if (ret != AV_ERR_OK) {
    // 异常处理
    }
    
  4. 调用OH_AudioDecoder_Stop()停止解码器。

    // 终止解码器 audioDec
    ret = OH_AudioDecoder_Stop(audioDec);
    if (ret != AV_ERR_OK) {
        // 异常处理
    }
    
  5. 调用OH_AudioDecoder_Destroy()销毁解码器实例,释放资源。

    注意:不要重复销毁解码器

    // 调用OH_AudioDecoder_Destroy, 注销解码器
    ret = OH_AudioDecoder_Destroy(audioDec);
    if (ret != AV_ERR_OK) {
        // 异常处理
    } else {
        audioDec = NULL; //不可重复destroy
    }
    

相关实例

针对音频解码,有以下相关实例可供参考:

你可能感兴趣的鸿蒙文章

harmony 鸿蒙媒体

harmony 鸿蒙开发音频通话功能

harmony 鸿蒙音频通话开发概述

harmony 鸿蒙音效管理

harmony 鸿蒙音频编码

harmony 鸿蒙音频输入设备管理

harmony 鸿蒙音频输出设备管理

harmony 鸿蒙多音频播放的并发策略

harmony 鸿蒙音频播放开发概述

harmony 鸿蒙音频播放流管理

0  赞