harmony 鸿蒙音频解码

  • 2023-06-24
  • 浏览 (1397)

音频解码

开发者可以调用本模块的Native API接口，完成音频解码，即将媒体数据解码为PCM码流。

当前支持的解码能力如下:

容器规格 音频解码类型
mp4 AAC、MPEG(MP3)、Flac、Vorbis
m4a AAC
flac Flac
ogg Vorbis
aac AAC
mp3 MPEG(MP3)

适用场景

  • 音频播放

在播放音频之前，需要先解码音频，再将数据输送到硬件扬声器播放。 - 音频渲染

在对音频文件进行音效处理之前，需要先解码再由音频处理模块进行音频渲染。 - 音频编辑

音频编辑（如调整单个声道的播放倍速等）需要基于PCM码流进行，所以需要先将音频文件解码。

开发指导

详细的API说明请参考API文档。 参考以下示例代码，完成音频解码的全流程，包括：创建解码器，设置解码参数（采样率/码率/声道数等），开始，刷新，重置，销毁资源。

在应用开发过程中，开发者应按一定顺序调用方法，执行对应操作，否则系统可能会抛出异常或生成其他未定义的行为。具体顺序可参考下列开发步骤及对应说明。

如下为音频解码调用关系图： Invoking relationship of audio decode stream

在 CMake 脚本中链接动态库

target_link_libraries(sample PUBLIC libnative_media_codecbase.so)
target_link_libraries(sample PUBLIC libnative_media_core.so)
target_link_libraries(sample PUBLIC libnative_media_adec.so)

开发步骤

  1. 添加头文件。
   #include <multimedia/player_framework/native_avcodec_audiodecoder.h>
   #include <multimedia/player_framework/avcodec_audio_channel_layout.h>
   #include <multimedia/player_framework/native_avcapability.h>
   #include <multimedia/player_framework/native_avcodec_base.h>
   #include <multimedia/player_framework/native_avformat.h>

  1. 创建解码器实例对象。

    //c++标准库命名空间
using namespace std;
//通过 codecname 创建解码器
OH_AVCapability *capability = OH_AVCodec_GetCapability(OH_AVCODEC_MIMETYPE_AUDIO_MPEG, false);
const char *name = OH_AVCapability_GetName(capability);
OH_AVCodec *audioDec = OH_AudioDecoder_CreateByName(name);

    //通过 Mimetype 创建解码器
OH_AVCodec *audioDec = OH_AudioDecoder_CreateByMime(OH_AVCODEC_MIMETYPE_AUDIO_MPEG);

    // 初始化队列
class ADecSignal {
public:
    mutex inMutex_;
    mutex outMutex_;
    mutex startMutex_;
    condition_variable inCond_;
    condition_variable outCond_;
    condition_variable startCond_;
    queue<uint32_t> inQueue_;
    queue<uint32_t> outQueue_;
    queue<OH_AVMemory *> inBufferQueue_;
    queue<OH_AVMemory *> outBufferQueue_;
    queue<OH_AVCodecBufferAttr> attrQueue_;
};
ADecSignal *signal_;

  2. 调用OH_AudioDecoder_SetCallback()设置回调函数。 注册回调函数指针集合OH_AVCodecAsyncCallback，包括：

    • OH_AVCodecOnError：解码器运行错误。
    • OH_AVCodecOnStreamChanged：码流信息变化，如声道变化等。
    • OH_AVCodecOnNeedInputData：运行过程中需要新的输入数据，即解码器已准备好，可以输入数据。
    • OH_AVCodecOnNewOutputData：运行过程中产生了新的输出数据，即解码完成。

开发者可以通过处理该回调报告的信息，确保解码器正常运转。

```cpp

// OH_AVCodecOnError回调函数的实现 static void OnError(OH_AVCodec *codec, int32_t errorCode, void *userData) { (void)codec; (void)errorCode; (void)userData; } // OH_AVCodecOnStreamChanged回调函数的实现 static void OnStreamChanged(OH_AVCodec *codec, OH_AVFormat *format, void*userData) { (void)codec; (void)format; (void)userData; } // OH_AVCodecOnNeedInputData回调函数的实现 static void onNeedInputData(OH_AVCodec *codec, uint32_t index, OH_AVMemory*data, void *userData) { (void)codec; ADecSignal *signal = static_cast(userData); uniquelock lock(signal->inMutex); signal->inQueue.push(index); signal->inBufferQueue.push(data); signal->inCond_.notify_all(); // 解码输入码流送入InputBuffer队列 } // OH_AVCodecOnNewOutputData回调函数的实现 static void onNeedOutputData(OH_AVCodec *codec, uint32_t index, OH_AVMemory*data, OH_AVCodecBufferAttr *attr, void *userData) { (void)codec; ADecSignal *signal = static_cast(userData); uniquelock lock(signal->outMutex); signal->outQueue.push(index); signal->outBufferQueue.push(data); if (attr) { signal->attrQueue.push(*attr); } signal->outCond.notify_all(); // 将对应输出buffer的 index 送入OutputQueue队列 // 将对应解码完成的数据data送入OutputBuffer队列 } signal = new ADecSignal(); OH_AVCodecAsyncCallback cb = {&OnError, &OnStreamChanged, &onNeedInputData, &onNeedOutputData}; // 配置异步回调 int32_t ret = OH_AudioDecoderSetCallback(audioDec, cb, signal); if (ret != AV_ERR_OK) { // 异常处理 } “`

  1. 调用OH_AudioDecoder_Configure()配置解码器。 配置必选项：采样率、码率、声道数；可选项：最大输入长度。

    • AAC解码 需要额外标识是否为adts类型否则会被认为是latm类型
    // 设置解码分辨率
int32_t ret;
// 配置音频采样率（必须）
constexpr uint32_t DEFAULT_SMAPLERATE = 44100; 
// 配置音频码率（必须）
constexpr uint32_t DEFAULT_BITRATE = 32000;
// 配置音频声道数（必须）
constexpr uint32_t DEFAULT_CHANNEL_COUNT = 2;
// 配置最大输入长度（可选）
constexpr uint32_t DEFAULT_MAX_INPUT_SIZE = 1152;
// 配置是否为ADTS解码（acc）
constexpr uint32_t DEFAULT_AAC_TYPE = 1;
OH_AVFormat *format = OH_AVFormat_Create();
// 写入format
OH_AVFormat_SetIntValue(format, OH_MD_KEY_AUD_SAMPLE_RATE,DEFAULT_SMAPLERATE);
OH_AVFormat_SetIntValue(format, OH_MD_KEY_BITRATE,DEFAULT_BITRATE);
OH_AVFormat_SetIntValue(format, OH_MD_KEY_AUD_CHANNEL_COUNT,DEFAULT_CHANNEL_COUNT);
OH_AVFormat_SetIntValue(format, OH_MD_KEY_MAX_INPUT_SIZE,DEFAULT_MAX_INPUT_SIZE);
OH_AVFormat_SetIntValue(format, OH_MD_KEY_AAC_IS_ADTS, DEFAULT_AAC_TYPE);
// 配置解码器
ret = OH_AudioDecoder_Configure(audioDec, format);
if (ret != AV_ERR_OK) {
    // 异常处理
}

  2. 调用OH_AudioDecoder_Prepare()，解码器就绪。

    ret = OH_AudioDecoder_Prepare(audioDec);
if (ret != AV_ERR_OK) {
    // 异常处理
}

  3. 调用OH_AudioDecoder_Start()启动解码器，进入运行态。

    unique_ptr<ifstream> inputFile_ = make_unique<ifstream>();
unique_ptr<ofstream> outFile_ = make_unique<ofstream>();
// 打开待解码二进制文件路径
inputFile_->open(inputFilePath.data(), ios::in|ios::binary); 
//配置解码文件输出路径
outFile_->open(outputFilePath.data(), ios::out|ios::binary);
// 开始解码
ret = OH_AudioDecoder_Start(audioDec);
if (ret != AV_ERR_OK) {
// 异常处理
}

  4. 调用OH_AudioDecoder_PushInputData()，写入待解码的数据。

如果是结束，需要对flag标识成AVCODEC_BUFFER_FLAGS_EOS。

```c++
// 配置buffer info信息
OH_AVCodecBufferAttr info;
// 设置输入尺寸、偏移量、时间戳等信息
auto buffer = signal_->inBufferQueue_.front();
int64_t size;
int64_t pts;
inputFile_.read(reinterpret_cast<char *>(&size), sizeof(size));
if (inputFile_->eof()) {
    size = 0;
    info.flags = AVCODEC_BUFFER_FLAGS_EOS;
} else {
    inputFile_.read(reinterpret_cast<char *>(&pts), sizeof(pts));
    inputFile_.read((char *)OH_AVMemory_GetAddr(buffer), size);
    info.flags = AVCODEC_BUFFER_FLAGS_CODEC_DATA;
}
info.size = size;
info.offset = 0;
info.pts = pts;
uint32_t index = signal_->inQueue_.front();
// 送入解码输入队列进行解码, index为对应队列下标
int32_t ret = OH_AudioDecoder_PushInputData(audioDec, index, info);
if (ret != AV_ERR_OK) {
    // 异常处理
}
```

  1. 调用OH_AudioDecoder_FreeOutputData()，输出解码后的PCM码流。

    OH_AVCodecBufferAttr attr = signal_->attrQueue_.front();
OH_AVMemory *data = signal_->outBufferQueue_.front();
uint32_t index = signal_->outQueue_.front();
// 将解码完成数据data写入到对应输出文件中
outFile_->write(reinterpret_cast<char *>(OH_AVMemory_GetAddr(data)), attr.size);
// buffer 模式, 释放已完成写入的数据
ret = OH_AudioDecoder_FreeOutputData(audioDec, index);
if (ret != AV_ERR_OK) {
    // 异常处理
}

  2. （可选）调用OH_AudioDecoder_Flush()刷新解码器。 调用OH_AudioDecoder_Flush()后，解码器仍处于运行态，但会将当前队列清空，将已解码的数据释放。 此时需要调用OH_AudioDecoder_Start()重新开始解码。 使用情况：

    • 在文件EOS之后，需要调用刷新
    • 在执行过程中遇到可继续执行的错误时（即OH_AudioDecoder_IsValid 为true）调用
    // 刷新解码器 audioDec
ret = OH_AudioDecoder_Flush(audioDec);
if (ret != AV_ERR_OK) {
    // 异常处理
}
// 重新开始解码
ret = OH_AudioDecoder_Start(audioDec);
if (ret != AV_ERR_OK) {
    // 异常处理
}

  3. （可选）调用OH_AudioDecoder_Reset()重置解码器。 调用OH_AudioDecoder_Reset()后，解码器回到初始化的状态，需要调用OH_AudioDecoder_Configure()重新配置，然后调用OH_AudioDecoder_Start()重新开始解码。

    // 重置解码器 audioDec
ret = OH_AudioDecoder_Reset(audioDec);
if (ret != AV_ERR_OK) {
    // 异常处理
}
// 重新配置解码器参数
ret = OH_AudioDecoder_Configure(audioDec, format);
if (ret != AV_ERR_OK) {
// 异常处理
}

  4. 调用OH_AudioDecoder_Stop()停止解码器。

    // 终止解码器 audioDec
ret = OH_AudioDecoder_Stop(audioDec);
if (ret != AV_ERR_OK) {
    // 异常处理
}

  5. 调用OH_AudioDecoder_Destroy()销毁解码器实例，释放资源。

    注意：不要重复销毁解码器

    // 调用OH_AudioDecoder_Destroy, 注销解码器
ret = OH_AudioDecoder_Destroy(audioDec);
if (ret != AV_ERR_OK) {
    // 异常处理
} else {
    audioDec = NULL; //不可重复destroy
}

相关实例

针对音频解码，有以下相关实例可供参考：

你可能感兴趣的鸿蒙文章

harmony 鸿蒙媒体

harmony 鸿蒙开发音频通话功能

harmony 鸿蒙音频通话开发概述

harmony 鸿蒙音效管理

harmony 鸿蒙音频编码

harmony 鸿蒙音频输入设备管理

harmony 鸿蒙音频输出设备管理

harmony 鸿蒙多音频播放的并发策略

harmony 鸿蒙音频播放开发概述

harmony 鸿蒙音频播放流管理

0  赞
  • 所属分类： 后端技术
  • 本文标签：
  • 版权声明： 原创文章如转载，请注明本文链接: https://www.seaxiang.com/blog/d9422efe64c94568b970bcf53ac13e55
热门推荐
标签云
Linux Java Spring Spring Boot docker 大数据 前端 生活 maven golang 软件 spring cloud fintech mac vscode 其他 区块链 以太坊 V神 开发者 技术 股票 git greenplum 分布式事务 chrome mysql flink kafka 设计模式 原理 鸿蒙 seo
最新文章
本文目录