Android音視頻學習第1章:使用ffmpeg進行視頻解碼


FFmpeg解碼的流程圖如下所示
這里寫圖片描述

以下代碼實現的是視頻解碼並寫入yuv文件

#include "com_xuemeng_mylive_utils_XuemengPlayer.h"
#include <stdlib.h>
#include <stdio.h>
#include <unistd.h>
#include <android/native_window.h>
#include <android/native_window_jni.h>
#include <android/log.h>

#define LOGI(FORMAT,...) __android_log_print(ANDROID_LOG_INFO,"xuemeng",FORMAT,##__VA_ARGS__);
#define LOGE(FORMAT,...) __android_log_print(ANDROID_LOG_ERROR,"xuemeng",FORMAT,##__VA_ARGS__);
#include "libyuv.h"
//封裝格式
#include "libavformat/avformat.h"
//解碼
#include "libavcodec/avcodec.h"
//縮放
#include "libswscale/swscale.h"

JNIEXPORT void JNICALL Java_com_xuemeng_mylive_utils_VideoUtils_decode(             JNIEnv *env, jclass jcls, jstring input_jstr, jstring output_jstr) {

輸入文件路徑和輸出文件路徑

const char* input_cstr = (*env)->GetStringUTFChars(env, input_jstr, NULL);
const char* output_cstr = (*env)->GetStringUTFChars(env, output_jstr, NULL);

按照ffmpeg的解碼流程進行注冊

    //1.注冊組件
    av_register_all();

    //封裝格式上下文
    AVFormatContext *pFormatCtx = avformat_alloc_context();

    //2.打開輸入視頻文件
    if (avformat_open_input(&pFormatCtx, input_cstr, NULL, NULL) != 0) {
        LOGI("%s", "打開輸入視頻文件失敗");
        return;
    }
    //3.獲取視頻信息
    if (avformat_find_stream_info(pFormatCtx, NULL) < 0) {
        LOGI("%s", "獲取視頻信息失敗");
        return;
    }

這里寫圖片描述

遍歷AVStream找到對應的數據索引

//視頻解碼,需要找到對應的AVStream所在的pFormatCtx->streams的索引位置
    int video_stream_idx = -1;
    int i = 0;
    for (; i < pFormatCtx->nb_streams; i++) {
        //根據類型判斷是否是視頻流
        if (pFormatCtx->streams[i]->codec->codec_type == AVMEDIA_TYPE_VIDEO) {
            video_stream_idx = i;
            break;
        }
    }

FFmpeg解碼的數據結構如下所示:根據AVStream獲取對應的解碼器

這里寫圖片描述

//4.獲取解碼器
    //根據索引拿到對應的流,根據流拿到解碼器上下文
    AVCodecContext *pCodeCtx = pFormatCtx->streams[video_stream_idx]->codec;
    //再根據上下文拿到編解碼id,通過該id拿到解碼器
    AVCodec *pCodec = avcodec_find_decoder(pCodeCtx->codec_id);
    if (pCodec == NULL) {
        LOGI("%s", "無法解碼");
        return;
    }
    //5.打開解碼器
    if (avcodec_open2(pCodeCtx, pCodec, NULL) < 0) {
        LOGI("%s", "編碼器無法打開");
        return;
    }

接下來要將像素數據轉成指定的yuv420p像素格式

//編碼數據
AVPacket *packet = av_malloc(sizeof(AVPacket));
//像素數據(解碼數據)
AVFrame *frame = av_frame_alloc();

----------
AVFrame *yuvFrame = av_frame_alloc();
//只有指定AVFrame的像素格式,畫面大小才能真正分配內存
    //緩沖區分配內存
    uint8_t *out_buffer = (uint8_t *) av_malloc(
            avpicture_get_size(AV_PIX_FMT_YUV420P, pCodeCtx->width,
                    pCodeCtx->height));
    //設置yuvFrame緩沖區,像素格式
    avpicture_fill((AVPicture *) yuvFrame, out_buffer, AV_PIX_FMT_YUV420P,pCodeCtx->width, pCodeCtx->height);
    //輸出文件
    FILE *fp_yuv = fopen(output_cstr, "wb");
    //用於像素格式轉換或者縮放
    struct SwsContext *sws_ctx = sws_getContext(pCodeCtx->width,pCodeCtx->height, pCodeCtx->pix_fmt, pCodeCtx->width,
pCodeCtx->height, AV_PIX_FMT_YUV420P, SWS_BILINEAR, NULL, NULL,NULL);

使用解碼器,將AVPacket轉成AVFrame

int len, got_frame, framecount = 0;
//6.一幀一幀讀取壓縮的視頻數據AVPacket
    while (av_read_frame(pFormatCtx, packet) >= 0) {
        if (packet->stream_index == video_stream_idx) {
            //解碼AVPacket->AVFrame
            len = avcodec_decode_video2(pCodeCtx, frame, &got_frame, packet);
            //非0,正在解碼
            if (got_frame) {
                //轉換為指定YUV420P像素幀
                sws_scale(sws_ctx, frame->data, frame->linesize, 0,frame->height, yuvFrame->data, yuvFrame->linesize);

U和V都是Y的1/4

                //向YUV文件保存解碼之后的幀數據
                //AVFrame->YUV
                //一個像素包含一個Y
                int y_size = pCodeCtx->width * pCodeCtx->height;
                //Y
                fwrite(yuvFrame->data[0], 1, y_size, fp_yuv);
                //U
                fwrite(yuvFrame->data[1], 1, y_size / 4, fp_yuv);
                //V
                fwrite(yuvFrame->data[2], 1, y_size / 4, fp_yuv);
                LOGI("解碼%d幀", framecount++);
            }
        }
        av_free_packet(packet);
    }
    fclose(fp_yuv);
    av_frame_free(&frame);
    avcodec_close(pCodeCtx);
    avformat_free_context(pFormatCtx);

    (*env)->ReleaseStringUTFChars(env, input_jstr, input_cstr);
    (*env)->ReleaseStringUTFChars(env, output_jstr, output_cstr);
}

以下代碼是使用ANativeWindow將視頻繪制上去

#include "com_xuemeng_mylive_utils_XuemengPlayer.h"
#include <stdlib.h>
#include <stdio.h>
#include <unistd.h>
#include <android/native_window.h>
#include <android/native_window_jni.h>
#include <android/log.h>

#define LOGI(FORMAT,...) __android_log_print(ANDROID_LOG_INFO,"xuemeng",FORMAT,##__VA_ARGS__);
#define LOGE(FORMAT,...) __android_log_print(ANDROID_LOG_ERROR,"xuemeng",FORMAT,##__VA_ARGS__);
#include "libyuv.h"
//封裝格式
#include "libavformat/avformat.h"
//解碼
#include "libavcodec/avcodec.h"
//縮放
#include "libswscale/swscale.h"

JNIEXPORT void JNICALL Java_com_xuemeng_mylive_utils_XuemengPlayer_render(JNIEnv *env, jobject jobj, jstring input_jstr,
        jobject surface) {

    const char* input_cstr = (*env)->GetStringUTFChars(env, input_jstr, NULL);
    //1.注冊組件
    av_register_all();

    //封裝格式上下文
    AVFormatContext *pFormatCtx = avformat_alloc_context();

    //2.打開輸入視頻文件
    if (avformat_open_input(&pFormatCtx, input_cstr, NULL, NULL) != 0) {
        LOGI("%s", "打開輸入視頻文件失敗");
        return;
    }
    //3.獲取視頻信息
    if (avformat_find_stream_info(pFormatCtx, NULL) < 0) {
        LOGI("%s", "獲取視頻信息失敗");
        return;
    }

    //視頻解碼,需要找到對應的AVStream所在的pFormatCtx->streams的索引位置
    int video_stream_idx = -1;
    int i = 0;
    for (; i < pFormatCtx->nb_streams; i++) {
        //根據類型判斷是否是視頻流
        if (pFormatCtx->streams[i]->codec->codec_type == AVMEDIA_TYPE_VIDEO) {
            video_stream_idx = i;
            break;
        }
    }
    //4.獲取解碼器
    //根據索引拿到對應的流,根據流拿到解碼器上下文
    AVCodecContext *pCodeCtx = pFormatCtx->streams[video_stream_idx]->codec;
    //再根據上下文拿到編解碼id,通過該id拿到解碼器
    AVCodec *pCodec = avcodec_find_decoder(pCodeCtx->codec_id);
    if (pCodec == NULL) {
        LOGI("%s", "無法解碼");
        return;
    }
    //5.打開解碼器
    if (avcodec_open2(pCodeCtx, pCodec, NULL) < 0) {
        LOGI("%s", "編碼器無法打開");
        return;
    }
    //編碼數據
    AVPacket *packet = av_malloc(sizeof(AVPacket));

    //像素數據(解碼數據)
    AVFrame *yuv_frame = av_frame_alloc();
    AVFrame *rgb_frame = av_frame_alloc();

    //native繪制時的窗體
    ANativeWindow* nativeWindow = ANativeWindow_fromSurface(env, surface);
    //繪制時的緩沖區
    ANativeWindow_Buffer outBuffer;

    int len, got_frame, framecount = 0;
    //6.一幀一幀讀取壓縮的視頻數據AVPacket
    while (av_read_frame(pFormatCtx, packet) >= 0) {
        if (packet->stream_index == video_stream_idx) {
            //解碼AVPacket->AVFrame
            len = avcodec_decode_video2(pCodeCtx, yuv_frame, &got_frame, packet);
            //非0,正在解碼
            if (got_frame) {
                LOGI("解碼%d幀", framecount++);
                //lock
                //設置緩沖區的屬性(寬,高,像素)
                ANativeWindow_setBuffersGeometry(nativeWindow, pCodeCtx->width, pCodeCtx->height,
                        WINDOW_FORMAT_RGBA_8888);
                ANativeWindow_lock(nativeWindow, &outBuffer, NULL);
                //設置rgb_frame緩沖區,像素格式
                //rgb_frame緩沖區與outBuffer.bits是同一塊內存
                avpicture_fill((AVPicture *) rgb_frame, outBuffer.bits, AV_PIX_FMT_RGBA, pCodeCtx->width,
                        pCodeCtx->height);
                //YUV->RGB 8888
                I420ToARGB(yuv_frame->data[0], yuv_frame->linesize[0], yuv_frame->data[2], yuv_frame->linesize[2],
                        yuv_frame->data[1], yuv_frame->linesize[1], rgb_frame->data[0], rgb_frame->linesize[0],
                        pCodeCtx->width, pCodeCtx->height);
                //unlock
                ANativeWindow_unlockAndPost(nativeWindow);
                usleep(1000 * 16);
            }
        }
        av_free_packet(packet);
    }
    ANativeWindow_release(nativeWindow);
    av_frame_free(&yuv_frame);
    avcodec_close(pCodeCtx);
    avformat_free_context(pFormatCtx);

    (*env)->ReleaseStringUTFChars(env, input_jstr, input_cstr);
}

上面用到的庫
這里寫圖片描述

以上代碼牽扯到的數據結構解釋

這里寫圖片描述


注意!

本站转载的文章为个人学习借鉴使用,本站对版权不负任何法律责任。如果侵犯了您的隐私权益,请联系我们删除。



 
粤ICP备14056181号  © 2014-2021 ITdaan.com