オーディオとビデオの開発と学習

最初に、誰かがオーディオとビデオの基礎がなく、デジタル信号処理に関連する知識を学んだことがないと仮定します。数学の基礎は基本的に高校レベルですが、彼はC / C ++開発に精通しており、少なくとも特定のプラットフォームでのIDEのコンパイルとデバッグに精通しています。

XNUMXつのオープンソースプロジェクトffmpegとwebRTCに焦点を当て、主にffmpegのビデオ部分とwebRTCのオーディオ部分に注目します。

まず第一に、ビデオのデコードから始めます。これが最も簡単です。 ffmpeg ビデオデコードを呼び出すための基本的なコードは、わずか 100 行程度です。ビデオのデコードは、h.264、80% 以上のシーンがこのエンコード形式であること、基本的な H.264 sps pps NAL およびその他のファイル形式の概念を理解し、YUV 画像形式の原理を理解し、YUV から RGB への変換を理解することのみが必要です。、画像のレンダリングができるので、シンプルな動画プレーヤーを実現できます。（基本的には第一段階）

次に、ビデオコーディングについて学習するには、x264から始めることをお勧めします。x264エンコーディングコードの単純な呼び出しは100行未満です。エンコーディングは、デコーディングにパラメータを設定する必要がなく、エンコーディングには設定が必要なパラメータが多数あるという点で、デコーディングよりも複雑です。最初に、フレームレート、一般的なフロー制御方法ABR CRF、GOP、I / Bなどのいくつかの基本的な概念を理解してください。それぞれ、/ Pフレームとはどういう意味ですか。（X264エンコーディングに再び精通している）

オーディオ部分のコーデックはビデオのコーデックと似ています。初期段階では、EAAC +とSilkのXNUMXつのエンコーダーを理解し、サウンドチャネル、サンプリングレートなどの概念を理解し、Waveファイル形式を理解するだけで済みます。シンプルなオーディオプレーヤーにすることができます。（オーディオプレーヤーを作る）

オーディオの複雑な部分はコーデックではなく、効果音です。 webRTCのオーディオ処理モジュールを見て、次の概念を理解してください：ノイズ除去NS、エコーキャンセレーションAEC、ミュート検出VAD、自動ゲイン制御AGC、および組み込みのwebRTC。アルゴリズムは最善ではありませんが、問題の90％以上を解決できるため、学ぶ価値があります。（webrtcオーディオ処理を学ぶ）

これを学んだ後、私はエンジニアリングルートを取るかアルゴリズムルートを取るかという質問について考える必要があります。それがアルゴリズムのルートであるなら、私は数学を学ばなければなりません。デジタル信号処理の背後には、多数の基本的な数学的理論があります。エンジニアリングルートの場合は、クロスプラットフォーム開発を学び、複数のプラットフォームでオーディオとビデオの収集、再生、処理を学び、複数のプラットフォームでアセンブリ言語の最適化を学ぶ必要があります。（プラットフォーム関連）

オーディオとビデオは非常に深い分野であり、一生のうちに学習を終えることは決してありませんが、この分野には、知識の更新速度が比較的遅く、学習したことを排除するのが容易ではなく、経験の蓄積があるという利点があります非常に重要です。v