ビデオコーディングの意味
元のビデオデータ用の大容量ストレージ、1080P7秒のビデオには817MBが必要
元のビデオデータ送信は広い帯域幅を占有し、11Mbpsの帯域幅で上記の7秒のビデオを送信するのに10分かかります
H.264のエンコードと圧縮の後、ビデオサイズはわずか708 kで、10Mbpsの帯域幅は500msしか必要としないため、リアルタイム伝送のニーズを満たすことができます。 したがって、ビデオキャプチャセンサーから収集された元のビデオは、ビデオでエンコードする必要があります。
基本
では、なぜ巨大なオリジナルビデオを非常に小さなビデオにエンコードできるのでしょうか。 これの技術は何ですか？ テクノロジーについて話す前に、まず連続画像であるビデオの概念を確立する必要があります。
中心的なアイデアは、冗長な情報を削除することです。
空間的冗長性：画像の隣接するピクセル間に強い相関関係があります
時間的冗長性：ビデオシーケンス内の隣接する画像間の類似したコンテンツ
コーディングの冗長性：ピクセル値が異なれば確率も異なります
視覚の冗長性：人間の視覚システムは特定の詳細に敏感ではありません
知識の冗長性：規則性の構造は、事前の知識と背景知識から取得できます
ビデオは基本的に、継続的かつ迅速に再生される一連の画像であるため、ビデオを圧縮する最も簡単な方法は、画像の各フレームを圧縮することです。 たとえば、古いMJPEGエンコーディングは、ビデオ内の画像の各フレームを圧縮するためのものです。 このエンコード方法空間サンプル予測を使用してコーディングするフレーム内コーディングのみがあります。 画像のメタファーは、各フレームを画像として扱い、JPEGエンコード形式を使用して画像を圧縮することです。 この種のエンコーディングでは、画像内の冗長な情報の圧縮のみが考慮されます。
ただし、フレーム間の時間相関のために、フレーム間コーディングを使用できるいくつかの高度なエンコーダーが開発されています。 簡単に言えば、フレーム上の特定の領域が検索アルゴリズムによって選択され、次に現在のフレームが計算されます。これは、前面と背面の参照フレーム間のベクトル差を使用したエンコードの形式です。 図2の次のXNUMXつの連続するフレームから、スキーヤーが前方にシフトしていることがわかりますが、実際には雪景色が後方にシフトしており、Pフレームが参照されています。フレーム（Iまたは他のPフレーム）をエンコードできます。サイズエンコード後は非常に小さく、圧縮率は非常に高くなります。
についての参照リンク フレーム http://mp.weixin.qq.com/s/ox6MsWx71b-GFsZihaOwww
一部の学生は、これらXNUMXつの写真がどのように作成されたかに興味があるかもしれません。 達成すべきFFmpegコマンドのXNUMX行は次のとおりです。 FFmpegの詳細については、次の章を参照してください。
最初の行は、移動するベクトルを含むビデオを生成します
XNUMX行目は、各フレームを画像として出力します
コマンドを使う
ffmpeg -flags2 + export_mvs -i tutu.mp4 -vf codecview = mv = pf + bf + bb tutudebug2.mp4
ffmpeg -i tutudebug2.mp4'tutunormal-％03d.bmp '
空間的冗長性と時間的冗長性の圧縮に加えて、主にエンコーディング圧縮と視覚的圧縮があります。 エンコーダの主なフローチャートは次のとおりです。
図3と図4は3つのプロセスです。 図4はフレーム内コーディングであり、図XNUMXはフレーム間コーディングです。 図から見た主な違いは、最初のステップが異なることです。 実際、これらXNUMXつのプロセスも組み合わされています。 一般的に、IフレームとPフレームは、それぞれフレーム内コーディングとフレーム間コーディングを使用します。
エンコーダの選択
エンコーダの原理と基本的なプロセスを整理しました。 エンコーダは何十年にもわたる開発を経験してきました。 これは、フレーム内エンコーディングのみをサポートすることから、今日のH.265およびVP9で表される新世代のエンコーダーに進化しました。 現在、いくつかの一般的なエンコーダーが分析されており、エンコーダーの世界を探索するためにあなたを連れて行きます。
H.264
概要
H.264 / AVCプロジェクトは、ビデオ標準を作成することを目的としています。 古い規格と比較して、設計の複雑さをあまり増やさずに、より低い帯域幅（つまり、MPEG-2、H.263、またはMPEG-4 Part 2以下の半分の帯域幅）で高品質のビデオを提供できます。達成できないか、実装コストが高すぎます。 もうXNUMXつの目的は、高帯域幅と低帯域幅、高低のビデオ解像度、ブロードキャスト、DVDストレージ、RTP / IPネットワーク、ITU-Tマルチメディア電話システムなど、さまざまなアプリケーション、ネットワーク、およびシステムで使用できる十分な柔軟性を提供することです。
H.264 / AVCには一連の新機能が含まれているため、以前のコーデックよりも効率的であるだけでなく、さまざまなネットワーク環境のアプリケーションで使用することもできます。 この技術的基盤により、H.264はYouTubeなどのオンラインビデオ会社で使用される主要なコーデックになりますが、それを使用することは非常に簡単な作業ではありません。 理論的には、H.264を使用するには多くのお金が必要です。 特許料。
特許ライセンス
MPEG-2の第4部と第264部、およびMPEG-2の第4部と同様に、H.XNUMX / AVCを使用する製品メーカーとサービスプロバイダーは、特許権者に特許ライセンス料を支払う必要があります。 これらの特許ライセンスの主なソースは、MPEG-LALLCと呼ばれる民間組織です。 この組織は、MPEG標準化組織とは何の関係もありませんが、この組織は、MPEG-XNUMXパートXNUMXシステム、パートXNUMXビデオ、およびMPEG-XNUMXパートXNUMXも管理しています。 XNUMX部構成のビデオおよびその他の技術特許ライセンス。
他の特許ライセンスは、VIA Licensingと呼ばれる別の民間組織に適用する必要があります。VIALicensingは、MPEG-2AACやMPEG-4Audioなどのオーディオ圧縮規格の特許ライセンスも管理しています。
H.264のオープンソース実装
openh264は、シスコが実装したオープンソースのH.264エンコーディングプログラムです。 H.264には高い特許料が必要ですが、特許料には年間制限があります。 シスコがOpenH264の年間特許料を支払った後、OpenH264は実際には無料です。自由に使用してください。
x264は、GPLの下でライセンスされているビデオコーディングの自由ソフトウェアです。 x264の主な機能は、デコーダーとしてではなく、H.264 / MPEG-4AVCビデオエンコーディングを実行することです。
比較のためのコストの問題を除く：
openh264のCPU使用率は、x264のCPU使用率よりもはるかに低くなっています。
openh264はベースラインプロファイルのみをサポートし、x264はより多くのプロファイルをサポートします
HEVC / H.265
概要
高効率ビデオコーディング（HEVC）は、ビデオ圧縮規格（H.265とも呼ばれます）であり、ITU-T H.264 / MPEG-4AVC規格の後継と見なされています。 2004年、ISO / IECムービングピクチャーエキスパートグループ（MPEG）およびITU-Tビデオコーディングエキスパートグループ（VCEG）は、ISO / IEC 23008-2 MPEG-H Part2またはITU-TH.265として開発を開始しました。 HEVC / H.265ビデオ圧縮規格の最初のバージョンは、13年2013月264日に国際電気通信連合（ITU-T）の公式規格として承認されました。HEVCは、ビデオ品質を向上させるだけでなく、4倍を達成すると考えられています。 H.50 / MPEG-4 AVCの圧縮率（同じ画質でビットレートの8192％削減に相当）、4320K解像度、さらには超高精細TV（UHDTV）をサポートでき、最高の解像度で8×XNUMX（XNUMXK解像度）に到達します。
特許ライセンス
HEVCは、Apple、YouTube、Netflix、Facebook、Amazonなど、H.265テクノロジーを使用するすべてのコンテンツメーカーに、コンテンツ収益の0.5％をテクノロジー使用料として支払うことを義務付けています。 ストリーミングメディア市場全体は毎年約100億米ドルに達し、それは継続しています。成長の中で、0.5％の賦課金は間違いなく莫大な料金です。 そして、彼らは機器メーカーを手放していません。その中で、テレビメーカーはユニットあたり1.5米ドルを支払う必要があり、モバイルデバイスメーカーは特許料としてユニットあたり0.8米ドルを支払う必要があります。 彼らは、Blu-rayデバイスプレーヤー、ゲーム機、ビデオレコーダーなど、それぞれ1.1ドルを支払わなければならないメーカーを手放すことさえしていません。
H.265 / HEVCのオープンソース実装
libde265 HEVCは、オープンソースライセンスGNU劣等一般公衆利用許諾契約書（LGPL）の下でstruktur社によって提供されており、視聴者はより遅いインターネット速度で最高品質の画像を楽しむことができます。 H.264標準に基づく以前のデコーダーと比較して、libde265 HEVCデコーダーは、フルHDコンテンツを最大50倍の視聴者に提供したり、ストリーミングに必要な帯域幅をXNUMX％削減したりできます。
x265はMulticoreWareによって開発され、GPL契約に基づいてオープンソース化されています。
VP8
概要
VP8は、On2 Technologiesによって最初に開発され、次にGoogleによってリリースされたオープンビデオ圧縮形式です。 同時に、GoogleはVP8コード化された実装ライブラリlibvpxもリリースしました。これは、BSDライセンス条項の形式でリリースされ、その後、特許を使用する権利を追加しました。 いくつかの議論の後、VP8の承認は最終的にオープンソースの承認として確認されました。
現在、VP8をサポートするWebブラウザーは、Opera、Firefox、およびChromeです。
特許ライセンス
2013年11月、GoogleはMPEG LAおよび8の特許権者と合意に達し、VP8とその以前のVPxおよび特許を侵害している可能性のあるその他のエンコーディングを取得できるようにしました。 同時に、GoogleはVP8ユーザーに関連する特許を無料で再承認することもできます。 、この契約は、次世代のVPxエンコーディングにも適しています。 これまでのところ、MPEG LAはVP8特許集中型ライセンスアライアンスの設立を断念しており、VPXNUMXユーザーは、特許侵害のロイヤルティの可能性を心配することなく、このコードを無料で使用することを決定できます。
VP8のオープンソース実装
Libvpxは、VP8の唯一のオープンソース実装です。 On2Technologiesによって開発されました。 Googleはそれを取得した後、ソースコードを開きました。 ライセンスは非常に緩く、自由に使用できます。
VP9
概要
VP9の開発は、2011年の第50四半期に開始されました。目標は、同じ画質でのVP8エンコーディングと比較してファイルサイズをXNUMX％削減することです。 もうXNUMXつの目標は、エンコード効率においてHEVCエンコードを超えることです。
13年2012月9日、ChromiumブラウザはVP9エンコーディングのサポートを追加しました。 Chromeブラウザは、21年2013月XNUMX日にVPXNUMXエンコードビデオ再生のサポートを開始しました。
Googleは、ChromeブラウザがデフォルトでVP9コードをガイドする、17年2013月9日にVP18コードの開発を完了することを発表しました。 2014年9月XNUMX日、MozillaはFirefoxブラウザにVPXNUMXサポートを追加しました。
3年2015月1.4.0日、Googleはlibvpx10をリリースしました。これにより、12ビットと4ビットのビット深度、2：2：4と4：4：9のクロマサンプリング、およびVPXNUMXマルチコアエンコーディング/デコーディングのサポートが追加されました。
特許ライセンス
VP9は、オープンフォーマットでロイヤリティフリーのビデオエンコーディングフォーマットです。
VP9のオープンソース実装
libvpxは、Googleによって開発および保守されているVP9の唯一のオープンソース実装です。 一部のコードはVP8とVP9で共有され、残りはそれぞれVP8とVP9のコーデック実装です。
VP9とH.264およびHEVCの比較
異なる解像度でのHEVCとH.264の比較
H.264 / MPEG-4と比較すると、HEVCの平均ビットレート低下は次のとおりです。
ビットレートが60％以上低下していることがわかります。
HEVC（H.265）は、VP9とH.264のビットレート節約に大きな利点があり、同じPSNRでそれぞれ48.3％と75.8％節約できます。
H.264には、エンコード時間に大きな利点があります。 VP9およびHEVC（H.265）と比較すると、HEVCはVP6の9倍であり、VP9はH.40のほぼ264倍です。
