H.264 / AVCプロジェクトの目的は、以前の標準よりもはるかに低いビットレート（つまり、MPEG-2、H.263、またはMPEG-またはMPEG-またはの半分のビットレート）で優れたビデオ品質を提供できる標準を作成することです。もっと）。 低）。 4パート2）、設計の複雑さを増すことなく、実装するのは非現実的または費用がかかりすぎる。 もう264つの目標は、低ビットレートと高ビットレート、低解像度と高解像度のビデオ、ブロードキャスト、DVDストレージ、RTP / IPパケットネットワーク、ITU-Tなど、さまざまなネットワークやシステム上のさまざまなアプリケーションに標準を適用できるようにするための十分な柔軟性を提供することです。マルチメディア電話システム。 H.264標準は、多くの異なる構成ファイルで構成される「標準ファミリ」と見なすことができます。 特定のデコーダーは、必ずしもすべてではありませんが、少なくともXNUMXつのプロファイルをデコードします。 デコーダーの仕様では、デコードできる構成ファイルについて説明しています。 H.XNUMXは通常、非可逆圧縮に使用されますが、非可逆コーディング画像に真に可逆コーディング領域を作成したり、コーディング全体が可逆であるまれなユースケースをサポートしたりすることもできます。
H.264は、ITU-Tビデオコーディングエキスパートグループ（VCEG）とISO / IEC JTC1動画エキスパートグループ（MPEG）によって開発されました。 プロジェクトのパートナーシップは、Joint Video Team（JVT）と呼ばれます。 ITU-TH.264標準とISO / IEC MPEG-4 AVC標準（正式にはISO / IEC 14496-10-MPEG-4 Part 10、Advanced Video Coding）は、同じ技術的内容を持つように共同で維持されています。 規格の初版の最終草案は2003年265月に完成し、その機能のさまざまな拡張が後続の版に追加されました。 高効率ビデオコーディング（HEVC）、つまりH.2とMPEG-H Part 264は、同じ組織によって開発されたH.4 / MPEG-XNUMX AVCの後継であり、以前の規格が今でも一般的に使用されています。
最も有名なH.264は、おそらくBlu-rayディスクのビデオエンコーディング標準の264つです。 すべてのBlu-rayディスクプレーヤーはH.2をデコードできる必要があります。 また、Vimeo、YouTube、iTunes Storeからのビデオ、Adobe FlashPlayerやMicrosoftSilverlightなどのネットワークソフトウェア、地上でのさまざまなHDTV放送（ATSC、ISDB-T、DVB）などのストリーミングインターネットリソースでも広く使用されています-TまたはDVB-T2）、ケーブル（DVB-C）および衛星（DVB-SおよびDVB-SXNUMX）。
H.264は、すべての当事者が所有する特許によって保護されています。 H.264に必要なほとんど（すべてではない）の特許をカバーするライセンスは、パテントプールMPEGLAによって管理されます。 3特許取得済みのH.264テクノロジーを商用利用するには、MPEGLAおよびその他の特許所有者にロイヤルティを支払う必要があります。 MPEG LAでは、H.264テクノロジーを無料で使用して、エンドユーザーに無料のストリーミングインターネットビデオを提供できます。シスコシステムズは、オープンソースのH.264エンコーダバイナリファイルユーザーに代わって、MPEGLAに使用料を支払います。
1.ネーミング
H.264の名前は、VCEGビデオコーディング標準のH.26xシリーズのメンバーであるITU-T命名規則に従います。 MPEG-4 AVC名は、ISO / IEC MPEGの命名規則に関連しています。標準はISO / IEC 14496 Part 10であり、ISO / IEC14496はMPEG-4と呼ばれる一連の標準です。 この規格はVCEGとMPEGのパートナーシップで共同開発され、H.26Lと呼ばれるVCEGプロジェクトは以前にITU-Tで実施されていました。 したがって、H.264 / AVC、AVC / H.264、H.264 / MPEG-4AVC、MPEG-4 / H.264 AVCなどの名前は、共通の遺産を強調するために規格を参照するためによく使用されます。 「JVTコーデック」と呼ばれることもあります。これは、それを開発したJoint Video Team（JVT）組織を指します。 （この種のパートナーシップと複数の命名は珍しいことではありません。たとえば、MPEG-2と呼ばれるビデオ圧縮標準もMPEGとITU-Tの間のパートナーシップに端を発し、MPEG-2ビデオはITU-TコミュニティHによって呼び出されます。 262. 4）一部のソフトウェアプログラム（VLCメディアプレーヤーなど）は、この標準をAVC1として内部的に識別します。
2。 歴史
1998年の初めに、ビデオコーディングエキスパートグループ（VCEG-ITU-T SG16 Q.6）は、コーディング効率を26倍にすることを目的として、H.1999Lと呼ばれるプロジェクトの提案を求めました（つまり、必要なビットレート半分）さまざまなアプリケーションに使用される他の既存のビデオコーディング標準と比較して、特定のレベルの忠実度。 VCEGは、Gary Sullivan（Microsoft、以前はPictureTel、USA）が議長を務めています。 新しい規格の最初のドラフト設計は2000年XNUMX月に採用されました。XNUMX年に、Thomas Wiegand（Heinrich Hertz Institute、ドイツ）がVCEGの共同議長になりました。
2001年1月、VCEGとMoving Picture Experts Group（MPEG-ISO / IEC JTC 29 / SC 11 / WG 5）は、Joint Video Group（JVT）を結成し、その憲章によってビデオコーディング標準が完成しました。 [2003]仕様は2004年2005月に正式に承認されました。JVTはGarySullivan、Thomas Wiegand、Ajay Luthra（Motorola、USA：後にArris、USA）が議長を務めました。 2007年264月、Fidelity Scope Extension（FRExt）プロジェクトが完成しました。 2006年2009月から264年3月まで、JVTは、スケーラブルビデオコーディング（SVC）と呼ばれるアタッチメント（G）を介して、H.XNUMX / AVCをスケーラビリティに拡張することに取り組んでいます。 JVT管理チームは、Jens-Rainer Ohm（アーヘン工科大学、ドイツ）によって拡張されました。 XNUMX年XNUMX月からXNUMX年XNUMX月にかけて、JVTはマルチビデオビデオコーディング（MVC）を開始しました。これは、H.XNUMX / AVCをフリービューTVおよびXNUMXDTVに拡張したものです。 この作業には、マルチビューハイプロファイルとステレオハイプロファイルのXNUMXつの新しい標準プロファイルの開発が含まれます。
H.264 / AVCの最初のバージョンの標準化は2003年4月に完了しました。元の標準を拡張する最初のプロジェクトで、JVTはその後いわゆるFidelity Range Extensions（FRExt）を開発しました。 これらの拡張機能は、いわゆるY'CbCr 2：2：4（= YUV 2：2：4）およびY'CbCr 4：4サンプリングを含む、より高いサンプリングビット深度精度とより高い解像度の色情報をサポートすることにより、より高品質のビデオコーディングを実現します。構造：4。FidelityRange Extensionsプロジェクトには、4×8と8×2004の整数変換間の適応スイッチング、エンコーダーによって指定された知覚ベースの量子化重み付けマトリックス、画像間の効率的なロスレスエンコーディング、追加のサポートなどの他の機能も含まれています。カラースペース。 Fidelity Range Extensionsの設計作業は2004年XNUMX月に完了し、製図作業はXNUMX年XNUMX月に完了しました。
この規格の最近のさらなる拡張には、他の4つの新しいプロファイルの追加が含まれています[これは？ ]主にプロのアプリケーションに使用され、拡張色域空間サポートの追加、追加のアスペクト比インジケーターの定義、他の4つのタイプの「補足強調情報」（フィルター後のヒントとトーンマッピング）の定義、および以前のFRExt構成ファイルOne（高4：XNUMX：XNUMXプロファイル）、業界からのフィードバック[誰が？ ]手順は別の方法で設計する必要があります。
標準に追加された次の主要な機能は、スケーラブルビデオコーディング（SVC）です。 SVCは、H.264 /でデコードできる「ベースレイヤー」と呼ばれるそのようなビットストリームの264つを含め、標準にも準拠するサブビットストリームを含むビットストリームの構築を許可することがH.2007 / AVCの付録Gで規定されています。 SVCをサポートするAVCコーデック。 時間的ビットストリームスケーラビリティ（つまり、メインビットストリームよりも時間的サンプリングレートが小さいサブビットストリームがある）の場合、サブビットストリームが導出されるときに、完全なアクセスユニットがビットストリームから削除されます。 この場合、ビットストリーム内の高レベルの構文と予測間参照画像がそれに応じて作成されます。 一方、空間的および品質のビットストリームスケーラビリティ（つまり、メインビットストリームよりも空間分解能/品質が低いサブビットストリームがある）の場合、サブビットストリーム（ネットワーク抽象化レイヤー）を導出するときにビットストリームからNALを削除します。 。 この場合、層間予測（すなわち、より低い空間分解能／品質信号のデータからより高い空間分解能／品質信号を予測すること）は、一般に、効率的なコーディングのために使用される。 スケーラブルなビデオコーディング拡張機能は、XNUMX年XNUMX月に完成しました。
標準に追加された次の主要な機能は、マルチビュービデオコーディング（MVC）です。 H.264 / AVCの付録Hで、MVCがビデオシーンの複数のビューを表すビットストリームの構築を可能にすることが指定されています。 この機能の重要な例は、立体3Dビデオエンコーディングです。 2009つのプロファイルがMVC作業で開発されました。MultiviewHighProfileは任意の数のビューをサポートし、Stereo HighProfileはXNUMXビューステレオビデオ用に特別に設計されています。 マルチビュービデオコーディング拡張機能は、XNUMX年XNUMX月に完成しました。
3。 応用
H.264ビデオ形式には、低ビットレートのインターネットストリーミングアプリケーションからHDTV放送、ほぼロスレスエンコーディングのデジタルムービーアプリケーションまで、あらゆる形式のデジタル圧縮ビデオをカバーする、非常に幅広いアプリケーションがあります。 H.264を使用することにより、MPEG-2 Part 2と比較して、ビットレートを50％以上節約できます。 たとえば、H.264が提供するデジタル衛星テレビの品質はMPEG-2の現在の実装と同じであり、ビットレートは半分未満であると報告されています。 MPEG-2の現在の実装速度は約3.5Mbit / sですが、H.264はわずか1.5Mbitです。 / s。 [23]ソニーは、9 Mbit / s AVC記録モードは、約18〜25 Mbit / sを使用するHDVフォーマットの画質と同等であると主張しています。
H.264 / AVCの互換性と問題のない採用を保証するために、多くの標準化団体は、これらの標準のユーザーがH.264 / AVCを使用できるように、ビデオ関連の標準を変更または追加しています。 ブルーレイディスク形式と現在廃止されているHDDVD形式はどちらも、264つの必須ビデオ圧縮形式の264つとしてH.2004 / AVCハイプロファイルを使用しています。 デジタルビデオブロードキャスティングプロジェクト（DVB）は、XNUMX年末にテレビ放送用のH.XNUMX / AVCの使用を承認しました。
米国の高度テレビシステム委員会（ATSC）規格機関は、264年2008月に放送テレビ用のH.25 / AVCを承認しましたが、この規格は米国での固定ATSC放送にはまだ使用されていません。 [26] [264] H.XNUMXのAVCおよびSVCパーツを使用して、最新のATSC-M / H（モバイル/ハンドヘルド）規格でも承認されています。
CCTV（監視カメラ）およびビデオ監視市場は、このテクノロジーを多くの製品に組み込んでいます。 多くの一般的なDSLRカメラは、QuickTimeMOVコンテナに含まれるH.264ビデオをネイティブ録画形式として使用します。
4.派生フォーマット
AVCHDは、ソニーとパナソニックがH.264を使用して設計した高解像度の記録フォーマットです（H.264に準拠し、他のアプリケーション固有の機能と制約を追加します）。
AVC-Intraは、パナソニックが開発したフレーム内圧縮フォーマットです。
XAVCは、ソニーが設計した録画形式であり、このビデオ規格でサポートされている最高レベルであるH.5.2 / MPEG-264AVCのレベル4を使用します。 [28] [29] XAVCは、最大4フレーム/秒（fps）の速度で4096K解像度（2160×3840および2160×60）をサポートできます。 [28] [29]ソニーは、XAVC対応カメラに55台のCineAltaカメラ（SonyPMW-F5とSonyPMW-F30）が含まれていることを発表しました。 [55] Sony PMW-F4はXAVCを記録でき、30K解像度は300 fps、速度は2 Mbit / s、30K解像度、100 fps、31 Mbit / sです。 [4] XAVCは、60 fpsで4K解像度を記録し、2 Mbit / sで2：600：XNUMXクロマサブサンプリングを実行できます。
5。 特徴
H.264のブロック図
H.264 / AVC / MPEG-4 Part 10には、古い標準よりも効率的にビデオを圧縮し、さまざまなネットワーク環境のアプリケーションに優れた柔軟性を提供できるようにする多くの新機能が含まれています。 特に、これらの主要な機能のいくつかは次のとおりです。
1）マルチピクチャインターピクチャ予測には、次の機能が含まれます。
以前にコーディングされた画像を以前の標準よりも柔軟な方法で参照として使用し、場合によっては最大16の参照フレーム（またはインターレースコーディングの場合は32の参照フィールド）を使用できるようにします。 非IDRフレームをサポートするプロファイルでは、ほとんどのレベルで、最大解像度で少なくとも4つまたは5つの参照フレームを許可するのに十分なバッファリングが必要であると指定されています。 これは、通常1の制限がある既存の標準とは対照的です。 または、従来の「B画像」（Bフレーム）の場合はXNUMXつ。 この特別な機能により、通常、ほとんどのシナリオでビットレートと品質をわずかに向上させることができます。 [引用が必要]ただし、アクションが繰り返されるシーンや、シーンを前後に切り替えるシーン、背景領域が覆われていないシーンなど、特定の種類のシーンでは、明瞭さを維持しながらビットレートを大幅に下げることができます。
可変ブロックサイズ動き補償（VBSMC）、ブロックサイズは16×16、最小4×4であり、移動領域の正確なセグメンテーションを実現できます。 サポートされている輝度予測ブロックサイズには、16×16、16×8、8×16、8×8、8×4、4×8、および4×4が含まれ、これらの多くは単一のマクロブロックで一緒に使用できます。 使用中のクロマサブサンプリングによると、クロマ予測ブロックサイズはそれに応じて小さくなります。
16個の4×4パーティションで構成されるBマクロブロックの場合、各マクロブロックは最大32個の複数の動きベクトル（各パーティションに8つまたは8つ）を使用できます。各XNUMX×XNUMX以上のパーティション領域の動きベクトルはポイントできます。別の参照画像に。
Iマクロブロックを含む任意のマクロブロックタイプをBフレームで使用できるため、Bフレームを使用する際のコーディングがより効率的になります。 この特性は、MPEG-4ASPから見ることができます。
より明確なサブピクセル動き補償のためにハーフピクセル輝度サンプル予測を導出するために使用されるXNUMXタップフィルタリング。 XNUMX/XNUMXピクセルの動きは、処理能力を節約するために、ハーフカラー値の線形補間によって導出されます。
動き補償に使用される4/2ピクセルの精度は、移動領域の変位を正確に表すことができます。 彩度の場合、解像度は通常、垂直方向と水平方向の半分になります（0：XNUMX：XNUMXを参照）。したがって、彩度の動き補償では、XNUMX分のXNUMXの彩度ピクセルグリッド単位が使用されます。
加重予測により、エンコーダーは動き補償を実行するときにスケーリングとオフセットの使用を指定でき、フェードインとフェードアウト、フェードインとフェードイン、フェードインとフェードアウトの遷移などの特別な状況でパフォーマンスが大幅に向上します。 これには、Bフレームの暗黙的な加重予測とPフレームの明示的な加重予測が含まれます。
MPEG-2パート2の「DC」予測とH.263v2およびMPEG-4パート2の変換係数予測の代わりに、「イントラ」コーディング用の隣接ブロックのエッジの空間予測。
これには、16×16、8×8、および4×4の輝度予測ブロックサイズが含まれます（各マクロブロックで使用できるタイプはXNUMXつだけです）。
2）ロスレスマクロブロックコーディング機能には次のものがあります。
ロスレスの「PCMマクロブロック」は、ビデオデータサンプルを直接表すモードを表し、[34]は特定の領域の完全な表現を可能にし、各マクロブロックのコード化データの量に厳しい制限を与えます。
強化されたロスレスマクロブロック表現モードでは、一般にPCMモードよりもはるかに少ないビットを使用しながら、特定の領域を完全に表現できます。
以下を含む柔軟なインターレースビデオエンコーディング機能：
マクロブロック適応フレームフィールド（MBAFF）コーディングは、フレームとしてコーディングされた画像にマクロブロックペア構造を使用し、フィールドモードで16×16マクロブロックを許可します（フィールドモード処理がフレームとしての画像エンコーディングで実装されるMPEG-2と比較して）結果として16×8セミマクロブロックが処理されます）。
画像適応型フレームおよびフィールドコーディング（PAFFまたはPicAFF）を使用すると、自由に選択した画像を混合して完全なフレームとしてコーディングできます。この場合、XNUMXつのフィールドを組み合わせてエンコードするか、単一のフィールドとしてコーディングします。
次のような新しい変換設計機能：
正確に一致する整数の4×4空間ブロック変換により、残留信号の正確な配置が可能になり、以前のコーデック設計で一般的な「リンギング」はほとんどありません。 この設計は、1974年にN. Ahmed、T。Natarajan、およびKR Raoによって導入されたよく知られた離散コサイン変換（DCT）と概念が類似しており、離散コサイン変換の参照1です。 ただし、これは単純化されており、正確に指定されたデコードを提供します。
整数の8×8空間ブロック変換を正確に一致させ、4×4変換よりも相関の高い領域をより効率的に圧縮できるようにします。 設計はよく知られているDCTと概念が似ていますが、正確に指定されたデコードを提供するために簡略化および提供されています。
整数変換操作のための4×4と8×8の変換ブロックサイズの間の適応エンコーダー選択。
二次アダマール変換は、クロミナンスDC係数（および特別な場合には輝度）に適用されるメインスペース変換の「DC」係数に対して実行され、滑らかな領域でさらに圧縮されます。
3）定量的設計には以下が含まれます。
対数ステップサイズ制御、より単純なビットレート管理、およびエンコーダによる単純化された逆量子化スケーリング
エンコーダーによって選択された周波数カスタマイズされた量子化スケーリングマトリックスは、知覚ベースの量子化最適化に使用されます
ループデブロッキングフィルターは、他のDCTベースの画像圧縮テクノロジーに共通するブロック効果を防ぎ、より良い外観と圧縮効率を実現するのに役立ちます。
4）エントロピーコーディングの設計には次のものが含まれます。
コンテキスト適応型バイナリ算術コーディング（CABAC）。ビデオストリーム内の構文要素をロスレス圧縮するためのアルゴリズムであり、特定のコンテキストでの構文要素の確率を認識します。 CABACはCAVLCよりも効率的にデータを圧縮しますが、デコードするにはより多くの処理が必要です。
コンテキスト適応可変長コーディング（CAVLC）。これは、量子化された変換係数値のエンコードに使用されるCABACの複雑さの低い代替手段です。 複雑さはCABACよりも低くなりますが、CAVLCは、他の既存の設計で係数をエンコードするために一般的に使用される方法よりも洗練され、より効果的です。
CABACまたはCAVLCによってコーディングされていない多くの構文要素に使用される一般的な単純で高度に構造化された可変長コーディング（VLC）手法は、指数ゴロンコーディング（またはExp-Golomb）と呼ばれます。
5）損失回復機能には次のものが含まれます。
ネットワーク抽象化レイヤー（NAL）の定義により、同じビデオ構文を多くのネットワーク環境で使用できます。 H.264の非常に基本的な設計概念は、自己完結型のデータパケットを生成して、MPEG-4のヘッダー拡張コード（HEC）などの重複するヘッダーを削除することです。 これは、メディアストリームから複数のスライスに関連する情報を分離することによって実現されます。 高度なパラメータの組み合わせは、パラメータセットと呼ばれます。 [35] H.264仕様には、シーケンスパラメータセット（SPS）と画像パラメータセット（PPS）のXNUMX種類のパラメータセットが含まれています。 有効なシーケンスパラメータセットは、エンコードされたビデオシーケンス全体で変更されないままであり、有効な画像パラメータセットは、エンコードされた画像内で変更されないままです。 シーケンスおよび画像パラメータセットの構造には、画像サイズ、採用されたオプションのコーディングモード、マクロブロックからスライスへのグループマッピングなどの情報が含まれています。
スライスグループとも呼ばれる柔軟なマクロブロック順序付け（FMO）、および任意のスライス順序付け（ASO）は、画像内の基本領域（マクロブロック）の表現の順序付けを再構築するために使用される手法です。 一般にエラー/損失の堅牢性関数と見なされているFMOおよびASOは、他の目的にも使用できます。
重要度の高い構文要素と重要度の低い構文要素を異なるデータパケットに分割できる機能であるデータパーティショニング（DP）は、不等エラー保護（UEP）およびその他のタイプのエラー/損失の堅牢性の向上を適用できます。
冗長スライス（RS）、エラー/損失の堅牢性機能。エンコーダーが画像領域の追加表現を送信できるようにします（通常は忠実度が低くなります）。これは、メイン表現が破損または失われた場合に使用できます。
フレーム番号。「サブシーケンス」機能の作成を可能にし、オプションで他の画像の間に追加の画像を含めることで時間的なスケーラビリティを実現し、ネットワークパケット損失またはチャネルによって引き起こされる可能性のある画像全体の損失を検出して非表示にします。エラーが発生しました。
SPスライスおよびSIスライスと呼ばれるスライスの切り替えにより、エンコーダーは、ビデオストリームのビットレート切り替えや「トリックモード」操作などの目的で、進行中のビデオストリームにジャンプするようにデコーダーに指示できます。 デコーダーがSP / SI機能を使用してビデオストリームの中央にジャンプすると、別の画像を使用したり、画像をまったく使用しなかったりしても、ビデオストリームのその位置でデコードされた画像と完全に一致することができます。以前の参照。 スイッチ。
エンコードされたデータの特別なビットシーケンスである開始コードの偶発的なシミュレーションを防ぐために使用される単純な自動プロセスにより、ビットストリームへのランダムアクセスが可能になり、バイト同期が失われる可能性のあるシステムでバイトアライメントが復元されます。
補足エンハンスメント情報（SEI）およびビデオユーザビリティ情報（VUI）は、さまざまな目的でビデオをエンハンスするためにビットストリームに挿入できる追加情報です。 [説明が必要] SEI FPA（Frame Encapsulation Arrangement）には、メッセージの3D配置が含まれています。
アルファ合成やその他の目的に使用できる補助画像。
モノクロ（4：0：0）、4：2：0、4：2：2、4：4：4クロマサブサンプリングをサポートします（選択したプロファイルによって異なります）。
サンプルあたり8〜14ビットの範囲のサンプリングビット深度精度をサポートします（選択したプロファイルによって異なります）。
独自のスライス構造、マクロブロックモード、動きベクトルなどを使用して、各カラープレーンを異なる画像にエンコードできるため、単純な並列構造を使用してエンコーダーを設計できます（4：4：4をサポートするXNUMXつの構成ファイルのみがサポートされます）。 ）。
画像シーケンスカウントは、タイミング情報から分離されたデコードされた画像の画像の順序とサンプル値の特性を維持するために使用され、システムがコンテンツに影響を与えることなくタイミング情報を個別に伝送および制御/変更できるようにしますデコードされた画像。
これらのテクノロジーと他のいくつかのテクノロジーは、H.264がさまざまな状況のさまざまなアプリケーション環境で以前の標準よりも優れたパフォーマンスを発揮するのに役立ちます。 H.264は通常、MPEG-2ビデオよりも優れたパフォーマンスを発揮します。通常、ビットレートの半分以下、特に高ビットレートと高解像度で同じ品質です。
他のISO / IEC MPEGビデオ規格と同様に、H.264 / AVCには、無料でダウンロードできるリファレンスソフトウェアの実装があります。 その主な目的は、H.264 / AVC関数の例を提供することであり、それ自体は有用なアプリケーションではありません。 Motion Picture Experts Groupは、いくつかのリファレンスハードウェア設計作業も行っています。 上記はH.264 / AVCの完全な機能であり、H.264のすべての構成ファイルをカバーしています。 コーデックのプロファイルは、コーデックの一連の特性であり、目的のアプリケーションの特定の一連の仕様を満たすように識別されます。 これは、一部の構成ファイルがリストされている機能の多くをサポートしていないことを意味します。 H.264 / AVCのさまざまな構成ファイルについては、次のセクションで説明します。
当社の他の製品：
