キーワード：非同期オーディオおよびビデオMPEG-2 PCR DTSPTSエンコーダデコーダ
私の国でのデジタルテレビの急速な発展と都市のラジオおよびテレビネットワークのデジタル変革の進歩により、ますます多くの人々がデジタルテレビ番組を見るためにセットトップボックスを使用し始めています。 しかし、セットトップボックスを介してテレビ番組を視聴する過程で、視聴者は一部のオーディオとビデオが同期していないことに気付くことがあります。 これも私たちの注意を引いた。
現象とテスト
貴陽市は基本的に2007年末にラジオとテレビのネットワークのデジタルトランスフォーメーションを完了し、貴州テレビ局の番組もデジタルネットワークの送信に入っています。 デジタルネットワークに入った後、私たちのステーションのいくつかのプログラムは、特にニュースが衛星ビデオチャンネルとピープルチャンネルで放送されたときに、いくつかの地域でオーディオとビデオの非同期の現象を持っていることがわかりました。 問題がどこにあるかを見つけるために、プログラムの伝送パス全体でリップシンクテストを実行することにしました。 テストに使用した機器はTektronixWFM7120です。 オーディオ/ビデオ遅延測定を行う場合、TG700 DVG7を介して一連の短いカラーバービデオ信号を生成する必要もあります。オーディオシーケンスは、5秒間隔でこのビデオ信号のグループに埋め込まれ、そのような信号をに送信します。テスト対象のシステム、最後に信号をWFM7120に送信して、オーディオとビデオのタイミング差を測定します。
放送管制センター内部試験
図1に示すように、テレビ局システムにオーディオ/ビデオ遅延の違いがあるかどうかを測定するために、検査時間を使用して、TG700によって生成されたテスト信号を放送ハードディスクに記録し、ハードディスクで再生します。テスト信号を遅延器に入力します。 フレーム同期モジュールの後、チャネルでブロードキャストされ、送信部門がネットワーク会社のエンコーダに信号を送信する前に、これら12つの信号を測定します。 測定結果は、これらXNUMXつの信号の音声/ビデオ遅延差がXNUMXmsを超えないこと、つまりXNUMXつのフィールドでは不十分であることを示しています。これは、信号に放送コントロールセンターでの音声とビデオの同期の問題がないことを示しています。
さまざまなセットトップボックスのテスト
2番目の測定ポイントには、ネットワーク会社のフロントエンドコンピュータールームを選択しました。 図700に示すように、ここでは、現在中国でテストに使用されているセットトップボックスの主要ブランドを選択しました。 使用している元のエンコーダーでTG7120テスト信号をエンコードした後、現在放送しているチャンネルに挿入します。 次に、フロントエンドのコンピュータルームにあるセットトップボックスを使用して、TV信号を復調します。 デコードされたオーディオ/ビデオ信号は、A / D後の測定と、パナソニックD950ビデオレコーダーを介したアナログ信号の埋め込みのためにWFM150に送信されます。 測定結果は、これらのタイプのセットトップボックスのオーディオ/ビデオ遅延の違いが異なり、300ミリ秒より進んでいるものと、XNUMXミリ秒遅れているものがあることを示しています。 これは、同じデジタルTV信号を復調およびデコードした後、異なるセットトップボックスがオーディオ/ビデオ信号間の同期関係を維持するための異なる機能を備えていることを示しています。
さまざまなエンコーダーのテスト
図3に示すように、引き続きTG700信号発生器を使用してさまざまなエンコーダーをテストし、エンコーダー、変調器、セットトップボックスを使用してシミュレートされた放送/視聴環境を構築できます。 ここでは、さまざまなブランドのいくつかのエンコーダーを使用しています。 TG700のテスト信号をエンコードした後、同じ変調器で変調し、同じセットトップボックスで信号をデコードします。 また、D950によって処理され、測定のためにWFM7120に送信されます。 最終的な測定結果は、オーディオ/ビデオの遅延差の一部が30ミリ秒で、一部が300ミリ秒に達することです。これは、異なるエンコーダーがセットトップボックスの最終的な表示信号のオーディオ/ビデオ同期に大きな影響を与えることを示しています。
原因分析
MPEG-2システムのタイミング原理
現在、私の国のデジタルTV伝送システムでは、MPEG-2標準が重要なオーディオおよびビデオ圧縮標準です。 これは、ソース側でプログラム信号を圧縮、エンコード、および多重化し、受信側で信号を逆多重化およびデコードします。 広く使用されています。 私たちが使用しているデジタル伝送システムは、MPEG-2規格に基づいています。 図2に示すように、MPEG-4のシステム構造を見てみましょう。
図4から、圧縮エンコーダーによって冗長な情報が削除された後、オーディオ信号とビデオ信号が基本ストリームを形成していることがわかります。 この基本コードストリームは、直接保存または送信することはできません。 特定のパッカーに送信する必要があります。 エレメンタリーコードストリームは、特定の形式に従って段落に分割され、特定の識別文字が追加されて、いわゆるパックドエレメンタリーコードストリーム（PES）が形成されます。 PESパケットは、可変長のオーディオおよびビデオデータパケットです。 次に、オーディオおよびビデオのPESパケットと補助データが送信サブシステムに送信され、送信サブシステムは188bの固定長の小さなデータパケットに分割され、時分割多重化によって多重化されます。 単一のTSストリームが形成され、TSストリームは、チャネルを介した送信後に受信側に到達します。
ご存知のように、同期は正しいテレビ表示のための必要条件です。 デジタルTVの場合、圧縮およびエンコードプロセス中に信号を格納するためにバッファが使用されるため、マルチプレクサ内の信号の時間軸が変更され、さらにデータの冗長性の量が異なり、圧縮率も異なります。時間軸特にフレームグループレイヤー処理で大きな変化があり、BフレームとPフレームの順序も変更されました。 これらすべてにより、デジタルTV信号の同期は、元のシーケンスの概念を完全に失います。 同期を実現する効果的な方法は、指定された間隔が経過するたびに信号コードストリームに時間ラベルを追加することです。 このタグを使用すると、表示前のデコード処理中にこのタイムタグに従って受信側の順序を変更したり、圧縮およびエンコード前の画像の順序を再構築したり、音声と画像の時間関係を再構築したりして、画像の同期と音は画像と同期しています。
図4から、MPEG-27エンコーダーには単一の共通システムクロックSTC（2MHz）があることもわかります。 このクロックは、オーディオ/ビデオの正しいデコードと表示タイミングを示すタイムスタンプを生成するために使用されます。 同時に、サンプリングを示すために使用することができます。瞬時システムクロック時間の瞬時値。 クロックは、入力ビデオのライン同期によって位相ロックされます。 入力がSDI信号の場合、エンコーダーのシステムクロックは、クロックを10で割った値で生成されます。これは、エンコーダーでの共通システムクロックの出現、およびデコーダーでのクロックの再生と正しいものです。デコーダーでの操作の正しい同期の基礎を提供するタイムスタンプの使用。 コーデックのクロック同期を実現するために、STCシステムクロックがエンコーダでカウントされ、カウンタのサンプリング値が、デコードとして、特定の送信時間ごとに、選択されたTSパケットのアダプテーションヘッダーで受信機に送信されます。 PCRであるプロセッサのプログラムクロック基準信号。 PCRの有効ビットは42bで、そのうち上位33bは27MHzクロックとクロックを300で割った単位のカウント値であるPCR_Baseであり、下位9bは27MHzクロックのカウント値であるPCR_Extensionです。ユニットとして。 PCRに加えて、デコード時間ラベルDTSと表示時間ラベルPTSも非常に重要です。 それらはPCR_Baseに似ています。 また、エンコーダの27MHzシステムクロックを単位カウント値として300で割って作成されます。 その中で、DTSは、受信した画像とオーディオフレームをいつデコードするかをデコーダに指示するために使用され、PTSは、デコードされた画像フレームをいつ表示するかを通知するために使用されます。
双方向エンコーディングを使用する場合、特定の画像のデコードは、Bフレーム画像をデコードするためのソースデータとして使用できるように、表示される前に一定期間内に実行する必要があります。 たとえば、画像の表示順序はIBBPですが、画像の送信順序はIPBBです。 MPEG参照モデルは、デコードが瞬時に行われる、つまり、デコードと表示が同時に実行されると考えています。 オーディオフレームとイメージBフレームの場合、デコード時間と表示時間は同じであり、PTSはDTSと同じであるため、PTSのみを送信する必要があります。 ビデオIフレームとPフレームの場合、フレームの並べ替えにより、デコード時間と表示時間が異なり、PTSとDTSを同時に送信する必要があります。 デコーダーはIPBB画像シーケンスを受信すると、最初のBフレーム画像をデコードする前にIフレーム画像とPフレーム画像をデコードする必要があります。 デコーダーは一度に1フレームの画像しかデコードできないため、最初にIフレーム画像をデコードして保存します。 Pフレーム画像をデコードすると、デコードされたIフレーム画像を出力して表示し、Bフレーム画像をデコードして表示します。 表2、3、4、およびXNUMXは、エンコーダーの入力画像と出力画像のシーケンス、各フレームのPTS値とDTS値、およびデコーダーによる画像の各フレームのデコードと表示のシーケンスを示しています。
表1では、13フレームの画像が画像のグループを構成し、最初のフレームIフレームはフレーム内コーディングを使用し、2番目とXNUMX番目のBフレームは、XNUMX番目とXNUMX番目のフレームからの双方向予測によって取得され、XNUMX番目のフレームPフレームは最初のフレームを通過しました。 前方予測から派生。 最初のフレームをエンコードした後、エンコーダは最初にXNUMX番目とXNUMX番目のフレームをバッファリングし、XNUMX番目のフレームをエンコードし、次にXNUMX番目とXNUMX番目のフレームをエンコードします。以下同様に、エンコードされた最終的な出力シーケンスを表XNUMXに示します。
表3と表4から、デコーダーがIフレーム画像を含む特定のアクセスユニットを受信すると、ファイルデータパケットにはDTSとPTSが含まれている必要があり、これら1つのタグの値の間の時間間隔は2であることがわかります画像期間。 Iフレーム画像がPフレームになった後、ファイルデータパケットにDTSとPTSも含まれている必要があり、3つのタグの値の間の時間間隔は4画像周期です。 次に、7つのBフレームがあり、そのファイルデータパケットにはPTSのみが含まれています。 つまり、Iフレーム画像は、デコード後1フレームの遅延後に再生および表示されます。 Iフレームが表示されている場合、XNUMX番目のフレームPフレームはデコードされますが、再生および表示されません。 最初にキャッシュされ、XNUMXIフレームが再生および表示された後、すぐにXNUMXBフレームをデコードして表示し、次にXNUMXBフレームを表示し、次にバッファリングされたXNUMXPフレームを表示し、同時にXNUMXPフレームをデコードしてバッファリングします。 デコードおよび表示された画像のシーケンスは、表XNUMXの画像入力のシーケンスと一致していることがわかります。
デコーダーのタイミング原理（セットトップボックス）
PTSとDTSは33bの値です。 PCRで表される時間軸への参照がない場合、この値は無意味です。 正しいデコードを維持するには、エンコーダーとデコーダー（セットトップボックス）のシステムクロックをロックしておく必要があります。つまり、それらの周波数を同じに保ち、それぞれのカウンターの初期値を同じにします。
デコーダー（セットトップボックス）には、周波数が約27MHzの電圧制御発振器（VCO）があります。 出力信号はシステムクロックとしてカウンタに送信され、現在のSTCサンプル値が生成されます。これはPCRのように42bの値です。 その中で、高い33bは27ピンク周波数後の300MHzクロック単位のカウント値であり、低い9bは27MHzクロック単位のカウント値です。 新しいプログラムがデコーダー（セットトップボックス）に到着すると、デコーダー（セットトップボックス）はコードストリームからPCR値を取得し、そのPCR_Extention値を現在のSTCの下位9bビットと比較してエラーを取得します。信号を送信し、フェーズロックループ回路を通過します。 デコーダー（セットトップボックス）のシステムクロック周波数がエンコーダーのシステムクロック周波数と一致するように、電圧制御発振器を調整します。 コードストリームから各フレームのPTS値とDTS値を順番に取得し、現在のSTC値の上位33bビットと比較します。 DTS値がSTC値より大きい場合、コードストリームはバッファリングされ、同時にSTC値の変更が監視されます。 STC値が増加してDTS値と等しくなると、フレームコードストリームがデコードされます。 STC値がPTS値と等しい場合は、フレームを再生します。 伝送ネットワークのバッファ遅延ジッターが原因で、コードストリームがデコーダー（セットトップボックス）に到達したときに、そのPTS値がすでにSTC値よりも小さい場合、デコーダー（セットトップボックス）はこのフレームをスキップし、フレームデータを破棄します。 PTSとDTSはPCR値に基づいて生成されるため、最初に取得したPCR値を初期値として使用して、デコーダー（セットトップボックス）のSTCカウンターを設定し、それらの値を同じにする必要があります。タイムベースは異なります。 、したがって、デコードエラー。 オーディオとビデオの処理は似ていますが、タイミングの再配置の問題はありません。 図5に、デコーダー（セットトップボックス）PCRの動作原理図を示します。
オーディオとビデオが同期していない理由
実際のアプリケーションでは、一部のエンコーダは、入力ビデオ信号の不安定なタイムベースのために出力クロックにジッタを引き起こし、フレーム同期間隔は40msではありません。 これらのエンコーダでは、PCRとバッファリング遅延に従って初期DTS値を設定した後、各フレームのDTS値は、前のDTSに固定値を加算することによって取得されます（この値は次のように計算できます：27MHzを300で除算します。 90kHz、PAL TVは25フレーム/秒であるため、値は90000/25 = 3600）であり、PTS値はフレームタイプとGOPタイプに従って計算されます。 ただし、この期間中、PCR値は3600増加しなかったため、DTSおよびPTSはPCRに比べて大きくなったり小さくなったりしました。 一部のデコーダー（セットトップボックス）は電圧制御発振器を使用せず、システムクロックは固定27MHzですが、受信したPCR値を使用してローカルシステムクロックカウンターの値を初期化します。 エンコーダーとデコーダー（セットトップボックス）は厳密なロックを維持できないため、デコーダー（セットトップボックス）がフレームをドロップする可能性があります。 ただし、一部のデコーダー（セットトップボックス）は、フレーム損失後にDTSおよびPTSに従って厳密にデコードおよび表示するのではなく、バッファーの状況に応じてデコードします。これは、ビデオとオーディオのエンコードの遅延が異なるため、オーディオが発生する可能性があるためです。絵が同期していません。
さらに、エンコーダーからデコーダー（セットトップボックス）への送信プロセスでは、マルチプレクサーやモジュレーターなどの可変遅延バッファーリンクが存在するため、PCRパケットの送信遅延は一定ではなく、大きいものから小さい。 PCRを修正しないと、上記の問題も発生する可能性があります。
総括する
上記の分析から、エンコーダーとデコーダー（セットトップボックス）の両方がオーディオとビデオの非同期の発生を引き起こす可能性があることがわかります。 さまざまなブランドのエンコーダーをテストした後、当ステーションはより優れたテストインジケーターを備えたエンコーダーを選択し、元のエンコーダーを交換しました。これにより、テレビの音声と画像が同期しないという現象が大幅に改善されました。 セットトップボックスを導入する次のステップでは、ネットワーク企業は、視聴者の評価の質を向上させるために、関連する指標のテストも強化します。 もちろん、私の国のラジオとテレビのデジタル化を進める過程で、最終的に完全な成功を収めるためには、テレビ労働者と機器メーカーの共同の努力が必要です。v
当社の他の製品：
