FMUSER Wirlessはビデオとオーディオをより簡単に送信します!
es.fmuser.org
it.fmuser.org
fr.fmuser.org
de.fmuser.org
af.fmuser.org ->アフリカーンス語
sq.fmuser.org ->アルバニア語
ar.fmuser.org ->アラビア語
hy.fmuser.org ->アルメニア語
az.fmuser.org ->アゼルバイジャン
eu.fmuser.org ->バスク
be.fmuser.org ->ベラルーシ語
bg.fmuser.org ->ブルガリア語
ca.fmuser.org ->カタロニア語
zh-CN.fmuser.org ->中国語(簡体字)
zh-TW.fmuser.org ->中国語(繁体字)
hr.fmuser.org ->クロアチア語
cs.fmuser.org ->チェコ
da.fmuser.org ->デンマーク語
nl.fmuser.org ->オランダ語
et.fmuser.org ->エストニア語
tl.fmuser.org ->フィリピン人
fi.fmuser.org ->フィンランド語
fr.fmuser.org ->フランス語
gl.fmuser.org ->ガリシア語
ka.fmuser.org ->グルジア語
de.fmuser.org ->ドイツ語
el.fmuser.org ->ギリシャ語
ht.fmuser.org ->ハイチクレオール
iw.fmuser.org ->ヘブライ語
hi.fmuser.org ->ヒンディー語
hu.fmuser.org ->ハンガリー語
is.fmuser.org ->アイスランド語
id.fmuser.org ->インドネシア語
ga.fmuser.org ->アイルランド
it.fmuser.org ->イタリア語
ja.fmuser.org ->日本語
ko.fmuser.org ->韓国語
lv.fmuser.org ->ラトビア語
lt.fmuser.org ->リトアニア語
mk.fmuser.org ->マケドニア語
ms.fmuser.org ->マレー語
mt.fmuser.org ->マルタ語
no.fmuser.org ->ノルウェー語
fa.fmuser.org ->ペルシア語
pl.fmuser.org ->ポーランド語
pt.fmuser.org ->ポルトガル語
ro.fmuser.org ->ルーマニア語
ru.fmuser.org ->ロシア語
sr.fmuser.org ->セルビア語
sk.fmuser.org ->スロバキア
sl.fmuser.org ->スロベニア語
es.fmuser.org ->スペイン語
sw.fmuser.org ->スワヒリ語
sv.fmuser.org ->スウェーデン語
th.fmuser.org ->タイ
tr.fmuser.org ->トルコ語
uk.fmuser.org ->ウクライナ語
ur.fmuser.org ->ウルドゥー語
vi.fmuser.org ->ベトナム人
cy.fmuser.org ->ウェールズ
yi.fmuser.org ->イディッシュ語
モバイルライブ放送技術の課題は、従来の機器やコンピューターライブ放送とはかけ離れています。 その完全な処理リンクには、オーディオとビデオの取得、美容/フィルター/特殊効果処理、コーディング、パケット、ストリーミング、トランスコーディング、配信、デコード/レンダリング/再生などが含まれますが、これらに限定されません。
ライブ放送の一般的な問題は次のとおりです。
不安定なネットワーク環境でホストストリームを安定させるにはどうすればよいですか?
遠隔地の視聴者は、どうすれば生放送を高解像度でスムーズに視聴できますか?
ライブカードの瞬間にインテリジェントに回線を切り替える方法は?
生放送品質指数の精度を測定し、リアルタイムで調整するにはどうすればよいですか?
モバイルデバイス上のさまざまなチッププラットフォームで、ビデオを高性能でエンコードおよびレンダリングするにはどうすればよいですか?
美容などのフィルターの特殊効果にどう対処するか?
XNUMX回目の再生を実現するにはどうすればよいですか?
カーディングなしでライブ放送の継続的な放送をスムーズにするにはどうすればよいですか?
この共有により、モバイル放送のコアテクノロジーの謎が明らかになります。
1.ビデオ、生放送などの基礎知識
ビデオとは何ですか?
まず、最も基本的な概念のXNUMXつであるビデオを理解する必要があります。 知覚の観点から、ビデオは楽しさに満ちた映画であり、映画であり、短編映画であり、一貫した視覚的インパクトパフォーマンスの豊富な画像と音声です。 しかし、合理的な観点からは、ビデオは構造化されたデータです。 工学用語で解釈できます。 ビデオを次の構造に分析できます。
1)モバイルライブ放送技術(pptを含む)の最適化に関するXNUMX番目の経験
2)コンテンツ要素
3)画像
4)オーディオ
5)メタ情報
6)コーデック
ビデオ:H.264、H.265、…
オーディオ:AAC、HE-AAC、…
7)コンテナ
MP4、MOV、FLV、RM、RMVB、AVI、…
すべてのビデオビデオファイルは、構造的に、そのような構成方法です。
1)最も基本的なコンテンツ要素は画像と音声で構成されています。
2)画像はビデオコーディングと圧縮形式(通常はH.264)で処理されます。
3)オーディオはオーディオコーディング圧縮形式(AACなど)で処理されます。
4)対応するメタ情報(メタデータ)を示します。
最後に、コンテナパッケージ(MP4など)が完成して、完全なビデオファイルが形成されます。
わかりにくいと感じたら、ケチャップのボトルを想像してみてください。 外層のボトルは容器のようなもので、ボトルに表示されている原材料や加工工場の情報はメタデータのようなものです。 ボトルのキャップを開けた(開梱した)後、ケチャップ自体は圧縮処理後のエンコードされたコンテンツのようになります。 トマトと調味料をケチャップに加工するプロセスはコーディングのようなものですが、原材料のトマトと調味料は最もオリジナルのコンテンツ要素に最も似ています。
2.ビデオのリアルタイム送信
要するに、合理的な認知ビデオ構造は、ビデオ放送を理解するのに役立ちます。 ビデオが一種の構造化データである場合、ビデオブロードキャストは間違いなくこの「構造化データ」(ビデオ)をリアルタイムで送信する方法です。
したがって、明らかな質問は、この構造化データをリアルタイムでどのように送信できるかということです。
パラドックスは次のとおりです。コンテナパッケージのビデオは不変のビデオファイルである必要があり、「相対性理論」によると、不変のビデオファイルはすでに制作結果であり、この制作結果はリアルタイムレベルで正確ではなく、メモリでした。時間と空間の。
したがって、ビデオ放送は「制作、送信、消費」のプロセスでなければなりません。 つまり、元のコンテンツ要素(画像と音声)から完成品(ビデオファイル)に至る前に、ビデオの中間プロセス(コーディング)を詳しく調べる必要があります。
3.ビデオコーディングの圧縮
ビデオコーディングと圧縮技術を見てみましょう。
ビデオコンテンツの保存と送信を容易にするために、通常、ビデオコンテンツのボリュームを減らす必要があります。つまり、元のコンテンツ要素(画像と音声)を圧縮する必要があります。圧縮アルゴリズムは、コーディング形式。 たとえば、ビデオの元の画像データはH.264エンコード形式で圧縮され、オーディオサンプリングデータはAACエンコード形式で圧縮されます。
エンコードと圧縮の後、ビデオコンテンツは実際に保存と送信に役立ちます。 ただし、視聴および再生する場合は、それに応じてデコードプロセスも必要になります。 したがって、エンコードとデコードの間にエンコーダーとデコーダーの両方で一種の規則が必要であることは明らかです。 ビデオ画像のコーディングとデコーディングに関して、この規則は単純です。
エンコーダーは複数の画像をエンコードし、セグメント内にGOP(画像のグループ)を生成します。 再生中、デコーダーはデコードのためにGOPのセクションを読み取り、次に画像を読み取り、ディスプレイをレンダリングします。
モバイルライブ放送技術(pptを含む)の最適化に関するXNUMX番目の経験
GOP(画像のグループ)は、XNUMXつのIフレームと複数のB / Pフレームで構成される一連の連続画像です。 これは、ビデオ画像エンコーダーおよびデコーダーアクセスの基本単位です。 その配置シーケンスは、画像の終わりまで繰り返されます。
モバイルライブ放送技術(pptを含む)の最適化に関するXNUMX番目の経験
Iフレームは内部コーディングフレーム(キーフレームとも呼ばれます)、Pフレームは前方予測フレーム(前方参照フレーム)、フレームBは双方向補間フレーム(双方向参照フレーム)です。 つまり、フレームIは全体像ですが、PおよびBレコードはIフレームに対して変化します。
Iフレームがないと、PフレームとBフレームをデコードできません。
モバイルライブ放送技術(pptを含む)の最適化に関するXNUMX番目の経験
要約すると、画像部分データがGOPのセットであるのに対し、単一のGOPはI / P / Bフレーム画像のセットであるビデオ。
このような幾何学的な関係では、ビデオは「オブジェクト」のようなものであり、GOPは「分子」のようなものであり、I / P / Bフレームのイメージは「原子」のようなものです。
物体の透過を原子に変え、光速で最小の粒子に変えて、人間の肉眼で知覚したとしたら、どんな経験になるか想像してみてください。
4.ビデオライブとは何ですか?
頭脳の穴を開けるのは難しいことではありません、生放送はそのような経験です。 ビデオライブ技術は、最小粒子(I / P / Bフレーム)であり、時系列に基づいて光速で伝送する技術です。
要するに、ライブブロードキャストは、データ(ビデオ/オーディオ/データフレーム)とタイムスタンプをストリーミングするプロセスです。 送信機は、オーディオおよびビデオデータを継続的に収集し、コーディング、パケット、プッシュフローを介して拡散し、リレー配信ネットワークを介して拡散します。 再生側はデータを継続的にダウンロードし、時系列に従ってデコードして再生します。 このようにして、「制作・送信・消費」の生放送プロセスを実現します。
ビデオとライブ放送に関する上記のXNUMXつの基本概念を理解すると、ライブ放送のビジネスロジックを理解できます。
生放送のビジネスロジック
これは、合理化されたXNUMX対多のライブサービスモデルと、異なるレベル間のプロトコルです。
モバイルライブ放送技術(pptを含む)の最適化に関するXNUMX番目の経験
契約の違いは次のとおりです
モバイルライブ放送技術(pptを含む)の最適化に関するXNUMX番目の経験
モバイルライブ放送技術(pptを含む)の最適化に関するXNUMX番目の経験
上記は、ライブ放送技術に関するいくつかの基本的な概念です。 次に、人々の視覚体験に影響を与えるライブパフォーマンス指標をさらに理解します。
視覚体験に影響を与えるライブ放送のパフォーマンスインデックス
ライブブロードキャストの最初のパフォーマンス指標は遅延です。これは、データが情報ソースから宛先に送信されるのに必要な時間です。
モバイルライブ放送技術(pptを含む)の最適化に関するXNUMX番目の経験
アインシュタインの狭い相対性理論によると、光速はすべてのエネルギー、物質、情報が達成できる最高速度です。 この結論は、伝送速度に限界を設定します。 そのため、肉眼でリアルタイムに感じても、実際にはある程度の遅れがあります。
モバイルライブ放送技術(pptを含む)の最適化に関するXNUMX番目の経験
rtmp / hlsはTCPを介したアプリケーション層プロトコルに基づいているため、TCPハンドシェイクはXNUMX回、XNUMXウェーブであり、スロースタートプロセスのすべてのラウンドトリップにラウンドトリップ時間(RTT)が追加され、遅延が増加します。
モバイルライブ放送技術(pptを含む)の最適化に関するXNUMX番目の経験
第二に、TCPパケット損失の再送信の特性によれば、ネットワークジッタはパケット損失の再送信を引き起こし、間接的に遅延の増加につながる可能性があります。
モバイルライブ放送技術(pptを含む)の最適化に関するXNUMX番目の経験
完全なライブブロードキャストプロセスには、収集、処理、コーディング、パケット、ストリーミング、送信、トランスコーディング、配信、ストリーミング、デコード、および再生のリンクが含まれますが、これらに限定されません。 ストリーミングから再生、そして中間転送リンクを介して、遅延が少ないほど、ユーザーエクスペリエンスが向上します。
ライブ放送のXNUMX番目のパフォーマンス指標は、ビデオ再生プロセスの表示フレームの遅れであり、これは人々に「カード」を感じさせます。 単位時間に再生されたヒット数の統計は、カートレートと呼ばれます。
Catonを引き起こす要因は、ストリーミングエンドのデータ中断、パブリックネットワーク送信の輻輳または異常なネットワークジッター、または端末デバイスの不十分なデコードパフォーマンスである可能性があります。 Catonの頻度が少ないかまったくないほど、ユーザーエクスペリエンスは向上します。
XNUMX番目のライブパフォーマンスインジケーターの最初の画面は時間がかかります。これは、最初のクリックして再生した後、画面が肉眼で見えるのを待っている時間を指します。 技術的には、プレーヤーがレンダリング表示の最初のフレームをデコードするのにかかる時間を指します。 一般的に、「セカンドオン」とは、再生をクリックしてからXNUMX秒以内に画面が表示されることを指します。 最初の画面が速く開くほど、ユーザーエクスペリエンスは向上します。
上記のXNUMXつのライブ放送パフォーマンス指標は、ユーザーエクスペリエンス要件の低遅延、高解像度のスムーズ、高速秒に対応します。 これらのXNUMXつのパフォーマンス指標を理解することは、モバイルライブアプリのユーザーエクスペリエンスを最適化するために非常に重要です。
では、モバイルライブブロードキャストの一般的な落とし穴は何ですか?
実際に要約された経験によると、モバイルプラットフォームでのビデオライブブロードキャストの落とし穴は、ネットワーク環境でこれらのシーンによってもたらされる機器の違いと技術テストのXNUMXつの側面に要約できます。
モバイル生放送シーンの落とし穴と回避策
異なるチッププラットフォームでのコーディングの違い
モバイルライブ放送技術(pptを含む)の最適化に関するXNUMX番目の経験
IOSプラットフォームでのハードコーディングまたはソフトコーディングに関係なく、Appleの工場であるため、チッププラットフォームが異なることによるコーディングの違いはほとんどありません。
ただし、Androidプラットフォームでは、AndroidフレームワークSDKが提供するmediacodecエンコーダーは、チッププラットフォームによって大きく異なります。 メーカーが異なれば使用するチップも異なりますが、Androidメディアコーデックのパフォーマンスはチッププラットフォームによってわずかに異なり、プラットフォーム全体の互換性を実現するためのコストは低くありません。
さらに、AndroidメディアコーデックハードコーディングレイヤーのH.264コーディング品質パラメーターは固定ベースであるため、通常、ペイントの品質も一般的です。 したがって、Androidプラットフォームでは、ソフト編集を使用することをお勧めします。利点は、ペイントの品質を調整でき、互換性が向上することです。
高性能のローエンド機器を収集してコーディングするにはどうすればよいですか?
モバイルライブ放送技術(pptを含む)の最適化に関するXNUMX番目の経験
たとえば、カメラが画像である場合があります。 写真のボリュームは小さくありません。 取得の頻度が非常に高く、コーディングのフレームレートが非常に高い場合、各画像がエンコーダを通過すると、エンコーダが再び過負荷になる可能性があります。
現時点では、コーディング前に、画質に影響を与えることなく(フレームレートのミクロの重要性について説明しました)、フレームを選択的に失うことができ、コーディングリンクの消費電力を削減できると考えられます。
弱いネットワークで高解像度のスムーズなストリーミングを保証する方法
モバイルライブ放送技術(pptを含む)の最適化に関するXNUMX番目の経験
モバイルネットワークでは、ネットワークの不安定性、接続のリセット、破線の再接続、頻繁な再接続が発生しやすく、接続の確立にはオーバーヘッドが必要です。 一方、帯域幅のボトルネックは、特にGPRS / 2G / 3G / 4Gスイッチが発生した場合に発生する可能性があります。 帯域幅が十分でない場合、高フレームレート/高ビットレートのコンテンツを送信するのが難しいため、可変ビットレートのサポートが必要です。
つまり、プッシュエンドでは、ネットワークの状態と単純な速度測定を検出でき、コードレートを動的に切り替えて、ネットワーク切り替え中のプッシュのスムーズなフローを確保できます。
次に、コーディング、パケット、プッシュストリームのロジックも微調整できます。 最初にビデオ参照フレーム(Iフレームとオーディオフレーム)を失うなど、フレームを選択的に失うことを試みることができます。これにより、送信されるデータコンテンツを減らすこともできますが、同時に、影響を与えないという目的を達成できます。塗装の品質とスムーズなオーディオビジュアルバージョン。
ライブストリームのステータスとビジネスステータスを区別する必要があります
ライブブロードキャストはメディアストリームの相互作用であり、アプリはAPIシグナリングストリームであり、両方のステータスを混同することはできません。 特に、ライブストリームのステータスは、APPインタラクションのAPI状態に基づいて判断することはできません。
モバイルライブ放送技術(pptを含む)の最適化に関するXNUMX番目の経験
上記は、ライブモバイルシーンでのいくつかの一般的な落とし穴と回避策です。
モバイルライブ放送シーンのための他の最適化対策
1、伝説の「セカンドオン」に到達するためにオープニングスピードを最適化する方法は?
市場に出回っている携帯電話のライブアプリの中には、非常に高速で少しオンになっているものがあります。 また、一部の携帯電話のライブアプリでは、再生する前に数秒後にクリックして再生します。 何がそのような違いを引き起こしますか?
ほとんどのプレイヤーは、GOPを完了した後、デコードしてプレイできます。 Ffmpegベースのプレーヤーは、オーディオとペイントのタイムスタンプ同期が必要になった後でのみ再生できます(ライブブロードキャストにオーディオがない場合、オーディオのタイムアウトを待った後、ビデオのみが顔を再生できます)。
XNUMXつ目は、次の側面で検討できます。
1.プレーヤーロジックを書き直して、最初のキーフレームを取得した後にプレーヤーを表示します。
GOPの最初のフレームは通常キーフレームであり、ロードされるデータが少ないため、「最初のフレームがXNUMX番目にオン」に達する可能性があります。
ライブサーバーがGOPキャッシュをサポートしている場合、プレーヤーはサーバーとの接続を確立した直後にデータを取得できるため、リージョン間およびオペレーター間でのバックソース送信の時間を節約できます。
GOPは、キーフレームの期間、つまり24つのキーフレーム間の距離、つまりフレームグループ内のフレームの最大数を反映します。 ビデオの一定のフレームレートが1fps(つまり、24秒2フレーム)であり、キーフレーム周期が48Sであると仮定すると、GOPはXNUMX画像です。 一般に、ビデオのXNUMX秒ごとに少なくともXNUMXつのキーフレームが必要です。
キーフレームの数を増やすと、画像の品質が向上しますが(GOPは通常FPSの倍数です)、帯域幅とネットワーク負荷が同時に増加します。 これは、クライアントプレーヤーがGOPをダウンロードすることを意味します。
|
サプライズを取得するには、メールアドレスを入力してください
es.fmuser.org
it.fmuser.org
fr.fmuser.org
de.fmuser.org
af.fmuser.org ->アフリカーンス語
sq.fmuser.org ->アルバニア語
ar.fmuser.org ->アラビア語
hy.fmuser.org ->アルメニア語
az.fmuser.org ->アゼルバイジャン
eu.fmuser.org ->バスク
be.fmuser.org ->ベラルーシ語
bg.fmuser.org ->ブルガリア語
ca.fmuser.org ->カタロニア語
zh-CN.fmuser.org ->中国語(簡体字)
zh-TW.fmuser.org ->中国語(繁体字)
hr.fmuser.org ->クロアチア語
cs.fmuser.org ->チェコ
da.fmuser.org ->デンマーク語
nl.fmuser.org ->オランダ語
et.fmuser.org ->エストニア語
tl.fmuser.org ->フィリピン人
fi.fmuser.org ->フィンランド語
fr.fmuser.org ->フランス語
gl.fmuser.org ->ガリシア語
ka.fmuser.org ->グルジア語
de.fmuser.org ->ドイツ語
el.fmuser.org ->ギリシャ語
ht.fmuser.org ->ハイチクレオール
iw.fmuser.org ->ヘブライ語
hi.fmuser.org ->ヒンディー語
hu.fmuser.org ->ハンガリー語
is.fmuser.org ->アイスランド語
id.fmuser.org ->インドネシア語
ga.fmuser.org ->アイルランド
it.fmuser.org ->イタリア語
ja.fmuser.org ->日本語
ko.fmuser.org ->韓国語
lv.fmuser.org ->ラトビア語
lt.fmuser.org ->リトアニア語
mk.fmuser.org ->マケドニア語
ms.fmuser.org ->マレー語
mt.fmuser.org ->マルタ語
no.fmuser.org ->ノルウェー語
fa.fmuser.org ->ペルシア語
pl.fmuser.org ->ポーランド語
pt.fmuser.org ->ポルトガル語
ro.fmuser.org ->ルーマニア語
ru.fmuser.org ->ロシア語
sr.fmuser.org ->セルビア語
sk.fmuser.org ->スロバキア
sl.fmuser.org ->スロベニア語
es.fmuser.org ->スペイン語
sw.fmuser.org ->スワヒリ語
sv.fmuser.org ->スウェーデン語
th.fmuser.org ->タイ
tr.fmuser.org ->トルコ語
uk.fmuser.org ->ウクライナ語
ur.fmuser.org ->ウルドゥー語
vi.fmuser.org ->ベトナム人
cy.fmuser.org ->ウェールズ
yi.fmuser.org ->イディッシュ語
FMUSER Wirlessはビデオとオーディオをより簡単に送信します!
お問い合わせ
カテゴリー
ニュースレター