JP3935419B2

JP3935419B2 - 動画像符号化ビットレート選択方式

Info

Publication number: JP3935419B2
Application number: JP2002335035A
Authority: JP
Inventors: 茂之酒澤; 康弘滝嶋; 正裕和田
Original assignee: KDDI Corp
Current assignee: KDDI Corp
Priority date: 2002-11-19
Filing date: 2002-11-19
Publication date: 2007-06-20
Anticipated expiration: 2022-11-19
Also published as: JP2004172830A

Description

【０００１】
【発明の属する技術分野】
本発明は動画像符号化ビットレート選択方式に関し、特にサーバに蓄積されている動画像コンテンツをパケット化して送信し、携帯電話網を経由して受信する方式に適用して好適な動画像符号化ビットレート選択方式に関する。
【０００２】
【従来の技術】
従来、複数のビットレートで作成した同一内容のコンテンツを予めサーバに蓄積しておき、サーバが、受信端末、例えば携帯電話からの指示に従ってビットレートを切り替えて配信する技術が知られている。この従来技術では、受信端末は、受信の最初からビットレートを指示することに加えて、受信の途中でビットレートを変更する指示をすることも可能であった。受信端末には、例えば受信するビットレートをサーバに指示するボタンが設けられており、ユーザが該ボタンを操作することにより、サーバに受信するビットレートを指示することが可能であった。そして、ユーザが例えば受信画面の一部に対して品質の良い画像を受信したいと思う場合には、該ボタンを操作して、ビットレートを大きくする指示をするのが可能であった。
【０００３】
なお、本発明に関連する公知文献として、例えば２００２年８月発表の２００２年映像情報メディア学会年次大会の11-6“携帯電話ビデオストリーミングシステム設計に関する一検討”や、同11-7“ＴＣＰビデオストリーミングにおける動的符号化レート制御の検討”がある。
【０００４】
【発明が解決しようとする課題】
しかしながら、前記した従来技術は、受信端末で、手動でビットレートを選択する制御しかできなかったため、回線の通信の事情に適合した最適なビットレートを選択することはできないという問題があった。また、手動でビットレートを選択すると、受信バッファがアンダーフローを起こす恐れもあった。
【０００５】
本発明は、前記した従来技術の問題点に基づいてなされたものであり、自動的に最適なビットレートを選択するように制御できる動画像符号化ビットレート選択方式を提供することである。
【０００６】
【課題を解決するための手段】
前記した目的を達成するために、本発明は、複数種類の符号化ビットレートの動画像間で切替可能なように同期ポイントをもった動画像データ群から、同期ポイントまでの受信が終了する度に単一の符号化ビットレートを選択し、動画像データの送受信をするシステムの動画像符号化ビットレート選択方式であって、動画像コンテンツの送信側は、同一内容の画像データを複数の離散的なビットレートｃ［ｎ］（ｎ＝０，１，２，・・・）で作成した複数のファイルを具備し、前記動画像を受信する受信端末は、データを受信して一時蓄積する受信バッファと、現在の同期ポイントのバッファ蓄積量τ（ｔ）を起点とし、次の同期ポイントにおける画像データ受信終了時の受信バッファ蓄積量が、目標値Ｔとなるように該次の同期ポイントまでの前記ビットレートｃ（ｔ）を求め、前記符号化ビットレートｃ［ｎ］は、下式から求められる計算値のビットレートｃ（ｔ）を超えない符号化ビットレートのファイルであるようにした点に特徴がある。
Ｔ＝τ（ｔ）＋Δｔ（１−ｃ（ｔ）／ｖ（ｔ））
ここに、Δｔは同期ポイント間隔、ｖ（ｔ）は網の伝送スループットである。
【０００７】
この発明によれば、、次のまたは複数個先の同期ポイントまでの受信終了時における受信バッファ蓄積量の目標値に応じて、適応的に動画像符号化ビットレートを選択できるようになり、受信バッファをアンダーフローさせない範囲で、できるだけ高い符号化ビットレートを選択することができるようになる。
【０００８】
【発明の実施の形態】
以下に、図面を参照して、本発明を詳細に説明する。図１は、本発明が適用される概略のシステムの構成図を示す。
【０００９】
図示されているように、該システムは、動画像コンテンツの送信側であるサーバ１と、網（ネットワーク）２例えば携帯電話網と、携帯電話等の受信端末３とから構成されている。サーバ１は、周知のように図示されていない有線の情報ネットワークに接続されている。
【００１０】
サーバ１の画像データ蓄積装置１１には、同一内容の画像データを複数のビットレートで作成した複数のファイルが蓄積されている。画像データは、図２に示されているように、同一内容を複数の離散的なビットレートｃ［ｎ］（ｎ＝０，１，２，・・・）、例えばビットレートｃ［０］のビットストリームＡと、ビットレートｃ［１］のビットストリームＢで形成されており、各ビットストリームには定期的に同期ポイントａ１，ａ２，ａ３，・・・；ｂ１，ｂ２，ｂ３，・・・が設定されている。このビットレートｃ［ｎ］は、前記受信端末３に予め通知されている。
【００１１】
前記同期ポイントは、Δｔ間隔、例えば１０秒間隔で設定されている。該同期ポイントでは、この箇所において、異なるビットレート間でデータの切替が可能である。なお、以下では、該同期ポイント間のデータ単位を、“フラグメント”と呼ぶことにする。
【００１２】
該画像データ蓄積装置１１は、配信用のプログラムであるＣＧＩ（commom gateway interface）プログラム１２によりアクセスされ、該ＣＧＩプログラム１２から要求されたビットレートのファイルを提供する。
【００１３】
一方、受信端末３は、受信データを一時的に蓄積する受信バッファ３１と、最適なビットレートを決定し、該ビットレートを網２を介してサーバに通知するコントローラ３２と、該バッファ３１の蓄積量が所定量以上になった時点で受信バッファ３１からデータを読み出しビデオ復号を開始するデコーダ３３を備えている。
【００１４】
次に、本実施形態の動作を、図３のフローチャートを参照して説明する。前記コントローラ３２は、ステップＳ１において、まず最小の符号化ビットレートをサーバ１に通知する。これにより、受信端末３は、最小の符号化ビットレートで受信および再生を開始する。ステップＳ２では、フラグメントの境界まで受信を完了したか否かの判断をする。例えば、図２において、最初にビットストリームＡを受信したとすると、受信が同期ポイントａ１まできたか否かの判断をする。この判断が否定の場合には、該同期ポイントａ１が来るまでデータの受信を続ける。ステップＳ２の判断が肯定になると、ステップＳ３に進んで、コントローラ３２は、受信バッファ３１の蓄積量τ(t)と、網２の伝送スループットｖ(t)を観測する。ここで、受信バッファ３１の蓄積量を、復号可能時間で評価しているのは、同じデータサイズでも、バッファ３１内のビデオデータのビットレートによって、バッファの余裕度が違うためである。例えば、バッファに１００ビット溜まっている時に、突然ネットワークからのデータの到着が途切れたとする。この場合、そのデータが、１０ビット／秒のビデオであれば、１０秒間の余裕があることになるが、もし１００ビット／秒のビデオであれば１秒しか余裕がないことになるからである。前記ビットストリームの同期ポイント間隔をΔｔとしたのも、上記と同様の趣旨である。
【００１５】
次に、ステップＳ４では、現在のバッファ蓄積量τ(t)を出発点として、次のフラグメント受信終了時のバッファ蓄積量が目標値または予想値Ｔとなるように、次のフラグメントの符号化ビットレートｃ(t)を、下記の(1)式から決定する。
Ｔ＝τ(t)＋Δｔ−ｃ(t)Δｔ／ｖ(t) ・・・(1)
ここで、Δｔ（秒）は、前記したように、１フラグメントの間隔を表す。
【００１６】
ステップＳ５では、ｃ(t)は、予め決定された離散的な値ｃ［ｎ］（ｎ＝０，１，２，・・・）を取るように決められているから、ｃ［ｎ］の中で、ｃ(t)を越えない最大のビットレートｃ［ｎ^＊］を選択する。ステップＳ６では、該最大のビットレートｃ［ｎ^＊］をサーバ１へ要求する。そうすると、サーバ１のＣＧＩプログラム１２は、画像データ蓄積装置１１から該ビットレートｃ［ｎ^＊］のファイルを読み出し、パケット化して網２に送出する。この結果、例えば図２において、同期ポイントｂ１でビットストリームＢに切り替えられ、該ビットストリームＢの１フラグメントが受信端末３へ送出されることになる。
【００１７】
前記(1)式の伝送スループットｖ(t)は、これから伝送を要求する次のフラグメントを受信している間の平均ビットレートであり、その値は受信前には分からないため、推定値を用いる必要がある。該推定値は、以下の２つの方法を用いて求めることができる。
方法１・・・直近のΔｔ秒間のスループット瞬時値の移動平均を用いる。
方法２・・・直近のｔ１秒間とｔ２秒間（ｔ１＜ｔ２）のスループット瞬時値の移動平均のうち、小さい方を用いる。
【００１８】
前記方法２は、短時間（ｔ１秒）の観測から急激なスループット低下を検出して符号化ビットレートを下げると共に、長時間（ｔ２秒）の平均スループットに符号化ビットレートを収束させることができるという効果がある。
【００１９】
次に、本発明の第２実施形態を、図４のフローチャートを参照して説明する。図４の図３と同じステップは図３の機能と同じであるので、説明を省略する。前記の第１実施形態では、場合によってはフラグメントを受信する度に符号化ビットレートの切替が発生して、再生画像の画質が頻繁に変化する恐れがある。この実施形態では、この恐れを解消するために、次の制約を設定した。
(1)符号化ビットレートを引き上げる場合には、段階的に引き上げる。つまり、２段階以上は引き上げない。
(2)符号化ビットレートを引き下げる場合には、制限を設けない。つまり、２段階以上であっても一気に引き下げる。
【００２０】
前記(1)の制約により、大幅に画質が変化したり、急に受信バッファがアンダーフローする危険が増すのを防止できる。また、前記(2)の制約により、受信バッファがアンダーフローする危険を短時間で解消することができる。前記制約により、受信バッファがアンダーフローを起こさない範囲で、できるだけ高い符号化ビットレートを選択できるようになる。
【００２１】
図４は、該(1)、(2)を満足するものであり、ステップＳ７では、ステップＳ５で選択したビットレートｃ［ｎ^＊］が、前回のｃ［ｎ^＊］に比べて小さいか否かの判断がなされる。小さければ、ステップＳ６に進んで、該ｃ［ｎ^＊］をサーバに要求する。ステップＳ７の判断が否定の時には、ステップＳ８に進み、ステップＳ５で選択したビットレートｃ［ｎ^＊］が、前回のｃ［ｎ^＊］に比べて２段階以上大きいか否かの判断がなされる。この判断が否定の時には、前記ステップＳ６に進む。ステップＳ８の判断が肯定の時、すなわち前回のｃ［ｎ^＊］に比べて２段階以上大きい場合には、ステップＳ９に進み、前回のｃ［ｎ^＊］の１段階上のｃ［ｎ^＊］を選択する。そして、前記ステップＳ６に進む。
【００２２】
次に、本発明の第３実施形態を説明する。この実施形態は、符号化ビットレートを引き上げる時には、引き上げたレートを、ｎフラグメント連続して維持できる制約を課したものである。この制約を課すことにより、受信バッファがアンダーフローを起こすのを、極力防止できるようになる。
【００２３】
具体的には、前記図３、図４のステップＳ４の(1)式を、下記の(2)式に変えるようにする。
Ｔ＝τ(t)＋Δｔ×ｎ−ｃ(t)（Δｔ×ｎ）／ｖ(t) ・・・(1)
【００２４】
【発明の効果】
以上の説明から明らかなように、請求項１〜５の発明によれば、受信バッファをアンダーフローさせない範囲で、できるだけ高い符号化ビットレートを選択することができるようになる。また、網の伝送スループットの変化に対して、適応的に符号化ビットレートを選択し、条件が許す範囲で、最高の画質の画像を提供できるという効果もある。
【００２５】
また、請求項２，３の発明によれば、上記の効果に加えて、これから伝送を要求する次のフラグメントを受信している間の平均ビットレートを、適応的に求めることができるようになる。
【図面の簡単な説明】
【図１】本発明を適用して好適な送受信システムの概略の構成を示すブロック図である。
【図２】ビットストリームの本発明に係る構成を示す図である。
【図３】本発明の第１、第３実施形態の動作を示すフローチャートである。
【図４】本発明の第２、第３実施形態の動作を示すフローチャートである。
【符号の説明】
１・・・サーバ、２・・・携帯電話網、３・・・受信端末、１１・・・画像データ蓄積装置、１２・・・ＣＧＩプログラム、３１・・・受信バッファ、３２・・・コントローラ、３３・・・デコーダ。

Claims

複数種類の符号化ビットレートの動画像間で切替可能なように同期ポイントをもった動画像データ群から、同期ポイントまでの受信が終了する度に単一の符号化ビットレートを選択し、動画像データの送受信をするシステムの動画像符号化ビットレート選択方式であって、
動画像コンテンツの送信側は、同一内容の画像データを複数の離散的な符号化ビットレートｃ［ｎ］（ｎ＝０，１，２，・・・）で作成した複数のファイルを具備し、
前記動画像を受信する受信端末は、データを受信して一時蓄積する受信バッファと、現在の同期ポイントのバッファ蓄積量τ（ｔ）を起点とし、次の同期ポイントにおける画像データ受信終了時の受信バッファ蓄積量が、目標値Ｔとなるように該次の同期ポイントまでの前記ビットレートｃ（ｔ）を求め、該動画像符号化ビットレートｃ（ｔ）のファイルを送信側に要求する手段とを具備し、
前記符号化ビットレートｃ［ｎ］は、下式から求められる計算値のビットレートｃ（ｔ）を超えない符号化ビットレートのファイルであることを特徴とする動画像符号化ビットレート選択方式。
Ｔ＝τ（ｔ）＋Δｔ（１−ｃ（ｔ）／ｖ（ｔ））
ここに、Δｔは同期ポイント間隔、ｖ（ｔ）は網の伝送スループットである。
請求項１に記載の動画像符号化ビットレート選択方式において、
前記網の伝送スループットｖ（ｔ）は、現在またはその直近の伝送スループットの短期平均値と長期平均値のうちの小さい方であることを特徴とする動画像符号化ビットレート選択方式。
請求項１または２に記載の動画像符号化ビットレート選択方式において、
前記送信側は符号化ビットレートの選択時に、ビットレートを下げる時には計算値のビットレートｃ（ｔ）の近傍の符号化ビットレートｃ［ｎ］まで一気に、一方ビットレートを上げる時には段階的に計算値を超えない符号化ビットレートｃ［ｎ］まで引き上げて符号化データを伝送するようにしたことを特徴とする動画像符号化ビットレート選択方式。