JP6089846B2 - 映像配信システム及びデコーダ並びに映像配信方法 - Google Patents
映像配信システム及びデコーダ並びに映像配信方法 Download PDFInfo
- Publication number
- JP6089846B2 JP6089846B2 JP2013059366A JP2013059366A JP6089846B2 JP 6089846 B2 JP6089846 B2 JP 6089846B2 JP 2013059366 A JP2013059366 A JP 2013059366A JP 2013059366 A JP2013059366 A JP 2013059366A JP 6089846 B2 JP6089846 B2 JP 6089846B2
- Authority
- JP
- Japan
- Prior art keywords
- delay time
- allowable
- video data
- encoding
- image quality
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Description
この発明は、このような事情に鑑みてなされたものであり、画質の低下を抑制しながら映像配信の遅延時間を小さくすることを目的とする。
前述の一般的な説明及び以下の詳細な説明は、典型例及び説明のためのものであって、本発明を限定するためのものではない。
エンコード部12は、公知の符号化アルゴリズムを用いて映像データを符号化する。符号化のパラメータは、符号化解像度と、ビデオレートと、符号化モードと、追加CPBと、可変GOP機能の有無と、参照ピクチャ枚数とがある。これらのパラメータは、映像配信システム1の映像配信の遅延時間を増やすが、映像データの画質を向上させることが可能なもので、パラメータ設定部18によって変更することが可能である。
ストリーム送信部13は、符号化した映像データからデコーダ5に送信可能なパケット、例えばIPパケットを作成する。
IPパケット送信部14は、TCP/IP(Transmission Control Protocol/Internet Protocol)に則ってIPパケットを順次、IPネットワーク4に送信する。
IPパケット受信部16は、デコーダ5から送信されるIPパケットを受信する。IPパケット受信部16で受信するIPパケットは、例えば、RTT計測用のパケットと、パラメータの変更を通知するパケットとがある。
パラメータ変更通知受信部17は、デコーダ5から受信したIPパケットがパラメータの変更通知であった場合に、変更するパラメータの種類と内容を通知するデータが入力される。
パラメータ設定部18は、パラメータの変更通知を受信したときに、符号化のパラメータを変更する。変更したパラメータは、エンコード部12における符号化処理に適用される。
ストリーム解析部22は、映像のIPパケットから符号化モードを判定する。符号化モードは、パラメータ変更判定部23に出力する。映像のIPパケットは、デコード部27に受け渡す。
遅延基準値テーブル24は、遅延基準値が検索可能にテーブルに格納されている。
IPパケット送信部26は、RTT計測用のIPパケットや、パラメータ変更通知用のIPパケットをエンコーダ3に送信する処理を実行する。
デコード部27は、エンコーダ3の符号化アルゴリズムに対応した復号化アルゴリズムを用いて映像データを復号化する。
映像信号出力部28は、復号化した映像信号を時系列に従ってモニタ6に出力する。
まず、図6のフローチャートを参照してエンコーダ3の処理について説明する。
ステップS101で、パラメータ設定部18が、エンコード部12に対して初期パラメータを設定する。初期パラメータには、例えば、符号化モードや、追加するCPBの容量、可変GOP(Group of Picture)機能の有無、参照ピクチャ枚数、ビデオレート、符号化解像度がある。GOPは、最小単位である1フレームを効率良く管理するためのまとまりであり、1つ以上のIフレームと,複数のP,Bフレームから構成されている。可変GOP機能を有りにすると、フレーム単位での編集が可能になる。
ステップS201に示すように、デコーダ5は、復号化処理の開始が許可されたら偉功のステップを繰り返して実行する。まず、ステップS202において、IPパケット受信部21がエンコーダ3から送信された映像のIPパケットを受信する。続いて、ステップS203では、IPパケット受信部21で受信した映像のIPパケットをストリーム解析部22で受け取って符号化モードを解析する。
続いて、ステップS204で、デコード部27が、IPパケットに含まれる映像データを復号化する。さらに、ステップS205で、復号化した映像の信号をモニタ6に出力する。
最初に、ステップS301に示すように、パラメータ変更判定部23が、遅延許容時間を取得する。遅延許容時間は、置換時間の変化要因によって決定されるもので、例えば、撮像装置2の「パン・チルト制御有り」の場合には500m秒に設定される。遅延許容時間は、遅延要因毎に予め登録されている時間が自動的に設定される。また、ユーザが遅延許容時間を入力しても良い。
ステップS311では、遅延許容時間分配部32が追加CPBを算出する。ここでの処理には、CPBのメモリを増加しないことを決定することも含まれる。そして、この後、ここでの処理を終了する。なお、ステップS302で符号化モードの変更が不要と判定された場合も、ステップS303〜ステップS311の処理を実行せずに、処理を終了する。
図10に示すように、時間割り当ての優先度は、符号化レベル及びレートレベルによって異なる。例えば、符号化モードがIBBPで、レートレベルが低い場合には、優先度が1番目のパラメータは、可変GOP機能になる。優先度が2番目のパラメータは、参照ピクチャ数であり、優先度が3番目のパラメータは、CPBである。符号化モードがIBBPのときは、レートレベルが高い場合でも同様の優先度になる。即ち、IBBPモードでは、可変GOP機能及び参照ピクチャ枚数の画質向上パラメータを優先して追加する。さらに、画質向上パラメータは、遅延時間に収まる範囲内で優先度の高い機能を選択する。
また、符号化モードがIPPPやPPPPで、レートレベルが高いときには、画質向上パラメータとCPBに残りの遅延許容時間を50%ずつ割り当てる。そして、画質向上パラメータ内では、可変GOP機能を優先的に選択し、2番目に参照ピクチャ数を選択する。
まず、図11に示すように、第1のケースとして、遅延許容時間が1500m秒で、ビデオレートが6Mbps、符号化解像度がHD(1920×1080)、ネットワーク遅延時間RTTが400m秒であった場合を例にして説明する。
また、パラメータ変更判定部23が符号化のパラメータを設定するので、ユーザによる操作を簡略化できる。
(付記1) 映像データを符号化するエンコード部と、前記エンコード部で符号化された後に配信された映像データを復号化するデコード部と、映像データの配信処理に許容される遅延時間として設定された遅延許容時間内で最も画質が良くなる符号化モードを選択する符号化モード判定部と、遅延許容時間から、符号化モードによって定まる遅延時間と、映像データの配信に伴う遅延時間とを引いた残りの遅延許容時間内で、前記符号化モードで符号化される映像データの画質の向上と引き換えに遅延時間を増大させるパラメータに割り当てる遅延許容時間分配部と、を含むことを特徴とする映像配信システム。
(付記2) 前記変更パラメータは、可変GOP(Group of Picture)機能の有無と、参照ピクチャ枚数の増加を設定する画質向上パラメータと、CPB(Coded Picture Buffer)の容量の増加とを含み、前記遅延許容時間分配部は、高画質の符号化モードでは前記画質向上パラメータに前記CPBの容量の増加より優先的に遅延時間を割り当てるように構成したことを特徴とする付記1に記載の映像配信システム。
(付記3) 前記遅延許容時間分配部、前記可変GOP機能の有無を前記参照ピクチャ枚数の増加より優先的に遅延時間を割り当てるように構成したことを特徴とする付記2に記載の映像配信システム。
(付記4) 前記変更パラメータは、可変GOP(Group of Picture)機能の有無と、参照ピクチャ枚数の増加を設定する画質向上パラメータと、CPB(Coded Picture Buffer)の容量の増加とを含み、前記遅延許容時間分配部は、低画質の符号化モードでは前記CPBの容量増加に伴う遅延時間が、前記画質向上パラメータの変更に伴う遅延時間以上になるように構成したことを特徴とする付記1に記載の映像配信システム。
(付記5) 前記遅延許容時間分配部は、ビデオレートが低い場合、前記CPBの容量増加を最も優先し、前記可変GOP機能の有無と前記参照ピクチャ枚数の増加とをこの順番に設定するように構成したことを特徴とする付記4に記載の映像配信システム。
(付記6) 前記遅延許容時間分配部は、ビデオレートが高い場合、前記CPBの容量増加に伴う遅延時間と、画質向上パラメータの設定変更に伴う遅延時間とが約1対1になるように設定し、かつ画質向上パラメータは、前記可変GOP機能を優先的に有りに設定するように構成したことを特徴とする付記4又は付記5に記載の映像配信システム。
(付記7) 符号化された映像データを復号化するデコード部と、映像データの配信処理に許容される遅延時間として設定された遅延許容時間内で最も画質が良くなる符号化モードを選択する符号化モード判定部と、遅延許容時間から、符号化モードによって定まる遅延時間と、映像データの配信に伴う遅延時間とを引いた残りの遅延許容時間内で、前記符号化モードで符号化される映像データの画質の向上と引き換えに遅延時間を増大させるパラメータに割り当てる遅延許容時間分配部と、を含むことを特徴とするデコーダ。
(付記8) 符号化された映像データを復号化する復号化処理と、映像データの配信処理に許容される遅延時間として設定された遅延許容時間内で最も画質が良くなる符号化モードを選択する符号化モード判定処理と、遅延許容時間から、符号化モードによって定まる遅延時間と、映像データの配信に伴う遅延時間とを引いた残りの遅延許容時間を、内で、前記符号化モードで符号化される映像データの画質の向上と引き換えに遅延時間を増大させるパラメータに割り当てる遅延許容時間分配処理と、をコンピュータに実行させることを特徴とするデコーダのプログラム。
(付記9) 映像データを符号化して配信するにあたり、映像データの配信処理に許容される遅延時間として設定された遅延許容時間内で最も画質が良くなる符号化モードを選択する工程と、遅延許容時間から、符号化モードによって定まる遅延時間と、映像データの配信に伴う遅延時間とを引いて残りの遅延許容時間を算出する工程と、残りの遅延許容時間を前記符号化モードで符号化される映像データの画質の向上と引き換えに遅延時間を増大させるパラメータに割り当てる工程と、設定したパラメータをエンコーダに通知する工程と、通知されたパラメータを用いて前記エンコーダが映像データを符号化する工程と、符号化された映像データをデコーダで復号化する工程と、を含むことを特徴とする映像配信方法。
3 エンコーダ
4 ネットワーク
5 デコーダ
12 エンコード部
27 デコード部
31 符号化モード判定部
32 遅延許容時間分配部
ET 符号化遅延時間(符号化モードによって定まる遅延時間)
DT 復号化遅延時間(符号化モードによって定まる遅延時間)
NT ネットワーク遅延時間(映像データの配信に伴う遅延時間)
Claims (5)
- 映像データを符号化するエンコード部と、
前記エンコード部で符号化された後に配信された映像データを復号化するデコード部と、
映像データの配信処理に許容される遅延時間として設定された遅延許容時間内で最も画質が良くなる符号化モードを選択する符号化モード判定部と、
遅延許容時間から、符号化モードによって定まる遅延時間と、映像データの配信に伴う遅延時間とを引いた残りの遅延許容時間内で、前記符号化モードで符号化される映像データの画質の向上と引き換えに遅延時間を増大させるパラメータに割り当てる遅延許容時間分配部と、
を含むことを特徴とする映像配信システム。 - 前記符号化モードで符号化される映像データの画質を向上させるパラメータとして、可変GOP(Group of Picture)機能の有無と、参照ピクチャ枚数の増加を設定する画質向上パラメータと、CPB(Coded Picture Buffer)の容量の増加とを有し、前記遅延許容時間分配部は、高画質の符号化モードでは前記画質向上パラメータに前記CPBの容量の増加より優先的に遅延時間を割り当てるように構成したことを特徴とする請求項1に記載の映像配信システム。
- 前記符号化モードで符号化される映像データの画質を向上させるパラメータとして、可変GOP(Group of Picture)機能の有無と、参照ピクチャ枚数の増加を設定する画質向上パラメータと、CPB(Coded Picture Buffer)の容量の増加とを有し、前記遅延許容時間分配部は、低画質の符号化モードでは前記CPBの容量増加に伴う遅延時間が、前記画質向上パラメータの変更に伴う遅延時間以上になるように構成したことを特徴とする請求項1に記載の映像配信システム。
- 符号化された映像データを復号化するデコード部と、
映像データの配信処理に許容される遅延時間として設定された遅延許容時間内で最も画質が良くなる符号化モードを選択する符号化モード判定部と、
遅延許容時間から、符号化モードによって定まる遅延時間と、映像データの配信に伴う遅延時間とを引いた残りの遅延許容時間内で、前記符号化モードで符号化される映像データの画質の向上と引き換えに遅延時間を増大させるパラメータに割り当てる遅延許容時間分配部と、を含むことを特徴とするデコーダ。 - 映像データを符号化して配信するにあたり、映像データの配信処理に許容される遅延時間として設定された遅延許容時間内で最も画質が良くなる符号化モードを選択する工程と、
遅延許容時間から、符号化モードによって定まる遅延時間と、映像データの配信に伴う遅延時間とを引いて残りの遅延許容時間を算出する工程と、
残りの遅延許容時間を前記符号化モードで符号化される映像データの画質の向上と引き換えに遅延時間を増大させるパラメータに割り当てる工程と、
設定したパラメータをエンコーダに通知する工程と、
通知されたパラメータを用いて前記エンコーダが映像データを符号化する工程と、
符号化された映像データをデコーダで復号化する工程と、
を含むことを特徴とする映像配信方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013059366A JP6089846B2 (ja) | 2013-03-22 | 2013-03-22 | 映像配信システム及びデコーダ並びに映像配信方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013059366A JP6089846B2 (ja) | 2013-03-22 | 2013-03-22 | 映像配信システム及びデコーダ並びに映像配信方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2014187448A JP2014187448A (ja) | 2014-10-02 |
JP6089846B2 true JP6089846B2 (ja) | 2017-03-08 |
Family
ID=51834602
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013059366A Active JP6089846B2 (ja) | 2013-03-22 | 2013-03-22 | 映像配信システム及びデコーダ並びに映像配信方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6089846B2 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105812837A (zh) * | 2014-12-30 | 2016-07-27 | 华为技术有限公司 | 一种图像处理方法与装置 |
JP2017092646A (ja) * | 2015-11-06 | 2017-05-25 | 株式会社リコー | 情報処理システム、情報処理装置、情報処理方法及びプログラム |
JP6743609B2 (ja) * | 2016-09-15 | 2020-08-19 | 富士通株式会社 | 画像同期装置、画像同期プログラム、及び画像同期方法 |
JP7136458B2 (ja) * | 2019-07-26 | 2022-09-13 | サイレックス・テクノロジー株式会社 | 符号化装置、再生装置、作成装置、再生システム、符号化方法、再生方法、作成方法、および、プログラム |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012089989A (ja) * | 2010-10-18 | 2012-05-10 | Hitachi Kokusai Electric Inc | 映像監視システム |
JP5576781B2 (ja) * | 2010-12-16 | 2014-08-20 | 株式会社メガチップス | 画像処理システム、画像処理システムの動作方法、ホスト装置、プログラム、およびプログラムの作成方法 |
-
2013
- 2013-03-22 JP JP2013059366A patent/JP6089846B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2014187448A (ja) | 2014-10-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11503307B2 (en) | System and method for automatic encoder adjustment based on transport data | |
JP6226490B2 (ja) | 小待ち時間レート制御システムおよび方法 | |
US11109038B2 (en) | Intra-coded frame rate allocation method, computer device and storage medium | |
US9313529B2 (en) | Video streaming | |
EP2785068B1 (en) | Video image data delivery device, method and system | |
JP5549681B2 (ja) | 動画像符号化データの表示方法、装置及び通信システム | |
JP5227875B2 (ja) | 動画像符号化装置 | |
JP4358215B2 (ja) | 動画像符号化装置及びその方法 | |
JP6463041B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP6089846B2 (ja) | 映像配信システム及びデコーダ並びに映像配信方法 | |
JP5064305B2 (ja) | ビットレート変換装置及び変換方法 | |
WO2018161867A1 (zh) | 码率分配方法、设备及存储介质 | |
CN114245196B (zh) | 一种录屏推流方法、装置、电子设备及存储介质 | |
WO2011114654A1 (ja) | 画像符号化装置及びカメラシステム | |
EP3175617B1 (en) | System and method for automatic encoder adjustment based on transport data | |
JPWO2008053557A1 (ja) | 動画像再符号化装置、動画像再符号化方法、動画像再符号化プログラムおよび動画像再符号化プログラムを格納した記録媒体 | |
US10129551B2 (en) | Image processing apparatus, image processing method, and storage medium | |
JP2008263443A (ja) | 情報処理装置および方法、並びにプログラム | |
JP6203026B2 (ja) | レート制御装置及びレート制御プログラム | |
KR20140110950A (ko) | 동화상 부호화 방법, 장치 및 프로그램 | |
WO2023031989A1 (ja) | 映像配信装置、システム、方法、及びコンピュータ可読媒体 | |
JP2009194454A (ja) | 送信装置、データ送信方法及びプログラム | |
Kobayashi et al. | A real-time 4K HEVC multi-channel encoding system with content-aware bitrate control | |
JP3852442B2 (ja) | データ符号化方法及び装置 | |
KR20150006465A (ko) | 비디오 스트림들의 비용-효율적이고 저-레이턴시 인코딩을 가능하게 하기 위한 메커니즘 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20151106 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160915 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160921 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20161121 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170110 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170123 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6089846 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |