JP5436501B2 - 映像符号化装置及び映像復号装置 - Google Patents

Description

本発明は、映像符号化装置及び映像復号装置に係り、特に、映像を複数の符号化処理部及び復号処理部を用いて並列に符号化及び復号するための映像符号化装置及び映像復号装置に関する。

解像度の高い映像を符号化・復号することはコストの高い処理であるため、映像を空間方向もしくは時間方向に分割し、複数の符号化器及び復号器を並列に動作させることで、実時間での処理を可能にしたり、より高いビットレートやフレームレートでの処理を可能にしたりするなどの手法がとられる。

従来の符号化装置及び復号装置として、解像度の高い映像を時間軸方向に分割し、複数の符号化部・復号部を用いた並列処理により処理を高速化する技術がある（例えば、特許文献１、２参照）。

特開２００２−１９９３９２号公報 特開２００８−６６８５１号公報

しかしながら、例えば、特許文献１に示す装置では、各符号化部及び復号部が映像１フレームを処理するのに映像４フレーム相当の時間がかかる場合、４つの符号化部・復号部を用い、映像１フレーム毎各符号化部、復号部で並列に処理させることで実時間での符号化・復号処理が可能となるが、各映像フレームにおいて符号化または復号されたデータを得るまでに映像４フレーム相当の遅延時間がかかることは避けられない。

本発明は、上記の点に鑑みなされたもので、符号化及び復号する装置を、最小の部品構成及び最小のコストで実現すると共に、処理遅延を抑え、かつ空間分割による画質劣化を避けることが可能な映像符号化装置及び映像復号装置を提供することを目的とする。

上記の課題を解決するため、本発明（請求項１）は、入力された映像フレームを複数の符号化処理手段を用いて並列に符号化する符号化装置であって、
前記映像フレームが入力される１つの映像入力手段、または、２つのリンクの映像フレームが入力される２つの映像入力手段と、
前記一つの映像入力手段から入力された一つの映像フレーム、または、前記２つの映像入力手段から入力された２つの映像フレームを１つの映像データとして、一つのフレームを二次元座標上でn等分の小画像に分割するタイル分割手段と、
前記映像入力手段から入力された前記映像フレーム、または、前記タイル分割手段から入力された分割された前記小画像を輝度及び色差成分、または、色成分でコンポーネントのデータに分割するコンポーネント分割手段と、
前記コンポーネントのデータを前記複数の符号化処理手段に入力する映像データ分配手段と、
前記複数の符号化処理手段で符号化されたデータを一つの映像の符号化データとして構成して出力する符号化データ構成手段と、
を有し、
前記コンポーネント分割手段の分割処理と前記タイル分割手段のタイル分割数と前記符号化処理手段の前記コンポーネントのデータの割り振りを、入力された前記映像フレームの映像フォーマットに応じて、それぞれ切り替え、
前記複数の符号化処理手段は、
並列に動作し、前記映像入力手段を通じて入力された前記映像フォーマットに応じて前記コンポーネントのデータをリアルタイムに符号化する。

また、本発明（請求項２）は、前記映像入力手段において、
入力される前記映像フレームがプログレッシブ映像の場合には、1/２フレーム時間の映像信号が入力された時点で映像１フレームを構成し、前記タイル分割手段に出力する手段を含む。

本発明（請求項３）は、入力された符号化データを複数の復号手段を用いて復号する復号装置であって、
前記符号化データを取得して、映像データの映像フォーマットに応じて、該符号化データを輝度及び色差成分、または、色成分で分割する符号化データ分配手段と、
分割された前記符号化データを、前記映像フォーマットに応じて、コンポーネントのデータに復号する処理を並列に実行する複数の復号手段と、
前記複数の復号手段からの前記コンポーネントのデータから小画像を取得し、前記映像フォーマットに応じて、二次元座標上でｎ等分に分割された該小画像を合成して一つの映像フレームを生成するタイル合成手段と、
前記タイル合成手段で合成された前記映像フレームを取得して前記映像フォーマットに応じて、構成して映像出力手段に出力する映像信号生成手段と、
を有し、
２つのリンクの映像フレームを出力する場合には、２つの映像出力手段を備え、
前記タイル合成手段は、
合成された前記映像フレームを２つのリンクに分割して、前記２つの映像出力手段に出力する手段を含む。

上記のように本発明によれば、SMPTE 292，274M， 372Mなどで規定される種々の映像フォーマットを符号化及び復号する装置を、最小の部品構成及び最小のコストで構成可能となる。また、映像をコンポーネントで分割し、並列処理を行うことで、処理遅延を抑え、かつ空間分割による画質劣化を避けることができる。

また、Single Linkの利用に限り、可逆圧縮及び高ビットレート圧縮や３Ｄ映像のような２つの同期した映像の符号化及び復号が可能である他、50Pもしくは60P映像(プログレッシブ映像)において遅延を最小にした符号化及び復号が可能となる。

本発明の第１の実施の形態における符号化装置の基本構成図である。 本発明の第１の実施の形態における復号装置の基本構成図である。 本発明の第２の実施の形態における符号化装置の処理フロー（その１）である。 本発明のタイル分割部における処理（50pまたは60p以外）である。 本発明の第２の実施の形態における符号化装置の処理フロー（その２）である。 本発明のタイル分割部における処理（50pまたは60pの場合）である。 本発明の第３の実施の形態における符号化装置の処理フロー（その１）である。 本発明の第３の実施の形態における符号化装置の処理フロー（その２）である。 本発明の第４の実施の形態における符号化装置の処理フローである。 本発明の第５の実施の形態におけるタイル合成部における処理（50pまたは60pの場合）を示す図である。

以下図面と共に、本発明の実施の形態を説明する。

［第１の実施の形態］
図１は、本発明の第１の実施の形態における符号化装置の基本構成を示し、図２は、本発明の一実施の形態における復号装置の基本構成を示す。

符号化装置１００は、映像入力部１１０、タイル分割部１２０、コンポーネント分割部１３０、映像データ分配部１４０、４つの映像復号化部１５０_１〜１５０_４、符号化データ構成部１６０から構成される。

映像入力部１１０は、映像フレームを入力する。

タイル分割部１２０は、１枚の絵を２次元座標上でｎ等分の小画像に分割（タイル分割）する。

コンポーネント分割部１３０は、映像フレームを輝度・色差成分や色成分で分割する。

映像データ分配部１４０は、分割された映像フレームを各映像符号化部１５０_１〜１５０_４に入力する。

各映像符号化部１５０は、並列に動作し、入力された映像をHD-SDI規格に基づいて符号化する。

符号化データ構成部１６０は、各映像符号化部１５０で符号化されたデータを一つの映像の符号化データとして構成して出力する。

復号装置２００は、符号化データ分配部２１０、４つの映像復号部２２０、タイル合成部２３０、映像信号生成部２４０、映像出力部２５０から構成される。

図１に示す例では、4つの映像符号化部１５０を並列に動作させ、映像データ分配部１４０からHD-SDI (High Definition Serial Digital Interface)で入力される映像をリアルタイムに符号化する。

映像符号化部１５０、映像復号部２２０の実装例としては、JPEG 2000コーデックICを4つ搭載し、HD映像（水平1920、垂直1080画素）及び2K映像（水平2048、垂直1080画素）の符号化、復号をリアルタイムに行う装置がある。

なお、復号装置２００では、上記の符号化装置１００とは逆に、符号化データ分配部２１０から入力された符号化データを４つの映像復号部２２０_１〜２２０_４において上記と同様にHD-SDI規格に基づいて、映像フォーマットを復号する。

本発明の特徴は、使用する部品点数（主に映像符号化・復号部）と各部品の性能（コスト）をなるべく最小にし、HD-SDI規格がサポートする種々の映像フォーマットを符号化・復号可能にすることにある。HD-SDIの規格はSMPTE 292, 274M, 372Mなどで規定されている。

図1、図２中にある通り、各映像符号化部１５０及び各映像復号部２２０の処理性能は、HDの画素数（1920 x 1080 = 2073600画素）の1/2の、1コンポーネントのデータを1/30秒以内に符号化・復号できる能力であればよい。1コンポーネントというのは、色空間がRGBの場合はRかGかBのどれか、YCbCrの場合はYかCbかCrのどれかである。ただしYCbCr 4:2:2の場合は、CbとCrの画素数は水平方向に1/2に間引かれるため、CbとCrを合わせたものが1コンポーネントのデータ量と等価になる。

［第２の実施の形態］
図３は、本発明の第２の実施の形態における符号化装置の構成を示す。同図において、図１と同一構成部分には同一符号を付し、その説明を省略する。

同図に示す符号化装置１００は、映像入力部１１０を２つ備えた構成である。復号装置２００の図は省略するが、映像出力部２５０を２つ備えた構成となる。

図３に示す符号化装置１００は、HD-SDI Dual Link，RGB 4:4:4またはYCbCr 4:4:4の入力時の構成である。

符号化装置１００は、HD-SDI Dual Link入力のときは映像入力部１１０_１をLink Aの、映像入力部１１０_２をLink Bの入出力として使用する。また、復号装置２００も、Link Aの出力用として映像出力部２５０_１、Link Bの出力用として映像出力部２５０_２を具備するものとする。

タイル分割部１２０は、Link A、Link Bより一つの映像データを構成し、ｎ個のタイルに分割する。なお、当該処理は必須事項ではない。また、入力信号がインターレース、PsFの場合は、図４（Ｂ），（Ｃ）に示すような処理を行なう。コンポーネント分割部１３０、映像データ分配部１４０を介して、全ての映像符号化部１５０_１〜１５０_４に対して並行してタイル入力を行う。

図３に示す映像符号化部１５０_１は、タイル＃１〜＃ｎのRまたはY成分の符号化を、映像符号化部１５０_２は、タイル＃１〜＃ｎのGまたはCb成分の符号化を、映像符号化部１５０₃は、タイル＃１〜＃ｎのBまたはCr成分の符号化を行う。映像符号化部１５０_４は、不使用であるとする。各映像符号化部１５０は、24ｐの場合は1/24秒、30ｐの場合は1/30秒以内に全てのタイルの処理を完了するものとする。

符号化データ構成部１６０は、各映像符号化部１５０_１〜１５０_４から出力されたデータを一つの映像の符号化データとして構成して出力する。

また、図５に示す符号化装置１００は、図３に示す構成と同様であるが、HD-SDI Dual Link 50Pまたは60Pの映像が入力される場合を示している。

映像入力部１１０_１からLink Aが、映像入力部１１０_２からLink Bが入力されると、タイル分割部１２０は、図６に示すように、Link A、Link Bから映像を構成し、1/2フレーム時間で入力映像を２の倍数(最低２)のタイルに分割する。

各映像符号化部１５０_１〜１５０４_４では、奇数タイルと偶数タイルに分けて符号化処理を行う。映像符号化部１５０_１では、タイル＃１〜＃2n−１（奇数タイル）のY成分について符号化を行い、映像符号化部１５０_２では、タイル＃１〜＃2 n−１（奇数タイル）のCbCr成分について符号化を行い、映像符号化部１５０_３では、タイル＃２〜＃２n（偶数タイル）のY成分について符号化を行い、映像符号化部１５０_４では、タイル＃２〜＃２n（偶数タイル）のCbCr成分について符号化を行う。符号化データ構成部１６０では、各映像符号化部１５０_１〜１５０_４から出力された各映像符号化データを１つの符号化データとして出力する。

なお、復号装置２００は、上記の符号化装置１００と反対の処理を行う。

符号化データが入力されると、符号化データ分配部２１０は、デジタル映像信号インタフェースの特性に応じて４つのデータに分配し、４つの映像復号部２２０_１〜２２０_４に入力する。映像復号部２２０_１では、タイル＃１〜＃2 n−１（奇数タイル）のY成分について復号し、映像復号部２２０_２では、タイル＃１〜＃2 n−１（奇数タイル）のCbCr成分について復号し、映像復号部２２０_３では、タイル＃２〜＃２n（偶数タイル）のY成分について復号し、映像復号部２２０_４では、タイル＃２〜＃２n（偶数タイル）のCbCr成分について復号する。

各映像復号部２２０_１〜２２０_４で復号された映像データは、タイル合成部２３０に入力され、映像符号化装置１００と反対の方法で、分割されている映像が合成される。合成された映像データは映像信号生成部２４０で再構成され映像出力部２５０に出力される。

［第３の実施の形態］
図７は、本発明の第３の実施の形態における符号化装置の構成(その１)を示す。同図に示す構成は前述の第２の実施の形態で示した符号化装置と同様であるが、入力がHD-SDI Single Linkである場合を示している。

同図の例では、Single Linkとして、YCbCr 4:2:2信号が映像入力部１１０_１にのみ入力され、映像入力部１１０_２は未使用となる。

この場合、タイル分割部１２０は、入力信号がPsF、インターレースの場合は、前述の図４に示すタイリングを行う。

また、映像符号化部１５０は、Single Linkの場合は、映像符号化部１５０_１では、タイル＃１〜＃１のY成分の映像データを符号化し、映像符号化部１５０_２では、タイル#1〜＃nのCbCr成分の映像データを符号化する。映像符号化部１５０_３と１０５_４は未使用となる。

また、図８は、本発明の第３の実施の形態における符号化装置の構成(その２)を示す。

同図に示す符号化装置１００は、HD-SDI Single Link映像が入力される場合を示している。この場合、符号化装置１００は、可逆圧縮及び高ビットレート圧縮を行う。

Single Linkとして、YCbCr 4.2.2信号が映像入力部１１０_１にのみ入力され、映像入力部１１０_２は未使用となる。

この場合、タイル分割部１２０は、入力映像を２の倍数(最低２)のタイルに分割し、全ての映像符号化部１５０_１〜１５０_４に対して並行してタイル入力を行う。入力信号がPsF、インターレースの場合は、図４に示すタイリングを行う。

映像符号化部１５０は、Single Linkの場合は、映像符号化部１５０_１では、タイル＃１〜＃nのY成分の映像データを符号化し、映像符号化部１５０_２では、タイル#1〜＃nのCbCr成分の映像データを符号化する。映像符号化部１５０₃では、タイル＃n+1〜＃2nのY成分の映像データを符号化し、映像符号化部１０５_４では、タイル#n+1〜＃2nのCbCr成分の符号化を行う。24ｐの場合は、1/24秒、３０pの場合は1/30秒以内に全てのタイルの処理を完了するものとする。

復号装置２００は上記の符号化装置１００の反対の方法で復号処理を行う。

［第４の実施の形態］
本実施の形態では、同期した２つの映像入出力として使用する場合を説明する。

図９は、本発明の第４の実施の形態における符号化装置の構成を示す。本実施の形態では、HD-SDI Single Linkが入力される。

映像入力部１１０_１には映像１としてYCbCr 4.2.2信号が入力され、映像入力部１１０２には映像２としてYCbCr 4.2.2信号が入力される。これらの映像１，映像２は同期して入力されるもので、例えば3D映像などに用いられる。

タイル分割部１２０は、映像１についてはタイル#1〜＃ｎ、映像２についてはタイル#n+1〜＃2nとして分割する。入力信号がPsF，インターレースの場合は図４の処理を行う。全ての映像符号化部１５０_１〜１５０_４に対して並行してタイル入力を順位行う。

映像符号化部１５０_１では、タイル＃１〜＃nのY成分の映像データを符号化し、映像符号化部１５０_２では、タイル#1〜＃nのCbCr成分の映像データを符号化する。映像符号化部１５０₃では、タイル＃n+1〜＃2nのY成分の映像データを符号化し、映像符号化部１０５_４では、タイル#n+1〜＃2nのCbCr成分の符号化を行う。

24ｐの場合は、1/24秒、３０pの場合は1/30秒以内に全てのタイルの処理を完了するものとする。

符号化データ構成部１６０は、復号装置２００において、タイル＃１〜＃ｎは映像＃１、タイル＃n＋1〜#2nは映像＃２として分離できるように、データ種別を埋め込んで出力する。

これにより、復号装置２００では、当該データ種別に対応させて分離して復号する。

上記の第１〜第４の実施の形態において、入力・出力する映像のフォーマットに応じ、図１，３，５，７，８，９のいずれかの処理フローに切り替えることで、同一の部品構成で、かつこれらの映像フォーマット全てに対応可能とするための必要十分な構成で装置を実現することができる。

なお、図８の処理フローは、一般にJPEG 2000可逆圧縮や高ビットレートでの圧縮を行う際、映像符号化・復号部の負荷が高いものとなるため、4つの映像符号化部１５０、復号部２２０を全て稼働させることでこれに対応するものである。入出力映像がSingle Linkで映像1つだけの場合に限り、これが可能となる。

また、コンポーネントで分割して並列処理を行うため、画像の空間分割による圧縮効率の劣化を避けることができる。ただし、第２の実施の形態の図５及び第３の実施の形態においては、映像符号化部１５０、復号部２２０の処理性能の制約のため、最低2つ以上の空間分割も行った上で並列処理を行う必要がある。また入力映像がインターレースの場合は、奇数フィールドと偶数フィールドを別のタイルとして符号化・復号する方が、圧縮効率が良くなるため、タイル分割部１２０において、図４に示すように通常はフィールド間で空間分割を行う。それ以外の場合は、分割数は任意である。一般的にタイル分割して処理を行った方が処理速度が速くなることが多いため、圧縮効率とのトレードオフでタイル分割数を決定する。

［第５の実施の形態］
本実施の形態においても符号化装置１００、復号装置２００の構成は前述の実施の形態と同様である。

次に、別の特徴を説明する。

50P、60Pと呼ばれる毎秒50フレームもしくは60フレームのプログレッシブ映像は、HD-SDI Dual Linkにより入出力がされる。図６に示すように、映像1フレーム時間内に、Link A に奇数フレームの奇数ラインと偶数フレームの偶数ラインが含まれ、Link Bには奇数フレームの偶数ラインと偶数フレームの奇数ラインが含まれる。これは片方のLinkの信号だけを見ると、60i、50iのインターレース信号と同等なものとなっている。

これをインターレース信号の拡張と見なした処理方法にしてしまうと、通常、映像1フレーム時間の信号を取り込んでから、インターレースとPsFと同様の処理を行い、映像2フレーム分の信号を構成し、2フレーム分の信号を4つの符号化部で並列処理を行うという構成になる。ただし、必ず2フレームごとの処理となるため、1フレームの遅延が発生する。

これに対し、本発明では、第２の実施の形態の図６のように映像1/2フレーム時間の信号が入力された時点で映像1フレームを構成し、タイル分割、コンポーネント分割を行い、図５に示すような並列処理を行うことで、遅延を最小に抑えた符号化・復号処理を可能とする。具体的には、図１０に示すように、タイル合成部２３０において、映像1/2フレーム時間で映像復号部２２０より１フレームの映像を取得し、タイル合成及びHD-SDI信号への出力を行うことで、遅延を最小に抑えることができる。

なお、上記の各実施の形態における符号化装置及び復号装置の構成要素の動作をプログラムとして構築し、符号化装置及び復号装置として利用されるコンピュータにインストールして実行させる、または、ネットワークを介して流通させることが可能である。

本発明は上記の実施の形態に限定されることなく、特許請求の範囲内において、種々変更、応用が可能である。

１００ 符号化装置
１１０ 映像入力部
１２０ タイル分割部
１３０ コンポーネント分割部
１４０ 映像データ分配部
１５０ 映像符号化部
１６０ 符号化データ構成部
２００ 復号装置
２１０ 符号化データ分配部
２２０ 映像復号部
２３０ タイル合成部
２４０ 映像信号生成部
２５０ 映像出力部

Claims (3)

1. 入力された映像フレームを複数の符号化処理手段を用いて並列に符号化する符号化装置であって、
   前記映像フレームが入力される１つの映像入力手段、または、２つのリンクの映像フレームが入力される２つの映像入力手段と、
   前記一つの映像入力手段から入力された一つの映像フレーム、または、前記２つの映像入力手段から入力された２つの映像フレームを１つの映像データとして、一つのフレームを二次元座標上でn等分の小画像に分割するタイル分割手段と、
   前記映像入力手段から入力された前記映像フレーム、または、前記タイル分割手段から入力された分割された前記小画像を輝度及び色差成分、または、色成分でコンポーネントのデータに分割するコンポーネント分割手段と、
   前記コンポーネントのデータを前記複数の符号化処理手段に入力する映像データ分配手段と、
   前記複数の符号化処理手段で符号化されたデータを一つの映像の符号化データとして構成して出力する符号化データ構成手段と、
   を有し、
   前記コンポーネント分割手段の分割処理と前記タイル分割手段のタイル分割数と前記符号化処理手段の前記コンポーネントのデータの割り振りを、入力された前記映像フレームの映像フォーマットに応じて、それぞれ切り替え、
   前記複数の符号化処理手段は、
   並列に動作し、前記映像入力手段を通じて入力された前記映像フォーマットに応じて前記コンポーネントのデータをリアルタイムに符号化する
   ことを特徴とする符号化装置。
2. 前記映像入力手段は、
   入力される前記映像フレームがプログレッシブ映像の場合には、1/２フレーム時間の映像信号が入力された時点で映像１フレームを構成し、前記タイル分割手段に出力する手段を含む
   請求項１記載の符号化装置。
3. 入力された符号化データを複数の復号手段を用いて復号する復号装置であって、
   前記符号化データを取得して、映像データの映像フォーマットに応じて、該符号化データを輝度及び色差成分、または、色成分で分割する符号化データ分配手段と、
   分割された前記符号化データを、前記映像フォーマットに応じて、コンポーネントのデータに復号する処理を並列に実行する複数の復号手段と、
   前記複数の復号手段からの前記コンポーネントのデータから小画像を取得し、前記映像フォーマットに応じて、二次元座標上でｎ等分に分割された該小画像を合成して一つの映像フレームを生成するタイル合成手段と、
   前記タイル合成手段で合成された前記映像フレームを取得して前記映像フォーマットに応じて、構成して映像出力手段に出力する映像信号生成手段と、
   を有し、
   ２つのリンクの映像フレームを出力する場合には、２つの映像出力手段を備え、
   前記タイル合成手段は、
   合成された前記映像フレームを２つのリンクに分割して、前記２つの映像出力手段に出力する手段を含む
   ことを特徴とする復号装置。

Images