JP6046923B2 - 画像符号化装置、画像符号化方法及びプログラム - Google Patents

Description

本発明は、複数の視点での画像の符号化技術に関するものである。

近年、２眼カメラで撮影した立体映像コンテンツが普及し始めている。多視点で撮影した映像を圧縮符号化するための技術として、Ｈ．２６４ Ｍｕｌｔｉ Ｖｉｅｗ Ｃｏｄｉｎｇ（以下、Ｈ．２６４ ＭＶＣとする）が知られている。Ｈ．２６４ ＭＶＣはＨ．２６４を拡張した符号化方式であり、Ｂｌｕ−ｒａｙ Ｄｉｓｃの３Ｄ規格として使用されている。Ｈ．２６４ ＭＶＣでは、同じ視点の異なる時間で撮影された画面間の予測を用いた「画面間予測符号化」の他に、同じ時間で異なる視点間の予測を用いた「視点間予測符号化」が可能である。視点間予測符号化を行うには、参照元の視点の参照画像の局所復号が完了している必要がある。しかし、局所復号の処理には一定の時間を要するため、視点間予測符号化を行う場合に遅延が発生してしまう。

特許文献１では、各視点のカメラから得られる画像に対して、様々な単位でインターリーブを行い１つの画像ストリームとして符号化を行うための方法が開示されている。

特許文献２では、隣接フレームと補償されたフレームとの相関関係に基づいて、符号量が最小となるピクチャとカメラ間の予測構造を採択し、それによって多視点映像符号化時の情報量を最小化する技術が開示されている。

また、特許文献３では、各視点の画像を並列復号する際に、参照領域を破綻なく参照できるようにするため、視点間で必要となる復号開始の時間差を、遅延時間として計算しておき、復号側に知らせる方式が開示されている。

特開２００８−３４８９２号公報 特表２００９−５０５６０７号公報 特開２００８−１８２６６９号公報

視点間予測を用いて、多視点の画像をリアルタイムで符号化する際に、視点間予測参照元の画像から参照位置ベクトルを精度よく探索しようとすると、参照領域を十分広くとる必要がある。そのためには、符号化する画像データを１フレームないし数十ライン遅延させなければならず、符号化遅延の増大とコストアップの要因となっていた。

視点間予測の参照領域の画像を一時保存するバッファや該処理による遅延時間を減らそうとすると、前記参照領域が制限され、圧縮符号化する際の効率が著しく低下してしまうという課題があった。

この課題に対して、特許文献２は、符号量を減らすことを第１優先にしているため、符号化遅延を小さくするという課題は無い。また、特許文献３は、破綻を起こさせない最小限の遅延を復号側に知らせるという点で、余分な遅延を発生させないという工夫が見られるが、視点間の映像の相関を利用して遅延量を減らすところまで構成には至っていない。

この課題を解決するため、例えば本発明の画像符号化装置は以下の構成を備える。すなわち、
複数の撮像手段で撮像された画像データを符号化する画像符号化装置であって、
前記画像データを一時的に格納するバッファ手段と、
前記バッファ手段によって格納された画像データのフレームに含まれるブロックを所定の方向に順に符号化する符号化手段と、
を備え、
前記符号化手段は、
前記複数の撮像手段の内の所定の撮像手段で撮像された所定のブロックを符号化する場合において、前記複数の撮像手段側から被写体側を見たときに前記所定の方向において前記所定の撮像手段に隣接する第１の撮像手段で撮像されたブロックに基づく予測誤差が第１の値より小さい場合、前記バッファ手段によって格納された前記所定のブロックを、前記第１の撮像手段で撮像されたブロックを参照して符号化し、
前記第１の撮像手段で撮像されたフレームに基づく予測誤差が前記第１の値以上の場合において、前記所定の方向において前記第１の撮像手段に隣接する第２の撮像手段で撮像されたブロックに基づく予測誤差が第２の値より小さい場合、前記バッファ手段によって格納された前記所定のブロックを、前記第２の撮像手段で撮像されたフレームを参照して符号化することを特徴とする。

本発明によれば、予測符号化における予測性能を低下させること無く、符号化遅延およびデータ遅延用のバッファを大幅に減らすことができる。

無限遠距離の被写体に対し２視点のカメラの画像が同一になることを示す図。 無限遠距離の仮想的なある領域を、符号化単位であるブロックに区切った図。 同一位置のブロックの符号化タイミングの関係を示す図。 被写体のカメラ方向への移動と画像上の移動方向の関係を示す図。 本発明の多視点画像符号化装置の第１の実施形態の構成図。 近接物が妨害となり、遠方でカメラの死角が生じることを示す図 本発明の多視点画像符号化装置の第２の実施形態の構成図。

以下、添付図面に従って本発明に係る実施形態を詳細に説明する。

視点が１つの通常の動画像符号化では、いわゆるＩ、Ｐ、Ｂという３種類の予測モードがあり、これらの中でＢモード予測は時間的に未来のフレームを参照するため、数フレーム単位の大きな符号化遅延が発生する。

本発明では、低遅延で多視点画像を符号化することを目的としているため、Ｂモード予測は一切使わず、基準視点となる画像をＩモードとＰモード予測だけを用いて符号化するものとする。この通常のＰモード予測を、視点内Ｐモード予測と呼ぶことにし、視点間の同一時刻のフレームを一方向に参照する予測モードを視点間Ｐモード予測と呼ぶことにする。本発明の多視点画像符号化装置における基準視点以外の視点画像は、符号化遅延を小さく抑えるため、この視点間Ｐモード予測と、視点内Ｐモード予測、Ｉモード予測の３つを用いて予測符号化を行う。

多視点の画像を撮影し符号化する場合、単一視点撮影には無い２つの問題がある。１つは、複数視点のどこに基準視点を定めるかという点、もう１つは、参照元となる視点と参照先となる視点の関係である。この２点に着目して、以下、２つの実施形態を説明する。

［第１の実施形態］
本発明の目的は符号化遅延の低減であり、被写体に対して最も右側に配置したカメラを基準視点での撮像手段とし、隣接する２台のカメラの右側カメラの符号化画像を、左側カメラの画像の符号化で参照する関係とする。なお、以下の説明では、通常の単一視点と同様、画像の符号化では、複数の画素で構成されるブロックを単位とするラスタースキャン順に行うものとする。

図１を用いて、隣接する２台のカメラの右側の画像を参照することが合理的である理由を以下に説明する。該２台のカメラは無限遠距離の被写体に対して同一の構図・画角となるように設置されているものとする。別の言い方をすると、カメラの中心軸が並行で同一被写体を同じ画角で撮影するように設置すると言うことである。

右側のカメラをカメラ１、左側のカメラをカメラ２、各々に画像を符号化する符号化部を符号化部１、符号化部２とし、上記設置状態で、無限遠距離にある仮想的な被写体を同一の画角で撮影し（図２）、その中のある領域２１をブロック単位で符号化する状況を想定してみる。

無限遠距離にある撮影対象をカメラ１とカメラ２が撮影した場合、その画像はまったく同じになるため、符号化部１と２が同時に符号化を開始すると、図３（Ａ）に示すように前記領域２１の中のブロック（ｎ＋１）をほぼ同じタイミングで符号化することになる。これでは符号化部２で符号化するブロックの予測処理に有効なブロック（領域）を参照することができない。

そこで、前記着目する画素ブロックを符号化部１で局部復号し符号化部２への転送が完了し、符号化部２で参照可能となるタイミングまで、符号化部２の符号化タイミングを遅らせる。このタイミングチャートを図３（Ｂ）に示す。この図に示すタイミングどおりに局部復号を行い、復元データを転送できれば、２ブロック分の符号化時間だけ遅らせれば十分である。

この間、符号化部２はデータを余分に保持する必要があるため、その分のバッファ容量が余分に必要となるが、その容量は２ブロック分にすぎない。これにより符号化部２は、符号化するブロックと同一位置の符号化部１の局部復号ブロックデータを参照することができ、画像の全領域において、効果的な視点間予測を行うことが可能になる。

以上は、無限遠距離における仮想的な被写体について説明である。

被写体までの実際の距離は、当然無限遠距離よりも近いところにある。被写体がカメラへ近づいてくると、各視点画像における共通の被写体の位置が逆方向に移動する。

具体的には、図４（Ａ）に示すように、カメラ１の撮影画像上では左方向、カメラ２の撮影画像上では右方向へ被写体が移動する。一方、図４（Ｂ）に示すように、被写体が近づいてもカメラ１の撮影画像上で移動せず固定している場合、カメラ２の撮影画像上でより大きく右方向へ移動することになる。

この関係は、画素ブロックの予測にとって都合がよい。何故なら、視点間予測のために参照したい領域は、被写体までの距離が近ければ近いほど、右隣接カメラ側でより先行して符号化されることになるからである。これは、符号化対象のブロックがラスタースキャン順に移動していくからである。

よって条件的に最も厳しいのは、上で詳述した無限遠距離における被写体を視点間予測・参照する場合であり、この場合にきちんと参照できるよう、符号化部２の符号化開始タイミングの遅延時間を設定しておけば、その他の場合は何ら問題がないと言える。

ここまで、隣接カメラ間の参照関係と符号化部の動作タイミングに関して述べてきた。この参照関係を３台以上のカメラを横一列に並べた多視点画像撮影システムへ適用すると、基準視点となるカメラの位置は必然的に、被写体に対して最も右側（被写体側から見て最も左側）に配置したカメラということになる。

以上の説明を踏まえ、３台のカメラを横一列に配置した多視点画像符号化装置の構成を図５に示し、構成要素とその動作について以下に説明する。

同図において、５０１、５０２、５０３は符号化する多視点の画像を撮影する第１乃至第３のカメラであり、５０１は基準視点となる第１のカメラである。図示されているように、第２のカメラ５０２は第１のカメラ５０１の左に隣接し、第３のカメラ５０３は第２のカメラ５０２の左に隣接している。

５１１、５１２、５１３はラスター走査順序でカメラから送られてくる画像データを符号化に適したブロックデータを形成するために、画像データを一時的に保持するための入力バッファである。５２１、５２２，５２３は各々対応するカメラからの画像を符号化するための第１乃至第３の符号化部である。５３１、５３２は視点間予測の参照領域の画像データを一時的に格納する、参照バッファであり、５４１、５４２、５４３は前記３つの符号化部が出力する符号を各々で格納する出力バッファである。

５５０は前記３つの符号化部の動作タイミングの制御ならびに符号化装置全体を制御する制御部である。

第１〜第３のカメラは同期して撮影を行い、同一時刻に撮影した３枚のフレームだけを見ると、視点が少しずつ違うが、静止した３枚の画像になっている。各カメラで撮影した画像のデータは、入力バッファ５１１〜５１３に送られる。

入力バッファ５１１は、８×８或いは１６×１６画素のブロックを形成できるだけのデータを蓄積したら、ブロックデータを切り出して第１の符号器５２１へ送る。第１の符号化部５２１は前記ブロックデータを受け取り、Ｉモードもしくは視点内Ｐモード予測を行って前記ブロックデータを符号化し、生成された符号データは、出力バッファ５４１へ送られ一時的に格納される。

一方、符号化部５２１で符号化済みのブロックは、同じ符号化部におけるＩ・Ｐモード予測で参照されるため、局部復号した画像を１フレームの期間保持する。それと共に、第２の符号化部５２２が視点間Ｐモード予測で参照できるよう、該局部復号画像を参照バッファ５３１にも転送し格納する。

図３（Ｂ）のタイミングチャートで示したように、画像内の同一位置のブロックデータを、視点間予測で参照する場合、参照する側は約２ブロック符号化時間だけ待つ必要がある。

よって、第２の符号化部５２２は第１の符号化部より２ブロック符号化時間の後に符号化を開始する。また、入力バッファ５１２から第２の符号化部へのブロックデータの転送もその時間だけ遅らせて開始する。

第３の符号化部５２３はさらに、第２の符号化部より２ブロック符号化時間の後に符号化を開始する。同様に、入力バッファ５１３から第３の符号化部へのブロックデータの転送もその時間だけ遅らせて開始する。

また、第２の符号化部で局部復号した画像データは、第３の符号化部が視点間Ｐモード予測で参照できるよう、参照バッファ５３２へ転送し格納する。第
２、第３の符号化部で生成した符号データは、前記第１の符号化部で生成した符号データと同様、出力バッファ５４２、５４３へ送られ一時的に格納される。

出力バッファ５４１乃至５４３に格納された符号データは、他の場所へ転送されて復号される、あるいは蓄積メディアに記録され長期間保存されることもある。

制御部５５０は、上記のような第１〜第３の符号化部の符号化タイミングの制御を行うと共に、各バッファの入出力タイミングを制御する。

以上に説明したように、本第１の実施形態によれば、各視点毎に、画素ブロックを単位とするラスタースキャン順に符号化を行う場合、被写体に対して右隣接カメラの撮影画像を符号化・復号した画像を、視点間予測で参照することにより、予測符号化における予測性能を低下させることなく、且つ、低遅延な多視点画像符号化装置を実現することができる。

［第２の実施形態］
本第２の実施形態は、視点間Ｐモード予測の参照元を複数に拡張したものである。

具体的には、上記第１の実施形態における視点間Ｐモード予測の参照元である右隣接カメラの撮影画像を、第１の視点間Ｐモード予測の参照元とし、第２の視点間Ｐモード予測の参照元を、右側に２台離れたカメラによる撮影画像とする。

そして、第１の実施形態では有効な視点間予測が困難な図６に示すような状況においても、視点間Ｐモード予測の参照元を２つに増やすことにより、有効な視点間予測ができるようにするものである。以下では図６について説明を行う。

図６において、近接物６１により、距離Ｍの被写体上に、カメラ２から死角となる領域６２が生じるが、この領域６２はカメラ１とカメラ３では撮影可能である。

この領域６２をカメラ３の符号化部３で符号化する場合、右隣接カメラ２の撮影画像を参照しても意味が無いが、２台離れたカメラ１で撮影し符号化部１で符号化した画像を参照すれば、該符号化ブロックの予測残差を減らし、効率よく符号化することができる。

同様に、同じ近接物６１により、カメラ３から死角となる領域６３が生じるが、この領域６３はカメラ２とカメラ４では撮影可能である。

この領域６３を符号化部４で符号化する場合、２台離れたカメラ２で撮影し符号化部２で符号化した画像を参照すれば、効率よく予測・符号化することができる。これらが本第２の実施形態による改善効果である。

なお図６において、前記近接物６１、領域６２、領域６３は水平方向のみを図示しているが、実際はある高さを有し２次元的な広がりを持つ。

図７に本第２の実施形態の一例である多視点画像符号化装置を示す。カメラが３台から４台に増えた点、左側２台のカメラの符号化部の視点間予測の参照元が２つに増えた点を除けば、第１の実施形態と同様の構成、動作タイミングであるため、該変更になった部分を中心に説明を行う。

まず、図５に示した第１の実施形態の多視点画像符号化装置の構成要素と、まったく同じ機能で動作する構成要素には同一の部番を付して継承した。具体的には５００番台の番号を付した構成要素が継承したものである。そして、図７において新たに追加した構成要素や図５の構成要素とは機能が若干異なる構成要素を以下に挙げる。

７０４は第４のカメラであり、７１４は該カメラの画像データを一時的に保持するための入力バッファである。７２３は第３の符号化部であるが、視点間予測の参照元が２つに増えている。７２４は第４のカメラで撮影した画像を符号化する第４の符号化部である。７３１、７３２、７３３は視点間予測の参照領域の画像データを一時的に格納する、参照バッファである。７４４は第４の符号化部が出力する符号を各々で格納する出力バッファである。７５０は４つの符号部と該符号化装置を制御する制御部である。

図７の構成で最大の特徴は、右側２台目のカメラの画像を視点間予測で利用するための参照バッファ７３１、７３２が存在することである。もし図７から該２つの参照バッファを取り除くと、カメラ３台の第１の実施形態をカメラ４台へ単純に増やしただけのものとなる。

この特徴説明は、図７と図５の違いを極めて簡潔に表現しており、図７の構成に関してはこれ以上の説明は不要であろう。従って必要なのは、第３と第４の符号化部において、選択可能な視点間予測をどのように切り替えるのかであろう。

本第２の実施形態における視点間予測の基本は、右隣接カメラの同一時刻のフレームの画像を符号化・局部復号した画像を参照することであり、本第２の実施形態においても当然それは同じである。

動きベクトル探索で一般的に行なわれている予測誤差評価と同様の評価手法により、１つ目の参照画像中（参照フレーム内）に、予測誤差が設定値より小さくなる領域が発見できれば、その領域を予測に用いる。もし発見できなければ（予測誤差が設定値以上の場合には）、２番目の優先順である２つ目の参照画像、すなわち、右側２台目のカメラの画像へ切り替えて領域探索を行う。そして、２つ目の参照画像内にも、予測誤差が設定値より小さくなる領域が見つからない時は、同じ視点における前フレームを参照する視点内Ｐモード予測へと移行する。このように、視点間予測から視点内予測へ切り替えていく。

あるいは、隣接ブロックの画像相関は比較的強いため、符号化対象ブロックの真上のブロックと左のブロックの参照元が共に２つ目の参照画像になっている場合、該２つ目の参照画像から予測を開始するのが効率的である。該２つ目の参照画像中に予測誤差が設定値より小さな領域が見つからない時は上記１つ目の参照画像に戻って予測を行えばよい。

最後に、第２の視点間Ｐモード予測の参照元は、右側に２台離れたカメラに限定されるものでは無く、当業者であれば容易に２台以上離れたカメラへと拡張できる。また、視点間予測の参照元の数を３つ以上に増やすことも可能である。

以上に説明したように、第１，第２の実施形態の多視点画像符号化装置は、視点間予測の参照元を右隣接カメラの撮影画像を符号化した画像に設定することにより、予測符号化における予測性能を低下させること無く、低遅延な符号化を実現するができる。

なお、第１の実施形態では撮像手段としてのカメラが３台、第２の実施形態では４台の例を示したが、この数は一例である点に注意されたい。すなわち、Ｎ個の撮像手段に一般化して示すのであれば、以下の構成を有するようにすれば良い。すなわち、
多視点の画像の符号化する符号化装置であって、
複数画素で構成されるブロックを単位に、撮像フレームの左上から右下方向に向かう順にラスター走査し、ブロック毎の符号化データを生成するＮ個の符号化手段と、
それぞれが前記Ｎ個の符号化手段の１つに対応し、一次元に配列されたＮ個の撮像手段であって、前記一次元における配列方向を前記ラスター走査におけ１つのラインに対応させるように配置されたＮ個の撮像手段とを有し、
前記Ｎ個の撮像手段における各々を、前記一次元における配列方向における右端から左端に向かう順番に第１、第２、…、第Ｎの撮像手段と定義し、
前記Ｎ個の符号化手段における各々を、該第１，第２、…、第Ｎの撮像手段それぞれに対応させて第１、第２、…、第Ｎの符号化手段と定義したとき、
第ｉの符号化手段（ｉ＞１）は、
第ｉの撮像手段よりも右側に位置する１つ以上の撮像手段で得られた同一時刻のフレームを視点間予測として参照する手段と、
前記第ｉの撮像手段からのフレームを、視点間予測するための時間だけ遅延させる遅延手段とを有する。

Claims (5)

1. 複数の撮像手段で撮像された画像データを符号化する画像符号化装置であって、
   前記画像データを一時的に格納するバッファ手段と、
   前記バッファ手段によって格納された画像データのフレームに含まれるブロックを所定の方向に順に符号化する符号化手段と、
   を備え、
   前記符号化手段は、
   前記複数の撮像手段の内の所定の撮像手段で撮像された所定のブロックを符号化する場合において、前記複数の撮像手段側から被写体側を見たときに前記所定の方向において前記所定の撮像手段に隣接する第１の撮像手段で撮像されたブロックに基づく予測誤差が第１の値より小さい場合、前記バッファ手段によって格納された前記所定のブロックを、前記第１の撮像手段で撮像されたブロックを参照して符号化し、
   前記第１の撮像手段で撮像されたフレームに基づく予測誤差が前記第１の値以上の場合において、前記所定の方向において前記第１の撮像手段に隣接する第２の撮像手段で撮像されたブロックに基づく予測誤差が第２の値より小さい場合、前記バッファ手段によって格納された前記所定のブロックを、前記第２の撮像手段で撮像されたフレームを参照して符号化する
   ことを特徴とする画像符号化装置。
2. 前記符号化手段は、前記第２の撮像手段で撮像されたブロックに基づく予測誤差が前記第２の値以上の場合、前記所定のブロックを、前記所定の撮像手段で撮像された前フレームのブロックを参照して、符号化する
   ことを特徴とする請求項１に記載の画像符号化装置。
3. 複数の撮像手段で撮像された画像データを符号化する画像符号化方法であって、
   符号化手段が、前記画像データを一時的に格納するバッファ手段によって格納された画像データのフレームに含まれるブロックを所定の方向に順に符号化する符号化工程を有し、
   前記符号化工程では、
   前記複数の撮像手段の内の所定の撮像手段で撮像された所定のブロックを符号化する場合において、前記複数の撮像手段側から被写体側を見たときに前記所定の方向において前記所定の撮像手段に隣接する第１の撮像手段で撮像されたブロックに基づく予測誤差が第１の値より小さい場合、前記バッファ手段によって格納された前記所定のブロックを、前記第１の撮像手段で撮像されたブロックを参照して符号化し、
   前記第１の撮像手段で撮像されたフレームに基づく予測誤差が前記第１の値以上の場合において、前記所定の方向において前記第１の撮像手段に隣接する第２の撮像手段で撮像されたブロックに基づく予測誤差が第２の値より小さい場合、前記バッファ手段によって格納された前記所定のブロックを、前記第２の撮像手段で撮像されたフレームを参照して符号化する
   ことを特徴とする画像符号化方法。
4. 前記符号化工程は、前記第２の撮像手段で撮像されたブロックに基づく予測誤差が前記第２の値以上の場合、前記所定のブロックを、前記所定の撮像手段で撮像された前フレームのブロックを参照して、符号化する
   ことを特徴とする請求項３に記載の画像符号化方法。
5. コンピュータに、請求項３又は４に記載された画像符号化方法の工程を実行させるためのプログラム。

Images