JP3776595B2 - 多視点画像の圧縮符号化装置および伸長復号化装置 - Google Patents
多視点画像の圧縮符号化装置および伸長復号化装置 Download PDFInfo
- Publication number
- JP3776595B2 JP3776595B2 JP18888998A JP18888998A JP3776595B2 JP 3776595 B2 JP3776595 B2 JP 3776595B2 JP 18888998 A JP18888998 A JP 18888998A JP 18888998 A JP18888998 A JP 18888998A JP 3776595 B2 JP3776595 B2 JP 3776595B2
- Authority
- JP
- Japan
- Prior art keywords
- viewpoint
- image
- information
- unit
- decoding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、複数のカメラで撮影された同一被写体の多視点画像を伝送する場合やコンピュータグラフィックスにより生成された３次元画像を多視点画像（２次元画像）として伝送する場合の圧縮符号化装置に係り、とくに従来の単視点画像の伝送装置との両立性を考慮した多視点画像の圧縮符号化装置および伸長復号化装置に関するものである。
【０００２】
【従来の技術】
従来、２眼式立体テレビ信号の圧縮符号化方式として単視点画像の符号化方式と両立性のあるＭＰＥＧ−２マルチビュープロファイルが標準化されている〔ISO/IEC 13818-2 Amendment 3, WG11 N1366(1996) （第１の従来方式と言う）〕。
【０００３】
また、人物の顔画像など比較的単純な形状の被写体を複数のカメラで撮影し、これらの撮影画像を繋ぎあわせて展開図状の平面画像とし、距離情報、撮影したカメラの位置、向き、画角などの情報とともに伝送する方式が検討されている〔J.R.Ohm and K. Mueller：“Incomplete 3D Representation of Video Objects for Multiview Applications, ”Proc. Picture Coding Symposium (PCS'97), pp. 427-432(1997)（第２の従来方式と言う）〕。
【０００４】
さらにまた、コンピュータグラフィックスなどにより生成した３次元画像については被写体を多面体で近似し、多面体の頂点の座標と多面体表面の画素値で表現する方式も普及している〔VRML2.0 ISO/IEC CD14772 （第３の従来方式と言う）〕。
【０００５】
【発明が解決しようとする課題】
上述した第１の従来方式では、２眼式立体テレビ信号の左眼用画像を基本層で、右眼用画像を拡張層で符号化する階層符号化方式が採用されていて、左眼用画像は基本層のデータのみから復号することができるが、右眼用画像は基本層と拡張層のデータから復号する。この階層復号化方式を多視点画像の符号化に適用すれば、単視点画像の符号化、復号化システムと両立性のある多視点画像符号化装置および復号化装置が実現できるが、この方式は、画像を小ブロックに分割し、ブロック毎に視差補償予測または動き補償予測によりブロックを平行移動させて予測し、その残差を符号化する方式であるため、伝送する画像の視点数が増加するにつれて伝送ビットレートが増加してしまうという問題がある。また、この方式は、視差あるいは距離情報をすべて伝送する方式ではないため、伝送していない視点での画像を内挿処理によって合成する場合、受信装置側で受信画像情報から所望視点の視差あるいは距離情報を算出するための装置が必要となってしまう。
【０００６】
一方、上述した第２および第３の従来方式では、単視点画像の符号化、復号化システムとの両立性がないという問題がある。
【０００７】
本発明の目的は、３以上の複数視点で観測される各画像データを効率的に圧縮符号化して伝送（受信側において伸長復号化する）することができ、しかも、最上位に定義された視点に対応する符号化データは従来の単視点画像符号化装置を用いて復号化することができるという点で、単視点画像の符号化、復号化システムと両立性を有する多視点画像の圧縮符号化装置および伸長復号化装置を提供することにある。
【０００８】
【課題を解決するための手段】
上記目的を達成するため、本発明による多視点画像の圧縮符号化装置は、１つの視点に対応する画像を予測符号化する際に、他の複数の視点に対応する画像のうち、どの視点に対応する画像を参照画像として使用するかが記憶されている視点順位メモリと、複数の参照候補画像のうちから、前記視点順位メモリに記憶された視点順位に従い少なくとも１つの参照画像を選択する予測画像選択部と、該予測画像選択部によって選択された参照画像に対応する画像の画像情報および視点情報と前記１つの視点に対応する画像の視点情報とを使用して、前記選択された参照画像に対応する画像の画像情報を前記１つの視点に対応する画像の画像情報の予測値に変換する視点変換部と、最上位視点に対応する画像の画像情報と視点情報を符号化する第１の符号化部と、前記１つの視点に対応する画像の画像情報（真値）から前記視点変換部によって得られた画像情報の予測値を減じて得られた画像情報（差分値）と前記１つの視点に対応する画像の視点情報とを符号化する第２の符号化部とを少なくとも具え、前記第１の符号化部と前記第２の符号化部によってそれぞれ符号化された符号化データを局部復号化して得られた前記最上位視点および前記１つの視点にそれぞれ対応する画像の画像情報と視点情報が選択されるべき前記複数の参照候補画像として前記予測画像選択部に供給されるように構成されていることを特徴とするものである。
【０００９】
また、本発明による多視点画像の伸長復号化装置は、複数の参照候補画像のうちから、送信側から伝送される視点順位に従い少なくとも１つの参照画像を選択する予測画像選択部と、該予測画像選択部によって選択された参照画像に対応する画像の画像情報および視点情報と送信側から伝送される前記１つの視点に対応する画像の視点情報とを使用して、前記選択された参照画像に対応する画像の画像情報を前記１つの視点に対応する画像の画像情報の予測値に変換する視点変換部と、符号化され送信側から伝送されてきた前記最上位視点に対応する画像の画像情報と視点情報を復号化する第１の復号化部と、予測符号化され送信側から伝送されてきた前記１つの視点に対応する画像の画像情報（差分値）に前記視点変換部によって得られた画像情報の予測値を加算して得られた画像情報と符号化され送信側から伝送されてきた前記１つの視点に対応する画像の視点情報とを復号化する第２の復号化部とを少なくとも具え、前記第１の復号化部と前記第２の復号化部によってそれぞれ復号化された前記最上位視点および前記１つの視点にそれぞれ対応する画像の画像情報と視点情報が選択されるべき前記複数の参照候補画像として前記予測画像選択部に供給されるように構成されていることを特徴とするものである。
【００１０】
また、本発明による視点変換部は、参照画像の視点を基準とした座標系での画素位置と距離値をそれぞれ（Ｘ，Ｙ）とＺで表し、符号化しようとする画像の視点を基準とした座標系の画素位置と距離値をそれぞれ（Ｘ′，Ｙ′）とＺ′で表したとき、
【数２】
ここに、Ｍは３行４列の行例
によって座標変換を行う座標変換器を含んでなることを特徴とするものである。
【００１１】
【発明の実施の形態】
以下に添付図面を参照し、発明の実施の形態に基づいて本発明を詳細に説明する。
本発明は、以下に詳細に説明するように、被写体を観測する際の３以上の複数の視点に視点順位を定義し、上位の視点に対応する画像のある画素位置における画素値および視点からその画素に対応する被写体までの距離情報（以下、画像情報と言う）と、上位の視点に対応する画像の視点の位置、視点の向きおよび画角の情報（以下、視点情報と言う）、ならびに、下位の視点に対応する画像の視点情報から、下位の視点に対応する画像の画像情報の予測値を算出し、予測符号化により予測値と真値との差に相当する符号化データを伝送することにより、多視点画像を効果的に圧縮符号化し、また、受信側において伸長復号化しようとするものである。
【００１２】
まず、視点の順位について説明する。
図１は、これを説明する図であり、（ａ）は視点（カメラ）配置を示し、本例においては、カメラＡからＧまでの７台のカメラが同一被写体を撮影している。同図において（ｂ）は、それら視点間の順位（視点順位）を定義し、視点Ｄは最上位の視点、視点Ｂ，Ｆは次に上位の視点、そして視点Ａ，Ｃ，Ｅ，Ｇはその次に上位の視点であることを示している。さらに同図において（ｃ）は、予測符号化に際しての参照関係を示していて、例えば、最初に示されるＡ←Ｂは、視点Ａの画像は視点Ｂの画像を参照画像として予測符号化できることを示している。
【００１３】
以上説明した視点の視点順位、および各視点ごとの画像情報（画素位置、画素値、距離値）と視点情報（位置、向き、画角）に基づいて多視点画像を圧縮符号化する本発明多視点画像の圧縮符号化装置について以下に説明する。
図２は、本発明による多視点画像の圧縮符号化装置の一実施形態を示すブロック図である。また、図２では、図１の７視点のうち、最上位視点を含む４視点のブロックのみを図示している。
図２において、１は視点順位メモリ、２は予測画像選択部、３は最上位視点画像入力部、４は画像・視点情報符号化部、５−１は第ｎ視点画像入力部、６−１は視点変換部、７−１は画像・視点情報予測符号化部、および８−１，８−２，８−３はそれぞれの視点に対応する画像入力部、視点変換部、画像・視点情報予測符号化部を含んでなる符号化ブロックである。
【００１４】
動作につき説明する。
視点順位メモリ１には、図１（ｃ）に示す各視点間の参照関係データが記憶され、その記憶内容は、復号時の基準として使用するために伝送路ａを介して受信側に送られるとともに、信号路ｂを介して予測画像選択部２に送られる。予測画像選択部２においては、その送られた参照関係データから図１（ｂ）に示す各視点間の視点順位を求め、符号化信号の局部復号化信号として信号路ｅおよびｋ−１，ｋ−２，ｋ−３を介して当該予測画像選択部２に入力されるすべての視点に対応する画像の画像情報と視点情報のなかから、符号化しようとする視点に対応する画像の参照画像に対応する画像情報と視点情報を選択して信号路ｇ−１，ｇ−２，ｇ−３に出力する。
【００１５】
ここに参照画像とは、例えば、カメラＣで撮影された画像（図１（ａ）参照）を符号化しようとする場合、図１（ｃ）に示す各視点間の参照関係に基づいて、カメラＣに対して上位のカメラＢとさらに上位のカメラＤの各視点に対応する画像が参照画像である。
【００１６】
最上位視点画像入力部３には、本例の場合、最上位視点のカメラＤで撮影された画像（図１（ａ）参照）が供給され、信号路ｃ，ｄに最上位視点に対応する画像の視点情報（位置、向き、画角）と画像情報（画素位置、画素値、距離値）がそれぞれ出力される。
【００１７】
信号路ｃ，ｄを通して出力された最上位視点に対応する画像の視点情報と画像情報は、画像・視点情報符号化部４において符号化され、符号化された画像情報と視点情報を伝送路ｆに送出する。画像・視点情報符号化部４は、従来技術において説明したようなＭＰＥＧ−２マルチビュープロファイルにおける左眼用画像のように他の画像を参照せずに独立に符号化する符号化器をもって構成される。
【００１８】
従って、この画像・視点情報符号化部４において最上位視点に対応する画像の画素値を上記のような従来の単視点画像の符号化方式を用いた符号化器で符号化するようにすれば、従来の復号化装置によって最上位視点画像の画素値の復号化が可能となる。また、符号化部４は局部復号化器（図示されない）を具え、符号化された画像情報と視点情報を復号化し、信号路ｅを介して予測画像選択部２に供給する。
【００１９】
また、第ｎ視点画像入力部５−１には、第ｎ視点のカメラ（例えば、図１（ａ）のカメラＣとする）で撮影された画像が供給され、信号路ｈ，ｉに第ｎ視点に対応する画像の視点情報と画像情報がそれぞれ出力される。
【００２０】
次に、本発明で重要な役割りを果す視点変換部６−１について説明する。
視点変換部６−１の構成は、例えば、図３のブロック図で示される。
図３において、９−１，９−２，９−３は座標変換器、１０−１，１０−２，１０−３はフレームメモリ、１１は比較器、および１２は選択器である。
【００２１】
上述したように、予測画像選択部２には、画像・視点情報符号化部４および複数個の画像・視点情報予測符号化部７−１（７−２以下は図示されない）からの局部復号化画像情報と視点情報が信号線ｅとｋ−１，ｋ−２，ｋ−３をそれぞれ介して供給されている。これら供給されている各視点に対応する画像情報のうち、第ｎ視点に対応する画像の参照画像の画像情報を、当該画像の視点情報と第ｎ視点に対応する画像の視点情報とに基づいて第ｎ視点に対応する画像情報に変換するのが視点変換部６−１（６−２以下は図示されない）の役割りであり、具体的には次に説明する座標変換によって行う。
【００２２】
いま、第ｎ視点が図１（ａ）に示すカメラＣであるとすると、予測画像選択部２から信号線ｇ−１を介して視点変換部６−１に供給される画像情報と視点情報は、カメラＢとカメラＤに対応するそれら情報である。また本例では、視点変換部６−１にカメラＣに対応する画像の視点情報も信号線ｈを介して供給されている。
【００２３】
図４は、視点変換の前提となる視点の位置と向きを規定する座標系の一例を示す図である。
また図５は、被写体上の点が撮影面上の点に投影される位置を示す図である。
図４において、視点Ｂの位置（カメラの光学中心）ＯB を原点とし、カメラの光軸の方向をＺB 、カメラの上方の方向をＹB 、および方向ＺB とＹB に直交する方向をＸB とする座標系において、被写体上の点Ｐ（Ｘ，Ｙ，Ｚ）は、図５に示すように、光学中心と撮影面とのなす距離をｆとするとき、撮影面上の点（ｆ・Ｘ／Ｚ，ｆ・Ｙ／Ｚ）に投影される。従って、逆に、撮影面上の画素位置と被写体上の点Ｐまでの距離情報Ｚを用いて点Ｐ（Ｘ，Ｙ，Ｚ）の座標を求めることができる。
【００２４】
次に、図４において点Ｐの座標を視点Ｃの位置ＯC を原点とし、視点Ｃの向きがＸC , ＹC ，ＺC により定義される座標系を用いて表すと、３行４列の行列Ｍによる座標変換、
【数３】
により点Ｐの座標を表すことができ、カメラＣの撮影面上に投影される点（ｆ・Ｘ′／Ｚ′，ｆ・Ｙ′／Ｚ′）の位置を算出することができる。
【００２５】
上述したように、参照される視点（視点ＢおよびＤ）の画素位置（Ｘ，Ｙ）と距離値Ｚは、参照される視点の視点情報により決まる座標系から符号化しようとする視点（視点Ｃ）の視点情報により決まる座標系へ行列変換することができ、符号化しようとする視点での座標系では画素位置（Ｘ′，Ｙ′）と距離値Ｚ′とで表される。
【００２６】
視点変換部６−１の構成を示す図３において、座標変換器９−１，９−２，９−３の入出力側における変換前および変換後の画素位置と距離値を上記に合わせて、（Ｘ，Ｙ，Ｚ）および（Ｘ′，Ｙ′，Ｚ′）でそれぞれ表している。座標変換により出力される画素位置Ｘ′，Ｙ′と距離値Ｚ′は、参照画像の画素値（図３では、一例としてＲ，Ｇ，Ｂで表す）とともにフレームメモリ１０−１，１０−２，１０−３に入力され、画素の走査の順番に並び替える。参照画像が複数ある場合には、それぞれの視点について座標変換と並び替えを行って符号化しようとする視点で観測される画素位置に揃えておく。各フレームメモリ１０−１，１０−２，１０−３から出力された画素値Ｒ，Ｇ，Ｂが符号化しようとする視点の同じ画素位置で複数存在する場合にはそれら複数の距離値Ｚ′を比較器１１により比較し、最小の距離値Ｚ′を有する画素値Ｒ，Ｇ，Ｂ、すなわち第ｎ視点から見て最も手前にある画素値Ｒ，Ｇ，Ｂを、比較器１１の比較結果により選択器１２を制御することにより選択し、第ｎ視点に対応する画像の予測値とする。
【００２７】
再び、図２を参照するに、画像・視点情報予測符号化部７−１には、信号路ｈ，ｉ，ｊを介して第ｎ視点に対応する画像の視点情報（真値）、画像情報（真値）、参照画像に対応する画像の画像情報（予測値）がそれぞれ供給される。これら画像情報および視点情報の真値および予測値の供給を受けて、画像・視点情報予測符号化部７−１では画像情報の真値と予測値の差分符号化データ（視点情報に関しては、第ｎ視点に対応する画像のみの符号化データ）を符号化してこれを圧縮符号化信号として伝送路 L−１に出力する。
【００２８】
なお、得られた圧縮符号化信号を伸長復号化した画像情報および視点情報の圧縮・伸長局部復号化信号が信号線ｋ−１を介して予測画像選択部２に送られ、選択されるべき参照候補画像の一つとなる。これは、前述した最上位視点に対応する画像について（信号路ｅを介して選択部２に送られる）と同じである。
【００２９】
なお、符号化ブロック８−２，８−３（必要に応じて増加する）は、それぞれが上述した符号化ブロック８−１と同一の構成で、複数の視点それぞれに対応する画像データを圧縮符号化する。
【００３０】
図６は、本発明による多視点画像の伸長復号化装置の一実施形態を示すブロック図である。また、図６では、図２と同様、最上位視点を含む４視点のブロックのみを図示している。
図６において、１３は予測画像選択部、１４は画像・視点情報復号化部、１５は最上位視点画像出力部、１６−１は視点変換部、１７−１は画像・視点情報予測復号化部、１８−１は第ｎ視点画像出力部、および１９−１，１９−２，１９−３はそれぞれの視点に対応する視点変換部、画像・視点情報予測復号化部および画像出力部を含んでなる復号化ブロックである。
【００３１】
動作につき説明する。
まず、予測画像選択部１３には、送信側の視点順位メモリ１（図２参照）に記憶された各視点間の参照関係データが伝送路ａを介して伝送され、当該選択部１３において、送信側におけると同様に各視点間の視点順位を求める。また、この予測画像選択部１３には、図に示すように、画像・視点情報復号化部１４および画像・視点情報予測復号化部１７−１（１７−２以下は図示されない）から信号路ｒおよびｗ−１，ｗ−２，ｗ−３をそれぞれ介して復号化信号（各視点に対応する画像の画像情報と視点情報）が供給されている。
【００３２】
以上に基づいて、予測画像選択部１３は、供給されるすべての視点に対応する画像の画像情報と視点情報のなかから、復号化しようとする視点に対応する画像（例えば、第ｎ視点のカメラＣで撮影された画像）の参照画像（この場合、カメラＢおよびＤで撮影された画像）に対応する画像情報と視点情報を選択して、信号路ｓ−１に出力する。
【００３３】
一方、伝送路ｆを介して受信側に伝送され、最上位視点に対応する符号化された画像情報と視点情報は、画像・視点情報復号化部１４に供給され、当該復号化部において符号化データを復号化し、その復号化された最上位視点に対応する画像の画像情報と視点情報を信号路ｒに出力する。これを復号化信号として最上位視点画像出力部１５から取り出し得るようにするとともに、上述したように、予測画像選択部１３にも供給する。
【００３４】
次に、第ｎ視点に対する画像の伸長復号化について説明する。
図６において、視点変換器１６−１は、送信側における視点変換器６−１とまったく同じ動作（従って、回路構成も図３に示すものとなる）をするもので、同変換器１６−１には、信号路ｓ−１を介して参照画像に対応する画像情報と視点情報が、また信号路ｕを介して第ｎ視点に対応する画像の視点情報がそれぞれ供給され、その出力側には、第ｎ視点（上記のように、例えば、カメラＣ）に対応する画像の画像情報の予測値が得られ、これを信号路ｖを介して画像・視点情報予測復号化部１７−１に供給する。
【００３５】
なお、図６において、第ｎ視点以外の視点に対応する画像の参照画像を用いてそれら視点の画像に対応する画像を伸長復号化する場合、予測画像選択部１３から該当する参照画像の画像情報と視点情報が信号路ｓ−２，ｓ−３を介してそれぞれ視点変換器１６−２，１６−３（いずれも図示しない）に供給される。
【００３６】
また、画像・視点情報予測復号化部１７−１には、伝送路 L−１を介して伝送された第ｎ視点に対応する画像の画像情報の差分値および視点情報の圧縮符号化データと、信号路ｖを介しての第ｎ視点に対応する画像の画像情報（予測値）とが供給され、同予測復号化部１７−１において、上記差分値と上記画像情報の予測値を用いて第ｎ視点の原画像（送信側で送信した第ｎ視点の画像）に対応する画像の画像情報を再構成（加算）して出力する。また、これと同時に、第ｎ視点に対応する画像の視点情報も伸長復号化により画像・視点予測復号化部１７−１出力として出力する。
【００３７】
同予測復号化部１７−１出力は、図６に示すように、信号路ｗ−１を介し、一方では、第ｎ視点画像出力部１８−１に供給されて同出力部から画像情報と視点情報を取り出し得るようにし、他方では、予測画像選択部１３にも供給される。
【００３８】
復号化ブロック１９−１，１９−２，１９−３は、いずれも同一の構成であり、それぞれ必要な視点に対応する圧縮画像データを伝送路 L−１， L−２，L −３を介して受信しそれぞれ伸長復号化する。復号化ブロックの数は、送信側の符号化ブロックの数に対応してさらに追加することができる。
【００３９】
最後に、伸長復号化装置によっては復号化ブロックの数を低減できることを説明する。
例えば、図１（ｂ）に示すように階層的に定義された７視点における画像情報を復号化する場合、すべての視点における画像を同時に復号化する場合には視点変換器と予測復号化器からなる復号化ブロックが６個必要である。一方、ある１つの視点における画像情報だけを復号化する場合には、視点を階層的に定義しているので、どの視点についても上位には最大２つの視点しかなく、したがって最大２個の復号化ブロックがあれば、復号化可能である。
【００４０】
多視点画像の表示装置として、観視者の観視点の位置を検出して、その位置に応じて再生する画像の視点位置を切り替える方式を用いる場合には、同時に再生する視点の数は１つ、あるいは左右の眼に対応して２つであり、必ずしもすべての視点における画像を同時に復号化する必要はない。したがって、このように視点を階層的に定義することにより、表示装置によっては復号化ブロックの数を（同時に復号化が必要な視点数）×（階層数）以下とすることができ、復号化装置の複雑さを低減することができる。
【００４１】
【発明の効果】
本発明によれば、複数の視点に視点順位を定義し、下位の視点に対応する画像を、上位の視点に対応する画像の画像情報、視点情報を利用して予測符号化を行うことで、複数の視点で観測される画像データを効率的に圧縮符号化することができる。また、各画素について距離値を伝送し、視点変換器による座標変換を行うことで、予測の精度を向上させることができる。結果として、視点数を増加させたときの伝送データ量の増加を抑えることができる。
【００４２】
また、最上位に定義された視点に対応する画像については、他の視点に対応する画像を参照することなくこれを独立に符号化することで、従来の単視点画像の復号化装置によって、この最上位の視点に対応する画像の画素値を復号化することができる。複数の視点に視点順位を定義し、階層的に符号化を行うことで、１つの視点に対応する画像を復号する際に必要な視点変換器と予測復号化器からなる１つの復号化ブロックの数を階層数以下とすることができる。
【００４３】
また、復号化装置に具えられた復号化ブロックの階層数が符号化装置での符号化ブロックの階層数より少ない場合にも、符号化装置に具えられた階層数に応じた視点数の画像を復号化することができる。例えば、図１（ｂ）に示す視点順位で多視点に対応する画像が圧縮符号化されて伝送された場合、階層数が０の受信機（従来の単視点用復号化器）で復号化すると視点Ｄのみの、また、階層数が１の受信機で復号化すると視点Ｂ，Ｄ，Ｆの、また、階層数が２の高級な受信機で復号化するとすべての視点に対応する画像を復号化することが可能となる。
【図面の簡単な説明】
【図１】視点の順位を説明する図である。
【図２】本発明による多視点画像の圧縮符号化装置の一実施形態を示すブロック図である。
【図３】図２中の視点変換部の一構成例を示すブロック線図である。
【図４】視点変換の前提となる視点の位置と向きを規定する座標系の一例を示す図である。
【図５】被写体上の点が撮影面上の点に投影される位置を示す図である。
【図６】本発明による多視点画像の伸長復号化装置の一実施形態を示すブロック図である。
【符号の説明】
１ 視点順位メモリ
２ 予測画像選択部
３ 最上位視点画像入力部
４ 画像・視点情報符号化部
５−１ 第ｎ視点画像入力部
６−１ 視点変換部
７−１ 画像・視点情報予測符号化部
８−１，８−２，８−３ 符号化ブロック
９−１，９−２，９−３ 座標変換器
１０−１，１０−２，１０−３ フレームメモリ
１１ 比較器
１２ 選択器
１３ 予測画像選択部
１４ 画像・視点情報復号化部
１５ 最上位視点画像出力部
１６−１ 視点変換部
１７−１ 画像・視点情報予測復号化部
１８−１ 第ｎ視点画像出力部
１９−１，１９−２，１９−３ 復号化ブロック
【発明の属する技術分野】
本発明は、複数のカメラで撮影された同一被写体の多視点画像を伝送する場合やコンピュータグラフィックスにより生成された３次元画像を多視点画像（２次元画像）として伝送する場合の圧縮符号化装置に係り、とくに従来の単視点画像の伝送装置との両立性を考慮した多視点画像の圧縮符号化装置および伸長復号化装置に関するものである。
【０００２】
【従来の技術】
従来、２眼式立体テレビ信号の圧縮符号化方式として単視点画像の符号化方式と両立性のあるＭＰＥＧ−２マルチビュープロファイルが標準化されている〔ISO/IEC 13818-2 Amendment 3, WG11 N1366(1996) （第１の従来方式と言う）〕。
【０００３】
また、人物の顔画像など比較的単純な形状の被写体を複数のカメラで撮影し、これらの撮影画像を繋ぎあわせて展開図状の平面画像とし、距離情報、撮影したカメラの位置、向き、画角などの情報とともに伝送する方式が検討されている〔J.R.Ohm and K. Mueller：“Incomplete 3D Representation of Video Objects for Multiview Applications, ”Proc. Picture Coding Symposium (PCS'97), pp. 427-432(1997)（第２の従来方式と言う）〕。
【０００４】
さらにまた、コンピュータグラフィックスなどにより生成した３次元画像については被写体を多面体で近似し、多面体の頂点の座標と多面体表面の画素値で表現する方式も普及している〔VRML2.0 ISO/IEC CD14772 （第３の従来方式と言う）〕。
【０００５】
【発明が解決しようとする課題】
上述した第１の従来方式では、２眼式立体テレビ信号の左眼用画像を基本層で、右眼用画像を拡張層で符号化する階層符号化方式が採用されていて、左眼用画像は基本層のデータのみから復号することができるが、右眼用画像は基本層と拡張層のデータから復号する。この階層復号化方式を多視点画像の符号化に適用すれば、単視点画像の符号化、復号化システムと両立性のある多視点画像符号化装置および復号化装置が実現できるが、この方式は、画像を小ブロックに分割し、ブロック毎に視差補償予測または動き補償予測によりブロックを平行移動させて予測し、その残差を符号化する方式であるため、伝送する画像の視点数が増加するにつれて伝送ビットレートが増加してしまうという問題がある。また、この方式は、視差あるいは距離情報をすべて伝送する方式ではないため、伝送していない視点での画像を内挿処理によって合成する場合、受信装置側で受信画像情報から所望視点の視差あるいは距離情報を算出するための装置が必要となってしまう。
【０００６】
一方、上述した第２および第３の従来方式では、単視点画像の符号化、復号化システムとの両立性がないという問題がある。
【０００７】
本発明の目的は、３以上の複数視点で観測される各画像データを効率的に圧縮符号化して伝送（受信側において伸長復号化する）することができ、しかも、最上位に定義された視点に対応する符号化データは従来の単視点画像符号化装置を用いて復号化することができるという点で、単視点画像の符号化、復号化システムと両立性を有する多視点画像の圧縮符号化装置および伸長復号化装置を提供することにある。
【０００８】
【課題を解決するための手段】
上記目的を達成するため、本発明による多視点画像の圧縮符号化装置は、１つの視点に対応する画像を予測符号化する際に、他の複数の視点に対応する画像のうち、どの視点に対応する画像を参照画像として使用するかが記憶されている視点順位メモリと、複数の参照候補画像のうちから、前記視点順位メモリに記憶された視点順位に従い少なくとも１つの参照画像を選択する予測画像選択部と、該予測画像選択部によって選択された参照画像に対応する画像の画像情報および視点情報と前記１つの視点に対応する画像の視点情報とを使用して、前記選択された参照画像に対応する画像の画像情報を前記１つの視点に対応する画像の画像情報の予測値に変換する視点変換部と、最上位視点に対応する画像の画像情報と視点情報を符号化する第１の符号化部と、前記１つの視点に対応する画像の画像情報（真値）から前記視点変換部によって得られた画像情報の予測値を減じて得られた画像情報（差分値）と前記１つの視点に対応する画像の視点情報とを符号化する第２の符号化部とを少なくとも具え、前記第１の符号化部と前記第２の符号化部によってそれぞれ符号化された符号化データを局部復号化して得られた前記最上位視点および前記１つの視点にそれぞれ対応する画像の画像情報と視点情報が選択されるべき前記複数の参照候補画像として前記予測画像選択部に供給されるように構成されていることを特徴とするものである。
【０００９】
また、本発明による多視点画像の伸長復号化装置は、複数の参照候補画像のうちから、送信側から伝送される視点順位に従い少なくとも１つの参照画像を選択する予測画像選択部と、該予測画像選択部によって選択された参照画像に対応する画像の画像情報および視点情報と送信側から伝送される前記１つの視点に対応する画像の視点情報とを使用して、前記選択された参照画像に対応する画像の画像情報を前記１つの視点に対応する画像の画像情報の予測値に変換する視点変換部と、符号化され送信側から伝送されてきた前記最上位視点に対応する画像の画像情報と視点情報を復号化する第１の復号化部と、予測符号化され送信側から伝送されてきた前記１つの視点に対応する画像の画像情報（差分値）に前記視点変換部によって得られた画像情報の予測値を加算して得られた画像情報と符号化され送信側から伝送されてきた前記１つの視点に対応する画像の視点情報とを復号化する第２の復号化部とを少なくとも具え、前記第１の復号化部と前記第２の復号化部によってそれぞれ復号化された前記最上位視点および前記１つの視点にそれぞれ対応する画像の画像情報と視点情報が選択されるべき前記複数の参照候補画像として前記予測画像選択部に供給されるように構成されていることを特徴とするものである。
【００１０】
また、本発明による視点変換部は、参照画像の視点を基準とした座標系での画素位置と距離値をそれぞれ（Ｘ，Ｙ）とＺで表し、符号化しようとする画像の視点を基準とした座標系の画素位置と距離値をそれぞれ（Ｘ′，Ｙ′）とＺ′で表したとき、
【数２】
によって座標変換を行う座標変換器を含んでなることを特徴とするものである。
【００１１】
【発明の実施の形態】
以下に添付図面を参照し、発明の実施の形態に基づいて本発明を詳細に説明する。
本発明は、以下に詳細に説明するように、被写体を観測する際の３以上の複数の視点に視点順位を定義し、上位の視点に対応する画像のある画素位置における画素値および視点からその画素に対応する被写体までの距離情報（以下、画像情報と言う）と、上位の視点に対応する画像の視点の位置、視点の向きおよび画角の情報（以下、視点情報と言う）、ならびに、下位の視点に対応する画像の視点情報から、下位の視点に対応する画像の画像情報の予測値を算出し、予測符号化により予測値と真値との差に相当する符号化データを伝送することにより、多視点画像を効果的に圧縮符号化し、また、受信側において伸長復号化しようとするものである。
【００１２】
まず、視点の順位について説明する。
図１は、これを説明する図であり、（ａ）は視点（カメラ）配置を示し、本例においては、カメラＡからＧまでの７台のカメラが同一被写体を撮影している。同図において（ｂ）は、それら視点間の順位（視点順位）を定義し、視点Ｄは最上位の視点、視点Ｂ，Ｆは次に上位の視点、そして視点Ａ，Ｃ，Ｅ，Ｇはその次に上位の視点であることを示している。さらに同図において（ｃ）は、予測符号化に際しての参照関係を示していて、例えば、最初に示されるＡ←Ｂは、視点Ａの画像は視点Ｂの画像を参照画像として予測符号化できることを示している。
【００１３】
以上説明した視点の視点順位、および各視点ごとの画像情報（画素位置、画素値、距離値）と視点情報（位置、向き、画角）に基づいて多視点画像を圧縮符号化する本発明多視点画像の圧縮符号化装置について以下に説明する。
図２は、本発明による多視点画像の圧縮符号化装置の一実施形態を示すブロック図である。また、図２では、図１の７視点のうち、最上位視点を含む４視点のブロックのみを図示している。
図２において、１は視点順位メモリ、２は予測画像選択部、３は最上位視点画像入力部、４は画像・視点情報符号化部、５−１は第ｎ視点画像入力部、６−１は視点変換部、７−１は画像・視点情報予測符号化部、および８−１，８−２，８−３はそれぞれの視点に対応する画像入力部、視点変換部、画像・視点情報予測符号化部を含んでなる符号化ブロックである。
【００１４】
動作につき説明する。
視点順位メモリ１には、図１（ｃ）に示す各視点間の参照関係データが記憶され、その記憶内容は、復号時の基準として使用するために伝送路ａを介して受信側に送られるとともに、信号路ｂを介して予測画像選択部２に送られる。予測画像選択部２においては、その送られた参照関係データから図１（ｂ）に示す各視点間の視点順位を求め、符号化信号の局部復号化信号として信号路ｅおよびｋ−１，ｋ−２，ｋ−３を介して当該予測画像選択部２に入力されるすべての視点に対応する画像の画像情報と視点情報のなかから、符号化しようとする視点に対応する画像の参照画像に対応する画像情報と視点情報を選択して信号路ｇ−１，ｇ−２，ｇ−３に出力する。
【００１５】
ここに参照画像とは、例えば、カメラＣで撮影された画像（図１（ａ）参照）を符号化しようとする場合、図１（ｃ）に示す各視点間の参照関係に基づいて、カメラＣに対して上位のカメラＢとさらに上位のカメラＤの各視点に対応する画像が参照画像である。
【００１６】
最上位視点画像入力部３には、本例の場合、最上位視点のカメラＤで撮影された画像（図１（ａ）参照）が供給され、信号路ｃ，ｄに最上位視点に対応する画像の視点情報（位置、向き、画角）と画像情報（画素位置、画素値、距離値）がそれぞれ出力される。
【００１７】
信号路ｃ，ｄを通して出力された最上位視点に対応する画像の視点情報と画像情報は、画像・視点情報符号化部４において符号化され、符号化された画像情報と視点情報を伝送路ｆに送出する。画像・視点情報符号化部４は、従来技術において説明したようなＭＰＥＧ−２マルチビュープロファイルにおける左眼用画像のように他の画像を参照せずに独立に符号化する符号化器をもって構成される。
【００１８】
従って、この画像・視点情報符号化部４において最上位視点に対応する画像の画素値を上記のような従来の単視点画像の符号化方式を用いた符号化器で符号化するようにすれば、従来の復号化装置によって最上位視点画像の画素値の復号化が可能となる。また、符号化部４は局部復号化器（図示されない）を具え、符号化された画像情報と視点情報を復号化し、信号路ｅを介して予測画像選択部２に供給する。
【００１９】
また、第ｎ視点画像入力部５−１には、第ｎ視点のカメラ（例えば、図１（ａ）のカメラＣとする）で撮影された画像が供給され、信号路ｈ，ｉに第ｎ視点に対応する画像の視点情報と画像情報がそれぞれ出力される。
【００２０】
次に、本発明で重要な役割りを果す視点変換部６−１について説明する。
視点変換部６−１の構成は、例えば、図３のブロック図で示される。
図３において、９−１，９−２，９−３は座標変換器、１０−１，１０−２，１０−３はフレームメモリ、１１は比較器、および１２は選択器である。
【００２１】
上述したように、予測画像選択部２には、画像・視点情報符号化部４および複数個の画像・視点情報予測符号化部７−１（７−２以下は図示されない）からの局部復号化画像情報と視点情報が信号線ｅとｋ−１，ｋ−２，ｋ−３をそれぞれ介して供給されている。これら供給されている各視点に対応する画像情報のうち、第ｎ視点に対応する画像の参照画像の画像情報を、当該画像の視点情報と第ｎ視点に対応する画像の視点情報とに基づいて第ｎ視点に対応する画像情報に変換するのが視点変換部６−１（６−２以下は図示されない）の役割りであり、具体的には次に説明する座標変換によって行う。
【００２２】
いま、第ｎ視点が図１（ａ）に示すカメラＣであるとすると、予測画像選択部２から信号線ｇ−１を介して視点変換部６−１に供給される画像情報と視点情報は、カメラＢとカメラＤに対応するそれら情報である。また本例では、視点変換部６−１にカメラＣに対応する画像の視点情報も信号線ｈを介して供給されている。
【００２３】
図４は、視点変換の前提となる視点の位置と向きを規定する座標系の一例を示す図である。
また図５は、被写体上の点が撮影面上の点に投影される位置を示す図である。
図４において、視点Ｂの位置（カメラの光学中心）ＯB を原点とし、カメラの光軸の方向をＺB 、カメラの上方の方向をＹB 、および方向ＺB とＹB に直交する方向をＸB とする座標系において、被写体上の点Ｐ（Ｘ，Ｙ，Ｚ）は、図５に示すように、光学中心と撮影面とのなす距離をｆとするとき、撮影面上の点（ｆ・Ｘ／Ｚ，ｆ・Ｙ／Ｚ）に投影される。従って、逆に、撮影面上の画素位置と被写体上の点Ｐまでの距離情報Ｚを用いて点Ｐ（Ｘ，Ｙ，Ｚ）の座標を求めることができる。
【００２４】
次に、図４において点Ｐの座標を視点Ｃの位置ＯC を原点とし、視点Ｃの向きがＸC , ＹC ，ＺC により定義される座標系を用いて表すと、３行４列の行列Ｍによる座標変換、
【数３】
【００２５】
上述したように、参照される視点（視点ＢおよびＤ）の画素位置（Ｘ，Ｙ）と距離値Ｚは、参照される視点の視点情報により決まる座標系から符号化しようとする視点（視点Ｃ）の視点情報により決まる座標系へ行列変換することができ、符号化しようとする視点での座標系では画素位置（Ｘ′，Ｙ′）と距離値Ｚ′とで表される。
【００２６】
視点変換部６−１の構成を示す図３において、座標変換器９−１，９−２，９−３の入出力側における変換前および変換後の画素位置と距離値を上記に合わせて、（Ｘ，Ｙ，Ｚ）および（Ｘ′，Ｙ′，Ｚ′）でそれぞれ表している。座標変換により出力される画素位置Ｘ′，Ｙ′と距離値Ｚ′は、参照画像の画素値（図３では、一例としてＲ，Ｇ，Ｂで表す）とともにフレームメモリ１０−１，１０−２，１０−３に入力され、画素の走査の順番に並び替える。参照画像が複数ある場合には、それぞれの視点について座標変換と並び替えを行って符号化しようとする視点で観測される画素位置に揃えておく。各フレームメモリ１０−１，１０−２，１０−３から出力された画素値Ｒ，Ｇ，Ｂが符号化しようとする視点の同じ画素位置で複数存在する場合にはそれら複数の距離値Ｚ′を比較器１１により比較し、最小の距離値Ｚ′を有する画素値Ｒ，Ｇ，Ｂ、すなわち第ｎ視点から見て最も手前にある画素値Ｒ，Ｇ，Ｂを、比較器１１の比較結果により選択器１２を制御することにより選択し、第ｎ視点に対応する画像の予測値とする。
【００２７】
再び、図２を参照するに、画像・視点情報予測符号化部７−１には、信号路ｈ，ｉ，ｊを介して第ｎ視点に対応する画像の視点情報（真値）、画像情報（真値）、参照画像に対応する画像の画像情報（予測値）がそれぞれ供給される。これら画像情報および視点情報の真値および予測値の供給を受けて、画像・視点情報予測符号化部７−１では画像情報の真値と予測値の差分符号化データ（視点情報に関しては、第ｎ視点に対応する画像のみの符号化データ）を符号化してこれを圧縮符号化信号として伝送路 L−１に出力する。
【００２８】
なお、得られた圧縮符号化信号を伸長復号化した画像情報および視点情報の圧縮・伸長局部復号化信号が信号線ｋ−１を介して予測画像選択部２に送られ、選択されるべき参照候補画像の一つとなる。これは、前述した最上位視点に対応する画像について（信号路ｅを介して選択部２に送られる）と同じである。
【００２９】
なお、符号化ブロック８−２，８−３（必要に応じて増加する）は、それぞれが上述した符号化ブロック８−１と同一の構成で、複数の視点それぞれに対応する画像データを圧縮符号化する。
【００３０】
図６は、本発明による多視点画像の伸長復号化装置の一実施形態を示すブロック図である。また、図６では、図２と同様、最上位視点を含む４視点のブロックのみを図示している。
図６において、１３は予測画像選択部、１４は画像・視点情報復号化部、１５は最上位視点画像出力部、１６−１は視点変換部、１７−１は画像・視点情報予測復号化部、１８−１は第ｎ視点画像出力部、および１９−１，１９−２，１９−３はそれぞれの視点に対応する視点変換部、画像・視点情報予測復号化部および画像出力部を含んでなる復号化ブロックである。
【００３１】
動作につき説明する。
まず、予測画像選択部１３には、送信側の視点順位メモリ１（図２参照）に記憶された各視点間の参照関係データが伝送路ａを介して伝送され、当該選択部１３において、送信側におけると同様に各視点間の視点順位を求める。また、この予測画像選択部１３には、図に示すように、画像・視点情報復号化部１４および画像・視点情報予測復号化部１７−１（１７−２以下は図示されない）から信号路ｒおよびｗ−１，ｗ−２，ｗ−３をそれぞれ介して復号化信号（各視点に対応する画像の画像情報と視点情報）が供給されている。
【００３２】
以上に基づいて、予測画像選択部１３は、供給されるすべての視点に対応する画像の画像情報と視点情報のなかから、復号化しようとする視点に対応する画像（例えば、第ｎ視点のカメラＣで撮影された画像）の参照画像（この場合、カメラＢおよびＤで撮影された画像）に対応する画像情報と視点情報を選択して、信号路ｓ−１に出力する。
【００３３】
一方、伝送路ｆを介して受信側に伝送され、最上位視点に対応する符号化された画像情報と視点情報は、画像・視点情報復号化部１４に供給され、当該復号化部において符号化データを復号化し、その復号化された最上位視点に対応する画像の画像情報と視点情報を信号路ｒに出力する。これを復号化信号として最上位視点画像出力部１５から取り出し得るようにするとともに、上述したように、予測画像選択部１３にも供給する。
【００３４】
次に、第ｎ視点に対する画像の伸長復号化について説明する。
図６において、視点変換器１６−１は、送信側における視点変換器６−１とまったく同じ動作（従って、回路構成も図３に示すものとなる）をするもので、同変換器１６−１には、信号路ｓ−１を介して参照画像に対応する画像情報と視点情報が、また信号路ｕを介して第ｎ視点に対応する画像の視点情報がそれぞれ供給され、その出力側には、第ｎ視点（上記のように、例えば、カメラＣ）に対応する画像の画像情報の予測値が得られ、これを信号路ｖを介して画像・視点情報予測復号化部１７−１に供給する。
【００３５】
なお、図６において、第ｎ視点以外の視点に対応する画像の参照画像を用いてそれら視点の画像に対応する画像を伸長復号化する場合、予測画像選択部１３から該当する参照画像の画像情報と視点情報が信号路ｓ−２，ｓ−３を介してそれぞれ視点変換器１６−２，１６−３（いずれも図示しない）に供給される。
【００３６】
また、画像・視点情報予測復号化部１７−１には、伝送路 L−１を介して伝送された第ｎ視点に対応する画像の画像情報の差分値および視点情報の圧縮符号化データと、信号路ｖを介しての第ｎ視点に対応する画像の画像情報（予測値）とが供給され、同予測復号化部１７−１において、上記差分値と上記画像情報の予測値を用いて第ｎ視点の原画像（送信側で送信した第ｎ視点の画像）に対応する画像の画像情報を再構成（加算）して出力する。また、これと同時に、第ｎ視点に対応する画像の視点情報も伸長復号化により画像・視点予測復号化部１７−１出力として出力する。
【００３７】
同予測復号化部１７−１出力は、図６に示すように、信号路ｗ−１を介し、一方では、第ｎ視点画像出力部１８−１に供給されて同出力部から画像情報と視点情報を取り出し得るようにし、他方では、予測画像選択部１３にも供給される。
【００３８】
復号化ブロック１９−１，１９−２，１９−３は、いずれも同一の構成であり、それぞれ必要な視点に対応する圧縮画像データを伝送路 L−１， L−２，L −３を介して受信しそれぞれ伸長復号化する。復号化ブロックの数は、送信側の符号化ブロックの数に対応してさらに追加することができる。
【００３９】
最後に、伸長復号化装置によっては復号化ブロックの数を低減できることを説明する。
例えば、図１（ｂ）に示すように階層的に定義された７視点における画像情報を復号化する場合、すべての視点における画像を同時に復号化する場合には視点変換器と予測復号化器からなる復号化ブロックが６個必要である。一方、ある１つの視点における画像情報だけを復号化する場合には、視点を階層的に定義しているので、どの視点についても上位には最大２つの視点しかなく、したがって最大２個の復号化ブロックがあれば、復号化可能である。
【００４０】
多視点画像の表示装置として、観視者の観視点の位置を検出して、その位置に応じて再生する画像の視点位置を切り替える方式を用いる場合には、同時に再生する視点の数は１つ、あるいは左右の眼に対応して２つであり、必ずしもすべての視点における画像を同時に復号化する必要はない。したがって、このように視点を階層的に定義することにより、表示装置によっては復号化ブロックの数を（同時に復号化が必要な視点数）×（階層数）以下とすることができ、復号化装置の複雑さを低減することができる。
【００４１】
【発明の効果】
本発明によれば、複数の視点に視点順位を定義し、下位の視点に対応する画像を、上位の視点に対応する画像の画像情報、視点情報を利用して予測符号化を行うことで、複数の視点で観測される画像データを効率的に圧縮符号化することができる。また、各画素について距離値を伝送し、視点変換器による座標変換を行うことで、予測の精度を向上させることができる。結果として、視点数を増加させたときの伝送データ量の増加を抑えることができる。
【００４２】
また、最上位に定義された視点に対応する画像については、他の視点に対応する画像を参照することなくこれを独立に符号化することで、従来の単視点画像の復号化装置によって、この最上位の視点に対応する画像の画素値を復号化することができる。複数の視点に視点順位を定義し、階層的に符号化を行うことで、１つの視点に対応する画像を復号する際に必要な視点変換器と予測復号化器からなる１つの復号化ブロックの数を階層数以下とすることができる。
【００４３】
また、復号化装置に具えられた復号化ブロックの階層数が符号化装置での符号化ブロックの階層数より少ない場合にも、符号化装置に具えられた階層数に応じた視点数の画像を復号化することができる。例えば、図１（ｂ）に示す視点順位で多視点に対応する画像が圧縮符号化されて伝送された場合、階層数が０の受信機（従来の単視点用復号化器）で復号化すると視点Ｄのみの、また、階層数が１の受信機で復号化すると視点Ｂ，Ｄ，Ｆの、また、階層数が２の高級な受信機で復号化するとすべての視点に対応する画像を復号化することが可能となる。
【図面の簡単な説明】
【図１】視点の順位を説明する図である。
【図２】本発明による多視点画像の圧縮符号化装置の一実施形態を示すブロック図である。
【図３】図２中の視点変換部の一構成例を示すブロック線図である。
【図４】視点変換の前提となる視点の位置と向きを規定する座標系の一例を示す図である。
【図５】被写体上の点が撮影面上の点に投影される位置を示す図である。
【図６】本発明による多視点画像の伸長復号化装置の一実施形態を示すブロック図である。
【符号の説明】
１ 視点順位メモリ
２ 予測画像選択部
３ 最上位視点画像入力部
４ 画像・視点情報符号化部
５−１ 第ｎ視点画像入力部
６−１ 視点変換部
７−１ 画像・視点情報予測符号化部
８−１，８−２，８−３ 符号化ブロック
９−１，９−２，９−３ 座標変換器
１０−１，１０−２，１０−３ フレームメモリ
１１ 比較器
１２ 選択器
１３ 予測画像選択部
１４ 画像・視点情報復号化部
１５ 最上位視点画像出力部
１６−１ 視点変換部
１７−１ 画像・視点情報予測復号化部
１８−１ 第ｎ視点画像出力部
１９−１，１９−２，１９−３ 復号化ブロック
Claims (3)
- １つの視点に対応する画像を予測符号化する際に、他の複数の視点に対応する画像のうち、どの視点に対応する画像を参照画像として使用するかが記憶されている視点順位メモリ１と、
複数の参照候補画像のうちから、前記視点順位メモリ１に記憶された視点順位に従い少なくとも１つの参照画像を選択する予測画像選択部２と、
該予測画像選択部２によって選択された参照画像に対応する画像の画像情報および視点情報と前記１つの視点に対応する画像の視点情報とを使用して、前記選択された参照画像に対応する画像の画像情報を前記１つの視点に対応する画像の画像情報の予測値に変換する視点変換部６と、
最上位視点に対応する画像の画像情報と視点情報を符号化する第１の符号化部４と、
前記１つの視点に対応する画像の画像情報（真値）から前記視点変換部６によって得られた画像情報の予測値を減じて得られた画像情報（差分値）と前記１つの視点に対応する画像の視点情報とを符号化する第２の符号化部７と
を少なくとも具え、
前記第１の符号化部４と前記第２の符号化部７によってそれぞれ符号化された符号化データを局部復号化して得られた前記最上位視点および前記１つの視点にそれぞれ対応する画像の画像情報と視点情報が選択されるべき前記複数の参照候補画像として前記予測画像選択部２に供給されるように構成されていることを特徴とする多視点画像の圧縮符号化装置。 - 請求項１記載の多視点画像の圧縮符号化装置によって伝送された符号化データを復号化する復号化装置であって、
複数の参照候補画像のうちから、送信側から伝送される視点順位に従い少なくとも１つの参照画像を選択する予測画像選択部１３と、
該予測画像選択部１３によって選択された参照画像に対応する画像の画像情報および視点情報と送信側から伝送される前記１つの視点に対応する画像の視点情報とを使用して、前記選択された参照画像に対応する画像の画像情報を前記１つの視点に対応する画像の画像情報の予測値に変換する視点変換部１６と、
符号化され送信側から伝送されてきた前記最上位視点に対応する画像の画像情報と視点情報を復号化する第１の復号化部１４と、
予測符号化され送信側から伝送されてきた前記１つの視点に対応する画像の画像情報（差分値）に前記視点変換部１６によって得られた画像情報の予測値を加算して得られた画像情報と符号化され送信側から伝送されてきた前記１つの視点に対応する画像の視点情報とを復号化する第２の復号化部１７と
を少なくとも具え、
前記第１の復号化部１４と前記第２の復号化部１７によってそれぞれ復号化された前記最上位視点および前記１つの視点にそれぞれ対応する画像の画像情報と視点情報が選択されるべき前記複数の参照候補画像として前記予測画像選択部６に供給されるように構成されていることを特徴とする多視点画像の伸長復号化装置。 - 請求項１記載の圧縮符号化装置または請求項２記載の伸長復号化装置において、前記視点変換部６または１６は、
参照画像の視点を基準とした座標系での画素位置と距離値をそれぞれ（Ｘ，Ｙ）とＺで表し、符号化しようとする画像の視点を基準とした座標系の画素位置と距離値をそれぞれ（Ｘ′，Ｙ′）とＺ′で表したとき、
によって座標変換を行う座標変換器９を含んでなることを特徴とする視点変換部。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP18888998A JP3776595B2 (ja) | 1998-07-03 | 1998-07-03 | 多視点画像の圧縮符号化装置および伸長復号化装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP18888998A JP3776595B2 (ja) | 1998-07-03 | 1998-07-03 | 多視点画像の圧縮符号化装置および伸長復号化装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000023198A JP2000023198A (ja) | 2000-01-21 |
| JP3776595B2 true JP3776595B2 (ja) | 2006-05-17 |
Family
ID=16231667
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP18888998A Expired - Fee Related JP3776595B2 (ja) | 1998-07-03 | 1998-07-03 | 多視点画像の圧縮符号化装置および伸長復号化装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3776595B2 (ja) |
Families Citing this family (26)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7489342B2 (en) * | 2004-12-17 | 2009-02-10 | Mitsubishi Electric Research Laboratories, Inc. | Method and system for managing reference pictures in multiview videos |
| KR100679740B1 (ko) * | 2004-06-25 | 2007-02-07 | 학교법인연세대학교 | 시점 선택이 가능한 다시점 동영상 부호화/복호화 방법 |
| US7444664B2 (en) * | 2004-07-27 | 2008-10-28 | Microsoft Corp. | Multi-view video format |
| US7728877B2 (en) * | 2004-12-17 | 2010-06-01 | Mitsubishi Electric Research Laboratories, Inc. | Method and system for synthesizing multiview videos |
| US8369406B2 (en) | 2005-07-18 | 2013-02-05 | Electronics And Telecommunications Research Institute | Apparatus of predictive coding/decoding using view-temporal reference picture buffers and method using the same |
| KR101244911B1 (ko) * | 2005-10-11 | 2013-03-18 | 삼성전자주식회사 | 카메라 파라미터를 이용한 다시점 동영상 부호화 및 복호화장치 및 방법과 이를 수행하기 위한 프로그램이 기록된기록매체 |
| US7903737B2 (en) * | 2005-11-30 | 2011-03-08 | Mitsubishi Electric Research Laboratories, Inc. | Method and system for randomly accessing multiview videos with known prediction dependency |
| JP2007166381A (ja) * | 2005-12-15 | 2007-06-28 | Univ Of Tokyo | 多視点画像の圧縮符号化方法及び復号化方法 |
| JP4570159B2 (ja) * | 2006-01-06 | 2010-10-27 | Ｋｄｄｉ株式会社 | 多視点映像符号化方法、装置及びプログラム |
| BRPI0713348A2 (pt) * | 2006-07-05 | 2012-03-06 | Thomson Licensing | Método e aparelho para codificação e decodificação de vídeo multivisualização |
| CN101291434A (zh) * | 2007-04-17 | 2008-10-22 | 华为技术有限公司 | 多视编解码方法及装置 |
| JP4786585B2 (ja) * | 2007-04-20 | 2011-10-05 | Ｋｄｄｉ株式会社 | 多視点映像符号化装置 |
| MY162861A (en) * | 2007-09-24 | 2017-07-31 | Koninl Philips Electronics Nv | Method and system for encoding a video data signal, encoded video data signal, method and system for decoding a video data signal |
| KR100918862B1 (ko) * | 2007-10-19 | 2009-09-28 | 광주과학기술원 | 참조영상을 이용한 깊이영상 생성방법 및 그 장치, 생성된깊이영상을 부호화/복호화하는 방법 및 이를 위한인코더/디코더, 그리고 상기 방법에 따라 생성되는 영상을기록하는 기록매체 |
| JP4964827B2 (ja) * | 2008-06-05 | 2012-07-04 | 日本電信電話株式会社 | 多視点距離情報符号化方法，復号方法，符号化装置，復号装置，符号化プログラム，復号プログラムおよびコンピュータ読み取り可能な記録媒体 |
| JP5219199B2 (ja) * | 2008-07-11 | 2013-06-26 | 日本電信電話株式会社 | 多視点画像符号化方法，復号方法，符号化装置，復号装置，符号化プログラム，復号プログラムおよびコンピュータ読み取り可能な記録媒体 |
| JP5566385B2 (ja) * | 2008-08-20 | 2014-08-06 | トムソン ライセンシング | 洗練された奥行きマップ |
| US8913105B2 (en) | 2009-01-07 | 2014-12-16 | Thomson Licensing | Joint depth estimation |
| JP4851564B2 (ja) * | 2009-06-15 | 2012-01-11 | 日本電信電話株式会社 | 映像符号化方法、映像復号方法、映像符号化プログラム、映像復号プログラム及びそれらのプログラムを記録したコンピュータ読み取り可能な記録媒体 |
| JP4851563B2 (ja) * | 2009-06-15 | 2012-01-11 | 日本電信電話株式会社 | 映像符号化方法、映像復号方法、映像符号化プログラム、映像復号プログラム及びそれらのプログラムを記録したコンピュータ読み取り可能な記録媒体 |
| JP2012100019A (ja) * | 2010-11-01 | 2012-05-24 | Sharp Corp | 多視点画像符号化装置及び多視点画像復号装置 |
| DE112011103496T5 (de) | 2010-11-15 | 2013-08-29 | Lg Electronics Inc. | Verfahren zum Umwandeln eines Einzelbildformats und Vorrichtung zur Benutzung dieses Verfahrens |
| JP5749595B2 (ja) * | 2011-07-27 | 2015-07-15 | 日本電信電話株式会社 | 画像伝送方法、画像伝送装置、画像受信装置及び画像受信プログラム |
| EP2811744A1 (en) * | 2012-01-31 | 2014-12-10 | Sony Corporation | Image processing apparatus and image processing method |
| JP6233656B2 (ja) | 2012-12-21 | 2017-11-22 | ソニー株式会社 | 画像処理装置および方法 |
| US11290698B2 (en) | 2015-11-11 | 2022-03-29 | Sony Corporation | Image processing apparatus and image processing method |
-
1998
- 1998-07-03 JP JP18888998A patent/JP3776595B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2000023198A (ja) | 2000-01-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3776595B2 (ja) | 多視点画像の圧縮符号化装置および伸長復号化装置 | |
| US10310450B2 (en) | Methods and apparatus for full parallax light field display systems | |
| US5617334A (en) | Multi-viewpoint digital video coder/decoder and method | |
| RU2611240C2 (ru) | Устройство, способ и компьютерная программа для трехмерного видеокодирования | |
| US5612735A (en) | Digital 3D/stereoscopic video compression technique utilizing two disparity estimates | |
| KR100751422B1 (ko) | 스테레오스코픽 비디오 부호화 및 복호화 방법, 부호화 및복호화 장치 | |
| US5619256A (en) | Digital 3D/stereoscopic video compression technique utilizing disparity and motion compensated predictions | |
| JP5268645B2 (ja) | カメラパラメータを利用して視差ベクトルを予測する方法、その方法を利用して多視点映像を符号化及び復号化する装置、及びそれを行うためのプログラムが記録された記録媒体 | |
| US20080205791A1 (en) | Methods and systems for use in 3d video generation, storage and compression | |
| JP5970609B2 (ja) | ３ｄビデオ符号化における統一された視差ベクトル導出の方法と装置 | |
| US20070147502A1 (en) | Method and apparatus for encoding and decoding picture signal, and related computer programs | |
| CN109068143B (zh) | 视频数据解码方法和视频数据解码设备 | |
| JP2008516547A (ja) | 映像合成基盤の多視点動映像の符号化及び復号化を行うための方法及び装置 | |
| EP1927250A1 (en) | Method of estimating disparity vector, and method and apparatus for encoding and decoding multi-view moving picture using the disparity vector estimation method | |
| US9191677B2 (en) | Method and apparatus for encoding image and method and appartus for decoding image | |
| WO2009052730A1 (en) | Video encoding decoding method and device and video codec | |
| JP2009505604A (ja) | 多視点動映像を符号化する方法及び装置 | |
| JP7371090B2 (ja) | マルチビュービデオのデコードの方法及び装置、並びに画像処理の方法及び装置 | |
| JPH09275578A (ja) | 多視点画像符号化装置および復号装置 | |
| JP2007166381A (ja) | 多視点画像の圧縮符号化方法及び復号化方法 | |
| JP2007180982A (ja) | 画像復号装置、画像復号方法、及び画像復号プログラム | |
| Yang et al. | An MPEG-4-compatible stereoscopic/multiview video coding scheme | |
| Naemura et al. | Compression and representation of 3-D images | |
| Lee et al. | Depth-based texture coding in AVC-compatible 3D video coding | |
| JP4173684B2 (ja) | 立体画像作成装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040420 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060120 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060131 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060223 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100303 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110303 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120303 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |