JP6365153B2 - 画像符号化方法および画像符号化装置 - Google Patents

画像符号化方法および画像符号化装置 Download PDF

Info

Publication number
JP6365153B2
JP6365153B2 JP2014184296A JP2014184296A JP6365153B2 JP 6365153 B2 JP6365153 B2 JP 6365153B2 JP 2014184296 A JP2014184296 A JP 2014184296A JP 2014184296 A JP2014184296 A JP 2014184296A JP 6365153 B2 JP6365153 B2 JP 6365153B2
Authority
JP
Japan
Prior art keywords
image
camera
frame
sub
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014184296A
Other languages
English (en)
Other versions
JP2016058914A (ja
Inventor
創一 萩原
創一 萩原
坂本　直樹
直樹 坂本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Socionext Inc
Original Assignee
Socionext Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Socionext Inc filed Critical Socionext Inc
Priority to JP2014184296A priority Critical patent/JP6365153B2/ja
Priority to EP15183774.7A priority patent/EP2996331B1/en
Priority to US14/848,093 priority patent/US9407900B2/en
Publication of JP2016058914A publication Critical patent/JP2016058914A/ja
Priority to US15/179,591 priority patent/US9681119B2/en
Application granted granted Critical
Publication of JP6365153B2 publication Critical patent/JP6365153B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/376—Image reproducers using viewer tracking for tracking left-right translational head movements, i.e. lateral movements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/38—Image reproducers using viewer tracking for tracking vertical translational head movements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0092—Image segmentation from stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/006—Pseudo-stereoscopic systems, i.e. systems wherein a stereoscopic effect is obtained without sending different images to the viewer's eyes

Description

本明細書で言及する実施例は、画像符号化方法および画像符号化装置に関する。
近年、三次元空間の静止画や動画(映像)を記録する技術が注目され、研究が進められている。しかしながら、撮影した三次元空間の情報をすべて符号化・復号化するには様々な課題がある。
そこで、視点の移動範囲を、例えば、一般的なテレビ視聴時における範囲(微小視点移動範囲：首を動かす(平行移動する)程度の範囲)に限定することで技術的な障壁を下げた、微小視点移動対応画像、並びに、画像の符号化および復号化技術が提案されている。このような微小視点移動を前提とした場合であっても、三次元画像の符号化および復号化には、演算量とデータ量が問題となる。
ところで、従来、三次元空間の静止画や動画を記録する技術、すなわち、三次元画像を符号化および復号化する技術としては、様々な提案がなされている。
特開２０１３−０４６２６３号公報 特開平０９−０２７９６９号公報 特開２００９−２５１１４１号公報 特開２００１−２５６４８２号公報 特開２００４−１５２１３３号公報 特開２００７−３３４５８３号公報
谷本 正幸(Masayuki Tanimoto), 『自由視点テレビの実用化を目指す国際標準技術の研究［093106002］("International Standard Technology for Practical Use of Free-viewpoint Television")』, ICT Innovation Forum 2013, October 1, 2013. Tehrani et al., "Use Cases and Requirements on Free-viewpoint Television (FTV)," ISO/IEC JTC1/SC29/WG11, MPEG2013/N14104, October 2013. Arai et al., "Integral three-dimensional television with video system using pixel-offset method," OPTICS EXPRESS, Vol.21, No.3, pp.3474-3485, February 2013.
上述したように、三次元画像を符号化および復号化する技術としては様々な提案がなされているが、微小視点移動を前提とした場合であっても、三次元画像を符号化および復号化するには、演算量とデータ量の問題がある。
例えば、カメラを中央／左／右に配置し、その中央／左／右カメラから取得した静止画およびデプス(奥行き)マップに基づいて、中心画像および左／右の視点のうち正面画(中心画像)に含まれない物体のみ画像とデプスを記録するものが提案されている。
そして、復号化時には、視聴者の視点移動量に合わせてジオメトリ計算により各奥行き(デプス)に応じた画素シフトを行う。なお、シフトにより画素データが抜けた個所は、左／右の符号化データを用いて補間する。
しかしながら、この手法は、例えば、符号化データ量を低減することが可能であるものの、符号化した三次元画像情報に対するジオメトリ計算を行うため演算量が膨大なものとなる。
また、例えば、高精度なカメラセンサーの全面にレンズアレイと集光レンズを並べ、各視点位置からの映像を全て符号化するものも提案されている。なお、復号化時は、符号化時と逆の手順を踏むことで視点移動を可能とする。
しかしながら、この手法は、例えば、ジオメトリ計算を行わないため、演算量を低減することが可能であるものの、複数の視点画像を符号化することになるため、符号化データが膨大なものとなる。
このように、たとえ、微小視点移動範囲に特化したとしても、全ての三次元画像情報を符号化するものと比較すれば演算量・データ量を低減することは可能であるが、それでも、まだ十分なものとは言えず、非常に大きな負荷となっている。
一実施形態の画像符号化方法は、符号化システムが、主カメラにより撮影された第１画像と、前記主カメラと同一平面内に設けられた副カメラにより前記第１画像と同時に撮影された第２画像とを受け取る。
前記符号化システムは、前記第１画像および前記第２画像それぞれの第１座標の画素の画素値を比較して第１差分値を求め、前記第１差分値が第１閾値以下の場合に前記第１座標を陽領域と判定し、前記第１閾値よりも大きい場合に前記座標を陰領域と判定して第１フレームに記録する。
さらに、前記符号化システムは、前記第２画像を、前記主カメラと前記副カメラの位置関係に基づいた方向に第１シフト量だけ画素シフトし、前記第１画像および前記画素シフト後の前記第２画像それぞれの前記第１座標の画素の画素値を比較して第２差分値を求め、前記第２差分値に基づいて前記第１座標が前記陽領域或いは前記陰領域かを判定して前記第１フレームとは異なる第２フレームに記録する。
開示の画像符号化方法および画像符号化装置は、演算量およびデータ量を低減することができるという効果を奏する。
図１は、画像符号化方法の第１実施例を説明するための図である。 図２は、画像符号化方法の第２実施例を説明するための図である。 図３は、画像符号化方法の第３実施例を説明するための図である。 図４は、本実施形態に係る画像符号化方法におけるフレームのデータフォーマットを説明するための図である。 図５は、第１実施例の画像符号化方法が適用される符号化システムの全体構成を示す図である。 図６は、図５に示す符号化システムの処理を説明するための図である。 図７は、第２実施例の画像符号化方法が適用される符号化システムの処理を説明するための図(その１)である。 図８は、第２実施例の画像符号化方法が適用される符号化システムの処理を説明するための図(その２)である。 図９は、画像符号化方法が適用される符号化システムの一例を示すブロック図である。 図１０は、図９に示す符号化システムにおける符号化部をより詳細に示すブロック図である。 図１１は、第２実施例の画像符号化プログラムが適用される実行システムの一例を示すブロック図である。 図１２は、第２実施例の画像符号化方法における処理の一例を説明するためのフローチャートである。 図１３は、第１実施例の画像符号化方法による処理手順の一例を説明するための図(その１)である。 図１４は、第１実施例の画像符号化方法による処理手順の一例を説明するための図(その２)である。 図１５は、第２実施例の画像符号化方法による処理手順の一例を説明するための図(その１)である。 図１６は、第２実施例の画像符号化方法による処理手順の一例を説明するための図(その２)である。 図１７は、第２実施例の画像符号化方法による処理手順の他の例を説明するための図(その１)である。 図１８は、第２実施例の画像符号化方法による処理手順の他の例を説明するための図(その２)である。 図１９は、第２実施例の画像符号化方法による処理手順の他の例を説明するための図(その３)である。 図２０は、本実施形態に係る画像復号化方法による処理の一例を説明するための図である。 図２１は、本実施形態の画像復号化方法が適用される復号化システムの一例を示すブロック図である。 図２２は、図２１に示す復号化システムにおける復号化部をより詳細に示すブロック図である。 図２３は、本実施形態の画像復号化プログラムが適用される実行システムの一例を示すブロック図である。 図２４は、本実施形態の画像復号化方法における処理の一例を説明するためのフローチャートである。 図２５は、本実施形態の画像復号化方法において視点移動なし時の処理を説明するための図である。 図２６は、本実施形態の画像復号化方法において視点移動あり時の処理を説明するための図である。 図２７は、本実施形態に係る画像復号化方法による処理手順の一例を説明するための図である。 図２８は、本実施形態に係る画像復号化方法による処理手順の他の例を説明するための図(その１)である。 図２９は、本実施形態に係る画像復号化方法による処理手順の他の例を説明するための図(その２)である。 図３０は、本実施形態に係る画像復号化方法による処理手順のさらに他の例を説明するための図(その１)である。 図３１は、本実施形態に係る画像復号化方法による処理手順のさらに他の例を説明するための図(その２)である。 図３２は、本実施形態に係る画像復号化方法による処理手順のさらに他の例を説明するための図(その３)である。
以下、画像符号化方法および画像符号化装置の実施例を、添付図面を参照して詳述する。なお、本実施形態に係る画像符号化方法および画像符号化装置は、演算量とデータ量が少ない微小視点移動を前提とする。
本実施形態に係る画像符号化方法および画像符号化装置は、１つの主カメラと少なくとも１つの副カメラを含むカメラセット(カメラ群)を基に、「シフト＋画素値比較」という簡単な処理で三次元画像情報を複数枚の二次元画像に符号化する。さらに、本実施形態に係る画像符号化方法および画像符号化装置は、上記カメラ群を複数組み合わせることで、視点移動範囲を同一平面内における任意の方向に拡張する。
また、本実施形態に係る画像復号化方法および画像復号化装置は、視聴者の位置に応じて符号化データである複数の二次元画像をシフトして上書き描画を行うことにより、視聴者の視点画像を生成する。
ここで、符号化画像には、上書き描画を行わない領域(透領域：Ｔ領域)が含まれ、適切な描画順序とシフト量によって上書きを行うことにより、その視点位置から見える物体のみが画面上に残る。さらに、本実施形態に係る画像復号化方法および画像復号化装置は、ジオメトリ計算などの特別な計算を行うことなく、任意の視点の視差を生成することが可能となる。
まず、画像符号化方法および画像符号化装置の実施例を詳述した後、画像復号化方法および画像復号化装置の実施例を詳述する。
［符号化］
図１は、画像符号化方法の第１実施例を説明するための図である。図１において、参照符号ＭＣは主カメラ、ＳＣは副カメラ、ＰＩＣmは主カメラＭＣにより撮影された画像(主カメラ撮像画)、ＰＩＣsは副カメラＳＣにより撮影された画像(副カメラ撮像画)、そして、Ｆ0〜Ｆgはフレームを示す。
図１に示されるように、第１実施例の画像符号化方法は、光軸が水平となるように配置され、同じ撮像条件／同じタイミング(同設定／同タイミング)で撮像可能な２個の撮像部(主カメラＭＣおよび副カメラＳＣ)を有する符号化システムに適用される。
ここで、主カメラＭＣおよび副カメラＳＣは、所定の方向(シフト方向)において、異なる位置に配置されている。なお、主カメラＭＣと副カメラＳの距離は、様々な条件に基づいて適切な長さに設定されるが、例えば、数ｍｍ〜数ｃｍ程度に設定することができる。
そして、主カメラＭＣおよび副カメラＳＣの両撮像部において、以下の(11)〜(14)の処理を行う。すなわち、まず、図１中の(11)に示されるように、同時に撮影した２枚の画像(主カメラ撮像画ＰＩＣmおよび副カメラ撮像画ＰＩＣs)において、同じ座標の画素同士の画素値を比較する。
次に、図１中の(12)に示されるように、シフトを行わない２枚の画(画像)ＰＩＣm，ＰＩＣsの比較で、所定の閾値以下の近さであれば同一物体(被写体)とみなして撮像画と同じ解像度の二次元画像(フレーム０：Ｆ0)の同一座標に記録する。
すなわち、処理(12)により、同じ座標の画素同士の画素値が所定の閾値以下の近さ、換言すると、同じ座標の画素同士の画素値の差が所定の閾値以下となる領域を、陽領域(Ｐ領域)として記録(領域の種別Ｐを示す情報を記録)する。
また、処理(12)により、画素値が埋められなかったフレームＦ0の領域は、陰領域(Ｎ領域)として記録(領域の種別Ｎを示す情報を記録)する。なお、フレームＦ0におけるＰ領域およＮ領域に関しては、図４(a)を参照して、後に、詳述する。
そして、全画素に対する初回の比較処理(12)が終わったら、続いて、副カメラ撮像画ＰＩＣsを、主カメラＭＣと副カメラＳＣの位置関係に基づいた方向とシフト量だけ画素シフトした上で２回目の比較処理(13)を行う。
この処理(13)は、フレームＦ0においてＮ領域になった画素の座標(主カメラ撮像画ＰＩＣmを基準)に対して、再度、主カメラ撮像画ＰＩＣmと画素シフトした副カメラ撮像画ＰＩＣsの比較を行う。
ここで、画素シフトに関して、主カメラＭＣおよび副カメラＳＣを被写体側に向けた状態で、副カメラＳＣが主カメラＭＣに対して左(右)側に位置するときは、左(右)側にシフトさせる。そして、図１中の(12)に示されるように、比較結果は、撮像画と同じ解像度の別の二次元画像(フレーム１：Ｆ1)の主カメラＭＣの同じ座標に記録する。
また、例えば、フレームＦ1において，以前のフレーム(フレームＦ0)の時点でＰ領域になったことのある座標に対しては、画素データのない透領域(Ｔ領域)として記録(領域の種別Ｔを示す情報を記録)する。
以降、上述した処理(13)と同様の処理を繰り返し、例えば、予め定めた画素数分シフトおよび比較を行ってＮ領域がなくなる、或いは、予め定めた画素数のシフトが完了する最後の処理(シフトおよびｎ回目の比較処理)(14)を行う。
ここで、フレームＦ0〜Ｆgの枚数、すなわち、比較を行うごとのシフト画素数、或いは、シフトが完了するまでの画素数は、微小視点移動を可能とする長さやフレームＦ0〜Ｆgを格納するためのメモリ容量等の様々な要因に基づいて決められる。
このように、第１実施例の画像符号化方法によれば、主カメラ撮像画ＰＩＣmおよび副カメラ撮像画ＰＩＣsに対してシフトと画素値比較のみを行うことで、容易に微小視点移動対応画像の視点移動をしていない時の視点位置の画像を符号化することが可能となる。
図２は、画像符号化方法の第２実施例を説明するための図である。図２において、参照符号ＭＣは主カメラ、ＳＣ1は第１副カメラ(副１)、ＳＣ2は第２副カメラ(副２)、ＳＣ3は第３副カメラ(副３)、そして、ＳＣ4は第４副カメラ(副４)を示す。
図２に示されるように、第２実施例の画像符号化方法は、第１実施例における１個の副カメラＳＣを、複数個(４個)の副カメラＳＣ1〜ＳＣ4としている。なお、図２において(他の図も同様)、破線「----」は、それぞれの副カメラＳＣ1〜ＳＣ4により撮影される画像のシフト方向(各副カメラ撮像画のシフト方向)を示す。
すなわち、第２実施例の画像符号化方法は、第１実施例が適用される主カメラＭＣおよび副カメラＳＣ(副カメラＳＣ1に対応)を有する符号化システムに対して、さらに、少なくとも１個(３個：副カメラＳＣ2〜ＳＣ4)を追加した符号化システムに適用される。
ここで、副カメラＳＣ1〜ＳＣ4は、それぞれ主／副カメラを通り主／副カメラの光軸に垂直な平面上に位置し、光軸が主／副カメラと水平となる位置に配置されている。なお、副カメラの数は、４個に限定されず、任意のｎ個であってもよい。
そして、主カメラＭＣおよび複数の副カメラＳＣ1〜ＳＣ4において、以下の(21)〜(24)の処理を行う。ここで、主カメラＭＣを挟まない限り、同一直線上に２台以上の副カメラは存在しないものとする。なお、副カメラＳＣ2およびＳＣ3は、同一直線上ではあるが、間に主カメラＭＣを挟んだ位置に配置されている。
これにより、主カメラＭＣと各副カメラＳＣ1〜ＳＣ4間のそれぞれの方向において、微小視点移動が可能、すなわち、視聴者がそれぞれの方向に視点を移動させて三次元画像を取得することが可能となる。
＜処理手順＞
まず、主カメラＭＣおよび各副カメラＳＣ1〜ＳＣ4で同設定／同タイミングにて撮影する。そして、主カメラ撮像画および各副カメラ撮像画に対して、第１実施例で説明した主カメラ撮像画ＰＩＣmおよび副カメラ撮像画ＰＩＣsの処理をそれぞれ行う。
すなわち、主カメラ撮像画と各副カメラ撮像画に対して、それぞれ同一座標の画素値を比較し、全ての画像の画素値の差が所定の閾値以下であればあれば、同一物体とみなして撮像画と同じ解像度の二次元画像(フレームＦ0)の同一座標にＰ領域として記録する。さらに、画素値が埋められなかったフレームＦ0の領域をＮ領域として記録する。
そして、全画素の比較が終わったら、続いて各副カメラ撮像画をそれぞれのカメラの撮像部配置位置に応じた方向とシフト量だけ画素シフトした上で、フレームＦ0でＮ領域になった画素の座標(主カメラ撮像画基準)に対して、再度、主カメラ撮像画と比較する。
ここで、副カメラ撮像画は、被写体側に向いた状態で自身と主カメラを結ぶ直線上に主カメラから離れる方向にシフトする。また、シフトさせる画素数は、主カメラとその副カメラとの距離に比例させる。さらに、保存されるデータは、視差のない領域の画像データ１枚＋視差領域画像データ複数枚となる。
なお、微小視点移動において、視差部分は、画像全体では非常に少ない領域であるため、実質的に、１枚の画像データ＋α程度のデータ量で、主カメラＭＣから各副カメラＳＣ1〜ＳＣ4の間の高い精度の中間視点画像が保存可能となる。
図３は、画像符号化方法の第３実施例を説明するための図である。図３において、参照符号ＧＲ1〜ＧＲ3は、同一平面上に配置されたカメラ群を示し、カメラ群ＧＲ1は、主カメラＭＣ1および副カメラＳＣ11を含み、カメラ群ＧＲ2は、主カメラＭＣ2および副カメラＳＣ21〜ＳＣ24を含む。また、カメラ群ＧＲ3は、主カメラＭＣ3および副カメラＳＣ31〜ＳＣ34を含む。
カメラ群ＧＲ1の主カメラＭＣ1は、カメラ群ＧＲ2の副カメラＳＣ22と兼用され、また、カメラ群ＧＲ1の副カメラＳＣ11は、カメラ群ＧＲ3の副カメラＳＣ33と兼用されている。
さらに、カメラ群ＧＲ2の副カメラＳＣ21は、カメラ群ＧＲ3の副カメラＳＣ32と兼用され、また、カメラ群ＧＲ2の副カメラＳＣ24は、カメラ群ＧＲ3の副カメラＳＣ34と兼用されている。
すなわち、第３実施例の画像符号化方法では、前述した第１および第２実施例のシステム(カメラ群)が複数存在し、隣接するシステムが１台以上のカメラを共有するようになっている。
ここで、複数のシステムで共有されるカメラは、それぞれのカメラ群において主カメラとなるか副カメラとなるかは任意である。なお、１個のカメラは、「同一システムにおいて、主カメラを挟まない限り、同一直線上に２台以上の副カメラは存在しない」を満たす限り、任意のシステムに属することができ、隣接する２システム間で共有するカメラの個数も任意の数が可能である。
これにより、それぞれの主カメラＭＣ1，ＭＣ2および〜ＭＣ3と、各副カメラＳＣ11，ＳＣ21〜ＳＣ24およびＭＣ3１〜ＭＣ3４間のそれぞれの方向において、視聴者が視点を移動させて三次元画像を取得することが可能となる。
すなわち、第３実施例によれば、主カメラＭＣ1〜ＭＣ3に対応して、符号化処理するフレーム数が増加するため、メモリ容量および演算量が多少とも増加することになるが、視聴者の視点移動の自由度を向上させることが可能となる。
そして、第１〜第３実施例の画像符号化方法によれば、微小視点移動に使用する三次元画像情報を「シフト＋画素比較」という簡単な処理で符号化できるため、例えば、従来のジオメトリ計算を行うものに対して演算量を大幅に低減することが可能となる。さらに、符号化する視点データは「１視点＋視差データ」となるため、符号化データ量を削減することも可能となる。
上述した第１〜第３実施例において、例えば、フレームＦ0のＮ領域(陰領域)とその座標の副カメラの画素値を記録することにより、復号化時に、視聴者が視点を移動させた際の背景部分の描画データが不足する問題への緩和策(第４実施例)とすることができる。
すなわち、第４実施例の画像符号化方法は、視差補間フレーム(Ｆi0，Ｆi1)を生成し、その視差補間フレームを、復号化時に、視聴者が視点を移動させた際の違和感を低減するための描画データとして利用する。なお、視点の移動がない場合は、フレームＦ0のＮ領域は全画素上書きされるはずなので、Ｎ領域の描画は行わなくてもよい。
以上において、記録フォーマットは、任意のものを適用することができ、符号フレームと同サイズの画像を副フレーム(副カメラ撮像画)ごとに用意してその中に記録してもよく、或いは、専用のフォーマットを用意して符号化効率や処理効率を上げることも可能である。すなわち、データの記録は、知られている様々なフォーマットや圧縮手法や適用することが可能である。
ここで、上述した第１〜第４実施例の画像符号化方法は、例えば、演算処理装置(ＣＰＵ：Central Processing Unit)により実行される画像符号化プログラムとして実現することも可能である。
図４は、本実施形態に係る画像符号化方法におけるフレームのデータフォーマットを説明するための図であり、図４(a)は、前述した図１におけるフレームＦ0に相当し、図４(b)は、前述した図１におけるフレームＦ1に相当する。なお、図４(b)では、分かりやすくするために、Ｔ領域に画素データを描いているが、符号データにおけるＴ領域には、画素データは含まれない。
図４(a)および図４(b)に示されるように、それぞれのフレームに保存する画像は、Ｐ領域(陽領域：ハッチング部)、Ｎ領域(陰領域：クロスハッチング部)およびＴ領域(透領域：ドット部)の３種類の領域に分けられる。
ここで、Ｐ領域は、物体(被写体)が存在する領域であり、カメラに写った画像をそのまま記録する、すなわち、画素データを記録する唯一の領域である。また、Ｎ領域は、物体は存在するが、例えば、前面にある物体により見えない隠れた領域である。
さらに、Ｎ領域は、復号化時において、視点移動がなければ上書きされて残らず、視点移動がある場合には残るように、領域の一部を何らかの手段で補間して画を完成させる領域である。なお、本実施形態においては、主カメラのみではＮ領域になってしまう部分の一部を、副カメラの画素データにより補間する。
そして、Ｔ領域は、その空間内に物体が何も存在しない透明の領域であり、領域データのみを保持し、画素値は保持しない。ここで、符号化時において、以前に処理したフレームで一度Ｐ領域となった座標が、それ以降のフレームではＴ領域に設定される。また、復号化時において、画素がＴ領域の場合には、上書きを行わない。
図５は、第１実施例の画像符号化方法が適用される符号化システムの全体構成を示す図であり、図１を参照して説明した主カメラＭＣおよび副カメラＳＣの２個のカメラによる第１実施例の画像符号化方法が適用されるシステムの一例を示すものである。図５において、参照符号１は、符号化システム(画像符号化装置)を示し、ＯＡ〜ＯＣは、それぞれ被写体(撮影される物体)を示す。
ここで、観察対象点Ｐoにおいて、主カメラＭＣと副カメラＳＣのなす角度をθとし、観察対象点Ｐoから主カメラＭＣまでの長さ(半径)をｒとすると、主カメラＭＣと副カメラＳＣの距離ｄは、ほぼｄ＝ｒθと近似できる微小視点移動範囲を前提とする。
すなわち、視点の移動範囲を、例えば、一般的なテレビ視聴時における範囲(微小視点移動範囲：首を動かす(平行移動する)程度の範囲)に限定する。これは、例えば、主カメラＭＣから副カメラＳＣの間の視点において、被写体とｄ＝ｒθの関係を満たす距離にある物体は、画面上で主カメラＭＣからの視点の移動距離に比例して平行移動することになる。
なお、図１では、副カメラＳＣが主カメラＭＣの左側に配置されているが、図５のように、副カメラＳＣが主カメラＭＣの右側に配置された場合と同様に考えることができるのはいうまでもない。
符号化システム１は、それぞれの光軸が水平に配置された主カメラＭＣおよび副カメラＳＣにより同時撮影された主カメラ撮像画ＰＩＣmおよび副カメラ撮像画ＰＩＣsを受け取って、空間符号化フレーム(視差別の複数の二次元画像)を生成する。
すなわち、符号化システム１は、同時撮影された主カメラ撮像画ＰＩＣmおよび副カメラ撮像画ＰＩＣsを入力とし、それらの画像に対してシフトと画素比較を行い、微小視点移動対応画像の生成に使用する三次元画像情報を複数のフレームＦ0〜Ｆ2に符号化する。
図６は、図５に示す符号化システムの処理を説明するための図であり、図６(a)は、主カメラＭＣおよび副カメラＳＣと、物体(被写体)ＯＭおよび背景ＢＫの配置を示すものであり、図６(b)は、符号化システム１による処理の例を説明するためのものである。
図６(a)に示されるように、主カメラＭＣと副カメラＳＣは、距離ｄだけ水平方向に離れていて、物体ＯＭを同時撮影して主カメラ撮像画ＰＩＣmおよび副カメラ撮像画ＰＩＣsを得る。ここで、例えば、主カメラ撮像画ＰＩＣmおよび副カメラ撮像画ＰＩＣsにおいて、物体ＯＭは、ｓ画素だけずれて撮影(描画)されているものとする。
また、本実施形態では、手前の物体は同じ奥行きであっても視点位置によって物体形状が変わるため大きな視差が生じるが、一定以上奥にある物体は変形せず物体中央部はほとんど一致しており、視差は異なる奥行きと接する境界面のみとなることを前提とする。すなわち、本実施形態では、「同一奥行き上では視差はほとんど生まれず、他の奥行きとの境界部分でのみ視差が生まれるような奥行き」を含む画像が対象となる。
さらに、本実施形態の前提として、物体ＯＭの形状が変わらない微小な動き(視点移動)のみを扱うため、副カメラ撮像画ＰＩＣs上の被写体(物体ＯＭ)は、主カメラ撮像画ＰＩＣm上の被写体に対して右に一定量(ｓ画素)だけ水平にシフトした形で描画される。なお、この撮像画がシフトしている量(ｓ)は、主カメラＭＣおよび副カメラＳＣの距離ｄと、物体ＯＭまでの距離に応じて変化する。
第１実施例の画像符号化方法では、例えば、副カメラ撮像画ＰＩＣsの画像を右側に少しずつシフトさせながら画素値の比較を行い、新たに一致した座標のみをフレームに保存するという手法を繰り返す。
まず、一例として、副カメラ撮像画ＰＩＣsの画像をｓ／２画素単位でシフトさせる場合を説明する。すなわち、図６(b)<Ｉ>に示されるように、フレームＦ0では、副カメラ撮像画ＰＩＣsは、主カメラ撮像画ＰＩＣmに対してシフトされずに、そのまま同じ座標の画素同士の画素値を比較する。
ここで、同じ座標の画素同士の画素値の差が所定の閾値以下のであれば同一物体とみなしてＰ領域としてフレームＦ0に記録すると共に、画素値が埋められなかった領域をＮ領域としてフレームＦ0に記録する。
さらに、副カメラ撮像画ＰＩＣsの画像を右方向にｓ／２画素だけシフトさせ、再度画素値の比較を行い、Ｐ領域およびＮ領域をフレームＦ1に記録する。ここで、フレームＦ1に対しては、以前のフレームＦ0の時点でＰ領域になったことのある座標に対するＴ領域の記録も行う。
また、副カメラ撮像画ＰＩＣsの画像を右方向にｓ／２画素だけシフトさせると、全体としてｓ画素だけシフトさせたことになる。そして、再度画素値の比較を行い、Ｐ領域，Ｎ領域およびＴ領域をフレームＦ2に記録する。
このように、ｓ／２画素だけシフトさせるということは、フレームＦ0には、主および副カメラＭＣ，ＳＣの両方のカメラから見て同じ画素値が記録され、フレームＦ1，Ｆ2には、視差部分が２つに分断されて記録されることになる。
次に、他の例として、副カメラ撮像画ＰＩＣsの画像を１画素単位でシフトさせる場合を説明する。図６(b)<II>に示されるように、１画素単位でシフトさせる場合、ｓ画素分だけシフトさせるには、ｓ回のシフト処理を行うため、ｓ＋１枚のフレームＦ0〜Ｆsが生成されることになり、それを格納するだけの容量のメモリが求められる。
すなわち、シフト単位の画素数を少なくすれば、分断が細かくなり復号化時の視点画像の再現度を向上させることができるが、フレーム数が多くなって符号化データが比較的多くなり、また、符号化／復号化における演算量が増加するトレードオフの関係にある。従って、１回の処理でシフトさせる画素数は、適用する装置や設計仕様に基づいて適切な値に設定される。
なお、上述のようにして得られた複数のフレームＦ0〜Ｆ2，Ｆ0〜Ｆsを重ね合わせることで主カメラＭＣの撮像画になり、フレームＦ1，Ｆ2，Ｆ1〜Ｆsをシフトさせて重ね合わせることで視点移動した画像を生成することができる。詳細は、［復号化］の項目において説明する。
図７および図８は、第２実施例の画像符号化方法が適用される符号化システムの処理を説明するための図である。ここで、図７は、上述した図６(a)に対応し、図８は、上述した図６(b)に対応する。
図７に示されるように、３個のカメラ(主カメラＭＣ，副カメラＳＣ2，ＳＣ3)は、主カメラＭＣを間に挟んで副カメラＳＣ2，ＳＣ3が両側に配置され、３個のカメラが一直線上に(副(左)ＳＣ2／主ＭＣ／副(右)ＳＣ3)配列される場合を考える。ここで、主カメラＭＣと副(左)カメラＳＣ2間の距離をｄ1とし、主カメラＭＣと副(右)カメラＳＣ3間の距離をｄ2のとし、２×ｄ1＝ｄ2の関係が成立するものとする。
図８に示されるように、物体ＯＭは水平移動するため、副(左)カメラＳＣ2による撮像画ＰＩＣs2において物体がｓ／２画素だけ右方向の位置に描画される場合、副(右)カメラＳＣ3の撮像画ＰＩＣs3においては、ｓ画素左側に描画されることになる。このズレを戻すように、副(左)カメラ撮像画および副(右)カメラ撮像画をシフトしながら画素値の比較を行う。
例えば、図８＜Ｉ＞に示されるように、副(左)カメラ撮像画を左方向にｓ／４画素だけシフトさせると共に、副(右)カメラ撮像画を右方向にｓ／２画素だけシフトさせ、画素値の比較を行って、Ｐ領域，Ｎ領域およびＴ領域をフレームＦ1に記録する。
さらに、副(左)カメラ撮像画を左方向にｓ／４画素だけシフトさせると共に、副(右)カメラ撮像画を右方向にｓ／２画素だけシフトさせ、画素値の比較を行って、Ｐ領域，Ｎ領域およびＴ領域をフレームＦ2に記録する。
このように、第２実施例の画像符号化方法においても、上述した第１実施例(主カメラおよび副カメラの２個のカメラ)と同様に、視差を分割する形でフレームを符号化することができる。なお、画素値の比較において、全ての画像上の画素値が一致する画素のみをＰ領域とみなすようにする。
また、シフトさせる画素数は、ｓ／４およびｓ／２画素単位に限定されるものではなく、例えば、１画素単位の場合には、図８＜II＞に示されるように、ｓ回のシフト処理を行うため、ｓ＋１枚のフレームＦ0〜Ｆsが生成されることになる。従って、１回の処理でシフトさせる画素数は、適用する装置や設計仕様に基づいて適切な値に設定される。
このように、本実施形態の画像符号化方法によれば、主カメラおよび副カメラの各撮像画の画素値を比較して、値が異なる画素が連続する長さ基づいて、対応するフレームに差分画素値を保持する。すなわち、同一のフレーム上に、近い長さの視差画素値が保持される。
図９は、画像符号化方法が適用される符号化システムの一例を示すブロック図であり、主として、第２実施例の画像符号化方法が適用される符号化システムを示すものである。図９において、参照符号１は符号化システム(画像符号化装置)を示し、２は撮像デバイスを示す。
図９に示されるように、符号化システム１は、メモリ(ＳＤＲＡＭ：Synchronous Dynamic Random Access Memory)１０，符号化部１１およびメタ情報生成部１２を含み、撮像デバイス２は、主カメラＭＣ，副カメラＳＣ2，ＳＣ3およびカメラ制御部２０を含む。
撮像デバイス２は、図７に対応させて３個のカメラ(主カメラＭＣ、副(左)カメラＳＣ2および副(右)カメラＳＣ3)を含むように描かれているが、カメラの数は様々に変化させることができる。
すなわち、第１実施例の場合には、カメラは、主カメラＭＣおよび副カメラＳＣの２個でよく、また、第３実施例のように、複数のカメラ群ＧＲ1〜ＧＲ3を設ける場合には、多数のカメラが設けられることになる。
カメラ制御部２０は、それら全てのカメラにおける位置情報のキャリブレーション、および、被写体の同時撮影等を制御する。なお、カメラ制御部２０は、カメラＭＣ，ＳＣ２，ＳＣ３毎に別々に設けることもできる。
ＳＤＲＡＭ１０は、副(右)カメラＳＣ3からの副(右)カメラ撮像画ＰＩＣs3，主カメラＭＣからの主カメラ撮像画ＰＩＣmおよび副(左)カメラＳＣ2からの副(左)カメラ撮像画ＰＩＣs2を格納(記憶)する。
さらに、ＳＤＲＡＭ１０は、前述した画素値の比較およびシフト処理により得られた視差別フレーム(Ｆ0〜Ｆg)，メタ情報生成部１２により生成された撮像環境メタ情報ＭＩ並びに視差補間フレームＦi0，Ｆi1を格納する。
ここで、撮像環境メタ情報ＭＩには、撮像デバイス２における各カメラの位置関係、並びに、実装によっては撮像条件および撮像時の環境情報(場所およびカメラの向き等)が含まれるものとする。
また、メタ情報生成部１２では、撮像デバイス２から受け取った撮像条件および撮像デバイス等の情報に基づいて出力用のメタ情報を生成する。さらに、受け取った情報に基づいて各撮像画の符号化におけるシフト量の算出、並びに、符号化部１１への転送といった処理も行う。また、メタ情報には、受け取った情報以外の情報を載せることもできる。
なお、第４実施例が適用される符号化システムにおいて、符号化は連結している撮像デバイス単位で独立して行われるため、符号化システム１を撮像デバイス２のセット数分設けてもよい。
或いは、符号化システム１を、撮像デバイス２のセット数分より少なく用意し、時分割で符号化を行うようにすることもできる。ただし、全てのカメラで同時に撮影を行うため、符号化を時分割で行うと場合でも、全カメラの撮像データは、撮像時にＳＤＲＡＭ１０に格納することが求められる。
図１０は、図９に示す符号化システムにおける符号化部をより詳細に示すブロック図である。図１０に示されるように、符号化部１１は、ＳＤＲＡＭ１０に格納された撮像画(ＰＩＣm，ＰＩＣs2，ＰＩＣs3)を読み出して保持するラインバッファ１１１、並びに、視差別フレームＦ1〜Ｆgに書き込むデータを保持するラインバッファ１１２を含む。さらに、符号化部１１は、視差補間フレームＦi1，Ｆi2に書き込むデータを保持するラインバッファ１１３、および、画素値の比較を行う画素値比較部１１４を含む。
ここで、撮像画の読出しは、フレーム全てをまとめて読みだすのではなく、例えば、参照画素と同一ラインのみ同時に読み出し、それをラインバッファ１１１に保持する。厳密には、同時に読み出すデータは、参照画素のデータのみが存在すればよいが、実際のシステムでは、ライン単位でＳＤＲＡＭ１０から読み出すことが多いため、ラインバッファ１１１を設けるようにしている。もちろん、ライン単位の読み出し以外にも、可能であれば画素単位／複数ライン単位／フレーム単位等の読み出しを行うこともできる。
また、撮像画用のバッファ(ラインバッファ)１１１は、撮像画の枚数分だけ設けられているが、視差別フレーム用のバッファ１１２は、直前に符号化が終わったフレームと符号化中のフレームの２枚分だけでよい。さらに、視差補間フレーム用のバッファ１１３は、副カメラの個数分(図９および図１０の例では２枚分)だけでよい。
図１１は、第２実施例の画像符号化プログラムが適用される実行システムの一例を示すブロック図である。前述したように、本実施例の画像符号化方法は、例えば、演算処理装置により実行される画像符号化プログラムとして実現することも可能である。
図１１に示されるように、実行システム(画像符号化装置)１００は、ＳＤＲＡＭ１０，カメラ用Ｉ／Ｏ(Input/Output)部１０１，ＣＰＵ(演算処理装置)１０２，バス１０３および外部データ出力用Ｉ／Ｏ部１０４を含む。カメラ用Ｉ／Ｏ部１０１は、撮像デバイス２におけるカメラ制御部２０との間で信号を遣り取りすると共に、各カメラＭＣ，ＳＣ２，ＳＣ３からの画像データを受け取る。
なお、カメラ用Ｉ／Ｏ部１０１としては、例えば、ＭＩＰＩ(Mobile Industry Processor Interface)等のインタフェースを適用することができる。また、図１１では、１つのカメラ用Ｉ／Ｏ部１０１として描いているが、各カメラおよびカメラ制御部に対してそれぞれＩ／Ｏ部を設けることもできる。
ＳＤＲＡＭ１０は、例えば、撮像デバイス２におけるカメラＭＣ，ＳＣ２，ＳＣ３により撮影された撮像画を、カメラ用Ｉ／Ｏ部１０１およびバス１０３を介して受け取り、撮像画ＰＩＣ(ＰＩＣm，ＰＩＣs2，ＰＩＣs3)を格納する。
さらに、ＳＤＲＡＭ１０は、図９および図１０を参照して説明したように、視差別フレームＦ(Ｆ0〜Ｆg)，撮像環境メタ情報ＭＩおよび視差補間フレームＦi(Ｆi0，Ｆi1，…)等を格納する。
ＣＰＵ１０２は、例えば、カメラ制御部２０を介してカメラＭＣ，ＳＣ２，ＳＣ３による撮影を制御し、また、ＳＤＲＡＭ１００に格納された撮像画ＰＩＣに対してシフトおよび比較処理を行って視差別フレームＦを生成するといった様々な処理を行う。
外部データ出力用Ｉ／Ｏ部１０４は、例えば、ＣＰＵ１０２により符号化処理された符号化データを外部へ出力する。また、ＣＰＵ１０２が実行するプログラムは、例えば、外部のメモリ(図示しない)に格納しておき、外部データ出力用Ｉ／Ｏ部１０４を介してＣＰＵ１０２に実行させることができる。
なお、ＣＰＵ１０２が実行するプログラムは、例えば、実行システム１００に内蔵したフラッシュメモリ等の不揮発性メモリに格納することもできるのはいうまでもない。この外部データ出力用Ｉ／Ｏ部１０４としては、例えば、ＵＳＢ(Universal Serial Bus)やＭＩＰＩ等を適用することができる。
図１２は、第２実施例の画像符号化方法が適用される画像符号化処理の一例を説明するためのフローチャートである。なお、第１実施例の画像符号化方法が適用される画像符号化処理は、以下に説明において、ｋ＝２の場合に対応する。
以下の説明において、参照符号ｘは、水平インデックス、ｙは、ラインインデックス、ｋは、副カメラの総数、そして、ｎは、フレーム番号を示す。また、ｓxiは、各副カメラの撮像画におけるシフト時の水平移動単位(単位は画素数：ｉ＝１，２，３，…，ｋ)を示し、ｓyiは、各副カメラの撮像画におけるシフト時の垂直移動単位(単位は画素数：ｉ＝１，２，３，…，ｋ)を示す。なお、ｓxiおよびｓyiは、カメラ位置，撮像条件および符号化の設定等によって決まり、撮像中は変化しないものとする。
さらに、Ｐi(水平座標，垂直座標)は、各カメラの座標を示す。なお、ｉはカメラ番号を示し、ｉ＝０は主カメラを示し、ｉ＝１，２，３，…，ｋは副カメラを示す。そして、ｐfn(水平座標，垂直座標)は、フレームｎの座標を示し、ｎmaxは、最大シフト量(ｎの最大値)を示す。
図１２に示されるように、画像符号化処理が開始すると、ステップＳＴ１において、カメラ制御部２０にて主カメラＭＣおよび各副カメラＳＣ(ＳＣ1〜ＳＣk(ＳＣ4))を同期させるように設定および補正を行って、ステップＳＴ２に進む。
ステップＳＴ２では、主カメラＭＣおよび各副カメラＳＣにおいて、視点位置以外は同じ条件となるようにして同時撮影を行う。すなわち、全てのカメラが同じ撮像条件／同じタイミング(同設定／同タイミング)で被写体を撮影して、ステップＳＴ３に進み、撮像画像および撮像環境メタ情報を受信する。
そして、ステップＳＴ４において、フレーム番号ｎを、ｎ＝０に設定して、ステップＳＴ５に進み、画素値比較部１１４にてフレームｎを符号化する。ここで、ステップＳＴ５では、前フレームまでにＰ領域(陽領域)になったことのある画素は、Ｔ領域(透領域)に設定する。
さらに、ステップＳＴ５では、それ以外の画素でＰ0(ｘ，ｙ)，Ｐ1(ｘ＋ｎ×Ｓx1，ｙ＋ｎ×Ｓy1)，…，Ｐk(ｘ＋ｎ×Ｓx1，ｙ＋ｎ×Ｓy1)の全画素値が一致、或いは、所定のしきい値以内の場合には、Ｐfn(ｘ，ｙ)をＰ領域としてその値を保持する。
次に、ステップＳＴ６に進んで、フレームｎにＮ領域(陰領域)がなくなったかどうか、すなわち、全ての画素が一度Ｐ領域になったかどうかを判定する。ステップＳＴ６において、フレームｎにＮ領域がなくなった(Ｙｅｓ)と判定すると、ステップＳＴ１０に進み、フレームｎにＮ領域がなくなっていない(Ｎｏ：Ｎ領域が残っている)と判定すると、ステップＳＴ７に進む。
ステップＳＴ７では、ｎ＝＝ｎmaxかどうかを判定し、ｎ＝＝ｎmaxが成立する、すなわち、フレームｎのシフトが最大シフト量ｎmaxになった(Ｙｅｓ)と判定すると、ステップＳＴ９に進む。ステップＳＴ９では、フレームｎに残ったＮ領域の補間を行い、そして、ステップＳＴ１０に進む。ここで、ステップＳＴ９におけるＮ領域の補間は、任意であり、知られている様々な補間手法を適用することができる。
一方、ステップＳＴ７において、ｎ＝＝ｎmaxが成立しない(Ｎｏ)と判定すると、ステップＳＴ８に進んで、ｎ＝ｎ＋１としてステップＳＴ５に戻り、上述したステップＳＴ５〜ＳＴ９の処理を繰り返す。
そして、ステップＳＴ１０では、画素値比較部１１４にてフレームＦ0のＮ領域座標と、そのＮ領域座標と同じ座標のＰ1〜Ｐk(各副カメラの座標：(水平座標，垂直座標))を記録する。なお、記録方法は、任意であり、様々な記録手法を適用することができる。また、ステップＳＴ１０の処理は、前述した第４実施例の画像符号化方法のみに対応する処理である。
次に、符号化処理を詳述する。図１３および図１４は、第１実施例の画像符号化方法による処理手順の一例を説明するための図である。ここで、前述した図５と同様に、奥に位置する物体(被写体)から物体ＯＡ，ＯＢ，ＯＣとし、主カメラＭＣと副カメラＳＣにおいて、視点移動時の画面上での各物体の移動量の比率ＲOA〜ＲOCは、ＲOA：ＲOB：ＲOC＝０：１：２となるものとする。
すなわち、手前の物体(カメラＭＣ，ＳＣに近い物体)ほど、視点移動に対して動く距離が大きくなる。また、物体ＯＡは、無限遠方と同等に遠い位置にあるため、距離比率が０となるもの(動きなし)とする。
なお、本実施形態の適用は、微小視点移動対応画像を前提としており、ｄ／ｒ＝tanθ＝θが成立するのが前提となる。従って、図１３において、例えば、tanθ＝θが成立しなくなる境界線ＬＬよりも手前に位置する物体は、撮像画像に含まれない。
図１４(a)は、主カメラＭＣと副カメラＳＣにより同時撮影された主カメラ撮像画ＰＩＣmおよび副カメラ撮像画ＰＩＣsを示し、図１４(b)は、生成されたフレーム(視差別フレーム)Ｆ0〜Ｆ2を示す。なお、図中の数値(-14〜0，0〜+14)は、画像をシフトする画素単位の水平座標であり、１画素(ピクセル)ごとの座標ではない。
ここで、説明を簡略化するために、画素のシフト範囲内では全て同じ画素値という条件を付けるが、実際の画像ではそうはならないため、画素値の比較は画素単位(１ピクセルごと)に行うことになる。
また、図１４(a)において、画像(ＰＩＣm，ＰＩＣs)のアスペクト比が縦長になっているが、紙面上の都合であり特別な意味はない。そして、説明を簡略化するために、図１４(a)における破線で囲った領域ＲＲ内のラインのみについて説明する。すなわち、第１実施例の説明では、画像のシフトを水平方向のみとするため、同一ラインのみを考えればよく、これは、領域ＲＲ内のラインについて説明すればよいことになる。
図１４(b)に示されるように、まず、シフトを行わない状態で画素比較を行って、フレームＦ0を生成する。このとき、背景(ＢＫ)および物体ＯＡは、全ての画像で似ており、同じ座標に位置する。
この場合、−１４〜−１１と＋１２〜＋１４の背景、−１０，−９および＋９〜＋１１の物体ＯＡ、−７，＋５および＋６の物体ＯＢ、並びに、−４〜＋２の物体ＯＣが画素一致するため、Ｐ領域となる。これにより、フレームＦ0を符号化することができる。
次に、フレームＦ1を生成する。すなわち、副カメラ撮像画ＰＩＣsを右方向に１だけ移動させた状態で、フレームＦ0でＰ領域にならなかった領域において画素値の比較を行う。このとき、物体ＯＢは、全ての画像で似ており、同じ座標に位置する。
この場合、−８の物体ＯＡ、−６および＋７の物体ＯＢ、並びに、＋３の物体ＯＣにおいて画素が一致する。なお、フレームＦ1において、フレームＦ0でＰ領域だった領域は、Ｔ領域に設定する。これにより、フレームＦ1を符号化することができる。
さらに、フレームＦ2を生成する。すなわち、副カメラ撮像画ＰＩＣsをさらに右方向に１だけ移動させ、フレームＦ1のＰ領域でもＴ領域でもない領域において画素値の比較を行う。このとき、物体ＯＣは、全ての画像で似ており、同じ座標に位置する。
この場合、−５の物体ＯＢ、＋４の物体ＯＣにおいて画素が一致する。これにより、フレームＦ2を符号化することができ、そして、Ｐ領域にならなかった画素がなくなるため符号化処理が完了する。
図１５および図１６は、第２実施例の画像符号化方法による処理手順の一例を説明するための図であり、前述した図７と同様に、３個のカメラが一直線上に(副(左)ＳＣL／主ＭＣ／副(右)ＳＣR)配列されている。
ここで、図７では、主カメラＭＣと副(左)カメラＳＣ2間の距離ｄ1と、主カメラＭＣと副(右)カメラＳＣ3間の距離をｄ2の間に、２×ｄ1＝ｄ2の関係が成立していた。これに対して、図１５および図１６では、主カメラＭＣと副(左)カメラＳＣL間の距離２ｄが、主カメラＭＣと副(右)カメラＳＣR間の距離ｄの２倍となっている。なお、空間内における物体ＯＡ〜ＯＣは、図１３と同様の配置となっている。
図１６(a)は、副(左)カメラＳＣL，主カメラＭＣおよび副(右)カメラＳＣRで同時撮影された、副(左)カメラ撮像画ＰＩＣSL，主カメラ撮像画ＰＩＣmおよび副(右)カメラ撮像ＰＩＣSRを示し、図１６(b)は、生成されたフレーム(視差別フレーム)Ｆ0〜Ｆ2を示す。なお、第２実施例の説明でも、説明を簡略化するために、図１６(a)における破線で囲った領域ＲＲ内のラインのみについて説明する。
図１６(b)に示されるように、まず、シフトを行わない状態で画素比較を行って、フレームＦ0を生成する。このとき、背景(ＢＫ)および物体ＯＡは、全ての画像で似ており、同じ座標に位置する。
この場合、−１４〜−１１と＋１２〜＋１４の背景、−１０，−９および＋１０〜＋１１の物体ＯＡ、−７，＋５および＋６の物体ＯＢ、並びに、０〜＋２の物体ＯＣが画素一致するため、Ｐ領域となる。これにより、フレームＦ0を符号化することができる。
次に、フレームＦ1を生成する。すなわち、副(右)カメラ撮像画ＰＩＣSRを右方向に１だけ移動させ、副(左)カメラ撮像画ＰＩＣSLを左方向に２だけ移動させた状態で、フレームＦ0でＰ領域にならなかった領域において画素値の比較を行う。このとき、物体ＯＢは、全ての画像で似ており、同じ座標に位置する。
この場合、−８，＋８および＋９の物体ＯＡ、−７，−６および＋７の物体ＯＢ、並びに、０，＋１および＋３の物体ＯＣにおいて画素が一致する。なお、フレームＦ1において、フレームＦ0でＰ領域だった領域は、Ｔ領域に設定する。これにより、フレームＦ1を符号化することができる。
さらに、フレームＦ2を生成する。すなわち、副(右)カメラ撮像画ＰＩＣSRをさらに右方向に１だけ移動させ、副(左)カメラ撮像画ＰＩＣSLをさらに左方向に２だけ移動させ、フレームＦ1のＰ領域でもＴ領域でもない領域において画素値の比較を行う。このとき、物体ＯＣは、全ての画像で似ており、同じ座標に位置する。
この場合、−５および＋５の物体ＯＢ、−４、−３および＋４の物体ＯＣにおいて画素が一致する。これにより、フレームＦ2を符号化することができ、そして、Ｐ領域にならなかった画素がなくなるため符号化処理が完了する。
図１７〜図１９は、第２実施例の画像符号化方法による処理手順の他の例を説明するための図である。上述した図１５および図１６では、直線上に配列された３つのカメラ(ＳＣL，ＭＣ，ＳＣR)による撮像画(ＰＩＣSL，ＰＩＣm，ＰＩＣSR)を処理したが、図１７〜図１９では、クロス状に配置した５個のカメラによる撮像画を処理する。
すなわち、図１７に示されるように、５個のカメラは、主カメラＭＣに対して、左側に副(左)カメラＳＣL、右側に副(右)カメラＳＣR、上側に副(上)カメラＳＬU、そして、下側に副(下)カメラＳＬDを配置する。
ここで、副(左)カメラＳＣL−主カメラＭＣ−副(右)カメラＳＣRは、直線上に配列され、それらの水平位置は等しいものとする。また、副(上)カメラＳＬU−主カメラＭＣ−副(下)カメラＳＬDも直線上に配列され、それらの垂直位置は等しいものとする。なお、主カメラＭＣと、各副ＳＣL，ＳＣR，ＳＬU，ＳＬD間の距離は、全て等しくｄとなっている。
まず、図１９に示されるように、シフトを行わない状態で画素比較を行って、フレームＦ0を生成する。このとき、背景(ＢＫ)および物体ＯＡは、全ての画像で似ており、同じ座標に位置する。
この場合、背景領域はすべて一致するためＰ領域となり、物体ＯＡは、各副画像の物体ＯＢのずれ出した領域(上下左右１ラインずつ)を差し引いた領域にて一致するためＰ領域となる。
また、物体ＯＢは、物体ＯＣのぶれ分が大きいため、上下左右斜め方向に２画素ずつのみで一致するためＰ領域となり、物体ＯＣは、−６〜−２の列で、且つ、−６〜＋５の行の矩形状の領域にて一致するためＰ領域となる。これにより、フレームＦ0を符号化することができる。
次に、フレームＦ1を生成する。すなわち、副(右)カメラ撮像画ＰＩＣSRを右方向に、副(左)カメラ撮像画ＰＩＣSLを左方向に、副(上)カメラ撮像画ＰＩＣSUを上方向に、副(下)カメラ撮像画ＰＩＣSDを下方向に、それぞれ１だけ移動させる。そして、この状態で、フレームＦ0においてＰ領域にならなかった領域で画素値の比較を行う。このとき、物体ＯＢは、全ての画像で似ており、同じ座標に位置する。
この場合、物体ＯＡは、物体ＯＢのズレ分が収まったため、残っていた領域が全て一致してＰ領域となり、物体ＯＢは、物体ＯＣのぶれ分が収まったため、左右２ラインおよび上下１ラインが一致するためＰ領域となる。
また、物体ＯＣは、全体のずれ量が小さくなり、フレームＦ0で一致した矩形領域の外周１ラインが新たに一致するためＰ領域となる。なお、フレームＦ1において、フレームＦ0でＰ領域だった領域は、Ｔ領域に設定する。これにより、フレームＦ1を符号化することができる。
さらに、フレームＦ2を生成する。すなわち、副(右)カメラ撮像画ＰＩＣSR，副(左)カメラ撮像画ＰＩＣSL，副(上)カメラ撮像画ＰＩＣSUおよび副(下)カメラ撮像画ＰＩＣSDを、それぞれ同じ方向に１だけ移動させる。そして、この状態で、フレームＦ1のＰ領域でもＴ領域でもない領域において画素値の比較を行う。このとき、物体ＯＣは、全ての画像で似ており、同じ座標に位置する。
この場合、残っていた物体ＯＢの内周と物体ＯＣの外周それぞれの１ラインが一致するため、Ｐ領域となる。そして、Ｐ領域にならなかった画素がなくなるため符号化処理が完了する。
以上において、第３実施例の画像符号化方法による処理手順は、上述した第１および第２実施例の画像符号化方法による１つのカメラ群(カメラセット)における処理手順を、複数のカメラ群に対して同様に適用することになる。
さらに、第４実施例の画像符号化方法は、第１〜第３実施例において、例えば、フレームＦ0のＮ領域とその座標の副カメラの画素値を記録することで、復号化時に、視聴者が視点を移動させた際の背景部分の描画データ不足を緩和する。
なお、第１〜第４実施例の画像符号化方法は、例えば、図９および図１０に示す画像符号化装置(符号化システム)により実施され、或いは、図１１に示す画像符号化装置(実行システム)の画像符号化プログラムとして演算処理装置(ＣＰＵ)により実行される。以上により、三次元画像情報を複数枚の二次元画像に符号化することができる。次に、画像復号化方法および画像復号化装置の実施例を詳述する。
［復号化］
上述のようにして符号化された空間情報は、その空間情報を表示するための画面と視聴者の視点移動距離を測定する視点移動距離測定部を備えた再生環境において、視聴者の視点位置情報から描画する各フレームのシフト画素量を算出する。
すなわち、第５実施例の画像復号化方法(画像復号化方法の一実施例)によれば、フレームＦ0から若いフレーム番号順に、算出したシフト量だけシフトして上書き描画を行う。その際、Ｔ領域(透領域)に設定されている画素は、上書き描画を行わない。
ここで、視聴者による視点の移動範囲は任意であるが、本明細書では、主カメラと各副カメラとを結ぶ直線上のみ(主カメラと副カメラとの中間視点)を説明する。なお、視点の移動が直線から外れると、記録されていない画素が増えるため、視点再現度が低下することになる。
また、前述した符号化の処理手順であれば、符号化時にフレームＦ0，Ｆ1，…の生成順序と同様に、フレームＦ0から順番に上書き処理を行うことになる。これにより、主カメラと副カメラ、並びに、主カメラと副カメラの間にある中間視点からの視点画像を生成することができる。
このように、本実施形態に係る画像復号化方法および画像復号化装置は、例えば、ジオメトリの計算を行うことなく、「シフト＋上書き描画」という簡単な処理のみで目的とする視点画像を生成することができる。
さらに、前述した第４実施例の画像符号化方法により、例えば、記録されたフレームＦ0のＮ領域(陰領域)とその座標の副カメラの画素値を使用することで、復号化時に、視聴者が視点を移動させた際の背景部分の描画データ不足を緩和することが可能となる。
すなわち、第６実施例の画像復号化方法(画像復号化方法の他の実施例)によれば、上述した第５実施例の画像復号化方法を適用して復号化する際、例えば、フレームＦ0のＮ領域を、視点移動方向に対応する副カメラの画像(副カメラ撮像画)のデータで置き換える。これにより、視点移動時の画素欠落を容易に補間することが可能となる。
また、フレームを描画した後、対応する副カメラの撮像画のフレーム(フレームＦ0のＮ領域以外はＰ領域(陽領域)になっているものとする)で上書き描画することで、特別な処理をすることなく、データの置き換えを行うことも可能となる。
図２０は、本実施形態に係る画像復号化方法による処理の一例を説明するための図であり、例えば、図６を参照して説明した２個のカメラ(主カメラＭＣおよび副カメラＳＣ)による三次元情報を符号化した場合の復号化処理を説明するためのものである。
ここで、図２０(a)に示されるように、視聴者ＶＲは、主カメラＭＣと副カメラＳＣ間の距離ｄのちょうど中間に位置している場合、すなわち、視点位置がｄ／２の複合画を生成する場合を説明する。
本実施形態に係る画像復号化方法によれば、視点位置に応じたシフトを行った上で、若い番号のフレームから順に、すなわち、フレームＦ0→Ｆ1→Ｆ2→…と順番に、上書き描画を行う。なお、上述したように、視点位置は、ちょうど主カメラＭＣと副カメラＳＣの中間位置となるため、各フレームを生成するときの副カメラの画像(副カメラ撮像画)のシフト量の１／２の画素数だけシフトすればよい。
具体的に、符号化フレームの総枚数をｇ枚、副カメラＳＣの水平および垂直シフト単位画素数をｓxf，ｓyfとすると、フレームａ(１≦ａ≦ｇ)のシフト量は、水平方向：(a/2)ｓxf画素、垂直方向：(a/2)ｓyf画素となる。なお、シフト方向は、主カメラＭＣから見て、視点移動方向に対して逆向きにシフトする。
すなわち、このときは、図２０(b)に示されるように、視差部分が折り重なり、物体がｓ／２だけ右にずれた中間視点の画像が生成される。ここで、物体の右側がずれ出ていないが、視点拡張カメラを含めて符号化すれば右側もずれ出る。このズレ出た領域は、例えば、後に詳述する第６実施例の画像復号化方法(画像復号化方法の第２実施例)による補間で埋めることで中間視点画像を生成する。
なお、シフト量は、同じ符号化フレーム内であれば、空間中の物体の奥行きに関係なく等価となるため、例えば、ジオメトリ計算を行うことなく、移動後の視点位置に応じた画像を容易に生成することが可能となる。
図２１は、本実施形態の画像復号化方法が適用される復号化システムの一例を示すブロック図である。図２１において、参照符号３は復号化システム(画像復号化装置)、４は表示デバイス、そして、５は視聴者視点位置検出デバイスを示す。
図２１に示されるように、復号化システム３は、メモリ(ＳＤＲＡＭ)３０および復号化部３１を含む。ＳＤＲＡＭ３０は、撮像環境メタ情報ＭＩ、符号化システム１により生成された視差別フレームＦ0〜Ｆgおよび視差補間フレームＦi0，Ｆi1，…、並びに、処理結果フレームＦprを格納(記憶)する。
ここで、撮像環境メタ情報ＭＩ、視差別フレームＦ0〜Ｆgおよび視差補間フレームＦi0，Ｆi1，…は、本実施形態の画像符号化装置により既に取得されたものであり、処理結果フレームＦprは、復号化部３１による復号化処理により生成されたものである。また、処理結果フレームＦprは、例えば、液晶表示装置等の表示デバイス４に画像表示され、視聴者ＶＲにより観察される。
視聴者視点位置検出デバイス５は、例えば、表示デバイス４に取り付けられ、知られている様々な手法により視聴者ＶＲの視点位置を検出し、その視聴者の視点位置情報を復号化部３１に供給する。
なお、表示デバイス４としては、例えば、テレビ放送やブルーレイディスクによる動画を表示する大型液晶ディスプレイ、或いは、スマートフォンやタブレット等の携帯機器の小型ディスプレイといった様々なものが適用され得る。また、撮像環境メタ情報ＭＩには、撮像デバイス２における各カメラの位置関係、並びに、実装によっては撮像条件および撮像時の環境情報が含まれている。
復号化部３１は、例えば、ＳＤＲＡＭ３０に格納された撮像環境メタ情報ＭＩ、視差別フレームＦ0〜Ｆgおよび視差補間フレームＦi0，Ｆi1，…の各種データ、並びに、視聴者視点位置検出デバイス５からの視聴者の視点位置情報を受け取って、復号化を行う。なお、復号化部３１は、例えば、視差の外側から順に描画する。
図２２は、図２１に示す復号化システムにおける復号化部をより詳細に示すブロック図である。図２２に示されるように、復号化部３１は、復号フレーム選択部３１１，描画部３１２，復号結果フレームバッファ３１３，フレームシフト量算出部３１４および補間フレーム決定部３１５を含む。
補間フレーム決定部３１５は、ＳＤＲＡＭ３０に格納された視差補間フレームＦiおよび撮像環境メタ情報ＭＩを受け取り、補間フレームインデックスを生成して復号フレーム選択部３１１に出力する。
復号フレーム選択部３１１は、ＳＤＲＡＭ３０に格納された撮像環境メタ情報ＭＩおよび視差別フレームＦ0〜Ｆg、並びに、補間フレーム決定部３１５からの補間フレームインデックスを受け取り、復号フレームを選択して描画部３１２に出力する。フレームシフト量算出部３１４は、視聴者視点位置検出デバイス５からの視聴者の視点位置情報に基づいてシフト量を算出し、描画部３１２に出力する。
描画部３１２は、復号フレーム選択部３１１により選択されたフレームデータ，ＳＤＲＡＭ３０に格納された撮像環境メタ情報ＭＩおよびフレームシフト量算出部３１４で算出されたシフト量を受け取って、シフトおよび描画を行って復号結果フレームを生成する。
なお、描画部３１２により生成された復号結果フレームは、例えば、復号結果フレームバッファ３１３を介して表示デバイス４に出力され、或いは、ＳＤＲＡＭ３０に復号結果フレームＦprとして格納される。また、ＳＤＲＡＭ３０に格納される視差補間フレームＦiおよび補間フレーム決定部３１５は、前述した第４実施例の画像符号化方法に対応したものである。
図２３は、本実施形態の画像復号化プログラムが適用される実行システムの一例を示すブロック図である。本実施形態の画像復号化方法は、例えば、演算処理装置により実行される画像復号化プログラムとして実現することも可能である。
図２３に示されるように、実行システム(画像復号化装置)３００は、ＳＤＲＡＭ３０，検出デバイス用Ｉ／Ｏ部３０１，表示デバイス用Ｉ／Ｏ部３０２，ＣＰＵ(演算処理装置)３０３，バス３０４および外部データ入力用Ｉ／Ｏ部３０５を含む。
検出デバイス用Ｉ／Ｏ部３０１は、視聴者視点位置検出デバイスとの間で信号を遣り取りして、視聴者の視点位置の情報を取得する。表示デバイス用Ｉ／Ｏ部３０２は、表示デバイス４との間で信号を遣り取りして、処理結果フレーム(復号画像データ：視点復号画)Ｆprを表示デバイス４に表示させる。
ＳＤＲＡＭ３０は、前述したように、例えば、撮像環境メタ情報ＭＩ、視差別フレームＦ0〜Ｆg，視差補間フレームＦiおよび処理結果フレームＦprを格納する。外部データ入力用Ｉ／Ｏ部３０５は、例えば、外部から符号化データや撮像環境メタ情報ＭＩ等を受け取り、或いは、他の様々なデータの遣り取りを行う。この外部データ入力用Ｉ／Ｏ部３０５としては、例えば、ＵＳＢやＭＩＰＩ等を適用することができる。
ＣＰＵ３０３は、本実施形態の画像復号化プログラムを実行し、例えば、ＳＤＲＡＭ３０に格納された撮像環境メタ情報ＭＩ、視差別フレームＦ0〜Ｆgおよび視差補間フレームＦi、並びに、視聴者の視点位置情報を受け取って、復号化処理を行う。
なお、ＣＰＵ３０３が実行するプログラムは、例えば、外部のメモリ(図示しない)に格納しておき、外部データ入力用Ｉ／Ｏ部３０５を介してＣＰＵ３０３に実行させることができる。或いは、ＣＰＵ３０３が実行するプログラムは、例えば、実行システム３００に内蔵したフラッシュメモリ等の不揮発性メモリに格納することもできる。
図２４は、本実施形態の画像復号化方法における処理の一例を説明するためのフローチャートである。以下の説明において、参照符号ｘは、水平インデックス、ｙは、ラインインデックス、ｅは、視差幅、ｎは、フレームカウント(フレーム番号)を示す。
また、ｇは、フレーム総枚数、ｉは、視差データインデックス、ｖは、視聴者の視点移動距離に対するフレームＦ1のシフト量の比率、そして、ｈx，ｈyは、視聴者視点位置検出デバイスで検出した視聴者の頭部の水平座標，垂直座標(視聴者視点座標)を示す。なお、ｈx＝ｈy＝０のとき、主カメラＭＣと同じ視野となる。
さらに、ｏ(水平座標，垂直座標)は、復号画像データ(視点復号画，復号画)、ｊは、フレームＦ0のＮ領域補間用の副カメラインデックス、そして、ｐhj(水平座標，垂直座標)は、フレームＦ0のＮ領域補間用の副カメラ撮像画(ｊ＝１，２，…，ｋ)を示す。なお、フレームＦ0において、Ｎ領域の座標では、ｐhj(ｘ，ｙ)＝＝ｐk(ｘ，ｙ)が成立し、また、フレームＦ0において、Ｐ領域の座標では、ｐhj(ｘ，ｙ)＝＝Ｔ領域が成立する。
図２４に示されるように、画像復号化処理が開始すると、ステップＳＴ２１において、再生を開始する。すなわち、再生データを入力し、視聴者視点位置検出デバイス５により、視聴者ＶＲの視点位置のトラッキングを開始する。
さらに、ステップＳＴ２２に進んで、視聴者視点座標(ｈx，ｈy)を取得し、フレームシフト量算出部３１４により比率ｖを決定し、補間フレーム決定部３１５により副カメラインデックスｊを決定する。
ここで、ｖの算出は、例えば、視聴者ＶＲが符号化時の主カメラ(ＭＣ)から副ａカメラ(ＳＣa)の位置まで視点移動した場合、視聴者視点位置検出デバイス５により検出した視聴者ＶＲの水平および垂直移動を符号化カメラの画素数に置き換える。すなわち、その画素数に置き換えたものをｈxa，ｈyaとすると、ｖ＝(ｓxa 2＋ｓya 2)1/2／(ｈxa 2＋ｈya 2)1/2として求めることができる。また、副カメラインデックスｊの決定方法としては、現在の視聴者ＶＲの視点位置と、主カメラ−副カメラ間を結ぶ直線との距離が最も小さい副カメラを選ぶ方法など適用可能である。
次に、ステップＳＴ２３において、ｎ＝０，ｕ＝falseとしてステップＳＴ２４に進み、フレームＦnをずらして描画を行う。すなわち、ｏ(ｘ，ｙ)＝ｐfn(ｘ＋(１−ｎ×ｖ)ｈx，ｙ＋(１−ｎ×ｖ)ｈy)となる。ここで、Ｔ領域およびＮ領域は、描画せず、Ｐ領域のみ上書き描画を行う。なお、座標(ｘ−ｖ×ｈx，ｙ−ｖ×ｈy)がフレームの範囲外の場合には、描画は行わない。また、ｎが０でｕがtrueのとき、すなわち、ｎ＝０，ｕ＝trueのときは、ｐf0ではなくｐfjを参照する。
さらに、ステップＳＴ２５に進んで、ｎ＝＝ｇかどうかを判定し、ｎ＝＝ｇが成立する(Ｙｅｓ)と判定すると、ステップＳＴ２６に進んで、表示デバイス４に復号画像データｏを描画してステップＳＴ２７に進む。
ステップＳＴ２７では、視聴者ＶＲが視聴を終了したかどうかを判定し、終了した(Ｙｅｓ)と判定すると、画像復号化処理を終了し、終了していない(Ｎｏ)と判定すると、ステップＳＴ２８に進む。
ステップＳＴ２８では、視聴者ＶＲの視点位置に変化があるかどうかを判定し、変化がある(Ｙｅｓ)と判定すると、ステップＳＴ２２に戻って同様の処理を繰り返し、変化がない(Ｎｏ)と判定すると、ステップＳＴ２７に戻る。すなわち、視聴者ＶＲが視点を移動させた場合には、新たな視点位置に対応した処理を行い、視聴者ＶＲが視点を移動させない場合には、視聴を終了するまでその状態を維持する。
一方、ステップＳＴ２５において、ｎ＝＝ｇが成立しない(Ｎｏ)と判定すると、ステップＳＴ２９に進み、ｎ＝＝０且つｕ＝＝falseかどうかを判定し、成立する(Ｙｅｓ)と判定すると、ステップＳＴ３０に進んで、ｕ＝＝trueとしてステップＳＴ２３に戻る。なお、ステップＳＴ２９において、ｎ＝＝０且つｕ＝＝falseが成立しない(Ｎｏ)と判定すると、ステップＳＴ３１に進んで、ｎ＝ｎ＋１としてステップＳＴ２３に戻る。
ここで、ステップＳＴ２９〜ＳＴ３１は、前述した第４実施例の画像符号化方法に対応した復号化処理であり、これにより、復号化時に、視聴者ＶＲが視点を移動させた際の背景部分の描画データ不足を緩和することができるようになっている。なお、この例では、フラグを１つ用意し、フレームＦ0を描画した後に、補間画像を上書きしている。
次に、復号化想定再生環境(水平視点移動時)を説明する。再生(視聴)環境は、例えば、視聴者ＶＲが一般的なテレビを視聴する環境のような、視聴者ＶＲが表示デバイス４のほぼ正面にいる環境を想定する。
また、視聴者ＶＲは、適切な視聴距離(映像の視野角に表示デバイス４がほぼ一致する距離)をとると想定する。そのため、視聴者ＶＲの位置は、撮影時の焦点位置にほぼ合致することになる。
さらに、再生環境として、知られている様々な手法を適用することで、視聴者ＶＲの視点位置を視聴者視点位置検出デバイス５で検出し、その検出した視点位置情報を、ほぼリアルタイムで復号化部３１に出力することができるものとする。
なお、視聴者視点位置検出デバイス５は、例えば、光学カメラを利用した顔認識技術等であってもよいが、その形態は問わない。また、視聴者視点位置検出デバイス５は、表示デバイス４に内蔵されていてもよいが、単独の機器とすることも可能である。このような再生環境において、視聴者ＶＲは、首を動かす(平行移動する)といった微小な視点移動を行うものとする。
図２５は、本実施形態の画像復号化方法において視点移動なし時の処理を説明するための図である。図２５に示されるように、視聴者ＶＲが視点を移動させないとき(視点移動なし時)、ｈx＝ｈy＝０が成立し、この状態でフレームＦ0，Ｆ1，Ｆ2，Ｆ3の順に上書き描画を行う。
ここで、Ｔ領域(透領域)およびＮ領域(陰領域)の画素は、上書きしない。また、各フレームにおけるＰ領域(陽領域)は、上書きされずに残る。その結果、主カメラＭＣから見た視差がそのまま復元され、主カメラＭＣの撮像画ＰＩＣmと同じ画像が復元されることになる。
図２６は、本実施形態の画像復号化方法において視点移動あり時の処理を説明するための図である。図２６に示されるように、視聴者ＶＲが視点を移動させるとき(視点移動あり時)、ｈx≠０若しくはｈy≠０が成立する。
視聴者ＶＲが表示デバイス４の正面以外の位置にいる場合は、フレームのシフト量を変更することにより中間視点を生成する。ここで、視点移動時において、シフト量は、２つの変化が適用される。
すなわち、第１のシフト量の変化は、画面全体を視聴者ＶＲの位置に適合させるために、(ｘ，ｙ)から(ｘ＋ｈx，ｙ＋ｈy)へシフトするものである。また、第２のシフト量の変化は、フレームＦ1以降のフレームに関して、視聴者ＶＲの視点位置の視差を生成するために、(ｘ，ｙ)から(ｘ−ｎ×ｖ×ｈx，ｙ−ｎ×ｖ×ｈy)へ、フレームごとに異なる量だけシフトするものである。
その結果、フレームＦnでは、(ｘ，ｙ)から(ｘ＋(１−ｎ×ｖ)ｈx，ｙ＋(１−ｎ×ｖ)ｈy)へシフトして描画されることになる。すなわち、フレームＦ0では、(ｘ，ｙ)から(ｘ＋ｈx，ｙ＋ｈy)へ、フレームＦ1では、(ｘ，ｙ)から(ｘ＋(１−ｖ)ｈx，ｙ＋(１−ｖ)ｈy)へ、フレームＦ2では、(ｘ，ｙ)から(ｘ＋(１−２ｖ)ｈx，ｙ＋(１−２ｖ)ｈy)へシフトして描画される。
このように、本実施形態の画像復号化方法によれば、復号化時には、視聴者の視点位置に基づいて算出した量だけフレームをシフトして上書き描画していくことで、視聴者の視点位置の画像を復元することができる。この効果は、以下に詳述する画像復号化方法の各実施例でも発揮され得るものである。
図２７は、本実施形態に係る画像復号化方法による処理手順の一例を説明するための図であり、２個のカメラが水平に配置された場合の復号化の処理手順を説明するためのものである。
すなわち、図２７は、主カメラＭＣと副カメラＳＣを水平方向に配列した第１実施例の符号化方法により得られた、前述した図１４(b)に示されるフレームＦ0〜Ｆ2を、復号化処理する手順を説明するものである。
ここで、図２７(a)は、主カメラＭＣの視点画像復号化(ｈx＝０)を示し、図２７(b)は、主カメラＭＣおよび副カメラＳＣの中間位置の視点画像復号化(ｈxがｄ／２相当)を示し、そして、図２７(c)は、副カメラＳＣの視点画像復号化(ｈxがｄ相当)を示す。
なお、図２７において、移動は、水平方向のみなので、常に、ｈy＝０となる。また、説明を簡略化するために、上述した第１のシフト量の変化(視点位置に合わせた画面全体のシフト)は無視して、第２のシフト量の変化(各フレームのシフト)について説明する。
まず、図２７(a)に示されるように、主カメラＭＣの視点画像復号化では、ｈx＝ｈy＝０であり、フレームＦ0のＮ領域を、フレームＦ1およびＦ2におけるＰ領域が補い、視点移動がない画(主カメラ撮像画ＰＩＣm)が復号される。
ここで、視点移動がない場合は、視差部分の移動による画素抜けは発生しないため、前述した第４実施例の画像符号化方法に対応する第６実施例の画像復号化方法の有無で結果は変わらない。
次に、図２７(b)に示されるように、主カメラＭＣおよび副カメラＳＣの中間位置の視点画像復号化(ｈxがｄ／２相当)では、ちょうど中間視点なので、符号化時のシフト量の半分だけ視点移動方向の＋側とは逆の−側にシフトさせればよい。
また、符号化時の単位シフト量が『１』なので、それに対応させて、フレームＦ1では、−１／２＝−０．５だけシフトさせ、また、フレームＦ2では、−２／２＝−１だけシフトさせる。
ここで、フレームＦ1，Ｆ2のシフトにより、画素データが存在しない領域ができるが、このような領域に対しては、前述した第６実施例の画像復号化方法(視点移動時の画素欠落を補間するもの)を適用することにより、補間することが可能となる。結果として、例えば、物体ＯＢが０．５だけマイナス方向に移動し、物体ＯＣが１だけマイナス方向に移動した復号画(復号画像データ：処理結果フレームＦpr)が得られる。
さらに、図２７(c)に示されるように、副カメラＳＣの視点画像復号化(ｈxがｄ相当)では、副カメラＳＣの位置と同じであるため、符号化時のシフト量と同量のシフトをマイナス方向に行えばよい。
すなわち、フレームＦ1では、−１だけシフトさせ、また、フレームＦ2では、−２だけシフトさせる。結果として、物体ＯＢが１だけマイナス方向に移動し、物体ＯＣが２だけマイナス方向に移動した復号画像データが得られる。
図２８および図２９は、本実施形態に係る画像復号化方法による処理手順の他の例を説明するための図であり、３個のカメラが水平に配置された場合の復号化の処理手順を説明するためのものである。
すなわち、図２８および図２９は、３個のカメラを水平方向の一直線上に(副(左)ＳＣL／主ＭＣ／副(右)ＳＣR)配列した第２実施例の符号化方法により得られた、図１６(b)に示されるフレームＦ0〜Ｆ2を、復号化処理する手順を説明するものである。まず、図２８を参照して、視点移動がない場合と視点が左方向に移動した場合を説明し、その後、図２９を参照して、視点が右方向に移動した場合を説明する。
ここで、図２８(a)は、主カメラＭＣの視点画像復号化(ｈx＝０)を示し、図２８(b)は、主カメラＭＣおよび副(左)カメラＳＣLの中間位置の視点画像復号化(ｈxが−ｄ相当)を示す。さらに、図２８(c)は、副(左)カメラＳＣLの視点画像復号化(ｈxが−２ｄ相当)を示す。
なお、視点移動がない場合と視点が左方向に移動した場合、視点移動時の画素欠落の補間処理(第６実施例の画像復号化方法)は、視点が、主カメラＭＣと副(左)カメラＳＣLを結ぶ線分上になるため、副(左)カメラＳＣLによる撮像画ＰＩＣSLを用いる。
また、図２９(a)は、主カメラＭＣおよび副(右)カメラＳＣRの中間位置の視点画像復号化(ｈxが−ｄ／２相当)を示し、図２９(b)は、副(右)カメラＳＣRの視点画像復号化(ｈxが−ｄ相当)を示す。
なお、視点が右方向に移動した場合、視点移動時の画素欠落の補間処理は、視点が、主カメラＭＣと副(右)カメラＳＣRを結ぶ線分上になるため、副(右)カメラＳＣRによる撮像画ＰＩＣSRを用いる。
さらに、図２８および図２９においても、移動は、水平方向のみなので、常に、ｈy＝０となる。また、説明を簡略化するために、上述した第１のシフト量の変化(視点位置に合わせた画面全体のシフト)は無視して、第２のシフト量の変化(各フレームのシフト)について説明する。
まず、図２８(a)に示されるように、主カメラＭＣの視点画像復号化では、ｈx＝ｈy＝０であり、フレームＦ0のＮ領域を、フレームＦ1およびＦ2におけるＰ領域が補い、視点移動がない画像(主カメラ撮像画ＰＩＣm)が復号される。
ここで、視点移動がない場合は、視差部分の移動による画素抜けは発生しないため、前述した第４実施例の画像符号化方法に対応する第６実施例の画像復号化方法の有無で結果は変わらない。
また、図２８(b)に示されるように、主カメラＭＣおよび副(左)カメラＳＣLの中間位置の視点画像復号化(ｈxが−ｄ相当)では、副(左)カメラＳＣLの画像はシフト単位『２』であり、視点移動距離は、副(左)カメラＳＣLまでの半分の距離となる。
従って、フレームＦ1では、(２×１)／２＝１だけシフトし、フレームＦ2では、(２×２)／２＝２だけシフトする。結果として、副(左)カメラＳＣLで補間した場合、例えば、物体ＯＢが１だけプラス方向に移動し、物体ＯＣが２だけプラス方向に移動した復号画像データが得られる。なお、補間に副(右)カメラＳＣRによる撮像画ＰＩＣSRを用いると、画像(復号画像データ)が破綻してしまう。
さらに、図２８(c)に示されるように、副(左)カメラＳＣLの視点画像復号化(ｈxが−２ｄ相当)では、視点移動距離が中間フレームの２倍の距離となるため、フレームＦ1では、(２×２)／２＝２だけシフトし、フレームＦ2では、(２×４)／２＝４だけシフトする。
結果として、副(左)カメラＳＣLで補間すれば、例えば、物体ＯＢが２だけプラス方向に移動し、物体ＯＣが４だけプラス方向に移動した復号画像データが得られる。なお、この場合も、補間に副(右)カメラＳＣRによる撮像画ＰＩＣSRを用いると、画像が破綻する。
次に、視点が右方向に移動した場合を説明する。この場合、視点は、主カメラＭＣと副(右)カメラＳＣRを結ぶ線分上になるため、副(右)カメラＳＣRによる撮像画ＰＩＣSRを用いる。
ここで、前述した図１５に示されるように、主カメラＭＣと副(左)カメラＳＣLの距離は２ｄであるため、視点は、−２ｄまで移動可能であったが、主カメラＭＣと副(右)カメラＳＣRの距離はｄであるため、視点の移動距離範囲は、０〜ｄとなる。なお、視点を０〜ｄの範囲を逸脱して移動させた場合でも、復号画像データ(画像)を生成することは可能であるが、破綻する領域が大きくなってしまう。
図２９(a)に示されるように、主カメラＭＣおよび副(右)カメラＳＣRの中間位置の視点画像復号化(ｈxが−ｄ／２相当)では、副(右)カメラの画像はシフト単位『１』であり、視点移動距離は、副(右)カメラＳＣRまでの半分の距離となる。
従って、フレームＦ1では、(−１×１)／２＝−０．５だけシフトし、フレームＦ2では、(−１×２)／２＝−１だけシフトする。結果として、副(右)カメラＳＣRで補間した場合、例えば、物体ＯＢが０．５だけマイナス方向に移動し、物体ＯＣが１だけマイナス方向に移動した復号画像データが得られる。なお、補間に副(左)カメラＳＣLによる撮像画ＰＩＣSLを用いると、画像が破綻してしまう。
そして、図２９(b)に示されるように、副(右)カメラＳＣRの視点画像復号化(ｈxが−ｄ相当)では、視点移動距離が中間フレームの２倍の距離となるため、フレームＦ1では、−１×１＝−１だけシフトし、フレームＦ2では、−１×２＝−２だけシフトする。
結果として、副(右)カメラＳＣRで補間すれば、例えば、物体ＯＢが１だけマイナス方向に移動し、物体ＯＣが２だけマイナス方向に移動した復号画像データが得られる。なお、この場合も、補間に副(左)カメラＳＣLによる撮像画ＰＩＣSLを用いると、画像が破綻する。
図３０〜図３２は、本実施形態に係る画像復号化方法による処理手順のさらに他の例を説明するための図であり、５個のカメラがクロス状に配置された場合の復号化の処理手順を説明するためのものである。
すなわち、図３０〜図３２は、主カメラＭＣに対して、左側に副(左)カメラＳＣL、右側に副(右)カメラＳＣR、上側に副(上)カメラＳＬU、そして、下側に副(下)カメラＳＬDを配置した第２実施例の符号化方法により得られデータを復号化するものである。換言すると、図３０〜図３２は、前述した図１９に示されるフレームＦ0〜Ｆ2を、復号化処理する手順を説明するものである。
ここで、図３０は、視点移動がないとき(ｈx＝ｈy＝０)の復号画(視点復号画，復号画像データ)を示し、図３１は、視点移動が主カメラＭＣおよび副(上)カメラＳＣUの中間位置のとき(ｈyが−ｄ／２相当)の復号画を示す。さらに、図３２は、視点移動が主カメラＭＣおよび副(上)カメラＳＣUの中間位置のとき(ｈyが−ｄ相当)の復号画を示す。
まず、図３０に示されるように、視点移動がないとき(ｈx＝ｈy＝０)、フレームＦ0，Ｆ1，Ｆ2の順に上書き描画を行う。これにより、基本的には、図２７〜図２９を参照して説明したのと同様に、主カメラＭＣによる画像(主カメラ撮像画ＰＩＣm)を復号(復元)することができる。
次に、図３１に示されるように、視点移動が、主カメラＭＣおよび副(上)カメラＳＣUの中間位置のとき(ｈyが−ｄ／２相当)、視点は主カメラＭＣと副(上)カメラＳＣUを結ぶ線分上になるため、補間には副(上)カメラＳＣUによる撮像画ＰＩＣSUを用いる。ここで、シフト単位量が『１』で、視点移動がその半分の位置なので、フレームＦ1は、下方向に０．５だけシフトし、フレームＦ2は、下方向に１だけシフトする。
そして、副(上)カメラＳＣUによる撮像画ＰＩＣSUを補間に用いると、物体ＯＢが０．５だけ下方向に移動し、物体ＯＣが１だけ下方向に移動した復号画像データが得られる。なお、補間に副(上)カメラＳＣUによる撮像画ＰＩＣSU以外を用いると、画像が破綻する。
さらに、図３２に示されるように、視点移動が、主カメラＭＣおよび副(上)カメラＳＣUの中間位置のとき(ｈyが−ｄ相当)、視点は中間視点の倍になるため、フレームＦ1は、下方向に１だけシフトし、フレームＦ2は、下方向に２だけシフトする。
そして、副(上)カメラＳＣUによる撮像画ＰＩＣSUを補間に用いると、物体ＯＢが１だけ下方向に移動し、物体ＯＣが２だけ下方向に移動した復号画像データが得られる。なお、この場合も、補間に副(上)カメラＳＣUによる撮像画ＰＩＣSU以外を用いると、画像が破綻する。
このように、補間を行う場合には、視点移動に対応するに副カメラによる撮像画を使用し、それ以外の副カメラによる撮像画を使用して補間を行うと、画像が破綻することになる。
なお、本実施形態の画像復号化方法において、前述した第３実施例の画像符号化方法として説明した、主カメラおよび副カメラによるカメラセット(カメラ群)を複数組設けた場合には、それぞれのカメラ群に関して、上述した復号化処理を行うことになる。
以上、詳述したように、本実施例に係る画像符号化方法および画像符号化装置によれば、演算量およびデータ量を低減することができる。
これにより、微小視点移動対応画像の符号化(生成／記録)および復号化(再生)を、例えば、演算処理能力や記憶容量の限られた組み込み機器などでも容易に実現することが可能となる。さらに、本実施例に係る画像符号化方法および画像復号化方法は、演算処理装置により実行する画像符号化プログラムおよび画像復号化プログラムとして実現することも可能である。
以上、実施形態を説明したが、ここに記載したすべての例や条件は、発明および技術に適用する発明の概念の理解を助ける目的で記載されたものであり、特に記載された例や条件は発明の範囲を制限することを意図するものではない。また、明細書のそのような記載は、発明の利点および欠点を示すものでもない。発明の実施形態を詳細に記載したが、各種の変更、置き換え、変形が発明の精神および範囲を逸脱することなく行えることが理解されるべきである。
以上の実施例を含む実施形態に関し、さらに、以下の付記を開示する。
（付記１）
画像符号化方法であって、
符号化システムが、
主カメラにより撮影された第１画像と、前記主カメラと同一平面内に設けられた副カメラにより前記第１画像と同時に撮影された第２画像とを受け取り、
前記第１画像および前記第２画像それぞれの第１座標の画素の画素値を比較して第１差分値を求め、
前記第１差分値が第１閾値以下の場合に前記第１座標を陽領域と判定し、前記第１閾値よりも大きい場合に前記座標を陰領域と判定して第１フレームに記録し、
前記第２画像を、前記主カメラと前記副カメラの位置関係に基づいた方向に第１シフト量だけ画素シフトし、
前記第１画像および前記画素シフト後の前記第２画像それぞれの前記第１座標の画素の画素値を比較して第２差分値を求め、前記第２差分値に基づいて前記第１座標が前記陽領域或いは前記陰領域かを判定して前記第１フレームとは異なる第２フレームに記録する、
ことを特徴とする画像符号化方法。
（付記２）
前記第２フレームに対する記録において、
前記第１フレームへ前記陽領域と記録された座標を透領域として記録する、
ことを特徴とする付記１に記載の画像符号化方法。
（付記３）
前記第１フレームへの記録において、
前記陰領域と記録された座標の前記第２画像の画素値を記録する、
ことを特徴とする付記１または付記２に記載の画像符号化方法。
（付記４）
前記第２フレーム内の前記陰領域の有無を判定し、前記陰領域が有ると判定した場合に、前記第２画像を前記方向に前記第１シフト量だけ更に画素シフトし、
前記第１画像および前記更に画像シフトした後の前記第２画像それぞれの前記第１座標の画素の画素値を比較して第３差分値を求め、前記第３差分値に基づいて前記第１座標が前記陽領域或いは前記陰領域かを判定して前記第１および第２フレームとは異なる第３フレームに記録する、
ことを特徴とする付記１乃至付記３のいずれか１項に記載の画像符号化方法。
（付記５）
前記副カメラは、複数設けられ、
それぞれの前記副カメラは、前記主カメラを挟まない限り、同一直線上に２台以上存在しないように配置される、
ことを特徴とする付記１乃至付記４のいずれか１項に記載の画像符号化方法。
（付記６）
前記副カメラは、前記主カメラを挟んで水平方向に直線上に配列された２つの副カメラを含む、
ことを特徴とする付記５に記載の画像符号化方法。
（付記７）
前記副カメラを複数有する、
ことを特徴とする付記１乃至付記６のいずれか１項に記載の画像符号化方法。
（付記８）
複数の前記副カメラは、
同一平面内で隣接する第１カメラ群および第２カメラ群を含み、
前記第１カメラ群における前記主カメラは、前記第２カメラ群における前記副カメラと兼用され、若しくは、
前記第１カメラ群における前記副カメラは、前記第２カメラ群における前記副カメラと兼用される、
ことを特徴とする付記７に記載の画像符号化方法。
（付記９）
画像符号化装置であって、
符号化システムが、
主カメラにより撮影された第１画像と、前記主カメラと同一平面内に設けられた副カメラにより前記第１画像と同時に撮影された第２画像とを受け取り、
前記第１画像および前記第２画像それぞれの第１座標の画素の画素値を比較して第１差分値を求め、
前記第１差分値が第１閾値以下の場合に前記第１座標を陽領域と判定し、前記第１閾値よりも大きい場合に前記座標を陰領域と判定して第１フレームに記録し、
前記第２画像を、前記主カメラと前記副カメラの位置関係に基づいた方向に第１シフト量だけ画素シフトし、
前記第１画像および前記画素シフト後の前記第２画像それぞれの前記第１座標の画素の画素値を比較して第２差分値を求め、前記第２差分値に基づいて前記第１座標が前記陽領域或いは前記陰領域かを判定して前記第１フレームとは異なる第２フレームに記録する、
ことを特徴とする画像符号化装置。
（付記１０）
画像符号化プログラムであって、
演算処理装置に
主カメラにより撮影された第１画像と、前記主カメラと同一平面内に設けられた副カメラにより前記第１画像と同時に撮影された第２画像とを受け取り、
前記第１画像および前記第２画像それぞれの第１座標の画素の画素値を比較して第１差分値を求め、
前記第１差分値が第１閾値以下の場合に前記第１座標を陽領域と判定し、前記第１閾値よりも大きい場合に前記座標を陰領域と判定して第１フレームに記録し、
前記第２画像を、前記主カメラと前記副カメラの位置関係に基づいた方向に第１シフト量だけ画素シフトし、
前記第１画像および前記画素シフト後の前記第２画像それぞれの前記第１座標の画素の画素値を比較して第２差分値を求め、前記第２差分値に基づいて前記第１座標が前記陽領域或いは前記陰領域かを判定して前記第１フレームとは異なる第２フレームに記録する、のを実行させる、
ことを特徴とする画像符号化プログラム。
（付記１１）
同一平面内に設けられた少なくとも１つの主カメラからの主カメラ撮像画、および、前記主カメラに対して設けられた少なくとも１つの副カメラからの副カメラ撮像画に基づいた三次元画像情報を複数枚の二次元画像に符号化された複数のフレームにより、視点位置情報に基づいて、その視点位置に対応した復号画を生成する画像復号化方法であって、
前記符号化された複数のフレームにおいて、符号化時の生成順序と同じ順番で、算出したシフト量だけシフトして上書き描画を行って、前記視点位置に対応した視点画像を復号する、
ことを特徴とする画像復号化方法。
（付記１２）
前記複数のフレームは、
同時撮影された前記主カメラ撮像画および前記副カメラ撮像画を受け取り、前記主カメラ撮像画および前記副カメラ撮像画における同じ座標の画素同士の画素値を比較し、前記同じ座標の画素同士の画素値の差が所定の閾値以下であれば同一物体とみなして陽領域として記録すると共に、画素値が埋められなかった領域を陰領域として記録する第１フレームと、
前記副カメラ撮像画を、前記主カメラと前記副カメラの位置関係に基づいた方向とシフト量だけ画素シフトし、前記主カメラ撮像画および前記副カメラ撮像画における同じ座標の画素同士の画素値を再度比較して、前記陽領域および前記陰領域を記録する前記第１フレームとは異なる第２フレームと、を含む、
ことを特徴とする付記１１に記載の画像復号化方法。
（付記１３）
前記陰領域に設定されている画素は、上書き描画を行わないで、前記視点画像を復号する、
ことを特徴とする付記１２に記載の画像復号化方法。
（付記１４）
前記第２フレームに対する記録は、
以前のフレームの時点で前記陽領域になったことのある座標に対する透領域の記録を含む、
ことを特徴とする付記１２または付記１３に記載の画像復号化方法。
（付記１５）
前記透領域に設定されている画素は、上書き描画を行わないで、前記視点画像を復号する、
ことを特徴とする付記１４に記載の画像復号化方法。
（付記１６）
前記第２フレームに対する記録は、
前記第１フレームにおける前記陰領域とその座標の副カメラによる副カメラ撮像画の画素値の記録を含み、
前記第２フレームに記録された前記副カメラ撮像画の画素値により、前記視点移動させた際の背景部分の描画データ不足を緩和する、
ことを特徴とする付記１３乃至付記１５のいずれか１項に記載の画像復号化方法。
（付記１７）
前記視点移動させた際の背景部分の描画データ不足の緩和に使用する、前記副カメラ撮像画は、前記視点移動に基づいて規定される、
ことを特徴とする付記１６に記載の画像復号化方法。
（付記１８）
同一平面内に設けられた少なくとも１つの主カメラからの主カメラ撮像画、および、前記主カメラに対して設けられた少なくとも１つの副カメラからの副カメラ撮像画に基づいた三次元画像情報を複数枚の二次元画像に符号化された複数のフレームにより、視点位置情報に基づいて、その視点位置に対応した復号画を生成する復号化部を含む画像復号化装置であって、
前記復号化部は、
前記符号化された複数のフレームにおいて、符号化時の生成順序と同じ順番で、算出したシフト量だけシフトして上書き描画を行って、前記視点位置に対応した視点画像を復号する、
ことを特徴とする画像復号化装置。
（付記１９）
前記視点位置情報は、表示デバイスに取り付けられ、或いは、前記表示デバイスの近傍に設けられた視聴者視点位置検出デバイスの出力である、
ことを特徴とする付記１８に記載の画像復号化装置。
（付記２０）
同一平面内に設けられた少なくとも１つの主カメラからの主カメラ撮像画、および、前記主カメラに対して設けられた少なくとも１つの副カメラからの副カメラ撮像画に基づいた三次元画像情報を複数枚の二次元画像に符号化された複数のフレームにより、視点位置情報に基づいて、その視点位置に対応した復号画を生成する画像復号化プログラムであって、
演算処理装置に
前記符号化された複数のフレームにおいて、符号化時の生成順序と同じ順番で、算出したシフト量だけシフトして上書き描画を行って、前記視点位置に対応した視点画像を復号する、のを実行させる、
ことを特徴とする画像復号化プログラム。
１ 符号化システム(画像符号化装置)
２ 撮像デバイス
３ 復号化システム(画像復号化装置)
４ 表示デバイス
５ 視聴者視点位置検出デバイス
１０，３０ メモリ(ＳＤＲＡＭ)
１１ 符号化部
１２ メタ情報生成部
２０ カメラ制御部
３１ 復号化部
１００ 実行システム(画像符号化装置)
１０１ カメラ用Ｉ／Ｏ部
１０２，３０３ ＣＰＵ(演算処理装置)
１０３，３０４ バス
１０４，３０５ 外部データ出力用Ｉ／Ｏ部
１１１，１１２，１１３ ラインバッファ
１１４ 画素値比較部
３００ 実行システム(画像復号化装置)
３０１ 検出デバイス用Ｉ／Ｏ部
３０２ 表示デバイス用Ｉ／Ｏ部
３１１ 復号フレーム選択部
３１２ 描画部
３１３ 復号結果フレームバッファ
３１４ フレームシフト量算出部
３１５ 補間フレーム決定部
Ｆ0〜Ｆ3，Ｆ0〜Ｆg，Ｆn フレーム
Ｆi，Ｆi0，Ｆi2 視差補間フレーム
Ｆpr 処理結果フレーム(復号画像データ)
ＧＲ1〜ＧＲ3 カメラ群
ＭＣ，ＭＣ1，ＭＣ2，ＭＣ3 主カメラ
ＯＡ，ＯＢ，ＯＣ 物体(被写体)
ＰＩＣm 主カメラ撮像画
ＰＩＣs，ＰＩＣSL，ＰＩＣSR，ＰＩＣSU，ＰＩＣSD 副カメラ撮像画
ＳＣ，ＳＣ1〜ＳＣ4，ＳＣ11，ＳＣ21〜ＳＣ24，ＳＣ31〜ＳＣ34 副カメラ
ＶＲ 視聴者

Claims (7)

  1. 画像符号化方法であって、
    符号化システムが、
    主カメラにより撮影された第１画像と、前記主カメラと同一平面内に設けられた副カメラにより前記第１画像と同時に撮影された第２画像とを受け取り、
    前記第１画像および前記第２画像それぞれの第１座標の画素の画素値を比較して第１差分値を求め、
    前記第１差分値が第１閾値以下の場合に前記第１座標を陽領域と判定し、前記第１閾値よりも大きい場合に前記座標を陰領域と判定して第１フレームに記録し、
    前記第２画像を、前記主カメラと前記副カメラの位置関係に基づいた方向に第１シフト量だけ画素シフトし、
    前記第１画像および前記画素シフト後の前記第２画像それぞれの前記第１座標の画素の画素値を比較して第２差分値を求め、前記第２差分値に基づいて前記第１座標が前記陽領域或いは前記陰領域かを判定して前記第１フレームとは異なる第２フレームに記録する、
    ことを特徴とする画像符号化方法。
  2. 前記第２フレームに対する記録において、
    前記第１フレームへ前記陽領域と記録された座標を透領域として記録する、
    ことを特徴とする請求項１に記載の画像符号化方法。
  3. 前記第１フレームへの記録において、
    前記陰領域と記録された座標の前記第２画像の画素値を記録する、
    ことを特徴とする請求項１または請求項２に記載の画像符号化方法。
  4. 前記第２フレーム内の前記陰領域の有無を判定し、前記陰領域が有ると判定した場合に、前記第２画像を前記方向に前記第１シフト量だけ更に画素シフトし、
    前記第１画像および前記更に画像シフトした後の前記第２画像それぞれの前記第１座標の画素の画素値を比較して第３差分値を求め、前記第３差分値に基づいて前記第１座標が前記陽領域或いは前記陰領域かを判定して前記第１および第２フレームとは異なる第３フレームに記録する、
    ことを特徴とする請求項１乃至請求項３のいずれか１項に記載の画像符号化方法。
  5. 前記副カメラを複数有する、
    ことを特徴とする請求項１乃至請求項４のいずれか１項に記載の画像符号化方法。
  6. 画像符号化装置であって、
    符号化システムが、
    主カメラにより撮影された第１画像と、前記主カメラと同一平面内に設けられた副カメラにより前記第１画像と同時に撮影された第２画像とを受け取り、
    前記第１画像および前記第２画像それぞれの第１座標の画素の画素値を比較して第１差分値を求め、
    前記第１差分値が第１閾値以下の場合に前記第１座標を陽領域と判定し、前記第１閾値よりも大きい場合に前記座標を陰領域と判定して第１フレームに記録し、
    前記第２画像を、前記主カメラと前記副カメラの位置関係に基づいた方向に第１シフト量だけ画素シフトし、
    前記第１画像および前記画素シフト後の前記第２画像それぞれの前記第１座標の画素の画素値を比較して第２差分値を求め、前記第２差分値に基づいて前記第１座標が前記陽領域或いは前記陰領域かを判定して前記第１フレームとは異なる第２フレームに記録する、
    ことを特徴とする画像符号化装置。
  7. 画像符号化プログラムであって、
    演算処理装置に
    主カメラにより撮影された第１画像と、前記主カメラと同一平面内に設けられた副カメラにより前記第１画像と同時に撮影された第２画像とを受け取り、
    前記第１画像および前記第２画像それぞれの第１座標の画素の画素値を比較して第１差分値を求め、
    前記第１差分値が第１閾値以下の場合に前記第１座標を陽領域と判定し、前記第１閾値よりも大きい場合に前記座標を陰領域と判定して第１フレームに記録し、
    前記第２画像を、前記主カメラと前記副カメラの位置関係に基づいた方向に第１シフト量だけ画素シフトし、
    前記第１画像および前記画素シフト後の前記第２画像それぞれの前記第１座標の画素の画素値を比較して第２差分値を求め、前記第２差分値に基づいて前記第１座標が前記陽領域或いは前記陰領域かを判定して前記第１フレームとは異なる第２フレームに記録する、のを実行させる、
    ことを特徴とする画像符号化プログラム。
JP2014184296A 2014-09-10 2014-09-10 画像符号化方法および画像符号化装置 Active JP6365153B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2014184296A JP6365153B2 (ja) 2014-09-10 2014-09-10 画像符号化方法および画像符号化装置
EP15183774.7A EP2996331B1 (en) 2014-09-10 2015-09-03 Image encoding method and image encoding apparatus
US14/848,093 US9407900B2 (en) 2014-09-10 2015-09-08 Image encoding method and image encoding apparatus
US15/179,591 US9681119B2 (en) 2014-09-10 2016-06-10 Image encoding method and image encoding apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014184296A JP6365153B2 (ja) 2014-09-10 2014-09-10 画像符号化方法および画像符号化装置

Publications (2)

Publication Number Publication Date
JP2016058914A JP2016058914A (ja) 2016-04-21
JP6365153B2 true JP6365153B2 (ja) 2018-08-01

Family

ID=54151072

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014184296A Active JP6365153B2 (ja) 2014-09-10 2014-09-10 画像符号化方法および画像符号化装置

Country Status (3)

Country Link
US (2) US9407900B2 (ja)
EP (1) EP2996331B1 (ja)
JP (1) JP6365153B2 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6143469B2 (ja) * 2013-01-17 2017-06-07 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
JP6648916B2 (ja) * 2015-07-27 2020-02-14 キヤノン株式会社 撮像装置
EP3196838A1 (en) * 2016-01-25 2017-07-26 Nokia Technologies Oy An apparatus and associated methods
EP3471065A4 (en) 2016-06-14 2019-06-05 Panasonic Intellectual Property Corporation of America THREE-DIMENSIONAL DATA ENCODING AND DECODING METHOD AND THREE-DIMENSIONAL DATA ENCODING AND DECODING DEVICE
US20200202178A1 (en) * 2018-12-19 2020-06-25 Abb Schweiz Ag Automatic visual data generation for object training and evaluation
CN113141497A (zh) * 2020-01-20 2021-07-20 北京芯海视界三维科技有限公司 3d拍摄装置、3d拍摄方法及3d显示终端
US20230237730A1 (en) * 2022-01-21 2023-07-27 Meta Platforms Technologies, Llc Memory structures to support changing view direction

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0204006B1 (en) * 1984-12-17 1991-10-09 Nippon Hoso Kyokai System for transmitting stereoscopic television pictures
JPH04196998A (ja) * 1990-11-28 1992-07-16 Matsushita Electric Ind Co Ltd 立体画像符号化装置
JP3826236B2 (ja) 1995-05-08 2006-09-27 松下電器産業株式会社 中間像生成方法、中間像生成装置、視差推定方法、及び画像伝送表示装置
JP2001256482A (ja) * 2000-03-08 2001-09-21 Fuji Xerox Co Ltd 視差画像生成装置および視差画像生成方法
JP3971691B2 (ja) 2002-10-31 2007-09-05 日本電信電話株式会社 仮想視点画像生成方法及び仮想視点画像生成装置、ならびに仮想視点画像生成プログラム及び記録媒体
JP4737763B2 (ja) 2006-06-14 2011-08-03 Ｋｄｄｉ株式会社 多視点画像を用いた自由視点画像生成方法、装置及びプログラム
KR101311896B1 (ko) * 2006-11-14 2013-10-14 삼성전자주식회사 입체 영상의 변위 조정방법 및 이를 적용한 입체 영상장치
JP5183277B2 (ja) 2008-04-03 2013-04-17 三菱電機株式会社 立体画像表示装置
US9648346B2 (en) * 2009-06-25 2017-05-09 Microsoft Technology Licensing, Llc Multi-view video compression and streaming based on viewpoints of remote viewer
CN102823241B (zh) * 2010-03-22 2015-09-16 汤姆森许可贸易公司 立体三维图像的低带宽内容保留压缩方法和设备
JP2012009010A (ja) * 2010-05-25 2012-01-12 Mitsubishi Electric Corp 画像処理装置、画像処理方法および画像表示装置
JP5545036B2 (ja) * 2010-05-28 2014-07-09 三菱電機株式会社 画像処理装置、画像処理方法および画像表示装置
JP5488212B2 (ja) * 2010-06-04 2014-05-14 三菱電機株式会社 画像処理装置、画像処理方法および画像表示装置
KR101676830B1 (ko) * 2010-08-16 2016-11-17 삼성전자주식회사 영상 처리 장치 및 방법
US20150179218A1 (en) * 2010-09-10 2015-06-25 3DOO, Inc. Novel transcoder and 3d video editor
US9241147B2 (en) * 2013-05-01 2016-01-19 Legend3D, Inc. External depth map transformation method for conversion of two-dimensional images to stereoscopic images
US9445092B2 (en) * 2011-03-18 2016-09-13 Sony Corporation Image processing apparatus, image processing method, and program
JP2013005259A (ja) * 2011-06-17 2013-01-07 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
JP5367034B2 (ja) * 2011-08-24 2013-12-11 株式会社ソニー・コンピュータエンタテインメント 画像処理装置および画像処理方法
US9111352B2 (en) * 2011-12-27 2015-08-18 Avid Technology, Inc. Automated detection and correction of stereoscopic edge violations
WO2014021134A1 (ja) * 2012-07-30 2014-02-06 オリンパス株式会社 撮像装置及び撮像方法
US9106908B2 (en) * 2012-07-30 2015-08-11 Intel Corporation Video communication with three dimensional perception
WO2014050830A1 (ja) * 2012-09-25 2014-04-03 日本電信電話株式会社 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム、画像復号プログラム及び記録媒体
CN103716641B (zh) * 2012-09-29 2018-11-09 浙江大学 预测图像生成方法和装置
JP6150277B2 (ja) * 2013-01-07 2017-06-21 国立研究開発法人情報通信研究機構 立体映像符号化装置、立体映像復号化装置、立体映像符号化方法、立体映像復号化方法、立体映像符号化プログラム及び立体映像復号化プログラム
JP6214457B2 (ja) * 2014-04-18 2017-10-18 キヤノン株式会社 画像処理方法、画像処理装置、撮像装置、画像処理プログラム、および、記憶媒体

Also Published As

Publication number Publication date
US20160286201A1 (en) 2016-09-29
EP2996331A1 (en) 2016-03-16
EP2996331B1 (en) 2021-11-03
JP2016058914A (ja) 2016-04-21
US9681119B2 (en) 2017-06-13
US9407900B2 (en) 2016-08-02
US20160073083A1 (en) 2016-03-10

Similar Documents

Publication Publication Date Title
JP6365153B2 (ja) 画像符号化方法および画像符号化装置
US10116867B2 (en) Method and apparatus for displaying a light field based image on a user&#39;s device, and corresponding computer program product
CN107274338B (zh) 用于深度图的低等待时间变形的系统、方法和装置
US8768043B2 (en) Image display apparatus, image display method, and program
CN101796548B (zh) 立体图像生成装置和立体图像生成方法
US20110298917A1 (en) Imaging apparatus, method, program, and recording medium used in the program
JP5852093B2 (ja) 映像処理装置、映像処理方法、プログラム
EP2757789A1 (en) Image processing system, image processing method, and image processing program
US10074343B2 (en) Three-dimensional image output apparatus and three-dimensional image output method
US8922627B2 (en) Image processing device, image processing method and imaging device
US11803980B2 (en) Method for generating layered depth data of a scene
CN102692806A (zh) 自由视点四维空间视频序列的采集与形成方法
JP2013115668A (ja) 画像処理装置、および画像処理方法、並びにプログラム
JP6128748B2 (ja) 画像処理装置及び方法
JP2016114445A (ja) ３次元位置算出装置およびそのプログラム、ならびに、ｃｇ合成装置
US20200267374A1 (en) Data recording apparatus, image capturing apparatus, data recording method, and storage medium
CN105191300A (zh) 图像处理方法以及图像处理装置
CN114815286B (zh) 全视差三维光场显示系统的参数确定方法、装置及设备
JP2013120435A (ja) 画像処理装置および画像処理方法、プログラム
KR20110025083A (ko) 입체 영상 시스템에서 입체 영상 디스플레이 장치 및 방법
JP6595878B2 (ja) 要素画像群生成装置及びそのプログラム
JP5088973B2 (ja) 立体撮像装置およびその撮像方法
JP2013150071A (ja) 符号化装置、符号化方法、プログラム及び記憶媒体
JP5868055B2 (ja) 画像処理装置および画像処理方法
KR101121132B1 (ko) 집적 영상 복원 방법 및 장치

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170810

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180525

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180605

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180618

R150 Certificate of patent or registration of utility model

Ref document number: 6365153

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150