JP6551743B2 - 画像処理装置および画像処理方法 - Google Patents

画像処理装置および画像処理方法 Download PDF

Info

Publication number
JP6551743B2
JP6551743B2 JP2015521384A JP2015521384A JP6551743B2 JP 6551743 B2 JP6551743 B2 JP 6551743B2 JP 2015521384 A JP2015521384 A JP 2015521384A JP 2015521384 A JP2015521384 A JP 2015521384A JP 6551743 B2 JP6551743 B2 JP 6551743B2
Authority
JP
Japan
Prior art keywords
parallax
viewpoint
value
pair
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2015521384A
Other languages
English (en)
Other versions
JPWO2014196374A1 (ja
Inventor
功久 井藤
功久 井藤
健吾 早坂
健吾 早坂
浩典 森
浩典 森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPWO2014196374A1 publication Critical patent/JPWO2014196374A1/ja
Application granted granted Critical
Publication of JP6551743B2 publication Critical patent/JP6551743B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/225—Image signal generators using stereoscopic image cameras using a single 2D image sensor using parallax barriers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/21—Indexing scheme for image data processing or generation, in general involving computational photography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10052—Images from lightfield camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Image Processing (AREA)
  • Measurement Of Optical Distance (AREA)
  • Studio Devices (AREA)

Description

本開示は、画像処理装置および画像処理方法に関し、特に、少ない演算量で複数の視点の視差画像を高精度に生成することができるようにした画像処理装置および画像処理方法に関する。
近年、ライトフィールドカメラ等と呼ばれる撮像装置が注目されている。この撮像装置は、複数の撮像部を用いて複数の視点の撮像画像を取得し、撮像画像から仮想視点の撮像画像を生成（ビューインターポレーション）し、これらの撮像画像を用いて仮想フォーカスの撮像画像などを生成する（例えば、特許文献１参照）。
このような撮像装置において、仮想視点の画像は、複数の視点の撮像画像に対応する視差画像（デプスマップ）を生成し、視点ごとに視差画像を用いて撮像画像から仮想視点の撮像画像を生成（イメージレジストレーション）し、合成することにより生成される。従って、仮想視点の撮像画像を高精度で生成するためには、視差画像を高精度で生成する必要がある。なお、視差画像とは、例えば、撮像画像の各画素の視差値を画素値とした画像である。ここでは、奥側の被写体の画像ほど視差値が小さく、手前側の被写体の画像ほど視差値が大きくなるものとする。
特許第４７０６８８２号公報
ところで、複数の視点の視差画像を生成する方法としては、基準となる１つの視点である基準視点の撮像画像から視差画像を生成し、その視差画像から基準視点以外の視点の視差画像を推定する方法がある。
しかしながら、この方法では、例えば、基準視点の撮像画像にオクルージョンが発生する場合、基準視点のオクルージョン領域の視差値を正確に推定することができず、基準視点以外の視点の視差画像を高精度に生成することができない。なお、本明細書では、基準視点のオクルージョン領域とは、基準視点では見えないが、基準視点以外の視点では見える領域のことを指す。
また、複数の視点の視差画像を生成する方法としては、視点ごとに撮像画像から視差画像を生成する方法もある。この方法では、高精度の視差画像を生成することができるが、膨大な演算量が必要とされる。
本開示は、このような状況に鑑みてなされたものであり、少ない演算量で複数の視点の視差画像を高精度に生成することができることができるようにするものである。
本開示の第１の側面の画像処理装置は、複数の視点の撮像画像を用いて前記複数の視点のペアの撮像画像の相関値を演算する演算部と、各ペアの前記相関値のパターンと、前記複数の視点のペアのうちの第１のペアおよび前記第１のペアとは異なる第２のペアとを対応付けたテーブルに基づいて、前記複数の視点のうちの１つの視点である基準視点の視差値からなる視点視差画像と、オクルージョン領域の視差値からなるオクルージョン視差画像とを、前記基準視点の異なる階層の視差画像として生成し、前記視点視差画像と前記オクルージョン視差画像とから、前記基準視点とは異なる視点の視差画像を生成する生成部とを備え、前記生成部は、前記複数の視点のペアのうちの前記第１のペアの最も高い前記相関値に対応する視差値である最高相関視差値に基づいて前記視点視差画像を生成し、前記複数の視点のペアのうちの前記第１のペアとは異なる第２のペアの前記最高相関視差値に基づいて前記オクルージョン視差画像を生成する画像処理装置である。
本開示の第１の側面の画像処理方法は、本開示の第１の側面の画像処理装置に対応する。
本開示の第１の側面においては、複数の視点の撮像画像を用いて前記複数の視点のペアの撮像画像の相関値が演算され、各ペアの前記相関値のパターンと、前記複数の視点のペアのうちの第１のペアおよび前記第１のペアとは異なる第２のペアとを対応付けたテーブルに基づいて、前記複数の視点のうちの１つの視点である基準視点の視差値からなる視点視差画像と、オクルージョン領域の視差値からなるオクルージョン視差画像とが、前記基準視点の異なる階層の視差画像として生成され、前記視点視差画像と前記オクルージョン視差画像とから、前記基準視点とは異なる視点の視差画像が生成され、前記複数の視点のペアのうちの前記第１のペアの最も高い前記相関値に対応する視差値である最高相関視差値に基づいて前記視点視差画像が生成され、前記複数の視点のペアのうちの前記第１のペアとは異なる第２のペアの前記最高相関視差値に基づいて前記オクルージョン視差画像が生成される。
本開示の第２の側面の画像処理装置は、複数の視点の撮像画像を用いて複数の前記視点のペアの撮像画像の相関値を演算する演算部と、各ペアの前記相関値のパターンと、前記複数の視点のペアのうちの所定のペアとを対応付けたテーブルに基づいて、前記所定のペアの最も高い相関値に対応する視差値である最高相関視差値から、前記複数の視点のうちの１つの視点である基準視点の視差値からなる視点視差画像と、オクルージョン領域の視差値からなるオクルージョン視差画像とを生成し、前記視点視差画像と前記オクルージョン視差画像とから、前記基準視点とは異なる視点の視差画像を生成する生成部とを備える画像処理装置である。
本開示の第２の側面の画像処理方法は、本開示の第２の側面の画像処理装置に対応する。
本開示の第２の側面においては、複数の視点の撮像画像を用いて複数の前記視点のペアの撮像画像の相関値が演算され、各ペアの前記相関値のパターンと、前記複数の視点のペアのうちの所定のペアとを対応付けたテーブルに基づいて、前記所定のペアの最も高い相関値に対応する視差値である最高相関視差値から、前記複数の視点のうちの１つの視点である基準視点の視差値からなる視点視差画像と、オクルージョン領域の視差値からなるオクルージョン視差画像とが生成され、前記視点視差画像と前記オクルージョン視差画像とから、前記基準視点とは異なる視点の視差画像が生成される。
なお、本開示の第１および第２の側面の画像処理装置は、コンピュータにプログラムを実行させることにより実現することもできる。
また、本開示の第１および第２の側面の画像処理装置を実現するために、コンピュータに実行させるプログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。
本開示によれば、少ない演算量で複数の視点の視差画像を高精度に生成することができる。
本開示を適用した画像処理装置としての撮像装置の一実施の形態の構成例を示すブロック図である。 撮像アレイの構成例を示す斜視図である。 検出部の構成例を示すブロック図である。 相関生成部に対応する１６個の視点のペアを示す図である。 相関生成部による相関検出を説明する図である。 処理対象画素エリアの一部の例を示す図である。 相関値情報の例を示す図である。 処理対象画素エリアの最高相関視差値のグループを示す図である。 他の処理対象画素エリアの最高相関視差値のグループを示す図である。 階層テーブルの例を示す図である。 基準視点の第１階層および第２階層の視差画像の例を示す図である。 基準視点以外の視点の視差画像の例を示す図である。 従来の基準視点以外の視点の視差画像の例を示す図である。 仮想視点の例を示す図である。 仮想視点の撮像画像の生成について説明する図である。 仮想視点の撮像画像の生成について説明する図である。 仮想視点の撮像画像の生成について説明する図である。 仮想視点の撮像画像の生成について説明する図である。 仮想視点の撮像画像の生成について説明する図である。 仮想視点の撮像画像の生成について説明する図である。 撮像処理を説明するフローチャートである。 撮像アレイの他の構成例を示す斜視図である。 コンピュータのハードウエアの構成例を示すブロック図である。
＜一実施の形態＞
（撮像装置の一実施の形態の構成例）
図１は、本開示を適用した画像処理装置としての撮像装置の一実施の形態の構成例を示すブロック図である。
図１の撮像装置１０は、撮像アレイ１２、および画像処理部１３により構成される。撮像装置１０は、複数の視点の撮像画像を取得し、仮想フォーカスの撮像画像をリフォーカス画像として生成する。
具体的には、撮像装置１０の撮像アレイ１２は、撮像レンズ、CCD(Charge Coupled Device)やCMOS（Complementary Metal-Oxide Semiconductor）などの撮像素子、A/D変換部などよりなる複数の撮像部が２次元配列されることにより構成される。
撮像アレイ１２の各撮像部は、被写体から入力された光を、撮像レンズを介して撮像素子により受光し、その結果得られるアナログ信号に対してA/D変換部によるA/D変換等を行って撮像画像を取得する。これにより、撮像アレイ１２は、撮像部ごとに異なる視点の撮像画像を取得する。撮像アレイ１２は、取得された各視点の撮像画像を画像処理部１３に供給する。
画像処理部１３は、例えばLSI（Large Scale Integration）により構成される。画像処理部１３は、検出部２１、仮想視点画像生成部２２、およびリフォーカス画像生成部２３を備える。
検出部２１は、撮像アレイ１２から供給される基準視点と基準視点以外の視点との撮像画像の相関値だけでなく、基準視点以外の視点どうしの撮像画像の相関値にも基づいて視差値を検出する。これにより、基準視点の視差値と基準視点のオクルージョン領域の視差値とが検出される。なお、本実施の形態では、説明を簡単にするため、基準視点のオクルージョン領域は１つであるものとする。
検出部２１は、基準視点の視差値からなる視差画像を第１階層の視差画像（視点視差画像）とし、基準視点のオクルージョン領域の視差値からなる視差画像を第２階層の視差画像（オクルージョン視差画像）とすることにより、基準視点の２つの階層の視差画像を生成する。そして、検出部２１は、基準視点の２つの階層の視差画像を仮想視点画像生成部２２に供給する。
仮想視点画像生成部２２は、検出部２１から供給される基準視点の２つの階層の視差画像を保持する。仮想視点画像生成部２２は、保持されている基準視点の２つの階層の視差画像を用いて、基準視点以外の視点の視差画像を生成する。
仮想視点画像生成部２２は、生成された各視点の視差画像と撮像アレイ１２から供給される各視点の撮像画像とを用いて、撮像部に対応する視点以外の仮想視点の撮像画像を生成する。仮想視点画像生成部２２は、撮像アレイ１２から供給される各視点の撮像画像と仮想視点の撮像画像を、超多視点画像としてリフォーカス画像生成部２３に供給する。
リフォーカス画像生成部２３は、仮想フォーカス画像生成部として機能し、仮想視点画像生成部２２から供給される超多視点画像を用いて、仮想フォーカスの撮像画像をリフォーカス画像として生成する。リフォーカス画像生成部２３は、生成されたリフォーカス画像を出力する。
（撮像アレイの構成例）
図２は、図１の撮像アレイ１２の構成例を示す図であり、撮像アレイ１２を被写体側から見た斜視図である。
図２の撮像アレイ１２では、９個の撮像部４１−０乃至４１−８が縦方向および横方向に等間隔で３つずつ熱伸縮率の小さい安定した基盤平面４０上に配置される。図２に示すように、撮像部４１−０乃至４１−８のそれぞれは、撮像レンズ４２を有している。なお、本実施の形態では、撮像部４１−０に対応する視点が基準視点とされる。
また、以下では、基準視点に対応する撮像部４１−０の中心を通る垂直な直線と、撮像部４１−０と撮像部４１−１乃至４１−８のそれぞれの中心を結ぶ直線のなす角を、それぞれ、角度θ１乃至θ８という。角度θ１乃至θ８は、それぞれ、４５度、３６０度、３１５度、９０度、２７０度、１３５度、１８０度、２２５度である。
また、撮像部４１−０と撮像部４１−１乃至４１−８のそれぞれの中心を結ぶ直線の長さを、それぞれ、距離Ｌ１乃至Ｌ８という。
（検出部の構成例）
図３は、図１の検出部２１の構成例を示すブロック図である。
図３に示すように、検出部２１は、相関生成部６１−１乃至６１−１６、高相関検出部６２−１乃至６２−１６、生成部６３、およびデータベース６４により構成される。
相関生成部６１−１は、撮像部４１−０から供給される基準視点の撮像画像と、撮像部４１−２から供給される撮像画像を取得する。相関生成部６１−１は、例えば、最初に、基準視点の撮像画像の左上の画素エリアを処理対象画素エリアとし、その後順に１画素ずつラスタスキャン方向にずらして処理対象画素エリアとする。なお、画素エリアの形状は任意の形状にすることができる。
相関生成部６１−１は、演算部として機能し、処理対象画素エリアと、その処理対象画素エリアに対する撮像部４１−２から供給される撮像画像の参照画素エリアとの相関検出を行い、相関検出結果として相関値を得る。相関検出の方法としては、例えば、ブロックマッチング法等の位相差から相関値を検出する方法、処理対象画素エリアと参照画素エリアを合成し、合成結果のコントラストから相関値を検出する方法などがある。
また、相関生成部６１−１は、処理対象画素エリアと参照画素エリアの距離に基づいて視差値を生成する。そして、相関生成部６１−１は、処理対象画素エリアの視差値とその視差値に対応する相関値との関係を表す相関値情報を高相関検出部６２−１に供給する。
相関生成部６１−２は、撮像部４１−０から供給される基準視点の撮像画像と、撮像部４１−１から供給される撮像画像を取得する。そして、相関生成部６１−２は、相関生成部６１−１と同様に相関検出を行い、相関値情報を高相関検出部６２−２に供給する。
相関生成部６１−３は、撮像部４１−０から供給される基準視点の撮像画像と、撮像部４１−４から供給される撮像画像を取得する。そして、相関生成部６１−３は、相関生成部６１−１と同様に相関検出を行い、相関値情報を高相関検出部６２−３に供給する。
相関生成部６１−４は、撮像部４１−０から供給される基準視点の撮像画像と、撮像部４１−６から供給される撮像画像を取得する。そして、相関生成部６１−４は、相関生成部６１−１と同様に相関検出を行い、相関値情報を高相関検出部６２−４に供給する。
相関生成部６１−５は、撮像部４１−０から供給される基準視点の撮像画像と、撮像部４１−７から供給される撮像画像を取得する。そして、相関生成部６１−５は、相関生成部６１−１と同様に相関検出を行い、相関値情報を高相関検出部６２−５に供給する。
相関生成部６１−６は、撮像部４１−０から供給される基準視点の撮像画像と、撮像部４１−８から供給される撮像画像を取得する。そして、相関生成部６１−６は、相関生成部６１−１と同様に相関検出を行い、相関値情報を高相関検出部６２−６に供給する。
相関生成部６１−７は、撮像部４１−０から供給される基準視点の撮像画像と、撮像部４１−５から供給される撮像画像を取得する。そして、相関生成部６１−７は、相関生成部６１−１と同様に相関検出を行い、相関値情報を高相関検出部６２−７に供給する。
相関生成部６１−８は、撮像部４１−０から供給される基準視点の撮像画像と、撮像部４１−３から供給される撮像画像を取得する。そして、相関生成部６１−８は、相関生成部６１−１と同様に相関検出を行い、相関値情報を高相関検出部６２−８に供給する。
以上のように、相関生成部６１−１乃至６１−８は、基準視点の撮像画像と基準視点以外の視点の撮像画像の相関値情報を生成する。従って、この相関値情報から基準視点の視差値を検出することができる。
相関生成部６１−９は、撮像部４１−２から供給される撮像画像と、撮像部４１−２に隣接する撮像部４１−１から供給される撮像画像を取得する。そして、相関生成部６１−９は、相関生成部６１−１と同様に処理対象画素エリアを決定する。
また、相関生成部６１−９は、撮像部４１−２からの撮像画像の処理対象画素エリアに対応する画素エリアと、その処理対象画素エリアに対する撮像部４１−１からの撮像画像の参照画素エリアとの相関検出を行い、相関検出結果として相関値を得る。相関生成部６１−９は、処理対象画素エリアに対応する画素エリアと参照画素エリアの距離に基づいて視差値を生成する。そして、相関生成部６１−９は、相関値情報を高相関検出部６２−９に供給する。
相関生成部６１−１０は、撮像部４１−１から供給される撮像画像と、撮像部４１−１に隣接する撮像部４１−４から供給される撮像画像を取得する。そして、相関生成部６１−１０は、相関生成部６１−９と同様に相関検出を行い、相関値情報を高相関検出部６２−１０に供給する。
相関生成部６１−１１は、撮像部４１−４から供給される撮像画像と、撮像部４１−４に隣接する撮像部４１−６から供給される撮像画像を取得する。そして、相関生成部６１−１１は、相関生成部６１−９と同様に相関検出を行い、相関値情報を高相関検出部６２−１１に供給する。
相関生成部６１−１２は、撮像部４１−６から供給される撮像画像と、撮像部４１−６に隣接する撮像部４１−７から供給される撮像画像を取得する。そして、相関生成部６１−１２は、相関生成部６１−９と同様に相関検出を行い、相関値情報を高相関検出部６２−１２に供給する。
相関生成部６１−１３は、撮像部４１−７から供給される撮像画像と、撮像部４１−７に隣接する撮像部４１−８から供給される撮像画像を取得する。そして、相関生成部６１−１３は、相関生成部６１−９と同様に相関検出を行い、相関値情報を高相関検出部６２−１３に供給する。
相関生成部６１−１４は、撮像部４１−８から供給される撮像画像と、撮像部４１−８に隣接する撮像部４１−５から供給される撮像画像を取得する。そして、相関生成部６１−１４は、相関生成部６１−９と同様に相関検出を行い、相関値情報を高相関検出部６２−１４に供給する。
相関生成部６１−１５は、撮像部４１−５から供給される撮像画像と、撮像部４１−５に隣接する撮像部４１−３から供給される撮像画像を取得する。そして、相関生成部６１−１５は、相関生成部６１−９と同様に相関検出を行い、相関値情報を高相関検出部６２−１５に供給する。
相関生成部６１−１６は、撮像部４１−３から供給される撮像画像と、撮像部４１−３に隣接する撮像部４１−２から供給される撮像画像を取得する。そして、相関生成部６１−１６は、相関生成部６１−９と同様に相関検出を行い、相関値情報を高相関検出部６２−１６に供給する。
以上のように、相関生成部６１−９乃至６１−１６は、基準視点以外の撮像画像どうしの相関値情報を生成する。従って、この相関値情報から基準視点のオクルージョン領域の視差値を検出することができる。
高相関検出部６２−１は、相関生成部６１−１から供給される処理対象画素エリアの相関値情報に基づいて処理対象画素エリアの最も高い相関値を検出する。高相関検出部６２−１は、処理対象画素エリアの最も高い相関値が閾値以上である場合、その最も高い相関値に対応する視差値（以下、最高相関視差値という）を生成部６３に供給する。
一方、最も高い相関値が閾値より小さい場合、高相関検出部６２−１は、処理対象画素エリアの視差値が無効であることを示す無効情報を生成部６３に供給する。なお、ここで用いられる閾値は、例えば、同一の画像に対して相関検出を行ったときの相関値の最小値である。
高相関検出部６２−２乃至６２−１６も、高相関検出部６２−１と同様に、相関生成部６１−２乃至６１−１６のそれぞれから供給される相関値情報に基づいて、最高相関視差値または無効情報を生成部６３に供給する。
生成部６３は、データベース６４から、相関生成部６１−１乃至６１−１６に対応する１６個の視点のペアの最も高い相関値に対応する視差値のパターンと、各階層の視差値に対応するペアとを対応付けた階層テーブルを読み出す。生成部６３は、高相関検出部６２−１乃至６２−１６から供給される処理対象画素エリアの最高相関視差値または無効情報と、テーブルとに基づいて、各階層のペアを認識する。
生成部６３は、階層ごとに、認識されたペアの最高相関視差値の平均値を求め、処理対象画素エリアの視差値として保持する。そして、生成部６３は、階層ごとに全ての画素エリアの視差値を合成して視差画像を生成し、仮想視点画像生成部２２に供給する。
データベース６４は、階層テーブルを記憶する。
なお、以下では、相関生成部６１−１乃至６１−１６を特に区別する必要がない場合、それらをまとめて相関生成部６１という。同様に、高相関検出部６２−１乃至６２−１６をまとめて高相関検出部６２という。
（相関生成部に対応する視点のペアの説明）
図４は、図３の相関生成部６１−１乃至６１−１６に対応する１６個の視点のペアを示す図である。
なお、図４の例では、撮像装置１０は、Ａ乃至Ｚのアルファベットが記載された背景と背景の手前側に存在するサッカーボールを撮像している。このことは、後述する図５乃至図９においても同様である。
図４に示すように、相関生成部６１−１は、撮像部４１−０に対応する基準視点と撮像部４１−２に対応する視点のペア（以下、ペア＃１という）に対応する。相関生成部６１−２は、基準視点と撮像部４１−１に対応する視点のペア（以下、ペア＃２という）に対応する。相関生成部６１−３は、基準視点と撮像部４１−４に対応する視点のペア（以下、ペア＃３という）に対応する。
相関生成部６１−４は、基準視点と撮像部４１−６に対応する視点のペア（以下、ペア＃４という）に対応する。相関生成部６１−５は、基準視点と撮像部４１−７に対応する視点のペア（以下、ペア＃５という）に対応する。相関生成部６１−６は、基準視点と撮像部４１−８に対応する視点のペア（以下、ペア＃６という）に対応する。
相関生成部６１−７は、基準視点と撮像部４１−５に対応する視点のペア（以下、ペア＃７という）に対応する。相関生成部６１−８は、基準視点と撮像部４１−３に対応する視点のペア（以下、ペア＃８という）に対応する。
相関生成部６１−９は、撮像部４１−２に対応する視点と撮像部４１−１に対応する視点のペア（以下、ペア＃９という）に対応する。相関生成部６１−１０は、撮像部４１−１に対応する視点と撮像部４１−４に対応する視点のペア（以下、ペア＃１０という）に対応する。相関生成部６１−１１は、撮像部４１−４に対応する視点と撮像部４１−６に対応する視点のペア（以下、ペア＃１１という）に対応する。
相関生成部６１−１２は、撮像部４１−６に対応する視点と撮像部４１−７に対応する視点のペア（以下、ペア＃１２という）に対応する。相関生成部６１−１３は、撮像部４１−７に対応する視点と撮像部４１−８に対応する視点のペア（以下、ペア＃１３という）に対応する。相関生成部６１−１４は、撮像部４１−８に対応する視点と撮像部４１−５に対応する視点のペア（以下、ペア＃１４という）に対応する。
相関生成部６１−１５は、撮像部４１−５に対応する視点と撮像部４１−３に対応する視点のペア（以下、ペア＃１５という）に対応する。相関生成部６１−１６は、撮像部４１−３に対応する視点と撮像部４１−２に対応する視点のペア（以下、ペア＃１６という）に対応する。
(相関検出の説明)
図５は、相関生成部６１による相関検出を説明する図である。
図５に示すように、例えば基準視点の撮像画像の座標（x０,y０）を中心とした微小の画素エリア８０が処理対象画素エリアであるとき、相関生成部６１−１は、撮像部４１−２からの撮像画像の参照画素エリア８１の中心の座標（x１,y１）を、座標（x０,y０）に基づいて決定する。
具体的には、相関生成部６１−１は、座標（x０,y０）を初期値として、撮像部４１−２に対応する角度θ２＋180度の方向、即ちエピポーラ線の方向に微小間隔Δd２ずつずらした座標を、順に座標（x１,y１）に決定する。そして、相関生成部６１−１は、画素エリア８０と参照画素エリア８１に対して相関検出を行う。
相関生成部６１−２乃至６１−８は、相関生成部６１−１と同様に相関検出を行う。即ち、相関生成部６１−ｉ（i=2,3,4,5,6,7,8）は、参照画素エリア８ｉの中心の座標（xｉ,yｉ）を、座標（x０,y０）を初期値として角度θｊ+180度（j=1,4,6,7,8,5,3）の方向に微小間隔Δdｊだけずらすことにより決定する。そして、相関生成部６１−ｉは、それぞれ、画素エリア８０と参照画素エリア８ｉに対して相関検出を行う。
以上のように、基準視点とのペアに対応する相関生成部６１−１乃至６１−８では、処理対象画素エリアに対して参照画素エリアが設定され、処理対象画素エリアと参照画素エリアとに対して相関検出が行われる。
一方、相関生成部６１−９は、処理対象画素エリアに対応する画素エリアを決定する。具体的には、相関生成部６１−９は、処理対象画素エリアの中心の座標が座標（x０,y０）であるとき、座標（x０,y０）を初期値として、撮像部４１−２に対応する角度θ２＋180度の方向に△d２ずつずらした座標を、順に処理対象画素エリアに対応する画素エリアの中心の座標に決定する。
また、相関生成部６１−９は、座標（x０,y０）を初期値として、撮像部４１−１に対応する角度θ１＋180度の方向に△d１ずつずらした座標を、順に参照画素エリアの中心の座標に決定する。そして、相関生成部６１−９は、処理対象画素エリアに対応する画素エリアと参照画素エリアに対して相関検出を行う。相関生成部６１−１０乃至６１−１６は、相関生成部６１−９と同様に相関検出を行う。
以上のように、基準視点以外の視点どうしのペアに対応する相関生成部６１−９乃至６１−１６では、処理対象画素エリアに対して処理対象画素エリアに対応する画素エリアと参照画素エリアが設定される。そして、処理対象画素エリアに対応する画素エリアと参照画素エリアとに対して相関検出が行われる。
なお、Δd１乃至Δd８は、以下の式（１）で定義される値である。
Figure 0006551743
（階層テーブルの説明）
図６は、図５の基準視点の撮像画像内の処理対象画素エリアの一部の例を示す図である。
図６に示すように、図５の基準視点の撮像画像では、背景に記載されたＪの一部を含む画素エリア１０１、Ｋの一部を含む画素エリア１０２、サッカーボールで隠されたＬを含む画素エリア１０３などが処理対象画素エリアとされる。
図７は、図５の撮像画像に対して画素エリア１０１乃至１０３の中心の座標を処理対象画素エリアの中心の座標としたときの相関値情報を示す図である。
なお、図７において、横軸は、相関値情報の視差値を表し、縦軸は、相関値を表す。
図７の左側に示すように、画素エリア１０１の中心の座標を処理対象画素エリアの中心の座標としたときのペア＃１乃至ペア＃１６の相関値情報では、背景の視差値に対応する相関値が最も大きく、その相関値は閾値以上となる。
即ち、図５の撮像画像では、全ての視点において画素エリア１０１の背景の画像が存在する。従って、ペア＃１乃至ペア＃１６の全てにおいて最も高い相関値は閾値以上となり、最高相関視差値は、背景の視差値となる。
このように、ペア＃１乃至ペア＃１６の全てにおいて最高相関視差値が背景の視差値となる場合、その視差値を用いて処理対象画素エリアの第１階層の視差値を生成することができる。
また、図７の中央に示すように、画素エリア１０２の中心の座標を処理対象画素エリアの中心の座標としたときのペア＃１、ペア＃５乃至ペア＃８、およびペア＃１３乃至ペア＃１６の相関値情報では、背景の視差値に対応する相関値が最も大きく、その相関値は閾値以上となる。
即ち、図５の撮像画像では、撮像部４１−０、撮像部４１−２、撮像部４１−３、撮像部４１−５、撮像部４１−７、および撮像部４１−８により撮像された撮像画像において画素エリア１０２の背景の画像が存在する。従って、ペア＃１、ペア＃５乃至ペア＃８、およびペア＃１３乃至ペア＃１６において最も高い相関値は閾値以上となり、最高相関視差値は背景の視差値となる。
一方、ペア＃２乃至ペア＃４、ペア＃９、およびペア＃１２の相関値情報では、最も高い相関値が閾値より小さく、ペア＃１０およびペア＃１１の相関値情報では、サッカーボールの視差値に対応する相関値が最も大きく、その相関値は閾値以上となる。
即ち、図５の撮像画像では、撮像部４１−１、撮像部４１−４、および撮像部４１−６により撮像された撮像画像において、画素エリア１０２の背景の画像は、サッカーボールの画像により隠されている。従って、撮像部４１−１、撮像部４１−４、および撮像部４１−６の画素エリア１０２に対応する画像と、撮像部４１−０、撮像部４１−２、撮像部４１−３、撮像部４１−５、撮像部４１−７、および撮像部４１−８の画素エリア１０２に対応する画像は異なる。
よって、撮像部４１−１、撮像部４１−４、および撮像部４１−６のいずれかと、撮像部４１−０、撮像部４１−２、撮像部４１−３、撮像部４１−５、撮像部４１−７、および撮像部４１−８のいずれかに対応するペア＃２乃至ペア＃４、ペア＃９、およびペア＃１２において、最も高い相関値は閾値より小さくなる。
これに対して、撮像部４１−１、撮像部４１−４、および撮像部４１−６の画素エリア１０２に対応する画像は同一であり、サッカーボールの画像である。従って、撮像部４１−１、撮像部４１−４、および撮像部４１−６のいずれか２つに対応するペア＃１０およびペア＃１１において、最も高い相関値は閾値以上となり、最高相関視差値はサッカーボールの視差値となる。
以上のように、画素エリア１０２の中心の座標を処理対象画素エリアの中心の座標としたとき図８の点線の矩形１２１で囲われたペア＃１、ペア＃５乃至ペア＃８、およびペア＃１３乃至ペア＃１６の相関値情報では、最高相関視差値が背景の視差値となる。また、点線の矩形１２２で囲われたペア＃１０およびペア＃１１の相関値情報では、最高相関視差値がサッカーボールの視差値となる。
このような場合、基準視点以外の視点どうしの全てのペアに対応する最高相関視差値は、基準視点とのペアに対応する最高相関視差値以上であるため、基準視点のオクルージョン領域の視差値ではない。従って、基準視点とのペアの最高相関視差値である背景の視差値と、その背景の視差値を最高相関視差値とするペア＃１３乃至ペア＃１６の最高相関視差値とを用いて、処理対象画素エリアの第１階層の視差値のみを生成することができる。
また、図７の右側に示すように、画素エリア１０３の中心の座標を処理対象画素エリアの中心の座標としたときのペア＃１乃至ペア＃１３およびペア＃１６の相関値情報では、サッカーボールの視差値に対応する相関値が最も大きく、その相関値は閾値以上となる。
即ち、図５の撮像画像では、撮像部４１−０乃至４１−２、撮像部４１−４、撮像部４１−６、および撮像部４１−７により撮像された撮像画像において、画素エリア１０３に対応する画像はサッカーボールの画像である。また、全ての視点の撮像画像には、サッカーボールの画像が存在する。従って、撮像部４１−０乃至４１−２、撮像部４１−４、撮像部４１−６、および撮像部４１−７に対応する視点とのペア＃１乃至ペア＃１３およびペア＃１６において、最も高い相関値は閾値以上となり、最高相関視差値は、サッカーボールの視差値となる。
一方、ペア＃１４およびペア＃１５の相関値情報では、背景の視差値に対応する相関値が最も大きく、その相関値は閾値以上となる。
即ち、図５の撮像画像では、撮像部４１−３、撮像部４１−５、および撮像部４１−８により撮像された撮像画像において、画素エリア１０３に対応する画像は背景の画像であり、その背景の画像が互いに存在する。従って、撮像部４１−３、撮像部４１−５、および撮像部４１−８のいずれかに対応する視点のペアであるペア＃１４およびペア＃１５において、最も高い相関値は閾値以上となり、最高相関視差値は背景の視差値となる。
以上のように、画素エリア１０３の中心の座標を処理対象画素エリアの中心の座標としたとき図９の点線の矩形１４１で囲われたペア＃１乃至ペア＃１３およびペア＃１６の相関値情報では、最高相関視差値がサッカーボールの視差値となる。また、点線の矩形１４２で囲われたペア＃１４およびペア＃１５の相関値情報では、最高相関視差値が背景の視差値となる。
このような場合、基準視点以外の視点どうしの全てのペアに対応する最高相関視差値は、基準視点とのペアに対応する最高相関視差値以上ではない。即ち、処理対象画素エリアにおいて基準視点のオクルージョンが発生する。
従って、基準視点以外の視点どうしのペアの最高相関視差値のうちの、基準視点とのペアに対応する最高相関視差値より小さい視差値を用いて、処理対象画素エリアの第２階層の視差値を生成することができる。
また、基準視点とのペアの最高相関視差値である背景の視差値と、その背景の視差値を最高相関視差値とするペア＃９乃至ペア＃１３およびペア＃１６の最高相関視差値とを用いて、処理対象画素エリアの第１階層の視差値のみを生成することができる。
図７乃至図９で説明したように、各ペアの最も高い相関値に対応する視差値のパターンに応じて、処理対象画素エリアにおいて基準視点のオクルージョンが発生するかどうかを判定し、処理対象画素エリアの視差値の階層数、および、各階層の視差値の生成に用いられる視差値を決定することができる。従って、階層テーブルでは、各ペアの最も高い相関値に対応する視差値のパターンと、各階層の視差値に対応するペアとが対応付けられる。
図１０は、階層テーブルの例を示す図である。
図１０に示すように、階層テーブルでは、ペア＃１乃至ペア＃１６の全ての最高相関視差値の最小値と最大値の範囲が所定の範囲内であるパターンと、第１階層の視差値に対応するペアとしてのペア＃１乃至ペア＃１６とが対応付けられる。これにより、全てのペアの最高相関視差値の最小値と最大値の範囲が所定の範囲内である場合、即ち全てのペアの最高相関視差値が１種類の視差値である場合、第１階層の視差値が全てのペアの最高相関視差値を用いて生成される。
また、ペア＃１、ペア＃５乃至ペア＃８、およびペア＃１３乃至ペア＃１６において最高相関視差値がより奥側の視差値であり、ペア＃１０およびペア＃１１において最高相関視差値がより手前側の視差値であり、残りのペアにおける最も高い相関値が閾値より小さいパターンに対して、第１階層に対応するペアとして奥側の視差値に対応するペア＃１、ペア＃５乃至ペア＃８、およびペア＃１３乃至ペア＃１６が対応付けられる。
同様に、ペア＃１、ペア＃２、ペア＃６乃至９、およびペア＃１４乃至ペア＃１６において最高相関視差値がより奥側の視差値であり、ペア＃１１およびペア＃１２において最高相関視差値がより手前側の視差値であり、残りのペアにおける最も高い相関値が閾値より小さいパターンに対して、第１階層に対応するペアとして奥側の視差値に対応するペアが対応付けられる。
同様に、ペア＃１乃至ペア＃３、ペア＃７乃至ペア＃１０、ペア＃１５、およびペア＃１６において最高相関視差値がより奥側の視差値であり、ペア＃１２およびペア＃１３において最高相関視差値がより手前側の視差値であり、残りのペアにおける最も高い相関値が閾値より小さいパターンに対して、第１階層に対応するペアとして奥側の視差値に対応するペアが対応付けられる。
同様に、ペア＃１乃至ペア＃４、ペア＃８乃至ペア＃１１、およびペア＃１６において最高相関視差値がより奥側の視差値であり、ペア＃１３およびペア＃１４において最高相関視差値がより手前側の視差値であり、残りのペアにおける最も高い相関値が閾値より小さいパターンに対して、第１階層に対応するペアとして奥側の視差値に対応するペアが対応付けられる。
同様に、ペア＃１乃至ペア＃５およびペア＃９乃至ペア＃１２において最高相関視差値がより奥側の視差値であり、ペア＃１４およびペア＃１５において最高相関視差値がより手前側の視差値であり、残りのペアにおける最も高い相関値が閾値より小さいパターンに対して、第１階層に対応するペアとして奥側の視差値に対応するペアが対応付けられる。
同様に、ペア＃２乃至ペア＃６およびペア＃１０乃至ペア＃１３において最高相関視差値がより奥側の視差値であり、ペア＃１５およびペア＃１６において最高相関視差値がより手前側の視差値であり、残りのペアにおける最も高い相関値が閾値より小さいパターンに対して、第１階層に対応するペアとして奥側の視差値に対応するペアが対応付けられる。
同様に、ペア＃３乃至ペア＃７およびペア＃１１乃至ペア＃１４において最高相関視差値がより奥側の視差値であり、ペア＃９およびペア＃１６において最高相関視差値がより手前側の視差値であり、残りのペアにおける最も高い相関値が閾値より小さいパターンに対して、第１階層に対応するペアとして奥側の視差値に対応するペアが対応付けられる。
同様に、ペア＃４乃至ペア＃８およびペア＃１２乃至ペア＃１５において最高相関視差値がより奥側の視差値であり、ペア＃９およびペア＃１０において最高相関視差値がより手前側の視差値であり、残りのペアにおける最も高い相関値が閾値より小さいパターンに対して、第１階層に対応するペアとして奥側の視差値に対応するペアが対応付けられる。
以上により、基準視点とのペアの最高相関視差値がより奥側の視差値である場合、第１階層の視差値が、最高相関視差値がより奥側の視差値となるペアの最高相関視差値を用いて生成される。
また、ペア＃１乃至ペア＃１３およびペア＃１６において最高相関視差値がより手前側の視差値であり、ペア＃１４およびペア＃１５において最高相関視差値がより奥側の視差値であるパターンに対して、第１階層に対応するペアとしてより手前側の視差値に対応するペアのうちのペア＃１乃至ペア＃８、ペア＃１０、およびペア＃１１の１０個のペアが対応付けられる。また、第２階層に対応するペアとしてより奥側の視差値に対応するペア＃１４およびペア＃１５が対応付けられる。
同様に、ペア＃１乃至ペア＃１４において最高相関視差値がより手前側の視差値であり、ペア＃１５およびペア＃１６において最高相関視差値がより奥側の視差値であるパターンに対して、第１階層に対応するペアとしてより手前側の視差値に対応するペアのうちのペア＃１乃至ペア＃８、ペア＃１１、およびペア＃１２の１０個のペアが対応付けられる。また、第２階層に対応するペアとしてより奥側の視差値に対応するペア＃１５およびペア＃１６が対応付けられる。
同様に、ペア＃１乃至ペア＃８およびペア＃１０乃至ペア＃１５において最高相関視差値がより手前側の視差値であり、ペア＃９およびペア＃１６において最高相関視差値がより奥側の視差値であるパターンに対して、第１階層に対応するペアとしてより手前側の視差値に対応するペアのうちのペア＃１乃至ペア＃８、ペア＃１２、およびペア＃１３の１０個のペアが対応付けられる。また、第２階層に対応するペアとしてより奥側の視差値に対応するペア＃９およびペア＃１６が対応付けられる。
同様に、ペア＃１乃至ペア＃８およびペア＃１１乃至ペア＃１６において最高相関視差値がより手前側の視差値であり、ペア＃９およびペア＃１０において最高相関視差値がより奥側の視差値であるパターンに対して、第１階層に対応するペアとしてより手前側の視差値に対応するペアのうちのペア＃１乃至ペア＃８、ペア＃１３、およびペア＃１４の１０個のペアが対応付けられる。また、第２階層に対応するペアとしてより奥側の視差値に対応するペア＃９およびペア＃１０が対応付けられる。
同様に、ペア＃１乃至ペア＃９およびペア＃１２乃至ペア＃１６において最高相関視差値がより手前側の視差値であり、ペア＃１０およびペア＃１１において最高相関視差値がより奥側の視差値であるパターンに対して、第１階層に対応するペアとしてより手前側の視差値に対応するペアのうちのペア＃１乃至ペア＃８、ペア＃１４、およびペア＃１５の１０個のペアが対応付けられる。また、第２階層に対応するペアとしてより奥側の視差値に対応するペア＃１０およびペア＃１１が対応付けられる。
同様に、ペア＃１乃至ペア＃１０およびペア＃１３乃至ペア＃１６において最高相関視差値がより手前側の視差値であり、ペア＃１１およびペア＃１２において最高相関視差値がより奥側の視差値であるパターンに対して、第１階層に対応するペアとしてより手前側の視差値に対応するペアのうちのペア＃１乃至ペア＃８、ペア＃１５、およびペア＃１６の１０個のペアが対応付けられる。また、第２階層に対応するペアとしてより奥側の視差値に対応するペア＃１１およびペア＃１２が対応付けられる。
同様に、ペア＃１乃至ペア＃１１およびペア＃１４乃至ペア＃１６において最高相関視差値がより手前側の視差値であり、ペア＃１２およびペア＃１３において最高相関視差値がより奥側の視差値であるパターンに対して、第１階層に対応するペアとしてより手前側の視差値に対応するペアのうちのペア＃１乃至ペア＃９、およびペア＃１６の１０個のペアが対応付けられる。また、第２階層に対応するペアとしてより奥側の視差値に対応するペア＃１２およびペア＃１３が対応付けられる。
同様に、ペア＃１乃至ペア＃１２、ペア＃１５、およびペア＃１６において最高相関視差値がより手前側の視差値であり、ペア＃１３およびペア＃１４において最高相関視差値がより奥側の視差値であるパターンに対して、第１階層に対応するペアとしてより手前側の視差値に対応するペアのうちのペア＃１乃至ペア＃１０の１０個のペアが対応付けられる。また、第２階層に対応するペアとしてより奥側の視差値に対応するペア＃１３およびペア＃１４が対応付けられている。
以上により、基準視点とのペアの最高相関視差値がより手前側の視差値である場合、第１階層の視差値が、最高相関視差値がより手前側の視差値となるペアの最高相関視差値を用いて生成される。また、第２階層の視差値が、最高相関視差値がより奥側の視差値となるペアの最高相関視差値を用いて生成される。
なお、図１０の例では、最高相関視差値がより手前側の視差値となるペアのうちの１０個のペアのみが第１階層と対応付けられたが、最高相関視差値がより手前側の視差値となるペアの全てが第１階層と対応付けられるようにしてもよい。
（基準視点の第１階層および第２階層の視差画像の例）
図１１は、図４の基準視点の撮像画像の第１階層および第２階層の視差画像の例を示す図である。
図１１に示すように、基準視点の撮像画像１６１に対して、基準視点の視差値からなる視差画像１６２が、基準視点の第１の階層の視差画像として生成される。視差画像１６２は、撮像画像１６１内のサッカーボールに対応する領域１６２Ａの視差値が大きく、背景に対応する領域１６２Ｂの視差値が小さい視差画像である。
また、図１１に示すように、基準視点の撮像画像１６１に対して、基準視点のオクルージョン領域の視差値からなる視差画像１６３が、基準視点の第２の階層の視差画像として生成される。視差画像１６３は、撮像画像１６１内のサッカーボールと背景の境界から所定の距離だけ内側の領域に対応する輪形状の領域１６３Ａの視差値として背景の視差値を有する視差画像である。なお、視差画像１６３の領域１６３Ａ以外の領域１６３Ｂの視差値は、無効を表す値である。
（基準視点以外の視点の視差画像の例）
図１２は、図１１の視差画像１６２と視差画像１６３を用いて生成される基準視点以外の視点の視差画像の例を示す図である。
図１２の例では、基準視点に対応する撮像部４１−０の被写体に向かって左側に位置する撮像部４１−５の視点の視差画像と、右側に位置する撮像部４１−４の視点の視差画像のみを示すが、他の基準視点以外の視点についても同様である。また、図１２のグラフにおいて、横軸は、各画素の水平方向（Ｘ軸方向）の位置を表し、縦軸は、視差値を表している。このことは、後述する図１３においても同様である。
図１２の中央のグラフで表すように、基準視点の撮像画像内のオクルージョン領域に対応する領域の視差画像１６２と視差画像１６３により表される視差値は、背景とサッカーボールの視差値の両方となる。即ち、視差画像１６２と視差画像１６３は、オクルージョン領域に対応する領域において重複して視差値を有する。
これにより、仮想視点画像生成部２２は、撮像部４１−５の視点の撮像画像１８１に対応する視差画像１８２と、撮像部４１−４の視点の撮像画像１９１に対応する視差画像１９２を正確に生成することができる。
即ち、仮想視点画像生成部２２は、視差画像１６２の領域１６２Ａの視差値を右方向にずらすことにより視差画像１８２を生成するが、オクルージョン領域の視差値は対応する視差値が視差画像１６２に存在しないため、正確に生成することができない。
しかしながら、仮想視点画像生成部２２は、視差画像１６３も用いることができるため、オクルージョン領域の視差値として視差画像１６３の視差値を用いることにより、正確な視差画像１８２を生成することができる。
同様に、仮想視点画像生成部２２は、視差画像１６２の領域１６２Ａの視差値を左方向にずらすことにより視差画像１９２を生成するが、オクルージョン領域の視差値を、視差画像１６３の視差値を用いて正確に生成することができる。
これに対して、視差画像１６２のみが生成される場合、図１３の中央のグラフに示すように、オクルージョン領域の視差値は生成されない。従って、撮像画像１８１に対応する視差画像２１１におけるオクルージョン領域２１１Ａの視差値が視差画像１６２には存在しないため、オクルージョン領域２１１Ａの視差値を正確に生成することができない。
同様に、撮像画像１９１に対応する視差画像２１２におけるオクルージョン領域２１２Ａの視差値が視差画像１６２には存在しないため、オクルージョン領域２１２Ａの視差値を正確に生成することができない。
（仮想視点の例）
図１４は、仮想視点の例を示す図である。
図１４の例では、仮想視点は、撮像部４１−２、撮像部４１−３、撮像部４１−７、および撮像部４１−８の中央に位置する仮想撮像部２３１に対応する視点である。
（仮想視点の撮像画像の生成方法の説明）
図１５乃至図２０は、図１４の仮想視点の撮像画像の生成について説明する図である。
図１５に示すように、仮想視点画像生成部２２は、図１４の仮想視点の撮像画像２５０を生成する際、撮像部４１−３の撮像画像２５１、撮像部４１−２の撮像画像２５２、撮像部４１−８の撮像画像２５３、および撮像部４１−７の撮像画像２５４を用いる。また、仮想視点画像生成部２２は、撮像画像２５１乃至２５４に対応する視差画像２６１乃至２６４も用いる。
具体的には、まず、図１６に示すように、仮想視点画像生成部２２は、撮像画像２５１と視差画像２６１を用いて、仮想視点の撮像画像２８１を生成する。具体的には、例えば、仮想視点画像生成部２２は、撮像画像２５１の各画素を、その画素の視差画像２６１の視差値、並びに、基準視点、撮像部４１−２の視点、および仮想視点の位置関係に基づく値だけずらすことにより、仮想視点の撮像画像２８１を生成する。
次に、図１７に示すように、仮想視点画像生成部２２は、撮像画像２５２と視差画像２６２を用いて、撮像画像２８１と同様に仮想視点の撮像画像２８２を生成する。また、図１８に示すように、仮想視点画像生成部２２は、撮像画像２５３と視差画像２６３を用いて撮像画像２８１と同様に仮想視点の撮像画像２８３を生成する。また、図１９に示すように、仮想視点画像生成部２２は、撮像画像２５４と視差画像２６４を用いて撮像画像２８１と同様に仮想視点の撮像画像２８４を生成する。
そして、仮想視点画像生成部２２は、図２０に示すように、仮想視点の撮像画像２８１乃至２８４を合成し、最終的な仮想視点の撮像画像２５０を生成する。
（撮像装置の処理の説明）
図２１は、図１の撮像装置１０の撮像処理を説明するフローチャートである。
図２１のステップＳ１１において、撮像装置１０の撮像アレイ１２は、撮像部４１−０乃至４１−８の各視点の撮像画像を取得し、検出部２１に供給する。ステップＳ１２において、検出部２１の相関生成部６１（図３）は、基準視点の撮像画像の画素エリアを処理対象画素エリアに設定する。
具体的には、相関生成部６１は、基準視点の撮像画像において、所定のサイズの画素エリアを左上から１画素ずつラスタスキャン方向にずらすことにより、所定のサイズの画素エリアを設定する。そして、相関生成部６１は、最初のステップＳ１２の処理において左上の画素エリアを処理対象画素エリアとし、以降のステップＳ１２の処理では、ラスタスキャン順に画素エリアを処理対象画素エリアとする。
ステップＳ１３において、相関生成部６１は、処理対象画素エリアについて撮像画像の相関検出を行い、相関値情報を生成する。相関生成部６１は、相関値情報を高相関検出部６２に供給する。
ステップＳ１４において、高相関検出部６２は、相関生成部６１から供給される相関値情報に基づいて、処理対象画素エリアの最も高い相関値を検出する。ステップＳ１５において、高相関検出部６２は、検出された最も高い相関値が閾値以上であるかどうかを判定する。
ステップＳ１５で最も高い相関値が閾値以上であると判定された場合、ステップＳ１６において、高相関検出部６２は、最高相関視差値を生成部６３に出力し、処理をステップＳ１８に進める。
一方、ステップＳ１５で最も高い相関値が閾値以上ではないと判定された場合、ステップＳ１７において、高相関検出部６２は、無効情報を生成部６３に出力し、処理をステップＳ１８に進める。
ステップＳ１８において、生成部６３は、データベース６４から階層テーブルを読み出す。ステップＳ１９において、生成部６３は、階層テーブルと、高相関検出部６２のそれぞれから供給される最高相関視差値または無効情報とに基づいて、各階層のペアを認識する。
ステップＳ２０において、生成部６３は、階層ごとにステップＳ１９で認識されたペアの最高相関視差値の平均値を求める。ステップＳ２１において、生成部６３は、ステップＳ２０で求められた各階層の最高相関視差値の平均値を、基準視点の各階層の視差画像の処理対象画素エリアの視差値として保持する。
ステップＳ２２において、相関生成部６１は、全ての画素エリアを処理対象画素エリアとしたかどうかを判定する。ステップＳ２２でまだ全ての画素エリアを処理対象画素エリアとしていないと判定された場合、処理はステップＳ１２に戻り、全ての画素エリアを処理対象画素エリアとするまで、ステップＳ１２乃至Ｓ２２の処理が繰り返される。
一方、ステップＳ２２で全ての画素エリアを処理対象画素エリアとしたと判定された場合、ステップＳ２３において、生成部６３は、保持されている基準視点の第１階層および第２階層の視差画像を仮想視点画像生成部２２に出力する。
ステップＳ２４において、仮想視点画像生成部２２は、生成部６３から供給される基準視点の第１階層および第２階層の視差画像を用いて、基準視点以外の視点の視差画像を生成する。
ステップＳ２５において、仮想視点画像生成部２２は、各視点の視差画像と撮像アレイ１２から供給される各視点の撮像画像とを用いて、仮想視点の撮像画像を生成する。仮想視点画像生成部２２は、撮像アレイ１２から供給される各視点の撮像画像と仮想視点の撮像画像を、超多視点画像としてリフォーカス画像生成部２３に供給する。
ステップＳ２６において、リフォーカス画像生成部２３は、仮想視点画像生成部２２から供給される超多視点画像を用いて、仮想フォーカスの撮像画像をリフォーカス画像として生成する。リフォーカス画像生成部２３は、生成されたリフォーカス画像を出力する。
以上のように、撮像装置１０は、基準視点の視差値からなる視差画像を第１の階層の視差画像として生成し、基準視点のオクルージョン領域の視差値からなる視差画像を第２の階層の視差画像として生成する。従って、基準視点以外の視点の視差画像を正確に生成することができる。
また、撮像装置１０は、基準視点以外の視点の視差画像を基準視点の視差画像から生成する。従って、各視点の視差画像を撮像画像から生成する場合に比べて、各視点の視差画像を生成するために必要な演算量は少ない。また、各視点の視差画像を用いる後段の処理のために、基準視点の視差画像のみを保持すれば良いため、視差画像の保持量が少なくて済む。これに対して、各視点の視差画像を撮像画像から生成する場合、全ての視点の視差画像を保持する必要がある。
さらに、撮像装置１０は、基準視点の視差値からなる視差画像と基準視点のオクルージョン領域の視差値からなる視差画像を階層化して保持するため、基準視点の視差値とオクルージョン領域の視差値を効率良く保持することができる。また、撮像装置１０は、階層テーブルに基づいて、視差画像の生成に用いる最高相関視差値を容易かつ正確に選択することができる。
（撮像アレイの他の構成例）
図２２は、図１の撮像アレイ１２の他の構成例を示す図であり、撮像アレイ１２を被写体側から見た斜視図である。
図２２の撮像アレイ１２では、撮像部３０１−１乃至３０１−６が撮像部３０１−０を中心とした正六角形の頂点に位置するように、７個の撮像部３０１−０乃至３０１−６が基盤平面４０上に配置される。
なお、図２２の例では、撮像部３０１−１乃至３０１−６が正六角形の頂点になっているが、撮像部３０１−１乃至３０１−６は六角形の頂点になっていてもよい。即ち、撮像部３０１−１乃至３０１−６のうちの隣り合う撮像部どうしの距離は同一でなくてもよい。
また、撮像アレイ１２を構成する撮像部の数や位置は、図２や図２２の例に限定されない。
なお、本実施の形態では、説明を簡単にするため、基準視点のオクルージョン領域が１つであるものとしたが、複数であってもよい。即ち、撮像画像は、複数の被写体が背景の手前に存在する画像であってもよい。この場合、基準視点の視差画像の階層数は、オクルージョン領域の数に１を加算した数となる。
（本開示を適用したコンピュータの説明）
上述した一連の処理は、上述したようにハードウエアにより実行することができるが、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
図２３は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
コンピュータにおいて、CPU（Central Processing Unit）６０１，ROM（Read Only Memory）６０２，RAM（Random Access Memory）６０３は、バス６０４により相互に接続されている。
バス６０４には、さらに、入出力インタフェース６０５が接続されている。入出力インタフェース６０５には、撮像部６０６、入力部６０７、出力部６０８、記憶部６０９、通信部６１０、及びドライブ６１１が接続されている。
撮像部６０６は、撮像アレイ１２などよりなり、複数の視点の撮像画像を取得する。入力部６０７は、キーボード、マウス、マイクロフォンなどよりなる。出力部６０８は、ディスプレイ、スピーカなどよりなる。記憶部６０９は、ハードディスクや不揮発性のメモリなどよりなる。通信部６１０は、ネットワークインタフェースなどよりなる。ドライブ６１１は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア６１２を駆動する。
以上のように構成されるコンピュータでは、CPU６０１が、例えば、記憶部６０９に記憶されているプログラムを、入出力インタフェース６０５及びバス６０４を介して、RAM６０３にロードして実行することにより、上述した一連の処理が行われる。
コンピュータ（CPU６０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア６１２に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
コンピュータでは、プログラムは、リムーバブルメディア６１２をドライブ６１１に装着することにより、入出力インタフェース６０５を介して、記憶部６０９にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部６１０で受信し、記憶部６０９にインストールすることができる。その他、プログラムは、ROM６０２や記憶部６０９に、あらかじめインストールしておくことができる。
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
例えば、超多視点画像を用いてリフォーカス画像以外の画像（例えば、撮像画像と照明の異なる画像など）が生成されるようにしてもよい。
また、基準視点の視差値および基準視点のオクルージョン領域の視差値は、各階層に対応するペアの最高相関視差値の平均値以外の、最高相関視差値に基づく値(例えば、最高相関視差値の最大値など)にすることができる。
さらに、撮像装置１０は、階層テーブルを記憶しなくてもよい。この場合、最高相関視差値の種類が１種類である場合、その最高相関視差値が基準視点の視差値とされる。一方、最高相関視差値の種類が複数種類である場合、基準視点とのペアの最高相関視差値が基準視点の視差値とされ、その最高相関視差値より奥側の最高相関視差値が基準視点のオクルージョン領域の視差値とされる。
また、相関検出対象とされる撮像画像のペアは、上述した１６個のペア以外のペアにすることもできる。相関検出の方法としてコントラストから相関値を検出する方法が採用される場合には、３つ以上の撮像画像の相関値を生成するようにしてもよい。
さらに、本技術は、複数の撮像部により多視点の撮像画像を取得する撮像装置だけでなく、撮像レンズとマイクロレンズアレイにより多視点の撮像画像を取得する撮像装置にも適用することができる。
また、本開示は、以下のような構成もとることができる。
（１）
複数の視点の撮像画像を用いて複数の前記視点のペアの撮像画像の相関値を演算する演算部と、
前記演算部により演算された前記相関値に基づいて、前記複数の視点のうちの１つの視点である基準視点の視差値からなる視点視差画像と、オクルージョン領域の視差値からなるオクルージョン視差画像とを、前記基準視点の異なる階層の視差画像として生成する生成部と
を備える画像処理装置。
（２）
前記生成部は、最も高い前記相関値に対応する視差値である最高相関視差値に基づいて、前記視点視差画像と前記オクルージョン視差画像を生成する
前記（１）に記載の画像処理装置。
（３）
前記生成部は、前記複数の視点のペアのうちの第１のペアの最高相関視差値に基づいて前記視点視差画像を生成し、前記複数の視点のペアのうちの前記第１のペアとは異なる第２のペアの最高相関視差値に基づいて前記オクルージョン視差画像を生成する
前記（２）に記載の画像処理装置。
（４）
前記生成部は、複数の前記第１のペアの前記最高相関視差値の平均値を前記視点視差画像の視差値とし、複数の前記第２のペアの前記最高相関視差値の平均値を前記オクルージョン視差画像の視差値とする
前記（３）に記載の画像処理装置。
（５）
前記生成部は、各ペアの前記相関値のパターンと、前記第１のペアおよび前記第２のペアとを対応付けたテーブルに基づいて、前記視点視差画像と前記オクルージョン視差画像を生成する
前記（３）または（４）に記載の画像処理装置。
（６）
前記複数の視点の撮像画像と前記生成部により生成された前記基準視点の視差画像とに基づいて、仮想視点の撮像画像を生成する仮想視点画像生成部
をさらに備える
前記（１）乃至（５）のいずれかに記載の画像処理装置。
（７）
前記仮想視点画像生成部により生成された前記仮想視点の撮像画像と前記複数の視点の撮像画像を用いて、仮想フォーカスの撮像画像を生成する仮想フォーカス画像生成部
をさらに備える
前記（６）に記載の画像処理装置。
（８）
画像処理装置が、
複数の視点の撮像画像を用いて複数の前記視点のペアの撮像画像の相関値を演算する演算ステップと、
前記演算ステップの処理により演算された前記相関値に基づいて、前記複数の視点のうちの１つの視点である基準視点の視差値からなる視点視差画像と、オクルージョン領域の視差値からなるオクルージョン視差画像とを、前記基準視点の異なる階層の視差画像として生成する生成ステップと
を含む画像処理方法。
（９）
複数の視点の撮像画像を用いて複数の前記視点のペアの撮像画像の相関値を演算する演算部と、
各ペアの前記相関値のパターンと、前記複数の視点のペアのうちの所定のペアとを対応付けたテーブルに基づいて、前記所定のペアの最も高い相関値に対応する視差値である最高相関視差値から、前記複数の視点のうちの１つの視点である基準視点の視差値からなる視点視差画像を生成する生成部と
を備える画像処理装置。
（１０）
画像処理装置が、
複数の視点の撮像画像を用いて複数の前記視点のペアの撮像画像の相関値を演算する演算ステップと、
各ペアの前記相関値のパターンと、前記複数の視点のペアのうちの所定のペアとを対応付けたテーブルに基づいて、前記所定のペアの最も高い相関値に対応する視差値である最高相関視差値から、前記複数の視点のうちの１つの視点である基準視点の視差値からなる視点視差画像を生成する生成ステップと
を含む画像処理方法。
１０ 撮像装置， １３ 画像処理部， ２１ 検出部， ２２ 仮想視点画像生成部， ２３ リフォーカス画像生成部， ６１−１乃至６１−１６ 相関生成部， ６３ 生成部

Claims (7)

  1. 複数の視点の撮像画像を用いて前記複数の視点のペアの撮像画像の相関値を演算する演算部と、
    各ペアの前記相関値のパターンと、前記複数の視点のペアのうちの第１のペアおよび前記第１のペアとは異なる第２のペアとを対応付けたテーブルに基づいて、前記複数の視点のうちの１つの視点である基準視点の視差値からなる視点視差画像と、オクルージョン領域の視差値からなるオクルージョン視差画像とを、前記基準視点の異なる階層の視差画像として生成し、前記視点視差画像と前記オクルージョン視差画像とから、前記基準視点とは異なる視点の視差画像を生成する生成部と
    を備え、
    前記生成部は、前記複数の視点のペアのうちの前記第１のペアの最も高い前記相関値に対応する視差値である最高相関視差値に基づいて前記視点視差画像を生成し、前記複数の視点のペアのうちの前記第１のペアとは異なる第２のペアの前記最高相関視差値に基づいて前記オクルージョン視差画像を生成する
    画像処理装置。
  2. 前記生成部は、複数の前記第１のペアの前記最高相関視差値の平均値を前記視点視差画像の視差値とし、複数の前記第２のペアの前記最高相関視差値の平均値を前記オクルージョン視差画像の視差値とする
    請求項１に記載の画像処理装置。
  3. 前記複数の視点の撮像画像と前記生成部により生成された前記基準視点の視差画像、または、前記基準視点とは異なる視点の視差画像とに基づいて、仮想視点の撮像画像を生成する仮想視点画像生成部
    をさらに備える
    請求項１に記載の画像処理装置。
  4. 前記仮想視点画像生成部により生成された前記仮想視点の撮像画像と前記複数の視点の撮像画像を用いて、仮想フォーカスの撮像画像を生成する仮想フォーカス画像生成部
    をさらに備える
    請求項３に記載の画像処理装置。
  5. 画像処理装置が、
    複数の視点の撮像画像を用いて前記複数の視点のペアの撮像画像の相関値を演算する演算ステップと、
    各ペアの前記相関値のパターンと、前記複数の視点のペアのうちの第１のペアおよび前記第１のペアとは異なる第２のペアとを対応付けたテーブルに基づいて、前記複数の視点のうちの１つの視点である基準視点の視差値からなる視点視差画像と、オクルージョン領域の視差値からなるオクルージョン視差画像とを、前記基準視点の異なる階層の視差画像として生成し、前記視点視差画像と前記オクルージョン視差画像とから、前記基準視点とは異なる視点の視差画像を生成する生成ステップとを含み、
    前記生成ステップの処理は、前記複数の視点のペアのうちの前記第１のペアの最も高い前記相関値に対応する視差値である最高相関視差値に基づいて前記視点視差画像を生成し、前記複数の視点のペアのうちの前記第１のペアとは異なる第２のペアの前記最高相関視差値に基づいて前記オクルージョン視差画像を生成する
    画像処理方法。
  6. 複数の視点の撮像画像を用いて前記複数の視点のペアの撮像画像の相関値を演算する演算部と、
    各ペアの前記相関値のパターンと、前記複数の視点のペアのうちの所定のペアとを対応付けたテーブルに基づいて、前記所定のペアの最も高い相関値に対応する視差値である最高相関視差値から、前記複数の視点のうちの１つの視点である基準視点の視差値からなる視点視差画像と、オクルージョン領域の視差値からなるオクルージョン視差画像とを生成し、前記視点視差画像と前記オクルージョン視差画像とから、前記基準視点とは異なる視点の視差画像を生成する生成部と
    を備える画像処理装置。
  7. 画像処理装置が、
    複数の視点の撮像画像を用いて前記複数の視点のペアの撮像画像の相関値を演算する演算ステップと、
    各ペアの前記相関値のパターンと、前記複数の視点のペアのうちの所定のペアとを対応付けたテーブルに基づいて、前記所定のペアの最も高い相関値に対応する視差値である最高相関視差値から、前記複数の視点のうちの１つの視点である基準視点の視差値からなる視点視差画像と、オクルージョン領域の視差値からなるオクルージョン視差画像とを生成し、前記視点視差画像と前記オクルージョン視差画像とから、前記基準視点とは異なる視点の視差画像を生成する生成ステップと
    を含む画像処理方法。
JP2015521384A 2013-06-05 2014-05-23 画像処理装置および画像処理方法 Expired - Fee Related JP6551743B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013118852 2013-06-05
JP2013118852 2013-06-05
PCT/JP2014/063646 WO2014196374A1 (ja) 2013-06-05 2014-05-23 画像処理装置および画像処理方法

Publications (2)

Publication Number Publication Date
JPWO2014196374A1 JPWO2014196374A1 (ja) 2017-02-23
JP6551743B2 true JP6551743B2 (ja) 2019-07-31

Family

ID=52008025

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015521384A Expired - Fee Related JP6551743B2 (ja) 2013-06-05 2014-05-23 画像処理装置および画像処理方法

Country Status (4)

Country Link
US (1) US10027947B2 (ja)
JP (1) JP6551743B2 (ja)
CN (1) CN105247860B (ja)
WO (1) WO2014196374A1 (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016048402A2 (en) * 2014-09-26 2016-03-31 Reald Multiscopic image capture system
JP6536077B2 (ja) * 2015-02-25 2019-07-03 沖電気工業株式会社 仮想視点画像生成装置及びプログラム
JP6631054B2 (ja) * 2015-07-02 2020-01-15 沖電気工業株式会社 仮想視点画像生成装置及びプログラム
CA3214444A1 (en) 2016-04-12 2017-10-19 Quidient, Llc Quotidian scene reconstruction engine
US10089788B2 (en) * 2016-05-25 2018-10-02 Google Llc Light-field viewpoint and pixel culling for a head mounted display device
KR102574781B1 (ko) 2016-07-15 2023-09-06 라이트 필드 랩 인코포레이티드 2차원 라이트 필드 및 홀로그램 릴레이들을 이용한 에너지 전파와 횡방향 앤더슨 편재
JP7030452B2 (ja) * 2017-08-30 2022-03-07 キヤノン株式会社 情報処理装置、情報処理装置の制御方法、情報処理システム及びプログラム
US11163176B2 (en) 2018-01-14 2021-11-02 Light Field Lab, Inc. Light field vision-correction device
CA3088376A1 (en) 2018-01-14 2019-07-18 Light Field Lab, Inc. System and methods for rendering data from a 3d environment
WO2019213450A1 (en) 2018-05-02 2019-11-07 Quidient, Llc A codec for processing scenes of almost unlimited detail
EP3598390A1 (en) * 2018-07-19 2020-01-22 Thomson Licensing Method for estimating a depth for pixels, corresponding device and computer program product
JP2023034160A (ja) * 2021-08-30 2023-03-13 キヤノン株式会社 精度推定装置、撮像装置、精度推定方法、制御方法、及びプログラム

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000517452A (ja) * 1997-05-05 2000-12-26 シェル オイル カンパニー 視認の方法
JP3593466B2 (ja) * 1999-01-21 2004-11-24 日本電信電話株式会社 仮想視点画像生成方法およびその装置
JP2006173038A (ja) * 2004-12-20 2006-06-29 Hitachi High-Technologies Corp 荷電粒子線装置、試料像表示方法及びイメージシフト感度計測方法
KR100946790B1 (ko) * 2005-01-07 2010-03-11 니폰덴신뎅와 가부시키가이샤 영상 부호화 방법 및 장치, 영상 복호 방법 및 장치, 그들 프로그램을 기록한 기록 매체
WO2007077942A1 (ja) * 2006-01-05 2007-07-12 Nippon Telegraph And Telephone Corporation 映像符号化方法及び復号方法、それらの装置、及びそれらのプログラム並びにプログラムを記録した記憶媒体
US8290289B2 (en) * 2006-09-20 2012-10-16 Nippon Telegraph And Telephone Corporation Image encoding and decoding for multi-viewpoint images
KR101484487B1 (ko) 2007-10-11 2015-01-28 코닌클리케 필립스 엔.브이. 깊이-맵을 프로세싱하는 방법 및 디바이스
CN101516040B (zh) * 2008-02-20 2011-07-06 华为终端有限公司 视频匹配方法、装置及系统
CN100576934C (zh) * 2008-07-03 2009-12-30 浙江大学 基于深度和遮挡信息的虚拟视点合成方法
PL2342693T3 (pl) * 2008-09-25 2012-12-31 Koninl Philips Electronics Nv Przetwarzanie danych obrazu trójwymiarowego
JP4706882B2 (ja) 2009-02-05 2011-06-22 ソニー株式会社 撮像装置
CN105657405B (zh) * 2009-02-19 2018-06-26 汤姆逊许可证公司 3d视频格式
JP5469911B2 (ja) * 2009-04-22 2014-04-16 ソニー株式会社 送信装置および立体画像データの送信方法
JP5504881B2 (ja) * 2009-12-25 2014-05-28 ソニー株式会社 演算装置、演算方法、演算プログラム及び顕微鏡
JP5287702B2 (ja) * 2009-12-25 2013-09-11 ソニー株式会社 画像処理装置および方法、並びにプログラム
JP5387856B2 (ja) * 2010-02-16 2014-01-15 ソニー株式会社 画像処理装置、画像処理方法、画像処理プログラムおよび撮像装置
GB2478157A (en) * 2010-02-26 2011-08-31 Sony Corp Method and apparatus for cutting between a first and second image sequence in a stereoscopic video
CN101808251B (zh) * 2010-04-06 2011-07-20 浙江大学 立体图像对中遮挡信息的提取方法
TW201200959A (en) * 2010-06-29 2012-01-01 Fujifilm Corp One-eyed stereo photographic device
WO2012060093A1 (ja) * 2010-11-05 2012-05-10 パナソニック株式会社 ステレオ画像処理装置及びステレオ画像処理方法
US20120113235A1 (en) * 2010-11-08 2012-05-10 Sony Corporation 3d glasses, systems, and methods for optimized viewing of 3d video content
US8878950B2 (en) * 2010-12-14 2014-11-04 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using super-resolution processes
WO2012086173A1 (ja) * 2010-12-20 2012-06-28 パナソニック株式会社 ステレオ画像処理装置及びステレオ画像処理方法
US9235749B2 (en) * 2011-02-24 2016-01-12 Sony Corporation Image processing device and image processing method
WO2012157210A1 (ja) * 2011-05-19 2012-11-22 パナソニック株式会社 ３次元撮像装置、画像処理装置、画像処理方法、およびプログラム
JP2013026826A (ja) * 2011-07-21 2013-02-04 Sony Corp 画像処理方法、画像処理装置及び表示装置
JP5868055B2 (ja) * 2011-07-26 2016-02-24 キヤノン株式会社 画像処理装置および画像処理方法

Also Published As

Publication number Publication date
CN105247860B (zh) 2017-12-19
US10027947B2 (en) 2018-07-17
US20160105660A1 (en) 2016-04-14
WO2014196374A1 (ja) 2014-12-11
JPWO2014196374A1 (ja) 2017-02-23
CN105247860A (zh) 2016-01-13

Similar Documents

Publication Publication Date Title
JP6551743B2 (ja) 画像処理装置および画像処理方法
JP2012123296A (ja) 電子機器
JP5459337B2 (ja) 撮像装置、画像処理方法及びプログラム
JP6159097B2 (ja) 画像処理装置、撮像装置、制御方法、及びプログラム
JP6087947B2 (ja) 非同期センサに依存するシーンの３ｄ再構成の方法
JP6655379B2 (ja) 焦点スタックから適応スライス画像を生成する方法および装置
JPWO2019082797A1 (ja) 再構成方法および再構成装置
US20120105601A1 (en) Apparatus and method for creating three-dimensional panoramic image by using single camera
JP4539015B2 (ja) 画像通信装置、および画像通信方法、並びにコンピュータ・プログラム
JP5267708B2 (ja) 画像処理装置、撮像装置、画像生成方法、及びプログラム
JP2013025649A (ja) 画像処理装置及び画像処理方法、プログラム
JPWO2019065260A1 (ja) 情報処理装置、情報処理方法、及び、プログラム、並びに、交換レンズ
KR20180098564A (ko) 픽셀 빔을 표현하는 데이터를 생성하는 방법 및 장치
JP2012182731A (ja) 撮像装置
WO2019026287A1 (ja) 撮像装置および情報処理方法
US8908012B2 (en) Electronic device and method for creating three-dimensional image
JP6494402B2 (ja) 画像処理装置、撮像装置、画像処理方法、プログラム
JP6278668B2 (ja) 複眼撮像装置
JP2013038454A (ja) 画像処理装置および方法、並びにプログラム
JP6114229B2 (ja) 画像生成装置及び画像生成プログラム
KR20180098565A (ko) 픽셀 빔을 표현하는 데이터를 생성하는 방법 및 장치
JP2013120435A (ja) 画像処理装置および画像処理方法、プログラム
JP5895587B2 (ja) 画像記録装置、画像記録方法、画像再生装置および画像再生方法
JP2012182738A (ja) ステレオ画像撮像装置
JP5090857B2 (ja) 画像処理装置及び画像処理方法並びにプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170406

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180703

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180827

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181113

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181228

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190606

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190619

R151 Written notification of patent or utility model registration

Ref document number: 6551743

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees