JP6645492B2 - 撮像装置および撮像方法 - Google Patents

撮像装置および撮像方法 Download PDF

Info

Publication number
JP6645492B2
JP6645492B2 JP2017500609A JP2017500609A JP6645492B2 JP 6645492 B2 JP6645492 B2 JP 6645492B2 JP 2017500609 A JP2017500609 A JP 2017500609A JP 2017500609 A JP2017500609 A JP 2017500609A JP 6645492 B2 JP6645492 B2 JP 6645492B2
Authority
JP
Japan
Prior art keywords
imaging
unit
camera
image
peripheral
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017500609A
Other languages
English (en)
Other versions
JPWO2016132950A1 (ja
Inventor
功久 井藤
功久 井藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPWO2016132950A1 publication Critical patent/JPWO2016132950A1/ja
Application granted granted Critical
Publication of JP6645492B2 publication Critical patent/JP6645492B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G01C3/08—Use of electric radiation detectors
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/10—Measuring distances in line of sight; Optical rangefinders using a parallactic triangle with variable angles and a base of fixed length in the observation station, e.g. in the instrument
    • G01C3/14—Measuring distances in line of sight; Optical rangefinders using a parallactic triangle with variable angles and a base of fixed length in the observation station, e.g. in the instrument with binocular observation at a single point, e.g. stereoscopic type
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/557—Depth or shape recovery from multiple images from light fields, e.g. from plenoptic cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10052—Images from lightfield camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Measurement Of Optical Distance (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)

Description

本開示は、撮像装置および撮像方法に関し、特に、繰り返しパターンを有する画像の奥行き推定を高精度に行うことができるようにした撮像装置および撮像方法に関する。
ライトフィールドカメラやマルチベースラインステレオ法にしたがった奥行き推定を行うカメラ（以下、マルチベースラインステレオカメラという）などの撮像装置は、異なる視点の画像を撮像する複数のカメラを有する。そして、このような撮像装置は、所定のカメラの撮像画像と他のカメラの撮像画像をブロックマッチングすることにより、撮像画像内の被写体の奥行き推定を行う。
複数のカメラを有する撮像装置としては、複数のカメラを非等間隔で配置した撮像装置がある（例えば、特許文献１参照）。
特開平11-125522号公報
ところで、部屋の中や都市の風景など、人間が作り出した世界には、単純な繰り返しパターンが非常に多く含まれる。従って、このような世界が、ライトフィールドカメラやマルチベースラインステレオカメラなどの撮像装置の被写体とされ、ブロックマッチングが行われると、相関の高いブロックが繰り返し出現し、正確な奥行き推定が困難になる。
本開示は、このような状況に鑑みてなされたものであり、繰り返しパターンを有する画像の奥行き推定を高精度に行うことができるようにするものである。
本開示の第１の側面の撮像装置は、異なる視点の画像を撮像する際の基準となる撮像部の位置を基準にして異なる素数の逆数に基づく基線長にしたがって配置された複数の撮像部を備え、前記複数の撮像部は、前記基準となる撮像部を中心とした５角形状に配置される撮像装置である。
本開示の第１の側面の撮像方法は、異なる視点の画像を撮像する際の基準となる撮像部の位置を基準にして異なる素数の逆数に基づく基線長にしたがって配置された複数の撮像部であり、前記基準となる撮像部を中心とした５角形状に配置されている前記複数の撮像部と前記基準となる撮像部が、異なる視点の画像を撮像するステップを含む撮像方法である。
本開示の第１の側面においては、異なる視点の画像を撮像する際の基準となる撮像部の位置を基準にして異なる素数の逆数に基づく基線長にしたがって配置された複数の撮像部が備えられ、複数の撮像部は、基準となる撮像部を中心とした５角形状に配置されている。また、これらの撮像部により異なる視点の画像が撮像される。
本開示の第２の側面の撮像装置は、異なる視点の画像を撮像する際の基準となる撮像部の位置を基準にして異なる素数の逆数に基づく基線長にしたがって配置された複数の撮像部を備え、前記複数の撮像部は、前記基準となる撮像部を中心とした６角形状と１２角形状とに配置される撮像装置である。
本開示の第２の側面の撮像方法は、異なる視点の画像を撮像する際の基準となる撮像部の位置を基準にして異なる素数の逆数に基づく基線長にしたがって配置された前記複数の撮像部であり、前記基準となる撮像部を中心とした６角形状と１２角形状とに配置されている複数の撮像部と前記基準となる撮像部が、異なる視点の画像を撮像するステップを含む撮像方法である。
本開示の第２の側面においては、異なる視点の画像を撮像する際の基準となる撮像部の位置を基準にして異なる素数の逆数に基づく基線長にしたがって配置された複数の撮像部が備えられ、複数の撮像部は、基準となる撮像部を中心とした６角形状と１２角形状とに配置されている。また、これらの撮像部により異なる視点の画像が撮像される。
上述した素数の逆数とは、素数の逆数の厳密な値ではなく、その値を含む本開示の効果を奏する範囲内の値を意味する。
本開示の第１および第２の側面によれば、画像を撮像することができる。また、本開示の第１および第２の側面によれば、繰り返しパターンを有する画像の奥行き推定を高精度に行うことができる。
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
ステレオカメラが有するカメラの配置の一例を示す斜視図である。 図１のステレオカメラで撮像された撮像画像の一例を示す図である。 ライトフィールドカメラが有するカメラの配置の一例を示す斜視図である。 図３の基準カメラと周辺カメラの撮像画像の一例を示す図である。 基線長Ｘ1が基線長Ｘ2の２倍である場合の相関値の例を示す図である。 基線長Ｘ1が基線長Ｘ2の3/2倍である場合の相関値の例を示す図である。 本開示を適用した撮像装置としてのライトフィールドカメラの一実施の形態の構成例を示すブロック図である。 図７の撮像部の構成例を示すブロック図である。 図７の撮像部の基準カメラと周辺カメラの第１の配置例を示す斜視図である。 図７の撮像部の基準カメラと周辺カメラの第２の配置例を示す斜視図である。 図７の撮像部の基準カメラと周辺カメラの第３の配置例を示す斜視図である。 図７の撮像部の基準カメラと周辺カメラの第４の配置例を示す斜視図である。 図７の撮像部の基準カメラと周辺カメラの第５の配置例を示す斜視図である。 図９乃至図１３で示した基準カメラと周辺カメラの第１乃至第５の配置例と、その配置による効果を説明する図である。 撮像処理を説明するフローチャートである。 コンピュータのハードウエアの構成例を示すブロック図である。 車両制御システムの概略的な構成の一例を示すブロック図である。 車外情報検出部及び撮像部の設置位置の一例を示す説明図である。
以下、本開示の前提および本開示を実施するための形態（以下、実施の形態という）について説明する。なお、説明は以下の順序で行う。
０．本開示の前提（図１乃至図４）
１．本技術の概要（図５および図６）
２．第１実施の形態：ライトフィールドカメラ（図７乃至図１５）
３．第２実施の形態：コンピュータ（図１６）
４．応用例（図１７および図１８）
＜本開示の前提＞
（ステレオカメラが有するカメラの配置の一例）
図１は、ステレオカメラが有するカメラの配置の一例を示す斜視図である。
図１のステレオカメラ１０は、２つのカメラ１１とカメラ１２を有し、カメラ１１とカメラ１２が、水平方向（Ｘ方向）に並ぶように配置される。
（ステレオカメラの撮像画像の一例）
図２は、図１のステレオカメラ１０で撮像された撮像画像の一例を示す図である。
図２の例では、ステレオカメラ１０のカメラ１１において撮像画像３１が撮像され、カメラ１２において撮像画像３２が撮像される。
この場合、撮像画像３１のブロック４１と、ブロック４１のエピポーラ線４２上に存在する撮像画像３２の複数のブロック４３のそれぞれとが、順にブロックマッチングされる。そして、相関が最も高いブロック４１とブロック４３の水平方向の位置の差分に基づいて、撮像画像３１の被写体の奥行き推定が行われる。
しかしながら、図２に示すように、撮像画像３１および撮像画像３２に、水平方向と垂直方向の繰り返しパターンからなるチェック模様５１が含まれ、このチェック模様５１の間隔が小さい場合、ブロック４１との相関が高いブロック４３は、所定の間隔置きに出現する。従って、誤ったブロック４３が、ブロック４１との相関が最も高いブロックとして選択される可能性が高く、正確な奥行き推定を行うことは困難である。
（ライトフィールドカメラが有するカメラの配置の一例）
図３は、ライトフィールドカメラが有するカメラの配置の一例を示す斜視図である。
図３のライトフィールドカメラ９０は、１つの基準カメラ１００と、７つの周辺カメラ１０１乃至１０７を有する。基準カメラ１００と周辺カメラ１０１乃至１０７は、基準カメラ１００の位置を原点(0,0)としたＸＹ平面上に配置される。周辺カメラ１０１乃至１０７の位置の座標は、ぞれぞれ、（Ｘ1，Ｙ1），（Ｘ2，Ｙ2），（Ｘ3，Ｙ3），（Ｘ4，Ｙ4），（Ｘ5，Ｙ5），（Ｘ6，Ｙ6），（Ｘ7，Ｙ7）である。
（ライトフィールドカメラの撮像画像の一例）
図４は、図３の基準カメラ１００と周辺カメラ１０１および１０２の撮像画像の一例を示す図である。
図４の例では、基準カメラ１００の撮像画像１４０に、ｘr個の画素分の間隔の縦縞の繰り返しパターンが存在する。この場合、周辺カメラ１０１は、撮像画像１４１を撮像し、周辺カメラ１０２は、撮像画像１４２を撮像する。
撮像画像１４０の繰り返しパターン内の位置（x0,y0）の奥行き推定を行う際、位置（x0,y0）を中心としたブロック１５１とマッチングされる、ブロック１５１のエピポーラ線１５２上の撮像画像１４１内のブロック１５３の中心位置（x1,y1）は、以下の式（１）により算出される。
Figure 0006645492
なお、Ｄは、ブロック１５１とブロック１５３に対応する視差を表すディスパリティ値であり、ブロック１５１とブロック１５３の両方に存在する被写体の奥行き方向の位置を表す値である。ディスパリティ値Ｄには、０以上の整数が順次代入される。これにより、ブロック１５１のエピポーラ線１５２上の撮像画像１４１内のブロックが順次ブロック１５３とされる。また、aは、ブロック１５３の移動量を決める任意の係数である。
同様に、撮像画像１４０の位置（x0,y0）の奥行き推定を行う際、ブロック１５１とマッチングされる、ブロック１５１のエピポーラ線１５４上の撮像画像１４２内のブロック１５５の中心位置（x2,y2）は、以下の式（２）により算出される。
Figure 0006645492
また、ブロック１５１とマッチングされる、周辺カメラ１０３乃至１０７の撮像画像内のブロックの中心位置も、中心位置（x1,y1）と同様に算出される。従って、ブロック１５１とマッチングされる周辺カメラ１０１乃至１０７の撮像画像内のブロックの中心位置（xn,yn）（n=1,2,...,7）は、以下の式（３）で表される。
Figure 0006645492
そして、奥行き推定の方法として、SSAD(Sum of SAD(Sum of Absolute Difference)）やSSSD(Sum of SSD（Sum of Squared Difference))などが採用される場合、ブロック１５１とブロック１５３のブロックマッチングが順次行われ、ブロック１５３ごとに相関値が求められる。そして、各ブロック１５３の相関値が、そのブロック１５３に対応するディスパリティ値Ｄと対応付けて保持される。
また、ブロック１５５についても同様に、ブロック１５１とブロック１５５のブロックマッチングが順次行われ、ディスパリティ値Ｄと対応付けて相関値が保持される。このようなブロックマッチングは、基準カメラ１００と周辺カメラ１０３乃至１０７の撮像画像に対しても行われる。そして、ディスパリティ値Ｄごとに、保持されている全ての周辺カメラ１０１乃至１０７の撮像画像における相関値が合算され、合算値が最も大きいディスパリティ値Ｄが、奥行き推定結果とされる。なお、ここでは、相関が高いほど、相関値が大きいものとする。
ここで、Ｄの範囲を0以上Ｄmax以下とすると、ｘn，ｙnの移動量、即ちブロックマッチングの検索範囲の幅ｘｗn，ｙｗnは、以下の式（４）で表される。
Figure 0006645492
従って、撮像画像１４０に含まれる繰り返しパターンのｘ方向およびｙ方向の間隔が、それぞれ、幅ｘｗn，ｙｗnよりも大きいとき、ブロックマッチングの検索範囲内に含まれる繰り返しパターンの数は１以下となる。よって、繰り返しパターンに起因する奥行き推定の誤認は発生しない。
以上により、繰り返しパターンに起因する奥行き推定の誤認を抑制するためには、幅ｘｗn，ｙｗnが可能な限り小さくなるように、基準カメラ１００と周辺カメラ１０１乃至１０７のＸ方向、Ｙ方向の基線長であるＸn，Ｙn（n=1,2,...7）を小さくする必要がある。しかしながら、基線長Ｘnおよび基線長Ｙnを小さくすると、ディスパリティ値の三角測量の精度が低下する。従って、繰り返しパターンを有する画像の奥行き推定を高精度で行うことは困難である。
＜本技術の概要＞
（周辺カメラの基線長と相関値の関係）
図５は、基線長Ｘ1が基線長Ｘ2の２倍である場合、即ち、基準カメラ１００、周辺カメラ１０１、および周辺カメラ１０２が水平方向に等間隔で配置された場合のブロック１５１とブロック１５３およびブロック１５１とブロック１５５の相関値の例を示す図である。
なお、図５において、横軸は、ブロック１５１とブロック１５３またはブロック１５１とブロック１５５に対応するディスパリティ値Ｄを表し、縦軸は、そのディスパリティ値Ｄに対応する相関値を表す。このことは、後述する図６においても同様である。
また、図５のＡは、ブロック１５１とブロック１５３の相関値を表すグラフであり、図５のＢは、ブロック１５１とブロック１５５の相関値を表すグラフである。図５のＣは、ブロック１５１とブロック１５３の相関値とブロック１５１とブロック１５５の相関値とを合算した合算相関値（SSAD）を表すグラフである。
基線長Ｘ1が基線長Ｘ2の２倍である場合、ブロック１５５のｘ座標であるｘ2がｘrだけ移動するとき、上述した式（１）および式（２）から、ブロック１５３のｘ座標であるｘ1は２ｘrだけ移動することになる。
従って、図５のＢに示すように、ブロック１５１とブロック１５５の相関値のピークが、周期ｄｗで発生する場合、図５のＡに示すように、ブロック１５１とブロック１５３の相関値のピークは、周期ｄｗの1/2倍で発生する。即ち、基準カメラ１００と周辺カメラの基線長が２倍になると、相関値のピークの周期は、２倍の逆数の1/2倍になる。また、ブロック１５１とブロック１５３の相関値のピークの位相と、ブロック１５１とブロック１５５の相関値のピークの位相は、同期する。
以上により、ブロック１５１とブロック１５３の相関値と、ブロック１５１とブロック１５５の相関値を合算した合算相関値の大きいピークは、図５のＣに示すように、ブロック１５１とブロック１５５の相関値のピークと同一のディスパリティ値Ｄで発生する。即ち、合算相関値の大きいピークの周期は、周期1/2ｄｗと周期ｄｗの最小公倍数の周期ｄｗである。
図６は、基線長Ｘ1が基線長Ｘ2の3/2倍である場合のブロック１５１とブロック１５３およびブロック１５１とブロック１５５の相関値の例を示す図である。
なお、図６のＡは、ブロック１５１とブロック１５３の相関値を表すグラフであり、図６のＢは、ブロック１５１とブロック１５５の相関値を表すグラフである。図６のＣは、ブロック１５１とブロック１５３の相関値とブロック１５１とブロック１５５の相関値とを合算した合算相関値を表すグラフである。
基線長Ｘ1が基線長Ｘ2の3/2倍である場合、ブロック１５５のｘ座標であるｘ2がｘrだけ移動すると、上述した式（１）および式（２）から、ブロック１５３のｘ座標であるｘ1は3/2ｘrだけ移動することになる。
従って、図６のＢに示すように、ブロック１５１とブロック１５５の相関値のピークが、周期ｄｗで発生する場合、図６のＡに示すように、ブロック１５１とブロック１５３の相関値のピークは、周期ｄｗの2/3倍で発生する。即ち、基準カメラ１００と周辺カメラの基線長が3/2倍になると、相関値のピークの周期は、3/2倍の逆数の2/3倍になる。また、ブロック１５１とブロック１５３の相関値のピークの位相と、ブロック１５１とブロック１５５の相関値のピークの位相は、同期する。
以上により、ブロック１５１とブロック１５３の相関値と、ブロック１５１とブロック１５５の相関値を合算した合算相関値の大きいピークは、図６のＣに示すように、ブロック１５１とブロック１５５の相関値のピークの周期ｄｗの２倍の周期２ｄｗで発生する。即ち、合算相関値の大きいピークの周期は、周期2/3ｄｗと周期ｄｗの最小公倍数の周期２ｄｗである。この周期２ｄｗは、基線長が基線長Ｘ2の1/2である周辺カメラと基準カメラ１００の撮像画像における相関値のピークの周期と等しい。
なお、図５および図６では、周辺カメラ１０１と周辺カメラ１０２における相関値について説明したが、他の２つの周辺カメラにおける相関値においても同様である。
以上のように、撮像画像１４０に縦縞の繰り返しパターンが存在する場合、基準カメラ１００と周辺カメラ１０１乃至１０７それぞれとの水平方向の基線長Ｘnの比の逆数が、相関値のピークの周期の比となる。また、周辺カメラ１０１乃至１０７のそれぞれに対応する相関値のピークの周期の最小公倍数が、合算相関値の大きいピークの周期となる。
また、図示は省略するが、撮像画像１４０に横縞の繰り返しパターンが存在する場合も、縦縞の繰り返しパターンが存在する場合と同様に、基準カメラ１００と周辺カメラ１０１乃至１０７それぞれとの垂直方向Ｙnの基線長の比の逆数が、相関値のピークの周期の比となる。また、周辺カメラ１０１乃至１０７のそれぞれに対応する相関値のピークの周期の最小公倍数が、合算相関値の大きいピークの周期となる。
従って、本技術は、基準カメラと複数の周辺カメラそれぞれとの水平方向および垂直方向の少なくとも一方の基線長の比を異ならせることで、基線長を小さくすることなく、合算相関値の大きいピークの発生周期を長くする。これにより、ディスパリティ値の三角測量の精度を低下させることなく、幅ｘｗnや幅ｙｗnを小さくし、繰り返しパターンの幅が、幅ｘｗnや幅ｙｗnより大きくなるようにすることができる。その結果、繰り返しパターンに起因する奥行き推定の誤認が発生しなくなり、奥行き推定を高精度に行うことができる。
ここで、上述したように、合算相関値の大きいピークの周期は、各周辺カメラに対応する相関値のピークの周期の最小公倍数である。従って、各周辺カメラに対応する相関値のピークの周期の比を、素数比に近い値にすることにより、合算相関値の大きいピークの周期を効率的に長くすることができる。
例えば、４つの周辺カメラのそれぞれに対応する相関値のピークの周期が、ある周期ｄｗｓの2倍、3倍、5倍、7倍であると、合算相関値の大きいピークの周期は、周期ｄｗｓの210（=2×3×5×7）倍となる。また、上述したように、各周辺カメラに対応する相関値のピークの周期の比は、基準カメラ１００と各周辺カメラとの基線長の比の逆数である。従って、各周辺カメラに対応する相関値のピークの周期の比が、2：3：5：7である場合、基準カメラ１００と各周辺カメラとの基線長の比は、1/2：1/3：1/5：1/7になる。
このとき、合算相関値の大きいピークの周期に対応する基線長は、周期ｄｗｓに対応する基線長の1/210（=1/(2×3×5×7)）となり、基準カメラと最も短い実際の周辺カメラの基線長の1/30（=（1/210）/(1/7)）である。従って、繰り返しパターンにより奥行き推定の誤認が発生する限界空間周波数を30倍改善できたことになる。
＜第１実施の形態＞
（ライトフィールドカメラの一実施の形態の構成例）
図７は、本開示を適用した撮像装置としてのライトフィールドカメラの一実施の形態の構成例を示すブロック図である。
図７のライトフィールドカメラ２００は、撮像部２０１と画像処理部２０２により構成される。ライトフィールドカメラ２００は、複数のカメラで取得された撮像画像から、仮想フォーカスの撮像画像をリフォーカス画像として生成する。
具体的には、ライトフィールドカメラ２００の撮像部２０１は、異なる視点の画像を撮像する際の基準となる１つの基準カメラ（撮像部）、他の複数の周辺カメラ（撮像部）などにより構成される。複数の周辺カメラは、基準カメラの位置を基準にして、それぞれ、異なる素数の逆数に基づく基線長にしたがって配置される。
基準カメラと周辺カメラは、それぞれ、異なる視点の画像を撮像する。撮像部２０１は、画像処理部２０２からの要求に応じて、基準カメラと周辺カメラにより撮像された撮像画像（光線情報）のうちの１以上の画素からなるブロックを、画像処理部２０２に供給する。また、撮像部２０１は、基準カメラと周辺カメラにより撮像された撮像画像を画像処理部２０２に供給する。
画像処理部２０２は、例えばLSI（Large Scale Integration）により構成される。画像処理部２０２は、検出部２１１、仮想視点画像生成部２１２、およびリフォーカス画像生成部２１３を備える。
検出部２１１（奥行き推定部）は、撮像部２０１から供給される基準カメラの撮像画像のブロックと、各周辺カメラの撮像画像のブロックとを用いて、例えば画素ごとに、基準カメラの画像の奥行き推定を行う。
具体的には、検出部２１１は、基準カメラの撮像画像の各画素を順に処理対象の画素に決定する。検出部２１１は、候補となるディスパリティ値ごとに、そのディスパリティ値に対応する、処理対象の画素を含む基準カメラの撮像画像のブロックと各周辺カメラの撮像画像のブロックとを、撮像部２０１に要求する。検出部２１１は、その要求に応じて撮像部２０１から供給される基準カメラの撮像画像のブロックと各周辺カメラの撮像画像のブロックとを用いて、周辺カメラごとにブロックマッチングを行う。以上により、検出部２１１は、周辺カメラおよび画素ごとに、各ディスパリティ値に対応する相関値を求める。
そして、検出部２１１は、各画素のディスパリティ値ごとに、全ての周辺カメラにおける相関値を合算し、合算相関値を求める。検出部２１１は、画素ごとに、合算相関値が最も大きいディスパリティ値を、奥行き推定結果とする。検出部２１１は、各画素の奥行き推定結果からなる視差画像を、基準カメラの視点の視差画像として仮想視点画像生成部２１２に供給する。
仮想視点画像生成部２１２（生成部）は、検出部２１１から供給される基準カメラの視点の視差画像を用いて、周辺カメラの視点の視差画像を生成する。仮想視点画像生成部２１２は、生成された各視点の視差画像と撮像部２０１から供給される各視点の撮像画像とを用いて、基準カメラおよび周辺カメラの視点以外の仮想視点の撮像画像（光線情報）を補間する。具体的には、例えば、仮想視点画像生成部２１２は、仮想視点の周辺の視点の視差画像と撮像画像を用いて、仮想視点の撮像画像を補間する。
仮想視点画像生成部２１２は、撮像部２０１から供給される各視点の撮像画像と仮想視点の撮像画像を、高密度の視点の超多視点画像（光線群情報）としてリフォーカス画像生成部２１３に供給する。
リフォーカス画像生成部２１３は、仮想視点画像生成部２１２から供給される超多視点画像を用いて、仮想フォーカスの撮像画像をリフォーカス画像として生成する。リフォーカス画像生成部２１３は、生成されたリフォーカス画像を出力する。
（撮像部の構成例）
図８は、図７の撮像部２０１の構成例を示すブロック図である。
図８の撮像部２０１は、基準カメラ２２１−０、Ｎ（Ｎは２以上の整数）個の周辺カメラ２２１−１乃至２２１−Ｎ、取り込み制御部２２２、フレームメモリ２２３、読み出し制御部２２４、および補正部２２５により構成される。
基準カメラ２２１−０は、レンズ２２１Ａ−０と、CCD(Charge Coupled Device)やCMOS（Complementary Metal-Oxide Semiconductor）などのイメージセンサ２２１Ｂ−０とにより構成される。基準カメラ２２１−０は、取り込み制御部２２２から供給される同期信号にしたがって、撮像を行う。
具体的には、基準カメラ２２１−０は、同期信号に応じて、被写体から入射された光を、レンズ２２１Ａ−０を介してイメージセンサ２２１Ｂ−０により受光し、その結果得られるアナログ信号に対してA/D変換等を行うことにより、撮像を行う。基準カメラ２２１−０は、撮像の結果得られる撮像画像を取り込み制御部２２２に供給する。
周辺カメラ２２１−１乃至２２１−Ｎは、それぞれ、基準カメラ２２１−０と同様に構成され、取り込み制御部２２２からの同期信号に応じて撮像を行う。周辺カメラ２２１−１乃至２２１−Ｎは、撮像の結果得られる撮像画像を取り込み制御部２２２に供給する。
取り込み制御部２２２は、基準カメラ２２１−０と周辺カメラ２２１−１乃至２２１−Ｎに対して同一の同期信号を供給することにより、同時刻の異なる視点の撮像画像を取得する。取り込み制御部２２２は、取得された同時刻の異なる視点の撮像画像をフレームメモリ２２３（記憶部）に供給し、記憶させる。
読み出し制御部２２４は、図７の検出部２１１からの要求に応じて、フレームメモリ２２３から、基準カメラ２２１−０と周辺カメラ２２１−１乃至２２１−Ｎの撮像画像のうちの所定のブロックが読み出されるように、読み出しを制御する。読み出し制御部２２４は、読み出されたブロックを補正部２２５に供給する。また、読み出し制御部２２４は、フレームメモリ２２３から、基準カメラ２２１−０と周辺カメラ２２１−１乃至２２１−Ｎの撮像画像を読み出し、補正部２２５に供給する。
補正部２２５は、読み出し制御部２２４から供給されるブロックと撮像画像に対して、黒レベル補正、歪み補正、シェーディング補正などの補正処理を行う。補正部２２５は、補正処理後のブロックを図７の検出部２１１に供給し、補正処理後の撮像画像を仮想視点画像生成部２１２に供給する。
なお、基準カメラ２２１−０（撮像部）と周辺カメラ２２１−１乃至２２１−Ｎ（撮像部）は、レンズ２２１Ａ−０乃至２２１Ａ−Ｎを含まなくてもよい。この場合、撮像部２０１は、基準カメラ２２１−０と周辺カメラ２２１−１乃至２２１−Ｎとは別に、レンズ２２１Ａ−０乃至２２１Ａ−Ｎを配置する。
（基準カメラと周辺カメラの第１の配置例）
図９は、図７の撮像部２０１の基準カメラ２２１−０と周辺カメラ２２１−１乃至２２１−Ｎの第１の配置例を示す斜視図である。
図９の撮像部２０１では、基準カメラ２２１−０としての１つの基準カメラ２３０と、周辺カメラ２２１−１乃至２２１−Ｎとしての４つの周辺カメラ２３１乃至２３４が、水平方向に配置されている。
また、基準カメラ２３０と周辺カメラ２３１乃至２３４それぞれとの間の水平方向の距離、即ち基準カメラ２３０と周辺カメラ２３１乃至２３４それぞれとの水平方向の基線長は、異なる素数の逆数を所定値ｄａに乗算した値である。具体的には、基準カメラ２３０と周辺カメラ２３１乃至２３４それぞれとの水平方向の基線長は、1/7ｄａ，1/5ｄａ，1/3ｄａ，1/2ｄａである。
この場合、基準カメラ２３０の撮像画像に縦縞の繰り返しパターンが存在すると、合算相関値の大きいピークの周期は、水平方向の基線長が所定値ｄａである周辺カメラと基準カメラ２３０の撮像画像の相関値のピークの周期の210（=2×3×5×7）倍になる。即ち、合算相関値の大きいピークの周期は、基準カメラ２３０との水平方向の基線長（水平基線長）が最も短い1/7ｄａである周辺カメラ２３１と基準カメラ２３０の撮像画像の相関値のピークの周期の30倍になる。従って、水平方向の繰り返しパターンにより奥行き推定の誤認が発生する限界空間周波数を30倍改善することができる。
なお、基準カメラ２３０と周辺カメラ２３１乃至２３４それぞれとの水平方向の基線長は、素数の逆数に近い値を所定値ｄａに乗算した値であれば、素数の逆数を所定値ｄａに乗算した値でなくてもよい。
また、図示は省略するが、基準カメラと周辺カメラは、水平方向以外の、垂直方向、斜め方向等の一方向に配置されてもよい。基準カメラと周辺カメラが、垂直方向に配置される場合、垂直方向の繰り返しパターンに起因する奥行き推定の誤認を抑制することができる。また、斜め方向に配置される場合、水平方向、垂直方向のほか、斜め方向の繰り返しパターンに起因する奥行き推定の誤認も抑制することができる。
（基準カメラと周辺カメラの第２の配置例）
図１０は、図７の撮像部２０１の基準カメラ２２１−０と周辺カメラ２２１−１乃至２２１−Ｎの第２の配置例を示す斜視図である。
図１０の撮像部２０１では、基準カメラ２２１−０としての１つの基準カメラ２５０と、周辺カメラ２２１−１乃至２２１−Ｎとしての８つの周辺カメラ２５１乃至２５８が、２次元配置されている。
また、基準カメラ２５０と周辺カメラ２５１乃至２５６それぞれとの間の水平方向の距離、即ち基準カメラ２５０と周辺カメラ２５１乃至２５６それぞれとの水平方向の基線長は、異なる素数の逆数を所定値ｄａに乗算した値である。具体的には、基準カメラ２５０と周辺カメラ２５１乃至２５８それぞれとの水平方向の基線長は、1/13ｄａ，1/11ｄａ，1/7ｄａ，1/5ｄａ，1/3ｄａ，1/2ｄａである。
また、基準カメラ２５０と周辺カメラ２５１乃至２５４，２５７、および２５８それぞれとの間の垂直方向の距離、即ち基準カメラ２５０と周辺カメラ２５１乃至２５４，２５７、および２５８それぞれとの垂直方向の基線長（垂直基線長）は、異なる素数の逆数を所定値ｄａに乗算した値である。具体的には、基準カメラ２５０と周辺カメラ２５１乃至２５４，２５７、および２５８それぞれとの垂直方向の基線長は、1/13ｄａ，1/11ｄａ，1/5ｄａ，1/7ｄａ，1/3ｄａ，1/2ｄａである。
この場合、基準カメラ２５０の撮像画像に縦縞の繰り返しパターンが存在すると、合算相関値の大きいピークの周期は、水平方向の基線長が所定値ｄａである周辺カメラと基準カメラ２５０の撮像画像の相関値のピークの周期の30030（=2×3×5×7×11×13）倍になる。即ち、合算相関値の大きいピークの周期は、基準カメラ２５０との水平方向の基線長が最も短い1/13ｄａである周辺カメラ２５１と基準カメラ２５０の撮像画像の相関値のピークの周期の2310倍になる。従って、水平方向の繰り返しパターンにより奥行き推定の誤認が発生する限界空間周波数を2310倍改善することができる。
同様に、垂直方向の繰り返しパターンにより奥行き推定の誤認が発生する限界空間周波数も2310倍改善することができる。
なお、基準カメラ２５０と周辺カメラ２５１乃至２５８それぞれとの水平方向や垂直方向の基線長は、素数の逆数に近い値を所定値ｄａに乗算した値であれば、素数の逆数を所定値ｄａに乗算した値でなくてもよい。
（基準カメラと周辺カメラの第３の配置例）
図１１は、図７の撮像部２０１の基準カメラ２２１−０と周辺カメラ２２１−１乃至２２１−Ｎの第３の配置例を示す斜視図である。
図１１の撮像部２０１では、基準カメラ２２１−０としての１つの基準カメラ２７０と、周辺カメラ２２１−１乃至２２１−Ｎとしての８つの周辺カメラ２７１乃至２７８が、十字形状に配置されている。具体的には、周辺カメラ２７２を中心として、水平方向に、基準カメラ２７０と周辺カメラ２７１乃至２７４が配置され、垂直方向に、周辺カメラ２７２および２７５乃至２７８が配置される。
また、基準カメラ２７０と周辺カメラ２７１乃至２７４それぞれとの水平方向の基線長は、異なる素数の逆数を所定値ｄａに乗算した値である。具体的には、基準カメラ２７０と周辺カメラ２７１乃至２７４それぞれとの水平方向の基線長は、1/7ｄａ，1/5ｄａ，1/3ｄａ，1/2ｄａである。
また、周辺カメラ２７５と周辺カメラ２７２および２７６乃至２７８それぞれとの垂直方向の基線長は、異なる素数の逆数を所定値ｄｂに乗算した値である。具体的には、周辺カメラ２７５と周辺カメラ２７２および２７６乃至２７８それぞれとの垂直方向の基線長は、1/5ｄｂ，1/7ｄｂ，1/3ｄｂ，1/2ｄｂである。
この場合、水平方向および垂直方向だけでなく、あらゆる方向の繰り返しパターンに起因する奥行き推定の誤認の発生を抑制することができる。
なお、基準カメラ２７０と周辺カメラ２７１乃至２７４それぞれとの水平方向の基線長は、素数の逆数に近い値を所定値ｄａに乗算した値であれば、素数の逆数を所定値ｄａに乗算した値でなくてもよい。同様に、周辺カメラ２７５と周辺カメラ２７２および２７６乃至２７８それぞれとの垂直方向の基線長は、素数の逆数に近い値を所定値ｄａに乗算した値であれば、素数の逆数を所定値ｄａに乗算した値でなくてもよい。
（基準カメラと周辺カメラの第４の配置例）
図１２は、図７の撮像部２０１基準カメラ２２１−０と周辺カメラ２２１−１乃至２２１−Ｎの第４の配置例を示す斜視図である。
図１２の撮像部２０１では、基準カメラ２２１−０としての１つの基準カメラ２９０を中心として、周辺カメラ２２１−１乃至２２１−Ｎとしての５つの周辺カメラ２９１乃至２９５が、正五角形状に配置されている。
また、基準カメラ２９０と周辺カメラ２９１乃至２９４それぞれとの水平方向の基線長は、素数の逆数を所定値ｄａに乗算した値である。具体的には、基準カメラ２９０と周辺カメラ２９１および２９２それぞれとの水平方向の基線長は、1/5ｄａであり、基準カメラ２９０と周辺カメラ２９３および２９４それぞれとの水平方向の基線長は、1/3ｄａである。また、周辺カメラ２９５の水平方向の位置は、基準カメラ２９０の水平方向の位置と同一である。
また、基準カメラ２９０と周辺カメラ２９１乃至２９４それぞれとの垂直方向の基線長は、素数の逆数を所定値ｄｂに乗算した値である。具体的には、基準カメラ２９０と周辺カメラ２９１および２９２それぞれとの垂直方向の基線長は、1/5ｄｂであり、基準カメラ２９０と周辺カメラ２９３および２９４それぞれとの垂直方向の基線長は、1/13ｄｂである。基準カメラ２９０と周辺カメラ２９５の垂直方向の基線長は、1/4ｄｂである。
図１２に示したように、基準カメラ２９０を中心として、５つの周辺カメラ２９１乃至２９５が、正五角形状に配置される場合、水平方向および垂直方向の基線長の多くが、素数の逆数に所定値を乗算した値になる。従って、水平方向および垂直方向の繰り返しパターンに起因する奥行き推定の誤認を抑制することができる。
また、基準カメラ２９０と周辺カメラ２９１乃至２９５のうちの隣り合う３つのカメラ間を結んだ三角形のうちの、基準カメラ２９０と隣り合う２つの周辺カメラ間を結んだ三角形３０１乃至３０５は、同一である。従って、仮想視点画像生成部２１２は、仮想視点の位置によらず、仮想視点を含む三角形３０１乃至３０５に共通のサイズの三角形の頂点に位置するカメラの視点の撮像画像と視差画像を用いて仮想視点の撮像画像を補間する方法で、仮想視点の撮像画像を補間することができる。即ち、仮想視点の撮像画像の補間方法を、仮想視点の位置によって変更する必要がない。よって、仮想視点の撮像画像を容易に補間することができる。
（基準カメラと周辺カメラの第５の配置例）
図１３は、図７の撮像部２０１の基準カメラ２２１−０と周辺カメラ２２１−１乃至２２１−Ｎの第５の配置例を示す斜視図である。
図１３の撮像部２０１では、基準カメラ２２１−０としての１つの基準カメラ３１０と、周辺カメラ２２１−１乃至２２１−Ｎとしての１８個の周辺カメラ３１１乃至３２８が配置される。具体的には、周辺カメラ３１１乃至３１６が、基準カメラ３１０を中心とした正六角形状に配置され、周辺カメラ３１７乃至３２８が、基準カメラ３１０を中心とした正十二角形状に配置される。正六角形状と正十二角形状の辺の長さは等しい。
また、基準カメラ３１０と周辺カメラ３１１乃至３１４および３１７乃至３２８それぞれとの水平方向の基線長は、素数の逆数を所定値ｄａに乗算した値である。
具体的には、基準カメラ３１０と周辺カメラ３１１乃至３１４および３１７乃至３２０それぞれとの水平方向の基線長は、1/19ｄａであり、基準カメラ３１０と周辺カメラ３２１乃至３２４それぞれとの水平方向の基線長は、1/7ｄａである。また、基準カメラ３１０と周辺カメラ３２５乃至３２８それぞれとの水平方向の基線長は、1/5ｄａである。なお、基準カメラ３１０と周辺カメラ３１５および３１６それぞれとの水平方向の基線長は、2/19ｄａである。
基準カメラ３１０と周辺カメラ３１１乃至３２８それぞれとの垂直方向の基線長は、素数の逆数を所定値ｄａに乗算した値である。具体的には、基準カメラ３１０と周辺カメラ３２５乃至３２８それぞれとの垂直方向の基線長は、1/19ｄａであり、基準カメラ３１０と周辺カメラ３１１乃至３１４それぞれとの垂直方向の基線長は、1/11ｄａである。
また、基準カメラ３１０と周辺カメラ３２１乃至３２４それぞれとの垂直方向の基線長は、1/7ｄａであり、基準カメラ３１０と周辺カメラ３１７乃至３２０それぞれとの垂直方向の基線長は、1/5ｄａである。
図１３に示したように、周辺カメラ３１１乃至３１６が、基準カメラ３１０を中心とした正六角形状に配置され、周辺カメラ３１７乃至３２８が、基準カメラ３１０を中心とした正十二角形状に配置される場合、水平方向および垂直方向の基線長の多くが、素数の逆数に所定値を乗算した値になる。従って、水平方向および垂直方向の繰り返しパターンに起因する奥行き推定の誤認を抑制することができる。
また、基準カメラ３１０と周辺カメラ３１１乃至３２８のうちの、隣り合う３つのカメラ間を結んだ三角形のうちの、基準カメラ３１０と、周辺カメラ３１１乃至３１６のうちの隣り合う２つの間を結んだ三角形３４１乃至３４６、および、周辺カメラ３１１乃至３１６のうちの１つと、周辺カメラ３１７乃至３２８のうちの隣り合う２つの間を結んだ三角形３４７乃至３５２は、同一の正三角形である。
さらに、隣り合う４つのカメラ間を結んだ四角形のうちの、周辺カメラ３１１乃至３１６のうちの隣り合う２つと、周辺カメラ３１７乃至３２８のうちの、その２つに対向する２つの間を結んだ四角形３６１乃至３６６は、同一の正方形である。
従って、仮想視点画像生成部２１２における仮想視点の補間の方法の種類が２種類で済む。第１の補間方法は、仮想視点を含む三角形３４１乃至３５２に共通のサイズの正三角形の頂点に位置するカメラの視点の撮像画像と視差画像を用いて、仮想視点の撮像画像を補間する方法である。第２の補間方法は、仮想視点を含む四角形３６１乃至３６６に共通のサイズの正方形の頂点に位置するカメラの視点の撮像画像と視差画像を用いて、仮想視点の撮像画像を補間する方法である。以上により、仮想視点の撮像画像を容易に補間することができる。
また、三角形３４１乃至３５２および四角形３６１乃至３６６の各辺の長さは同一であるので、仮想視点の撮像画像の補間を均等な密度で行うことができる。
（基準カメラおよび周辺カメラの配置と効果の説明）
図１４は、図９乃至図１３で示した基準カメラと周辺カメラの第１乃至第５の配置例と、その配置による効果を説明する図である。
図１４の表では、左側の列に、図９乃至図１３で示した配置の名称が記載され、中央の列に、繰り返しパターンに起因する奥行き推定の誤認に対する効果の度合が記載され、右側の列に、仮想視点の撮像画像の補間に対する効果の度合が記載されている。なお、以下では、第１乃至第５の配置例を、それぞれ、水平配置、２次元配置、十字形状配置、正五角形状配置、１９個配置という。
撮像部２０１の基準カメラと周辺カメラの配置が、図９の水平配置である場合、水平方向の繰り返しパターンに起因する奥行き推定の誤認を抑制することができる。しかしながら、垂直方向の繰り返しパターンに起因する奥行き推定の誤認に対する効果はない。従って、図１４の表の第２行目の中央の列には、繰り返しパターンに起因する奥行き推定の誤認に対する効果の度合として「中」を表す三角が記載されている。
一方、撮像部２０１の基準カメラと周辺カメラの配置が、図１０の２次元配置、図１１の十字形状配置、図１２の正五角形状配置、および図１３の１９個配置である場合、水平方向および垂直方向の繰り返しパターンに起因する奥行き推定の誤認を抑制することができる。従って、図１４の表の第３乃至第第６行目の中央の列には、繰り返しパターンに起因する奥行き推定の誤認に対する効果の度合として「高」を表す丸が記載されている。
また、撮像部２０１の基準カメラと周辺カメラの配置が、図９の水平配置である場合、隣り合うカメラ間の距離は、全て異なる。さらに、撮像部２０１の基準カメラと周辺カメラの配置が、図１０の２次元配置および図１１の十字形状配置である場合、基準カメラと周辺カメラのうちの隣り合う３以上のカメラ間を結んだ形状は、全て異なる。従って、仮想視点の撮像画像の補間に対する効果はない。よって、図１４の表の第２乃至第４行目の右側の列には、仮想視点の撮像画像の補間に対する効果の度合として「なし」を表すバツが記載されている。
一方、撮像部２０１の基準カメラと周辺カメラの配置が、図１２の正五角形状配置および図１３の１９個配置である場合、基準カメラと周辺カメラのうちの隣り合う３以上のカメラ間を結んだ形状のうちの少なくとも一部は同一である。従って、仮想視点の撮像画像の補間方法の種類が少なくて済み、仮想視点の撮像画像を容易に補間することができる。
しかしながら、図１２の正五角形状配置では、三角形３０１乃至３０５が正三角形ではないので、仮想視点の撮像画像の補間を均等な密度で行うことはできない。よって、図１４の表の第５行目の右側の列には、仮想視点の撮像画像の補間に対する効果の度合として「中」を表す三角が記載される。
これに対して、図１３の１９個配置では、三角形３４１乃至３５２および四角形３６１乃至３６６の各辺の長さが同一である。従って、仮想視点の撮像画像の補間を均等な密度で行うことができる。よって、図１４の表の第６行目の右側の列には、仮想視点の撮像画像の補間に対する効果の度合として「高」を表す丸が記載される。
以上のように、ライトフィールドカメラ２００は、異なる視点の画像を撮像する基準カメラと複数の周辺カメラを備え、基準カメラと少なくとも２つの周辺カメラとの間の少なくとも一方向の距離は、それぞれ、異なる素数の逆数を所定値に乗算した値である。従って、少なくとも一方向の繰り返しパターンを有する撮像画像の奥行き推定を高精度に行うことができる。その結果、リフォーカス画像の精度が向上する。
これに対して、カメラが、水平方向および垂直方向にそれぞれ一定間隔で配置される場合、即ち、カメラが格子状に配置される場合、繰り返しパターンを有する撮像画像の奥行き推定を高精度に行うことは困難である。
なお、基準カメラと周辺カメラの解像度は同一であってもよいし、異なっていてもよい。基準カメラと周辺カメラの解像度が異なっている場合には、サブピクセル単位でディスパリティ値を求めることができる。
また、周辺カメラの数は、上述した数に限定されない。周辺カメラの数が多いほど、より細かい繰り返しパターンに起因する奥行き推定の誤認を抑制することができる。さらに、所定値ｄaおよびｄbは、任意の値にすることができる。
（ライトフィールドカメラの処理の説明）
図１５は、図７のライトフィールドカメラ２００の撮像処理を説明するフローチャートである。
図１５のステップＳ１１において、ライトフィールドカメラ２００の撮像部２０１の基準カメラ２２１−０と周辺カメラ２２１−１乃至２２１−Ｎ（図８）は、取り込み制御部２２２からの同期信号にしたがって、同時刻の各視点の画像を撮像する。その結果得られ撮像画像は、取り込み制御部２２２を介してフレームメモリ２２３に記憶される。
そして、読み出し制御部２２４は、検出部２１１からの要求に応じて、基準カメラ２２１−０と周辺カメラ２２１−１乃至２２１−Ｎの撮像画像のうちの所定のブロックを、フレームメモリ２２３から読み出す。また、読み出し制御部２２４は、基準カメラ２２１−０と周辺カメラ２２１−１乃至２２１−Ｎの撮像画像をフレームメモリ２２３から読み出す。フレームメモリ２２３から読み出されたブロックは、補正部２２５を介して検出部２１１に供給され、フレームメモリ２２３から読み出された撮像画像は、補正部２２５を介して仮想視点画像生成部２１２に供給される。
ステップＳ１２において、検出部２１１は、補正部２２５から供給される基準カメラ２２１−０の撮像画像のブロックと各周辺カメラ２２１−１乃至２２１−Ｎの撮像画像のブロックとを用いて、例えば画素ごとに、基準カメラ２２１−０の視点の奥行き推定を行う。検出部２１１は、各画素の奥行き推定結果からなる視差画像を、基準カメラ２２１−０の視点の視差画像として仮想視点画像生成部２１２に供給する。
ステップＳ１３において、仮想視点画像生成部２１２は、検出部２１１から供給される基準カメラ２２１−０の視点の視差画像を用いて、周辺カメラ２２１−１乃至２２１−Ｎの視点の視差画像を生成する。
ステップＳ１４において、仮想視点画像生成部２１２は、生成された各視点の視差画像と補正部２２５から供給される各視点の撮像画像とを用いて、仮想視点の撮像画像を補間する。仮想視点画像生成部２１２は、補正部２２５から供給される各視点の撮像画像と仮想視点の撮像画像を、高密度の視点の超多視点画像としてリフォーカス画像生成部２１３に供給する。
ステップＳ１５において、リフォーカス画像生成部２１３は、仮想視点画像生成部２１２から供給される超多視点画像を用いて、仮想フォーカスの撮像画像をリフォーカス画像として生成する。リフォーカス画像生成部２１３は、生成されたリフォーカス画像を出力し、処理を終了する。
＜第２実施の形態＞
（本開示を適用したコンピュータの説明）
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
図１６は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
コンピュータ４００において、CPU（Central Processing Unit）４０１，ROM（Read Only Memory）４０２，RAM（Random Access Memory）４０３は、バス４０４により相互に接続されている。
バス４０４には、さらに、入出力インタフェース４０５が接続されている。入出力インタフェース４０５には、撮像部４０６、入力部４０７、出力部４０８、記憶部４０９、通信部４１０、及びドライブ４１１が接続されている。
撮像部４０６は、図７の撮像部２０１と同様に構成される。入力部４０７は、キーボード、マウス、マイクロフォンなどよりなる。出力部４０８は、ディスプレイ、スピーカなどよりなる。記憶部４０９は、ハードディスクや不揮発性のメモリなどよりなる。通信部４１０は、ネットワークインタフェースなどよりなる。ドライブ４１１は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア４１２を駆動する。
以上のように構成されるコンピュータ４００では、CPU４０１が、例えば、記憶部４０９に記憶されているプログラムを、入出力インタフェース４０５及びバス４０４を介して、RAM４０３にロードして実行することにより、上述した一連の処理が行われる。
コンピュータ４００（CPU４０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア４１２に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
コンピュータ４００では、プログラムは、リムーバブルメディア４１２をドライブ４１１に装着することにより、入出力インタフェース４０５を介して、記憶部４０９にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部４１０で受信し、記憶部４０９にインストールすることができる。その他、プログラムは、ROM４０２や記憶部４０９に、あらかじめインストールしておくことができる。
なお、コンピュータ４００が実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
＜応用例＞
本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車などのいずれかの種類の車両に搭載される装置として実現されてもよい。
図１７は、本開示に係る技術が適用され得る車両制御システム２０００の概略的な構成の一例を示すブロック図である。車両制御システム２０００は、通信ネットワーク２０１０を介して接続された複数の電子制御ユニットを備える。図１７に示した例では、車両制御システム２０００は、駆動系制御ユニット２１００、ボディ系制御ユニット２２００、バッテリ制御ユニット２３００、車外情報検出ユニット２４００、車内情報検出ユニット２５００、及び統合制御ユニット２６００を備える。これらの複数の制御ユニットを接続する通信ネットワーク２０１０は、例えば、ＣＡＮ（Controller Area Network）、ＬＩＮ（Local Interconnect Network）、ＬＡＮ（Local Area Network）又はＦｌｅｘＲａｙ（登録商標）等の任意の規格に準拠した車載通信ネットワークであってよい。
各制御ユニットは、各種プログラムにしたがって演算処理を行うマイクロコンピュータと、マイクロコンピュータにより実行されるプログラム又は各種演算に用いられるパラメータ等を記憶する記憶部と、各種制御対象の装置を駆動する駆動回路とを備える。各制御ユニットは、通信ネットワーク２０１０を介して他の制御ユニットとの間で通信を行うためのネットワークＩ／Ｆを備えるとともに、車内外の装置又はセンサ等との間で、有線通信又は無線通信により通信を行うための通信Ｉ／Ｆを備える。図１７では、統合制御ユニット２６００の機能構成として、マイクロコンピュータ２６１０、汎用通信Ｉ／Ｆ２６２０、専用通信Ｉ／Ｆ２６３０、測位部２６４０、ビーコン受信部２６５０、車内機器Ｉ／Ｆ２６６０、音声画像出力部２６７０、車載ネットワークＩ／Ｆ２６８０及び記憶部２６９０が図示されている。他の制御ユニットも同様に、マイクロコンピュータ、通信Ｉ／Ｆ及び記憶部等を備える。
駆動系制御ユニット２１００は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット２１００は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。駆動系制御ユニット２１００は、ＡＢＳ（Antilock Brake System）又はＥＳＣ（Electronic Stability Control）等の制御装置としての機能を有してもよい。
駆動系制御ユニット２１００には、車両状態検出部２１１０が接続される。車両状態検出部２１１０には、例えば、車体の軸回転運動の角速度を検出するジャイロセンサ、車両の加速度を検出する加速度センサ、あるいは、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数又は車輪の回転速度等を検出するためのセンサのうちの少なくとも一つが含まれる。駆動系制御ユニット２１００は、車両状態検出部２１１０から入力される信号を用いて演算処理を行い、内燃機関、駆動用モータ、電動パワーステアリング装置又はブレーキ装置等を制御する。
ボディ系制御ユニット２２００は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット２２００は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット２２００には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット２２００は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
バッテリ制御ユニット２３００は、各種プログラムにしたがって駆動用モータの電力供給源である二次電池２３１０を制御する。例えば、バッテリ制御ユニット２３００には、二次電池２３１０を備えたバッテリ装置から、バッテリ温度、バッテリ出力電圧又はバッテリの残存容量等の情報が入力される。バッテリ制御ユニット２３００は、これらの信号を用いて演算処理を行い、二次電池２３１０の温度調節制御又はバッテリ装置に備えられた冷却装置等の制御を行う。
車外情報検出ユニット２４００は、車両制御システム２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット２４００には、撮像部２４１０及び車外情報検出部２４２０のうちの少なくとも一方が接続される。撮像部２４１０には、ＴｏＦ（Time Of Flight）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ及びその他のカメラのうちの少なくとも一つが含まれる。車外情報検出部２４２０には、例えば、現在の天候又は気象を検出するための環境センサ、あるいは、車両制御システム２０００を搭載した車両の周囲の他の車両、障害物又は歩行者等を検出するための周囲情報検出センサが含まれる。
環境センサは、例えば、雨天を検出する雨滴センサ、霧を検出する霧センサ、日照度合いを検出する日照センサ、及び降雪を検出する雪センサのうちの少なくとも一つであってよい。周囲情報検出センサは、超音波センサ、レーダ装置及びＬＩＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）装置のうちの少なくとも一つであってよい。これらの撮像部２４１０及び車外情報検出部２４２０は、それぞれ独立したセンサないし装置として備えられてもよいし、複数のセンサないし装置が統合された装置として備えられてもよい。
ここで、図１８は、撮像部２４１０及び車外情報検出部２４２０の設置位置の例を示す。撮像部２９１０，２９１２，２９１４，２９１６，２９１８は、例えば、車両２９００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部のうちの少なくとも一つの位置に設けられる。フロントノーズに備えられる撮像部２９１０及び車室内のフロントガラスの上部に備えられる撮像部２９１８は、主として車両２９００の前方の画像を取得する。サイドミラーに備えられる撮像部２９１２，２９１４は、主として車両２９００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部２９１６は、主として車両２９００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部２９１８は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
なお、図１８には、それぞれの撮像部２９１０，２９１２，２９１４，２９１６の撮影範囲の一例が示されている。撮像範囲ａは、フロントノーズに設けられた撮像部２９１０の撮像範囲を示し、撮像範囲ｂ，ｃは、それぞれサイドミラーに設けられた撮像部２９１２，２９１４の撮像範囲を示し、撮像範囲ｄは、リアバンパ又はバックドアに設けられた撮像部２９１６の撮像範囲を示す。例えば、撮像部２９１０，２９１２，２９１４，２９１６で撮像された画像データが重ね合わせられることにより、車両２９００を上方から見た俯瞰画像が得られる。
車両２９００のフロント、リア、サイド、コーナ及び車室内のフロントガラスの上部に設けられる車外情報検出部２９２０，２９２２，２９２４，２９２６，２９２８，２９３０は、例えば超音波センサ又はレーダ装置であってよい。車両２９００のフロントノーズ、リアバンパ、バックドア及び車室内のフロントガラスの上部に設けられる車外情報検出部２９２０，２９２６，２９３０は、例えばＬＩＤＡＲ装置であってよい。これらの車外情報検出部２９２０〜２９３０は、主として先行車両、歩行者又は障害物等の検出に用いられる。
図１７に戻って説明を続ける。車外情報検出ユニット２４００は、撮像部２４１０に車外の画像を撮像させるとともに、撮像された画像データを受信する。また、車外情報検出ユニット２４００は、接続されている車外情報検出部２４２０から検出情報を受信する。車外情報検出部２４２０が超音波センサ、レーダ装置又はＬＩＤＡＲ装置である場合には、車外情報検出ユニット２４００は、超音波又は電磁波等を発信させるとともに、受信された反射波の情報を受信する。車外情報検出ユニット２４００は、受信した情報に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。車外情報検出ユニット２４００は、受信した情報に基づいて、降雨、霧又は路面状況等を認識する環境認識処理を行ってもよい。車外情報検出ユニット２４００は、受信した情報に基づいて、車外の物体までの距離を算出してもよい。
また、車外情報検出ユニット２４００は、受信した画像データに基づいて、人、車、障害物、標識又は路面上の文字等を認識する画像認識処理又は距離検出処理を行ってもよい。車外情報検出ユニット２４００は、受信した画像データに対して歪補正又は位置合わせ等の処理を行うとともに、異なる撮像部２４１０により撮像された画像データを合成して、俯瞰画像又はパノラマ画像を生成してもよい。車外情報検出ユニット２４００は、異なる撮像部２４１０により撮像された画像データを用いて、視点変換処理を行ってもよい。
車内情報検出ユニット２５００は、車内の情報を検出する。車内情報検出ユニット２５００には、例えば、運転者の状態を検出する運転者状態検出部２５１０が接続される。運転者状態検出部２５１０は、運転者を撮像するカメラ、運転者の生体情報を検出する生体センサ又は車室内の音声を集音するマイク等を含んでもよい。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座った搭乗者又はステアリングホイールを握る運転者の生体情報を検出する。車内情報検出ユニット２５００は、運転者状態検出部２５１０から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。車内情報検出ユニット２５００は、集音された音声信号に対してノイズキャンセリング処理等の処理を行ってもよい。
統合制御ユニット２６００は、各種プログラムにしたがって車両制御システム２０００内の動作全般を制御する。統合制御ユニット２６００には、入力部２８００が接続されている。入力部２８００は、例えば、タッチパネル、ボタン、マイクロフォン、スイッチ又はレバー等、搭乗者によって入力操作され得る装置によって実現される。入力部２８００は、例えば、赤外線又はその他の電波を利用したリモートコントロール装置であってもよいし、車両制御システム２０００の操作に対応した携帯電話又はＰＤＡ（Personal Digital Assistant）等の外部接続機器であってもよい。入力部２８００は、例えばカメラであってもよく、その場合搭乗者はジェスチャにより情報を入力することができる。さらに、入力部２８００は、例えば、上記の入力部２８００を用いて搭乗者等により入力された情報に基づいて入力信号を生成し、統合制御ユニット２６００に出力する入力制御回路などを含んでもよい。搭乗者等は、この入力部２８００を操作することにより、車両制御システム２０００に対して各種のデータを入力したり処理動作を指示したりする。
記憶部２６９０は、マイクロコンピュータにより実行される各種プログラムを記憶するＲＡＭ（Random Access Memory）、及び各種パラメータ、演算結果又はセンサ値等を記憶するＲＯＭ（Read Only Memory）を含んでいてもよい。また、記憶部２６９０は、ＨＤＤ（Hard Disc Drive）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等によって実現してもよい。
汎用通信Ｉ／Ｆ２６２０は、外部環境２７５０に存在する様々な機器との間の通信を仲介する汎用的な通信Ｉ／Ｆである。汎用通信Ｉ／Ｆ２６２０は、ＧＳＭ（登録商標）（Global System of Mobile communications）、ＷｉＭＡＸ、ＬＴＥ（Long Term Evolution）若しくはＬＴＥ−Ａ（LTE−Advanced）などのセルラー通信プロトコル、又は無線ＬＡＮ（Ｗｉ−Ｆｉ（登録商標）ともいう）などのその他の無線通信プロトコルを実装してよい。汎用通信Ｉ／Ｆ２６２０は、例えば、基地局又はアクセスポイントを介して、外部ネットワーク（例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク）上に存在する機器（例えば、アプリケーションサーバ又は制御サーバ）へ接続してもよい。また、汎用通信Ｉ／Ｆ２６２０は、例えばＰ２Ｐ（Peer To Peer）技術を用いて、車両の近傍に存在する端末（例えば、歩行者若しくは店舗の端末、又はＭＴＣ（Machine Type Communication）端末）と接続してもよい。
専用通信Ｉ／Ｆ２６３０は、車両における使用を目的として策定された通信プロトコルをサポートする通信Ｉ／Ｆである。専用通信Ｉ／Ｆ２６３０は、例えば、下位レイヤのＩＥＥＥ８０２．１１ｐと上位レイヤのＩＥＥＥ１６０９との組合せであるＷＡＶＥ（Wireless Access in Vehicle Environment）、又はＤＳＲＣ（Dedicated Short Range Communications）といった標準プロトコルを実装してよい。専用通信Ｉ／Ｆ２６３０は、典型的には、車車間（Vehicle to Vehicle）通信、路車間（Vehicle to Infrastructure）通信及び歩車間（Vehicle to Pedestrian）通信のうちの１つ以上を含む概念であるＶ２Ｘ通信を遂行する。
測位部２６４０は、例えば、ＧＮＳＳ（Global Navigation Satellite System）衛星からのＧＮＳＳ信号（例えば、ＧＰＳ（Global Positioning System）衛星からのＧＰＳ信号）を受信して測位を実行し、車両の緯度、経度及び高度を含む位置情報を生成する。なお、測位部２６４０は、無線アクセスポイントとの信号の交換により現在位置を特定してもよく、又は測位機能を有する携帯電話、ＰＨＳ若しくはスマートフォンといった端末から位置情報を取得してもよい。
ビーコン受信部２６５０は、例えば、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行止め又は所要時間等の情報を取得する。なお、ビーコン受信部２６５０の機能は、上述した専用通信Ｉ／Ｆ２６３０に含まれてもよい。
車内機器Ｉ／Ｆ２６６０は、マイクロコンピュータ２６１０と車内に存在する様々な機器との間の接続を仲介する通信インタフェースである。車内機器Ｉ／Ｆ２６６０は、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Near Field Communication）又はＷＵＳＢ（Wireless USB）といった無線通信プロトコルを用いて無線接続を確立してもよい。また、車内機器Ｉ／Ｆ２６６０は、図示しない接続端子（及び、必要であればケーブル）を介して有線接続を確立してもよい。車内機器Ｉ／Ｆ２６６０は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、又は車両に搬入され若しくは取り付けられる情報機器との間で、制御信号又はデータ信号を交換する。
車載ネットワークＩ／Ｆ２６８０は、マイクロコンピュータ２６１０と通信ネットワーク２０１０との間の通信を仲介するインタフェースである。車載ネットワークＩ／Ｆ２６８０は、通信ネットワーク２０１０によりサポートされる所定のプロトコルに則して、信号等を送受信する。
統合制御ユニット２６００のマイクロコンピュータ２６１０は、汎用通信Ｉ／Ｆ２６２０、専用通信Ｉ／Ｆ２６３０、測位部２６４０、ビーコン受信部２６５０、車内機器Ｉ／Ｆ２６６０及び車載ネットワークＩ／Ｆ２６８０のうちの少なくとも一つを介して取得される情報に基づき、各種プログラムにしたがって、車両制御システム２０００を制御する。例えば、マイクロコンピュータ２６１０は、取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット２１００に対して制御指令を出力してもよい。例えば、マイクロコンピュータ２６１０は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、自動運転等を目的とした協調制御を行ってもよい。
マイクロコンピュータ２６１０は、汎用通信Ｉ／Ｆ２６２０、専用通信Ｉ／Ｆ２６３０、測位部２６４０、ビーコン受信部２６５０、車内機器Ｉ／Ｆ２６６０及び車載ネットワークＩ／Ｆ２６８０のうちの少なくとも一つを介して取得される情報に基づき、車両の現在位置の周辺情報を含むローカル地図情報を作成してもよい。また、マイクロコンピュータ２６１０は、取得される情報に基づき、車両の衝突、歩行者等の近接又は通行止めの道路への進入等の危険を予測し、警告用信号を生成してもよい。警告用信号は、例えば、警告音を発生させたり、警告ランプを点灯させたりするための信号であってよい。
音声画像出力部２６７０は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図１７の例では、出力装置として、オーディオスピーカ２７１０、表示部２７２０及びインストルメントパネル２７３０が例示されている。表示部２７２０は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。表示部２７２０は、ＡＲ（Augmented Reality）表示機能を有していてもよい。出力装置は、これらの装置以外の、ヘッドホン、プロジェクタ又はランプ等の他の装置であってもよい。出力装置が表示装置の場合、表示装置は、マイクロコンピュータ２６１０が行った各種処理により得られた結果又は他の制御ユニットから受信された情報を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。また、出力装置が音声出力装置の場合、音声出力装置は、再生された音声データ又は音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。
なお、図１７に示した例において、通信ネットワーク２０１０を介して接続された少なくとも二つの制御ユニットが一つの制御ユニットとして一体化されてもよい。あるいは、個々の制御ユニットが、複数の制御ユニットにより構成されてもよい。さらに、車両制御システム２０００が、図示されていない別の制御ユニットを備えてもよい。また、上記の説明において、いずれかの制御ユニットが担う機能の一部又は全部を、他の制御ユニットに持たせてもよい。つまり、通信ネットワーク２０１０を介して情報の送受信がされるようになっていれば、所定の演算処理が、いずれかの制御ユニットで行われるようになってもよい。同様に、いずれかの制御ユニットに接続されているセンサ又は装置が、他の制御ユニットに接続されるとともに、複数の制御ユニットが、通信ネットワーク２０１０を介して相互に検出情報を送受信してもよい。
以上説明した車両制御システム２０００において、図７の撮像部２０１は、例えば、図１７の撮像部２４１０に適用することができる。また、図７の画像処理部２０２は、例えば、図１７の車外情報検出ユニット２４００に適用することができる。これにより、繰り返しパターンを有する車外の画像の奥行き推定を高精度に行うことができる。その結果、リフォーカス画像の精度が向上する。
また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
さらに、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。例えば、周辺カメラ２２１−１乃至２２１−Ｎは、基準カメラ２２１−０を中心とした、正五角形、正六角形、正十二角形以外の多角形の形状に配置されるようにしてもよい。
また、本技術は、マルチベースラインステレオカメラにも適用可能である。
なお、本開示は、以下のような構成もとることができる。
（１）
異なる視点の画像を撮像する際の基準となる撮像部の位置を基準にして異なる素数の逆数に基づく基線長にしたがって配置された複数の撮像部
を備える撮像装置。
（２）
前記基線長は、異なる素数の逆数を所定値に乗算した値である
前記（１）に記載の撮像装置。
（３）
前記基線長は、水平方向の基線長である水平基線長または垂直方向の基線長である垂直基線長である
前記（１）または（２）に記載の撮像装置。
（４）
前記基線長は、水平方向の基線長である水平基線長と垂直方向の基線長である垂直基線長からなる
前記（１）または（２）に記載の撮像装置。
（５）
前記複数の撮像部と前記基準となる撮像部は、十字形状に配置される
前記（１）乃至（４）のいずれかに記載の撮像装置。
（６）
前記撮像部の数は４以上であり、
隣り合う３以上の前記撮像部を結んだ形状の一部は、同一である
前記（１）乃至（４）のいずれかに記載の撮像装置。
（７）
前記複数の撮像部は、前記基準となる撮像部を中心とした多角形状に配置される
前記（６）に記載の撮像装置。
（８）
前記複数の撮像部は、前記基準となる撮像部を中心とした５角形状に配置される
前記（６）に記載の撮像装置。
（９）
前記複数の撮像部は、前記基準となる撮像部を中心とした６角形状と１２角形状とに配置される
前記（６）に記載の撮像装置。
（１０）
前記６角形状と前記１２角形状の辺の長さは等しい
前記（９）に記載の撮像装置。
（１１）
前記複数の撮像部と前記基準となる撮像部は、同一の同期信号にしたがって画像を取得する
前記（１）乃至（１０）のいずれかに記載の撮像装置。
（１２）
前記複数の撮像部と前記基準となる撮像部により取得された前記画像を記憶する記憶部と、
前記記憶部により記憶された前記画像の読み出しを制御する読み出し制御部と、
前記読み出し制御部の制御により読み出された前記画像を補正する補正部と
をさらに備える
前記（１１）に記載の撮像装置。
（１３）
前記補正部により補正された前記画像を用いて、前記基準となる撮像部により取得された前記画像の奥行き推定を行い、その画像の視差画像を生成する奥行き推定部と、
前記奥行き推定部により生成された前記基準となる撮像部の視差画像と、前記複数の撮像部および前記基準となる撮像部により取得された前記画像とを用いて、超多視点画像を生成する生成部と
をさらに備える
前記（１２）に記載の撮像装置。
（１４）
異なる視点の画像を撮像する際の基準となる撮像部の位置を基準にして異なる素数の逆数に基づく基線長にしたがって配置された複数の撮像部と前記基準となる撮像部が、
異なる視点の画像を撮像する
ステップを含む撮像方法。
２００ ライトフィールドカメラ， ２３０ 基準カメラ， ２３１乃至２３４ 周辺カメラ， ２５０ 基準カメラ， ２５１乃至２５８ 周辺カメラ， ２７０ 基準カメラ、 ２７１乃至２７８ 周辺カメラ， ２９０ 基準カメラ， ２９１乃至２９５ 周辺カメラ， ３１０ 基準カメラ， ３１１乃至３２８ 周辺カメラ

Claims (10)

  1. 異なる視点の画像を撮像する際の基準となる撮像部の位置を基準にして異なる素数の逆数に基づく基線長にしたがって配置された複数の撮像部
    を備え、
    前記複数の撮像部は、前記基準となる撮像部を中心とした５角形状に配置される
    撮像装置。
  2. 異なる視点の画像を撮像する際の基準となる撮像部の位置を基準にして異なる素数の逆数に基づく基線長にしたがって配置された複数の撮像部
    を備え、
    前記複数の撮像部は、前記基準となる撮像部を中心とした６角形状と１２角形状とに配置される
    撮像装置。
  3. 前記６角形状と前記１２角形状の辺の長さは等しい
    請求項２に記載の撮像装置。
  4. 前記基線長は、異なる素数の逆数を所定値に乗算した値である
    請求項１乃至３のいずれかに記載の撮像装置。
  5. 隣り合う３以上の前記撮像部を結んだ形状の一部は、同一である
    請求項１乃至４のいずれかに記載の撮像装置。
  6. 前記複数の撮像部と前記基準となる撮像部は、同一の同期信号にしたがって画像を取得する
    請求項１乃至５のいずれかに記載の撮像装置。
  7. 前記複数の撮像部と前記基準となる撮像部により取得された前記画像を記憶する記憶部と、
    前記記憶部により記憶された前記画像の読み出しを制御する読み出し制御部と、
    前記読み出し制御部の制御により読み出された前記画像を補正する補正部と
    をさらに備える
    請求項６に記載の撮像装置。
  8. 前記補正部により補正された前記画像を用いて、前記基準となる撮像部により取得された前記画像の奥行き推定を行い、その画像の視差画像を生成する奥行き推定部と、
    前記奥行き推定部により生成された前記基準となる撮像部の視差画像と、前記複数の撮像部および前記基準となる撮像部により取得された前記画像とを用いて、超多視点画像を生成する生成部と
    をさらに備える
    請求項７に記載の撮像装置。
  9. 異なる視点の画像を撮像する際の基準となる撮像部の位置を基準にして異なる素数の逆数に基づく基線長にしたがって配置された複数の撮像部であり、前記基準となる撮像部を中心とした５角形状に配置されている前記複数の撮像部と前記基準となる撮像部が、
    異なる視点の画像を撮像する
    ステップを含む撮像方法。
  10. 異なる視点の画像を撮像する際の基準となる撮像部の位置を基準にして異なる素数の逆数に基づく基線長にしたがって配置された前記複数の撮像部であり、前記基準となる撮像部を中心とした６角形状と１２角形状とに配置されている複数の撮像部と前記基準となる撮像部が、
    異なる視点の画像を撮像する
    ステップを含む撮像方法。
JP2017500609A 2015-02-20 2016-02-08 撮像装置および撮像方法 Active JP6645492B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015032006 2015-02-20
JP2015032006 2015-02-20
PCT/JP2016/053716 WO2016132950A1 (ja) 2015-02-20 2016-02-08 撮像装置および撮像方法

Publications (2)

Publication Number Publication Date
JPWO2016132950A1 JPWO2016132950A1 (ja) 2017-11-30
JP6645492B2 true JP6645492B2 (ja) 2020-02-14

Family

ID=56692222

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017500609A Active JP6645492B2 (ja) 2015-02-20 2016-02-08 撮像装置および撮像方法

Country Status (4)

Country Link
US (1) US20170359565A1 (ja)
JP (1) JP6645492B2 (ja)
CN (1) CN107211085B (ja)
WO (1) WO2016132950A1 (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7107224B2 (ja) * 2016-11-08 2022-07-27 ソニーグループ株式会社 画像処理装置、画像処理方法、及び、プログラム
JP6995494B2 (ja) * 2017-05-02 2022-01-14 キヤノン株式会社 信号処理装置
JP6717272B2 (ja) * 2017-08-01 2020-07-01 トヨタ自動車株式会社 車外報知装置
JP6690612B2 (ja) * 2017-08-03 2020-04-28 トヨタ自動車株式会社 車外報知装置
JP7035447B2 (ja) * 2017-10-26 2022-03-15 トヨタ自動車株式会社 車両制御装置
US10375378B2 (en) * 2017-12-12 2019-08-06 Black Sesame International Holding Limited Dual camera system for real-time depth map generation
DE102017130897A1 (de) 2017-12-21 2019-06-27 Pilz Gmbh & Co. Kg Verfahren zum Bestimmen von Entfernungsinformation aus einer Abbildung eines Raumbereichs
JP2019158759A (ja) * 2018-03-15 2019-09-19 株式会社リコー 撮像装置、車両、及び撮像方法
JP7150508B2 (ja) * 2018-07-24 2022-10-11 株式会社東芝 鉄道車両用撮像システム
US10623660B1 (en) * 2018-09-27 2020-04-14 Eloupes, Inc. Camera array for a mediated-reality system
DE102021104947B4 (de) * 2021-03-02 2023-05-25 Gerhard Schubert Gesellschaft mit beschränkter Haftung Scanner, damit ausgestattete Ermittlungs-Vorrichtung sowie Verfahren für deren Betrieb
WO2024004190A1 (ja) * 2022-06-30 2024-01-04 富士通株式会社 ３次元位置算出方法、装置、及びプログラム

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS57175206A (en) * 1981-04-22 1982-10-28 Canon Inc Distance measuring device
US7009912B1 (en) * 1989-10-30 2006-03-07 Northrop Grumman Corporation Method and system for detection of broadband energy
JP3827912B2 (ja) * 2000-03-31 2006-09-27 山本 和彦 全方向ステレオ画像撮影装置及びステレオ画像撮影装置
JP4483951B2 (ja) * 2008-01-28 2010-06-16 ソニー株式会社 撮像装置
KR20110000848A (ko) * 2009-06-29 2011-01-06 (주)실리콘화일 3차원 거리정보 및 영상 획득 장치
JP2011061684A (ja) * 2009-09-14 2011-03-24 Fujifilm Corp 固体撮像素子及びその駆動方法並びに撮像装置
JP5296218B2 (ja) * 2009-09-28 2013-09-25 株式会社東芝 立体映像表示方法及び立体映像表示装置
CN101720047B (zh) * 2009-11-03 2011-12-21 上海大学 基于颜色分割的多目摄像立体匹配获取深度图像的方法
GB2476685B (en) * 2010-01-05 2015-01-21 Sony Corp A camera arrangement, camera system and method
GB2477333B (en) * 2010-01-29 2014-12-03 Sony Corp A method and apparatus for creating a stereoscopic image
EP2555506B1 (en) * 2010-03-30 2021-05-05 Panasonic Intellectual Property Management Co., Ltd. Imaging control device, immersion position information generation device, imaging control method, immersion position information generation method
JP5942195B2 (ja) * 2010-10-27 2016-06-29 パナソニックＩｐマネジメント株式会社 ３次元画像処理装置、３次元撮像装置および３次元画像処理方法
CN102157012B (zh) * 2011-03-23 2012-11-28 深圳超多维光电子有限公司 对场景进行立体渲染的方法、图形图像处理装置及设备、系统
US8368690B1 (en) * 2011-07-05 2013-02-05 3-D Virtual Lens Technologies, Inc. Calibrator for autostereoscopic image display
US9222767B2 (en) * 2012-01-03 2015-12-29 Samsung Electronics Co., Ltd. Display apparatus and method for estimating depth
JP5701785B2 (ja) * 2012-02-03 2015-04-15 株式会社東芝 カメラモジュール
US20140063193A1 (en) * 2012-08-31 2014-03-06 Wayne Martin Williams Natural 3D Motion For Film And Video
US9373183B2 (en) * 2012-11-15 2016-06-21 Honeywell International Inc. Removing an occlusion from an image
US9083873B1 (en) * 2013-03-28 2015-07-14 Google Inc. Devices and methods for providing multi-aperture lens functionality
US9565416B1 (en) * 2013-09-30 2017-02-07 Google Inc. Depth-assisted focus in multi-camera systems
US9967538B2 (en) * 2013-11-04 2018-05-08 Massachussetts Institute Of Technology Reducing view transitions artifacts in automultiscopic displays
JP2015128131A (ja) * 2013-11-27 2015-07-09 ソニー株式会社 固体撮像素子および電子機器
TWM545271U (zh) * 2017-02-09 2017-07-11 Largan Digital Co Ltd 雙鏡頭驅動裝置與電子裝置

Also Published As

Publication number Publication date
CN107211085B (zh) 2020-06-05
WO2016132950A1 (ja) 2016-08-25
JPWO2016132950A1 (ja) 2017-11-30
CN107211085A (zh) 2017-09-26
US20170359565A1 (en) 2017-12-14

Similar Documents

Publication Publication Date Title
JP6645492B2 (ja) 撮像装置および撮像方法
WO2017159382A1 (ja) 信号処理装置および信号処理方法
JP7200678B2 (ja) 画像処理装置および画像処理方法
JP6834964B2 (ja) 画像処理装置、画像処理方法、およびプログラム
CN109844813B (zh) 图像处理装置和图像处理方法
CN111033571B (zh) 图像处理设备和图像处理方法
CN108139211B (zh) 用于测量的装置和方法以及程序
WO2019130945A1 (ja) 情報処理装置、情報処理方法、プログラム、及び移動体
JP6764573B2 (ja) 画像処理装置、画像処理方法、およびプログラム
JP6701532B2 (ja) 画像処理装置および画像処理方法
US20200322585A1 (en) Image processing device, image processing method, and vehicle
CN110691986B (zh) 用于计算机视觉的设备、方法和非暂时性计算机可读记录介质
CN109791706B (zh) 图像处理装置和图像处理方法
EP3585045B1 (en) Information processing device, information processing method, and program
US10748264B2 (en) Image processing apparatus and image processing method
CN110574357A (zh) 成像控制设备、用于控制成像控制设备的方法以及移动体
WO2017188017A1 (ja) 検出装置、検出方法、およびプログラム
WO2016203989A1 (ja) 画像処理装置および画像処理方法
WO2019093136A1 (ja) 画像処理装置、および画像処理方法、並びにプログラム
JP2018032986A (ja) 情報処理装置および方法、車両、並びに情報処理システム
CN113614777A (zh) 信息处理装置、信息处理方法和程序

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190205

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191008

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191127

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191210

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191223

R151 Written notification of patent or utility model registration

Ref document number: 6645492

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151