JP6701532B2 - 画像処理装置および画像処理方法 - Google Patents

画像処理装置および画像処理方法 Download PDF

Info

Publication number
JP6701532B2
JP6701532B2 JP2017524820A JP2017524820A JP6701532B2 JP 6701532 B2 JP6701532 B2 JP 6701532B2 JP 2017524820 A JP2017524820 A JP 2017524820A JP 2017524820 A JP2017524820 A JP 2017524820A JP 6701532 B2 JP6701532 B2 JP 6701532B2
Authority
JP
Japan
Prior art keywords
image
unit
difference
parameter
estimation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2017524820A
Other languages
English (en)
Other versions
JPWO2016203988A1 (ja
Inventor
佳宏 明官
佳宏 明官
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPWO2016203988A1 publication Critical patent/JPWO2016203988A1/ja
Application granted granted Critical
Publication of JP6701532B2 publication Critical patent/JP6701532B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G01C11/06—Interpretation of pictures by comparison of two or more pictures of the same area
    • G01C11/12—Interpretation of pictures by comparison of two or more pictures of the same area the pictures being supported in the same relative position as when they were taken
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
    • G06T3/147—Transformations for image registration, e.g. adjusting or mapping for alignment of images using affine transformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/18—Image warping, e.g. rearranging pixels individually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Measurement Of Optical Distance (AREA)

Description

本開示は、画像処理装置および画像処理方法に関し、特に、ステレオカメラの経年ずれによって発生する画像のずれをロバストに補正することができるようにした画像処理装置および画像処理方法に関する。
近年、コンピュータ性能の改善に伴い、２つのカメラで異なる視点の画像を撮像するステレオカメラにより検出されたデプス（奥行き）を用いてジェスチャUI（User Interface）などを実現することが考案されている。
デプス検出において行われるステレオマッチングでは、探索方向が水平方向のみであるため、左右カメラ間で垂直方向のずれが無い状態（左右カメラ間でエピポーララインが一致し、並行化されている状態）が前提となっている。従って、ステレオカメラの回転ずれなどを画像処理によってサブピクセルオーダで補正（レクティフィケーション（Rectification））する必要がある。
レクティフィケーションでは、ステレオカメラのキャリブレーションによって取得されたステレオカメラごとに固有のパラメータを用いる必要がある。キャリブレーションの方法としては、例えば、位置関係が既知である複数の特徴点が印字されたチャートパターンを、視点を変えながら複数回撮像する方法がある（例えば、非特許文献１参照）。
しかしながら、民生品用途等の安価なステレオカメラにおいては、メカ的に左右カメラ間の幾何学的な位置精度を保証するのは困難であり、ステレオカメラの経年ずれによりパラメータが変化する可能性がある。
そこで、ステレオカメラの経年ずれによって起こり得る左右の画像のずれを単純にモデル化し、そのモデルにしたがって左右の画像のずれを補正することが考案されている（例えば、特許文献１参照）。特許文献１に記載されている補正方法では、ステレオカメラの画角や解像度などが必要ないため、容易に補正を行うことができる。
なお、本明細書において、ステレオカメラの経年ずれとは、初期のキャリブレーション時点からのステレオカメラの変動を意味し、筐体に外部から力が加わることによる変形、温度による材料の変形などがある。
特開2012-177676号公報
Zhengyou Zhang, "A Flexible New Technique for Camera Calibration," IEEE Trans. Pattern Anal. Mach. Intell. (PAMI), 22(11): 1330-1334, 2000
ところで、経年ずれによって発生する画像のずれの支配的な要因は、経年ずれによって発生する左右カメラ間のピッチ（Pitch）角の差、ヨー（Yaw）角の差、ロール（Roll）角の差、および撮像画像のスケール比率のうちの少なくとも１つである。
しかしながら、特許文献１に記載されている、これらをパラメータとしないモデルでは、起こり得る経年ずれなどに応じて、画像ずれの支配的な要因を適応的に変化させることは困難である。その結果、ステレオカメラの経年ずれによって発生する画像ずれをロバストに補正することができない。
本開示は、このような状況に鑑みてなされたものであり、ステレオカメラの経年ずれによって発生する画像のずれをロバストに補正することができるようにするものである。
本開示の一側面の画像処理装置は、第１の撮像部と第２の撮像部のピッチ角の差、ヨー角の差、およびロール角の差、並びに前記第１の撮像部で撮像された第１の画像と前記第２の撮像部で撮像された第２の画像のスケール比率のうちの少なくとも２つをパラメータとしたモデル式に基づいて算出された前記第１の画像と前記第２の画像の垂直方向のずれの推定値と、前記第１の画像と前記第２の画像の垂直方向のずれの実測値との差分が最小となるように、前記パラメータを推定する推定部と、前記第１の画像および前記第２の画像の一方における特徴点の垂直方向の位置と、その特徴点に対応する他方における点の垂直方向の位置のペアを検出する検出部と、前記特徴点の分布に基づいて、前記第１の撮像部と前記第２の撮像部を用いた撮影の方法を指示する撮影指示情報を生成する生成部とを備え、前記実測値は、前記ペアに基づいて算出されるように構成された画像処理装置である。
本開示の一側面の画像処理方法は、本開示の一側面の画像処理装置に対応する。
本開示の一側面においては、第１の撮像部と第２の撮像部のピッチ角の差、ヨー角の差、およびロール角の差、並びに前記第１の撮像部で撮像された第１の画像と前記第２の撮像部で撮像された第２の画像のスケール比率のうちの少なくとも２つをパラメータとしたモデル式に基づいて算出された前記第１の画像と前記第２の画像の垂直方向のずれの推定値と、前記第１の画像と前記第２の画像の垂直方向のずれの実測値との差分が最小となるように、前記パラメータが推定される。また、前記第１の画像および前記第２の画像の一方における特徴点の垂直方向の位置と、その特徴点に対応する他方における点の垂直方向の位置のペアが検出される。そして、前記特徴点の分布に基づいて、前記第１の撮像部と前記第２の撮像部を用いた撮影の方法を指示する撮影指示情報が生成される。また、前記実測値が、前記ペアに基づいて算出されるように構成される。
なお、本開示の一側面の画像処理装置は、コンピュータにプログラムを実行させることにより実現することができる。
また、本開示の一側面の画像処理装置を実現するために、コンピュータに実行させるプログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。
本開示の一側面によれば、画像に対して処理を行うことができる。また、本開示の一側面によれば、ステレオカメラの経年ずれによって発生する画像のずれをロバストに補正することができる。
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
ステレオカメラの経年ずれによって発生する画像のずれをロバストに補正することができるようにする。 図１のステレオカメラの外観構成例を示す斜視図である。 経年ずれパラメータを説明する図である。 ワーピング前の座標の演算方法を説明する図である。 左右ペア座標の例を示す図である。 推定パラメータの決定方法を説明する図である。 ベリフィケーションを説明する図である。 図１の撮像装置の画像処理を説明するフローチャートである。 図８の推定パラメータ決定処理の詳細を説明するフローチャートである。 本開示を適用した撮像装置の第２実施の形態の構成例を示すブロック図である。 撮影指示情報の第１の例を示す図である。 図１１の撮影指示情報に基づく中点の分布の変化を説明する図である。 撮影指示情報の第２の例を示す図である。 図１０の撮像装置の画像処理を説明するフローチャートである。 図１４の撮影指示情報生成処理の詳細を説明するフローチャートである。 経年ずれパラメータを説明する図である。 コンピュータのハードウエアの構成例を示すブロック図である。 車両制御システムの概略的な構成の一例を示すブロック図である。 車外情報検出部及び撮像部の設置位置の一例を示す説明図である。
以下、本開示を実施するための形態（以下、実施の形態という）について説明する。なお、説明は以下の順序で行う。
１．第１実施の形態：撮像装置（図１乃至図９）
２．第２実施の形態：撮像装置（図１０乃至図１５）
３．経年ずれパラメータの説明（図１６）
４．第３実施の形態：コンピュータ（図１７）
５．第４実施の形態：車両制御システム（図１８および図１９）
＜第１実施の形態＞
（撮像装置の第１実施の形態の構成例）
図１は、本開示を適用した撮像装置の第１実施の形態の構成例を示すブロック図である。
図１の撮像装置１０は、撮像モジュール部１１、ワーピング部１２、および経年ずれ推定部１３により構成され、２視点の画像を撮像する。
図１は、本開示を適用した撮像装置の第１実施の形態の構成例を示すブロック図である。
撮像装置１０の撮像モジュール部１１は、ステレオカメラ２１と初期パラメータ保存部２２により構成される。
ステレオカメラ２１は、被写体に向かって左側に配置される左カメラ２１Ａと、右側に配置される右カメラ２１Ｂとにより構成される。左カメラ２１Ａと右カメラ２１Ｂは、異なる視点から同一の被写体を撮像し、撮像画像を得る。左カメラ２１Ａにより撮像された撮像画像（以下、左画像という）と、右カメラ２１Ｂにより撮像された撮像画像（以下、右画像という）は、ワーピング部１２に供給される。
初期パラメータ保存部２２は、キャリブレーションにより取得されたステレオカメラ２１のパラメータを、初期パラメータとして保存する。初期パラメータは、左カメラ２１Ａと右カメラ２１Ｂのレンズ歪形状などを表す内部パラメータと、左カメラ２１Ａと右カメラ２１Ｂの幾何学的な位置関係などを表す外部パラメータとにより構成される。
キャリブレーションの方法や初期パラメータは、特に限定されないが、例えば、非特許文献１に記載されているものにすることができる。
ワーピング部１２は、左ワーピング部３１、右ワーピング部３２、および生成部３３により構成される。
左ワーピング部３１は、左画像に対してレクティフィケーションを行う。具体的には、左ワーピング部３１は、左画像の各画素を順に注目画素とする。左ワーピング部３１は、左カメラ２１Ａから供給される左画像のうちの、生成部３３から供給される左画像の注目画素のワーピング前の座標の画素を注目画素とすることにより、注目画素に対するワーピングを行う。左ワーピング部３１は、左画像の全ての画素に対するワーピングの結果得られる画像を、レクティフィケーション後の左画像として経年ずれ推定部１３に供給するとともに、出力する。
右ワーピング部３２も、左ワーピング部３１と同様に、生成部３３から供給される右画像の注目画素のワーピング前の座標に基づいて、右カメラ２１Ｂから供給される右画像のレクティフィケーションを行う。右ワーピング部３２は、レクティフィケーション後の右画像を経年ずれ推定部１３に供給するとともに、出力する。
生成部３３は、初期パラメータ保存部２２から初期パラメータを読み出す。また、生成部３３は、経年ずれ推定部１３から、ステレオカメラ２１の経年ずれによる左画像と右画像のずれを表すモデル式（以下、経年ずれモデル式）に用いられる経年ずれパラメータを読み出す。
経年ずれパラメータは、経年ずれによって発生する左右の画像のずれの支配的な要因となり得る、左カメラ２１Ａ(第１の撮像部)と右カメラ２１Ｂ（第２の撮像部）のピッチ角の差、ヨー角の差、およびロール角の差、並びに左画像と右画像のスケール比率である。以下では、ピッチ角の差、ヨー角の差、ロール角の差、およびスケール比率を特に区別する必要がない場合、パラメータという。
生成部３３は、初期パラメータと経年ずれパラメータに基づいて、左画像の注目画素のワーピング前の座標と右画像の注目画素のワーピング前の座標を演算する。そして、生成部３３は、左画像の注目画素のワーピング前の座標を左ワーピング部３１に供給し、右画像の注目画素のワーピング前の座標を右ワーピング部３２に供給する。その結果、左カメラ２１Ａと右カメラ２１Ｂのレンズ歪や、左カメラ２１Ａと右カメラ２１Ｂ間の幾何学的な位置ずれなどによる、左画像と右画像の間の水平方向および垂直方向のずれを補正（レクティフィケーション）することができる。
経年ずれ推定部１３は、特徴点検出部４１、左右ペア検出部４２、左右ペアバッファ４３、分布解析部４４、推定部４５、判定部４６、更新部４７、および経年ずれパラメータ保存部４８により構成される。
特徴点検出部４１は、右ワーピング部３２から供給されるレクティフィケーション後の右画像から、右画像と左画像の対応付けを行いやすい絵柄のコーナなどを特徴点として検出する。特徴点検出部４１における検出としては、例えばハリスコーナ検出などを用いることができる。ハリスコーナ検出については、例えば、C. Harris, M.J. Stephens, "A combined corner and edge detector", In Alvey Vision Conference, pp. 147-152, 1988に記載されている。
特徴点検出部４１は、検出された各特徴点の座標を左右ペア検出部４２に供給する。なお、特徴点検出部４１は、左ワーピング部３１から供給されるレクティフィケーション後の左画像から特徴点の座標を検出し、特徴点の座標を左右ペア検出部４２に供給するようにしてもよい。
左右ペア検出部４２は、特徴点検出部４１から供給される各特徴点の座標に基づいて、右ワーピング部３２からのレクティフィケーション後の右画像と左ワーピング部３１からのレクティフィケーション後の左画像のブロックマッチング等を行う。これにより、左右ペア検出部４２（検出部）は、レクティフィケーション後の右画像の各特徴点に対応する、レクティフィケーション後の左画像の点の座標を検出する。
検出される座標の精度は、例えば、左画像と右画像を用いて行われるステレオマッチングの精度と同一のサブピクセル精度である。左右ペア検出部４２は、特徴点ごとに、レクティフィケーション後の右画像の特徴点の座標と、その特徴点に対応するレクティフィケーション後の左画像の点の座標のペアを、左右ペア座標として左右ペアバッファ４３に供給する。
左右ペアバッファ４３は、左右ペア検出部４２から供給される各特徴点の左右ペア座標を保持する。
分布解析部４４は、左右ペアバッファ４３から各特徴点の左右ペア座標を読み出す。分布解析部４４は、各特徴点の左右ペア座標に基づいて、各特徴点の左右ペア座標の中点の座標を演算する。分布解析部４４は、各特徴点の左右ペア座標の中点の座標の空間的な分布に基づいて、経年ずれパラメータのうちの推定対象とするパラメータを推定パラメータとして決定（選択）し、推定部４５に供給する。
推定部４５は、左右ペアバッファ４３から各特徴点の左右ペア座標を読み出す。推定部４５は、垂直方向の経年ずれモデル式から、分布解析部４４から供給される推定パラメータ以外のパラメータの項を削除した式を、垂直方向のずれを推定する推定式とする。
推定部４５は、各特徴点の左右ペア座標と推定式に基づいて、各特徴点の左右ペア座標の垂直方向の差分である垂直方向のずれの実測値と、推定式により算出される垂直方向のずれの推定値との差分が最小となるように、推定式に用いられる推定パラメータを推定する。推定部４５は、推定された推定パラメータを代入した推定式を判定部４６に供給し、推定パラメータを更新部４７に供給する。
判定部４６は、左右ペアバッファ４３から各特徴点の左右ペア座標を読み出す。判定部４６は、各特徴点の左右ペア座標と推定部４５から供給される推定式とに基づいて、各特徴点の左右ペア座標の垂直方向の差分と、推定式により推定される垂直方向のずれとの残差の統計量を算出する。判定部４６は、算出された統計量に基づいて、推定パラメータが妥当であるかを判定するベリフィケーションを行う。判定部４６は、ベリフィケーション結果を更新部４７に供給する。
更新部４７は、判定部４６から供給されるベリフィケーション結果に基づいて、推定部４５から供給される推定パラメータを経年ずれパラメータ保存部４８に供給し、記憶させることにより、推定パラメータを更新する。
経年ずれパラメータ保存部４８は、更新部４７から供給される推定パラメータを記憶する。
なお、撮像装置１０は、判定部４６を設けず、推定パラメータが推定されたとき、常に、推定パラメータが更新されるようにしてもよい。
（ステレオカメラの外観構成例）
図２は、図１のステレオカメラ２１の外観構成例を示す斜視図である。
図２に示すように、ステレオカメラ２１の左カメラ２１Ａと右カメラ２１Ｂは、水平方向（Ｘ方向）に並んで配置される。図２の例では、ステレオカメラ２１の左カメラ２１Ａと右カメラ２１Ｂの間の基線長（ベースライン）ｂは80[mm]である。
（経年ずれパラメータの説明）
図３は、経年ずれパラメータを説明する図である。
経年ずれパラメータを構成する、ピッチ角の差θ[rad]、ヨー角の差φ[rad]、ロール角の差α[rad]、およびスケール比率λ[倍]は、以下の式（１）で表される。
Figure 0006701532
なお、図３に示すように、θＬ，θＲは、それぞれ、左カメラ２１Ａ、右カメラ２１Ｂの、水平方向の軸であるＸ軸を中心とした回転方向の角度であるピッチ角である。φＬ，φＲは、それぞれ、左カメラ２１Ａ、右カメラ２１Ｂの、垂直方向の軸であるＹ軸を中心とした回転方向の角度であるヨー角である。
また、αＬ，αＲは、それぞれ、左カメラ２１Ａ、右カメラ２１Ｂの、光軸方向の軸であるＺ軸を中心とした回転方向の角度であるロール角である。λＬ，λＲは、それぞれ、左画像６１、右画像６２の水平方向のサイズである。なお、λＬ，λＲは、それぞれ、左画像６１、右画像６２の垂直方向のサイズであってもよい。
ピッチ角の差θ[rad]、ヨー角の差φ[rad]、およびロール角の差α[rad]は、視点方向のずれを発生させる。また、スケール比率λ[倍]は、左カメラ２１Ａと右カメラ２１Ｂの焦点距離のずれ等に起因する。
（ワーピング前の座標の演算方法の説明）
図４は、図１の生成部３３によるワーピング前の座標の演算方法を説明する図である。
経年ずれパラメータが微小である場合、ある座標（Ｘ,Ｙ）においてステレオカメラ２１の経年ずれにより発生する、左画像と右画像の水平方向のずれ量ΔＸと垂直方向のずれ量ΔＹは、以下の式（２）で近似することができる。従って、撮像装置１０は、式（２）を経年ずれモデル式として採用する。
Figure 0006701532
ここで、座標系が、画像の中心を(0,0)とする座標系であり、左カメラ２１Ａと右カメラ２１Ｂは、焦点距離fが1.0であるピンホールカメラである場合、座標（Ｘ,Ｙ）においてずれ量ΔＸおよびずれ量ΔＹが発生した左画像内の座標（ＸL_real,ＹL_real）と右画像内の座標(ＸR_real,ＹR_real)は、以下の式（３）で表される。
Figure 0006701532
従って、生成部３３は、まず、左画像と右画像の注目画素の座標（Ｘ,Ｙ）に基づいて、ステレオカメラ２１の経年ずれにより位置がずれた後の注目画素の左画像内の座標（ＸL_real,ＹL_real）と右画像内の座標(ＸR_real,ＹR_real)とを演算する。
具体的には、生成部３３は、上述した式（２）により、注目画素に対する水平方向のずれ量ΔＸと垂直方向のずれ量ΔＹを演算する。このとき、経年ずれパラメータのうちの、経年ずれパラメータ保存部４８に保持されていないものは０とする。そして、生成部３３は、ずれ量ΔＸとずれ量Ｙに基づいて、上述した式（３）により、座標（ＸL_real,ＹL_real）と座標(ＸR_real,ＹR_real)とを演算する。
次に、生成部３３は、座標（ＸL_real,ＹL_real）と座標(ＸR_real, YR_real)のそれぞれに対し、初期パラメータに基づいて、非特許文献１に記載の方法等にしたがって、ワーピング前の座標（X´´L,Y´´L）,（X´´R,Y´´R）を演算する。
（左右ペア座標の例）
図５は、左右ペア座標の例を示す図である。
図５のＡに示すように、特徴点検出部４１は、右画像８１から、例えば特徴点８１Ａと特徴点８１Ｂを検出する。そして、特徴点検出部４１は、特徴点８１Ａの座標（XR１，YR１）と特徴点８１Ｂの座標（XR２，YR２）を左右ペア検出部４２に供給する。
左右ペア検出部４２は、図５のＢに示すように、右画像８１の座標（XR１，YR１）の特徴点８１Ａを中心としたブロック９１Ａと左画像８２のブロックマッチングを行う。そして、左右ペア検出部４２は、ブロック９１Ａと相関が最も高い左画像８２内のブロック９２Ａの中心８２Ａの座標（XL１，YL１）と特徴点８１Ａの座標（XR１，YR１）のペアを、左右ペア座標とする。
同様に、左右ペア検出部４２は、右画像８１の座標（XR２，YR２）の特徴点８１Ｂを中心としたブロック９１Ｂと左画像８２のブロックマッチングを行う。そして、左右ペア検出部４２は、ブロック９１Ｂと相関が最も高い左画像８２内のブロック９２Ｂの中心８２Ｂの座標（XL２，YL２）と特徴点８１Ｂの座標（XR２，YR２）のペアを、左右ペア座標とする。
（推定パラメータの決定方法）
図６は、図１の分布解析部４４による推定パラメータの決定方法を説明する図である。
上述したように、撮像装置１０は、上述した式（２）を経年ずれモデル式として採用する。従って、推定部４５は、基本的には、垂直方向の経年ずれモデル式である式（２）のずれ量ΔＹを定義する式を推定式とし、推定式により推定されるずれ量ΔＹと、ずれ量ΔＹの実測値との差分が最小となるように、推定式に用いられる経年ずれパラメータを推定する。
具体的には、推定部４５は、ずれ量ΔＹの実測値として、各特徴点の左右ペア座標を構成する左画像の座標（ＸＬ，ＹＬ）と右画像の座標（ＸＲ，ＹＲ）の垂直方向の差分を用いる。また、推定部４５は、左画像の座標（ＸＬ，ＹＬ）と右画像の座標（ＸＲ，ＹＲ）の中点の座標（ＸＭ，ＹＭ）を、以下の式（４）により求める。
Figure 0006701532
さらに、推定部４５は、式（２）のずれ量ΔＹを定義する式に基づいて、推定式により推定される中点の座標（XＭ，YＭ）に対するずれ量ΔＹと、ずれ量ΔＹの実測値の誤差の自乗和Ｅを、以下の式（５）により評価関数として定義する。
Figure 0006701532
そして、推定部４５は、Levenberg-Marquardt法などの一般的な非線形最小化手法を用いて、誤差の自乗和Ｅが最小となる経年ずれパラメータを推定する。
しかしながら、図６に示すように、式（５）において、差θの係数は−（ＹＭ ２+１）であり、差φの係数はＸＭＹＭであり、差αの係数は−ＸＭであり、スケール比率λの係数はＹＭである。
従って、分布解析部４４は、所定数以上の中点の座標（ＸＭ，ＹＭ）が画面全体の領域ａ１に分布している場合、即ち特徴点の数が所定数以上である場合にのみ、差θを十分な精度で推定可能であると判断し、差θを推定パラメータに決定する。
また、分布解析部４４は、所定数以上の中点の座標（ＸＭ，ＹＭ）が、画面を３×３に分割したときの左上の領域ａ２、左下の領域ｂ２、右上の領域ｃ２、右下の領域ｄ２、および中央の領域ｅ２に分布している場合にのみ、差φを十分な精度で推定可能であると判断し、差φを推定パラメータに決定する。
さらに、分布解析部４４は、所定数以上の中点の座標（ＸＭ，ＹＭ）が、水平方向に複数個（図６の例では３個）に分割された領域ａ３乃至ｃ３に分布している場合にのみ、差αを十分な精度で推定可能であると判断し、差αを推定パラメータに決定する。
また、分布解析部４４は、中点の座標（ＸＭ，ＹＭ）が、垂直方向に複数個（図６の例では３個）に分割された領域ａ４乃至ｃ４に分布している場合にのみ、スケール比率λを十分な精度で推定可能であると判断し、スケール比率λを推定パラメータに決定する。
経年ずれパラメータのうちの推定パラメータ以外のパラメータの項は、推定式から削除される。従って、経年ずれパラメータのうちの推定パラメータ以外のパラメータは推定されない。
例えば、差θとスケール比率λのみが推定パラメータに決定された場合、推定部４５は、以下の式（６）により定義される誤差の自乗和Ｅａが最小となる差θとスケール比率λのみを推定する。
Figure 0006701532
また、差θのみが推定パラメータに決定された場合、推定部４５は、以下の式（７）により定義される誤差の自乗和Ｅｂが最小となる差θのみを推定する。
Figure 0006701532
（ベリフィケーションの説明）
図７は、図１の判定部４６によるベリフィケーションを説明する図である。
図７のグラフは、横軸を残差Yerr[Pixel]とし、縦軸を特徴点の数[個]としたヒストグラムである。
例えば、経年ずれパラメータの全てのパラメータが推定パラメータに決定された場合、残差Yerrは、以下の式（８）により表される。
Figure 0006701532
判定部４６は、各特徴点の残差Yerrを求め、各残差Yerrに対応する特徴点の数を統計量として算出することにより、図７のヒストグラムを生成する。そして、判定部４６は、予め有効範囲として定められた絶対値がy_thr(例えば0.5)以下である範囲内に残差Yerrが存在する特徴点の数count_validを求める。
判定部４６は、全特徴点の個数count_totalに対する特徴点の数count_validの割合が、予め定められた有効ペア割合valid_ratio（例えば0.8）以上である場合、推定パラメータが妥当であるというベリフィケーション結果を生成する。一方、全特徴点の個数count_totalに対する特徴点の数count_validの割合が、予め定められた有効ペア割合valid_ratioより小さい場合、判定部４６は、推定パラメータが妥当ではないというベリフィケーション結果を生成する。
（撮像装置の処理の説明）
図８は、図１の撮像装置１０の画像処理を説明するフローチャートである。
図８のステップＳ１１において、撮像装置１０は、左右ペアバッファ４３を初期化する。これにより、左右ペアバッファ４３は、保持している左右ペア座標を削除する。
ステップＳ１２において、ステレオカメラ２１の左カメラ２１Ａは左画像を撮像し、右カメラ２１Ｂは右画像を撮像する。左画像は、左ワーピング部３１に供給され、右画像は、右ワーピング部３２に供給される。
ステップＳ１３において、左ワーピング部３１は、左画像を構成する画素のうちの、まだ注目画素とされていない画素を左画像の注目画素に決定する。また、右ワーピング部３２は、右画像を構成する画素のうちの、左画像の注目画素と同一の位置の画素を右画像の注目画素に決定する。
ステップＳ１４において、生成部３３は、初期パラメータ保存部２２から読み出した初期パラメータと、経年ずれパラメータ保存部４８から読み出した経年ずれパラメータとに基づいて、左画像および右画像の注目画素のワーピング前の座標を演算する。そして、生成部３３は、左画像の注目画素のワーピング前の座標を左ワーピング部３１に供給し、右画像の注目画素のワーピング前の座標を右ワーピング部３２に供給する。
ステップＳ１５において、左ワーピング部３１は、左カメラ２１Ａから供給される左画像のうちの、生成部３３から供給される左画像の注目画素のワーピング前の座標の画素を注目画素とすることにより、注目画素に対するワーピングを行う。また、右ワーピング部３２は、右カメラ２１Ｂから供給される右画像のうちの、生成部３３から供給される右画像の注目画素のワーピング前の座標の画素を注目画素とすることにより、注目画素に対するワーピングを行う。
ステップＳ１６において、左ワーピング部３１は、左画像の全ての画素を注目画素に決定したかどうかを判定する。ステップＳ１６で、左画像の全ての画素をまだ注目画素に決定していないと判定された場合、処理はステップＳ１３に戻り、左画像の全ての画素を注目画素に決定するまで、ステップＳ１３乃至Ｓ１６の処理が繰り返される。
一方、ステップＳ１６で、左画像の全ての画素を注目画素に決定したと判定された場合、左ワーピング部３１は、左画像の全ての画素に対するワーピングの結果得られる画像を、レクティフィケーション後の左画像として左右ペア検出部４２に供給する。また、右ワーピング部３２は、右画像の全ての画素に対するワーピングの結果得られる画像を、レクティフィケーション後の右画像として特徴点検出部４１と左右ペア検出部４２に供給する。
そして、ステップＳ１７において、特徴点検出部４１は、右ワーピング部３２から供給されるレクティフィケーション後の右画像から特徴点を検出する。特徴点検出部４１は、レクティフィケーション後の右画像から検出された各特徴点の座標を左右ペア検出部４２に供給する。
ステップＳ１８において、左右ペア検出部４２は、各特徴点の座標に基づいて、レクティフィケーション後の右画像と左画像のブロックマッチング等を行うことにより、各特徴点の左右ペア座標を生成する。各特徴点の左右ペア座標は、左右ペアバッファ４３に供給され、保持される。
ステップＳ１９において、分布解析部４４は、左右ペアバッファ４３に保持されている各特徴点の左右ペア座標の分布に基づいて、推定パラメータを決定する推定パラメータ決定処理を行う。この推定パラメータ決定処理の詳細は、後述する図９を参照して説明する。
ステップＳ２０において、推定部４５は、垂直方向の経年ずれモデル式から推定パラメータ以外のパラメータの項を削除した推定式と、左右ペアバッファ４３に保持されている各特徴点の左右ペア座標とに基づいて、推定パラメータを推定する。推定部４５は、推定された推定パラメータを代入した推定式を判定部４６に供給し、推定パラメータを更新部４７に供給する。
ステップＳ２１において、判定部４６は、左右ペアバッファ４３に保持されている各特徴点の左右ペア座標と推定部４５から供給される推定式とに基づいて、残差のヒストグラムを生成し、残差のヒストグラムに基づいてベリフィケーションを行う。判定部４６は、ベリフィケーション結果を更新部４７に供給する。
ステップＳ２２において、更新部４７は、判定部４６から供給されるベリフィケーション結果に基づいて、推定パラメータが妥当であるかどうか、即ちベリフィケーション結果が、推定パラメータが妥当であるというものであるかどうかを判定する。
ステップＳ２２で推定パラメータが妥当であると判定された場合、ステップＳ２３において、更新部４７は、推定部４５から供給される推定パラメータを経年ずれパラメータ保存部４８に供給して記憶させることにより、推定パラメータを更新する。そして、処理は終了する。
一方、ステップＳ２３で推定パラメータが妥当ではないと判定された場合、ステップＳ２４において、撮像装置１０は、ユーザにレクティフィケーションが正常に行われなかった旨を通知し、リトライを要求するといったエラー処理を行い、処理を終了する。
図９は、図８のステップＳ１９の推定パラメータ決定処理の詳細を説明するフローチャートである。
図９のステップＳ４１において、分布解析部４４は、左右ペアバッファ４３に保持されている左右ペア座標に対応する特徴点の数をＮに設定する。ステップＳ４２において、分布解析部４４は、特徴点の数Ｎが、閾値ｋ１（例えば100[点]）より大きいかどうかを判定する。
ステップＳ４２で、特徴点の数が閾値ｋ１以下であると判定された場合、処理は図８のステップＳ１２に戻り、以降の処理が行われる。その結果、新たな左画像と右画像が撮像され、新たな左画像と右画像における左右ペア座標が左右ペアバッファ４３に追加される。
一方、ステップＳ４２で、特徴点の数が閾値ｋ１より大きいと判定された場合、ステップＳ４３において、分布解析部４４は、差θを推定パラメータに決定し、推定部４５に供給する。
ステップＳ４４において、分布解析部４４は、中点の座標（ＸＭ，ＹＭ）が図６の領域ａ４乃至ｃ４のそれぞれに分布する左右ペア座標に対応する特徴点の数Ｎ１乃至Ｎ３を算出する。また、分布解析部４４は、中点の座標（XＭ，YＭ）が図６の領域ａ３乃至ｃ３のそれぞれに分布する左右ペア座標に対応する特徴点の数Ｎ４乃至Ｎ６を算出する。さらに、分布解析部４４は、中点の座標（XＭ，YＭ）が、図６の領域ａ２乃至ｅ２のそれぞれに分布する左右ペア座標に対応する特徴点の数Ｎ７乃至Ｎ１１を算出する。
具体的には、分布解析部４４は、左右ペアバッファ４３から各特徴点の左右ペア座標を読み出す。そして、分布解析部４４は、各特徴点の左右ペア座標に基づいて、各特徴点の左右ペア座標の中点の座標（ＸＭ，ＹＭ）を演算する。
分布解析部４４は、各中点の座標（ＸＭ，ＹＭ）を順に処理対象とし、処理対象の座標（ＸＭ，ＹＭ）のＹＭが、画面の垂直方向のサイズ（height）をHとしたときの-H/6以下である場合、特徴点の数Ｎ１を１だけインクリメントする。一方、分布解析部４４は、ＹＭが-H/6より大きくH/6より小さい場合、特徴点の数Ｎ２を１だけインクリメントし、ＹＭがH/6以上である場合、特徴点の数Ｎ３を１だけインクリメントする。分布解析部４４は、全ての中点の座標（ＸＭ，ＹＭ）を処理対象としたときの特徴点の数Ｎ１乃至Ｎ３を、最終的な特徴点の数Ｎ１乃至Ｎ３とする。
また、分布解析部４４は、各中点の座標（ＸＭ，ＹＭ）を順に処理対象とし、処理対象の座標（ＸＭ，ＹＭ）のＸＭが、画面の水平方向のサイズ（width）をWとしたときの-W/6以下である場合、特徴点の数Ｎ４を１だけインクリメントする。一方、分布解析部４４は、ＸＭが-W/6より大きくW/6より小さい場合、特徴点の数Ｎ５を１だけインクリメントし、ＸＭがW/6以上である場合、特徴点の数Ｎ６を１だけインクリメントする。分布解析部４４は、全ての中点の座標（ＸＭ，ＹＭ）を処理対象としたときの特徴点の数Ｎ４乃至Ｎ６を、最終的な特徴点の数Ｎ４乃至Ｎ６とする。
さらに、分布解析部４４は、各中点の座標（ＸＭ，ＹＭ）を順に処理対象とし、処理対象の座標（ＸＭ，ＹＭ）のＸＭが-W/6以下であり、かつ、ＹＭが-H/6以下である場合、特徴点の数Ｎ７を１だけインクリメントする。一方、分布解析部４４は、ＸＭが-W/6以下であり、かつ、ＹＭがH/6以上である場合、特徴点の数Ｎ８を１だけインクリメントし、ＸＭがW/6以上であり、かつ、ＹＭが-H/6以下である特徴点の数Ｎ９を１だけインクリメントする。また、分布解析部４４は、ＸＭがW/6以上であり、かつ、ＹＭがH/6以上である場合、特徴点の数Ｎ１０を１だけインクリメントし、ＸＭが-W/6より大きくW/6より小さい、かつ、ＹＭが-H/6より大きくH/6より小さい場合、特徴点の数Ｎ１１を１だけインクリメントする。分布解析部４４は、全ての中点の座標（ＸＭ，ＹＭ）を処理対象としたときの特徴点の数Ｎ７乃至Ｎ１１を、最終的な特徴点の数Ｎ７乃至Ｎ１１とする。
ステップＳ４５において、分布解析部４４は、特徴点の数Ｎ１乃至Ｎ３の全てが閾値ｋ２（例えば、50[点]）より大きいかどうかを判定する。ステップＳ４５で特徴点の数Ｎ１乃至Ｎ３の全てが閾値ｋ２より大きいと判定された場合、ステップＳ４６において、分布解析部４４は、スケール比率λを推定パラメータに決定し、推定部４５に供給する。そして、処理はステップＳ４７に進む。
一方、ステップＳ４５で特徴点の数Ｎ１乃至Ｎ３の少なくとも１つが閾値ｋ２以下であると判定された場合、処理はステップＳ４６をスキップし、ステップＳ４７に進む。
ステップＳ４７において、分布解析部４４は、特徴点の数Ｎ４乃至Ｎ６の全てが閾値ｋ２より大きいかどうかを判定する。ステップＳ４７で特徴点の数Ｎ４乃至Ｎ６の全てが閾値ｋ２より大きいと判定された場合、ステップＳ４８において、分布解析部４４は、差αを推定パラメータに決定し、推定部４５に供給する。そして、処理はステップＳ４９に進む。
一方、ステップＳ４７で特徴点の数Ｎ４乃至Ｎ６の少なくとも１つが閾値ｋ２以下であると判定された場合、処理はステップＳ４８をスキップし、ステップＳ４９に進む。
ステップＳ４９において、分布解析部４４は、特徴点の数Ｎ７乃至Ｎ１１の全てが閾値ｋ２より大きいかどうかを判定する。ステップＳ４９で特徴点の数Ｎ７乃至Ｎ１１の全てが閾値ｋ２より大きいと判定された場合、ステップＳ５０において、分布解析部４４は、差φを推定パラメータに決定し、推定部４５に供給する。そして、処理は図８のステップＳ１９に戻り、ステップＳ２０に進む。
一方、ステップＳ４９で特徴点の数Ｎ７乃至Ｎ１１の少なくとも１つが閾値ｋ２以下であると判定された場合、処理はステップＳ５０をスキップし、図８のステップＳ１９に戻り、ステップＳ２０に進む。
なお、差θに起因する左画像と右画像のずれが発生すると、僅かなずれであってもステレオマッチングのエラーが多く発生するため、差θの推定の重要度は高い。従って、図９の推定パラメータ決定処理では、常に、差θが推定パラメータに決定される。
これに対して、例えば、スケール比率λに起因する左画像と右画像のずれによる影響は、画面中央部においてクリティカルに発生しないと考えられる。従って、推定パラメータ決定処理では、特徴点の数Ｎ１乃至Ｎ３の全てが閾値ｋ２より大きい場合、即ち十分な精度でスケール比率λを推定可能である場合にのみ、スケール比率λを推定パラメータに決定する。
以上のように、撮像装置１０は、経年ずれパラメータのうちの少なくとも１つのパラメータを用いた経年ずれモデル式に基づいてパラメータを推定する。従って、例えば、起こり得るステレオカメラ２１の経年ずれなどに応じて、推定するパラメータを変化させ、推定式により推定される垂直方向のずれの支配的な要因を変化させることができる。
よって、ステレオカメラ２１の経年ずれによって発生する画像ずれを少ない演算量でロバストに補正することができる。その結果、メカコストをかけずにステレオカメラ２１の経年ずれを保証することが可能になり、安価な民生品用途のステレオカメラを実現することができる。
また、撮像装置１０は、経年ずれパラメータの各パラメータが十分な精度で推定可能であるかを判定し、十分な精度で推定可能であると判定されたパラメータのみを推定するので、推定結果のロバスト性を確保することができる。
＜第２実施の形態＞
（撮像装置の第２実施の形態の構成例）
図１０は、本開示を適用した撮像装置の第２実施の形態の構成例を示すブロック図である。
図１０に示す構成のうち、図１の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
図１０の撮像装置１１０の構成は、経年ずれ推定部１３の代わりに経年ずれ推定部１１１が設けられる点、および、新たに表示部１１２が設けられる点が、図１の撮像装置１０の構成と異なる。撮像装置１１０は、左右座標ペアの分布に基づいて推定パラメータを決定するのではなく、経年ずれパラメータの全てが十分な精度で推定可能である左右座標ペアの分布が得られるように、左右座標ペアの収集を制御する。
具体的には、経年ずれ推定部１１１の構成は、分布解析部４４、推定部４５の代わりに、分布解析部１２１、推定部１２２が設けられる点が、図１の経年ずれ推定部１３の構成と異なる。
経年ずれ推定部１１１の分布解析部１２１は、左右ペアバッファ４３から各特徴点の左右ペア座標を読み出す。分布解析部１２１は、各特徴点の左右ペア座標に基づいて、各特徴点の左右ペア座標の中点の座標を演算する。分布解析部１２１（生成部）は、各特徴点の左右ペア座標の中点の座標の空間的な分布に基づいて、経年ずれパラメータの全てが推定可能である左右座標ペアの分布が得られるように、ユーザに撮影方法を指示する撮影指示情報を生成する。分布解析部１２１は、撮影指示情報を表示部１１２に供給する。
推定部１２２は、左右ペアバッファ４３から各特徴点の左右ペア座標を読み出す。推定部１２２は、垂直方向の経年ずれモデル式を垂直方向のずれを推定する推定式とする。推定部１２２は、各特徴点の左右ペア座標と推定式に基づいて、各特徴点の左右ペア座標の垂直方向の差分である垂直方向のずれの実測値と、推定式により算出される垂直方向のずれの推定値との差分が最小となるように、推定式に用いられる経年ずれパラメータを推定する。推定部１２２は、推定された経年ずれパラメータを代入した推定式を判定部４６に供給し、経年ずれパラメータを更新部４７に供給する。
表示部１１２は、分布解析部１２１から供給される撮影指示情報を表示する。
（撮影指示情報の第１の例）
図１１は、撮影指示情報の第１の例を示す図である。
図１１に示すように、各特徴点の左右ペア座標の中点１４１Ａが画面１４１の上側にのみ存在し、下側の中点の数が不十分である場合、分布解析部１２１は、撮影指示情報１４２として、「カメラを上に向けて下さい」というメッセージと上向きの矢印１４２Ａを生成する。これにより、表示部１１２には、「カメラを上に向けて下さい」というメッセージと上向きの矢印１４２Ａからなる撮影指示情報１４２が表示される。
（撮影指示情報に基づく中点の分布の変化の説明）
図１２は、図１１の撮影指示情報１４２に基づく中点の分布の変化を説明する図である。
図１２に示すように、１番目のフレームであるフレーム＃１の各特徴点の左右ペア座標の中点１５２−１が画面１５１の上側にのみ存在し、下側の中点の数が不十分である場合、撮影指示情報１４２が表示部１１２に表示される。
撮影指示情報１４２を見たユーザが、ステレオカメラ２１を上に向けて撮影を行うと、その結果得られる２番目のフレームであるフレーム＃２の左画像と右画像では、中点１５２−１に対応する特徴点が下側に移動する。従って、図１２に示すように、フレーム＃２の各特徴点の左右ペア座標の中点１５２−２は、中点１５２−１より下側に存在する。その結果、画面１５１内の最も上側に存在する中点１５２−１と、中点１５２−１の下側に存在する中点１５２−２が収集される。
以降も同様にして、画面１５１内の中点の分布が、経年ずれパラメータの全てが十分な精度で推定可能である分布になるまで、撮影指示情報１４２の表示部１１２への表示が（Ｎ−２）回（Ｎは２より大きい整数）繰り返され、より下側の中点が収集される。
その結果、Ｎフレームの左画像および右画像が撮影され、収集された中点１５２−１乃至１５２−Ｎの画面１５１内の分布は、経年ずれパラメータの全てが十分な精度で推定可能である分布になる。
（撮影指示情報の第２の例）
図１３は、撮影指示情報の第２の例を示す図である。
図１３に示すように、各特徴点の左右ペア座標の中点１７１Ａが画面１７１の左側にのみ存在し、右側の中点の数が不十分である場合、分布解析部１２１は、撮影指示情報１７２として、「左側へ動いて下さい」というメッセージと左向きの矢印１７２Ａを生成する。これにより、表示部１１２には、「左側へ動いて下さい」というメッセージと左向きの矢印１７２Ａからなる撮影指示情報１７２が表示される。
撮影指示情報１７２を見たユーザが左側へ移動して撮影を行うと、新たに撮影された左画像と右画像では、中点１７１Ａに対応する特徴点が右側に移動する。従って、不十分であった画面１７１の右側の中点を収集することができる。
（撮像装置の処理の説明）
図１４は、図１０の撮像装置１１０の画像処理を説明するフローチャートである。
ステップＳ７１乃至Ｓ７８の処理は、図８のステップＳ１１乃至Ｓ１８の処理と同様であるので説明は省略する。
ステップＳ７９において、分布解析部１２１は、左右ペアバッファ４３に保持されている各特徴点の左右ペア座標の分布に基づいて、撮影指示情報を生成する撮影指示情報生成処理を行う。この撮影指示情報生成処理の詳細は、後述する図１５を参照して説明する。
ステップＳ８０において、推定部１２２は、垂直方向の経年ずれモデル式である推定式と、左右ペアバッファ４３に保持されている各特徴点の左右ペア座標とに基づいて、経年ずれパラメータを推定する。推定部４５は、推定された経年ずれパラメータを代入した推定式を判定部４６に供給し、経年ずれパラメータを更新部４７に供給する。
ステップＳ８１において、判定部４６は、左右ペアバッファ４３に保持されている各特徴点の左右ペア座標と推定部４５から供給される推定式とに基づいて、残差のヒストグラムを生成し、残差のヒストグラムに基づいてベリフィケーションを行う。判定部４６は、ベリフィケーション結果を更新部４７に供給する。
ステップＳ８２において、更新部４７は、判定部４６から供給されるベリフィケーション結果に基づいて、経年ずれパラメータが妥当であるかどうか、即ちベリフィケーション結果が経年ずれパラメータが妥当であるというものであるかどうかを判定する。
ステップＳ８２で経年ずれパラメータが妥当であると判定された場合、ステップＳ８３において、更新部４７は、推定部４５から供給される経年ずれパラメータを経年ずれパラメータ保存部４８に供給して記憶させることにより、経年ずれパラメータを更新する。そして、処理は終了する。
一方、ステップＳ８３で経年ずれパラメータが妥当ではないと判定された場合、ステップＳ８４において、撮像装置１１０は、ユーザにレクティフィケーションが正常に行われなかった旨を通知し、リトライを要求するといったエラー処理を行い、処理を終了する。
図１５は、図１４のステップＳ７９の撮影指示情報生成処理の詳細を説明するフローチャートである。
図１５のステップＳ１０１乃至Ｓ１０４の処理は、図９のステップＳ４１，Ｓ４２，Ｓ４４、およびＳ４５の処理と同様であるので、説明は省略する。
ステップＳ１０４で特徴点の数Ｎ１乃至Ｎ３の少なくとも１つが閾値ｋ２以下であると判定された場合、処理はステップＳ１０５に進む。ステップＳ１０５において、分析解析部１２１は、領域ａ４乃至ｃ４のうちの特徴点の数がｋ２以下である領域に対応する撮影指示情報を生成する。
例えば、分布解析部１２１は、特徴点の数Ｎ１がｋ２以下である場合、領域ａ４に対応する撮影指示情報として、「カメラを下に向けて下さい」というメッセージと下向きの矢印を生成する。また、分布解析部１２１は、特徴点の数Ｎ３がｋ２以下である場合、領域ｃ４に対応する撮影指示情報１４２（図１１）を生成する。そして、分布解析部１２１は、生成された撮影指示情報を表示部１１２に供給して表示させる。その後、処理は図１４のステップＳ７２に戻り、以降の処理が行われる。
一方、ステップＳ１０４で特徴点の数Ｎ１乃至Ｎ３の全てが閾値ｋ２より大きいと判定された場合、ステップＳ１０６に進む。
ステップＳ１０６において、分布解析部１２１は、特徴点の数Ｎ４乃至Ｎ６の全てが閾値ｋ２より大きいかどうかを判定する。ステップＳ１０６で特徴点の数Ｎ４乃至Ｎ６の少なくとも１つが閾値ｋ２以下であると判定された場合、処理はステップＳ１０７に進む。
ステップＳ１０７において、分析解析部１２１は、領域ａ３乃至ｃ３のうちの特徴点の数がｋ２以下である領域に対応する撮影指示情報を生成する。
例えば、分布解析部１２１は、特徴点の数Ｎ４がｋ２以下である場合、領域ａ３に対応する撮影指示情報として、「右側へ動いて下さい」というメッセージと右向きの矢印を生成する。また、分布解析部１２１は、特徴点の数Ｎ６がｋ２以下である場合、領域ｃ３に対応する撮影指示情報１７２（図１３）を生成する。そして、分布解析部１２１は、生成された撮影指示情報を表示部１１２に供給して表示させる。その後、処理は図１４のステップＳ７２に戻り、以降の処理が行われる。
一方、ステップＳ１０６で特徴点の数Ｎ４乃至Ｎ６の全てが閾値ｋ２より大きいと判定された場合、処理はステップＳ１０８に進む。
ステップＳ１０８において、分布解析部１２１は、特徴点の数Ｎ７乃至Ｎ１１の全てが閾値ｋ２より大きいかどうかを判定する。ステップＳ１０８で特徴点の数Ｎ７乃至Ｎ１１の少なくとも１つが閾値ｋ２以下であると判定された場合、処理はステップＳ１０９に進む。
ステップＳ１０９において、分析解析部１２１は、領域ａ２乃至ｅ２のうちの特徴点の数がｋ２以下である領域に対応する撮影指示情報を生成する。
例えば、分布解析部１２１は、特徴点の数Ｎ７がｋ２以下である場合、領域ａ２に対応する撮影指示情報として、「カメラを右下に向けて下さい」というメッセージと右下向きの矢印を生成する。また、分布解析部１２１は、特徴点の数Ｎ８がｋ２以下である場合、領域ｂ２に対応する撮影指示情報として、「カメラを右上に向けて下さい」というメッセージと右上向きの矢印を生成する。そして、分布解析部１２１は、生成された撮影指示情報を表示部１１２に供給して表示させる。その後、処理は図１４のステップＳ７２に戻り、以降の処理が行われる。
一方、ステップＳ１０８で特徴点の数Ｎ７乃至Ｎ１１の全てが閾値ｋ２より大きいと判定された場合、処理は図１４のステップＳ７９に戻り、ステップＳ８０に進む。
以上のように、撮像装置１１０は、撮影指示情報を表示部１１２に表示するので、経年ずれパラメータの全てを十分な精度で推定可能である特徴点を収集することができる。その結果、経年ずれパラメータの全てを十分な精度で推定することができる。
なお、第２実施の形態では、垂直方向の位置が異なる特徴点を収集する場合、カメラの向きを変化させるように指示する撮影指示情報が生成されたが、ユーザが垂直方向に移動するように指示する撮影指示情報が生成されてもよい。また、水平方向の位置が異なる特徴点を収集する場合、ユーザが移動するように指示する撮影指示情報が生成されたが、カメラの向きを水平方向に移動させるように指示する撮影指示情報が生成されてもよい。
また、撮像装置１０は、撮影指示情報を表示部１１２に表示するのではなく、アクチュエータ等を用いてステレオカメラ２１を自動的に動かすことにより、特徴点を収集するようにしてもよい。
＜経年ずれパラメータの説明＞
図１６は、経年ずれパラメータを説明する図である。
図１６に示すように、経年ずれパラメータのうちのピッチ角の差θの発生の主要因は、撮像装置１０（１１０）の筐体の外部から加えられた応力などによるシャーシや基板のねじれなどである。
また、差θが発生すると、画面全体で、左画像と右画像の対応する画素間の垂直方向の位置ずれ（以下、Ｙずれという）が大きくなる。その結果、画面全体で、左画像と右画像を用いたステレオマッチングのマッチングエラーが発生する。また、画面の対角領域において、左画像と右画像の対応する画素間の水平方向の位置ずれ（以下、Ｘずれという）が発生する。以上により、画面内のステレオマッチングにより生成されるデプスが有効である領域の面積である有効面積が減少する。よって、デプスを用いて画像認識を行う場合、認識精度の大幅な低下を招く。従って、差θの推定の重要度は大きい。
また、差θは、画面全体に一定数の特徴点の中点が存在すれば十分な精度で推定可能であるため、差θの推定は比較的容易である。
ヨー角の差φの発生の主要因は、撮像装置１０（１１０）の基板表面に実装されている部品の発熱などで、基板表面と裏面との間で温度差が発することによる、シャーシや基板の反り返り（たわみ）などである。
差φが発生すると、画面全体で大きなＸずれが発生し、ステレオマッチングにより生成されるデプス（視差）に誤差（ずれ）が生じる。即ち、全画面でデプスの絶対距離精度が低下する。その結果、デプスの絶対距離精度が必要とされるアプリケーションの実現が困難になる。また、差φが発生すると、画面の対角領域においてＹずれが発生する。
また、差φは、主に画面の対角領域に特徴点の中点が存在すれば十分な精度で推定可能である。但し、特徴点において同時に起こり得るＸずれ量と比較するとＹずれ量は小さいため、差φのロバストな推定は困難である。
ロール角の差αの発生の主要因は、左カメラ２１Ａと右カメラ２１ＢそれぞれのＺ軸を中心とした回転などである。
差αが発生すると、画面の上下端でＸずれが多く発生し、ステレオマッチングにより生成されるデプス（視差）に誤差（ずれ）が生じる。即ち、画面の上下端でデプスの絶対距離精度が低下する。また、差αが発生すると、画面の左右端でＹずれが多く発生し、ステレオマッチングのマッチングエラーが多く発生する。従って、画面の左右端でデプスの有効領域が減少し、デプスを用いて画像認識を行う場合、認識精度の低下を招く。但し、画面の中央部における差αによる影響は軽微である。
また、差αは、画面の水平方向に特徴点の中点が分布していれば十分な精度で推定可能である。
スケール比率λの発生の主要因は、左カメラ２１Ａと右カメラ２１Ｂが内蔵する、焦点距離の温度依存性を有するレンズにおいて温度差が発生することによる、左カメラ２１Ａと右カメラ２１Ｂの間の焦点距離の変動などである。
スケール比率λが発生すると、画面の左右端でＸずれが多く発生し、ステレオマッチングにより生成されるデプス（視差）に誤差（ずれ）が生じる。即ち、画面の左右端でデプスの絶対距離精度が低下する。また、スケール比率λが発生すると、画面の上下端でＹずれが多く発生し、ステレオマッチングのマッチングエラーが多く発生する。従って、画面の上下端のデプスの有効領域が減少し、デプスを用いて画像認識を行う場合、認識精度の低下を招く。但し、画面の中央部におけるスケール比率λによる影響は軽微である。
また、スケール比率λは、画面の垂直方向に特徴点の中点が分布していれ十分な精度で推定可能である。
以上のように、各パラメータの発生要因は、それぞれ異なる。従って、各パラメータの発生の有無は、撮像装置１０（１１０）のメカ構造や使用条件などに応じて異なる。従って、撮像装置１０（１１０）は、メカ構造や使用条件に応じて、発生し得るパラメータのみを推定するようにしてもよい。
また、デプスを用いたアプリケーションの種類によって、各パラメータのアプリケーションへの影響の度合は異なる。従って、撮像装置１０（１１０）は、実行するアプリケーション（処理）に応じて、アプリケーションへの影響の度合が大きいパラメータのみを推定するようにしてもよい。
＜第３実施の形態＞
（本開示を適用したコンピュータの説明）
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
図１７は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
コンピュータ２００において、CPU（Central Processing Unit）２０１，ROM（Read Only Memory）２０２，RAM（Random Access Memory）２０３は、バス２０４により相互に接続されている。
バス２０４には、さらに、入出力インタフェース２０５が接続されている。入出力インタフェース２０５には、撮像部２０６、入力部２０７、出力部２０８、記憶部２０９、通信部２１０、及びドライブ２１１が接続されている。
撮像部２０６は、ステレオカメラ２１により構成される。入力部２０７は、キーボード、マウス、マイクロフォンなどよりなる。出力部２０８は、ディスプレイ、スピーカなどよりなる。記憶部２０９は、ハードディスクや不揮発性のメモリなどよりなる。通信部２１０は、ネットワークインタフェースなどよりなる。ドライブ２１１は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア２１２を駆動する。
以上のように構成されるコンピュータ２００では、CPU２０１が、例えば、記憶部２０９に記憶されているプログラムを、入出力インタフェース２０５及びバス２０４を介して、RAM２０３にロードして実行することにより、上述した一連の処理が行われる。
コンピュータ２００（CPU２０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア２１２に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
コンピュータ２００では、プログラムは、リムーバブルメディア２１２をドライブ２１１に装着することにより、入出力インタフェース２０５を介して、記憶部２０９にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部２１０で受信し、記憶部２０９にインストールすることができる。その他、プログラムは、ROM２０２や記憶部２０９に、あらかじめインストールしておくことができる。
なお、コンピュータ２００が実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
＜第４実施の形態＞
（車両制御システム）
本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車などのいずれかの種類の車両に搭載される装置として実現されてもよい。
図１８は、本開示に係る技術が適用され得る車両制御システム２０００の概略的な構成の一例を示すブロック図である。車両制御システム２０００は、通信ネットワーク２０１０を介して接続された複数の電子制御ユニットを備える。図１８に示した例では、車両制御システム２０００は、駆動系制御ユニット２１００、ボディ系制御ユニット２２００、バッテリ制御ユニット２３００、車外情報検出ユニット２４００、車内情報検出ユニット２５００、及び統合制御ユニット２６００を備える。これらの複数の制御ユニットを接続する通信ネットワーク２０１０は、例えば、ＣＡＮ（Controller Area Network）、ＬＩＮ（Local Interconnect Network）、ＬＡＮ（Local Area Network）又はＦｌｅｘＲａｙ（登録商標）等の任意の規格に準拠した車載通信ネットワークであってよい。
各制御ユニットは、各種プログラムにしたがって演算処理を行うマイクロコンピュータと、マイクロコンピュータにより実行されるプログラム又は各種演算に用いられるパラメータ等を記憶する記憶部と、各種制御対象の装置を駆動する駆動回路とを備える。各制御ユニットは、通信ネットワーク２０１０を介して他の制御ユニットとの間で通信を行うためのネットワークＩ／Ｆを備えるとともに、車内外の装置又はセンサ等との間で、有線通信又は無線通信により通信を行うための通信Ｉ／Ｆを備える。図１８では、統合制御ユニット２６００の機能構成として、マイクロコンピュータ２６１０、汎用通信Ｉ／Ｆ２６２０、専用通信Ｉ／Ｆ２６３０、測位部２６４０、ビーコン受信部２６５０、車内機器Ｉ／Ｆ２６６０、音声画像出力部２６７０、車載ネットワークＩ／Ｆ２６８０及び記憶部２６９０が図示されている。他の制御ユニットも同様に、マイクロコンピュータ、通信Ｉ／Ｆ及び記憶部等を備える。
駆動系制御ユニット２１００は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット２１００は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。駆動系制御ユニット２１００は、ＡＢＳ（Antilock Brake System）又はＥＳＣ（Electronic Stability Control）等の制御装置としての機能を有してもよい。
駆動系制御ユニット２１００には、車両状態検出部２１１０が接続される。車両状態検出部２１１０には、例えば、車体の軸回転運動の角速度を検出するジャイロセンサ、車両の加速度を検出する加速度センサ、あるいは、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数又は車輪の回転速度等を検出するためのセンサのうちの少なくとも一つが含まれる。駆動系制御ユニット２１００は、車両状態検出部２１１０から入力される信号を用いて演算処理を行い、内燃機関、駆動用モータ、電動パワーステアリング装置又はブレーキ装置等を制御する。
ボディ系制御ユニット２２００は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット２２００は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット２２００には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット２２００は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
バッテリ制御ユニット２３００は、各種プログラムにしたがって駆動用モータの電力供給源である二次電池２３１０を制御する。例えば、バッテリ制御ユニット２３００には、二次電池２３１０を備えたバッテリ装置から、バッテリ温度、バッテリ出力電圧又はバッテリの残存容量等の情報が入力される。バッテリ制御ユニット２３００は、これらの信号を用いて演算処理を行い、二次電池２３１０の温度調節制御又はバッテリ装置に備えられた冷却装置等の制御を行う。
車外情報検出ユニット２４００は、車両制御システム２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット２４００には、撮像部２４１０及び車外情報検出部２４２０のうちの少なくとも一方が接続される。撮像部２４１０には、ＴｏＦ（Time Of Flight）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ及びその他のカメラのうちの少なくとも一つが含まれる。車外情報検出部２４２０には、例えば、現在の天候又は気象を検出するための環境センサ、あるいは、車両制御システム２０００を搭載した車両の周囲の他の車両、障害物又は歩行者等を検出するための周囲情報検出センサが含まれる。
環境センサは、例えば、雨天を検出する雨滴センサ、霧を検出する霧センサ、日照度合いを検出する日照センサ、及び降雪を検出する雪センサのうちの少なくとも一つであってよい。周囲情報検出センサは、超音波センサ、レーダ装置及びＬＩＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）装置のうちの少なくとも一つであってよい。これらの撮像部２４１０及び車外情報検出部２４２０は、それぞれ独立したセンサないし装置として備えられてもよいし、複数のセンサないし装置が統合された装置として備えられてもよい。
ここで、図１９は、撮像部２４１０及び車外情報検出部２４２０の設置位置の例を示す。撮像部２９１０，２９１２，２９１４，２９１６，２９１８は、例えば、車両２９００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部のうちの少なくとも一つの位置に設けられる。フロントノーズに備えられる撮像部２９１０及び車室内のフロントガラスの上部に備えられる撮像部２９１８は、主として車両２９００の前方の画像を取得する。サイドミラーに備えられる撮像部２９１２，２９１４は、主として車両２９００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部２９１６は、主として車両２９００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部２９１８は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
なお、図１９には、それぞれの撮像部２９１０，２９１２，２９１４，２９１６の撮影範囲の一例が示されている。撮像範囲ａは、フロントノーズに設けられた撮像部２９１０の撮像範囲を示し、撮像範囲ｂ，ｃは、それぞれサイドミラーに設けられた撮像部２９１２，２９１４の撮像範囲を示し、撮像範囲ｄは、リアバンパ又はバックドアに設けられた撮像部２９１６の撮像範囲を示す。例えば、撮像部２９１０，２９１２，２９１４，２９１６で撮像された画像データが重ね合わせられることにより、車両２９００を上方から見た俯瞰画像が得られる。
車両２９００のフロント、リア、サイド、コーナ及び車室内のフロントガラスの上部に設けられる車外情報検出部２９２０，２９２２，２９２４，２９２６，２９２８，２９３０は、例えば超音波センサ又はレーダ装置であってよい。車両２９００のフロントノーズ、リアバンパ、バックドア及び車室内のフロントガラスの上部に設けられる車外情報検出部２９２０，２９２６，２９３０は、例えばＬＩＤＡＲ装置であってよい。これらの車外情報検出部２９２０〜２９３０は、主として先行車両、歩行者又は障害物等の検出に用いられる。
図１８に戻って説明を続ける。車外情報検出ユニット２４００は、撮像部２４１０に車外の画像を撮像させるとともに、撮像された画像データを受信する。また、車外情報検出ユニット２４００は、接続されている車外情報検出部２４２０から検出情報を受信する。車外情報検出部２４２０が超音波センサ、レーダ装置又はＬＩＤＡＲ装置である場合には、車外情報検出ユニット２４００は、超音波又は電磁波等を発信させるとともに、受信された反射波の情報を受信する。車外情報検出ユニット２４００は、受信した情報に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。車外情報検出ユニット２４００は、受信した情報に基づいて、降雨、霧又は路面状況等を認識する環境認識処理を行ってもよい。車外情報検出ユニット２４００は、受信した情報に基づいて、車外の物体までの距離を算出してもよい。
また、車外情報検出ユニット２４００は、受信した画像データに基づいて、人、車、障害物、標識又は路面上の文字等を認識する画像認識処理又は距離検出処理を行ってもよい。車外情報検出ユニット２４００は、受信した画像データに対して歪補正又は位置合わせ等の処理を行うとともに、異なる撮像部２４１０により撮像された画像データを合成して、俯瞰画像又はパノラマ画像を生成してもよい。車外情報検出ユニット２４００は、異なる撮像部２４１０により撮像された画像データを用いて、視点変換処理を行ってもよい。
車内情報検出ユニット２５００は、車内の情報を検出する。車内情報検出ユニット２５００には、例えば、運転者の状態を検出する運転者状態検出部２５１０が接続される。運転者状態検出部２５１０は、運転者を撮像するカメラ、運転者の生体情報を検出する生体センサ又は車室内の音声を集音するマイク等を含んでもよい。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座った搭乗者又はステアリングホイールを握る運転者の生体情報を検出する。車内情報検出ユニット２５００は、運転者状態検出部２５１０から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。車内情報検出ユニット２５００は、集音された音声信号に対してノイズキャンセリング処理等の処理を行ってもよい。
統合制御ユニット２６００は、各種プログラムにしたがって車両制御システム２０００内の動作全般を制御する。統合制御ユニット２６００には、入力部２８００が接続されている。入力部２８００は、例えば、タッチパネル、ボタン、マイクロフォン、スイッチ又はレバー等、搭乗者によって入力操作され得る装置によって実現される。入力部２８００は、例えば、赤外線又はその他の電波を利用したリモートコントロール装置であってもよいし、車両制御システム２０００の操作に対応した携帯電話又はＰＤＡ（Personal Digital Assistant）等の外部接続機器であってもよい。入力部２８００は、例えばカメラであってもよく、その場合搭乗者はジェスチャにより情報を入力することができる。さらに、入力部２８００は、例えば、上記の入力部２８００を用いて搭乗者等により入力された情報に基づいて入力信号を生成し、統合制御ユニット２６００に出力する入力制御回路などを含んでもよい。搭乗者等は、この入力部２８００を操作することにより、車両制御システム２０００に対して各種のデータを入力したり処理動作を指示したりする。
記憶部２６９０は、マイクロコンピュータにより実行される各種プログラムを記憶するＲＡＭ（Random Access Memory）、及び各種パラメータ、演算結果又はセンサ値等を記憶するＲＯＭ（Read Only Memory）を含んでいてもよい。また、記憶部２６９０は、ＨＤＤ（Hard Disc Drive）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等によって実現してもよい。
汎用通信Ｉ／Ｆ２６２０は、外部環境２７５０に存在する様々な機器との間の通信を仲介する汎用的な通信Ｉ／Ｆである。汎用通信Ｉ／Ｆ２６２０は、ＧＳＭ（登録商標）（Global System of Mobile communications）、ＷｉＭＡＸ、ＬＴＥ（Long Term Evolution）若しくはＬＴＥ−Ａ（LTE−Advanced）などのセルラー通信プロトコル、又は無線ＬＡＮ（Ｗｉ−Ｆｉ（登録商標）ともいう）などのその他の無線通信プロトコルを実装してよい。汎用通信Ｉ／Ｆ２６２０は、例えば、基地局又はアクセスポイントを介して、外部ネットワーク（例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク）上に存在する機器（例えば、アプリケーションサーバ又は制御サーバ）へ接続してもよい。また、汎用通信Ｉ／Ｆ２６２０は、例えばＰ２Ｐ（Peer To Peer）技術を用いて、車両の近傍に存在する端末（例えば、歩行者若しくは店舗の端末、又はＭＴＣ（Machine Type Communication）端末）と接続してもよい。
専用通信Ｉ／Ｆ２６３０は、車両における使用を目的として策定された通信プロトコルをサポートする通信Ｉ／Ｆである。専用通信Ｉ／Ｆ２６３０は、例えば、下位レイヤのＩＥＥＥ８０２．１１ｐと上位レイヤのＩＥＥＥ１６０９との組合せであるＷＡＶＥ（Wireless Access in Vehicle Environment）、又はＤＳＲＣ（Dedicated Short Range Communications）といった標準プロトコルを実装してよい。専用通信Ｉ／Ｆ２６３０は、典型的には、車車間（Vehicle to Vehicle）通信、路車間（Vehicle to Infrastructure）通信及び歩車間（Vehicle to Pedestrian）通信のうちの１つ以上を含む概念であるＶ２Ｘ通信を遂行する。
測位部２６４０は、例えば、ＧＮＳＳ（Global Navigation Satellite System）衛星からのＧＮＳＳ信号（例えば、ＧＰＳ（Global Positioning System）衛星からのＧＰＳ信号）を受信して測位を実行し、車両の緯度、経度及び高度を含む位置情報を生成する。なお、測位部２６４０は、無線アクセスポイントとの信号の交換により現在位置を特定してもよく、又は測位機能を有する携帯電話、ＰＨＳ若しくはスマートフォンといった端末から位置情報を取得してもよい。
ビーコン受信部２６５０は、例えば、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行止め又は所要時間等の情報を取得する。なお、ビーコン受信部２６５０の機能は、上述した専用通信Ｉ／Ｆ２６３０に含まれてもよい。
車内機器Ｉ／Ｆ２６６０は、マイクロコンピュータ２６１０と車内に存在する様々な機器との間の接続を仲介する通信インタフェースである。車内機器Ｉ／Ｆ２６６０は、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Near Field Communication）又はＷＵＳＢ（Wireless USB）といった無線通信プロトコルを用いて無線接続を確立してもよい。また、車内機器Ｉ／Ｆ２６６０は、図示しない接続端子（及び、必要であればケーブル）を介して有線接続を確立してもよい。車内機器Ｉ／Ｆ２６６０は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、又は車両に搬入され若しくは取り付けられる情報機器との間で、制御信号又はデータ信号を交換する。
車載ネットワークＩ／Ｆ２６８０は、マイクロコンピュータ２６１０と通信ネットワーク２０１０との間の通信を仲介するインタフェースである。車載ネットワークＩ／Ｆ２６８０は、通信ネットワーク２０１０によりサポートされる所定のプロトコルに則して、信号等を送受信する。
統合制御ユニット２６００のマイクロコンピュータ２６１０は、汎用通信Ｉ／Ｆ２６２０、専用通信Ｉ／Ｆ２６３０、測位部２６４０、ビーコン受信部２６５０、車内機器Ｉ／Ｆ２６６０及び車載ネットワークＩ／Ｆ２６８０のうちの少なくとも一つを介して取得される情報に基づき、各種プログラムにしたがって、車両制御システム２０００を制御する。例えば、マイクロコンピュータ２６１０は、取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット２１００に対して制御指令を出力してもよい。例えば、マイクロコンピュータ２６１０は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、自動運転等を目的とした協調制御を行ってもよい。
マイクロコンピュータ２６１０は、汎用通信Ｉ／Ｆ２６２０、専用通信Ｉ／Ｆ２６３０、測位部２６４０、ビーコン受信部２６５０、車内機器Ｉ／Ｆ２６６０及び車載ネットワークＩ／Ｆ２６８０のうちの少なくとも一つを介して取得される情報に基づき、車両の現在位置の周辺情報を含むローカル地図情報を作成してもよい。また、マイクロコンピュータ２６１０は、取得される情報に基づき、車両の衝突、歩行者等の近接又は通行止めの道路への進入等の危険を予測し、警告用信号を生成してもよい。警告用信号は、例えば、警告音を発生させたり、警告ランプを点灯させたりするための信号であってよい。
音声画像出力部２６７０は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図１８の例では、出力装置として、オーディオスピーカ２７１０、表示部２７２０及びインストルメントパネル２７３０が例示されている。表示部２７２０は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。表示部２７２０は、ＡＲ（Augmented Reality）表示機能を有していてもよい。出力装置は、これらの装置以外の、ヘッドホン、プロジェクタ又はランプ等の他の装置であってもよい。出力装置が表示装置の場合、表示装置は、マイクロコンピュータ２６１０が行った各種処理により得られた結果又は他の制御ユニットから受信された情報を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。また、出力装置が音声出力装置の場合、音声出力装置は、再生された音声データ又は音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。
なお、図１８に示した例において、通信ネットワーク２０１０を介して接続された少なくとも二つの制御ユニットが一つの制御ユニットとして一体化されてもよい。あるいは、個々の制御ユニットが、複数の制御ユニットにより構成されてもよい。さらに、車両制御システム２０００が、図示されていない別の制御ユニットを備えてもよい。また、上記の説明において、いずれかの制御ユニットが担う機能の一部又は全部を、他の制御ユニットに持たせてもよい。つまり、通信ネットワーク２０１０を介して情報の送受信がされるようになっていれば、所定の演算処理が、いずれかの制御ユニットで行われるようになってもよい。同様に、いずれかの制御ユニットに接続されているセンサ又は装置が、他の制御ユニットに接続されるとともに、複数の制御ユニットが、通信ネットワーク２０１０を介して相互に検出情報を送受信してもよい。
以上説明した車両制御システム２０００において、撮像装置１０（１１０）は、例えば、図１８の撮像部２４１０に適用することができる。これにより、撮像部２４１０は、経年ずれによって発生する左画像と右画像のずれをロバストに補正することができる。その結果、車外情報検出ユニット２４００は、補正後の左画像と右画像を用いて、被写体の奥行き方向の位置などを高精度で検出することができる。
また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
さらに、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
例えば、ステレオカメラは、水平方向ではなく、垂直方向に並ぶ２つのカメラにより構成されるようにしてもよい。この場合、上述した説明における水平方向と垂直方向は入れ替えられる。
なお、本開示は、以下のような構成もとることができる。
（１）
第１の撮像部と第２の撮像部のピッチ角の差、ヨー角の差、およびロール角の差、並びに前記第１の撮像部で撮像された第１の画像と前記第２の撮像部で撮像された第２の画像のスケール比率のうちの少なくとも２つをパラメータとしたモデル式に基づいて、前記パラメータを推定する推定部
を備える画像処理装置。
（２）
前記パラメータは、前記ピッチ角の差を含む
ように構成された
前記（１）に記載の画像処理装置。
（３）
前記推定部は、前記モデル式に基づいて算出された前記第１の画像と前記第２の画像の垂直方向のずれの推定値と、前記第１の画像と前記第２の画像の垂直方向のずれの実測値との差分が最小となるように、前記パラメータを推定する
前記（１）または（２）に記載の画像処理装置。
（４）
前記第１の画像および前記第２の画像の一方における特徴点の垂直方向の位置と、その特徴点に対応する他方における点の垂直方向の位置のペアを検出する検出部
をさらに備え、
前記実測値は、前記ペアに基づいて算出される
ように構成された
前記（３）に記載の画像処理装置。
（５）
前記特徴点の分布に基づいて、前記推定部により推定される前記パラメータを選択する分布解析部
をさらに備える
前記（４）に記載の画像処理装置。
（６）
前記特徴点の分布に基づいて、前記第１の撮像部と前記第２の撮像部を用いた撮影の方法を指示する撮影指示情報を生成する生成部
をさらに備える
前記（４）に記載の画像処理装置。
（７）
前記推定部により推定された前記パラメータを用いた前記モデル式に基づいて算出された前記第１の画像と前記第２の画像の垂直方向のずれの推定値と前記実測値との差分に基づいて、前記パラメータを更新する更新部
をさらに備える
前記（３）乃至（６）のいずれかに記載の画像処理装置。
（８）
前記推定部により推定される前記パラメータは、前記第１の撮像部と前記第２の撮像部の構造に基づいて決定される
ように構成された
前記（１）乃至（７）のいずれかに記載の画像処理装置。
（９）
前記推定部により推定される前記パラメータは、前記第１の画像と前記第２の画像を用いて実行される処理の種類に基づいて決定される
ように構成された
前記（１）乃至（８）のいずれかに記載の画像処理装置。
（１０）
前記推定部により推定された前記パラメータを用いた前記モデル式に基づいて、前記第１の画像と前記第２の画像に対してワーピングを行うワーピング部
をさらに備える
前記（１）乃至（９）のいずれかに記載の画像処理装置。
（１１）
前記ワーピング部は、前記モデル式と、キャリブレーションにより計測された初期パラメータとに基づいて、前記第１の画像と前記第２の画像に対してワーピングを行う
ように構成された
前記（１０）に記載の画像処理装置。
（１２）
画像処理装置が、
第１の撮像部と第２の撮像部のピッチ角の差、ヨー角の差、およびロール角の差、並びに前記第１の撮像部で撮像された第１の画像と前記第２の撮像部で撮像された第２の画像のスケール比率のうちの少なくとも２つをパラメータとしたモデル式に基づいて、前記パラメータを推定する推定ステップ
を含む画像処理方法。
１０ 撮像装置， ２１Ａ 左カメラ， ２１Ｂ 右カメラ， ３１ 左ワーピング部， ３２ 右ワーピング部， ４１ 特徴点検出部， ４４ 分布解析部， ４５ 推定部， ４７ 更新部， １１０ 撮像装置， １２１ 分布解析部， １２２ 推定部， １４２，１７２ 撮影指示情報

Claims (9)

  1. 第１の撮像部と第２の撮像部のピッチ角の差、ヨー角の差、およびロール角の差、並びに前記第１の撮像部で撮像された第１の画像と前記第２の撮像部で撮像された第２の画像のスケール比率のうちの少なくとも２つをパラメータとしたモデル式に基づいて算出された前記第１の画像と前記第２の画像の垂直方向のずれの推定値と、前記第１の画像と前記第２の画像の垂直方向のずれの実測値との差分が最小となるように、前記パラメータを推定する推定部と、
    前記第１の画像および前記第２の画像の一方における特徴点の垂直方向の位置と、その特徴点に対応する他方における点の垂直方向の位置のペアを検出する検出部と、
    前記特徴点の分布に基づいて、前記第１の撮像部と前記第２の撮像部を用いた撮影の方法を指示する撮影指示情報を生成する生成部と
    を備え、
    前記実測値は、前記ペアに基づいて算出されるように構成された
    画像処理装置。
  2. 前記パラメータは、前記ピッチ角の差を含む
    ように構成された
    請求項１に記載の画像処理装置。
  3. 前記特徴点の分布に基づいて、前記推定部により推定される前記パラメータを選択する分布解析部をさらに備える
    請求項１に記載の画像処理装置。
  4. 前記推定部により推定された前記パラメータを用いた前記モデル式に基づいて算出された前記第１の画像と前記第２の画像の垂直方向のずれの推定値と前記実測値との差分に基づいて、前記パラメータを更新する更新部をさらに備える
    請求項１に記載の画像処理装置。
  5. 前記推定部により推定される前記パラメータは、前記第１の撮像部と前記第２の撮像部の構造に基づいて決定されるように構成された
    請求項１に記載の画像処理装置。
  6. 前記推定部により推定される前記パラメータは、前記第１の画像と前記第２の画像を用いて実行される処理の種類に基づいて決定されるように構成された
    請求項１に記載の画像処理装置。
  7. 前記推定部により推定された前記パラメータを用いた前記モデル式に基づいて、前記第１の画像と前記第２の画像に対してワーピングを行うワーピング部をさらに備える
    請求項１に記載の画像処理装置。
  8. 前記ワーピング部は、前記モデル式と、キャリブレーションにより計測された初期パラメータとに基づいて、前記第１の画像と前記第２の画像に対してワーピングを行うように構成された
    請求項７に記載の画像処理装置。
  9. 画像処理装置が、
    第１の撮像部と第２の撮像部のピッチ角の差、ヨー角の差、およびロール角の差、並びに前記第１の撮像部で撮像された第１の画像と前記第２の撮像部で撮像された第２の画像のスケール比率のうちの少なくとも２つをパラメータとしたモデル式に基づいて算出された前記第１の画像と前記第２の画像の垂直方向のずれの推定値と、前記第１の画像と前記第２の画像の垂直方向のずれの実測値との差分が最小となるように、前記パラメータを推定するステップと、
    前記第１の画像および前記第２の画像の一方における特徴点の垂直方向の位置と、その特徴点に対応する他方における点の垂直方向の位置のペアを検出するステップと、
    前記特徴点の分布に基づいて、前記第１の撮像部と前記第２の撮像部を用いた撮影の方法を指示する撮影指示情報を生成するステップと
    を含み、
    前記実測値は、前記ペアに基づいて算出されるように構成された
    画像処理方法。
JP2017524820A 2015-06-17 2016-06-03 画像処理装置および画像処理方法 Expired - Fee Related JP6701532B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015122068 2015-06-17
JP2015122068 2015-06-17
PCT/JP2016/066568 WO2016203988A1 (ja) 2015-06-17 2016-06-03 画像処理装置および画像処理方法

Publications (2)

Publication Number Publication Date
JPWO2016203988A1 JPWO2016203988A1 (ja) 2018-04-05
JP6701532B2 true JP6701532B2 (ja) 2020-05-27

Family

ID=57545660

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017524820A Expired - Fee Related JP6701532B2 (ja) 2015-06-17 2016-06-03 画像処理装置および画像処理方法

Country Status (4)

Country Link
US (1) US10453219B2 (ja)
JP (1) JP6701532B2 (ja)
CN (1) CN108307654A (ja)
WO (1) WO2016203988A1 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6840645B2 (ja) * 2017-09-08 2021-03-10 株式会社小松製作所 施工管理装置および施工管理方法
CN107808399B (zh) * 2017-09-19 2021-10-26 深圳大学 一种基于莫尔条纹的相机角度变化的测量方法及系统
US10437065B2 (en) * 2017-10-03 2019-10-08 Microsoft Technology Licensing, Llc IPD correction and reprojection for accurate mixed reality object placement
KR102596053B1 (ko) * 2018-08-27 2023-11-01 엘지이노텍 주식회사 영상 처리 장치 및 영상 처리 방법
EP3899642A1 (en) 2018-12-20 2021-10-27 Snap Inc. Flexible eyewear device with dual cameras for generating stereoscopic images
US11356606B2 (en) * 2019-02-26 2022-06-07 Insidemaps, Inc. Imaging using mobile computing device in communication with wide field of view (FOV) camera
CN112986697B (zh) * 2019-12-02 2024-04-26 联合汽车电子有限公司 智能钥匙的标定方法、标定系统及可读存储介质
US10965931B1 (en) 2019-12-06 2021-03-30 Snap Inc. Sensor misalignment compensation
US11740078B2 (en) * 2020-07-21 2023-08-29 Argo AI, LLC Enhanced sensor alignment

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4814669B2 (ja) 2006-03-28 2011-11-16 株式会社デンソーアイティーラボラトリ ３次元座標取得装置
JP5228614B2 (ja) * 2008-05-15 2013-07-03 株式会社豊田中央研究所 パラメータ計算装置、パラメータ計算システムおよびプログラム
JP4865065B1 (ja) 2010-07-14 2012-02-01 Ｂｉ２−Ｖｉｓｉｏｎ株式会社 ステレオ撮像装置の制御システム
JP2012177676A (ja) * 2011-01-31 2012-09-13 Sony Corp 画像処理装置および方法、並びにプログラム
CN102625120B (zh) * 2011-01-31 2016-01-20 索尼公司 图像处理设备和方法
JP5625976B2 (ja) * 2011-02-09 2014-11-19 ソニー株式会社 撮像装置、および撮像装置制御方法、並びにプログラム
US9438889B2 (en) * 2011-09-21 2016-09-06 Qualcomm Incorporated System and method for improving methods of manufacturing stereoscopic image sensors
JP2014092460A (ja) * 2012-11-02 2014-05-19 Sony Corp 画像処理装置および方法、画像処理システム、並びにプログラム
US9262681B1 (en) * 2014-11-19 2016-02-16 Amazon Technologies, Inc. Probabilistic registration of interactions, actions or activities from multiple views

Also Published As

Publication number Publication date
US10453219B2 (en) 2019-10-22
CN108307654A (zh) 2018-07-20
US20180350107A1 (en) 2018-12-06
JPWO2016203988A1 (ja) 2018-04-05
WO2016203988A1 (ja) 2016-12-22

Similar Documents

Publication Publication Date Title
JP6701532B2 (ja) 画像処理装置および画像処理方法
JP6834964B2 (ja) 画像処理装置、画像処理方法、およびプログラム
WO2017159382A1 (ja) 信号処理装置および信号処理方法
JP6764573B2 (ja) 画像処理装置、画像処理方法、およびプログラム
US11076141B2 (en) Image processing device, image processing method, and vehicle
JP6645492B2 (ja) 撮像装置および撮像方法
JP6883215B2 (ja) 計測装置および方法、並びにプログラム
WO2017057044A1 (ja) 情報処理装置及び情報処理方法
WO2017043331A1 (ja) 画像処理装置、及び、画像処理方法
WO2016203989A1 (ja) 画像処理装置および画像処理方法
JP6922169B2 (ja) 情報処理装置および方法、車両、並びに情報処理システム
JPWO2019123795A1 (ja) 画像処理装置と画像処理方法およびプログラム
WO2019093136A1 (ja) 画像処理装置、および画像処理方法、並びにプログラム
WO2019116746A1 (ja) 画像処理装置、画像処理方法及び撮像装置
JP2019145021A (ja) 情報処理装置、撮像装置、及び撮像システム
JPWO2018042815A1 (ja) 画像処理装置と画像処理方法
CN111868778B (zh) 图像处理装置、图像处理方法以及存储介质
US20230013424A1 (en) Information processing apparatus, information processing method, program, imaging apparatus, and imaging system
JP7059185B2 (ja) 画像処理装置、画像処理方法、および撮像装置
WO2022196316A1 (ja) 情報処理装置、情報処理方法及びプログラム
CN111465818B (zh) 图像处理设备、图像处理方法、程序和信息处理系统

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190405

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200128

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200324

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200402

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200415

R151 Written notification of patent or utility model registration

Ref document number: 6701532

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees