JPWO2017042999A1 - 車載用ステレオカメラ装置、およびその補正方法 - Google Patents

車載用ステレオカメラ装置、およびその補正方法 Download PDF

Info

Publication number
JPWO2017042999A1
JPWO2017042999A1 JP2017515267A JP2017515267A JPWO2017042999A1 JP WO2017042999 A1 JPWO2017042999 A1 JP WO2017042999A1 JP 2017515267 A JP2017515267 A JP 2017515267A JP 2017515267 A JP2017515267 A JP 2017515267A JP WO2017042999 A1 JPWO2017042999 A1 JP WO2017042999A1
Authority
JP
Japan
Prior art keywords
unit
imaging unit
camera
holding
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2017515267A
Other languages
English (en)
Inventor
成功 八釣
成功 八釣
山本　紀和
紀和 山本
満 柏原
満 柏原
悠一 鈴木
悠一 鈴木
健 石田
健 石田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of JPWO2017042999A1 publication Critical patent/JPWO2017042999A1/ja
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/22—Display screens
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147—Details of sensors, e.g. sensor lenses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/006—Indicating maintenance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/21—Optical features of instruments using cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/33—Illumination features
    • B60K2360/333—Lasers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/107—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using stereoscopic cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/40—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the details of the power supply or the coupling to vehicle components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Vascular Medicine (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Mechanical Engineering (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Measurement Of Optical Distance (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Studio Devices (AREA)

Abstract

高精度な距離検出を実現できる車載用ステレオカメラ装置を提供する。互いの視野が重なるように車両上に配置された左カメラ及び右カメラと、左カメラ及び右カメラにより撮像される画像及び左カメラ及び右カメラの車両上の位置に基づき、車両外の物体までの距離を算出するステレオ処理部と、左カメラ及び右カメラの近傍に配置され、左カメラ及び右カメラのずれ量を検出するセンサとを備える車載ステレオカメラ装置が提供される。ステレオ処理部は、ずれ量に基づいて、左カメラ及び右カメラにより撮像される画像の切り出し位置を変更する。

Description

本開示は、車載用ステレオカメラ装置に関する。
特許文献１は、位置ずれを調整する機能を有する車載用ステレオカメラ装置を開示する。特許文献１に記載された車載用ステレオカメラ装置においては、フェンダーマーカを撮像した画像に基づいて、ステレオカメラの位置ずれを調整している。
特開２００１−２３３１３９号公報
本開示は、高精度な距離検出を実現できる車載用ステレオカメラ装置を提供する。
本開示における車載用ステレオカメラ装置は、互いの視野が重なるように車両上に配置された第１撮像部及び第２撮像部と、第１撮像部及び第２撮像部により撮像される画像と、第１撮像部及び第２撮像部の車両上の位置に基づき、車両外の物体までの距離を算出する制御部とを備える。さらに、第１撮像部の近傍に配置され、第１撮像部のずれ量を検出する第１検出部と、第２撮像部の近傍に配置され、第２撮像部のずれ量を検出する第２検出部とを備える。制御部は、第１検出部により検出されたずれ量に基づいて、第１撮像部により撮像される画像の切り出し位置を変更し、第２検出部により検出されたずれ量に基づいて、第２撮像部により撮像される画像の切り出し位置を変更する。
本開示における車載用ステレオカメラ装置は、高精度な距離検出を実現できる。
図１は、実施の形態１の車載ステレオカメラ装置の構成を示したブロック図である。 図２は、実施の形態１の車載ステレオカメラ装置の構成を示した模式図である。 図３Ａは、実施の形態１におけるセンサの構成を示した図である。 図３Ｂは、実施の形態１におけるセンサについて説明した図である。 図３Ｃは、実施の形態１におけるセンサについて説明した図である。 図４Ａは、実施の形態１における切り出し位置の変更処理を説明した図である。 図４Ｂは、実施の形態１における切り出し位置の変更処理を説明した図である。 図５は、実施の形態１におけるキャリブレーション処理を説明したフローチャートである。 図６Ａは、実施の形態２におけるセンサの構成を示した図である。 図６Ｂは、実施の形態２におけるセンサについて説明した図である。 図７は、実施の形態３におけるセンサの構成を示した図である。 図８は、実施の形態４におけるセンサの構成を示した図である。
以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために、提供されるのであって、これらにより請求の範囲に記載の主題を限定することは意図されていない。
以下、図１〜８を用いて、実施の形態を説明する。
（実施の形態１）
〔車載ステレオカメラ装置の構成〕
図１は、実施の形態１の車載ステレオカメラ装置１００の構成を示したブロック図である。図１において、車載ステレオカメラ装置１００は、左カメラ（第１撮像部）１０１、右カメラ（第２撮像部）１０２、ステレオ処理部（制御部）２００、画像信号記録部３００、センサ４００、モニタ５００、記録装置６００及び電源ＩＦ７００を備える。
左カメラ１０１及び右カメラ１０２で撮像された画像信号は、ステレオ処理部２００及び画像信号記録部３００へ入力される。ステレオ処理部２００は、画像マッチングの技術を用いて、２つの画像の一致度から視差を求める。ステレオ処理部２００は、視差と、左カメラ１０１及び右カメラ１０２間の距離とに基づき、三角測量の原理によって車の外に存在する測定対象物までの距離を算出する。センサ４００は、左カメラ１０１及び右カメラ１０２の各々について物理的な位置情報を取得し、ステレオ処理部２００に送る。左カメラ１０１及び右カメラ１０２で撮像した画像信号及びステレオ処理部２００で算出された距離結果は、モニタ５００に表示されるとともに、記録装置６００に記録される。電源ＩＦ７００は、車のシガーソケットおよびバッテリー等からの電気を各部に供給する。
ステレオ処理部２００は、センサ４００から得られる左カメラ１０１及び右カメラ１０２の物理的な位置情報に基づいてズレ量を算出する位置ズレ量算出部２０１と、位置ズレ量を記録する補正値記録部２０２と、位置ズレ量に基づき、左カメラ１０１及び右カメラ１０２で撮像した画像の切り出し位置を変更する画像補正部２０３と、切り出された左右の画像から視差を算出して測定対象物までの距離に変換する距離測定部２０４とから構成される。
図２は、実施の形態１の車載ステレオカメラ装置１００の構成を示した模式図である。図２において、左カメラ１０１及び右カメラ１０２は、互いの視野が重なるように、フレーム１０３を介して基線長の間隔だけ隔てた状態で車の内部に取り付けられている。左カメラ１０１及び右カメラ１０２は、互いの光軸が平行になるよう製造時に調整されている。左カメラ１０１及び右カメラ１０２は、それぞれ、撮像素子、ズームレンズ、フォーカスレンズ、固定レンズ等を備えている。
本開示では、左右カメラの位置ズレを検出するために、左カメラ１０１の近傍に第１センサ（第１検出部）４００ａが配置され、右カメラ１０２の近傍に第２センサ（第２検出部）４００ｂが設置されている。そして、第１センサ４００ａ及び第２センサ４００ｂからなるセンサ４００が、左カメラ１０１及び右カメラ１０２の物理的な位置情報を取得する。得られた位置情報は、ステレオ処理部２００に入力され、ステレオ処理部２００は、位置情報の変化に基づいて画像の切り出し位置を変更する補正を行い、補正した画像に基づいて対象物までの距離を測定する。
このため、本開示の車載ステレオカメラ装置１００においては、左カメラ１０１及び右カメラ１０２の固定状態が製造時に調整した状態から変化して位置ズレが生じたとしても、距離測定時に誤差が生じることがなく、高精度な距離測定を実現することができる。
〔センサの構成〕
図３Ａは、実施の形態１におけるセンサ４００の構成を示した図である。実施の形態１においては、センサ４００としてフォトインタラプタ４１０ｘ、４１０ｙを用いている。図３Ａでは、説明の簡略化のため、左カメラ１０１側の構成のみを示しているが、右カメラ１０２側も同様の構成を有する。図３Ａにおいて、左カメラ１０１のレンズ部１１１に遮光部４１１ｘ、４１１ｙを設け、それらに対応させてレンズ部１１１を保持する保持部（図示せず）にフォトインタラプタ４１０ｘ、４１０ｙを設置する。フォトインタラプタ４１０ｘ、４１０ｙは、光を検知すると電流が流れる仕組みになっており、得られる電流値からカメラの物理的な位置情報を取得する。
図３Ｂ、図３Ｃは、実施の形態１におけるセンサ４００について説明した図である。図３Ｂは、一例として、初期状態時と経年変化時のフォトインタラプタ４１０ｘとそれに対応する遮光部４１１ｘとの位置関係を示した図である。図３Ｂの（ａ）に示すように、初期状態時は、製造段階でフォトインタラプタ４１０ｘが遮光部４１１ｘにより遮光された状態で固定されているため、フォトインタラプタ４１０ｘには電流が流れず、フォトインタラプタ４１０ｘはＯＦＦとなっている。
一方、経年変化時では、カメラのレンズ部１１１は保持部に対して、初期状態の位置を保てず、相互の位置関係にずれが生じる。特に車載用途では、車内の温度変化や振動等の影響が与える影響は大きく、ずれが生じる可能性が高い。経年変化時では、図３Ｂの（ｂ）に示すように、レンズ部１１１が初期状態の位置から変化することで、レンズ部１１１に設置された遮光部４１１ｘが、保持部に設置されたフォトインタラプタ４１０ｘを遮光しなくなる。これにより、フォトインタラプタ４１０ｘに電流が流れ始め、電流値がある閾値を超えると、フォトインタラプタ４１０ｘがＯＮとなる。この状態は、カメラが初期状態の位置から大きく変化したことを意味し、このままでは正確な距離測定が出来ない。そのため、フォトインタラプタ４１０ｘがＯＮになった場合は、使用者にメンテナンスが必要な旨（エラー）を知らせる。なお、初期状態時と経年変化時のフォトインタラプタ４１０ｙとそれに対応する遮光部４１１ｙとの位置関係についても、同様である。
図３Ｃは、カメラが初期状態の位置から微少に変化した場合に補正を行う方法に関して説明した図である。図３Ｃの（ｂ）に示すように、一例として、フォトインタラプタ４１０ｘは受光素子（フォトセンサ）と発光素子とが対向するように構成されている。そして、図３Ｃの（ａ）に示すように、遮光部４１１ｘがフォトインタラプタ４１０ｘの一部を遮断した場合（−１＜遮光量φ＜１）は、フォトインタラプタ４１０ｘには遮光量φに比例した電流が流れる。検出した電流値は位置ズレ量算出部２０１に記録し、図３Ｃの（ｃ）に示すような予め準備しておいた電流値Ｉと遮光量φの特性から、遮光量φつまりカメラの位置ズレ量を算出し、補正値記録部２０２に入力する。そして、画像補正部２０３で、補正値記録部２０２に入力された値だけ切り出し位置を変更する画像補正を行い、距離測定部２０４で距離測定を行う。このように、カメラの位置ズレを補正することで、カメラが初期状態の位置にある時と変わらない高精度な距離測定を行うことが出来る。
〔画像切り出し位置変更処理〕
図４Ａ、図４Ｂは、実施の形態１における切り出し位置の変更処理を説明した図である。図４Ａ、図４Ｂでは、画像補正部２０３で行う処理を、左カメラ１０１及び右カメラ１０２で得られた初期時及び経年変化時の画像を用いて説明した図である。
図４Ａに示すように、初期時は、画像補正部２０３において所定位置（ｘ，ｙ）から一定の領域を有する画像を切り出し、距離測定部２０４に入力し距離測定を行う。
次に、図４Ｂにおいて、経年変化時の場合の処理を示す。ここでは、一例として、右カメラ１０２のみ、位置ズレが生じた場合を考える。画像補正部２０３では、左カメラ１０１及び右カメラ１０２で撮像した画像信号のうち、ずれが生じた右カメラ１０２で撮像した画像信号の切り出し位置をセンサで検出した位置ズレ量に対応する補正値（Δｘ，Δｙ）だけ平行移動した位置（ｘ＋Δｘ，ｙ＋Δｙ）に変更する。そして、その位置から一定の領域を有する画像を切り出して、距離測定部２０４に入力する。これにより、距離測定部２０４には、初期の場合の切り出し範囲と同じ範囲の画像が入力され、切り出された範囲内で画像マッチングを行うことにより、初期時と変わることなく、距離測定を正確に行うことが可能になる。
〔キャリブレーション処理〕
図５は、車載ステレオカメラ装置１００のキャリブレーション処理を示したフローチャートである。運転者が車のエンジンをかけた際、左カメラ１０１及び右カメラ１０２で撮像された画像信号は、ステレオ処理部２００へ入力され、キャリブレーション処理が開始される（Ｓ１）。ステレオ処理部２００の位置ズレ量算出部２０１は、カメラの物理的なズレ量を算出する（Ｓ２）。ここで算出したズレ量に対し、予めある閾値を設けておき、ステレオ処理部２００はその閾値を超えていないかを判断する（Ｓ３）。閾値を超えていた場合は、ステレオ処理部２００は、モニタ５００にエラーを表示させ、運転者にメンテナンスが必要な旨を通知する（Ｓ４）。
一方、ズレ量が閾値を超えていない場合は、ステレオ処理部２００は、ズレ量を補正値として補正値記録部２０２に格納する（Ｓ５）。そして、画像補正部２０３は、左カメラ１０１及び右カメラ１０２で撮像した画像に対し、補正値に相当する画素数分だけ、切り出し位置を変更させる（Ｓ６）。ここで切出された左右の画像を距離測定部２０４に入力し距離測定を行う。これによりキャリブレーションは終了となる（Ｓ７）。この処理を車のエンジンをかけた際に都度行うことで、正確な距離計測を絶えず行うことが可能になる。
（実施の形態２）
次に、実施の形態２について説明する。実施の形態２は、上記の実施の形態１のうち、〔センサの構成〕のみが異なる。以下、実施の形態２について、実施の形態１とは異なる構成のみを説明する。
図６Ａは、実施の形態２におけるセンサ４００の構成を示した図である。図６Ｂは、実施の形態２におけるセンサ４００について説明した図である。実施の形態２においては、センサ４００としてホール素子４２０を用いている。図６Ａでは、説明の簡略化のため、左カメラ１０１側の構成のみを示しているが、右カメラ１０２側も同様の構成を有する。左カメラ１０１のレンズ部１１１に磁石（磁性体）４２１を設置し、レンズ部１１１を支持する保持部４２２にホール素子４２０を設置する。ホール素子４２０は、対になる磁石４２１との位置関係により出力値が変化する。図６Ｂに示したような、ホール素子とカメラの位置の変化量の特性を予め補正データとして準備しておき、その特性を用いて補正を行う。
例えば、図６Ｂにおいて、初期状態時にホール素子４２０で検出された値を「Ｙ」とする。この場合、磁石４２１とホール素子４２０は間隔「Ｘ」離れた状態で設置されていたことになる。ここで得られた「Ｙ」を位置ズレ量算出部２０１に初期値として記録させておく。
一方、経年変化時では、カメラのレンズ部１１１は保持部４２２に対して、初期状態の位置を保てず、相互の位置関係にずれが生じる。そのため、ホール素子４２０で同様に値を検出すると「Ｙ＋ΔＹ」に変化する。同様に、この数値を位置ズレ量算出部２０１に記録し、初期値「Ｙ」との変化量「ΔＹ」を算出する。そして、予め補正データとして準備しておいたホール素子４２０とカメラの位置の変化量の特性より、ホール素子４２０の値の変化量「ΔＹ」に相当するカメラの位置の変化量「ΔＸ」を算出する。これにより、磁石４２１とホール素子４２０の間隔は「Ｘ＋ΔＸ」に変化したことが分かる。このように、カメラの位置ズレ量を補正することにより、カメラが初期状態の位置にある時と変わらない高精度な距離測定を行うことが出来る。
（実施の形態３）
次に、実施の形態３について説明する。実施の形態３は、上記の実施の形態１のうち、〔センサの構成〕のみが異なる。以下、実施の形態３について、実施の形態１とは異なる構成のみを説明する。
図７は、実施の形態３におけるセンサ４００の構成を示した図である。実施の形態３においては、センサ４００として第１の受光素子４３０ａ、第２の受光素子４３０ｂを用いている。図７において、第１のレーザー光発光素子４３１ａ、第２のレーザー光発光素子４３１ｂ及び第１の受光素子４３０ａ、第２の受光素子４３０ｂは、左カメラ１０１及び右カメラ１０２の近傍に取り付けており、互いに向かい合う形で配置している。一方のカメラに取り付けた第１のレーザー光発光素子４３１ａ、第２のレーザー光発光素子４３１ｂから、それぞれ他方のカメラに取り付けた第２の受光素子４３０ｂ、第１の受光素子４３０ａに向かってレーザー光を照射する。初期状態時では、レーザー光は予め定めていた位置に集光するが、経年変化時では、レーザー光の集光位置は定めていた位置から変化する。これにより、カメラの位置が変化したかを判別し、カメラの位置ズレ量に応じて補正し距離測定を行うことができる。
（実施の形態４）
次に、実施の形態４について説明する。実施の形態４は、上記の実施の形態１のうち、〔センサの構成〕のみが異なる。以下、実施の形態４について、実施の形態１とは異なる構成のみを説明する。
図８は、実施の形態４におけるセンサ４００の構成を示した図である。実施の形態４においては、実施の形態３と同様に、センサ４００として第１の受光素子４３０ａを用いている。
実施の形態４においては、レンズ部１１１の後方に第１のレーザー光発光素子４３１ａ及び第１の受光素子４３０ａを配置している。レンズ部１１１の後方に向けて、第１のレーザー光発光素子４３１ａより、レーザー光を照射し、後方に配置した反射板４３２からの反射光を第１の受光素子４３０ａで受光することにより、カメラの位置ズレ量に応じて補正し距離測定を行うことが可能である。
なお、実施の形態４では、一例として、左カメラ１０１の場合について説明したが、右カメラ１０２の場合も同様である。
（他の実施の形態）
以上のように、本出願において開示する技術の例示として、実施の形態１〜４を説明した。しかしながら、本開示における技術は、これに限定されず、変更、置き換え、付加、省略などを行った実施の形態にも適用できる。また、上記実施の形態１〜４で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。
そこで、以下、他の実施の形態を例示する。
実施の形態１の〔センサの構成〕においては、遮光量をパラメータとした例で説明した。しかしながら。遮光部の透過率を変えることで電流値を制御する構成とすることもできる。
実施の形態１の〔キャリブレーション処理〕においては、Ｓ２でズレ量を算出するたびに、閾値を超えたかどうか判別している。しかしながら、複数回のズレ量を記録しておき、その平均値等から閾値を超えたかどうかを判断することもできる。また、複数回のズレ量の平均値等に基づいて切り出し位置を変更するようにすることもできる。
なお、上述の実施の形態は、本開示における技術を例示するためのものであるから、請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。
本開示は、車載ステレオカメラ装置に適用することが可能である。
１００ 車載ステレオカメラ装置
１０１ 左カメラ（第１撮像部）
１０２ 右カメラ（第２撮像部）
１０３ フレーム
１１１ レンズ部
２００ ステレオ処理部（制御部）
２０１ 位置ズレ量算出部
２０２ 補正値記録部
２０３ 画像補正部
２０４ 距離測定部
３００ 画像信号記録部
４００ センサ
４００ａ 第１センサ（第１検出部）
４００ｂ 第２センサ（第２検出部）
４１０ｘ，４１０ｙ フォトインタラプタ
４１１ｘ，４１１ｙ 遮光部
４２０ ホール素子
４２１ 磁石（磁性体）
４２２ 保持部
４３０ａ 第１の受光素子
４３０ｂ 第２の受光素子
４３１ａ 第１のレーザー光発光素子
４３１ｂ 第２のレーザー光発光素子
４３２ 反射板
５００ モニタ
６００ 記録装置
７００ 電源ＩＦ
本開示は、車載用ステレオカメラ装置に関する。
特許文献１は、位置ずれを調整する機能を有する車載用ステレオカメラ装置を開示する。特許文献１に記載された車載用ステレオカメラ装置においては、フェンダーマーカを撮像した画像に基づいて、ステレオカメラの位置ずれを調整している。
特開２００１−２３３１３９号公報
本開示は、高精度な距離検出を実現できる車載用ステレオカメラ装置を提供する。
本開示における車載用ステレオカメラ装置は、互いの視野が重なるように車両上に配置された第１撮像部及び第２撮像部と、第１撮像部及び第２撮像部により撮像される画像と、第１撮像部及び第２撮像部の車両上の位置に基づき、車両外の物体までの距離を算出する制御部とを備える。さらに、第１撮像部の近傍に配置され、第１撮像部のずれ量を検出する第１検出部と、第２撮像部の近傍に配置され、第２撮像部のずれ量を検出する第２検出部とを備える。制御部は、第１検出部により検出されたずれ量に基づいて、第１撮像部により撮像される画像の切り出し位置を変更し、第２検出部により検出されたずれ量に基づいて、第２撮像部により撮像される画像の切り出し位置を変更する。
本開示における車載用ステレオカメラ装置は、高精度な距離検出を実現できる。
図１は、実施の形態１の車載ステレオカメラ装置の構成を示したブロック図である。 図２は、実施の形態１の車載ステレオカメラ装置の構成を示した模式図である。 図３Ａは、実施の形態１におけるセンサの構成を示した図である。 図３Ｂは、実施の形態１におけるセンサについて説明した図である。 図３Ｃは、実施の形態１におけるセンサについて説明した図である。 図４Ａは、実施の形態１における切り出し位置の変更処理を説明した図である。 図４Ｂは、実施の形態１における切り出し位置の変更処理を説明した図である。 図５は、実施の形態１におけるキャリブレーション処理を説明したフローチャートである。 図６Ａは、実施の形態２におけるセンサの構成を示した図である。 図６Ｂは、実施の形態２におけるセンサについて説明した図である。 図７は、実施の形態３におけるセンサの構成を示した図である。 図８は、実施の形態４におけるセンサの構成を示した図である。
以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために、提供されるのであって、これらにより請求の範囲に記載の主題を限定することは意図されていない。
以下、図１〜８を用いて、実施の形態を説明する。
（実施の形態１）
〔車載ステレオカメラ装置の構成〕
図１は、実施の形態１の車載ステレオカメラ装置１００の構成を示したブロック図である。図１において、車載ステレオカメラ装置１００は、左カメラ（第１撮像部）１０１、右カメラ（第２撮像部）１０２、ステレオ処理部（制御部）２００、画像信号記録部３００、センサ４００、モニタ５００、記録装置６００及び電源ＩＦ７００を備える。
左カメラ１０１及び右カメラ１０２で撮像された画像信号は、ステレオ処理部２００及び画像信号記録部３００へ入力される。ステレオ処理部２００は、画像マッチングの技術を用いて、２つの画像の一致度から視差を求める。ステレオ処理部２００は、視差と、左カメラ１０１及び右カメラ１０２間の距離とに基づき、三角測量の原理によって車の外に存在する測定対象物までの距離を算出する。センサ４００は、左カメラ１０１及び右カメラ１０２の各々について物理的な位置情報を取得し、ステレオ処理部２００に送る。左カメラ１０１及び右カメラ１０２で撮像した画像信号及びステレオ処理部２００で算出された距離結果は、モニタ５００に表示されるとともに、記録装置６００に記録される。電源ＩＦ７００は、車のシガーソケットおよびバッテリー等からの電気を各部に供給する。
ステレオ処理部２００は、センサ４００から得られる左カメラ１０１及び右カメラ１０２の物理的な位置情報に基づいてズレ量を算出する位置ズレ量算出部２０１と、位置ズレ量を記録する補正値記録部２０２と、位置ズレ量に基づき、左カメラ１０１及び右カメラ１０２で撮像した画像の切り出し位置を変更する画像補正部２０３と、切り出された左右の画像から視差を算出して測定対象物までの距離に変換する距離測定部２０４とから構成される。
図２は、実施の形態１の車載ステレオカメラ装置１００の構成を示した模式図である。図２において、左カメラ１０１及び右カメラ１０２は、互いの視野が重なるように、フレーム１０３を介して基線長の間隔だけ隔てた状態で車の内部に取り付けられている。左カメラ１０１及び右カメラ１０２は、互いの光軸が平行になるよう製造時に調整されている。左カメラ１０１及び右カメラ１０２は、それぞれ、撮像素子、ズームレンズ、フォーカスレンズ、固定レンズ等を備えている。
本開示では、左右カメラの位置ズレを検出するために、左カメラ１０１の近傍に第１センサ（第１検出部）４００ａが配置され、右カメラ１０２の近傍に第２センサ（第２検出部）４００ｂが設置されている。そして、第１センサ４００ａ及び第２センサ４００ｂからなるセンサ４００が、左カメラ１０１及び右カメラ１０２の物理的な位置情報を取得する。得られた位置情報は、ステレオ処理部２００に入力され、ステレオ処理部２００は、位置情報の変化に基づいて画像の切り出し位置を変更する補正を行い、補正した画像に基づいて対象物までの距離を測定する。
このため、本開示の車載ステレオカメラ装置１００においては、左カメラ１０１及び右カメラ１０２の固定状態が製造時に調整した状態から変化して位置ズレが生じたとしても、距離測定時に誤差が生じることがなく、高精度な距離測定を実現することができる。
〔センサの構成〕
図３Ａは、実施の形態１におけるセンサ４００の構成を示した図である。実施の形態１においては、センサ４００としてフォトインタラプタ４１０ｘ、４１０ｙを用いている。図３Ａでは、説明の簡略化のため、左カメラ１０１側の構成のみを示しているが、右カメラ１０２側も同様の構成を有する。図３Ａにおいて、左カメラ１０１のレンズ部１１１に遮光部４１１ｘ、４１１ｙを設け、それらに対応させてレンズ部１１１を保持する保持部（図示せず）にフォトインタラプタ４１０ｘ、４１０ｙを設置する。フォトインタラプタ４１０ｘ、４１０ｙは、光を検知すると電流が流れる仕組みになっており、得られる電流値からカメラの物理的な位置情報を取得する。
図３Ｂ、図３Ｃは、実施の形態１におけるセンサ４００について説明した図である。図３Ｂは、一例として、初期状態時と経年変化時のフォトインタラプタ４１０ｘとそれに対応する遮光部４１１ｘとの位置関係を示した図である。図３Ｂの（ａ）に示すように、初期状態時は、製造段階でフォトインタラプタ４１０ｘが遮光部４１１ｘにより遮光された状態で固定されているため、フォトインタラプタ４１０ｘには電流が流れず、フォトインタラプタ４１０ｘはＯＦＦとなっている。
一方、経年変化時では、カメラのレンズ部１１１は保持部に対して、初期状態の位置を保てず、相互の位置関係にずれが生じる。特に車載用途では、車内の温度変化や振動等の影響が与える影響は大きく、ずれが生じる可能性が高い。経年変化時では、図３Ｂの（ｂ）に示すように、レンズ部１１１が初期状態の位置から変化することで、レンズ部１１１に設置された遮光部４１１ｘが、保持部に設置されたフォトインタラプタ４１０ｘを遮光しなくなる。これにより、フォトインタラプタ４１０ｘに電流が流れ始め、電流値がある閾値を超えると、フォトインタラプタ４１０ｘがＯＮとなる。この状態は、カメラが初期状態の位置から大きく変化したことを意味し、このままでは正確な距離測定が出来ない。そのため、フォトインタラプタ４１０ｘがＯＮになった場合は、使用者にメンテナンスが必要な旨（エラー）を知らせる。なお、初期状態時と経年変化時のフォトインタラプタ４１０ｙとそれに対応する遮光部４１１ｙとの位置関係についても、同様である。
図３Ｃは、カメラが初期状態の位置から微少に変化した場合に補正を行う方法に関して説明した図である。図３Ｃの（ｂ）に示すように、一例として、フォトインタラプタ４１０ｘは受光素子（フォトセンサ）と発光素子とが対向するように構成されている。そして、図３Ｃの（ａ）に示すように、遮光部４１１ｘがフォトインタラプタ４１０ｘの一部を遮断した場合（−１＜遮光量φ＜１）は、フォトインタラプタ４１０ｘには遮光量φに比例した電流が流れる。検出した電流値は位置ズレ量算出部２０１に記録し、図３Ｃの（ｃ）に示すような予め準備しておいた電流値Ｉと遮光量φの特性から、遮光量φつまりカメラの位置ズレ量を算出し、補正値記録部２０２に入力する。そして、画像補正部２０３で、補正値記録部２０２に入力された値だけ切り出し位置を変更する画像補正を行い、距離測定部２０４で距離測定を行う。このように、カメラの位置ズレを補正することで、カメラが初期状態の位置にある時と変わらない高精度な距離測定を行うことが出来る。
〔画像切り出し位置変更処理〕
図４Ａ、図４Ｂは、実施の形態１における切り出し位置の変更処理を説明した図である。図４Ａ、図４Ｂでは、画像補正部２０３で行う処理を、左カメラ１０１及び右カメラ１０２で得られた初期時及び経年変化時の画像を用いて説明した図である。
図４Ａに示すように、初期時は、画像補正部２０３において所定位置（ｘ，ｙ）から一定の領域を有する画像を切り出し、距離測定部２０４に入力し距離測定を行う。
次に、図４Ｂにおいて、経年変化時の場合の処理を示す。ここでは、一例として、右カメラ１０２のみ、位置ズレが生じた場合を考える。画像補正部２０３では、左カメラ１０１及び右カメラ１０２で撮像した画像信号のうち、ずれが生じた右カメラ１０２で撮像した画像信号の切り出し位置をセンサで検出した位置ズレ量に対応する補正値（Δｘ，Δｙ）だけ平行移動した位置（ｘ＋Δｘ，ｙ＋Δｙ）に変更する。そして、その位置から一定の領域を有する画像を切り出して、距離測定部２０４に入力する。これにより、距離測定部２０４には、初期の場合の切り出し範囲と同じ範囲の画像が入力され、切り出された範囲内で画像マッチングを行うことにより、初期時と変わることなく、距離測定を正確に行うことが可能になる。
〔キャリブレーション処理〕
図５は、車載ステレオカメラ装置１００のキャリブレーション処理を示したフローチャートである。運転者が車のエンジンをかけた際、左カメラ１０１及び右カメラ１０２で撮像された画像信号は、ステレオ処理部２００へ入力され、キャリブレーション処理が開始される（Ｓ１）。ステレオ処理部２００の位置ズレ量算出部２０１は、カメラの物理的なズレ量を算出する（Ｓ２）。ここで算出したズレ量に対し、予めある閾値を設けておき、ステレオ処理部２００はその閾値を超えていないかを判断する（Ｓ３）。閾値を超えていた場合は、ステレオ処理部２００は、モニタ５００にエラーを表示させ、運転者にメンテナンスが必要な旨を通知する（Ｓ４）。
一方、ズレ量が閾値を超えていない場合は、ステレオ処理部２００は、ズレ量を補正値として補正値記録部２０２に格納する（Ｓ５）。そして、画像補正部２０３は、左カメラ１０１及び右カメラ１０２で撮像した画像に対し、補正値に相当する画素数分だけ、切り出し位置を変更させる（Ｓ６）。ここで切出された左右の画像を距離測定部２０４に入力し距離測定を行う。これによりキャリブレーションは終了となる（Ｓ７）。この処理を車のエンジンをかけた際に都度行うことで、正確な距離計測を絶えず行うことが可能になる。
（実施の形態２）
次に、実施の形態２について説明する。実施の形態２は、上記の実施の形態１のうち、〔センサの構成〕のみが異なる。以下、実施の形態２について、実施の形態１とは異なる構成のみを説明する。
図６Ａは、実施の形態２におけるセンサ４００の構成を示した図である。図６Ｂは、実施の形態２におけるセンサ４００について説明した図である。実施の形態２においては、センサ４００としてホール素子４２０を用いている。図６Ａでは、説明の簡略化のため、左カメラ１０１側の構成のみを示しているが、右カメラ１０２側も同様の構成を有する。左カメラ１０１のレンズ部１１１に磁石（磁性体）４２１を設置し、レンズ部１１１を支持する保持部４２２にホール素子４２０を設置する。ホール素子４２０は、対になる磁石４２１との位置関係により出力値が変化する。図６Ｂに示したような、ホール素子とカメラの位置の変化量の特性を予め補正データとして準備しておき、その特性を用いて補正を行う。
例えば、図６Ｂにおいて、初期状態時にホール素子４２０で検出された値を「Ｙ」とする。この場合、磁石４２１とホール素子４２０は間隔「Ｘ」離れた状態で設置されていたことになる。ここで得られた「Ｙ」を位置ズレ量算出部２０１に初期値として記録させておく。
一方、経年変化時では、カメラのレンズ部１１１は保持部４２２に対して、初期状態の位置を保てず、相互の位置関係にずれが生じる。そのため、ホール素子４２０で同様に値を検出すると「Ｙ＋ΔＹ」に変化する。同様に、この数値を位置ズレ量算出部２０１に記録し、初期値「Ｙ」との変化量「ΔＹ」を算出する。そして、予め補正データとして準備しておいたホール素子４２０とカメラの位置の変化量の特性より、ホール素子４２０の値の変化量「ΔＹ」に相当するカメラの位置の変化量「ΔＸ」を算出する。これにより、磁石４２１とホール素子４２０の間隔は「Ｘ＋ΔＸ」に変化したことが分かる。このように、カメラの位置ズレ量を補正することにより、カメラが初期状態の位置にある時と変わらない高精度な距離測定を行うことが出来る。
（実施の形態３）
次に、実施の形態３について説明する。実施の形態３は、上記の実施の形態１のうち、〔センサの構成〕のみが異なる。以下、実施の形態３について、実施の形態１とは異なる構成のみを説明する。
図７は、実施の形態３におけるセンサ４００の構成を示した図である。実施の形態３においては、センサ４００として第１の受光素子４３０ａ、第２の受光素子４３０ｂを用いている。図７において、第１のレーザー光発光素子４３１ａ、第２のレーザー光発光素子４３１ｂ及び第１の受光素子４３０ａ、第２の受光素子４３０ｂは、左カメラ１０１及び右カメラ１０２の近傍に取り付けており、互いに向かい合う形で配置している。一方のカメラに取り付けた第１のレーザー光発光素子４３１ａ、第２のレーザー光発光素子４３１ｂから、それぞれ他方のカメラに取り付けた第２の受光素子４３０ｂ、第１の受光素子４３０ａに向かってレーザー光を照射する。初期状態時では、レーザー光は予め定めていた位置に集光するが、経年変化時では、レーザー光の集光位置は定めていた位置から変化する。これにより、カメラの位置が変化したかを判別し、カメラの位置ズレ量に応じて補正し距離測定を行うことができる。
（実施の形態４）
次に、実施の形態４について説明する。実施の形態４は、上記の実施の形態１のうち、〔センサの構成〕のみが異なる。以下、実施の形態４について、実施の形態１とは異なる構成のみを説明する。
図８は、実施の形態４におけるセンサ４００の構成を示した図である。実施の形態４においては、実施の形態３と同様に、センサ４００として第１の受光素子４３０ａを用いている。
実施の形態４においては、レンズ部１１１の後方に第１のレーザー光発光素子４３１ａ及び第１の受光素子４３０ａを配置している。レンズ部１１１の後方に向けて、第１のレーザー光発光素子４３１ａより、レーザー光を照射し、後方に配置した反射板４３２からの反射光を第１の受光素子４３０ａで受光することにより、カメラの位置ズレ量に応じて補正し距離測定を行うことが可能である。
なお、実施の形態４では、一例として、左カメラ１０１の場合について説明したが、右カメラ１０２の場合も同様である。
（他の実施の形態）
以上のように、本出願において開示する技術の例示として、実施の形態１〜４を説明した。しかしながら、本開示における技術は、これに限定されず、変更、置き換え、付加、省略などを行った実施の形態にも適用できる。また、上記実施の形態１〜４で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。
そこで、以下、他の実施の形態を例示する。
実施の形態１の〔センサの構成〕においては、遮光量をパラメータとした例で説明した。しかしながら。遮光部の透過率を変えることで電流値を制御する構成とすることもできる。
実施の形態１の〔キャリブレーション処理〕においては、Ｓ２でズレ量を算出するたびに、閾値を超えたかどうか判別している。しかしながら、複数回のズレ量を記録しておき、その平均値等から閾値を超えたかどうかを判断することもできる。また、複数回のズレ量の平均値等に基づいて切り出し位置を変更するようにすることもできる。
なお、上述の実施の形態は、本開示における技術を例示するためのものであるから、請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。
本開示は、車載ステレオカメラ装置に適用することが可能である。
１００ 車載ステレオカメラ装置
１０１ 左カメラ（第１撮像部）
１０２ 右カメラ（第２撮像部）
１０３ フレーム
１１１ レンズ部
２００ ステレオ処理部（制御部）
２０１ 位置ズレ量算出部
２０２ 補正値記録部
２０３ 画像補正部
２０４ 距離測定部
３００ 画像信号記録部
４００ センサ
４００ａ 第１センサ（第１検出部）
４００ｂ 第２センサ（第２検出部）
４１０ｘ，４１０ｙ フォトインタラプタ
４１１ｘ，４１１ｙ 遮光部
４２０ ホール素子
４２１ 磁石（磁性体）
４２２ 保持部
４３０ａ 第１の受光素子
４３０ｂ 第２の受光素子
４３１ａ 第１のレーザー光発光素子
４３１ｂ 第２のレーザー光発光素子
４３２ 反射板
５００ モニタ
６００ 記録装置
７００ 電源ＩＦ
３５ 接続ソケット

Claims (8)

  1. 互いの視野が重なるように車両上に配置された第１撮像部及び第２撮像部と、
    前記第１撮像部及び前記第２撮像部により撮像される画像と、前記第１撮像部及び前記第２撮像部の車両上の位置と、に基づき、車両外の物体までの距離を算出する制御部と、
    前記第１撮像部の近傍に配置され、前記第１撮像部のずれ量を検出する第１検出部と、
    前記第２撮像部の近傍に配置され、前記第２撮像部のずれ量を検出する第２検出部と、を備え、
    前記制御部は、前記第１検出部により検出されたずれ量に基づいて、前記第１撮像部により撮像される画像の切り出し位置を変更し、前記第２検出部により検出されたずれ量に基づいて、前記第２撮像部により撮像される画像の切り出し位置を変更する、
    車載用ステレオカメラ装置。
  2. 前記第１検出部は、
    前記第１撮像部と、前記第１撮像部を保持する保持部とのうち、いずれか一方に保持された第１のフォトインタラプタと、
    前記第１撮像部と、前記第１撮像部を保持する保持部とのうち、他方に保持され、前記第１のフォトインタラプタの光路上に配置された第１の遮光部と、を備え、
    前記第２検出部は、
    前記第２撮像部と、前記第２撮像部を保持する保持部とのうち、いずれか一方に保持された第２のフォトインタラプタと、
    前記第２撮像部と、前記第２撮像部を保持する保持部とのうち、他方に保持され、前記第２のフォトインタラプタの光路上に配置された第２の遮光部と、を備える、
    請求項１に記載の車載用ステレオカメラ装置。
  3. 前記第１検出部は、
    前記第１撮像部と、前記第１撮像部を保持する保持部とのうち、いずれか一方に保持された第１のホール素子と、
    前記第１撮像部と、前記第１撮像部を保持する保持部とのうち、他方に保持された第１の磁性体と、を備え、
    前記第２検出部は、
    前記第２撮像部と、前記第２撮像部を保持する保持部とのうち、いずれか一方に保持された第２のホール素子と、
    前記第２撮像部と、前記第２撮像部を保持する保持部との他方に保持された第２の磁性体と、を備える、
    請求項１に記載の車載用ステレオカメラ装置。
  4. 前記第１検出部は、
    前記第１撮像部に保持された第１のレーザー光発光素子及び第１の受光素子を備え、
    前記第２検出部は、
    前記第２撮像部に保持された第２のレーザー光発光素子及び第２の受光素子を備える、
    請求項１に記載の車載用ステレオカメラ装置。
  5. 前記第１検出部は、
    前記第１撮像部と、前記第１撮像部を保持する保持部とのうち、いずれか一方に保持された第１のレーザー光発光素子及び第１の受光素子と、
    前記第１撮像部と、前記第１撮像部を保持する保持部との他方に保持された第１の反射板と、を備え、
    前記第２検出部は、
    前記第２撮像部と、前記第２撮像部を保持する保持部とのうち、いずれか一方に保持された第２のレーザー光発光素子及び第２の受光素子と、
    前記第２撮像部と、前記第２撮像部を保持する保持部との他方に保持された第２の反射板と、を備える、
    請求項１に記載の車載用ステレオカメラ装置。
  6. 前記制御部は、
    前記車両が通電状態とされるたびに前記ずれ量を求めて記憶し、通電回数が所定数に達すると前記ずれ量の平均値を求め、前記ずれ量の平均値に基づいて前記切り出し位置を変更する、
    請求項１に記載の車載用ステレオカメラ装置。
  7. 撮像部の近傍に配置され、前記撮像部のずれ量を検出する検出部を備えた車載用ステレオカメラ装置の補正方法であって、
    前記検出部によって、前記撮像部のずれ量を検出するステップと、
    前記ずれ量に基づいて、前記撮像部により撮像される画像の切り出し位置を変更するステップと、を備える
    車載用ステレオカメラ装置の補正方法。
  8. 前記車両が通電状態とされるたびに前記ずれ量を求めて記憶し、通電回数が所定数に達すると前記ずれ量の平均値を求め、前記ずれ量の平均値に基づいて前記切り出し位置を変更するステップを、さらに備える
    請求項７に記載の車載用ステレオカメラ装置の補正方法。
JP2017515267A 2015-09-07 2016-06-17 車載用ステレオカメラ装置、およびその補正方法 Pending JPWO2017042999A1 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015175288 2015-09-07
JP2015175288 2015-09-07
PCT/JP2016/002920 WO2017042999A1 (ja) 2015-09-07 2016-06-17 車載用ステレオカメラ装置、およびその補正方法

Publications (1)

Publication Number Publication Date
JPWO2017042999A1 true JPWO2017042999A1 (ja) 2018-06-28

Family

ID=58239398

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017515267A Pending JPWO2017042999A1 (ja) 2015-09-07 2016-06-17 車載用ステレオカメラ装置、およびその補正方法

Country Status (4)

Country Link
US (1) US10384608B2 (ja)
EP (1) EP3349431A4 (ja)
JP (1) JPWO2017042999A1 (ja)
WO (1) WO2017042999A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3289430B1 (en) * 2015-04-27 2019-10-23 Snap-Aid Patents Ltd. Estimating and using relative head pose and camera field-of-view
CN108108667B (zh) * 2017-12-01 2019-08-09 大连理工大学 一种基于窄基线双目视觉的前方车辆快速测距方法
US11740078B2 (en) * 2020-07-21 2023-08-29 Argo AI, LLC Enhanced sensor alignment

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4393659B2 (ja) 2000-02-25 2010-01-06 富士重工業株式会社 車載用プレビューセンサの位置ずれ調整装置
JP2004173037A (ja) * 2002-11-21 2004-06-17 Kyocera Corp 車載カメラの光軸ずれ検出装置
JP3906194B2 (ja) * 2002-11-29 2007-04-18 株式会社東芝 キャリブレーション方法、キャリブレーション支援装置、キャリブレーション装置およびカメラシステムの製造方法
JP2004247979A (ja) * 2003-02-14 2004-09-02 Hitachi Ltd 車載用カメラ装置
JP4260129B2 (ja) * 2005-03-22 2009-04-30 富士フイルム株式会社 複眼撮影装置及びその調整方法
JP4636979B2 (ja) * 2005-09-09 2011-02-23 キヤノン株式会社 撮像装置及びその制御方法
JP4426535B2 (ja) * 2006-01-17 2010-03-03 本田技研工業株式会社 車両の周辺監視装置
JP4859652B2 (ja) * 2006-12-15 2012-01-25 アルパイン株式会社 画像表示装置
JP5293131B2 (ja) * 2008-12-09 2013-09-18 株式会社リコー 車両用複眼距離測定装置及び複眼距離測定方法
JP5839850B2 (ja) * 2010-08-30 2016-01-06 キヤノン株式会社 撮像装置及びその制御方法
WO2012038951A1 (en) * 2010-09-20 2012-03-29 Stins Coman Inc. Laser speed gun optical system
JP2012198075A (ja) * 2011-03-18 2012-10-18 Ricoh Co Ltd ステレオカメラ装置、画像補整方法
WO2013108339A1 (ja) * 2012-01-20 2013-07-25 パナソニック株式会社 ステレオ撮影装置
JP6019646B2 (ja) * 2012-03-21 2016-11-02 株式会社リコー 位置ずれ検出装置、車両及び位置ずれ検出方法
JP6115268B2 (ja) * 2013-04-05 2017-04-19 株式会社Ｊｖｃケンウッド 撮像装置及び撮像方法
JP6221464B2 (ja) * 2013-07-26 2017-11-01 株式会社リコー ステレオカメラ装置、移動体制御システム及び移動体、並びにプログラム
DE102013017341A1 (de) * 2013-10-18 2014-06-18 Daimler Ag Vorrichtung und Verfahren zur Kalibrierung einer Kameraanordnung
KR20160059376A (ko) * 2014-11-18 2016-05-26 엘지전자 주식회사 전자 기기 및 그 제어방법

Also Published As

Publication number Publication date
US10384608B2 (en) 2019-08-20
US20170217371A1 (en) 2017-08-03
EP3349431A4 (en) 2018-10-03
WO2017042999A1 (ja) 2017-03-16
EP3349431A1 (en) 2018-07-18

Similar Documents

Publication Publication Date Title
EP3287985B1 (en) Image processing device
US9599462B2 (en) Three-dimensional shape measurement apparatus and control method thereof
CN108700662B (zh) 距离图像获取装置及其应用
US8593536B2 (en) Image pickup apparatus with calibration function
US10220783B2 (en) Vehicle-mounted stereo camera device and method for correcting the same
JPWO2017042999A1 (ja) 車載用ステレオカメラ装置、およびその補正方法
JP2008241733A (ja) 撮像装置
US11089222B2 (en) Shake correction device, shake correction method, shake correction program, lens device, and imaging device
JP6221464B2 (ja) ステレオカメラ装置、移動体制御システム及び移動体、並びにプログラム
JP2010152026A (ja) 距離測定器及び物体移動速度測定器
JP5487946B2 (ja) カメラ画像の補正方法およびカメラ装置および座標変換パラメータ決定装置
WO2017042995A1 (ja) 車載用ステレオカメラ装置、およびその補正方法
JP6241083B2 (ja) 撮像装置及び視差検出方法
WO2021044746A1 (ja) 画像処理装置
US10917554B2 (en) Lens apparatus, image capturing apparatus, camera system, determination method of correction value and storage medium
JP6680335B2 (ja) ステレオカメラ、車両、算出方法及びプログラム
JP2011090166A (ja) ステレオ撮像装置
JP2005136743A (ja) 撮像素子の位置調整装置及び位置調整方法
JP2007240275A (ja) 距離計測装置・撮像装置、距離計測方法・撮像方法、距離計測プログラム・撮像プログラムおよび記憶媒体
JP7256368B2 (ja) 測距カメラ
JP7328589B2 (ja) 測距カメラ
KR101505441B1 (ko) 촬상 장치
WO2020166403A1 (ja) 画像処理装置
JP2007124214A (ja) 撮像素子位置測定装置及び撮像素子位置測定方法
JP2016157039A (ja) 撮像装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170317