JPWO2017212929A1 - 撮像制御装置および方法、並びに車両 - Google Patents

撮像制御装置および方法、並びに車両 Download PDF

Info

Publication number
JPWO2017212929A1
JPWO2017212929A1 JP2018522410A JP2018522410A JPWO2017212929A1 JP WO2017212929 A1 JPWO2017212929 A1 JP WO2017212929A1 JP 2018522410 A JP2018522410 A JP 2018522410A JP 2018522410 A JP2018522410 A JP 2018522410A JP WO2017212929 A1 JPWO2017212929 A1 JP WO2017212929A1
Authority
JP
Japan
Prior art keywords
distance
unit
vehicle
detection
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018522410A
Other languages
English (en)
Other versions
JP6819681B2 (ja
Inventor
綱島　宣浩
宣浩 綱島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPWO2017212929A1 publication Critical patent/JPWO2017212929A1/ja
Application granted granted Critical
Publication of JP6819681B2 publication Critical patent/JP6819681B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G01C11/06—Interpretation of pictures by comparison of two or more pictures of the same area
    • G01C11/12—Interpretation of pictures by comparison of two or more pictures of the same area the pictures being supported in the same relative position as when they were taken
    • G01C11/14—Interpretation of pictures by comparison of two or more pictures of the same area the pictures being supported in the same relative position as when they were taken with optical projection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S11/00—Systems for determining distance or velocity not using reflection or reradiation
    • G01S11/12—Systems for determining distance or velocity not using reflection or reradiation using electromagnetic waves other than radio waves
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/93—Sonar systems specially adapted for specific applications for anti-collision purposes
    • G01S15/931—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9323—Alternative operation using light waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9324—Alternative operation using ultrasonic waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9327—Sensor installation details
    • G01S2013/93271—Sensor installation details in the front of the vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9327—Sensor installation details
    • G01S2013/93272—Sensor installation details in the back of the vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9327—Sensor installation details
    • G01S2013/93274—Sensor installation details on the side of the vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Measurement Of Optical Distance (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Length Measuring Devices With Unspecified Measuring Means (AREA)
  • Studio Devices (AREA)

Abstract

本技術は、距離計測精度を向上させることができるようにする撮像制御装置および方法、並びに車両に関する。
検出部により、検出範囲における観測点の距離が検出される。補正部により、複数の検出部に対応する複数の検出範囲における観測点の重なりに基づいて、検出された観測点の距離が補正される。例えば車両の側面の検出範囲で検出された観測点と、車両の前面の検出範囲で検出された観測点の重なりが検出され、検出された観測点の重なりに基づいて、検出された距離が補正される。本技術は、車両の運転支援に適用することができる。

Description

本技術は、撮像制御装置および方法、並びに車両に関し、特に距離計測精度を向上させることができるようにした撮像制御装置および方法、並びに車両に関する。
自動車などの車両や物体にカメラを取り付け、その映像を目視で監視したり、コンピュータによって処理することで自動監視したりすることがある。これは車両の周囲の状況を把握することで事故などの損害を防止したり、自動運転を行ったりするためである。しかしながら、１台のカメラでは、車両の周囲の一部しか撮影できないため、複数台のカメラを取り付けて、車両の全周囲を監視することが提案されている（例えば特許文献１）。
また、複数のステレオカメラの監視領域を重ねることで、ステレオカメラシステムのキャリブレーションを行う技術も提案されている（特許文献２）。
特開2007-195061号公報 特開2014-215039号公報
特許文献１の提案では、車両の４方向にカメラを取り付け、全周囲を監視すると共に、各カメラの視野が重なる領域においては、ステレオカメラの原理を用いて距離計測を行っている。しかしながら、この特許文献１の提案では、視野が重なっていない領域については、距離計測を行うことができない。
特許文献２の提案では、キャリブレーションによってステレオカメラシステムの計測精度を維持させている。しかし距離計測精度そのものを向上させることはできない。
本技術はこのような状況に鑑みてなされたものであり、距離計測精度を向上させることができるようにするものである。
本技術の一側面は、検出範囲における観測点の距離を検出する検出部と、複数の前記検出部に対応する複数の前記検出範囲における前記観測点の重なりに基づいて、検出された前記観測点の距離を補正する補正部とを備える撮像制御装置である。
前記補正部は、前記観測点の重なりとして、検出された前記観測点の前記距離の誤差の範囲の重なりを検出することができる。
前記距離は、ステレオカメラシステムを構成する少なくとも１組のカメラにより撮影された画像に基づき検出されることができる。
複数の前記検出部は、互いに異なる方向を指向する複数の前記ステレオカメラシステムであることができる。
前記補正部は、車両の周囲の４つの方向のうちの２つの前記検出範囲における前記観測点の重なりに基づき前記補正を行うことができる。
前記補正部は、前記誤差の範囲の重なりが複数検出された場合、車両に近い重なりまたは前記観測点に近い重なりに基づいて、検出された前記観測点の前記距離を補正することができる。
前記カメラのうちの少なくとも１組は、縦方向に、かつ少なくとも一方の光軸が斜め下方向を指向するように配置されていることができる。
前記ステレオカメラシステムを構成する前記カメラをさらに備えることができる。
前記観測点は、車両の周囲の対象物を観測して得られる点であることができる。
車両に搭載された少なくとも１つのカメラにより撮像された画像に基づき、前記対象物の認識を行う認識処理部をさらに備えることができる。
超音波センサ、赤外線センサ、ミリ波センサ、またはレーダの少なくともいずれか１つからなる他の検出部をさらに備え、前記補正部は前記他の検出部の検出結果も用いて前記補正を行うことができる。
本技術の一側面は、検出範囲における観測点の距離を検出する検出ステップと、複数の前記検出範囲における前記観測点の重なりに基づいて、検出された前記観測点の距離を補正する補正ステップとを含む撮像制御方法である。
本技術の一側面は、観測点までの距離を検出する検出範囲を撮影するステレオカメラシステムを構成するカメラと、前記検出範囲における前記観測点の前記距離を検出する検出部と、複数の前記検出部に対応する複数の前記検出範囲における前記観測点の重なりに基づいて、検出された前記観測点の距離を補正する補正部とを備える車両である。
本技術の一側面においては、検出範囲における観測点の距離が検出部により検出され、複数の検出部に対応する複数の検出範囲における観測点の重なりに基づいて、検出された観測点の距離が補正部により補正される。
以上のように、本技術の一側面によれば、距離計測精度を向上させることができる。
なお、本明細書に記載された効果はあくまで例示であって、限定されるものではなく、また付加的な効果があってもよい。
本技術の第１の実施の形態の撮像制御システムの構成を示す図である。 本技術の第１の実施の形態のステレオカメラシステムの座標系を示す図である。 本技術の第１の実施の形態の距離計測精度が低い範囲を説明する図である。 本技術の第１の実施の形態の撮像制御システムの構成を示すブロック図である。 本技術の第１の実施の形態のステレオ距離計測部の構成を示すブロック図である。 本技術の第１の実施の形態の距離精度向上部の構成を示すブロック図である。 本技術の第１の実施の形態の距離計測処理を説明するフローチャートである。 本技術の第１の実施の形態の精度向上処理を説明するフローチャートである。 本技術の第１の実施の形態の精度向上処理を説明する図である。 本技術の第１の実施の形態の精度向上処理を説明する図である。 本技術の第１の実施の形態の精度向上処理を説明する図である。 本技術の第１の実施の形態の精度向上処理を説明する図である。 本技術の第１の実施の形態の精度向上処理を説明する図である。 本技術の第１の実施の形態の統合処理を説明するフローチャートである。 本技術の第１の実施の形態の距離精度向上部の構成を示すブロック図である。 本技術の第１の実施の形態の撮像制御システムの構成を示すブロック図である。 本技術の第２の実施の形態の撮像制御システムの構成を示す図である。 本技術の第２の実施の形態の撮像制御システムの構成を示す図である。 本技術の第２の実施の形態のステレオカメラシステムの座標系を示す図である。 本技術の第２の実施の形態の距離精度特性を示す図である。 本技術の第２の実施の形態の距離精度特性を示す図である。 本技術の第２の実施の形態の撮像制御システムの構成を示す図である。 本技術の第２の実施の形態の撮像制御システムの構成を示すブロック図である。 本技術の第２の実施の形態の距離計測処理を説明するフローチャートである。 本技術の第２の実施の形態の撮像制御システムの構成を示す図である。 本技術の第２の実施の形態の撮像制御システムの構成を示すブロック図である。 本技術の第２の実施の形態の撮像制御システムの構成を示すブロック図である。 本技術の第２の実施の形態の統合処理を説明するフローチャートである。 視点変換処理を説明する図である。 視点変換処理を説明する図である。 本技術の第２の実施の形態の撮像制御システムの構成を示すブロック図である。 本技術の第２の実施の形態の距離計測処理を説明するフローチャートである。 現在のフレームの画像を説明する図である。 過去のフレームの画像を説明する図である。 単眼カメラと座標軸との関係を示す図である。 カメラと撮像面との関係を示す図である。 画像の中心からのオプティカルフローを説明する図である。 本技術の第２の実施の形態のステレオカメラシステムのカメラの配置を示す図である。 本技術の第２の実施の形態のステレオカメラシステムのカメラの配置を示す図である。 本技術の第２の実施の形態のステレオカメラシステムのカメラの配置を示す図である。 車両制御システムの概略的な構成の一例を示すブロック図である。 車外情報検出部および撮像部の設置位置の一例を示す説明図である。
以下、本技術を実施するための実施の形態について説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態：撮像制御システム（図１〜図１４）
（１）撮像制御システム（図１〜図３）
（２）撮像制御装置の構成（図４〜図６）
（３）距離計測部の動作（図７）
（４）距離精度向上部の動作（図８〜図１３）
（５）誤差
（６）統合処理（図１４）
（７）変形例（図１５、図１６）
２．第２の実施の形態：撮像制御システム（図１７〜図４０）
（１）カメラの配置（図１７〜図２２）
（２）撮像制御システム構成例１（図２３、図２４）
（３）撮像制御システム構成例２（図２５、図２６）
（４）撮像制御システム構成例３（図２７乃至図３０）
（５）撮像制御システム構成例４（図３１乃至図３７）
（６）変形例（図３８〜図４０）
３．応用例（図４１、図４２）
４．その他
＜第１の実施の形態＞
（１）撮像制御システム（図１〜図３）
図１は、本技術の第１の実施の形態の撮像制御システムの構成を示す図である。本技術の撮像制御システム１においては、図１に示されるように、４組のステレオカメラシステム２１Ａ乃至２１Ｄが車両１１の４方向に取り付けられる。車両１１の側面においては、ドアミラー（サイドミラー）１２，１３に取り付けられており、前面と後面においては、バンパーに取り付けられている。側面に取り付ける場合、ドアミラー１２，１３以外の、ピラー（フロントピラー、センタピラー、リアピラー等）、ドア、ルーフレール等に取り付けることができる。
ステレオカメラシステム２１Ａは、車両１１の左側に設置され、車両１１の左側の検出範囲２２Ａの対象物までの距離を計測する。ステレオカメラシステム２１Ｂは、車両１１の右側に設置され、車両１１の右側の検出範囲２２Ｂの対象物までの距離を計測する。ステレオカメラシステム２１Ｃは、車両１１の前方に設置され、車両１１の前方の検出範囲２２Ｃの対象物までの距離を計測する。ステレオカメラシステム２１Ｄは、車両１１の後方に設置され、車両１１の後方の検出範囲２２Ｄの対象物までの距離を計測する。
ステレオカメラシステム２１Ａ乃至ステレオカメラシステム２１Ｄのカメラ（後述する図２のカメラ４１，４２）は、視野角が広いレンズを用いて距離計測のための撮影を行う。図１には、検出範囲２２Ａ乃至検出範囲２２Ｄとして、視野角が１８０度である場合の例が示されている（なお、実際に１８０度の視野角を確保するには、それ以上の例えば１９０度の視野角のレンズが必要になる）。また、図１の検出範囲２２Ａ乃至２２Ｄは、角度方向の検出範囲を示すものであり、距離方向、すなわち半円の径の大きさは、実際にはもっと大きくなる。このことは、後述する図３においても同様である。
なお、正確には、検出範囲２２Ａ乃至２２Ｄは、後述する図２のカメラ４１，４２の撮像範囲が重なる領域であるが、便宜上１つの半径の半円で示されている。
なお、ステレオカメラシステム２１Ａ乃至ステレオカメラシステム２１Ｄを個々に区別する必要が無い場合、以下、単にステレオカメラシステム２１と記述する。他の構成要素についても同様とする４組のステレオカメラシステム２１は、車両１１の全周囲を監視する。１組のステレオカメラシステム２１は２台以上のカメラで構成されている。
図２は、本技術の第１の実施の形態のステレオカメラシステムの座標系を示す図である。ステレオカメラシステム２１の座標系は図２に示されるように定義される。
２台のカメラ４１，４２から構成されるステレオカメラシステム２１の一方のカメラ４１の中心点をＯａ、他方のカメラ４２の中心点をＯｂ、中心点Ｏａと中心点Ｏｂの中間点（すなわちステレオカメラシステム２１の中心点）をＯとする。撮影の対象点をＰ、中心点Ｏａと中心点Ｏｂの間の距離（基線長）をＬとする。対象点Ｐと中心点Ｏを結ぶ直線４６と、中心点Ｏａと中心点Ｏｂを通る直線４５のなす角度のうち、図中左側の角度（直線４６と、直線４５の中心点Ｏより左側の線分のなす角度）をθとする。すなわち角度θは、撮影の対象点Ｐとステレオカメラシステム２１とのなす角度である。なお対象点は撮影すなわち監視する対象物を表し、例えば車両１１の周囲の人、障害物、他の車両等を模式的に点として表したものである。
直線４５と、対象点Ｐと中心点Ｏａを結ぶ直線４７のなす角度のうち、図中左側の角度（直線４７と、直線４５の中心点Ｏａより図中左側の線分とのなす角度）をθａとする。直線４５と、対象点Ｐと中心点Ｏｂを結ぶ直線４８のなす角度のうち、図中左側の角度（直線４８と、直線４５の中心点Ｏｂより図中左側の線分とのなす角度）をθｂとする。直線４７と直線４８のなす角度をαとする。また、中心点Ｏと対象点Ｐとの距離をρ、対象点Ｐと中心点Ｏａの距離をρａ、対象点Ｐと中心点Ｏｂの距離をρｂとする。このとき、正弦定理から次の式（１）が得られる。
ρａ/sinθｂ＝Ｌ/sinα＝Ｌ/sin（θａ−θｂ） （１）
ただし、α＝θａ−θｂである。
また、中心点Ｏと対象点Ｐとの距離ρは次式（２）のように書くことができる。
ρ・sinθ＝ρａ・sin（π−θａ）＝ρａ・sinθａ （２）
式（１）と式（２）より式（３）が得られる。
sin（θａ−θｂ）＝Ｌ/ρ・sinθａ・sinθｂ/sinθ （３）
一般に、中心点Ｏａと中心点Ｏｂの間の距離（基線長）Ｌは、数ｃｍから数十ｃｍ程度であるのに対し、中心点Ｏから対象点Ｐまでの距離ρは数ｍ程度など十分に大きいことが多く、この場合、θ≒θａ、θ≒θｂが成り立つ。さらにθｂ<θ<θａが常に成り立つ。これらの条件から次の近似式（４）が成り立つ。
sinθａ・sinθｂ≒sin2θ （４）
式（３）と式（４）より、次の式（５）が得られる。
sin（θａ−θｂ）≒Ｌ/ρ・sinθ （５）
角度θａ，θｂは２台のカメラ４１，４２の物体光の角度なので、その差であるθａ−θｂは、入射光の角度差であり、ステレオ画像処理ではθａ−θｂによって対象物までの距離が算出される。基線長Ｌは定数なので、式（５）よりθａ−θｂは、対象物までの距離ρに反比例することが判る。そのため、対象物とステレオカメラシステム２１の距離が離れると距離計測精度が低下する。
車両１１に搭載したステレオカメラシステム２１において距離計測を行う大きな理由の１つは、車両１１の周辺の障害物を検知して、車両１１と障害物との接触を防ぐことである。そのため、車両１１と障害物の距離が近いほど距離計測精度が上がっているのは理にかなっている。
しかしながら、車両１１の近くでありながら距離計測精度が低い箇所がある。具体的には図３に示すように、車両１１の４隅付近の距離計測精度が低くなる。図３は、本技術の第１の実施の形態の距離計測精度が低い範囲を説明する図である。
図３に示されるように、ステレオカメラシステム２１Ａの検出範囲２２Ａとステレオカメラシステム２１Ｃの検出範囲２２Ｃが重なる領域６１ＡＣは、ステレオカメラシステム２１Ａとステレオカメラシステム２１Ｃのいずれからも距離が遠くなる。ステレオカメラシステム２１Ｂの検出範囲２２Ｂとステレオカメラシステム２１Ｃの検出範囲２２Ｃが重なる領域６１ＢＣは、ステレオカメラシステム２１Ｂとステレオカメラシステム２１Ｃのいずれからも距離が遠くなる。
同様に、ステレオカメラシステム２１Ｂの検出範囲２２Ｂとステレオカメラシステム２１Ｄの検出範囲２２Ｄが重なる領域６１ＢＤは、ステレオカメラシステム２１Ｂとステレオカメラシステム２１Ｄのいずれからも距離が遠くなる。ステレオカメラシステム２１Ａの検出範囲２２Ａとステレオカメラシステム２１Ｄの検出範囲２２Ｄが重なる領域６１ＡＤは、ステレオカメラシステム２１Ａとステレオカメラシステム２１Ｄのいずれからも距離が遠くなる。
従って、車両１１の比較的近傍であるにも拘わらず、これらの領域６１ＡＣ，６１ＢＣ，６１ＢＤ，６１ＡＤにおける距離計測精度は低くなる。この４隅の領域６１ＡＣ，６１ＢＣ，６１ＢＤ，６１ＡＤは、２つのステレオカメラシステム２１の監視領域が重なっている。そこで本技術においては、２つのステレオカメラシステム２１の距離計測結果から計測精度を向上させる。
（２）撮像制御装置の構成（図４〜図６）
図４は、本技術の第１の実施の形態の撮像制御システム１の構成を示すブロック図である。撮像制御システム１は、カメラシステム２０と撮像制御部８１により構成されている。
カメラシステム２０は、ステレオカメラシステム２１Ａ乃至ステレオカメラシステム２１Ｄを有している。ステレオカメラシステム２１Ａは、撮像部１０１Ａと撮像部１０２Ａを有する。撮像部１０１Ａはカメラ４１Ａを有し、撮像部１０２Ａはカメラ４２Ａを有する。
同様に、ステレオカメラシステム２１Ｂは、撮像部１０１Ｂと撮像部１０２Ｂを有し、撮像部１０１Ｂはカメラ４１Ｂを有し、撮像部１０２Ｂはカメラ４２Ｂを有する。ステレオカメラシステム２１Ｃは、撮像部１０１Ｃと撮像部１０２Ｃを有し、撮像部１０１Ｃはカメラ４１Ｃを有し、撮像部１０２Ｃはカメラ４２Ｃを有する。ステレオカメラシステム２１Ｄは、撮像部１０１Ｄと撮像部１０２Ｄを有し、撮像部１０１Ｄはカメラ４１Ｄを有し、撮像部１０２Ｄはカメラ４２Ｄを有する。
撮像部１０１Ａ，１０２Ａにより撮影された画像は、ステレオ距離計測部９１Ａに供給され、撮像部１０１Ｂ，１０２Ｂにより撮影された画像は、ステレオ距離計測部９１Ｂに供給される。撮像部１０１Ｃ，１０２Ｃにより撮影された画像は、ステレオ距離計測部９１Ｃに供給され、撮像部１０１Ｄ，１０２Ｄより撮影された画像は、ステレオ距離計測部９１Ｄに供給される。
撮像制御部８１は、ステレオ距離計測部９１Ａ乃至ステレオ距離計測部９１Ｄ、並びに距離精度向上部９２ＡＣ、距離精度向上部９２ＢＣ、距離精度向上部９２ＡＤおよび距離精度向上部９２ＢＤにより構成されている。さらに撮像制御部８１は、統合部９３を有している。
ステレオ距離計測部９１Ａは車両１１の左側の検出範囲２２Ａにおける距離を計測する。ステレオ距離計測部９１Ｂは車両１１の右側の検出範囲２２Ｂにおける距離を計測する。ステレオ距離計測部９１Ｃは車両１１の前方の検出範囲２２Ｃにおける距離を計測する。ステレオ距離計測部９１Ｄは車両１１の後方の検出範囲２２Ｄにおける距離を計測する。
距離精度向上部９２は、対応する重なる領域６１における距離を計測するステレオ距離計測部９１からの計測結果を取得し、距離精度を向上させる。すなわち、距離精度向上部９２ＡＣは、検出範囲２２Ａにおける距離を計測するステレオ距離計測部９１Ａと、検出範囲２２Ｃにおける距離を計測するステレオ距離計測部９１Ｃの計測結果を取得し、距離精度を向上させる。距離精度向上部９２ＢＣは、検出範囲２２Ｂにおける距離を計測するステレオ距離計測部９１Ｂと、検出範囲２２Ｃにおける距離を計測するステレオ距離計測部９１Ｃの計測結果を取得し、距離精度を向上させる。
同様に、距離精度向上部９２ＡＤは、検出範囲２２Ａにおける距離を計測するステレオ距離計測部９１Ａと、検出範囲２２Ｄにおける距離を計測するステレオ距離計測部９１Ｄの計測結果をし、距離精度を向上させる。距離精度向上部９２ＢＤは、検出範囲２２Ｂにおける距離を計測するステレオ距離計測部９１Ｂと、検出範囲２２Ｄにおける距離を計測するステレオ距離計測部９１Ｄの計測結果をし、距離精度を向上させる。
統合部９３は、距離精度向上部９２ＡＣ、距離精度向上部９２ＢＣ、距離精度向上部９２ＡＤおよび距離精度向上部９２ＢＤの出力を取得、統合し、車両１１の周囲全体の状態を把握し、出力する。
図５は、本技術の第１の実施の形態のステレオ距離計測部の構成を示すブロック図である。ステレオ距離計測部９１は図５に示されるように構成されている。
ステレオ距離計測部９１は、画像補正部１１１，１１２と、ステレオ画像処理部１１３を有している。ステレオカメラシステム２１の撮像部１０１（カメラ４１を有する）と撮像部１０２（カメラ４２を有する）の出力は、それぞれ画像補正部１１１と画像補正部１１２に供給され、前処理としてレンズの収差等が補正される。すなわちカメラ４１，４２は広角レンズを有し、通常のカメラよりも視野角が広い撮影が可能なカメラであるため、撮影された画像は歪んでいる。距離算出のためこの歪を補正し、画像を平面に投影して平面画像とする処理が行われる。ステレオ画像処理部１１３は、画像補正部１１１と画像補正部１１２の出力から、対象物までの距離を検出する。すなわちカメラ４１，４２の一方の画像に映っている物体を、他方の画像から検出し、その位置のずれから距離が算出される。
なお、広角カメラは、３５ミリ換算で、３５ミリ以下のレンズ、特に２８ミリ以下のレンズを備えるカメラである。あるいは、視野角が６０度以上、特に１２０度以上、あるいは１５０度以上の撮影が可能なカメラである。視野角は１８０度以上にすることもできる。特に視野角が広い広角のレンズ若しくはカメラは、魚眼レンズ（ｆθレンズ）若しくは魚眼カメラ、あるいは超広角レンズ若しくは超広角カメラといわれることがある。
図４の距離精度向上部９２は、図６に示されるように構成されている。図６は、本技術の第１の実施の形態の距離精度向上部の構成を示すブロック図である。図６に示されるように、距離精度向上部９２は、取得部１４１，１４２、交点検出部１４３、距離補正部１４４および出力部１４５を有している。
取得部１４１，１４２は、対応するステレオ距離計測部９１から計測情報を取得する。例えば距離精度向上部９２ＡＣの場合、取得部１４１はステレオ距離計測部９１Ａの計測情報を取得し、取得部１４２はステレオ距離計測部９１Ｃの計測情報を取得する。交点検出部１４３は、取得部１４１，１４２が取得した計測情報から交点を検出する。すなわち、観測点の重なりが検出される。距離補正部１４４は、交点検出部１４３により検出された交点の距離を演算する。すなわち、ステレオ距離計測部９１により計測された距離が補正される。出力部１４５は、距離補正部１４４により演算された結果を、統合部９３に出力する。
（３）距離計測部の動作（図７）
次に図７を参照して、ステレオ距離計測部９１の動作について説明する。図７は、本技術の第１の実施の形態の距離計測処理を説明するフローチャートである。
ステップＳ１１において、図５の撮像部１０１（カメラ４１を有する）と撮像部１０２（カメラ４２を有する）は観測点を撮影する。ステップＳ１２において画像補正部１１１は、撮像部１０１により撮像された画像について、レンズ収差、カメラ画像の歪みなどを補正する。同様に、画像補正部１１２は、撮像部１０２により撮像された画像について、レンズ収差、カメラ画像の歪みなどを補正する。すなわち、距離算出のため画像の歪が補正され、画像が仮想平面に投影されて平面画像とされる。
ステップＳ１３においてステレオ画像処理部１１３は、観測点までの距離を演算する。すなわち、撮像部１０１のカメラ４１と撮像部１０２のカメラ４２は、距離Ｌだけ離れた位置に配置されている。従って、カメラ４１により撮影された画像とカメラ４２により撮影された画像は位相差を有しており、その位相差に基づいて観測点までの距離を演算することができる。すなわちメラ４１，４２の一方の画像に映っている物体に対応する物体が他方の画像から検出され、２つの画像における物体の位置のずれから距離が算出される。算出の結果得られた計測情報は対応する距離精度向上部９２に出力される。
ステップＳ１４においてステレオ画像処理部１１３は処理を終了するかを判定する。使用者からまだ処理の終了が指示されていない場合、処理はステップＳ１１に戻り、それ以降の処理が繰り返される。処理の終了が指示されている場合、処理は終了される。
以上の処理は、ステレオ距離計測部９１Ａ乃至ステレオ距離計測部９１Ｄのそれぞれにより検出範囲２２Ａ乃至検出範囲２２Ｄにおいて行われる。検出範囲２２Ａ乃至検出範囲２２Ｄにおいて計測の結果得られた計測情報が、対応する距離精度向上部９２Ａ乃至距離精度向上部９２Ｄに出力される。
すなわち、検出範囲２２Ａにおける距離を計測したステレオ距離計測部９１Ａと、検出範囲２２Ｃにおける距離を計測したステレオ距離計測部９１Ｃの計測情報は、距離精度向上部９２ＡＣに供給される。検出範囲２２Ｂにおける距離を計測したステレオ距離計測部９１Ｂと、検出範囲２２Ｃにおける距離を計測したステレオ距離計測部９１Ｃの計測情報は、距離精度向上部９２ＢＣに供給される。
同様に、検出範囲２２Ａにおける距離を計測したステレオ距離計測部９１Ａと、検出範囲２２Ｄにおける距離を計測したステレオ距離計測部９１Ｄの計測情報は、距離精度向上部９２ＡＤに供給される。検出範囲２２Ｂにおける距離を計測したステレオ距離計測部９１Ｂと、検出範囲２２Ｄにおける距離を計測したステレオ距離計測部９１Ｄの計測情報は、距離精度向上部９２ＢＤに供給される。
なお、補正処理により投影される仮想平面は１枚とすることができる。しかし、複数枚（例えば３枚）の仮想平面を用意し、広角レンズで撮影された画像を３分割し、１／３ずつに分割された画像を各仮想平面に投影するようにすることもできる。
（４）距離精度向上部の動作（図８〜図１３）
次に図８を参照して、距離精度向上部９２の動作について説明する。図８は，本技術の第１の実施の形態の精度向上処理を説明するフローチャートである。
ステップＳ５１において図６の取得部１４１，１４２は、対応するステレオ距離計測部９１のステレオ画像処理部１１３から計測情報を取得する。例えば距離精度向上部９２ＡＣの場合、取得部１４１は、ステレオ距離計測部９１Ａのステレオ画像処理部１１３Ａから計測情報を取得し、取得部１４２は、ステレオ距離計測部９１Ｃのステレオ画像処理部１１３Ｃから計測情報を取得する。
ステップＳ５２において交点検出部１４３は、重複範囲の観測点であるかを判定する。すなわち、ステップＳ５１で取得部１４１，１４２により取得された計測情報に含まれる観測点の座標が領域６１内の座標であるかが判定される。例えば距離精度向上部９２ＡＣの場合、検出範囲２２Ａの観測点と検出範囲２２Ｃの観測点の座標が入力されるので、その座標が検出範囲２２Ａと検出範囲２２Ｃが重なる範囲６１ＡＣ内に含まれる座標であるかが判定される。
重複範囲の観測点が観測された場合、ステップＳ５３において交点検出部１４３は、交点が存在するかを判定する。ここで図９を参照して交点について説明する。
図９は、本技術の第１の実施の形態の精度向上処理を説明する図である。なお、図９においては、車両１１が模式的に表されている。このことは、後述する図１０乃至図１３においても同様である。
図９に示されるように、いま、取得部１４１が取得したステレオカメラシステム２１Ａの画像から視線方向２０１A1の方向に観測点ＰA1が観測されたとする。この観測点ＰA1の座標は距離計測誤差ＤA1を有している。すなわち、所定の視線上に物体（すなわち図２にける撮影の対象点Ｐ）があり、その物体が観測点として観測された場合、実際の撮影の対象点の位置は、誤差の範囲のどこかに存在する。車両１１の周囲の人、障害物、他の車両等の監視する対象物としての所定の物体を観測して得られる、その対象物に対応する点が観測点である。換言すれば、観測系を介して得られる対象物の像、すなわち観測情報（例えば観測された方向の観測された距離）に基づく点が観測点である。従って、観測点ＰA1の座標は誤差を含んでいるため、実際には観測点ＰA1は、観測点ＰA1より先の座標ＤA1Fと観測点ＰA1より後の座標ＤA1Eの範囲の誤差ＤA1の範囲内に位置していると考えることができる。図９において誤差ＤA1は太い線で示されている。なお、誤差の詳細は後述する。
同様に、取得部１４２が取得したステレオカメラシステム２１Ｃの画像から視線方向２０１C1の方向に観測点ＰC1が観測されたとする。この観測点ＰC1の座標は距離計測誤差ＤC1を有している。つまり、観測点ＰC1の座標は誤差を含んでいるため、実際には観測点ＰC1は、観測点ＰC1より先の座標ＤC1Fと観測点ＰC1より後の座標ＤC1Eの範囲の誤差ＤC1の範囲内に位置していると考えることができる。
このように誤差ＤA1と誤差ＤC1は、それぞれ所定の範囲（幅）を有しており、例えば観測点Ｐ----A1と観測点ＰC1が実質的に同一の観測点である場合、その交点Ｐ1が実際の観測点であると考えることができる。ステップＳ５３では、このような交点Ｐ1が存在するかが判定される。つまり、計測された観測点の距離（すなわち位置）は幅（すなわち所定の範囲）を有しており、その幅を有する観測点の重なりが検出される。すなわち、計測された観測点の距離の誤差の範囲の重なりが観測点の重なりとして検出される。
そこで、ステップＳ５３において交点が存在すると判定された場合、ステップＳ５４において距離補正部１４４は、ステップＳ５１で取得された距離を補正する。具体的には、ステップＳ５１で取得された距離が、ステップＳ５３で検出された交点の距離に補正される。すなわち、図９の例では、交点Ｐ1の座標が新たに演算される。
ステップＳ５５において交点検出部１４３は、複数の交点が存在するかを判定する。この状態を図１０を参照して説明する。図１０は、本技術の第１の実施の形態の精度向上処理を説明する図である。
図１０の例においては、取得部１４１が取得したステレオカメラシステム２１Ａの画像から視線方向２０１A2の方向に観測点ＰA2が観測されている。この観測点ＰA2の座標は距離計測誤差ＤA2を有している。また取得部１４２が取得したステレオカメラシステム２１Ｃの画像から視線方向２０１C2の方向に観測点ＰC2が観測されている。この観測点ＰC2の座標は距離計測誤差ＤC2を有している。さらに取得部１４２が取得したステレオカメラシステム２１Ｃの画像から視線方向２０１C3の方向に観測点ＰC3が観測されている。この観測点ＰC3の座標は距離計測誤差ＤC3を有している。
誤差ＤA2と誤差ＤC2は交点Ｐ2を有し、誤差ＤA2と誤差ＤC3は交点Ｐ3を有している。つまりこの例の場合、交点Ｐ2以外に、交点Ｐ3が検出されており、交点が複数存在することになる。
ステップＳ５５で交点が複数存在すると判定された場合、ステップＳ５６において距離補正部１４４は、交点を選択する。図１０の例では、交点Ｐ2と交点Ｐ3のいずれかが所定の基準で選択される。例えば車両１１に近い交点を選択したり、観測点に近い交点を選択することができる。図１０の例の場合、いずれの基準を採用しても交点Ｐ2が選択されることになる。離演算部１４４は選択した交点の距離を検出距離とする。図１０の例の場合、ステレオ距離計測部９１Ａで計測された観測点ＰA2の距離に代えて、交点Ｐ2の距離が検出距離とされる。
ステップＳ５５で複数の交点が存在しないと判定された場合、ステップＳ５８において距離補正部１４４は、交点の距離を検出距離とする。すなわち、ステップＳ５４で演算された交点の距離がそのまま検出距離とされる。図９の例の場合、交点は１つしかないので、処理はステップＳ５５からステップＳ５８に進み、観測点ＰA1に代えて、交点Ｐ1の距離が検出距離とされる。
ステップＳ５３で交点が存在しないと判定された場合、ステップＳ６１において距離補正部１４４は、観測点までの距離を検出距離とする。この状態を、図１１を参照して説明する。図１１は、本技術の第１の実施の形態の精度向上処理を説明する図である。
図１１の例においては、取得部１４１が取得したステレオカメラシステム２１Ａの画像から視線方向２０１A3の方向に観測点ＰA3が観測されている。この観測点ＰA3の座標は距離計測誤差ＤA3を有している。また取得部１４２が取得したステレオカメラシステム２１Ｃの画像から視線方向２０１C4の方向に観測点ＰC4が観測されている。この観測点ＰC4の座標は距離計測誤差ＤC4を有している。視線方向２０１A3と視線方向２０１C4は交差しているが、誤差ＤA3と誤差ＤC4は交差していない。
図１１の例は、観測点ＰA3と観測点ＰC4が観測されたのは重複範囲であるが（ステップＳ５２でＹＥＳと判定されるが）、交点は存在しない（ステップＳ５３でＮＯと判定される）例である。この場合には、ステップＳ６１において、距離補正部１４４は、観測点までの距離を検出距離とする。すなわち、それぞれ観測点ＰA3と観測点ＰC4の距離が、そのまま検出距離とされる。つまりこの場合は、それぞれ別の観測点（対象物）が観測された場合である。
図１２は、本技術の第１の実施の形態の精度向上処理を説明する図である。図１２の例においては、取得部１４１が取得したステレオカメラシステム２１Ａの画像から視線方向２０１A4の方向に観測点ＰA4が観測されている。この観測点ＰA4の座標は距離計測誤差ＤA4を有している。また取得部１４２はステレオカメラシステム２１Ｃの画像から観測点を検出していない。この例も、観測点ＰA4が観測されたのは重複範囲であるが（ステップＳ５２でＹＥＳと判定されるが）、交点は存在しない（ステップＳ５３でＮＯと判定される）例である。そこでこの場合にも、ステップＳ６１において、距離補正部１４４は、観測点までの距離を検出距離とする。すなわち、観測点ＰA4の距離が、そのまま検出距離とされる。
なお、観測点と誤差に交点が存在するのではなく、観測点の座標そのものが一致した場合、すなわち、ステレオカメラシステム２１Ａとステレオカメラシステム２１Ｃが同じ座標の観測点を検出した場合、ステップＳ５３で交点は存在しないと判定される。そしてステップＳ６１において、観測点までの距離がそのまま検出距離とされる。
ただし、観測点が観測されたのは重複範囲であるが（ステップＳ５２でＹＥＳと判定されるが）、交点は存在しない（ステップＳ５３でＮＯと判定される）場合、すなわち図１２の例に示されるような場合、図８に点線で示すように処理することもできる。
すなわち、ステップＳ５３で交点が存在しないと判定された場合、ステップＳ６０において交点検出部１４３は近傍に他の観測点が存在するかを判定する。他の観測点が近傍に存在する場合にはステップＳ６１において距離補正部１４４は、観測点までの距離を検出距離とする。
ステップＳ６０において近傍に他の観測点が存在しないと判定された場合、ステップＳ６２において距離補正部１４４はエラー処理を実行する。すなわち、この場合の処理では、図１２の例に示されるような場合には、観測点ＰA4はステレオカメラシステム２１Ｃからも検出されるはずなのに、検出されていないので、観測点ＰA4の検出はエラーと判断され、観測点ＰA4は消去される。
ステップＳ５２において観測点は重複範囲に位置していないと判定された場合、ステップＳ６１において距離補正部１４４は、観測点までの距離を検出距離とする。すなわち、観測点の距離が、そのまま検出距離とされる。この例を図１３を参照して説明する。
図１３は、本技術の第１の実施の形態の精度向上処理を説明する図である。図１３の例においては取得部１４１が取得したステレオカメラシステム２１Ａの画像から視線方向２０１A5の方向に観測点ＰA5が観測されている。この観測点ＰA5の座標は距離計測誤差ＤA5を有している。この観測点ＰA5が観測されたのは、検出範囲２２Ａではあるが、領域６１ACではない。また検出範囲２２Ｃでは観測点が検出されていない。このような状態の場合、観測点ＰA5の距離がそのまま検出距離とされる。つまり、検出範囲２２のうち領域６１内に位置しない観測点の距離は、そのまま検出距離とされる。
ステップＳ５６，Ｓ５８，Ｓ６１の処理の後、ステップＳ５７において出力部１４５は、得られた計測情報を統合部９３に出力する。すなわち、ステップＳ５６で選択された交点の計測情報、ステップＳ５８で得られた交点の計測情報、またはステップＳ６１で得られた観測点までの計測情報が統合部９３に供給される。
ステップＳ５７およびステップＳ６２の処理の後、ステップＳ５９において距離補正部１４４は処理を終了するかを判定する。使用者から処理の終了が指示されていない場合には、処理はステップＳ５１に戻り、同様の処理が繰り返される。終了が指示されている場合には、処理は終了される。
以上の処理は、距離精度向上部９２ＡＣ、距離精度向上部９２ＢＣ、距離精度向上部９２ＡＤ、および距離精度向上部９２ＢＤにおいてそれぞれ行われる。
（５）誤差
次に、ステレオカメラシステム２１の誤差についてさらに説明する。上述した式（５）をステレオカメラシステム２１から撮影の対象点Ｐまでの距離ρを算出する式に変形すると式（６）のようになる。
ρ≒Ｌ・sinθ/sin（θａ−θｂ）＝Ｌ・sinθ/sinα （６）
ただし、α＝θａ−θｂである。
また、αが十分に小さいとすると、sinα≒αと近似できるので、式（６）はさらに次の式（７）のように変形することができる。
ρ≒Ｌ・（sinθ）/α （７）
ステレオカメラシステム２１で観測されるのは角度θａと角度θｂなので、距離Ｌと角度θを定数とすると、距離ρの誤差は、角度α（＝θａ−θｂ）の逆数比から計算することができる。一般的にステレオカメラシステム２１から求められる角度θａ，θｂは離散的な値なので、角度αも離散的である。
ここでα＝ｄ/Ｅと表現すると、式（７）は次の式（８）のように表すことができる。ｄは整数でαに応じで変化し、Ｅはカメラの解像度などから決定される実数の固定値であるとする。αの値域は０＜α＜π（３．１４）であるが、ｄは十分に大きな固定値Ｅで割ることで、3.14よりも大きな値を取ることができる。
ρ≒Ｌ・Ｅ・（sinθ）/ｄ （８）
ｄの誤差が±1であるとする。その場合、ｄの誤差が−1の場合の距離ρの誤差Δρｍと、ｄの誤差が＋1の場合の距離ρの誤差Δρｐは次のように異なる。
Δρｍ＝Ｌ・Ｅ・（sinθ）/（ｄ−１）−Ｌ・Ｅ・（sinθ）/ｄ
＝Ｌ・Ｅ・（sinθ）/（ｄ・（ｄ−１））＝ρ/（ｄ−１）
（但しｄ＞１） （９）
Δρｐ＝Ｌ・Ｅ・（sinθ）/ｄ−Ｌ・Ｅ・（sinθ）/（ｄ＋１）
＝Ｌ・Ｅ・（sinθ）/（ｄ・（ｄ＋１））＝ρ/（ｄ＋１） （１０）
距離ρの誤差Δが最大となるのはｄ＝２の場合であり、この場合、式（９）よりΔρｍ＝ρとなり、式（１０）よりΔρｐ＝ρ/３となる。ｄの誤差が−１、すなわち、距離ρが大きくなる（遠くなる）側の誤差は、撮影の対象点Ｐまでの距離ρに対して１００％である。また、ｄの誤差がが＋１すなわち、距離ρが小さくなる（近くなる）側の誤差は、撮影の対象点Ｐまでの距離ρに対して３３％となる。これは最大誤差であり通常の誤差はもっと小さい。例えは、ｄ＝１０の場合、誤差Δρｍは距離ρの１１％、誤差Δρｐは距離ρの９％となる。また、これはｄの誤差が±1の場合であり、ｄの誤差がもっと大きくなると距離ρの誤差ももっと大きくなる。
以上のようにして、システム設計時に、ｄの値を±１、±２等に適宜決めることで、誤差ＤA，ＤC等を決定することができる。例えばまず±１でステレオカメラシステム２１の対応をチェックし、±２、±３等と変化させて調整してもよい。
（６）統合処理（図１４）
次に図１４を参照して、統合処理について説明する。図１４は、本技術の第１の実施の形態の統合処理を説明するフローチャートである。
ステップＳ９１において図４の統合部９３は統合処理を実行する。すなわち、距離精度向上部９２ＡＣ、距離精度向上部９２ＢＣ、距離精度向上部９２ＡＤ、および距離精度向上部９２ＢＤにより計測された計測情報は、車両１１の周囲、つまり、左側、右側、前方および後方の計測情報である。統合部９３はこれらの計測情報を統合し、車両１１の全方向の計測情報として図示せぬモニタに表示させたり、記憶部に記憶させる。
統合部９３は、各種の支援を行う。例えばバック駐車、縦列駐車等の駐車支援、交差点停車時や右左折時の斜め後方の構造物、自転車、歩行者等の障害物認識情報を提供したり、車線変更時の隣のレーンの後続車を監視したりすることができる。
また、通常走行時は監視はするものの、アラートは出さないようにし、基準以下の距離に障害物が検出されときアラートを出したり、車両の進行方向と逆側（例えば、左折時の右側、右折時の左側）を特に監視することができる。また逆に、必要がない方向（例えば、左折時の右側、右折時の左側）の監視は省略することもできる。さらに４つの方向の検出精度は同じでもよいが、一方（例えば側面）の検出精度を他方（例えば前面または後面）より高くすることもできる。
ステップＳ９２において統合部９３は処理を終了するかを判定する。使用者から処理の終了が指示されていない場合には、処理はステップＳ９１に戻り、同様の処理が繰り返される。終了が指示されている場合には、処理は終了される。
一般的に、監視範囲を広げるには、カメラに画角の広いレンズを取り付ければよい。特に、車両の側面のような広い範囲の監視が必要な場合、魚眼レンズのような非常に広角のレンズを使用することで、１台のカメラ、あるいは、１組のステレオカメラシステムで車両側面全体を監視することができる。しかしながら、非常に広角のレンズを使用した場合、撮影した画像の空間分解能が低下するために、画像に移っている物体のサイズが小さくなり、撮影した画像を解析して画像認識などを行う場合に解析の精度が低下してしまう。ステレオ画像処理による距離計測精度も低下してしまう。
しかし、本技術によれば、計測範囲が重なる複数の観測点の重なりを検出し、観測点の重なりに基づいて新たな距離を演算するようにしたので、距離計測精度の低下を抑制することができる。
なお本技術は、通常の視野角のカメラ用いて測距する場合にも適用することができる。
なお、ステレオカメラシステム２１のカメラ４１，４２は、横方向に配置することもできるが、図１７乃至図２２を参照して後述するように、上下（縦方向）にずらして配置することもできる。加えて、光軸が基準面と平行な方向より下を指向するように配置するようにしてもよい。
また、以上においては、４つの方向をステレオカメラシステム２１で監視するようにしたが、そのうちの少なくとも１つの方向は、超音波、レーダ、レーザセンサ、赤外線センサ等により監視するようにすることもできる。さらに、ステレオカメラシステム２１による障害物の認識、監視に加えて、ビューイングシステムを組み合わせて用いることができる。
（７）変形例（図１５、図１６）
なお、距離補正部１４４により距離を補正するために、さらに構成を付加することができる。図１５は、本技術の第１の実施の形態の距離精度向上部の構成を示すブロック図である。
図１５の構成例においては、カメラシステム２０以外に、検知システム８５が設けられている。検知システム８５は、検知部１４９を有している。この検知部１４９は、各検出範囲２２Ａ乃至２２Ｄに対応して設けられている。検知部１４９は、例えば超音波センサ、赤外線センサ、ミリ波センサ、レーダの少なくともいずれか１つで構成される。他の検出部としての検知部１４９は、超音波センサ、赤外線センサ、ミリ波センサ、レーダ等により各検出範囲２２Ａ乃至２２Ｄにおいて観測点の距離を検出する。検出結果は対応する距離補正部１４４に供給される。距離補正部１４４は、交点検出部１４３からの出力だけでなく、検知部１４９の検出結果も利用して精度向上処理を実行する。これにより、より正確な精度向上処理が実現できる。
さらに、他の機能を付加することができる。図１６は、本技術の第１の実施の形態の撮像制御システムの構成を示すブロック図である。
図１６の構成例においては、ステレオカメラシステム２１Ａの撮像部１０１Ａ，１０２Ａのうちの少なくとも一方（この実施の形態の場合撮像部１０１Ａ）の撮像画像が認識処理部８３に供給されている。同様に、ステレオカメラシステム２１Ｂの撮像部１０１Ｂ、ステレオカメラシステム２１Ｃの撮像部１０１Ｃ、ステレオカメラシステム２１Ｄの撮像部１０１Ｄの撮像画像が、それぞれ認識処理部８３に供給されている。認識処理部８３は、入力された撮像画像から、各検出範囲２２Ａ乃至２２Ｄにおいて観測された対象物が何であるのかを認識する。認識結果は使用者に提示される。
＜第２の実施の形態＞
（１）カメラの配置（図１７〜図２２）
次に第２の実施の形態について説明する。図１７と図１８は、本技術の第２の実施の形態の撮像制御システムの構成を示す図である。
図１７と図１８に示されるように、第２の実施の形態の撮像制御システム５０１においては、２台のカメラ５４１，５４２を１組としたステレオカメラシステム５２１が、車両５１１の側面に上下方向（すなわち縦方向）に配置される。すなわちカメラ５４１，５４２は、その視差が高さ方向にでるように、基準面（路面５５１）と垂直な面内に配置される。なおカメラ５４１，５４２、ステレオカメラシステム５２１、および車両５１１は、それぞれ第１の実施の形態のカメラ４１，４２、ステレオカメラシステム２１、および車両１１に対応する。カメラ５４１，５４２の取り付け位置は車両５１１の側面の中央付近が望ましいが、中央付近はドアがあるなど取り付けが難しい場合あるので、図１７と図１８の例では、ドアミラー５１２，５１３付近に取り付けられている例が示されている。
また、ドアミラー５１２，５１３付近に取り付ける理由は、図１８に示されるように、ステレオカメラシステム５２１を斜め下方向に向けて取り付けるためでもある。ドアミラー５１２，５１３であれば、特別な治具を追加することなくステレオカメラシステム５２１を斜め下方向に取り付けることができる。なお、ステレオカメラシステム５２１を構成するカメラ５４１，５４２は、ここでは広角カメラが使用されている。
なお、図１７と図１８においては、車両５１１の左側にのみステレオカメラシステム５２１が設置されているが、実際には右側にも設置される。
もちろん、ステレオカメラシステム５２１は、ドアミラー５１２，５１３以外の、ピラー（フロントピラー、センタピラー、リアピラー等）、ドア、ルーフレール等に取り付けることができる。車両５１１の側面であればどこに取り付けても良い。
以下、図１７と図１８に示されるようにカメラ５４１．５４２を配置にする理由について説明するが、その前に、ステレオカメラシステム５２１の座標系について説明する。
カメラ５４１，５４２と撮影の対象点Ｐの座標系は、第１の実施の形態の図２に示される場合と同様である。従ってその説明は省略するが、第２の実施の形態においては、図２におけるカメラ４１，４２は、カメラ５４１，５４２に置き換えて理解すべきである。
図２の座標系が適用されるので、式（１）乃至式（５）が第２の実施の形態においても適用される。
式（５）から、θａ−θｂ（sin(θａ−θｂ)）は、ステレオカメラシステム５２１の中心点Ｏから物体（撮影の対象点Ｐ）までの距離ρに反比例するとともに、物体とステレオカメラシステム５２１とのなす角度θに比例することが判る。θａ−θｂ（sin(θａ−θｂ)）が大きい方が誤差の影響に強く、距離計測精度が高いと言える。従って、ステレオカメラシステム５２１と物体の角度θが０もしくは１８０度に近づくと、sin（θａ−θｂ）が小さくなるので、距離計測精度が低下する。
以上の理由により、ステレオカメシステム５２１の２台のカメラ５４１，５４２を車両５１１の側面に横並びに（すなわち路面５５１と平行に同じ高さに）取り付けると、車両５１１の側面から前方または後方を距離計測することが困難になる。そのため、車両５１１の側面にステレオカメラシステム５２１を設置する場合には、２台のカメラ５４１，５４２を縦並びに（すなわち路面５５１と垂直に高さを変えて）配置した方がよい。そうすることで、車両５１１の側面のほぼ中央部分はもとより、側面の前方（車両進行方向）または後方（車両進行方向と反対方向）の距離を正確に計測することができる。
しかしながら、ステレオカメラシステム５２１の２台のカメラ５４１，５４２を縦並びに配置すると、今度はステレオカメラシステム５２１の真下と真上の距離計測の精度が低下する。ステレオカメラシステム５２１の真上については、通常は空なので、障害物の検知などのための測距処理を行う必要性は低いが、ステレオカメラシステム５２１の真下は路面５５１であるから測距処理を行う必要がある。そこで、図１８に示されるように、ステレオカメラシステム５２１を縦並びのまま光軸が斜め下方向（路面５５１の方向）を指向するように配置することを考える。
ここで、さらに図１９に示される座標系を定義する。図１９は、本技術の第２の実施の形態のステレオカメラシステムの座標系を示す図である。ステレオカメラシステム５２１と車両５１１が走行する路面５５１のなす角度をβとする。すなわち、カメラ５４１とカメラ５４２を通る直線５５２は、点Ｒにおいて路面５５１と交差する。この直線５５２が路面５５１となす角度をβとする。
カメラ５４１の光軸５４１oaとカメラ５４２の光軸５４２oaは、カメラ５４１とカメラ５４２を通る直線５５２と垂直な方向を指向している。ステレオカメラシステム５２１の中心点Ｏを通る路面５５１に対する垂線である直線５５３は、路面５５１上の点Ｔと交差する。すなわち、点Ｔは、ステレオカメラシステム５２１の真下（すなわち車両５１１の真下）の路面５５１上の点である。光軸５４１oa，５４２oaは、ステレオカメラシステム５２１の中心点Ｏと点Ｔを通る直線５５３に対して角度βの方向を指向する。つまり、角度βは、ステレオカメラシステム５２１の取り付け角度を表すとともに、カメラ５４１，５４２の光軸５４１oa，５４２oaの指向方向を表す角度でもある。
また、ステレオカメラシステム５２１の中心点Ｏの路面５５１からの高さ（直線５５３の長さ）をＨ、路面５５１上の撮影の対象点をＱとすると、中心点Ｏと撮影の対象点Ｑの距離（中心点Ｏと撮影の対象点Ｑを結ぶ直線５５４の長さ）ρは、式（１２）で表すことができる。式（１２）は、式（１１）から導き出すことができる。
Ｈ/ρ＝sin（π−（θ＋β））＝sin（θ＋β） （１１）
ρ＝Ｈ/sin（θ＋β） （１２）
ここで、式（５）と式（１２）より次式（１３）が得られる。
sin（θａ−θｂ）≒Ｌ/Ｈ・sinθ・sin（θ＋β） （１３）
式（１３）で、ステレオカメラシステム５２１の２台のカメラ５４１とカメラ５４２の間の距離Ｌと取り付け高さＨを定数と考える。すると、車両５１１の周辺の路面５５１に対する距離計測精度は、ステレオカメラシステム５２１の取り付け角度βに依存する。
角度β＝π/２の場合、すなわちステレオカメラシステム５２１の２台のカメラ５４１とカメラ５４２が路面５５１に対して垂直に取り付けられた場合、ステレオカメラシステム５２１の真下の点Ｔを撮影するとき、角度θ＝０となる。その結果、式（１３）より距離計測精度が最も低下することが判る。
逆に、角度β＝０の場合、すなわち、ステレオカメラシステム５２１の２台のカメラ５４１，５４２を真下に向けて路面５５１と平行に取り付けた場合、真下の点Ｔを撮影するとき、角度θ＝π/２となり、式（１３）より距離計測精度が最も高くなることが判る。
０＜β＜π/２の場合、真下の点Ｔを撮影するとき、角度θ＝π/２−βとなる。このとき式（１３）は次の式（１４）のようになる。
sin（θａ−θｂ）≒Ｌ/Ｈ・sin（π/２−β）・sin（π/２−β＋β）
＝Ｌ/Ｈ・cosβ （１４）
ステレオカメラシステム５２１の取り付け角度βをいくつか変えた場合における式（１３）の角度θに対する変化が図２０に示されている。図２０は、本技術の第２の実施の形態の距離精度特性を示す図である。図２０において、縦軸は距離計測精度の倍率を表し、横軸は角度θを表している（単位はラジアンである）。
距離計測精度の倍率について説明する。距離計測精度は、ステレオカメラシステム５２１を路面５５１と平行(角度β＝０)に取り付けた場合、真下(角度θ＝π/２)を撮影するとき最も大きくなる。ステレオカメラシステム５２１を取り付ける高さＨ＝１．０ｍ、ステレオカメラシステム５２１を構成する２台のカメラ５４１とカメラ５４２の間の距離Ｌ＝１．０ｍと仮定し、その距離計測精度を基準(倍率１倍)とする。ここでＬ＝１．０ｍとしたが、これは式（１４）の定数項（Ｌ/Ｈ）を１にすることで、距離計測精度の基準を倍率１倍にするためである。実際のステレオカメラシステム５２１を構成する２台のカメラ５４１，５４２間の距離は、数cm〜数十cm程度である。
図２０において、曲線６３１は角度β＝０の場合、曲線６３２は角度β＝π/６の場合、曲線６３３は角度β＝π/４の場合、曲線６３４は角度β＝π/３の場合、曲線６３５は角度β＝５π/１２の場合、曲線６３６は角度β＝π/２の場合、をそれぞれ表している。
図２０の曲線の左側が途中で途切れていることについて説明する。角度θ＝π/２−βの場合、撮影の対象点Ｑはステレオカメラシステム５２１の真下の路面５５１上の点Ｔと一致する。θ＋β＜π/２の場合、撮影の対象点Ｑは点Ｔよりも図１９において右側、すなわちステレオカメラシステム５２１を取り付けている車両５１１の内側になってしまい、路面５５１を撮影することができない。また、θ＋β＞πの場合、撮影の対象点Ｑが無限遠になってしまうので計測できない。そこで、図２０では、π/２＜θ＋β＜πとなる区間（ステレオカメラシステム５２１の取り付け角度βは定数なので、角度θの値域がπ/２−β＜θ＜π−βとなる区間）のみが示されている。
図２０を見ると、角度β＝０の場合（曲線６３１の場合）は、距離計測精度が角度θ＝π/２で最大値１をとり、角度θがπ/２より大きくなると単調減少する。また、角度β＞０の場合（曲線６３２乃至曲線６３６の場合）、角度θ＝π/２−βで値Ｌ/Ｈ・cosβとなり、角度θがπ/２−βより大きくなると距離計測精度が一度大きくなった後、小さくなる。そして、角度θ＝π/２のとき、同じ値Ｌ/Ｈ・cosβとなり、真下の点Ｔの解像度と等しくなる。それ以降、角度θ＞π/２になると、距離計測精度は小さくなっていく。つまり、式（１３）において、π/２−β＜θ＜π/２の範囲が、距離計測精度が高く、距離計測に向いている範囲といえる。
角度βを大きくすると（ただしβ≦π/２）、距離計測に向いている範囲が広くなるが、式（１４）の値が小さくなる。すなわち、そもそもの距離計測精度が低い状態になる。一方で、角度βを小さくすると、距離計測に向いている範囲は狭くなるが、式（１４）の値が大きくなり、距離計測精度が高くなる。このように式（１３）から、距離計測精度と距離計測範囲はトレードオフの状態になっているということができる。
従って、広い距離計測範囲が必要であれば、角度βを大きくする（π/２に近づける）。すなわち、ステレオカメラシステム５２１の取り付け角度βを路面５５１に垂直に近づければよい（カメラ５４１，５４２の光軸５４１oa，５４２oaが路面５５１に対して平行に近づくようにすればよい）。一方、近距離での距離計測精度が必要であれば、角度βを小さくする（０に近づける）。すなわち、ステレオカメラシステム５２１の取り付け角度を路面５５１と平行に（すなわちこの例の場合水平に）近づければよい（カメラ５４１，５４２の光軸５４１oa，５４２oaが路面５５１に対して垂直に近づくようにすればよい）。
角度βを０＜β＜π/２の範囲に設定することで、カメラ５４１，５４２の光軸５４１oa，５４２oaが路面５５１と点Ｍ，Ｎで交差する。つまり、カメラ５４１，５４２を、その光軸５４１oa，５４２oaが路面５５１と交差するように取り付けることで、測距処理が可能となる。
図２０は、ステレオカメラシステム５２１の取り付け角度βとステレオカメラシステム５２１に対する撮影の対象点Ｑの角度θの関係を表す。車両５１１と撮影の対象点Ｑとの関係を分かり易くするために、図１９に示されるように、点Ｔと撮影の対象点Ｑとの距離をＷとし、図２０を距離計測精度と距離Ｗとの関係を表すように変形させる。まず、距離Ｗは次式（１５）で表される。なお、θ＋βの値はπ/２より大きいので、tan（θ＋β）の値が負となり、距離Ｗの値は正となる。
Ｗ＝Ｈ/tan（π−（θ＋β））＝−Ｈ/tan（θ＋β） （１５）
式（１５）を用いて図２０を変形させたものが図２１に示されている。図２１は、本技術の第２の実施の形態の距離精度特性を示す図である。図２１において、縦軸は距離計測精度の倍率を表し、横軸は距離Ｗを表している（単位はメートルである）。図２１において、曲線６４１は角度βが０の場合の倍率、曲線６４２は角度βがπ/６の場合の倍率、曲線６４３は角度βがπ/４の場合の倍率、曲線６４４は角度βがπ/３の場合の倍率、をそれぞれ表している。曲線６４５は角度βが５π/１２の場合の倍率、曲線６４６は角度βがπ/２の場合の倍率、をそれぞれ表している。
図２１に示されるように、角度β＝０の場合（曲線６４１の場合）、すなわち、ステレオカメラシステム５２１を路面５５１と平行に取り付けた場合、ステレオカメラシステム５２１の真下の点Ｔ（Ｗ＝０．０ｍ）での距離計測精度の倍率が１と最も高くなる。しかし、距離Ｗが大きくなると距離計測精度が大きく低下する（すなわち、低下の割合が大きく、角度βが０より大きい場合より低下する）。角度β＝π/２の場合（すなわち曲線６４６の場合）、点Ｔでの距離計測精度は大きく低下するが、距離Ｗが大きくなったとき、すなわち撮影の対象点Ｑが車両５１１から遠ざかったときの距離計測精度の低下の割合が小さい（角度βが０である場合より精度はよくなる）。
つまり、角度βが小さいと、近距離での距離計測精度は高いが、遠距離での距離計測精度が低くなる。逆に、角度βを大きくすると、近距離での距離計測精度は低下するが、遠距離での距離計測精度の大幅な低下を防ぐことができる。そこで角度βをπ/６乃至５π/１２の範囲（曲線６４２乃至曲線６４５に示される範囲）に設定することで、両者のバランスをとることができる。つまりこの範囲が、実用的に近距離から遠距離まで測距可能となる利用価値が高い範囲である。
例えば、車両５１１の側面にステレオカメラシステム５２１を取り付けた場合に、隣の車線全体の距離計測を行いたいとする。車線幅は、幅の広い高速道路だと３．５ｍ程度であるが、自車両の車線内の走行位置を加味すると、４ｍ程度の距離計測が必要と考えられる。図２１より、角度β＝π/３の場合（曲線６４４の場合）またはπ/２の場合（曲線６４６の場合）での距離計測精度が高い。角度β＝π/２の場合（曲線６４６の場合）、点Ｔ（Ｗ＝０．０ｍ）付近での距離計測精度が極端に低いので、近距離の距離精度も鑑みると、角度β＝π/２の場合（曲線６４６の場合）よりも角度β＝π/３の場合（曲線６４４の場合）の方が望ましいと言える。
つまり、車両５１１の側面の隣の１車線の距離計測精度を高めたければ、角度β＝π/３の場合（曲線６４４の場合）、すなわち、６０度前後の角度でステレオカメラシステム５２１を車両５１１の側面に取り付けるとよい。
ただし、トラック等の大型車の場合、高さＨが大きくなるので、運転者は車両５１１の近傍が確認し辛くなる。そこでこのような場合には、距離Ｗが小さいときにより精度が向上するように、角度βをより小さい値に設定することができる。
ステレオカメラシステム５２１の取り付け角度βについて、図２２を参照してさらに説明する。図２２は、本技術の第２の実施の形態の撮像制御システムの構成を示す図である。図１７は、車両５１１が水平な路面５５１に配置されている場合を示している。これに対して図２２は、車両５１１が傾斜した路面５５１に配置されている場合を示している。
すなわち、図２２においては、路面５５１は、重力の方向である鉛直方向５６２に対して垂直である水平面５６１に対して、角度γだけ傾斜している。つまり図２２においては、車両５１１が上り坂の路面５５１を登っている状態が示されている。ステレオカメラシステム５２１が監視するのは、車両５１１が走行する路面５５１上の白線等の路面上の識別表示、路面の端部、縁石、溝、またはガードレール等である。従って車両５１１が走行する路面５５１が基準面とされ、この基準面に対してステレオカメラシステム５２１が角度βで取り付けられる。図２２においても、図１９の座標系は、路面５５１の角度γの値に拘わらず適用することができる。
つまり、ステレオカメラシステム５２１のカメラ５４１．５４２は、基準面としての路面５５１に対して垂直であり、かつ光軸５４１oa，５４２oaを含む面５６３内で、上下方向（縦方向）に配置される。面５６３は、図１７，図１８および図２２の例では車両５１１の進行方向に対して垂直な面でもある。図１７，図１８および図２２の例においては、面５６３内で、カメラ５４１が下に、カメラ５４２が上に、それぞれ配置されている。そして、ステレオカメラシステム５２１は、その面５６３内において、基準面（路面５５１）との角度がβになるように傾けられる。
すなわち、ステレオカメラシステム５２１のカメラ５４１，５４２は、その光軸５４１oa，５４２oaが基準面（路面５５１）と平行な方向より下を指向するように、換言すれば、基準面と交差するように配置される。あるいは、光軸５４１oa，５４２oaが車両５１１に対して斜め下を指向するように配置される。つまり、図１９を参照して説明すれば、カメラ５４１は、光軸５４１oaと、そこから車両５１１の真下に向かう方向とのなす角度βが、π/６乃至５π/１２の範囲となるように配置されている。カメラ５４２についても同様である。監視方向（図１８においてカメラ５４１，５４２の右側方向、図１９においてカメラ５４１，５４２の左側方向）に向かって光軸５４１oa，５４２oaの少なくとも一方（後述する図４０参照）が斜め下方向を指向するように配置される。具体的には、図１９における角度βが０＜β＜π/２となるように配置される。これにより車両５１１の比較的近傍の広い範囲で精度よく測距することができる。従って広い範囲の監視が必要な、走行する車両５１１の側面を監視するのに好適である。
なお、カメラ５４１，５４２としては、広角カメラではなく、通常の視野角のカメラを用いることもできる。
（２）撮像制御システム構成例１（図２３、図２４）
次に、以上のように、光軸５４１oa，５４２oaが基準面（路面５５１）と平行な方向より下を指向するように、ステレオカメラシステム５２１が配置された撮像制御システム５０１について図２３を参照して説明する。図２３は、本技術の第２の実施の形態の撮像制御システムの構成を示すブロック図である。
図２３の撮像制御システム５０１は、ステレオカメラシステム５２１と撮像制御部５８１により構成されている。なお、撮像制御部５８１は、ステレオカメラシステム５２１と一体化してもよいし、それとは独立した構成にすることもできる。
例えば車両５１１の左側に配置されているステレオカメラシステム５２１は、カメラ５４１を有する撮像部７０１とカメラ５４２を有する撮像部７０２により構成されている。カメラ５４１とカメラ５４２は、上述したように、車両５１１の側面に、上下、かつ、光軸５４１oa，５４２oaが基準面（路面５５１）と平行な方向より下を指向するように配置されている。撮像部７０１はカメラ５４１により撮影された画像を出力し、撮像部７０２はカメラ５４２により撮影された画像を出力する。
撮像制御部５８１は、画像補正部７１１，７１２、ステレオ画像処理部７１３および解析部７１４を有している。ステレオカメラシステム５２１の撮像部７０１と撮像部７０２の出力は、それぞれ画像補正部７１１と画像補正部７１２に供給され、前処理としてレンズの収差等が補正される。測距処理を行うステレオ画像処理部７１３は、画像補正部７１１と画像補正部７１２の出力から、対象物までの距離を演算する。解析部７１４は、距離計測の結果を解析し、後段の装置に出力する。
次に図２４を参照して、撮像制御システム５０１の動作について説明する。図２４は、本技術の第２の実施の形態の距離計測処理を説明するフローチャートである。
ステップＳ１１１において撮像制御部５８１は、ステレオカメラシステム５２１の撮像動作を制御する。なおこの処理は以後、継続的に実行される。またこの処理は、外部から制御することもできる。ステップＳ１１２において、図２３の撮像部７０１（カメラ５４１を有する）と撮像部７０２（カメラ５４２を有する）は観測点を撮影する。ステップＳ１１３において画像補正部７１１は、撮像部７０１により撮影された画像について、レンズ収差、カメラ画像の歪みなどを補正する。同様に、画像補正部７１２は、撮像部７０２により撮影された画像について、レンズ収差、カメラ画像の歪みなどを補正する。すなわち、距離算出のため画像の歪が補正され、画像が仮想平面に投影されて平面画像とされる。
ステップＳ１１４において、監視処理を行う監視処理部としてのステレオ画像処理部７１３は、観測点までの距離を演算する。すなわち、撮像部７０１のカメラ５４１と撮像部７０２のカメラ５４２は、距離Ｌだけ離れた位置に配置されている。従って、カメラ５４１により撮影された画像とカメラ５４２により撮影された画像は位相差を有しており、その位相差に基づいて観測点までの距離を演算することができる。すなわちメラ５４１，５４２の一方の画像に映っている物体に対応する物体が他方の画像から検出され、２つの画像における物体の位置のずれから距離が算出される。演算結果は解析部７１４に出力される。
ステップＳ１１５において解析部７１４は、ステレオ画像処理部７１３により演算された距離を解析し、解析結果を出力する。例えば路面５５１と同じ高さの（路面５５１に表示されている）白線等はそのままとし、路面５５１より高い位置にある物体については障害物と認識したりする。あるいは、車両５１１に対する位置に応じた情報にしてまとめて表示できるようにしたり、測定された距離が所定の基準値より小さい場合には警告を発する等の処理が行われる。
ステップＳ１１６においてステレオ画像処理部７１３は処理を終了するかを判定する。使用者からまだ処理の終了が指示されていない場合、処理はステップＳ１１１に戻り、それ以降の処理が繰り返される。処理の終了が指示されている場合、処理は終了される。
以上の処理は、図示は省略されているが、車両５１１の右側に配置されているカメラ５４１，５４２を有するステレオカメラシステム５２１と、対応する撮像制御部５８１においても実行される。
以上のようにして、車両５１１の両側の監視が行われ、その運転が支援される。カメラ５４１，５４２が上下に配置されるとともに、その光軸が基準面と平行な方向より下を指向するように配置されている。従って、車両５１１の側面の前方または後方の距離を正確に計測することができるだけでなく、側方のほぼ中央部分の特に近傍も正確に測距することができる。
また、以上においては、監視処理として主に計測処理について説明したが、白線認識、縁石認識、路面状態の検出、追い越し車両や対向車を含む車両の検出、歩行者の検出等についても監視処理の対象とすることができる。
（３）撮像制御システム構成例２（図２５、図２６）
次に、他の撮像制御システムについて、図２５と図２６を参照して説明する。図２５は、本技術の第２の実施の形態の撮像制御システムの構成を示す図である。図２６は、本技術の第２の実施の形態の撮像制御システムの構成を示すブロック図である。
図２５の撮像制御システム５０１においては、車両５１１の左右の側面のドアミラー５１２，５１３にステレオカメラシステム５２１Ａ，５２１Ｂが配置されている。さらに撮像制御システム５０１においては、車両５１１の前側にステレオカメラシステム５２１Ｃが、その後側にステレオカメラシステム５２１Ｄが、それぞれ配置されている。
ステレオカメラシステム５２１Ａは車両５１１の左側の検出範囲５２２Ａで計測を行い、ステレオカメラシステム５２１Ｂは車両５１１の右側の検出範囲５２２Ｂで計測を行う。同様に、ステレオカメラシステム５２１Ｃは車両５１１の前方（すなわち車両５１１が前進する方向）の検出範囲５２２Ｃで計測を行う。ステレオカメラシステム５２１Ｄは車両５１１の後方（すなわち車両５１１が後退する方向）の検出範囲５２２Ｄで計測を行う。
図２５には、検出範囲５２２Ａ乃至検出範囲５２２Ｄとして、視野角が１８０度である場合の例が示されている（なお、実際に１８０度の視野角を確保するには、それ以上の例えば１９０度の視野角のレンズが必要になる）。
なお、図２５の検出範囲５２２は、角度方向の範囲を示すものであり、距離方向、すなわち半円の径の大きさは、実際にはもっと大きくなる。
図２６に示されるように、図２６の撮像制御システム５０１においては、図２３に示されるステレオカメラシステム５２１と撮像制御部５８１が、車両５１１の４つの面に対応して設けられている。すなわち、ステレオカメラシステム５２１Ａと撮像制御部５８１Ａ、ステレオカメラシステム５２１Ｂと撮像制御部５８１Ｂ、ステレオカメラシステム５２１Ｃと撮像制御部５８１Ｃ、およびステレオカメラシステム５２１Ｄと撮像制御部５８１Ｄが設けられている。
ステレオカメラシステム５２１Ａは、検出範囲５２２Ａを撮影する撮像部７０１Ａと撮像部７０２Ａを有する。撮像制御部５８１Ａは、撮像部７０１Ａ，７０２Ａの出力を補正する画像補正部７１１Ａ，７１２Ａ、および画像補正部７１１Ａ，７１２Ａの出力から検出範囲５２２Ａの距離を演算するステレオ画像処理部７１３Ａを有している。
ステレオカメラシステム５２１Ｂは、検出範囲５２２Ｂを撮影する撮像部７０１Ｂと撮像部７０２Ｂを有する。撮像制御部５８１Ｂは、撮像部７０１Ｂ，７０２Ｂの出力を補正する画像補正部７１１Ｂ，７１２Ｂ、および画像補正部７１１Ｂ，７１２Ｂの出力から検出範囲５２２Ｂの距離を演算するステレオ画像処理部７１３Ｂを有している。
ステレオカメラシステム５２１Ｃは、検出範囲５２２Ｃを撮影する撮像部７０１Ｃと撮像部７０２Ｃを有する。撮像制御部５８１Ｃは、撮像部７０１Ｃ，７０２Ｃの出力を補正する画像補正部７１１Ｃ，７１２Ｃ、および画像補正部７１１Ｃ，７１２Ｃの出力から検出範囲５２２Ｃの距離を演算するステレオ画像処理部７１３Ｃを有している。
ステレオカメラシステム５２１Ｄは、検出範囲５２２Ｄを撮影する撮像部７０１Ｄと撮像部７０２Ｄを有する。撮像制御部５８１Ｄは、撮像部７０１Ｄ，７０２Ｄの出力を補正する画像補正部７１１Ｄ，７１２Ｄ、および画像補正部７１１Ｄ，７１２Ｄの出力から検出範囲５２２Ｄの距離を演算するステレオ画像処理部７１３Ｄを有している。
解析部７１４は、検出範囲５２２Ａ乃至検出範囲５２２Ｄに共通に設けられ、ステレオ画像処理部７１３Ａ乃至ステレオ画像処理部７１３Ｄの出力を解析する。
図２６の撮像制御システム５０１の動作は、図２４のフローチャートに示される動作と同様となる。そこで、図２４を参照して、図２６の撮像制御システム５０１の動作について説明する。
ステップＳ１１２において、図２６の撮像部７０１Ａ（カメラ５４１Ａを有する）と撮像部７０２Ａ（カメラ５４２Ａを有する）は観測点を撮影する。ステップＳ１１３において画像補正部７１１Ａは、撮像部７０１Ａにより撮影された画像について、レンズ収差、カメラ画像の歪みなどを補正する。同様に、画像補正部７１２Ａは、撮像部７０２Ａにより撮影された画像について、レンズ収差、カメラ画像の歪みなどを補正する。すなわち、距離算出のため画像の歪が補正され、画像が仮想平面に投影されて平面画像とされる。
ステップＳ１１４においてステレオ画像処理部７１３Ａは、観測点までの距離を演算する。すなわち、撮像部７０１Ａのカメラ５４１Ａと撮像部７０２Ａのカメラ５４２Ａは、距離Ｌだけ離れた位置に配置されている。従って、カメラ５４１Ａにより撮影された画像とカメラ５４２Ａにより撮影された画像は位相差を有しており、その位相差に基づいて観測点までの距離を演算することができる。すなわちメラ５４１Ａ，５４２Ａの一方の画像に映っている物体に対応する物体が他方の画像から検出され、２つの画像における物体の位置のずれから距離が算出される。演算結果は解析部７１４Ａに出力される。
以上のステップＳ１１２乃至ステップＳ１１４の処理は、ステレオカメラシステム５２１Ｂ乃至ステレオカメラシステム５２１Ｄ、並びに撮像制御部５８１Ｂ乃至撮像制御部５８１Ｄにおいても同様に行われる。
ステップＳ１１５において解析部７１４は、ステレオ画像処理部７１３Ａ乃至テレオ画像処理部７１３Ｄにより演算された距離を解析する。例えば測定された距離が所定の基準値より小さい場合には警告を発する等の処理が行われる。
ステップＳ１１６においてステレオ画像処理部７１３Ａ乃至テレオ画像処理部７１３Ｄは処理を終了するかを判定する。使用者からまだ処理の終了が指示されていない場合、処理はステップＳ１１１に戻り、それ以降の処理が繰り返される。処理の終了が指示されている場合、処理は終了される。
以上のようにして、車両５１１の両側だけでなく、前方と後方についても監視が行われ、その運転が支援される。カメラ５４１，５４２が上下に配置されるとともに、光軸が基準面と平行な方向より下を指向するように配置されているので、車両５１１の検出範囲５２２Ａ乃至５２２Ｄのほぼ中央部分はもとより、中央部より左方向および右方向の距離も正確に計測することができる。
また、図２５に示した車両５１１の前側のステレオカメラシステム５２１Ｃと後側のステレオカメラシステム５２１Ｄは、両側面のステレオカメラシステム５２１Ａ，５２１Ｂに較べて、距離計測の路面５５１と平行な面内の計測範囲が狭くてもよい。そこで、車両５１１の前後の検出範囲５２２Ｃ，５２２Ｄにおける測距処理は、他の監視処理部としての超音波、レーダ、レーザセンサ、赤外線センサ等により行うか、あるいはそれらとステレオカメラシステム５２１とを組み合わせた方式により行うようにすることもできる。
（４）撮像制御システム構成例３（図２７乃至図３０）
次に、他の撮像制御システムについて、図２７を参照して説明する。図２７は、本技術の第２の実施の形態の撮像制御システムの構成を示すブロック図である。
図２７の撮像制御システム５０１は、図２６の撮像制御システム５０１と同様に、ステレオカメラシステム５２１Ａ乃至ステレオカメラシステム５２１Ｄ、並びに撮像制御部５８１Ａ乃至撮像制御部５８１Ｄを有している。撮像制御部５８１Ａは、画像補正部７１１Ａ，７１２Ａ、ステレオ画像処理部７１３Ａを有している。撮像制御部５８１Ｂは、画像補正部７１１Ｂ，７１２Ｂ、ステレオ画像処理部７１３Ｂを有している。撮像制御部５８１Ｃは、画像補正部７１１Ｃ，７１２Ｃ、ステレオ画像処理部７１３Ｃを有している。撮像制御部５８１Ｄは、画像補正部７１１Ｄ，７１２Ｄ、ステレオ画像処理部７１３Ｄを有している。また、撮像制御部５８１Ａ乃至５８１Ｄには、それらに共通の解析部７１４も含まれている。以上の構成は、図２６の撮像制御システム５０１と同様の構成である。
この他、図２７の撮像制御部５８１Ａは画像変換部８１１Ａを、撮像制御部５８１Ｂは画像変換部８１１Ｂを、撮像制御部５８１Ｃは画像変換部８１１Ｃを、撮像制御部５８１Ｄは画像変換部８１１Ｄを、それぞれ有している。さらに撮像制御部５８１Ａ乃至５８１Ｄには、それらに共通の統合部８１２も含まれている。
画像変換部８１１Ａは撮像部７０１Ａが出力する画像を射影変換などの画像変換方法を用いて視点変換する。これにより、アラウンドモニタシステムのための画像等、使用者が車両５１１の周囲を目視する画像が得られる。同様に、画像変換部８１１Ｂは撮像部７０１Ｂが出力する画像を射影変換などの画像変換方法を用いて視点変換し、画像変換部８１１Ｃは撮像部７０１Ｃが出力する画像を射影変換などの画像変換方法を用いて視点変換する。画像変換部８１１Ｄも撮像部７０１Ｄが出力する画像を射影変換などの画像変換方法を用いて視点変換する。
なお、監視処理を行う他の監視処理部としての画像変換部８１１Ａ乃至画像変換部８１１Ｄは、撮像部７０１Ａ乃至撮像部７０１Ｄの出力する画像を射影変換するようにした。しかし、撮像部７０２Ａ乃至撮像部７０２Ｄの出力する画像を射影変換するようにすることもできる。
統合部８１２は、画像変換部８１１Ａ、画像変換部８１１Ｂ、画像変換部８１１Ｃおよび画像変換部８１１Ｄの出力を統合する。
次に、図２８を参照して、図２７の撮像制御システム５０１の動作について説明する。なお、図２７の撮像制御システム５０１の動作のうち、撮像部７０１，７０２、画像補正部７１１，７１２、監視処理を行う監視処理部としてのステレオ画像処理部７１３、および解析部７１４に関する処理は、図２６の撮像制御システム５０１の動作と同様である。すなわち、図２４のフローチャートに示される動作と同様の動作となる。従って繰り返しになるのでその説明は省略する。
そこで、図２７の撮像制御システム５０１のうち、主に画像変換部８１１と統合部８１２の構成の動作について説明する。図２８は、本技術の第２の実施の形態の統合処理を説明するフローチャートである。
ステップＳ１５１において、図２７の撮像部７０１Ａ（すなわちカメラ５４１Ａ）は観測点を撮影する。同様に、撮像部７０１Ｂ（すなわちカメラ５４１Ｂ）、撮像部７０１Ｃ（すなわちカメラ５４１Ｃ）、および撮像部７０１Ｄ（すなわカメラ５４１Ｄ）も観測点を撮影する。
撮像部７０２Ａ（すなわちカメラ５４２Ａ）乃至撮像部７０２Ｄ（すなわちカメラ５４２Ｄ）も同様に観測点を撮影するが、いま説明している統合処理には用いられないので、その説明は省略する。
ステップＳ１５２において画像変換部８１１Ａは、画像変換処理を実行する。つまり、撮像部７０１Ａ（すなわちカメラ５４１Ａ）により撮影された画像を射影変換などの画像変換方法により視点変換する。これによりアラウンドモニタシステム用の画像が生成される。同様の画像変換処理が、画像変換部８１１Ｂ，８１１Ｃ，８１１Ｄにより実行される。
ステップＳ１５３において統合部８１２は、統合処理を実行する。すなわち、画像変換部８１１Ａ乃至画像変換部８１１Ｄにより、車両５１１の周囲の検出範囲５２２Ａ乃至検出範囲５２２Ｄにおける画像が得られるので、これが統合され、車両５１１の周囲を俯瞰的に目視するためのアラウンドモニタシステムの画像が生成され、出力される。この画像が後段のモニタ等に表示される。
ステップＳ１５４において画像変換部８１１Ａ乃至画像変換部８１１Ｄは処理を終了するかを判定する。使用者からまだ処理の終了が指示されていない場合、処理はステップＳ１５１に戻り、それ以降の処理が繰り返される。処理の終了が指示されている場合、処理は終了される。
ここで視点変換処理について説明する。図２９と図３０は視点変換処理を説明する図である。図３０は、図２９に示す実カメラ映像と仮想カメラ映像との位置関係を、横から見たＹ−Ｚ平面と、上から見たＸ−Ｚ平面に展開した図である。
図２９に示されるように、３次元空間上の任意の位置の点Ｃr（Ｘr，Ｙr，Ｚr）に設置した実際のカメラにより撮像した映像Ｐrを、任意の位置の点Ｃv（Ｘv，Ｙv，Ｚv）に設置した仮想カメラの映像Ｐvに変換する例を説明する。ここで、２台のカメラは１点で映像を取り込むピンホールカメラとする。また、映像Ｐr、Ｐvは少なくともカメラの向きを示すベクトルＬr、Ｌvと垂直であれば、画像の大きさに応じて任意の位置に設定することができる。画像が大きい場合はより後方に設定し、画像が小さい場合はより前方に設定するのが望ましい。
撮像した映像Ｐrを仮想カメラの映像Ｐvに変換する手順を説明する。まず、映像Ｐv上の任意の位置に点Ｉvを設定し、点Ｉvと点Ｃvとを結ぶ直線がＸ−Ｚ平面と交差する点Ｉzを求める。なお、点Ｉvと点Ｃvとを結ぶ直線がＸ−Ｚ平面と交差しない場合は、点Ｉvが実カメラの撮像範囲外にあることを示すために点Ｉvの画素の色を所定の色とする。
次に、点Ｉzと点Ｃrとを結ぶ直線が映像Ｐrの面と交差する点Ｉrを求め、点Ｉrの画素の色を点Ｉvの画素の色と同一色とする。なお、点Ｉzと点Ｃrとを結ぶ直線が映像Ｐrの面と交差しない場合には、点Ｉrが実カメラの撮像範囲外にあることを示すために点Ｉrの画素の色を所定の色とする。映像Ｐr上のすべての点の画素の色を決定するまで上述した処理を繰り返す。
図３０に示される実カメラ位置の点Ｃrの中心線がＺ軸と交差する点Ｚctrは、次式（１６）で示される。
Ｚctr＝Ｙr・tan（θr） （１６）
ここで、θrは実カメラのＸ−Ｚ平面に対する傾き角である。実カメラの映像ＰrのＹ−Ｚ平面による断面を通る直線Ｑrxyは、実カメラの中心線（点Ｃrと点Ｚctrを通る傾き１／tan（θr）の直線）と直交し、映像Ｐrの下端の座標点（Ｙps，Ｚps）を通ることから、次式（１７）で表される。
Ｙ＝−tan（θr）・Ｚ＋tan（θr）・Ｚps＋Ｙps （１７）
仮想カメラの映像Ｐv上の点Ｉvと仮想カメラ位置の点Ｃvとを通る直線がＺ軸と交わる点Ｉzを求め、次にこの点Ｉzと実カメラ位置の点Ｃrとを通る直線が式（１７）で表される直線Ｑrxyと交差する点ＩrのＹ−Ｚ座標を求める。Ｘ−Ｚ平面についてもＹ−Ｚ平面と同様に点ＩrのＸ−Ｚ座標を求める。そして、仮想カメラの映像Ｐv上の点Ｉvの画素の色を実カメラ映像Ｐr上の点Ｉvの画素を色と同一色とし、仮想カメラ映像Ｐv上のすべての点に対して上記処理を行う。
このようにして図２７の撮像制御システム５０１によれば、対象物までの測距に伴う警告やブレーキの自動制御等の運転支援の他、例えばバック駐車、縦列駐車等の駐車支援、交差点停車時の斜め後方の自転車、歩行者等の認識情報を提供したり、車線変更時の隣のレーンの後続車を監視したり、目視による使用者の運転も支援することができる。例えば解析部７１４の解析結果を統合部８１２に供給し、測距結果に基づく障害物の位置等を目視画面で目視できるように表示させることもできる。
なお、図２７の撮像制御システム５０１においては、ステレオカメラシステム５２１を構成する撮像部７０１により撮影した画像を、画像変換部８１１において処理するようにしたが、専用のカメラを別途設けることもできる。テレオカメラシステム５２１を構成する撮像部７０１の画像を利用する場合には、１つの画像を目視による監視と、測距による監視の両方に利用することができる。その結果、コストを低減することができる。目視による監視のシステムが既に存在する場合には、ステレオカメラシステム５２１を構成するカメラを１個追加するだけで、測距による監視も行うことができる。
（５）撮像制御システム構成例４（図３１乃至図３７）
次に、他の撮像制御システムについて、図３１を参照して説明する。図３１は、本技術の第２の実施の形態の撮像制御システムの構成を示すブロック図である。
図３１の撮像制御システム５０１は、図２３の撮像制御システム５０１と同様に、ステレオカメラシステム５２１と撮像制御部５８１により構成されている。撮像制御部５８１は、ステレオカメラシステム５２１の撮像動作を制御する。
ステレオカメラシステム５２１は、カメラ５４１を有する撮像部７０１とカメラ５４２を有する撮像部７０２により構成されている。カメラ５４１とカメラ５４２は、上述したように、車両５１１の側面に、上下、かつ、光軸が基準面と平行な方向より下を指向するように配置されている。撮像部７０１はカメラ５４１により撮影された画像を出力し、撮像部７０２はカメラ５４２により撮影された画像を出力する。
撮像制御部５８１は、画像補正部７１１，７１２、ステレオ画像処理部７１３および解析部７１４を有している。ステレオカメラシステム５２１の撮像部７０１と撮像部７０２の出力は、それぞれ画像補正部７１１と画像補正部７１２に供給され、前処理としてレンズの収差等が補正される。監視処理を行う監視処理部としてのステレオ画像処理部７１３は、撮像部７０１と撮像部７０２の出力から、対象物までの距離を演算する。解析部７１４は、距離計測の結果を解析し、後段の装置に出力する。
図３１の撮像制御部５８１は、さらにエッジ角度検出部８５１とモーションステレオ処理部８５２を有している。エッジ角度検出部８５１は、画像補正部７１１により補正された画像から、画像内で明るさや色の変化が生じている部分の検出と、その変化の方向である角度を検出し、検出結果を解析部７１４に出力する。
監視処理を行う他の監視処理部としてのモーションステレオ処理部８５２は、画像補正部７１１により補正された画像から、モーションステレオ処理により距離計測を行う。すなわち、画像内の静止物体がカメラの移動と共にカメラ視野内で位置変化すると、複数のカメラを用いたステレオカメラシステムにおけるステレオ画像処理と同様の原理で距離計測を行うことができる。計測情報は解析部７１４に出力される。
次に図３２を参照して図３１の撮像制御システム５０１の動作について説明する。図３２は、本技術の第２の実施の形態の距離計測処理を説明するフローチャートである。
ステップＳ２１１において撮像制御部５８１は、ステレオカメラシステム５２１の撮像動作を制御する。なおこの処理は以後、継続的に実行される。またこの処理は、外部から制御することもできる。ステップＳ２１２において、図３１の撮像部７０１（カメラ５４１を有する）と撮像部７０２（カメラ５４２を有する）は観測点を撮影する。ステップＳ２１３において画像補正部７１１は、撮像部７０１により撮影された画像について、レンズ収差、カメラ画像の歪みなどを補正する。同様に、画像補正部７１２は、撮像部７０２により撮影された画像について、レンズ収差、カメラ画像の歪みなどを補正する。すなわち、距離算出のため画像の歪が補正され、画像が仮想平面に投影されて平面画像とされる。
ステップＳ２１４においてステレオ画像処理部７１３は、観測点までの距離を演算する。すなわち、撮像部７０１のカメラ５４１と撮像部７０２のカメラ５４２は、距離Ｌだけ離れた位置に配置されている。従って、カメラ５４１により撮影された画像とカメラ５４２により撮影された画像は位相差を有しており、その位相差に基づいて観測点までの距離を演算することができる。すなわちメラ５４１，５４２の一方の画像に映っている物体に対応する物体が他方の画像から検出され、２つの画像における物体の位置のずれから距離が算出される。演算結果は解析部７１４に出力される。
ステップＳ２１５においてエッジ角度検出部８５１は、画像補正部７１１が出力する補正された画像からエッジ角度を検出する。すなわち、画像内で明るさや色の変化が生じている部分が検出されるとともに、その変化の方向である角度が検出される。
エッジの検出には、明るさが変化する度合いを計算する差分（微分）法を採用することができる。例えば、Prewittエッジ検出器やSobelエッジ検出器が知られており、それぞれのエッジ検出オペレータによる処理を行うことでエッジを検出することができる。また、明るさの変化が最も急な位置を検出する零交差法を採用することができる。もちろんその他の各種の方法を採用することもできる。
ステップＳ２１６においてモーションステレオ処理部８５２は、モーションステレオにより観測点までの距離を演算する。演算結果は解析部７１４に供給される。ここでモーションステレオについて説明する。
まず、オプティカルフローについて図３３および図３４を用いて説明する。図３３は、現在のフレームの画像を説明する図であり、図３４は過去フレームの画像を説明する図である。オプティカルフローとは、時系列的に前後する画像中の対応する各点の移動量を示すベクトルである。例えば、現在フレームの画像Ａ（図３３参照）と画像Ａよりも過去に取得された過去フレームの画像Ｂ（図３４参照）とからオプティカルフローを求める処理は、画像Ａ中に存在する点が画像Ｂ中のどこから移動したかを探索することから始まる。なお、画像の上方向にＶ軸をとり、画像の右方向にＵ軸をとる。また、画像の中心をＵ軸およびＶ軸の原点とする。
画像Ｂから画像Ａにかけて点Ｐが、図３３に示すように移動したとする。画像Ｂでの点Ｐの位置が（ｕ−Δｕ，ｖ−Δｖ）であり、画像Ａでは点Ｐの位置が（ｕ，ｖ）である。この画像Ａにおける点Ｐの位置と画像Ｂにおける点Ｐの位置の差である（Δｕ，Δｖ）が画像Ａの点（ｕ，ｖ）におけるオプティカルフローとなる。すなわち、画像Ａの点（ｕ，ｖ）はオプティカルフローの終点であり、画像Ｂの点（ｕ−Δｕ，ｖ−Δｖ）に対応する画像Ａ上の点（ｕ−Δｕ，ｖ−Δｖ）はオプティカルフローの始点ともいえる。
次に図３５乃至図３７を参照して、単眼モーションステレオについて説明する。図３５は、単眼カメラと座標軸との関係を示す図である。図３６は、カメラと撮像面との関係を示す図である。図３７は、画像の中心からのオプティカルフローを説明する図である。
単眼モーションステレオでは、画像Ａおよび画像Ｂ間のオプティカルフローからカメラの移動量（以下、カメラ運動パラメータと称す）が推定され、画像中に存在する物体までの距離が推定される。従って、単眼モーションステレオを実施するには、画像Ａおよび画像Ｂ間のオプティカルフローと、カメラ運動パラメータと、物体までの距離との関係が必要となる。カメラ運動パラメータは撮影部移動量に相当する。
ここで、カメラが撮影した物体は静止しているものと仮定する。図３５に示されるような一般的なピンホールカメラのモデルでは、カメラと撮像面として図３６のようなモデルが使われる。カメラ座標のＸ軸、Ｙ軸と、撮影された画像におけるＵ軸、Ｖ軸とは、それぞれ平行であり、撮影された画像の中心はカメラ座標での（０，０，ｆ）の位置であるとする（図３６参照）。ここでｆはカメラの焦点距離である。ＰＬは撮影された画像がカメラ座標系において位置すると想定される仮想撮像平面である。
カメラ運動パラメータは、図３５に示すように６自由度ある。すなわち、回転移動量（ωｘ，ωｙ，ωｚ）についての３自由度と、並進移動量（ｔｘ，ｔｙ，ｔｚ）についての３自由度である。回転移動量は単位時間内の角度の変化量であり、並進移動量は単位時間内の距離の変化量である。これらのカメラ運動パラメータ（ωｘ，ωｙ，ωｚ）、（ｔｘ，ｔｙ，ｔｚ）、カメラで撮影された物体までの距離ｚ、画像中のある点（ｕ，ｖ）、およびその点におけるオプティカルフロー（Δｕ，Δｖ）の間には、次の関係があることが知られている。
Δｕ＝−ωｙ・ｆ−ｔｘ・ｆ/ｚ＋ｔｚ/ｚ・u＋ωｚ・ｖ
＋ωｘ/ｆ・ｕｖ−ωｙ/f・ｕ2 （１８）
Δｖ＝＋ωｘ・ｆ−ｔｙ・ｆ/ｚ＋ｔｚ/ｚ・ｖ−ωｚ・ｕ
−ωｙ/ｆ・ｕｖ＋ωｘ/f・ｖ2 （１９）
式（１８）と式（１９）を用いてオプティカルフローからカメラ運動パラメータを推定する。なお、車両５１１が直進運動する場合は、カメラ運動パラメータをより簡単にすることができる。カメラ５４１が単眼であるので、直進の場合のカメラ運動パラメータは以下の式となる。
（ωｘ，ωｙ，ωｚ）＝（０，０，０） （２０）
（ｔｘ，ｔｙ，ｔｚ）＝（０，０，ｔｚ） （２１）
式（２０）および式（２１）を用いると、式（１８）および式（１９）が以下のようになる。
Δｕ＝ｔｚ/ｚ・ｕ （２２）
Δｖ＝ｔｚ/ｚ・ｖ （２３）
式（２２）および式（２３）の両辺を二乗して足し合わせると次式となる。
（Δｕ）2＋（Δｖ）2＝ｔｚ2/ｚ2・（ｕ2＋ｖ2） （２４）
ここで、画像の中心からの距離ｗは、ｗ2＝ｕ2＋ｖ2であるので、式（２４）は式（２２）と式（２３）を用いることで次式となる。
Δｗ＝ｔｚ/ｚ・ｗ （２５）
式（２５）は、画像の中心から放射状に伸びる方向のオプティカルフローΔｗ（図３７参照）と車速ｔｚ（Ｚ軸方向における並進移動量）を用いれば、距離ｚが推定できることを意味している。以上のように演算することで、距離ｚが推定できることが理論的に説明される。図３７は、画像Ａ上に、画像Ｂにおけるオプティカルフローの始点も表示した画像である。図３７は、オプティカルフローのベクトル集合の画像ともいえる。これらのオプティカルフローΔｗが始点側に収束する点が消失点である。すなわち、消失点は、各オプティカルフローΔｗを始点側に延長した直線が交差する点ともいえる。図３７においては、消失点Ｐｏと画像の中心とが一致している。
図３２の説明に戻って、ステップＳ２１７において解析部７１４は、ステレオ画像処理部７１３、エッジ角度検出部８５１およびモーションステレオ処理部８５２より供給された情報を統合して距離を計算する。つまりエッジ角度検出部８５１による検出結果、ステレオ画像処理部７１３による測距処理結果、およびモーションステレオ処理部８５２による測距処理結果に基づいて、距離が再計算される。
図１７乃至図２４を参照して説明したように、ステレオカメラシステム５２１の２台のカメラ５４１，５４２を縦方向（基準面と垂直な方向）に配置すると、画像内の横方向（基準面と平行な方向）の距離計測は良好に行うことができる。これは、２台のカメラ５４１，５４２が縦に配置されているので、横方向に対して画像内の撮像位置の変化が起き易く、式（１３）のθａ−θｂが大きくなり易いためである。
例えば、車両５１１の側面にカメラ５４１，５４２を設置した場合、路面５５１の白線等の路面上の識別表示、路面の端部、縁石、溝、またはガードレール等は、画像内で横方向の線に近い状態で撮影されることが多い。従って、カメラ５４１，５４２を縦方向に配置したステレオカメラシステム５２１による距離計測は有利である。逆に、画像内の垂直線（縦方向の線）の距離計測には不利となる。これは、カメラ５４１，５４２を縦方向に配置した場合、縦方向の撮像位置のずれで起きる縦線の位置ずれが検知し難いためである。例えば、カメラ視野内の電柱など棒状の物体が垂直線（縦方向の線）を持つことが多い。
車両５１１の側面にカメラ５４１，５４２を配置して撮影した状態で、車両５１１が動いた場合、カメラ視野内の物体は横方向に流れる。このように、画像内の物体が時間に対して位置ずれを起こした場合、モーションステレオの処理が適用し易い。モーションステレオでは、画面内の静止物体の位置が、カメラの移動と共にカメラ視野内で変化すると、複数台のカメラを用いたステレオカメラシステムにおけるステレオ画像処理と同じ原理で距離計測ができる。画像内の垂直線（縦方向の線）が横に移動した場合、位置ずれが検知し易く、モーションステレオが適用しやすい。逆に横方向の線はモーションステレオを適用し難い。
そこで、解析部７１４は、エッジ角度検出部８５１により検出されたエッジの方向に基づいて、横方向の線もしくは横方向の線に近い線に対しては、ステレオ画像処理部７１３により計測された距離を優先的に採用する。例えば、路面、白線等の路面上の識別表示、路面の端部、縁石、溝、またはガードレール等、ほぼ道路に沿って（つまり道路とほぼ平行に）延在する対象物に対する距離の演算は、ステレオ画像処理部７１３により実行される。これに対して、垂直線または垂直線に近い線は、モーションステレオ処理部８５２の計測結果が優先される。例えば、交通信号や交通標識等の支柱、電柱等、道路に垂直な対象物に対する距離の演算は、モーションステレオ処理部８５２により実行される。いずれの計測結果を採用するかは、予め実験等に基づき作成された信頼度マップにより決定するようにしてもよい。
このように物体の線の方向に応じて異なる距離計測の方法が採用される。もちろん単純に一方の方法を採用するのではなく、エッジの方向に応じて重み付けを行う等して、２つの方法を統合するようにしてもよい。
ステップＳ２１８においてステレオ画像処理部７１３、エッジ角度検出部８５１およびモーションステレオ処理部８５２は、処理を終了するかを判定する。使用者からまだ処理の終了が指示されていない場合、処理はステップＳ２１１に戻り、それ以降の処理が繰り返される。処理の終了が指示されている場合、処理は終了される。
なお、以上においては、測距方法をエッジ角度に対応させるようにしたが、例えば道路上の路面、白線等の路面上の識別表示、路面の端部、縁石、溝、またはガードレール等、ほぼ道路に沿って（つまり道路とほぼ平行に）延在する対象を特化して検出する検出部と、必ずしも道路に沿っていない（つまり道路とほぼ平行ではない）対象物を特化して検出する検出部とを分けて設けるようにすることもできる。例えばステレオ画像処理部７１３を道路とほぼ並行に延在する対象物を特化して検出する検出部として構成し、モーションステレオ処理部８５２を必ずしも道路と並行ではない対象物を特化して検出する検出部として構成してもよい。この場合、エッジ角度検出部８５１は省略することができる。また、カーブ等で対向車を検出する検出部を設けることもできる。
以上のように、図３１の撮像制御システム５０１によれば、対象物の特徴に応じた方法で距離を計測するようにしたので、正確な計測が可能となる。
なお、図３１の撮像制御システム５０１は、車両５１１の左右の側面に配置されるが、側面以外に、前後にも配置することができる。また前後と左右の撮像制御システム５０１に協働して測距動作を行わせることもできる。
（６）変形例（図３８〜図４０）
次に、図３８乃至図４０を参照して、カメラ５４１，５４２の配置の変形例について説明する。図３８乃至図４０は、いずれも本技術の第２の実施の形態のステレオカメラシステムのカメラの配置を示す図である。
図１７乃至図１９の例では、カメラ５４１，５４２は、図３８に示されるように車両５１１の車体の側面（具体的にはドアミラー５１２，５１３）に配置されていた。すなわち、車両５１１の正面から見て（図３８の左側の図において）、上方にカメラ５４２が配置され、下方にカメラ５４１が配置されている。
そしてカメラ５４２はカメラ５４１より車両５１１から離れた位置（車両５１１の外側寄り）に配置され、カメラ５４１はカメラ５４２より車両５１１に近い位置（車両５１１の内側寄り）に配置されている。カメラ５４１，５４２の中心を結ぶ線５５２が車体から監視する方向に飛び出すように（車両５１１の側方から飛び出すように）傾斜している。あるいは、車両５１１の車体の取り付け面（側面）から飛び出すように傾斜している。ステレオカメラシステム５２１は車体とは平行にはならないし、路面５５１と垂直にもならない。
車両５１１の正面から見て（図３８の左側の図において）、カメラ５４１，５４２は、いずれも車両５１１の斜め下方向を指向している。すなわち、カメラ５４１，５４２は、その光軸５４１oa，５４２oaが基準面（路面５５１）と平行な方向より下を指向し、基準面と交差するように、光軸５４１oa，５４２oaを含む面内において傾斜される。つまり、カメラ５４１，５４２は、その中心を結ぶ線５５２が基準面に対して角度βとなるように傾斜される。換言すれば、カメラ５４１，５４２は、その光軸５４１oa，５４２oaが、基準面に垂直な線５５３に対して角度がβとなるように傾斜される。
また、車両５１１の上面から見て（図３８の右側の図において）、カメラ５４１，５４２の光軸５４１oa，５４２oaは、車両５１１の進行方向（図中下方向）と垂直な方向、すなわち車両５１１の側面と垂直な方向を指向している。
これに対して図３９のＡに示される例では、車両５１１の正面から見て（図３９のＡの左側の図において）、上方にカメラ５４２が配置され、下方にカメラ５４１が配置されている。そしてカメラ５４１とカメラ５４２は、車両５１１から同じ距離に配置されている。すなわち、カメラ５４１，５４２は、その中心を結ぶ線５５２が車体と平行になるように（基準面である路面５５１に対して垂直になるように）配置されている。
しかし、カメラ５４１，５４２は、その光軸５４１oa，５４２oaが基準面と平行な方向より下を指向し、基準面と交差するように、光軸５４１oa，５４２oaを含む面内において傾斜される。
また、カメラ５４１，５４２の光軸５４１oa，５４２oaはいずれも車両５１１の上面から見て（図３９のＡの右側の図において）、車両５１１の進行方向（図中下方向）と垂直な方向、すなわち車両５１１の側面と垂直な方向を指向している。
図３９のＢに示される例の車両５１１の正面から見た（図３９のＢの左側の図における）構成は、図３８の左側の図に示された場合と同様である。繰り返しになるので、その説明は省略する。
図３９のＢの右側の図における構成は、図３８の右側の図における構成と異なっている。すなわち、この例においては、カメラ５４１，５４２の光軸５４１oa，５４２oaはいずれも車両５１１の上面から見て、車両５１１の進行方向（図中下方向）と垂直な方向ではなく、若干進行方向を指向している。このように若干進行方向に指向させると、進行方向の範囲を測距するステレオカメラシステム（例えば図２５の検出範囲５２２Ｃを測距するステレオカメラシステム５２１Ｃ）と協働して測距動作を行うのに有利となる。
図３９のＣに示される例の車両５１１の正面から見た（図３９のＣの左側の図における）構成は、図３８の左側の図に示された場合と同様である。繰り返しになるので、その説明は省略する。
図３９のＣの右側の図における構成は、図３８の右側の図における構成と異なっている。すなわち、この例においては、カメラ５４２の光軸５４２oaは、車両５１１の上面から見て（図３９のＣの右側の図において）、車両５１１の進行方向（図中下方向）と垂直な方向、すなわち車両５１１の側面と垂直な方向を指向している。つまり、カメラ５４２に関しては、図３８における場合と同様である。
これに対してカメラ５４１については、その光軸５４１oaは、車両５１１の進行方向（図中下方向）と垂直な方向ではなく、若干進行方向を指向している。つまり、カメラ５４１に関しては、図３９のＢにおける場合と同様である。従って、図中ハッチングを付して示されている比較的狭い範囲が、ステレオカメラシステムとして測距が可能な範囲となる。測距可能な範囲を広げる必要がある場合には、画角が１８０度以上のカメラを用いることができる。
図４０のＡに示される例では、車両５１１の正面から見て（図４０のＡの左側の図において）、上方にカメラ５４２が配置され、下方にカメラ５４１が配置されている。そしてカメラ５４１とカメラ５４２は、車両５１１から同じ距離に配置されている。すなわち、カメラ５４１，５４２の中心を結ぶ線５５２が車体と平行になるように（基準面である路面５５１に対して垂直になるように）配置されている。
そして、カメラ５４１は、車両５１１の正面から見て（図３８の左側の図において）、車両５１１の斜め下方向を指向している。すなわち、カメラ５４１は、その光軸５４１oaが基準面と平行な方向より下を指向し、基準面と交差するように、光軸５４１oaを含む面内において傾斜される。カメラ５４１は、その光軸５４１oaが、基準面に垂直な線５５３に対して角度がβとなるように傾斜される。つまり、カメラ５４１に関しては、図３８における場合と同様である。
しかし、カメラ５４２は、その光軸５４２oaが基準面と平行な方向を指向するように配置されている。つまり、カメラ５４１，５４２のうち、一方（下方に配置されているカメラ５４１）のみが、その光軸５４１oaが基準面である路面５５１と平行な方向より下を指向し、路面５５１と交差するように配置されている。そして他方（上方に配置されているカメラ５４２）は、その光軸５４２oaが基準面と平行になるように配置されている。カメラ５４１，５４２をこのように取り付けても、図中ハッチングを付して示されている、車両５１１の近傍の範囲が、ステレオカメラシステムとして測距が可能な範囲となる。その範囲は、比較的狭い範囲となるが、測距可能な範囲を広げる必要がある場合には、画角が１８０度以上のカメラを用いることができる。
図４０のＡに示される例の車両５１１の上面から見た（図４０のＡの右側の図における）構成は、図３８の右側の図に示された場合と同様である。すなわち、カメラ５４１，５４２の光軸５４１oa，５４２oaは、車両５１１の進行方向（図中下方向）と垂直な方向、すなわち車両５１１の側面と垂直な方向を指向している。
図４０のＢに示される例では、車両５１１の正面から見て（図４０のＢの左側の図において）、上方にカメラ５４２が配置され、下方にカメラ５４１が配置されている。そしてカメラ５４２はカメラ５４１より車両５１１から離れた位置に配置され、カメラ５４１はカメラ５４２より車両５１１に近い位置に配置されている。カメラ５４１，５４２の中心を結ぶ線５５２が車体から監視する方向に飛び出すように（車両５１１の側方から飛び出すように）傾斜している。つまり、カメラ５４１，５４２は、その中心を結ぶ線５５２が基準面に対して角度βとなるように傾斜される。
そして、カメラ５４１は、その光軸５４１oaが基準面と平行な方向より下を指向し、基準面と交差するように、光軸５４１oaを含む面内において傾斜される。つまり、カメラ５４１は、その中心とカメラ５４２の中心を結ぶ線５５２が基準面に対して角度βとなるように傾斜される。換言すれば、カメラ５４１は、その光軸５４１oaが、基準面に垂直な線５５３に対して角度がβとなるように傾斜される。
しかし、カメラ５４２は、その光軸５４２oaが基準面と平行な方向を指向するように配置される。つまり、カメラ５４１，５４２のうち、一方（下方に配置されているカメラ５４１）のみが、その光軸５４１oaが基準面である路面５５１と平行な方向より下を指向し、路面５５１と交差するように配置されている。そして他方（上方に配置されているカメラ５４２）は、その光軸５４２oaが基準面と平行になるように配置されている。カメラ５４１，５４２をこのように取り付けても、図中ハッチングを付して示されている、車両５１１の近傍の範囲が、ステレオカメラシステムとして測距が可能な範囲となる。その範囲は、比較的狭い範囲となるが、測距可能な範囲を広げる必要がある場合には、画角が１８０度以上のカメラを用いることができる。
図４０のＢに示される例の車両５１１の上面から見た（図４０のＢの右側の図における）構成は、図３８の右側の図に示された場合と同様である。すなわち、カメラ５４１，５４２の光軸５４１oa，５４２oaは、車両５１１の進行方向（図中下方向）と垂直な方向、すなわち車両５１１の側面と垂直な方向を指向している。
以上においては、ステレオカメラシステムを構成する各カメラの画角を同じ（例えば１８０度）としたが、それぞれの画角（焦点距離）が異なっていてもよい。画角を広くすれば、より広い範囲の認識が可能となり、画角を狭くすれば、より遠くを高精細に認識することが可能となる。ステレオカメラシステムとしては、画角が重複する範囲での測距が可能となる。
なお本技術は、その本質を逸脱しない範囲において、種々の変形例が存在しうる。
＜応用例＞
本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車などのいずれかの種類の車両に搭載される装置として実現されてもよい。
図４１は、本開示に係る技術が適用され得る車両制御システム２０００の概略的な構成の一例を示すブロック図である。車両制御システム２０００は、通信ネットワーク２０１０を介して接続された複数の電子制御ユニットを備える。図４１に示した例では、車両制御システム２０００は、駆動系制御ユニット２１００、ボディ系制御ユニット２２００、バッテリ制御ユニット２３００、車外情報検出装置２４００、車内情報検出装置２５００、及び統合制御ユニット２６００を備える。これらの複数の制御ユニットを接続する通信ネットワーク２０１０は、例えば、ＣＡＮ（Controller Area Network）、ＬＩＮ（Local Interconnect Network）、ＬＡＮ（Local Area Network）又はＦｌｅｘＲａｙ（登録商標）等の任意の規格に準拠した車載通信ネットワークであってよい。
各制御ユニットは、各種プログラムに従って演算処理を行うマイクロコンピュータと、マイクロコンピュータにより実行されるプログラム又は各種演算に用いられるパラメータ等を記憶する記憶部と、各種制御対象の装置を駆動する駆動回路とを備える。各制御ユニットは、通信ネットワーク２０１０を介して他の制御ユニットとの間で通信を行うためのネットワークＩ／Ｆを備えるとともに、車内外の装置又はセンサ等との間で、有線通信又は無線通信により通信を行うための通信Ｉ／Ｆを備える。図４１では、統合制御ユニット２６００の機能構成として、マイクロコンピュータ２６１０、汎用通信Ｉ／Ｆ２６２０、専用通信Ｉ／Ｆ２６３０、測位部２６４０、ビーコン受信部２６５０、車内機器Ｉ／Ｆ２６６０、音声画像出力部２６７０、車載ネットワークＩ／Ｆ２６８０及び記憶部２６９０が図示されている。他の制御ユニットも同様に、マイクロコンピュータ、通信Ｉ／Ｆ及び記憶部等を備える。
駆動系制御ユニット２１００は、各種プログラムに従って車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット２１００は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。駆動系制御ユニット２１００は、ＡＢＳ（Antilock Brake System）又はＥＳＣ（Electronic Stability Control）等の制御装置としての機能を有してもよい。
駆動系制御ユニット２１００には、車両状態検出部２１１０が接続される。車両状態検出部２１１０には、例えば、車体の軸回転運動の角速度を検出するジャイロセンサ、車両の加速度を検出する加速度センサ、あるいは、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数又は車輪の回転速度等を検出するためのセンサのうちの少なくとも一つが含まれる。駆動系制御ユニット２１００は、車両状態検出部２１１０から入力される信号を用いて演算処理を行い、内燃機関、駆動用モータ、電動パワーステアリング装置又はブレーキ装置等を制御する。
ボディ系制御ユニット２２００は、各種プログラムに従って車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット２２００は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット２２００には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット２２００は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
バッテリ制御ユニット２３００は、各種プログラムに従って駆動用モータの電力供給源である二次電池２３１０を制御する。例えば、バッテリ制御ユニット２３００には、二次電池２３１０を備えたバッテリ装置から、バッテリ温度、バッテリ出力電圧又はバッテリの残存容量等の情報が入力される。バッテリ制御ユニット２３００は、これらの信号を用いて演算処理を行い、二次電池２３１０の温度調節制御又はバッテリ装置に備えられた冷却装置等の制御を行う。
車外情報検出装置２４００は、車両制御システム２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出装置２４００には、撮像部２４１０及び車外情報検出部２４２０のうちの少なくとも一方が接続される。撮像部２４１０には、ＴｏＦ（Time Of Flight）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ及びその他のカメラのうちの少なくとも一つが含まれる。車外情報検出部２４２０には、例えば、現在の天候又は気象を検出するための環境センサ、あるいは、車両制御システム２０００を搭載した車両の周囲の他の車両、障害物又は歩行者等を検出するための周囲情報検出センサが含まれる。
環境センサは、例えば、雨天を検出する雨滴センサ、霧を検出する霧センサ、日照度合いを検出する日照センサ、及び降雪を検出する雪センサのうちの少なくとも一つであってよい。周囲情報検出センサは、超音波センサ、レーダ装置及びＬＩＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）装置のうちの少なくとも一つであってよい。これらの撮像部２４１０及び車外情報検出部２４２０は、それぞれ独立したセンサないし装置として備えられてもよいし、複数のセンサないし装置が統合された装置として備えられてもよい。
ここで、図４２は、撮像部２４１０および車外情報検出部２４２０の設置位置の例を示す。撮像部２９１０，２９１２，２９１４，２９１６，２９１８は、例えば、車両２９００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部のうちの少なくとも一つの位置に設けられる。フロントノーズに備えられる撮像部２９１０及び車室内のフロントガラスの上部に備えられる撮像部２９１８は、主として車両２９００の前方の画像を取得する。サイドミラーに備えられる撮像部２９１２，２９１４は、主として車両２９００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部２９１６は、主として車両２９００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部２９１８は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
なお、図４２には、それぞれの撮像部２９１０，２９１２，２９１４，２９１６の撮影範囲の一例が示されている。撮像範囲ａは、フロントノーズに設けられた撮像部２９１０の撮像範囲を示し、撮像範囲ｂ，ｃは、それぞれサイドミラーに設けられた撮像部２９１２，２９１４の撮像範囲を示し、撮像範囲ｄは、リアバンパ又はバックドアに設けられた撮像部２９１６の撮像範囲を示す。例えば、撮像部２９１０，２９１２，２９１４，２９１６で撮像された画像データが重ね合わせられることにより、車両２９００を上方から見た俯瞰画像が得られる。
車両２９００のフロント、リア、サイド、コーナ及び車室内のフロントガラスの上部に設けられる車外情報検出部２９２０，２９２２，２９２４，２９２６，２９２８，２９３０は、例えば超音波センサ又はレーダ装置であってよい。車両２９００のフロントノーズ、リアバンパ、バックドア及び車室内のフロントガラスの上部に設けられる車外情報検出部２９２０，２９２６，２９３０は、例えばＬＩＤＡＲ装置であってよい。これらの車外情報検出部２９２０〜２９３０は、主として先行車両、歩行者又は障害物等の検出に用いられる。
図４１に戻って説明を続ける。車外情報検出装置２４００は、撮像部２４１０に車外の画像を撮像させるとともに、撮像された画像データを受信する。また、車外情報検出装置２４００は、接続されている車外情報検出部２４２０から検出情報を受信する。車外情報検出部２４２０が超音波センサ、レーダ装置又はＬＩＤＡＲ装置である場合には、車外情報検出装置２４００は、超音波又は電磁波等を発信させるとともに、受信された反射波の情報を受信する。車外情報検出装置２４００は、受信した情報に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。車外情報検出装置２４００は、受信した情報に基づいて、降雨、霧又は路面状況等を認識する環境認識処理を行ってもよい。車外情報検出装置２４００は、受信した情報に基づいて、車外の物体までの距離を算出してもよい。
また、車外情報検出装置２４００は、受信した画像データに基づいて、人、車、障害物、標識又は路面上の文字等を認識する画像認識処理又は距離検出処理を行ってもよい。車外情報検出装置２４００は、受信した画像データに対して歪補正又は位置合わせ等の処理を行うとともに、異なる撮像部２４１０により撮像された画像データを合成して、俯瞰画像又はパノラマ画像を生成してもよい。車外情報検出装置２４００は、異なる撮像部２４１０により撮像された画像データを用いて、視点変換処理を行ってもよい。
車内情報検出装置２５００は、車内の情報を検出する。車内情報検出装置２５００には、例えば、運転者の状態を検出する運転者状態検出部２５１０が接続される。運転者状態検出部２５１０は、運転者を撮像するカメラ、運転者の生体情報を検出する生体センサ又は車室内の音声を集音するマイク等を含んでもよい。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座った搭乗者又はステアリングホイールを握る運転者の生体情報を検出する。車内情報検出装置２５００は、運転者状態検出部２５１０から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。車内情報検出装置２５００は、集音された音声信号に対してノイズキャンセリング処理等の処理を行ってもよい。
統合制御ユニット２６００は、各種プログラムに従って車両制御システム２０００内の動作全般を制御する。統合制御ユニット２６００には、入力部２８００が接続されている。入力部２８００は、例えば、タッチパネル、ボタン、マイクロフォン、スイッチ又はレバー等、搭乗者によって入力操作され得る装置によって実現される。入力部２８００は、例えば、赤外線又はその他の電波を利用したリモートコントロール装置であってもよいし、車両制御システム２０００の操作に対応した携帯電話又はＰＤＡ（Personal Digital Assistant）等の外部接続機器であってもよい。入力部２８００は、例えばカメラであってもよく、その場合搭乗者はジェスチャにより情報を入力することができる。さらに、入力部２８００は、例えば、上記の入力部２８００を用いて搭乗者等により入力された情報に基づいて入力信号を生成し、統合制御ユニット２６００に出力する入力制御回路などを含んでもよい。搭乗者等は、この入力部２８００を操作することにより、車両制御システム２０００に対して各種のデータを入力したり処理動作を指示したりする。
記憶部２６９０は、マイクロコンピュータにより実行される各種プログラムを記憶するＲＡＭ（Random Access Memory）、及び各種パラメータ、演算結果又はセンサ値等を記憶するＲＯＭ（Read Only Memory）を含んでいてもよい。また、記憶部２６９０は、ＨＤＤ（Hard Disc Drive）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等によって実現してもよい。
汎用通信Ｉ／Ｆ２６２０は、外部環境２７５０に存在する様々な機器との間の通信を仲介する汎用的な通信Ｉ／Ｆである。汎用通信Ｉ／Ｆ２６２０は、ＧＳＭ（登録商標）（Global System of Mobile communications）、ＷｉＭＡＸ、ＬＴＥ（Long Term Evolution）若しくはＬＴＥ−Ａ（LTE−Advanced）などのセルラー通信プロトコル、又は無線ＬＡＮ（Ｗｉ−Ｆｉ（登録商標）ともいう）などのその他の無線通信プロトコルを実装してよい。汎用通信Ｉ／Ｆ２６２０は、例えば、基地局又はアクセスポイントを介して、外部ネットワーク（例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク）上に存在する機器（例えば、アプリケーションサーバ又は制御サーバ）へ接続してもよい。また、汎用通信Ｉ／Ｆ２６２０は、例えばＰ２Ｐ（Peer To Peer）技術を用いて、車両の近傍に存在する端末（例えば、歩行者若しくは店舗の端末、又はＭＴＣ（Machine Type Communication）端末）と接続してもよい。
専用通信Ｉ／Ｆ２６３０は、車両における使用を目的として策定された通信プロトコルをサポートする通信Ｉ／Ｆである。専用通信Ｉ／Ｆ２６３０は、例えば、下位レイヤのＩＥＥＥ８０２．１１ｐと上位レイヤのＩＥＥＥ１６０９との組合せであるＷＡＶＥ（Wireless Access in Vehicle Environment）、又はＤＳＲＣ（Dedicated Short Range Communications）といった標準プロトコルを実装してよい。専用通信Ｉ／Ｆ２６３０は、典型的には、車車間（Vehicle to Vehicle）通信、路車間（Vehicle to Infrastructure）通信及び歩車間（Vehicle to Pedestrian）通信のうちの１つ以上を含む概念であるＶ２Ｘ通信を遂行する。
測位部２６４０は、例えば、ＧＮＳＳ（Global Navigation Satellite System）衛星からのＧＮＳＳ信号（例えば、ＧＰＳ（Global Positioning System）衛星からのＧＰＳ信号）を受信して測位を実行し、車両の緯度、経度及び高度を含む位置情報を生成する。なお、測位部２６４０は、無線アクセスポイントとの信号の交換により現在位置を特定してもよく、又は測位機能を有する携帯電話、ＰＨＳ若しくはスマートフォンといった端末から位置情報を取得してもよい。
ビーコン受信部２６５０は、例えば、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行止め又は所要時間等の情報を取得する。なお、ビーコン受信部２６５０の機能は、上述した専用通信Ｉ／Ｆ２６３０に含まれてもよい。
車内機器Ｉ／Ｆ２６６０は、マイクロコンピュータ２６１０と車内に存在する様々な機器との間の接続を仲介する通信インタフェースである。車内機器Ｉ／Ｆ２６６０は、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Near Field Communication）又はＷＵＳＢ（Wireless USB）といった無線通信プロトコルを用いて無線接続を確立してもよい。また、車内機器Ｉ／Ｆ２６６０は、図示しない接続端子（及び、必要であればケーブル）を介して有線接続を確立してもよい。車内機器Ｉ／Ｆ２６６０は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、又は車両に搬入され若しくは取り付けられる情報機器との間で、制御信号又はデータ信号を交換する。
車載ネットワークＩ／Ｆ２６８０は、マイクロコンピュータ２６１０と通信ネットワーク２０１０との間の通信を仲介するインタフェースである。車載ネットワークＩ／Ｆ２６８０は、通信ネットワーク２０１０によりサポートされる所定のプロトコルに則して、信号等を送受信する。
統合制御ユニット２６００のマイクロコンピュータ２６１０は、汎用通信Ｉ／Ｆ２６２０、専用通信Ｉ／Ｆ２６３０、測位部２６４０、ビーコン受信部２６５０、車内機器Ｉ／Ｆ２６６０及び車載ネットワークＩ／Ｆ２６８０のうちの少なくとも一つを介して取得される情報に基づき、各種プログラムに従って、車両制御システム２０００を制御する。例えば、マイクロコンピュータ２６１０は、取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット２１００に対して制御指令を出力してもよい。例えば、マイクロコンピュータ２６１０は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、自動運転等を目的とした協調制御を行ってもよい。
マイクロコンピュータ２６１０は、汎用通信Ｉ／Ｆ２６２０、専用通信Ｉ／Ｆ２６３０、測位部２６４０、ビーコン受信部２６５０、車内機器Ｉ／Ｆ２６６０及び車載ネットワークＩ／Ｆ２６８０のうちの少なくとも一つを介して取得される情報に基づき、車両の現在位置の周辺情報を含むローカル地図情報を作成してもよい。また、マイクロコンピュータ２６１０は、取得される情報に基づき、車両の衝突、歩行者等の近接又は通行止めの道路への進入等の危険を予測し、警告用信号を生成してもよい。警告用信号は、例えば、警告音を発生させたり、警告ランプを点灯させたりするための信号であってよい。
音声画像出力部２６７０は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図４１の例では、出力装置として、オーディオスピーカ２７１０、表示部２７２０及びインストルメントパネル２７３０が例示されている。表示部２７２０は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。表示部２７２０は、ＡＲ（Augmented Reality）表示機能を有していてもよい。出力装置は、これらの装置以外の、ヘッドホン、プロジェクタ又はランプ等の他の装置であってもよい。出力装置が表示装置の場合、表示装置は、マイクロコンピュータ２６１０が行った各種処理により得られた結果又は他の制御ユニットから受信された情報を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。また、出力装置が音声出力装置の場合、音声出力装置は、再生された音声データ又は音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。
なお、図４１に示した例において、通信ネットワーク２０１０を介して接続された少なくとも二つの制御ユニットが一つの制御ユニットとして一体化されてもよい。あるいは、個々の制御ユニットが、複数の制御ユニットにより構成されてもよい。さらに、車両制御システム２０００が、図示されていない別の制御ユニットを備えてもよい。また、上記の説明において、いずれかの制御ユニットが担う機能の一部又は全部を、他の制御ユニットに持たせてもよい。つまり、通信ネットワーク２０１０を介して情報の送受信がされるようになっていれば、所定の演算処理が、いずれかの制御ユニットで行われるようになってもよい。同様に、いずれかの制御ユニットに接続されているセンサ又は装置が、他の制御ユニットに接続されるとともに、複数の制御ユニットが、通信ネットワーク２０１０を介して相互に検出情報を送受信してもよい。
以上説明した車両制御システム２０００において、図４、図２３、図２６、図２７、図３１を用いて説明した本実施の形態に係る撮像制御部８１と撮像制御部５８１は、図４１に示した応用例の統合制御ユニット２６００に適用することができる。
また図４、図２３、図２６、図２７、図３１を用いて説明した撮像制御部８１と撮像制御部５８１の少なくとも一部の構成要素は、図４１に示した統合制御ユニット２６００のためのモジュール（例えば、一つのダイで構成される集積回路モジュール）において実現されてもよい。あるいは、図４、図２３、図２６、図２７、図３１を用いて説明した撮像制御部８１と撮像制御部５８１が、図４１に示した車両制御システム２０００の複数の制御ユニットによって実現されてもよい。
なお、図４、図２３、図２６、図２７、図３１を用いて説明した撮像制御部８１と撮像制御部５８１の各機能を実現するためのコンピュータプログラムを、いずれかの制御ユニット等に実装することができる。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体を提供することもできる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。
また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
＜その他＞
本技術は、以下のような構成もとることができる。
（１）
検出範囲における観測点の距離を検出する検出部と、
複数の前記検出部に対応する複数の前記検出範囲における前記観測点の重なりに基づいて、検出された前記観測点の距離を補正する補正部と
を備える撮像制御装置。
（２）
前記補正部は、前記観測点の重なりとして、検出された前記観測点の前記距離の誤差の範囲の重なりを検出する
前記（１）に記載の撮像制御装置。
（３）
前記距離は、ステレオカメラシステムを構成する少なくとも１組のカメラにより撮影された画像に基づき検出される
前記（１）または（２）に記載の撮像制御装置。
（４）
複数の前記検出部は、互いに異なる方向を指向する複数の前記ステレオカメラシステムである
前記（１）、（２）または（３）に記載の撮像制御装置。
（５）
前記補正部は、車両の周囲の４つの方向のうちの２つの前記検出範囲における前記観測点の重なりに基づき前記補正を行う
前記（１）乃至（４）のいずれかに記載の撮像制御装置。
（６）
前記補正部は、前記誤差の範囲の重なりが複数検出された場合、車両に近い重なりまたは前記観測点に近い重なりに基づいて、検出された前記観測点の前記距離を補正する
前記（１）乃至（５）のいずれかに記載の撮像制御装置。
（７）
前記カメラのうちの少なくとも１組は、縦方向に、かつ少なくとも一方の光軸が斜め下方向を指向するように配置されている
前記（１）乃至（６）のいずれかに記載の撮像制御装置。
（８）
前記ステレオカメラシステムを構成する前記カメラをさらに備える
前記（１）乃至（７）のいずれかに記載の撮像制御装置。
（９）
前記観測点は、車両の周囲の対象物を観測して得られる点である
前記（１）乃至（８）のいずれかに記載の撮像制御装置。
（１０）
車両に搭載された少なくとも１つのカメラにより撮像された画像に基づき、前記対象物の認識を行う認識処理部をさらに備える
前記（１）乃至（９）のいずれかに記載の撮像制御装置。
（１１）
超音波センサ、赤外線センサ、ミリ波センサ、またはレーダの少なくともいずれか１つからなる他の検出部をさらに備え、
前記補正部は前記他の検出部の検出結果も用いて前記補正を行う
前記（１）乃至（１０）のいずれかに記載の撮影制御装置。
（１２）
検出範囲における観測点の距離を検出する検出ステップと、
複数の前記検出範囲における前記観測点の重なりに基づいて、検出された前記観測点の距離を補正する補正ステップと
を含む撮像制御方法。
（１３）
観測点までの距離を検出する検出範囲を撮影するステレオカメラシステムを構成するカメラと、
前記検出範囲における前記観測点の前記距離を検出する検出部と、
複数の前記検出部に対応する複数の前記検出範囲における前記観測点の重なりに基づいて、検出された前記観測点の距離を補正する補正部と
を備える車両。
１ 撮像制御システム， １１ 車両， ２１Ａ乃至２１Ｄ ステレオカメラシステム， ２２Ａ乃至２２Ｄ 検出範囲， ９１Ａ乃至９１Ｄ ステレオ距離計測部， ９２Ａ乃至９２Ｄ 距離精度向上部， ９３ 統合部， １０１Ａ乃至１０１Ｄ，１０２Ａ乃至１０２Ｄ 撮像部

Claims (13)

  1. 検出範囲における観測点の距離を検出する検出部と、
    複数の前記検出部に対応する複数の前記検出範囲における前記観測点の重なりに基づいて、検出された前記観測点の距離を補正する補正部と
    を備える撮像制御装置。
  2. 前記補正部は、前記観測点の重なりとして、検出された前記観測点の前記距離の誤差の範囲の重なりを検出する
    請求項１に記載の撮像制御装置。
  3. 前記距離は、ステレオカメラシステムを構成する少なくとも１組のカメラにより撮影された画像に基づき検出される
    請求項１に記載の撮像制御装置。
  4. 複数の前記検出部は、互いに異なる方向を指向する複数の前記ステレオカメラシステムである
    請求項３に記載の撮像制御装置。
  5. 前記補正部は、車両の周囲の４つの方向のうちの２つの前記検出範囲における前記観測点の重なりに基づき前記補正を行う
    請求項３に記載の撮像制御装置。
  6. 前記補正部は、前記誤差の範囲の重なりが複数検出された場合、車両に近い重なりまたは前記観測点に近い重なりに基づいて、検出された前記観測点の前記距離を補正する
    請求項２に記載の撮像制御装置。
  7. 前記カメラのうちの少なくとも１組は、縦方向に、かつ少なくとも一方の光軸が斜め下方向を指向するように配置されている
    請求項４に記載の撮像制御装置。
  8. 前記ステレオカメラシステムを構成する前記カメラをさらに備える
    請求項４に記載の撮像制御装置。
  9. 前記観測点は、車両の周囲の対象物を観測して得られる点である
    請求項１に記載の撮像制御装置。
  10. 車両に搭載された少なくとも１つのカメラにより撮像された画像に基づき、前記対象物の認識を行う認識処理部をさらに備える
    請求項１に記載の撮像制御装置。
  11. 超音波センサ、赤外線センサ、ミリ波センサ、またはレーダの少なくともいずれか１つからなる他の検出部をさらに備え、
    前記補正部は前記他の検出部の検出結果も用いて前記補正を行う
    請求項１に記載の撮影制御装置。
  12. 検出範囲における観測点の距離を検出する検出ステップと、
    複数の前記検出範囲における前記観測点の重なりに基づいて、検出された前記観測点の距離を補正する補正ステップと
    を含む撮像制御方法。
  13. 観測点までの距離を検出する検出範囲を撮影するステレオカメラシステムを構成するカメラと、
    前記検出範囲における前記観測点の前記距離を検出する検出部と、
    複数の前記検出部に対応する複数の前記検出範囲における前記観測点の重なりに基づいて、検出された前記観測点の距離を補正する補正部と
    を備える車両。
JP2018522410A 2016-06-08 2017-05-25 撮像制御装置および方法、並びに車両 Active JP6819681B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016114388 2016-06-08
JP2016114388 2016-06-08
PCT/JP2017/019492 WO2017212929A1 (ja) 2016-06-08 2017-05-25 撮像制御装置および方法、並びに車両

Publications (2)

Publication Number Publication Date
JPWO2017212929A1 true JPWO2017212929A1 (ja) 2019-04-11
JP6819681B2 JP6819681B2 (ja) 2021-01-27

Family

ID=60578596

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018522410A Active JP6819681B2 (ja) 2016-06-08 2017-05-25 撮像制御装置および方法、並びに車両

Country Status (5)

Country Link
US (1) US11158076B2 (ja)
EP (1) EP3470776A4 (ja)
JP (1) JP6819681B2 (ja)
CN (1) CN109313018B (ja)
WO (1) WO2017212929A1 (ja)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6819681B2 (ja) 2016-06-08 2021-01-27 ソニー株式会社 撮像制御装置および方法、並びに車両
DE102016220075A1 (de) * 2016-10-14 2018-04-19 Audi Ag Kraftfahrzeug und Verfahren zur 360°-Umfelderfassung
KR102551099B1 (ko) * 2017-01-13 2023-07-05 엘지이노텍 주식회사 어라운드뷰 제공장치, 제공방법 및 이를 구비한 차량
US11521395B2 (en) * 2017-05-30 2022-12-06 Sony Semiconductor Solutions Corporation Image processing device, image processing method, and program
JP2019012915A (ja) * 2017-06-30 2019-01-24 クラリオン株式会社 画像処理装置、画像変換方法
JP7473202B2 (ja) * 2018-07-12 2024-04-23 Ｇｒｏｏｖｅ Ｘ株式会社 発信元方向推定装置、発信元方向推定システム、赤外線発光装置、ロボット、発信元方向推定方法およびプログラム、対象物存在方向推定システム
WO2020082363A1 (zh) * 2018-10-26 2020-04-30 深圳市大疆创新科技有限公司 一种环境感知系统及移动平台
US20220156958A1 (en) * 2019-02-22 2022-05-19 Ryuichi Oka Moving image distance calculator and computer-readable storage medium storing moving image distance calculation program
JP7157449B2 (ja) * 2019-02-22 2022-10-20 公立大学法人会津大学 動画像距離算出装置および動画像距離算出用プログラム
CN110880184B (zh) * 2019-10-03 2023-07-21 上海淡竹体育科技有限公司 一种基于光流场进行摄像头自动巡检的方法及装置
JP2021148668A (ja) * 2020-03-19 2021-09-27 株式会社リコー ステレオカメラ装置
JP2021148746A (ja) * 2020-03-23 2021-09-27 株式会社リコー 測距装置及び測距方法
CN111427331B (zh) * 2020-03-24 2022-03-04 新石器慧通（北京）科技有限公司 无人驾驶车辆的感知信息展示方法、装置和电子设备
KR102514748B1 (ko) * 2021-05-31 2023-03-30 주식회사 케이 엠 티 감지기의 감지영역을 설정하기 위한 방법, 장치 및 컴퓨터 프로그램
KR102649308B1 (ko) * 2021-11-22 2024-03-19 주식회사 디에이치오토아이 거리보정방법을 이용한 영상기반 전방충돌 경고방법
KR102615479B1 (ko) * 2021-11-24 2023-12-19 현대모비스 주식회사 램프 및 그것의 동작 방법, 차량

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002359838A (ja) * 2001-03-28 2002-12-13 Matsushita Electric Ind Co Ltd 運転支援装置
JP2005077130A (ja) * 2003-08-28 2005-03-24 Olympus Corp 物体認識装置
WO2007069721A1 (ja) * 2005-12-16 2007-06-21 Ihi Corporation 三次元形状データの記憶・表示方法と装置および三次元形状の計測方法と装置
JP2009202610A (ja) * 2008-02-26 2009-09-10 Hitachi Ltd 駐車支援装置
JP2014224410A (ja) * 2013-05-16 2014-12-04 住友建機株式会社 作業機械用周辺監視装置

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4574483A (en) * 1985-04-19 1986-03-11 Dainippon Screen Mfg. Co. Measurement of degree of offset of attachment position of drafting pen in coordinate plotter
JP4402772B2 (ja) * 1999-08-18 2010-01-20 東芝医用システムエンジニアリング株式会社 生体内組織形態の計測方法および医用画像装置
EP2338900B1 (en) 2001-11-13 2014-01-01 The Trustees of The University of Pennsylvania Adeno-associated virus (AAV) Cy.5 sequences, vectors containing the same and uses thereof
CN101256076B (zh) * 2002-08-28 2013-06-12 索尼株式会社 电子仪器装置、空间位移计算装置和空间位移计算方法
JP4696925B2 (ja) 2006-01-20 2011-06-08 トヨタ自動車株式会社 画像処理装置
JP4999386B2 (ja) * 2006-07-24 2012-08-15 株式会社イレブンインターナショナル 後方カメラ付車両
KR101529851B1 (ko) * 2006-09-01 2015-06-17 가부시키가이샤 니콘 이동체 구동 방법 및 이동체 구동 시스템, 패턴 형성 방법 및 장치, 노광 방법 및 장치, 그리고 디바이스 제조 방법
JP5235798B2 (ja) 2009-06-22 2013-07-10 富士フイルム株式会社 撮影装置及びその制御方法
DE102009036200A1 (de) * 2009-08-05 2010-05-06 Daimler Ag Verfahren zur Überwachung einer Umgebung eines Fahrzeugs
CN102713989A (zh) * 2010-03-17 2012-10-03 本田技研工业株式会社 车辆周围监测装置
EP2385339A1 (en) * 2010-05-05 2011-11-09 Leica Geosystems AG Surface sensing device with optical monitoring system
US9551572B2 (en) * 2011-11-08 2017-01-24 Sony Corporation Sensor device, analyzing device, and recording medium for detecting the position at which an object touches another object
DE102012111008B4 (de) * 2012-11-15 2014-05-22 Precitec Optronik Gmbh Optisches Messverfahren und optische Messvorrichtung zum Erfassen einer Oberflächentopographie
JP6364702B2 (ja) * 2013-03-29 2018-08-01 アイシン精機株式会社 画像表示制御装置、画像表示システム、および表示ユニット
JP6091977B2 (ja) 2013-04-22 2017-03-08 日立建機株式会社 建設機械
JP6819681B2 (ja) 2016-06-08 2021-01-27 ソニー株式会社 撮像制御装置および方法、並びに車両

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002359838A (ja) * 2001-03-28 2002-12-13 Matsushita Electric Ind Co Ltd 運転支援装置
JP2005077130A (ja) * 2003-08-28 2005-03-24 Olympus Corp 物体認識装置
WO2007069721A1 (ja) * 2005-12-16 2007-06-21 Ihi Corporation 三次元形状データの記憶・表示方法と装置および三次元形状の計測方法と装置
JP2009202610A (ja) * 2008-02-26 2009-09-10 Hitachi Ltd 駐車支援装置
JP2014224410A (ja) * 2013-05-16 2014-12-04 住友建機株式会社 作業機械用周辺監視装置

Also Published As

Publication number Publication date
CN109313018A (zh) 2019-02-05
US11158076B2 (en) 2021-10-26
WO2017212929A1 (ja) 2017-12-14
EP3470776A1 (en) 2019-04-17
CN109313018B (zh) 2021-12-10
EP3470776A4 (en) 2019-04-17
JP6819681B2 (ja) 2021-01-27
US20200320728A1 (en) 2020-10-08

Similar Documents

Publication Publication Date Title
JP6819681B2 (ja) 撮像制御装置および方法、並びに車両
JP6819680B2 (ja) 撮像制御装置および方法、並びに車両
CN107272168B (zh) 车辆用照相机
CN107272300B (zh) 车辆驾驶辅助装置
JP6780661B2 (ja) 画像処理装置および方法、プログラム、並びに画像処理システム
US11076141B2 (en) Image processing device, image processing method, and vehicle
JP6834964B2 (ja) 画像処理装置、画像処理方法、およびプログラム
CN108139211B (zh) 用于测量的装置和方法以及程序
US20180217255A1 (en) Radar for vehicle and vehicle provided therewith
JP7196063B2 (ja) 撮像制御装置、および撮像制御装置の制御方法、並びに移動体
KR102077575B1 (ko) 차량 운전 보조 장치 및 차량
WO2020036044A1 (ja) 画像処理装置と画像処理方法およびプログラム
KR20160092403A (ko) 차량 운전 보조 장치 및 차량 운전 보조 장치의 제어 방법
KR20170011881A (ko) 차량용 레이더, 및 이를 구비하는 차량
KR102302574B1 (ko) 스테레오 카메라 모듈 및 스테레오 카메라의 캘리브레이션 방법
US20240221218A1 (en) Video camera calibration refinement for autonomous driving vehicles
WO2022196316A1 (ja) 情報処理装置、情報処理方法及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200414

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200901

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201102

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201201

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201214

R151 Written notification of patent or utility model registration

Ref document number: 6819681

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151