JP6819680B2 - 撮像制御装置および方法、並びに車両 - Google Patents

撮像制御装置および方法、並びに車両 Download PDF

Info

Publication number
JP6819680B2
JP6819680B2 JP2018522409A JP2018522409A JP6819680B2 JP 6819680 B2 JP6819680 B2 JP 6819680B2 JP 2018522409 A JP2018522409 A JP 2018522409A JP 2018522409 A JP2018522409 A JP 2018522409A JP 6819680 B2 JP6819680 B2 JP 6819680B2
Authority
JP
Japan
Prior art keywords
unit
vehicle
distance
image
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2018522409A
Other languages
English (en)
Other versions
JPWO2017212927A1 (ja
Inventor
綱島 宣浩
宣浩 綱島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPWO2017212927A1 publication Critical patent/JPWO2017212927A1/ja
Application granted granted Critical
Publication of JP6819680B2 publication Critical patent/JP6819680B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00Measuring distances in line of sight; Optical rangefinders
    • G01C3/02Details
    • G01C3/06Use of electric means to obtain final indication
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00Measuring distances in line of sight; Optical rangefinders
    • G01C3/10Measuring distances in line of sight; Optical rangefinders using a parallactic triangle with variable angles and a base of fixed length in the observation station, e.g. in the instrument
    • G01C3/14Measuring distances in line of sight; Optical rangefinders using a parallactic triangle with variable angles and a base of fixed length in the observation station, e.g. in the instrument with binocular observation at a single point, e.g. stereoscopic type
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00Measuring distances in line of sight; Optical rangefinders
    • G01C3/10Measuring distances in line of sight; Optical rangefinders using a parallactic triangle with variable angles and a base of fixed length in the observation station, e.g. in the instrument
    • G01C3/20Measuring distances in line of sight; Optical rangefinders using a parallactic triangle with variable angles and a base of fixed length in the observation station, e.g. in the instrument with adaptation to the measurement of the height of an object
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/579Depth or shape recovery from multiple images from motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/593Depth or shape recovery from multiple images from stereo images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/107Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using stereoscopic cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • G06T2207/10012Stereo images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Measurement Of Optical Distance (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Description

本技術は、撮像制御装置および方法、並びに車両に関し、特により高い精度で測距することができるようにした撮像制御装置および方法、並びに車両に関する。
自動車などの車両や物体にカメラを取り付け、その映像を目視で監視したり、コンピュータによって処理することで自動監視したりすることがある。これは車両の周囲の状況を把握することで事故などの損害を防止したり、自動運転を行ったりするためである。
3次元空間にある物体を認識するために、3次元空間内にある物体の距離を計測する技術がある。距離計測技術の1つに、2台(あるいはそれ以上の台数)のカメラから撮影された映像から、3角測量法の原理で距離を計測するステレオカメラシステムが知られている(例えば特許文献1)。
このようなステレオカメラシステムを車両に取り付けて、車両の前方や後方、あるいは側方など、車両の周囲にある物体までの距離を計測することで、衝突回避など車両の安全を監視する装置がある。これまで、ステレオカメラシステムは主に車両の前方に取り付けられることが多かった。車両は基本的に前進することが多いため、前方の安全確保が最重要だからである。また、追突防止などの観点から後方の監視にステレオカメラを用いることも知られている(例えば特許文献2)。
これに対して、車両側面の監視は、車線変更時の追突や右左折時の巻き込みなどを防止するためには必要であるが、一般的に前後よりも重要度が低い。さらには前後より監視範囲が広くなる車両側面全体をカバーするのにコストがかかる。このような2つの問題で、車両側面の距離計測による監視はあまり行われていなかった。しかしながら、車両の安全性向上のためには、側面監視も重要であり、これら2つの問題を解決することが望まれる。
そこで、低コストで広い範囲の距離計測を行うために、1組のステレオカメラシステムで、車両側面全体をカバーすることも提案されている(例えば特許文献3)。
特許文献3は、一般的な広角レンズのカメラの撮像画面の端の部分で、解像度が低下する問題を解消するために、画面端の部分を拡大する特殊な光学系を用いることを提案している。しかし、このような光学系では、コストがかかる、カメラ斜め方向に死角が生じるという問題がある。
また、近年主流となっているCMOS(Complementary Metal Oxide Semiconductor)イメージセンサのカメラを、ステレオカメラシステムへ適用した場合の問題を解決する提案がなされている(例えば特許文献4)。
特開平05-114099号公報 特開2008-85710号公報 特開2013-53962号公報 特開2013-70177号公報
しかし、特許文献4の提案は、CMOSイメージセンサのカメラが、ローリングシャッタ方式で駆動された場合に発生する問題を解決しているに過ぎない。特許文献4の提案は、車両の近傍の物体までの距離を正確に計測することが困難なので、車両に近い物体までの距離計測が必要となる、例えば車両の側面の監視には適用が困難である。
本技術はこのような状況に鑑みてなされたものであり、より高い精度で測距することができるようにするものである。
本技術の一側面の撮像制御装置および車両は、光軸が斜め下方向を指向するように配置されたカメラを少なくとも1つ含む、縦方向に配置された少なくとも1組のカメラからなるステレオカメラシステムによる撮像を制御する撮像制御部と、前記ステレオカメラシステムにより撮影された画像に基づいて前記ステレオカメラシステムにより撮影された画像に基づいて、前記車両が走行する面に沿った対象物の測距処理を行う監視処理部と、モーションステレオ処理により、前記車両が走行する面に垂直な対象物の測距処理を行う前記監視処理部とは異なる他の監視処理部と、前記カメラにより撮影された前記画像からエッジを検出し、前記エッジの角度であるエッジ角度を検出するエッジ角度検出部と、前記エッジ角度に基づいて、前記監視処理部の測距処理結果と、前記他の監視処理部の測距処理結果とを統合する統合部とを備える撮像制御装置および車両である。
前記統合部には、前記エッジ角度に基づいて、前記エッジが、前記車両が走行する面に沿う方向に近い程、前記監視処理部の測距処理結果を優先して統合させるようにしてもよく、前記エッジ角度に基づいて、前記エッジが、前記車両が走行する面に垂直な方向に近い程、前記他の監視処理部の測距処理結果を優先して統合させるようにしてもよい。
前記統合部には、前記エッジ角度に基づいて、前記監視処理部の測距処理結果と、前記他の監視処理部の測距処理結果とを重み付けして統合させるようにしてもよい。
前記対象物は、路面、前記路面上の識別表示、前記路面の端部、縁石、またはガードレールのいずれかを含むことができる。
前記カメラにより撮影された前記画像を、前記車両の周囲を目視する画像に変換する画像変換部をさらに備えることができる。
超音波、レーダ、レーザセンサ、または赤外線センサにより、前記車両の前後の測距処理を行う測距処理部をさらに備えることができる。
前記光軸が斜め下方向を指向するように配置された前記カメラは、前記光軸と、そこから車両の真下に向かう方向とのなす角度が、π/6乃至5π/12の範囲となるように配置されていることができる。
前記カメラにより撮影された画像は、広角カメラにより撮影された画像であることができる。
前記ステレオカメラシステムを構成する少なくとも1組のカメラをさらに備えることができる。
本技術の一側面の撮像制御方法は、光軸が斜め下方向を指向するように配置されたカメラを少なくとも1つ含む、縦方向に配置された少なくとも1組のカメラからなるステレオカメラシステムによる撮像を制御するステップと、前記ステレオカメラシステムにより撮影された画像に基づいて、前記車両が走行する面に沿った対象物の測距処理を行うステップと、モーションステレオ処理により、前記車両が走行する面に垂直な対象物の測距処理を行う前記測距処理とは異なる他の測距処理を行うステップと、前記カメラにより撮影された前記画像からエッジを検出し、前記エッジの角度であるエッジ角度を検出するステップと、前記エッジ角度に基づいて、前記測距処理の測距処理結果と、前記他の測距処理の測距処理結果とを統合するステップとを含む撮像制御方法である。
本技術の一側面においては、光軸が斜め下方向を指向するように配置されたカメラを少なくとも1つ含む、縦方向に配置された少なくとも1組のカメラからなるステレオカメラシステムによる撮像が制御され、前記ステレオカメラシステムにより撮影された画像に基づいて前記ステレオカメラシステムにより撮影された画像に基づいて、前記車両が走行する面に沿った対象物の測距処理が行われ、モーションステレオ処理により、前記車両が走行する面に垂直な対象物の測距処理を行う前記監視処理とは異なる他の監視処理が行われ、前記カメラにより撮影された前記画像からエッジが検出され、前記エッジの角度であるエッジ角度が検出され、前記エッジ角度に基づいて、前記監視処理の測距処理結果と、前記他の監視処理の測距処理結果とが統合される。
以上のように、本技術の一側面によれば、より高い精度で測距することができる。
なお、本明細書に記載された効果はあくまで例示であって、限定されるものではなく、また付加的な効果があってもよい。
本技術の第1の実施の形態の撮像制御システムの構成を示す図である。 本技術の第1の実施の形態のステレオカメラシステムの座標系を示す図である。 本技術の第1の実施の形態の距離計測精度が低い範囲を説明する図である。 本技術の第1の実施の形態の撮像制御システムの構成を示すブロック図である。 本技術の第1の実施の形態のステレオ距離計測部の構成を示すブロック図である。 本技術の第1の実施の形態の距離精度向上部の構成を示すブロック図である。 本技術の第1の実施の形態の距離計測処理を説明するフローチャートである。 本技術の第1の実施の形態の精度向上処理を説明するフローチャートである。 本技術の第1の実施の形態の精度向上処理を説明する図である。 本技術の第1の実施の形態の精度向上処理を説明する図である。 本技術の第1の実施の形態の精度向上処理を説明する図である。 本技術の第1の実施の形態の精度向上処理を説明する図である。 本技術の第1の実施の形態の精度向上処理を説明する図である。 本技術の第1の実施の形態の統合処理を説明するフローチャートである。 本技術の第1の実施の形態の距離精度向上部の構成を示すブロック図である。 本技術の第1の実施の形態の撮像制御システムの構成を示すブロック図である。 本技術の第2の実施の形態の撮像制御システムの構成を示す図である。 本技術の第2の実施の形態の撮像制御システムの構成を示す図である。 本技術の第2の実施の形態のステレオカメラシステムの座標系を示す図である。 本技術の第2の実施の形態の距離精度特性を示す図である。 本技術の第2の実施の形態の距離精度特性を示す図である。 本技術の第2の実施の形態の撮像制御システムの構成を示す図である。 本技術の第2の実施の形態の撮像制御システムの構成を示すブロック図である。 本技術の第2の実施の形態の距離計測処理を説明するフローチャートである。 本技術の第2の実施の形態の撮像制御システムの構成を示す図である。 本技術の第2の実施の形態の撮像制御システムの構成を示すブロック図である。 本技術の第2の実施の形態の撮像制御システムの構成を示すブロック図である。 本技術の第2の実施の形態の統合処理を説明するフローチャートである。 視点変換処理を説明する図である。 視点変換処理を説明する図である。 本技術の第2の実施の形態の撮像制御システムの構成を示すブロック図である。 本技術の第2の実施の形態の距離計測処理を説明するフローチャートである。 現在のフレームの画像を説明する図である。 過去のフレームの画像を説明する図である。 単眼カメラと座標軸との関係を示す図である。 カメラと撮像面との関係を示す図である。 画像の中心からのオプティカルフローを説明する図である。 本技術の第2の実施の形態のステレオカメラシステムのカメラの配置を示す図である。 本技術の第2の実施の形態のステレオカメラシステムのカメラの配置を示す図である。 本技術の第2の実施の形態のステレオカメラシステムのカメラの配置を示す図である。 車両制御システムの概略的な構成の一例を示すブロック図である。 車外情報検出部および撮像部の設置位置の一例を示す説明図である。
以下、本技術を実施するための実施の形態について説明する。なお、説明は以下の順序で行う。
1.第1の実施の形態:撮像制御システム(図1〜図14)
(1)撮像制御システム(図1〜図3)
(2)撮像制御装置の構成(図4〜図6)
(3)距離計測部の動作(図7)
(4)距離精度向上部の動作(図8〜図13)
(5)誤差
(6)統合処理(図14)
(7)変形例(図15、図16)
2.第2の実施の形態:撮像制御システム(図17〜図40)
(1)カメラの配置(図17〜図22)
(2)撮像制御システム構成例1(図23、図24)
(3)撮像制御システム構成例2(図25、図26)
(4)撮像制御システム構成例3(図27乃至図30)
(5)撮像制御システム構成例4(図31乃至図37)
(6)変形例(図38〜図40)
3.応用例(図41、図42)
4.その他
<第1の実施の形態>
(1)撮像制御システム(図1〜図3)
図1は、本技術の第1の実施の形態の撮像制御システムの構成を示す図である。本技術の撮像制御システム1においては、図1に示されるように、4組のステレオカメラシステム21A乃至21Dが車両11の4方向に取り付けられる。車両11の側面においては、ドアミラーに取り付けられており、前面と後面においては、バンパーに取り付けられている。側面に取り付ける場合、ドアミラー以外の、ピラー(フロントピラー、センタピラー、リアピラー等)、ドア、ルーフレール等に取り付けることができる。
ステレオカメラシステム21Aは、車両11の左側に設置され、車両11の左側の検出範囲22Aの対象物までの距離を計測する。ステレオカメラシステム21Bは、車両11の右側に設置され、車両11の右側の検出範囲22Bの対象物までの距離を計測する。ステレオカメラシステム21Cは、車両11の前方に設置され、車両11の前方の検出範囲22Cの対象物までの距離を計測する。ステレオカメラシステム21Dは、車両11の後方に設置され、車両11の後方の検出範囲22Dの対象物までの距離を計測する。
ステレオカメラシステム21A乃至ステレオカメラシステム21Dのカメラ(後述する図2のカメラ41,42)は、視野角が広いレンズを用いて距離計測のための撮影を行う。図1には、検出範囲22A乃至検出範囲22Dとして、視野角が180度である場合の例が示されている(なお、実際に180度の視野角を確保するには、それ以上の例えば190度の視野角のレンズが必要になる)。また、図1の検出範囲22A乃至22Dは、角度方向の範囲を示すものであり、距離方向、すなわち半円の径の大きさは、実際にはもっと大きくなる。このことは、後述する図3においても同様である。
なお、正確には、検出範囲22A乃至22Dは、後述する図2のカメラ41,42の撮像範囲が重なる領域であるが、便宜上1つの半径の半円で示されている。
なお、ステレオカメラシステム21A乃至ステレオカメラシステム21Dを個々に区別する必要が無い場合、以下、単にステレオカメラシステム21と記述する。他の構成要素についても同様とする4組のステレオカメラシステム21は、車両11の全周囲を監視する。1組のステレオカメラシステム21は2台以上のカメラで構成されている。
図2は、本技術の第1の実施の形態のステレオカメラシステムの座標系を示す図である。ステレオカメラシステム21の座標系は図2に示されるように定義される。
2台のカメラ41,42から構成されるステレオカメラシステム21の一方のカメラ41の中心点をOa、他方のカメラ42の中心点をOb、中心点Oaと中心点Obの中間点(すなわちステレオカメラシステム21の中心点)をOとする。撮影の対象点をP、中心点Oaと中心点Obの間の距離(基線長)をLとする。対象点Pと中心点Oを結ぶ直線46と、中心点Oaと中心点Obを通る直線45のなす角度のうち、図中左側の角度(直線46と、直線45の中心点Oより左側の線分のなす角度)をθとする。すなわち角度θは、撮影の対象点Pとステレオカメラシステム21とのなす角度である。なお対象点は撮影すなわち監視する対象物を表し、例えば車両11の周囲の人、障害物、他の車両等を模式的に点として表したものである。
直線45と、対象点Pと中心点Oaを結ぶ直線47のなす角度のうち、図中左側の角度(直線47と、直線45の中心点Oaより図中左側の線分とのなす角度)をθaとする。直線45と、対象点Pと中心点Obを結ぶ直線48のなす角度のうち、図中左側の角度(直線48と、直線45の中心点Obより図中左側の線分とのなす角度)をθbとする。直線47と直線48のなす角度をαとする。また、中心点Oと対象点Pとの距離をρ、対象点Pと中心点Oaの距離をρa、対象点Pと中心点Obの距離をρbとする。このとき、正弦定理から次の式(1)が得られる。
ρa/sinθb=L/sinα=L/sin(θa−θb) (1)
ただし、α=θa−θbである。
また、中心点Oと対象点Pとの距離ρは次式(2)のように書くことができる。
ρ・sinθ=ρa・sin(π−θa)=ρa・sinθa (2)
式(1)と式(2)より式(3)が得られる。
sin(θa−θb)=L/ρ・sinθa・sinθb/sinθ (3)
一般に、中心点Oaと中心点Obの間の距離(基線長)Lは、数cmから数十cm程度であるのに対し、中心点Oから対象点Pまでの距離ρは数m程度など十分に大きいことが多く、この場合、θ≒θaθ≒θbが成り立つ。さらにθb<θ<θaが常に成り立つ。これらの条件から次の近似式(4)が成り立つ。
sinθa・sinθb≒sin2θ (4)
式(3)と式(4)より、次の式(5)が得られる。
sin(θa−θb)≒L/ρ・sinθ (5)
角度θa,θbは2台のカメラ41,42の物体光の角度なので、その差であるθa−θbは、入射光の角度差であり、ステレオ画像処理ではθa−θbによって対象物までの距離が算出される。基線長Lは定数なので、式(5)よりθa−θbは、対象物までの距離ρに反比例することが判る。そのため、対象物とステレオカメラシステム21の距離が離れると距離計測精度が低下する。
車両11に搭載したステレオカメラシステム21において距離計測を行う大きな理由の1つは、車両11の周辺の障害物を検知して、車両11と障害物との接触を防ぐことである。そのため、車両11と障害物の距離が近いほど距離計測精度が上がっているのは理にかなっている。
しかしながら、車両11の近くでありながら距離計測精度が低い箇所がある。具体的には図3に示すように、車両11の4隅付近の距離計測精度が低くなる。図3は、本技術の第1の実施の形態の距離計測精度が低い範囲を説明する図である。
図3に示されるように、ステレオカメラシステム21Aの検出範囲22Aとステレオカメラシステム21Cの検出範囲22Cが重なる領域61ACは、ステレオカメラシステム21Aとステレオカメラシステム21Cのいずれからも距離が遠くなる。ステレオカメラシステム21Bの検出範囲22Bとステレオカメラシステム21Cの検出範囲22Cが重なる領域61BCは、ステレオカメラシステム21Bとステレオカメラシステム21Cのいずれからも距離が遠くなる。
同様に、ステレオカメラシステム21Bの検出範囲22Bとステレオカメラシステム21Dの検出範囲22Dが重なる領域61BDは、ステレオカメラシステム21Bとステレオカメラシステム21Dのいずれからも距離が遠くなる。ステレオカメラシステム21Aの検出範囲22Aとステレオカメラシステム21Dの検出範囲22Dが重なる領域61ADは、ステレオカメラシステム21Aとステレオカメラシステム21Dのいずれからも距離が遠くなる。
従って、車両11の比較的近傍であるにも拘わらず、これらの領域61AC,61BC,61BD,61ADにおける距離計測精度は低くなる。この4隅の領域61AC,61BC,61BD,61ADは、2つのステレオカメラシステム21の監視領域が重なっている。そこで本技術においては、2つのステレオカメラシステム21の距離計測結果から計測精度を向上させる。
(2)撮像制御装置の構成(図4〜図6)
図4は、本技術の第1の実施の形態の撮像制御システム1の構成を示すブロック図である。撮像制御システム1は、カメラシステム20と撮像制御部81により構成されている。
カメラシステム20は、ステレオカメラシステム21A乃至ステレオカメラシステム21Dを有している。ステレオカメラシステム21Aは、撮像部101Aと撮像部102Aを有する。撮像部101Aはカメラ41Aを有し、撮像部102Aはカメラ42Aを有する。
同様に、ステレオカメラシステム21Bは、撮像部101Bと撮像部102Bを有し、撮像部101Bはカメラ41Bを有し、撮像部102Bはカメラ42Bを有する。ステレオカメラシステム21Cは、撮像部101Cと撮像部102Cを有し、撮像部101Cはカメラ41Cを有し、撮像部102Cはカメラ42Cを有する。ステレオカメラシステム21Dは、撮像部101Dと撮像部102Dを有し、撮像部101Dはカメラ41Dを有し、撮像部102Dはカメラ42Dを有する。
撮像部101A,102Aにより撮影された画像は、ステレオ距離計測部91Aに供給され、撮像部101B,102Bにより撮影された画像は、ステレオ距離計測部91Bに供給される。撮像部101C,102Cにより撮影された画像は、ステレオ距離計測部91Cに供給され、撮像部101D,102Dより撮影された画像は、ステレオ距離計測部91Dに供給される。
撮像制御部81は、ステレオ距離計測部91A乃至ステレオ距離計測部91D、並びに距離精度向上部92AC、距離精度向上部92BC、距離精度向上部92ADおよび距離精度向上部92BDにより構成されている。さらに撮像制御部81は、統合部93を有している。
ステレオ距離計測部91Aは車両11の左側の検出範囲22Aにおける距離を計測する。ステレオ距離計測部91Bは車両11の右側の検出範囲22Bにおける距離を計測する。ステレオ距離計測部91Cは車両11の前方の検出範囲22Cにおける距離を計測する。ステレオ距離計測部91Dは車両11の後方の検出範囲22Dにおける距離を計測する。
距離精度向上部92は、対応する重なる領域61における距離を計測するステレオ距離計測部91からの計測結果を取得し、距離精度を向上させる。すなわち、距離精度向上部92ACは、検出範囲22Aにおける距離を計測するステレオ距離計測部91Aと、検出範囲22Cにおける距離を計測するステレオ距離計測部91Cの計測結果を取得し、距離精度を向上させる。距離精度向上部92BCは、検出範囲22Bにおける距離を計測するステレオ距離計測部91Bと、検出範囲22Cにおける距離を計測するステレオ距離計測部91Cの計測結果を取得し、距離精度を向上させる。
同様に、距離精度向上部92ADは、検出範囲22Aにおける距離を計測するステレオ距離計測部91Aと、検出範囲22Dにおける距離を計測するステレオ距離計測部91Dの計測結果をし、距離精度を向上させる。距離精度向上部92BDは、検出範囲22Bにおける距離を計測するステレオ距離計測部91Bと、検出範囲22Dにおける距離を計測するステレオ距離計測部91Dの計測結果をし、距離精度を向上させる。
統合部93は、距離精度向上部92AC、距離精度向上部92BC、距離精度向上部92ADおよび距離精度向上部92BDの出力を取得、統合し、車両11の周囲全体の状態を把握し、出力する。
図5は、本技術の第1の実施の形態のステレオ距離計測部の構成を示すブロック図である。ステレオ距離計測部91は図5に示されるように構成されている。
ステレオ距離計測部91は、画像補正部111,112と、ステレオ画像処理部113を有している。ステレオカメラシステム21の撮像部101(カメラ41を有する)と撮像部102(カメラ42を有する)の出力は、それぞれ画像補正部111と画像補正部112に供給され、前処理としてレンズの収差等が補正される。すなわちカメラ41,42は広角レンズを有し、通常のカメラよりも視野角が広い撮影が可能なカメラであるため、撮影された画像は歪んでいる。距離算出のためこの歪を補正し、画像を平面に投影して平面画像とする処理が行われる。ステレオ画像処理部113は、画像補正部111と画像補正部112の出力から、対象物までの距離を演算する。すなわちカメラ41,42の一方の画像に映っている物体を、他方の画像から検出し、その位置のずれから距離が算出される。
なお、広角カメラは、35ミリ換算で、35ミリ以下のレンズ、特に28ミリ以下のレンズを備えるカメラである。あるいは、視野角が60度以上、特に120度以上、あるいは150度以上の撮影が可能なカメラである。視野角は180度以上にすることもできる。特に視野角が広い広角のレンズ若しくはカメラは、魚眼レンズ(fθレンズ)若しくは魚眼カメラ、あるいは超広角レンズ若しくは超広角カメラといわれることがある。
図4の距離精度向上部92は、図6に示されるように構成されている。図6は、本技術の第1の実施の形態の距離精度向上部の構成を示すブロック図である。図6に示されるように、距離精度向上部92は、取得部141,142、交点検出部143、距離補正部144および出力部145を有している。
取得部141,142は、対応するステレオ距離計測部91から計測情報を取得する。例えば距離精度向上部92ACの場合、取得部141はステレオ距離計測部91Aの計測情報を取得し、取得部142はステレオ距離計測部91Cの計測情報を取得する。交点検出部143は、取得部141,142が取得した計測情報から交点を検出する。すなわち、観測点の重なりが検出される。距離補正部144は、交点検出部143により検出された交点の距離を演算する。すなわち、ステレオ距離計測部91により計測された距離が補正される。出力部145は、距離補正部144により演算された結果を、統合部93に出力する。
(3)距離計測部の動作(図7)
次に図7を参照して、ステレオ距離計測部91の動作について説明する。図7は、本技術の第1の実施の形態の距離計測処理を説明するフローチャートである。
ステップS11において、図5の撮像部101(カメラ41を有する)と撮像部102(カメラ42を有する)は観測点を撮影する。ステップS12において画像補正部111は、撮像部101により撮像された画像について、レンズ収差、カメラ画像の歪みなどを補正する。同様に、画像補正部112は、撮像部102により撮像された画像について、レンズ収差、カメラ画像の歪みなどを補正する。すなわち、距離算出のため画像の歪が補正され、画像が仮想平面に投影されて平面画像とされる。
ステップS13においてステレオ画像処理部113は、観測点までの距離を演算する。すなわち、撮像部101のカメラ41と撮像部102のカメラ42は、距離Lだけ離れた位置に配置されている。従って、カメラ41により撮影された画像とカメラ42により撮影された画像は位相差を有しており、その位相差に基づいて観測点までの距離を演算することができる。すなわちメラ41,42の一方の画像に映っている物体に対応する物体が他方の画像から検出され、2つの画像における物体の位置のずれから距離が算出される。算出の結果得られた計測情報は対応する距離精度向上部92に出力される。
ステップS14においてステレオ画像処理部113は処理を終了するかを判定する。使用者からまだ処理の終了が指示されていない場合、処理はステップS11に戻り、それ以降の処理が繰り返される。処理の終了が指示されている場合、処理は終了される。
以上の処理は、ステレオ距離計測部91A乃至ステレオ距離計測部91Dのそれぞれにより検出範囲22A乃至検出範囲22Dにおいて行われる。検出範囲22A乃至検出範囲22Dにおいて計測の結果得られた計測情報が、対応する距離精度向上部92A乃至距離精度向上部92Dに出力される。
すなわち、検出範囲22Aにおける距離を計測したステレオ距離計測部91Aと、検出範囲22Cにおける距離を計測したステレオ距離計測部91Cの計測情報は、距離精度向上部92ACに供給される。検出範囲22Bにおける距離を計測したステレオ距離計測部91Bと、検出範囲22Cにおける距離を計測したステレオ距離計測部91Cの計測情報は、距離精度向上部92BCに供給される。
同様に、検出範囲22Aにおける距離を計測したステレオ距離計測部91Aと、検出範囲22Dにおける距離を計測したステレオ距離計測部91Dの計測情報は、距離精度向上部92ADに供給される。検出範囲22Bにおける距離を計測したステレオ距離計測部91Bと、検出範囲22Dにおける距離を計測したステレオ距離計測部91Dの計測情報は、距離精度向上部92BDに供給される。
なお、補正処理により投影される仮想平面は1枚とすることができる。しかし、複数枚(例えば3枚)の仮想平面を用意し、広角レンズで撮影された画像を3分割し、1/3ずつに分割された画像を各仮想平面に投影するようにすることもできる。
(4)距離精度向上部の動作(図8〜図13)
次に図8を参照して、距離精度向上部92の動作について説明する。図8は,本技術の第1の実施の形態の精度向上処理を説明するフローチャートである。
ステップS51において図6の取得部141,142は、対応するステレオ距離計測部91のステレオ画像処理部113から計測情報を取得する。例えば距離精度向上部92ACの場合、取得部141は、ステレオ距離計測部91Aのステレオ画像処理部113Aから計測情報を取得し、取得部142は、ステレオ距離計測部91Cのステレオ画像処理部113Cから計測情報を取得する。
ステップS52において交点検出部143は、重複範囲の観測点であるかを判定する。すなわち、ステップS51で取得部141,142により取得された計測情報に含まれる観測点の座標が領域61内の座標であるかが判定される。例えば距離精度向上部92ACの場合、検出範囲22Aの観測点と検出範囲22Cの観測点の座標が入力されるので、その座標が検出範囲22Aと検出範囲22Cが重なる範囲61AC内に含まれる座標であるかが判定される。
重複範囲の観測点が観測された場合、ステップS53において交点検出部143は、交点が存在するかを判定する。ここで図9を参照して交点について説明する。
図9は、本技術の第1の実施の形態の精度向上処理を説明する図である。なお、図9においては、車両11が模式的に表されている。このことは、後述する図10乃至図13においても同様である。
図9に示されるように、いま、取得部141が取得したステレオカメラシステム21Aの画像から視線方向201A1の方向に観測点PA1が観測されたとする。この観測点PA1の座標は距離計測誤差DA1を有している。すなわち、所定の視線上に物体(すなわち図2にける撮影の対象点P)があり、その物体が観測点として観測された場合、実際の撮影の対象点の位置は、誤差の範囲のどこかに存在する。車両11の周囲の人、障害物、他の車両等の監視する対象物としての所定の物体を観測して得られる、その対象物に対応する点が観測点である。換言すれば、観測系を介して得られる対象物の像、すなわち観測情報(例えば観測された方向の観測された距離)に基づく点が観測点である。従って、観測点PA1の座標は誤差を含んでいるため、実際には観測点PA1は、観測点PA1より先の座標DA1Fと観測点PA1より後の座標DA1Eの範囲の誤差DA1の範囲内に位置していると考えることができる。図9において誤差DA1は太い線で示されている。なお、誤差の詳細は後述する。
同様に、取得部142が取得したステレオカメラシステム21Cの画像から視線方向201C1の方向に観測点PC1が観測されたとする。この観測点PC1の座標は距離計測誤差DC1を有している。つまり、観測点PC1の座標は誤差を含んでいるため、実際には観測点PC1は、観測点PC1より先の座標DC1Fと観測点PC1より後の座標DC1Eの範囲の誤差DC1の範囲内に位置していると考えることができる。
このように誤差DA1と誤差DC1は、それぞれ所定の範囲(幅)を有しており、例えば観測点P----A1と観測点PC1が実質的に同一の観測点である場合、その交点P1が実際の観測点であると考えることができる。ステップS53では、このような交点P1が存在するかが判定される。つまり、計測された観測点の距離(すなわち位置)は幅(すなわち所定の範囲)を有しており、その幅を有する観測点の重なりが検出される。すなわち、計測された観測点の距離の誤差の範囲の重なりが観測点の重なりとして検出される。
そこで、ステップS53において交点が存在すると判定された場合、ステップS54において距離補正部144は、ステップS51で取得された距離を補正する。具体的には、ステップS51で取得された距離が、ステップS53で検出された交点の距離に補正される。すなわち、図9の例では、交点P1の座標が新たに演算される。
ステップS55において交点検出部143は、複数の交点が存在するかを判定する。この状態を図10を参照して説明する。図10は、本技術の第1の実施の形態の精度向上処理を説明する図である。
図10の例においては、取得部141が取得したステレオカメラシステム21Aの画像から視線方向201A2の方向に観測点PA2が観測されている。この観測点PA2の座標は距離計測誤差DA2を有している。また取得部142が取得したステレオカメラシステム21Cの画像から視線方向201C2の方向に観測点PC2が観測されている。この観測点PC2の座標は距離計測誤差DC2を有している。さらに取得部142が取得したステレオカメラシステム21Cの画像から視線方向201C3の方向に観測点PC3が観測されている。この観測点PC3の座標は距離計測誤差DC3を有している。
誤差DA2と誤差DC2は交点P2を有し、誤差DA2と誤差DC3は交点P3を有している。つまりこの例の場合、交点P2以外に、交点P3が検出されており、交点が複数存在することになる。
ステップS55で交点が複数存在すると判定された場合、ステップS56において距離補正部144は、交点を選択する。図10の例では、交点P2と交点P3のいずれかが所定の基準で選択される。例えば車両11に近い交点を選択したり、観測点に近い交点を選択することができる。図10の例の場合、いずれの基準を採用しても交点P2が選択されることになる。離演算部144は選択した交点の距離を検出距離とする。図10の例の場合、ステレオ距離計測部91Aで計測された観測点PA2の距離に代えて、交点P2の距離が検出距離とされる。
ステップS55で複数の交点が存在しないと判定された場合、ステップS58において距離補正部144は、交点の距離を検出距離とする。すなわち、ステップS54で演算された交点の距離がそのまま検出距離とされる。図9の例の場合、交点は1つしかないので、処理はステップS55からステップS58に進み、観測点PA1に代えて、交点P1の距離が検出距離とされる。
ステップS53で交点が存在しないと判定された場合、ステップS61において距離補正部144は、観測点までの距離を検出距離とする。この状態を、図11を参照して説明する。図11は、本技術の第1の実施の形態の精度向上処理を説明する図である。
図11の例においては、取得部141が取得したステレオカメラシステム21Aの画像から視線方向201A3の方向に観測点PA3が観測されている。この観測点PA3の座標は距離計測誤差DA3を有している。また取得部142が取得したステレオカメラシステム21Cの画像から視線方向201C4の方向に観測点PC4が観測されている。この観測点PC4の座標は距離計測誤差DC4を有している。視線方向201A3と視線方向201C4は交差しているが、誤差DA3と誤差DC4は交差していない。
図11の例は、観測点PA3と観測点PC4が観測されたのは重複範囲であるが(ステップS52でYESと判定されるが)、交点は存在しない(ステップS53でNOと判定される)例である。この場合には、ステップS61において、距離補正部144は、観測点までの距離を検出距離とする。すなわち、それぞれ観測点PA3と観測点PC4の距離が、そのまま検出距離とされる。つまりこの場合は、それぞれ別の観測点(対象物)が観測された場合である。
図12は、本技術の第1の実施の形態の精度向上処理を説明する図である。図12の例においては、取得部141が取得したステレオカメラシステム21Aの画像から視線方向201A4の方向に観測点PA4が観測されている。この観測点PA4の座標は距離計測誤差DA4を有している。また取得部142はステレオカメラシステム21Cの画像から観測点を検出していない。この例も、観測点PA4が観測されたのは重複範囲であるが(ステップS52でYESと判定されるが)、交点は存在しない(ステップS53でNOと判定される)例である。そこでこの場合にも、ステップS61において、距離補正部144は、観測点までの距離を検出距離とする。すなわち、観測点PA4の距離が、そのまま検出距離とされる。
なお、観測点と誤差に交点が存在するのではなく、観測点の座標そのものが一致した場合、すなわち、ステレオカメラシステム21Aとステレオカメラシステム21Cが同じ座標の観測点を検出した場合、ステップS53で交点は存在しないと判定される。そしてステップS61において、観測点までの距離がそのまま検出距離とされる。
ただし、観測点が観測されたのは重複範囲であるが(ステップS52でYESと判定されるが)、交点は存在しない(ステップS53でNOと判定される)場合、すなわち図12の例に示されるような場合、図8に点線で示すように処理することもできる。
すなわち、ステップS53で交点が存在しないと判定された場合、ステップS60において交点検出部143は近傍に他の観測点が存在するかを判定する。他の観測点が近傍に存在する場合にはステップS61において距離補正部144は、観測点までの距離を検出距離とする。
ステップS60において近傍に他の観測点が存在しないと判定された場合、ステップS62において距離補正部144はエラー処理を実行する。すなわち、この場合の処理では、図12の例に示されるような場合には、観測点PA4はステレオカメラシステム21Cからも検出されるはずなのに、検出されていないので、観測点PA4の検出はエラーと判断され、観測点PA4は消去される。
ステップS52において観測点は重複範囲に位置していないと判定された場合、ステップS61において距離補正部144は、観測点までの距離を検出距離とする。すなわち、観測点の距離が、そのまま検出距離とされる。この例を図13を参照して説明する。
図13は、本技術の第1の実施の形態の精度向上処理を説明する図である。図13の例においては取得部141が取得したステレオカメラシステム21Aの画像から視線方向201A5の方向に観測点PA5が観測されている。この観測点PA5の座標は距離計測誤差DA5を有している。この観測点PA5が観測されたのは、検出範囲22Aではあるが、領域61ACではない。また検出範囲22Cでは観測点が検出されていない。このような状態の場合、観測点PA5の距離がそのまま検出距離とされる。つまり、検出範囲22のうち領域61内に位置しない観測点の距離は、そのまま検出距離とされる。
ステップS56,S58,S61の処理の後、ステップS57において出力部145は、得られた計測情報を統合部93に出力する。すなわち、ステップS56で選択された交点の計測情報、ステップS58で得られた交点の計測情報、またはステップS61で得られた観測点までの計測情報が統合部93に供給される。
ステップS57およびステップS62の処理の後、ステップS59において距離補正部144は処理を終了するかを判定する。使用者から処理の終了が指示されていない場合には、処理はステップS51に戻り、同様の処理が繰り返される。終了が指示されている場合には、処理は終了される。
以上の処理は、距離精度向上部92AC、距離精度向上部92BC、距離精度向上部92AD、および距離精度向上部92BDにおいてそれぞれ行われる。
(5)誤差
次に、ステレオカメラシステム21の誤差についてさらに説明する。上述した式(5)をステレオカメラシステム21から撮影の対象点Pまでの距離ρを算出する式に変形すると式(6)のようになる。
ρ≒L・sinθ/sin(θa−θb)=L・sinθ/sinα (6)
ただし、α=θa−θbである。
また、αが十分に小さいとすると、sinα≒αと近似できるので、式(6)はさらに次の式(7)のように変形することができる。
ρ≒L・(sinθ)/α (7)
ステレオカメラシステム21で観測されるのは角度θaと角度θbなので、距離Lと角度θを定数とすると、距離ρの誤差は、角度α(=θa−θb)の逆数比から計算することができる。一般的にステレオカメラシステム21から求められる角度θa,θbは離散的な値なので、角度αも離散的である。
ここでα=d/Eと表現すると、式(7)は次の式(8)のように表すことができる。dは整数でαに応じで変化し、Eはカメラの解像度などから決定される実数の固定値であるとする。αの値域は0<α<π(3.14)であるが、dは十分に大きな固定値Eで割ることで、3.14よりも大きな値を取ることができる。
ρ≒L・E・(sinθ)/d (8)
dの誤差が±1であるとする。その場合、dの誤差が−1の場合の距離ρの誤差Δρmと、dの誤差が+1の場合の距離ρの誤差Δρpは次のように異なる。
Δρm=L・E・(sinθ)/(d−1)−L・E・(sinθ)/d
=L・E・(sinθ)/(d・(d−1))=ρ/(d−1)
(但しd>1) (9)
Δρp=L・E・(sinθ)/d−L・E・(sinθ)/(d+1)
=L・E・(sinθ)/(d・(d+1))=ρ/(d+1) (10)
距離ρの誤差Δが最大となるのはd=2の場合であり、この場合、式(9)よりΔρm=ρとなり、式(10)よりΔρp=ρ/3となる。dの誤差が−1、すなわち、距離ρが大きくなる(遠くなる)側の誤差は、撮影の対象点Pまでの距離ρに対して100%である。また、dの誤差がが+1すなわち、距離ρが小さくなる(近くなる)側の誤差は、撮影の対象点Pまでの距離ρに対して33%となる。これは最大誤差であり通常の誤差はもっと小さい。例えは、d=10の場合、誤差Δρmは距離ρの11%、誤差Δρpは距離ρの9%となる。また、これはdの誤差が±1の場合であり、dの誤差がもっと大きくなると距離ρの誤差ももっと大きくなる。
以上のようにして、システム設計時に、dの値を±1、±2等に適宜決めることで、誤差DA,DC等を決定することができる。例えばまず±1でステレオカメラシステム21の対応をチェックし、±2、±3等と変化させて調整してもよい。
(6)統合処理(図14)
次に図14を参照して、統合処理について説明する。図14は、本技術の第1の実施の形態の統合処理を説明するフローチャートである。
ステップS91において図4の統合部93は統合処理を実行する。すなわち、距離精度向上部92AC、距離精度向上部92BC、距離精度向上部92AD、および距離精度向上部92BDにより計測された計測情報は、車両11の周囲、つまり、左側、右側、前方および後方の計測情報である。統合部93はこれらの計測情報を統合し、車両11の全方向の計測情報として図示せぬモニタに表示させたり、記憶部に記憶させる。
統合部93は、各種の支援を行う。例えばバック駐車、縦列駐車等の駐車支援、交差点停車時や右左折時の斜め後方の構造物、自転車、歩行者等の障害物認識情報を提供したり、車線変更時の隣のレーンの後続車を監視したりすることができる。
また、通常走行時は監視はするものの、アラートは出さないようにし、基準以下の距離に障害物が検出されときアラートを出したり、車両の進行方向と逆側(例えば、左折時の右側、右折時の左側)を特に監視することができる。また逆に、必要がない方向(例えば、左折時の右側、右折時の左側)の監視は省略することもできる。さらに4つの方向の検出精度は同じでもよいが、一方(例えば側面)の検出精度を他方(例えば前面または後面)より高くすることもできる。
ステップS92において統合部93は処理を終了するかを判定する。使用者から処理の終了が指示されていない場合には、処理はステップS91に戻り、同様の処理が繰り返される。終了が指示されている場合には、処理は終了される。
一般的に、監視範囲を広げるには、カメラに画角の広いレンズを取り付ければよい。特に、車両の側面のような広い範囲の監視が必要な場合、魚眼レンズのような非常に広角のレンズを使用することで、1台のカメラ、あるいは、1組のステレオカメラシステムで車両側面全体を監視することができる。しかしながら、非常に広角のレンズを使用した場合、撮影した画像の空間分解能が低下するために、画像に移っている物体のサイズが小さくなり、撮影した画像を解析して画像認識などを行う場合に解析の精度が低下してしまう。ステレオ画像処理による距離計測精度も低下してしまう。
しかし、本技術によれば、計測範囲が重なる複数の観測点の重なりを検出し、観測点の重なりに基づいて新たな距離を演算するようにしたので、距離計測精度の低下を抑制することができる。
なお本技術は、通常の視野角のカメラ用いて測距する場合にも適用することができる。
なお、ステレオカメラシステム21のカメラ41,42は、横方向に配置することもできるが、図17乃至図22を参照して後述するように、上下(縦方向)にずらして配置することもできる。加えて、光軸が基準面と平行な方向より下を指向するように配置するようにしてもよい。
また、以上においては、4つの方向をステレオカメラシステム21で監視するようにしたが、そのうちの少なくとも1つの方向は、超音波、レーダ、レーザセンサ、赤外線センサ等により監視するようにすることもできる。さらに、ステレオカメラシステム21による障害物の認識、監視に加えて、ビューイングシステムを組み合わせて用いることができる。
(7)変形例(図15、図16)
なお、距離補正部144により距離を補正するために、さらに構成を付加することができる。図15は、本技術の第1の実施の形態の距離精度向上部の構成を示すブロック図である。
図15の構成例においては、カメラシステム20以外に、検知システム85が設けられている。検知システム85は、検知部149を有している。この検知部149は、各検出範囲22A乃至22Dに対応して設けられている。検知部149は、例えば超音波センサ、赤外線センサ、ミリ波センサ、レーダの少なくともいずれか1つで構成される。他の検出部としての検知部149は、超音波センサ、赤外線センサ、ミリ波センサ、レーダ等により各検出範囲22A乃至22Dにおいて観測点の距離を検出する。検出結果は対応する距離補正部144に供給される。距離補正部144は、交点検出部143からの出力だけでなく、検知部149の検出結果も利用して精度向上処理を実行する。これにより、より正確な精度向上処理が実現できる。
さらに、他の機能を付加することができる。図16は、本技術の第1の実施の形態の撮像制御システムの構成を示すブロック図である。
図16の構成例においては、ステレオカメラシステム21Aの撮像部101A,102Aのうちの少なくとも一方(この実施の形態の場合撮像部101A)の撮像画像が認識処理部83に供給されている。同様に、ステレオカメラシステム21Bの撮像部101B、ステレオカメラシステム21Cの撮像部101C、ステレオカメラシステム21Dの撮像部101Dの撮像画像が、それぞれ認識処理部83に供給されている。認識処理部83は、入力された撮像画像から、各検出範囲22A乃至22Dにおいて観測された対象物が何であるのかを認識する。認識結果は使用者に提示される。
<第2の実施の形態>
(1)カメラの配置(図17〜図22)
次に第2の実施の形態について説明する。図17と図18は、本技術の第2の実施の形態の撮像制御システムの構成を示す図である。
図17と図18に示されるように、第2の実施の形態の撮像制御システム501においては、2台のカメラ541,542を1組としたステレオカメラシステム521が、車両511の側面に上下方向(すなわち縦方向)に配置される。すなわちカメラ541,542は、その視差が高さ方向にでるように、基準面(路面551)と垂直な面内に配置される。なおカメラ541,542、ステレオカメラシステム521、および車両511は、それぞれ第1の実施の形態のカメラ41,42、ステレオカメラシステム21、および車両11に対応する。カメラ541,542の取り付け位置は車両511の側面の中央付近が望ましいが、中央付近はドアがあるなど取り付けが難しい場合あるので、図17と図18の例では、ドアミラー付近に取り付けられている例が示されている。
また、ドアミラー付近に取り付ける理由は、図18に示されるように、ステレオカメラシステム521を斜め下方向に向けて取り付けるためでもある。ドアミラーであれば、特別な治具を追加することなくステレオカメラシステム521を斜め下方向に取り付けることができる。なお、ステレオカメラシステム521を構成するカメラ541,542は、ここでは広角カメラが使用されている。
なお、図17と図18においては、車両511の左側にのみステレオカメラシステム521が設置されているが、実際には右側にも設置される。
もちろん、ステレオカメラシステム521は、ドアミラー以外の、ピラー(フロントピラー、センタピラー、リアピラー等)、ドア、ルーフレール等に取り付けることができる。車両511の側面であればどこに取り付けても良い。
以下、図17と図18に示されるようにカメラ541.542を配置にする理由について説明するが、その前に、ステレオカメラシステム521の座標系について説明する。
カメラ541,542と撮影の対象点Pの座標系は、第1の実施の形態の図2に示される場合と同様である。従ってその説明は省略するが、第2の実施の形態においては、図2におけるカメラ41,42は、カメラ541,542に置き換えて理解すべきである。
図2の座標系が適用されるので、式(1)乃至式(5)が第2の実施の形態においても適用される。
式(5)から、θa−θb(sin(θa−θb))は、ステレオカメラシステム521の中心点Oから物体(撮影の対象点P)までの距離ρに反比例するとともに、物体とステレオカメラシステム521とのなす角度θに比例することが判る。θa−θb(sin(θa−θb))が大きい方が誤差の影響に強く、距離計測精度が高いと言える。従って、ステレオカメラシステム521と物体の角度θが0もしくは180度に近づくと、sin(θa−θb)が小さくなるので、距離計測精度が低下する。
以上の理由により、ステレオカメシステム521の2台のカメラ541,542を車両511の側面に横並びに(すなわち路面551と平行に同じ高さに)取り付けると、車両511の側面から前方または後方を距離計測することが困難になる。そのため、車両511の側面にステレオカメラシステム521を設置する場合には、2台のカメラ541,542を縦並びに(すなわち路面551と垂直に高さを変えて)配置した方がよい。そうすることで、車両511の側面のほぼ中央部分はもとより、側面の前方(車両進行方向)または後方(車両進行方向と反対方向)の距離を正確に計測することができる。
しかしながら、ステレオカメラシステム521の2台のカメラ541,542を縦並びに配置すると、今度はステレオカメラシステム521の真下と真上の距離計測の精度が低下する。ステレオカメラシステム521の真上については、通常は空なので、障害物の検知などのための測距処理を行う必要性は低いが、ステレオカメラシステム521の真下は路面551であるから測距処理を行う必要がある。そこで、図18に示されるように、ステレオカメラシステム521を縦並びのまま光軸が斜め下方向(路面551の方向)を指向するように配置することを考える。
ここで、さらに図19に示される座標系を定義する。図19は、本技術の第2の実施の形態のステレオカメラシステムの座標系を示す図である。ステレオカメラシステム521と車両511が走行する路面551のなす角度をβとする。すなわち、カメラ541とカメラ542を通る直線552は、点Rにおいて路面551と交差する。この直線552が路面551となす角度をβとする。
カメラ541の光軸541oaとカメラ542の光軸542oaは、カメラ541とカメラ542を通る直線552と垂直な方向を指向している。ステレオカメラシステム521の中心点Oを通る路面551に対する垂線である直線553は、路面551上の点Tと交差する。すなわち、点Tは、ステレオカメラシステム521の真下(すなわち車両511の真下)の路面551上の点である。光軸541oa,542oaは、ステレオカメラシステム521の中心点Oと点Tを通る直線553に対して角度βの方向を指向する。つまり、角度βは、ステレオカメラシステム521の取り付け角度を表すとともに、カメラ541,542の光軸541oa,542oaの指向方向を表す角度でもある。
また、ステレオカメラシステム521の中心点Oの路面551からの高さ(直線553の長さ)をH、路面551上の撮影の対象点をQとすると、中心点Oと撮影の対象点Qの距離(中心点Oと撮影の対象点Qを結ぶ直線554の長さ)ρは、式(12)で表すことができる。式(12)は、式(11)から導き出すことができる。
H/ρ=sin(π−(θ+β))=sin(θ+β) (11)
ρ=H/sin(θ+β) (12)
ここで、式(5)と式(12)より次式(13)が得られる。
sin(θa−θb)≒L/H・sinθ・sin(θ+β) (13)
式(13)で、ステレオカメラシステム521の2台のカメラ541とカメラ542の間の距離Lと取り付け高さHを定数と考える。すると、車両511の周辺の路面551に対する距離計測精度は、ステレオカメラシステム521の取り付け角度βに依存する。
角度β=π/2の場合、すなわちステレオカメラシステム521の2台のカメラ541とカメラ542が路面551に対して垂直に取り付けられた場合、ステレオカメラシステム521の真下の点Tを撮影するとき、角度θ=0となる。その結果、式(13)より距離計測精度が最も低下することが判る。
逆に、角度β=0の場合、すなわち、ステレオカメラシステム521の2台のカメラ541,542を真下に向けて路面551と平行に取り付けた場合、真下の点Tを撮影するとき、角度θ=π/2となり、式(13)より距離計測精度が最も高くなることが判る。
0<β<π/2の場合、真下の点Tを撮影するとき、角度θ=π/2−βとなる。このとき式(13)は次の式(14)のようになる。
sin(θa−θb)≒L/H・sin(π/2−β)・sin(π/2−β+β)
=L/H・cosβ (14)
ステレオカメラシステム521の取り付け角度βをいくつか変えた場合における式(13)の角度θに対する変化が図20に示されている。図20は、本技術の第2の実施の形態の距離精度特性を示す図である。図20において、縦軸は距離計測精度の倍率を表し、横軸は角度θを表している(単位はラジアンである)。
距離計測精度の倍率について説明する。距離計測精度は、ステレオカメラシステム521を路面551と平行(角度β=0)に取り付けた場合、真下(角度θ=π/2)を撮影するとき最も大きくなる。ステレオカメラシステム521を取り付ける高さH=1.0m、ステレオカメラシステム521を構成する2台のカメラ541とカメラ542の間の距離L=1.0mと仮定し、その距離計測精度を基準(倍率1倍)とする。ここでL=1.0mとしたが、これは式(14)の定数項(L/H)を1にすることで、距離計測精度の基準を倍率1倍にするためである。実際のステレオカメラシステム521を構成する2台のカメラ541,542間の距離は、数cm〜数十cm程度である。
図20において、曲線631は角度β=0の場合、曲線632は角度β=π/6の場合、曲線633は角度β=π/4の場合、曲線634は角度β=π/3の場合、曲線635は角度β=5π/12の場合、曲線636は角度β=π/2の場合、をそれぞれ表している。
図20の曲線の左側が途中で途切れていることについて説明する。角度θ=π/2−βの場合、撮影の対象点Qはステレオカメラシステム521の真下の路面551上の点Tと一致する。θ+β<π/2の場合、撮影の対象点Qは点Tよりも図19において右側、すなわちステレオカメラシステム521を取り付けている車両511の内側になってしまい、路面551を撮影することができない。また、θ+β>πの場合、撮影の対象点Qが無限遠になってしまうので計測できない。そこで、図20では、π/2<θ+β<πとなる区間(ステレオカメラシステム521の取り付け角度βは定数なので、角度θの値域がπ/2−β<θ<π−βとなる区間)のみが示されている。
図20を見ると、角度β=0の場合(曲線631の場合)は、距離計測精度が角度θ=π/2で最大値1をとり、角度θがπ/2より大きくなると単調減少する。また、角度β>0の場合(曲線632乃至曲線636の場合)、角度θ=π/2−βで値L/H・cosβとなり、角度θがπ/2−βより大きくなると距離計測精度が一度大きくなった後、小さくなる。そして、角度θ=π/2のとき、同じ値L/H・cosβとなり、真下の点Tの解像度と等しくなる。それ以降、角度θ>π/2になると、距離計測精度は小さくなっていく。つまり、式(13)において、π/2−β<θ<π/2の範囲が、距離計測精度が高く、距離計測に向いている範囲といえる。
角度βを大きくすると(ただしβ≦π/2)、距離計測に向いている範囲が広くなるが、式(14)の値が小さくなる。すなわち、そもそもの距離計測精度が低い状態になる。一方で、角度βを小さくすると、距離計測に向いている範囲は狭くなるが、式(14)の値が大きくなり、距離計測精度が高くなる。このように式(13)から、距離計測精度と距離計測範囲はトレードオフの状態になっているということができる。
従って、広い距離計測範囲が必要であれば、角度βを大きくする(π/2に近づける)。すなわち、ステレオカメラシステム521の取り付け角度βを路面551に垂直に近づければよい(カメラ541,542の光軸541oa,542oaが路面551に対して平行に近づくようにすればよい)。一方、近距離での距離計測精度が必要であれば、角度βを小さくする(0に近づける)。すなわち、ステレオカメラシステム521の取り付け角度を路面551と平行に(すなわちこの例の場合水平に)近づければよい(カメラ541,542の光軸541oa,542oaが路面551に対して垂直に近づくようにすればよい)。
角度βを0<β<π/2の範囲に設定することで、カメラ541,542の光軸541oa,542oaが路面551と点M,Nで交差する。つまり、カメラ541,542を、その光軸541oa,542oaが路面551と交差するように取り付けることで、測距処理が可能となる。
図20は、ステレオカメラシステム521の取り付け角度βとステレオカメラシステム521に対する撮影の対象点Qの角度θの関係を表す。車両511と撮影の対象点Qとの関係を分かり易くするために、図19に示されるように、点Tと撮影の対象点Qとの距離をWとし、図20を距離計測精度と距離Wとの関係を表すように変形させる。まず、距離Wは次式(15)で表される。なお、θ+βの値はπ/2より大きいので、tan(θ+β)の値が負となり、距離Wの値は正となる。
W=H/tan(π−(θ+β))=−H/tan(θ+β) (15)
式(15)を用いて図20を変形させたものが図21に示されている。図21は、本技術の第2の実施の形態の距離精度特性を示す図である。図21において、縦軸は距離計測精度の倍率を表し、横軸は距離Wを表している(単位はメートルである)。図21において、曲線641は角度βが0の場合の倍率、曲線642は角度βがπ/6の場合の倍率、曲線643は角度βがπ/4の場合の倍率、曲線644は角度βがπ/3の場合の倍率、をそれぞれ表している。曲線645は角度βが5π/12の場合の倍率、曲線646曲線645は角度βがπ/2の場合の倍率、をそれぞれ表している。
図21に示されるように、角度β=0の場合(曲線641の場合)、すなわち、ステレオカメラシステム521を路面551と平行に取り付けた場合、ステレオカメラシステム521の真下の点T(W=0.0m)での距離計測精度の倍率が1と最も高くなる。しかし、距離Wが大きくなると距離計測精度が大きく低下する(すなわち、低下の割合が大きく、角度βが0より大きい場合より低下する)。角度β=π/2の場合(すなわち曲線646の場合)、点Tでの距離計測精度は大きく低下するが、距離Wが大きくなったとき、すなわち撮影の対象点Qが車両511から遠ざかったときの距離計測精度の低下の割合が小さい(角度βが0である場合より精度はよくなる)。
つまり、角度βが小さいと、近距離での距離計測精度は高いが、遠距離での距離計測精度が低くなる。逆に、角度βを大きくすると、近距離での距離計測精度は低下するが、遠距離での距離計測精度の大幅な低下を防ぐことができる。そこで角度βをπ/6乃至5π/12の範囲(曲線642乃至曲線645に示される範囲)に設定することで、両者のバランスをとることができる。つまりこの範囲が、実用的に近距離から遠距離まで測距可能となる利用価値が高い範囲である。
例えば、車両511の側面にステレオカメラシステム521を取り付けた場合に、隣の車線全体の距離計測を行いたいとする。車線幅は、幅の広い高速道路だと3.5m程度であるが、自車両の車線内の走行位置を加味すると、4m程度の距離計測が必要と考えられる。図21より、角度β=π/3の場合(曲線644の場合)またはπ/2の場合(曲線646の場合)での距離計測精度が高い。角度β=π/2の場合(曲線646の場合)、点T(W=0.0m)付近での距離計測精度が極端に低いので、近距離の距離精度も鑑みると、角度β=π/2の場合(曲線646の場合)よりも角度β=π/3の場合(曲線644の場合)の方が望ましいと言える。
つまり、車両511の側面の隣の1車線の距離計測精度を高めたければ、角度β=π/3の場合(曲線644の場合)、すなわち、60度前後の角度でステレオカメラシステム521を車両511の側面に取り付けるとよい。
ただし、トラック等の大型車の場合、高さHが大きくなるので、運転者は車両511の近傍が確認し辛くなる。そこでこのような場合には、距離Wが小さいときにより精度が向上するように、角度βをより小さい値に設定することができる。
ステレオカメラシステム521の取り付け角度βについて、図22を参照してさらに説明する。図22は、本技術の第2の実施の形態の撮像制御システムの構成を示す図である。図17は、車両511が水平な路面551に配置されている場合を示している。これに対して図22は、車両511が傾斜した路面551に配置されている場合を示している。
すなわち、図22においては、路面551は、重力の方向である鉛直方向553に対して垂直である水平面552に対して、角度γだけ傾斜している。つまり図22においては、車両511が上り坂の路面551を登っている状態が示されている。ステレオカメラシステム521が監視するのは、車両511が走行する路面551上の白線等の路面上の識別表示、路面の端部、縁石、溝、またはガードレール等である。従って車両511が走行する路面551が基準面とされ、この基準面に対してステレオカメラシステム521が角度βで取り付けられる。図22においても、図19の座標系は、路面551の角度γの値に拘わらず適用することができる。
つまり、ステレオカメラシステム521のカメラ541.542は、基準面としての路面551に対して垂直であり、かつ光軸541oa,542oaを含む面556内で、上下方向(縦方向)に配置される。面556は、図17,図18および図22の例では車両511の進行方向に対して垂直な面でもある。図17,図18および図22の例においては、面556内で、カメラ541が下に、カメラ542が上に、それぞれ配置されている。そして、ステレオカメラシステム521は、その面556内において、基準面(路面551)との角度がβになるように傾けられる。
すなわち、ステレオカメラシステム521のカメラ541,542は、その光軸541oa,542oaが基準面(路面551)と平行な方向より下を指向するように、換言すれば、基準面と交差するように配置される。あるいは、光軸541oa,542oaが車両511に対して斜め下を指向するように配置される。つまり、図19を参照して説明すれば、カメラ541は、光軸541oaと、そこから車両511の真下に向かう方向とのなす角度βが、π/6乃至5π/12の範囲となるように配置されている。カメラ542についても同様である。監視方向(図18においてカメラ541,542の右側方向、図19においてカメラ541,542の左側方向)に向かって光軸541oa,542oaの少なくとも一方(後述する図40参照)が斜め下方向を指向するように配置される。具体的には、図19における角度βが0<β<π/2となるように配置される。これにより車両511の比較的近傍の広い範囲で精度よく測距することができる。従って広い範囲の監視が必要な、走行する車両511の側面を監視するのに好適である。
なお、カメラ541,542としては、広角カメラではなく、通常の視野角のカメラを用いることもできる。
(2)撮像制御システム構成例1(図23、図24)
次に、以上のように、光軸541oa,542oaが基準面(路面551)と平行な方向より下を指向するように、ステレオカメラシステム521が配置された撮像制御システム501について図23を参照して説明する。図23は、本技術の第2の実施の形態の撮像制御システムの構成を示すブロック図である。
図23の撮像制御システム501は、ステレオカメラシステム521と撮像制御部581により構成されている。撮像制御部581は、ステレオカメラシステム521の撮像動作を制御する。
例えば車両511の左側に配置されているステレオカメラシステム521は、カメラ541を有する撮像部701とカメラ542を有する撮像部702により構成されている。カメラ541とカメラ542は、上述したように、車両511の側面に、上下、かつ、光軸541oa,542oaが基準面(路面551)と平行な方向より下を指向するように配置されている。撮像部701はカメラ541により撮影された画像を出力し、撮像部702はカメラ542により撮影された画像を出力する。
撮像制御部581は、画像補正部711,712、ステレオ画像処理部713および解析部714を有している。ステレオカメラシステム521の撮像部701と撮像部702の出力は、それぞれ画像補正部711と画像補正部712に供給され、前処理としてレンズの収差等が補正される。測距処理を行うステレオ画像処理部713は、画像補正部711と画像補正部712の出力から、対象物までの距離を演算する。解析部714は、距離計測の結果を解析し、後段の装置に出力する。
次に図24を参照して、撮像制御システム501の動作について説明する。図24は、本技術の第2の実施の形態の距離計測処理を説明するフローチャートである。
ステップS111において撮像制御部581は、ステレオカメラシステム521の撮像動作を制御する。なおこの処理は以後、継続的に実行される。またこの処理は、外部から制御することもできる。ステップS112において、図23の撮像部701(カメラ541を有する)と撮像部702(カメラ542を有する)は観測点を撮影する。ステップS113において画像補正部711は、撮像部701により撮影された画像について、レンズ収差、カメラ画像の歪みなどを補正する。同様に、画像補正部712は、撮像部702により撮影された画像について、レンズ収差、カメラ画像の歪みなどを補正する。すなわち、距離算出のため画像の歪が補正され、画像が仮想平面に投影されて平面画像とされる。
ステップS114において、監視処理を行う監視処理部としてのステレオ画像処理部713は、観測点までの距離を演算する。すなわち、撮像部701のカメラ541と撮像部702のカメラ542は、距離Lだけ離れた位置に配置されている。従って、カメラ541により撮影された画像とカメラ542により撮影された画像は位相差を有しており、その位相差に基づいて観測点までの距離を演算することができる。すなわちメラ541,542の一方の画像に映っている物体に対応する物体が他方の画像から検出され、2つの画像における物体の位置のずれから距離が算出される。演算結果は解析部714に出力される。
ステップS115において解析部714は、ステレオ画像処理部713により演算された距離を解析し、解析結果を出力する。例えば路面551と同じ高さの(路面551に表示されている)白線等はそのままとし、路面551より高い位置にある物体については障害物と認識したりする。あるいは、車両511に対する位置に応じた情報にしてまとめて表示できるようにしたり、測定された距離が所定の基準値より小さい場合には警告を発する等の処理が行われる。
ステップS116においてステレオ画像処理部713は処理を終了するかを判定する。使用者からまだ処理の終了が指示されていない場合、処理はステップS111に戻り、それ以降の処理が繰り返される。処理の終了が指示されている場合、処理は終了される。
以上の処理は、図示は省略されているが、車両511の右側に配置されているカメラ541,542を有するステレオカメラシステム521と、対応する撮像制御部581においても実行される。
以上のようにして、車両511の両側の監視が行われ、その運転が支援される。カメラ541,542が上下に配置されるとともに、その光軸が基準面と平行な方向より下を指向するように配置されている。従って、車両511の側面の前方または後方の距離を正確に計測することができるだけでなく、側方のほぼ中央部分の特に近傍も正確に測距することができる。
また、以上においては、監視処理として主に計測処理について説明したが、白線認識、縁石認識、路面状態の検出、追い越し車両や対向車を含む車両の検出、歩行者の検出等についても監視処理の対象とすることができる。
(3)撮像制御システム構成例2(図25、図26)
次に、他の撮像制御システムについて、図25と図26を参照して説明する。図25は、本技術の第2の実施の形態の撮像制御システムの構成を示す図である。図26は、本技術の第2の実施の形態の撮像制御システムの構成を示すブロック図である。
図25の撮像制御システム501においては、車両511の左右の側面にステレオカメラシステム521A,521Bが配置されている。さらに撮像制御システム501においては、車両511の前側にステレオカメラシステム521Cが、その後側にステレオカメラシステム521Dが、それぞれ配置されている。
ステレオカメラシステム521Aは車両511の左側の検出範囲522Aで計測を行い、ステレオカメラシステム521Bは車両511の右側の検出範囲522Bで計測を行う。同様に、ステレオカメラシステム521Cは車両511の前方(すなわち車両511が前進する方向)の検出範囲522Cで計測を行う。ステレオカメラシステム521Dは車両511の後方(すなわち車両511が後退する方向)の検出範囲522Dで計測を行う。
図25には、検出範囲522A乃至検出範囲522Dとして、視野角が180度である場合の例が示されている(なお、実際に180度の視野角を確保するには、それ以上の例えば190度の視野角のレンズが必要になる)。
なお、図25の検出範囲522は、角度方向の範囲を示すものであり、距離方向、すなわち半円の径の大きさは、実際にはもっと大きくなる。
図26に示されるように、図26の撮像制御システム501においては、図23に示されるステレオカメラシステム521と撮像制御部581が、車両511の4つの面に対応して設けられている。すなわち、ステレオカメラシステム521Aと撮像制御部581A、ステレオカメラシステム521Bと撮像制御部581B、ステレオカメラシステム521Cと撮像制御部581C、およびステレオカメラシステム521Dと撮像制御部581Dが設けられている。
ステレオカメラシステム521Aは、検出範囲522Aを撮影する撮像部701Aと撮像部702Aを有する。撮像制御部581Aは、撮像部701A,702Aの出力を補正する画像補正部711A,712A、および画像補正部711A,712Aの出力から検出範囲522Aの距離を演算するステレオ画像処理部713Aを有している。
ステレオカメラシステム521Bは、検出範囲522Bを撮影する撮像部701Bと撮像部702Bを有する。撮像制御部581Bは、撮像部701B,702Bの出力を補正する画像補正部711B,712B、および画像補正部711B,712Bの出力から検出範囲522Bの距離を演算するステレオ画像処理部713Bを有している。
ステレオカメラシステム521Cは、検出範囲522Cを撮影する撮像部701Cと撮像部702Cを有する。撮像制御部581Cは、撮像部701C,702Cの出力を補正する画像補正部711C,712C、および画像補正部711C,712Cの出力から検出範囲522Cの距離を演算するステレオ画像処理部713Cを有している。
ステレオカメラシステム521Dは、検出範囲522Dを撮影する撮像部701Dと撮像部702Dを有する。撮像制御部581Dは、撮像部701D,702Dの出力を補正する画像補正部711D,712D、および画像補正部711D,712Dの出力から検出範囲522Dの距離を演算するステレオ画像処理部713Dを有している。
解析部714は、検出範囲522A乃至検出範囲522Dに共通に設けられ、ステレオ画像処理部713A乃至ステレオ画像処理部713Dの出力を解析する。
図26の撮像制御システム501の動作は、図24のフローチャートに示される動作と同様となる。そこで、図24を参照して、図26の撮像制御システム501の動作について説明する。
ステップS112において、図26の撮像部701A(カメラ541Aを有する)と撮像部702A(カメラ542Aを有する)は観測点を撮影する。ステップS113において画像補正部711Aは、撮像部701Aにより撮影された画像について、レンズ収差、カメラ画像の歪みなどを補正する。同様に、画像補正部712Aは、撮像部702Aにより撮影された画像について、レンズ収差、カメラ画像の歪みなどを補正する。すなわち、距離算出のため画像の歪が補正され、画像が仮想平面に投影されて平面画像とされる。
ステップS114においてステレオ画像処理部713Aは、観測点までの距離を演算する。すなわち、撮像部701Aのカメラ541Aと撮像部702Aのカメラ542Aは、距離Lだけ離れた位置に配置されている。従って、カメラ541Aにより撮影された画像とカメラ542Aにより撮影された画像は位相差を有しており、その位相差に基づいて観測点までの距離を演算することができる。すなわちメラ541A,542Aの一方の画像に映っている物体に対応する物体が他方の画像から検出され、2つの画像における物体の位置のずれから距離が算出される。演算結果は解析部714Aに出力される。
以上のステップS111乃至ステップS114の処理は、ステレオカメラシステム521B乃至ステレオカメラシステム521D、並びに撮像制御部581B乃至撮像制御部581Dにおいても同様に行われる。
ステップS115において解析部714は、ステレオ画像処理部713A乃至テレオ画像処理部713Dにより演算された距離を解析する。例えば測定された距離が所定の基準値より小さい場合には警告を発する等の処理が行われる。
ステップS116においてステレオ画像処理部713A乃至テレオ画像処理部713Dは処理を終了するかを判定する。使用者からまだ処理の終了が指示されていない場合、処理はステップS111に戻り、それ以降の処理が繰り返される。処理の終了が指示されている場合、処理は終了される。
以上のようにして、車両511の両側だけでなく、前方と後方についても監視が行われ、その運転が支援される。カメラ541,542が上下に配置されるとともに、光軸が基準面と平行な方向より下を指向するように配置されているので、車両511の検出範囲522A乃至522Dのほぼ中央部分はもとより、中央部より左方向および右方向の距離も正確に計測することができる。
また、図25に示した車両511の前側のステレオカメラシステム521Cと後側のステレオカメラシステム521Dは、両側面のステレオカメラシステム521A,521Bに較べて、距離計測の路面551と平行な面内の計測範囲が狭くてもよい。そこで、車両511の前後の検出範囲522C,522Dにおける測距処理は、測距処理部としての超音波、レーダ、レーザセンサ、赤外線センサ等により行うか、あるいはそれらとステレオカメラシステム521とを組み合わせた方式により行うようにすることもできる。
(4)撮像制御システム構成例3(図27乃至図30)
次に、他の撮像制御システムについて、図27を参照して説明する。図27は、本技術の第2の実施の形態の撮像制御システムの構成を示すブロック図である。
図27の撮像制御システム501は、図26の撮像制御システム501と同様に、ステレオカメラシステム521A乃至ステレオカメラシステム521D、並びに撮像制御部581A乃至撮像制御部581Dを有している。撮像制御部581Aは、画像補正部711A,712A、ステレオ画像処理部713Aを有している。撮像制御部581Bは、画像補正部711B,712B、ステレオ画像処理部713Bを有している。撮像制御部581Cは、画像補正部711C,712C、ステレオ画像処理部713Cを有している。撮像制御部581Dは、画像補正部711D,712D、ステレオ画像処理部713Dを有している。また、撮像制御部581A乃至581Dには、それらに共通の解析部714も含まれている。以上の構成は、図26の撮像制御システム501と同様の構成である。
この他、図27の撮像制御部581Aは画像変換部811Aを、撮像制御部581Bは画像変換部811Bを、撮像制御部581Cは画像変換部811Cを、撮像制御部581Dは画像変換部811Dを、それぞれ有している。さらに撮像制御部581A乃至581Dには、それらに共通の統合部812も含まれている。
画像変換部811Aは撮像部701Aが出力する画像を射影変換などの画像変換方法を用いて視点変換する。これにより、アラウンドモニタシステムのための画像等、使用者が車両511の周囲を目視する画像が得られる。同様に、画像変換部811Bは撮像部701Bが出力する画像を射影変換などの画像変換方法を用いて視点変換し、画像変換部811Cは撮像部701Cが出力する画像を射影変換などの画像変換方法を用いて視点変換する。画像変換部811Dも撮像部701Dが出力する画像を射影変換などの画像変換方法を用いて視点変換する。
なお、画像変換部811A乃至画像変換部811Dは、撮像部701A乃至撮像部701Dの出力する画像を射影変換するようにした。しかし、撮像部702A乃至撮像部702Dの出力する画像を射影変換するようにすることもできる。
統合部812は、画像変換部811A、画像変換部811B、画像変換部811Cおよび画像変換部811Dの出力を統合する。
次に、図28を参照して、図27の撮像制御システム501の動作について説明する。なお、図27の撮像制御システム501の動作のうち、撮像部701,702、画像補正部711,712、監視処理を行う監視処理部としてのステレオ画像処理部713、および解析部714に関する処理は、図26の撮像制御システム501の動作と同様である。すなわち、図24のフローチャートに示される動作と同様の動作となる。従って繰り返しになるのでその説明は省略する。
そこで、図27の撮像制御システム501のうち、主に画像変換部811と統合部812の構成の動作について説明する。図28は、本技術の第2の実施の形態の統合処理を説明するフローチャートである。
ステップS151において、図27の撮像部701A(すなわちカメラ541A)は観測点を撮影する。同様に、撮像部701B(すなわちカメラ541B)、撮像部701C(すなわちカメラ541C)、および撮像部701D(すなわカメラ541D)も観測点を撮影する。
撮像部702A(すなわちカメラ542A)乃至撮像部702D(すなわちカメラ542D)も同様に観測点を撮影するが、いま説明している統合処理には用いられないので、その説明は省略する。
ステップS152において画像変換部811Aは、画像変換処理を実行する。つまり、撮像部701A(すなわちカメラ541A)により撮影された画像を射影変換などの画像変換方法により視点変換する。これによりアラウンドモニタシステム用の画像が生成される。同様の画像変換処理が、画像変換部811B,811C,811Dにより実行される。
ステップS153において統合部812は、統合処理を実行する。すなわち、画像変換部811A乃至画像変換部811Dにより、車両511の周囲の検出範囲522A乃至検出範囲522Dにおける画像が得られるので、これが統合され、車両511の周囲を俯瞰的に目視するためのアラウンドモニタシステムの画像が生成され、出力される。この画像が後段のモニタ等に表示される。
ステップS154において画像変換部811A乃至画像変換部811Dは処理を終了するかを判定する。使用者からまだ処理の終了が指示されていない場合、処理はステップS151に戻り、それ以降の処理が繰り返される。処理の終了が指示されている場合、処理は終了される。
ここで視点変換処理について説明する。図29と図30は視点変換処理を説明する図である。図30は、図29に示す実カメラ映像と仮想カメラ映像との位置関係を、横から見たY−Z平面と、上から見たX−Z平面に展開した図である。
図29に示されるように、3次元空間上の任意の位置の点Cr(Xr,Yr,Zr)に設置した実際のカメラにより撮像した映像Prを、任意の位置の点Cv(Xv,Yv,Zv)に設置した仮想カメラの映像Pvに変換する例を説明する。ここで、2台のカメラは1点で映像を取り込むピンホールカメラとする。また、映像Pr、Pvは少なくともカメラの向きを示すベクトルLr、Lvと垂直であれば、画像の大きさに応じて任意の位置に設定することができる。画像が大きい場合はより後方に設定し、画像が小さい場合はより前方に設定するのが望ましい。
撮像した映像Prを仮想カメラの映像Pvに変換する手順を説明する。まず、映像Pv上の任意の位置に点Ivを設定し、点Ivと点Cvとを結ぶ直線がX−Z平面と交差する点Izを求める。なお、点Ivと点Cvとを結ぶ直線がX−Z平面と交差しない場合は、点Ivが実カメラの撮像範囲外にあることを示すために点Ivの画素の色を所定の色とする。
次に、点Izと点Crとを結ぶ直線が映像Prの面と交差する点Irを求め、点Irの画素の色を点Ivの画素の色と同一色とする。なお、点Izと点Crとを結ぶ直線が映像Prの面と交差しない場合には、点Irが実カメラの撮像範囲外にあることを示すために点Irの画素の色を所定の色とする。映像Pr上のすべての点の画素の色を決定するまで上述した処理を繰り返す。
図30に示される実カメラ位置の点Crの中心線がZ軸と交差する点Zctrは、次式(16)で示される。
Zctr=Yr・tan(θr) (16)
ここで、θrは実カメラのX−Z平面に対する傾き角である。実カメラの映像PrのY−Z平面による断面を通る直線Qrxyは、実カメラの中心線(点Crと点Zctrを通る傾き1/tan(θr)の直線)と直交し、映像Prの下端の座標点(Yps,Zps)を通ることから、次式(17)で表される。
Y=−tan(θr)・Z+tan(θr)・Zps+Yps (17)
仮想カメラの映像Pv上の点Ivと仮想カメラ位置の点Cvとを通る直線がZ軸と交わる点Izを求め、次にこの点Izと実カメラ位置の点Crとを通る直線が式(17)で表される直線Qrxyと交差する点IrのY−Z座標を求める。X−Z平面についてもY−Z平面と同様に点IrのX−Z座標を求める。そして、仮想カメラの映像Pv上の点Ivの画素の色を実カメラ映像Pr上の点Ivの画素を色と同一色とし、仮想カメラ映像Pv上のすべての点に対して上記処理を行う。
このようにして図27の撮像制御システム501によれば、対象物までの測距に伴う警告やブレーキの自動制御等の運転支援の他、例えばバック駐車、縦列駐車等の駐車支援、交差点停車時の斜め後方の自転車、歩行者等の認識情報を提供したり、車線変更時の隣のレーンの後続車を監視したり、目視による使用者の運転も支援することができる。例えば解析部714の解析結果を統合部812に供給し、測距結果に基づく障害物の位置等を目視画面で目視できるように表示させることもできる。
なお、図27の撮像制御システム501においては、ステレオカメラシステム521を構成する撮像部701により撮影した画像を、画像変換部811において処理するようにしたが、専用のカメラを別途設けることもできる。テレオカメラシステム521を構成する撮像部701の画像を利用する場合には、1つの画像を目視による監視と、測距による監視の両方に利用することができる。その結果、コストを低減することができる。目視による監視のシステムが既に存在する場合には、ステレオカメラシステム521を構成するカメラを1個追加するだけで、測距による監視も行うことができる。
(5)撮像制御システム構成例4(図31乃至図37)
次に、他の撮像制御システムについて、図31を参照して説明する。図31は、本技術の第2の実施の形態の撮像制御システムの構成を示すブロック図である。
図31の撮像制御システム501は、図23の撮像制御システム501と同様に、ステレオカメラシステム521と撮像制御部581により構成されている。撮像制御部581は、ステレオカメラシステム521の撮像動作を制御する。
ステレオカメラシステム521は、カメラ541を有する撮像部701とカメラ542を有する撮像部702により構成されている。カメラ541とカメラ542は、上述したように、車両511の側面に、上下、かつ、光軸が基準面と平行な方向より下を指向するように配置されている。撮像部701はカメラ541により撮影された画像を出力し、撮像部702はカメラ542により撮影された画像を出力する。
撮像制御部581は、画像補正部711,712、ステレオ画像処理部713および解析部714を有している。ステレオカメラシステム521の撮像部701と撮像部702の出力は、それぞれ画像補正部711と画像補正部712に供給され、前処理としてレンズの収差等が補正される。監視処理を行う監視処理部としてのステレオ画像処理部713は、撮像部701と撮像部702の出力から、対象物までの距離を演算する。解析部714は、距離計測の結果を解析し、後段の装置に出力する。
図31の撮像制御部581は、さらにエッジ角度検出部851とモーションステレオ処理部852を有している。エッジ角度検出部851は、画像補正部711により補正された画像から、画像内で明るさや色の変化が生じている部分の検出と、その変化の方向である角度を検出し、検出結果を解析部714に出力する。
監視処理を行う他の監視処理部としてのモーションステレオ処理部852は、画像補正部711により補正された画像から、モーションステレオ処理により距離計測を行う。すなわち、画像内の静止物体がカメラの移動と共にカメラ視野内で位置変化すると、複数のカメラを用いたステレオカメラシステムにおけるステレオ画像処理と同様の原理で距離計測を行うことができる。計測情報は解析部714に出力される。
次に図32を参照して図31の撮像制御システム501の動作について説明する。図32は、本技術の第2の実施の形態の距離計測処理を説明するフローチャートである。
ステップS211において撮像制御部581は、ステレオカメラシステム521の撮像動作を制御する。なおこの処理は以後、継続的に実行される。またこの処理は、外部から制御することもできる。ステップS212において、図31の撮像部701(カメラ541を有する)と撮像部702(カメラ542を有する)は観測点を撮影する。ステップS213において画像補正部711は、撮像部701により撮影された画像について、レンズ収差、カメラ画像の歪みなどを補正する。同様に、画像補正部712は、撮像部702により撮影された画像について、レンズ収差、カメラ画像の歪みなどを補正する。すなわち、距離算出のため画像の歪が補正され、画像が仮想平面に投影されて平面画像とされる。
ステップS214においてステレオ画像処理部713は、観測点までの距離を演算する。すなわち、撮像部701のカメラ541と撮像部702のカメラ542は、距離Lだけ離れた位置に配置されている。従って、カメラ541により撮影された画像とカメラ542により撮影された画像は位相差を有しており、その位相差に基づいて観測点までの距離を演算することができる。すなわちメラ541,542の一方の画像に映っている物体に対応する物体が他方の画像から検出され、2つの画像における物体の位置のずれから距離が算出される。演算結果は解析部714に出力される。
ステップS215においてエッジ角度検出部851は、画像補正部711が出力する補正された画像からエッジ角度を検出する。すなわち、画像内で明るさや色の変化が生じている部分が検出されるとともに、その変化の方向である角度が検出される。
エッジの検出には、明るさが変化する度合いを計算する差分(微分)法を採用することができる。例えば、Prewittエッジ検出器やSobelエッジ検出器が知られており、それぞれのエッジ検出オペレータによる処理を行うことでエッジを検出することができる。また、明るさの変化が最も急な位置を検出する零交差法を採用することができる。もちろんその他の各種の方法を採用することもできる。
ステップS216においてモーションステレオ処理部852は、モーションステレオにより観測点までの距離を演算する。演算結果は解析部714に供給される。ここでモーションステレオについて説明する。
まず、オプティカルフローについて図33および図34を用いて説明する。図33は、現在のフレームの画像を説明する図であり、図34は過去フレームの画像を説明する図である。オプティカルフローとは、時系列的に前後する画像中の対応する各点の移動量を示すベクトルである。例えば、現在フレームの画像A(図33参照)と画像Aよりも過去に取得された過去フレームの画像B(図34参照)とからオプティカルフローを求める処理は、画像A中に存在する点が画像B中のどこから移動したかを探索することから始まる。なお、画像の上方向にV軸をとり、画像の右方向にU軸をとる。また、画像の中心をU軸およびV軸の原点とする。
画像Bから画像Aにかけて点Pが、図33に示すように移動したとする。画像Bでの点Pの位置が(u−Δu,v−Δv)であり、画像Aでは点Pの位置が(u,v)である。この画像Aにおける点Pの位置と画像Bにおける点Pの位置の差である(Δu,Δv)が画像Aの点(u,v)におけるオプティカルフローとなる。すなわち、画像Aの点(u,v)はオプティカルフローの終点であり、画像Bの点(u−Δu,v−Δv)に対応する画像A上の点(u−Δu,v−Δv)はオプティカルフローの始点ともいえる。
次に図35乃至図37を参照して、単眼モーションステレオについて説明する。図35は、単眼カメラと座標軸との関係を示す図である。図36は、カメラと撮像面との関係を示す図である。図37は、画像の中心からのオプティカルフローを説明する図である。
単眼モーションステレオでは、画像Aおよび画像B間のオプティカルフローからカメラの移動量(以下、カメラ運動パラメータと称す)が推定され、画像中に存在する物体までの距離が推定される。従って、単眼モーションステレオを実施するには、画像Aおよび画像B間のオプティカルフローと、カメラ運動パラメータと、物体までの距離との関係が必要となる。カメラ運動パラメータは撮影部移動量に相当する。
ここで、カメラが撮影した物体は静止しているものと仮定する。図35に示されるような一般的なピンホールカメラのモデルでは、カメラと撮像面として図36のようなモデルが使われる。カメラ座標のX軸、Y軸と、撮影された画像におけるU軸、V軸とは、それぞれ平行であり、撮影された画像の中心はカメラ座標での(0,0,f)の位置であるとする(図36参照)。ここでfはカメラの焦点距離である。PLは撮影された画像がカメラ座標系において位置すると想定される仮想撮像平面である。
カメラ運動パラメータは、図35に示すように6自由度ある。すなわち、回転移動量(ωx,ωy,ωz)についての3自由度と、並進移動量(tx,ty,tz)についての3自由度である。回転移動量は単位時間内の角度の変化量であり、並進移動量は単位時間内の距離の変化量である。これらのカメラ運動パラメータ(ωx,ωy,ωz)、(tx,ty,tz)、カメラで撮影された物体までの距離z、画像中のある点(u,v)、およびその点におけるオプティカルフロー(Δu,Δv)の間には、次の関係があることが知られている。
Δu=−ωy・f−tx・f/z+tz/z・u+ωz・v
+ωx/f・uv−ωy/f・u2 (18)
Δv=+ωx・f−ty・f/z+tz/z・v−ωz・u
−ωy/f・uv+ωx/f・v2 (19)
式(18)と式(19)を用いてオプティカルフローからカメラ運動パラメータを推定する。なお、車両511が直進運動する場合は、カメラ運動パラメータをより簡単にすることができる。カメラ541が単眼であるので、直進の場合のカメラ運動パラメータは以下の式となる。
(ωx,ωy,ωz)=(0,0,0) (20)
(tx,ty,tz)=(0,0,tz) (21)
式(20)および式(21)を用いると、式(18)および式(19)が以下のようになる。
Δu=tz/z・u (22)
Δv=tz/z・v (23)
式(22)および式(23)の両辺を二乗して足し合わせると次式となる。
(Δu)2+(Δv)2=tz2/z2・(u2+v2) (24)
ここで、画像の中心からの距離wは、w2=u2+v2であるので、式(24)は式(22)と式(23)を用いることで次式となる。
Δw=tz/z・w (25)
式(25)は、画像の中心から放射状に伸びる方向のオプティカルフローΔw(図37参照)と車速tz(Z軸方向における並進移動量)を用いれば、距離zが推定できることを意味している。以上のように演算することで、距離zが推定できることが理論的に説明される。図37は、画像A上に、画像Bにおけるオプティカルフローの始点も表示した画像である。図37は、オプティカルフローのベクトル集合の画像ともいえる。これらのオプティカルフローΔwが始点側に収束する点が消失点である。すなわち、消失点は、各オプティカルフローΔwを始点側に延長した直線が交差する点ともいえる。図37においては、消失点Poと画像の中心とが一致している。
図32の説明に戻って、ステップS217において解析部714は、ステレオ画像処理部713、エッジ角度検出部851およびモーションステレオ処理部852より供給された情報を統合して距離を計算する。つまりエッジ角度検出部851による検出結果、ステレオ画像処理部713による測距処理結果、およびモーションステレオ処理部852による測距処理結果に基づいて、距離が再計算される。
図17乃至図24を参照して説明したように、ステレオカメラシステム521の2台のカメラ541,542を縦方向(基準面と垂直な方向)に配置すると、画像内の横方向(基準面と平行な方向)の距離計測は良好に行うことができる。これは、2台のカメラ541,542が縦に配置されているので、横方向に対して画像内の撮像位置の変化が起き易く、式(13)のθa−θbが大きくなり易いためである。
例えば、車両511の側面にカメラ541,542を設置した場合、路面551の白線等の路面上の識別表示、路面の端部、縁石、溝、またはガードレール等は、画像内で横方向の線に近い状態で撮影されることが多い。従って、カメラ541,542を縦方向に配置したステレオカメラシステム521による距離計測は有利である。逆に、画像内の垂直線(縦方向の線)の距離計測には不利となる。これは、カメラ541,542を縦方向に配置した場合、縦方向の撮像位置のずれで起きる縦線の位置ずれが検知し難いためである。例えば、カメラ視野内の電柱など棒状の物体が垂直線(縦方向の線)を持つことが多い。
車両511の側面にカメラ541,542を配置して撮影した状態で、車両511が動いた場合、カメラ視野内の物体は横方向に流れる。このように、画像内の物体が時間に対して位置ずれを起こした場合、モーションステレオの処理が適用し易い。モーションステレオでは、画面内の静止物体の位置が、カメラの移動と共にカメラ視野内で変化すると、複数台のカメラを用いたステレオカメラシステムにおけるステレオ画像処理と同じ原理で距離計測ができる。画像内の垂直線(縦方向の線)が横に移動した場合、位置ずれが検知し易く、モーションステレオが適用しやすい。逆に横方向の線はモーションステレオを適用し難い。
そこで、解析部714は、エッジ角度検出部851により検出されたエッジの方向に基づいて、横方向の線もしくは横方向の線に近い線に対しては、ステレオ画像処理部713により計測された距離を優先的に採用する。例えば、路面、白線等の路面上の識別表示、路面の端部、縁石、溝、またはガードレール等、ほぼ道路に沿って(つまり道路とほぼ平行に)延在する対象物に対する距離の演算は、ステレオ画像処理部713により実行される。これに対して、垂直線または垂直線に近い線は、モーションステレオ処理部852の計測結果が優先される。例えば、交通信号や交通標識等の支柱、電柱等、道路に垂直な対象物に対する距離の演算は、モーションステレオ処理部852により実行される。いずれの計測結果を採用するかは、予め実験等に基づき作成された信頼度マップにより決定するようにしてもよい。
このように物体の線の方向に応じて異なる距離計測の方法が採用される。もちろん単純に一方の方法を採用するのではなく、エッジの方向に応じて重み付けを行う等して、2つの方法を統合するようにしてもよい。
ステップS218においてステレオ画像処理部713、エッジ角度検出部851およびモーションステレオ処理部852は、処理を終了するかを判定する。使用者からまだ処理の終了が指示されていない場合、処理はステップS211に戻り、それ以降の処理が繰り返される。処理の終了が指示されている場合、処理は終了される。
なお、以上においては、測距方法をエッジ角度に対応させるようにしたが、例えば道路上の路面、白線等の路面上の識別表示、路面の端部、縁石、溝、またはガードレール等、ほぼ道路に沿って(つまり道路とほぼ平行に)延在する対象を特化して検出する検出部と、必ずしも道路に沿っていない(つまり道路とほぼ平行ではない)対象物を特化して検出する検出部とを分けて設けることもできる。例えばステレオ画像処理部713を道路とほぼ並行に延在する対象物を特化して検出する検出部として構成し、モーションステレオ処理部852を必ずしも道路と並行ではない対象物を特化して検出する検出部として構成してもよい。この場合、エッジ角度検出部851は省略することができる。また、カーブ等で対向車を検出する検出部を設けることもできる。
以上のように、図31の撮像制御システム501によれば、対象物の特徴に応じた方法で距離を計測するようにしたので、正確な計測が可能となる。
なお、図31の撮像制御システム501は、車両511の左右の側面に配置されるが、側面以外に、前後にも配置することができる。また前後と左右の撮像制御システム501に協働して測距動作を行わせることもできる。
(6)変形例(図38〜図40)
次に、図38乃至図40を参照して、カメラ541,542の配置の変形例について説明する。図38乃至図40は、いずれも本技術の第2の実施の形態のステレオカメラシステムのカメラの配置を示す図である。
図17乃至図19の例では、カメラ541,542は、図38に示されるように配置されていた。すなわち、車両511の正面から見て(図38の左側の図において)、上方にカメラ542が配置され、下方にカメラ541が配置されている。
そしてカメラ542はカメラ541より車両511から離れた位置(車両511の外側寄り)に配置され、カメラ541はカメラ542より車両511に近い位置(車両511の内側寄り)に配置されている。カメラ541,542の中心を結ぶ線552が車体から監視する方向に飛び出すように(車両511の側方から飛び出すように)傾斜している。あるいは、車両511の車体の取り付け面(側面)から飛び出すように傾斜している。ステレオカメラシステム521は車体とは平行にはならないし、路面551と垂直にもならない。
車両511の正面から見て(図38の左側の図において)、カメラ541,542は、いずれも車両511の斜め下方向を指向している。すなわち、カメラ541,542は、その光軸541oa,542oaが基準面(路面551)と平行な方向より下を指向し、基準面と交差するように、光軸541oa,542oaを含む面内において傾斜される。つまり、カメラ541,542は、その中心を結ぶ線552が基準面に対して角度βとなるように傾斜される。換言すれば、カメラ541,542は、その光軸541oa,542oaが、基準面に垂直な線553に対して角度がβとなるように傾斜される。
また、車両511の上面から見て(図38の右側の図において)、カメラ541,542の光軸541oa,542oaは、車両511の進行方向(図中下方向)と垂直な方向、すなわち車両511の側面と垂直な方向を指向している。
これに対して図39のAに示される例では、車両511の正面から見て(図39のAの左側の図において)、上方にカメラ542が配置され、下方にカメラ541が配置されている。そしてカメラ541とカメラ542は、車両511から同じ距離に配置されている。すなわち、カメラ541,542は、その中心を結ぶ線552が車体と平行になるように(基準面である路面551に対して垂直になるように)配置されている。
しかし、カメラ541,542は、その光軸541oa,542oaが基準面と平行な方向より下を指向し、基準面と交差するように、光軸541oa,542oaを含む面内において傾斜される。
また、カメラ541,542の光軸541oa,542oaはいずれも車両511の上面から見て(図39のAの右側の図において)、車両511の進行方向(図中下方向)と垂直な方向、すなわち車両511の側面と垂直な方向を指向している。
図39のBに示される例の車両511の正面から見た(図39のBの左側の図における)構成は、図38の左側の図に示された場合と同様である。繰り返しになるので、その説明は省略する。
図39のBの右側の図における構成は、図38の右側の図における構成と異なっている。すなわち、この例においては、カメラ541,542の光軸541oa,542oaはいずれも車両511の上面から見て、車両511の進行方向(図中下方向)と垂直な方向ではなく、若干進行方向を指向している。このように若干進行方向に指向させると、進行方向の範囲を測距するステレオカメラシステム(例えば図25の検出範囲522Cを測距するステレオカメラシステム521C)と協働して測距動作を行うのに有利となる。
図39のCに示される例の車両511の正面から見た(図39のCの左側の図における)構成は、図38の左側の図に示された場合と同様である。繰り返しになるので、その説明は省略する。
図39のCの右側の図における構成は、図38の右側の図における構成と異なっている。すなわち、この例においては、カメラ542の光軸542oaは、車両511の上面から見て(図39のCの右側の図において)、車両511の進行方向(図中下方向)と垂直な方向、すなわち車両511の側面と垂直な方向を指向している。つまり、カメラ542に関しては、図38における場合と同様である。
これに対してカメラ541については、その光軸541oaは、車両511の進行方向(図中下方向)と垂直な方向ではなく、若干進行方向を指向している。つまり、カメラ541に関しては、図39のBにおける場合と同様である。従って、図中ハッチングを付して示されている比較的狭い範囲が、ステレオカメラシステムとして測距が可能な範囲となる。測距可能な範囲を広げる必要がある場合には、画角が180度以上のカメラを用いることができる。
図40のAに示される例では、車両511の正面から見て(図40のAの左側の図において)、上方にカメラ542が配置され、下方にカメラ541が配置されている。そしてカメラ541とカメラ542は、車両511から同じ距離に配置されている。すなわち、カメラ541,542の中心を結ぶ線552が車体と平行になるように(基準面である路面551に対して垂直になるように)配置されている。
そして、カメラ541は、車両511の正面から見て(図38の左側の図において)、車両511の斜め下方向を指向している。すなわち、カメラ541は、その光軸541oaが基準面と平行な方向より下を指向し、基準面と交差するように、光軸541oaを含む面内において傾斜される。カメラ541は、その光軸541oaが、基準面に垂直な線553に対して角度がβとなるように傾斜される。つまり、カメラ541に関しては、図38における場合と同様である。
しかし、カメラ542は、その光軸542oaが基準面と平行な方向を指向するように配置されている。つまり、カメラ541,542のうち、一方(下方に配置されているカメラ541)のみが、その光軸541oaが基準面である路面551と平行な方向より下を指向し、路面551と交差するように配置されている。そして他方(上方に配置されているカメラ542)は、その光軸542oaが基準面と平行になるように配置されている。カメラ541,542をこのように取り付けても、図中ハッチングを付して示されている、車両511の近傍の範囲が、ステレオカメラシステムとして測距が可能な範囲となる。その範囲は、比較的狭い範囲となるが、測距可能な範囲を広げる必要がある場合には、画角が180度以上のカメラを用いることができる。
図40のAに示される例の車両511の上面から見た(図40のAの右側の図における)構成は、図38の右側の図に示された場合と同様である。すなわち、カメラ541,542の光軸541oa,542oaは、車両511の進行方向(図中下方向)と垂直な方向、すなわち車両511の側面と垂直な方向を指向している。
図40のBに示される例では、車両511の正面から見て(図40のBの左側の図において)、上方にカメラ542が配置され、下方にカメラ541が配置されている。そしてカメラ542はカメラ541より車両511から離れた位置に配置され、カメラ541はカメラ542より車両511に近い位置に配置されている。カメラ541,542の中心を結ぶ線552が車体から監視する方向に飛び出すように(車両511の側方から飛び出すように)傾斜している。つまり、カメラ541,542は、その中心を結ぶ線552が基準面に対して角度βとなるように傾斜される。
そして、カメラ541は、その光軸541oaが基準面と平行な方向より下を指向し、基準面と交差するように、光軸541oaを含む面内において傾斜される。つまり、カメラ541は、その中心とカメラ542の中心を結ぶ線552が基準面に対して角度βとなるように傾斜される。換言すれば、カメラ541は、その光軸541oaが、基準面に垂直な線553に対して角度がβとなるように傾斜される。
しかし、カメラ542は、その光軸542oaが基準面と平行な方向を指向するように配置される。つまり、カメラ541,542のうち、一方(下方に配置されているカメラ541)のみが、その光軸541oaが基準面である路面551と平行な方向より下を指向し、路面551と交差するように配置されている。そして他方(上方に配置されているカメラ542)は、その光軸542oaが基準面と平行になるように配置されている。カメラ541,542をこのように取り付けても、図中ハッチングを付して示されている、車両511の近傍の範囲が、ステレオカメラシステムとして測距が可能な範囲となる。その範囲は、比較的狭い範囲となるが、測距可能な範囲を広げる必要がある場合には、画角が180度以上のカメラを用いることができる。
図40のBに示される例の車両511の上面から見た(図40のBの右側の図における)構成は、図38の右側の図に示された場合と同様である。すなわち、カメラ541,542の光軸541oa,542oaは、車両511の進行方向(図中下方向)と垂直な方向、すなわち車両511の側面と垂直な方向を指向している。
以上においては、ステレオカメラシステムを構成する各カメラの画角を同じ(例えば180度)としたが、それぞれの画角(焦点距離)が異なっていてもよい。画角を広くすれば、より広い範囲の認識が可能となり、画角を狭くすれば、より遠くを高精細に認識することが可能となる。ステレオカメラシステムとしては、画角が重複する範囲での測距が可能となる。
なお本技術は、その本質を逸脱しない範囲において、種々の変形例が存在しうる。
<応用例>
本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車などのいずれかの種類の車両に搭載される装置として実現されてもよい。
図41は、本開示に係る技術が適用され得る車両制御システム2000の概略的な構成の一例を示すブロック図である。車両制御システム2000は、通信ネットワーク2010を介して接続された複数の電子制御ユニットを備える。図41に示した例では、車両制御システム2000は、駆動系制御ユニット2100、ボディ系制御ユニット2200、バッテリ制御ユニット2300、車外情報検出装置2400、車内情報検出装置2500、及び統合制御ユニット2600を備える。これらの複数の制御ユニットを接続する通信ネットワーク2010は、例えば、CAN(Controller Area Network)、LIN(Local Interconnect Network)、LAN(Local Area Network)又はFlexRay(登録商標)等の任意の規格に準拠した車載通信ネットワークであってよい。
各制御ユニットは、各種プログラムに従って演算処理を行うマイクロコンピュータと、マイクロコンピュータにより実行されるプログラム又は各種演算に用いられるパラメータ等を記憶する記憶部と、各種制御対象の装置を駆動する駆動回路とを備える。各制御ユニットは、通信ネットワーク2010を介して他の制御ユニットとの間で通信を行うためのネットワークI/Fを備えるとともに、車内外の装置又はセンサ等との間で、有線通信又は無線通信により通信を行うための通信I/Fを備える。図41では、統合制御ユニット2600の機能構成として、マイクロコンピュータ2610、汎用通信I/F2620、専用通信I/F2630、測位部2640、ビーコン受信部2650、車内機器I/F2660、音声画像出力部2670、車載ネットワークI/F2680及び記憶部2690が図示されている。他の制御ユニットも同様に、マイクロコンピュータ、通信I/F及び記憶部等を備える。
駆動系制御ユニット2100は、各種プログラムに従って車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット2100は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。駆動系制御ユニット2100は、ABS(Antilock Brake System)又はESC(Electronic Stability Control)等の制御装置としての機能を有してもよい。
駆動系制御ユニット2100には、車両状態検出部2110が接続される。車両状態検出部2110には、例えば、車体の軸回転運動の角速度を検出するジャイロセンサ、車両の加速度を検出する加速度センサ、あるいは、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数又は車輪の回転速度等を検出するためのセンサのうちの少なくとも一つが含まれる。駆動系制御ユニット2100は、車両状態検出部2110から入力される信号を用いて演算処理を行い、内燃機関、駆動用モータ、電動パワーステアリング装置又はブレーキ装置等を制御する。
ボディ系制御ユニット2200は、各種プログラムに従って車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット2200は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット2200には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット2200は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
バッテリ制御ユニット2300は、各種プログラムに従って駆動用モータの電力供給源である二次電池2310を制御する。例えば、バッテリ制御ユニット2300には、二次電池2310を備えたバッテリ装置から、バッテリ温度、バッテリ出力電圧又はバッテリの残存容量等の情報が入力される。バッテリ制御ユニット2300は、これらの信号を用いて演算処理を行い、二次電池2310の温度調節制御又はバッテリ装置に備えられた冷却装置等の制御を行う。
車外情報検出装置2400は、車両制御システム2000を搭載した車両の外部の情報を検出する。例えば、車外情報検出装置2400には、撮像部2410及び車外情報検出部2420のうちの少なくとも一方が接続される。撮像部2410には、ToF(Time Of Flight)カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ及びその他のカメラのうちの少なくとも一つが含まれる。車外情報検出部2420には、例えば、現在の天候又は気象を検出するための環境センサ、あるいは、車両制御システム2000を搭載した車両の周囲の他の車両、障害物又は歩行者等を検出するための周囲情報検出センサが含まれる。
環境センサは、例えば、雨天を検出する雨滴センサ、霧を検出する霧センサ、日照度合いを検出する日照センサ、及び降雪を検出する雪センサのうちの少なくとも一つであってよい。周囲情報検出センサは、超音波センサ、レーダ装置及びLIDAR(Light Detection and Ranging、Laser Imaging Detection and Ranging)装置のうちの少なくとも一つであってよい。これらの撮像部2410及び車外情報検出部2420は、それぞれ独立したセンサないし装置として備えられてもよいし、複数のセンサないし装置が統合された装置として備えられてもよい。
ここで、図42は、撮像部2410および車外情報検出部2420の設置位置の例を示す。撮像部2910,2912,2914,2916,2918は、例えば、車両2900のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部のうちの少なくとも一つの位置に設けられる。フロントノーズに備えられる撮像部2910及び車室内のフロントガラスの上部に備えられる撮像部2918は、主として車両2900の前方の画像を取得する。サイドミラーに備えられる撮像部2912,2914は、主として車両2900の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部2916は、主として車両2900の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部2918は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
なお、図42には、それぞれの撮像部2910,2912,2914,2916の撮影範囲の一例が示されている。撮像範囲aは、フロントノーズに設けられた撮像部2910の撮像範囲を示し、撮像範囲b,cは、それぞれサイドミラーに設けられた撮像部2912,2914の撮像範囲を示し、撮像範囲dは、リアバンパ又はバックドアに設けられた撮像部2916の撮像範囲を示す。例えば、撮像部2910,2912,2914,2916で撮像された画像データが重ね合わせられることにより、車両2900を上方から見た俯瞰画像が得られる。
車両2900のフロント、リア、サイド、コーナ及び車室内のフロントガラスの上部に設けられる車外情報検出部2920,2922,2924,2926,2928,2930は、例えば超音波センサ又はレーダ装置であってよい。車両2900のフロントノーズ、リアバンパ、バックドア及び車室内のフロントガラスの上部に設けられる車外情報検出部2920,2926,2930は、例えばLIDAR装置であってよい。これらの車外情報検出部2920〜2930は、主として先行車両、歩行者又は障害物等の検出に用いられる。
図41に戻って説明を続ける。車外情報検出装置2400は、撮像部2410に車外の画像を撮像させるとともに、撮像された画像データを受信する。また、車外情報検出装置2400は、接続されている車外情報検出部2420から検出情報を受信する。車外情報検出部2420が超音波センサ、レーダ装置又はLIDAR装置である場合には、車外情報検出装置2400は、超音波又は電磁波等を発信させるとともに、受信された反射波の情報を受信する。車外情報検出装置2400は、受信した情報に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。車外情報検出装置2400は、受信した情報に基づいて、降雨、霧又は路面状況等を認識する環境認識処理を行ってもよい。車外情報検出装置2400は、受信した情報に基づいて、車外の物体までの距離を算出してもよい。
また、車外情報検出装置2400は、受信した画像データに基づいて、人、車、障害物、標識又は路面上の文字等を認識する画像認識処理又は距離検出処理を行ってもよい。車外情報検出装置2400は、受信した画像データに対して歪補正又は位置合わせ等の処理を行うとともに、異なる撮像部2410により撮像された画像データを合成して、俯瞰画像又はパノラマ画像を生成してもよい。車外情報検出装置2400は、異なる撮像部2410により撮像された画像データを用いて、視点変換処理を行ってもよい。
車内情報検出装置2500は、車内の情報を検出する。車内情報検出装置2500には、例えば、運転者の状態を検出する運転者状態検出部2510が接続される。運転者状態検出部2510は、運転者を撮像するカメラ、運転者の生体情報を検出する生体センサ又は車室内の音声を集音するマイク等を含んでもよい。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座った搭乗者又はステアリングホイールを握る運転者の生体情報を検出する。車内情報検出装置2500は、運転者状態検出部2510から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。車内情報検出装置2500は、集音された音声信号に対してノイズキャンセリング処理等の処理を行ってもよい。
統合制御ユニット2600は、各種プログラムに従って車両制御システム2000内の動作全般を制御する。統合制御ユニット2600には、入力部2800が接続されている。入力部2800は、例えば、タッチパネル、ボタン、マイクロフォン、スイッチ又はレバー等、搭乗者によって入力操作され得る装置によって実現される。入力部2800は、例えば、赤外線又はその他の電波を利用したリモートコントロール装置であってもよいし、車両制御システム2000の操作に対応した携帯電話又はPDA(Personal Digital Assistant)等の外部接続機器であってもよい。入力部2800は、例えばカメラであってもよく、その場合搭乗者はジェスチャにより情報を入力することができる。さらに、入力部2800は、例えば、上記の入力部2800を用いて搭乗者等により入力された情報に基づいて入力信号を生成し、統合制御ユニット2600に出力する入力制御回路などを含んでもよい。搭乗者等は、この入力部2800を操作することにより、車両制御システム2000に対して各種のデータを入力したり処理動作を指示したりする。
記憶部2690は、マイクロコンピュータにより実行される各種プログラムを記憶するRAM(Random Access Memory)、及び各種パラメータ、演算結果又はセンサ値等を記憶するROM(Read Only Memory)を含んでいてもよい。また、記憶部2690は、HDD(Hard Disc Drive)等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等によって実現してもよい。
汎用通信I/F2620は、外部環境2750に存在する様々な機器との間の通信を仲介する汎用的な通信I/Fである。汎用通信I/F2620は、GSM(登録商標)(Global System of Mobile communications)、WiMAX、LTE(Long Term Evolution)若しくはLTE−A(LTE−Advanced)などのセルラー通信プロトコル、又は無線LAN(Wi−Fi(登録商標)ともいう)などのその他の無線通信プロトコルを実装してよい。汎用通信I/F2620は、例えば、基地局又はアクセスポイントを介して、外部ネットワーク(例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク)上に存在する機器(例えば、アプリケーションサーバ又は制御サーバ)へ接続してもよい。また、汎用通信I/F2620は、例えばP2P(Peer To Peer)技術を用いて、車両の近傍に存在する端末(例えば、歩行者若しくは店舗の端末、又はMTC(Machine Type Communication)端末)と接続してもよい。
専用通信I/F2630は、車両における使用を目的として策定された通信プロトコルをサポートする通信I/Fである。専用通信I/F2630は、例えば、下位レイヤのIEEE802.11pと上位レイヤのIEEE1609との組合せであるWAVE(Wireless Access in Vehicle Environment)、又はDSRC(Dedicated Short Range Communications)といった標準プロトコルを実装してよい。専用通信I/F2630は、典型的には、車車間(Vehicle to Vehicle)通信、路車間(Vehicle to Infrastructure)通信及び歩車間(Vehicle to Pedestrian)通信のうちの1つ以上を含む概念であるV2X通信を遂行する。
測位部2640は、例えば、GNSS(Global Navigation Satellite System)衛星からのGNSS信号(例えば、GPS(Global Positioning System)衛星からのGPS信号)を受信して測位を実行し、車両の緯度、経度及び高度を含む位置情報を生成する。なお、測位部2640は、無線アクセスポイントとの信号の交換により現在位置を特定してもよく、又は測位機能を有する携帯電話、PHS若しくはスマートフォンといった端末から位置情報を取得してもよい。
ビーコン受信部2650は、例えば、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行止め又は所要時間等の情報を取得する。なお、ビーコン受信部2650の機能は、上述した専用通信I/F2630に含まれてもよい。
車内機器I/F2660は、マイクロコンピュータ2610と車内に存在する様々な機器との間の接続を仲介する通信インタフェースである。車内機器I/F2660は、無線LAN、Bluetooth(登録商標)、NFC(Near Field Communication)又はWUSB(Wireless USB)といった無線通信プロトコルを用いて無線接続を確立してもよい。また、車内機器I/F2660は、図示しない接続端子(及び、必要であればケーブル)を介して有線接続を確立してもよい。車内機器I/F2660は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、又は車両に搬入され若しくは取り付けられる情報機器との間で、制御信号又はデータ信号を交換する。
車載ネットワークI/F2680は、マイクロコンピュータ2610と通信ネットワーク2010との間の通信を仲介するインタフェースである。車載ネットワークI/F2680は、通信ネットワーク2010によりサポートされる所定のプロトコルに則して、信号等を送受信する。
統合制御ユニット2600のマイクロコンピュータ2610は、汎用通信I/F2620、専用通信I/F2630、測位部2640、ビーコン受信部2650、車内機器I/F2660及び車載ネットワークI/F2680のうちの少なくとも一つを介して取得される情報に基づき、各種プログラムに従って、車両制御システム2000を制御する。例えば、マイクロコンピュータ2610は、取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット2100に対して制御指令を出力してもよい。例えば、マイクロコンピュータ2610は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、自動運転等を目的とした協調制御を行ってもよい。
マイクロコンピュータ2610は、汎用通信I/F2620、専用通信I/F2630、測位部2640、ビーコン受信部2650、車内機器I/F2660及び車載ネットワークI/F2680のうちの少なくとも一つを介して取得される情報に基づき、車両の現在位置の周辺情報を含むローカル地図情報を作成してもよい。また、マイクロコンピュータ2610は、取得される情報に基づき、車両の衝突、歩行者等の近接又は通行止めの道路への進入等の危険を予測し、警告用信号を生成してもよい。警告用信号は、例えば、警告音を発生させたり、警告ランプを点灯させたりするための信号であってよい。
音声画像出力部2670は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図41の例では、出力装置として、オーディオスピーカ2710、表示部2720及びインストルメントパネル2730が例示されている。表示部2720は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。表示部2720は、AR(Augmented Reality)表示機能を有していてもよい。出力装置は、これらの装置以外の、ヘッドホン、プロジェクタ又はランプ等の他の装置であってもよい。出力装置が表示装置の場合、表示装置は、マイクロコンピュータ2610が行った各種処理により得られた結果又は他の制御ユニットから受信された情報を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。また、出力装置が音声出力装置の場合、音声出力装置は、再生された音声データ又は音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。
なお、図41に示した例において、通信ネットワーク2010を介して接続された少なくとも二つの制御ユニットが一つの制御ユニットとして一体化されてもよい。あるいは、個々の制御ユニットが、複数の制御ユニットにより構成されてもよい。さらに、車両制御システム2000が、図示されていない別の制御ユニットを備えてもよい。また、上記の説明において、いずれかの制御ユニットが担う機能の一部又は全部を、他の制御ユニットに持たせてもよい。つまり、通信ネットワーク2010を介して情報の送受信がされるようになっていれば、所定の演算処理が、いずれかの制御ユニットで行われるようになってもよい。同様に、いずれかの制御ユニットに接続されているセンサ又は装置が、他の制御ユニットに接続されるとともに、複数の制御ユニットが、通信ネットワーク2010を介して相互に検出情報を送受信してもよい。
以上説明した車両制御システム2000において、図4、図23、図26、図27、図31を用いて説明した本実施の形態に係る撮像制御部81と撮像制御部581は、図41に示した応用例の統合制御ユニット2600に適用することができる。
また図4、図23、図26、図27、図31を用いて説明した撮像制御部81と撮像制御部581の少なくとも一部の構成要素は、図41に示した統合制御ユニット2600のためのモジュール(例えば、一つのダイで構成される集積回路モジュール)において実現されてもよい。あるいは、図4、図23、図26、図27、図31を用いて説明した撮像制御部81と撮像制御部581が、図41に示した車両制御システム2000の複数の制御ユニットによって実現されてもよい。
なお、図4、図23、図26、図27、図31を用いて説明した撮像制御部81と撮像制御部581の各機能を実現するためのコンピュータプログラムを、いずれかの制御ユニット等に実装することができる。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体を提供することもできる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。
また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
<その他>
本技術は、以下のような構成もとることができる。
(1)
光軸が斜め下方向を指向するように配置されたカメラを少なくとも1つ含む、縦方向に配置された少なくとも1組のカメラからなるステレオカメラシステムによる撮像を制御する撮像制御部と、
前記ステレオカメラシステムにより撮影された画像に基づいて監視処理を行う監視処理部と
を備える撮像制御装置。
(2)
前記画像は、車両の側面に配置された前記カメラにより撮影された画像である
前記(1)に記載の撮像制御装置。
(3)
前記監視処理部は、前記車両が走行する面に沿った対象物の距離を演算する
前記(1)または(2)に記載の撮像制御装置。
(4)
前記対象物は、路面、前記路面上の識別表示、前記路面の端部、縁石、またはガードレールのいずれかを含む
前記(1)または(3)に記載の撮像制御装置。
(5)
前記車両が走行する面に垂直な対象物の距離を演算する他の監視処理部をさらに備える
前記(1)乃至(4)のいずれかに記載の撮像制御装置。
(6)
前記監視処理部は、前記ステレオカメラシステムに基づく測距処理を行い、
前記他の監視処理部は、モーションステレオ処理により測距処理を行う
前記(1)乃至(5)のいずれかに記載の撮像制御装置。
(7)
前記監視処理部は、前記カメラにより撮影された前記画像からエッジを検出し、前記エッジ角度に基づいて、距離を演算する
前記(1)乃至(6)のいずれかに記載の撮像制御装置。
(8)
前記カメラにより撮影された前記画像を、前記車両の周囲を目視する画像に変換する画像変換部をさらに備える
前記(1)乃至(7)のいずれかに記載の撮像制御装置。
(9)
超音波、レーダ、レーザセンサ、または赤外線センサにより、前記車両の前後の測距処理を行う測距処理部をさらに備える
前記(1)乃至(8)のいずれかに記載の撮像制御装置。
(10)
前記光軸が斜め下方向を指向するように配置された前記カメラは、前記光軸と、そこから車両の真下に向かう方向とのなす角度が、π/6乃至5π/12の範囲となるように配置されている
前記(1)乃至(9)のいずれかに記載の撮像制御装置。
(11)
前記カメラにより撮影された画像は、広角カメラにより撮影された画像である
前記(1)乃至(10)のいずれかに記載の撮像制御装置。
(12)
前記ステレオカメラシステムを構成する少なくとも1組のカメラをさらに備える
前記(1)乃至(11)のいずれかに記載の撮像制御装置。
(13)
光軸が斜め下方向を指向するように配置されたカメラを少なくとも1つ含む、縦方向に配置された少なくとも1組のカメラからなるステレオカメラシステムによる撮像を制御するステップと、
前記ステレオカメラシステムにより撮影された画像に基づいて監視処理を行うステップと
を含む撮像制御方法。
(14)
光軸が斜め下方向を指向するように配置されたカメラを少なくとも1つ含む、縦方向に配置された少なくとも1組のカメラを含むステレオカメラシステムと、
前記ステレオカメラシステムにより撮影された画像に基づいて監視処理を行う監視処理部と
を備える車両。
1 撮像制御システム, 11 車両, 21A乃至21D ステレオカメラシステム, 22A乃至22D 検出範囲, 91A乃至91D ステレオ距離計測部, 92A乃至92D 距離精度向上部, 93 統合部, 101A乃至101D,102A乃至102D 撮像部

Claims (11)

  1. 光軸が斜め下方向を指向するように配置されたカメラを少なくとも1つ含む、車両の側面に、縦方向に配置された少なくとも1組のカメラからなるステレオカメラシステムによる撮像を制御する撮像制御部と、
    前記ステレオカメラシステムにより撮影された画像に基づいて、前記車両が走行する面に沿った対象物の測距処理を行う監視処理部と
    モーションステレオ処理により、前記車両が走行する面に垂直な対象物の測距処理を行う前記監視処理部とは異なる他の監視処理部と、
    前記カメラにより撮影された前記画像からエッジを検出し、前記エッジの角度であるエッジ角度を検出するエッジ角度検出部と、
    前記エッジ角度に基づいて、前記監視処理部の測距処理結果と、前記他の監視処理部の測距処理結果とを統合する統合部と
    を備える撮像制御装置。
  2. 前記統合部は、
    前記エッジ角度に基づいて、前記エッジが、前記車両が走行する面に沿う方向に近い程、前記監視処理部の測距処理結果を優先して統合し、
    前記エッジ角度に基づいて、前記エッジが、前記車両が走行する面に垂直な方向に近い程、前記他の監視処理部の測距処理結果を優先して統合する
    請求項1に記載の撮像制御装置。
  3. 前記統合部は、
    前記エッジ角度に基づいて、前記監視処理部の測距処理結果と、前記他の監視処理部の測距処理結果とを重み付けして統合する
    請求項1に記載の撮像制御装置。
  4. 前記対象物は、路面、前記路面上の識別表示、前記路面の端部、縁石、溝、またはガードレールのいずれかを含む
    請求項に記載の撮像制御装置。
  5. 前記カメラにより撮影された前記画像を、前記車両の周囲を目視する画像に変換する画像変換部をさらに備える
    請求項1に記載の撮像制御装置。
  6. 超音波、レーダ、レーザセンサ、または赤外線センサにより、前記車両の前後の測距処理を行う測距処理部をさらに備える
    請求項1に記載の撮像制御装置。
  7. 前記光軸が斜め下方向を指向するように配置された前記カメラは、前記光軸と、そこから車両の真下に向かう方向とのなす角度が、π/6乃至5π/12の範囲となるように配置されている
    請求項に記載の撮像制御装置。
  8. 前記カメラにより撮影された画像は、広角カメラにより撮影された画像である
    請求項に記載の撮像制御装置。
  9. 前記ステレオカメラシステムを構成する少なくとも1組のカメラをさらに備える
    請求項に記載の撮像制御装置。
  10. 光軸が斜め下方向を指向するように配置されたカメラを少なくとも1つ含む、車両の側面に、縦方向に配置された少なくとも1組のカメラからなるステレオカメラシステムによる撮像を制御するステップと、
    前記ステレオカメラシステムにより撮影された画像に基づいて、前記車両が走行する面に沿った対象物の測距処理を行うステップと
    モーションステレオ処理により、前記車両が走行する面に垂直な対象物の測距処理を行う前記測距処理とは異なる他の測距処理を行うステップと、
    前記カメラにより撮影された前記画像からエッジを検出し、前記エッジの角度であるエッジ角度を検出するステップと、
    前記エッジ角度に基づいて、前記測距処理の測距処理結果と、前記他の測距処理の測距処理結果とを統合するステップと
    を含む撮像制御方法。
  11. 光軸が斜め下方向を指向するように配置されたカメラを少なくとも1つ含む、車両の側面に、縦方向に配置された少なくとも1組のカメラを含むステレオカメラシステムと、
    前記ステレオカメラシステムにより撮影された画像に基づいて、前記車両が走行する面に沿った対象物の測距処理を行う監視処理部と
    モーションステレオ処理により、前記車両が走行する面に垂直な対象物の測距処理を行う前記監視処理部とは異なる他の監視処理部と、
    前記カメラにより撮影された前記画像からエッジを検出し、前記エッジの角度であるエッジ角度を検出するエッジ角度検出部と、
    前記エッジ角度に基づいて、前記監視処理部の測距処理結果と、前記他の監視処理部の測距処理結果とを統合する統合部と
    を備える車両。
JP2018522409A 2016-06-08 2017-05-25 撮像制御装置および方法、並びに車両 Expired - Fee Related JP6819680B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016114386 2016-06-08
JP2016114386 2016-06-08
PCT/JP2017/019490 WO2017212927A1 (ja) 2016-06-08 2017-05-25 撮像制御装置および方法、並びに車両

Publications (2)

Publication Number Publication Date
JPWO2017212927A1 JPWO2017212927A1 (ja) 2019-04-04
JP6819680B2 true JP6819680B2 (ja) 2021-01-27

Family

ID=60577834

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018522409A Expired - Fee Related JP6819680B2 (ja) 2016-06-08 2017-05-25 撮像制御装置および方法、並びに車両

Country Status (7)

Country Link
US (1) US11108992B2 (ja)
EP (1) EP3470779A4 (ja)
JP (1) JP6819680B2 (ja)
CN (1) CN109313021B (ja)
CA (1) CA3026231A1 (ja)
MX (1) MX2018014750A (ja)
WO (1) WO2017212927A1 (ja)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019012915A (ja) * 2017-06-30 2019-01-24 クラリオン株式会社 画像処理装置、画像変換方法
US11815602B2 (en) * 2017-10-03 2023-11-14 Intel Corporation Grid occupancy mapping using error range distribution
US11259013B2 (en) * 2018-09-10 2022-02-22 Mitsubishi Electric Corporation Camera installation assistance device and method, and installation angle calculation method, and program and recording medium
EP3885701A4 (en) * 2018-11-20 2022-01-26 Sony Semiconductor Solutions Corporation IMAGE PROCESSING DEVICE, IMAGE PROCESSING METHOD AND PROGRAM
JP2020106275A (ja) * 2018-12-26 2020-07-09 Whill株式会社 ステレオカメラおよび電動モビリティ
WO2020181416A1 (zh) * 2019-03-08 2020-09-17 深圳市大疆创新科技有限公司 一种车辆以及用于安装于车辆的侧后视镜
JP2020183166A (ja) * 2019-05-07 2020-11-12 アルパイン株式会社 画像処理装置、画像処理システム、画像処理方法、及びプログラム
JP2020190438A (ja) * 2019-05-20 2020-11-26 株式会社リコー 計測装置および計測システム
CN110412511B (zh) * 2019-07-17 2022-03-15 上海龙旗科技股份有限公司 追踪装置及方法
JP7238722B2 (ja) * 2019-10-11 2023-03-14 トヨタ自動車株式会社 車両駐車支援装置
KR20210060237A (ko) * 2019-11-18 2021-05-26 현대모비스 주식회사 후방 교차 충돌 감지 시스템 및 방법
US11180080B2 (en) * 2019-12-13 2021-11-23 Continental Automotive Systems, Inc. Door opening aid systems and methods
DE102019134324A1 (de) 2019-12-13 2021-06-17 Connaught Electronics Ltd. Ein Verfahren zum Messen der Topografie einer Umgebung
KR102615479B1 (ko) * 2021-11-24 2023-12-19 현대모비스 주식회사 램프 및 그것의 동작 방법, 차량
JP7315988B1 (ja) 2022-01-13 2023-07-27 誠一 杉田 移動体の走行制御システム
JP2023103837A (ja) * 2022-01-14 2023-07-27 ヤマハ発動機株式会社 水域物体検出システムおよび船舶
TWI838988B (zh) * 2022-11-29 2024-04-11 財團法人金屬工業研究發展中心 移動載具之靜止物示警之方法

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3167752B2 (ja) 1991-10-22 2001-05-21 富士重工業株式会社 車輌用距離検出装置
JP4861574B2 (ja) 2001-03-28 2012-01-25 パナソニック株式会社 運転支援装置
US6737964B2 (en) * 2001-11-05 2004-05-18 Ford Global Technologies, Llc Vehicle blind spot monitoring system
JP4402400B2 (ja) * 2003-08-28 2010-01-20 オリンパス株式会社 物体認識装置
JP2008085710A (ja) 2006-09-28 2008-04-10 Sanyo Electric Co Ltd 運転支援システム
US8199975B2 (en) 2006-12-12 2012-06-12 Cognex Corporation System and method for side vision detection of obstacles for vehicles
JP2009202610A (ja) 2008-02-26 2009-09-10 Hitachi Ltd 駐車支援装置
US8497905B2 (en) * 2008-04-11 2013-07-30 nearmap australia pty ltd. Systems and methods of capturing large area images in detail including cascaded cameras and/or calibration features
JP5316805B2 (ja) * 2009-03-16 2013-10-16 株式会社リコー 車載カメラ装置の画像調整装置及び車載カメラ装置
US20140002601A1 (en) * 2011-03-10 2014-01-02 Panasonic Corporation Stereoscopic image output device and stereoscopic image output method
CN103154666B (zh) * 2011-06-14 2015-03-18 日产自动车株式会社 距离测量装置以及环境地图生成装置
JP2013053962A (ja) 2011-09-05 2013-03-21 Sharp Corp カメラシステム、衝突予測システム、駐車ガイドシステム
JP5848563B2 (ja) 2011-09-21 2016-01-27 東芝アルパイン・オートモティブテクノロジー株式会社 車載用カメラ
JP6197388B2 (ja) * 2013-06-11 2017-09-20 富士通株式会社 距離測定装置、距離測定方法、およびプログラム
JP6417729B2 (ja) * 2014-06-09 2018-11-07 株式会社リコー 画像処理装置、画像処理方法、プログラム、視差データの生産方法、機器制御システム
DE102014213175A1 (de) * 2014-07-07 2016-01-07 Conti Temic Microelectronic Gmbh Vorrichtung zur entfernungsmessung, fahrzeug und verfahren

Also Published As

Publication number Publication date
EP3470779A4 (en) 2019-07-03
CA3026231A1 (en) 2017-12-14
MX2018014750A (es) 2019-04-29
US20200329215A1 (en) 2020-10-15
JPWO2017212927A1 (ja) 2019-04-04
US11108992B2 (en) 2021-08-31
WO2017212927A1 (ja) 2017-12-14
CN109313021B (zh) 2021-10-29
EP3470779A1 (en) 2019-04-17
CN109313021A (zh) 2019-02-05

Similar Documents

Publication Publication Date Title
JP6819680B2 (ja) 撮像制御装置および方法、並びに車両
JP6819681B2 (ja) 撮像制御装置および方法、並びに車両
CN107272168B (zh) 车辆用照相机
CN107272300B (zh) 车辆驾驶辅助装置
JP6780661B2 (ja) 画像処理装置および方法、プログラム、並びに画像処理システム
JP7196063B2 (ja) 撮像制御装置、および撮像制御装置の制御方法、並びに移動体
JP6657925B2 (ja) 車載カメラ・システム並びに画像処理装置
US11076141B2 (en) Image processing device, image processing method, and vehicle
EP1961613B1 (en) Driving support method and driving support device
KR20180132922A (ko) 차량용 디스플레이 장치 및 차량
JPWO2019181284A1 (ja) 情報処理装置、移動装置、および方法、並びにプログラム
KR102077575B1 (ko) 차량 운전 보조 장치 및 차량
US20220165066A1 (en) Information processing apparatus, information processing method, and program
WO2020036044A1 (ja) 画像処理装置と画像処理方法およびプログラム
KR20160092403A (ko) 차량 운전 보조 장치 및 차량 운전 보조 장치의 제어 방법
KR20150074753A (ko) 차량 운전 보조 장치 및 이를 구비한 차량
WO2022196316A1 (ja) 情報処理装置、情報処理方法及びプログラム
WO2020195969A1 (ja) 情報処理装置、情報処理方法及びプログラム
KR101647728B1 (ko) 차량 운전 보조 장치 및 이를 구비한 차량
KR20150074751A (ko) 차량 운전 보조 장치 및 이를 구비한 차량

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200414

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200901

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201102

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201201

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201214

R151 Written notification of patent or utility model registration

Ref document number: 6819680

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees