JPWO2018180579A1 - 撮像制御装置、および撮像制御装置の制御方法、並びに移動体 - Google Patents

撮像制御装置、および撮像制御装置の制御方法、並びに移動体 Download PDF

Info

Publication number
JPWO2018180579A1
JPWO2018180579A1 JP2019509275A JP2019509275A JPWO2018180579A1 JP WO2018180579 A1 JPWO2018180579 A1 JP WO2018180579A1 JP 2019509275 A JP2019509275 A JP 2019509275A JP 2019509275 A JP2019509275 A JP 2019509275A JP WO2018180579 A1 JPWO2018180579 A1 JP WO2018180579A1
Authority
JP
Japan
Prior art keywords
cameras
vehicle
moving body
control device
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019509275A
Other languages
English (en)
Other versions
JP7196063B2 (ja
Inventor
弘和 橋本
弘和 橋本
秀明 今井
秀明 今井
柴山 憲文
憲文 柴山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Publication of JPWO2018180579A1 publication Critical patent/JPWO2018180579A1/ja
Application granted granted Critical
Publication of JP7196063B2 publication Critical patent/JP7196063B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/239Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/31Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles providing stereoscopic vision
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00Measuring distances in line of sight; Optical rangefinders
    • G01C3/02Details
    • G01C3/06Use of electric means to obtain final indication
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/271Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/107Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using stereoscopic cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/301Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with other obstacle sensor information, e.g. using RADAR/LIDAR/SONAR sensors for estimating risk of collision
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074Stereoscopic image analysis
    • H04N2013/0081Depth or disparity estimation from stereoscopic image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Electromagnetism (AREA)
  • Measurement Of Optical Distance (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Traffic Control Systems (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

本開示は、車両に搭載されるステレオカメラの距離計測精度を向上させることができるようにする撮像制御装置、および撮像制御装置の制御方法、並びに移動体に関する。ステレオカメラシステムを構成する1組のカメラが、車両本体の側面で、かつ、路面に対して垂直方向に並べて配設されるようにし、さらに、撮像される画素信号が、アレイ状に配置された画素列の前方側から順に、各画素列に画素単位で垂直方向に順次読み出されるようにする。本開示は、車載システムに適用することができる。

Description

本開示は、撮像制御装置、および撮像制御装置の制御方法、並びに移動体に関し、特に、垂直方向に並べられた1組のカメラによる距離計測を、高精度に実現できるようにした撮像制御装置、および撮像制御装置の制御方法、並びに移動体に関する。
近年、車両の周囲を撮像し、撮像した画像を用いて、自動運転や運転支援に利用する技術が注目されている。
例えば、車両に1組のカメラを左右の水平方向に並べることにより構成されるステレオカメラシステムを搭載し、カメラ間の視差により生じる1組の画像内の同一被写体のずれを利用して被写体までの距離を計測する技術が提案されている(特許文献1参照)。
特開2013−070177号公報
ところで、特許文献1のステレオカメラシステムは、車両の先端部に、1組のカメラを水平方向に並べて前方を監視する構成とされているが、1組のカメラを垂直方向に並べて側方を監視するステレオカメラシステムを実現することにより、車両の先端部からの側方の監視を有利な構成にすることが考えられる。
ところが、特許文献1に係るステレオカメラシステムを構成するカメラにおいては、アレイ状に配置された画素の画素信号が、行単位で垂直方向に順次読み出され、かつ、各行について水平方向に順次読み出される構成とされている。
このため、カメラの視野内において、被写体が水平方向に移動すると、行単位で画素信号の読み出しタイミングがずれてしまうため、水平方向に同一位置に存在するべき被写体がずれてしまう、いわゆる、フォーカルプレーン歪みが発生する。
さらに、垂直方向に並べられた1組のカメラは、垂直方向に視差が生じるため、撮像される2枚の画像においては、被写体の位置が垂直方向にずれて撮像されるので、画素信号の読み出しタイミングが異なり、水平方向の同一位置に存在すべき被写体がずれてしまう。
結果として、垂直方向に並べられた1組のカメラにより撮像される2枚の画像内において、同一の被写体を、水平方向に同一の位置の被写体として認識することができず、距離計測ができない恐れがあった。
そこで、フォーカルプレーン歪みや、1組のカメラにより撮像される画像間の被写体の水平方向のずれを補正する構成を加えて、距離計測を実現することが考えらえるが、補正に必要な構成を加えるようにすると、装置構成が煩雑になり、かつ、高コストとなる。
本開示は、このような状況に鑑みてなされたものであり、特に、垂直方向に並べられた1組のカメラによる距離計測を、高精度に実現させるものである。
本開示の一側面の撮像制御装置は、移動体に搭載され、ステレオカメラシステムを構成する1組のカメラと、前記1組のカメラにより撮像された画像に基づいて、検出範囲における観測点の距離を検出する検出部を含み、前記1組のカメラは、前記移動体の側面で、かつ、路面に対して垂直方向に並べて配設され、撮像される画素信号を、アレイ状に配置された画素単位で垂直方向に順次読み出す撮像制御装置である。
前記1組のカメラには、それぞれ前記移動体の前方側の画素の列から順に、かつ、各列について、垂直方向に順に画素信号を読み出すようにさせることができる。
前記1組のカメラには、それぞれ前記移動体の前方側の画素の列から順に、かつ、各列について、垂直方向に下から上方向、または、上から下方向に順次画素信号を読み出すようにさせることができる。
前記1組のカメラは、前記移動体の左右の側面のそれぞれに、かつ、前記路面に対して垂直方向に並べて配設されるようにすることができ、前記移動体の左右のそれぞれの前記1組のカメラには、前記移動体の前方側の画素の列から順に、かつ、各列について、垂直方向に下から上方向、または、上から下方向に順次画素信号を読み出すようにさせることができる。
前記1組のカメラは、前記移動体の左右の側面のそれぞれに、かつ、前記路面に対して垂直方向に並べて配設されるようにすることができ、前記移動体の左右の一方の前記1組のカメラが、前記移動体の前方側の画素の列から順に、かつ、各列について、垂直方向に下から上方向に順次画素信号を読み出し、左右の他方の前記1組のカメラには、前記移動体の前方側の画素の列から順に、かつ、各列について、垂直方向に上から下方向に順次画素信号を読み出すようにさせることができる。
前記1組のカメラは、前記移動体の前方の左右のそれぞれの側面、前記移動体の中央の左右のそれぞれの側面、および前記移動体の後方の左右のそれぞれの側面の少なくともいずれかに、それぞれ前記路面に対して垂直方向に視差が生じるように並べて配設されるようにすることができる。
前記1組のカメラが、前記移動体の前方の左右のそれぞれ側面、または、前記移動体の後方の左右のそれぞれの側面に、前記路面に対して垂直方向に並べて配設される場合、前記カメラは、それぞれ所定の角度よりも狭角度のカメラとすることができる。
前記1組のカメラが、前記移動体の中央の左右のそれぞれの側面に、前記路面に対して垂直方向に並べて配設される場合、前記カメラは、それぞれ所定の角度よりも広角度のカメラとすることができる。
前記カメラの画素の配置は、水平方向の幅が、垂直方向の幅よりも長くなるように、アレイ状に配置されるようにすることができる。
前記カメラの画素の配置は、前記水平方向の幅と、前記垂直方向の幅との比が、略16:9または略4:3となるようにアレイ状に配置されるようにすることができる。
本開示の一側面の撮像制御装置の制御情報は、移動体に搭載され、ステレオカメラシステムを構成する1組のカメラにより撮像された画像に基づいて、検出範囲における観測点の距離を検出する検出部を含む撮像制御装置の制御方法であって、前記1組のカメラが、前記移動体の側面で、かつ、路面に対して垂直方向に並べて配設され、撮像される画素信号を、アレイ状に配置された画素単位で垂直方向に順次読み出すステップを含む撮像制御装置の制御方法である。
本開示の一側面の移動体は、移動体に搭載されたステレオカメラシステムを構成する1組のカメラと、前記1組のカメラにより撮像された画像に基づいて、検出範囲における観測点の距離を検出する検出部とを有し、前記1組のカメラは、前記移動体の側面で、かつ、路面に対して垂直方向に並べて配設され、撮像される画素信号を、アレイ状に配置された画素単位で垂直方向に順次読み出す撮像制御装置を備えた移動体である。
本開示の一側面においては、移動体に搭載されたステレオカメラシステムを構成する1組のカメラにより撮像された画像に基づいて、検出範囲における観測点の距離が検出され、前記1組のカメラは、前記移動体の側面で、かつ、路面に対して垂直方向に並べて配設され、撮像される画素信号が、アレイ状に配置された画素単位で垂直方向に順次読み出される。
本開示の一側面によれば、特に、垂直方向に並べられた1組のカメラによる距離計測を、高精度に実現させることが可能となる。
本技術を適用した車載システムの一実施の形態を示すブロック図である。 カメラの設置位置の例を示す図である。 ステレオカメラシステムの外観構成例を示す図である。 撮像制御部の構成例を示すブロック図である。 ステレオ距離計測部の構成を示すブロック図である。 ステレオカメラシステムによる距離計測の原理を説明する図である。 ステレオカメラシステムのカメラによるフォーカルプレーン歪みを説明する図である。 本開示のステレオカメラシステムのカメラによる画素信号の読み出し順序例を説明する図である。 本開示のステレオカメラシステムのカメラによる画素信号の読み出し順序例を説明する図である。 表示部の設置位置の例を示す図である。 周辺監視処理を説明するためのフローチャートである。 センサ情報取得処理を説明するフローチャートである。 ステレオカメラシステムの外観構成の変形例を示す図である。 ステレオカメラシステムの外観構成の変形例を示す図である。 本開示のステレオカメラシステムのカメラによる画素信号の読み出し順序のその他の例を説明する図である。 車両制御システムの概略的な構成の一例を示すブロック図である。 車外情報検出部及び撮像部の設置位置の一例を示す説明図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
以下、本技術を実施するための形態について説明する。説明は以下の順序で行う。
1.実施の形態
2.変形例
3.応用例
<<1.実施の形態>>
<1−1.車載システムの構成例>
図1は、本技術を適用した車載システムの一実施の形態を示すブロック図である。
車載システム1は、車両に搭載され、運転支援を行うシステムである。例えば、車載システム1は、車両の周辺を監視し、周辺の車両、自転車、人等との衝突又は接触を防止するための処理を行う。より具体的には、車載システム1は、衝突又は接触の危険性の通知、及び、衝突又は接触を回避するためのブレーキシステム等の制動装置の制御等を行う。
なお、車載システム1が搭載される車両は、特に限定されるものではなく、例えば、三輪トラック、小型トラック、小型乗用車、大型乗用車、大型バス、大型トラック、大型特殊車、小型特殊車等を含む。また、以下、車載システム1が搭載されている車両を自車両とも称し、自車両以外の車両を他車両とも称する。
車載システム1は、カメラシステム10、撮像制御部11、車両情報センサ12、情報処理部13、表示部14、制動制御部15、及び、制動装置16を備える。
カメラシステム10は、車両の本体前方の左右の側面部に、路面に対して垂直方向に並べられた1組のカメラよりなるステレオカメラであり、車両の側方部を撮像した画像を撮像制御部11に出力する。尚、カメラシステム10の詳細については、図4を参照して、詳細を後述する。
なお、以下、カメラシステム10により撮像された画像を周辺画像と称し、周辺画像を示すデータを周辺画像データと称する。
撮像制御部11は、カメラシステム10により撮像された周辺画像に基づいて、周辺画像における被写体(対象物)までの距離を距離データとして計測し、周辺画像データと共に情報処理部13に出力する。
車両情報センサ12は、自車両の動きの検出に用いる各種のセンサを備える。例えば、車両情報センサ12は、速度センサ、操舵角センサ、GPS(global positioning system)受信機等を備える。車両情報センサ12は、それぞれ検出結果を示すデータ(以下、車両センサデータと称する)を動き予測部32に供給する。
情報処理部13は、例えば、ECU(Electronic Control Unit)等により構成される。情報処理部13は、周辺状況検出部31、動き予測部32、衝突予測部33、及び、HMI(Human Machine Interface)制御部34を備える。
周辺状況検出部31は、周辺画像データと距離データに基づいて、自車両の周辺の状況の検出を行う。周辺状況検出部31は、空間生成部41及び動体検出部42を備える。
空間生成部41は、周辺画像データと距離データに基づいて、自車両の周辺の物体の形状や位置等を示す3次元空間マップを生成する。空間生成部41は、3次元空間マップを動き予測部32及びHMI制御部34に供給する。また、空間生成部41は、周辺画像データをHMI制御部34に供給する。
動体検出部42は、周辺画像データ及び3次元空間マップに基づいて、自車両の周辺の動体の検出を行う。動体検出部42は、動体の検出結果を動き予測部32及びHMI制御部34に供給する。
動き予測部32は、車両センサデータに基づいて、自車両の動き予測を行う。また、動き予測部32は、3次元空間マップ及び動体の検出結果に基づいて、自車両の周辺の動体の動き予測を行う。動き予測部32は、自車両及び自車両の周辺の動体の動きの予測結果を衝突予測部33及びHMI制御部34に供給する。
衝突予測部33は、自車両及び自車両の周辺の動体の動きの予測結果に基づいて、自車両の周辺の動体の衝突予測を行う。衝突予測部33は、衝突予測の結果をHMI制御部34及び制動制御部15に供給する。
HMI制御部34は、自車両のHMIの制御を行う。例えば、HMI制御部34は、3次元空間マップ、自車両の周辺の動体の検出結果、並びに、自車両の周辺の動体の動き予測及び衝突予測の結果に基づいて、自車両の周辺の状況を示す周辺監視画像を表示するための周辺監視画像データを生成する。HMI制御部34は、周辺監視画像データを表示部14に供給し、周辺監視画像を表示させる。この場合、HMI制御部34は、画像処理部として機能する。
表示部14は、例えば、各種のディスプレイ等により構成される。表示部14は、HMI制御部34の制御の下に、周辺監視画像等の各種の画像を表示する。
制動制御部15は、例えば、ECU(Electronic Control Unit)等により構成される。制動制御部15は、衝突予測部33による衝突予測結果に基づいて、制動装置16を制御して、自車両の緊急停止等を行う。
制動装置16は、例えば、自車両のブレーキシステム等により構成される。
<1−2.カメラの配置例>
図2は、カメラシステム10を構成するステレオカメラシステムの配置例を示している。
ステレオカメラシステム111Aは、例えば車両100のフロントバンパーの前方左側面部に配置される。ステレオカメラシステム111Aは、運転者の死角となる領域を含む車両100の左側方の検出範囲112Aを撮像し、撮像の結果得られた画像(以下、左画像と称する)を示す画像データを撮像制御部11に供給する。
ステレオカメラシステム111Bは、例えば車両100のフロントバンパーの前方右側面部に配置される。ステレオカメラシステム111Bは、運転者の死角となる領域を含む車両100の右方向の検出範囲112Bを撮像し、撮像の結果得られた画像(以下、右画像と称する)を示す画像データを撮像制御部11に供給する。
尚、以降において、ステレオカメラシステム111A,111Bを特に区別する必要がない場合、単に、ステレオカメラシステム111とも称し、その他の構成も同様に称する。
<1−3.カメラの詳細な外観構成例>
ステレオカメラシステム111Aは、図3に示されるように、2台のカメラ131A,132Aを1組とした構成であり、車両100の前方左側面に垂直方向(すなわち縦方向)に並べて配置される。すなわち、カメラ131A,132Aは、その視差が高さ(垂直)方向に生じるように、基準面(路面101)と垂直な面内に配置される。
なお、図3においては、車両100の左側にのみステレオカメラシステム111Aが設置されているが、実際には右側にも同様に、カメラ131B,132Bからなるステレオカメラシステム111Bが設置される。
カメラ131Aの光軸とカメラ132Aの光軸は、カメラ131Aとカメラ132Aを通る図3中の点線と垂直な方向(紙面手前方向)を指向している。ステレオカメラシステム111の中心点を通る路面101に対する垂線である図3中の点線は、路面101上の点Tと交差する。すなわち、点Tは、ステレオカメラシステム111Aの真下(すなわち車両100の真下)の路面101上の点である。
<1−4.撮像制御部の構成>
次に、図4のブロック図を参照して、撮像制御部11の詳細な構成について説明する。
カメラシステム10は、ステレオカメラシステム111A,111Bを備えている。ステレオカメラシステム111Aは、カメラ131Aとカメラ132Aを備えている。
同様に、ステレオカメラシステム111Bは、カメラ131B,132Bを備えている。
カメラ131A,132Aにより撮像された画像の画像データは、ステレオ距離計測部151Aに供給され、撮像部131B,132Bにより撮像された画像の画像データは、ステレオ距離計測部151Bに供給される。
撮像制御部11は、ステレオ距離計測部151A,151B、および統合部152を備えている。
ステレオ距離計測部151Aは車両100の左側方の検出範囲112A(図2)における被写体(対象物)までの距離を計測し、統合部152に出力する。ステレオ距離計測部151Bは車両100の右側方の検出範囲112Bにおける被写体(対象物)までの距離を計測し、統合部152に出力する。
統合部152は、ステレオ距離計測部151A,151Bの出力を取得、統合し、車両100の周囲全体の状態を把握し、周辺画像データおよび距離データとして周辺状況検出部31に出力する。
<1−5.ステレオ距離計測部の構成>
次に、図5のブロック図を参照して、図4のステレオ距離計測部151の構成例について説明する。
ステレオ距離計測部151は、画像補正部171,172と、ステレオ画像処理部173を備えている。ステレオカメラシステム111のカメラ131,132の出力は、それぞれ画像補正部171と画像補正部172に供給され、前処理としてレンズの収差等が補正される。例えば、カメラ131,132は広角レンズを有した、通常のカメラよりも視野角が広い検出範囲を撮像することが可能なカメラとした場合、撮像された画像は歪みを含んでいる。画像補正部171,172は、距離算出のため、この歪を補正し、画像を平面に投影して平面画像とする処理を実行する。ステレオ画像処理部173は、画像補正部171と画像補正部172の出力から、対象物までの距離を検出する。すなわち、カメラ131,132の一方の画像に映っている対象物を、他方の画像から検出し、その位置のずれから距離が算出される。
なお、広角カメラは、例えば、35ミリ換算で、35ミリ以下のレンズ、特に28ミリ以下のレンズを備えるカメラなどである。または、広角カメラは、例えば、視野角が60度以上、特に120度以上、あるいは150度以上の撮像が可能なカメラでもよい。視野角は180度以上にすることもできる。特に、視野角が広い広角のレンズ、または、カメラは、魚眼レンズ(fθレンズ)若しくは魚眼カメラ、或は超広角レンズ若しくは超広角カメラといわれるカメラなどでもよい。
<1−6.ステレオカメラシステムの座標系>
次に、図6を参照して、ステレオカメラシステム111の座標系について説明する。ステレオカメラシステム111の座標系は図6に示されるように定義される。
垂直方向に並べられた2台のカメラ131,132から構成されるステレオカメラシステム111の一方のカメラ131の中心点をOa、他方のカメラ132の中心点をOb、中心点Oaと中心点Obの中間点(すなわちステレオカメラシステム111の中心点)をOとする。撮像の対象点をP、中心点Oaと中心点Obの間の距離(基線長)をLとする。対象点Pと中心点Oを結ぶ直線141と、中心点Oaと中心点Obを通る直線144のなす角度のうち、図中下側の角度(直線141と、直線144の中心点Oより下側の線分のなす角度)をθとする。すなわち、角度θは、撮像の対象点Pとステレオカメラシステム111とのなす角度である。なお対象点は撮像、すなわち監視する対象物(被写体)を表し、例えば車両100の周囲の人、障害物、他の車両等を模式的に点として表したものである。
直線144と、対象点Pと中心点Oaを結ぶ直線142のなす角度のうち、図中下側の角度(直線142と、直線144の中心点Oaより図中下側の線分とのなす角度)をθaとする。直線144と、対象点Pと中心点Obを結ぶ直線143のなす角度のうち、図中下側の角度(直線143と、直線144の中心点Obより図中下側の線分とのなす角度)をθbとする。直線142と直線143のなす角度をαとする。また、中心点Oと対象点Pとの距離をρ、対象点Pと中心点Oaの距離をρa、対象点Pと中心点Obの距離をρbとする。このとき、正弦定理から次の式(1)が得られる。
ρa/sinθb=L/sinα=L/sin(θa−θb)
ただし、α=θa−θbである。
・・・(1)
また、中心点Oと対象点Pとの距離ρは次式(2)のように書くことができる。
ρ・sinθ=ρa・sin(π−θa)=ρa・sinθa
・・・(2)
式(1)と式(2)より式(3)が得られる。
sin(θa−θb)=L/ρ・sinθa・sinθb/sinθ
・・・(3)
一般に、中心点Oaと中心点Obの間の距離(基線長)Lは、数cmから数十cm程度であるのに対し、中心点Oから対象点Pまでの距離ρは数m程度など十分に大きいことが多く、この場合、θ≒θa、θ≒θbが成り立つ。さらにθb<θ<θaが常に成り立つ。これらの条件から次の近似式(4)が成り立つ。
sinθa・sinθb≒sin2θ
・・・(4)
式(3)と式(4)より、次の式(5)が得られる。
sin(θa−θb)≒L/ρ・sinθ
・・・(5)
角度θa,θbは2台のカメラ131,132の物体光の角度なので、その差であるθa−θbは、入射光の角度差であり、ステレオ画像処理ではθa−θbによって対象物までの距離が算出される。基線長Lは定数なので、式(5)よりθa−θbは、対象物までの距離ρに反比例することが判る。そのため、対象物とステレオカメラシステム111の距離が離れると距離計測精度が低下する。
車両100に搭載したステレオカメラシステム111において距離計測を行う大きな理由の1つは、車両100の周辺の障害物を検知して、車両100と障害物との接触を防ぐことである。そのため、車両100と障害物の距離が近いほど距離計測精度が上がっているのは理にかなっている。
<1−7.行単位で垂直方向に、かつ、各行において水平方向に画素信号を読み出すカメラを用いたステレオカメラシステム>
次に、本開示のステレオカメラシステム111の画素信号の読み出し方法について説明するにあたって、行単位で順次垂直方向に、かつ、各行において水平方向に画素信号を読み出すカメラを用いたステレオカメラシステムについて説明する。
図7で示されるように、人間は被写体Hを視認する場合、例Ex1で示されるように、左右の目221,222のそれぞれで被写体Hを視認する。より詳細には、左右それぞれの目221,222においては、例えば、左目である目221は、図中の視野L内において被写体Hを視認し、右目である目222は、図中の視野R内において、被写体Hを視認する。人間は、この視野L,R内における被写体Hのずれを視差として認識し、視差に応じて被写体を空間認識する。尚、図7中において、視野L,Rは、目221,222からの距離が異なるが、説明の便宜上異なるのであって、現実には、同一距離であることを前提とする。
同様の原理で、目221,222と対応するように水平方向にカメラを並べてステレオカメラシステムが構成されるとき、それぞれのカメラにおいては、例Ex2で示されるように、画像231,232が撮像される。
例Ex2で示される画像231,232は、それぞれ被写体Hが、被写体H1,H2として撮像される。尚、例Ex2における画像231,232は、それぞれ例Ex1の視野L,Rに対応する。
画像231,232における被写体H1,H2の水平方向のずれは、それぞれの画像を撮像するカメラの視差により生じるものであり、被写体H1,H2のそれぞれの画像231,232内におけるずれに対応する視差により被写体までの距離を測定することができる。
ところで、画像231,232により被写体Hまでの距離を測距するにあたっては、それぞれの画像内における被写体H1,H2を同一の被写体Hであると認識する必要がある。
一般に、カメラは、行単位で上から下方向に順次読み出され、かつ、各行において、水平方向に左から右方向に隣接する画素から順次画素信号が読み出される。このため、同一の被写体Hである被写体H1,H2を認識するために、同一行の画素同士の画素信号を比較する。
尚、例Ex2における画像231,232を跨いた水平右方向の矢印は、同一行の画素が比較されることを表現している。
これに対して、本開示のステレオカメラシステム111は、カメラ131,132が、垂直方向に並べられているため、それぞれにより撮像される画像は、被写体Hが静止した状態である場合、例えば、例Ex3で示されるような画像233,234として撮像されることになる。
例Ex3の画像233,234の場合、画像233,234のそれぞれについて被写体H1,H2に垂直方向に対して視差が生じていても、被写体H1,H2に属する、水平方向が同一位置の画素は、同一の被写体に属していれば、視差分だけ垂直方向にずれた画素同士は同一の画素信号となるため、被写体Hであることを認識することができる。
しかしながら、被写体Hが静止しておらず水平方向に動いているような場合、画像233,234においては、被写体Hの移動に伴って、いわゆる、フォーカルプレーン歪みが生じて、例えば、Ex4で示されるように、被写体H1,H2に歪が生じた被写体H1’,H2’として撮像される。
例えば、画像233,234の水平方向の座標Xが図中の右方向に正であり、垂直方向の座標Yが図中の下方向に正であり、各カメラにおける画素信号が、例えば、行単位で、上から下方向に、かつ、各行において、左から右方向に読み出されるものとし、垂直方向に長い1列分の画素列からなる直線状の被写体が存在するものと仮定する。
ここで、直線状の被写体が1列分の画素列から構成される縦に長い移動していないものである場合、図7の例Ex3で示されるように、所定の行Y=yの、水平方向の列X=xで読み出された画素(x,y)が直線上の被写体に属する画素であるとすれば、その1行下の画素(x,y+1)も、直線状の被写体に属する画素であることになる。
しかしながら、例えば、直線状の被写体が水平右方向に移動している場合、所定の行Y=yの、水平方向の列X=xで読み出された画素(x,y)が直線状の被写体に属する画素であるとすれば、その1行下の画素(x,y+1)が読み出されるまでに、直線状の被写体が右方向に移動してしまうので、直線上の被写体に属する画素は、座標xよりも、直線上の被写体の移動速度に応じて距離αだけ右側にずれた画素(x+α,y+1)となる。
画像233,234についていえば、被写体H1,H2に属する各画素信号は、読み出し行が下方向に進むにつれて、被写体Hの移動速度に応じた距離だけ水平右方向にずれていくため、全体として被写体Hに属する画素は、画像内において下の行であるほど、右側へのずれが大きなフォーカルプレーン歪みとなるので、被写体H1,H2に対して被写体H1’,H2’で示されるような、左へ傾いたような歪みが生じる。
さらに、画像233,234においては、視差が垂直方向に生じるため、被写体H1,H2との垂直方向に大きな視差が生じるほど、画素信号の読み出しタイミングにずれが生じるため、単純に水平方向に対して同一の座標となる画素信号同士を比較しても同一被写体Hに属する画素であるか否かを判定することができなくなる恐れがある。
すなわち、例Ex4においては、画像234内における被写体H2’に属する画素は、画像233内における被写体H1’に属する画素よりも、画像内において上部の行に属している。したがって、画像234内における被写体H2’に属する画素の画素信号は、画像233内における被写体H1’に属する画素の画素信号よりも、早く読み出される。
このため、画像234内における被写体H2’は、画像233内における被写体H1’よりも画像内において、左側に寄った画像とされる。
結果として、画像233,234の水平方向に対して同一座標の画素の画素信号を比較しても、被写体Hに共通する画素として認識することができず、画像233,234内における被写体H1’,H2’との比較による距離の計測そのものができなくなる恐れがある。
すなわち、ステレオカメラシステム111を構成するにあたって、垂直方向に対して視差が生じるように1組のカメラを配置する場合、画素信号を、行単位で垂直方向に対して順次読み出し、かつ、各行に対して水平方向に読み出すようにしたとき、1組のカメラで撮像される画像内において、共通の同一の被写体を認識することができず、距離計測そのものができなくなる恐れがある。
<1−8.本開示のステレオカメラシステムを構成するカメラの画素信号の読み出し方法>
そこで、本開示のステレオカメラシステム111に属するカメラ131,132は、列単位で水平方向に順次読み出し、かつ、各列に対して垂直方向に画素信号を読み出す。
すなわち、図8における例Ex11の画像241,242で示されるように、垂直方向に視差が生じるように設けられたカメラ131,132により撮像される画像については、列単位で、順次水平方向に、かつ、各列について、垂直方向に、例えば、上から下方向に順次画素信号が読み出されるようにして生成されるようにする。
このようにすることで、例えば、同一列の画素信号の読み出しタイミングのずれは、視差に相当する画素数分のみとなるため、フォーカルプレーン歪による影響を低減させることが可能となる。
また、カメラ131,132の視差により垂直方向に生じる画素信号の読み出しタイミングのずれも視差に相当する画素数分のみとなるので、被写体H1,H2のずれも低減させることができるので、水平方向に対して同一位置の画素信号を比較することで、被写体H1,H2が同一の被写体Hであることを認識することが可能となる。
さらに、上述したように、一般的なカメラは、行単位で上から下方向に、かつ、各行において左から右方向に順次画素信号が読み出されるので、例えば、図8の例Ex12で示されるような画像233,234が読み出される。そこで、図8の例Ex13で示されるように、一般的なカメラを90度回転(図中では右方向に回転)させることで実現することも考えられる。
しかしながら、画像233,234の水平方向の長さ対垂直方向の長さの比をA:Bで表現するとき、A>Bであり、水平方向の長さの方が、垂直方向の長さよりも長い構成が一般的である。
例Ex13で示されるように、カメラを90度に回転させる場合、水平方向の長さの方が小さいため、水平方向の視野角が狭くなる。
そこで、本開示のステレオカメラシステム111を構成するカメラ131,132により撮像される画像は、例Ex14で示されるように、水平方向の長さと垂直方向の長さとの比A:Bが、例えば、4:3や16:9となるように、すなわち、水平方向の方が広くなるようにして、さらに、水平方向に列単位で順次画素信号を読み出し、かつ、各列において、垂直方向に画素単位で順次画素信号が読み出されるようにする。このような構成とすることで、本開示のステレオカメラシステム111は、水平方向の視野角を確保しつつ、読み出しタイミングのずれに起因する被写体の水平方向のずれを抑制し、距離測定を高精度に実現させる。
<1−9.具体的なカメラの画素信号の読み出し方法>
次に、図9を参照して、カメラ131,132の画素信号の具体的な読み出し方法について説明する。尚、図9においては、カメラ131における画素信号の読み出し方法を説明するものとするが、カメラ132においても同様である。また、カメラ131を構成する画素アレイは、水平方向×垂直方向が8個×6個の画素251により構成されるものとするが、これ以外の画素数で構成されていてもよい。
すなわち、カメラ131が、前方左側面部に設けられる場合、例えば、図9の左上部で示されるように、最初に、車両100の前方側の列SC1の画素の画素信号が、図中の最上段の画素から下方向に順次読み出され、最下段の画素251の画素信号が読み出されると、隣の列SC2の最上段の画素から下方向に順次読み出される。以下、同様に、列SC3乃至SC8の順序で、各列について、最上段の画素の画素信号から、下方向に隣接する画素の画素信号が順次読み出される。このような読み出し順序により、前進状態において、特に検出範囲の前方側の画素列の画素信号をより高速に読み出すことが可能となり、進行方向の状況を、より迅速に把握させることで、進行方向における状況に対応した処理を、より迅速に実現することが可能となる。
尚、図9の左上部においては、図中左部が車両100の前方(Front)であり、図中の上部が車両100の上方(up)であり、図中の下部が車両100の下方(down)である。
また、カメラ131が、前方右側面部に設けられる場合、例えば、図9の右上部で示されるように、車両100の前方側の列SC1’の画素の画素信号が、図中の最上段の画素から下方向に順次読み出され、最下段の画素251の画素信号が読み出されると、隣の列SC2’の最上段の画素から下方向に順次読み出される。以下、同様に、列SC3’乃至SC8’の順序で、各列について、最上段の画素の画素信号から読み出されて、下方向に隣接する画素の画素信号が順次読み出される。
尚、図9の右上部においては、図中右部が車両100の前方(Front)であり、図中の上部が車両100の上方(up)であり、図中の下部が車両100の下方(down)である。
また、図9の左上部および右上部のカメラ131においては、各列の画素信号は、最上段の画素から、下方向に隣接する画素の画素信号が順次読み出される例について説明しているが、最下段の画素から、上方向に画素信号が順次読み出されるようにしてもよい。
さらに、図9の左上部におけるカメラ131の車両100に対する前後方向を維持したまま、上下を反転させて設置することで、図9の右下部で示されるように、前方左側面部に設けるようにしてもよい。
すなわち、この場合、前方右側面部に設けるためのカメラ131と左側面部に設けるためのカメラ131とをそれぞれ別体として構成する必要がなく、同一の構成で左右のどちらの側面部にも設けるようにさせることが可能となる。
尚、図9の右上部のカメラ131の前後方向を維持させたまま、上下を反転させて、左側面部に設けるようにしてもよい。
<1−10.表示部の配置例>
次に、図10を参照して、表示部14の配置例について説明する。
表示部14については、自車両に予め備えられている装備を利用してもよいし、専用のディスプレイ等を設けてもよい。例えば、自車両のカーナビゲーションシステムのディスプレイ271や、インストルメントパネル272を表示部14として用いることが可能である。また、例えば、表示部14を自車両のウインドシールド273の運転席の前方の領域P1に重畳して設けられる透過型ディスプレイにより構成することが可能である。
<1−11.周辺監視処理>
次に、図11のフローチャートを参照して、車載システム10により実行される周辺監視処理について説明する。この処理は、例えば、自車両を起動し、運転を開始するための操作が行われたとき、例えば、自車両のイグニッションスイッチ、パワースイッチ、又は、スタートスイッチ等がオンされたとき開始される。また、この処理は、例えば、運転を終了するための操作が行われたとき、例えば、自車両のイグニッションスイッチ、パワースイッチ、又は、スタートスイッチ等がオフされたとき終了する。
ステップS1において、情報処理部13は、撮像制御部11を制御して、車両100の周辺画像データおよび距離データ取得処理を実行させ、周辺画像データおよび距離データを取得する。具体的には、周辺状況検出部31は、撮像制御部11を制御して、カメラシステム10により撮像された画像に基づいた車両100の周辺画像データおよび距離データを取得する。このとき、撮像制御部11は、カメラシステム10を制御して、周辺画像データおよび距離データ取得処理を実行させて、車両100の周辺画像データとステレオ距離計測結果である距離データを取得させる。動き予測部32は、車両情報センサ12の各センサから車両センサデータを取得する。尚、周辺画像データおよび距離データ取得処理については、図12のフローチャートを参照して、詳細を後述する。
ステップS2において、空間生成部41は、空間生成処理を行う。すなわち、空間生成部41は、周辺画像データおよび距離データに基づいて、自車両の周辺の物体の形状や位置等を示す3次元空間マップを生成する(或いは、更新する)。なお、自車両の周辺の物体には、動体だけでなく、静止物(例えば、建物、路面等)も含まれる。空間生成部41は、生成した3次元空間マップを動き予測部32及びHMI制御部34に供給する。
なお、3次元空間マップの生成方法には、任意の方法を用いることが可能である。例えば、SLAM(Simultaneous Localization and Mapping)等の技術が用いられる。
ステップS3において、動体検出部42は、動体検出を行う。具体的には、動体検出部42は、周辺センサデータ及び3次元空間マップに基づいて、自車両の周辺の動体の検出を行う。例えば、動体検出部42は、自車両の周辺の動体の有無、動体の種類、大きさ、形状、位置等の検出を行う。動体検出部42は、動体の検出結果を動き予測部32及びHMI制御部34に供給する。
なお、動体の検出方法には、任意の方法を用いることが可能である。また、検出対象となる動体には、実際に動いている動体だけでなく、停車中の車両や自転車、停止中の歩行者等の一時的に静止している動体も含まれる。
さらに、動体検出部42は、例えば、3次元空間マップを用いずに、周辺センサデータのみに基づいて、自車両の周辺の動体の検出を行うことも可能である。この場合、ステップS2とステップS3の処理を入れ替えることが可能である。
ステップS4において、動体検出部42は、ステップS3の処理の結果に基づいて、周辺に動体が存在するか否かを判定する。周辺に動体が存在しないと判定された場合、処理はステップS1に戻る。
その後、ステップS4において、周辺に動体が存在すると判定されるまで、ステップS1乃至ステップS4の処理が繰り返し実行される。
一方、ステップS4において、周辺に動体が存在すると判定された場合、処理はステップS5に進む。
ステップS5において、動き予測部32は、動き予測を行う。具体的には、動き予測部32は、車両センサデータに基づいて、自車両の移動速度及び移動方向等の予測を行う。また、動き予測部32は、3次元空間マップ、及び、自車両の周辺の動体の検出結果に基づいて、自車両の周辺の動体の移動速度及び移動方向等の予測を行う。動き予測部32は、予測結果を衝突予測部33及びHMI制御部34に供給する。
なお、動き予測の方法には、任意の方法を用いることが可能である。
ステップS6において、衝突予測部33は、衝突予測を行う。具体的には、衝突予測部33は、自車両及び自車両の周辺の動体の動きの予測結果に基づいて、自車両の周辺の動体が自車両に衝突又は接触する可能性があるか否か、並びに、衝突又は接触する可能性のある動体の衝突又は接触するまでの所要時間(以下、衝突予測時間と称する)を予測する。
また、衝突予測部33は、各動体が自車両に衝突又は接触する危険度を予測し、あらかじめ決められた定義に基づきランクを設定する。例えば、静止中の動体、及び、自車両から離れる方向に移動中の動体は、危険度1に設定される。自車両に接近する方向に移動中の動体のうち、衝突予測時間がT1秒(例えば、5秒)を超える動体は、危険度2に設定される。自車両に接近する方向に移動中の動体のうち、衝突予測時間がT1秒以内、かつ、T2秒(例えば1秒)を超える動体は、危険度3に設定される。自車両に接近する方向に移動中の動体のうち、衝突予測時間がT2秒以内である動体は、危険度4に設定される。
なお、静止中の動体、及び、自車両から離れる方向に移動中の動体についても、衝突予測時間に基づいて、危険度2乃至4のいずれかに設定するようにしてもよい。
衝突予測部33は、衝突予測の結果をHMI制御部34及び制動制御部15に供給する。
ステップS7において、衝突予測部33は、衝突又は接触の危険性があるか否かを判定する。例えば、衝突予測部33は、自車両の周辺に危険度3以上の動体が存在しない場合、衝突及び接触の危険性がないと判定し、処理はステップS1に戻る。
その後、ステップS7において、衝突又は接触の危険性があると判定されるまで、ステップS1乃至ステップS7の処理が繰り返し実行される。
一方、ステップS7において、例えば、衝突予測部33は、自車両の周辺に危険度3以上の動体が存在する場合、衝突又は接触の危険性があると判定し、処理はステップS8に進む。
ステップS8において、HMI制御部34は、動体種別を設定する。例えば、HMI制御部34は、動体検出部42により検出された動体を、車両、モータバイク、自転車、歩行者、及び、その他の5種類に分類する。なお、モータバイクも車両の一種であるが、ここでは、モータバイクと、それ以外の車両とが区別されている。
ステップS9において、HMI制御部34は、重畳画像の表示位置を算出する。重畳画像は、例えば、各動体の位置を示すフレーム(以下、動体フレームと称する)、及び、各動体の予測される動きを示すバー(以下、動き予測バーと称する)を含む。
そこで、HMI制御部34は、3次元空間マップにおける各動体の位置、並びに、各動体の進行方向から見た各動体の高さ及び幅等に基づいて、各動体に対応する動体フレームの3次元空間マップにおける表示位置を算出する。
また、HMI制御部34は、各動体の動き予測の結果に基づいて、3次元空間マップにおける各動体のx秒後(例えば、1秒後)の位置を算出する。次に、HMI制御部34は、3次元空間マップ上の各動体の現在位置とx秒後の位置とに基づいて、各動体に対応する動き予測バーの3次元空間マップ上の表示位置を算出する。例えば、HMI制御部34は、現在の各動体の進行方向の先端を始点とし、x秒後の各動体の進行方向の先端を終点とすることにより、動き予測バーの長さ及び方向を算出する。
ステップS10において、車載システム10は、周辺の状況を提示する。具体的には、HMI制御部34は、3次元空間マップにおける重畳画像(動体フレーム及び動き予測バー等)の表示位置を、運転者に提示する周辺画像における表示位置に変換する。また、HMI制御部34は、3次元空間マップにおける路面の位置を周辺画像における表示位置に変換し、周辺画像における路面の位置を示すグリッドの表示位置を算出する。そして、HMI制御部34は、周辺監視画像を示す周辺監視画像データを生成し、表示部14に供給し、周辺監視画像を表示させる。
ステップS11において、制動制御部15は、緊急停止が必要であるか否かを判定する。例えば、制動制御部15は、自車両の周辺の動体の中に危険度4の動体が存在しない場合、緊急停止の必要がないと判定し、処理はステップS1に戻る。
その後、ステップS11において、緊急停止が必要であると判定されるまで、ステップS1乃至ステップS11の処理が繰り返し実行される。
一方、ステップS11において、例えば、制動制御部15は、自車両の周辺の動体の中に危険度4の動体が存在する場合、緊急停止の必要があると判定し、処理はステップS12に進む。
ステップS12において、制動制御部15は、制動装置16を制御して、自車両を緊急停止させる。これにより、自車両の周辺の動体との衝突又は接触が防止される。
その後、周辺監視処理は終了する。
以上のようにして、自車両の周辺の動体との衝突又は接触の危険性を分かりやすく通知することができ、運転者が衝突又は接触の危険性を確実に認識することができる。また、危険度4の動体が存在する場合、緊急停止が行われるため、事故の発生が防止される。
<1−12.周辺画像データおよび距離データ取得処理>
次に、図12のフローチャートを参照して、周辺画像データおよび距離データ取得処理について説明する。
ステップS31において、ステレオカメラシステム111を構成するカメラ131とカメラ132は観測点を撮像する。
ステップS32において、画像補正部171は、カメラ131により撮像された画像について、レンズ収差、カメラ画像の歪みなどを補正する。同様に、画像補正部172は、カメラ132により撮像された画像について、レンズ収差、カメラ画像の歪みなどを補正する。すなわち、距離算出のため画像の歪が補正され、画像が仮想平面に投影されて平面画像とされる。
ステップS33において、ステレオ画像処理部173は、観測点までの距離を演算し、距離データと共に、平面画像からなる撮像画像を周辺画像データとして統合部152に出力する。すなわち、カメラ131とカメラ132は、距離Lだけ垂直方向に離れた位置に配置されている。従って、カメラ131により撮像された画像とカメラ132により撮像された画像は位相差を有しており、その位相差に基づいて観測点までの距離を演算することができる。すなわち、カメラ131,132の一方の画像に映っている物体に対応する物体が他方の画像から検出され、2つの画像における物体の位置のずれから距離が算出される。尚、以上の処理は、車両100の左右の前方側面に設けられたステレオカメラシステム111A,111Bのそれぞれで実行される。
ステップS34において、統合部93は、ステレオカメラシステム111A,111Bのそれぞれの計測データと周辺画像データとを統合し、車両100の全方向の距離データとして、周辺画像データと共に撮像制御部11に出力する。
ステップS35において、ステレオ画像処理部173は処理を終了するかを判定する。使用者からまだ処理の終了が指示されていない場合、処理はステップS31に戻り、それ以降の処理が繰り返される。処理の終了が指示されている場合、処理は終了される。
以上の処理により、ステレオ距離計測部151A,151Bのそれぞれにより検出範囲112A,112Bにおける距離計測結果である距離データが、周辺画像データと共に統合部152に出力されて、撮像制御部11に順次繰り返し出力される。
また、ステップS31において、カメラ131,132が検出範囲を撮像する際には、上述したように、車両100の前方側の画素列から水平方向に隣接する後方の画素列に向かう順序で、かつ、各画素列において、最上段の画素から下方向に隣接する画素の画素信号が順次読み出される、または、最下段の画素から上方向に隣接する画素の画素信号が順次読み出される。
このように画素信号が読み出されることにより、上述したように、カメラ131,132のそれぞれで撮像された画像内における被写体のフォーカルプレーン歪みや、読み出しタイミングのずれに伴った水平方向の被写体のずれの発生を抑制することができ、それぞれの画像内の被写体を同一の被写体として認識することができるので、高精度に視差に基づいたずれによる距離計測を実現することが可能となる。
尚、以上の構成例においては、撮像制御部11が、周辺画像における被写体(対象物)までの距離を距離データとして計測する例について説明しているが、距離データの計測そのものは、他の構成で実現するようにしてもよく、例えば、空間生成部41が、距離データの生成と3次元空間マップの生成とを同時に実現するようにしてもよい。
また、以上においては、動体の種類(例えば、歩行者、自動車などの種類)の検出処理は、動体検出部42が実施する例について説明してきたが、それ以外の構成が実施するようにしてもよく、例えば、撮像制御部11が実施するようにしてもよい。
<<2.変形例>>
以上においては、ステレオカメラシステム111が、車両100の前方側面部にカメラ131,132が垂直方向に視差が生じるように並べて配置される例について説明してきたが、車両100の車体の前方以外の位置に、カメラ131,132の視差が垂直方向に生じるようにステレオカメラシステム111が配置されてもよい。
例えば、ステレオカメラシステム111は、車両100の中央側面部近傍の位置に、カメラ131,132が垂直方向に視差が生じるように側面方向を撮像するように設けられるようにしてもよい。
より具体的には、ステレオカメラシステム111は、例えば、図13で示されるように、ドアミラー301に、カメラ131,132の視差が垂直方向に生じるように、垂直方向に並べて取り付けられているようにしてもよい。
尚、車両100の中央側面部近傍であれば、ステレオカメラシステム111は、ドアミラー301以外の位置でもよく、例えば、ピラー(フロントピラー、センタピラー、リアピラー等)、ドア、ルーフレール等に取り付けるようにしてもよい。
また、図14で示されるように、ステレオカメラシステム111は、車両100の後方側面部に、カメラ131,132が垂直方向に視差が生じるように取り付けられているようにしてもよい。
さらに、図14で示されるように、車両100の後方側面部に、カメラ131,132が垂直方向に視差が生じるように取り付けられる場合、ステレオカメラシステム111は、後方に後退する際に使用される用途が多くなるので、側面後方側の検出範囲の画素信号をより高速に読み出すようにしてもよい。
例えば、カメラ131,132の画素アレイの後方側の画素列から、各画素列について、最上段の画素の画素信号から、下方向に隣接する画素の画素信号が順次読み出される、または、最下段の画素の画素信号から、上方向に隣接する画素の画素信号が順次読み出されるようにしてもよい。
すなわち、カメラ131が、後方左側面部に設けられる場合、例えば、図15の左上部で示されるように、最初に、車両100の後方側の列SC8の画素の画素信号が、図中の最上段の画素から下方向に順次読み出され、最下段の画素251の画素信号が読み出されると、隣の列SC7の最上段の画素から下方向に順次読み出される。以下、同様に、列SC6乃至SC1の順序で、各列について、最上段の画素の画素信号から、下方向に隣接する画素の画素信号が順次読み出される。
尚、図15の左上部においては、図中右部が車両100の後方(Rear)であり、図中の上部が車両100の上方(up)であり、図中の下部が車両100の下方(down)である。
また、カメラ131が、後方右側面部に設けられる場合、例えば、図15の右上部で示されるように、車両100の後方側の列SC8’の画素の画素信号が、図中の最上段の画素から下方向に順次読み出され、最下段の画素251の画素信号が読み出されると、隣の列SC7’の最上段の画素から下方向に順次読み出される。以下、同様に、列SC6’乃至SC1’の順序で、各列について、最上段の画素の画素信号から読み出されて、下方向に隣接する画素の画素信号が順次読み出される。
尚、図15の右上部においては、図中左部が車両100の後方(Rear)であり、図中の上部が車両100の上方(up)であり、図中の下部が車両100の下方(down)である。
また、図15の左上部および右上部のカメラ131においては、各列の画素信号は、最上段の画素から、下方向に隣接する画素の画素信号が順次読み出される例について説明しているが、最下段の画素から、上方向に画素信号が順次読み出されるようにしてもよい。
さらに、図15の左上部におけるカメラ131の車両100に対する前後方向を維持したまま、上下を反転させて設置することで、図15の右下部で示されるように、後方左側面部に設けるようにしてもよい。
すなわち、この場合、後方右側面部に設けるためのカメラ131と左側面部に設けるためのカメラ131とをそれぞれ別体として構成する必要がなく、同一の構成で左右のどちらの側面部にも設けるようにさせることが可能となる。
尚、図15の右上部のカメラ131の前後方向を維持させたまま、上下を反転させて、左側面部に設けるようにしてもよい。
このような読み出し順序により、後進状態において、特に検出範囲の後方側の画素列の画素信号をより高速に読み出すことが可能となり、進行方向の状況を、より迅速に把握させることで、進行方向における状況に対応した処理を、より迅速に実現することが可能となる。
すなわち、ステレオカメラシステム111は、車両100の側面部であれば、前方、中央、後方のいずれに設置されてもよいし、それらの少なくともいずれかを組み合わせて設置されるようにしてもよい。
また、車両100の前方側面部、および後方側面部にステレオカメラシステム111が設置される場合、カメラ131,132として、視野角をやや狭くした狭角度で、かつ、遠方を撮像できるカメラを採用するようにしてもよい。すなわち、車両100の前方側面部、および後方側面部にステレオカメラシステム111が設置される場合、狭角度のカメラを採用することにより、より迅速な交差点内の状況把握を実現することが可能となる。
さらに、車両100の中央側面部にステレオカメラシステム111が設置される場合、カメラ131,132として、視野角をやや広くした広角度で、かつ、近傍をよく撮像できるカメラを採用するようにしてもよい。すなわち、車両100の中央側面部にステレオカメラシステム111が設置される場合、広角度のカメラを採用することにより、前方および後方を含めた広い範囲の側方における状況把握を実現することが可能となる。
<<3.応用例>>
本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット、建設機械、農業機械(トラクター)などのいずれかの種類の移動体に搭載される装置として実現されてもよい。
図16は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システム7000の概略的な構成例を示すブロック図である。車両制御システム7000は、通信ネットワーク7010を介して接続された複数の電子制御ユニットを備える。図16に示した例では、車両制御システム7000は、駆動系制御ユニット7100、ボディ系制御ユニット7200、バッテリ制御ユニット7300、車外情報検出ユニット7400、車内情報検出ユニット7500、及び統合制御ユニット7600を備える。これらの複数の制御ユニットを接続する通信ネットワーク7010は、例えば、CAN(Controller Area Network)、LIN(Local Interconnect Network)、LAN(Local Area Network)又はFlexRay(登録商標)等の任意の規格に準拠した車載通信ネットワークであってよい。
各制御ユニットは、各種プログラムにしたがって演算処理を行うマイクロコンピュータと、マイクロコンピュータにより実行されるプログラム又は各種演算に用いられるパラメータ等を記憶する記憶部と、各種制御対象の装置を駆動する駆動回路とを備える。各制御ユニットは、通信ネットワーク7010を介して他の制御ユニットとの間で通信を行うためのネットワークI/Fを備えるとともに、車内外の装置又はセンサ等との間で、有線通信又は無線通信により通信を行うための通信I/Fを備える。図16では、統合制御ユニット7600の機能構成として、マイクロコンピュータ7610、汎用通信I/F7620、専用通信I/F7630、測位部7640、ビーコン受信部7650、車内機器I/F7660、音声画像出力部7670、車載ネットワークI/F7680及び記憶部7690が図示されている。他の制御ユニットも同様に、マイクロコンピュータ、通信I/F及び記憶部等を備える。
駆動系制御ユニット7100は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット7100は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。駆動系制御ユニット7100は、ABS(Antilock Brake System)又はESC(Electronic Stability Control)等の制御装置としての機能を有してもよい。
駆動系制御ユニット7100には、車両状態検出部7110が接続される。車両状態検出部7110には、例えば、車体の軸回転運動の角速度を検出するジャイロセンサ、車両の加速度を検出する加速度センサ、あるいは、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数又は車輪の回転速度等を検出するためのセンサのうちの少なくとも一つが含まれる。駆動系制御ユニット7100は、車両状態検出部7110から入力される信号を用いて演算処理を行い、内燃機関、駆動用モータ、電動パワーステアリング装置又はブレーキ装置等を制御する。
ボディ系制御ユニット7200は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット7200は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット7200には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット7200は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
バッテリ制御ユニット7300は、各種プログラムにしたがって駆動用モータの電力供給源である二次電池7310を制御する。例えば、バッテリ制御ユニット7300には、二次電池7310を備えたバッテリ装置から、バッテリ温度、バッテリ出力電圧又はバッテリの残存容量等の情報が入力される。バッテリ制御ユニット7300は、これらの信号を用いて演算処理を行い、二次電池7310の温度調節制御又はバッテリ装置に備えられた冷却装置等の制御を行う。
車外情報検出ユニット7400は、車両制御システム7000を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット7400には、撮像部7410及び車外情報検出部7420のうちの少なくとも一方が接続される。撮像部7410には、ToF(Time Of Flight)カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ及びその他のカメラのうちの少なくとも一つが含まれる。車外情報検出部7420には、例えば、現在の天候又は気象を検出するための環境センサ、あるいは、車両制御システム7000を搭載した車両の周囲の他の車両、障害物又は歩行者等を検出するための周囲情報検出センサのうちの少なくとも一つが含まれる。
環境センサは、例えば、雨天を検出する雨滴センサ、霧を検出する霧センサ、日照度合いを検出する日照センサ、及び降雪を検出する雪センサのうちの少なくとも一つであってよい。周囲情報検出センサは、超音波センサ、レーダ装置及びLIDAR(Light Detection and Ranging、Laser Imaging Detection and Ranging)装置のうちの少なくとも一つであってよい。これらの撮像部7410及び車外情報検出部7420は、それぞれ独立したセンサないし装置として備えられてもよいし、複数のセンサないし装置が統合された装置として備えられてもよい。
ここで、図17は、撮像部7410及び車外情報検出部7420の設置位置の例を示す。撮像部7910,7912,7914,7916,7918は、例えば、車両7900のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部のうちの少なくとも一つの位置に設けられる。フロントノーズに備えられる撮像部7910及び車室内のフロントガラスの上部に備えられる撮像部7918は、主として車両7900の前方の画像を取得する。サイドミラーに備えられる撮像部7912,7914は、主として車両7900の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部7916は、主として車両7900の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部7918は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
なお、図17には、それぞれの撮像部7910,7912,7914,7916の撮影範囲の一例が示されている。撮像範囲aは、フロントノーズに設けられた撮像部7910の撮像範囲を示し、撮像範囲b,cは、それぞれサイドミラーに設けられた撮像部7912,7914の撮像範囲を示し、撮像範囲dは、リアバンパ又はバックドアに設けられた撮像部7916の撮像範囲を示す。例えば、撮像部7910,7912,7914,7916で撮像された画像データが重ね合わせられることにより、車両7900を上方から見た俯瞰画像が得られる。
車両7900のフロント、リア、サイド、コーナ及び車室内のフロントガラスの上部に設けられる車外情報検出部7920,7922,7924,7926,7928,7930は、例えば超音波センサ又はレーダ装置であってよい。車両7900のフロントノーズ、リアバンパ、バックドア及び車室内のフロントガラスの上部に設けられる車外情報検出部7920,7926,7930は、例えばLIDAR装置であってよい。これらの車外情報検出部7920〜7930は、主として先行車両、歩行者又は障害物等の検出に用いられる。
図16に戻って説明を続ける。車外情報検出ユニット7400は、撮像部7410に車外の画像を撮像させるとともに、撮像された画像データを受信する。また、車外情報検出ユニット7400は、接続されている車外情報検出部7420から検出情報を受信する。車外情報検出部7420が超音波センサ、レーダ装置又はLIDAR装置である場合には、車外情報検出ユニット7400は、超音波又は電磁波等を発信させるとともに、受信された反射波の情報を受信する。車外情報検出ユニット7400は、受信した情報に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。車外情報検出ユニット7400は、受信した情報に基づいて、降雨、霧又は路面状況等を認識する環境認識処理を行ってもよい。車外情報検出ユニット7400は、受信した情報に基づいて、車外の物体までの距離を算出してもよい。
また、車外情報検出ユニット7400は、受信した画像データに基づいて、人、車、障害物、標識又は路面上の文字等を認識する画像認識処理又は距離検出処理を行ってもよい。車外情報検出ユニット7400は、受信した画像データに対して歪補正又は位置合わせ等の処理を行うとともに、異なる撮像部7410により撮像された画像データを合成して、俯瞰画像又はパノラマ画像を生成してもよい。車外情報検出ユニット7400は、異なる撮像部7410により撮像された画像データを用いて、視点変換処理を行ってもよい。
車内情報検出ユニット7500は、車内の情報を検出する。車内情報検出ユニット7500には、例えば、運転者の状態を検出する運転者状態検出部7510が接続される。運転者状態検出部7510は、運転者を撮像するカメラ、運転者の生体情報を検出する生体センサ又は車室内の音声を集音するマイク等を含んでもよい。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座った搭乗者又はステアリングホイールを握る運転者の生体情報を検出する。車内情報検出ユニット7500は、運転者状態検出部7510から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。車内情報検出ユニット7500は、集音された音声信号に対してノイズキャンセリング処理等の処理を行ってもよい。
統合制御ユニット7600は、各種プログラムにしたがって車両制御システム7000内の動作全般を制御する。統合制御ユニット7600には、入力部7800が接続されている。入力部7800は、例えば、タッチパネル、ボタン、マイクロフォン、スイッチ又はレバー等、搭乗者によって入力操作され得る装置によって実現される。統合制御ユニット7600には、マイクロフォンにより入力される音声を音声認識することにより得たデータが入力されてもよい。入力部7800は、例えば、赤外線又はその他の電波を利用したリモートコントロール装置であってもよいし、車両制御システム7000の操作に対応した携帯電話又はPDA(Personal Digital Assistant)等の外部接続機器であってもよい。入力部7800は、例えばカメラであってもよく、その場合搭乗者はジェスチャにより情報を入力することができる。あるいは、搭乗者が装着したウェアラブル装置の動きを検出することで得られたデータが入力されてもよい。さらに、入力部7800は、例えば、上記の入力部7800を用いて搭乗者等により入力された情報に基づいて入力信号を生成し、統合制御ユニット7600に出力する入力制御回路などを含んでもよい。搭乗者等は、この入力部7800を操作することにより、車両制御システム7000に対して各種のデータを入力したり処理動作を指示したりする。
記憶部7690は、マイクロコンピュータにより実行される各種プログラムを記憶するROM(Read Only Memory)、及び各種パラメータ、演算結果又はセンサ値等を記憶するRAM(Random Access Memory)を含んでいてもよい。また、記憶部7690は、HDD(Hard Disc Drive)等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等によって実現してもよい。
汎用通信I/F7620は、外部環境7750に存在する様々な機器との間の通信を仲介する汎用的な通信I/Fである。汎用通信I/F7620は、GSM(Global System of Mobile communications)、WiMAX、LTE(Long Term Evolution)若しくはLTE−A(LTE−Advanced)などのセルラー通信プロトコル、又は無線LAN(Wi−Fi(登録商標)ともいう)、Bluetooth(登録商標)などのその他の無線通信プロトコルを実装してよい。汎用通信I/F7620は、例えば、基地局又はアクセスポイントを介して、外部ネットワーク(例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク)上に存在する機器(例えば、アプリケーションサーバ又は制御サーバ)へ接続してもよい。また、汎用通信I/F7620は、例えばP2P(Peer To Peer)技術を用いて、車両の近傍に存在する端末(例えば、運転者、歩行者若しくは店舗の端末、又はMTC(Machine Type Communication)端末)と接続してもよい。
専用通信I/F7630は、車両における使用を目的として策定された通信プロトコルをサポートする通信I/Fである。専用通信I/F7630は、例えば、下位レイヤのIEEE802.11pと上位レイヤのIEEE1609との組合せであるWAVE(Wireless Access in Vehicle Environment)、DSRC(Dedicated Short Range Communications)、又はセルラー通信プロトコルといった標準プロトコルを実装してよい。専用通信I/F7630は、典型的には、車車間(Vehicle to Vehicle)通信、路車間(Vehicle to Infrastructure)通信、車両と家との間(Vehicle to Home)の通信及び歩車間(Vehicle to Pedestrian)通信のうちの1つ以上を含む概念であるV2X通信を遂行する。
測位部7640は、例えば、GNSS(Global Navigation Satellite System)衛星からのGNSS信号(例えば、GPS(Global Positioning System)衛星からのGPS信号)を受信して測位を実行し、車両の緯度、経度及び高度を含む位置情報を生成する。なお、測位部7640は、無線アクセスポイントとの信号の交換により現在位置を特定してもよく、又は測位機能を有する携帯電話、PHS若しくはスマートフォンといった端末から位置情報を取得してもよい。
ビーコン受信部7650は、例えば、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行止め又は所要時間等の情報を取得する。なお、ビーコン受信部7650の機能は、上述した専用通信I/F7630に含まれてもよい。
車内機器I/F7660は、マイクロコンピュータ7610と車内に存在する様々な車内機器7760との間の接続を仲介する通信インタフェースである。車内機器I/F7660は、無線LAN、Bluetooth(登録商標)、NFC(Near Field Communication)又はWUSB(Wireless USB)といった無線通信プロトコルを用いて無線接続を確立してもよい。また、車内機器I/F7660は、図示しない接続端子(及び、必要であればケーブル)を介して、USB(Universal Serial Bus)、HDMI(High-Definition Multimedia Interface)、又はMHL(Mobile High-definition Link)等の有線接続を確立してもよい。車内機器7760は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、又は車両に搬入され若しくは取り付けられる情報機器のうちの少なくとも1つを含んでいてもよい。また、車内機器7760は、任意の目的地までの経路探索を行うナビゲーション装置を含んでいてもよい。車内機器I/F7660は、これらの車内機器7760との間で、制御信号又はデータ信号を交換する。
車載ネットワークI/F7680は、マイクロコンピュータ7610と通信ネットワーク7010との間の通信を仲介するインタフェースである。車載ネットワークI/F7680は、通信ネットワーク7010によりサポートされる所定のプロトコルに則して、信号等を送受信する。
統合制御ユニット7600のマイクロコンピュータ7610は、汎用通信I/F7620、専用通信I/F7630、測位部7640、ビーコン受信部7650、車内機器I/F7660及び車載ネットワークI/F7680のうちの少なくとも一つを介して取得される情報に基づき、各種プログラムにしたがって、車両制御システム7000を制御する。例えば、マイクロコンピュータ7610は、取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット7100に対して制御指令を出力してもよい。例えば、マイクロコンピュータ7610は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むADAS(Advanced Driver Assistance System)の機能実現を目的とした協調制御を行ってもよい。また、マイクロコンピュータ7610は、取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行ってもよい。
マイクロコンピュータ7610は、汎用通信I/F7620、専用通信I/F7630、測位部7640、ビーコン受信部7650、車内機器I/F7660及び車載ネットワークI/F7680のうちの少なくとも一つを介して取得される情報に基づき、車両と周辺の構造物や人物等の物体との間の3次元距離情報を生成し、車両の現在位置の周辺情報を含むローカル地図情報を作成してもよい。また、マイクロコンピュータ7610は、取得される情報に基づき、車両の衝突、歩行者等の近接又は通行止めの道路への進入等の危険を予測し、警告用信号を生成してもよい。警告用信号は、例えば、警告音を発生させたり、警告ランプを点灯させたりするための信号であってよい。
音声画像出力部7670は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図16の例では、出力装置として、オーディオスピーカ7710、表示部7720及びインストルメントパネル7730が例示されている。表示部7720は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。表示部7720は、AR(Augmented Reality)表示機能を有していてもよい。出力装置は、これらの装置以外の、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ又はランプ等の他の装置であってもよい。出力装置が表示装置の場合、表示装置は、マイクロコンピュータ7610が行った各種処理により得られた結果又は他の制御ユニットから受信された情報を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。また、出力装置が音声出力装置の場合、音声出力装置は、再生された音声データ又は音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。
なお、図16に示した例において、通信ネットワーク7010を介して接続された少なくとも二つの制御ユニットが一つの制御ユニットとして一体化されてもよい。あるいは、個々の制御ユニットが、複数の制御ユニットにより構成されてもよい。さらに、車両制御システム7000が、図示されていない別の制御ユニットを備えてもよい。また、上記の説明において、いずれかの制御ユニットが担う機能の一部又は全部を、他の制御ユニットに持たせてもよい。つまり、通信ネットワーク7010を介して情報の送受信がされるようになっていれば、所定の演算処理が、いずれかの制御ユニットで行われるようになってもよい。同様に、いずれかの制御ユニットに接続されているセンサ又は装置が、他の制御ユニットに接続されるとともに、複数の制御ユニットが、通信ネットワーク7010を介して相互に検出情報を送受信してもよい。
なお、図1を用いて説明した本実施形態に係る撮像制御部11および情報処理部13の各機能を実現するためのコンピュータプログラムを、いずれかの制御ユニット等に実装することができる。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体を提供することもできる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。
以上説明した車両制御システム7000において、図1を用いて説明した本実施形態に係る撮像制御部11および情報処理部13は、図16に示した応用例の統合制御ユニット7600に適用することができる。例えば、撮像制御部11のステレオ距離計測部151A,151B、統合部152は、統合制御ユニット7600のマイクロコンピュータ7610に相当する。例えば、統合制御ユニット7600がカメラシステム10により撮像された画像に基づいて、距離データおよび周辺画像データ取得処理を実行することにより、周辺の対象物との距離データおよび周辺画像データを取得することができる。
また、図1を用いて説明した撮像制御部11および情報処理部13の少なくとも一部の構成要素は、図16に示した統合制御ユニット7600のためのモジュール(例えば、一つのダイで構成される集積回路モジュール)において実現されてもよい。あるいは、図1を用いて説明した撮像制御部11および情報処理部13が、図16に示した車両制御システム7000の複数の制御ユニットによって実現されてもよい。
尚、本開示は、以下のような構成も取ることができる。
<1> 移動体に搭載され、ステレオカメラシステムを構成する1組のカメラと、
前記1組のカメラにより撮像された画像に基づいて、検出範囲における観測点の距離を検出する検出部を含み、
前記1組のカメラは、前記移動体の側面で、かつ、路面に対して垂直方向に並べて配設され、撮像される画素信号を、アレイ状に配置された画素単位で垂直方向に順次読み出す
撮像制御装置。
<2> 前記1組のカメラは、それぞれ前記移動体の前方側の画素の列から順に、かつ、各列について、垂直方向に順に画素信号を読み出す
<1>に記載の撮像制御装置。
<3> 前記1組のカメラは、それぞれ前記移動体の前方側の画素の列から順に、かつ、各列について、垂直方向に下から上方向、または、上から下方向に順次画素信号を読み出す
<2>に記載の撮像制御装置。
<4> 前記1組のカメラは、前記移動体の左右の側面のそれぞれに、かつ、前記路面に対して垂直方向に並べて配設され、前記移動体の左右のそれぞれの前記1組のカメラが、前記移動体の前方側の画素の列から順に、かつ、各列について、垂直方向に下から上方向、または、上から下方向に順次画素信号を読み出す
<3>に記載の撮像制御装置。
<5> 前記1組のカメラは、前記移動体の左右の側面のそれぞれに、かつ、前記路面に対して垂直方向に並べて配設され、前記移動体の左右の一方の前記1組のカメラが、前記移動体の前方側の画素の列から順に、かつ、各列について、垂直方向に下から上方向に順次画素信号を読み出し、左右の他方の前記1組のカメラが、前記移動体の前方側の画素の列から順に、かつ、各列について、垂直方向に上から下方向に順次画素信号を読み出す
<3>に記載の撮像制御装置。
<6> 前記1組のカメラは、前記移動体の前方の左右のそれぞれの側面、前記移動体の中央の左右のそれぞれの側面、および前記移動体の後方の左右のそれぞれの側面の少なくともいずれかに、それぞれ前記路面に対して垂直方向に視差が生じるように並べて配設される
<1>乃至<5>のいずれかに記載の撮像制御装置。
<7> 前記1組のカメラが、前記移動体の前方の左右のそれぞれ側面、または、前記移動体の後方の左右のそれぞれの側面に、前記路面に対して垂直方向に並べて配設される場合、前記カメラは、それぞれ所定の角度よりも狭角度のカメラである
<6>に記載の撮像制御装置。
<8> 前記1組のカメラが、前記移動体の中央の左右のそれぞれの側面に、前記路面に対して垂直方向に並べて配設される場合、前記カメラは、それぞれ所定の角度よりも広角度のカメラである
<6>のいずれかに記載の撮像制御装置。
<9> 前記カメラの画素の配置は、水平方向の幅が、垂直方向の幅よりも長くなるように、アレイ状に配置される
<1>乃至<8>のいずれかに記載の撮像制御装置。
<10> 前記カメラの画素の配置は、前記水平方向の幅と、前記垂直方向の幅との比が、略16:9または略4:3となるようにアレイ状に配置される
<9>に記載の撮像制御装置。
<11> 移動体に搭載され、ステレオカメラシステムを構成する1組のカメラにより撮像された画像に基づいて、検出範囲における観測点の距離を検出する検出部を含む撮像制御装置の制御方法であって、
前記1組のカメラが、前記移動体の側面で、かつ、路面に対して垂直方向に並べて配設され、撮像される画素信号を、アレイ状に配置された画素単位で垂直方向に順次読み出す
ステップを含む撮像制御装置の制御方法。
<12> 移動体に搭載されたステレオカメラシステムを構成する1組のカメラと、
前記1組のカメラにより撮像された画像に基づいて、検出範囲における観測点の距離を検出する検出部とを有し、
前記1組のカメラは、前記移動体の側面で、かつ、路面に対して垂直方向に並べて配設され、撮像される画素信号を、アレイ状に配置された画素単位で垂直方向に順次読み出す撮像制御装置
を備えた移動体。
1 車載システム, 10 カメラシステム, 11 撮像制御部, 12 車両情報センサ, 13 情報処理部, 14 表示部, 15 制動制御部, 16 制動装置, 31 周辺状況検出部, 32 動き予測部, 33 衝突予測部, 34 HMI制御部, 100 車両, 111,111A,111B ステレオカメラシステム, 131,131A,131B,132,132A,132B カメラ, 151,151A,151B ステレオ距離計測部, 152 統合部, 171,172 画像補正部, 173 ステレオ画像処理部

Claims (12)

  1. 移動体に搭載され、ステレオカメラシステムを構成する1組のカメラと、
    前記1組のカメラにより撮像された画像に基づいて、検出範囲における観測点の距離を検出する検出部を含み、
    前記1組のカメラは、前記移動体の側面で、かつ、路面に対して垂直方向に並べて配設され、撮像される画素信号を、アレイ状に配置された画素単位で垂直方向に順次読み出す
    撮像制御装置。
  2. 前記1組のカメラは、それぞれ前記移動体の前方側の画素の列から順に、かつ、各列について、垂直方向に順に画素信号を読み出す
    請求項1に記載の撮像制御装置。
  3. 前記1組のカメラは、それぞれ前記移動体の前方側の画素の列から順に、かつ、各列について、垂直方向に下から上方向、または、上から下方向に順次画素信号を読み出す
    請求項2に記載の撮像制御装置。
  4. 前記1組のカメラは、前記移動体の左右の側面のそれぞれに、かつ、前記路面に対して垂直方向に並べて配設され、前記移動体の左右のそれぞれの前記1組のカメラが、前記移動体の前方側の画素の列から順に、かつ、各列について、垂直方向に下から上方向、または、上から下方向に順次画素信号を読み出す
    請求項3に記載の撮像制御装置。
  5. 前記1組のカメラは、前記移動体の左右の側面のそれぞれに、かつ、前記路面に対して垂直方向に並べて配設され、前記移動体の左右の一方の前記1組のカメラが、前記移動体の前方側の画素の列から順に、かつ、各列について、垂直方向に下から上方向に順次画素信号を読み出し、左右の他方の前記1組のカメラが、前記移動体の前方側の画素の列から順に、かつ、各列について、垂直方向に上から下方向に順次画素信号を読み出す
    請求項3に記載の撮像制御装置。
  6. 前記1組のカメラは、前記移動体の前方の左右のそれぞれの側面、前記移動体の中央の左右のそれぞれの側面、および前記移動体の後方の左右のそれぞれの側面の少なくともいずれかに、それぞれ前記路面に対して垂直方向に視差が生じるように並べて配設される
    請求項1に記載の撮像制御装置。
  7. 前記1組のカメラが、前記移動体の前方の左右のそれぞれ側面、または、前記移動体の後方の左右のそれぞれの側面に、前記路面に対して垂直方向に並べて配設される場合、前記カメラは、それぞれ所定の角度よりも狭角度のカメラである
    請求項6に記載の撮像制御装置。
  8. 前記1組のカメラが、前記移動体の中央の左右のそれぞれの側面に、前記路面に対して垂直方向に並べて配設される場合、前記カメラは、それぞれ所定の角度よりも広角度のカメラである
    請求項6に記載の撮像制御装置。
  9. 前記カメラの画素の配置は、水平方向の幅が、垂直方向の幅よりも長くなるように、アレイ状に配置される
    請求項1に記載の撮像制御装置。
  10. 前記カメラの画素の配置は、前記水平方向の幅と、前記垂直方向の幅との比が、略16:9または略4:3となるようにアレイ状に配置される
    請求項9に記載の撮像制御装置。
  11. 移動体に搭載され、ステレオカメラシステムを構成する1組のカメラにより撮像された画像に基づいて、検出範囲における観測点の距離を検出する検出部を含む撮像制御装置の制御方法であって、
    前記1組のカメラが、前記移動体の側面で、かつ、路面に対して垂直方向に並べて配設され、撮像される画素信号を、アレイ状に配置された画素単位で垂直方向に順次読み出す
    ステップを含む撮像制御装置の制御方法。
  12. 移動体に搭載されたステレオカメラシステムを構成する1組のカメラと、
    前記1組のカメラにより撮像された画像に基づいて、検出範囲における観測点の距離を検出する検出部とを有し、
    前記1組のカメラは、前記移動体の側面で、かつ、路面に対して垂直方向に並べて配設され、撮像される画素信号を、アレイ状に配置された画素単位で垂直方向に順次読み出す撮像制御装置
    を備えた移動体。
JP2019509275A 2017-03-31 2018-03-16 撮像制御装置、および撮像制御装置の制御方法、並びに移動体 Active JP7196063B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017070079 2017-03-31
JP2017070079 2017-03-31
PCT/JP2018/010397 WO2018180579A1 (ja) 2017-03-31 2018-03-16 撮像制御装置、および撮像制御装置の制御方法、並びに移動体

Publications (2)

Publication Number Publication Date
JPWO2018180579A1 true JPWO2018180579A1 (ja) 2020-02-13
JP7196063B2 JP7196063B2 (ja) 2022-12-26

Family

ID=63676954

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019509275A Active JP7196063B2 (ja) 2017-03-31 2018-03-16 撮像制御装置、および撮像制御装置の制御方法、並びに移動体

Country Status (5)

Country Link
US (1) US10864855B2 (ja)
EP (1) EP3606063A1 (ja)
JP (1) JP7196063B2 (ja)
CN (1) CN110574357B (ja)
WO (1) WO2018180579A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020051942A (ja) * 2018-09-27 2020-04-02 株式会社Subaru 車両の走行環境検出装置及び走行制御システム
US11620832B2 (en) * 2019-06-22 2023-04-04 Hendrik J. Volkerink Image based locationing
US11910092B2 (en) * 2020-10-01 2024-02-20 Black Sesame Technologies Inc. Panoramic look-around view generation method, in-vehicle device and in-vehicle system
JP2022088142A (ja) * 2020-12-02 2022-06-14 ヤマハ発動機株式会社 距離認識システムおよびその制御方法、船舶
JP2022116691A (ja) * 2021-01-29 2022-08-10 ソニーセミコンダクタソリューションズ株式会社 情報処理システム、情報処理方法、および情報処理装置
CN113689552A (zh) * 2021-08-27 2021-11-23 北京百度网讯科技有限公司 车载环视模型的调整方法、装置、电子设备和存储介质
CN114440821B (zh) * 2022-02-08 2023-12-12 三一智矿科技有限公司 基于单目相机的测距方法及装置、介质、设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS59201114A (ja) * 1983-04-28 1984-11-14 Nippon Denso Co Ltd 車両用自動走行装置
JP2008009906A (ja) * 2006-06-30 2008-01-17 Matsushita Electric Ind Co Ltd 固体撮像装置及び撮像システム
US20080304705A1 (en) * 2006-12-12 2008-12-11 Cognex Corporation System and method for side vision detection of obstacles for vehicles
JP2011205215A (ja) * 2010-03-24 2011-10-13 Fujifilm Corp 撮像装置およびその制御方法
JP2012239157A (ja) * 2011-05-10 2012-12-06 Harman Becker Automotive Systems Gmbh 外因パラメータのみのサラウンドビューカメラ自動較正
JP2013053962A (ja) * 2011-09-05 2013-03-21 Sharp Corp カメラシステム、衝突予測システム、駐車ガイドシステム
JP2016217944A (ja) * 2015-05-22 2016-12-22 シャープ株式会社 計測装置、および計測方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4299036B2 (ja) * 2003-03-31 2009-07-22 シャープ株式会社 車両用監視装置
EP2353298B1 (en) * 2008-11-07 2019-04-03 Telecom Italia S.p.A. Method and system for producing multi-view 3d visual contents
WO2012103193A1 (en) * 2011-01-26 2012-08-02 Magna Electronics Inc. Rear vision system with trailer angle detection
ITTO20110414A1 (it) * 2011-05-11 2012-11-12 St Microelectronics Pvt Ltd Procedimento ed apparecchiatura per elaborare segnali video, prodotto informatico e segnale codificato relativi
US20160232415A1 (en) * 2011-08-16 2016-08-11 Israel L'Heureux Detection detection of cell phone or mobile device use in motor vehicle
JP5848563B2 (ja) 2011-09-21 2016-01-27 東芝アルパイン・オートモティブテクノロジー株式会社 車載用カメラ
CN102490673A (zh) * 2011-12-13 2012-06-13 中科院微电子研究所昆山分所 基于车联网的汽车主动安全控制系统及其控制方法
US9446713B2 (en) * 2012-09-26 2016-09-20 Magna Electronics Inc. Trailer angle detection system
DE102016110902A1 (de) * 2015-06-14 2016-12-15 Facense Ltd. Head-Mounted-Devices zur Erfassung thermischer Messwerte
CN108027440A (zh) * 2015-09-01 2018-05-11 国立大学法人东京大学 运动检测装置及使用它的三维形状测量装置
US20170150176A1 (en) * 2015-11-25 2017-05-25 Qualcomm Incorporated Linear-model prediction with non-square prediction units in video coding

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS59201114A (ja) * 1983-04-28 1984-11-14 Nippon Denso Co Ltd 車両用自動走行装置
JP2008009906A (ja) * 2006-06-30 2008-01-17 Matsushita Electric Ind Co Ltd 固体撮像装置及び撮像システム
US20080304705A1 (en) * 2006-12-12 2008-12-11 Cognex Corporation System and method for side vision detection of obstacles for vehicles
JP2011205215A (ja) * 2010-03-24 2011-10-13 Fujifilm Corp 撮像装置およびその制御方法
JP2012239157A (ja) * 2011-05-10 2012-12-06 Harman Becker Automotive Systems Gmbh 外因パラメータのみのサラウンドビューカメラ自動較正
JP2013053962A (ja) * 2011-09-05 2013-03-21 Sharp Corp カメラシステム、衝突予測システム、駐車ガイドシステム
JP2016217944A (ja) * 2015-05-22 2016-12-22 シャープ株式会社 計測装置、および計測方法

Also Published As

Publication number Publication date
EP3606063A4 (en) 2020-02-05
JP7196063B2 (ja) 2022-12-26
WO2018180579A1 (ja) 2018-10-04
US20200108774A1 (en) 2020-04-09
CN110574357B (zh) 2021-10-22
EP3606063A1 (en) 2020-02-05
CN110574357A (zh) 2019-12-13
US10864855B2 (en) 2020-12-15

Similar Documents

Publication Publication Date Title
US11076141B2 (en) Image processing device, image processing method, and vehicle
JP7196063B2 (ja) 撮像制御装置、および撮像制御装置の制御方法、並びに移動体
JP6834964B2 (ja) 画像処理装置、画像処理方法、およびプログラム
US10957029B2 (en) Image processing device and image processing method
US11158076B2 (en) Imaging control device and method, and vehicle
US11108992B2 (en) Imaging control device and method, and vehicle
WO2017057044A1 (ja) 情報処理装置及び情報処理方法
WO2017057055A1 (ja) 情報処理装置、情報端末、及び、情報処理方法
JP6764573B2 (ja) 画像処理装置、画像処理方法、およびプログラム
WO2020116195A1 (ja) 情報処理装置、情報処理方法、プログラム、移動体制御装置、及び、移動体
US20200349367A1 (en) Image processing device, image processing method, and program
US11585898B2 (en) Signal processing device, signal processing method, and program
JP6922169B2 (ja) 情報処理装置および方法、車両、並びに情報処理システム
US20230186651A1 (en) Control device, projection system, control method, and program
US20210295563A1 (en) Image processing apparatus, image processing method, and program
JP7483627B2 (ja) 情報処理装置、情報処理方法、プログラム、移動体制御装置、及び、移動体
US20230412923A1 (en) Signal processing device, imaging device, and signal processing method
WO2022196316A1 (ja) 情報処理装置、情報処理方法及びプログラム
WO2020195969A1 (ja) 情報処理装置、情報処理方法及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210203

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220510

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220704

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221115

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221214

R150 Certificate of patent or registration of utility model

Ref document number: 7196063

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150