JPWO2019181284A1 - 情報処理装置、移動装置、および方法、並びにプログラム - Google Patents
情報処理装置、移動装置、および方法、並びにプログラム Download PDFInfo
- Publication number
- JPWO2019181284A1 JPWO2019181284A1 JP2020507425A JP2020507425A JPWO2019181284A1 JP WO2019181284 A1 JPWO2019181284 A1 JP WO2019181284A1 JP 2020507425 A JP2020507425 A JP 2020507425A JP 2020507425 A JP2020507425 A JP 2020507425A JP WO2019181284 A1 JPWO2019181284 A1 JP WO2019181284A1
- Authority
- JP
- Japan
- Prior art keywords
- image
- distance
- camera
- infinity
- point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Abandoned
Links
- 230000010365 information processing Effects 0.000 title claims description 85
- 238000000034 method Methods 0.000 title description 99
- 238000012545 processing Methods 0.000 claims abstract description 164
- 230000033001 locomotion Effects 0.000 claims description 32
- 238000004458 analytical method Methods 0.000 claims description 27
- 238000003672 processing method Methods 0.000 claims description 12
- 238000001514 detection method Methods 0.000 description 90
- 230000008569 process Effects 0.000 description 80
- 238000004364 calculation method Methods 0.000 description 64
- 238000004891 communication Methods 0.000 description 35
- 230000003287 optical effect Effects 0.000 description 18
- 230000006870 function Effects 0.000 description 16
- 238000009434 installation Methods 0.000 description 15
- 230000008859 change Effects 0.000 description 14
- 230000001133 acceleration Effects 0.000 description 13
- 238000003384 imaging method Methods 0.000 description 11
- 238000005259 measurement Methods 0.000 description 11
- 230000010391 action planning Effects 0.000 description 9
- 238000000926 separation method Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 7
- 230000005856 abnormality Effects 0.000 description 5
- 230000006399 behavior Effects 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 5
- 238000012937 correction Methods 0.000 description 4
- 238000013519 translation Methods 0.000 description 4
- 239000002131 composite material Substances 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 230000033228 biological regulation Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 239000000725 suspension Substances 0.000 description 2
- YLZOPXRUQYQQID-UHFFFAOYSA-N 3-(2,4,6,7-tetrahydrotriazolo[4,5-c]pyridin-5-yl)-1-[4-[2-[[3-(trifluoromethoxy)phenyl]methylamino]pyrimidin-5-yl]piperazin-1-yl]propan-1-one Chemical compound N1N=NC=2CN(CCC=21)CCC(=O)N1CCN(CC1)C=1C=NC(=NC=1)NCC1=CC(=CC=C1)OC(F)(F)F YLZOPXRUQYQQID-UHFFFAOYSA-N 0.000 description 1
- 206010021403 Illusion Diseases 0.000 description 1
- 240000004050 Pentaglottis sempervirens Species 0.000 description 1
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 1
- 230000002730 additional effect Effects 0.000 description 1
- 230000036626 alertness Effects 0.000 description 1
- 230000037007 arousal Effects 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000002485 combustion reaction Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000010485 coping Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000007717 exclusion Effects 0.000 description 1
- 230000004424 eye movement Effects 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000000116 mitigating effect Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/34—Route searching; Route guidance
- G01C21/36—Input/output arrangements for on-board computers
- G01C21/3602—Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C3/00—Measuring distances in line of sight; Optical rangefinders
- G01C3/02—Details
- G01C3/06—Use of electric means to obtain final indication
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/536—Depth or shape recovery from perspective effects, e.g. by using vanishing points
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
- B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
- B60W30/09—Taking automatic action to avoid collision, e.g. braking and steering
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
- G01B11/022—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by means of tv-camera scanning
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
- G01B11/026—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by measuring distance between sensor and object
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C3/00—Measuring distances in line of sight; Optical rangefinders
- G01C3/02—Details
- G01C3/06—Use of electric means to obtain final indication
- G01C3/08—Use of electric radiation detectors
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
- G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/579—Depth or shape recovery from multiple images from motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/165—Anti-collision systems for passive traffic, e.g. including static obstacles, trees
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
- B60W2420/403—Image sensing, e.g. optical camera
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2554/00—Input parameters relating to objects
- B60W2554/80—Spatial relation or speed relative to objects
- B60W2554/801—Lateral distance
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2554/00—Input parameters relating to objects
- B60W2554/80—Spatial relation or speed relative to objects
- B60W2554/802—Longitudinal distance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
Abstract
移動装置の移動方向に直交する方向、または直交成分を有する方向の画像を撮影するカメラの撮影画像に基づいてオブジェクト距離を算出する構成を実現する。データ処理部は、移動装置の移動方向に直交する方向、または直交成分を有する方向の画像を撮影するカメラの撮影画像から無限遠点を検出し、検出した無限遠点の位置と、撮影画像内のオブジェクトの位置との位置関係情報を利用してオブジェクト距離を算出する。データ処理部は、撮影画像から、カメラ位置から遠方に延びる実世界上の複数の平行線を検出し、検出した複数の平行線の延長線上の交点を無限遠点とする。または、カメラの移動に伴い、撮影画像上で方向が変化する画像フレーム単位の前記直線各々の延長線上の交点を無限遠点とする。
Description
本開示は、情報処理装置、移動装置、および方法、並びにプログラムに関する。さらに詳細には、自動車等の移動装置の進行方向に直交する左右方向のオブジェクトの距離を、カメラ撮影画像を用いて算出する情報処理装置、移動装置、および方法、並びにプログラムに関する。
近年、自動ブレーキ、自動速度制御、障害物検出等の様々な運転支援システムが開発され、今後、運転者の操作を不要とする自動運転車や、運転者の操作を軽減する運転支援システムを搭載した車両が増大することが予想される。
自動車が安全に走行するためには、移動の障害となる車両や歩行者、壁等の様々なオブジェクトの距離を算出することが必要となる。
自動車が安全に走行するためには、移動の障害となる車両や歩行者、壁等の様々なオブジェクトの距離を算出することが必要となる。
オブジェクト距離を算出するための距離計測機器には、例えば、以下のような機器がある。
(a)パルス状のレーザ光を用いて周囲情報を取得するライダー(LiDAR:Light Detection and Ranging,Laser Imaging Detection and Ranging)、
(b)電波の反射波を検出して反射物までの距離を計測するレーダ(Radar)、
(c)2つのカメラの撮影画像の対応点解析により撮影画像内のオブジェクトの距離を算出するステレオカメラ、
例えば、これらの距離計測機器が知られている。
(a)パルス状のレーザ光を用いて周囲情報を取得するライダー(LiDAR:Light Detection and Ranging,Laser Imaging Detection and Ranging)、
(b)電波の反射波を検出して反射物までの距離を計測するレーダ(Radar)、
(c)2つのカメラの撮影画像の対応点解析により撮影画像内のオブジェクトの距離を算出するステレオカメラ、
例えば、これらの距離計測機器が知られている。
しかし、これらの距離計測機器は、いずれも高価である。
安価な距離計測機として、出力の弱いレーザ光や赤外光等を用いた距離センサもあるが、これらの安価な距離センサは、計測可能な距離範囲が限定される。例えば10〜15mまでの距離が計測できる程度である。
従って、このような安価な距離センサを自動車に装着しても、例えば遠方から高速で近づく車両の距離検出に利用することはできない。
安価な距離計測機として、出力の弱いレーザ光や赤外光等を用いた距離センサもあるが、これらの安価な距離センサは、計測可能な距離範囲が限定される。例えば10〜15mまでの距離が計測できる程度である。
従って、このような安価な距離センサを自動車に装着しても、例えば遠方から高速で近づく車両の距離検出に利用することはできない。
上記(a)〜(c)のような高精度な距離計測機を用いて自動車の前後左右全方向について距離計測を行うためには、前後左右少なくとも4つの距離計測機器を装着する必要があり、コスト高となってしまう。
従って、自動車に距離計測機器を装着する場合、自動車の前方(フロント)のみに装着するといった構成とする場合が多い。
従って、自動車に距離計測機器を装着する場合、自動車の前方(フロント)のみに装着するといった構成とする場合が多い。
具体例として、例えば自動車の前方のみにLiDARやステレオカメラ等の距離計測機器を装着し、比較的、低コストなカメラを自動車の前後左右の4か所に装着したものがある。カメラは、例えば、広角レンズを用いたアラウンドビュー撮影カメラなどが利用される。
広角レンズを用いたカメラを自動車の左右方向各々に装着することで、自動車の左右から接近してくる車両等を視野に捉えることができる。しかしながら、これら広角レンズを用いたカメラの撮影画像は、単焦点距離の画像と異なり、歪みを有する画像であり、例えば運転者が画像を見ても、各被写体の距離を直感的に把握することが困難となる。また、歪み補正を行い、中心射影画像に変換しても、運転者が画像から各被写体の正確な距離を直感的に把握することは困難であるという問題がある。
自動車の進行方向と異なる方向の危険を検出する構成を開示した従来技術として、例えば特許文献1(特開2017−191471号公報)や、特許文献2(特開2009−067292号公報)がある。
特許文献1は、狭い十字路から交叉する道路に出る際の死角補助システムを開示している。しかし、この開示技術は、接近車両の接近状況を視覚的に観察できるタイミングを通知するのみである。
特許文献2は、全方位カメラから特定方角の映像を切出し表示する構成を開示している。
特許文献2は、全方位カメラから特定方角の映像を切出し表示する構成を開示している。
これら特許文献1,2は、いずれも、自動車の左右方向から近づいてくる自動車等がある場合、その画像を運転者に提供するものであるが、その後の危険度判定は運転者が画像に基づいて判断しなければならず、運転者の画像に基づく危険度判断感覚が十分でない場合は危険を招く恐れがある。
すなわち、特許文献1,2は、危険な自動車等が近づく画像を運転者に提供する構成を開示するのみで、左右から近づく自動車等のオブジェクトの距離情報を提供するものとはなっていない。
すなわち、特許文献1,2は、危険な自動車等が近づく画像を運転者に提供する構成を開示するのみで、左右から近づく自動車等のオブジェクトの距離情報を提供するものとはなっていない。
本開示は、例えば上記問題点に鑑みてなされたものであり、本開示の一実施例においては、自動車等の移動装置の進行方向に直交、交叉する左右方向のオブジェクトの距離をカメラ撮影画像のみを用いて算出可能とした情報処理装置、移動装置、および方法、並びにプログラムを提供することを目的とする。
また、本開示の一実施例においては、自動車等の移動装置の進行方向に直交する左右方向のオブジェクトの距離を、安価な距離センサとカメラ撮影画像を用いて算出可能とした情報処理装置、移動装置、および方法、並びにプログラムを提供することを目的とする。
本開示の第1の側面は、
移動装置の移動方向に直交する方向、または直交成分を有する方向の画像を撮影するカメラの撮影画像に基づいてオブジェクト距離を算出するデータ処理部を有し、
前記データ処理部は、
前記撮影画像から無限遠点を検出し、
検出した無限遠点の位置と、前記撮影画像内のオブジェクトの位置との位置関係情報を利用してオブジェクト距離を算出する情報処理装置にある。
移動装置の移動方向に直交する方向、または直交成分を有する方向の画像を撮影するカメラの撮影画像に基づいてオブジェクト距離を算出するデータ処理部を有し、
前記データ処理部は、
前記撮影画像から無限遠点を検出し、
検出した無限遠点の位置と、前記撮影画像内のオブジェクトの位置との位置関係情報を利用してオブジェクト距離を算出する情報処理装置にある。
さらに、本開示の第2の側面は、
移動装置の移動方向に直交する方向、または直交成分を有する方向の画像を撮影するカメラの撮影画像に基づいてオブジェクト距離を算出するデータ処理部を有し、
前記データ処理部は、
前記撮影画像と、前記オブジェクトより前記カメラに近い位置の基準点Pの距離情報を利用して、オブジェクト距離を算出する構成であり、
オブジェクト距離をLとしたとき、
L=Lref×(Wref/W)・・・(式2)
ただし、
Lref:カメラから基準点Pまでの実距離、
Wref:基準点Pの画像横方向にある参照オブジェクトの画像上の幅、
W:距離算出対象オブジェクトの画像横方向にある前記参照オブジェクトの画像上の幅、
上記(式2)に従ってオブジェクト距離を算出する情報処理装置にある。
移動装置の移動方向に直交する方向、または直交成分を有する方向の画像を撮影するカメラの撮影画像に基づいてオブジェクト距離を算出するデータ処理部を有し、
前記データ処理部は、
前記撮影画像と、前記オブジェクトより前記カメラに近い位置の基準点Pの距離情報を利用して、オブジェクト距離を算出する構成であり、
オブジェクト距離をLとしたとき、
L=Lref×(Wref/W)・・・(式2)
ただし、
Lref:カメラから基準点Pまでの実距離、
Wref:基準点Pの画像横方向にある参照オブジェクトの画像上の幅、
W:距離算出対象オブジェクトの画像横方向にある前記参照オブジェクトの画像上の幅、
上記(式2)に従ってオブジェクト距離を算出する情報処理装置にある。
さらに、本開示の第3の側面は、
移動装置の移動方向に直交する方向、または直交成分を有する方向の画像を撮影するカメラの撮影画像に基づいてオブジェクト距離を算出するデータ処理部を有し、
前記データ処理部は、
オブジェクト距離をLとしたとき、
L=f×(Wrw/W)・・・(式3)
ただし、
f:カメラの焦点距離、
Wrw:オブジェクト画像内に含まれる実サイズが既知の構成物の実サイズ、
W:オブジェクト画像内に含まれる実サイズが既知の構成物の画像サイズ、
上記(式3)に従ってオブジェクト距離を算出する情報処理装置にある。
移動装置の移動方向に直交する方向、または直交成分を有する方向の画像を撮影するカメラの撮影画像に基づいてオブジェクト距離を算出するデータ処理部を有し、
前記データ処理部は、
オブジェクト距離をLとしたとき、
L=f×(Wrw/W)・・・(式3)
ただし、
f:カメラの焦点距離、
Wrw:オブジェクト画像内に含まれる実サイズが既知の構成物の実サイズ、
W:オブジェクト画像内に含まれる実サイズが既知の構成物の画像サイズ、
上記(式3)に従ってオブジェクト距離を算出する情報処理装置にある。
さらに、本開示の第4の側面は、
移動装置の移動方向に直交する方向、または直交成分を有する方向の画像を撮影するカメラと、
前記カメラの撮影画像に基づいてオブジェクト距離を算出するデータ処理部を有し、
前記データ処理部は、
前記撮影画像から無限遠点を検出し、
検出した無限遠点の位置と、前記撮影画像内のオブジェクトの位置との位置関係情報を利用してオブジェクト距離を算出し、
算出したオブジェクト距離に基づいて前記移動装置の経路を決定する計画部と、
前記計画部の決定した経路に従って前記移動装置の動作制御を行う動作制御部を有する移動装置にある。
移動装置の移動方向に直交する方向、または直交成分を有する方向の画像を撮影するカメラと、
前記カメラの撮影画像に基づいてオブジェクト距離を算出するデータ処理部を有し、
前記データ処理部は、
前記撮影画像から無限遠点を検出し、
検出した無限遠点の位置と、前記撮影画像内のオブジェクトの位置との位置関係情報を利用してオブジェクト距離を算出し、
算出したオブジェクト距離に基づいて前記移動装置の経路を決定する計画部と、
前記計画部の決定した経路に従って前記移動装置の動作制御を行う動作制御部を有する移動装置にある。
さらに、本開示の第5の側面は、
情報処理装置において実行する情報処理方法であり、
前記情報処理装置は、移動装置の移動方向に直交する方向、または直交成分を有する方向の画像を撮影するカメラの撮影画像に基づいてオブジェクト距離を算出するデータ処理部を有し、
前記データ処理部が、
前記撮影画像から無限遠点を検出し、
検出した無限遠点の位置と、前記撮影画像内のオブジェクトの位置との位置関係情報を利用してオブジェクト距離を算出する情報処理方法にある。
情報処理装置において実行する情報処理方法であり、
前記情報処理装置は、移動装置の移動方向に直交する方向、または直交成分を有する方向の画像を撮影するカメラの撮影画像に基づいてオブジェクト距離を算出するデータ処理部を有し、
前記データ処理部が、
前記撮影画像から無限遠点を検出し、
検出した無限遠点の位置と、前記撮影画像内のオブジェクトの位置との位置関係情報を利用してオブジェクト距離を算出する情報処理方法にある。
さらに、本開示の第6の側面は、
移動装置において実行する情報処理方法であり、
前記移動装置は、移動装置の移動方向に直交する方向、または直交成分を有する方向の画像を撮影するカメラと、
前記カメラの撮影画像に基づいてオブジェクト距離を算出するデータ処理部を有し、
前記データ処理部が、
前記撮影画像から無限遠点を検出し、
検出した無限遠点の位置と、前記撮影画像内のオブジェクトの位置との位置関係情報を利用してオブジェクト距離を算出し、
計画部が、算出したオブジェクト距離に基づいて前記移動装置の経路を決定し、
動作制御部が、前記計画部の決定した経路に従って前記移動装置の動作制御を行う情報処理方法にある。
移動装置において実行する情報処理方法であり、
前記移動装置は、移動装置の移動方向に直交する方向、または直交成分を有する方向の画像を撮影するカメラと、
前記カメラの撮影画像に基づいてオブジェクト距離を算出するデータ処理部を有し、
前記データ処理部が、
前記撮影画像から無限遠点を検出し、
検出した無限遠点の位置と、前記撮影画像内のオブジェクトの位置との位置関係情報を利用してオブジェクト距離を算出し、
計画部が、算出したオブジェクト距離に基づいて前記移動装置の経路を決定し、
動作制御部が、前記計画部の決定した経路に従って前記移動装置の動作制御を行う情報処理方法にある。
さらに、本開示の第7の側面は、
情報処理装置において情報処理を実行させるプログラムであり、
前記情報処理装置は、移動装置の移動方向に直交する方向、または直交成分を有する方向の画像を撮影するカメラの撮影画像に基づいてオブジェクト距離を算出するデータ処理部を有し、
前記プログラムは、前記データ処理部に、
前記撮影画像から無限遠点を検出させ、
検出した無限遠点の位置と、前記撮影画像内のオブジェクトの位置との位置関係情報を利用してオブジェクト距離を算出させるプログラムにある。
情報処理装置において情報処理を実行させるプログラムであり、
前記情報処理装置は、移動装置の移動方向に直交する方向、または直交成分を有する方向の画像を撮影するカメラの撮影画像に基づいてオブジェクト距離を算出するデータ処理部を有し、
前記プログラムは、前記データ処理部に、
前記撮影画像から無限遠点を検出させ、
検出した無限遠点の位置と、前記撮影画像内のオブジェクトの位置との位置関係情報を利用してオブジェクト距離を算出させるプログラムにある。
なお、本開示のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、情報処理装置やコンピュータ・システム上でプログラムに応じた処理が実現される。
本開示のさらに他の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
本開示の一実施例の構成によれば、移動装置の移動方向に直交する方向、または直交成分を有する方向の画像を撮影するカメラの撮影画像に基づいてオブジェクト距離を算出する構成が実現される。
具体的には、例えば、データ処理部は、移動装置の移動方向に直交する方向、または直交成分を有する方向の画像を撮影するカメラの撮影画像から無限遠点を検出し、検出した無限遠点の位置と、撮影画像内のオブジェクトの位置との位置関係情報を利用してオブジェクト距離を算出する。データ処理部は、撮影画像から、カメラ位置から遠方に延びる実世界上の複数の平行線を検出し、検出した複数の平行線の延長線上の交点を無限遠点とする。または、カメラの移動に伴い、撮影画像上で方向が変化する画像フレーム単位の前記直線各々の延長線上の交点を無限遠点とする。
本構成により、移動装置の移動方向に直交する方向の画像を撮影するカメラの撮影画像に基づいてオブジェクト距離を算出する構成が実現される。
なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
具体的には、例えば、データ処理部は、移動装置の移動方向に直交する方向、または直交成分を有する方向の画像を撮影するカメラの撮影画像から無限遠点を検出し、検出した無限遠点の位置と、撮影画像内のオブジェクトの位置との位置関係情報を利用してオブジェクト距離を算出する。データ処理部は、撮影画像から、カメラ位置から遠方に延びる実世界上の複数の平行線を検出し、検出した複数の平行線の延長線上の交点を無限遠点とする。または、カメラの移動に伴い、撮影画像上で方向が変化する画像フレーム単位の前記直線各々の延長線上の交点を無限遠点とする。
本構成により、移動装置の移動方向に直交する方向の画像を撮影するカメラの撮影画像に基づいてオブジェクト距離を算出する構成が実現される。
なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
以下、図面を参照しながら本開示の情報処理装置、移動装置、および方法、並びにプログラムの詳細について説明する。なお、説明は以下の項目に従って行なう。
1.本開示の移動装置の構成例について
2.無限遠点の算出処理とオブジェクト距離の算出処理の具体例について
2−1.(処理例1)カメラ撮影画像に含まれる複数の平行線を用いて無限遠点の位置を検出する処理例
2−2.(処理例2)カメラ撮影画像に含まれる1つの線分を用いて無限遠点の位置を検出する処理例
3.その他のオブジェクト距離算出処理例
3−1.(処理例1)距離算出対象オブジェクトと、基準点オブジェクトの各位置に道路等の一定幅の画像が含まれる場合のオブジェクト距離算出処理例
3−2.(処理例2)距離算出対象オブジェクトが、実サイズが既知の構成物を含む場合のオブジェクト距離算出処理例
4.情報処理装置の実行する処理のシーケンスについて
5.移動装置の構成例について
6.情報処理装置の構成例について
7.本開示の構成のまとめ
1.本開示の移動装置の構成例について
2.無限遠点の算出処理とオブジェクト距離の算出処理の具体例について
2−1.(処理例1)カメラ撮影画像に含まれる複数の平行線を用いて無限遠点の位置を検出する処理例
2−2.(処理例2)カメラ撮影画像に含まれる1つの線分を用いて無限遠点の位置を検出する処理例
3.その他のオブジェクト距離算出処理例
3−1.(処理例1)距離算出対象オブジェクトと、基準点オブジェクトの各位置に道路等の一定幅の画像が含まれる場合のオブジェクト距離算出処理例
3−2.(処理例2)距離算出対象オブジェクトが、実サイズが既知の構成物を含む場合のオブジェクト距離算出処理例
4.情報処理装置の実行する処理のシーケンスについて
5.移動装置の構成例について
6.情報処理装置の構成例について
7.本開示の構成のまとめ
[1.本開示の移動装置の構成例について]
まず、図1以下を参照して、本開示の移動装置の構成例について説明する。
図1には、本開示の移動装置の一実施例である自動車10を示している。
なお、以下の実施例では、移動装置の一例として、移動装置が自動車10である例を説明するが、本開示の構成や処理は、自動車以外の様々な移動装置において利用可能である。
例えば、倉庫、オフィスなどを走行するロボット等、様々な移動装置に適用可能である。
まず、図1以下を参照して、本開示の移動装置の構成例について説明する。
図1には、本開示の移動装置の一実施例である自動車10を示している。
なお、以下の実施例では、移動装置の一例として、移動装置が自動車10である例を説明するが、本開示の構成や処理は、自動車以外の様々な移動装置において利用可能である。
例えば、倉庫、オフィスなどを走行するロボット等、様々な移動装置に適用可能である。
図1に示すように、自動車10は、複数のカメラと距離センサを装着している。
なお、距離センサは、本開示の一部の処理では必須構成ではなく、距離センサを持たない構成としても、本開示の一部の処理は実行可能である。
なお、距離センサは、本開示の一部の処理では必須構成ではなく、距離センサを持たない構成としても、本開示の一部の処理は実行可能である。
装着カメラは以下のカメラである。
自動車10の左方向を撮影する左方向カメラ11L、
自動車10の右方向を撮影する右方向カメラ11R、
これら2台のカメラである。
これらのカメラは、自動車10の移動方向に直交する方向の画像を撮影する。
なお、これらのカメラ11L,11Rとしては、通常の画像撮影を行うカメラ、あるいは魚眼レンズのような広角レンズを備えたカメラ(単眼カメラ)が利用可能である。
自動車10の左方向を撮影する左方向カメラ11L、
自動車10の右方向を撮影する右方向カメラ11R、
これら2台のカメラである。
これらのカメラは、自動車10の移動方向に直交する方向の画像を撮影する。
なお、これらのカメラ11L,11Rとしては、通常の画像撮影を行うカメラ、あるいは魚眼レンズのような広角レンズを備えたカメラ(単眼カメラ)が利用可能である。
自動車10は、さらに、距離センサとして、
自動車10の左方向のオブジェクト距離を計測する左方向距離センサ12L、
自動車10の右方向のオブジェクト距離を計測する右方向距離センサ12R、
これら2つの距離センサを装着している。
なお、前述したように、これらの距離センサは、必須構成ではなく、距離センサを持たない構成としてもよい。
距離センサを有する構成でも、距離センサは、例えば出力の弱いレーザ光や赤外光を用いた安価な距離ゼンサで十分である。距離計測範囲が例えば、最大10〜15m程度の距離センサで十分である。
自動車10の左方向のオブジェクト距離を計測する左方向距離センサ12L、
自動車10の右方向のオブジェクト距離を計測する右方向距離センサ12R、
これら2つの距離センサを装着している。
なお、前述したように、これらの距離センサは、必須構成ではなく、距離センサを持たない構成としてもよい。
距離センサを有する構成でも、距離センサは、例えば出力の弱いレーザ光や赤外光を用いた安価な距離ゼンサで十分である。距離計測範囲が例えば、最大10〜15m程度の距離センサで十分である。
このカメラ11L,11R、および距離センサ12L,12Rを装着した自動車10の画像撮影範囲と、距離計測範囲の例を図2に示す。
図2には、以下の各領域を示している。
左方向カメラ11Lの撮影領域である左方向カメラ撮影範囲21L、
右方向カメラ11Rの撮影領域である右方向カメラ撮影範囲21R、
左方向距離センサ12Lの距離計測範囲である左方向距離センサ距離計測範囲22L、
右方向距離センサ12Rの距離計測範囲である右方向距離センサ距離計測範囲22R。
図2には、以下の各領域を示している。
左方向カメラ11Lの撮影領域である左方向カメラ撮影範囲21L、
右方向カメラ11Rの撮影領域である右方向カメラ撮影範囲21R、
左方向距離センサ12Lの距離計測範囲である左方向距離センサ距離計測範囲22L、
右方向距離センサ12Rの距離計測範囲である右方向距離センサ距離計測範囲22R。
左方向距離センサ距離計測範囲22Lと、右方向距離センサ距離計測範囲22Rの距離計測範囲は、例えば、自動車10から約10m以内である。
カメラ11L,11Rは、図2に示すオブジェクト(歩行者)31や、オブジェクト(車両)32の画像を撮影することが可能となる。
しかし、距離センサ12L,12Rは、これらのオブジェクト(歩行者)31や、オブジェクト(車両)32の距離を直接、計測することができない。
しかし、距離センサ12L,12Rは、これらのオブジェクト(歩行者)31や、オブジェクト(車両)32の距離を直接、計測することができない。
図2に示すように、自動車10が狭い路地の交叉路から抜け出る際や、並列駐車枠に車両が詰まったところから出る際には、左右からの接近車両は運転者の直接視界の死角になり、左右からの接近車両を目視できないことがある。
すでに、車体の前後に広角のカメラやプリズム式カメラを搭載し、カメラ撮影画像を運転者(ドライバ)に提示するシステムが提案されている。しかし、広角画像からの切出し画像は歪みが発生した画像であり、奥行き感が失われる。
そのため、車両や人が接近している状況であっても、運転者(ドライバ)は、画像に含まれる車両や人等の接近するオブジェクトの距離を正確に把握できないという問題がある。
そのため、車両や人が接近している状況であっても、運転者(ドライバ)は、画像に含まれる車両や人等の接近するオブジェクトの距離を正確に把握できないという問題がある。
運転手が安全な運転を行うためには、運転者にオブジェクトの距離情報を正確に通知する必要がある。
本開示の一実施例の装置(移動装置、情報処理装置)は、自動車10の左右方向を撮影するカメラ11L,11Rの撮影画像のみから自動車10の左右の遠方に存在するオブジェクトの距離を推定し、運転者に接近リスクを知らせることを可能としたものである。
また、本開示の一実施例の装置(移動装置、情報処理装置)は、自動車10の左右方向を撮影するカメラ11L,11Rの撮影画像と、近接領域のみの距離が計測可能な安価な距離センサ12L,12Rによって計測された近接オブジェクト(基準点オブジェクト)の距離情報に基づいて、自動車10の左右の遠方に存在するオブジェクトの距離を推定し、運転者に接近リスクを知らせることを可能としたものである。
本開示の一実施例の装置(移動装置、情報処理装置)は、自動車10の左右方向を撮影するカメラ11L,11Rの撮影画像のみから自動車10の左右の遠方に存在するオブジェクトの距離を推定し、運転者に接近リスクを知らせることを可能としたものである。
また、本開示の一実施例の装置(移動装置、情報処理装置)は、自動車10の左右方向を撮影するカメラ11L,11Rの撮影画像と、近接領域のみの距離が計測可能な安価な距離センサ12L,12Rによって計測された近接オブジェクト(基準点オブジェクト)の距離情報に基づいて、自動車10の左右の遠方に存在するオブジェクトの距離を推定し、運転者に接近リスクを知らせることを可能としたものである。
オブジェクト距離の算出例について、図3を参照して説明する。
図3は、カメラの撮影画像である中心射影投影像を利用したオブジェクト距離の算出例を説明する図である。
図3に示す例は、道路や周辺環境物の幾何情報を元にしたオブジェクト距離の推定処理例である。
図3は、カメラの撮影画像である中心射影投影像を利用したオブジェクト距離の算出例を説明する図である。
図3に示す例は、道路や周辺環境物の幾何情報を元にしたオブジェクト距離の推定処理例である。
なお、本明細書の説明は、カメラの撮影画像の実空間投影画像が中心射影投影像として変換される場合を想定して説明をしている。近年多くの車載カメラでは、車両のより広範囲の画像情報を取得する必要から、魚眼広角カメラの利用が普及いる。その場合、広角の実空間の撮像面への投影方式は、従来の歪がないと表現される事が多い中心射影投影像とはならない。しかしながら、物理的な光学設計で決まる魚眼レンズの投影方式から定めた方角の中心射影相当の画像は、魚眼レンズによる撮影画像を投影変換関数から定めた該当方角の中心射影像に変換する事で、仮想的な中心射影方式の撮像画像面に変換ができる。よって、それら魚眼レンズを用いた場合であっても、本明細記載と同等の処理が取り扱える。そのため、本明細書では魚眼レンズの投影方式を用いたカメラシステムでの説明は割愛する。
図3には右方向カメラ11Rの撮影画像40を利用したオブジェクト距離算出例を説明する図を示している。
右方向カメラ11Rは、平面路面上の一定の高さHに設置してあるとする。
このカメラ11Rの撮影画像(中心射影像)40に、距離計測対象となるオブジェクト(歩行者)31が撮影されている。
右方向カメラ11Rは、平面路面上の一定の高さHに設置してあるとする。
このカメラ11Rの撮影画像(中心射影像)40に、距離計測対象となるオブジェクト(歩行者)31が撮影されている。
なお、撮影画像(中心射影像)40には、右方向距離センサ12Rによって距離計測が可能な位置の近接オブジェクトに対応する基準点P41と、無限遠点O42が撮影画像として含まれる。
右方向カメラ11Rから、オブジェクト(歩行者)31までの距離(カメラの入射瞳位置までの水平距離)Lは、カメラ12の設置高さHと焦点距離fが固定であれば、以下の算出式(式1)に従って一意に算出することができる。
L=Lref×(href/h)=f×(H/h)・・・(式1)
ただし、
f:カメラの焦点距離、
H:カメラの設置高さ(基準面(=道路面)からの高さ)、
h:撮影画像上のオブジェクト接地点(基準面(道路面)との接点)と無限遠点間の離間距離(画像上下方向の離間距離)、
Lref:基準点P(基準面(道路面)上)までの距離(実距離)
href:撮影画像上の基準点Pと無限遠点間の離間距離(画像上下方向の画像上の離間距離)、
である。
ただし、
f:カメラの焦点距離、
H:カメラの設置高さ(基準面(=道路面)からの高さ)、
h:撮影画像上のオブジェクト接地点(基準面(道路面)との接点)と無限遠点間の離間距離(画像上下方向の離間距離)、
Lref:基準点P(基準面(道路面)上)までの距離(実距離)
href:撮影画像上の基準点Pと無限遠点間の離間距離(画像上下方向の画像上の離間距離)、
である。
上記(式1)に示すように、オブジェクト(歩行者)21までの距離Lは、オブジェクトの路面接地点と水平無限遠点の投影像上の離間距離に逆比例して表すことができる。
このように、距離センサ12によって距離計測が不可能な遠方のオブジェクトについても、カメラ11によって撮影された画像を用いて、上記(式1)に従ってオブジェクト距離を算出することができる。
ただし、上記(式1)を適用してオブジェクト距離を算出するためには、
L=Lref×(href/h)・・・(式1a)
L=f×(H/h)・・・(式1b)
上記(式1a)、または(式1b)のいずれかの式を適用した算出処理が必要となる。
ただし、上記(式1)を適用してオブジェクト距離を算出するためには、
L=Lref×(href/h)・・・(式1a)
L=f×(H/h)・・・(式1b)
上記(式1a)、または(式1b)のいずれかの式を適用した算出処理が必要となる。
上記(式1)に含まれるパラメータ中、
f:カメラの焦点距離、
H:カメラの設置高さ(基準面(=道路面)からの高さ)、
これらのパラメータは既知である。
f:カメラの焦点距離、
H:カメラの設置高さ(基準面(=道路面)からの高さ)、
これらのパラメータは既知である。
この設定において、
L=Lref×(href/h)・・・(式1a)
この(式1a)を利用して、オブジェクト距離Lを算出するためには、以下の各パラメータの値を取得することが必要となる。
Lref:基準点P(基準面(道路面)上)までの距離(実距離)
h:撮影画像上のオブジェクト接地点(基準面(道路面)との接点)と無限遠点間の離間距離(画像上下方向の画像上の離間距離)、
href:撮影画像上の基準点Pと無限遠点間の離間距離(画像上下方向の画像上の離間距離)、
L=Lref×(href/h)・・・(式1a)
この(式1a)を利用して、オブジェクト距離Lを算出するためには、以下の各パラメータの値を取得することが必要となる。
Lref:基準点P(基準面(道路面)上)までの距離(実距離)
h:撮影画像上のオブジェクト接地点(基準面(道路面)との接点)と無限遠点間の離間距離(画像上下方向の画像上の離間距離)、
href:撮影画像上の基準点Pと無限遠点間の離間距離(画像上下方向の画像上の離間距離)、
この(式1a)を利用する場合は、まず、右方向距離センサ12Rによって距離計測が可能な位置にある近接オブジェクトが基準点Pとして選択し、その基準点Pまでの距離を計測することで、基準点Pまでの距離Lrefを取得する。
さらに、パラメータh,hrefを取得することが必要である。このパラメータh,hrefの取得処理については、次に説明する。
さらに、パラメータh,hrefを取得することが必要である。このパラメータh,hrefの取得処理については、次に説明する。
また、
L=f×(H/h)・・・(式1b)
この(式1b)を利用する場合は、以下のパラメータの値を取得することが必要となる。
h:撮影画像上のオブジェクト接地点(基準面(道路面)との接点)と無限遠点間の離間距離(画像上下方向の画像上の離間距離)、
L=f×(H/h)・・・(式1b)
この(式1b)を利用する場合は、以下のパラメータの値を取得することが必要となる。
h:撮影画像上のオブジェクト接地点(基準面(道路面)との接点)と無限遠点間の離間距離(画像上下方向の画像上の離間距離)、
なお、この(式1b)を利用したオブジェクト距離算出処理では、基準点Pまでの距離算出が不要であり、距離センサを持たない自動車においても、撮影画像のみからオブジェクト距離を算出することが可能となる。
以下、パラメータh,hrefの算出処理に必要となる無限遠点の算出処理と、オブジェクト距離算出処理の具体例について説明する。
[2.無限遠点の算出処理とオブジェクト距離の算出処理の具体例について]
次に、カメラ11によって撮影された画像を利用した無限遠点の算出処理とオブジェクト距離の算出処理の具体例について説明する。
次に、カメラ11によって撮影された画像を利用した無限遠点の算出処理とオブジェクト距離の算出処理の具体例について説明する。
例えば、図4に示すように、自動車10が、駐車場50から出ようとしている場合、横方向から近づくオブジェクト(車両)32があるとする。
このような場合、運転者は、始めはオブジェクト(車両)32を目視することができず、自動車10が半分程度道路に出て、始めて、オブジェクト(車両)32を目視することができる。
このような場合、運転者は、始めはオブジェクト(車両)32を目視することができず、自動車10が半分程度道路に出て、始めて、オブジェクト(車両)32を目視することができる。
このような状況で自動車10に求められるのは、
1.低速度で進行方向へ進み、
2.左右の状況を確認した後、確認状況に基づく運転を行う。
これらの処理である。
左右の状況の確認をより早い段階で行うことを可能とするのが、自動車10の左方向カメラ11L、および右方向カメラ11Rの撮影画像である。
1.低速度で進行方向へ進み、
2.左右の状況を確認した後、確認状況に基づく運転を行う。
これらの処理である。
左右の状況の確認をより早い段階で行うことを可能とするのが、自動車10の左方向カメラ11L、および右方向カメラ11Rの撮影画像である。
本開示の移動装置、あるいは移動装置内に備え付けられた情報処理装置は、自動車10の左方向カメラ11L、および右方向カメラ11Rの撮影画像を用いて、撮影画像に含まれるオブジェクト(車両、人等のオブジェクト)までの距離を算出する。
あるいは、左方向カメラ11L、および右方向カメラ11Rの撮影画像と、自動車10の左右近傍領域のみのオブジェクトの距離を計測可能な距離センサ12L,12Rの計測距離情報を用いてオブジェクト距離を算出する。
あるいは、左方向カメラ11L、および右方向カメラ11Rの撮影画像と、自動車10の左右近傍領域のみのオブジェクトの距離を計測可能な距離センサ12L,12Rの計測距離情報を用いてオブジェクト距離を算出する。
具体的には、先に説明したように、以下の(式1)に従って、オブジェクト距離を算出する。
L=Lref×(href/h)=f×(H/h)・・・(式1)
ただし、
f:カメラの焦点距離、
H:カメラの設置高さ(基準面(=道路面)からの高さ)、
h:撮影画像上のオブジェクト接地点(基準面(道路面)との接点)と無限遠点間の離間距離(画像上下方向の画像上の離間距離)、
Lref:基準点P(基準面(道路面)上)までの距離(実距離)
href:撮影画像上の基準点Pと無限遠点間の離間距離(画像上下方向の画像上の離間距離)、
である。
L=Lref×(href/h)=f×(H/h)・・・(式1)
ただし、
f:カメラの焦点距離、
H:カメラの設置高さ(基準面(=道路面)からの高さ)、
h:撮影画像上のオブジェクト接地点(基準面(道路面)との接点)と無限遠点間の離間距離(画像上下方向の画像上の離間距離)、
Lref:基準点P(基準面(道路面)上)までの距離(実距離)
href:撮影画像上の基準点Pと無限遠点間の離間距離(画像上下方向の画像上の離間距離)、
である。
この(式1)において、
f:カメラの焦点距離、
H:カメラの設置高さ(基準面(=道路面)からの高さ)、
これらの値は既知である。
Lref:基準点P(基準面(道路面)上)までの距離(実距離)
この基準点Pまでの距離は、距離センサ12を用いて取得可能である。
f:カメラの焦点距離、
H:カメラの設置高さ(基準面(=道路面)からの高さ)、
これらの値は既知である。
Lref:基準点P(基準面(道路面)上)までの距離(実距離)
この基準点Pまでの距離は、距離センサ12を用いて取得可能である。
残りのパラメータ、すなわち、
h:撮影画像上のオブジェクト接地点(基準面(道路面)との接点)と無限遠点間の離間距離(画像上下方向の画像上の離間距離)、
href:撮影画像上の基準点Pと無限遠点間の離間距離(画像上下方向の画像上の離間距離)、
これらのパラメータを取得できれば、オブジェクト距離Lを算出することが可能となる。
h:撮影画像上のオブジェクト接地点(基準面(道路面)との接点)と無限遠点間の離間距離(画像上下方向の画像上の離間距離)、
href:撮影画像上の基準点Pと無限遠点間の離間距離(画像上下方向の画像上の離間距離)、
これらのパラメータを取得できれば、オブジェクト距離Lを算出することが可能となる。
撮影画像上のオブジェクト接地点(基準面(道路面)との接点)や、撮影画像上の基準点Pの位置は、撮影画像から取得できる。
従って、パラメータh,hrefを算出するためには、撮影画像上の無限遠点の位置を求めればよい。
従って、パラメータh,hrefを算出するためには、撮影画像上の無限遠点の位置を求めればよい。
以下、撮影画像上の無限遠点の位置を検出する複数の処理例について説明する。
以下の2つの処理例について、順次、説明する。
(処理例1)カメラ撮影画像に含まれる複数の平行線を用いて無限遠点の位置を検出する処理例
(処理例2)カメラ撮影画像に含まれる1つの線分を用いて無限遠点の位置を検出する処理例
以下の2つの処理例について、順次、説明する。
(処理例1)カメラ撮影画像に含まれる複数の平行線を用いて無限遠点の位置を検出する処理例
(処理例2)カメラ撮影画像に含まれる1つの線分を用いて無限遠点の位置を検出する処理例
[2−1.(処理例1)カメラ撮影画像に含まれる複数の平行線を用いて無限遠点の位置を検出する処理例]
まず、処理例1として、カメラ撮影画像に含まれる複数の平行線を用いて無限遠点の位置を検出する処理例について、図5を参照して説明する。
まず、処理例1として、カメラ撮影画像に含まれる複数の平行線を用いて無限遠点の位置を検出する処理例について、図5を参照して説明する。
なお、以下の実施例の説明では、左方向カメラ11Lによって撮影された画像を適用した処理について説明するが、右方向カメラ11Rによって撮影された画像を適用した処理も同様の処理として行われる。
まず、左方向カメラ11Lの撮影画像に含まれる路面から、平行線が検出可能か否かを判定する。なお、平行線とは、画像上の平行線ではなく、実世界上の平行線であり、カメラ位置から遠方に延びる平行線である。
具体的には、例えば道路の中央分離帯、または分離白線、車線分離白線、道路と歩道の分離ブロックや分離白線等である。
図5に示す撮影画像60の例では、平行線a,61a、平行線b,61b、平行線c,61c、平行線d,61d、これら4本の平行線が検出される。
具体的には、例えば道路の中央分離帯、または分離白線、車線分離白線、道路と歩道の分離ブロックや分離白線等である。
図5に示す撮影画像60の例では、平行線a,61a、平行線b,61b、平行線c,61c、平行線d,61d、これら4本の平行線が検出される。
撮影画像60から複数の平行線(実世界上の平行線)が検出できた場合、その複数の平行線の延長の無限遠方の推定交点を無限遠点O,62とする。
このようにして撮影画像上の無限遠点O,62を検出する。
このようにして撮影画像上の無限遠点O,62を検出する。
なお、本開示の説明は全て路面が車両の走行する路面と同一の路面上に面が存在するか、検出される全ての平行線が車両設置面に平行または準平行である想定に基づき検出された無限点である。
該当の車両設置平面に対して、道路起因平行線分(車線、路肩縁石、歩道、歩道境界線など)に傾斜があると、その傾斜の方角αに応じて、平行線群の無限点方角は定まる。中心射影の光軸を仮に注目平面の無限遠と一致している場合、同一平面から傾斜各αをなす場合、取り込み撮像装置に焦点距離で決まる方角αに応じた像は、f*tan(α)の位置にシフトして投影されるため、車両設置平面から見た傾斜平行線の無限遠点はその補正を行う必要がある。
該当の車両設置平面に対して、道路起因平行線分(車線、路肩縁石、歩道、歩道境界線など)に傾斜があると、その傾斜の方角αに応じて、平行線群の無限点方角は定まる。中心射影の光軸を仮に注目平面の無限遠と一致している場合、同一平面から傾斜各αをなす場合、取り込み撮像装置に焦点距離で決まる方角αに応じた像は、f*tan(α)の位置にシフトして投影されるため、車両設置平面から見た傾斜平行線の無限遠点はその補正を行う必要がある。
他方で、同一車両が平面道路を常に走行中である場合で且つ検出する道路も同一平面に維持されている限り、取り込み撮像画像の道路平行線分の無限遠点は水平上下方向の移動はなく、常に同一の水平無限遠を含む水平ラインに乗る。そして、その水平ラインの横方角の位置は、その道路平面の方角により決まる。説明の便宜上、車両の前後移動方角の水平面直角方角に横向けカメラを取り付け、そのカメラ光軸に対して角度βの平行線分として以下説明をする。つまり、車両の並進走行方角の直角を基準にして計測した場合の検出線分の方角βは、車両の少ない並進移動ではほぼ移動はしない。また世界が完全は平面で構成されてれば同じく移動はしない。方角の決まった無限遠点にあるものは、自身の回転が発生しない限り、一定方角を保つためである。
横方角に向けたカメラの光軸は必ずしも進行方向直角とする必要はないが、説明の便宜上進行方角に対して直角である場合、そのカメラで光軸から横方向へシフト量がf*tan(β)方角に消失点を持つ線群は全て車両の進行方向に対してπ/2−βの傾きを有する線分となる。
横方角に向けたカメラの光軸は必ずしも進行方向直角とする必要はないが、説明の便宜上進行方角に対して直角である場合、そのカメラで光軸から横方向へシフト量がf*tan(β)方角に消失点を持つ線群は全て車両の進行方向に対してπ/2−βの傾きを有する線分となる。
ただし、画像として取り込まれる単一フレーム画像内の交点は、視覚的な錯覚「無限点」に過ぎず、実空間の線分として必ずしも平行線であるとは限らない。実世界空間の投影映像としてとらえられる画面内の複数線分の交点から、単純に無限遠点の推定を適用すると、錯覚にすぎない視覚的「無限点」を無限点として扱うこととなり、距離を算出する上で錯覚誤差を生むことになる。
そこで、実際には車両の走行平面に張り付いていない面に検出線が存在することもあるので、除外処理や較正処理を適宜行う必要がある。さらに、路上の抽出線分であっても、境界線の片側や両側が道路設計の都合で車線を狭めた先細り道路として設計され、その結果検出される境界ペア線が一部傾斜した道路を見ている場合もある。これら検出線分の交点が全て無限点と想定して距離演算を行うと、錯覚誤差を包含する結果となる。
平坦な道路で車体に構造的変化は積載による車体にロールやピッチ、サスペンションの沈み込み変化でカメラと路面の位置、方角変化がなければ、該当カメラが検出する無限上下方角は変わる事がない。
そこで、実際には車両の走行平面に張り付いていない面に検出線が存在することもあるので、除外処理や較正処理を適宜行う必要がある。さらに、路上の抽出線分であっても、境界線の片側や両側が道路設計の都合で車線を狭めた先細り道路として設計され、その結果検出される境界ペア線が一部傾斜した道路を見ている場合もある。これら検出線分の交点が全て無限点と想定して距離演算を行うと、錯覚誤差を包含する結果となる。
平坦な道路で車体に構造的変化は積載による車体にロールやピッチ、サスペンションの沈み込み変化でカメラと路面の位置、方角変化がなければ、該当カメラが検出する無限上下方角は変わる事がない。
また、水平方角は、路面に対する該当車両の進行車両の進行方角で定まる。そこで、通常であれば検出線分の交点が、これら平行線でないことによる影響は、道路自体の湾曲やアップダウンが存在するときのみ、または自車が事故や故障等でカメラの取り付け状態が変わらない限り変わる事はない。そこで、履歴から比較して変化がある都度これらズレを詳細評価しても良いし、ローカルダイナミックマップ等を参照してカメラ視野に入る道路の平面やカーブ情報を組み合せ評価しても良いし、移動変化によるフレーム間画像解析、後述するSLAMを用いた補正など、リソースと対処処置に許容されるリソースで多様な較正手段がある。
また、より安価なシステムであれば、安定して確実な計測が出来ない場合は、利用者に正確な距離換算情報を提供せずに、距離推定誤差リスクを含む場合、警告だして運転者に注意を促すのみ利用形態でも良い。
また、より安価なシステムであれば、安定して確実な計測が出来ない場合は、利用者に正確な距離換算情報を提供せずに、距離推定誤差リスクを含む場合、警告だして運転者に注意を促すのみ利用形態でも良い。
このように、本開示の情報処理装置のデータ処理部は、カメラ撮影画像から、カメラ位置から遠方に延びる実世界上の複数の平行線を検出し、検出した複数の平行線の延長線上の交点を無限遠点とする。または、カメラの移動に伴い、撮影画像上で方向が変化する画像フレーム単位の前記直線各々の延長線上の交点を無限遠点とする。
なお、実空間上にある平行線分は線分を鉛直方向から撮影した場合を除き、それら検出線分は全て視野内もしくは視野外の無限遠方の方角で互いに交叉する。つまり、中心射影で撮像した撮像視野角の範囲にその平行線の向く方角が向いていれば、視野内のその方角の射影投影点に該当平行線の交点が描写される。本開示は平行線が中心射影の投影として幾何の性質として無限遠方点で交叉する特徴を利用し、平行線の描画無限点を導き出し、その無限点を用いて距離算出に利用する。
しかしながら、撮像面の投影面で線分が交叉するのは、中心射影の投影面で線分が実空間で平行線であるとは限らない。互いに平行線分となる線分は、後述する単一の線分が、撮像カメラの並進移動に伴い無限遠方方向となる投影画像点を中心点として、検出された線分が座標に対して同一の回転中心点を持つ場合に限る。つまり、移動装置に搭載されたカメラがとらえた平行線分は、移動に伴う検出線分の無限方角は変わらず、平行線分の方角に応じた中心射影された撮像画像の該当方角に対し、その無限遠に固定であり、その無限遠点を中心に回転する。車両の並進距離が数メートル程度の近傍距離であれば、一般道の遠方部の方角の中心射影像での描画位置はほぼ一定と見なせる。
しかしながら、撮像面の投影面で線分が交叉するのは、中心射影の投影面で線分が実空間で平行線であるとは限らない。互いに平行線分となる線分は、後述する単一の線分が、撮像カメラの並進移動に伴い無限遠方方向となる投影画像点を中心点として、検出された線分が座標に対して同一の回転中心点を持つ場合に限る。つまり、移動装置に搭載されたカメラがとらえた平行線分は、移動に伴う検出線分の無限方角は変わらず、平行線分の方角に応じた中心射影された撮像画像の該当方角に対し、その無限遠に固定であり、その無限遠点を中心に回転する。車両の並進距離が数メートル程度の近傍距離であれば、一般道の遠方部の方角の中心射影像での描画位置はほぼ一定と見なせる。
もっとも、数百メートルや数キロと言った長い距離を完全な並進平行移動が技術的に出来たとしても、通常の走行ではその様な広範囲の移動で遠方に見える無限点をもはや追う事はなく、本開示で検出するべき対象と言えないと見なせる。本開示の利用適用範囲は、十字路等から車両の頭出し等の極めて短い並進移動であり、車両搭載カメラの写りこみ周辺検出道路の平行線分収束無限遠点は固定し一定していると見なせる範囲で適用する。
別の言い方をすれば、車両の走行する道路平面に対して該当同一路面平面に一致する面に存在する平行線は、車両の進行方向に移動があれば、進行に伴うフレーム間画像で、その線分は並進に伴い、線分の無限消失点は一定の位置を保ち、更に線分の近傍部は車両の進行に伴い後退方向に移動するので、フレーム間で線分は無限消失点の周りを回転変化する。詳細後述するが、これら実質的な無限点は、中心射影像の光軸横断方角の横移動に対して、画面内の全ての物体が距離に反比例して横移動をする点を利用し、適宜較正すればよい。本開示所の情報処理装置は、このような線分座標解析を行うことで正確な無限遠点推定を行う。
撮影画像上の無限遠点O,62が検出できれば、
h:撮影画像上のオブジェクト接地点(基準面(道路面)との接点)と無限遠点間の離間距離(画像上下方向の画像上の離間距離)、
href:撮影画像上の基準点Pと無限遠点間の離間距離(画像上下方向の画像上の離間距離)、
これらのパラメータを算出することができる。
h:撮影画像上のオブジェクト接地点(基準面(道路面)との接点)と無限遠点間の離間距離(画像上下方向の画像上の離間距離)、
href:撮影画像上の基準点Pと無限遠点間の離間距離(画像上下方向の画像上の離間距離)、
これらのパラメータを算出することができる。
図6を参照して、この処理について説明する。
なお、図6では、距離算出対象のオブジェクトをオブジェクト(車両)64としている。
図6に示すように、
パラメータhは、撮影画像上のオブジェクト(車両)64の接地点(基準面(道路面)との接点)と無限遠点O,62との間の離間距離(画像上下方向の画像上の離間距離)、
パラメータhrefは、撮影画像上の基準点P,63と、無限遠点O,62との間の離間距離(画像上下方向の画像上の離間距離)、
である。
この2つの離間距離は画像上の離間距離であり、画像から直接、求めることが可能である。
なお、図6では、距離算出対象のオブジェクトをオブジェクト(車両)64としている。
図6に示すように、
パラメータhは、撮影画像上のオブジェクト(車両)64の接地点(基準面(道路面)との接点)と無限遠点O,62との間の離間距離(画像上下方向の画像上の離間距離)、
パラメータhrefは、撮影画像上の基準点P,63と、無限遠点O,62との間の離間距離(画像上下方向の画像上の離間距離)、
である。
この2つの離間距離は画像上の離間距離であり、画像から直接、求めることが可能である。
この結果、先に説明した以下の(式1)に従って、オブジェクト距離を算出することが可能となる。
L=Lref×(href/h)=f×(H/h)・・・(式1)
L=Lref×(href/h)=f×(H/h)・・・(式1)
なお、上記(式1)を適用してオブジェクト距離を算出するためには、前十したように、
L=Lref×(href/h)・・・(式1a)
L=f×(H/h)・・・(式1b)
上記(式1a)、または(式1b)いずれかを用いることが可能である。
L=Lref×(href/h)・・・(式1a)
L=f×(H/h)・・・(式1b)
上記(式1a)、または(式1b)いずれかを用いることが可能である。
上記各式に含まれるパラメータ中、
f:カメラの焦点距離、
H:カメラの設置高さ(基準面(=道路面)からの高さ)、
これらのパラメータは既知である。
なお、ここでHは車両の積載量物等により可変する可能性はあるが、一旦走行を始めた車両では相当の途中で変動はサスペンションなどの利き具合による一時的な名と変動の為、リファレンスの計測手段を介して走行開始の都度適宜そのセンター値に対して自己校正が可能である。
また焦点距離fは通常の中心射影の投影方式で実空間を撮像画像平面に投影変換するレンズを用いた場合であれば、設計に基づく固定値となるが、魚眼レンズでい立体射影変換など中心射影と異なる射影方式の画像から指定方角の画像変換による仮想的中心射影像を元に演算を行う際には、その際の仮想射影方式で想定する小距離の換算値を代わりに用いればよい。
f:カメラの焦点距離、
H:カメラの設置高さ(基準面(=道路面)からの高さ)、
これらのパラメータは既知である。
なお、ここでHは車両の積載量物等により可変する可能性はあるが、一旦走行を始めた車両では相当の途中で変動はサスペンションなどの利き具合による一時的な名と変動の為、リファレンスの計測手段を介して走行開始の都度適宜そのセンター値に対して自己校正が可能である。
また焦点距離fは通常の中心射影の投影方式で実空間を撮像画像平面に投影変換するレンズを用いた場合であれば、設計に基づく固定値となるが、魚眼レンズでい立体射影変換など中心射影と異なる射影方式の画像から指定方角の画像変換による仮想的中心射影像を元に演算を行う際には、その際の仮想射影方式で想定する小距離の換算値を代わりに用いればよい。
この設定において、
L=Lref×(href/h)・・・(式1a)
この(式1a)を利用して、オブジェクト距離Lを算出するためには、以下の各パラメータの値を取得することが必要となる。
Lref:基準点P(基準面(道路面)上)までの距離(実距離)
h:撮影画像上のオブジェクト接地点(基準面(道路面)との接点)と無限遠点間の離間距離(画像上下方向の画像上の離間距離)、
href:撮影画像上の基準点Pと無限遠点間の離間距離(画像上下方向の画像上の離間距離)、
L=Lref×(href/h)・・・(式1a)
この(式1a)を利用して、オブジェクト距離Lを算出するためには、以下の各パラメータの値を取得することが必要となる。
Lref:基準点P(基準面(道路面)上)までの距離(実距離)
h:撮影画像上のオブジェクト接地点(基準面(道路面)との接点)と無限遠点間の離間距離(画像上下方向の画像上の離間距離)、
href:撮影画像上の基準点Pと無限遠点間の離間距離(画像上下方向の画像上の離間距離)、
この(式1a)を利用する場合は、まず、左方向距離センサ12Lによって距離計測が可能な位置にある近接オブジェクトを基準点Pとして選択し、その基準点Pまでの距離を計測することで、基準点Pまでの距離Lrefを取得する。
さらに、図6を参照して説明した処理によって検出された無限遠点O,62から、パラメータh,hrefを取得する。
これらのパラメータを利用して、
L=Lref×(href/h)・・・(式1a)
上記(式1a)に従ってオブジェクト距離を算出することができる。
さらに、図6を参照して説明した処理によって検出された無限遠点O,62から、パラメータh,hrefを取得する。
これらのパラメータを利用して、
L=Lref×(href/h)・・・(式1a)
上記(式1a)に従ってオブジェクト距離を算出することができる。
また、
L=f×(H/h)・・・(式1b)
この(式1b)を利用する場合は、図6を参照して説明した処理によって検出された無限遠点O,62から、パラメータhを取得する。
このパラメータを利用して、
L=f×(H/h)・・・(式1b)
上記(式1b)に従ってオブジェクト距離を算出することができる。
L=f×(H/h)・・・(式1b)
この(式1b)を利用する場合は、図6を参照して説明した処理によって検出された無限遠点O,62から、パラメータhを取得する。
このパラメータを利用して、
L=f×(H/h)・・・(式1b)
上記(式1b)に従ってオブジェクト距離を算出することができる。
なお、この(式1b)を利用したオブジェクト距離算出処理では、基準点Pまでの距離算出が不要であり、距離センサを持たない自動車においても、撮影画像のみからオブジェクト距離を算出することが可能となる。
なお、上述した処理におけるカメラ撮影画像に基づく無限遠点の算出を行うため、本開示の情報処理装置のデータ処理部は、例えば、以下のような機能を備える構成とすることが好ましい。
(機能1)カメラ撮影画像から、カメラ位置から遠方に延びる実世界空間上の複数の線を検出し、検出した複数線分のフレーム間の線分座標変動解析を行うことで該当線分が実世界空間における平行線の組み合せであることを判定する機能。
(機能2)カメラ撮影画像から、カメラ位置から遠方に延びる実世界空間上の複数の線を検出し、検出した複数線分の平行線分と非平行線分を判定する機能、
(機能3)カメラ撮影画像から、カメラ位置から遠方に延びる実世界空間上の複数の線を検出し、検出した線分の組み合せ交叉ピーク座標が、車両並進運動に伴う順次フレーム間で移動することを検出する機能、
(機能1)カメラ撮影画像から、カメラ位置から遠方に延びる実世界空間上の複数の線を検出し、検出した複数線分のフレーム間の線分座標変動解析を行うことで該当線分が実世界空間における平行線の組み合せであることを判定する機能。
(機能2)カメラ撮影画像から、カメラ位置から遠方に延びる実世界空間上の複数の線を検出し、検出した複数線分の平行線分と非平行線分を判定する機能、
(機能3)カメラ撮影画像から、カメラ位置から遠方に延びる実世界空間上の複数の線を検出し、検出した線分の組み合せ交叉ピーク座標が、車両並進運動に伴う順次フレーム間で移動することを検出する機能、
[2−2.(処理例2)カメラ撮影画像に含まれる1つの線分を用いて無限遠点の位置を検出する処理例]
次に、処理例2として、カメラ撮影画像に含まれる1つの線分を用いて無限遠点の位置を検出する処理例について、図7を参照して説明する。
次に、処理例2として、カメラ撮影画像に含まれる1つの線分を用いて無限遠点の位置を検出する処理例について、図7を参照して説明する。
自動車10のカメラ11の撮影画像から複数の平行線が検出できなかった場合は、自動車10の僅かな並進に伴い発生する個別検出線分の変化をトラッキングし、回転中心のピーク探索を行い、回転中心点を(推定)無限遠点とする。
具体例について図7を参照して説明する。
図7(1)画像フレーム(f(t1))は、時間t1時の左方向カメラ11Lの撮影画像である。
図7(2)画像フレーム(f(t2))は、時間t1後の時間t2時の左方向カメラ11Lの撮影画像である。
その後、所定時間間隔で、左方向カメラ11Lの撮影画像が撮影され、
図7(n)画像フレーム(f(tn))は、その後の時間tn時の左方向カメラ11Lの撮影画像である。
これらのn枚の撮影画像には、同一の被写体であるn本の個別検出線71(1),71(2)、・・・71(n)が撮影されている。
なお、検出対象とする個別検出線は、自動車10の位置(=カメラ位置)から遠方に延びる直線である。
図7(1)画像フレーム(f(t1))は、時間t1時の左方向カメラ11Lの撮影画像である。
図7(2)画像フレーム(f(t2))は、時間t1後の時間t2時の左方向カメラ11Lの撮影画像である。
その後、所定時間間隔で、左方向カメラ11Lの撮影画像が撮影され、
図7(n)画像フレーム(f(tn))は、その後の時間tn時の左方向カメラ11Lの撮影画像である。
これらのn枚の撮影画像には、同一の被写体であるn本の個別検出線71(1),71(2)、・・・71(n)が撮影されている。
なお、検出対象とする個別検出線は、自動車10の位置(=カメラ位置)から遠方に延びる直線である。
自動車10の進行に伴い個別検出線71は、その方向が僅かに変更する。
図7の上段には、n本の個別検出線71(1),71(2)、・・・71(n)を同一画像上に表示した無限遠点算出用合成画像70である。
この合成画像上のn本の個別検出線71(1),71(2)、・・・71(n)を延長して交差する点を無限遠点O,62とする。
図7の上段には、n本の個別検出線71(1),71(2)、・・・71(n)を同一画像上に表示した無限遠点算出用合成画像70である。
この合成画像上のn本の個別検出線71(1),71(2)、・・・71(n)を延長して交差する点を無限遠点O,62とする。
このように、撮影画像から複数の平行線が検出できない場合は、自動車10の僅かな並進に伴い発生する個別検出線分の変化をトラッキングし、回転中心のピーク探索を行い、回転中心点を(推定)無限遠点O,62とする。
このように、移動装置内の情報処理装置は、撮影画像から、カメラ位置から遠方に延びる実世界上の直線を検出し、カメラの移動に伴い、撮影画像上で方向が変化する画像フレーム単位の直線の各々の延長線上の交点を検出して、この交点位置を無限遠点とする。
このように、移動装置内の情報処理装置は、撮影画像から、カメラ位置から遠方に延びる実世界上の直線を検出し、カメラの移動に伴い、撮影画像上で方向が変化する画像フレーム単位の直線の各々の延長線上の交点を検出して、この交点位置を無限遠点とする。
撮影画像上の無限遠点O,62が検出されれば、
h:撮影画像上のオブジェクト接地点(基準面(道路面)との接点)と無限遠点間の離間距離(画像上下方向の画像上の離間距離)、
href:撮影画像上の基準点Pと無限遠点間の離間距離(画像上下方向の画像上の離間距離)、
これらのパラメータを取得することができる。
これらのパラメータを取得することができれば、先に説明した以下の(式1)に従って、オブジェクト距離を算出することが可能となる。
L=Lref×(href/h)=f×(H/h)・・・(式1)
h:撮影画像上のオブジェクト接地点(基準面(道路面)との接点)と無限遠点間の離間距離(画像上下方向の画像上の離間距離)、
href:撮影画像上の基準点Pと無限遠点間の離間距離(画像上下方向の画像上の離間距離)、
これらのパラメータを取得することができる。
これらのパラメータを取得することができれば、先に説明した以下の(式1)に従って、オブジェクト距離を算出することが可能となる。
L=Lref×(href/h)=f×(H/h)・・・(式1)
なお、この図7を参照して説明した処理は、自動車10が直進した場合、すなわち、個別検出線に直角方向に進行した場合には、特に補正は不要であるが、自動車10が直進しない場合、すなわち、個別検出線に直角方向に進行しない場合、例えば、Δθ回転して進んだ場合には、各撮影フレーム毎の回転ヨーΔθが働く。従って、撮影画像内の線分が光軸の無限遠方向に向いている仮定すると、線分の無限遠方点での交点は水平にf×tan(Δθ)だけ横にシフトすることになるのでその補正が必要である。
なお、無限遠点の位置は、連続する撮影画像フレームの中でほぼ固定された点となる。
図8は、連続する撮影画像フレーム内に検出される無限遠O,62の例を示す図である。
図5、図6、または図7を参照して説明した方法によって算出した無限遠点O,62である。
図に示すように、連続する撮影画像フレーム内に検出される無限遠O,62の位置は、各画像内のほぼ同一の位置の固定された点となる。
図8は、連続する撮影画像フレーム内に検出される無限遠O,62の例を示す図である。
図5、図6、または図7を参照して説明した方法によって算出した無限遠点O,62である。
図に示すように、連続する撮影画像フレーム内に検出される無限遠O,62の位置は、各画像内のほぼ同一の位置の固定された点となる。
図8に示す画像を適用して、この画像内の歩行者までの距離を求める場合の処理例について図9を参照して説明する。
図9に示す画像80は、自動車10の左方向カメラ11Lの撮影画像、すなわち左方向カメラ撮影画像80である。
この左方向カメラ撮影画像80には、自動車に向かって歩いている歩行者が写っている。この歩行者を距離算出対象のオブジェクト85とする。
図9に示す画像80は、自動車10の左方向カメラ11Lの撮影画像、すなわち左方向カメラ撮影画像80である。
この左方向カメラ撮影画像80には、自動車に向かって歩いている歩行者が写っている。この歩行者を距離算出対象のオブジェクト85とする。
左方向カメラ撮影画像80には、自動車10の左方向距離センサ12Lによって距離計測可能な近接オブジェクト82が写っている。この近接オブジェクト82を基準点Pとして利用する。すなわち、近接オブジェクト82の自動車10からの距離を左方向距離センサ12Lによって計測して、基準点Pの距離Lrefを算出する。
さらに、先に図5、図6、または図7を参照して説明した方法によって無限遠点O,81を検出する。
無限遠点O,81と、距離計測可能な近接オブジェクト(基準点P),82が決定されると、先に説明した以下の(式1)に従って、自動車10に向かって歩いている歩行者、すなわち距離算出対象のオブジェクト(歩行者)85のオブジェクト距離Lを算出することが可能となる。
L=Lref×(href/h)=f×(H/h)・・・(式1)
無限遠点O,81と、距離計測可能な近接オブジェクト(基準点P),82が決定されると、先に説明した以下の(式1)に従って、自動車10に向かって歩いている歩行者、すなわち距離算出対象のオブジェクト(歩行者)85のオブジェクト距離Lを算出することが可能となる。
L=Lref×(href/h)=f×(H/h)・・・(式1)
図10を参照して具体的処理例について説明する。
上記(式1)の各パラメータは、以下の通りである。
f:カメラの焦点距離、
H:カメラの設置高さ(基準面(=道路面)からの高さ)、
h:撮影画像上のオブジェクト接地点(基準面(道路面)との接点)と無限遠点間の離間距離(画像上下方向の画像上の離間距離)、
Lref:基準点P(基準面(道路面)上)までの距離(実距離)
href:撮影画像上の基準点Pと無限遠点間の離間距離(画像上下方向の画像上の離間距離)、
上記(式1)の各パラメータは、以下の通りである。
f:カメラの焦点距離、
H:カメラの設置高さ(基準面(=道路面)からの高さ)、
h:撮影画像上のオブジェクト接地点(基準面(道路面)との接点)と無限遠点間の離間距離(画像上下方向の画像上の離間距離)、
Lref:基準点P(基準面(道路面)上)までの距離(実距離)
href:撮影画像上の基準点Pと無限遠点間の離間距離(画像上下方向の画像上の離間距離)、
これらのパラメータ中、
f:カメラの焦点距離、
H:カメラの設置高さ(基準面(=道路面)からの高さ)、
これらの値は既知である。
Lref:基準点P(基準面(道路面)上)までの距離(実距離)
この基準点Pまでの距離は、距離センサ12を用いて取得可能である。
f:カメラの焦点距離、
H:カメラの設置高さ(基準面(=道路面)からの高さ)、
これらの値は既知である。
Lref:基準点P(基準面(道路面)上)までの距離(実距離)
この基準点Pまでの距離は、距離センサ12を用いて取得可能である。
残りのパラメータ、すなわち、
h:撮影画像上のオブジェクト接地点(基準面(道路面)との接点)と無限遠点間の離間距離(画像上下方向の画像上の離間距離)、
href:撮影画像上の基準点Pと無限遠点間の離間距離(画像上下方向の画像上の離間距離)、
これらのパラメータは、図10に示すような設定となる。
h:撮影画像上のオブジェクト接地点(基準面(道路面)との接点)と無限遠点間の離間距離(画像上下方向の画像上の離間距離)、
href:撮影画像上の基準点Pと無限遠点間の離間距離(画像上下方向の画像上の離間距離)、
これらのパラメータは、図10に示すような設定となる。
このように、画像80から、距離計測可能な近接オブジェクト(基準点P)82と、無限遠点O,81を検出することで、距離算出対象のオブジェクト(歩行者)85のオブジェクト距離Lを以下の(式1)に従って算出することが可能となる。
L=Lref×(href/h)=f×(H/h)・・・(式1)
L=Lref×(href/h)=f×(H/h)・・・(式1)
なお、前述したように、上記(式1)を適用してオブジェクト距離を算出するためには、
L=Lref×(href/h)・・・(式1a)
L=f×(H/h)・・・(式1b)
上記(式1a)、または(式1b)いずれかを用いることが可能である。
L=Lref×(href/h)・・・(式1a)
L=f×(H/h)・・・(式1b)
上記(式1a)、または(式1b)いずれかを用いることが可能である。
上記各式に含まれるパラメータ中、
f:カメラの焦点距離、
H:カメラの設置高さ(基準面(=道路面)からの高さ)、
これらのパラメータは既知である。
f:カメラの焦点距離、
H:カメラの設置高さ(基準面(=道路面)からの高さ)、
これらのパラメータは既知である。
この設定において、
L=Lref×(href/h)・・・(式1a)
この(式1a)を利用して、オブジェクト距離Lを算出するためには、以下の各パラメータの値を取得することが必要となる。
Lref:基準点P(基準面(道路面)上)までの距離(実距離)
h:撮影画像上のオブジェクト接地点(基準面(道路面)との接点)と無限遠点間の離間距離(画像上下方向の画像上の離間距離)、
href:撮影画像上の基準点Pと無限遠点間の離間距離(画像上下方向の画像上の離間距離)。
L=Lref×(href/h)・・・(式1a)
この(式1a)を利用して、オブジェクト距離Lを算出するためには、以下の各パラメータの値を取得することが必要となる。
Lref:基準点P(基準面(道路面)上)までの距離(実距離)
h:撮影画像上のオブジェクト接地点(基準面(道路面)との接点)と無限遠点間の離間距離(画像上下方向の画像上の離間距離)、
href:撮影画像上の基準点Pと無限遠点間の離間距離(画像上下方向の画像上の離間距離)。
この(式1a)を利用する場合は、まず、左方向距離センサ12Lによって距離計測が可能な位置にある近接オブジェクト82を基準点Pとして選択し、その基準点Pまでの距離を計測することで、基準点Pまでの距離Lrefを取得する。
さらに、図5、図6、または図7を参照して説明した処理によって検出された無限遠点O,81から、パラメータh,hrefを取得する。
これらのパラメータを利用して、
L=Lref×(href/h)・・・(式1a)
上記(式1a)に従ってオブジェクト距離を算出することができる。
さらに、図5、図6、または図7を参照して説明した処理によって検出された無限遠点O,81から、パラメータh,hrefを取得する。
これらのパラメータを利用して、
L=Lref×(href/h)・・・(式1a)
上記(式1a)に従ってオブジェクト距離を算出することができる。
また、
L=f×(H/h)・・・(式1b)
この(式1b)を利用する場合は、図5、図6、または図7を参照して説明した処理によって検出された無限遠点O,81から、パラメータhを取得する。
このパラメータを利用して、
L=f×(H/h)・・・(式1b)
上記(式1b)に従ってオブジェクト距離を算出することができる。
L=f×(H/h)・・・(式1b)
この(式1b)を利用する場合は、図5、図6、または図7を参照して説明した処理によって検出された無限遠点O,81から、パラメータhを取得する。
このパラメータを利用して、
L=f×(H/h)・・・(式1b)
上記(式1b)に従ってオブジェクト距離を算出することができる。
なお、この(式1b)を利用したオブジェクト距離算出処理では、基準点Pまでの距離算出が不要であり、距離センサを持たない自動車においても、撮影画像のみからオブジェクト距離を算出することが可能となる。
なお、上述した説明から理解されるように、オブジェクト距離算出処理は、自動車に装着されたカメラの撮影画像に基づいて行われ、各撮影画像の撮影タイミングにおけるオブジェクト距離を算出することができる。
カメラによる画像撮影処理は、所定フレームレートの動画像撮影処理として行われ、各画像の撮影間隔は規定時間となる。例えば60fpsの場合、1秒間に60フレームの画像が撮影される。
カメラによる画像撮影処理は、所定フレームレートの動画像撮影処理として行われ、各画像の撮影間隔は規定時間となる。例えば60fpsの場合、1秒間に60フレームの画像が撮影される。
従って、各画像フレーム単位でオブジェクト距離を算出すれば、各フレーム間隔でのオブジェクトの移動距離も算出することができる。すなわち、オブジェクトの移動速度を算出することが可能となる。
自動車10内の情報処理装置は、このように各画像フレーム単位のオブジェクト距離を算出して、オブジェクトの移動速度も併せて算出することが可能である。
自動車10内の情報処理装置は、このように各画像フレーム単位のオブジェクト距離を算出して、オブジェクトの移動速度も併せて算出することが可能である。
[3.その他のオブジェクト距離算出処理例]
次に、図11以下を参照してその他のオブジェクト距離算出処理例について説明する。
以下の処理例について、順次説明する。
(処理例1)距離算出対象オブジェクトと、基準点オブジェクトの各位置に道路等の一定幅の画像が含まれる場合のオブジェクト距離算出処理例
(処理例2)距離算出対象オブジェクトが、実サイズが既知の構成物を含む場合のオブジェクト距離算出処理例
次に、図11以下を参照してその他のオブジェクト距離算出処理例について説明する。
以下の処理例について、順次説明する。
(処理例1)距離算出対象オブジェクトと、基準点オブジェクトの各位置に道路等の一定幅の画像が含まれる場合のオブジェクト距離算出処理例
(処理例2)距離算出対象オブジェクトが、実サイズが既知の構成物を含む場合のオブジェクト距離算出処理例
[3−1.(処理例1)距離算出対象オブジェクトと、基準点オブジェクトの各位置に道路等の一定幅の画像が含まれる場合のオブジェクト距離算出処理例]
まず、処理例1として、距離算出対象オブジェクトと、基準点オブジェクトの各位置に道路等の一定幅の画像が含まれる場合のオブジェクト距離算出処理例について、図11を参照して説明する。
まず、処理例1として、距離算出対象オブジェクトと、基準点オブジェクトの各位置に道路等の一定幅の画像が含まれる場合のオブジェクト距離算出処理例について、図11を参照して説明する。
図11に示す画像は、自動車10の左方向カメラ11Lによって撮影された画像である。
道路上を近づくオブジェクト(車両)91が被写体として撮りこまれている。
このオブジェクト(車両)91の距離を算出する。
道路上を近づくオブジェクト(車両)91が被写体として撮りこまれている。
このオブジェクト(車両)91の距離を算出する。
画像には、さらに、自動車10の左方向距離センサ12Lによって距離計測可能な近接オブジェクト92が撮影されている。
この近接オブジェクト92を基準点Pとして利用する。すなわち、近接オブジェクト92の自動車10からの距離を左方向距離センサ12Lによって計測して、基準点Pの距離Lrefを算出する。
なお、図中で距離Lrefや距離Lを示す線分の矢印の始点を丸塗りつぶしで図示しているが、中心射影の現実のカメラ画像ではその光軸に直交する方角は無限の遠方の為に写りこまない。つまり、水平方向に向けた中心射影のカメラで該当カメラの真下の道路部は描写されないためである。本開示図はカメラ設置位置から距離を便宜上直感的に見せる為の図示である。このことは、中心射影の投影関係を模式的に示した図3で、レンズを距離Lの矢印始点とすると、その点は投影画像面に描く事ができない事で理解できる。
この近接オブジェクト92を基準点Pとして利用する。すなわち、近接オブジェクト92の自動車10からの距離を左方向距離センサ12Lによって計測して、基準点Pの距離Lrefを算出する。
なお、図中で距離Lrefや距離Lを示す線分の矢印の始点を丸塗りつぶしで図示しているが、中心射影の現実のカメラ画像ではその光軸に直交する方角は無限の遠方の為に写りこまない。つまり、水平方向に向けた中心射影のカメラで該当カメラの真下の道路部は描写されないためである。本開示図はカメラ設置位置から距離を便宜上直感的に見せる為の図示である。このことは、中心射影の投影関係を模式的に示した図3で、レンズを距離Lの矢印始点とすると、その点は投影画像面に描く事ができない事で理解できる。
さらに、画像には、道路、すなわち、距離算出対象オブジェクトであるオブジェクト(車両)91が走行している道路が含まれる。
この道路は、近接オブジェクト(基準点P)92の位置にもあり、実世界における道路幅はほぼ全ての道路で一定であると推定することができる。
道路幅が一定であっても、カーブを描いたい、該当車両の道路平面に対してアップダウンのあるうねった状況では、例えば図12に示す通り、その道路の方角に応じて検出平行線の無限点はシフトする。中心射影方式のカメラで描写される像の画面内配置は、その光軸中心に対し、角度βの方角が撮像像高さf*tan(β)シフトして写る。そのため、道路の各平行成分をなすセグメント毎にその区間の向きに合わせ、その間の無限点は対応して変化する。図12(1)に示す例では、カメラのレンズ位置から距離Lturnまでは車両進行方向直角に設置されたカメラの光軸と平行な線分と、それ以降が角度βをなす想定で描いている。また、図12(2)は、同距離Lslope以降に傾きαで道路面が立ち上がっているケースを示す。
この道路は、近接オブジェクト(基準点P)92の位置にもあり、実世界における道路幅はほぼ全ての道路で一定であると推定することができる。
道路幅が一定であっても、カーブを描いたい、該当車両の道路平面に対してアップダウンのあるうねった状況では、例えば図12に示す通り、その道路の方角に応じて検出平行線の無限点はシフトする。中心射影方式のカメラで描写される像の画面内配置は、その光軸中心に対し、角度βの方角が撮像像高さf*tan(β)シフトして写る。そのため、道路の各平行成分をなすセグメント毎にその区間の向きに合わせ、その間の無限点は対応して変化する。図12(1)に示す例では、カメラのレンズ位置から距離Lturnまでは車両進行方向直角に設置されたカメラの光軸と平行な線分と、それ以降が角度βをなす想定で描いている。また、図12(2)は、同距離Lslope以降に傾きαで道路面が立ち上がっているケースを示す。
他方で、道路の境界区分線がそもそも平行でない場合、単一フレーム画像で判断をしようとすると厄介な事が起こる。例えば、図13に示すように、道路幅が先細りとなるケースや道路の片側境界線が先で細まって設計がされている場合には、単一フレーム画像から見ると、無限点の錯覚を引き起こす。つまり、撮像検出線分の交点が平行線の無限遠方点の仮定はもはや正しく当てはまらない。
これら図12、図13に示す例のように、道路の幅が変わている場合や、自車両が走行する平面に対して傾斜している領域をまたぐ場合等には、この交点が有限長に存在する事から、車両の並進前進移動で点の位置の変化を伴う。この性質を利用し、距離算出に適用できる無限点と単一フレームの「見かけ」無限点は区分判別が可能である。線分が車両の前進並進運動する際の取り込み画像のフレーム間で、検出線分組合せの平行線分の無限点と非平行線分で描画される線分の交点には異なる振る舞いが発生る。ここで注目するのは、中心射影投影のカメラ画像には、取り込み画面上の光軸中心からの点の描画位置が、実空間の光軸に対する方角がγである場合、その描画面光軸中心点からf*tan(γ)となり、撮像された全ての線分の各無限遠方の消失点はその線分がカメラの光軸に対して一意に決まる事である。
各区間毎の区間距離はその区間で検出される平行線分の無限点位置から距離推定ができ、その先の区間毎に積分する事で曲り曲がった平行道路でもより遠方までの距離推定が原理的に可能である。
各区間毎の区間距離はその区間で検出される平行線分の無限点位置から距離推定ができ、その先の区間毎に積分する事で曲り曲がった平行道路でもより遠方までの距離推定が原理的に可能である。
なお、路面の無限点較正や路面上のオブジェクト距離推定に際しては、路面特徴が複数検出される状況下では、車両の並進移動にともなう撮像画面上での路面特徴点が図14に示す通り、進行方向逆方向に移動し、その移動量ΔMと距離Lは逆比例の関係を示す。路面上特徴点のみ選択的にプロットすれば、線形関数が得らる。例えば最小二乗法でフィッティングした関係式から、距離推定をしてもよい。ただし、路面立体構造物の場合、その構造物の路面よりも高い位置にある場合は、較正に適用できない。
ただし、画像上では、カメラに近い位置にあるほど被写体サイズは大きくなる。従って、
(a)距離算出対象オブジェクトであるオブジェクト(車両)91の位置の道路幅の画像サイズW、
(b)近接オブジェクト(基準点P)92の位置の道路幅の画像サイズWref、
これらの2つの画像上の道路幅サイズは異なるサイズとなる。
(a)距離算出対象オブジェクトであるオブジェクト(車両)91の位置の道路幅の画像サイズW、
(b)近接オブジェクト(基準点P)92の位置の道路幅の画像サイズWref、
これらの2つの画像上の道路幅サイズは異なるサイズとなる。
実世界で同一サイズのオブジェクトの画像上のサイズはカメラから被写体までの距離に逆比例する。すなわち、カメラから被写体までの距離が大きくなるほで、画像上のサイズは小さくなる。
図11に示す近接オブジェクト(基準点P)92は、左方向距離センサ12Lによって自動車10からの距離が計測されている。すなわち、
基準点P距離=Lrefである。
また、この近接オブジェクト(基準点P)92の位置の画像横方向(水平方向)の画像上の道路幅はWrefである。この道路サイズWrefは、画像から取得できる。
さらに、距離算出対象オブジェクトであるオブジェクト(車両)91の位置の画像横方向(水平方向)の画像上の道路幅はWである。この道路サイズWは、画像から取得できる。
基準点P距離=Lrefである。
また、この近接オブジェクト(基準点P)92の位置の画像横方向(水平方向)の画像上の道路幅はWrefである。この道路サイズWrefは、画像から取得できる。
さらに、距離算出対象オブジェクトであるオブジェクト(車両)91の位置の画像横方向(水平方向)の画像上の道路幅はWである。この道路サイズWは、画像から取得できる。
従って、カメラの位置(=自動車10の位置)から、距離算出対象オブジェクトであるオブジェクト(車両)91までの距離Lは、以下の(式2)によって算出することができる。
L=Lref×(Wref/W)・・・(式2)
ただし、
Lref:基準点P(基準面(道路面)上)までの距離(実距離)、
Wref:基準点P(基準面(道路面)上)の画像横方向(水平方向)のオブジェクト(道路等)の幅(画像上の長さ)、
W:距離算出対象オブジェクト(基準面(道路面)上)の画像横方向(水平方向)のオブジェクト(道路等)の幅(画像上の長さ)、
である。
L=Lref×(Wref/W)・・・(式2)
ただし、
Lref:基準点P(基準面(道路面)上)までの距離(実距離)、
Wref:基準点P(基準面(道路面)上)の画像横方向(水平方向)のオブジェクト(道路等)の幅(画像上の長さ)、
W:距離算出対象オブジェクト(基準面(道路面)上)の画像横方向(水平方向)のオブジェクト(道路等)の幅(画像上の長さ)、
である。
[3−2.(処理例2)距離算出対象オブジェクトが、実サイズが既知の構成物を含む場合のオブジェクト距離算出処理例]
次に、処理例2として、距離算出対象オブジェクトが、実サイズが既知の構成物を含む場合のオブジェクト距離算出処理例について、図15を参照して説明する。
次に、処理例2として、距離算出対象オブジェクトが、実サイズが既知の構成物を含む場合のオブジェクト距離算出処理例について、図15を参照して説明する。
図15に示す画像は、自動車10の左方向カメラ11Lによって撮影された画像である。
道路上を近づくオブジェクト(車両)91が被写体として撮りこまれている。
このオブジェクト(車両)91の距離を算出する。
道路上を近づくオブジェクト(車両)91が被写体として撮りこまれている。
このオブジェクト(車両)91の距離を算出する。
距離算出対象オブジェクトであるオブジェクト(車両)91には、ナンバープレートの画像が含まれる。
自動車のナンバープレートのサイズは、規格に従ったサイズであり、一般的な普通乗用車では、どの自動車においても同一のサイズとなる。
すなわち、ナンバープレートの実サイズが既知である。
自動車のナンバープレートのサイズは、規格に従ったサイズであり、一般的な普通乗用車では、どの自動車においても同一のサイズとなる。
すなわち、ナンバープレートの実サイズが既知である。
この既知サイズであるナンバープレートの実サイズ(横幅)をWrwとする。
また、撮影画像に含まれるナンバープレートの画像サイズ(横幅)をWとする。
さらに、カメラの焦点距離をfとする。このfは既知である。
また、撮影画像に含まれるナンバープレートの画像サイズ(横幅)をWとする。
さらに、カメラの焦点距離をfとする。このfは既知である。
このとき、カメラの位置(=自動車10の位置)から、距離算出対象オブジェクトであるオブジェクト(車両)91までの距離Lは、以下の(式3)によって算出することができる。
L=f×(Wrw/W)・・・(式3)
ただし、
f:カメラの焦点距離、
Wrw:距離算出対象オブジェクトの画像内に含まれる実サイズが既知の構成物の実サイズ、
W:距離算出対象オブジェクトの画像内に含まれる実サイズが既知の構成物の画像サイズ、
である。
L=f×(Wrw/W)・・・(式3)
ただし、
f:カメラの焦点距離、
Wrw:距離算出対象オブジェクトの画像内に含まれる実サイズが既知の構成物の実サイズ、
W:距離算出対象オブジェクトの画像内に含まれる実サイズが既知の構成物の画像サイズ、
である。
図11、図15を参照して説明したオブジェクト距離算出処理では、先に説明した無限遠点の位置を画像から検出する処理が不要である。
すなわち、画像から無限遠点を検出できない場合でも、オブジェクト距離を算出することが可能となる。
また、図15を参照して説明した処理では、基準点Pまでの距離算出も不要であり、距離センサを持たない自動車においても、オブジェクト距離を算出することが可能となる。
すなわち、画像から無限遠点を検出できない場合でも、オブジェクト距離を算出することが可能となる。
また、図15を参照して説明した処理では、基準点Pまでの距離算出も不要であり、距離センサを持たない自動車においても、オブジェクト距離を算出することが可能となる。
[4.情報処理装置の実行する処理のシーケンスについて]
次に、図16、図17に示すフローチャートを参照して、自動車10内の情報処理装置の実行する処理のシーケンスについて説明する。
なお、図16、図17に示すフローチャートに従った処理は、例えば、情報処理装置の記憶部に格納されたプログラムに従って実行することが可能である。
情報処理装置は例えばCPU等のプログラム実行機能を有するハードウェアを備えている。
以下、フローチャートの各ステップの処理について説明する。
次に、図16、図17に示すフローチャートを参照して、自動車10内の情報処理装置の実行する処理のシーケンスについて説明する。
なお、図16、図17に示すフローチャートに従った処理は、例えば、情報処理装置の記憶部に格納されたプログラムに従って実行することが可能である。
情報処理装置は例えばCPU等のプログラム実行機能を有するハードウェアを備えている。
以下、フローチャートの各ステップの処理について説明する。
(ステップS101)
まず、ステップS101において、カメラ撮影画像に距離算出対象オブジェクトを検出したか否かを判定する。
なお、この場合のカメラは、左方向カメラ11L、または右方向カメラ11Rのいずれかである。
また、距離算出対象オブジェクトは、例えば、車両の他、歩行者、カードレール、側壁等、自動車10の移動に対する障害物となり得る全てのオブジェクトとしてもよいし、予め、移動するオブジェクトのみを選択する設定としてもよい。
まず、ステップS101において、カメラ撮影画像に距離算出対象オブジェクトを検出したか否かを判定する。
なお、この場合のカメラは、左方向カメラ11L、または右方向カメラ11Rのいずれかである。
また、距離算出対象オブジェクトは、例えば、車両の他、歩行者、カードレール、側壁等、自動車10の移動に対する障害物となり得る全てのオブジェクトとしてもよいし、予め、移動するオブジェクトのみを選択する設定としてもよい。
(ステップS102)
次に、ステップS102において、カメラ撮影画像から無限遠点検出に適用可能な複数の平行線(実世界上の平行線)が検出できたか否かを判定する。
この平行線は、カメラ側から遠方方向に延びる線である。すなわち、先に図5を参照して説明した平行線a〜d,61a〜61d等の線である。
次に、ステップS102において、カメラ撮影画像から無限遠点検出に適用可能な複数の平行線(実世界上の平行線)が検出できたか否かを判定する。
この平行線は、カメラ側から遠方方向に延びる線である。すなわち、先に図5を参照して説明した平行線a〜d,61a〜61d等の線である。
カメラ撮影画像から無限遠点検出に適用可能な複数の平行線(実世界上の平行線)が検出できたと判定した場合は、ステップS104に進む。
一方、カメラ撮影画像から無限遠点検出に適用可能な複数の平行線(実世界上の平行線)が検出できないと判定した場合は、ステップS103に進む。
一方、カメラ撮影画像から無限遠点検出に適用可能な複数の平行線(実世界上の平行線)が検出できないと判定した場合は、ステップS103に進む。
(ステップS103)
ステップS102において、カメラ撮影画像から無限遠点検出に適用可能な複数の平行線(実世界上の平行線)が検出できないと判定した場合は、ステップS103に進む。
ステップS103では、カメラ撮影画像から無限遠点検出に適用可能な1本の線分が検出できたか否かを判定する。
この線分もカメラ側から遠方方向に延びる線である。すなわち、先に図7を参照して説明した個別検出線71等の線である。
ステップS102において、カメラ撮影画像から無限遠点検出に適用可能な複数の平行線(実世界上の平行線)が検出できないと判定した場合は、ステップS103に進む。
ステップS103では、カメラ撮影画像から無限遠点検出に適用可能な1本の線分が検出できたか否かを判定する。
この線分もカメラ側から遠方方向に延びる線である。すなわち、先に図7を参照して説明した個別検出線71等の線である。
カメラ撮影画像から無限遠点検出に適用可能な1本の線分が検出できたと判定した場合は、ステップS104に進む。
一方、カメラ撮影画像から無限遠点検出に適用可能な1本の線分検出できないと判定した場合は、ステップS201に進む。
一方、カメラ撮影画像から無限遠点検出に適用可能な1本の線分検出できないと判定した場合は、ステップS201に進む。
(ステップS104)
ステップS102において、カメラ撮影画像から無限遠点検出に適用可能な複数の平行線(実世界上の平行線)が検出できたと判定した場合、または、
ステップS103において、カメラ撮影画像から無限遠点検出に適用可能な1本の線分が検出できたと判定した場合は、ステップS104に進む。
ステップS102において、カメラ撮影画像から無限遠点検出に適用可能な複数の平行線(実世界上の平行線)が検出できたと判定した場合、または、
ステップS103において、カメラ撮影画像から無限遠点検出に適用可能な1本の線分が検出できたと判定した場合は、ステップS104に進む。
ステップS104では、カメラ撮影画像から、無限遠点を検出する。
ステップS102において、カメラ撮影画像から無限遠点検出に適用可能な複数の平行線(実世界上の平行線)が検出できたと判定した場合は、先に図5を参照して説明したように、これらの複数の平行線を延長してその交点を検出する。この交点を無限遠点とする。
ステップS102において、カメラ撮影画像から無限遠点検出に適用可能な複数の平行線(実世界上の平行線)が検出できたと判定した場合は、先に図5を参照して説明したように、これらの複数の平行線を延長してその交点を検出する。この交点を無限遠点とする。
また、ステップS103において、カメラ撮影画像から無限遠点検出に適用可能な1本の線分が検出できたと判定した場合は、先に図7を参照して説明したように、所定期間内の複数の撮影画像フレームに含まれる線分を1つの画像上に出力した場合に出力される複数の線を延長してその交点を検出する。この交点を無限遠点とする。
(ステップS105)
ステップS104において、無限遠点の検出が終了すると次に、ステップS105に進む。
ステップS105では、以下の(式1)に従って、オブジェクト距離を算出する。
L=Lref×(href/h)=f×(H/h)・・・(式1)
ただし、
f:カメラの焦点距離、
H:カメラの設置高さ(基準面(=道路面)からの高さ)、
h:撮影画像上のオブジェクト接地点(基準面(道路面)との接点)と無限遠点間の離間距離(画像上下方向の画像上の離間距離)、
Lref:基準点P(基準面(道路面)上)までの距離(実距離)
href:撮影画像上の基準点Pと無限遠点間の離間距離(画像上下方向の画像上の離間距離)、
である。
ステップS104において、無限遠点の検出が終了すると次に、ステップS105に進む。
ステップS105では、以下の(式1)に従って、オブジェクト距離を算出する。
L=Lref×(href/h)=f×(H/h)・・・(式1)
ただし、
f:カメラの焦点距離、
H:カメラの設置高さ(基準面(=道路面)からの高さ)、
h:撮影画像上のオブジェクト接地点(基準面(道路面)との接点)と無限遠点間の離間距離(画像上下方向の画像上の離間距離)、
Lref:基準点P(基準面(道路面)上)までの距離(実距離)
href:撮影画像上の基準点Pと無限遠点間の離間距離(画像上下方向の画像上の離間距離)、
である。
なお、上記(式1)を適用してオブジェクト距離を算出するためには、
L=Lref×(href/h)・・・(式1a)
L=f×(H/h)・・・(式1b)
上記(式1a)、または(式1b)いずれかを用いることが可能である。
L=Lref×(href/h)・・・(式1a)
L=f×(H/h)・・・(式1b)
上記(式1a)、または(式1b)いずれかを用いることが可能である。
上記各式に含まれるパラメータ中、
f:カメラの焦点距離、
H:カメラの設置高さ(基準面(=道路面)からの高さ)、
これらのパラメータは既知である。
f:カメラの焦点距離、
H:カメラの設置高さ(基準面(=道路面)からの高さ)、
これらのパラメータは既知である。
この設定において、
L=Lref×(href/h)・・・(式1a)
この(式1a)を利用して、オブジェクト距離Lを算出する場合は、
Lref:基準点P(基準面(道路面)上)までの距離(実距離)
h:撮影画像上のオブジェクト接地点(基準面(道路面)との接点)と無限遠点間の離間距離(画像上下方向の画像上の離間距離)、
href:撮影画像上の基準点Pと無限遠点間の離間距離(画像上下方向の画像上の離間距離)、
これらのパラメータを取得することが必要である。
L=Lref×(href/h)・・・(式1a)
この(式1a)を利用して、オブジェクト距離Lを算出する場合は、
Lref:基準点P(基準面(道路面)上)までの距離(実距離)
h:撮影画像上のオブジェクト接地点(基準面(道路面)との接点)と無限遠点間の離間距離(画像上下方向の画像上の離間距離)、
href:撮影画像上の基準点Pと無限遠点間の離間距離(画像上下方向の画像上の離間距離)、
これらのパラメータを取得することが必要である。
この(式1a)を利用する場合は、まず、距離センサ12によって距離計測が可能な位置にある近接オブジェクトを基準点Pとして選択し、その基準点Pまでの距離を計測して、基準点Pまでの距離Lrefを取得する。
さらに、ステップS104で検出した無限遠点から、パラメータh,hrefを取得する。
これらのパラメータを利用して、
L=Lref×(href/h)・・・(式1a)
上記(式1a)に従ってオブジェクト距離を算出することができる。
さらに、ステップS104で検出した無限遠点から、パラメータh,hrefを取得する。
これらのパラメータを利用して、
L=Lref×(href/h)・・・(式1a)
上記(式1a)に従ってオブジェクト距離を算出することができる。
また、
L=f×(H/h)・・・(式1b)
この(式1b)を利用する場合は、ステップS104で検出した無限遠点から、パラメータhを取得する。
このパラメータを利用して、
L=f×(H/h)・・・(式1b)
上記(式1b)に従ってオブジェクト距離を算出することができる。
L=f×(H/h)・・・(式1b)
この(式1b)を利用する場合は、ステップS104で検出した無限遠点から、パラメータhを取得する。
このパラメータを利用して、
L=f×(H/h)・・・(式1b)
上記(式1b)に従ってオブジェクト距離を算出することができる。
なお、この(式1b)を利用したオブジェクト距離算出処理では、基準点Pまでの距離算出が不要であり、距離センサを持たない自動車においても、撮影画像のみからオブジェクト距離を算出することが可能となる。
(ステップS201)
ステップS102において、カメラ撮影画像から無限遠点検出に適用可能な複数の平行線(実世界上の平行線)が検出できないと判定され、さらに、
ステップS103において、カメラ撮影画像から無限遠点検出に適用可能な1本の線分が検出できないと判定した場合は、ステップS201に進む。
ステップS102において、カメラ撮影画像から無限遠点検出に適用可能な複数の平行線(実世界上の平行線)が検出できないと判定され、さらに、
ステップS103において、カメラ撮影画像から無限遠点検出に適用可能な1本の線分が検出できないと判定した場合は、ステップS201に進む。
ステップS201では、画像から基準点となり得る距離が算出可能な近接オブジェクトが検出できたか否かを判定する。
近接オブジェクトが検出できた場合はステップS202に進む。
近接オブジェクトが検出できなかった場合はステップS211に進む。
近接オブジェクトが検出できた場合はステップS202に進む。
近接オブジェクトが検出できなかった場合はステップS211に進む。
(ステップS202)
ステップS201で、画像から基準点となり得る距離が算出可能な近接オブジェクトが検出できたと判定した場合はステップS202に進む。
ステップS202では、近接オブジェクトを基準点Pとして、基準点Pの距離を算出する。
距離算出は距離センサ12L,12Rのいずれかによって行われる。
ステップS201で、画像から基準点となり得る距離が算出可能な近接オブジェクトが検出できたと判定した場合はステップS202に進む。
ステップS202では、近接オブジェクトを基準点Pとして、基準点Pの距離を算出する。
距離算出は距離センサ12L,12Rのいずれかによって行われる。
(ステップS203)
次に、オブジェクト距離Lを以下の(式2)に従って算出する。
L=Lref×(Wref/W)・・・(式2)
ただし、
Lref:基準点P(基準面(道路面)上)までの距離(実距離)、
Wref:基準点P(基準面(道路面)上)の画像横方向(水平方向)のオブジェクト(道路等)の幅(画像上の長さ)、
W:距離算出対象オブジェクト(基準面(道路面)上)の画像横方向(水平方向)のオブジェクト(道路等)の幅(画像上の長さ)、
である。
次に、オブジェクト距離Lを以下の(式2)に従って算出する。
L=Lref×(Wref/W)・・・(式2)
ただし、
Lref:基準点P(基準面(道路面)上)までの距離(実距離)、
Wref:基準点P(基準面(道路面)上)の画像横方向(水平方向)のオブジェクト(道路等)の幅(画像上の長さ)、
W:距離算出対象オブジェクト(基準面(道路面)上)の画像横方向(水平方向)のオブジェクト(道路等)の幅(画像上の長さ)、
である。
この(式2)を利用したオブジェクト距離算出処理は、先に図11を参照して説明した処理に相当する。
(ステップS211)
一方、ステップS201で、画像から基準点となり得る距離が算出可能な近接オブジェクトが検出できないと判定した場合はステップS211に進む。
ステップS211では、距離算出対象オブジェクトの画像内に実サイズが既知の構成物、例えばナンバープレート等が含まれるか否かを判定する。
一方、ステップS201で、画像から基準点となり得る距離が算出可能な近接オブジェクトが検出できないと判定した場合はステップS211に進む。
ステップS211では、距離算出対象オブジェクトの画像内に実サイズが既知の構成物、例えばナンバープレート等が含まれるか否かを判定する。
実サイズが既知の構成物が含まれる場合は、ステップS212に進む。
実サイズが既知の構成物が含まれない場合は、処理を終了する。
実サイズが既知の構成物が含まれない場合は、処理を終了する。
(ステップS212)
ステップS211で、距離算出対象オブジェクトの画像内に実サイズが既知の構成物、例えばナンバープレート等が含まれると判定した場合、ステップS212に進む。
ステップS211で、距離算出対象オブジェクトの画像内に実サイズが既知の構成物、例えばナンバープレート等が含まれると判定した場合、ステップS212に進む。
ステップS212では、オブジェクト距離Lを以下の(式3)に従って算出する。
L=f×(Wrw/W)・・・(式3)
ただし、
f:カメラの焦点距離、
Wrw:距離算出対象オブジェクトの画像内に含まれる実サイズが既知の構成物の実サイズ、
W:距離算出対象オブジェクトの画像内に含まれる実サイズが既知の構成物の画像サイズ、
である。
L=f×(Wrw/W)・・・(式3)
ただし、
f:カメラの焦点距離、
Wrw:距離算出対象オブジェクトの画像内に含まれる実サイズが既知の構成物の実サイズ、
W:距離算出対象オブジェクトの画像内に含まれる実サイズが既知の構成物の画像サイズ、
である。
この(式3)を利用したオブジェクト距離算出処理は、先に図15を参照して説明した処理に相当する。
[5.移動装置の構成例について]
次に、図16を参照して本開示の処理を実行する自動車10等の移動装置の構成例について説明する。
図16は、上述した処理を実行する自動車10等の移動装置の制御システムの一例である車両制御システム100の概略的な機能の構成例を示すブロック図である。
次に、図16を参照して本開示の処理を実行する自動車10等の移動装置の構成例について説明する。
図16は、上述した処理を実行する自動車10等の移動装置の制御システムの一例である車両制御システム100の概略的な機能の構成例を示すブロック図である。
なお、以下、車両制御システム100が設けられている車両を他の車両と区別する場合、自車又は自車両と称する。
車両制御システム100は、入力部101、データ取得部102、通信部103、車内機器104、出力制御部105、出力部106、駆動系制御部107、駆動系システム108、ボディ系制御部109、ボディ系システム110、記憶部111、及び、自動運転制御部112を備える。入力部101、データ取得部102、通信部103、出力制御部105、駆動系制御部107、ボディ系制御部109、記憶部111、及び、自動運転制御部112は、通信ネットワーク121を介して、相互に接続されている。通信ネットワーク121は、例えば、CAN(Controller Area Network)、LIN(Local Interconnect Network)、LAN(Local Area Network)、又は、FlexRay(登録商標)等の任意の規格に準拠した車載通信ネットワークやバス等からなる。なお、車両制御システム100の各部は、通信ネットワーク121を介さずに、直接接続される場合もある。
なお、以下、車両制御システム100の各部が、通信ネットワーク121を介して通信を行う場合、通信ネットワーク121の記載を省略するものとする。例えば、入力部101と自動運転制御部112が、通信ネットワーク121を介して通信を行う場合、単に入力部101と自動運転制御部112が通信を行うと記載する。
入力部101は、搭乗者が各種のデータや指示等の入力に用いる装置を備える。例えば、入力部101は、タッチパネル、ボタン、マイクロフォン、スイッチ、及び、レバー等の操作デバイス、並びに、音声やジェスチャ等により手動操作以外の方法で入力可能な操作デバイス等を備える。また、例えば、入力部101は、赤外線若しくはその他の電波を利用したリモートコントロール装置、又は、車両制御システム100の操作に対応したモバイル機器若しくはウェアラブル機器等の外部接続機器であってもよい。入力部101は、搭乗者により入力されたデータや指示等に基づいて入力信号を生成し、車両制御システム100の各部に供給する。
データ取得部102は、車両制御システム100の処理に用いるデータを取得する各種のセンサ等を備え、取得したデータを、車両制御システム100の各部に供給する。
例えば、データ取得部102は、自車の状態等を検出するための各種のセンサを備える。具体的には、例えば、データ取得部102は、ジャイロセンサ、加速度センサ、慣性計測装置(IMU)、及び、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数、モータ回転数、若しくは、車輪の回転速度等を検出するためのセンサ等を備える。
また、例えば、データ取得部102は、自車の外部の情報を検出するための各種のセンサを備える。具体的には、例えば、データ取得部102は、ToF(Time Of Flight)カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ、及び、その他のカメラ等の撮像装置を備える。また、例えば、データ取得部102は、天候又は気象等を検出するための環境センサ、及び、自車の周囲の物体を検出するための周囲情報検出センサを備える。環境センサは、例えば、雨滴センサ、霧センサ、日照センサ、雪センサ等からなる。周囲情報検出センサは、例えば、超音波センサ、レーダ、LiDAR(Light Detection and Ranging、Laser Imaging Detection and Ranging)、ソナー等からなる。
さらに、例えば、データ取得部102は、自車の現在位置を検出するための各種のセンサを備える。具体的には、例えば、データ取得部102は、GNSS(Global Navigation Satellite System)衛星からのGNSS信号を受信するGNSS受信機等を備える。
また、例えば、データ取得部102は、車内の情報を検出するための各種のセンサを備える。具体的には、例えば、データ取得部102は、運転者を撮像する撮像装置、運転者の生体情報を検出する生体センサ、及び、車室内の音声を集音するマイクロフォン等を備える。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座っている搭乗者又はステアリングホイールを握っている運転者の生体情報を検出する。
通信部103は、車内機器104、並びに、車外の様々な機器、サーバ、基地局等と通信を行い、車両制御システム100の各部から供給されるデータを送信したり、受信したデータを車両制御システム100の各部に供給したりする。なお、通信部103がサポートする通信プロトコルは、特に限定されるものではなく、また、通信部103が、複数の種類の通信プロトコルをサポートすることも可能である
例えば、通信部103は、無線LAN、Bluetooth(登録商標)、NFC(Near Field Communication)、又は、WUSB(Wireless USB)等により、車内機器104と無線通信を行う。また、例えば、通信部103は、図示しない接続端子(及び、必要であればケーブル)を介して、USB(Universal Serial Bus)、HDMI(登録商標)(High−Definition Multimedia Interface)、又は、MHL(Mobile High−definition Link)等により、車内機器104と有線通信を行う。
さらに、例えば、通信部103は、基地局又はアクセスポイントを介して、外部ネットワーク(例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク)上に存在する機器(例えば、アプリケーションサーバ又は制御サーバ)との通信を行う。また、例えば、通信部103は、P2P(Peer To Peer)技術を用いて、自車の近傍に存在する端末(例えば、歩行者若しくは店舗の端末、又は、MTC(Machine Type Communication)端末)との通信を行う。さらに、例えば、通信部103は、車車間(Vehicle to Vehicle)通信、路車間(Vehicle to Infrastructure)通信、自車と家との間(Vehicle to Home)の通信、及び、歩車間(Vehicle to Pedestrian)通信等のV2X通信を行う。また、例えば、通信部103は、ビーコン受信部を備え、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行規制又は所要時間等の情報を取得する。
車内機器104は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、自車に搬入され若しくは取り付けられる情報機器、及び、任意の目的地までの経路探索を行うナビゲーション装置等を含む。
出力制御部105は、自車の搭乗者又は車外に対する各種の情報の出力を制御する。例えば、出力制御部105は、視覚情報(例えば、画像データ)及び聴覚情報(例えば、音声データ)のうちの少なくとも1つを含む出力信号を生成し、出力部106に供給することにより、出力部106からの視覚情報及び聴覚情報の出力を制御する。具体的には、例えば、出力制御部105は、データ取得部102の異なる撮像装置により撮像された画像データを合成して、俯瞰画像又はパノラマ画像等を生成し、生成した画像を含む出力信号を出力部106に供給する。また、例えば、出力制御部105は、衝突、接触、危険地帯への進入等の危険に対する警告音又は警告メッセージ等を含む音声データを生成し、生成した音声データを含む出力信号を出力部106に供給する。
出力部106は、自車の搭乗者又は車外に対して、視覚情報又は聴覚情報を出力することが可能な装置を備える。例えば、出力部106は、表示装置、インストルメントパネル、オーディオスピーカ、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ、ランプ等を備える。出力部106が備える表示装置は、通常のディスプレイを有する装置以外にも、例えば、ヘッドアップディスプレイ、透過型ディスプレイ、AR(Augmented Reality)表示機能を有する装置等の運転者の視野内に視覚情報を表示する装置であってもよい。
駆動系制御部107は、各種の制御信号を生成し、駆動系システム108に供給することにより、駆動系システム108の制御を行う。また、駆動系制御部107は、必要に応じて、駆動系システム108以外の各部に制御信号を供給し、駆動系システム108の制御状態の通知等を行う。
駆動系システム108は、自車の駆動系に関わる各種の装置を備える。例えば、駆動系システム108は、内燃機関又は駆動用モータ等の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、舵角を調節するステアリング機構、制動力を発生させる制動装置、ABS(Antilock Brake System)、ESC(Electronic Stability Control)、並びに、電動パワーステアリング装置等を備える。
ボディ系制御部109は、各種の制御信号を生成し、ボディ系システム110に供給することにより、ボディ系システム110の制御を行う。また、ボディ系制御部109は、必要に応じて、ボディ系システム110以外の各部に制御信号を供給し、ボディ系システム110の制御状態の通知等を行う。
ボディ系システム110は、車体に装備されたボディ系の各種の装置を備える。例えば、ボディ系システム110は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、パワーシート、ステアリングホイール、空調装置、及び、各種ランプ(例えば、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカ、フォグランプ等)等を備える。
記憶部111は、例えば、ROM(Read Only Memory)、RAM(Random Access Memory)、HDD(Hard Disc Drive)等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、及び、光磁気記憶デバイス等を備える。記憶部111は、車両制御システム100の各部が用いる各種プログラムやデータ等を記憶する。例えば、記憶部111は、ダイナミックマップ等の3次元の高精度地図、高精度地図より精度が低く、広いエリアをカバーするグローバルマップ、及び、自車の周囲の情報を含むローカルマップ等の地図データを記憶する。
自動運転制御部112は、自律走行又は運転支援等の自動運転に関する制御を行う。具体的には、例えば、自動運転制御部112は、自車の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、自車の衝突警告、又は、自車のレーン逸脱警告等を含むADAS(Advanced Driver Assistance System)の機能実現を目的とした協調制御を行う。また、例えば、自動運転制御部112は、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行う。自動運転制御部112は、検出部131、自己位置推定部132、状況分析部133、計画部134、及び、動作制御部135を備える。
検出部131は、自動運転の制御に必要な各種の情報の検出を行う。検出部131は、車外情報検出部141、車内情報検出部142、及び、車両状態検出部143を備える。
車外情報検出部141は、車両制御システム100の各部からのデータ又は信号に基づいて、自車の外部の情報の検出処理を行う。例えば、車外情報検出部141は、自車の周囲の物体の検出処理、認識処理、及び、追跡処理、並びに、物体までの距離の検出処理を行う。検出対象となる物体には、例えば、車両、人、障害物、構造物、道路、信号機、交通標識、道路標示等が含まれる。また、例えば、車外情報検出部141は、自車の周囲の環境の検出処理を行う。検出対象となる周囲の環境には、例えば、天候、気温、湿度、明るさ、及び、路面の状態等が含まれる。車外情報検出部141は、検出処理の結果を示すデータを自己位置推定部132、状況分析部133のマップ解析部151、交通ルール認識部152、及び、状況認識部153、並びに、動作制御部135の緊急事態回避部171等に供給する。
車内情報検出部142は、車両制御システム100の各部からのデータ又は信号に基づいて、車内の情報の検出処理を行う。例えば、車内情報検出部142は、運転者の認証処理及び認識処理、運転者の状態の検出処理、搭乗者の検出処理、及び、車内の環境の検出処理等を行う。検出対象となる運転者の状態には、例えば、体調、覚醒度、集中度、疲労度、視線方向等が含まれる。検出対象となる車内の環境には、例えば、気温、湿度、明るさ、臭い等が含まれる。車内情報検出部142は、検出処理の結果を示すデータを状況分析部133の状況認識部153、及び、動作制御部135の緊急事態回避部171等に供給する。
車両状態検出部143は、車両制御システム100の各部からのデータ又は信号に基づいて、自車の状態の検出処理を行う。検出対象となる自車の状態には、例えば、速度、加速度、舵角、異常の有無及び内容、運転操作の状態、パワーシートの位置及び傾き、ドアロックの状態、並びに、その他の車載機器の状態等が含まれる。車両状態検出部143は、検出処理の結果を示すデータを状況分析部133の状況認識部153、及び、動作制御部135の緊急事態回避部171等に供給する。
自己位置推定部132は、車外情報検出部141、及び、状況分析部133の状況認識部153等の車両制御システム100の各部からのデータ又は信号に基づいて、自車の位置及び姿勢等の推定処理を行う。また、自己位置推定部132は、必要に応じて、自己位置の推定に用いるローカルマップ(以下、自己位置推定用マップと称する)を生成する。自己位置推定用マップは、例えば、SLAM(Simultaneous Localization and Mapping)等の技術を用いた高精度なマップとされる。自己位置推定部132は、推定処理の結果を示すデータを状況分析部133のマップ解析部151、交通ルール認識部152、及び、状況認識部153等に供給する。また、自己位置推定部132は、自己位置推定用マップを記憶部111に記憶させる。
状況分析部133は、自車及び周囲の状況の分析処理を行う。状況分析部133は、マップ解析部151、交通ルール認識部152、状況認識部153、及び、状況予測部154を備える。
マップ解析部151は、自己位置推定部132及び車外情報検出部141等の車両制御システム100の各部からのデータ又は信号を必要に応じて用いながら、記憶部111に記憶されている各種のマップの解析処理を行い、自動運転の処理に必要な情報を含むマップを構築する。マップ解析部151は、構築したマップを、交通ルール認識部152、状況認識部153、状況予測部154、並びに、計画部134のルート計画部161、行動計画部162、及び、動作計画部163等に供給する。
交通ルール認識部152は、自己位置推定部132、車外情報検出部141、及び、マップ解析部151等の車両制御システム100の各部からのデータ又は信号に基づいて、自車の周囲の交通ルールの認識処理を行う。この認識処理により、例えば、自車の周囲の信号の位置及び状態、自車の周囲の交通規制の内容、並びに、走行可能な車線等が認識される。交通ルール認識部152は、認識処理の結果を示すデータを状況予測部154等に供給する。
状況認識部153は、自己位置推定部132、車外情報検出部141、車内情報検出部142、車両状態検出部143、及び、マップ解析部151等の車両制御システム100の各部からのデータ又は信号に基づいて、自車に関する状況の認識処理を行う。例えば、状況認識部153は、自車の状況、自車の周囲の状況、及び、自車の運転者の状況等の認識処理を行う。また、状況認識部153は、必要に応じて、自車の周囲の状況の認識に用いるローカルマップ(以下、状況認識用マップと称する)を生成する。状況認識用マップは、例えば、占有格子地図(Occupancy Grid Map)とされる。
認識対象となる自車の状況には、例えば、自車の位置、姿勢、動き(例えば、速度、加速度、移動方向等)、並びに、異常の有無及び内容等が含まれる。認識対象となる自車の周囲の状況には、例えば、周囲の静止物体の種類及び位置、周囲の動物体の種類、位置及び動き(例えば、速度、加速度、移動方向等)、周囲の道路の構成及び路面の状態、並びに、周囲の天候、気温、湿度、及び、明るさ等が含まれる。認識対象となる運転者の状態には、例えば、体調、覚醒度、集中度、疲労度、視線の動き、並びに、運転操作等が含まれる。
状況認識部153は、認識処理の結果を示すデータ(必要に応じて、状況認識用マップを含む)を自己位置推定部132及び状況予測部154等に供給する。また、状況認識部153は、状況認識用マップを記憶部111に記憶させる。
状況予測部154は、マップ解析部151、交通ルール認識部152及び状況認識部153等の車両制御システム100の各部からのデータ又は信号に基づいて、自車に関する状況の予測処理を行う。例えば、状況予測部154は、自車の状況、自車の周囲の状況、及び、運転者の状況等の予測処理を行う。
予測対象となる自車の状況には、例えば、自車の挙動、異常の発生、及び、走行可能距離等が含まれる。予測対象となる自車の周囲の状況には、例えば、自車の周囲の動物体の挙動、信号の状態の変化、及び、天候等の環境の変化等が含まれる。予測対象となる運転者の状況には、例えば、運転者の挙動及び体調等が含まれる。
状況予測部154は、予測処理の結果を示すデータを、交通ルール認識部152及び状況認識部153からのデータとともに、計画部134のルート計画部161、行動計画部162、及び、動作計画部163等に供給する。
ルート計画部161は、マップ解析部151及び状況予測部154等の車両制御システム100の各部からのデータ又は信号に基づいて、目的地までのルートを計画する。例えば、ルート計画部161は、グローバルマップに基づいて、現在位置から指定された目的地までのルートを設定する。また、例えば、ルート計画部161は、渋滞、事故、通行規制、工事等の状況、及び、運転者の体調等に基づいて、適宜ルートを変更する。ルート計画部161は、計画したルートを示すデータを行動計画部162等に供給する。
行動計画部162は、マップ解析部151及び状況予測部154等の車両制御システム100の各部からのデータ又は信号に基づいて、ルート計画部161により計画されたルートを計画された時間内で安全に走行するための自車の行動を計画する。例えば、行動計画部162は、発進、停止、進行方向(例えば、前進、後退、左折、右折、方向転換等)、走行車線、走行速度、及び、追い越し等の計画を行う。行動計画部162は、計画した自車の行動を示すデータを動作計画部163等に供給する
動作計画部163は、マップ解析部151及び状況予測部154等の車両制御システム100の各部からのデータ又は信号に基づいて、行動計画部162により計画された行動を実現するための自車の動作を計画する。例えば、動作計画部163は、加速、減速、及び、走行軌道等の計画を行う。動作計画部163は、計画した自車の動作を示すデータを、動作制御部135の加減速制御部172及び方向制御部173等に供給する。
動作制御部135は、自車の動作の制御を行う。動作制御部135は、緊急事態回避部171、加減速制御部172、及び、方向制御部173を備える。
緊急事態回避部171は、車外情報検出部141、車内情報検出部142、及び、車両状態検出部143の検出結果に基づいて、衝突、接触、危険地帯への進入、運転者の異常、車両の異常等の緊急事態の検出処理を行う。緊急事態回避部171は、緊急事態の発生を検出した場合、急停車や急旋回等の緊急事態を回避するための自車の動作を計画する。緊急事態回避部171は、計画した自車の動作を示すデータを加減速制御部172及び方向制御部173等に供給する。
加減速制御部172は、動作計画部163又は緊急事態回避部171により計画された自車の動作を実現するための加減速制御を行う。例えば、加減速制御部172は、計画された加速、減速、又は、急停車を実現するための駆動力発生装置又は制動装置の制御目標値を演算し、演算した制御目標値を示す制御指令を駆動系制御部107に供給する。
方向制御部173は、動作計画部163又は緊急事態回避部171により計画された自車の動作を実現するための方向制御を行う。例えば、方向制御部173は、動作計画部163又は緊急事態回避部171により計画された走行軌道又は急旋回を実現するためのステアリング機構の制御目標値を演算し、演算した制御目標値を示す制御指令を駆動系制御部107に供給する。
なお、上述の実施例において説明したオブジェクト距離検出処理は、例えば、以下の構成要素を適用して実行される。
データ取得部102として構成されるカメラ、距離センサの取得情報を、検出部131の車外情報検出部141に入力する。
車外情報検出部141は、カメラ、距離センサの取得情報を用いて、距離検出対象となるオブジェクトを特定し、そのオブジェクトの距離を算出する。
あるいは、車外情報検出部141は、カメラ、距離センサの取得情報を用いて、距離検出対象となるオブジェクトを特定し、その特定情報を状況分析部133の状況認識部153に出力して、状況認識部153においてオブジェクトの距離を算出する構成としてもよい。
データ取得部102として構成されるカメラ、距離センサの取得情報を、検出部131の車外情報検出部141に入力する。
車外情報検出部141は、カメラ、距離センサの取得情報を用いて、距離検出対象となるオブジェクトを特定し、そのオブジェクトの距離を算出する。
あるいは、車外情報検出部141は、カメラ、距離センサの取得情報を用いて、距離検出対象となるオブジェクトを特定し、その特定情報を状況分析部133の状況認識部153に出力して、状況認識部153においてオブジェクトの距離を算出する構成としてもよい。
算出したオブジェクト距離は、自動車の経路を決定する計画部134に出力されて安全走行のための移動計画が策定される。
さらに計画部134の決定した経路情報が、自動車の動作制御を行う動作制御部135に入力され、動作制御部135が自動車の動作制御を実行する。
さらに計画部134の決定した経路情報が、自動車の動作制御を行う動作制御部135に入力され、動作制御部135が自動車の動作制御を実行する。
[6.情報処理装置の構成例について]
図18は、上述した処理を実行する移動装置内に装着可能な車両制御システム100の構成であるが、先に説明した実施例に従った処理は、例えば距離センサやカメラ等の様々なセンサの検出情報をPC等の情報処理装置に入力してデータ処理を行い、オブジェクトの距離やサイズや位置を算出することも可能である。
この場合の情報処理装置の具体的なハードウェア構成例について、図19を参照して説明する。
図18は、上述した処理を実行する移動装置内に装着可能な車両制御システム100の構成であるが、先に説明した実施例に従った処理は、例えば距離センサやカメラ等の様々なセンサの検出情報をPC等の情報処理装置に入力してデータ処理を行い、オブジェクトの距離やサイズや位置を算出することも可能である。
この場合の情報処理装置の具体的なハードウェア構成例について、図19を参照して説明する。
図19は、一般的なPC等の情報処理装置のハードウェア構成例を示す図である。
CPU(Central Processing Unit)301は、ROM(Read Only Memory)302、または記憶部308に記憶されているプログラムに従って各種の処理を実行するデータ処理部として機能する。例えば、上述した実施例において説明したシーケンスに従った処理を実行する。RAM(Random Access Memory)303には、CPU301が実行するプログラムやデータなどが記憶される。これらのCPU301、ROM302、およびRAM303は、バス304により相互に接続されている。
CPU(Central Processing Unit)301は、ROM(Read Only Memory)302、または記憶部308に記憶されているプログラムに従って各種の処理を実行するデータ処理部として機能する。例えば、上述した実施例において説明したシーケンスに従った処理を実行する。RAM(Random Access Memory)303には、CPU301が実行するプログラムやデータなどが記憶される。これらのCPU301、ROM302、およびRAM303は、バス304により相互に接続されている。
CPU301はバス304を介して入出力インタフェース305に接続され、入出力インタフェース305には、各種スイッチ、キーボード、タッチパネル、マウス、マイクロフォン、さらに、センサ、カメラ、GPS等の状況データ取得部などよりなる入力部306、ディスプレイ、スピーカなどよりなる出力部307が接続されている。
なお、入力部306には、距離センサやカメラ等のセンサ321からの入力情報も入力される。
また、出力部307は、移動装置の行動計画部等の計画部322に対する情報としてオブジェクトの距離、位置情報等も出力する。
なお、入力部306には、距離センサやカメラ等のセンサ321からの入力情報も入力される。
また、出力部307は、移動装置の行動計画部等の計画部322に対する情報としてオブジェクトの距離、位置情報等も出力する。
CPU301は、入力部306から入力される指令や状況データ等を入力し、各種の処理を実行し、処理結果を例えば出力部307に出力する。
入出力インタフェース305に接続されている記憶部308は、例えばハードディスク等からなり、CPU301が実行するプログラムや各種のデータを記憶する。通信部309は、インターネットやローカルエリアネットワークなどのネットワークを介したデータ通信の送受信部として機能し、外部の装置と通信する。
入出力インタフェース305に接続されている記憶部308は、例えばハードディスク等からなり、CPU301が実行するプログラムや各種のデータを記憶する。通信部309は、インターネットやローカルエリアネットワークなどのネットワークを介したデータ通信の送受信部として機能し、外部の装置と通信する。
入出力インタフェース305に接続されているドライブ310は、磁気ディスク、光ディスク、光磁気ディスク、あるいはメモリカード等の半導体メモリなどのリムーバブルメディア311を駆動し、データの記録あるいは読み取りを実行する。
[7.本開示の構成のまとめ]
以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
なお、本明細書において開示した技術は、以下のような構成をとることができる。
(1) 移動装置の移動方向に直交する方向、または直交成分を有する方向の画像を撮影するカメラの撮影画像に基づいてオブジェクト距離を算出するデータ処理部を有し、
前記データ処理部は、
前記撮影画像から無限遠点を検出し、
検出した無限遠点の位置と、前記撮影画像内のオブジェクトの位置との位置関係情報を利用してオブジェクト距離を算出する情報処理装置。
(1) 移動装置の移動方向に直交する方向、または直交成分を有する方向の画像を撮影するカメラの撮影画像に基づいてオブジェクト距離を算出するデータ処理部を有し、
前記データ処理部は、
前記撮影画像から無限遠点を検出し、
検出した無限遠点の位置と、前記撮影画像内のオブジェクトの位置との位置関係情報を利用してオブジェクト距離を算出する情報処理装置。
(2) 前記データ処理部は、
前記撮影画像から、カメラ位置から遠方に延びる実世界空間上の複数の線を検出し、検出した複数線分のフレーム間の線分座標変動解析を行うことで該当線分が実世界空間における平行線の組み合せであることを判定する機能を備え、該当検出線分群の無限遠点を推定する(1)に記載の情報処理装置。
前記撮影画像から、カメラ位置から遠方に延びる実世界空間上の複数の線を検出し、検出した複数線分のフレーム間の線分座標変動解析を行うことで該当線分が実世界空間における平行線の組み合せであることを判定する機能を備え、該当検出線分群の無限遠点を推定する(1)に記載の情報処理装置。
(3) 前記データ処理部は、
前記撮影画像から、カメラ位置から遠方に延びる実世界空間上の複数の線を検出し、検出した複数線分の平行線分と非平行線分を判定する機能を備えた(1)または(2)に記載の情報処理装置。
前記撮影画像から、カメラ位置から遠方に延びる実世界空間上の複数の線を検出し、検出した複数線分の平行線分と非平行線分を判定する機能を備えた(1)または(2)に記載の情報処理装置。
(4) 前記データ処理部は、
前記撮影画像から、カメラ位置から遠方に延びる実世界空間上の複数の線を検出し、検出した線分の組み合せ交叉ピーク座標が、車両並進運動に伴う順次フレーム間で移動することを検出する機能を備えた(1)〜(3)いずれかに記載の情報処理装置。
前記撮影画像から、カメラ位置から遠方に延びる実世界空間上の複数の線を検出し、検出した線分の組み合せ交叉ピーク座標が、車両並進運動に伴う順次フレーム間で移動することを検出する機能を備えた(1)〜(3)いずれかに記載の情報処理装置。
(5) 前記データ処理部は、
検出した前記無限遠点の位置を較正し、
較正した無限遠点の位置と、前記撮影画像内のオブジェクトの位置との位置関係情報を利用してオブジェクト距離を算出する(1)〜(4)いずれかに記載の情報処理装置。
検出した前記無限遠点の位置を較正し、
較正した無限遠点の位置と、前記撮影画像内のオブジェクトの位置との位置関係情報を利用してオブジェクト距離を算出する(1)〜(4)いずれかに記載の情報処理装置。
(6) 前記データ処理部は、
オブジェクト距離をLとしたとき、
L=f×(H/h)・・(式1b)、
ただし、
f:カメラの焦点距離、
H:カメラの基準面からの高さ、
h:撮影画像上のオブジェクトの基準面との接点と、無限遠点間の離間距離であり、画像上下方向の離間距離、
上記(式1b)に従ってオブジェクト距離を算出する(1)〜(5)いずれかに記載の情報処理装置。
オブジェクト距離をLとしたとき、
L=f×(H/h)・・(式1b)、
ただし、
f:カメラの焦点距離、
H:カメラの基準面からの高さ、
h:撮影画像上のオブジェクトの基準面との接点と、無限遠点間の離間距離であり、画像上下方向の離間距離、
上記(式1b)に従ってオブジェクト距離を算出する(1)〜(5)いずれかに記載の情報処理装置。
(7) 前記データ処理部は、
前記撮影画像と、前記オブジェクトより前記カメラに近い位置にある基準点Pの距離情報を利用して、オブジェクト距離を算出する(1)〜(6)いずれかに記載の情報処理装置。
前記撮影画像と、前記オブジェクトより前記カメラに近い位置にある基準点Pの距離情報を利用して、オブジェクト距離を算出する(1)〜(6)いずれかに記載の情報処理装置。
(8) 前記データ処理部は、
オブジェクト距離をLとしたとき、
L=Lref×(href/h)・・(式1a)、
ただし、
Lref:カメラから基準点Pまでの実距離、
href:撮影画像上の基準点Pと無限遠点間の離間距離であり、画像上下方向の離間距離、
h:撮影画像上のオブジェクトの基準面との接点と、無限遠点間の離間距離であり、画像上下方向の離間距離、
上記(式1a)に従ってオブジェクト距離を算出する(7)に記載の情報処理装置。
オブジェクト距離をLとしたとき、
L=Lref×(href/h)・・(式1a)、
ただし、
Lref:カメラから基準点Pまでの実距離、
href:撮影画像上の基準点Pと無限遠点間の離間距離であり、画像上下方向の離間距離、
h:撮影画像上のオブジェクトの基準面との接点と、無限遠点間の離間距離であり、画像上下方向の離間距離、
上記(式1a)に従ってオブジェクト距離を算出する(7)に記載の情報処理装置。
(9) 前記データ処理部は、
前記撮影画像から、カメラ位置から遠方に延びる実世界上の複数の平行線を検出し、検出した複数の平行線の延長線上の交点を無限遠点とする(1)〜(8)いずれかに記載の情報処理装置。
前記撮影画像から、カメラ位置から遠方に延びる実世界上の複数の平行線を検出し、検出した複数の平行線の延長線上の交点を無限遠点とする(1)〜(8)いずれかに記載の情報処理装置。
(10) 前記データ処理部は、
前記撮影画像から、カメラ位置から遠方に延びる実世界上の直線を検出し、カメラの移動に伴い、撮影画像上で方向が変化する画像フレーム単位の前記直線各々の延長線上の交点を無限遠点とする(1)〜(9)いずれかに記載の情報処理装置。
前記撮影画像から、カメラ位置から遠方に延びる実世界上の直線を検出し、カメラの移動に伴い、撮影画像上で方向が変化する画像フレーム単位の前記直線各々の延長線上の交点を無限遠点とする(1)〜(9)いずれかに記載の情報処理装置。
(11) 前記データ処理部は、
前記カメラによって撮影された複数の画像フレーム対応のオブジェクト距離に基づいて、前記オブジェクトの移動速度を算出する(1)〜(10)いずれかに記載の情報処理装置。
前記カメラによって撮影された複数の画像フレーム対応のオブジェクト距離に基づいて、前記オブジェクトの移動速度を算出する(1)〜(10)いずれかに記載の情報処理装置。
(12) 移動装置の移動方向に直交する方向、または直交成分を有する方向の画像を撮影するカメラの撮影画像に基づいてオブジェクト距離を算出するデータ処理部を有し、
前記データ処理部は、
前記撮影画像と、前記オブジェクトより前記カメラに近い位置の基準点Pの距離情報を利用して、オブジェクト距離を算出する構成であり、
オブジェクト距離をLとしたとき、
L=Lref×(Wref/W)・・・(式2)
ただし、
Lref:カメラから基準点Pまでの実距離、
Wref:基準点Pの画像横方向にある参照オブジェクトの画像上の幅、
W:距離算出対象オブジェクトの画像横方向にある前記参照オブジェクトの画像上の幅、
上記(式2)に従ってオブジェクト距離を算出する情報処理装置。
前記データ処理部は、
前記撮影画像と、前記オブジェクトより前記カメラに近い位置の基準点Pの距離情報を利用して、オブジェクト距離を算出する構成であり、
オブジェクト距離をLとしたとき、
L=Lref×(Wref/W)・・・(式2)
ただし、
Lref:カメラから基準点Pまでの実距離、
Wref:基準点Pの画像横方向にある参照オブジェクトの画像上の幅、
W:距離算出対象オブジェクトの画像横方向にある前記参照オブジェクトの画像上の幅、
上記(式2)に従ってオブジェクト距離を算出する情報処理装置。
(13) 移動装置の移動方向に直交する方向、または直交成分を有する方向の画像を撮影するカメラの撮影画像に基づいてオブジェクト距離を算出するデータ処理部を有し、
前記データ処理部は、
オブジェクト距離をLとしたとき、
L=f×(Wrw/W)・・・(式3)
ただし、
f:カメラの焦点距離、
Wrw:オブジェクト画像内に含まれる実サイズが既知の構成物の実サイズ、
W:オブジェクト画像内に含まれる実サイズが既知の構成物の画像サイズ、
上記(式3)に従ってオブジェクト距離を算出する情報処理装置。
前記データ処理部は、
オブジェクト距離をLとしたとき、
L=f×(Wrw/W)・・・(式3)
ただし、
f:カメラの焦点距離、
Wrw:オブジェクト画像内に含まれる実サイズが既知の構成物の実サイズ、
W:オブジェクト画像内に含まれる実サイズが既知の構成物の画像サイズ、
上記(式3)に従ってオブジェクト距離を算出する情報処理装置。
(14) 移動装置の移動方向に直交する方向、または直交成分を有する方向の画像を撮影するカメラと、
前記カメラの撮影画像に基づいてオブジェクト距離を算出するデータ処理部を有し、
前記データ処理部は、
前記撮影画像から無限遠点を検出し、
検出した無限遠点の位置と、前記撮影画像内のオブジェクトの位置との位置関係情報を利用してオブジェクト距離を算出し、
算出したオブジェクト距離に基づいて前記移動装置の経路を決定する計画部と、
前記計画部の決定した経路に従って前記移動装置の動作制御を行う動作制御部を有する移動装置。
前記カメラの撮影画像に基づいてオブジェクト距離を算出するデータ処理部を有し、
前記データ処理部は、
前記撮影画像から無限遠点を検出し、
検出した無限遠点の位置と、前記撮影画像内のオブジェクトの位置との位置関係情報を利用してオブジェクト距離を算出し、
算出したオブジェクト距離に基づいて前記移動装置の経路を決定する計画部と、
前記計画部の決定した経路に従って前記移動装置の動作制御を行う動作制御部を有する移動装置。
(15) 前記データ処理部は、
前記撮影画像から、カメラ位置から遠方に延びる実世界上の複数の平行線を検出し、検出した複数の平行線の延長線上の交点を無限遠点とする(14)に記載の移動装置。
前記撮影画像から、カメラ位置から遠方に延びる実世界上の複数の平行線を検出し、検出した複数の平行線の延長線上の交点を無限遠点とする(14)に記載の移動装置。
(16) 前記データ処理部は、
前記撮影画像から、カメラ位置から遠方に延びる実世界上の直線を検出し、カメラの移動に伴い、撮影画像上で方向が変化する画像フレーム単位の直線の各々の延長線上の交点を無限遠点とする(14)に記載の移動装置。
前記撮影画像から、カメラ位置から遠方に延びる実世界上の直線を検出し、カメラの移動に伴い、撮影画像上で方向が変化する画像フレーム単位の直線の各々の延長線上の交点を無限遠点とする(14)に記載の移動装置。
(17) 情報処理装置において実行する情報処理方法であり、
前記情報処理装置は、移動装置の移動方向に直交する方向、または直交成分を有する方向の画像を撮影するカメラの撮影画像に基づいてオブジェクト距離を算出するデータ処理部を有し、
前記データ処理部が、
前記撮影画像から無限遠点を検出し、
検出した無限遠点の位置と、前記撮影画像内のオブジェクトの位置との位置関係情報を利用してオブジェクト距離を算出する情報処理方法。
前記情報処理装置は、移動装置の移動方向に直交する方向、または直交成分を有する方向の画像を撮影するカメラの撮影画像に基づいてオブジェクト距離を算出するデータ処理部を有し、
前記データ処理部が、
前記撮影画像から無限遠点を検出し、
検出した無限遠点の位置と、前記撮影画像内のオブジェクトの位置との位置関係情報を利用してオブジェクト距離を算出する情報処理方法。
(18) 移動装置において実行する情報処理方法であり、
前記移動装置は、移動装置の移動方向に直交する方向、または直交成分を有する方向の画像を撮影するカメラと、
前記カメラの撮影画像に基づいてオブジェクト距離を算出するデータ処理部を有し、
前記データ処理部が、
前記撮影画像から無限遠点を検出し、
検出した無限遠点の位置と、前記撮影画像内のオブジェクトの位置との位置関係情報を利用してオブジェクト距離を算出し、
計画部が、算出したオブジェクト距離に基づいて前記移動装置の経路を決定し、
動作制御部が、前記計画部の決定した経路に従って前記移動装置の動作制御を行う情報処理方法。
前記移動装置は、移動装置の移動方向に直交する方向、または直交成分を有する方向の画像を撮影するカメラと、
前記カメラの撮影画像に基づいてオブジェクト距離を算出するデータ処理部を有し、
前記データ処理部が、
前記撮影画像から無限遠点を検出し、
検出した無限遠点の位置と、前記撮影画像内のオブジェクトの位置との位置関係情報を利用してオブジェクト距離を算出し、
計画部が、算出したオブジェクト距離に基づいて前記移動装置の経路を決定し、
動作制御部が、前記計画部の決定した経路に従って前記移動装置の動作制御を行う情報処理方法。
(19) 情報処理装置において情報処理を実行させるプログラムであり、
前記情報処理装置は、移動装置の移動方向に直交する方向、または直交成分を有する方向の画像を撮影するカメラの撮影画像に基づいてオブジェクト距離を算出するデータ処理部を有し、
前記プログラムは、前記データ処理部に、
前記撮影画像から無限遠点を検出させ、
検出した無限遠点の位置と、前記撮影画像内のオブジェクトの位置との位置関係情報を利用してオブジェクト距離を算出させるプログラム。
前記情報処理装置は、移動装置の移動方向に直交する方向、または直交成分を有する方向の画像を撮影するカメラの撮影画像に基づいてオブジェクト距離を算出するデータ処理部を有し、
前記プログラムは、前記データ処理部に、
前記撮影画像から無限遠点を検出させ、
検出した無限遠点の位置と、前記撮影画像内のオブジェクトの位置との位置関係情報を利用してオブジェクト距離を算出させるプログラム。
また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、LAN(Local Area Network)、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
以上、説明したように、本開示の一実施例の構成によれば、移動装置の移動方向に直交する方向、または直交成分を有する方向の画像を撮影するカメラの撮影画像に基づいてオブジェクト距離を算出する構成が実現される。
具体的には、例えば、データ処理部は、移動装置の移動方向に直交する方向、または直交成分を有する方向の画像を撮影するカメラの撮影画像から無限遠点を検出し、検出した無限遠点の位置と、撮影画像内のオブジェクトの位置との位置関係情報を利用してオブジェクト距離を算出する。データ処理部は、撮影画像から、カメラ位置から遠方に延びる実世界上の複数の平行線を検出し、検出した複数の平行線の延長線上の交点を無限遠点とする。または、カメラの移動に伴い、撮影画像上で方向が変化する画像フレーム単位の前記直線各々の延長線上の交点を無限遠点とする。
本構成により、移動装置の移動方向に直交する方向の画像を撮影するカメラの撮影画像に基づいてオブジェクト距離を算出する構成が実現される。
具体的には、例えば、データ処理部は、移動装置の移動方向に直交する方向、または直交成分を有する方向の画像を撮影するカメラの撮影画像から無限遠点を検出し、検出した無限遠点の位置と、撮影画像内のオブジェクトの位置との位置関係情報を利用してオブジェクト距離を算出する。データ処理部は、撮影画像から、カメラ位置から遠方に延びる実世界上の複数の平行線を検出し、検出した複数の平行線の延長線上の交点を無限遠点とする。または、カメラの移動に伴い、撮影画像上で方向が変化する画像フレーム単位の前記直線各々の延長線上の交点を無限遠点とする。
本構成により、移動装置の移動方向に直交する方向の画像を撮影するカメラの撮影画像に基づいてオブジェクト距離を算出する構成が実現される。
10・・移動装置,11L・・左方向カメラ,11R・・右方向カメラ,12L・・左方向距離センサ,12R・・右方向距離センサ,100・・車両制御システム,101・・入力部,102・・データ取得部,103・・通信部,104・・車内機器,105・・出力制御部,106・・出力部,107・・駆動系制御部,108・・駆動系システム,109・・ボディ系制御部,110・・ボディ系システム,111・・記憶部,112・・自動運転制御部,121・・通信ネットワーク,131・・検出部,132・・自己位置推定部,141・・車外情報検出部,142・・車内情報検出部,143・・車両状態検出部,151・・マップ解析部,152・・交通ルール認識部,153・・状況認識部,154・・状況予測部,161・・ルート計画部,162・・行動計画部,163・・動作計画部,171・・緊急事態回避部,172・・加減速制御部,173・・方向制御部,301・・CPU,302・・ROM,303・・RAM,304・・バス,305・・入出力インタフェース,306・・入力部,307・・出力部,308・・記憶部,309・・通信部,310・・ドライブ,311・・リムーバブルメディア,321・・センサ,322・・計画部
Claims (19)
- 移動装置の移動方向に直交する方向、または直交成分を有する方向の画像を撮影するカメラの撮影画像に基づいてオブジェクト距離を算出するデータ処理部を有し、
前記データ処理部は、
前記撮影画像から無限遠点を検出し、
検出した無限遠点の位置と、前記撮影画像内のオブジェクトの位置との位置関係情報を利用してオブジェクト距離を算出する情報処理装置。 - 前記データ処理部は、
前記撮影画像から、カメラ位置から遠方に延びる実世界空間上の複数の線を検出し、検出した複数線分のフレーム間の線分座標変動解析を行うことで該当線分が実世界空間における平行線の組み合せであることを判定する機能を備え、該当検出線分群の無限遠点を推定する請求項1に記載の情報処理装置。 - 前記データ処理部は、
前記撮影画像から、カメラ位置から遠方に延びる実世界空間上の複数の線を検出し、検出した複数線分の平行線分と非平行線分を判定する機能を備えた請求項1に記載の情報処理装置。 - 前記データ処理部は、
前記撮影画像から、カメラ位置から遠方に延びる実世界空間上の複数の線を検出し、検出した線分の組み合せ交叉ピーク座標が、車両並進運動に伴う順次フレーム間で移動することを検出する機能を備えた請求項1に記載の情報処理装置。 - 前記データ処理部は、
検出した前記無限遠点の位置を較正し、
較正した無限遠点の位置と、前記撮影画像内のオブジェクトの位置との位置関係情報を利用してオブジェクト距離を算出する請求項1に記載の情報処理装置。 - 前記データ処理部は、
オブジェクト距離をLとしたとき、
L=f×(H/h)・・(式1b)、
ただし、
f:カメラの焦点距離、
H:カメラの基準面からの高さ、
h:撮影画像上のオブジェクトの基準面との接点と、無限遠点間の離間距離であり、画像上下方向の離間距離、
上記(式1b)に従ってオブジェクト距離を算出する請求項1に記載の情報処理装置。 - 前記データ処理部は、
前記撮影画像と、前記オブジェクトより前記カメラに近い位置にある基準点Pの距離情報を利用して、オブジェクト距離を算出する請求項1に記載の情報処理装置。 - 前記データ処理部は、
オブジェクト距離をLとしたとき、
L=Lref×(href/h)・・(式1a)、
ただし、
Lref:カメラから基準点Pまでの実距離、
href:撮影画像上の基準点Pと無限遠点間の離間距離であり、画像上下方向の離間距離、
h:撮影画像上のオブジェクトの基準面との接点と、無限遠点間の離間距離であり、画像上下方向の離間距離、
上記(式1a)に従ってオブジェクト距離を算出する請求項7に記載の情報処理装置。 - 前記データ処理部は、
前記撮影画像から、カメラ位置から遠方に延びる実世界上の複数の平行線を検出し、検出した複数の平行線の延長線上の交点を無限遠点とする請求項1に記載の情報処理装置。 - 前記データ処理部は、
前記撮影画像から、カメラ位置から遠方に延びる実世界上の直線を検出し、カメラの移動に伴い、撮影画像上で方向が変化する画像フレーム単位の前記直線各々の延長線上の交点を無限遠点とする請求項1に記載の情報処理装置。 - 前記データ処理部は、
前記カメラによって撮影された複数の画像フレーム対応のオブジェクト距離に基づいて、前記オブジェクトの移動速度を算出する請求項1に記載の情報処理装置。 - 移動装置の移動方向に直交する方向、または直交成分を有する方向の画像を撮影するカメラの撮影画像に基づいてオブジェクト距離を算出するデータ処理部を有し、
前記データ処理部は、
前記撮影画像と、前記オブジェクトより前記カメラに近い位置の基準点Pの距離情報を利用して、オブジェクト距離を算出する構成であり、
オブジェクト距離をLとしたとき、
L=Lref×(Wref/W)・・・(式2)
ただし、
Lref:カメラから基準点Pまでの実距離、
Wref:基準点Pの画像横方向にある参照オブジェクトの画像上の幅、
W:距離算出対象オブジェクトの画像横方向にある前記参照オブジェクトの画像上の幅、
上記(式2)に従ってオブジェクト距離を算出する情報処理装置。 - 移動装置の移動方向に直交する方向、または直交成分を有する方向の画像を撮影するカメラの撮影画像に基づいてオブジェクト距離を算出するデータ処理部を有し、
前記データ処理部は、
オブジェクト距離をLとしたとき、
L=f×(Wrw/W)・・・(式3)
ただし、
f:カメラの焦点距離、
Wrw:オブジェクト画像内に含まれる実サイズが既知の構成物の実サイズ、
W:オブジェクト画像内に含まれる実サイズが既知の構成物の画像サイズ、
上記(式3)に従ってオブジェクト距離を算出する情報処理装置。 - 移動装置の移動方向に直交する方向、または直交成分を有する方向の画像を撮影するカメラと、
前記カメラの撮影画像に基づいてオブジェクト距離を算出するデータ処理部を有し、
前記データ処理部は、
前記撮影画像から無限遠点を検出し、
検出した無限遠点の位置と、前記撮影画像内のオブジェクトの位置との位置関係情報を利用してオブジェクト距離を算出し、
算出したオブジェクト距離に基づいて前記移動装置の経路を決定する計画部と、
前記計画部の決定した経路に従って前記移動装置の動作制御を行う動作制御部を有する移動装置。 - 前記データ処理部は、
前記撮影画像から、カメラ位置から遠方に延びる実世界上の複数の平行線を検出し、検出した複数の平行線の延長線上の交点を無限遠点とする請求項14に記載の移動装置。 - 前記データ処理部は、
前記撮影画像から、カメラ位置から遠方に延びる実世界上の直線を検出し、カメラの移動に伴い、撮影画像上で方向が変化する画像フレーム単位の直線の各々の延長線上の交点を無限遠点とする請求項14に記載の移動装置。 - 情報処理装置において実行する情報処理方法であり、
前記情報処理装置は、移動装置の移動方向に直交する方向、または直交成分を有する方向の画像を撮影するカメラの撮影画像に基づいてオブジェクト距離を算出するデータ処理部を有し、
前記データ処理部が、
前記撮影画像から無限遠点を検出し、
検出した無限遠点の位置と、前記撮影画像内のオブジェクトの位置との位置関係情報を利用してオブジェクト距離を算出する情報処理方法。 - 移動装置において実行する情報処理方法であり、
前記移動装置は、移動装置の移動方向に直交する方向、または直交成分を有する方向の画像を撮影するカメラと、
前記カメラの撮影画像に基づいてオブジェクト距離を算出するデータ処理部を有し、
前記データ処理部が、
前記撮影画像から無限遠点を検出し、
検出した無限遠点の位置と、前記撮影画像内のオブジェクトの位置との位置関係情報を利用してオブジェクト距離を算出し、
計画部が、算出したオブジェクト距離に基づいて前記移動装置の経路を決定し、
動作制御部が、前記計画部の決定した経路に従って前記移動装置の動作制御を行う情報処理方法。 - 情報処理装置において情報処理を実行させるプログラムであり、
前記情報処理装置は、移動装置の移動方向に直交する方向、または直交成分を有する方向の画像を撮影するカメラの撮影画像に基づいてオブジェクト距離を算出するデータ処理部を有し、
前記プログラムは、前記データ処理部に、
前記撮影画像から無限遠点を検出させ、
検出した無限遠点の位置と、前記撮影画像内のオブジェクトの位置との位置関係情報を利用してオブジェクト距離を算出させるプログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018056512 | 2018-03-23 | ||
JP2018056512 | 2018-03-23 | ||
PCT/JP2019/005044 WO2019181284A1 (ja) | 2018-03-23 | 2019-02-13 | 情報処理装置、移動装置、および方法、並びにプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JPWO2019181284A1 true JPWO2019181284A1 (ja) | 2021-03-18 |
Family
ID=67987711
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020507425A Abandoned JPWO2019181284A1 (ja) | 2018-03-23 | 2019-02-13 | 情報処理装置、移動装置、および方法、並びにプログラム |
Country Status (6)
Country | Link |
---|---|
US (1) | US20210097707A1 (ja) |
EP (1) | EP3770549B1 (ja) |
JP (1) | JPWO2019181284A1 (ja) |
KR (1) | KR20200131832A (ja) |
CN (1) | CN112119282A (ja) |
WO (1) | WO2019181284A1 (ja) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7204612B2 (ja) * | 2019-08-06 | 2023-01-16 | 株式会社東芝 | 位置姿勢推定装置、位置姿勢推定方法及びプログラム |
JPWO2021075090A1 (ja) * | 2019-10-17 | 2021-04-22 | ||
US11910092B2 (en) * | 2020-10-01 | 2024-02-20 | Black Sesame Technologies Inc. | Panoramic look-around view generation method, in-vehicle device and in-vehicle system |
CN117893689A (zh) * | 2020-11-18 | 2024-04-16 | 李刚 | 影像的虚拟空间建立方法及系统 |
US20220207769A1 (en) * | 2020-12-28 | 2022-06-30 | Shenzhen GOODIX Technology Co., Ltd. | Dual distanced sensing method for passive range finding |
JP7187590B2 (ja) * | 2021-01-27 | 2022-12-12 | キヤノン株式会社 | 光学系、撮像装置、車載システムおよび移動装置 |
CN114440821B (zh) * | 2022-02-08 | 2023-12-12 | 三一智矿科技有限公司 | 基于单目相机的测距方法及装置、介质、设备 |
JP2023131720A (ja) * | 2022-03-09 | 2023-09-22 | キヤノン株式会社 | 電子機器、移動体、距離算出方法、及びコンピュータプログラム |
CN116402871A (zh) * | 2023-03-28 | 2023-07-07 | 苏州大学 | 一种基于场景平行要素的单目测距方法、系统及电子设备 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0935197A (ja) * | 1995-07-14 | 1997-02-07 | Aisin Seiki Co Ltd | 車輌認識方法 |
JPH10255071A (ja) * | 1997-03-10 | 1998-09-25 | Iwane Kenkyusho:Kk | 画像処理システム |
JP4869745B2 (ja) * | 2006-03-10 | 2012-02-08 | 富士通テン株式会社 | 俯角算出装置、俯角算出方法、俯角算出プログラムおよび画像処理装置 |
JP5156307B2 (ja) | 2007-09-14 | 2013-03-06 | 株式会社日立製作所 | 車載カメラシステム |
JP5914791B2 (ja) * | 2011-11-30 | 2016-05-11 | 株式会社シーマイクロ | 衝突検出装置 |
JP5893054B2 (ja) * | 2012-01-17 | 2016-03-23 | パイオニア株式会社 | 画像処理装置、画像処理サーバ、画像処理方法、画像処理プログラム、及び記録媒体 |
JP6431299B2 (ja) * | 2014-06-24 | 2018-11-28 | 本田技研工業株式会社 | 車両周辺監視装置 |
JP5949861B2 (ja) * | 2014-09-05 | 2016-07-13 | トヨタ自動車株式会社 | 車両の接近物体検出装置及び車両の接近物体検出方法 |
JP6798133B2 (ja) * | 2016-04-13 | 2020-12-09 | 日産自動車株式会社 | 運転支援方法及び運転支援装置 |
WO2018230021A1 (ja) * | 2017-06-16 | 2018-12-20 | 株式会社Jvcケンウッド | 表示制御装置、表示制御システム、表示制御方法及び表示制御プログラム |
-
2019
- 2019-02-13 KR KR1020207026584A patent/KR20200131832A/ko active Search and Examination
- 2019-02-13 CN CN201980019774.XA patent/CN112119282A/zh active Pending
- 2019-02-13 WO PCT/JP2019/005044 patent/WO2019181284A1/ja active Application Filing
- 2019-02-13 US US16/981,669 patent/US20210097707A1/en not_active Abandoned
- 2019-02-13 JP JP2020507425A patent/JPWO2019181284A1/ja not_active Abandoned
- 2019-02-13 EP EP19771762.2A patent/EP3770549B1/en active Active
Also Published As
Publication number | Publication date |
---|---|
WO2019181284A1 (ja) | 2019-09-26 |
KR20200131832A (ko) | 2020-11-24 |
US20210097707A1 (en) | 2021-04-01 |
EP3770549A1 (en) | 2021-01-27 |
EP3770549B1 (en) | 2022-09-21 |
CN112119282A (zh) | 2020-12-22 |
EP3770549A4 (en) | 2021-05-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11531354B2 (en) | Image processing apparatus and image processing method | |
JP7136106B2 (ja) | 車両走行制御装置、および車両走行制御方法、並びにプログラム | |
JPWO2019181284A1 (ja) | 情報処理装置、移動装置、および方法、並びにプログラム | |
US20200241549A1 (en) | Information processing apparatus, moving apparatus, and method, and program | |
US11501461B2 (en) | Controller, control method, and program | |
US11377101B2 (en) | Information processing apparatus, information processing method, and vehicle | |
US11590985B2 (en) | Information processing device, moving body, information processing method, and program | |
WO2019044571A1 (ja) | 画像処理装置、および画像処理方法、プログラム、並びに移動体 | |
JPWO2019082669A1 (ja) | 情報処理装置、情報処理方法、プログラム、及び、移動体 | |
JP7257737B2 (ja) | 情報処理装置、自己位置推定方法、及び、プログラム | |
WO2020116206A1 (ja) | 情報処理装置、および情報処理方法、並びにプログラム | |
US20240054793A1 (en) | Information processing device, information processing method, and program | |
US20220253065A1 (en) | Information processing apparatus, information processing method, and information processing program | |
WO2019073795A1 (ja) | 情報処理装置、自己位置推定方法、プログラム、及び、移動体 | |
WO2021153176A1 (ja) | 自律移動装置、自律移動制御方法、並びにプログラム | |
WO2020129656A1 (ja) | 情報処理装置、および情報処理方法、並びにプログラム | |
WO2020090320A1 (ja) | 情報処理装置、情報処理方法及び情報処理プログラム | |
US20210295563A1 (en) | Image processing apparatus, image processing method, and program | |
WO2020090250A1 (ja) | 画像処理装置と画像処理方法およびプログラム | |
WO2020116204A1 (ja) | 情報処理装置、情報処理方法、プログラム、移動体制御装置、及び、移動体 | |
JP2022098397A (ja) | 情報処理装置、および情報処理方法、並びにプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211224 |
|
A762 | Written abandonment of application |
Free format text: JAPANESE INTERMEDIATE CODE: A762 Effective date: 20221025 |