JPWO2018123640A1 - Imaging device - Google Patents

Imaging device Download PDF

Info

Publication number
JPWO2018123640A1
JPWO2018123640A1 JP2018559042A JP2018559042A JPWO2018123640A1 JP WO2018123640 A1 JPWO2018123640 A1 JP WO2018123640A1 JP 2018559042 A JP2018559042 A JP 2018559042A JP 2018559042 A JP2018559042 A JP 2018559042A JP WO2018123640 A1 JPWO2018123640 A1 JP WO2018123640A1
Authority
JP
Japan
Prior art keywords
dimensional position
imaging
unit
straight
position information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018559042A
Other languages
Japanese (ja)
Other versions
JP6841553B2 (en
Inventor
大 堤
直也 多田
健 永崎
寛人 三苫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Astemo Ltd
Original Assignee
Hitachi Automotive Systems Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Automotive Systems Ltd filed Critical Hitachi Automotive Systems Ltd
Publication of JPWO2018123640A1 publication Critical patent/JPWO2018123640A1/en
Application granted granted Critical
Publication of JP6841553B2 publication Critical patent/JP6841553B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems

Abstract

本発明は、白線を初めとする基準直線が無い道路等を車両等の移動体が走行中であっても、自車両が直進しているか否を判定可能な撮像装置を実現する。本発明は、自車両３００の周囲に存在する静止対象物３０２を撮像部１０１、１０１’が連続して撮像し、自車両３００のボンネットの先端を原点とした座標を用いて、撮像した画像における対象物３０２の軌跡が、直線か否かにより、自車両３００が、直進しているか否かを判定する。これによって、白線を初めとする基準直線が無い道路等を車両等の移動体が走行中であっても、自車両が直進しているか否を判定可能となる。The present invention realizes an imaging apparatus that can determine whether or not the host vehicle is traveling straight even when a moving body such as a vehicle is traveling on a road or the like that does not have a reference line such as a white line. In the present invention, a stationary object 302 existing around the host vehicle 300 is continuously captured by the imaging units 101 and 101 ′, and the captured image is displayed using coordinates with the tip of the hood of the host vehicle 300 as the origin. Whether or not the host vehicle 300 is traveling straight is determined based on whether or not the trajectory of the object 302 is a straight line. As a result, even when a moving body such as a vehicle is traveling on a road or the like that does not have a reference straight line such as a white line, it can be determined whether or not the host vehicle is traveling straight.

Description

本発明は、車両等の移動体に搭載され、舵角補正を行うための撮像装置に関する。   The present invention relates to an imaging apparatus that is mounted on a moving body such as a vehicle and performs steering angle correction.

近年、自動運転を初めとする車両制御技術に注目が集まっている。正確な車両制御を行う為にはリアルタイムに更新される多数の車載センサ出力値が必要であり、中でも自車挙動を計算する際に利用される操舵角センサ値は精度が求められる。   In recent years, attention has been focused on vehicle control technology including automatic driving. In order to perform accurate vehicle control, a large number of in-vehicle sensor output values that are updated in real time are required, and among them, the steering angle sensor value used when calculating the own vehicle behavior is required to be accurate.

しかし、操舵角センサ値のゼロ点には経年劣化によりオフセットが加算される。このため、精度良く、遅れの無い操舵角値を得る為には、操舵角補正値計算を行う事が肝要である。   However, an offset is added to the zero point of the steering angle sensor value due to deterioration over time. Therefore, in order to obtain a steering angle value with high accuracy and no delay, it is important to calculate a steering angle correction value.

また、コスト低減の為、操舵角センサ値を受け取る側（例えば、車載ステレオカメラ等の車両制御を行うための撮像装置)で操舵角補正値計算を行う事が望ましい。   In order to reduce costs, it is desirable to calculate the steering angle correction value on the side that receives the steering angle sensor value (for example, an imaging device for performing vehicle control such as an in-vehicle stereo camera).

このため、従来から、操舵角補正値計算を行う様々な技術や、撮像装置が提案されてきた。   For this reason, conventionally, various techniques for calculating the steering angle correction value and imaging devices have been proposed.

例えば、特許文献１には、車載カメラで撮像した画像上の白線に着目し、操舵角補正値計算を行う撮像装置が記載されている。   For example, Patent Document 1 describes an imaging device that calculates a steering angle correction value by paying attention to a white line on an image captured by an in-vehicle camera.

特開２００６−１９９２４２号公報JP 2006-199242 A

しかしながら、特許文献１等に記載された従来技術では、白線を初めとした画像上の基準線が撮像されていないと目標走行ラインが設定出来ず、舵角補正値計算を行う事が出来ない。   However, in the related art described in Patent Document 1 or the like, the target travel line cannot be set unless the reference line on the image including the white line is captured, and the steering angle correction value cannot be calculated.

白線等の基準線がない道路であっても、舵角補正値計算を行うことが可能となれば、車両制御の精度を向上することができる。   Even if the road has no reference line such as a white line, the accuracy of vehicle control can be improved if the steering angle correction value can be calculated.

このため、その実現化が望まれている。   For this reason, the realization is desired.

本発明の目的は、白線を初めとする基準直線が無い道路等を車両等の移動体が走行中であっても、自車両が直進しているか否を判定可能な撮像装置を実現することである。   An object of the present invention is to realize an imaging device that can determine whether or not the host vehicle is traveling straight even when a moving body such as a vehicle is traveling on a road or the like that does not have a reference line such as a white line. is there.

上記目的を達成するため、本発明は次のように構成される。   In order to achieve the above object, the present invention is configured as follows.

本発明の撮像装置は、
複数の画像を取得する複数の撮像素子を有する撮像部と、
取得された上記複数の画像から、静止物である撮像対象物の視差画像を生成する視差画像生成部と、
上記視差画像生成部により生成された上記視差画像に基づいて、上記撮像対象物の、時系列の複数の三次元位置情報を取得する三次元位置情報抽出部と、
上記三次元位置情報抽出部により取得された上記複数の三次元位置情報に基づいて、移動体の直進判定をする直進判定部と、を備える。The imaging apparatus of the present invention
An imaging unit having a plurality of imaging elements for acquiring a plurality of images;
A parallax image generation unit that generates a parallax image of an imaging target object that is a stationary object from the acquired plurality of images;
Based on the parallax image generated by the parallax image generation unit, a three-dimensional position information extraction unit that acquires a plurality of time-series three-dimensional position information of the imaging object;
A rectilinear determination unit that determines whether or not the mobile object travels straight based on the plurality of three-dimensional position information acquired by the three-dimensional position information extraction unit.

本発明によれば、白線を初めとする基準直線が無い道路等を車両等の移動体が走行中であっても、自車両が直進しているか否を判定可能な撮像装置を実現することができ、道路状況に寄らない舵角補正値計算をすることができる。   According to the present invention, it is possible to realize an imaging device that can determine whether or not the host vehicle is traveling straight even when a moving body such as a vehicle is traveling on a road or the like that does not have a reference line such as a white line. The rudder angle correction value can be calculated without depending on the road condition.

前述した以外の課題、構成、効果は以下の実施形態の説明にて述べる。   Issues, configurations, and effects other than those described above will be described in the following description of embodiments.

本発明の一実施例である撮像装置の概略構成図であり、車両に搭載される撮像装置の例を示す図である。1 is a schematic configuration diagram of an imaging apparatus that is an embodiment of the present invention, and is a diagram illustrating an example of an imaging apparatus mounted on a vehicle. 図１に示した三次元位置情報抽出部の内部構成を示す図である。It is a figure which shows the internal structure of the three-dimensional position information extraction part shown in FIG. 本発明の一実施例を説明する上で、自車両が走行する路面の状況を定義するための図である。BRIEF DESCRIPTION OF THE DRAWINGS FIG. 1 is a diagram for defining a road surface on which a host vehicle travels in order to describe an embodiment of the present invention. 図３を俯瞰したイメージを示す俯瞰図である。FIG. 4 is an overhead view showing an image obtained by looking down at FIG. 3. 本発明の一実施例における静止立体物の三次元位置軌跡に基づく直進判定ロジックの概略説明図である。It is a schematic explanatory drawing of the straight-ahead determination logic based on the three-dimensional position locus of the stationary solid object in one Example of this invention. 直進判定部が、自車両の直進判定を行う際の処理フローである。It is a processing flow when the straight traveling determination unit performs straight traveling determination of the host vehicle. 図６のステップ６０５においてプロット結果が直線になっているかどうか判定するフローの一例を示す図である。It is a figure which shows an example of the flow which determines whether the plot result is a straight line in step 605 of FIG. 図１に示した撮像装置の構成に舵角補正値演算部を備える撮像装置の構成図である。It is a block diagram of an imaging device provided with a steering angle correction value calculating part in the structure of the imaging device shown in FIG.

本発明の実施形態について、添付図面を参照して説明する。   Embodiments of the present invention will be described with reference to the accompanying drawings.

図１は、本発明の一実施例である撮像装置の概略構成図であり、車両に搭載される撮像装置の例である。   FIG. 1 is a schematic configuration diagram of an imaging apparatus according to an embodiment of the present invention, which is an example of an imaging apparatus mounted on a vehicle.

図１において、撮像部を構成する複数のＣＭＯＳ素子（撮像素子）１０１および１０１’は、ステレオカメラを構成し、入力画像を撮像する（入力画像を取得する）。視差画像生成部１０３は、ＣＭＯＳ素子１０１および１０１’が撮像した入力画像を用いて、視差を生成する。   In FIG. 1, a plurality of CMOS elements (imaging elements) 101 and 101 ′ constituting an imaging unit constitute a stereo camera and capture an input image (acquire an input image). The parallax image generation unit 103 generates parallax using the input images captured by the CMOS elements 101 and 101 ′.

三次元位置情報抽出部１０５は、視差画像生成部１０３が生成する視差を用いて、特徴となる三次元位置情報を抽出する（取得する）。直進判定部１０７は、三次元位置情報抽出部１０５が出力した三次元位置情報を基に、自車の直進判定を行う。   The three-dimensional position information extraction unit 105 extracts (acquires) characteristic three-dimensional position information using the parallax generated by the parallax image generation unit 103. The straight-ahead determination unit 107 performs a straight-ahead determination of the host vehicle based on the three-dimensional position information output from the three-dimensional position information extraction unit 105.

図２は、図１に示した三次元位置情報抽出部１０５の内部構成を示した図である。   FIG. 2 is a diagram showing an internal configuration of the three-dimensional position information extraction unit 105 shown in FIG.

図２において、三次元位置情報抽出部１０５は、認識部１１３と、三次元位置軌跡生成部１１５とを備える。   In FIG. 2, the three-dimensional position information extraction unit 105 includes a recognition unit 113 and a three-dimensional position locus generation unit 115.

認識部１１３は、視差画像生成部１０３が生成した視差画像を用いて、撮像対象物（例えば静止立体物や路面テクスチャ）の認識を行い、その結果を三次元位置軌跡生成部１１５に出力する。三次元位置軌跡生成部１１５は、認識部１１３が認識した対象（例えば静止立体物または路面テクスチャ）の三次元位置を、撮影画像のフレーム毎にプロットし、対象の三次元位置の時系列推移（三次元位置軌跡）を生成する。   The recognition unit 113 recognizes an imaging target (for example, a stationary solid object or a road texture) using the parallax image generated by the parallax image generation unit 103, and outputs the result to the three-dimensional position locus generation unit 115. The three-dimensional position trajectory generation unit 115 plots the three-dimensional position of the target (for example, a stationary solid object or road texture) recognized by the recognition unit 113 for each frame of the captured image, and changes the time-series transition of the target three-dimensional position ( 3D position trajectory) is generated.

そして、三次元位置軌跡生成部１１５は、生成した三次元位置軌跡を直進判定部１０７に出力する。   Then, the 3D position trajectory generation unit 115 outputs the generated 3D position trajectory to the straight travel determination unit 107.

図３は、本発明の一実施例を説明する上で、路面３０１の状況を定義するための図である。今回説明する一実施例は、先行車３０３（図４に示す）、左右の白線３０１Ｌ、３０１Ｒ、路面テクスチャ（図示は省略図する）、標識（静止立体物）３０２が、路面３０１上に存在していると仮定する。   FIG. 3 is a diagram for defining the condition of the road surface 301 in describing one embodiment of the present invention. In the embodiment described here, the preceding vehicle 303 (shown in FIG. 4), the left and right white lines 301L and 301R, the road surface texture (not shown), and the sign (stationary solid object) 302 are present on the road surface 301. Assuming that

なお、図３に示した例は一例であり、実際には静止立体物、または検出可能なテクスチャが１つ以上存在していれば本発明は機能し、実施可能である。   Note that the example shown in FIG. 3 is merely an example, and in practice, the present invention functions and can be implemented if one or more stationary solid objects or one or more detectable textures exist.

図４は、図３を俯瞰したイメージを示す俯瞰図である。図４において、撮像装置の撮像部１０１、１０１’が撮影する範囲を点線で記載している。図４に示した例では、自車両３００の前方に先行車３０３が存在し、前方左側に標識３０２が存在している。自車両３００の前方部に撮像部１０１、１０１’が配置されている。   FIG. 4 is a bird's-eye view showing an image obtained by bird's-eye view of FIG. 3. In FIG. 4, a range captured by the imaging units 101 and 101 ′ of the imaging apparatus is indicated by a dotted line. In the example shown in FIG. 4, a preceding vehicle 303 exists in front of the host vehicle 300, and a sign 302 exists on the left side in front. Imaging units 101 and 101 ′ are arranged in front of the host vehicle 300.

図５は、本発明の一実施例における静止立体物の三次元位置軌跡に基づく直進判定ロジックの概略説明図である。図５の（ａ）は、自車両３００が図４に示した状態から１フレーム間に移動した状態の俯瞰図であり、図５の（ｂ）は、直進判定をイメージ的に説明する図である。   FIG. 5 is a schematic explanatory diagram of the straight-ahead determination logic based on the three-dimensional position trajectory of the stationary solid object in the embodiment of the present invention. FIG. 5A is a bird's-eye view of a state in which the host vehicle 300 has moved one frame from the state shown in FIG. 4, and FIG. is there.

図３、図４、図５において、撮像画像の現フレームをｎとした時、同フレームｎで標識３０２を静止立体物として検出した場合を考える。   3, 4, and 5, let us consider a case where the marker 302 is detected as a stationary solid object in the same frame n, where n is the current frame of the captured image.

自車両３００の長さ方向中心線上かつ自車両３００の前方部であるボンネットの先端を原点Ｏとしたとき、標識３０２の三次元位置を（ｘ，ｙ，ｚ）とする。   When the origin of the bonnet on the longitudinal center line of the host vehicle 300 and at the front of the host vehicle 300 is the origin O, the three-dimensional position of the sign 302 is (x, y, z).

そして、フレームｎの次のフレームであるｎ＋１フレームで、同標識３０２が移動した三次元位置を（ｘ’，ｙ’，ｚ’）とする。   Then, the three-dimensional position where the marker 302 has moved in the (n + 1) frame, which is the next frame after the frame n, is defined as (x ′, y ′, z ′).

三次元位置情報抽出部１０５の認識部１１３が認識した情報に基づいて、三次元位置軌跡生成部１１５は、ｎフレームとｎ＋１フレームとの複数のフレームの間に渡って標識３０２の三次元位置を監視し、標識３０２の三次元位置軌跡５０１を算出する。図５の（ｂ）の矢印５００は自車両３００の進行方向を示している。   Based on the information recognized by the recognition unit 113 of the three-dimensional position information extraction unit 105, the three-dimensional position locus generation unit 115 determines the three-dimensional position of the sign 302 between a plurality of frames of n frames and n + 1 frames. Monitoring is performed, and the three-dimensional position locus 501 of the sign 302 is calculated. An arrow 500 in FIG. 5B indicates the traveling direction of the host vehicle 300.

三次元位置軌跡生成部１１５が生成した軌跡から、直進判定部１０７が、標識３０２の三次元位置軌跡が直線を描いていたと判定した場合は、自車両３００が直進していると判断する。   If the straight traveling determination unit 107 determines from the locus generated by the three-dimensional position locus generation unit 115 that the three-dimensional position locus of the sign 302 has drawn a straight line, it determines that the host vehicle 300 is traveling straight.

以上の手法を取る事で、白線を初めとする基準直線が無い路面でも、対象（例えば静止立体物（一例として標識３０２）や路面テクスチャさえあれば直進判定する事が可能となる。   By adopting the above method, it is possible to make a straight traveling determination even on a road surface having no reference straight line such as a white line, as long as there is an object (for example, a stationary solid object (a sign 302 as an example)) and a road surface texture.

図６は、直進判定部１０７が、自車両３００の直進判定を行う際の処理フローの一例を示す図である。   FIG. 6 is a diagram illustrating an example of a processing flow when the straight traveling determination unit 107 performs the straight traveling determination of the host vehicle 300.

図６において、静止立体物（標識３０２）の三次元位置座標を取得する（ステップ６０１）。次に、静止立体物３０２の過去に取得された三次元位置情報と現時点で抽出された静止立体物３０２の三次元位置情報とを複数フレーム間プロットする（ステップ６０３）。   In FIG. 6, the three-dimensional position coordinates of the stationary solid object (marker 302) are acquired (step 601). Next, the three-dimensional position information acquired in the past of the stationary three-dimensional object 302 and the three-dimensional position information of the stationary three-dimensional object 302 extracted at the present time are plotted between a plurality of frames (step 603).

そして、プロット結果が直線になっているかどうか判定する（ステップ６０５）。このステップ６０５で、直線になっていると判定した場合は、自車両３００が直進していると判定する（ステップ６０７）。ステップ６０５で、直線になっていないと判定した場合は、自車両３００が直進していないと判定する（６０９）。   Then, it is determined whether the plot result is a straight line (step 605). If it is determined in step 605 that the vehicle is a straight line, it is determined that the host vehicle 300 is traveling straight (step 607). If it is determined in step 605 that the vehicle is not a straight line, it is determined that the host vehicle 300 is not traveling straight (609).

図７は、図６のステップ６０５において、プロット結果が直線になっているかどうか判定するフローの一例を示す図である。   FIG. 7 is a diagram showing an example of a flow for determining whether or not the plot result is a straight line in step 605 of FIG.

図７において、ｎ個（例えば３点）の三次元位置座標が得られた場合、３点の座標（ｘ，ｙ，ｚ）から３点の二次元座標（ｘ，ｙ）を抽出する（ステップ７０１）。   In FIG. 7, when n (for example, three points) three-dimensional position coordinates are obtained, three two-dimensional coordinates (x, y) are extracted from the three points (x, y, z) (steps). 701).

抽出した３点の二次元時座標を用いて、例えば、次式（１）を用いて、未知数ａ、ｂ、Ｒの連立方程式を解き、半径Ｒを求める（ステップ７０３）。   Using the extracted two-dimensional time coordinates of the three points, for example, the following equation (1) is used to solve the simultaneous equations of the unknowns a, b, and R to obtain the radius R (step 703).

（ｘ−ａ）２＋（ｙ−ｂ）２＝Ｒ２ ・・・（１）
上記式（１）で求めた半径Ｒが閾値（例えばＲ＝１０００ｍ）以上か否かを判断する（ステップ７０５）。半径Ｒが閾値（例えばＲ＝１０００ｍ）以上であれば、直線であると判定して処理を終える（ステップ７０７）。(X−a) 2 + (y−b) 2 = R 2 (1)
It is determined whether or not the radius R obtained by the above equation (1) is greater than or equal to a threshold value (for example, R = 1000 m) (step 705). If the radius R is equal to or greater than a threshold value (for example, R = 1000 m), it is determined that the line is a straight line, and the process ends (step 707).

そして、半径Ｒが閾値未満であれば直線では無いと判定し、処理を終える（ステップ７０９）。   If the radius R is less than the threshold value, it is determined that the line is not a straight line, and the process ends (step 709).

図８は、図１の撮像装置の構成に舵角補正値演算部８０９を備える撮像装置の構成図である。   FIG. 8 is a configuration diagram of an imaging apparatus including a steering angle correction value calculation unit 809 in the configuration of the imaging apparatus of FIG.

舵角補正値演算部８０９は、直線判定部８０７により直進していると判定された場合に舵角補正を行う。舵角補正は、公知の手法を用いて行うことができる。   The steering angle correction value calculation unit 809 performs steering angle correction when the straight line determination unit 807 determines that the vehicle is traveling straight. The steering angle correction can be performed using a known method.

舵角補正値演算部８０９は、直線判定部８０７により、直進していると判定された場合のみならず、直進していないと判定された場合であっても、直進判定部８０７で求めたＲの曲率や偏差を用いて、一律に舵角補正値を演算するように構成することもできる。   The steering angle correction value calculation unit 809 is calculated not only when the straight line determination unit 807 determines that the vehicle is moving straight, but also when the straight angle determination unit 807 determines that the vehicle is not moving straight. The steering angle correction value can be calculated uniformly using the curvature and deviation.

以上のように、本発明の一実施例によれば、自車両３００の周囲に存在する静止対象物３０２を撮像部１０１、１０１’が連続して撮像し、撮像した画像における対象物３０２の軌跡が、直線か否かにより、自車両３００が、直進しているか否かを判定するように構成したので、白線を初めとする基準直線が無い道路等を車両等の移動体が走行中であっても、自車両が直進しているか否を判定可能な撮像装置を実現することができる。   As described above, according to one embodiment of the present invention, the imaging units 101 and 101 ′ continuously capture the stationary object 302 existing around the host vehicle 300, and the locus of the object 302 in the captured image. However, depending on whether or not the vehicle 300 is a straight line, it is determined whether or not the host vehicle 300 is going straight ahead. Therefore, a moving body such as a vehicle is traveling on a road without a reference straight line such as a white line. However, it is possible to realize an imaging device that can determine whether or not the host vehicle is traveling straight.

なお、上述した例は、静止対象物を標識３０２としたが、建造物、木々等の他の静止物であってもよい。静止物は複数存在する物のうちから自動的に決定することができる。例えば、得られた画像から最初に静止物と判定したものを対象物としてもよい。   In the example described above, the stationary object is the sign 302, but other stationary objects such as buildings and trees may be used. A stationary object can be automatically determined from a plurality of existing objects. For example, an object that is first determined as a stationary object from the obtained image may be used as the object.

また、複数の静止立体物を対象に、それぞれの軌跡から自車両３００の直進判定をしてもよい。   In addition, for a plurality of stationary solid objects, the vehicle 300 may be determined to go straight from each trajectory.

また、撮像素子に対象が撮像される距離、例えば０．１ｍ〜３００ｍの間であれば、直進判定可能である。   Further, it is possible to determine whether the vehicle is going straight if the distance at which the target is imaged by the image sensor, for example, between 0.1 m and 300 m.

また、上述した例は、自車両３００の前方に存在する静止物を直進判定の対象物としたが、自車両を中心とした全方位の静止物を対象とする事も可能である。例えば、自車両の後方に存在する静止物を直進判定の対象物とすることも可能である。この場合は、自車両３００の後方部に、複数の撮像素子を有する撮像部が配置されていることが必要である。   In the above-described example, the stationary object existing in front of the host vehicle 300 is the target for straight-ahead determination, but it is also possible to target a omnidirectional stationary object centered on the host vehicle. For example, it is possible to use a stationary object existing behind the host vehicle as a target for straight-ahead determination. In this case, it is necessary that an imaging unit having a plurality of imaging elements is disposed in the rear part of the host vehicle 300.

また、自車両３００の周辺を撮像する複数の撮像部を配置する事も可能である。例えば、自車両３００の前方及び後方に撮像部を配置し、撮像した静止物を直進判定の対象物とすることも可能である。
さらに、上述した例においては、本発明を車両に搭載する撮像装置に適用した場合の例を説明したが、車両に限らず、移動体であり、外界を認識して操舵し、移動するものであれば、本発明を適用することができる。It is also possible to arrange a plurality of imaging units that image the periphery of the host vehicle 300. For example, it is possible to dispose an imaging unit in front of and behind the host vehicle 300 and use the captured stationary object as an object for straight ahead determination.
Furthermore, in the above-described example, an example in which the present invention is applied to an imaging device mounted on a vehicle has been described. If present, the present invention can be applied.

例えば、目的箇所に、荷物等を運搬する荷物運搬用ロボット等にも本発明は適用可能であり、その場合は、白線等の基準線が存在しない場合でも、走行中に直進判定が可能である。   For example, the present invention can also be applied to a baggage carrying robot that carries a baggage etc. to a target location. .

１０１、１０１’・・・撮像部、
１０３・・・視差画像生成部、
１０５・・・三次元位置情報抽出部、
１０７・・・直進判定部、
１１３・・・認識部、
１１５・・・三次元位置軌跡生成部、
３００・・・自車両、
３０１・・・路面、
３０２・・・標識（静止対象物）、
３０３・・・先行車、
３０１Ｌ、３０１Ｒ・・・白線、
５００・・・自車進行方向、
５０１・・・静止対象物の軌跡、
８０９・・・舵角補正値演算部101, 101 ′... Imaging unit,
103 ... parallax image generation unit,
105 ... 3D position information extraction unit,
107 ... straight ahead determination unit,
113... Recognition unit,
115... 3D position trajectory generator,
300 ... own vehicle,
301 ... road surface,
302 ... sign (stationary object),
303 ... preceding car,
301L, 301R ... white lines,
500 ... direction of travel
501: Trajectory of stationary object,
809 ... Rudder angle correction value calculation unit

Claims (7)

複数の画像を取得する複数の撮像素子を有する撮像部と、
取得された上記複数の画像から、静止物である撮像対象物の視差画像を生成する視差画像生成部と、
上記視差画像生成部により生成された上記視差画像に基づいて、上記撮像対象物の、時系列の複数の三次元位置情報を取得する三次元位置情報抽出部と、
上記三次元位置情報抽出部により取得された上記複数の三次元位置情報に基づいて、移動体の直進判定をする直進判定部と、
を備えることを特徴とする撮像装置。An imaging unit having a plurality of imaging elements for acquiring a plurality of images;
A parallax image generation unit that generates a parallax image of an imaging target object that is a stationary object from the acquired plurality of images;
Based on the parallax image generated by the parallax image generation unit, a three-dimensional position information extraction unit that acquires a plurality of time-series three-dimensional position information of the imaging object;
Based on the plurality of three-dimensional position information acquired by the three-dimensional position information extraction unit, a straight traveling determination unit that performs a straight traveling determination of the moving body;
An imaging apparatus comprising: 請求項１に記載の撮像装置において、
上記三次元位置情報抽出部は、
上記視差画像生成部により生成された上記視差画像に基づいて、上記撮像対象物を認識する認識部と、
上記認識部により、認識された上記撮像対象物の三次元位置情報を取得し、過去に取得された三次元位置情報と現時点で抽出された三次元位置情報とから上記撮像対象物の三次元位置軌跡を生成する三次元位置軌跡生成部とを有し、
上記直進判定部は、上記三次元位置軌跡生成部が生成した三次元位置軌跡が所定の曲率以上であるか否かに基づいて、直進判定をすることを特徴とする撮像装置。The imaging device according to claim 1,
The three-dimensional position information extraction unit
A recognition unit for recognizing the imaging object based on the parallax image generated by the parallax image generation unit;
The three-dimensional position information of the recognized imaging object is acquired by the recognition unit, and the three-dimensional position of the imaging object is obtained from the previously acquired three-dimensional position information and the currently extracted three-dimensional position information. A three-dimensional position trajectory generator for generating a trajectory,
The imaging apparatus according to claim 1, wherein the straight-ahead determination unit performs a straight-ahead determination based on whether or not the three-dimensional position locus generated by the three-dimensional position locus generation unit is equal to or greater than a predetermined curvature. 請求項１に記載の撮像装置において、
上記三次元位置軌跡生成部が生成した三次元位置軌跡に基づいて、上記移動体の舵角補正を行う舵角補正値演算部を有することを特徴とする撮像装置。The imaging device according to claim 1,
An imaging apparatus comprising: a steering angle correction value calculation unit that performs steering angle correction of the moving body based on the three-dimensional position locus generated by the three-dimensional position locus generation unit. 請求項３に記載の撮像装置において、
上記直進判定部は上記直進判定に用いた情報を上記舵角補正値演算部に出力し、上記舵角補正値演算部は、上記直進判定部から出力された上記情報に基づいて舵角補正を行うことを特徴とする撮像装置。The imaging device according to claim 3.
The straight travel determination unit outputs information used for the straight travel determination to the steering angle correction value calculation unit, and the steering angle correction value calculation unit performs steering angle correction based on the information output from the straight travel determination unit. An imaging device characterized in that it performs. 請求項２に記載の撮像装置において、
上記三次元位置情報抽出部は、上記移動体の３点間の移動軌跡を表す二次方程式を算出し、上記直進判定部は、上記三次元位置情報抽出部が算出した上記二次方程式から算出される曲率が、予め定めた曲率より以上か否かにより、上記移動体の直進判定をすることを特徴とする撮像装置。The imaging device according to claim 2,
The three-dimensional position information extraction unit calculates a quadratic equation representing a movement locus between three points of the moving body, and the straight-ahead determination unit calculates from the quadratic equation calculated by the three-dimensional position information extraction unit. An imaging apparatus, wherein the moving body is determined to go straight depending on whether or not a curvature to be performed is greater than or equal to a predetermined curvature. 請求項１に記載の撮像装置において、
上記撮像部は、上記移動体の前方部に配置されていることを特徴とする撮像装置。The imaging device according to claim 1,
The imaging apparatus, wherein the imaging unit is disposed in front of the moving body. 請求項１に記載の撮像装置において、
上記撮像部は、上記移動体の後方部に配置されていることを特徴とする撮像装置。The imaging device according to claim 1,
The imaging apparatus, wherein the imaging unit is arranged at a rear part of the moving body.
JP2018559042A 2016-12-26 2017-12-15 Imaging device Active JP6841553B2 (en)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016251458 2016-12-26
JP2016251458 2016-12-26
PCT/JP2017/045031 WO2018123640A1 (en) 2016-12-26 2017-12-15 Imaging device

Publications (2)

Publication Number Publication Date
JPWO2018123640A1 true JPWO2018123640A1 (en) 2019-10-31
JP6841553B2 JP6841553B2 (en) 2021-03-10

Family

ID=62708164

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018559042A Active JP6841553B2 (en) 2016-12-26 2017-12-15 Imaging device

Country Status (3)

Country Link
JP (1) JP6841553B2 (en)
CN (1) CN110088803B (en)
WO (1) WO2018123640A1 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111976717B (en) 2019-11-29 2022-07-08 长城汽车股份有限公司 Intelligent parking method and device
JPWO2022112810A1 (en) * 2020-11-27 2022-06-02

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10222665A (en) * 1997-01-31 1998-08-21 Fujitsu Ten Ltd Picture recognizing device
JP2006199242A (en) * 2005-01-24 2006-08-03 Toyota Motor Corp Behavior controller of vehicle
JP2014046710A (en) * 2012-08-29 2014-03-17 Isuzu Motors Ltd Neutral point correction unit and neutral point correction method for steering angle sensor

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5074365B2 (en) * 2008-11-28 2012-11-14 日立オートモティブシステムズ株式会社 Camera device
US9168953B2 (en) * 2011-11-08 2015-10-27 Toyota Jidosha Kabushiki Kaisha Vehicle travel track control device
JP5867596B2 (en) * 2012-04-16 2016-02-24 日産自動車株式会社 Three-dimensional object detection apparatus and three-dimensional object detection method
JP6328369B2 (en) * 2012-11-27 2018-05-23 クラリオン株式会社 In-vehicle control device

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10222665A (en) * 1997-01-31 1998-08-21 Fujitsu Ten Ltd Picture recognizing device
JP2006199242A (en) * 2005-01-24 2006-08-03 Toyota Motor Corp Behavior controller of vehicle
JP2014046710A (en) * 2012-08-29 2014-03-17 Isuzu Motors Ltd Neutral point correction unit and neutral point correction method for steering angle sensor

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
関 晃仁，奥富 正敏: "ステレオ動画像を利用した道路面領域の抽出と追跡による自車両の運動推定", 情報処理学会論文誌 第４７巻 ＮＯ．ＳＩＧ５（ＣＶＩＭ１３） コンピュータビジョンとイメージメディア, vol. 第47巻 第SIG5CVIM13号, JPN6020026302, 15 March 2006 (2006-03-15), JP, pages 90 - 99, ISSN: 0004310082 *

Also Published As

Publication number Publication date
JP6841553B2 (en) 2021-03-10
CN110088803A (en) 2019-08-02
CN110088803B (en) 2023-05-12
WO2018123640A1 (en) 2018-07-05

Similar Documents

Publication Publication Date Title
US20210365750A1 (en) Systems and methods for estimating future paths
KR102629651B1 (en) Direct vehicle detection with 3D bounding boxes using neural network image processing
JP6031554B2 (en) Obstacle detection method and apparatus based on monocular camera
JP5926228B2 (en) Depth detection method and system for autonomous vehicles
WO2021046716A1 (en) Method, system and device for detecting target object and storage medium
KR102056147B1 (en) Registration method of distance data and 3D scan data for autonomous vehicle and method thereof
US9336595B2 (en) Calibration device, method for implementing calibration, and camera for movable body and storage medium with calibration function
JP2007300181A (en) Periphery monitoring apparatus and periphery monitoring method and program thereof
CN105719311A (en) Vehicle System For Detecting Object And Operation Method Thereof
JP4937844B2 (en) Pedestrian detection device
CN105006175A (en) Method and system for proactively recognizing an action of a road user and corresponding locomotive
CN105984470A (en) Image processing apparatus and image processing method
US9824449B2 (en) Object recognition and pedestrian alert apparatus for a vehicle
JP6939198B2 (en) Object detection method and object detection device
JP2016012304A (en) Target article recognition apparatus
WO2018123640A1 (en) Imaging device
Zhang et al. Real-time obstacle detection based on stereo vision for automotive applications
JP2015064735A (en) Apparatus and method for estimating vehicle position
JP2019128153A (en) Distance calculation device and vehicle control device
JP5832850B2 (en) Lane monitoring system and lane monitoring method
JP2021092996A (en) Measurement system, vehicle, measurement method, measurement device and measurement program
JP6174884B2 (en) Outside environment recognition device and outside environment recognition method
JP6603993B2 (en) Image processing apparatus, image processing method, image processing system, and program
JP7064400B2 (en) Object detection device
JP2023511454A (en) Debris detection in vehicle lanes

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190520

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200721

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200902

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210119

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210215

R150 Certificate of patent or registration of utility model

Ref document number: 6841553

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250