WO2011090053A1 - 障害物検知警報装置 - Google Patents

障害物検知警報装置 Download PDF

Info

Publication number
WO2011090053A1
WO2011090053A1 PCT/JP2011/050823 JP2011050823W WO2011090053A1 WO 2011090053 A1 WO2011090053 A1 WO 2011090053A1 JP 2011050823 W JP2011050823 W JP 2011050823W WO 2011090053 A1 WO2011090053 A1 WO 2011090053A1
Authority
WO
WIPO (PCT)
Prior art keywords
subject
distance
plane
vehicle camera
distance map
Prior art date
Application number
PCT/JP2011/050823
Other languages
English (en)
French (fr)
Inventor
岩野　博隆
Original Assignee
クラリオン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by クラリオン株式会社 filed Critical クラリオン株式会社
Publication of WO2011090053A1 publication Critical patent/WO2011090053A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/10—Measuring distances in line of sight; Optical rangefinders using a parallactic triangle with variable angles and a base of fixed length in the observation station, e.g. in the instrument
    • G01C3/14—Measuring distances in line of sight; Optical rangefinders using a parallactic triangle with variable angles and a base of fixed length in the observation station, e.g. in the instrument with binocular observation at a single point, e.g. stereoscopic type
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S11/00—Systems for determining distance or velocity not using reflection or reradiation
    • G01S11/12—Systems for determining distance or velocity not using reflection or reradiation using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads

Definitions

  • the road surface specifying unit 7, the height calculating unit 8, and the projecting unit 9 perform "road surface specifying process”, “height calculating process”, and “projecting process” for each part of the subject based on the distance map (these " (Distance map creation process ”,“ Road surface identification process ”,“ Height calculation process ”and“ Projection process ”are collectively referred to as“ 3D process ”) (step S3).
  • step S2 the distance map creation unit 6 performs an image called template matching between the image captured by the left camera 1a and the image captured by the right camera 1b (the left diagram and the right diagram in FIG. 5) for which internal calibration processing has been performed. Compare the similarity of.
  • FIG. 7 is a schematic diagram showing a distance map created by the distance map creation unit 6.
  • step S31 the distance map creation unit 6 determines the stereo parallax (the amount of deviation in the number of pixels) measured in step S2, the pitch between pixels recorded in the ROM 12 in advance, and the distance between the left camera 1a and the right camera 1b (light
  • the distance between each part of the subject and the in-vehicle camera 1 is calculated by the principle of triangulation using the distance between the axes) and the focal lengths of the left camera 1a and the right camera 1b.
  • the distance map shown in FIG. 7 is color-coded according to the distance of each pixel for easy understanding (the closer the distance, the higher the brightness). In addition, since a similarity comparison cannot be performed for a portion where a shadow or sky appears in the captured image, stereo parallax cannot be measured, and the distance map shown in FIG. 7 is painted black.
  • the distance map is not necessarily illustrated, and it is sufficient that the two-dimensional coordinates and the distance are associated with each pixel of the captured image.
  • FIG. 8 is a flowchart for explaining the flow of the road surface specifying process shown in FIG.
  • step S32 the road surface identification unit 7 identifies a plane corresponding to the road surface among the subject portions of the captured image based on the distance map created in step S31.
  • step S325 If there is a portion of the subject at a distance (height) greater than or equal to a predetermined value, the portion at a distance (height) greater than or equal to the predetermined value is deleted (step S325), and 3 of the remaining portions of the subject. Planar approximation is performed again using the dimensional coordinates (step S323).
  • step S326 if there is no portion of the subject at a distance (height) greater than or equal to a predetermined value from the plane specified by the plane approximation among the portions of the subject, the process proceeds to step S326.
  • the finally obtained plane is specified as the plane G corresponding to the road surface (step S327).
  • the number of remaining pixels is less than a certain number, it is determined that the road surface is not reflected in the captured image, and plane approximation is performed for all points within a certain distance (for example, alarm distance).
  • a Gaussian distribution is assumed to determine the standard deviation from the height distribution (amplitude distribution) of all the points, and the rough height of the subject portion is measured for the entire captured image (step S328).
  • the warning unit 10 counts the number of portions of the subject whose height from the plane G calculated by the height calculation unit 8 to each portion of the subject is equal to or higher than a predetermined height for each divided area.
  • the predetermined height is, for example, about 20 cm, and thereby, wheel stops or the like having a height lower than 20 cm are excluded from an alarm target that is an obstacle.
  • the video output unit 11 outputs a warning message and a signal related to symbol display to be displayed on the image display device 3 based on the warning signal output from the warning unit 10. Further, the sound synthesizer 13 outputs a signal relating to an alarm sound or a sound to be generated by the alarm sound generator 4 based on the alarm signal output from the alarm unit 10.
  • the driver displays information on the obstacle by the warning message displayed by the image display device 3, the symbol display image indicating the obstacle, the warning sound or voice corresponding to the risk (distance) generated by the warning sound generator 4. Can be obtained.
  • the alarm unit 10 uses each distance along the plane G (each distance from the in-vehicle camera 1 to each part of the subject) as a criterion for determining the presence or absence of an obstacle, and each distance along these planes is determined by the vehicle. Since the distance is along the traveling direction, the driver can easily grasp the obstacle detection result.
  • the specifying unit 7b of the road surface specifying unit 7 detects the presence or absence of a part of the subject that is at a distance greater than or equal to a predetermined value from the plane specified by plane approximation among each part of the subject, and is at a distance greater than or equal to the predetermined value If there is a part of the subject, repeat the plane approximation after deleting the part of the subject at a distance greater than the predetermined value until there is no more part of the subject at a distance greater than the predetermined value, and finally Since the obtained plane is specified as the plane G corresponding to the road surface, the plane can be specified with high accuracy.
  • the alarm unit 10 divides the plane G corresponding to the road surface into a plurality of areas, and the subject whose height from the plane G is equal to or greater than a predetermined value among the portions of the subject included in each area obtained by the division.
  • a predetermined value in addition to the distance and height, based on whether the number of parts of the subject whose height from the plane G is equal to or greater than a predetermined value is equal to or greater than a predetermined threshold, Since the presence or absence of an obstacle is detected, and the mode of alarm is changed according to the detection result and the distance from the region to the in-vehicle camera 1, it is possible to prevent erroneous detection of the obstacle.
  • the threshold value can be set differently depending on the distance from the region to the in-vehicle camera 1, it is possible to prevent erroneous detection from occurring even at a long distance where the resolution is high in the captured image.
  • This obstacle detection alarm device 200 stores plane information of a plane corresponding to a road surface obtained based on a captured image, and detects the presence or absence of an obstacle using this plane information.
  • FIG. 11 is a block diagram illustrating a configuration of the obstacle detection alarm device 200 according to the second embodiment.
  • the configuration of the obstacle detection alarm device 200 includes a storage unit 20 that stores plane information related to the plane G corresponding to the road surface in addition to the configuration of the obstacle detection alarm device 100 of the first embodiment. is doing.
  • the vehicle-mounted camera 1 is installed so that a road surface may be imaged.
  • FIG. 12A is a flowchart for explaining the flow of the calibration process of the obstacle detection alarm device 200
  • FIG. 12B is a flowchart for explaining the flow of the plane information storage process shown in FIG. 12A
  • FIG. It is a flowchart explaining the flow of a detection alarm process.
  • step S23 plane information storage processing
  • a distance map creating process step S231
  • the distance map creating unit 6 creates a distance map.
  • the projection unit 9 projects only the position of the in-vehicle camera 1 onto the plane G (step S233). Furthermore, the memory
  • the projection unit 9 performs a projection process for projecting the position of each subject portion on the plane G based on the read plane information (step S26).
  • the alarm unit 10 the video output unit 11, the sound synthesis unit 13, the image display device 3, and the alarm sound generation device 4 detect obstacles and drive information on the obstacles as in step S4 of the first embodiment.
  • a warning process to inform the person is performed (step S27).
  • the storage unit 20 When there is a vibration of the vehicle itself or a change in the inclination of the road surface, the storage unit 20 is installed through the calibration process in steps S21 to S23 by installing the in-vehicle camera 1 so that the road surface is imaged again. New plane information can be stored, and obstacle detection processing can be performed based on the new plane information.
  • the storage unit 20 stores in advance plane information regarding the plane G corresponding to the road surface, and the height calculation unit 8 stores in the storage unit 20 in advance. Based on the stored plane information, the height from the plane G to each part of the subject is calculated, and the projection unit 9 positions the position of each subject on the plane G based on the plane information stored in advance in the storage unit 20.
  • the obstacle detection alarm device 100 of the first embodiment it is not necessary to specify a plane every time a captured image is obtained, and the calculation load for obstacle detection can be reduced. it can.
  • the distance map creation unit 6 measures stereo parallax (the amount of shift in the number of pixels), and determines the stereo parallax, the pitch between pixels, the distance between the left camera 1a and the right camera 1b, and the focal length. The case where the distance from each part of the subject to the vehicle-mounted camera 1 is calculated using the principle of triangulation has been described.
  • the obstacle detection alarm device of the present invention is not limited to such a form, and any device that can calculate the distance from each part of the subject to the in-vehicle camera 1 may be used.
  • the distance map creation unit 6 sets the line-of-sight angle formed with the optical axis of each in-vehicle camera (left camera 1a and right camera 1b) for the corresponding pixels of the same subject portion. Based on the principle of triangulation based on the measured line-of-sight angle, the focal length of each in-vehicle camera, and the position of the in-vehicle camera 1 when the captured image is captured, each part of the subject to the in-vehicle camera 1 A configuration may be adopted in which a distance map is created by calculating the distance.
  • the distance map creation unit 6 can create a distance map based on a plurality of captured images.
  • the obstacle detection alarm device of the present invention includes a projector (not shown) that projects a laser in a variable direction of irradiation, and a distance.
  • the map creation unit 6 measures the line-of-sight angle formed with the optical axis of the in-vehicle camera 1 for the pixel corresponding to the portion of the subject irradiated by the projector in the captured image, the measured line-of-sight angle, the irradiation angle of the projector,
  • the distance from each subject to the in-vehicle camera 1 may be calculated based on the triangulation principle based on the focal length of the in-vehicle camera and the distance between the in-vehicle camera 1 and the projector.
  • the distance map creation unit 6 projects the projector for pixels corresponding to the portion of the subject irradiated by the projector.
  • a distance map can be created by calculating the distance using the irradiation angle.
  • the distance map creation unit 6 is not limited to being provided in the information processing apparatus 2, but is provided in the in-vehicle camera 1 or provided independently from the information processing apparatus 2 and the in-vehicle camera 1. Also good. [Cross-reference to related applications] This application claims priority based on Japanese Patent Application No. 2010-011215 filed with the Japan Patent Office on January 21, 2010, the entire disclosure of which is fully incorporated herein by reference. .

Abstract

　車載カメラ１による撮像画像に基づいて、撮像画像の各画素に、２次元座標と各画素に対応する被写体の部分から車載カメラ１までの距離とを対応付け、２次元座標と距離とからなる距離マップを作成する距離マップ作成部６と、距離マップに基づいて、被写体の部分のうち路面に相当する平面Ｇを特定する路面特定部７と、を有することにより、路面に相当する平面Ｇは、従来のように予め用意された３次元位置が既知の多数点から特定されるわけではなく、撮像画像に基づいて特定されるため、従来のような事前校正を必要とせずに路面と障害物とを識別することができる。

Description

障害物検知警報装置
　本発明は、障害物検知警報装置に関し、詳細には、車載カメラによる撮像画像に基づいて車両周辺に存在する障害物を検知し警報する障害物検知警報装置に関する発明である。
　従来、車両周辺に存在する障害物から車両までの距離を計測する目的で、２台のカメラ（ステレオカメラ）を用いて車外の風景を撮像し、異なる位置から撮像された１対の撮像画像の相関を求め、三角測量の原理により、撮像画像中の任意の画素に対応する被写体の部分から車両までの距離（ステレオカメラを原点とした３次元位置）を計測する技術が知られている（例えば、特許文献１）。
　また、計測された３次元位置に基づいて、撮像画像中の任意の画素に対応する被写体の部分が、路面であるのか、あるいは、障害物であるのかを識別する障害物検出装置が知られている。
　すなわち、各カメラの道路平面に対する位置や姿勢等を固定した状態で、３次元位置が既知の点（被写体の部分）を多数点用意し、それらの点の撮像画像への投影位置を予め求める事前校正を行う。そして、三角測量の原理により得られた各点の３次元位置と、予め求められた３次元位置とを比較することにより、路面であるのか、あるいは、障害物であるのかを識別する。
特開２０００－２８３７５３号公報
　しかしながら、車両とカメラとの相対的な位置関係や車両と路面との位置関係などは、車種による差異のほか、個体差もあるため、これらの差を解消させるための事前校正には多大な時間と労力が必要であるという問題があった。
　また、たとえ事前校正を厳密に行ったとしても、経年による変化が生じることもあり、定期的な校正が必要となり、その都度、上記のような労力をかけなければならない。
　本発明は上記事情に鑑みなされたものであり、事前校正を必要とせずに路面と障害物とを識別することができる障害物検知警報装置を提供することを目的とするものである。
　本発明に係る第１の障害物検知警報装置は、車載カメラによる撮像画像に基づいて、撮像画像に写った被写体の部分のうち路面に相当する平面を特定し、この特定された平面を用いて障害物の有無を検知するため、従来のような事前校正を必要とせずに路面と障害物とを識別するものである。
　すなわち、本発明に係る第１の障害物検知警報装置は、車載カメラと、前記車載カメラにより撮像された撮像画像に基づいて、前記撮像画像の各画素に、２次元座標と前記各画素に対応する被写体の部分から前記車載カメラまでの距離とを対応付け、前記２次元座標と前記距離とからなる距離マップを作成する距離マップ作成部と、前記距離マップに基づいて、前記被写体の部分のうち路面に相当する平面を特定する路面特定部と、前記平面から前記被写体の各部分までの高さを算出する高さ算出部と、前記車載カメラの位置および前記被写体の各部分の位置を前記平面に射影する射影部と、前記平面に射影された前記車載カメラの位置から前記平面に射影された前記被写体の各部分の位置までの前記平面に沿った各距離および前記平面から前記被写体の各部分までの各高さに基づいて、障害物の有無を検知して警報する警報部と、を有することを特徴とする。
　このように構成された本発明に係る第１の障害物検知警報装置によれば、距離マップ作成部が撮像画像に基づいて距離マップを作成し、路面特定部が距離マップに基づいて路面に相当する平面を特定するので、路面に相当する平面は、従来のように予め用意された３次元位置が既知の多数点から特定されるわけではなく、撮像画像に基づいて特定される。このため、従来のような事前校正を必要とせずに路面と障害物とを識別することができる。
　また、本発明に係る第２の障害物検知警報装置は、撮像画像に基づいて得られた路面に相当する平面の平面情報を記憶し、この記憶された平面情報を用いて障害物の有無を検知するため、従来のような事前校正を必要とせずに路面と障害物とを識別するものである。
　すなわち、本発明に係る第２の障害物検知警報装置は、前記距離マップに基づいて得られた路面に相当する平面に関する平面情報を予め記憶する記憶部を有し、前記高さ算出部は、前記記憶部に予め記憶された前記平面情報に基づいて前記平面から前記被写体の各部分までの高さを算出することを特徴とする。
　このように構成された本発明に係る第２の障害物検知警報装置によれば、距離マップ作成部が撮像画像に基づいて距離マップを作成し、記憶部が距離マップに基づいて得られた路面に相当する平面の平面情報を記憶し、高さ算出部が平面情報に基づく平面から被写体の各部分までの高さを算出し、射影部が車載カメラの位置および被写体の各部分の位置を平面情報に基づく平面に射影するので、撮像画像に基づいて得られた平面の平面情報を用いて障害物の有無が検知される。このため、従来のような事前校正を必要とせずに路面と障害物とを識別することができる。
　本発明に係る障害物検知警報装置によれば、事前校正を必要とせずに路面と障害物とを識別することができる。
実施例１の障害物検知警報装置の全体の概略構成を示す模式図である。 図１に示した障害物検知警報装置の構成を示すブロック図である。 図１に示した障害物検知警報装置の障害物検知警報処理全体の流れを説明するフローチャートである。 左側の図は、図１に示した左カメラによる車両後方の撮像画像であり、右側の図は、図１に示した右カメラによる車両後方の撮像画像である。 左側の図は、図４の左側の図に示す撮像画像に対して内部校正処理を行った後の画像であり、右側の図は、図４の右側の図に示す撮像画像に対して内部校正処理を行った後の画像である。 図３に示した３次元処理の流れを具体的に説明するフローチャートである。 図２に示した距離マップ作成部により作成された距離マップを示す模式図である。 図６に示した路面特定処理の流れを説明するフローチャートである。 図６に示した射影処理が行われた平面を示す模式図である。 図９に示す平面を複数領域に分割した状態を示す図である。 実施例２の障害物検知警報装置の構成を示すブロック図である。 図１１に示した障害物検知警報装置の校正処理の流れを説明するフローチャートである。 図１２Ａに示した平面情報記憶処理の流れを説明するフローチャートである。 図１１に示した障害物検知警報装置の障害物検知警報処理の流れを説明するフローチャートである。
　以下、図１から図１１に基づいて本発明の実施形態としての実施例１の障害物検知警報装置１００について説明する。
　図１は、実施例１の障害物検知警報装置１００の全体の概略構成を示す模式図であり、図２は、図１に示した障害物検知警報装置１００の構成を示すブロック図である。
　実施例１の障害物検知警報装置１００は、図１に示すように、車載カメラ１と、情報処理装置２と、画像表示装置３と、警報音発生装置４と、を備えている。
　車載カメラ１は、設置位置が互いに異なるように左右に２つ設けられた左カメラ１ａおよび右カメラ１ｂを有するステレオカメラであり、例えば、車両の後方に設置されている。
　情報処理装置２は、車載カメラ１による撮像画像に対して各種情報処理を行うものであって、図２に示すように、内部校正部５と、距離マップ作成部６と、路面特定部７と、高さ算出部８と、射影部９と、警報部１０と、ビデオ出力部１１と、ＲＯＭ１２と、音合成部１３と、を有している。
　また、路面特定部７は３次元座標算出部７ａおよび特定部７ｂを有している。
　画像表示装置３は、車内に設けられ、情報処理装置２のビデオ出力部１１が出力する信号に基づき、撮像画像上に警報メッセージや障害物を示すシンボル表示画像を重ねた画像等を表示する。
　警報音発生装置４は、車内に設けられ、情報処理装置２の音合成部１３が出力する信号に基づき、危険度（距離）に応じた警報音や音声を発生する。
　次に、障害物検知警報装置１００の障害物検知警報処理の流れを、［内部校正処理］と、［ステレオ視差計測処理］と、［３次元処理（距離マップ作成処理）、（路面特定処理）、（高さ算出処理）、（射影処理）］と、［警報処理］と、に分けて説明する。
　図３は、図１に示した障害物検知警報装置１００の障害物検知警報処理全体の流れを説明するフローチャートである。
　障害物検知警報処理が開始すると、車載カメラ１の左カメラ１ａおよび右カメラ１ｂは、各々の車載カメラ１が撮像した撮像画像のデータ（同時に撮像されたもの）を情報処理装置２に出力する。
　そして、図３に示すように、情報処理装置２の内部校正部５が、各撮像画像に対する歪み補正等をする「内部校正処理」を行う（ステップＳ１）。
　続いて、内部校正部５は補正等が行われたデータを距離マップ作成部６に出力し、距離マップ作成部６が、撮像画像間でのステレオ視差を計測する「ステレオ視差計測処理」を行う（ステップＳ２）。
　ここで、「撮像画像間でのステレオ視差」とは、同一の被写体の部分に対応する画素が複数の撮像画像間で何画素ずれているのかという画素数のずれ量をいう。
　さらに、距離マップ作成部６はステレオ視差に基づいて距離マップを作成し（「距離マップ作成処理」）、この得られた距離マップを路面特定部７、高さ算出部８および射影部９に出力する。
　そして、これら路面特定部７、高さ算出部８および射影部９が距離マップに基づいて被写体の各部分について「路面特定処理」、「高さ算出処理」および「射影処理」を行う（これら「距離マップ作成処理」、「路面特定処理」、「高さ算出処理」および「射影処理」を合わせて「３次元処理」という）（ステップＳ３）。
　その後、警報部１０、ビデオ出力部１１、音合成部１３、画像表示装置３および警報音発生装置４が、障害物を検知し、障害物に関する情報を運転者に伝える「警報処理」を行う（ステップＳ４）。
　［内部校正処理］
　図４の左側の図は、図１に示した左カメラによる車両後方の撮像画像であり、図４の右側の図は、図１に示した右カメラによる車両後方の撮像画像であり、図５の左側の図は、図４の左側の図に示す撮像画像に対して内部校正処理を行った後の画像であり、図５の右側の図は、図４の右側の図に示す撮像画像に対して内部校正処理を行った後の画像である。
　ステップＳ１では、内部校正部５が、左カメラ１ａによる撮像画像（図４の左側の図）および右カメラ１ｂによる撮像画像（図４の右側の図）のデータに対して、車載カメラ１のレンズ歪みやカメラ光軸のズレなどを解消する映像的変形補正を行う。
　この補正量は、車載カメラ１の製造過程において計測・決定され、予めＲＯＭ１２に保存されている。
　また、図４の左側の図および右側の図に示す車両後方の撮像画像は、運転者がバックミラーを見たときと同じ状況である左右反転した画像となっているが、実際の左右方向に合わせるように、内部校正部５が左右反転処理を行う。
　これにより、内部校正部５が、図５の左側の図および右側の図に示す、左カメラ１ａおよび右カメラ１ｂによる各撮像画像に対して歪み等の補正が行われた後の画像を取得し、距離マップ作成部６に出力する。
　［ステレオ視差計測処理］
　ステップＳ２では、距離マップ作成部６が、内部校正処理が行われた左カメラ１ａによる撮像画像と右カメラ１ｂによる撮像画像（図５の左側の図および右側の図）間でテンプレートマッチングと呼ばれる画像の類似度比較を行う。
　例えば、図５の左側の図に示す破線で囲われた部分Ａと、図５の右側の図に示す破線で囲われた部分Ｂとは、類似度が高い部分であると判断され、これらは同一の被写体の部分であると特定される。
　そして、距離マップ作成部６は、同一の被写体の部分に対応する画素が複数の撮像画像間でのステレオ視差を計測する。
　すなわち、図５の左側の図に示す破線で囲われた部分Ａは撮像画像の略中央に位置するのに対し、図５の右側の図に示す破線で囲われた部分Ｂは撮像画像の中央よりもやや左側に位置するため、これらの左右方向の画素数のずれ量（ステレオ視差）を計測する。
　距離マップ作成部６は、このようなステレオ視差の計測を撮像画像全体に対して行う。
　［３次元処理］
　図６は、図３に示した３次元処理の流れを具体的に説明するフローチャートである。
　ステップ３で行われる３次元処理は、距離マップ作成処理（ステップＳ３１）、路面特定処理（ステップＳ３２）、高さ算出処理（ステップＳ３３）および射影処理（ステップＳ３４）からなる。
　（距離マップ作成処理）
　図７は、距離マップ作成部６により作成された距離マップを示す模式図である。
　ステップＳ３１では、距離マップ作成部６が、ステップＳ２で計測されたステレオ視差（画素数のずれ量）、予めＲＯＭ１２に記録された画素間のピッチ、左カメラ１ａと右カメラ１ｂ間の距離（光軸間の距離）、および左カメラ１ａと右カメラ１ｂの各々の焦点距離を用いて、三角測量の原理により、被写体の各部分と車載カメラ１との間の距離を算出する。
　そして、撮像画像の各画素に２次元座標と距離とを対応付け、２次元座標と距離とからなる距離マップを作成する。ここで、２次元座標とは、例えば、撮像画像の中心を原点とする各画素の撮像画像中での２次元座標を意味する。
　このようにして、距離マップ作成部６は、例えば、図７に示すような距離マップを取得し、路面特定部７に出力する。
　この図７に示す距離マップは、理解を容易にするために各画素の距離に応じて色分けされている（距離が近いほど明度が高くなっている）。また、撮像画像中で影や空が写っている部分については、類似度比較を行うことができないため、ステレオ視差を計測できず、図７に示す距離マップでは黒く塗りつぶされている。
　なお、距離マップは必ずしも図示される必要はなく、撮像画像の各画素に２次元座標と距離とが対応付けられていればよい。
　（路面特定処理）
　図８は、図６に示した路面特定処理の流れを説明するフローチャートである。
　ステップＳ３２では、路面特定部７が、ステップＳ３１で作成された距離マップに基づいて撮像画像の被写体の部分のうち、路面に相当する平面の特定を行う。
　具体的には、図８に示すように、路面特定部７の３次元座標算出部７ａが、距離マップを構成する２次元座標および距離に基づいて被写体の各部分の３次元座標を算出する（ステップＳ３２１）。
　さらに、特定部７ｂが、車載カメラ１からの距離が警報範囲外となるような所定値以上の距離にある被写体の部分を削除して（ステップＳ３２２）、残りの被写体の各部分の３次元座標を用いた平面近似を行う（ステップＳ３２３）。
　また、被写体の各部分のうち、平面近似により特定された平面から所定値以上の距離（高さ）にある被写体の部分の有無を検知する（ステップＳ３２４）。
　所定値以上の距離（高さ）にある被写体の部分が存在する場合には、その所定値以上の距離（高さ）にある部分を削除し（ステップＳ３２５）、残りの被写体の各部分の３次元座標を用いて再び平面近似を行う（ステップＳ３２３）。
　一方、被写体の各部分のうち、平面近似により特定された平面から所定値以上の距離（高さ）にある被写体の部分が存在しない場合には、ステップＳ３２６に移行する。
　さらに、特定部７ｂは、平面近似により特定された平面が路面に相当するものであるか否かを判断する（ステップＳ３２６）。この判断は、ステップＳ３２５で削除された後に残っている被写体の部分の数（画素の数）が一定数以下であるか否かにより行う。
　残った画素数が一定数より大きい場合には、最終的に得られた平面を路面に相当する平面Ｇとして特定する（ステップＳ３２７）。
　一方、残った画素数が一定数以下である場合には、撮像画像中には路面が映っていないと判断し、一定距離（例えば、警報距離）内の全点について平面近似を行い、この平面に対する全点の高さの分布（振幅分布）から例えばガウス分布を仮定して標準偏差を求め、撮像画像全体について、被写体の部分の高さの粗量を計測する（ステップＳ３２８）。
　（高さ算出処理）
　ステップＳ３３では、高さ算出部８が、路面特定部７により特定された平面Ｇから被写体の各部分までの高さを算出する。
　（射影処理）
図９は、図６に示した射影処理が行われた平面Ｇを示す模式図であり、図１０は、図９に示す平面Ｇを複数領域に分割した状態を示す図である。
　ステップＳ３４では、射影部９が、車載カメラ１の位置および被写体の各部分の位置を平面Ｇに射影する。
　［警報処理］
　ステップＳ４では、図１０に示すように、警報部１０は、射影部９により射影処理が行われた平面Ｇを例えば９つの領域に分割する。
　さらに、警報部１０は、分割した領域毎に、高さ算出部８が算出した平面Ｇから被写体の各部分までの高さが所定高さ以上である被写体の部分の数を計数する。ここで、所定高さとは、例えば、２０ｃｍ程度であって、これにより、２０ｃｍよりも高さの低い車輪止め等を障害物であるという警報の対象から排除する。
　そして、警報部１０は、計数された被写体の部分の数が所定の閾値以上であるか否かに基づいて、領域毎の障害物の有無を検知する。ここで、所定の閾値を、例えば「２」とすることにより、図１０に示すように、左の近距離の領域には障害物は無いと判断し、右の中距離の領域には警報すべき障害物が有ると判断する。
　また、この閾値は、領域から車載カメラ１までの距離に応じて異なるように設定してもよく、例えば、撮像画像中での解像度が近距離の領域と比較して高くなる遠距離の領域では、閾値を大きく設定することができる。
　このようにして警報すべき障害物が有ると判断した場合には、警報部１０は警報信号をビデオ出力部１１および音合成部１３に出力する。
　なお、ステップＳ３２８において撮像画像中に路面が映っていないと判断した場合には、被写体の部分の高さの粗量に関する情報を警報信号としてもよい。
　さらに、ビデオ出力部１１は、警報部１０が出力する警報信号に基づいて、画像表示装置３に表示させるための警報メッセージやシンボル表示に関する信号を出力する。また、音合成部１３は、警報部１０が出力する警報信号に基づいて、警報音発生装置４に発生させるための警報音や音声等に関する信号を出力する。
　そして、画像表示装置３が表示する警報メッセージや障害物を示すシンボル表示画像、警報音発生装置４が発生する危険度（距離）に応じた警報音や音声等により、運転者は障害物に関する情報を取得することができる。
　このように構成された実施例１に係る障害物検知警報装置１００によれば、距離マップ作成部６が、撮像画像に基づいて２次元座標と距離とからなる距離マップを作成し、路面特定部７が、距離マップに基づいて被写体の部分のうち路面に相当する平面Ｇを特定することにより、路面に相当する平面Ｇは、予め用意された３次元位置が既知の多数点から特定されるわけではなく、撮像画像に基づいて特定されるため、従来のような事前校正を必要とせずに路面と障害物とを識別することができる。
　すなわち、ユーザー自身が事前校正を行う必要がないため、車載カメラ１の取付位置の選択の自由度を高めることができる。
　また、上述のように、車載カメラ１による撮像画像に基づいて路面に相当する平面Ｇが特定されるため、車両が実際に走行している走行環境に応じた平面の特定をすることができる。
　さらに、警報部１０は、平面Ｇに沿った各距離（車載カメラ１から被写体の各部分までの各距離）を障害物の有無の判断基準としており、これらの平面に沿った各距離は車両の走行方向に沿った距離であるため、運転者は障害物の検知結果を容易に把握することができる。
　また、路面特定部７の特定部７ｂは、被写体の各部分のうち、平面近似により特定された平面から所定値以上の距離にある被写体の部分の有無を検知し、所定値以上の距離にある被写体の部分が存在する場合には、所定値以上の距離にある被写体の部分が存在しなくなるまで、所定値以上の距離にある被写体の部分を削除したうえで、平面近似を繰り返し、最終的に得られた平面を路面に相当する平面Ｇとして特定するため、平面の特定を精度よく行うことができる。
　そして、警報部１０は、路面に相当する平面Ｇを複数の領域に分割し、分割して得られた各領域に含まれる被写体の部分のうち平面Ｇからの高さが所定値以上である被写体の部分の数を計数し、距離および高さに加えて、平面Ｇからの高さが所定値以上である被写体の部分の数が所定の閾値以上であるか否かに基づいて、領域毎の障害物の有無を検知し、検知の結果と領域から車載カメラ１までの距離とに応じて警報の態様を変化させるため、障害物の誤検知を防ぐことができる。
　また、閾値は、領域から車載カメラ１までの距離に応じて異なるように設定できるため、撮像画像中で解像度が高くなる遠距離であっても誤検知が生じるのを防ぐことができる。
　さらに、距離マップ作成部６は、左カメラ１ａ、右カメラ１ｂにより同時に撮像された２つ以上の撮像画像間での類似度比較を行なうことで、同一の被写体の部分を特定し、同一の被写体の部分に対応する画素に基づいて、距離マップを作成するため、比較的短い時間で距離マップを作成することができる。
　さらに、距離マップ作成部６は、２つ以上の撮像画像間での同一の被写体の部分の対応する画素数のずれ量を計測し、計測されたずれ量と、画素間のピッチ数と、各カメラ（左カメラ１ａ、右カメラ１ｂ）の焦点距離と、撮像画像を撮像するときの各カメラの位置と、に基づいて三角測量の原理により被写体の各部分から車載カメラ１までの距離を算出しており、これらのパラメータのうち、ずれ量以外は既定値であるため、比較的少ない計算量で被写体の各部分から車載カメラまでの距離を算出することができる。
　次に、本発明の実施形態としての実施例２の障害物検知警報装置２００について説明する。この障害物検知警報装置２００は、撮像画像に基づいて得られた路面に相当する平面の平面情報を記憶し、この平面情報を用いて障害物の有無を検知するものである。
　図１１は、実施例２の障害物検知警報装置２００の構成を示すブロック図である。図１１に示すように、障害物検知警報装置２００の構成は、実施例１の障害物検知警報装置１００の構成に加えて、路面に相当する平面Ｇに関する平面情報を記憶する記憶部２０を有している。また、車載カメラ１は、路面が撮像されるように設置されている。
　なお、障害物検知警報装置２００の他の構成は、実施例１の障害物検知警報装置１００の構成と同様であるため、ここでの説明は省略する。
　次に、障害物検知警報装置２００の校正処理および障害物検知警報処理の流れを説明する。
　図１２Ａは、障害物検知警報装置２００の校正処理の流れを説明するフローチャートであり、図１２Ｂは、図１２Ａに示した平面情報記憶処理の流れを説明するフローチャートであり、図１２Ｃは、障害物検知警報処理の流れを説明するフローチャートである。
　［校正処理］
　ユーザーが車載カメラ１の撮像画像に路面が入るように事前に角度等の調整を行ない、車載カメラ１による撮像画像のデータが情報処理装置２に出力されると、図１２Ａに示すように、レンズ歪み補正等の内部校正処理（ステップＳ２１）およびステレオ視差計測処理（ステップＳ２２）が行われる。これらは、実施例１のステップＳ１およびステップＳ２と同様の処理であるため、ここでの説明は省略する。
　その後、平面情報記憶処理（ステップＳ２３）が行われる。この平面情報記憶処理は、図１２Ｂに示すように、まず、距離マップ作成処理（ステップＳ２３１）が行われ、距離マップ作成部６が距離マップを作成する。
　また、路面特定処理（ステップＳ２３２）が行われ、路面特定部７が被写体の部分のうち路面に相当する平面Ｇを特定する。これらの距離マップ作成処理（ステップＳ２３１）および路面特定処理（ステップＳ２３２）は、実施例１のステップＳ３１およびステップＳ３２と同様の処理である。
　そして、射影部９は車載カメラ１の位置のみを平面Ｇに射影する（ステップＳ２３３）。さらに、記憶部２０は、車載カメラ１の位置が射影された平面Ｇに関する平面情報を記憶する（ステップＳ２３４）。
　［障害物検知警報処理］
　障害物検知警報処理が開始されると、図１２Ｃに示すように、記憶部２０から平面情報が読みだされ（ステップＳ２４）、高さ算出部８は、この平面情報に基づいて、平面Ｇから各被写体の部分までの高さを算出する高さ算出処理を行う（ステップＳ２５）。
　また、射影部９は、読みだされた平面情報に基づいて、平面Ｇに各被写体の部分の位置を射影する射影処理を行う（ステップＳ２６）。
　さらに、警報部１０、ビデオ出力部１１、音合成部１３、画像表示装置３および警報音発生装置４が、実施例１のステップＳ４と同様に、障害物を検知し、障害物に関する情報を運転者に伝える警報処理を行う（ステップＳ２７）。
　また、車載カメラ１による新たな撮像画像が情報処理装置２に出力されると、記憶部２０が記憶した平面Ｇに関する平面情報を用いてステップＳ２４～ステップＳ２７の障害物検知処理のみを繰り返す。
　なお、車両自身の振動や路面の傾斜の変化等がある場合には、再び路面が撮像されるように車載カメラ１の設置を行うことで、ステップＳ２１～ステップＳ２３の校正処理を通して記憶部２０が新たな平面情報を記憶し、この新たな平面情報に基づいて障害物検知処理を行うことができる。
　このように構成された実施例２に係る障害物検知警報装置２００によれば、記憶部２０が路面に相当する平面Ｇに関する平面情報を予め記憶し、高さ算出部８が記憶部２０に予め記憶された平面情報に基づいて平面Ｇから被写体の各部分までの高さを算出し、射影部９は、記憶部２０に予め記憶された平面情報に基づいて平面Ｇに各被写体の部分の位置を射影するため、実施例１の障害物検知警報装置１００による効果に加えて、撮像画像が得られる度に平面の特定を行う必要がなく、障害物検知のための計算負荷を低減させることができる。
（変形例１）
　実施例１および実施例２では、距離マップ作成部６がステレオ視差（画素数のずれ量）を計測し、ステレオ視差、画素間のピッチ、左カメラ１ａと右カメラ１ｂ間の距離、焦点距離を用いて、三角測量の原理により、被写体の各部分から車載カメラ１までの距離を算出する場合について説明した。
　しかし、本発明の障害物検知警報装置は、このような形態に限定されるものではなく、被写体の各部分から車載カメラ１までの距離を算出することできるものであればよい。
　例えば、本発明の障害物検知警報装置は、距離マップ作成部６は、同一の被写体の部分の対応する画素について、各車載カメラ（左カメラ１ａおよび右カメラ１ｂ）の光軸となす視線角度を計測し、計測された視線角度と、各車載カメラの焦点距離と、撮像画像を撮像するときの車載カメラ１の位置と、に基づいて三角測量の原理により被写体の各部分から車載カメラ１までの距離を算出することにより、距離マップを作成する構成としてもよい。
　このように構成された障害物検知警報装置によれば、距離マップ作成部６は、視線角度と、焦点距離と、車載カメラ１の位置と、に基づいて距離の算出を行うため、撮像画像の画素間のピッチ数が記憶されていない場合であっても被写体の各部分から車載カメラ１までの距離を算出することができる。
　（変形例２）
　また、実施例１および実施例２では、車載カメラ１が左カメラ１ａおよび右カメラ１ｂを有するステレオカメラである場合について説明したが、本発明の障害物検知警報装置は、このような形態に限定されるものではなく、複数の撮像画像が得られるものであればよい。
　例えば、本発明の障害物検知警報装置は、車載カメラ１は時系列に相前後して少なくとも２つの撮像画像を撮像する単一のカメラであって、距離マップ作成部６は、車載カメラ１が搭載された車両が走行するのに伴って撮像するときの車載カメラ１の位置が異なった２つ以上の撮像画像間での類似度比較を行なうことで、同一の被写体の部分を特定し、同一の被写体の部分に対応する画素に基づいて、距離マップを作成する構成としてもよい。
　このように構成された障害物検知警報装置によれば、車両が走行するのに伴って撮像位置が異なった２つ以上の撮像画像を得ることができる、いわゆる「モーションステレオ」を利用したものであるため、車載カメラ１が単一のカメラであっても、距離マップ作成部６は複数の撮像画像に基づき距離マップを作成することができる。
　（変形例３）
　また、車載カメラ１が単一のカメラである場合の他の例として、本発明の障害物検知警報装置は、レーザーを照射方向を可変に投光する投光器（図示せず）を有し、距離マップ作成部６は、撮像画像において投光器により照射された被写体の部分に対応する画素について、車載カメラ１の光軸となす視線角度を計測し、計測された視線角度と、投光器の照射角度と、車載カメラの焦点距離と、車載カメラ１と投光器との間の距離と、に基づき三角測量の原理により各被写体から車載カメラ１までの距離を算出する構成としてもよい。
　このように構成された障害物検知警報装置によれば、車載カメラ１が単一のカメラであっても、距離マップ作成部６は、投光器により照射された被写体の部分に対応する画素について、投光器の照射角度を用いて距離の算出を行うことにより距離マップを作成することができる。
　なお、距離マップ作成部６は、情報処理装置２に設けられている場合に限らず、車載カメラ１に設けられていたり、あるいは、情報処理装置２や車載カメラ１から独立して設けられていてもよい。
［関連出願への相互参照］
　本出願は、２０１０年１月２１日に日本国特許庁に出願された特願２０１０－０１１２１５に基づいて優先権を主張し、そのすべての開示は完全に本明細書で参照により組み込まれている。

Claims (12)

  1. 　車載カメラと、
    　前記車載カメラにより撮像された撮像画像に基づいて、前記撮像画像の各画素に、２次元座標と前記各画素に対応する被写体の部分から前記車載カメラまでの距離とを対応付け、前記２次元座標と前記距離とからなる距離マップを作成する距離マップ作成部と、
    　前記距離マップに基づいて、前記被写体の部分のうち路面に相当する平面を特定する路面特定部と、
    　前記平面から前記被写体の各部分までの高さを算出する高さ算出部と、
    　前記車載カメラの位置および前記被写体の各部分の位置を前記平面に射影する射影部と、
    　前記平面に射影された前記車載カメラの位置から前記平面に射影された前記被写体の各部分の位置までの前記平面に沿った各距離および前記平面から前記被写体の各部分までの各高さに基づいて、障害物の有無を検知して警報する警報部と、を有することを特徴とする障害物検知警報装置。
  2. 　前記路面特定部は、前記距離マップに基づいて、前記被写体の各部分の３次元座標を算出する３次元座標算出部と、前記被写体の各部分の３次元座標を用いた平面近似により前記平面を特定する特定部と、を有し、
    　前記特定部は、前記被写体の各部分のうち、前記平面近似により特定された平面から所定値以上の距離にある被写体の部分の有無を検知し、前記所定値以上の距離にある被写体の部分が存在する場合には、前記所定値以上の距離にある前記被写体の部分が存在しなくなるまで、前記所定値以上の距離にある前記被写体の部分を削除したうえで、前記平面近似を繰り返し、最終的に得られた平面を前記路面に相当する平面として特定することを特徴とする請求項１に記載の障害物検知警報装置。
  3. 　前記距離マップに基づいて得られた路面に相当する平面に関する平面情報を予め記憶する記憶部を有し、
    　前記高さ算出部は、前記記憶部に予め記憶された前記平面情報に基づいて前記平面から前記被写体の各部分までの高さを算出することを特徴とする請求項１に記載の障害物検知警報装置。
  4. 　前記警報部は、前記路面に相当する平面を複数の領域に分割し、分割して得られた各領域に含まれる前記被写体の部分のうち前記平面からの高さが所定値以上である被写体の部分の数を計数し、前記距離および前記高さに加えて、前記平面からの高さが所定値以上である被写体の部分の数が所定の閾値以上であるか否かに基づいて、前記領域毎の障害物の有無を検知し、
    　前記検知の結果と前記領域から前記車載カメラまでの距離とに応じて警報の態様を変化させることを特徴とする請求項１に記載の障害物検知警報装置。
  5. 　前記閾値は、前記領域から前記車載カメラまでの距離に応じて異なることを特徴とする請求項４に記載の障害物検知警報装置。
  6. 　前記車載カメラは設置位置が互いに異なるように複数個設けられており、
    　前記距離マップ作成部は、各車載カメラにより撮像された２つ以上の撮像画像間での類似度比較を行なうことで、同一の被写体の部分を特定し、前記同一の被写体の部分に対応する画素に基づいて、前記距離マップを作成することを特徴とする請求項１から請求項５のいずれか１項に記載の障害物検知警報装置。
  7. 　前記車載カメラは時系列に相前後して少なくとも２つの撮像画像を撮像する単一のカメラであって、
    　前記距離マップ作成部は、前記車載カメラが搭載された車両が走行するのに伴って撮像するときの前記車載カメラの位置が異なった２つ以上の前記撮像画像間での類似度比較を行なうことで、同一の被写体の部分を特定し、前記同一の被写体の部分に対応する画素に基づいて、前記距離マップを作成することを特徴とする請求項１から請求項５のいずれか１項に記載の障害物検知警報装置。
  8. 　前記距離マップ作成部は、２つ以上の前記撮像画像間での前記同一の被写体の部分の対応する画素数のずれ量を計測し、
    　計測された前記ずれ量と、前記画素間のピッチ数と、前記各車載カメラの焦点距離と、前記撮像画像を撮像するときの前記車載カメラの位置と、に基づいて三角測量の原理により前記被写体の各部分から前記車載カメラまでの距離を算出することにより、前記距離マップを作成することを特徴とする請求項６に記載の障害物検知警報装置。
  9. 　前記距離マップ作成部は、２つ以上の前記撮像画像間での前記同一の被写体の部分の対応する画素数のずれ量を計測し、
    　計測された前記ずれ量と、前記画素間のピッチ数と、前記各車載カメラの焦点距離と、前記撮像画像を撮像するときの前記車載カメラの位置と、に基づいて三角測量の原理により前記被写体の各部分から前記車載カメラまでの距離を算出することにより、前記距離マップを作成することを特徴とする請求項７に記載の障害物検知警報装置。
  10. 　前記距離マップ作成部は、前記同一の被写体の部分の対応する画素について、前記各車載カメラの光軸となす視線角度を計測し、
    　計測された前記視線角度と、前記各車載カメラの焦点距離と、前記撮像画像を撮像するときの前記車載カメラの位置と、に基づいて三角測量の原理により前記被写体の各部分から前記車載カメラまでの距離を算出することにより、前記距離マップを作成することを特徴とする請求項６に記載の障害物検知警報装置。
  11. 　前記距離マップ作成部は、前記同一の被写体の部分の対応する画素について、前記各車載カメラの光軸となす視線角度を計測し、
    　計測された前記視線角度と、前記各車載カメラの焦点距離と、前記撮像画像を撮像するときの前記車載カメラの位置と、に基づいて三角測量の原理により前記被写体の各部分から前記車載カメラまでの距離を算出することにより、前記距離マップを作成することを特徴とする請求項７に記載の障害物検知警報装置。
  12. 　レーザーを照射方向を可変に投光する投光器を有し、
    　前記距離マップ作成部は、前記撮像画像において前記投光器により照射された被写体の部分に対応する画素について、前記車載カメラの光軸となす視線角度を計測し、
    　計測された前記視線角度と、前記投光器の照射角度と、前記車載カメラの焦点距離と、前記車載カメラと前記投光器との間の距離と、に基づき三角測量の原理により前記各被写体から前記車載カメラまでの距離を算出することを特徴とする請求項１から請求項５のいずれか１項に記載の障害物検知警報装置。
PCT/JP2011/050823 2010-01-21 2011-01-19 障害物検知警報装置 WO2011090053A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010011215A JP5580062B2 (ja) 2010-01-21 2010-01-21 障害物検知警報装置
JP2010-011215 2010-01-21

Publications (1)

Publication Number Publication Date
WO2011090053A1 true WO2011090053A1 (ja) 2011-07-28

Family

ID=44306855

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/050823 WO2011090053A1 (ja) 2010-01-21 2011-01-19 障害物検知警報装置

Country Status (2)

Country Link
JP (1) JP5580062B2 (ja)
WO (1) WO2011090053A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014016962A (ja) * 2012-07-11 2014-01-30 Resonant Systems Inc 車両周辺監視システム
WO2021124657A1 (ja) * 2019-12-17 2021-06-24 日立Astemo株式会社 カメラシステム

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10143659A (ja) * 1996-11-06 1998-05-29 Komatsu Ltd 物体検出装置
JP2000075032A (ja) * 1998-09-02 2000-03-14 Komatsu Ltd 走行路上の障害物の検出方法及びその存否推定方法
WO2004106858A1 (ja) * 2003-05-29 2004-12-09 Olympus Corporation ステレオカメラシステム及びステレオ光学モジュール
JP2005242488A (ja) * 2004-02-24 2005-09-08 Matsushita Electric Works Ltd 物体検出装置、物体検出方法、プログラム
JP2005251123A (ja) * 2004-03-08 2005-09-15 National Institute Of Advanced Industrial & Technology 画像処理装置および画像処理方法
JP2006054681A (ja) * 2004-08-11 2006-02-23 Tokyo Institute Of Technology 移動体周辺監視装置
JP2007263657A (ja) * 2006-03-28 2007-10-11 Denso It Laboratory Inc ３次元座標取得装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10143659A (ja) * 1996-11-06 1998-05-29 Komatsu Ltd 物体検出装置
JP2000075032A (ja) * 1998-09-02 2000-03-14 Komatsu Ltd 走行路上の障害物の検出方法及びその存否推定方法
WO2004106858A1 (ja) * 2003-05-29 2004-12-09 Olympus Corporation ステレオカメラシステム及びステレオ光学モジュール
JP2005242488A (ja) * 2004-02-24 2005-09-08 Matsushita Electric Works Ltd 物体検出装置、物体検出方法、プログラム
JP2005251123A (ja) * 2004-03-08 2005-09-15 National Institute Of Advanced Industrial & Technology 画像処理装置および画像処理方法
JP2006054681A (ja) * 2004-08-11 2006-02-23 Tokyo Institute Of Technology 移動体周辺監視装置
JP2007263657A (ja) * 2006-03-28 2007-10-11 Denso It Laboratory Inc ３次元座標取得装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014016962A (ja) * 2012-07-11 2014-01-30 Resonant Systems Inc 車両周辺監視システム
WO2021124657A1 (ja) * 2019-12-17 2021-06-24 日立Astemo株式会社 カメラシステム
JP2021096638A (ja) * 2019-12-17 2021-06-24 日立Astemo株式会社 カメラシステム
CN114762019A (zh) * 2019-12-17 2022-07-15 日立安斯泰莫株式会社 摄像机系统
JP7293100B2 (ja) 2019-12-17 2023-06-19 日立Astemo株式会社 カメラシステム

Also Published As

Publication number Publication date
JP2011149810A (ja) 2011-08-04
JP5580062B2 (ja) 2014-08-27

Similar Documents

Publication Publication Date Title
JP5455124B2 (ja) カメラ姿勢パラメータ推定装置
US8184160B2 (en) Image processor, driving assistance system, and out-of-position detecting method
JP6458439B2 (ja) 車載カメラ較正装置、画像生成装置、車載カメラ較正方法、画像生成方法
JP5729158B2 (ja) 駐車支援装置および駐車支援方法
JP4861034B2 (ja) 車載カメラのキャリブレーションシステム
JP6392693B2 (ja) 車両周辺監視装置、車両周辺監視方法、及びプログラム
JPWO2013035353A1 (ja) 画像処理装置及び画像処理方法
JP2004132870A (ja) ステレオカメラの調整装置およびステレオカメラの調整方法
JP2018180772A (ja) 物体検出装置
US20170028917A1 (en) Driving assistance device and driving assistance method
JP3617709B2 (ja) 距離計測装置
JP2008292278A (ja) 距離検出装置の光学ずれ検出方法及び距離検出装置
KR102494006B1 (ko) 동적 입체 캘리브레이션을 위한 시스템 및 방법
JP6543935B2 (ja) 視差値導出装置、機器制御システム、移動体、ロボット、視差値導出方法、およびプログラム
JP2008309637A (ja) 障害物計測方法、障害物計測装置及び障害物計測システム
JP5240517B2 (ja) 車載カメラの校正装置
JP2004257837A (ja) ステレオアダプタ撮像システム
US9827906B2 (en) Image processing apparatus
JP2015172876A (ja) 車両周辺監視装置、車両周辺監視システム、及びプログラム
JP6519138B2 (ja) 視差値導出装置、移動体、ロボット、視差値生産方法、及びプログラム
JP2014130429A (ja) 撮像装置及び立体物領域検出用プログラム
JP2009092551A (ja) 障害物計測方法、障害物計測装置及び障害物計測システム
JP5580062B2 (ja) 障害物検知警報装置
JP2006323693A (ja) 処理装置、画像処理方法および画像処理プログラム
JP2015158749A (ja) 画像処理装置、移動体、ロボット、機器制御方法およびプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11734659

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 11734659

Country of ref document: EP

Kind code of ref document: A1