JP5955404B2 - 距離測定装置及びそれを用いた車両 - Google Patents

距離測定装置及びそれを用いた車両 Download PDF

Info

Publication number
JP5955404B2
JP5955404B2 JP2014543242A JP2014543242A JP5955404B2 JP 5955404 B2 JP5955404 B2 JP 5955404B2 JP 2014543242 A JP2014543242 A JP 2014543242A JP 2014543242 A JP2014543242 A JP 2014543242A JP 5955404 B2 JP5955404 B2 JP 5955404B2
Authority
JP
Japan
Prior art keywords
image
edge image
measuring device
binarized
edge
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014543242A
Other languages
English (en)
Other versions
JPWO2014065159A1 (ja
Inventor
芳紀 倉貫
芳紀 倉貫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yamaha Motor Co Ltd
Original Assignee
Yamaha Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yamaha Motor Co Ltd filed Critical Yamaha Motor Co Ltd
Application granted granted Critical
Publication of JP5955404B2 publication Critical patent/JP5955404B2/ja
Publication of JPWO2014065159A1 publication Critical patent/JPWO2014065159A1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/122Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00Measuring distances in line of sight; Optical rangefinders
    • G01C3/02Details
    • G01C3/06Use of electric means to obtain final indication
    • G01C3/08Use of electric radiation detectors
    • G01C3/085Use of electric radiation detectors with electronic parallax measurement
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/16Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using electromagnetic waves other than radio waves
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0251Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/564Depth or shape recovery from multiple images from contours
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/593Depth or shape recovery from multiple images from stereo images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/243Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • G06T2207/10012Stereo images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20112Image segmentation details
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261Obstacle
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Electromagnetism (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Measurement Of Optical Distance (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Computer Networks & Wireless Communication (AREA)

Description

本発明は、視差画像により距離を測定する距離測定装置及びそれを備えた車両に関する。
従来、ステレオ法により作成した視差画像から距離を測定する方法が研究されている。最も一般的な方法は、複数の画像をある視差分だけずらし、注目画素およびその近傍領域の画素において各画素の輝度差の絶対値和(SAD:Sum of Absolute Differences)を計算し、SADが小さくなる視差をその注目画素の視差として視差画像を作成する方法である。
FPGA(Field Programmable Gate Array;再構成可能なゲートアレイ)や小型CPUを用いて視差画像を作成する場合、輝度値やエッジ特徴を抽出した値をそのまま使用すると、計算規模が多くなり、使用メモリ数も多くなる。この結果、距離測定装置の規模が増大する。そこで、特許文献1に記載のステレオ視覚装置では、一方の原画像のエッジ画像を2値化処理した2値化エッジ画像を用いることで、視差画像作成時の計算規模を抑制している。また、距離測定装置が搭載される車両として、特許文献2に記載されている自律走行する車両が挙げられる。
(1)特許文献1の技術
特許文献1に記載のステレオ視覚装置では、一方の原画像のエッジ部分を強調したエッジ強調画像を作成する。このエッジ強調画像の画素値を固定値と比較し、2値化処理して2値化エッジ画像を作成する。この2値化エッジ画像ともう一方の原画像とを用いて視差画像を作成する。
(2)特許文献2の技術
特許文献2に記載のゴルフカートには自律走行装置が搭載されている。これにより、走路上に設けられた誘導線に従って走路を自律走行することができる。また、障害物との距離を視差画像ではなく超音波センサを用いて検出している。
特許01778684号公報 特開2003−5832号公報
しかしながら、同じ被写体を撮像しても、個々のカメラで得られたそれぞれの画像の輝度値は異なる。特許文献1の技術では、エッジ抽出画像に対して閾値を用いて2値化エッジ画像を作成しているので、画像を撮像する個々のカメラ個体差の影響を受けやすくなる。これにより、視差画像のマッチング精度が低下する。
本発明は、このような事情に鑑みてなされたものであって、視差画像のマッチング精度を向上した距離測定装置及びそれを用いた車両を提供することを目的とする。
上記目的を達成するために、本発明は次のような構成をとる。
すなわち、本発明に係る視差画像を作成し距離を測定する距離測定装置は、画像を撮像する複数の撮像センサと、前記画像を基に明から暗への変化によって生じるエッジと暗から明への変化によって生じるエッジとを識別するための識別情報を有する画素値を持つエッジ画像を抽出するエッジ画像抽出部と、前記エッジ画像の前記識別情報に応じて2値化エッジ画像を作成する2値化エッジ画像作成部と、前記2値化エッジ画像から視差画像を作成する視差画像作成部と、前記視差画像から距離画像を演算する距離画像演算部とを備える。
本発明によれば、複数の撮像センサが画像をそれぞれ取得する。エッジ画像抽出部は撮像された各画像を基に、明から暗への変化によって生じるエッジと暗から明への変化によって生じるエッジとを識別するための識別情報を有する画素値を持つエッジ画像をそれぞれ抽出する。2値化エッジ画像作成部はエッジ画像の明暗変化の識別情報に応じて2値化したエッジ画像を作成する。視差画像作成部は作成された2値化エッジ画像から視差画像を作成する。距離画像演算部は視差画像から距離画像を演算する。
このように、エッジ画像の2値化をエッジ画像の画素値を基準にするのではなく、エッジ画像において明暗変化を示す識別情報を基準として実施するので、エッジ画像の各画素値が有する明から暗への輝度変化、および、暗から明への輝度変化の情報を2値化エッジ画像にも有することができる。明暗変化の情報を有する2値化エッジ画像を基に視差画像を作成するので、視差画像のマッチング精度の向上をすることができる。また、撮像された各画像の2値化エッジ画像を作成するので、視差画像の演算量の抑制をすることができる。距離画像は視差画像を基に演算されるので、この結果、距離測定装置の測定距離の精度および演算速度の向上をすることができる。
また、前記識別情報は正負の符号であることが好ましい。明暗変化を正負の符号によりエッジ画像の画素値に持たすことができる。
また、前記2値化エッジ画像作成部は、前記エッジ画像において前記識別情報の無い画素値を、前記2値化エッジ画像において鉛直方向の位置に応じて2値の一方の値または他方の値に規則性を有して置換することが好ましい。2値化エッジ画像作成部は、エッジ画像において識別情報の無い画素値を、2値化エッジ画像上において鉛直方向の位置に応じて2値の一方の値または他方の値に規則性を有して置換する。すなわち、明暗変化の無い画素は、エッジ画像における鉛直方向の位置に応じて、つまり行単位で、2値の一方の値または他方の値に規則性を有して2値化エッジ画像上に置換される。これにより、2値化エッジ画像上で、鉛直方向に2値の一方の値または他方の値の規則性のある領域は明暗変化の無い領域と認定することができ、2値のデータでありながら、明から暗への変化、暗から明への変化、および、明暗変化無しの3種類の情報を含むことができる。これにより、視差画像の精度を向上することができ、距離測定装置の測定距離の精度を向上させることができる。
また、前記識別情報の無い画素値は0であることが好ましい。識別情報の無い画素値を符号を有さない0値とすることで、エッジ画像のデータ量を低減することができる。
また、前記規則性は鉛直方向に2値の一方の値と他方の値とが交互に配置される規則性であることが好ましい。2値化エッジ画像上において、明暗変化無しの領域が鉛直方向に行単位で、2値の一方の値と他方の値との交互の規則性を有しているので、視差画像のマッチング精度を向上することができる。
また、前記2値化エッジ画像作成部は、前記エッジ画像において識別情報の無い画素領域を、前記2値化エッジ画像において2値の一方の値と他方の値との横縞領域に置換することが好ましい。エッジ画像において識別情報の無い領域を、2値化エッジ画像上において、2値の一方の値と他方の値との横縞領域に置換するので、視差画像のマッチング精度を向上することができる。
また、本発明に係る車両は、上記距離測定装置を備える車両である。上記距離測定装置を備えることで、車両周辺の物体との距離を精度よく測定することができる。
本発明によれば、エッジ画像の2値化をエッジ画像の画素値を基準にするのではなく、エッジ画像において明暗変化を示す識別情報を基準として実施するので、エッジ画像の各画素値が有する明から暗への輝度変化、および、暗から明への輝度変化の情報を2値化エッジ画像にも有することができる。明暗変化の情報を有する2値化エッジ画像を基に視差画像を作成するので、視差画像のマッチング精度の向上をすることができる。また、撮像された各画像の2値化エッジ画像を作成するので、視差画像の演算量の抑制をすることができる。距離画像は視差画像を基に演算されるので、この結果、距離測定装置の測定距離の精度および演算速度の向上をすることができる。
実施例1に係る車両の前面図である。 実施例1に係る車両の構成を示すブロック図である。 実施例1に係る距離測定装置の構成を示すブロック図である。 実施例1に係るソーベルフィルタを示す説明図である。 実施例1に係るフィルタの画像走査方向を示す説明図である。 実施例1に係る2値化された一方の画素領域を示す説明図である。 実施例1に係る2値化されたもう一方の画素領域を示す説明図である。 実施例1に係る距離画像演算の流れを示すフローチャートである。 実施例1に係る2値化エッジ画像を示す説明図である。 実施例1に係る2値化エッジ画像を示す説明図である。 実施例2に係る2値化エッジ画像において明暗変化の情報の無い領域を示す説明図である。 実施例2に係る2値化エッジ画像を示す説明図である。 変形例に係る2値化エッジ画像において明暗変化の情報の無い領域を示す説明図である。 変形例に係る2値化エッジ画像において明暗変化の情報の無い領域を示す説明図である。
以下、図面を参照して本発明の実施例1を説明する。本発明における車両の実施形態として、自律走行するゴルフカートを挙げる。なお、以下の説明で、前後とは車両1の前進する方向を基準としている。
1.車両の概略構成
図1および図2を参照する。図1は、実施例に係る車両1の概略構成を示す前面図であり、図2は車両1の構成を示す機能ブロック図である。車両1はゴルフ場内を自動または手動走行するゴルフカートである。車両1は、走路に埋め込まれた誘導線から発せられる電磁波に誘導されて自律走行することができる。車両1の前面中央部に2個の撮像センサ3a、3bで構成されるステレオカメラ3が設けられている。なお、ステレオカメラ3は、2個以上の撮像センサで構成されてもよい。ステレオカメラ3は、左撮像センサ3aおよび右撮像センサ3bで構成される。左撮像センサ3aおよび右撮像センサ3bのいずれかを基準カメラとする。なお、ステレオカメラ3は2台の撮像センサに限られず、3台以上の撮像センサを用いてもよい。
また、車両1には、ステレオカメラ3が撮像した画像を基に、車両1の周囲の物体との距離を測定する距離測定装置4と、車両1が走行する走路上の障害物を検出する障害物検出装置5と、車両1が誘導線に沿って自律走行するのを制御する自律走行制御部6と、障害物検出装置5が障害物を検出すると運転者および周囲に警告を発生する警告出力部7と、障害物の検出により減速または停止の制御をする走行速度制御部9と、車輪を駆動し、走行速度制御部9により回転数が制御される駆動モータ11とが設けられている。
2.距離測定装置の構成
次に図3を参照して車両1に備えられた距離測定装置4の構成を説明する。図3は、距離測定装置の構成を示すブロック図である。
距離測定装置4は、車両1の前方の画像を撮像するステレオカメラ3と、ステレオカメラ3により撮像された画像のエッジを抽出するエッジ抽出部13と、エッジ抽出された画像を2値化する2値化エッジ画像作成部15と、2値化エッジ画像をステレオマッチングして視差画像を作成する視差画像作成部17と、視差画像から距離画像を演算する距離画像演算部19とを備える。エッジ抽出部13、2値化エッジ画像作成部15、視差画像作成部17、および、距離画像演算部19は小型CPU、マイクロプロセッサ、または、FPGAとメモリとで構成される。次にそれぞれの構成部について順に説明する。
ステレオカメラ3の撮像センサ3a、3bは予め定められた幾何条件の下で設置されている。本実施例では、撮像センサ3a、3bは水平方向に一定距離を保たれて設置されている。すなわち、撮像センサ3a、3bは平行ステレオである。撮像センサ3a、3bは、CCDやCMOSなど一般的な可視光センサである。各撮像センサ3a、3bは、それぞれ撮像された画像の行の位置が一致するように、すなわち、エピポーラ線が一致するように、予めカメラキャリブレーションが実施されている。
エッジ抽出部13は、ステレオカメラ3から送られる画像、すなわち、撮像センサ3a、3bから送られる画像のエッジ部分を抽出してエッジ画像を作成する。エッジ抽出は、撮像センサ3a、3bから入力された各画像の輝度値と予め記憶された空間フィルタの数値列との積和により、エッジ画像を抽出することができる。空間フィルタとして、例えば、図4に示す3×3のソーベルフィルタSfが挙げられる。空間フィルタが走査する方向は、図5に示すように、入力画像Ipに対して、左から右方向へ走査し、次に下へ移って、また、左から右へ走査するラスタースキャンである。ソーベルフィルタSfを用いることで、撮像された画像の縦方向のエッジを強調することができる。空間フィルタは、ソーベルフィルタSf以外にもプリューウィットフィルタなどの微分フィルタを用いてもよい。
このソーベルフィルタSfの数値列と各画像の輝度値との積和により、正負の符号付き値を有するエッジ画像を抽出することができる。ここで、正負の符号の意味を説明すると、ソーベルフィルタSfのフィルタリング方向に沿って、輝度が暗から明へ変化がある場合、正の符号を有し、輝度が明から暗へ変化する場合、負の符号を有する。輝度の明暗の変化がない場合、0値となる。すなわち、エッジ画像の画素値の正負の符号は、明から暗への変化によって生じるエッジと暗から明への変化によって生じるエッジとを識別するための識別情報である。また、明暗変化の識別情報として他の方法によりエッジ画像の画素値に持たしてもよい。
ソーベルフィルタSfの行列をAijとし、左エッジ画像をE(X,Y)とし、左撮像センサ3aが撮像した左原画像をI(X,Y)とすると、下記のように表される。
このように、エッジ抽出された左エッジ画像E(X,Y)の取りえる値は、以下の通りである。
−2040≦E(X,Y)≦2040 … (2)
また、右撮像センサ3bが撮像した右原画像I(X,Y)についても同様に、ソーベルフィルタSfとの積和が演算され、右エッジ画像E(X,Y)が抽出される。右エッジ画像E(X,Y)の取りえる値も(2)式と同様である。なお、以下において、単にエッジ画像E(X,Y)と記載する場合は、左エッジ画像E(X,Y)と右エッジ画像E(X,Y)の両方を意味する。
2値化エッジ画像作成部15は、エッジ抽出部13により作成された正負の符号付き値を有するエッジ画像を基に、2値化エッジ画像を作成する。ある画素(X,Y)において、入力された左エッジ画像の値をE(X,Y)、出力する2値化左エッジ画像をB(X,Y)とすると、次式のように表すことができる。
ここで、E(X,Y)=0の場合、すなわち、符号を有さない0値である場合、2値化エッジ画像の値として、2値の一方の値である0または他方の値である1のいずれかの値に置換する。実施例1では、1の値を有する。この結果、2値化左エッジ画像B(X,Y)の取りえる値は、以下の通りである。
0≦B(X,Y)≦1 … (4)
右エッジ画像E(X,Y)から2値化右エッジ画像B(X,Y)も同様に作成する。2値化右エッジ画像B(X,Y)の取りえる値も(4)式と同様である。なお、以下において、単に2値化エッジ画像B(X,Y)と記載する場合は、左2値化エッジ画像B(X,Y)と右2値化エッジ画像B(X,Y)の両方を意味する。
例えば、エッジ画像E(X,Y)において符号が正の値を持つ領域は、2値化エッジ画像B(X,Y)において、図6に示されるように、1の値を持つ画素領域Aeに置換される。また、エッジ画像E(X,Y)において符号が負の値を持つ領域は、2値化エッジ画像B(X,Y)において、図7に示されるように、0の値を持つ画素領域Azに置換される。
また、実施例1においては、エッジ画像E(X,Y)において符号を有さない0の値を持つ領域は、2値化エッジ画像B(X,Y)において、図6に示されるように、1の値を持つ画素領域Aeに置換される。
2値化エッジ画像B(X,Y)の有するデータ量はエッジ画像E(X,Y)の有するデータ量と比較して大幅に圧縮されているので、視差画像作成の計算で使用するメモリ量を大幅に低減することができる。さらに2値化エッジ画像を用いることで、視差画像作成をSAD計算だけでなく、ハミング距離による類似度計算により実施することが可能になる。
視差画像作成部17は、入力される左2値化エッジ画像B(X,Y)および右2値化エッジ画像B(X,Y)から視差画像を作成する。視差画像の作成方法は、従来のSADを用いる方法またはハミング距離を用いる方法を採用する。どちらの方法を用いても同じ結果になるので、使用する演算装置により計算速度の速い方を選択すればよい。SADによる計算式を以下に示す。
(5)式において、MおよびNは注目画素近傍領域の範囲を示す値である。また、ハミング距離を用いる方法による計算式を以下に示す。2進数におけるハミング距離とは異なる2進数AとBの排他的論理和を取った後にビットカウントした結果であり、例えば「1100」と「1001」の間のハミング距離は2である。
距離画像演算部19は、視差画像を基に、各画素が表示する被写体までの実空間上の距離を演算する。視差画像から距離を演算する方法は、従来から利用されている平行ステレオ法を用いる。すなわち、2台の撮像センサ3a、3b間の距離、および、2台の撮像センサ3a、3bの焦点距離と視差画像を用いることで、基準画像である左原画像I(X,Y)の各画素に距離情報が付された距離画像を演算することができる。
次に、実施例1における距離測定の動作を図8〜図10を用いて説明する。図8は距離画像演算の処理手順を示すフローチャートであり、図9および図10は2値化エッジ画像を示す説明図である。
車両1の前面に設置されたステレオカメラ3により複数の画像が撮像される(ステップS01)。すなわち、左撮像センサ3aおよび右撮像センサ3bにより車両1前方の画像が取得される。左撮像センサ3aにより撮像された左原画像I(X,Y)、および、右撮像センサ3bにより撮像された右原画像I(X,Y)は、エッジ画像抽出部13によりそれぞれのエッジ画像が抽出される(ステップS02)。抽出された左エッジ画像E(X,Y)および右エッジ画像E(X,Y)を基に、2値化エッジ画像作成部15により、それぞれの2値化エッジ画像B(X,Y)、B(X,Y)が作成される(ステップS03)。図9は、(3)式の条件により作成された2値化エッジ画像である。また、エッジ画像E(X,Y)において符号無しの0値の画素値を、2値化エッジ画像B(X,Y)上において0値の画素値にした画像が図10に示される。さらに、2値化左エッジ画像B(X,Y)および2値化右エッジ画像B(X,Y)を基に、視差画像作成部17により、視差画像が作成される(ステップS04)。作成された視差画像から、距離画像演算部19により、基準カメラで撮像された画像上の各被写体までの距離情報を有する距離画像が演算される(ステップS05)。
距離画像が演算されると、障害物検出装置5により、距離画像中の各被写体までの距離および高さを基に、予め定められた閾値と比較することで障害物の有無が判定される。障害物が有ると判定されると、警告出力部7から操縦者および周囲に対して警報を発する。警告出力部7として、例えばスピーカやモニタが挙げられる。また、走行速度制御部9が減速または停止の制御が実施され、駆動モータ11の回転数が低減または回転が制動される。障害物が無いと判定されると、車両1の走行が維持される。
このように、実施例1によれば、2値画像である2値化エッジ画像から視差画像を作成するので、ステレオマッチングの際に必要な計算メモリ量を大幅に低減することができる。また、2値化エッジ画像の作成において、エッジ画像の画素値の大きさを基準としてではなく、明暗変化を示す識別情報を基準として2値化を行う。これにより、左撮像センサ3aと右撮像センサ3bとで撮像した画像の明るさが極端に異なる場合でも、明るさが極端に異ならない場合と同様に、2値化エッジ画像を精度よく得ることができる。
さらに、エッジ画像上では画素値の変動が小さくベタな領域であっても、2値化エッジ画像上では、画素値の変動に応じて明暗のある領域となるので、ステレオマッチングの精度を向上させることができる。このように、撮像センサの個体差の影響を受けることなく視差画像を作成することができ、距離画像を演算することができる。
次に、実施例2に係る距離測定装置について説明する。以下に記載した以外の車両1および距離測定装置4の構成は実施例1と同様である。
実施例1では、2値化エッジ画像作成部15において、エッジ画像E(X,Y)において符号の無い画素値0は、2値化エッジ画像B(X,Y)上において0または1の値に置換している。実施例2では、エッジ画像E(X,Y)の符号の無い画素値0は、画像の鉛直方向(Y方向)に規則性を持たして、2値化エッジ画像B(X,Y)上において0または1の値に置換する。
実施例2における2値化エッジ画像作成部15は、エッジ抽出部13により抽出された正負の符号付き値を有するエッジ画像E(X,Y)を基に、2値化エッジ画像B(X,Yを作成する。ある画素(X,Y)において、入力された左エッジ画像の値をE(X,Y)、出力する2値化左エッジ画像をB(X,Y)とすると、次式のように表すことができる。
上式において「Y%2」は「Yを2で割ったときの余り」を意味する。すなわち、Yが偶数のときY%2=0となり、Yが奇数のときY%2=1となる。これにより、図11に示すように、エッジ画像E(X,Y)において、偶数行の0値の画素は2値化エッジ画像B(X,Y)において0に置換され、奇数行の0値の画素は2値化エッジ画像B(X,Y)において1に置換される。このようにエッジ画像E(X,Y)において0値の画素領域が横縞領域Afへと置換される。実施例2における2値化エッジ画像作成部15によりエッジ画像E(X,Y)が2値化された2値化エッジ画像B(X,Y)を図12に示す。この画素値0と画素値1とが鉛直方向に交互に並ぶ配列は、ハミング計算処理をより高速にすることができる。
2値化エッジ画像B(X,Y)上において、明暗変化無しの領域が0または1の値の行で鉛直方向に交互の規則性を有しているので、視差画像のマッチング精度を向上することができる。また、エッジ画像E(X,Y)における0の値の領域を2値の一方の値である0の値と他方の値である1の値との横縞領域Afに置換するので、縦方向のエッジの特性を残すことができ視差画像のマッチング精度を向上することができる。
このように、実施例2によれば、実施例1の効果に加えて、エッジ画像E(X,Y)の正の値の領域を画素領域Aeとして、負の値の領域を画素領域Azとして、0値の領域を画素領域Afとして、3種類の領域を2値画像に反映させることができる。これにより、SADやハミング距離による類似度計算においても、この領域分割が有効に機能する。すなわち、2値画像でありながら、マッチング精度の高い視差画像を作成することができる。これにより、精度の高い距離画像の演算をすることができる。
本発明は、上記実施例のものに限らず、次のように変形実施することができる。
上記実施例2において、エッジ画像E(X,Y)において符号無しの0値の領域を、2値化エッジ画像B(X,Y)上にて、0値と1の値とが隔行で交互に並ぶパターンに置換されたがこれに限られない。たとえば、0値と1の値とが2行ごとに並ぶパターン(図13参照)ように置換してもよいし、0値を2行並べるのに対して、1の値を1行並べるパターンでもよい(図14参照)。このように、行方向に0値または1の値のいずれかに置換し、画像の鉛直方向に規則性を有するように置換するのであれば、他のパターンに置換してもよい。
1 … 車両
3 … ステレオカメラ
3a … 左撮像センサ
3b … 右撮像センサ
4 … 距離測定装置
13 … エッジ画像抽出部
15 … 2値化エッジ画像作成部
17 … 視差画像作成部
19 … 距離画像演算部

Claims (7)

  1. 視差画像を作成し距離を測定する距離測定装置において、
    画像を撮像する複数の撮像センサと、
    前記画像を基に明から暗への変化によって生じるエッジと暗から明への変化によって生じるエッジとを識別するための識別情報を有する画素値を持つエッジ画像を抽出するエッジ画像抽出部と、
    前記エッジ画像の前記識別情報に応じて2値化エッジ画像を作成する2値化エッジ画像作成部と、
    前記2値化エッジ画像から視差画像を作成する視差画像作成部と、
    前記視差画像から距離画像を演算する距離画像演算部と
    を備える距離測定装置。
  2. 請求項1に記載の距離測定装置において、
    前記識別情報は正負の符号である距離測定装置。
  3. 請求項1または2に記載の距離測定装置において、
    前記2値化エッジ画像作成部は、
    前記エッジ画像において前記識別情報の無い画素値を、前記2値化エッジ画像において鉛直方向の位置に応じて2値の一方の値または他方の値に規則性を有して置換する距離測定装置。
  4. 請求項3に記載の距離測定装置において、
    前記識別情報の無い画素値は0である距離測定装置。
  5. 請求項3に記載の距離測定装置において、
    前記規則性は鉛直方向に2値の一方の値と他方の値とが交互に配置される規則性である距離測定装置。
  6. 請求項5に記載の距離測定装置において、
    前記2値化エッジ画像作成部は、
    前記エッジ画像において識別情報の無い画素領域を、前記2値化エッジ画像において2値の一方の値と他方の値との横縞領域に置換する距離測定装置。
  7. 請求項1から6のいずれか1つに記載の距離測定装置を備える車両。
JP2014543242A 2012-10-22 2013-10-15 距離測定装置及びそれを用いた車両 Active JP5955404B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2012232909 2012-10-22
JP2012232909 2012-10-22
PCT/JP2013/077963 WO2014065159A1 (ja) 2012-10-22 2013-10-15 距離測定装置及びそれを用いた車両

Publications (2)

Publication Number Publication Date
JP5955404B2 true JP5955404B2 (ja) 2016-07-20
JPWO2014065159A1 JPWO2014065159A1 (ja) 2016-09-08

Family

ID=50544539

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014543242A Active JP5955404B2 (ja) 2012-10-22 2013-10-15 距離測定装置及びそれを用いた車両

Country Status (5)

Country Link
US (1) US9955136B2 (ja)
EP (1) EP2911028B1 (ja)
JP (1) JP5955404B2 (ja)
KR (1) KR101716725B1 (ja)
WO (1) WO2014065159A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9955136B2 (en) * 2012-10-22 2018-04-24 Yamaha Hatsudoki Kabushiki Kaisha Distance measuring device and vehicle provided therewith
JP2017024538A (ja) * 2015-07-22 2017-02-02 修一 田山 自動車接近警告システム
CN105740802A (zh) * 2016-01-28 2016-07-06 北京中科慧眼科技有限公司 基于视差图的障碍物检测方法和装置及汽车驾驶辅助系统
JPWO2017145945A1 (ja) * 2016-02-25 2018-11-29 京セラ株式会社 ステレオカメラ装置、車両および視差算出方法
US10529085B2 (en) * 2018-03-30 2020-01-07 Samsung Electronics Co., Ltd. Hardware disparity evaluation for stereo matching
CN118338123B (zh) * 2024-06-17 2024-09-06 舰影芯呈科技(厦门)有限公司 基于双目视差近似匹配的自动对焦方法及系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0972716A (ja) * 1995-09-07 1997-03-18 Fujitsu Ten Ltd 画像中の傾斜白線を認識する白線認識装置
JPH11351862A (ja) * 1998-06-09 1999-12-24 Yazaki Corp 前方車両検出方法及び装置
JP2001160144A (ja) * 1999-12-02 2001-06-12 Honda Motor Co Ltd 画像認識装置
JP2007131178A (ja) * 2005-11-10 2007-05-31 Sumitomo Electric Ind Ltd 障害物位置特定システム
US20070127779A1 (en) * 2005-12-07 2007-06-07 Visteon Global Technologies, Inc. System and method for range measurement of a preceding vehicle
JP2009025910A (ja) * 2007-07-17 2009-02-05 Sumitomo Electric Ind Ltd 障害物検出装置、障害物検出システム及び障害物検出方法
JP2010165142A (ja) * 2009-01-15 2010-07-29 Nissan Motor Co Ltd 車両用道路標示認識装置および車両用道路標示認識方法

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6423109A (en) 1987-07-20 1989-01-25 Agency Ind Science Techn Stereoscopic visual device
JP2638210B2 (ja) * 1989-07-06 1997-08-06 富士通株式会社 ビデオレート距離画像抽出方式
JPH0478924A (ja) 1990-07-20 1992-03-12 Nec Corp 文字コードデータ制御方式
JP3167752B2 (ja) * 1991-10-22 2001-05-21 富士重工業株式会社 車輌用距離検出装置
JPH05265547A (ja) * 1992-03-23 1993-10-15 Fuji Heavy Ind Ltd 車輌用車外監視装置
JP2917661B2 (ja) * 1992-04-28 1999-07-12 住友電気工業株式会社 交通流計測処理方法及び装置
JP3209828B2 (ja) * 1993-05-25 2001-09-17 松下電器産業株式会社 車間距離計測装置とステレオ画像取り込み装置
JP3156817B2 (ja) * 1994-03-14 2001-04-16 矢崎総業株式会社 車両周辺監視装置
JPH0875454A (ja) * 1994-09-01 1996-03-22 Nissan Motor Co Ltd 測距装置
JP3556319B2 (ja) * 1995-04-10 2004-08-18 富士通株式会社 距離計測装置
US6163337A (en) * 1996-04-05 2000-12-19 Matsushita Electric Industrial Co., Ltd. Multi-view point image transmission method and multi-view point image display method
JP2000207693A (ja) * 1999-01-08 2000-07-28 Nissan Motor Co Ltd 車載用障害物検出装置
JP2001082954A (ja) * 1999-09-13 2001-03-30 Fujitsu Ten Ltd 画像処理装置及び画像処理測距方法
JP2001116545A (ja) * 1999-10-18 2001-04-27 Toyota Central Res & Dev Lab Inc 距離画像算出装置
JP4205825B2 (ja) * 1999-11-04 2009-01-07 本田技研工業株式会社 対象物認識装置
JP2001134769A (ja) * 1999-11-04 2001-05-18 Honda Motor Co Ltd 対象物認識装置
JP2001221633A (ja) * 2000-02-09 2001-08-17 Olympus Optical Co Ltd 測距装置
BE1014144A3 (fr) * 2001-04-27 2003-05-06 Visee Christian Methode et dispositif pour evaluer un parametre d'un objet en mouvement.
JP2003005832A (ja) 2001-06-25 2003-01-08 Shin Kobe Electric Mach Co Ltd 自動走行車
JP3739693B2 (ja) 2001-11-09 2006-01-25 本田技研工業株式会社 画像認識装置
US6690451B1 (en) * 2003-02-06 2004-02-10 Gerald S. Schubert Locating object using stereo vision
EP1969761A4 (en) * 2005-12-23 2009-02-04 Bce Inc WIRELESS DEVICE AUTHENTICATION BETWEEN DIFFERENT NETWORKS
KR100695174B1 (ko) * 2006-03-28 2007-03-14 삼성전자주식회사 가상 입체음향을 위한 청취자 머리위치 추적방법 및 장치
JP4788525B2 (ja) * 2006-08-30 2011-10-05 日本電気株式会社 物体識別パラメータ学習システム、物体識別パラメータ学習方法および物体識別パラメータ学習用プログラム
JP5256482B2 (ja) * 2007-07-03 2013-08-07 コニカミノルタ株式会社 測距装置
JP2009025050A (ja) * 2007-07-17 2009-02-05 Sumitomo Electric Ind Ltd 視界良否判別装置、視界良否判別方法、コンピュータプログラム
US20090080876A1 (en) * 2007-09-25 2009-03-26 Mikhail Brusnitsyn Method For Distance Estimation Using AutoFocus Image Sensors And An Image Capture Device Employing The Same
JP4876080B2 (ja) * 2008-01-25 2012-02-15 富士重工業株式会社 環境認識装置
DE102009006125A1 (de) * 2009-01-26 2009-09-10 Daimler Ag Verfahren zur Bestimmung von Korrespondenzen von Bildpunkten in stereoskopisch aufgenommenen Bildern
TWI409718B (zh) * 2009-12-04 2013-09-21 Huper Lab Co Ltd 移動中車輛之車牌定位方法
US9488721B2 (en) * 2009-12-25 2016-11-08 Honda Motor Co., Ltd. Image processing apparatus, image processing method, computer program, and movable body
JP5477349B2 (ja) * 2010-09-30 2014-04-23 カシオ計算機株式会社 画像合成装置、及び画像検索方法、プログラム
JP5978573B2 (ja) * 2011-09-06 2016-08-24 ソニー株式会社 映像信号処理装置および映像信号処理方法
WO2013080544A1 (ja) * 2011-11-30 2013-06-06 パナソニック株式会社 立体画像処理装置、立体画像処理方法、および立体画像処理プログラム
US9955136B2 (en) * 2012-10-22 2018-04-24 Yamaha Hatsudoki Kabushiki Kaisha Distance measuring device and vehicle provided therewith

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0972716A (ja) * 1995-09-07 1997-03-18 Fujitsu Ten Ltd 画像中の傾斜白線を認識する白線認識装置
JPH11351862A (ja) * 1998-06-09 1999-12-24 Yazaki Corp 前方車両検出方法及び装置
JP2001160144A (ja) * 1999-12-02 2001-06-12 Honda Motor Co Ltd 画像認識装置
JP2007131178A (ja) * 2005-11-10 2007-05-31 Sumitomo Electric Ind Ltd 障害物位置特定システム
US20070127779A1 (en) * 2005-12-07 2007-06-07 Visteon Global Technologies, Inc. System and method for range measurement of a preceding vehicle
JP2009025910A (ja) * 2007-07-17 2009-02-05 Sumitomo Electric Ind Ltd 障害物検出装置、障害物検出システム及び障害物検出方法
JP2010165142A (ja) * 2009-01-15 2010-07-29 Nissan Motor Co Ltd 車両用道路標示認識装置および車両用道路標示認識方法

Also Published As

Publication number Publication date
KR101716725B1 (ko) 2017-03-15
US9955136B2 (en) 2018-04-24
EP2911028B1 (en) 2018-07-25
KR20150067262A (ko) 2015-06-17
EP2911028A1 (en) 2015-08-26
JPWO2014065159A1 (ja) 2016-09-08
US20150288943A1 (en) 2015-10-08
WO2014065159A1 (ja) 2014-05-01
EP2911028A4 (en) 2016-01-20

Similar Documents

Publication Publication Date Title
JP5955404B2 (ja) 距離測定装置及びそれを用いた車両
US10650255B2 (en) Vehicular vision system with object detection
EP2919197B1 (en) Object detection device and object detection method
EP2963634B1 (en) Stereo camera device
JP4930046B2 (ja) 路面判別方法および路面判別装置
JP6782433B2 (ja) 画像認識装置
CN109886064B (zh) 确定可驾驶空间的边界的方法
WO2014002692A1 (ja) ステレオカメラ
JP2016004287A (ja) 車線境界線抽出装置、車線境界線抽出方法、及びプログラム
Lion et al. Smart speed bump detection and estimation with kinect
JPWO2011039977A1 (ja) 横断歩道標示検出方法および横断歩道標示検出装置
JP2007280387A (ja) 物体移動の検出方法及び検出装置
JP4887540B2 (ja) 車両周辺監視装置、車両、車両周辺監視用プログラム、車両周辺監視方法
JP5587852B2 (ja) 画像処理装置及び画像処理方法
JP2007280041A (ja) 車体色判別装置
JP4765113B2 (ja) 車両周辺監視装置、車両、車両周辺監視用プログラム、車両周辺監視方法
Leu et al. A novel stereo camera based collision warning system for automotive applications
JP5642785B2 (ja) 車両の周辺監視装置
WO2014050285A1 (ja) ステレオカメラ装置
JP7134780B2 (ja) ステレオカメラ装置
JP2018005441A (ja) 車間距離警報及び衝突警報装置
Lee et al. Generic obstacle detection on roads by dynamic programming for remapped stereo images to an overhead view

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160607

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160614

R150 Certificate of patent or registration of utility model

Ref document number: 5955404

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250