JP5982298B2 - 障害物検出装置および障害物検出方法 - Google Patents

障害物検出装置および障害物検出方法 Download PDF

Info

Publication number
JP5982298B2
JP5982298B2 JP2013031979A JP2013031979A JP5982298B2 JP 5982298 B2 JP5982298 B2 JP 5982298B2 JP 2013031979 A JP2013031979 A JP 2013031979A JP 2013031979 A JP2013031979 A JP 2013031979A JP 5982298 B2 JP5982298 B2 JP 5982298B2
Authority
JP
Japan
Prior art keywords
image
block
coordinate
parallax
same
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013031979A
Other languages
English (en)
Other versions
JP2014164318A (ja
Inventor
岡田　和久
和久 岡田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to JP2013031979A priority Critical patent/JP5982298B2/ja
Priority to CN201380072707.7A priority patent/CN104981836B/zh
Priority to US14/760,760 priority patent/US9594966B2/en
Priority to PCT/JP2013/083724 priority patent/WO2014129064A1/ja
Publication of JP2014164318A publication Critical patent/JP2014164318A/ja
Application granted granted Critical
Publication of JP5982298B2 publication Critical patent/JP5982298B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G01C3/08—Use of electric radiation detectors
    • G01C3/085—Use of electric radiation detectors with electronic parallax measurement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • Measurement Of Optical Distance (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)

Description

この発明は、障害物検出装置および障害物検出方法に関し、詳しくは、ステレオカメラを用いて撮像した画像から路面の凹凸や障害物を検出する障害物検出装置および障害物検出方法に関する。
最近では、自動車に搭載したカメラ等により車外の対象風景を撮像し、この撮像した画像を画像処理して自動車から対象物までの距離を求める計測技術が有力な手段として採用されるようになった(例えば、特開平５−１１４０９９号公報(特許文献１)参照)。
この画像による距離計測技術は、単眼視像からカメラ位置との関係を用いて対象物までの距離を推定する技術と、複数のカメラにより撮影した複数画像から、三角測量の原理を用いて対象物までの距離を求める技術とに大別される。
このうち、複数の画像から三角測量の原理を用いて距離を求める計測技術は、左右画像における同一物体の位置の相対的なずれから距離を求めるので、正確な距離を求めることができる。
特開平５−１１４０９９号公報
このような画像による距離計測技術を用いて自動車から対象物までの距離を求め、前方車両やガードレールなどとの衝突の危険を予測して、車両にブレーキをかけるなどの制御を行う方法が実用化されている。
一方、法令で定められた制限の元で歩行者と看做される車両として、シニアカーや電動車椅子があり、社会の高齢化に伴い、今後走行台数の増加が予測される。これらのシニアカーや電動車椅子は、運転者が高齢であったり、障害を持っていたりするという点で、より安全に配慮されたものでなければならない。したがって、シニアカー用や電動車椅子用に、自動車用にあるようなカメラを用いた危険予測を行う方法の開発が急務である。
上記電動車椅子では、ガードレールや壁などの障害物に衝突するのはもちろん、路面の小さな段差で転倒したりする事故が報告されており、それを防止するためには、前方の障害物だけではなく、路面の小さな障害物や段差も検出する必要がある。
上記画像による距離計測技術では、ステレオカメラで障害物までの距離を求める場合、左画像に写っている障害物が右画像のどこに写っているかを探索し、左右画像に写っている座標の差から視差を求め、その視差から距離を算出する。ここで、路面上にある５ｃｍほどの大きさの障害物を判別するためには、最低でも６４０×４８０ピクセルの画素数のカメラが必要である。この画素数のステレオカメラで２ｍ先の障害物を撮影した場合、その障害物の左右カメラでの視差は約６０ピクセルとなるため、障害物が写った左画像のブロックに対して、右画像で最低でも視差が０〜６０ピクセルの位置を探索して同一の障害物が写っているブロックを探さねばならない。障害物がより近くにある場合は、視差が大きくなるため、さらに広い範囲を探索せねばならず、処理時間やハードウェア規模が大きくなってしまう。
そこで、この発明の課題は、障害物を見つける処理を簡略化でき、処理時間を短縮できると共に、ハードウェア構成を簡略化できる障害物検出装置および障害物検出方法を提供することにある。
上記課題を解決するため、この発明の障害物検出装置は、
ステレオカメラと、
上記ステレオカメラで撮影された第１画像と第２画像に基づいて、上記第１,第２画像に写る物体の視差を求める視差演算部と、
上記視差演算部により求めた上記第１,第２画像に写る物体の視差に基づいて、上記物体までの距離を求めて、上記物体が障害物か否かを検出する障害物検出部と
を備え、
上記第１,第２画像の横方向をＸ座標とし、上記第１,第２画像の縦方向をＹ座標とすると共に、上記第１画像をマトリックス状に配列された複数のブロックに分割し、
上記視差演算部は、
上記第１画像の最下行のブロックに対して、そのブロックのＹ座標と同じＹ座標で、かつ、そのブロックに写っている物体と同一または類似の物体が写っている上記第２画像中の対応ブロックを探索し、
次に、上記第１画像の探索済みブロックから順次上のブロックに対して、そのブロックと同一または類似の物体が写っている上記第２画像中の対応ブロックを探索するときに、上記第１画像のブロックのＹ座標と同じＹ座標で、かつ、上記第１画像のブロックの直下の探索済みブロックに対応する上記第２画像の対応ブロックのＸ座標を中心とするＸ座標設定範囲において、上記第１画像のブロックと同一または類似の物体が写っている上記第２画像中の対応ブロックを探索して、
上記第１画像のブロックのＸ座標とそのブロックに対応する上記第２画像の対応ブロックのＸ座標との差から上記第１,第２画像に写る物体の視差を求めると共に、
上記ステレオカメラから上記視差演算部に上記第１,第２画像の画像データが下の行から上に向かって１行ずつ転送され、
上記視差演算部は、
上記第１画像の１行のブロックに含まれる画像データとその画像データに対応する上記第２画像の画像データとが揃った時点で、上記第１画像のブロックに写っている物体と同一または類似の物体が写っている上記第２画像の対応ブロックを探索することを特徴とする。
ここで、第１画像のマトリックス状に配列された複数のブロックは、横方向に並んだ複数のブロックを１行とし、縦方向に並んだ複数のブロックを１列とする。
また、この発明の障害物検出装置では、
ステレオカメラと、
上記ステレオカメラで撮影された第１画像と第２画像に基づいて、上記第１,第２画像に写る物体の視差を求める視差演算部と、
上記視差演算部により求めた上記第１,第２画像に写る物体の視差に基づいて、上記物体までの距離を求めて、上記物体が障害物か否かを検出する障害物検出部と
を備え、
上記第１,第２画像の横方向をＸ座標とし、上記第１,第２画像の縦方向をＹ座標とすると共に、上記第１画像をマトリックス状に配列された複数のブロックに分割し、
上記視差演算部は、
上記第１画像の最下行のブロックに対して、そのブロックのＹ座標と同じＹ座標で、かつ、そのブロックに写っている物体と同一または類似の物体が写っている上記第２画像中の対応ブロックを探索し、
次に、上記第１画像の探索済みブロックから順次上のブロックに対して、そのブロックと同一または類似の物体が写っている上記第２画像中の対応ブロックを探索するときに、上記第１画像のブロックのＹ座標と同じＹ座標で、かつ、上記第１画像のブロックの直下の探索済みブロックに対応する上記第２画像の対応ブロックのＸ座標を中心とするＸ座標設定範囲において、上記第１画像のブロックと同一または類似の物体が写っている上記第２画像中の対応ブロックを探索して、
上記第１画像のブロックのＸ座標とそのブロックに対応する上記第２画像の対応ブロックのＸ座標との差から上記第１,第２画像に写る物体の視差を求めると共に、
上記ステレオカメラから上記視差演算部に上記第１,第２画像の画像データが右の列から左に向かって１列ずつ、または、左の列から右に向かって１列ずつ転送され、
上記視差演算部は、
上記第１画像の複数列のブロックに含まれる画像データとその画像データに対応する上記第２画像の画像データとが揃った時点で、上記第１画像のブロックに写っている物体と同一または類似の物体が写っている上記第２画像の対応ブロックを探索することを特徴とする。
また、この発明の障害物検出方法では、
ステレオカメラで撮影された第１画像と第２画像に基づいて、上記第１,第２画像に写る物体の視差を視差演算部により求める視差演算ステップと、
上記視差演算ステップで求めた上記第１,第２画像に写る物体の視差に基づいて、上記物体までの距離を求めて、上記物体が障害物か否かを障害物検出部により検出する障害物検出ステップと
を有する障害物検出方法であって、
上記第１,第２画像の横方向をＸ座標とし、上記第１,第２画像の縦方向をＹ座標とすると共に、上記第１画像をマトリックス状に配列された複数のブロックに分割し、
上記視差演算ステップは、
上記第１画像の最下行のブロックに対して、そのブロックのＹ座標と同じＹ座標で、かつ、そのブロックに写っている物体と同一または類似の物体が写っている上記第２画像中の対応ブロックを探索する第１のステップと、
次に、上記第１画像の探索済みブロックから順次上のブロックに対して、そのブロックと同一または類似の物体が写っている上記第２画像中の対応ブロックを探索するときに、上記第１画像のブロックのＹ座標と同じＹ座標で、かつ、上記第１画像のブロックの直下の探索済みブロックに対応する上記第２画像の対応ブロックのＸ座標を中心とするＸ座標設定範囲において、上記第１画像のブロックと同一または類似の物体が写っている上記第２画像中の対応ブロックを探索する第２のステップと、
上記第１,第２のステップで得られた上記第１画像のブロックのＸ座標とそのブロックに対応する上記第２画像の対応ブロックのＸ座標との差から上記第１,第２画像に写る物体の視差を求める第３のステップと
を有すると共に、
上記ステレオカメラから上記視差演算部に上記第１,第２画像の画像データが下の行から上に向かって１行ずつ転送され、
上記視差演算部は、
上記第１画像の１行のブロックに含まれる画像データとその画像データに対応する上記第２画像の画像データとが揃った時点で、上記第１画像のブロックに写っている物体と同一または類似の物体が写っている上記第２画像の対応ブロックを探索することを特徴とする。
また、この発明の障害物検出方法では、
ステレオカメラで撮影された第１画像と第２画像に基づいて、上記第１,第２画像に写る物体の視差を視差演算部により求める視差演算ステップと、
上記視差演算ステップで求めた上記第１,第２画像に写る物体の視差に基づいて、上記物体までの距離を求めて、上記物体が障害物か否かを障害物検出部により検出する障害物検出ステップと
を有する障害物検出方法であって、
上記第１,第２画像の横方向をＸ座標とし、上記第１,第２画像の縦方向をＹ座標とすると共に、上記第１画像をマトリックス状に配列された複数のブロックに分割し、
上記視差演算ステップは、
上記第１画像の最下行のブロックに対して、そのブロックのＹ座標と同じＹ座標で、かつ、そのブロックに写っている物体と同一または類似の物体が写っている上記第２画像中の対応ブロックを探索する第１のステップと、
次に、上記第１画像の探索済みブロックから順次上のブロックに対して、そのブロックと同一または類似の物体が写っている上記第２画像中の対応ブロックを探索するときに、上記第１画像のブロックのＹ座標と同じＹ座標で、かつ、上記第１画像のブロックの直下の探索済みブロックに対応する上記第２画像の対応ブロックのＸ座標を中心とするＸ座標設定範囲において、上記第１画像のブロックと同一または類似の物体が写っている上記第２画像中の対応ブロックを探索する第２のステップと、
上記第１,第２のステップで得られた上記第１画像のブロックのＸ座標とそのブロックに対応する上記第２画像の対応ブロックのＸ座標との差から上記第１,第２画像に写る物体の視差を求める第３のステップと
を有すると共に、
上記ステレオカメラから上記視差演算部に上記第１,第２画像の画像データが右の列から左に向かって１列ずつ、または、左の列から右に向かって１列ずつ転送され、
上記視差演算部は、
上記第１画像の複数列のブロックに含まれる画像データとその画像データに対応する上記第２画像の画像データとが揃った時点で、上記第１画像のブロックに写っている物体と同一または類似の物体が写っている上記第２画像の対応ブロックを探索することを特徴とする。
以上より明らかなように、この発明によれば、視差演算部によって、まず、第１画像の最下行のブロックに対して、そのブロックのＹ座標と同じＹ座標で、かつ、そのブロックに写っている物体と同一または類似の物体が写っている第２画像中の対応ブロックを探索し、次に、第１画像の探索済みブロックから順次上のブロックに対して、そのブロックに同一または類似の物体が写っている第２画像中の対応ブロックを探索するときに、第１画像のブロックのＹ座標と同じＹ座標で、かつ、第１画像のブロックの直下の探索済みブロックに対応する第２画像の対応ブロックのＸ座標を中心とするＸ座標設定範囲において、第１画像のブロックと同一または類似の物体が写っている第２画像中の対応ブロックを探索することによって、狭い範囲を探索するだけで視差が大きい場所にある障害物を見つけることができるため、障害物を見つけるときの処理時間が短くなると共に、探索処理を行うハードウェアの規模も小さくなる。
図１はこの発明の第１実施形態の障害物検出装置のブロック図である。 図２は上記障害物検出装置のカメラ部を上方から見た図である。 図３は上記障害物検出装置のカメラ部を側方から見た図である。 図４は上記カメラ部により撮像されたステレオ画像のうちの左画像(第１画像)の一例を示す図である。 図５は上記ステレオ画像のうちの右画像(第２画像)の一例を示す図である。 図６は上記障害物検出装置の演算部の動作を説明するためのフローチャートである。 図７は小さい障害物の第１画像の一例を示す図である。 図８は小さい障害物の第２画像の一例を示す図である。 図９はこの発明の第２実施形態の障害物検出装置の距離算出方法を説明するための図である。 図１０はこの発明の第３実施形態の障害物検出装置のカメラ部により撮像された画像データの転送順序を示す模式図である。
以下、この発明の障害物検出装置および障害物検出方法を図示の実施の形態により詳細に説明する。
〔第1実施形態〕
図１はこの発明の第１実施形態の障害物検出装置のブロック図を示している。
この第１実施形態の障害物検出装置は、図１に示すように、ステレオカメラの一例としてのカメラ部１と、演算部２と、演算部２の演算結果を出力する出力装置３とを備えている。カメラ部１は、左右に所定の間隔をあけて光軸を平行にして配置された２つのカメラ１１,１２を有する。また、演算部２は、２つのカメラ１１,１２で撮影されたステレオ画像の画像データが入力され、ステレオ画像中の各箇所の視差を求める視差演算部２１と、視差演算部２１により得られた視差に基づいて障害物や段差を検出する障害物検出部２２を有する。上記障害物検出部２２は、視差に基づいて算出した距離が一定距離以下になると、障害物があると判断する。
図２は上記障害物検出装置のカメラ部１を上方から見た図であり、図３は上記障害物検出装置のカメラ部１を側方から見た図である。
図２,図３に示す２つのカメラ１１,１２は、図示しないシニアカーや電動車椅子の前方部の左右に設置する。左右のカメラ１１,１２の光軸の間隔を「カメラ間隔Ｗ」とする。カメラ１１,１２を取付けた路面からの高さを「取付高Ｈ」(カメラ高さ)とし、カメラ１１,１２を下向きにつけた場合の水平面に対する角度を「俯角β」とする。また、カメラ１１,１２の水平画角をθＨとし、垂直画角θＶとする。
カメラ１１,１２の「水平画角θＨ」や「垂直画角θＶ」が大きすぎると、障害物や段差が小さく写ってしまうため、精度が悪くなるが、逆に「水平画角θＨ」や「垂直画角θＶ」が小さすぎると、障害物や段差を検出できる範囲が狭くなるため、適切に設定する必要がある。また、「俯角β」はシニアカーや電動車椅子の近くが視野に入るように設定する。
図２,図３では、２つのカメラ１１,１２を左右に離して取付けているが、上下や斜め方向に離して取付けてもかまわない。以降では、２つのカメラ１１,１２は左右に離して取付けている例について説明するが、上下や斜めでも基本的には同じである。
図４,図５は２つのカメラ１１,１２(図２,図３に示す)で撮影された左右画像の一例である。カメラ１１,１２が左右に離れているため、被写体に向かって左側のカメラ１１と被写体に向かって右側のカメラ１２の画像は異なっている。左側のカメラ１１で撮像した左画像(第１画像)をマトリックス状に配列された複数のブロックに分割し、各ブロックに写っている画像が、右側のカメラ１２で撮像した右画像(第２画像)のどこに写っているかを求めるのが第一の目的となる。
上記左画像(第１画像)を分割するブロックの大きさは、任意の大きさでかまわないが、小さすぎると似た異なる場所と間違えてしまう可能性が大きくなり、精度が落ちてしまう。逆に、ブロックの大きさが大きすぎると、ブロック内に異なる距離にある複数の物体が写ってしまう場合があり、こちらも精度が落ちる原因となる。６４０×４８０の画像サイズの場合、およそ６４×３２ピクセルや３２×３２ピクセルとするのが適切である。
ここで、左画像(第１画像)は、Ｎ行(Ｎは２以上の整数)×Ｍ列(Ｍは２以上の整数)のマトリックス状に配列された複数のブロックに分割される。
図４,図５のとおり、図４に示す左画像(第１画像)は左下のブロックをＬ(０,０)とし、右にｍ個(ｍ＝０,１,２,…,Ｍ)、上にｎ個(ｎ＝０,１,２,…,Ｎ)の位置のブロックをブロックＬ(ｍ,ｎ)とする。この左画像(第１画像)のブロックＬ(ｍ,ｎ)に写っている物体と同一または類似の物体が写っている図５に示す右画像(第２画像)の矩形領域を対応ブロックＲ(ｍ,ｎ)とする。
この実施の形態では、図４に示す左画像(第１画像)を基準として図５に示す右画像(第２画像)の対応ブロックのＸＹ座標を求めるが、逆に右画像を基準の第１画像として左画像を第２画像として対応ブロックのＸＹ座標を求めてもよい。
なお、上記第１,第２画像の横方向をＸ座標とし、第１,第２画像の縦方向をＹ座標とする。また、第１,第２画像の各ブロックの位置を表すＸＹ座標は、矩形のブロックの中心位置の座標でもよいし、矩形のブロックの左下の角部の座標などでもよい。
そして、図４,図５示す左右一対の画像(ステレオ画像)が図１に示す演算部２に送られる。
図６は図１に示す演算部２の処理の動作を説明するためのフローチャートであり、左画像(第１画像)の各ブロックに対応する右画像(第２画像)の対応ブロックを探索して視差を求める。ここで、視差演算部２１は、ステップＳ１〜Ｓ９で図４の左画像(第１画像)の各列ｍが０からＭについて順に実行する。
〔ステップＳ１〕
ｍ＝０とする。
〔ステップＳ２〕 (視差演算ステップの第１のステップ)
次に、左画像(第１画像)のｍ列の一番下のブロックＬ(ｍ,０)について、同一または類似の物体が写っている右画像(第２画像)の対応ブロックＲ(ｍ,０)を探索する。
ここで、ステレオカメラ(カメラ１１,１２)で撮影した左右画像(第１,第２画像)は、左右方向にのみずれているため、対応ブロックＲ(ｍ,０)のＹ座標はブロックＬ(ｍ,０)のＹ座標と同じである。よって、対応ブロックＲ(ｍ,０)のＸ座標のみを求めればよい。これには、右画像(第２画像)の０行の各Ｘ座標の位置のブロックを切り出し、ブロックＬ(ｍ,０)と比較し、画像が最も似ている右画像(第２画像)の対応ブロックを見つける。
左画像(第１画像)と右画像(第２画像)のブロックの比較は、左右ブロック内の各点について、ピクセル値を比較し、その絶対値の和を取る方法などがあるが、どのような方法を用いてもよい。
〔ステップＳ３〕
次に、ｎ＝１とする。
〔ステップＳ４〕 (視差演算ステップの第２のステップ)
次に、ブロックＬ(ｍ,ｎ)に対応する対応ブロックＲ(ｍ,ｎ)を対応ブロックＲ(ｍ,０)のＸ座標を中心としてＸ座標設定範囲で探索する。
このとき、対応ブロックＲ(ｍ,ｎ)のＹ座標はブロックＬ(ｍ,ｎ)のＹ座標と同じである。また、対応ブロックＲ(ｍ,ｎ)のＸ座標としては、ステップＳ１で求めた対応ブロックＲ(ｍ,ｎ−１)のＸ座標の近辺を探索すればよく、この実施形態では、探索済みのブロックＬ(ｍ,ｎ−１)に対応する対応ブロックＲ(ｍ,ｎ−１)のＸ座標を中心とする所定のＸ座標設定範囲を探索する。
左右画像の下部はシニアカーや電動車椅子の近くであるため、路面(床面などを含む)が写っているが、路面への距離は連続的に変化するため、対応ブロックＲ(ｍ,０)と対応ブロックＲ(ｍ,１)のＸ座標は大きく変化しない。よって、６４０×４８０ピクセルの画像の場合、例えば、±１６ピクセルの範囲を探索すれば十分である。
また、図５では、対応ブロックＲ(ｍ,０)から対応ブロックＲ(ｍ,４)までは路面が写っているため、Ｘ座標が徐々に変化している。対応ブロックＲ(ｍ,５)より上は障害物が写っているが、障害物が路面と接する位置では、障害物の視差は路面の視差と等しいので、障害物の左右画像(第１,第２画像)での視差が大きくても小さくても限定された範囲を探索するだけで視差を求めることが可能となる。
〔ステップＳ５〕
ｍ列について、一番上まで繰り返したか否かを判定する(ｎ＝Ｎか否かを判定)。そして、一番上まで繰り返していない(ｎ＜Ｎ)と判定すると、ステップＳ６に進む一方、一番上まで繰り返した(ｎ＝Ｎ)と判定すると、ステップＳ７に進む。
〔ステップＳ６〕
ｎをインクリメントしてステップＳ４に戻り、ステップＳ４,Ｓ５を繰り返す。
〔ステップＳ７〕
全ての列で繰り返したか否かを判定する(ｍ＝Ｍか否かを判定)。そして、全ての列で繰り返していない(ｍ＜Ｍ)と判定すると、ステップＳ８に進む一方、全ての列で繰り返した(ｍ＝Ｍ)と判定すると、この処理を終了する。
〔ステップＳ８〕
ｍをインクリメントしてステップＳ２に戻り、ステップＳ２〜Ｓ８を繰り返す。
以上で、左画像(第１画像)の各ブロックＬ(ｍ,ｎ)について、対応する右画像(第２画像)の対応ブロックＲ(ｍ,ｎ)のＸＹ座標がわかる。
〔ステップＳ９〕 (視差演算ステップの第３のステップ)
次に、左右画像(第１,第２画像)の各ブロックの視差を演算する。この左右画像(第１,第２画像)各ブロックの視差は、Ｌ(ｍ,ｎ)のＸ座標とＲ(ｍ,ｎ)のＸ座標の差として求まる。物体の視差と物体への距離の関係は、単純な比例関係であり、比例係数は、カメラの画角とピクセル数から求まるが、物体の視差と物体への距離の関係を実測して、比例係数を求めてもよい。
〔ステップＳ１０〕 (障害物検出ステップ)
そして、ステップＳ９で視差演算部により求めた左右画像(第１,第２画像)の各ブロックの視差に基づいて、障害物検出部２２によって、物体までの距離を求めて、その物体が障害物か否かを検出する。
図６のフローチャートに示す障害物検出方法では、１列ずつ処理を行うようにしているが、下の１行を全部処理し、次に上の行を順に処理するというように、１行ずつ処理をしてもよい。
図７,図８に示すような背の低い障害物がある場合、図７に示す左画像(第１画像)の障害物の上のブロックＬ(ｍ,８)に対応する図８に示す右画像(第２画像)の対応ブロックＲ(ｍ,８)を探索するとき、ブロックＬ(ｍ,７)のＸ座標と同じＸ座標の近傍を探しても対応する場所が見つからない場合がある。このときは、手前側にすでに障害物が見つかっているので、それより奥側の障害物を検出する必要は特にないので、探索を打ち切ってもよい。
しかしながら、もし正しく対応ブロックＲ(ｍ,８)を見つけたい場合には、Ｒ(ｍ,８)が路面であるならば、同じく路面である対応ブロックＲ(ｍ,０)〜Ｒ(ｍ,４)のＸ座標の延長線Ｌ上を探索すれば正しい対応ブロックＲ(ｍ,８)を見つけることができる。対応ブロックＲ(ｍ,０)〜Ｒ(ｍ,４)が路面かどうかは、それらのＸ座標が一定の傾きの直線上であれば路面上であると推定できる。
上記構成の障害物検出装置および障害物検出方法よれば、視差演算部２１によって、まず、左画像(第１画像)の最下行のブロックに対して、そのブロックのＹ座標と同じＹ座標で、かつ、そのブロックに写っている物体と同一または類似の物体が写っている第２画像中の対応ブロックを探索し、次に、左画像(第１画像)の探索済みブロックから順次上のブロックに対して、そのブロックに同一または類似の物体が写っている右画像(第２画像)中の対応ブロックを探索するときに、左画像(第１画像)像のブロックのＹ座標と同じＹ座標で、かつ、左画像(第１画像)のブロックの直下の探索済みブロックに対応する右画像(第２画像)の対応ブロックのＸ座標を中心とするＸ座標設定範囲において、左画像(第１画像)のブロックと同一または類似の物体が写っている右画像(第２画像)中の対応ブロックを探索することによって、障害物を見つける処理を簡略化でき、処理時間の短縮化とハードウェア構成の簡略化ができる。
〔第２実施形態〕
また、この発明の第２実施形態の障害物検出装置は、視差演算部２１の動作を除いて第１実施形態の障害物検出装置と同一の構成をしており、図１を援用する。
上記第１実施形態の図６に示すステップＳ２では、対応ブロックＲ(ｍ,０)は右画像(第２画像)の全Ｘ座標について探索したが、この第２実施形態の障害物検出装置では、カメラ１１,１２の取り付け俯角と高さと垂直画角からおおよその視差を求め、その付近を探索する。
詳しくは、図９に示すように、カメラ１１,１２の垂直画角の半分をθ、カメラ１１,１２の俯角をβ、カメラ高さをｈｃとすると、画面の一番下に写っている路面（点Ｐ）までの距離ｄは、
ｄ ＝ ｈｃ ／ ｓｉｎ(β＋θ)
で表される。
そして、上記路面（点Ｐ）までの距離ｄに基づいて、左右画像(第１,第２画像)の視差を求め、ブロックＬ(ｍ,０)のＸ座標から視差を差し引いた座標の付近のＸ座標設定範囲(例えば±１６ピクセル)を探索すれば、短時間で対応ブロックＲ(ｍ,０)の座標を求めることができる。
上記第２実施形態の障害物検出装置は、第１実施形態の障害物検出装置と同様の効果を有する。
〔第３実施形態〕
また、この発明の第３実施形態の障害物検出装置は、カメラ１１,１２の取付向きと視差演算部２１の動作を除いて第１実施形態の障害物検出装置と同一の構成をしており、図１を援用する。
この第３実施形態の障害物検出装置では、カメラ１１,１２の夫々の取付向きを変えるが、カメラ１１,１２の配置方向は横方向で変わらない。
通常のカメラは、図１０(a)のように画面の左上端から右上端の１行ずつ、上から下の行に向けてデータを転送するようになっている。
したがって、上記第１実施形態の障害物検出装置のように、下の行のブロックから順に視差演算の処理を行う場合には、１画面全ての画像をメモリに記憶してからしか処理を開始することができない。
これに対して、この第３実施形態の障害物検出装置では、カメラ１１,１２の夫々を光軸に対して直角な平面に沿って時計方向に１８０度回転させて取り付けると、図１０(b)のように、まず画面の右下から左下の１行、下から上に向かって順に１行ずつ画像データがカメラ１１,１２から視差演算部２１に転送される。これにより、左右画像(第１,第２画像)の下の行のブロックの画像データが揃い次第、順に視差演算の処理を開始することが可能となる。
上記カメラ１１,１２から視差演算部２１に左右画像(第１,第２画像)が下の行から上に向かって１行ずつ転送される構成では、画像データの転送に従って順次右画像(第２画像)の対応ブロックを探索でき、障害物の検出時間を短縮できる。
また、図１０(c)のように、カメラ１１,１２を反時計方向に９０度回転して取り付けると、画像の左から右方向に１列ずつデータを転送することも可能である。また、図１０(d)のように、カメラ１１,１２を時計方向に９０度回転して取り付けると、画像の右から左方向に１列ずつデータを転送することも可能である。この場合、左または右の１列のブロックの画像データが揃い次第、処理を開始することが可能となる。
上記カメラ１１,１２から視差演算部２１に左右画像(第１,第２画像)が右の列から左に向かって１列ずつ、または、左の列から右に向かって１列ずつ転送される構成において、画像データの転送に従って順次右画像(第２画像)の対応ブロックを探索でき、障害物の検出時間を短縮できる。
上記第３実施形態の障害物検出装置は、第１実施形態の障害物検出装置と同様の効果を有する。
上記第１〜第３実施の形態では、シニアカーや電動車椅子に用いられる障害物検出装置について説明したが、障害物検出装置は運搬車などの他の移動手段などに適用してもよい。
この発明の具体的な実施の形態について説明したが、この発明は上記第１〜第３実施形態に限定されるものではなく、この発明の範囲内で種々変更して実施することができる。
この発明の障害物検出装置は、
ステレオカメラ(１１,１２)と、
上記ステレオカメラ(１１,１２)で撮影された第１画像と第２画像に基づいて、上記第１,第２画像に写る物体の視差を求める視差演算部２１と、
上記視差演算部２１により求めた上記第１,第２画像に写る物体の視差に基づいて、上記物体までの距離を求めて、上記物体が障害物か否かを検出する障害物検出部２２と
を備え、
上記第１,第２画像の横方向をＸ座標とし、上記第１,第２画像の縦方向をＹ座標とすると共に、上記第１画像をマトリックス状に配列された複数のブロックに分割し、
上記視差演算部２１は、
上記第１画像の最下行のブロックに対して、そのブロックのＹ座標と同じＹ座標で、かつ、そのブロックに写っている物体と同一または類似の物体が写っている上記第２画像中の対応ブロックを探索し、
次に、上記第１画像の探索済みブロックから順次上のブロックに対して、そのブロックと同一または類似の物体が写っている上記第２画像中の対応ブロックを探索するときに、上記第１画像のブロックのＹ座標と同じＹ座標で、かつ、上記第１画像のブロックの直下の探索済みブロックに対応する上記第２画像の対応ブロックのＸ座標を中心とするＸ座標設定範囲において、上記第１画像のブロックと同一または類似の物体が写っている上記第２画像中の対応ブロックを探索して、
上記第１画像のブロックのＸ座標とそのブロックに対応する上記第２画像の対応ブロックのＸ座標との差から上記第１,第２画像に写る物体の視差を求めることを特徴とする。
ここで、第１画像のマトリックス状に配列された複数のブロックは、横方向に並んだ複数のブロックを１行とし、縦方向に並んだ複数のブロックを１列とする。
上記構成によれば、障害物を見つける処理を簡略化でき、処理時間の短縮化とハードウェア構成の簡略化ができる。
また、一実施形態の障害物検出装置では、
上記視差演算部２１は、
上記ステレオカメラの垂直画角,俯角およびカメラ高さに基づいて、上記第１画像の最下行のブロックに写っている路面までの距離を算出し、
上記第１画像の最下行のブロックに写る上記路面までの距離に基づいて、上記第１画像の最下行のブロックに写る上記路面と上記第２画像に写っているであろう上記路面との視差を算出して、
上記第１画像の最下行のブロックのＹ座標と同じＹ座標で、かつ、そのブロックのＸ座標から上記視差を減算したＸ座標を中心とする上記Ｘ座標設定範囲において、上記第１画像のブロックと同一または類似の物体が写っている上記第２画像中の対応ブロックを探索する。
上記実施形態によれば、１画像の最下行のブロックに写る路面と第２画像に写っているであろう路面との視差を簡単に算出でき、より短時間で障害物を検出できる。
また、一実施形態の障害物検出装置では、
上記ステレオカメラ(１１,１２)から上記視差演算部２１に上記第１,第２画像データが下の行から上に向かって１行ずつ転送され、
上記視差演算部２１は、
上記第１画像の１行のブロックに含まれる画像データとその画像データに対応する上記第２画像の画像データとが揃った時点で、上記第１画像のブロックに写っている物体と同一または類似の物体が写っている上記第２画像の対応ブロックを探索する。
上記実施形態によれば、ステレオカメラ(１１,１２)から視差演算部２１に第１,第２画像データが下の行から上に向かって１行ずつ転送される構成において、画像データの転送に従って順次第２画像の対応ブロックを探索でき、障害物の検出時間を短縮できる。
また、一実施形態の障害物検出装置では、
上記ステレオカメラ(１１,１２)から上記視差演算部２１に上記第１,第２画像データが右の列から左に向かって１列ずつ、または、左の列から右に向かって１列ずつ転送され、
上記視差演算部２１は、
上記第１画像の複数列のブロックに含まれる画像データとその画像データに対応する上記第２画像の画像データとが揃った時点で、上記第１画像のブロックに写っている物体と同一または類似の物体が写っている上記第２画像の対応ブロックを探索する。
上記実施形態によれば、ステレオカメラ(１１,１２)から視差演算部２１に第１,第２画像データが右の列から左に向かって１列ずつ、または、左の列から右に向かって１列ずつ転送される構成において、画像データの転送に従って順次第２画像の対応ブロックを探索でき、障害物の検出時間を短縮できる。
また、この発明の障害物検出方法では、
ステレオカメラ(１１,１２)で撮影した視差を有する２枚の第１画像と第２画像に基づいて、上記第１,第２画像に写る物体の視差を視差演算部２１により求める視差演算ステップと、
上記視差演算ステップで求めた上記第１,第２画像に写る物体の視差に基づいて、上記物体までの距離を求めて、上記物体が障害物となるか否かを障害物検出部２２により検出する障害物検出ステップと
を有する障害物検出方法であって、
上記第１,第２画像の横方向をＸ座標とし、上記第１,第２画像の縦方向をＹ座標とすると共に、上記第１画像をマトリックス状に配列された複数のブロックに分割し、
上記視差演算ステップは、
上記第１画像の最下行のブロックに対して、そのブロックのＹ座標と同じＹ座標で、かつ、そのブロックに写っている物体と同一または類似の物体が写っている上記第２画像中の対応ブロックを探索する第１のステップと、
次に、上記第１画像の探索済みブロックから順次上のブロックに対して、そのブロックと同一または類似の物体が写っている上記第２画像中の対応ブロックを探索するときに、上記第１画像のブロックのＹ座標と同じＹ座標で、かつ、上記第１画像のブロックの直下の探索済みブロックに対応する上記第２画像の対応ブロックのＸ座標を中心とするＸ座標設定範囲において、上記第１画像のブロックと同一または類似の物体が写っている上記第２画像中の対応ブロックを探索する第２のステップと、
上記第１,第２のステップで得られた上記第１画像のブロックのＸ座標とそのブロックに対応する上記第２画像の対応ブロックのＸ座標との差から上記第１,第２画像に写る物体の視差を求める第３のステップと
を有することを特徴とする。
上記構成によれば、障害物を見つける処理を簡略化でき、処理時間の短縮化とハードウェア構成の簡略化ができる。
１…カメラ部
２…演算部
３…出力装置
１１,１２…カメラ
２１…視差演算部
２２…障害物検出部

Claims (4)

  1. ステレオカメラと、
    上記ステレオカメラで撮影された第１画像と第２画像に基づいて、上記第１,第２画像に写る物体の視差を求める視差演算部と、
    上記視差演算部により求めた上記第１,第２画像に写る物体の視差に基づいて、上記物体までの距離を求めて、上記物体が障害物か否かを検出する障害物検出部と
    を備え、
    上記第１,第２画像の横方向をＸ座標とし、上記第１,第２画像の縦方向をＹ座標とすると共に、上記第１画像をマトリックス状に配列された複数のブロックに分割し、
    上記視差演算部は、
    上記第１画像の最下行のブロックに対して、そのブロックのＹ座標と同じＹ座標で、かつ、そのブロックに写っている物体と同一または類似の物体が写っている上記第２画像中の対応ブロックを探索し、
    次に、上記第１画像の探索済みブロックから順次上のブロックに対して、そのブロックと同一または類似の物体が写っている上記第２画像中の対応ブロックを探索するときに、上記第１画像のブロックのＹ座標と同じＹ座標で、かつ、上記第１画像のブロックの直下の探索済みブロックに対応する上記第２画像の対応ブロックのＸ座標を中心とするＸ座標設定範囲において、上記第１画像のブロックと同一または類似の物体が写っている上記第２画像中の対応ブロックを探索して、
    上記第１画像のブロックのＸ座標とそのブロックに対応する上記第２画像の対応ブロックのＸ座標との差から上記第１,第２画像に写る物体の視差を求めると共に、
    上記ステレオカメラから上記視差演算部に上記第１,第２画像の画像データが下の行から上に向かって１行ずつ転送され、
    上記視差演算部は、
    上記第１画像の１行のブロックに含まれる画像データとその画像データに対応する上記第２画像の画像データとが揃った時点で、上記第１画像のブロックに写っている物体と同一または類似の物体が写っている上記第２画像の対応ブロックを探索することを特徴とする障害物検出装置。
  2. ステレオカメラと、
    上記ステレオカメラで撮影された第１画像と第２画像に基づいて、上記第１,第２画像に写る物体の視差を求める視差演算部と、
    上記視差演算部により求めた上記第１,第２画像に写る物体の視差に基づいて、上記物体までの距離を求めて、上記物体が障害物か否かを検出する障害物検出部と
    を備え、
    上記第１,第２画像の横方向をＸ座標とし、上記第１,第２画像の縦方向をＹ座標とすると共に、上記第１画像をマトリックス状に配列された複数のブロックに分割し、
    上記視差演算部は、
    上記第１画像の最下行のブロックに対して、そのブロックのＹ座標と同じＹ座標で、かつ、そのブロックに写っている物体と同一または類似の物体が写っている上記第２画像中の対応ブロックを探索し、
    次に、上記第１画像の探索済みブロックから順次上のブロックに対して、そのブロックと同一または類似の物体が写っている上記第２画像中の対応ブロックを探索するときに、上記第１画像のブロックのＹ座標と同じＹ座標で、かつ、上記第１画像のブロックの直下の探索済みブロックに対応する上記第２画像の対応ブロックのＸ座標を中心とするＸ座標設定範囲において、上記第１画像のブロックと同一または類似の物体が写っている上記第２画像中の対応ブロックを探索して、
    上記第１画像のブロックのＸ座標とそのブロックに対応する上記第２画像の対応ブロックのＸ座標との差から上記第１,第２画像に写る物体の視差を求めると共に、
    上記ステレオカメラから上記視差演算部に上記第１,第２画像の画像データが右の列から左に向かって１列ずつ、または、左の列から右に向かって１列ずつ転送され、
    上記視差演算部は、
    上記第１画像の複数列のブロックに含まれる画像データとその画像データに対応する上記第２画像の画像データとが揃った時点で、上記第１画像のブロックに写っている物体と同一または類似の物体が写っている上記第２画像の対応ブロックを探索することを特徴とする障害物検出装置。
  3. ステレオカメラで撮影された第１画像と第２画像に基づいて、上記第１,第２画像に写る物体の視差を視差演算部により求める視差演算ステップと、
    上記視差演算ステップで求めた上記第１,第２画像に写る物体の視差に基づいて、上記物体までの距離を求めて、上記物体が障害物か否かを障害物検出部により検出する障害物検出ステップと
    を有する障害物検出方法であって、
    上記第１,第２画像の横方向をＸ座標とし、上記第１,第２画像の縦方向をＹ座標とすると共に、上記第１画像をマトリックス状に配列された複数のブロックに分割し、
    上記視差演算ステップは、
    上記第１画像の最下行のブロックに対して、そのブロックのＹ座標と同じＹ座標で、かつ、そのブロックに写っている物体と同一または類似の物体が写っている上記第２画像中の対応ブロックを探索する第１のステップと、
    次に、上記第１画像の探索済みブロックから順次上のブロックに対して、そのブロックと同一または類似の物体が写っている上記第２画像中の対応ブロックを探索するときに、上記第１画像のブロックのＹ座標と同じＹ座標で、かつ、上記第１画像のブロックの直下の探索済みブロックに対応する上記第２画像の対応ブロックのＸ座標を中心とするＸ座標設定範囲において、上記第１画像のブロックと同一または類似の物体が写っている上記第２画像中の対応ブロックを探索する第２のステップと、
    上記第１,第２のステップで得られた上記第１画像のブロックのＸ座標とそのブロックに対応する上記第２画像の対応ブロックのＸ座標との差から上記第１,第２画像に写る物体の視差を求める第３のステップと
    を有すると共に、
    上記ステレオカメラから上記視差演算部に上記第１,第２画像の画像データが下の行から上に向かって１行ずつ転送され、
    上記視差演算部は、
    上記第１画像の１行のブロックに含まれる画像データとその画像データに対応する上記第２画像の画像データとが揃った時点で、上記第１画像のブロックに写っている物体と同一または類似の物体が写っている上記第２画像の対応ブロックを探索することを特徴とする障害物検出方法。
  4. ステレオカメラで撮影された第１画像と第２画像に基づいて、上記第１,第２画像に写る物体の視差を視差演算部により求める視差演算ステップと、
    上記視差演算ステップで求めた上記第１,第２画像に写る物体の視差に基づいて、上記物体までの距離を求めて、上記物体が障害物か否かを障害物検出部により検出する障害物検出ステップと
    を有する障害物検出方法であって、
    上記第１,第２画像の横方向をＸ座標とし、上記第１,第２画像の縦方向をＹ座標とすると共に、上記第１画像をマトリックス状に配列された複数のブロックに分割し、
    上記視差演算ステップは、
    上記第１画像の最下行のブロックに対して、そのブロックのＹ座標と同じＹ座標で、かつ、そのブロックに写っている物体と同一または類似の物体が写っている上記第２画像中の対応ブロックを探索する第１のステップと、
    次に、上記第１画像の探索済みブロックから順次上のブロックに対して、そのブロックと同一または類似の物体が写っている上記第２画像中の対応ブロックを探索するときに、上記第１画像のブロックのＹ座標と同じＹ座標で、かつ、上記第１画像のブロックの直下の探索済みブロックに対応する上記第２画像の対応ブロックのＸ座標を中心とするＸ座標設定範囲において、上記第１画像のブロックと同一または類似の物体が写っている上記第２画像中の対応ブロックを探索する第２のステップと、
    上記第１,第２のステップで得られた上記第１画像のブロックのＸ座標とそのブロックに対応する上記第２画像の対応ブロックのＸ座標との差から上記第１,第２画像に写る物体の視差を求める第３のステップと
    を有すると共に、
    上記ステレオカメラから上記視差演算部に上記第１,第２画像の画像データが右の列から左に向かって１列ずつ、または、左の列から右に向かって１列ずつ転送され、
    上記視差演算部は、
    上記第１画像の複数列のブロックに含まれる画像データとその画像データに対応する上記第２画像の画像データとが揃った時点で、上記第１画像のブロックに写っている物体と同一または類似の物体が写っている上記第２画像の対応ブロックを探索することを特徴とする障害物検出方法。
JP2013031979A 2013-02-21 2013-02-21 障害物検出装置および障害物検出方法 Active JP5982298B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2013031979A JP5982298B2 (ja) 2013-02-21 2013-02-21 障害物検出装置および障害物検出方法
CN201380072707.7A CN104981836B (zh) 2013-02-21 2013-12-17 障碍物检测装置和障碍物检测方法
US14/760,760 US9594966B2 (en) 2013-02-21 2013-12-17 Obstacle detection device and obstacle detection method
PCT/JP2013/083724 WO2014129064A1 (ja) 2013-02-21 2013-12-17 障害物検出装置および障害物検出方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013031979A JP5982298B2 (ja) 2013-02-21 2013-02-21 障害物検出装置および障害物検出方法

Publications (2)

Publication Number Publication Date
JP2014164318A JP2014164318A (ja) 2014-09-08
JP5982298B2 true JP5982298B2 (ja) 2016-08-31

Family

ID=51390875

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013031979A Active JP5982298B2 (ja) 2013-02-21 2013-02-21 障害物検出装置および障害物検出方法

Country Status (4)

Country Link
US (1) US9594966B2 (ja)
JP (1) JP5982298B2 (ja)
CN (1) CN104981836B (ja)
WO (1) WO2014129064A1 (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014191485A (ja) * 2013-03-26 2014-10-06 Sharp Corp 障害物検出装置、及びそれを備えた電動車両
JP5959073B2 (ja) * 2014-09-30 2016-08-02 インターナショナル・ビジネス・マシーンズ・コーポレーションＩｎｔｅｒｎａｔｉｏｎａｌ Ｂｕｓｉｎｅｓｓ Ｍａｃｈｉｎｅｓ Ｃｏｒｐｏｒａｔｉｏｎ 検出装置、検出方法、及び、プログラム
JP6406289B2 (ja) * 2016-03-14 2018-10-17 オムロン株式会社 路面形状測定装置、測定方法、及び、プログラム
JP6723079B2 (ja) * 2016-06-08 2020-07-15 日立オートモティブシステムズ株式会社 物体距離検出装置
JP6794243B2 (ja) * 2016-12-19 2020-12-02 日立オートモティブシステムズ株式会社 物体検出装置
WO2018120027A1 (zh) * 2016-12-30 2018-07-05 深圳前海达闼云端智能科技有限公司 一种障碍物检测方法及装置
CN109753858A (zh) * 2017-11-07 2019-05-14 北京中科慧眼科技有限公司 一种基于双目视觉的道路障碍物检测方法与装置
CN108470469A (zh) * 2018-03-12 2018-08-31 海信集团有限公司 道路障碍物预警方法、装置及终端
US20190387165A1 (en) * 2018-06-07 2019-12-19 Eys3D Microelectronics, Co. Image device for generating depth images and related electronic device
WO2020013043A1 (ja) * 2018-07-13 2020-01-16 Ｗｈｉｌｌ株式会社 電動モビリティ
CN109542222B (zh) * 2018-11-13 2021-12-14 深圳市创凯智能股份有限公司 三维视角控制方法、装置、设备以及可读存储介质

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2846319B2 (ja) * 1988-07-20 1999-01-13 工業技術院長 画像処理方法
JP3167752B2 (ja) 1991-10-22 2001-05-21 富士重工業株式会社 車輌用距離検出装置
JP3242529B2 (ja) * 1994-06-07 2001-12-25 松下通信工業株式会社 ステレオ画像対応付け方法およびステレオ画像視差計測方法
JP3786618B2 (ja) * 2002-03-25 2006-06-14 株式会社東芝 画像処理装置及びその方法
JP4052650B2 (ja) * 2004-01-23 2008-02-27 株式会社東芝 障害物検出装置、方法及びプログラム
US7697749B2 (en) * 2004-08-09 2010-04-13 Fuji Jukogyo Kabushiki Kaisha Stereo image processing device
JP4872836B2 (ja) * 2007-07-06 2012-02-08 コニカミノルタホールディングス株式会社 情報処理システム
US8831335B2 (en) * 2008-11-25 2014-09-09 Nec Solution Innovators, Ltd. Stereo matching processing apparatus, stereo matching processing method and computer-readable recording medium
JP5468426B2 (ja) * 2010-03-12 2014-04-09 日立オートモティブシステムズ株式会社 ステレオカメラ装置
CN101852609B (zh) * 2010-06-02 2011-10-19 北京理工大学 一种基于机器人双目立体视觉的地面障碍物检测方法
CN102313536B (zh) * 2011-07-21 2014-02-19 清华大学 基于机载双目视觉的障碍物感知方法
JP6035774B2 (ja) * 2012-02-24 2016-11-30 株式会社リコー 画像処理装置、画像処理方法、及び車両

Also Published As

Publication number Publication date
WO2014129064A1 (ja) 2014-08-28
CN104981836B (zh) 2018-01-30
CN104981836A (zh) 2015-10-14
JP2014164318A (ja) 2014-09-08
US20150356358A1 (en) 2015-12-10
US9594966B2 (en) 2017-03-14

Similar Documents

Publication Publication Date Title
JP5982298B2 (ja) 障害物検出装置および障害物検出方法
CN107272021B (zh) 使用雷达和视觉定义的图像检测区域的对象检测
KR102267562B1 (ko) 무인자동주차 기능 지원을 위한 장애물 및 주차구획 인식 장치 및 그 방법
US10025317B2 (en) Methods and systems for camera-based autonomous parking
US10466714B2 (en) Depth map estimation with stereo images
WO2018105179A1 (ja) 車載用画像処理装置
JP3895238B2 (ja) 障害物検出装置及びその方法
EP2713309B1 (en) Method and device for detecting drivable region of road
JP6151150B2 (ja) 物体検出装置及びそれを用いた車両
JP3937414B2 (ja) 平面検出装置及び検出方法
JP3727400B2 (ja) 横断者の検出装置
JP2016120892A (ja) 立体物検出装置、立体物検出方法および立体物検出プログラム
KR101030317B1 (ko) 스테레오 비전을 이용하여 장애물을 추적하는 장치 및 방법
US10984263B2 (en) Detection and validation of objects from sequential images of a camera by using homographies
CN104509099B (zh) 三维物体检测装置以及三维物体检测方法
JP6552448B2 (ja) 車両位置検出装置、車両位置検出方法及び車両位置検出用コンピュータプログラム
JP2019067116A (ja) 立体物接地判定装置
JP4052291B2 (ja) 車両用画像処理装置
US20190362512A1 (en) Method and Apparatus for Estimating a Range of a Moving Object
JP5957359B2 (ja) ステレオ画像処理装置及びステレオ画像処理方法
JP2019053685A (ja) 画像処理装置
JP3925285B2 (ja) 走行路環境検出装置
US11087150B2 (en) Detection and validation of objects from sequential images of a camera by using homographies
JP4106163B2 (ja) 障害物検出装置及びその方法
CN110488320A (zh) 一种利用立体视觉检测车辆距离的方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20151001

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160607

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160616

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160712

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160801

R150 Certificate of patent or registration of utility model

Ref document number: 5982298

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150