JP6102213B2 - 画像処理装置、画像処理方法および画像処理プログラム - Google Patents

画像処理装置、画像処理方法および画像処理プログラム Download PDF

Info

Publication number
JP6102213B2
JP6102213B2 JP2012255936A JP2012255936A JP6102213B2 JP 6102213 B2 JP6102213 B2 JP 6102213B2 JP 2012255936 A JP2012255936 A JP 2012255936A JP 2012255936 A JP2012255936 A JP 2012255936A JP 6102213 B2 JP6102213 B2 JP 6102213B2
Authority
JP
Japan
Prior art keywords
image
feature
moving body
reflection
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012255936A
Other languages
English (en)
Other versions
JP2014102775A (ja
Inventor
徹洋 加藤
徹洋 加藤
▲収▼文 中山
▲収▼文 中山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2012255936A priority Critical patent/JP6102213B2/ja
Priority to US14/036,790 priority patent/US9600988B2/en
Priority to EP13186367.2A priority patent/EP2735996B1/en
Publication of JP2014102775A publication Critical patent/JP2014102775A/ja
Application granted granted Critical
Publication of JP6102213B2 publication Critical patent/JP6102213B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19697—Arrangements wherein non-video detectors generate an alarm themselves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Description

本明細書に開示する技術は、画像処理技術に関する。
近年、ドライバーによる安全運転を支援するために、さまざまな技術が開発されている。そのひとつとして、車両に搭載されたカメラが撮影した画像から、認識対象物を認識する技術がある。そして、認識対象物が認識された場合に、ドライバーに対する警報などが実施される。
ここで、カメラが車内に設置されている場合などには、カメラは、ガラス越しに車外を撮影することとなる。太陽などの強い光源が存在する環境において撮像された画像には、いわゆる映り込みが発生することがある。映り込みとは、車内の物体からの光がガラスなどの表面で反射されて車内カメラのセンサに感知されることにより、車内の物体の全体または一部の像が、画像に撮像されることである。なお、映り込みは、車内カメラのように、カメラの撮像方向に、ガラスのように、表面で光を反射する物体が存在する場合に発生する。以下、映り込みがある画像を映り込み画像と称する。
映り込み画像に対して、認識対象物の認識を実施する場合には、認識精度が低下する。そこで、映り込み画像からでも認識対象物を正しく認識するための物体認識装置がある（例えば、特許文献１）。当該物体認識装置は、車両周辺の所定方向の領域を連続的に撮像するとともに、各画像から複数の特徴点を抽出する。さらに、物体認識装置は、各画像において座標が同一の固定特徴点を、最新の画像から抽出された複数の特徴点より除去する。そして、物体認識装置は、固定特徴点が除去された最新の画像の特徴点に基づいて、物体認識を行う。
特開２０１０−６１３７５号公報
映り込み由来の特徴点は連続的に撮像された画像において同一の座標に存在するということに着目した上記物体認識装置は、連続的に撮像された画像における固定特徴点を除去することができる。
しかし、当該物体認識装置は、映り込みを除去するには精度が不十分である。つまり、物体認識装置は、映り込みを精度よく検出できない。
そこで、本実施例に開示の技術は、精度よく映り込みを検出することを目的とする。
１つの態様では、画像処理装置が、移動体とともに移動する撮像装置であって、該移動体の所定の移動方向を撮像方向とする撮像装置によって、それぞれ異なるタイミングで撮影された複数の画像の画像データを取得する取得部と、前記複数の画像に含まれる、前記撮像方向とは異なる方向へ前記移動体が移動したと判定された画像データと前記撮像方向とは異なる方向への前記移動体の移動がないと判定された画像データのうちの、前記異なる方向へ前記移動体が移動したと判定された画像データのみにおける特徴の位置情報に基づき、該特徴の中から映り込みに起因する特徴を検出する検出部とを有することを特徴とする。
本発明の一観点によれば、精度よく映り込みを検出することが可能になる。
図１Ａおよび図１Ｂは、映り込みを説明するための図である。 図２は、本実施例にかかる画像処理装置を含む運転支援装置の機能ブロック図である。 図３は、蓄積情報の例を示す図である。 図４は、特徴を蓄積する処理を説明するための図である。 図５は、特徴を確認する処理を説明するための図である。 図６は、画像処理の処理フロー（その１）である。 図７は、画像処理の処理フロー（その２）である。 図８は、特徴蓄積処理のフローチャートである。 図９は、特徴確認処理のフローチャートである。 図１０は、映り込み検出処理のフローチャートである。 図１１は、画像処理装置のハードウェア構成の一例を示す図である。
以下詳細な本発明の実施例に関して説明する。なお、以下の各実施例は、処理の内容を矛盾させない範囲で適宜組み合わせることが可能である。
先に述べたとおり、映り込み由来の特徴は、連続的に撮像された画像において同一の位置に存在することが知られている。しかし、発明者らは、映り込み由来の特徴以外でも、複数の画像において、同一の位置となるような特徴が存在することに着目した。
例えば、移動体の進行方向に平行に存在する物体に由来する特徴は、複数の画像において、同一の位置に存在する。例えば、当該特徴は、移動体が車両であって進行方向が車両前方である場合には、車線を形成するラインや、ガードレールなどに由来する特徴である。つまり、先に述べた物体認識装置は、映り込み以外の物体に由来する特徴であっても固定特徴点として認識してしまうため、当該特徴については、除去する。
また、映り込みの検出精度が不十分であることは、結果として、物体の認識精度の低下をも招く。例えば、認識対象の物体の特徴が固定特徴点として除去された画像に対して、物体認識が実行された場合、当該物体認識装置は、認識対象を認識することができない。
そこで、以下の本実施例では、映り込みに由来する特徴と映り込み以外の物体に由来する特徴とを、より正確に区別することで、正確に映り込みを検出する。
図１Ａおよび図１Ｂは、映り込みを説明するための図である。図１Ａは、移動体に設置された撮像装置と、映り込みの元となる物体と、物体からの光を反射するガラスの位置関係を説明するための図である。本実施例においては、移動体は車両１である。そして、本実施例においては、車両１は、撮像装置１１を車内に備える。撮像装置１１は、例えば、カメラである。
また、撮像装置１１は、車両の所定の移動方向を含む方向を撮像方向とし、連続的に撮像方向の画像を取得する。本実施例においては、撮像装置１１は、車両の前進方向の路面および風景を撮像するため、車両の前進方向かつ下方方向に光軸を合わせて設置される。つまり、本実施例においては、車両の前進方向を含む方向を、撮像方向とする。
ただし、光軸の向きが、必ずしも、車両の前進方向と完全に一致する必要はない。つまり、撮像装置１１の撮像方向と、車両の所定の移動方向とは角度的に完全に一致する必要はなく、撮像方向は、所定の移動方向の路面および風景を撮像可能な向きであればよい。
撮像方向が前進方向である場合には、映り込みを発生させる原因となるガラスは、例えば車両のフロントガラス２に相当する。ここで、撮像装置１１と、物体３とが、フロントガラス２に対して同じ側に存在する場合、物体３の映り込みが発生する。例えば、車内に撮像装置１１と物体３が存在する場合である。図１Ｂは、映り込みが発生した画像の例である。
画像は、フロントガラス２を通して撮像された車外領域１００を含む。ただし、車外領域１００には、本来車外には存在しない映り込み１０１の像も含まれる。映り込み１０１は、物体３（画像における像３´）の縁部分１０４で太陽光が反射したことによって、線状に物体３の一部（画像における１０４）が映りこんだものである。
ここで、映り込み１０１の画像における位置は、光源と物体３との位置関係によって決まる。光源は太陽であるため、光源は無限遠に存在する。よって、物体３が動かない状況下では、映り込み１０１の位置は、太陽の位置の移動と比較して短い時間内では、車両１が移動しても移動しない。
一方、車外領域１００には、車線を形成するライン１０２やガードレール１０３の像も存在する。なお、以下、車線を形成するラインを、単に車線と称する。車両１が撮像装置１１の撮像方向と平行に移動している場合は、車両１が前進しても、画像の同位置においては、車線１０２由来の特徴が存在する。ガードレール１０３についても同様である。
ここで、車両が車線から逸脱したことによる事故を防止するために、車両の車線からの逸脱を警報する警報装置がある。当該警報装置は、いわゆる車線逸脱警報機能を備えた装置である。警報装置は、車線に対する自車両の相対距離に基づき、車両が車線を逸脱する可能性がある場合、警報を行うことで、ドライバーの注意を喚起する。
特開２０１０−６１３７５号に開示された物体認識装置を前記警報装置に適用した場合に、固定特徴点を最新画像から削除するため、車線由来の特徴点が除去される可能性がある。したがって、車線由来の特徴点が除去された画像では、車線を検出することができないため、警報装置は、適切に警報を行うことができない。
そこで、本実施例に開示の画像処理装置は、映り込み１０１と車線１０２やガードレール１０３などとを区別する。そして、映り込み１０１が除去された画像を生成する。そして、警報装置に出力するために、映り込みが適切に除去された画像に基づき、車線に対する自車両の相対距離が算出される。そして、画像処理装置は、車線に対する自車両の相対距離を警報装置に対して出力する。しかし、これに限らず、画像処理装置は、映り込みが除去された画像を、他の装置へ出力するとしてもよい。
図２は、本実施例にかかる画像処理装置を含む運転支援装置の機能ブロック図である。運転支援装置１０は、撮像装置１１、画像処理装置１２、警報装置１９を含む。撮像装置１１は、撮像方向の領域を連続的に撮像する。さらに、撮像装置１１は、連続的に撮像された複数の画像各々についての画像データを、順次、画像処理装置１２へ出力する。
画像処理装置１２は、映り込み除去処理を実行する。なお、本実施例においては、さらに、画像処理装置１２は、車線の認識処理、車線に対する自車両の相対距離の算出処理を実行する。各処理の詳細については、後述する。そして、画像処理装置１２は、相対距離を警報装置１９へ出力する。警報装置１９は、相対距離に基づき、ドライバーに対する警報を実行する。
画像処理装置１２について、より詳細に説明する。画像処理装置１２は、取得部１３、判定部１４、検出部１５、認識部１６、算出部１７、記憶部１８を有する。
取得部１３は、撮像装置１１から、順次、画像データを取得する。さらに、取得部１３は、取得した画像データに基づき、各画素の特徴量を算出する。なお、本実施例においては、特徴量として各画素におけるエッジ強度を算出する際に、取得部１３は、既存のアルゴリズムを適用して、エッジを抽出する処理を実行する。
判定部１４は、撮像方向とは異なる方向への移動の有無を判定する。つまり、車両の所定の移動方向とは異なる方向への移動の有無を判定する。本実施例においては、撮像方向は、車両の前進方向であるため、判定部１４は、車両の横方向への移動の有無を判定する。詳細は後述するが、判定部１４は、過去の相対距離の算出処理において算出された相対距離を利用して、ある時点での横移動の有無を判定する。また、判定部１４は、舵角センサ、車速センサ、タイヤ角センサ、ヨーレートセンサ等からの出力に応じて横移動の有無を判定してもよい。
検出部１５は、判定部１４が、撮像方向とは異なる方向への移動があると判定した場合の画像における特徴の位置情報に基づき、映り込みを検出する。例えば、検出部１５は、横移動があると判定された場合の画像を対象として、画像に存在する特徴を検出する。検出部１５は、各画素の特徴量が閾値以上である場合に、特徴が存在すると判定する。
そして、検出部１５は、蓄積情報を蓄積する。蓄積情報は、処理対象の画像の各位置に特徴が存在した頻度に依存する情報である。例えば、蓄積情報は、位置情報と、存在強度とを含む。存在強度は、ある位置に特徴が存在する頻度が高いほど、大きな値となる。つまり、大きな存在強度は、撮像方向とは異なる方向への移動があると判定した場合の画像において、高い頻度で同じ位置に特徴が存在したことを示している。蓄積情報は、記憶部１８に記憶される。
次に、検出部１５は、蓄積情報に基づき、処理対象の画像データから映り込みを検出する。さらに、検出部１５は、検出した映り込みを、処理対象の画像から除去する。
認識部１６は、認識対象を認識する。本実施例においては、認識部１６は、車線を認識する。なお、車線を認識する処理は、従来の方法が適用される。また、認識対象を、ガードレールなど他の対象とすることもできる。
算出部１７は、認識処理の結果に基づき、各種値を算出する。本実施例においては、算出部１７は、認識された車線の画像上での位置に基づき、自車両の道路中心からの相対距離を算出する。相対距離は、ある時刻ｔにおける車両位置Ｘｔとして、記憶部１８に記憶される。
記憶部１８は、蓄積情報や、車両位置の情報、各種閾値の情報を記憶する。蓄積情報は、例えば、テーブル形式で記憶される。また、車両位置の情報は、少なくとも最新の２時点における車両位置の情報を含み、新たな車両位置が算出されるたびに、古い方から更新されるとしてもよい。また、各種閾値については、後述する。
図３は、蓄積情報のデータテーブルの一例を示す図である。画素の位置ｉ（Ｘｊ，Ｙｋ）ごとに、存在強度Ｑｉが対応付けて記憶される。図３は、例えば、位置（０，０）は、Ｑ（０，０）の存在強度を有することを示している。存在強度Ｑは、検出部１５により、適宜更新される。そして、各位置ｉ（Ｘｊ，Ｙｋ）の存在強度Ｑｉの大きさに基づき、映り込みが検出される。
ここで、検出部１５による特徴蓄積処理について、図４を利用して説明する。図４は、特徴を蓄積する処理を説明するための図である。なお、図４においては、時刻ｔ１においては、車両の横移動はなかったと判定され、時刻ｔ２および時刻ｔ３においては、車両の横移動があったと判定されたと仮定する。横移動がある場合に、検出部１５は、特徴が存在する位置の存在強度を、より大きな値に更新する。
３１、３２、３３は、各時刻におけるエッジ画像である。エッジ画像は、撮像装置から受信した画像データに基づき、エッジ抽出処理が実行されることで生成される。例えば、エッジ画像３１は、時刻ｔ１において、エッジ３１１、３１２、３１３が抽出されたことを示す。なお、実際には、エッジ３１１および３１２は、車線由来のエッジであり、エッジ３１３は、映り込み由来のエッジであるが、エッジ画像３１においては、これらのエッジは区別されない。
次に、３５、３６、３７は、各時刻における蓄積情報に基づくイメージ画像である。イメージ画像は、各位置ｉの画素に、存在強度Ｑｉ相当の画素値を与え、仮想的に描かれたエッジのイメージ画像である。つまり、存在強度Ｑｉが大きいほど、より大きな画素値が与えられるため、より濃度が高いエッジが描かれる。
また、各時刻ｔにおける蓄積情報は、当該時刻ｔにおける画像の特徴が、一時刻前（時刻ｔ−１）までの蓄積情報に、蓄積されたものである。例えば、時刻ｔ３における蓄積情報は、時刻ｔ２までに蓄積された蓄積情報に、時刻ｔ３の画像のエッジに関する特徴が、蓄積されたものとなる。
ここで、時刻ｔ１（横移動がなし）では、検出部１５は、時刻ｔ１の画像における特徴の情報を、蓄積情報に蓄積しない。つまり、エッジ３１１，３１２，３１３を形成する各画素の位置について、存在強度Ｑは、より大きな値に更新されることはない。時刻ｔ１までの各位置の存在強度が０であれば、０のままとなる。
次に、時刻ｔ２（横移動があり）では、検出部１５は、時刻ｔ２における画像の特徴の情報を、蓄積情報に蓄積する。つまり、エッジ３２１、３２２、３２３に対応する位置の存在強度Ｑに、所定の値が加算される。イメージ画像３６のように、時刻ｔ２では、エッジ３２１、３２２、３２３に対応する位置に、エッジ３６１、３６２、３６３が描かれる。なお、エッジ画像３２における点線は時刻ｔ１に存在したエッジの位置を、仮想的に表したものである。つまり、車両が横移動すると、車線由来のエッジは、時刻ｔ１の位置とは異なる位置に存在する。
次に、時刻ｔ３（横移動があり）では、検出部１５は、時刻ｔ３における画像の特徴の情報を、蓄積情報に蓄積する。つまり、エッジ３３１、３３２、３３３に対応する画素の位置について、対応する存在強度Ｑに、所定の値が加算される。イメージ画像３７のように、時刻ｔ３では、エッジ３３１、３３２、３３３に対応する位置に、エッジ３７１、３７２、３７３が描かれる。
ここで、エッジ３３３に対応する位置については、時刻ｔ２で所定の値が加算された存在強度Ｑに、さらに時刻ｔ３で所定の値が加算されるため、イメージ画像３７における時刻ｔ３のエッジ３７３は、イメージ画像３６におけるエッジ３６３よりも濃いものとなる。一方、時刻ｔ２におけるエッジ３２１および３２２は、時刻ｔ３では、同一の位置に抽出されない。したがって、イメージ画像３６における、エッジ３６１および３６２について、存在強度Ｑに所定の値が加算されることはない。
なお、本実施例においては、特徴の情報を蓄積する際に、特徴が存在しない位置の存在強度Ｑから、所定の値を減算する。よって、過去に特徴が抽出されたことで存在強度Ｑに所定の値が加算された位置であっても、それ以降、特徴が存在しなければ、存在強度Ｑは小さな値に更新される。ただし、存在強度Ｑの最小値は０とする。
ここで、撮像方向とは異なる方向への移動がない場合については、検出部１５は、特徴の情報を蓄積する処理を実行しない。ただし、車両の環境が変化したことにともない、映り込みが消失する可能性がある。例えば、車両が陸橋の下を通過した場合や、屋内に入った場合など、車両の環境が、太陽光がなんらかの物体によりさえぎられる状況へ変化した場合である。
映り込みが消失した場合には、映り込みの消失を認識し、早期に存在強度を小さくする処理が有効である。つまり、後述のように、映り込みを検出する際には、存在強度が大きい位置について、映り込みが発生している位置と認識するため、映り込みが消失した場合でも、存在強度が大きければ、その位置に映り込みが発生していると認識されてしまう。
したがって、撮像方向とは異なる方向への移動がない場合であっても、消失した特徴の情報を利用して、存在強度を小さくする処理を行ってもよい。つまり、検出部１５は、最新の画像において特徴が消失していないかを確認する確認処理を実行する。
図５は、特徴を確認する処理を説明するための図である。なお、図５において、時刻ｔ１においては、横移動がありと判定され、時刻ｔ２および時刻ｔ３においては、横移動がないと判定されたと仮定する。確認処理において、検出部１５は、例えば、一定以上の存在強度を有する位置について、最新画像において特徴が消失している場合には、存在強度を、より小さな値となるように更新する。
４１、４２、４３は、各時刻におけるエッジ画像である。また、４５、４６、４７は、各時刻における蓄積情報に基づくイメージ画像である。時刻ｔ１（横移動があり）においては、エッジ画像４１に基づき蓄積情報が蓄積される。また、蓄積情報のイメージ画像は、イメージ画像４５のようになる。
ここで、時刻ｔ２（横移動がない）において、まず、検出部１５は、時刻ｔ１までの蓄積情報を参照する。そして、検出部１５は、時刻ｔ２の画像において、一定以上の存在強度Ｑを示す位置に、エッジが存在するかを確認する。つまり、検出部１５は、イメージ画像４５におけるエッジを形成する各画素の位置について、エッジ画像４２でも、エッジが存在するかを判定する。
エッジが存在する場合には、存在強度Ｑは維持される。つまり、エッジ画像４２とイメージ画像４５は、同様の位置にエッジが存在するため、時刻ｔ２における蓄積情報は、時刻ｔ１における蓄積情報と同様になる。つまり、イメージ画像４５とイメージ画像４６は、同様となる。
次に、時刻ｔ３（横移動がない）において、エッジ画像４３のように、時刻ｔ２時点では存在したエッジ４２３が、消失した場合を考える。検出部１５は、時刻ｔ２までの蓄積情報を参照し、時刻ｔ３の画像において、一定以上の存在強度Ｑを示す位置に、エッジが存在するかを確認する。
イメージ画像４６におけるエッジ４６３は、時刻ｔ３のエッジ画像４３に確認されない。したがって、時刻ｔ３では、該当する位置の存在強度Ｑから、所定の値が算出される。所定の値が減算された結果、蓄積情報のイメージは、時刻ｔ３の時点で、イメージ画像４７のようになる。なお、加算する値および減算する値は、同一である必要はないが、図４および５については、説明上、同一の値とした。
なお、撮像方向とは異なる方向への移動がない場合には、存在強度を、より大きな値となるように更新する蓄積処理は行わない。存在強度が大きくなるほど、映り込みとして認識される確率が大きくなるが、映り込みとその他の特徴とを区別できない環境で撮像された画像を利用して、蓄積処理を行うことは、誤除去につながるためである。
次に、本実施例における画像処理の流れについて説明する。図６および図７は、画像処理の処理フローである。まず、取得部１３は、撮像装置１１から画像データを取得する（Ｏｐ．１）。なお、取得した画像データは、時刻ｔに撮像された画像の画像データである。そして、取得部１３は、取得した画像データに基づき、各画素の特徴量Ｍｉを算出する（Ｏｐ．２）。なお、本実施例においては、特徴量Ｍｉは、各画素のエッジ強度である。
次に、判定部１４は、過去の２時点の車両位置の情報が、存在するかを判定する（Ｏｐ．３）。例えば、判定部１４は、記憶部１８を参照し、１時刻前の車両位置Ｘ＿ｔ−１と、２時刻前の車両位置Ｘ＿ｔ−２とが格納されているかを判定する。なお、ここでは、最新の時刻ｔの一時刻前および二時刻前の車両位置を利用することとしたが、本判定の処理はこれに限られない。
例えば、記憶部１８に過去に算出された毎時刻の車両位置が記憶される場合に、判定部１４は、一時刻前の車両位置および、ｎ時刻前の車両位置が格納されているかを判定してもよい。また、記憶部１８には、基準となる車両位置Ｘ＿ｂａｓｅと一時刻前のＸ＿ｔ−１とが記憶される場合には、判定部１４は、Ｘ＿ｂａｓｅおよびＸ＿ｔ−１が格納されているかを判定してもよい。以下の処理により車両が撮像方向とは異なる方向へ移動したと判定された場合に、当該時点の車両位置がＸ＿ｂａｓｅに格納される。なお、異なる方向へ移動したと判定されるたびに、Ｘ＿ｂａｓｅは更新される。
過去の２時点の車両位置の情報が存在する場合（Ｏｐ．３Ｙｅｓ）、判定部１４は、移動距離ΔＸを算出する（Ｏｐ．４）。移動距離は、撮像方向とは異なる方向への移動距離である。つまり、本実施例においては、横移動の移動距離である。なお、本実施例においては、一時刻前における横移動の移動距離ΔＸを利用する。これは、撮像装置のフレーム間隔を考慮すると、一時刻前の情報であっても、時刻ｔにおける横移動の判定には十分であるためである。ただし、舵角センサなどを利用して、リアルタイムな横移動を判定してもよい。
次に、判定部１４は、移動距離ΔＸが閾値Ｔｘよりも大きいかを判定する（Ｏｐ．５）。移動距離ΔＸが閾値Ｔｘよりも大きい場合は、横移動ありと判定される。ΔＸが閾値Ｔｘ以下である場合は、横移動なしと判定される。閾値Ｔｘは、撮像装置の解像度などの内部パラメータや、取り付け条件を考慮して決定される。例えば、本実施例においては、閾値Ｔｘは２００ｍｍとする。
移動距離ΔＸが閾値Ｔｘよりも大きい場合（Ｏｐ．５Ｙｅｓ）、すなわち、横移動ありの場合、検出部１５は、特徴の蓄積処理を実行する（Ｏｐ．６）。ここで、蓄積処理について、詳細に説明する。図８は、特徴の蓄積処理のフローチャートである。
まず、検出部１５は、未処理の位置ｉを、対象位置に設定する（Ｏｐ．６１）。次に、検出部１５は、時刻ｔの画像における対象位置ｉの特徴量Ｍｉを取得する（Ｏｐ．６２）。次に、検出部１５は、対象画素の特徴量Ｍｉが、閾値Ｔｍ１以上であるかを判定する（Ｏｐ．６３）。
閾値Ｔｍ１は、例えば、撮像装置の内部パラメータや、特徴抽出のアルゴリズムに応じて決定される。例えば、本実施例においては、特徴量であるエッジ強度は０から２５５までの値をとるとし、閾値Ｔｍ１を、１０とする。
特徴量Ｍｉが閾値Ｔｍ１以上である場合（Ｏｐ．６３Ｙｅｓ）、検出部１５は、蓄積情報を参照し、対象位置ｉに対応する存在強度Ｑｉに所定の値Ｖｐを加算する（Ｏｐ．６４）。一方、特徴量Ｍｉが閾値Ｔｍ１よりも小さい場合（Ｏｐ．６３Ｎｏ）、検出部１５は、蓄積情報を参照し、対象位置ｉに対応する存在強度Ｑｉから所定の値Ｖｎ１を減算する（Ｏｐ．６５）。ただし、存在強度Ｑｉが０以下となる場合は、０とする。
つまり、時刻ｔの画像において、位置ｉに特徴が存在する場合は、検出部１５は、蓄積情報における存在強度Ｑｉを大きな値へ更新する。一方、時刻ｔの画像において、位置ｉに特徴が存在しない場合は、検出部１５は、蓄積情報における存在強度Ｑを小さな値へ更新する。
次に、検出部１５は、全位置ｉについて処理を終了したかを判定する（Ｏｐ．６６）。終了していない場合は（Ｏｐ．６６Ｎｏ）、Ｏｐ．６１へ戻るとともに、新たな位置ｉについて、同様の処理を行う。一方、終了している場合には（Ｏｐ．６６Ｙｅｓ）、特徴蓄積処理を終了する。そして、検出部１５は、後述の映り込み検出処理を実行する。
図６に戻り、過去の２時点の車両位置の情報が存在しない場合（Ｏｐ．３Ｎｏ）や、移動距離ΔＸが閾値Ｔｘ以下である場合（Ｏｐ．５Ｎｏ）、検出部１５は、特徴の確認処理を実行する（Ｏｐ．７）。ここで、特徴確認処理について、詳細に説明する。図９は、特徴の確認処理のフローチャートである。
検出部１５は、未処理の位置ｉを対象位置に設定する（Ｏｐ．７１）。検出部１５は、記憶部１８に記憶された蓄積情報から、対象位置ｉの存在強度Ｑｉを取得する（Ｏｐ．７２）。次に、検出部１５は、存在強度Ｑｉが閾値Ｔｑ１以上であるかを判定する（Ｏｐ．７３）。
閾値Ｔｑ１は、適用するシステムに応じて適当な値が設定される。存在強度Ｑｉの取りうる値の範囲に基づき、閾値Ｔｑ１は設定される。本実施例においては、Ｑは０から２５５の値をとり（Ｖｐは０．５）、閾値Ｔｑ１は３である。さらに、例えば、映り込み以外の誤除去の可能性をさらに低下させたい場合には、より小さな値が設定されてもよい。
存在強度Ｑｉが閾値Ｔｑ１以上である場合は（Ｏｐ．７３Ｙｅｓ）、検出部１５は、時刻ｔにおける画像の対象位置ｉに対応する画素の特徴量Ｍｉを取得する（Ｏｐ．７４）。そして、検出部１５は、特徴量Ｍｉが閾値Ｔｍ２より小さいかを判定する（ＯＰ．７５）。
つまり、過去の画像群において、一定以上の存在強度で、特徴が存在していた場合に、検出部１５は、当該位置に、時刻ｔ時点でも特徴が存在するかを確認する。閾値Ｔｍ２は、たとえは、撮像装置の内部パラメータや、特徴抽出のアルゴリズムに応じて決定される。例えば、閾値Ｔｍ２は、閾値Ｔｍ１と同じ値であってもよい。
特徴量Ｍｉが閾値Ｔｍ２より小さい場合は（Ｏｐ．７５Ｙｅｓ）、検出部１５は、対象位置ｉの存在強度Ｑｉから、所定の値Ｖｎ２を減算する（Ｏｐ．７６）。つまり、映り込みの消滅の可能性を検知した場合に、検出部１５は、映り込みである可能性が高い位置について、存在強度Ｑｉを低下させる。
次に、検出部１５は、全位置ｉについて処理を終了したかを判定する（Ｏｐ．７７）。終了していない場合は（Ｏｐ．７７Ｎｏ）、Ｏｐ．７１へ戻るとともに、新たな位置ｉについて、同様の処理を行う。一方、終了している場合には（Ｏｐ．７７Ｙｅｓ）、特徴確認処理を終了する。そして、検出部１５は、後述の映り込み検出処理を実行する。
また、存在強度Ｑｉが閾値Ｔｑ１よりも小さい場合（Ｏｐ．７３Ｎｏ）や、特徴量Ｍｉが閾値Ｔｍ２以上である場合も（Ｏｐ．７５Ｎｏ）、検出部１５は、処理Ｏｐ．７７を実行する。
ここで、Ｖｐ、Ｖｎ１、Ｖｎ２の関係について説明する。Ｖｐは、Ｖｎ１およびＶｎ２に対して大きく設定される。また、適用されるシステムに応じて、適宜Ｖｐと、Ｖｎ１およびＶｎ２の関係が決定される。つまり、誤除去の防止と映り込み除去のいずれを優先させたいかによって、両者の関係が決定される。
例えば、映り込み除去を優先する場合は、ＶｐをＶｎ１やＶｎ２に対して、より大きく設定する。つまり、横移動がある画像が撮像された場合に、より小さな遅延で、映り込み除去の対象となる閾値Ｔｑ２に、存在強度Ｑｉが到達する。
本実施例では、例えば、ＶｐはＶｎ１の２倍に設定する。なお、Ｖｎ１は、Ｑｉの値が取る幅を考慮して、適宜設定される。また、Ｖｎ２は、例えば、Ｖｎ１の半分に設定される。
次に、特徴蓄積処理（Ｏｐ．６）または特徴確認処理（Ｏｐ．７）が終了後、検出部１５は、映り込み検出処理を実行する（ＯＰ．８）。次に、映り込み検出処理について、詳細に説明する。図１０は、映り込み検出処理のフローチャートである。なお、特徴蓄積処理および特徴確認処理は、毎時刻実施されてもよいし、所定時間ごとに実施されても良い。
まず、検出部１５は、未処理の位置ｉを対象位置に設定する（Ｏｐ．８１）。次に、検出部１５は、記憶部１８に記憶された蓄積情報から、対象位置ｉの存在強度Ｑｉを取得する（Ｏｐ．８２）。次に、存在強度Ｑｉが閾値Ｔｑ２以上であるかを判定する（Ｏｐ．８３）。
閾値Ｔｑ２は、ＶｐやＶｎ１、Ｖｎ２を考慮して決定される。例えば、映り込みの除去を、より遅延が小さく実行したい場合は、閾値Ｔｑ２は小さな値に設定される。本実施例においては、閾値Ｔｑ２は、Ｖｐの５倍に設定する。
存在強度Ｑｉが閾値Ｔｑ２以上である場合には（Ｏｐ．８３Ｙｅｓ）、時刻ｔにおける画像の位置ｉに存在する特徴を映り込みとして検出する。つまり、検出部１５は、対象位置ｉの画素の特徴量Ｍｉを０に設定する（Ｏｐ．８４）。つまり、時刻ｔの画像から映り込み由来の特徴が除去される。本実施例においては、エッジ画像におけるエッジ強度を、０に設定することで、エッジが除去される。
なお、本実施例においては、映り込みを検出した場合に、当該映り込みを除去する。しかし、これに限らず、後段の処理によっては、除去を行わずに、検出結果のみを出力するとしてもよい。
次に、検出部１５は、全位置ｉについて処理を終了したかを判定する（Ｏｐ．８５）。なお、存在強度Ｑｉが閾値Ｔｑ２より小さい場合にも（Ｏｐ．８３Ｎｏ）、処理Ｏｐ．８５が実行される。
全位置ｉについて処理が終了していない場合は（Ｏｐ．８５Ｎｏ）、Ｏｐ．８１へ戻るとともに、新たな位置ｉについて、同様の処理を行う。一方、終了している場合には（Ｏｐ．８５Ｙｅｓ）、映り込み検出処理を終了する。そして、検出部１５は、検出された映り込みが除去された画像を、後段の処理を実行する処理部へ出力する。
図６における映り込み検出処理（Ｏｐ．８）が終了すると、図７のＯｐ．９以降の処理が実行される。まず、認識部１６は、映り込みが除去された画像に対して、認識対象物を認識する（Ｏｐ．９）。なお、認識対象物に応じて、従来知られている各種アルゴリズムが適用される。例えば、認識部１６は、車線認識アルゴリズムを適用して、車線を認識する。そして、認識部１６は、認識結果を、後段の処理へ出力する。
次に、算出部１７は、車線の位置情報、および各種パラメータに基づき、時刻ｔにおける車両位置Ｘｔを算出する（Ｏｐ．１０）。なお、車線の位置を利用した車両位置Ｘｔの算出方法は、従来の手法が適用される。
例えば、算出部１７は、路面上の車線位置のモデル化を行う。そして、画像上での車線位置から路面上の車線位置Ｘを算出する。以下の式が適用される。
Figure 0006102213
ｘは、画像上での車線のｘ座標である。ｙは、画像上での車線のｙ座標である。ｆは、撮像装置のレンズの焦点距離である。Ｈは、撮像装置の取り付け高さである。Ｗは、道路交通法などで定められた車線の横幅である。θは、撮像装置のヨー角である。φは、カメラのピッチ角である。ｃは、道路の曲率である。ｋは、車線方向に依存した定数であって、左側車線であれば−１、右側車線であれば＋１となる。
ｘおよびｙは、認識結果から取得される値である。ｆ、Ｈ、Ｗ、ｋはあらかじめ設定される値である。上記式を利用し、線形近似による繰り返し演算を行うことにより、車両位置Ｘをはじめ、ヨー角θ、ピッチ角φ、道路の曲率ｃが算出される。本実施例においては、後段の処理において車両位置Ｘのみを利用するため、車両位置Ｘを出力するが、ヨー角θ、ピッチ角φ、道路の曲率ｃを出力するとしてもよい。
算出部１７は、算出した車両位置Ｘｔを、警報装置１９へ出力するとともに、記憶部１８へ記憶する（Ｏｐ．１１）。例えば、警報装置１９は、車両位置Ｘｔが、車両が車線を逸脱していることを示す場合に、スピーカーを通して、警報音を出力する。
そして、算出部１７は、画像処理を終了するかを判定する（Ｏｐ．１２）。画像処理を終了する場合には（Ｏｐ．１２Ｙｅｓ）、一連の処理を終了する。一方、画像処理を継続する場合には（Ｏｐ．１２Ｎｏ）、Ｏｐ．１へ戻り、新たな画像について処理を繰り返す。例えば、エンジンが停止した場合には、画像処理を終了する。
このように、映り込み画像から映り込みを除去する技術において、画像処理装置１２は、撮像方向とは異なる方向への車両が移動した場合の画像を対象として、映り込みを検出することができる。つまり、撮像方向とは異なる方向への車両が移動した場合の画像間で同位置に存在する特徴が、映り込みとして検出される。したがって、画像処理装置１２は、映り込みと映り込み以外の物体を正確に区別することができる。
図１１は、画像処理装置１２として機能するコンピュータ２００のハードウェア構成の一例を示す図である。なお、コンピュータ２００は、カメラ２０７とともに、運転支援装置１０として機能する場合もある。
コンピュータ２００は、カメラ２０７、スピーカー２０８と接続される。カメラ２０７は、撮像装置１１の一例である。スピーカー２０８は、警報装置１９が警報を行う際に、警報装置１９の制御の下、警報音を出力する装置である。
コンピュータ２００はＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２０１、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２０２，ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２０３，ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）２０４、通信装置２０５を有する。なお、コンピュータ２００は、さらに、媒体読取装置を有していてもよい。
各部はバス２０６を介して相互に接続されている。そして、各部は、ＣＰＵ２０１による管理下で相互にデータの送受を行うことができる。
図６および７に示される画像処理方法が記述されたプログラムが、コンピュータ２００が読み取り可能な記録媒体に記録される。コンピュータ２００が読み取り可能な記録媒体には、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリなどがある。磁気記録装置には、ＨＤＤ、フレキシブルディスク（ＦＤ）、磁気テープ（ＭＴ）などがある。
光ディスクには、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）、ＤＶＤ−ＲＡＭ、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ − Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＣＤ−Ｒ（Ｒｅｃｏｒｄａｂｌｅ）／ＲＷ（ＲｅＷｒｉｔａｂｌｅ）などがある。光磁気記録媒体には、ＭＯ（Ｍａｇｎｅｔｏ − Ｏｐｔｉｃａｌ ｄｉｓｋ）などがある。このプログラムを流通させる場合には、例えば、そのプログラムが記録されたＤＶＤ、ＣＤ−ＲＯＭなどの可搬型記録媒体が販売されることが考えられる。
そして、例えば媒体読取装置が、画像処理プログラムを記録した記録媒体から、該プログラムを読み出す。ＣＰＵ２０１は、読み出されたプログラムをＨＤＤ２０４に格納する。また、各種プログラムはＣＰＵ２０１とアクセス可能なＲＯＭ２０２やＲＡＭ２０３に格納されていても良い。
ＣＰＵ２０１は、コンピュータ２００の全体の動作制御を司る中央処理装置である。そして、ＣＰＵ２０１が、各種プログラムをＨＤＤ２０４から読み出して実行することで、ＣＰＵ２０１は、取得部１３、判定部１４、検出部１５、認識部１６、算出部１７として機能する。
さらにＨＤＤ２０４は、ＣＰＵ２０１の管理下で記憶部１８として機能する。プログラム同様、記憶部１８の情報はＣＰＵ２０１とアクセス可能なＲＯＭ２０２やＲＡＭ２０３に格納されても良い。また、ＲＡＭ２０３は、処理の過程で一時的に生成された情報を記憶する。通信装置２０５は、インタフェースを介して接続される他のデバイスと情報の授受を行う。つまり、通信装置２０５が、取得部１３の一部の機能を担ってもよい。
１０ 運転支援装置
１１ 撮像装置
１２ 画像処理装置
１３ 取得部
１４ 判定部
１５ 検出部
１６ 認識部
１７ 算出部
１８ 記憶部
１９ 警報装置
２００ コンピュータ
２０１ ＣＰＵ
２０２ ＲＯＭ
２０３ ＲＡＭ
２０４ ＨＤＤ
２０５ 通信装置
２０６ バス
２０７ カメラ
２０８ スピーカー

Claims (7)

  1. 移動体とともに移動する撮像装置であって、該移動体の所定の移動方向を撮像方向とする撮像装置によって、それぞれ異なるタイミングで撮影された複数の画像の画像データを取得する取得部と、
    前記複数の画像に含まれる、前記撮像方向とは異なる方向へ前記移動体が移動したと判定された画像データと前記撮像方向とは異なる方向への前記移動体の移動がないと判定された画像データのうちの、前記異なる方向へ前記移動体が移動したと判定された画像データのみにおける特徴の位置情報に基づき、該特徴の中から映り込みに起因する特徴を検出する検出部と
    を有することを特徴とする画像処理装置。
  2. 前記複数の画像それぞれについて、前記異なる方向への前記移動体があるか否かを判定する判定部をさらに備え、
    前記検出部は、前記異なる方向へ前記移動体が移動したと判定された複数の画像データにおける前記特徴の前記位置情報に対して、該特徴が存在する頻度に依存する存在強度を、より大きな値に更新するとともに、該存在強度が閾値以上となる位置に前記映り込みに起因する特徴を検出することを特徴とする請求項１記載の画像処理装置。
  3. 前記所定の移動方向は、前記移動体の前進方向であって、前記異なる方向は、横方向であることを特徴とする請求項１または２記載の画像処理装置。
  4. 前記検出部は、検出された前記映り込みに起因する特徴を、前記複数の画像データから除去するとともに、
    前記映り込みが除去された前記複数の画像データに対して、対象物を認識する処理を実行する認識部をさらに備えることを特徴とする請求項１乃至３のいずれか一項に記載の画像処理装置。
  5. 前記対象物は車線を形成するラインであって、前記移動体は車両であることを特徴とする請求項４記載の画像処理装置。
  6. 移動体とともに移動する撮像装置であって、該移動体の所定の移動方向を撮像方向とする撮像装置と通信可能なコンピュータが、
    前記撮像装置によって、それぞれ異なるタイミングで撮影された複数の画像の画像データを取得し、
    前記複数の画像に含まれる、前記撮像方向とは異なる方向へ前記移動体が移動したと判定された画像データと前記撮像方向とは異なる方向への前記移動体の移動がないと判定された画像データのうちの、前記異なる方向へ前記移動体が移動したと判定された画像データのみにおける特徴の位置情報に基づき、該特徴の中から映り込みに起因する特徴を検出する処理を実行することを特徴とする画像処理方法。
  7. 移動体とともに移動する撮像装置であって、該移動体の所定の移動方向を撮像方向とする撮像装置と通信可能なコンピュータに、
    前記撮像装置によって、それぞれ異なるタイミングで撮影された複数の画像の画像データを取得し、
    前記複数の画像に含まれる、前記撮像方向とは異なる方向へ前記移動体が移動したと判定された画像データと前記撮像方向とは異なる方向への前記移動体の移動がないと判定された画像データのうちの、前記異なる方向へ前記移動体が移動したと判定された画像データのみにおける特徴の位置情報に基づき、該特徴の中から映り込みに起因する特徴を検出する、
    処理を実行させることを特徴とする画像処理プログラム。
JP2012255936A 2012-11-22 2012-11-22 画像処理装置、画像処理方法および画像処理プログラム Active JP6102213B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2012255936A JP6102213B2 (ja) 2012-11-22 2012-11-22 画像処理装置、画像処理方法および画像処理プログラム
US14/036,790 US9600988B2 (en) 2012-11-22 2013-09-25 Image processing device and method for processing image
EP13186367.2A EP2735996B1 (en) 2012-11-22 2013-09-27 Image processing device and method for processing image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012255936A JP6102213B2 (ja) 2012-11-22 2012-11-22 画像処理装置、画像処理方法および画像処理プログラム

Publications (2)

Publication Number Publication Date
JP2014102775A JP2014102775A (ja) 2014-06-05
JP6102213B2 true JP6102213B2 (ja) 2017-03-29

Family

ID=49328333

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012255936A Active JP6102213B2 (ja) 2012-11-22 2012-11-22 画像処理装置、画像処理方法および画像処理プログラム

Country Status (3)

Country Link
US (1) US9600988B2 (ja)
EP (1) EP2735996B1 (ja)
JP (1) JP6102213B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI611961B (zh) * 2016-06-01 2018-01-21 緯創資通股份有限公司 車道線影像分析方法、影像分析裝置及其電腦可讀取式媒體
CN111241900B (zh) * 2019-04-12 2021-02-05 宁夏爱特云翔信息技术有限公司 交通环境现场维护方法
CN110645973B (zh) * 2019-09-24 2021-06-25 森思泰克河北科技有限公司 车辆定位方法

Family Cites Families (59)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7415126B2 (en) * 1992-05-05 2008-08-19 Automotive Technologies International Inc. Occupant sensing system
US7663502B2 (en) * 1992-05-05 2010-02-16 Intelligent Technologies International, Inc. Asset system control arrangement and method
US4630904A (en) * 1985-01-22 1986-12-23 Ronald Pastore Combination rear view mirror and digital displays
US5910854A (en) * 1993-02-26 1999-06-08 Donnelly Corporation Electrochromic polymeric solid films, manufacturing electrochromic devices using such solid films, and processes for making such solid films and devices
US7339149B1 (en) * 1993-02-26 2008-03-04 Donnelly Corporation Vehicle headlight control using imaging sensor
US5956181A (en) * 1997-07-18 1999-09-21 Lin; William Two way mirror with dual functions of rear view mirror and video displayer
US6087953A (en) * 1998-02-18 2000-07-11 Donnelly Corporation Rearview mirror support incorporating vehicle information display
JP3373773B2 (ja) * 1998-01-27 2003-02-04 株式会社デンソー レーンマーク認識装置、車両走行制御装置および記録媒体
US6266442B1 (en) * 1998-10-23 2001-07-24 Facet Technology Corp. Method and apparatus for identifying objects depicted in a videostream
JP3733875B2 (ja) * 2000-09-29 2006-01-11 日産自動車株式会社 道路白線認識装置
US6965379B2 (en) * 2001-05-08 2005-11-15 Koninklijke Philips Electronics N.V. N-view synthesis from monocular video of certain broadcast and stored mass media content
JP3807253B2 (ja) 2001-05-25 2006-08-09 日産自動車株式会社 走行路検出装置
US7068844B1 (en) * 2001-11-15 2006-06-27 The University Of Connecticut Method and system for image processing for automatic road sign recognition
US7054491B2 (en) * 2001-11-16 2006-05-30 Stmicroelectronics, Inc. Scalable architecture for corresponding multiple video streams at frame rate
US7199767B2 (en) * 2002-03-07 2007-04-03 Yechezkal Evan Spero Enhanced vision for driving
AU2003237424A1 (en) * 2002-06-06 2003-12-22 Donnelly Corporation Interior rearview mirror system with compass
US7602413B2 (en) * 2002-10-18 2009-10-13 Sony Corporation Information processing system and method, information processing apparatus, image-capturing device and method, recording medium, and program
US7221363B2 (en) * 2003-02-12 2007-05-22 Gentex Corporation Vehicle information displays
DE502005007961D1 (de) * 2004-10-26 2009-10-01 Volkswagen Ag Rückspiegel für ein kraftfahrzeug
JP2006252138A (ja) * 2005-03-10 2006-09-21 Omron Corp 運転者撮影装置および運転者監視装置
JP4616068B2 (ja) * 2005-04-28 2011-01-19 本田技研工業株式会社 車両、画像処理システム、画像処理方法及び画像処理プログラム
US7626749B2 (en) * 2005-05-16 2009-12-01 Donnelly Corporation Vehicle mirror assembly with indicia at reflective element
JP2007127525A (ja) * 2005-11-04 2007-05-24 Aisin Aw Co Ltd 移動量演算装置
JP4797588B2 (ja) * 2005-11-17 2011-10-19 アイシン精機株式会社 車両周辺表示装置
EP1968014B1 (en) * 2005-12-28 2012-12-19 Honda Motor Co., Ltd. Vehicle and lane mark detection device
US20070159531A1 (en) * 2006-01-10 2007-07-12 Anderson Margaret T Vehicle back seat monitoring apparatus
CN101460971B (zh) 2006-06-08 2012-06-27 富士通株式会社 污物检测装置
JP2007098567A (ja) * 2006-09-25 2007-04-19 Hitachi Ltd 自律制御型ロボットおよびその制御装置
US8055079B2 (en) * 2007-03-06 2011-11-08 Sharp Kabushiki Kaisha Image processing method, image processing apparatus, and image forming apparatus
US8031062B2 (en) * 2008-01-04 2011-10-04 Smith Alexander E Method and apparatus to improve vehicle situational awareness at intersections
JP4883013B2 (ja) * 2008-01-17 2012-02-22 トヨタ自動車株式会社 顔画像処理装置
WO2009116242A1 (ja) * 2008-03-18 2009-09-24 パナソニック株式会社 運転者監視装置、運転者監視方法及び車両
JP5083658B2 (ja) * 2008-03-26 2012-11-28 本田技研工業株式会社 車両用車線認識装置、車両、及び車両用車線認識プログラム
JP5034087B2 (ja) 2008-03-31 2012-09-26 本田技研工業株式会社 車両走行支援装置、車両、車両走行支援プログラム
US8154418B2 (en) * 2008-03-31 2012-04-10 Magna Mirrors Of America, Inc. Interior rearview mirror system
US8751154B2 (en) * 2008-04-24 2014-06-10 GM Global Technology Operations LLC Enhanced clear path detection in the presence of traffic infrastructure indicator
JP2010061375A (ja) * 2008-09-03 2010-03-18 Toyota Central R&D Labs Inc 物体認識装置及びプログラム
EP2351351B1 (en) 2008-10-01 2015-09-16 Connaught Electronics Limited A method and a system for detecting the presence of an impediment on a lens of an image capture device to light passing through the lens of an image capture device
JP5267101B2 (ja) 2008-12-18 2013-08-21 マツダ株式会社 車両用対象物検出装置
US8411245B2 (en) * 2009-02-06 2013-04-02 Gentex Corporation Multi-display mirror system and method for expanded view around a vehicle
US8395529B2 (en) * 2009-04-02 2013-03-12 GM Global Technology Operations LLC Traffic infrastructure indicator on head-up display
JP5451302B2 (ja) * 2009-10-19 2014-03-26 キヤノン株式会社 画像処理装置及び方法、プログラム及び記憶媒体
US8576069B2 (en) * 2009-10-22 2013-11-05 Siemens Corporation Mobile sensing for road safety, traffic management, and road maintenance
JP6016322B2 (ja) * 2010-03-19 2016-10-26 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
JP5743416B2 (ja) * 2010-03-29 2015-07-01 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
JP5469509B2 (ja) 2010-03-31 2014-04-16 パナソニック株式会社 車線位置検出装置および車線位置検出方法
US8471691B2 (en) * 2010-06-15 2013-06-25 GM Global Technology Operations LLC Portable vision system
US8509982B2 (en) * 2010-10-05 2013-08-13 Google Inc. Zone driving
JP5541099B2 (ja) 2010-11-05 2014-07-09 株式会社デンソー 道路区画線認識装置
JP5345999B2 (ja) 2010-11-16 2013-11-20 本田技研工業株式会社 レーンマーク認識装置
US20120224060A1 (en) * 2011-02-10 2012-09-06 Integrated Night Vision Systems Inc. Reducing Driver Distraction Using a Heads-Up Display
JP2012234257A (ja) * 2011-04-28 2012-11-29 Sony Corp 画像処理装置と画像処理方法およびプログラム
US8744169B2 (en) * 2011-05-31 2014-06-03 Toyota Motor Europe Nv/Sa Voting strategy for visual ego-motion from stereo
US8791835B2 (en) * 2011-10-03 2014-07-29 Wei Zhang Methods for road safety enhancement using mobile communication device
US20130106682A1 (en) * 2011-10-31 2013-05-02 Elwha LLC, a limited liability company of the State of Delaware Context-sensitive query enrichment
US20130106894A1 (en) * 2011-10-31 2013-05-02 Elwha LLC, a limited liability company of the State of Delaware Context-sensitive query enrichment
US9349069B2 (en) * 2011-11-21 2016-05-24 Analog Devices, Inc. Dynamic line-detection system for processors having limited internal memory
JP5935435B2 (ja) * 2012-03-26 2016-06-15 富士通株式会社 画像処理装置、画像処理方法
US8825259B1 (en) * 2013-06-21 2014-09-02 Google Inc. Detecting lane closures and lane shifts by an autonomous vehicle

Also Published As

Publication number Publication date
JP2014102775A (ja) 2014-06-05
EP2735996B1 (en) 2018-02-21
EP2735996A3 (en) 2015-03-11
EP2735996A2 (en) 2014-05-28
US20140139673A1 (en) 2014-05-22
US9600988B2 (en) 2017-03-21

Similar Documents

Publication Publication Date Title
JP6440411B2 (ja) 物体検出装置
KR101609303B1 (ko) 카메라 캘리브레이션 방법 및 그 장치
US9665781B2 (en) Moving body detection device and moving body detection method
JP7206583B2 (ja) 情報処理装置、撮像装置、機器制御システム、移動体、情報処理方法およびプログラム
JP6769477B2 (ja) 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム
JP6816401B2 (ja) 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム
JP2008165765A (ja) 車両側面画像取得方法及び装置、車灯誤識別検出方法及び安全運転予測方法
JP2014067198A (ja) 移動物体認識装置
JP6331811B2 (ja) 信号機検出装置及び信号機検出方法
KR102304851B1 (ko) Ecu, 상기 ecu를 포함하는 무인 자율 주행 차량, 및 이의 주변 차량 인지 방법
JP2014009975A (ja) ステレオカメラ
WO2018058355A1 (zh) 汽车可行驶区域实时检测方法和系统
JP6102213B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
JP6516012B2 (ja) 画像処理装置、物体認識装置、機器制御システム、画像処理方法およびプログラム
JP2007249257A (ja) 移動体検出装置および移動体検出方法
JP3651419B2 (ja) 環境認識装置
JP2019066333A (ja) 車両用外界認識装置
US10789727B2 (en) Information processing apparatus and non-transitory recording medium storing thereon a computer program
JP2012252501A (ja) 走行路認識装置及び走行路認識用プログラム
JP4502733B2 (ja) 障害物測定方法及び障害物測定装置
JP6992356B2 (ja) 情報処理装置、撮像装置、機器制御システム、移動体、情報処理方法およびプログラム
JP5261752B2 (ja) ドライブレコーダ
JP6763198B2 (ja) 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム
JP5345999B2 (ja) レーンマーク認識装置
WO2020036039A1 (ja) ステレオカメラ装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150706

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20160401

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160616

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160621

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160822

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170131

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170213

R150 Certificate of patent or registration of utility model

Ref document number: 6102213

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150