JP5483535B2 - 車両周辺認知支援装置 - Google Patents

車両周辺認知支援装置 Download PDF

Info

Publication number
JP5483535B2
JP5483535B2 JP2009181721A JP2009181721A JP5483535B2 JP 5483535 B2 JP5483535 B2 JP 5483535B2 JP 2009181721 A JP2009181721 A JP 2009181721A JP 2009181721 A JP2009181721 A JP 2009181721A JP 5483535 B2 JP5483535 B2 JP 5483535B2
Authority
JP
Japan
Prior art keywords
moving body
vehicle
unit
image
optical flow
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2009181721A
Other languages
English (en)
Other versions
JP2011035777A (ja
Inventor
昇 長嶺
一矢 渡邊
智幸 松葉
淳 門脇
俊宏 森
裕一 大下
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aisin AW Co Ltd
Aisin Corp
Original Assignee
Aisin Seiki Co Ltd
Aisin AW Co Ltd
Aisin Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aisin Seiki Co Ltd, Aisin AW Co Ltd, Aisin Corp filed Critical Aisin Seiki Co Ltd
Priority to JP2009181721A priority Critical patent/JP5483535B2/ja
Priority to KR1020127003992A priority patent/KR101343331B1/ko
Priority to CN2010800347178A priority patent/CN102474598A/zh
Priority to EP10806366.0A priority patent/EP2464112B1/en
Priority to US13/388,849 priority patent/US8964034B2/en
Priority to PCT/JP2010/062657 priority patent/WO2011016367A1/ja
Publication of JP2011035777A publication Critical patent/JP2011035777A/ja
Application granted granted Critical
Publication of JP5483535B2 publication Critical patent/JP5483535B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D15/00—Steering not otherwise provided for
    • B62D15/02—Steering position indicators ; Steering position determination; Steering aids
    • B62D15/027—Parking aids, e.g. instruction means
    • B62D15/0275—Parking aids, e.g. instruction means by overlaying a vehicle path based on present steering angle over an image without processing that image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/168—Driving aids for parking, e.g. acoustic or visual feedback on parking space
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B60R2300/305—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images merging camera image with lines or icons
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/307—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8033—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for pedestrian protection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/806—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for aiding parking
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8086—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for vehicle path indication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Description

本発明は、車両周囲において安全確認を要する対象に対して、運転者が煩わしさを感じることなく自然に意識を向けるきっかけを与えることのできる認知支援技術に関する。
車両の運転に際して、車両周辺の状況、例えば人や他の物体などの存在や接近を運転者が確認することが重要である。近年、車両にカメラを搭載して、撮影された画像を車内のモニタ装置に表示させることによって、この確認を助けるような運転支援装置や車両周辺監視装置が実用化されている。車両周辺において当該車両に接近する人や物体などの移動体の検出には、超音波やレーダーなどを利用したセンサが用いられる。また、画像処理によって、静止物体と移動体とを区別して移動体認識を行う技術も知られている。
画像処理を利用した移動体認識には、しばしば、オプティカルフローの原理が応用される。例えば、特開平８−１９４８２２号公報（特許文献１）には、オプティカルフローの消失点（ＦＯＥ：focus of expansion）の時間的な位置変化を解析して、この位置変化が所定の変化量以上の時に移動体の出現を検知する技術が開示されている。また、特開２００５−１２３９６８号公報（特許文献２）には、オプティカルフローを用いた検出結果に基づいて、画像中の移動体の周囲に枠を設けたり、警報音や音声メッセージを発したりすることによって運転者に報知する技術が開示されている。
特開平８−１９４８２２号公報（第６１〜６８段落等） 特開２００５−１２３９６８号公報（第１３〜１９段落等）
画像中に明示したり、警報音や音声メッセージを発したりすることによって、移動体の存在や自車両への接近を運転者に報知すると、運転者によっては、煩わしさを覚える可能性がある。また、移動体の存在や自車両への接近を誤って検出した場合には、さらに煩わしさを覚える可能性がある。車室内に設けられたモニタ装置などは、確かに運転を補助するものであるが、あくまでも補助的に利用されることが好ましい。運転に際しては運転者自身の五感を用いた確認、特に直接目視による確認がなされることが望ましい。
上記に鑑み、車両周囲において安全確認を要する対象に対して、運転者が煩わしさを感じることなく自然に意識を向けるきっかけを与えることのできる車両周辺認知支援の技術が求められる。
上記課題に鑑みて創案された本発明に係る車両周辺認知支援装置の特徴構成は、
車両の周辺を撮影する車載カメラにより時系列に撮影された複数のフレームからなる撮影画像を受け取る画像受取部と、
異なる時刻に撮影された複数の前記フレームに含まれる特徴点に基づいてオプティカルフローを演算するオプティカルフロー演算部と、
前記オプティカルフローに基づいて前記車両の周辺の移動体を検出する移動体検出部と、
前記オプティカルフローに基づいて前記移動体の移動軌跡を示す表示を前記撮影画像に
重畳させる重畳部と、
前記車両を駐車させる駐車目標を設定する駐車目標設定部と、
前記駐車目標への前記車両の予想進路を演算する進路演算部と、を備え、
前記移動体検出部により、前記移動体が前記駐車目標と前記予想進路との少なくとも一つに接近又は存在することを検出した場合には、前記重畳部が当該移動体の移動軌跡を示す表示を前記撮影画像に重畳し、前記移動体が前記駐車目標と前記予想進路との少なくとも一つから遠ざかることを検出した場合には、前記重畳部が前記移動軌跡を示す表示を前記撮影画像に重畳しない点にある。
オプティカルフローは、移動体の動きベクトルであるから、オプティカルフローに基づいて撮影画像に重畳される移動軌跡は、良好に移動体の動きを表すものとなる。この移動軌跡により、移動体の躍動感が撮影画像に示されるので、運転者はその躍動感を感じることができる。移動体が存在することが、警報音や音声メッセージによって運転者に知らされるものではなく、また、枠などによって明示的に画像中に示されるものでもないので、運転者が煩わしさを感じることもない。つまり、本構成によれば、車両周囲において安全確認を要する対象に対して、運転者が煩わしさを感じることなく自然に意識を向けるきっかけを与えることが可能となる。
また、駐車目標と、予想進路との少なくとも一つに移動体が接近する又は存在することを検出すると、移動体の移動軌跡を示す表示が撮影画像に重畳表示される。これとは逆に、駐車目標と、予想進路との少なくとも一つから移動体が遠ざかることを検出すると移動体の移動軌跡を撮影画像に重畳表示されない。
また、本発明に係る車両周辺認知支援装置の特徴構成は、
車両の周辺を撮影する車載カメラにより時系列に撮影された複数のフレームからなる撮影画像を受け取る画像受取部と、
異なる時刻に撮影された複数の前記フレームに含まれる特徴点に基づいてオプティカルフローを演算するオプティカルフロー演算部と、
前記オプティカルフローに基づいて前記車両の周辺の移動体を検出する移動体検出部と、
前記オプティカルフローに基づいて前記移動体の移動軌跡を示す表示を前記撮影画像に重畳させる重畳部と、を備え、
前記移動体検出部により、前記移動体が前記車両との位置関係により設定される想定進路に接近又は存在することを検出した場合には、前記重畳部が前記移動体の移動軌跡を示す表示を前記撮影画像に重畳し、前記移動体が前記想定進路から遠ざかることを検出した場合には、前記重畳部が前記移動軌跡を示す表示を前記撮影画像に重畳しない点にある。
オプティカルフローは、移動体の動きベクトルであるから、オプティカルフローに基づいて撮影画像に重畳される移動軌跡は、良好に移動体の動きを表すものとなる。この移動軌跡により、移動体の躍動感が撮影画像に示されるので、運転者はその躍動感を感じることができる。移動体が存在することが、警報音や音声メッセージによって運転者に知らされるものではなく、また、枠などによって明示的に画像中に示されるものでもないので、運転者が煩わしさを感じることもない。つまり、本構成によれば、車両周囲において安全確認を要する対象に対して、運転者が煩わしさを感じることなく自然に意識を向けるきっかけを与えることが可能となる。
また、移動体が、想定進路に接近又は存在することを検出すると、移動体の移動軌跡を示す表示が撮影画像に重畳表示される。これとは逆に、移動体が、想定進路から遠ざかることを検出すると、移動体の移動軌跡を示す表示を撮影画像に重畳されない。
また、本発明に係る車両周辺認知支援装置は、前記撮影画像を構成する前記フレームの内の１つである対象フレームにおいて、前記移動体を構成する画素の少なくとも一部を含む画像領域を対象画像領域として設定し、当該対象画像領域の画素を用いて残像画像を生成する残像生成部を備え、前記重畳部は、前記対象フレームに続くフレームに、所定の重み付けを与えて前記残像画像を重畳すると好適である。
残像は、動きの速いものが撮影された場合には、通常の撮影画像においても生じるものである。また、肉眼であっても残像を感じる場合がある。従って、一般的に残像は動きの速い移動体を想起させるものである。人や自転車などの通常の移動体を１秒間に１５〜３０フレーム程度の速度で通常に撮影した場合には残像は生じない。換言すれば、通常の撮影画像において残像を見たり、感じたりする機会は少ない。逆に、人工的に残像画像を生成し、撮影画像に重畳させることによって、この撮影画像を見る、又は撮影画像が見える（目に入る）運転者に対して、移動体の存在を連想させることができる。残像画像は、移動体の軌跡に応じたものであるので、運転者は移動体の存在及び動く方向と軌跡とを瞬時に把握することができる。さらに、瞬時に移動体の動きが把握できることにより、モニターばかりを注視させることなく、車両周辺の確認を効率的に行うことができる。
また、本発明に係る車両周辺認知支援装置の前記重畳部は、可視化された前記オプティカルフローを前記撮影画像に重畳すると好適である。
オプティカルフローは、移動体の動きベクトルであるから、オプティカルフローを可視化すると、動きを示す補助線となる。この補助線が撮影画像に重畳されることによって、例えば、漫画やイラストなどにおいて動きを表現する補助線のように移動体の動きを直感的な表現で示すことが可能となる。
車両のシステム構成の一例を模式的に示すブロック図 車両周辺認知支援装置の機能構成の一例を模式的に示すブロック図 オプティカルフローとそれを利用した残像について説明する図 残像画像の生成と撮影画像への重畳を説明する図 残像画像が重畳された表示画像の第１の例を示す図 残像画像が重畳された表示画像の第２の例を示す図 残像画像が重畳された表示画像の第３の例を示す図 残像画像が重畳された表示画像の第４の例を示す図 可視化されたオプティカルフローが重畳された表示画像の例を示す図 認知支援のための表示画像の他の例を示す図
以下、本発明の車両周辺認知支援装置を駐車支援装置に適用する場合の実施形態を図面に基づいて説明する。図１は、このような駐車支援装置４０を搭載する車両９０のシステム構成の一例を模式的に示すブロック図である。駐車支援装置４０には、画像認識や進路予想などの高度な演算処理を行い、駐車支援装置４０の中核を担うＣＰＵ（central processing unit）５が備えられている。ＣＰＵ５は、プログラムメモリ６に格納されたプログラムやパラメータを利用して各種演算処理を実行する。また、ＣＰＵ５は、必要に応じてワークメモリ７に一次的に撮影画像などを格納して演算を実行する。ここでは、プログラムメモリ６やワークメモリ７が、ＣＰＵ５とは別のメモリである例を示しているが、ＣＰＵ５と同一のパッケージ内に集積されていてもよい。駐車支援装置４０は、ＣＰＵ５やメモリ、その他の周辺回路と共に、運転支援ＥＣＵ（electronic control unit）９として構成される。本例では、ＣＰＵ５を中核としたが、駐車支援装置４０は、ＤＳＰ（digital signal processor）など、他の論理演算プロセッサや論理回路を中核として構成されてもよい。
図１に示すように、カメラ１（車載カメラ）により撮影された画像は、スーパーインポーズ部２ａ、グラフィック描画部２ｂ、フレームメモリ２ｃなどを有する画像処理モジュール２を介して、モニタ装置４に表示される。カメラ１は、ＣＣＤ（charge coupled device）やＣＩＳ（CMOS image sensor）などの撮像素子を用いて、毎秒１５〜３０フレームの２次元画像を時系列に撮影し、デジタル変換して動画データ（撮影画像）を出力するデジタルカメラである。各フレームの２次元画像は、フレームメモリ２ｃに格納され、フレームごとに画像処理やグラフィックの重畳を施されることが可能である。グラフィック描画部２ｂへの描画指示や、スーパーインポーズ部２ａへのグラフィック重畳指示は、ＣＰＵ５から発せられる。
モニタ装置４は、例えば、ナビゲーションシステムのモニタ装置が兼用される。図１に示すように、モニタ装置４は、表示部４ａと、表示部４ａに形成されたタッチパネル４ｂと、スピーカ４ｃとを有している。表示部４ａは、画像処理モジュール２から提供されるカメラ１の撮影画像や、グラフィック画像、それらが合成された合成画像などを表示する。一例として、表示部４ａは液晶ディスプレイによって構成される。タッチパネル４ｂは、表示部４ａと共に形成され、指などによる接触位置をロケーションデータとして出力することができる感圧式や静電式の指示入力装置である。図１においては、スピーカ４ｃは、モニタ装置４に備えられている場合を例示しているが、スピーカ４ｃはドアの内側など、他の場所に備えられても良い。スピーカ４ｃは、ＣＰＵ５の指示に応じて音声処理モジュール３から提供される音声を出力する。尚、ＣＰＵ５は、単純にブザー８を介して報知音を鳴らす場合もある。
ＣＰＵ５は、図１において符号５０で示す車内ネットワークを介して種々のシステムやセンサと通信可能に接続されている。本実施形態においては、車内ネットワークとしてＣＡＮ（controller area network）５０を例示している。図１に示すように、駐車支援装置４０（ＣＰＵ５）は、車内のパワーステアリングシステム３１やブレーキシステム３７と接続される。これら各システムは、駐車支援装置４０と同様にＣＰＵなどの電子回路を中核として構成され、運転支援ＥＣＵ９と同様に周辺回路と共にＥＣＵを有して構成される。
パワーステアリングシステム３１は、電動パワーステアリング（EPS : electric power steering）システムやＳＢＷ（steer-by-wire）システムである。このシステムは、運転者により操作されるステアリングホイールにアクチュエータ４１によりアシストトルクを付加する他、ステアリングホイールや操舵輪をアクチュエータ４１により駆動することによって自動操舵を行う。ブレーキシステム３７は、ブレーキのロックを抑制するＡＢＳ（anti lock braking system）や、コーナリング時の車両の横滑りを抑制する横滑り防止装置（ESC : electronic stability control）、ブレーキ力を増強させるブレーキアシストなどを有した電動ブレーキシステムや、ＢＢＷ（brake-by-wire）システムである。このシステムは、アクチュエータ４７を介して車両９０に制動力を付加することができる。
図１において、各種センサの一例として、ステアリングセンサ２１や車輪速センサ２３、シフトレバースイッチ２５、アクセルセンサ２９がＣＡＮ５０に接続されている。ステアリングセンサ２１は、ステアリングホイールの操舵量（回転角度）を検出するセンサであり、例えばホール素子などを用いて構成される。駐車支援装置４０は、運転者によるステアリングホイールの操舵量や、自動操舵時の操舵量をステアリングセンサ２１から取得して各種制御を実行する。
車輪速センサ２３は、車両９０の車輪の回転量や単位時間当たりの回転数を検出するセンサであり、例えばホール素子などを用いて構成される。駐車支援装置４０は、車輪速センサ２３から取得した情報に基づいて車両９０の移動量などを演算し、各種制御を実行する。車輪速センサ２３は、ブレーキシステム３７に備えられている場合もある。ブレーキシステム３７は、左右の車輪の回転差などからブレーキのロックや、車輪の空回り、横滑りの兆候などを検出して、各種制御を実行する。車輪速センサ２３がブレーキシステム３７に備えられている場合には、駐車支援装置４０は、ブレーキシステム３７を介して情報を取得する。ブレーキセンサ２７は、ブレーキペダルの操作量を検出するセンサであり、駐車支援装置４０は、ブレーキシステム３７を介して情報を取得する。駐車支援装置４０は、例えば、自動操舵中にブレーキペダルが踏み込まれたような場合に、自動操舵に不都合な環境下にあるとして自動操舵を中断したり中止したりする制御を行うことができる。
シフトレバースイッチ２５は、シフトレバーの位置を検出するセンサ又はスイッチであり、変位センサなどを用いて構成される。駐車支援装置４０は、例えば、シフトがリバースにセットされた場合に、駐車支援装置４０は支援制御を開始したり、リバースから前進に変更された場合に支援制御を終了させたりすることができる。
また、ステアリングホイールへの操作トルクを検出するトルクセンサ２２は、運転者がステアリングホイールを握っているか否かについても検出することが可能である。駐車支援装置４０は、自動操舵中に運転者がステアリングホイールを操作するために強く握った場合などに、自動操舵に不都合な環境下にあるとして自動操舵を中断したり中止したりする制御を行うことができる。また、自動操舵時には、一般的にエンジンのアイドリングによる車両９０のクリーピングが利用される。従って、運転者がアクセルを操作したことがアクセルセンサ２９により検出された場合、駐車支援装置４０は、自動操舵に不都合な環境下にあるとして自動操舵を中断したり中止したりする制御を行うことができる。
図１に示す各種システムやセンサ、これらの接続形態については一例であり、他の構成や接続形態が採用されてもよい。また、上述したように、センサは直接ＣＡＮ５０に接続されても良いし、種々のシステムを介して接続されてもよい。
上述したように、駐車支援装置４０は、ＣＰＵ５を中核として構成され、プログラムメモリ６に格納されたプログラム（ソフトウェア）と協働して駐車支援のための種々の演算を実施する。駐車支援の種類としては、
（１）単純に車内に搭載されたモニタ上に車両後方の映像を映し出すもの、
（２）さらに、車幅延長線や予想進路線などのガイド線を重畳表示させるもの、
（３）駐車目標を設定して音声などを用いて運転者の運転操作を指示して誘導するもの、
（４）さらに、運転者が速度調整だけを担い、自動操舵により駐車目標へ誘導するもの、
などがある。（３）及び（４）では、駐車目標が設定されるが、この駐車目標の設定についても、様々な手法がある。例えば、
（ａ）駐車支援開始時の車両の停止位置に基づいて車両からの所定位置を駐車目標の初期位置として設定するもの、
（ｂ）駐車目標位置を通過した際に、ソナー（クリアランスソナー３３）などで空き領域を検出して自動認識し、駐車目標を設定するもの、
（ｃ）例えば駐車枠線を画像認識して駐車目標を設定するもの、
などがある。（ａ）〜（ｃ）の何れの場合も、運転者の手動によって駐車目標の微調整が可能となっているものが多い。
駐車運転時には、運転者の意識は、比較的、駐車目標に集中する傾向がある。これは、上記のような駐車支援が実行されているときも同様である。従って、自己の車両９０に接近する移動体、例えば他の車両や自転車、歩行者等に対する意識が低下する可能性がある。このため、移動体の存在や接近を運転者に報知する技術が求められる。但し、明示的に報知すると、運転者によっては、煩わしさを覚える可能性があり、また、移動体の存在や自車両への接近を誤検出した場合にはさらに煩わしさを覚える可能性がある。従って、対象物に対して運転者が煩わしさを感じることなく自然に意識を向けるきっかけを与えることが好ましい。本実施形態においては、運転者が自分自身の感覚、特に視覚により、移動体の存在や自車両への接近を「感じる」ことを支援するために、車両周辺認知支援装置１０も備えられる。ここでいう運転者の感覚には、五感の一つである視覚を通じて得られる第六感も含むものである。
本実施形態において、車両周辺認知支援装置１０（以下、適宜「認知支援装置１０」と略称する。）も、駐車支援装置４０と同様に、ＣＰＵ（central processing unit）５を中核として構成される。勿論、別のＣＰＵやメモリを用いて構成されてもよい。また、ＣＰＵ５も、シングルコア、シングルタスクのプロセッサに限定されず、マルチコア、マルチタスクのプロセッサであってよい。尚、本実施形態では、駐車支援装置４０と認知支援装置１０との双方が備えられる構成を例示している。しかし、単にカメラ１の撮影画像をモニタ装置４に表示させるモニタシステムと認知支援装置１０とが備えられていてもよい。また、駐車支援装置４０及び認知支援装置１０が何れか一方に含まれていてもよい。特に、図１に示す本実施形態のように、駐車支援装置４０及び認知支援装置１０が共通のＣＰＵ５を中核とする運転支援ＥＣＵ９として構成される場合には、両者を厳密に区別する必要性がないことが容易に理解できるであろう。
図２に示すように、認知支援装置１０は、画像受取部１１と、オプティカルフロー演算部１２と、移動体検出部１３と、残像生成部１４と、重畳部１５との各機能部を備える。ここで、認知支援装置１０と駐車支援装置４０とを厳密に区別すれば、駐車目標設定部１６は駐車支援装置４０に属する。従って、認知支援装置１０は、駐車支援装置４０の駐車目標設定部１６から駐車目標の情報を取得する駐車目標取得部を備えて構成されていてもよい。本実施形態では、共通のＣＰＵ５により駐車支援装置４０及び認知支援装置１０が構成されるので、図２に示すように両者が同一の機能部を共有していてもよい。この観点より、以下の説明においては、認知支援装置１０が、駐車目標設定部１６を備えるものとする。
画像受取部１１は、車両の周辺を撮影するカメラ１により時系列に撮影された複数のフレームからなる撮影画像を受け取る機能部である。画像受取部１１は、画像処理モジュール２を中核として構成される。ＣＰＵ５による画像処理対象となるフレームが一時的に格納されるワークメモリ７も画像受取部１１として機能する。また、当然ながら、画像を受け取るタイミングの調整や受け取る画像の選別などを行うＣＰＵ５及びプログラムメモリ６も画像受取部１１として機能する。
オプティカルフロー演算部１２は、異なる時刻に撮影された複数のフレームに含まれる特徴点に基づいて動きベクトルであるオプティカルフローを演算する機能部である。移動体検出部１３は、オプティカルフロー演算部１２により演算されたオプティカルフローに基づいて車両９０の周辺の移動体を検出する機能部である。残像生成部１４は、撮影画像を構成するフレームの内の１つである対象フレームにおいて、移動体を構成する画素の少なくとも一部を含む画像領域を対象画像領域として設定し、当該対象画像領域の画素を用いて残像画像を生成する機能部である。これら、オプティカルフロー演算部１２、移動体検出部１３、残像生成部１４は、ＣＰＵ５及びプログラムメモリ６を中核として構成される。当然ながら、演算対象となるフレームの画像データが一時記憶されるワークメモリ７もこれらの機能部として機能する。
重畳部１５は、オプティカルフローに基づいて移動体の移動軌跡を示す表示を撮影画像に重畳する機能部である。ここで、移動体の移動軌跡を示す表示とは、例えば、残像生成部１４により生成された残像画像や、残像生成部１４や可視化部１７によって視認可能な状態に画像化（可視化）されたオプティカルフローである。例えば、移動体の移動軌跡を示す表示が残像画像である場合、重畳部１５は、残像生成時の対象フレームに続く少なくとも１つのフレームにおいて、所定の重み付けを与えて残像画像を重畳する。残像画像は、生成元のフレームの対象画像領域と座標と同じ座標に重畳される。これにより、移動体の現実の画像と共に、過去に撮影された画像における当該移動体の画像が表示されるので、躍動感、つまり動きが表現されることとなる。また、移動体の移動軌跡を示す表示が画像化されたオプティカルフローである場合には、漫画やイラストなどにおいて動きを示す補助線と同じような効果を有することになり、移動体の動きが表現されることになる。重畳部１５及び可視化部１７は、ＣＰＵ５及びプログラムメモリ６、ワークメモリ７、スーパーインポーズ部２ａ、グラフィック描画部２ｂなどにより実現される。
駐車目標設定部１６は、車両９０を駐車させる駐車目標を設定する機能部である。上述したように、駐車支援開始時の車両９０の停止位置に基づいて車両９０からの所定位置を駐車目標の初期位置として設定する場合は、ＣＰＵ５やプログラムメモリ６等を中核として駐車目標設定部１６が構成される。また、駐車場所の横を車両９０が通過した際に、空き領域を検出して自動認識し、駐車目標を設定する場合には、ＣＰＵ５やプログラムメモリ６等と、車輪速センサ２３やクリアランスソナー３３等の各種センサとの協働により駐車目標設定部１６が構成される。また、カメラ１により撮影された画像から駐車枠線を認識して駐車目標を設定する場合には、ＣＰＵ５やプログラムメモリ６、ワークメモリ７等を中核として駐車目標設定部１６が構成される。これら、駐車目標を設定するための各種技術は、公知であるのでここでは詳細な説明は省略する。
駐車目標が明らかな場合、移動体検出部１３が、駐車目標に向かうオプティカルフローに基づいて移動体を検出すると好適である。車両９０を駐車しようとしている際に、最も問題となるのは車両９０の進路に近づいてくる移動体である。撮影画像中におけるオプティカルフローには様々なものが混在している可能性がある。その内の駐車目標に向かう動きベクトルであるオプティカルフローに絞って移動体を検出すれば、運転者に認知させることが不必要な移動体が検出されることを抑制することができる。この場合、当然ながら、重畳部１５は、駐車目標に向かうオプティカルフローに基づいて検出された移動体Ｍの移動軌跡を示す表示を重畳することとなるので、不必要な表示が行われることもない。
ここで、オプティカルフロー及びオプティカルフローに基づいて生成される移動軌跡について図３を用いて説明する。ここでは、説明を容易にするため、移動体Ｍを直方体で模擬し、カメラ１は固定とする。図３に示すように、カメラ１と対象物である移動体Ｍとの位置関係によって、撮影画像（投影面Ｐ）における移動体Ｍの位置（座標）は異なる。図３には、移動体Ｍがカメラ１に近づいてきている場合に、時系列に撮影された２枚の画像Ｐ１とＰ２とにおける移動体Ｍを示している。画像Ｐ１は、時刻ｓ１における最新の撮影画像（フレーム）に相当し、画像Ｐ２は時刻ｓ２における過去の撮影画像（フレーム）に相当する。２次元画像上の点ｍ１１〜ｍ１４は、最新の撮影画像Ｐ１上での特徴点ｍ１ｉ（ｉ＝１，２，・・・，ｎ）である。２次元画像上の点ｍ２１〜ｍ２４は、過去の撮影画像Ｐ２上での特徴点ｍ２ｉ（ｉ＝１，２，・・・，ｎ）である。最新の撮影画像Ｐ１と過去の撮影画像Ｐ２とを重ねた場合に、特徴点ｍ２iから特徴点ｍ１ｉに向かうベクトル（動きベクトル）がオプティカルフローである。
ここで、１つの移動体Ｍに属するオプティカルフローを延長すると、延長された直線Ｌはいわゆる無限遠点（point at infinity）あるいは消失点（vanishing point）として定義される出現点ＦＯＥ（focus of expansion）において１点で交わる。即ち、３次元空間中を並進する移動体Ｍの各特徴点は、２次元の画像面上において共通の出現点ＦＯＥを持つ。当然ながら異なる移動体が互いに平行ではない並進運動をしている場合には、それぞれのオプティカルフローは異なる出現点に収束する。この性質を利用すれば、一つの移動体Ｍに関するオプティカルフローを一群としてまとめることが可能であることが容易に理解されよう。さらに、同じオプティカルフローの一方の端点（例えば、ｍ１ｉ）を外分点として、他方の端点（ｍ２ｉ）を超えて出現点ｍｆｏｅへ至る線分Ｌ２と、当該オプティカルフローＬ１との外分比（＝Ｌ１／Ｌ２）が所定の許容範囲内に収まることを条件として、オプティカルフロー群を形成することも可能である。
上記説明においては、カメラ１を固定としたが、カメラ１が搭載された車両９０は大きな慣性を有している。また、時系列に取得される画像データ（フレーム）の時間差は微小である。従って、カメラ１が固定されていなかったとしても、つまり、カメラ１が搭載された車両９０が移動したとしても、カメラ座標に対する移動体Ｍの運動は回転成分を含まない微小な並進運動であるとみなすことができる。従って、微小な並進運動を許容する許容範囲を設定すれば、オプティカルフローは良好に出現点ｍｆｏｅに収束する。また、この微小な並進運動に相当するベクトル成分を差し引くことによってオプティカルフローを演算してもよい。
時系列に複数のフレームにおいて移動体Ｍを追跡した場合には、車両９０と移動体Ｍとの並進性が低下することが考えられる。この場合には、逐次、関係のあるオプティカルフローを関連付けしていくことによって、曲線を描くオプティカルフロー（オプティカルフロー群）の軌跡を得ることができる。また、車輪速センサ２３やステアリングセンサ２１などから得られる車両９０の挙動に関する情報に基づいて、自車両９０の動きに起因するオプティカルフローやオプティカルフローのベクトル成分を調整してもよい。これによって、自車両９０の動きに依存しないオプティカルフローを抽出することができる。
一群のオプティカルフローが形成されると、そのオプティカルフロー群の端点である特徴点（ｍ１ｉやｍ２ｉ）は、各フレームにおける同一の移動体Ｍに属する点ということになる。つまり、それぞれのフレームにおいて、同一の移動体Ｍに属する画素を特定することができる。特徴点は、移動体Ｍを構成する画素群の一部であるから、特徴点を含む周辺の所定範囲の画素を同一の移動体Ｍに属する画素として特定してもよい。また、特徴点の集合から形成される図形を、輪郭生成演算やパターンマッチングなどによって推定（認識・検出）して、当該図形に相当する画素を移動体Ｍに属する画素として特定してもよい。このような、オプティカルフローの一群化や、移動体Ｍに属する画素の特定などにより、移動体Ｍが検出されるので、これらの処理は移動体検出部１３により実行される。
残像生成部１４は、撮影画像を構成するフレームの内の１つである対象フレームにおいて、移動体Ｍを構成する画素の少なくとも一部を含む画像領域を対象画像領域として設定する。そして、残像生成部１４は、当該対象画像領域の画素を用いて残像画像を生成する。具体的には、当該対象画像領域の画素が当該フレーム上の座標における残像画像の画素として定義され、当該対象画像領域が抜き出されることになる。残像画像は、所定の重み付けを与えられて、抜き出されたフレーム（対象フレーム）と同じ座標において後続のフレームに重畳される。即ち、重畳部１５は、移動体Ｍの移動軌跡を示す表示として、対象フレームに続く少なくとも１つのフレームにおいて、対象フレームの対象画像領域の座標と同じ座標に生成された残像画像を重畳する。図３の最下段には、最新の画像Ｐ１に対して、過去の画像から生成した残像画像Ａを重畳した例を示している。ここでは、時刻ｓ２から時刻ｓ１に至るまでの画像に基づいて生成された残像画像Ａも重畳された例を示している。以下、図４を利用して、残像画像Ａの生成と、残像画像Ａの撮影画像への重畳について説明する。
図４において、符号Ｆ、及びＦ１〜Ｆ１１は、撮影画像を構成するフレームである。また、符号Ａ、及びＡ１〜Ａ１０は、残像画像である。符号Ｒ、Ｒ１〜Ｒ１０は、移動体Ｍを構成する画素を含む対象画像領域である。ここでは、説明を容易にするために、カメラ１が１０フレーム／秒の動画を撮影するデジタルカメラであるとして説明する。時刻ｔ１〜ｔ１１において時系列に撮影された撮影画像のフレームＦ１〜Ｆ１１の内、時刻ｔ１１において撮影されたフレームＦ１１は最新のフレームである。時刻ｔ１において撮影されたフレームＦ１が最も過去に撮影された画像であり、ここではフレームＦ１１の１秒前に撮影された画像である。本例では、フレームＦ１〜Ｆ１１の全てにおいて同一の移動体Ｍが正しく検出されたものとする。また、時刻ｔ１よりも前に撮影された撮影画像及びその撮影画像から生成される残像画像Ａについては説明を容易にするために省略する。
フレームＦ１において検出された移動体Ｍに関する対象画像領域Ｒ１は、残像画像Ａ１となる。この残像画像Ａ１は、例えば１０％の重み付けを与えられてフレームＦ１１に重畳される。この重み付けは、所定値である。本例では、残像画像Ａが重畳されるフレームＦから過去に遡るほど、重み付けの値が小さい値となる。本例において、重み付けは画素値に対して乗じられる。例えば、カラー画像の各色の１画素が２５６階調で示され、残像画像の画素値が２００の場合、重み付けが１０％であれば、残像画像Ａの画素値は２０となる。
フレームＦ１と同様に、フレームＦ２において検出された移動体Ｍに関する対象画像領域Ｒ２は、残像画像Ａ２となる。この残像画像Ａ２は、例えば２０％の重み付けを与えられてフレームＦ１１に重畳される。以降、最新のフレームＦ１１に向かって、フレームＦ３、Ｆ４、・・・、Ｆ１０と撮影時刻が現在時刻に近づく（フレームＦが新しくなる）に従って重み付けを増して、生成された残像画像Ａ３、Ａ４、・・・、Ａ１０がフレームＦ１１に重畳される。図４では、理解を容易にするために１０％ずつ重み付けが増加する例を示しており、フレームＦ１０から生成される残像画像Ａ１０は、１００％の重み付けとなっている。尚、フレームＦ１〜Ｆ１０は、残像画像Ａが生成される対象フレームに相当する。
各フレームＦ１〜Ｆ１０の残像画像Ａ１〜Ａ１０は、フレームＦ１〜Ｆ１０に続くフレームである最新のフレームＦ１１に重畳される。図４に示すように、最新のフレームＦ１１には、移動体Ｍの実画像と、過去１秒間の移動体Ｍの移動軌跡とが示されることになる。尚、最新のフレームＦ１１からも、移動体Ｍに関する対象画像領域Ｒ１１に基づいて残像画像Ａ１１が生成され、フレームＦ１１に続くフレームＦ（例えば不図示のフレームＦ１２）に重畳される。重畳される過去の残像画像Ａが１０フレーム分である場合には、フレームＦ１２には、フレームＦ２〜Ｆ１１から生成された残像画像Ａ２〜Ａ１１が重畳される。この際の重み付けは、最も古い残像画像Ａ２が１０％となり、最も新しい残像画像Ａ１１が１００％となる。
このように、順次過去のフレームＦに基づいて生成された残像画像Ａが、最新のフレームＦに重畳される。従って、別の観点では、フレームＦ１の残像画像Ａ１は、フレームＦ１に続くフレームＦ２〜Ｆ１１に重畳されることにもなる。従って、残像画像Ａは、対象フレームに続く少なくとも１つのフレームに重畳されると言える。また、あるフレームＦから生成される残像画像Ａの重み付けは一定ではなく、重畳先のフレームＦとの関係によって変動する。例えば、フレームＦ２が最新フレームの場合には、フレームＦ２の前の１０フレームから生成された残像画像Ａが重畳されることになる。この際、フレームＦ１から生成される残像画像Ａ１は、１００％の重み付けでフレームＦ２に重畳されることになる。本実施形態では、説明を容易にするために、時刻ｔ１よりも前の撮影画像から生成される残像画像Ａについては図示及び説明を省略している。例えば、時刻ｔ１０において撮影されたフレームＦ１０には、時刻ｔ１より前に撮影されたフレームから生成された残像画像Ａも重畳される。しかし、図４においては、時刻ｔ１〜ｔ９において撮影されたフレームＦ１〜Ｆ９より生成された残像画像Ａ１〜Ａ９のみが重畳される状態を図示している。しかし、当然ながら、フレームＦ１〜Ｆ１０においても、過去のフレームＦから生成された残像画像Ａが重畳されることは容易に理解されよう。
図５は、このようにして、残像画像Ａが重畳された撮影画像のモニタ装置４への表示例を示している。図５に示すように、移動体Ｍ（及びＭ’）としての歩行者（走者）が移動軌跡を示す残像を伴って表示される。このような残像は、実画像であれば、デジタルカメラの蓄積時間やシャッター速度を超えた速度で移動する場合に出現するものである。従って、通常の画像に現れることは少なく、残像が生じていることにより運転者の五感及び第六感を刺激することができる。つまり、人工的に残像を作り出すことによって、移動体Ｍ（及びＭ’）の存在や接近に対して、運転者が自然に意識を向けるきっかけを与えることができるようになる。
図６は、別の表示例を示している。上述したように、車両９０の駐車目標Ｅが明らかな場合には、移動体検出部１３は、駐車目標Ｅに向かうオプティカルフローに基づいて移動体Ｍを検出することが可能である。また、当然ながら、重畳部１５は、駐車目標Ｅに向かうオプティカルフローに基づいて検出された移動体Ｍの移動軌跡を示す表示を重畳することとなるので、不必要な表示が行われることもない。図６は、比較を容易にするために、図５と同様の場面の表示例を示している。図５と異なり、図６では、駐車目標Ｅから遠ざかる移動体Ｍ’には残像画像などの移動軌跡を示す表示が重畳されない。尚、当然ながら移動体Ｍが駐車目標Ｅの中に存在する場合も駐車目標Ｅの中で移動していれば、「駐車目標へ向かう」という概念に含まれ、移動体Ｍの残像画像が重畳される。
図７及び図８は、また別の表示例を示している。車両９０の駐車目標が明らかであり、運転支援装置４０が当該駐車目標に向かう予想進路を演算するような構成の場合の一例が図７である。例えば、ＣＰＵ５やプログラムメモリ６の協働により、不図示の誘導部や進路演算部が構成される。図７における符号Ｂ１は、予想進路を示す予想進路線を示しており、モニタ装置４に表示される画像に重畳表示される。画像処理モジュール２などによる予想進路線Ｂ１の描画については公知であるので説明を省略する。予想進路線Ｂ１は種々のデザインのものが提案されており、ここでは簡単なデザインのものを例示している。当然ながら、予想進路線Ｂ１のデザインは、本発明を限定するものではない。また、ＣＰＵ５において演算される予想進路の演算方法についても公知であるので詳細な説明を省略する。
移動体Ｍ’は、図６に示す例においては、駐車目標Ｅに向かっていないために残像画像が重畳されていなかったが、図７に示す例においては、予想進路線Ｂ１に向かって近づいてきているので残像画像が重畳される。これにより、車両９０の進路上に進入する移動体ＭやＭ’の存在や接近に対して、運転者が自然に意識を向けるきっかけを与えることができる。図７に示す移動体Ｍ”は、予想進路線Ｂ１から遠ざかっているために残像画像が重畳されない。尚、当然ながら移動体が予想進路線Ｂ１で囲われた範囲の中に存在する場合も「予想進路へ向かう」という概念に含まれ、移動体Ｍの残像画像が重畳される。また、本例では、駐車目標Ｅと予想進路線Ｂ１とが共に設定される場合を例示したが、駐車目標Ｅが設定されることなく、単にステアリングの回転角度によって予想進路が演算されるものであってもよい。つまり、駐車運転時に限らず、単純な後退運転時などにおいて、予想進路に向かうオプティカルフォローに基づいて移動体の検出及び移動軌跡の重畳が行われてもよい。
ところで、駐車目標Ｅや予想進路が明らかでは無い場合であっても、運転者の利便性を向上させるために、車幅の延長線や車両後端からの距離目安線が想定進路として撮影画像に重畳される場合がある。例えば、ＣＰＵ５やプログラムメモリ６の協働により、不図示の進路演算部が構成される。ガイド線Ｂ２は、車両９０との位置関係により設定されれば良いので、画像処理モジュール２（特にグラフィック描画部２ｂ）を中核としてＣＰＵ５やプログラムメモリ６の協働により不図示の進路演算部が構成されてもよい。そのようなガイド線Ｂ２が重畳された表示画像の例を示したものが図８である。図８に示すように、駐車目標までの予想進路やステアリングセンサ２１などの検出結果には無関係に、単に車両９０との相対的な関係を示すガイド線Ｂ２が重畳される。このガイド線Ｂ２の範囲内は、遠方では車両９０の実際の進路と外れる可能性が高くなるが、車両９０の近くでは概ね車両９０の進路に一致する。従って、ガイド線Ｂ２は車両９０の想定進路を示すといえる。
また、車両９０と移動体とが接触する可能性は、車両９０に近いほど高くなる。従って、図８に示すように、ガイド線Ｂ２に向かって近づいてくる移動体Ｍ’に残像画像が重畳されると好適である。ガイド線Ｂ２は、例えば水平な路面と車両９０との位置関係により当該路面に対して設定されるので、高度な運転支援装置が搭載されていない車両９０においても容易に残像画像を重畳させることができる。また、このガイド線Ｂ２は車両９０に対して一定の範囲に描画されるので、演算負荷も低減される。図７と同様に、図８に示す移動体Ｍ”は、ガイド線Ｂ２から遠ざかっているために残像画像が重畳されない。尚、当然ながら移動体がガイド線Ｂ２で囲われた範囲の中に存在する場合も「想定進路へ向かう」という概念に含まれ、移動体の残像画像が重畳される。また、本例においても、駐車運転時に限らず、単純な後退運転時などにおいて、想定進路に向かうオプティカルフローに基づいて移動体の検出及び移動軌跡の重畳が行われてもよい。
図９は、また別の表示例を示している。この例では、残像画像ではなく、可視化されたオプティカルフローＶが撮影画像に重畳される。オプティカルフローは、演算上の動きベクトルであり、画像としては存在しない。従って、画像上においてオプティカルフローが通る画素が例えば赤などの特定の色への着色によって可視化される。この際、視認性を確保するために、所定の幅を有するように、複数画素が着色されて可視化されると好適である。オプティカルフローの可視化は、残像生成部１４が行っても良いし、別途、設けられた可視化部１７が行ってもよい。尚、当然ながら上述した図５〜図８の各例において残像画像の代わりに可視化されたオプティカルフローＶが撮影画像に重畳されてもよい。
可視化されたオプティカルフローＶの具体的な重畳方法は、残像と同様に実行することが可能である。図４におけるフレームＦ１とＦ２とから演算されるオプティカルフロー、フレームＦ２とＦ３とから演算されるオプティカルフロー、・・・、フレームＦ１０とＦ１１とから演算されるオプティカルフローと順にオプティカルフローが求められる。そして、図４と同様に、求められたオプティカルフローが画像化され、最新のフレームＦ１１に重畳される。また、この際、残像と同様に、重み付けを与えてもよい。過去に遡るほど、画像化されたオプティカルフローが淡くなるので、動きがよりよく表現される。
尚、図３に基づいて上述したことから推察されるように、オプティカルフローが１つの出現点ＦＯＥへ収束する際には、複数の画像（フレーム）から同一の特徴点が抽出される必要がある。従って、移動体Ｍの形状が一定である剛体の方が移動体Ｍの形状が変化し易い軟体に比べてオプティカルフローの抽出が容易である。このため、例えば、移動体Ｍが人体である場合には、移動体検出部１３は、形状の変化が少ない胴体などを対象として移動体Ｍを検出すると好適である。この際、胴体部のみの画素を利用して残像生成部１４が残像を生成したとしても、画像上の移動体Ｍにおいて大きな面積を占める領域に対して残像画像Ａが生成されるので問題はない。また、駐車支援中などにおいては、移動体Ｍが人体である可能性が高いので、残像画像Ａを生成する際に、輪郭抽出などの他の画像処理技術を用いて人体に対応する画素を抜き出してもよい。
このような観点については、残像画像Ａの生成に限らず、オプティカルフローを可視化するに際しても有効である。図９に例示した可視化されたオプティカルフローＶは、人体の剛性を考慮することなく図示されている。図９は、技術思想を示す一例であり、比較的剛性のある胴体部のみを対象として可視化されたオプティカルフローＶが重畳されてもよいし、上述したように他の画像処理技術を用いて手足のような剛性の低い部位についても可視化されたオプティカルフローＶが重畳されてもよい。
また、駐車目標が設定されている場合には、図１０に示すように、さらに駐車目標を示すガイドラインＧを重畳させ、このガイドラインＧを点滅させて、運転者に注意を促してもよい。駐車目標の点滅により、運転者が周囲を確認する動機が喚起される。
以上、説明したように、本発明によって、運転者が煩わしさを感じることなく自然に意識を向けるきっかけを与えることのできる車両周辺認知支援が可能となる。
１：カメラ（車載カメラ）
１０：車両周辺認知支援装置
１１：画像受取部
１２：オプティカルフロー演算部
１３：移動体検出部
１４：残像生成部
１５：重畳部
１６：駐車目標設定部
Ａ，Ａ１〜Ａ１１：残像画像
Ｅ：駐車目標
Ｆ，Ｆ１〜Ｆ１１：フレーム
Ｍ，Ｍ１，Ｍ２：移動体
Ｒ：対象画像領域

Claims (4)

  1. 車両の周辺を撮影する車載カメラにより時系列に撮影された複数のフレームからなる撮影画像を受け取る画像受取部と、
    異なる時刻に撮影された複数の前記フレームに含まれる特徴点に基づいてオプティカルフローを演算するオプティカルフロー演算部と、
    前記オプティカルフローに基づいて前記車両の周辺の移動体を検出する移動体検出部と、
    前記オプティカルフローに基づいて前記移動体の移動軌跡を示す表示を前記撮影画像に重畳させる重畳部と、
    前記車両を駐車させる駐車目標を設定する駐車目標設定部と、
    前記駐車目標への前記車両の予想進路を演算する進路演算部と、を備え、
    前記移動体検出部により、前記移動体が前記駐車目標と前記予想進路との少なくとも一つに接近又は存在することを検出した場合には、前記重畳部が当該移動体の移動軌跡を示す表示を前記撮影画像に重畳し、前記移動体が前記駐車目標と前記予想進路との少なくとも一つから遠ざかることを検出した場合には、前記重畳部が前記移動軌跡を示す表示を前記撮影画像に重畳しない車両周辺認知支援装置。
  2. 車両の周辺を撮影する車載カメラにより時系列に撮影された複数のフレームからなる撮影画像を受け取る画像受取部と、
    異なる時刻に撮影された複数の前記フレームに含まれる特徴点に基づいてオプティカルフローを演算するオプティカルフロー演算部と、
    前記オプティカルフローに基づいて前記車両の周辺の移動体を検出する移動体検出部と、
    前記オプティカルフローに基づいて前記移動体の移動軌跡を示す表示を前記撮影画像に重畳させる重畳部と、を備え、
    前記移動体検出部により、前記移動体が前記車両との位置関係により設定される想定進路に接近又は存在することを検出した場合には、前記重畳部が前記移動体の移動軌跡を示す表示を前記撮影画像に重畳し、前記移動体が前記想定進路から遠ざかることを検出した場合には、前記重畳部が前記移動軌跡を示す表示を前記撮影画像に重畳しない車両周辺認知支援装置。
  3. 前記撮影画像を構成する前記フレームの内の１つである対象フレームにおいて、前記移動体を構成する画素の少なくとも一部を含む画像領域を対象画像領域として設定し、当該対象画像領域の画素を用いて残像画像を生成する残像生成部を備え、
    前記重畳部は、前記対象フレームに続くフレームに、所定の重み付けを与えて前記残像画像を重畳する請求項１又は２に記載の車両周辺認知支援装置。
  4. 前記重畳部は、可視化された前記オプティカルフローを前記撮影画像に重畳する請求項１〜３のいずれか一項に記載の車両周辺認知支援装置。
JP2009181721A 2009-08-04 2009-08-04 車両周辺認知支援装置 Expired - Fee Related JP5483535B2 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2009181721A JP5483535B2 (ja) 2009-08-04 2009-08-04 車両周辺認知支援装置
KR1020127003992A KR101343331B1 (ko) 2009-08-04 2010-07-28 차량주변인지 지원장치
CN2010800347178A CN102474598A (zh) 2009-08-04 2010-07-28 车辆周边感知辅助装置
EP10806366.0A EP2464112B1 (en) 2009-08-04 2010-07-28 Vehicle-surroundings awareness support device
US13/388,849 US8964034B2 (en) 2009-08-04 2010-07-28 Vehicle surroundings awareness support device
PCT/JP2010/062657 WO2011016367A1 (ja) 2009-08-04 2010-07-28 車両周辺認知支援装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009181721A JP5483535B2 (ja) 2009-08-04 2009-08-04 車両周辺認知支援装置

Publications (2)

Publication Number Publication Date
JP2011035777A JP2011035777A (ja) 2011-02-17
JP5483535B2 true JP5483535B2 (ja) 2014-05-07

Family

ID=43544263

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009181721A Expired - Fee Related JP5483535B2 (ja) 2009-08-04 2009-08-04 車両周辺認知支援装置

Country Status (6)

Country Link
US (1) US8964034B2 (ja)
EP (1) EP2464112B1 (ja)
JP (1) JP5483535B2 (ja)
KR (1) KR101343331B1 (ja)
CN (1) CN102474598A (ja)
WO (1) WO2011016367A1 (ja)

Families Citing this family (53)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4614005B2 (ja) * 2009-02-27 2011-01-19 トヨタ自動車株式会社 移動軌跡生成装置
JP2012155655A (ja) * 2011-01-28 2012-08-16 Sony Corp 情報処理装置、報知方法及びプログラム
US20120249342A1 (en) * 2011-03-31 2012-10-04 Koehrsen Craig L Machine display system
MY165967A (en) * 2011-08-02 2018-05-18 Nissan Motor Moving-body-detecting device and moving-body-detecting system
KR20130019639A (ko) 2011-08-17 2013-02-27 엘지이노텍 주식회사 차량용 카메라 장치
KR101843450B1 (ko) * 2011-08-23 2018-03-29 엘지전자 주식회사 이동 단말기 및 이동 단말기의 제어 방법
JP5445719B2 (ja) * 2011-09-29 2014-03-19 トヨタ自動車株式会社 画像表示装置及び画像表示方法
JP5974422B2 (ja) * 2011-10-04 2016-08-23 長崎県公立大学法人 画像表示装置
JP5692403B2 (ja) * 2011-11-01 2015-04-01 アイシン精機株式会社 障害物警報装置
US20130116887A1 (en) * 2011-11-08 2013-05-09 Delphi Technologies, Inc. Vehicle camera system with replay
DE102011086210A1 (de) 2011-11-11 2013-05-16 Robert Bosch Gmbh Verfahren zur Unterstützung eines Fahrers eines Kraftfahrzeugs sowie Vorrichtung zur Durchführung des Verfahrens
IN2014DN06552A (ja) * 2012-02-06 2015-06-12 Toyota Motor Co Ltd
JP5615862B2 (ja) * 2012-03-07 2014-10-29 クラリオン株式会社 車両周囲監視装置
JP5883732B2 (ja) * 2012-07-03 2016-03-15 クラリオン株式会社 環境認識装置
JP5944781B2 (ja) 2012-07-31 2016-07-05 株式会社デンソーアイティーラボラトリ 移動体認識システム、移動体認識プログラム、及び移動体認識方法
JP5910754B2 (ja) * 2012-11-21 2016-04-27 トヨタ自動車株式会社 運転支援装置、及び、運転支援方法
KR102042279B1 (ko) * 2012-12-26 2019-11-07 현대모비스 주식회사 차량의 후진주행보조시스템
WO2014172875A1 (en) * 2013-04-25 2014-10-30 Harman International Industries, Incorporated Moving object detection
DE102013016241A1 (de) * 2013-10-01 2015-04-02 Daimler Ag Verfahren und Vorrichtung zur augmentierten Darstellung
JP5842110B2 (ja) * 2013-10-10 2016-01-13 パナソニックＩｐマネジメント株式会社 表示制御装置、表示制御プログラム、および記録媒体
JP6318547B2 (ja) * 2013-10-28 2018-05-09 株式会社ニコン 画像処理装置、撮像装置および画像処理プログラム
WO2015125022A2 (en) * 2014-02-20 2015-08-27 Mobileye Vision Technologies Ltd. Navigation based on radar-cued visual imaging
DE102014003952A1 (de) * 2014-03-20 2015-09-24 Man Truck & Bus Ag Verfahren zur Überwachung des Fahrzeuginnenraums und des Fahrzeugaußenraums
JP6252316B2 (ja) * 2014-03-31 2017-12-27 株式会社デンソー 車両用表示制御装置
JP6496982B2 (ja) * 2014-04-11 2019-04-10 株式会社デンソー 認知支援システム
JP6579101B2 (ja) * 2014-05-19 2019-09-25 ソニー株式会社 画像処理装置、画像処理方法、およびプログラム
CN106415662B (zh) * 2014-06-03 2020-06-19 本田技研工业株式会社 车辆周围监视装置
JP6265095B2 (ja) * 2014-09-24 2018-01-24 株式会社デンソー 物体検出装置
JP6532229B2 (ja) * 2014-12-18 2019-06-19 株式会社デンソーテン 物体検出装置、物体検出システム、物体検出方法及びプログラム
US10309797B2 (en) * 2014-12-19 2019-06-04 Here Global B.V. User interface for displaying navigation information in a small display
JP6595219B2 (ja) 2015-06-08 2019-10-23 株式会社デンソーテン 物体報知装置および物体報知方法
JP2017074871A (ja) * 2015-10-15 2017-04-20 日立建機株式会社 車両周囲障害物検出装置
ITUB20154924A1 (it) * 2015-11-06 2017-05-06 Same Deutz Fahr Italia S P A Trattore con sistema di visione
US9996752B2 (en) * 2016-08-30 2018-06-12 Canon Kabushiki Kaisha Method, system and apparatus for processing an image
JP6743593B2 (ja) * 2016-08-31 2020-08-19 アイシン精機株式会社 駐車支援装置
EP3293668B1 (en) * 2016-09-13 2023-08-30 Arriver Software AB A vision system and method for a motor vehicle
IT201600094858A1 (it) * 2016-09-21 2018-03-21 St Microelectronics Srl Procedimento per un cross traffic alert avanzato a basso costo, corrispondente sistema di elaborazione, sistema per cross traffic alert e veicolo
CN108162858B (zh) * 2016-12-07 2020-05-29 杭州海康威视数字技术股份有限公司 车载监控装置及其方法
JP2020141155A (ja) * 2017-06-27 2020-09-03 パナソニックＩｐマネジメント株式会社 周辺画像表示装置
EP3460516B1 (en) * 2017-09-20 2020-05-27 Aptiv Technologies Limited A device and a method for distinguishing between traversable and non-traversable objects
JP2019067220A (ja) * 2017-10-02 2019-04-25 シャープ株式会社 駐車位置表示処理装置、駐車位置表示方法、およびプログラム
JP2019135122A (ja) * 2018-02-05 2019-08-15 トヨタ自動車株式会社 車両用遮光構造
US10676103B2 (en) * 2018-05-17 2020-06-09 Aptiv Technologies Limited Object position history playback for automated vehicle transition from autonomous-mode to manual-mode
JP2019207635A (ja) * 2018-05-30 2019-12-05 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ 移動体、画像生成方法、プログラム、及び記録媒体
WO2020059448A1 (ja) * 2018-09-18 2020-03-26 パナソニックＩｐマネジメント株式会社 奥行取得装置、奥行取得方法およびプログラム
CN111145788A (zh) * 2018-11-02 2020-05-12 新科实业有限公司 热辅助磁记录头及热辅助磁记录磁盘驱动器
WO2020106818A1 (en) * 2018-11-21 2020-05-28 Dysonics Corporation Apparatus and method to provide situational awareness using positional sensors and virtual acoustic modeling
CN109849788B (zh) * 2018-12-29 2021-07-27 北京七鑫易维信息技术有限公司 信息提供方法、装置及系统
US10916019B2 (en) 2019-02-01 2021-02-09 Sony Corporation Moving object detection in image frames based on optical flow maps
JP7227486B2 (ja) * 2019-04-25 2023-02-22 シンフォニアテクノロジー株式会社 作業機械周辺監視システム、作業機械周辺監視プログラム
JP7354649B2 (ja) * 2019-07-26 2023-10-03 株式会社アイシン 周辺監視装置
WO2021126090A1 (en) * 2019-12-18 2021-06-24 Moovita Pte Ltd Autonomous parking systems and methods for vehicles
JP7036164B2 (ja) * 2020-07-27 2022-03-15 株式会社Ｊｖｃケンウッド 運転支援装置、運転支援方法

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3239521B2 (ja) 1993-03-30 2001-12-17 トヨタ自動車株式会社 移動体認識装置
WO1995010915A1 (en) 1993-10-12 1995-04-20 Orad, Inc. Sports event video
US5777690A (en) 1995-01-20 1998-07-07 Kabushiki Kaisha Toshiba Device and method for detection of moving obstacles
JP3435240B2 (ja) 1995-01-20 2003-08-11 株式会社東芝 移動物体検知装置及びその方法
JP3603629B2 (ja) * 1998-12-24 2004-12-22 カシオ計算機株式会社 画像処理装置及び画像処理方法
US7725348B1 (en) * 2001-10-17 2010-05-25 United Toll Systems, Inc. Multilane vehicle information capture system
JP3972659B2 (ja) * 2002-01-17 2007-09-05 日産自動車株式会社 車両用後側方警報装置
US7266220B2 (en) * 2002-05-09 2007-09-04 Matsushita Electric Industrial Co., Ltd. Monitoring device, monitoring method and program for monitoring
JP3776094B2 (ja) * 2002-05-09 2006-05-17 松下電器産業株式会社 監視装置、監視方法および監視用プログラム
JP4228212B2 (ja) 2003-10-17 2009-02-25 三菱自動車工業株式会社 ノーズビューモニタ装置
JP2005132170A (ja) * 2003-10-29 2005-05-26 Mitsubishi Motors Corp 駐車支援装置
JP3977368B2 (ja) * 2004-09-30 2007-09-19 クラリオン株式会社 駐車支援システム
US7623677B2 (en) * 2005-06-17 2009-11-24 Fuji Xerox Co., Ltd. Methods and interfaces for visualizing activity across video frames in an action keyframe
DE102005034700A1 (de) * 2005-07-26 2007-02-08 Robert Bosch Gmbh Einparkvorrichtung
JP4541316B2 (ja) * 2006-04-06 2010-09-08 三菱電機株式会社 映像監視検索システム
JP4692371B2 (ja) 2006-04-26 2011-06-01 オムロン株式会社 画像処理装置、画像処理方法、画像処理プログラム、および画像処理プログラムを記録した記録媒体、ならびに移動物体検出システム
US8130257B2 (en) * 2008-06-27 2012-03-06 Microsoft Corporation Speaker and person backlighting for improved AEC and AGC

Also Published As

Publication number Publication date
US8964034B2 (en) 2015-02-24
CN102474598A (zh) 2012-05-23
EP2464112A1 (en) 2012-06-13
JP2011035777A (ja) 2011-02-17
KR20120035215A (ko) 2012-04-13
EP2464112A4 (en) 2014-06-25
WO2011016367A1 (ja) 2011-02-10
KR101343331B1 (ko) 2013-12-19
US20120133769A1 (en) 2012-05-31
EP2464112B1 (en) 2019-01-09

Similar Documents

Publication Publication Date Title
JP5483535B2 (ja) 車両周辺認知支援装置
US9321400B2 (en) Drive assist device
JP6387369B2 (ja) 走行制御装置
JP5099451B2 (ja) 車両周辺確認装置
EP3358546A1 (en) Information processing device, information processing method, and program
JP2015049842A (ja) 注意喚起表示装置及び注意喚起表示方法
EP2551835A1 (en) Processing device for assisting driving of vehicle, vehicle driving assisting device, and vehicle device
WO2012043092A1 (ja) 駐車支援装置
JP5516988B2 (ja) 駐車支援装置
JP2015048040A (ja) 注意喚起表示装置及び注意喚起表示方法
JP2004535971A (ja) ヘッドアップディスプレイシステム及び方法
JP2006227811A (ja) 運転支援装置
US10866416B2 (en) Display control device and display control method
JP2014006700A (ja) 歩行者検出装置
JP5852076B2 (ja) 車両周辺表示装置
JP2006338594A (ja) 歩行者認識装置
JP2012056428A (ja) 運転支援装置
JP5402047B2 (ja) 死角表示装置
JP5020606B2 (ja) 周辺監視装置
JP2008162550A (ja) 外部環境表示装置
JP5196265B2 (ja) 車両周辺認知支援装置
JP5644647B2 (ja) 周辺監視装置
JP2007193639A (ja) 運転支援装置
JP2022009331A (ja) 周辺監視装置
JP2006182322A (ja) 運転支援装置及び運転支援画像表示方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20111205

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130425

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130620

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140123

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140214

R150 Certificate of patent or registration of utility model

Ref document number: 5483535

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees