JP4911732B2 - Vehicle display device, vehicle display method, and vehicle display program - Google Patents

Vehicle display device, vehicle display method, and vehicle display program Download PDF

Info

Publication number
JP4911732B2
JP4911732B2 JP2008553908A JP2008553908A JP4911732B2 JP 4911732 B2 JP4911732 B2 JP 4911732B2 JP 2008553908 A JP2008553908 A JP 2008553908A JP 2008553908 A JP2008553908 A JP 2008553908A JP 4911732 B2 JP4911732 B2 JP 4911732B2
Authority
JP
Japan
Prior art keywords
image
vehicle
rear image
display
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008553908A
Other languages
Japanese (ja)
Other versions
JPWO2008087706A1 (en
Inventor
伸一 杉江
直彦 市原
理 山崎
博人 井上
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Pioneer Corp
Original Assignee
Pioneer Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Pioneer Corp filed Critical Pioneer Corp
Publication of JPWO2008087706A1 publication Critical patent/JPWO2008087706A1/en
Application granted granted Critical
Publication of JP4911732B2 publication Critical patent/JP4911732B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/28—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with an adjustable field of view
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B60R2300/305—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images merging camera image with lines or icons
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/70—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by an event-triggered choice to display a specific image among a selection of captured images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8033—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for pedestrian protection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8066—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring rearward traffic

Description

【技術分野】
【０００１】
本発明は、車両後方を撮像し、その車両後方画像に他の画像を重ねて表示する車両用表示装置に関する。
【背景技術】
【０００２】
近年の車両（以下「自動車」を例示する）においては、その後方視界を確認するためのカメラを搭載しており、例えば後方に進行する際、そのカメラで撮影した後方画像を車内の表示装置に表示する機能（以下「後方表示機能」という）を搭載しているものがある。このような後方表示機能としては、車両の外側後部にカメラを配置しておき、このカメラで撮影した後方画像を車内の表示装置に表示させるものが存在している。
【０００３】
近年の自動車においては、その運転者が、例えば後方に進行しようとシフトレバーを所定位置にセットしたことを契機に、そのカメラによって撮影された後方画像を車内の表示装置に表示するものがある。運転者は、通常視認しにくい後方視界を、このような後方表示機能によって車内の表示装置によって視覚的に確認することができる（特許文献１参照）。
【０００４】
【特許文献１】
特許３８３００２５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記従来技術では、後方視界を車内で視認することができるものの、後進する場合においては前進する場合に比べて自動車の運転操作が難しいことから、運転者は、後方視界に関するより多くの情報を必要とする。そこで、自動車の車内の表示手段（表示装置）に、自動車の後方画像のみならず、この後方画像に他の画像を重ねて合成して表示手段に表示することも考えられる。しかしながら、このようにした場合、この後方画像内に優先表示物が存在していると、その優先表示物が他の画像によって隠されてしまう場合もある。このような場合、運転者は、表示上、優先表示物が存在しないにもかかわらず、もしかしたら他の画像の裏に優先表示物が隠れて見えないだけかもしれないとの余分な注意を払いながら、自動車を運転しなければならないおそれがあった。
［０００６］
本発明が解決しようとする課題には、上記した問題が一例として挙げられる。
課題を解決するための手段
［０００７］
上記目的を達成するために、請求項１記載の発明は、車両の後方を撮像して後方画像データを生成する撮像手段と、前記撮像手段によって撮像された後方画像に生じた歪みを補正するよう前記後方画像データから後方画像補正データを生成する画像生成手段と、前記後方画像の中に含まれる移動体を検出する移動体検出手段と、前記後方画像補正データ及び前記後方画像データに基づいて、前記後方画像の中の前記移動体を避けた領域に補正後の前記後方画像を重ねた合成画像を表示するための表示データを生成する合成画像生成手段と、前記表示データに基づいて前記合成画像を表示する表示手段と、を有することを特徴とする。
［０００８］
また上記目的を達成するために、請求項５記載の発明は、車両の後方を撮像して後方画像データを生成する撮像ステップと、前記撮像ステップによって撮像された後方画像に生じた歪みを補正するよう前記後方画像データから後方画像補正データを生成する画像生成ステップと、前記後方画像の中に含まれる移動体を検出する移動体検出ステップと、前記後方画像補正データ及び前記後方画像データに基づいて、前記後方画像の中の前記移動体を避けた領域に補正後の前記後方画像を重ねた合成画像を表示するための表示データを生成する合成画像生成ステップと、前記表示データに基づいて前記合成画像を表示する表示ステップと、を有することを特徴とする。
［０００９］
また上記目的を達成するために、請求項６記載の発明は、車両の後方を撮像して後方画像データを生成する撮像ステップと、前記撮像ステップによって撮像された後方画像に生じた歪みを補正するよう前記後方画像データから後方画像補正データを生成する画像生成ステップと、前記後方画像の中に含まれる移動体を検出する移動体検出ステップと、前記後方画像補正データ及び前記後方画像データに基づいて、前記後方画像の中の前記移動体を避けた領域に補正後の前記後方画像を重ねた合成画像を表示するための表示データを生成する合成画像生成ステップと、前記表示データに基づいて前記合成画像を表示する表示ステップと、を車両用表示装置において実行させることを特徴とする。
発明を実施するための最良の形態
［００１０］
以下、本発明の一実施の形態を図面を参照しつつ説明する。
＜第１実施形態＞
図１は、第１実施形態としての車両用表示装置１を搭載する車両３の構成例を示す概念図である。
車両３は、例えば自動車であり、その運転者の操作によって前進したり後進したり左右に各々曲がることができる。車両用表示装置１は、撮像装置１０（以下「カメラ１０」という）、画像生成部２０及び表示装置３０を搭載している。
［００１１］
カメラ１０（撮像手段）は、例えばＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）を用いたいわゆるデジタルカメラである。このカメラ１０は、車両３の後方を撮像し、この車両３の後方視界の画像（以下「後方画像」という）に基づく後方画像データ９を取得する機能を有する。このカメラ１０は、車両３の後方をより広角に撮像するため、例えば広角レンズを用いて撮影している。このカメラ１０によって撮影した映像は、広角レンズを用いている影響により、多少の歪みを生ずる場合がある。
［００１２］
画像生成部２０は、車両３の後方画像とは表示態様が異なる画像であって車両３の後方画像に重ねるべき他の画像に関する他の画像データ（後述する歪み補正後の後方画像データ及び視点変換後の後方画像データの少なくとも一方）を生成する機能を有する。なお、ここでいう他の画像は、このように表示態様が異なる画像であってもよいし、或いは同一であっても良い。本実施形態では、一例として他の画像は、例えば後方画像の歪みを補正した画像及び後方画像の視点を変換した画像のように表示態様が元々の後方画像とは異なるものとする。本実施形態では、上述のように他の画像を重ねられる側の画像を表示する画面を「親画面」ともいい、この親画面に重ねるべき他の画像を表示する画面を「子画面」ともいうものとする。
［００１３］
また、ここでいう他の画像としては、車両３の後方画像に関係する画像のみならず、車両３に関係のない画像であってもよい。具体的には、他の画像としては、例えばＤＶＤ（Ｄｅｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）などの記録メディアに記録済みの映像データに基づく映像であってもよい。この画像生成部２０は、車両３の後方画像を表示する親画面に、他の画像を表示する子画面を重ねた（合成した）表示態様の表示データ２７を表示装置３０に出力する。
【００１４】
表示装置３０は、画像生成部２０から受け取った表示データ２７に基づく表示態様で表示する機能を有する。この表示装置３０は、例えば車両３の車内に設けられた液晶表示装置などのディスプレイである。この表示装置３０は、例えば走行すべき経路を誘導するナビゲーション装置の表示装置又はテレビジョン受信装置の表示装置と兼ねることができる。
【００１５】
図２は、カメラ１０が車両３の後方を撮影する様子を示すイメージ図である。なお図示した鎖線のうち二点鎖線の間は、この駐車場の路面におけるカメラ１０による撮像可能範囲を示しており、一点鎖線の間は、この駐車場の路面上方の空間における撮像可能範囲を示している。
【００１６】
本実施形態では、車両３が、例えば駐車場に駐車しようとしており後方に進もうとしている。この駐車場には、車両３の駐車位置の目安を示す車線５，７が存在している。車線５，７は、車両３の幅よりも多少広い間隔で互いに平行となるように駐車場の路面に引かれている。
【００１７】
カメラ１０は、上述のように車両３の後部の上部に装着されており、撮像可能範囲において車両３の後方視界を撮像することができる。このカメラ１０の撮像可能範囲には、上述した車線５，７が含まれている。
【００１８】
図３は、図１に示す画像生成部２０の構成例を示すブロック図である。
画像生成部２０は、第１画像変換部２１、移動体検出部２２、第２画像変換部２３及び画像合成部２４を備えている。
【００１９】
画像生成部２０には、上述したカメラ１０によって撮像された車両３の後方画像に基づく後方画像データ９が入力されている。第１画像変換部２１（歪み補正手段）は、後方画像データ９に基づく車両３の後方画像の歪み補正を行って歪み補正後の後方画像データ９を生成する。第２画像変換部２３（視点変換手段）は、上述したカメラ１０による車両３の後方画像に基づく後方画像データ９が入力されている。第２画像変換部２３は、後方画像データ９に基づく車両３の後方画像に関して視点を変換して視点変換後の後方画像データ９を生成する機能を有する。
［００２０］
移動体検出部２２（優先表示物検出手段、移動体検出手段）は、後方画像データ９に基づいて車両３の後方画像から、優先的に表示されるべき優先表示物を検出する機能を有する。ここで本実施形態では、オプティカルフローによって移動体を検出し、優先表示物として移動体を例示する。なお優先表示物としては、このような移動体に限られず、優先的に表示されるべき物であればいかなるものであってもよい。例えばパターンマッチングによって道路標識を検出し、優先表示物としてもよい。
［００２１］
画像合成部２４（合成画像生成手段）は、移動体検出部２２によって、前記車両３の後方画像に移動体が検出されなかった場合、その後方画像データ９から、この車両３の後方画像に重ねるべき他の画像を生成し、この車両３の後方画像に他の画像を合成した表示態様の表示データを生成する機能を有する。
［００２２］
一方、この画像合成部２４（合成画像生成手段）は、車両３の後方画像に移動体が検出された場合、その後方画像データ９から、車両３の後方画像において、この移動体に他の画像を重ねない表示態様の表示データ２７を生成する機能を有する。ここで、本実施形態では、このように車両３の後方画像において、移動体に他の画像を重ねない表示態様とは、例えば車両３の後方画像のみの表示態様とすること、又は、車両３の後方画像において移動体と他の画像とを異なる位置に配置した表示態様とすることを示している。以下の説明においては、移動体に他の画像を重ねない表示態様として主に後者を例示する。
［００２３］
車両用表示装置１は以上のような構成であり、次に図１〜図３を参照しつつ車両用表示装置１の動作例について説明する。
図４は、車両用表示装置１の動作例としての後方撮像表示処理を表すフローチャートである。
図５〜図８は、それぞれ表示装置３０の表示態様の一例を示す図である。
図４に示すステップＳ１では、車両３に設置されたカメラ１０によって車両３の後方を撮影する。ここで、上述のようにカメラ１０による車両３の後方画像は、図５に示す後方画像１４のように全体的に歪みが生じている。
［００２４］
次にステップＳ２では、画像変換部２３が、その第１画像変換部２１によって、カメラ１０によって撮像された後方画像１４の歪み補正を行って歪み補正後の後方画像データ９を生成する。このようにすると、歪み補正後の後方画像データ９に基づく画像（以下「歪み補正画像（第１変換画像）」という）は、図６に示す後方画像１５のように歪みが生じないようになる。第１画像変換部２１は、その後方画像１５に関する歪み補正後の後方画像データ９を移動体検出部２２に出力する。
【００２５】
次に図４に示すステップＳ３では、移動体検出部２２が、例えばオプティカルフローによって、後方画像データ９に基づく後方画像１５から、優先的に表示されるべき優先表示物の一例としての移動体の検出を試みる。
【００２６】
次にステップＳ４では、画像生成部２０が、その第２画像変換部２３によって、車両３の後方画像１５に関して視点を変換して視点変換後の後方画像データ９を生成する。なお、第２画像変換部２３は、上記歪み補正後の後方画像１５に関して視点を変換しても良いし、カメラ１０によって撮像された後方画像１４に関して直接視点を変換しても良い。この視点変換後の後方画像データ９に基づく画像（以下「視点変換画像（第２変換画像）」という）は、例えば図７に示すように駐車場の真上からほぼ真下に見下げた後方画像１６（鳥瞰画像）となる。このようにすると、車線５，７は直線状になり、車両３の運転者は、これら車線５，７と車両３との位置関係を把握しやすくなり、駐車場への駐車を容易とすることができる。
【００２７】
次にステップＳ５では、画像合成部２４（合成画像生成手段）が、そのまま合成すると、図６に示す視点変換画像１５（第２変換画像）の予定表示領域１８（例えば右上）に移動体１７が配置してしまうことになるか否かを判断する。
【００２８】
画像合成部２４は、移動体検出部２２によって、車両３の後方画像における予定表示領域１８内に車両３の後方画像に移動体が検出されなかった場合、後方画像データ９から次のように表示データ２７を生成する。すなわち画像合成部２４は、図８に示すように、この予定表示領域１８内に、この車両３の後方画像１５（例えば歪み補正画像）に重ねるべき他の画像（例えば視点変換画像１６ａ）を、この車両３の後方画像１５に合成した表示態様の表示データ２７を生成する。
【００２９】
一方、この画像合成部２４は、図６に示すように車両３の後方画像に移動体１７が検出された場合、後方画像データ９から次のように表示データ２７を生成する。すなわち画像合成部２４は、この移動体に他の画像（例えば視点変換画像１６ａ）を重ねない表示態様の表示データ２７を生成する。
【００３０】
具体的には、画像合成部２４は、図６に示すように予定表示領域１８内に移動体１７が存在すると検出された場合、他の画像１６（視点変換画像）を予定表示領域１８（例えば右上）から他の表示領域（例えば左上）に変えて車両３の後方画像１５に合成してもよい。このとき画像合成部２４は、例えば移動体１７が後方画像１５の中央方向（車両３が後進するであろう経路の一例）に進行している場合にのみ、車両３の後方画像１５に他の画像１６を重ねない表示態様又は、他の画像１６が移動体１７に重ならないようにしつつ他の画像１６を車両３の後方画像１５に重ねた表示態様としてもよい。このようにすると、車両３が後方に進行すると移動体１７の安全に影響があるであろう場合においても、表示装置３０に確実に移動体１７を表示しておくことができる。なお画像合成部２４は、移動体１７が後方画像１５の外側に移動している場合や、その場で停止或いは振動している場合、他の画像１６の表示を特に変更することなく、そのまま表示する要にしても良い。
【００３１】
また、このとき画像合成部２４は、図１０に示すように移動体１７の位置を表す移動体領域１７ａを通常よりも強調した表示態様、例えば移動体１７の周囲を太い点線で囲い込んだ表示態様となるよう合成してもよい。このようにすると、これに接した運転者が後方画像１５内において移動体１７を見落としにくくすることができる。
【００３２】
また画像合成部２４は、図１０に示す歪み補正画像１５を縮小した図１１に示す歪み補正画像１５ａを予定表示領域１８において子画面とする一方、図１０に示す視点変換画像１９ａを拡大した図１１に示す視点変換画像１６を親画面とするよう入れ替えて画像を合成しても良い。
【００３３】
また本実施形態では、車両用表示装置１が、運転者（操作者）によって操作可能な操作手段を備えており、運転者による操作手段の操作を契機として画像合成部２４が、上述のような画像の入れ替えて画像を合成した表示態様に構成したり元の表示態様に戻すことができるようにしても良い。
【００３４】
上記実施形態における車両用表示装置１は、車両３の後方を撮像し、その車両３の後方画像１５に基づく後方画像データ９を取得する撮像手段１０（カメラ）と、この後方画像データ９に基づいて車両３の後方画像１５から、優先的に表示されるべき優先表示物１７（移動体）を検出する優先表示物検出手段２２（移動体検出部）と、この優先表示物検出手段２２によって、この車両３の後方画像１５に優先表示物１７が検出されなかった場合、その後方画像データ９から、この車両３の後方画像１５に重ねるべき他の画像１６をこの車両３の後方画像１５に合成した表示態様の表示データ２７を生成する合成画像生成手段２４（画像合成部）と、この表示データ２７に基づく表示態様で表示する表示手段３０（表示装置）とを有する。
【００３５】
本実施形態によれば、車両３の後方画像１４，１５，１９に優先表示物１７（移動体）が存在しない場合には、表示手段３０（表示装置）において、車両３の後方画像１５などに他の画像１６が重ねて表示されるようになる。従って車両３の運転者は、例えば後方に進行する際に表示手段３０を見ていて他の画像１６が表示されていれば、優先表示物１７が車両３の後方画像に存在しないという安心感を持ちつつ、これら他の画像１６及び後方画像１５などのように多くの情報によって、安全に運転することができる。
【００３６】
また、上記実施形態における車両用表示装置１における車両用表示方法は、撮像手段１０によって車両３の後方を撮像する撮像ステップと、優先表示物検出手段２２によって、その撮像手段１０によって撮像されたその車両３の後方画像から、優先的に表示されるべき優先表示物１７を検出する優先表示物検出ステップと、その優先表示物検出手段２２によって、その車両３の後方画像にその優先表示物１７が検出されなかった場合、合成画像生成手段２４によって、その車両３の後方画像に重ねるべき他の画像１６をその車両３の後方画像に合成した表示態様の表示データ２７を生成する合成画像生成ステップと、表示手段３０によってその表示データ２７に基づく表示態様で表示する表示ステップとを有する。
【００３７】
本実施形態における車両用表示方法を用いると、車両３の後方画像１４，１５，１９に優先表示物１７（移動体）が存在しない場合には、表示手段３０（表示装置）において、車両３の後方画像１５などに他の画像１６が重ねて表示されるようになる。従って車両３の運転者は、例えば後方に進行する際に表示手段３０を見ていて他の画像１６が表示されていれば、優先表示物１７が車両３の後方画像に存在しないという安心感を持ちつつ、これら他の画像１６及び後方画像１５などのように多くの情報によって、安全に運転することができる。
【００３８】
また、上記実施形態では、主としてハードウェアによって各機能が実現されているように例示しているが、これに限られず、ソフトウェア（車両用表示プログラム）によって各機能が実現されてもよい。つまり車両用表示装置１においては、この車両用表示プログラムの動作によって次のような各ステップの機能を発揮するようにしてもよい。具体的には、上記実施形態における車両用表示プログラムは、撮像手段１０によって車両の後方を撮像させる撮像ステップと、優先表示物検出手段２２によって、その撮像手段１０によって撮像されたその車両３の後方画像から、優先的に表示されるべき優先表示物１７を検出させる優先表示物検出ステップと、その優先表示物検出手段２２によって、その車両３の後方画像に優先表示物１７が検出されなかった場合、合成画像生成手段２４によって、車両３の後方画像に重ねるべき他の画像１６をその車両３の後方画像に合成した表示態様の表示データを生成させる合成画像生成ステップと、表示手段３０によって表示データ２７に基づく表示態様で表示させる表示ステップとを車両用表示装置１において実行させることを特徴とする。
【００３９】
このような車両用表示プログラムを車両用表示装置１において実行すると、車両用表示装置１は、車両３の後方画像１４，１５，１９に優先表示物１７（移動体）が存在しない場合に、表示手段３０（表示装置）において、車両３の後方画像１５などに他の画像１６を重ねて表示するようになる。従って車両３の運転者は、例えば後方に進行する際に表示手段３０を見ていて他の画像１６が表示されていれば、優先表示物１７が車両３の後方画像に存在しないという安心感を持ちつつ、これら他の画像１６及び後方画像１５などのように多くの情報によって、安全に運転することができる。
【００４０】
上記実施形態における車両用表示装置１（又は車両用表示方法若しくは車両用表示プログラム）においては、上記構成において、合成画像生成手段２４（画像合成部）は、この車両３の後方画像１５に優先表示物１７が検出された場合、その後方画像データ９から、この車両３の後方画像１５において優先表示物１７に他の画像１６を重ねない表示態様の表示データ２７を生成することを特徴とする。
【００４１】
本実施形態によれば、車両３の後方画像１４，１５，１９に優先表示物１７（移動体）が存在する場合には、表示手段３０（表示装置）には、車両３の後方画像１５において他の画像１６が優先表示物１７に重ねて表示されず、車両３の後方画像１５内において優先表示物１７が確実に表示されるようになる。従って車両３の運転者は、特に後方に進行する際に表示手段３０を見ていれば、車両３の後方に存在する優先表示物１７を確実に視認することができ、安全に車両３を運転することができる。また、この表示手段３０には、優先表示物１７を確実に表示することができる上、さらに後方画像１５などに重ねて他の画像１６を表示しているため、運転者は、これら後方画像１５など及び他の画像１６のように多くの情報に接することができ、優先表示物１７に注意を払いつつ安全に運転することができる。
【００４２】
上記実施形態における車両用表示装置１などにおいては、上記構成に加えてさらに、画像生成手段２０（画像生成部）は、その車両３の後方画像とは表示態様の異なる画像であってその車両３の後方画像１５などに重ねるべき他の画像１６に関する他の画像データ９（歪み補正後の後方画像データ及び視点変換後の後方画像データの少なくとも一方）を生成する画像生成手段２０（画像生成部）ことを特徴とする。
【００４３】
このようにすると、表示装置３０には、車両３の後方画像１５などのみならず、後方画像データ９に基づいて作成した他の画像１６をも表示することができることから、車両３の運転者は、車両３の後方画像１５など及び他の画像１６を様々な表示位置で視覚的に認識することができるようになる。
【００４４】
上記実施形態における車両用表示装置１などにおいては、上記構成に加えてさらに、画像生成手段２０（画像生成部）は、後方画像データ９に基づく車両３の後方画像の歪み補正を行って歪み補正後の後方画像データを生成する歪み補正変換手段２１（第１画像変換部）を備えることを特徴とする。
【００４５】
このようにすると、表示手段３０に表示される車両３の後方画像が歪まないため、例えば車両３の運転者が、表示手段３０に表示された車両３の後方画像１５を視認しやすくすることができる。
【００４６】
上記実施形態における車両用表示装置１などにおいては、上記構成に加えてさらに、画像生成手段２０（画像生成部）は、後方画像データ９に基づく車両３の後方画像に関して視点を変換して視点変換後の後方画像データ９を生成する視点変換手段２３（第２画像変換部）を備えることを特徴とする。
【００４７】
このようにすると、表示手段３０に表示される車両３の後方画像は、例えば視点を変えることによって車両３の運転者によって運転しやすい視点からの画像とすれば、車両３の運転者がより容易に車両３を後進させることができるようになる。特に運転者が、車両３を後進させて駐車場に駐車する場合においては、車両３を駐車しやすくなる。
【００４８】
上記実施形態における車両用表示装置１などにおいては、上記構成に加えてさらに、合成画像生成手段２０（画像生成部）は、移動体検出部２２によって車両３の後方画像に優先表示物１７（移動体）が検出された場合、優先表示物１７に重ならない位置に他の画像１６を配置させて車両３の後方画像１５に合成することを特徴とする。
【００４９】
このような構成とすると、車両３の後方画像１５内に優先表示物１７が存在する場合において車両３の後方画像１５に他の画像１６を合成しても、優先表示物１７が、他の画像１６によって隠されないようにすることができる。このため優先表示物１７は、車両３の後方画像１５内に確実に表示されるようになる。
【００５０】
上記実施形態における車両用表示装置１などにおいては、上記構成に加えてさらに、合成画像生成手段２４（画像合成部）は、車両３の後方画像１５内において優先表示物１７を強調した表示態様として車両３の後方画像１５に他の画像１６を合成することを特徴とする。
【００５１】
このようにすると、車両３の運転者など搭乗者が、表示手段３０に表示された優先表示物１７を視覚的に視認しやすくすることができ、この優先表示物１７を見落としにくくすることができる。
【００５２】
上記実施形態における車両用表示装置１などにおいては、上記構成に加えてさらに、移動体検出部２２（優先表示物検出手段）は、オプティカルフローにより移動体１７を検出することを特徴とする。ここで移動体１７としては、例えば人間、動物及び物のいずれか又はこれらいずれかの組み合わせを挙げることができる。
【００５３】
このようにすると、車両３の後方画像５に移動体１７が存在する場合には、移動体検出部２２が確実にこの移動体１７を検出することができる。
【００５４】
上記実施形態における車両用表示装置１などにおいては、上記構成において、画像生成手段２０（画像生成部）は、車両３の後方画像１５を構成する後方画像データ９とは異なる画像データに基づいて他の画像１６を生成することを特徴とする。
【００５５】
このようにすると、後方画像データ９とは異なる画像データに基づいて他の画像１６を後方画像１５に合成すれば、表示手段３０には、後方画像データ９とは異なる画像データに基づく他の画像１６が表示され、運転者などの搭乗者は、後方画像１５の他に他の画像１６からも情報を得ることができる。
【００５６】
上記実施形態における車両用表示装置１などにおいては、上記構成において、画像生成手段２０（画像生成部）は、車両３の後方画像１５を構成する後方画像データ９から他の画像１６を生成することを特徴とする。
【００５７】
このようにすると、後方画像データ９から生成した他の画像１６を後方画像１５に合成すれば、表示手段３０には、後方画像データ９に基づく他の画像１６が表示され、運転者などの搭乗者は、後方画像１５及び他の画像１６を利用して運転上有益な車両３の後方に関する情報を得ることができる。
【００５８】
＜第２実施形態＞
図１２は、第２実施形態としての車両用表示装置１ａにおける画像生成部２０ａの構成例を示すブロック図である。
第２実施形態としての車両用表示装置１ａは、第１実施形態とほぼ同様の構成でありほぼ同様の動作であることから、同一の構成及び動作については第１実施形態における図１乃至図１１と同一の符号を用いるとともに、その説明を省略し、以下の説明では異なる点を中心として説明する。
【００５９】
第２実施形態では、画像生成部２０ａが、第１実施形態における画像生成部２０とは異なっている。なお、画像生成部２０を構成する第１画像変換部２１、第２画像変換部２３、移動体検出部２２及び画像合成部２４など、各ブロックの構成及び機能はほぼ同様であるので、以下の説明では異なる点を中心として説明する。
【００６０】
第１実施形態では、第２画像変換部２３が、入力された後方画像データ９に基づく車両３の後方画像に関して視点を変換して視点変換後の後方画像データ９を生成していたが、第２実施形態では、第２画像変換部２３ａが、第１画像変換部２１による歪み補正後の後方画像データ９に基づく歪み補正後の画像（歪み補正後画像）に関して視点を変換し、視点補正及び歪み補正後の後方画像データ９を生成するようにしてもよい。
【００６１】
第２画像変換部２３ａは、第１画像変換部２１に接続されており、かつ、第１画像変換部２１から歪み補正後の後方画像データ９が入力されるようになっている。
【００６２】
このようにすると、第１実施形態のように後方画像データ９から視点変換画像を生成した場合よりも、視点変換画像がより歪みの少ない画像となる。このため運転者が視点変換画像をより視認しやすくすることができる。
【００６３】
なお、本実施形態は、上記に限られず、種々の変形が可能である。以下、そのような変形例を順を追って説明する。
本実施形態では、視点変換画像として、図７に示すように駐車場の上方からほぼ真下に見下ろした場合の画像を例示しているが、これに限られず、駐車場の斜め上方から斜めに見下ろした場合の画像を採用しても良い。
【００６４】
また第１実施形態では、１つのカメラ１０によって取得された後方画像データ９を画像生成部２０に入力することで第１画像変換部２１及び第２画像変換部２３に入力しているが、これに限られず、２つのカメラ１０によって取得された２つの後方画像データ９を各々第１画像変換部２１及び第２画像変換部２３に入力する形態であっても良い。
【００６５】
上記実施形態においては、他の画像１６として、上述のような車両３の運転に関する映像のみならず、例えば車両３の後方画像１５などとは異なる映像（車両３の運転とは関係のない映像）を表示させることもできる。このような他の画像１６としては、例えばＤＶＤのような記録メディアに記録済みの映像データに基づく映像を挙げることができる。
【図面の簡単な説明】
【００６６】
【図１】第１実施形態としての車両用表示装置を搭載する車両の構成例を示す概念図である。
【図２】カメラが車両の後方を撮影する様子を示すイメージ図である。
【図３】図１に示す画像生成部の構成例を示すブロック図である。
【図４】車両用表示装置の動作例としての後方撮像表示処理を表すフローチャートである。
【図５】表示装置に表示された合成画像の一例を示す図である。
【図６】表示装置に表示された合成画像の一例を示す図である。
【図７】表示装置に表示された合成画像の一例を示す図である。
【図８】表示装置に表示された合成画像の一例を示す図である。
【図９】表示装置に表示された合成画像の一例を示す図である。
【図１０】表示装置に表示された合成画像の一例を示す図である。
【図１１】表示装置に表示された合成画像の一例を示す図である。
【図１２】画像生成部の構成例を示すブロック図である。
【符号の説明】
【００６７】
１ 車両用表示装置
１ａ 車両用表示装置
３ 車両
９ 後方画像データ
１０ カメラ（撮像手段）
１４ 車両の後方画像
１５ 車両の後方画像
１６ 他の画像
１７ 移動体（優先表示物）
１９ 車両の後方画像
２０ 画像生成部（画像生成手段）
２０ａ 画像生成部（画像生成手段）
２１ 第１画像変換部（歪み補正手段）
２２ 移動体検出部（優先表示物検出手段）
２３ 第２画像変換部（視点変換手段）
２３ａ 第２画像変換部（視点変換手段）
２４ 画像変換部（合成画像生成手段）
３０ 表示装置（表示手段）【Technical field】
[0001]
The present invention relates to a vehicle display device that captures an image of the rear of a vehicle and displays another image superimposed on the rear image of the vehicle.
[Background]
[0002]
In recent vehicles (hereinafter referred to as “automobiles”), a camera for confirming the rear view of the vehicle is mounted. For example, when traveling backward, a rear image captured by the camera is displayed on a display device in the vehicle. Some have a display function (hereinafter referred to as “rear display function”). As such a rear display function, there is a function in which a camera is arranged at the rear rear part of a vehicle and a rear image captured by the camera is displayed on a display device in the vehicle.
[0003]
In recent automobiles, for example, when the driver sets a shift lever at a predetermined position so as to proceed backward, for example, a rear image captured by the camera is displayed on a display device in the vehicle. The driver can visually check the rear field of view, which is usually difficult to visually recognize, with the display device in the vehicle by such a rear display function (see Patent Document 1).
[0004]
[Patent Document 1]
Japanese Patent No. 3830025
DISCLOSURE OF THE INVENTION
[Problems to be solved by the invention]
[0005]
However, in the above-described prior art, although the rear view can be visually recognized in the vehicle, the driver is more difficult to drive when compared to moving forward, and therefore, the driver has more information about the rear view. Need. Therefore, it is also conceivable to display not only the rear image of the automobile but also another image superimposed on the rear image and displayed on the display means on the display means (display device) in the car. However, in such a case, if a priority display object exists in the rear image, the priority display object may be hidden by another image. In such a case, the driver pays extra attention that the priority display may not be visible behind other images even though there is no priority display on the display. However, there was a risk of driving the car.
[0006]
The problem to be solved by the present invention includes the above-described problem as an example.
Means for solving the problem
[0007]
In order to achieve the above object, the invention according to claim 1 corrects the distortion generated in the rear image picked up by the image pickup means for picking up the rear image data by picking up the rear of the vehicle. Based on the image generation means for generating the backward image correction data from the backward image data, the moving body detection means for detecting the moving body included in the backward image, the backward image correction data and the backward image data, Composite image generation means for generating display data for displaying a composite image in which the corrected rear image is superimposed on a region of the rear image avoiding the moving body, and the composite image based on the display data Display means for displaying.
[0008]
In order to achieve the above object, the invention according to claim 5 corrects distortion generated in the rear image captured by the imaging step of imaging the rear of the vehicle and generating rear image data, and the imaging step. Based on the image generation step for generating the rear image correction data from the rear image data, the moving body detection step for detecting the moving body included in the rear image, the rear image correction data and the rear image data. A composite image generating step for generating display data for displaying a composite image in which the corrected rear image is superimposed on a region of the rear image avoiding the moving body; and the composite based on the display data And a display step for displaying an image.
[0009]
In order to achieve the above object, according to a sixth aspect of the present invention, there is provided an imaging step of imaging the rear of the vehicle to generate rear image data, and correcting distortion generated in the rear image captured by the imaging step. Based on the image generation step for generating the rear image correction data from the rear image data, the moving body detection step for detecting the moving body included in the rear image, the rear image correction data and the rear image data. A composite image generating step for generating display data for displaying a composite image in which the corrected rear image is superimposed on a region of the rear image avoiding the moving body; and the composite based on the display data A display step of displaying an image is executed in the vehicle display device.
BEST MODE FOR CARRYING OUT THE INVENTION
[0010]
Hereinafter, an embodiment of the present invention will be described with reference to the drawings.
<First Embodiment>
FIG. 1 is a conceptual diagram illustrating a configuration example of a vehicle 3 on which a vehicle display device 1 according to the first embodiment is mounted.
The vehicle 3 is, for example, an automobile, and can move forward and backward or bend left and right according to the operation of the driver. The vehicle display device 1 includes an imaging device 10 (hereinafter referred to as “camera 10”), an image generation unit 20, and a display device 30.
[0011]
The camera 10 (imaging means) is a so-called digital camera using, for example, a CCD (Charge Coupled Device). The camera 10 has a function of capturing an image of the rear of the vehicle 3 and acquiring rear image data 9 based on an image of a rear view of the vehicle 3 (hereinafter referred to as “rear image”). The camera 10 takes an image using, for example, a wide-angle lens in order to capture the rear of the vehicle 3 at a wider angle. An image captured by the camera 10 may be slightly distorted due to the influence of using a wide-angle lens.
[0012]
The image generation unit 20 is an image having a display mode different from that of the rear image of the vehicle 3 and other image data related to other images to be superimposed on the rear image of the vehicle 3 (backward image data after distortion correction and viewpoint conversion described later) It has a function of generating at least one of the subsequent rear image data. Note that the other images referred to here may be images having different display modes as described above, or may be the same. In the present embodiment, as an example, the other images are different in display form from the original rear image, such as an image obtained by correcting the distortion of the rear image and an image obtained by converting the viewpoint of the rear image. In the present embodiment, as described above, a screen that displays an image on which another image is superimposed is also referred to as a “parent screen”, and a screen that displays another image to be superimposed on the parent screen is also referred to as a “child screen”. Shall.
[0013]
Further, the other image referred to here may be an image not related to the vehicle 3 as well as an image related to the rear image of the vehicle 3. Specifically, the other image may be a video based on video data recorded on a recording medium such as a DVD (Digital Versatile Disk). The image generation unit 20 outputs to the display device 30 display data 27 in a display mode in which a child screen for displaying another image is superimposed (synthesized) on a parent screen for displaying a rear image of the vehicle 3.
[0014]
The display device 30 has a function of displaying in a display mode based on the display data 27 received from the image generation unit 20. The display device 30 is a display such as a liquid crystal display device provided in the vehicle 3. The display device 30 can also serve as, for example, a display device for a navigation device that guides a route to be traveled or a display device for a television receiver.
[0015]
FIG. 2 is an image diagram illustrating a state in which the camera 10 captures the rear of the vehicle 3. In addition, between the two-dot chain lines in the illustrated chain line, the range that can be imaged by the camera 10 on the road surface of the parking lot is shown, and between the one-dot chain line, the imageable range in the space above the road surface of the parking lot is shown. ing.
[0016]
In this embodiment, the vehicle 3 is going to park in a parking lot, for example, and is going to go back. In this parking lot, there are lanes 5 and 7 indicating a guide for the parking position of the vehicle 3. The lanes 5 and 7 are drawn on the road surface of the parking lot so as to be parallel to each other at an interval slightly wider than the width of the vehicle 3.
[0017]
The camera 10 is attached to the upper part of the rear part of the vehicle 3 as described above, and can capture the rear view of the vehicle 3 within the imageable range. The imageable range of the camera 10 includes the lanes 5 and 7 described above.
[0018]
FIG. 3 is a block diagram illustrating a configuration example of the image generation unit 20 illustrated in FIG.
The image generation unit 20 includes a first image conversion unit 21, a moving body detection unit 22, a second image conversion unit 23, and an image composition unit 24.
[0019]
Rear image data 9 based on the rear image of the vehicle 3 captured by the camera 10 described above is input to the image generation unit 20. The first image conversion unit 21 (distortion correction unit) performs distortion correction on the rear image of the vehicle 3 based on the rear image data 9 to generate the rear image data 9 after distortion correction. The second image conversion unit 23 (viewpoint conversion means) receives the rear image data 9 based on the rear image of the vehicle 3 by the camera 10 described above. The second image conversion unit 23 has a function of converting the viewpoint with respect to the rear image of the vehicle 3 based on the rear image data 9 and generating the rear image data 9 after the viewpoint conversion.
[0020]
The mobile body detection unit 22 (priority display object detection means, mobile body detection means) has a function of detecting a priority display object to be displayed preferentially from the rear image of the vehicle 3 based on the rear image data 9. Here, in the present embodiment, the moving body is detected by the optical flow, and the moving body is exemplified as the priority display object. Note that the priority display object is not limited to such a moving body, and may be any object as long as it should be displayed with priority. For example, a road sign may be detected by pattern matching and used as a priority display object.
[0021]
When a moving body is not detected in the rear image of the vehicle 3 by the moving body detection unit 22, the image composition unit 24 (composite image generation means) superimposes the rear image data 9 on the rear image of the vehicle 3. It has a function of generating another image to be generated and generating display data in a display mode in which the rear image of the vehicle 3 is combined with another image.
[0022]
On the other hand, when a moving body is detected in the rear image of the vehicle 3, the image composition unit 24 (composite image generating means) uses the rear image data 9 from the rear image of the vehicle 3 to transfer another image to the moving body. Has a function of generating display data 27 in a display mode that does not overlap. Here, in this embodiment, in the rear image of the vehicle 3 as described above, the display mode in which no other image is superimposed on the moving body is, for example, the display mode of only the rear image of the vehicle 3 or the vehicle 3 In the rear image, the moving body and another image are displayed in different positions. In the following description, the latter is mainly exemplified as a display mode in which other images are not superimposed on the moving body.
[0023]
The vehicular display device 1 is configured as described above. Next, an operation example of the vehicular display device 1 will be described with reference to FIGS. 1 to 3.
FIG. 4 is a flowchart showing a rear imaging display process as an operation example of the vehicle display device 1.
5-8 is a figure which shows an example of the display mode of the display apparatus 30, respectively.
In step S <b> 1 shown in FIG. 4, the rear of the vehicle 3 is photographed by the camera 10 installed in the vehicle 3. Here, as described above, the rear image of the vehicle 3 by the camera 10 is entirely distorted like the rear image 14 shown in FIG.
[0024]
Next, in step S <b> 2, the image conversion unit 23 performs distortion correction on the rear image 14 captured by the camera 10 by the first image conversion unit 21 to generate the rear image data 9 after distortion correction. In this way, an image based on the rear image data 9 after distortion correction (hereinafter referred to as “distortion corrected image (first converted image)”) is not distorted like the rear image 15 shown in FIG. . The first image conversion unit 21 outputs the rear image data 9 after distortion correction related to the rear image 15 to the moving body detection unit 22.
[0025]
Next, in step S3 shown in FIG. 4, the moving object detection unit 22 performs an operation of a moving object as an example of a priority display object to be displayed preferentially from the rear image 15 based on the rear image data 9 by, for example, an optical flow. Attempt detection.
[0026]
Next, in step S <b> 4, the image generation unit 20 uses the second image conversion unit 23 to convert the viewpoint with respect to the rear image 15 of the vehicle 3 to generate the rear image data 9 after the viewpoint conversion. Note that the second image conversion unit 23 may convert the viewpoint with respect to the rear image 15 after the distortion correction, or may directly convert the viewpoint with respect to the rear image 14 captured by the camera 10. An image based on the rear image data 9 after the viewpoint conversion (hereinafter referred to as “viewpoint converted image (second converted image)”) is, for example, a rear image 16 looked down from directly above the parking lot as shown in FIG. (Bird's-eye view image). In this way, the lanes 5 and 7 are linear, and the driver of the vehicle 3 can easily grasp the positional relationship between the lanes 5 and 7 and the vehicle 3 and can easily park in the parking lot. Can do.
[0027]
Next, in step S5, when the image composition unit 24 (composite image generation means) composes the image as it is, the moving body 17 is displayed in the scheduled display area 18 (for example, upper right) of the viewpoint conversion image 15 (second conversion image) shown in FIG. It is determined whether or not it will be arranged.
[0028]
When the moving object is not detected in the rear image of the vehicle 3 in the scheduled display area 18 in the rear image of the vehicle 3 by the moving object detection unit 22, the image composition unit 24 displays the following from the rear image data 9. Data 27 is generated. That is, as shown in FIG. 8, the image composition unit 24 displays another image (for example, the viewpoint conversion image 16 a) to be superimposed on the rear image 15 (for example, the distortion correction image) of the vehicle 3 in the schedule display area 18. Display data 27 in a display form synthesized with the rear image 15 of the vehicle 3 is generated.
[0029]
On the other hand, when the moving body 17 is detected in the rear image of the vehicle 3 as shown in FIG. 6, the image composition unit 24 generates display data 27 from the rear image data 9 as follows. That is, the image composition unit 24 generates display data 27 in a display mode in which another image (for example, the viewpoint conversion image 16a) is not superimposed on the moving body.
[0030]
Specifically, when it is detected that the moving body 17 exists in the schedule display area 18 as shown in FIG. 6, the image composition unit 24 displays another image 16 (viewpoint conversion image) in the schedule display area 18 (for example, The rear image 15 of the vehicle 3 may be synthesized by changing from the upper right) to another display area (for example, upper left). At this time, for example, the image composition unit 24 adds another image to the rear image 15 of the vehicle 3 only when the moving body 17 travels in the center direction of the rear image 15 (an example of a route on which the vehicle 3 will move backward). A display mode in which the image 16 is not superimposed or a display mode in which the other image 16 is superimposed on the rear image 15 of the vehicle 3 while preventing the other image 16 from overlapping the moving body 17 may be employed. In this way, even when the vehicle 3 travels backward, the safety of the moving body 17 may be affected, so that the moving body 17 can be reliably displayed on the display device 30. In addition, when the moving body 17 has moved outside the rear image 15 or stopped or vibrated on the spot, the image composition unit 24 displays the image 16 as it is without changing the display of the other image 16. You may make it to the point.
[0031]
At this time, as shown in FIG. 10, the image composition unit 24 displays a display mode in which the moving body region 17 a representing the position of the moving body 17 is emphasized more than usual, for example, a display in which the periphery of the moving body 17 is surrounded by a thick dotted line. You may synthesize | combine so that it may become an aspect. If it does in this way, the driver | operator who contacted this can make it difficult to overlook the mobile body 17 in the back image 15. FIG.
[0032]
Further, the image composition unit 24 enlarges the viewpoint conversion image 19a shown in FIG. 10 while the distortion correction image 15a shown in FIG. 11 obtained by reducing the distortion correction image 15 shown in FIG. Alternatively, the viewpoint-converted image 16 shown in FIG.
[0033]
In the present embodiment, the vehicle display device 1 includes an operation unit that can be operated by a driver (operator), and the image composition unit 24 is triggered by the operation of the operation unit by the driver as described above. It may be configured such that the images can be replaced to form a display mode in which the images are combined or the original display mode can be restored.
[0034]
The vehicle display device 1 in the above embodiment is based on the imaging means 10 (camera) that captures the rear of the vehicle 3 and acquires the rear image data 9 based on the rear image 15 of the vehicle 3, and the rear image data 9. From the rear image 15 of the vehicle 3, the priority display object detection unit 22 (moving body detection unit) for detecting the priority display object 17 (moving body) to be displayed with priority, and the priority display object detection unit 22 When the priority display object 17 is not detected in the rear image 15 of the vehicle 3, another image 16 to be superimposed on the rear image 15 of the vehicle 3 is combined with the rear image 15 of the vehicle 3 from the rear image data 9. And a display unit 30 (display device) for displaying in a display mode based on the display data 27.
[0035]
According to this embodiment, when the priority display object 17 (moving body) does not exist in the rear images 14, 15, 19 of the vehicle 3, the rear image 15 of the vehicle 3 is displayed on the display unit 30 (display device). Another image 16 is displayed in an overlapping manner. Therefore, the driver of the vehicle 3 feels at ease that the priority display object 17 does not exist in the rear image of the vehicle 3 if the other image 16 is displayed while looking at the display means 30 when traveling backward. While holding it, it is possible to drive safely with a lot of information such as these other images 16 and rear image 15.
[0036]
Further, the vehicle display method in the vehicle display device 1 in the above embodiment includes an imaging step of imaging the rear of the vehicle 3 by the imaging unit 10, and an image captured by the imaging unit 10 by the priority display object detection unit 22. The priority display object detection step for detecting the priority display object 17 to be displayed preferentially from the rear image of the vehicle 3 and the priority display object detection means 22 cause the priority display object 17 to be displayed on the rear image of the vehicle 3. A composite image generation step of generating display data 27 of a display mode in which another image 16 to be superimposed on the rear image of the vehicle 3 is combined with the rear image of the vehicle 3 by the composite image generation means 24 if not detected; And a display step of displaying in a display mode based on the display data 27 by the display means 30.
[0037]
When the vehicle display method in the present embodiment is used, when the priority display object 17 (moving body) does not exist in the rear images 14, 15, 19 of the vehicle 3, the display means 30 (display device) Another image 16 is superimposed on the rear image 15 or the like. Therefore, the driver of the vehicle 3 feels at ease that the priority display object 17 does not exist in the rear image of the vehicle 3 if the other image 16 is displayed while looking at the display means 30 when traveling backward. While holding it, it is possible to drive safely with a lot of information such as these other images 16 and rear image 15.
[0038]
Moreover, in the said embodiment, although illustrated so that each function was mainly implement | achieved by hardware, it is not restricted to this, Each function may be implement | achieved by software (vehicle display program). That is, in the vehicle display device 1, the functions of the following steps may be exhibited by the operation of the vehicle display program. Specifically, the vehicle display program in the above embodiment includes an imaging step in which the rear of the vehicle is imaged by the imaging means 10 and the rear of the vehicle 3 imaged by the imaging means 10 by the priority display object detection means 22. When the priority display object detection step for detecting the priority display object 17 to be displayed preferentially from the image and the priority display object detection means 22 does not detect the priority display object 17 in the rear image of the vehicle 3. The composite image generating means 24 generates display data in a display mode in which another image 16 to be superimposed on the rear image of the vehicle 3 is combined with the rear image of the vehicle 3 by the composite image generating means 24, and the display data by the display means 30. The display step of displaying in the display mode based on 27 is executed in the vehicle display device 1.
[0039]
When such a vehicle display program is executed in the vehicle display device 1, the vehicle display device 1 displays the priority display object 17 (moving body) in the rear images 14, 15, and 19 of the vehicle 3. In the means 30 (display device), another image 16 is superimposed on the rear image 15 of the vehicle 3 and the like. Therefore, the driver of the vehicle 3 feels at ease that the priority display object 17 does not exist in the rear image of the vehicle 3 if the other image 16 is displayed while looking at the display means 30 when traveling backward. While holding it, it is possible to drive safely with a lot of information such as these other images 16 and rear image 15.
[0040]
In the vehicular display device 1 (or vehicular display method or vehicular display program) in the above-described embodiment, in the above configuration, the composite image generation unit 24 (image synthesis unit) preferentially displays the rear image 15 of the vehicle 3. When the object 17 is detected, display data 27 in a display mode in which the other image 16 is not superimposed on the priority display object 17 in the rear image 15 of the vehicle 3 is generated from the rear image data 9.
[0041]
According to the present embodiment, when the priority display object 17 (moving body) is present in the rear images 14, 15, 19 of the vehicle 3, the display means 30 (display device) includes the rear image 15 of the vehicle 3. The other image 16 is not displayed superimposed on the priority display object 17, and the priority display object 17 is reliably displayed in the rear image 15 of the vehicle 3. Therefore, the driver of the vehicle 3 can surely visually recognize the priority display object 17 existing behind the vehicle 3 if he / she is looking at the display means 30 when traveling backward, and can drive the vehicle 3 safely. can do. Further, since the priority display object 17 can be reliably displayed on the display means 30, and the other image 16 is further displayed on the rear image 15 or the like, the driver can display the rear image 15 It is possible to touch a lot of information like the other images 16 and the like, and to drive safely while paying attention to the priority display object 17.
[0042]
In the vehicle display device 1 and the like in the above embodiment, in addition to the above configuration, the image generation means 20 (image generation unit) is an image having a display mode different from the rear image of the vehicle 3, and the vehicle 3. Image generation means 20 (image generation unit) for generating other image data 9 (at least one of distortion-corrected rear image data and viewpoint-converted rear image data) related to another image 16 to be superimposed on the rear image 15 of It is characterized by that.
[0043]
In this way, since the display device 30 can display not only the rear image 15 of the vehicle 3 but also other images 16 created based on the rear image data 9, the driver of the vehicle 3 can The rear image 15 of the vehicle 3 and the other image 16 can be visually recognized at various display positions.
[0044]
In the vehicle display device 1 and the like in the above embodiment, in addition to the above configuration, the image generation unit 20 (image generation unit) further performs distortion correction by correcting distortion of the rear image of the vehicle 3 based on the rear image data 9. Distortion correction conversion means 21 (first image conversion unit) for generating subsequent rear image data is provided.
[0045]
In this way, the rear image of the vehicle 3 displayed on the display unit 30 is not distorted. For example, the driver of the vehicle 3 can easily view the rear image 15 of the vehicle 3 displayed on the display unit 30. it can.
[0046]
In the vehicle display device 1 and the like in the above embodiment, in addition to the above configuration, the image generation unit 20 (image generation unit) further converts the viewpoint with respect to the rear image of the vehicle 3 based on the rear image data 9 to convert the viewpoint. A viewpoint conversion unit 23 (second image conversion unit) that generates the rear image data 9 is provided.
[0047]
In this way, if the rear image of the vehicle 3 displayed on the display means 30 is an image from a viewpoint that is easy to drive by the driver of the vehicle 3 by changing the viewpoint, for example, the driver of the vehicle 3 can more easily The vehicle 3 can be moved backward. In particular, when the driver reverses the vehicle 3 and parks it in the parking lot, the vehicle 3 is easily parked.
[0048]
In the vehicle display device 1 and the like in the above-described embodiment, in addition to the above-described configuration, the composite image generation unit 20 (image generation unit) further displays the priority display object 17 (movement) on the rear image of the vehicle 3 by the moving body detection unit 22. When the (body) is detected, another image 16 is arranged at a position not overlapping the priority display object 17 and synthesized with the rear image 15 of the vehicle 3.
[0049]
With such a configuration, when the priority display object 17 exists in the rear image 15 of the vehicle 3, even if the other image 16 is combined with the rear image 15 of the vehicle 3, the priority display object 17 is not changed to the other image. 16 can be hidden. Therefore, the priority display object 17 is reliably displayed in the rear image 15 of the vehicle 3.
[0050]
In the vehicle display device 1 and the like in the above-described embodiment, in addition to the above configuration, the composite image generation unit 24 (image composition unit) has a display mode in which the priority display object 17 is emphasized in the rear image 15 of the vehicle 3. Another image 16 is combined with the rear image 15 of the vehicle 3.
[0051]
In this way, a passenger such as a driver of the vehicle 3 can easily visually recognize the priority display object 17 displayed on the display means 30, and the priority display object 17 can be hardly overlooked. .
[0052]
In the vehicle display device 1 and the like in the above-described embodiment, in addition to the above configuration, the moving body detection unit 22 (priority display object detection means) detects the moving body 17 by optical flow. Here, examples of the moving body 17 include any one of humans, animals, and things, or any combination thereof.
[0053]
In this way, when the moving body 17 exists in the rear image 5 of the vehicle 3, the moving body detection unit 22 can reliably detect the moving body 17.
[0054]
In the vehicle display device 1 and the like in the above embodiment, in the above configuration, the image generation unit 20 (image generation unit) is based on image data different from the rear image data 9 constituting the rear image 15 of the vehicle 3. The image 16 is generated.
[0055]
In this way, if the other image 16 is combined with the rear image 15 based on the image data different from the rear image data 9, the display means 30 will have another image based on the image data different from the rear image data 9. 16 is displayed, and a passenger such as a driver can obtain information from other images 16 in addition to the rear image 15.
[0056]
In the vehicle display device 1 and the like in the above embodiment, in the above configuration, the image generation means 20 (image generation unit) generates another image 16 from the rear image data 9 constituting the rear image 15 of the vehicle 3. It is characterized by.
[0057]
In this way, if the other image 16 generated from the rear image data 9 is combined with the rear image 15, the other image 16 based on the rear image data 9 is displayed on the display means 30, and the boarding of the driver or the like The person can use the rear image 15 and the other image 16 to obtain information regarding the rear of the vehicle 3 that is beneficial for driving.
[0058]
Second Embodiment
FIG. 12 is a block diagram illustrating a configuration example of the image generation unit 20a in the vehicle display device 1a according to the second embodiment.
Since the vehicular display device 1a as the second embodiment has substantially the same configuration and the same operation as the first embodiment, the same configuration and operation will be described with reference to FIGS. 1 to 11 in the first embodiment. The same reference numerals are used, and the description thereof is omitted. In the following description, different points are mainly described.
[0059]
In the second embodiment, the image generation unit 20a is different from the image generation unit 20 in the first embodiment. In addition, since the structure and function of each block, such as the 1st image conversion part 21, the 2nd image conversion part 23, the moving body detection part 22, and the image composition part 24 which comprise the image generation part 20, are substantially the same, the following The description will focus on the differences.
[0060]
In the first embodiment, the second image conversion unit 23 converts the viewpoint with respect to the rear image of the vehicle 3 based on the input rear image data 9 to generate the rear image data 9 after the viewpoint conversion. In the second embodiment, the second image conversion unit 23a converts the viewpoint with respect to the image after distortion correction (image after distortion correction) based on the rear image data 9 after distortion correction by the first image conversion unit 21, and performs viewpoint correction and The rear image data 9 after distortion correction may be generated.
[0061]
The second image conversion unit 23 a is connected to the first image conversion unit 21, and the rear image data 9 after distortion correction is input from the first image conversion unit 21.
[0062]
In this way, the viewpoint conversion image becomes an image with less distortion than when the viewpoint conversion image is generated from the rear image data 9 as in the first embodiment. This makes it easier for the driver to visually recognize the viewpoint conversion image.
[0063]
In addition, this embodiment is not restricted above, A various deformation | transformation is possible. Hereinafter, such modifications will be described in order.
In the present embodiment, as the viewpoint conversion image, an image in the case of looking down almost directly from the upper side of the parking lot is illustrated as shown in FIG. 7, but not limited thereto, it is looked down diagonally from the upper side of the parking lot. You may adopt the image in the case of.
[0064]
In the first embodiment, the rear image data 9 acquired by one camera 10 is input to the image generation unit 20 and input to the first image conversion unit 21 and the second image conversion unit 23. However, the present invention is not limited thereto, and two rear image data 9 acquired by the two cameras 10 may be input to the first image conversion unit 21 and the second image conversion unit 23, respectively.
[0065]
In the above embodiment, as the other image 16, not only the video related to the driving of the vehicle 3 as described above, but also a video different from the rear image 15 of the vehicle 3 (video not related to the driving of the vehicle 3), for example. Can also be displayed. Examples of such another image 16 include a video based on video data recorded on a recording medium such as a DVD.
[Brief description of the drawings]
[0066]
FIG. 1 is a conceptual diagram showing a configuration example of a vehicle equipped with a vehicle display device as a first embodiment.
FIG. 2 is an image diagram showing a state in which the camera captures the rear of the vehicle.
3 is a block diagram illustrating a configuration example of an image generation unit illustrated in FIG. 1. FIG.
FIG. 4 is a flowchart showing a rear imaging display process as an operation example of the vehicle display device.
FIG. 5 is a diagram illustrating an example of a composite image displayed on a display device.
FIG. 6 is a diagram illustrating an example of a composite image displayed on a display device.
FIG. 7 is a diagram illustrating an example of a composite image displayed on a display device.
FIG. 8 is a diagram illustrating an example of a composite image displayed on a display device.
FIG. 9 is a diagram illustrating an example of a composite image displayed on the display device.
FIG. 10 is a diagram illustrating an example of a composite image displayed on the display device.
FIG. 11 is a diagram illustrating an example of a composite image displayed on the display device.
FIG. 12 is a block diagram illustrating a configuration example of an image generation unit.
[Explanation of symbols]
[0067]
1 Vehicle display device
1a Display device for vehicle
3 Vehicle
9 Back image data
10 Camera (imaging means)
14 Rear image of the vehicle
15 Rear image of the vehicle
16 Other images
17 Mobile (Priority display)
19 Rear image of the vehicle
20 Image generation unit (image generation means)
20a Image generation unit (image generation means)
21 1st image conversion part (distortion correction means)
22 Moving object detection unit (priority display object detection means)
23 Second image conversion unit (viewpoint conversion means)
23a Second image conversion unit (viewpoint conversion means)
24 Image converter (composite image generating means)
30 Display device (display means)

Claims (6)

車両の後方を撮像して後方画像データを生成する撮像手段と、
前記撮像手段によって撮像された後方画像に生じた歪みを補正するよう前記後方画像データから後方画像補正データを生成する画像生成手段と、
前記後方画像の中に含まれる移動体を検出する移動体検出手段と、
前記後方画像補正データ及び前記後方画像データに基づいて、前記後方画像の中の前記移動体を避けた領域に補正後の前記後方画像を重ねた合成画像を表示するための表示データを生成する合成画像生成手段と、
前記表示データに基づいて前記合成画像を表示する表示手段と、
を有することを特徴とする車両用表示装置。Imaging means for imaging the rear of the vehicle and generating rear image data;
Image generating means for generating rear image correction data from the rear image data so as to correct distortion generated in the rear image captured by the imaging means;
A moving body detecting means for detecting a moving body included in the rear image;
Based on the rear image correction data and the rear image data, a composition for generating display data for displaying a composite image in which the corrected rear image is superimposed on a region in the rear image that avoids the moving body. Image generating means;
Display means for displaying the composite image based on the display data;
A vehicle display device characterized by comprising: 請求項１記載の車両用表示装置において、
前記画像生成手段は、
前記後方画像データに基づく前記車両の後方画像に関して視点を変換して視点変換後の前記後方画像データを生成する視点変換手段
を備えることを特徴とする車両用表示装置。The vehicle display device according to claim 1,
The image generating means includes
A vehicle display device comprising: a viewpoint conversion unit that converts a viewpoint with respect to a rear image of the vehicle based on the rear image data and generates the rear image data after the viewpoint conversion. 請求項１記載の車両用表示装置において、
前記合成画像生成手段は、
前記車両の後方画像内において前記移動体を視覚的に強調した表示態様として前記車両の後方画像に補正後の前記後方画像を合成することを特徴とする車両用表示装置。The vehicle display device according to claim 1,
The composite image generation means includes
A display device for a vehicle, wherein the corrected rear image is combined with the rear image of the vehicle as a display mode in which the moving body is visually emphasized in the rear image of the vehicle. 請求項１記載の車両用表示装置において、
前記移動体検出手段は、オプティカルフローにより前記移動体を検出することを特徴とする車両用表示装置。The vehicle display device according to claim 1,
The vehicle display device, wherein the moving body detecting means detects the moving body by an optical flow. 車両の後方を撮像して後方画像データを生成する撮像ステップと、
前記撮像ステップによって撮像された後方画像に生じた歪みを補正するよう前記後方画像データから後方画像補正データを生成する画像生成ステップと、
前記後方画像の中に含まれる移動体を検出する移動体検出ステップと、
前記後方画像補正データ及び前記後方画像データに基づいて、前記後方画像の中の前記移動体を避けた領域に補正後の前記後方画像を重ねた合成画像を表示するための表示データを生成する合成画像生成ステップと、
前記表示データに基づいて前記合成画像を表示する表示ステップと、
を有することを特徴とする車両用表示方法。An imaging step of imaging the rear of the vehicle to generate rear image data;
An image generation step of generating rear image correction data from the rear image data so as to correct distortion generated in the rear image captured by the imaging step;
A moving object detecting step for detecting a moving object included in the rear image;
Based on the rear image correction data and the rear image data, a composition for generating display data for displaying a composite image in which the corrected rear image is superimposed on a region in the rear image that avoids the moving body. An image generation step;
A display step for displaying the composite image based on the display data;
A vehicle display method characterized by comprising: 車両の後方を撮像して後方画像データを生成する撮像ステップと、
前記撮像ステップによって撮像された後方画像に生じた歪みを補正するよう前記後方画像データから後方画像補正データを生成する画像生成ステップと、
前記後方画像の中に含まれる移動体を検出する移動体検出ステップと、
前記後方画像補正データ及び前記後方画像データに基づいて、前記後方画像の中の前記移動体を避けた領域に補正後の前記後方画像を重ねた合成画像を表示するための表示データを生成する合成画像生成ステップと、
前記表示データに基づいて前記合成画像を表示する表示ステップと、
を車両用表示装置において実行させることを特徴とする車両用表示プログラム。An imaging step of imaging the rear of the vehicle to generate rear image data;
An image generation step of generating rear image correction data from the rear image data so as to correct distortion generated in the rear image captured by the imaging step;
A moving object detecting step for detecting a moving object included in the rear image;
Based on the rear image correction data and the rear image data, a composition for generating display data for displaying a composite image in which the corrected rear image is superimposed on a region in the rear image that avoids the moving body. An image generation step;
A display step for displaying the composite image based on the display data;
Is executed in the vehicle display device.
JP2008553908A 2007-01-16 2007-01-16 Vehicle display device, vehicle display method, and vehicle display program Expired - Fee Related JP4911732B2 (en)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2007/050498 WO2008087706A1 (en) 2007-01-16 2007-01-16 Display device for vehicle, display method for vehicle, and display program for vehicle

Publications (2)

Publication Number Publication Date
JPWO2008087706A1 JPWO2008087706A1 (en) 2010-05-06
JP4911732B2 true JP4911732B2 (en) 2012-04-04

Family

ID=39635715

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008553908A Expired - Fee Related JP4911732B2 (en) 2007-01-16 2007-01-16 Vehicle display device, vehicle display method, and vehicle display program

Country Status (2)

Country Link
JP (1) JP4911732B2 (en)
WO (1) WO2008087706A1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102782741B (en) * 2010-03-03 2015-08-19 本田技研工业株式会社 Vehicle periphery monitoring device

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3830025B2 (en) * 2000-06-30 2006-10-04 松下電器産業株式会社 Drawing device
JP2005212709A (en) * 2004-02-02 2005-08-11 Yoichi Takebayashi Vehicle driving supporting system
JP2005242606A (en) * 2004-02-26 2005-09-08 Olympus Corp Image generation system, image generation program and image generation method
JP4323377B2 (en) * 2004-05-24 2009-09-02 オリンパス株式会社 Image display device
EP2182730B1 (en) * 2004-06-15 2020-05-20 Panasonic Intellectual Property Management Co., Ltd. Monitor and vehicle periphery monitor

Also Published As

Publication number Publication date
WO2008087706A1 (en) 2008-07-24
JPWO2008087706A1 (en) 2010-05-06

Similar Documents

Publication Publication Date Title
US8305204B2 (en) Vehicle surrounding confirmation apparatus
JP5003946B2 (en) Parking assistance device
JP4863922B2 (en) Driving support system and vehicle
JP5682788B2 (en) Vehicle periphery monitoring device
JP4248570B2 (en) Image processing apparatus and visibility support apparatus and method
JP4687411B2 (en) Vehicle peripheral image processing apparatus and program
JP2009060499A (en) Driving support system, and combination vehicle
JP2008077628A (en) Image processor and vehicle surrounding visual field support device and method
JP2014089513A (en) Image generation apparatus and image generation program
WO2003107273A1 (en) Drive assisting system
JP6459016B2 (en) Imaging system and moving body system
JP5813439B2 (en) Overhead image display device
JP2008048094A (en) Video display device for vehicle, and display method of video images in vicinity of the vehicle
KR100899892B1 (en) Automobile camera device and method to indicate a moving guide line
JP2008114691A (en) Vehicular periphery monitoring device, and vehicular periphery monitoring image display method
JP4092479B2 (en) Vehicle driving support device
JP3961969B2 (en) Vehicle periphery image processing system
JP4915966B2 (en) Adjustment method for vehicle display device and vehicle display device
JP5195776B2 (en) Vehicle periphery monitoring device
JP4911732B2 (en) Vehicle display device, vehicle display method, and vehicle display program
JP2004252837A (en) Vehicle periphery display device and vehicle periphery display program
JP5226621B2 (en) Image display device for vehicle
JP2007336230A (en) Onboard display system for displaying surrounding blind spot
JP4945315B2 (en) Driving support system and vehicle
JP2007096496A (en) Vehicle periphery display system

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120113

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120113

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150127

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees