JP4637408B2

JP4637408B2 - Vehicle periphery image processing apparatus and recording medium

Info

Publication number: JP4637408B2
Application number: JP2001186590A
Authority: JP
Inventors: 博彦柳川; 哲理石川; 勝之今西
Original assignee: Denso Corp; Nippon Soken Inc
Current assignee: Denso Corp; Soken Inc
Priority date: 2001-06-20
Filing date: 2001-06-20
Publication date: 2011-02-23
Anticipated expiration: 2021-06-20
Also published as: JP2003006621A

Description

【０００１】
【発明の属する技術分野】
本発明は、車両の周囲を撮影してモニタ等に表示できる車両周辺画像処理装置及び記録媒体に関するものである。
【０００２】
【従来の技術】
従来より、車両の後方の様子を表示する装置として、車両の後部に取り付けたカメラの画像を、そのままモニタに出力する表示装置が知られている。
この表示装置では、車両後方の状態が有る程度分かるが、自車両とモニタに表示されている対象物（例えば駐車枠）の画像と相対位置関係が分かりに難いという問題がある。
【０００３】
また、前記問題点を改善する技術として、後方カメラで撮影した画像（後方カメラ画像）を鳥瞰図に変換し、自車両をその中に表示するという技術が提案されている。
【０００４】
【発明が解決しようとする課題】
この従来技術の場合には、鳥瞰図の中に自車両を示すので、画像に表示された対象物と自車両の位置関係は、撮影した画像をそのままモニタに表示するものより分かり易くなっているが、この技術は、単に車両を後退させる際の表示技術であるので、車両が前進している場合には対応できない。
【０００５】
例えば、上述した技術では、車両の後方のみを撮影しているので、当然ながら、車両が前進する際に、例えば車両が（白線等の）レーンマークを逸脱しているかどうかは分からない。
これに対して、車両の前進時の技術として、車両の前部に取り付けられた車載カメラによって、車両の前方の道路を撮影し、車両が車線から逸脱するような場合には警報を発する技術が開示されている（例えば特開平６−１４２３０号公報参照）。
【０００６】
しかしながら、この技術の場合には、単に車両が車線を逸脱した場合に警報を発生する装置に過ぎないので、通常の前進の走行時に、車両の走行位置（即ちレーンマークとの位置関係）が分からないという問題があった。
本発明は、前記課題を解決するためになされたものであり、車両の前進の走行時等に、道路等における車両の位置を容易に認識できる車両周辺画像処理装置及び記録媒体を提供することを目的とする。
【０００７】
【課題を解決するための手段及び発明の効果】
（１）請求項１の発明は、車両後方の画像を撮影する撮影手段（例えばカメラ）と、画像を表示する表示手段（例えばモニタ）とを備えた車両に対して、撮影手段により撮影された画像を処理して表示手段に表示する車両周辺画像処理装置に関するものである。
【０００８】
本発明では、撮影手段により撮影した車両後方の画像を、（撮影手段を視点として投影した地上面座標系のデータに変換して）後方鳥瞰図画像を作成する。これにより、画像は、例えばカメラで撮影したままの歪んだ画像ではなく、地面の上方より見たような見やすい後方鳥瞰図画像となる。
【０００９】
そして、シフト位置が前進の場合には、後方鳥瞰図画像を作成するとともに、この後方鳥瞰図画像を用い、例えば（モニタ画面上にて）後方鳥瞰図画像を車両の前方に移動させるようにして、後方鳥瞰図画像と車両の位置との位置関係をずらし、車両の側方や前方を推定して示す推定鳥瞰図画像を作成する。
つまり、本発明では、車両の後方を示す後方鳥瞰図画像を作成するのであるが、この後方鳥瞰図画像に含まれるレーンマーク等は、車両の側方や前方にも同様に伸びているとみなして、後方鳥瞰図画像を用いて車両の側方や前方を示す推定鳥瞰図画像を作成する。
【００１０】
よって、特に車両の前進時に、この推定鳥瞰図画像を車両の位置を示す画像とともにモニタ等に表示することにより、車線に対する車両の位置を容易に把握することができる。
また、本発明では、車両の前方を撮影するカメラ等がなくとも、車両の後方を撮影するカメラ等があれば、車両の側方や前方の画像を推定して描くことができるので、低コストにて、車両が前進する場合等に道路などにおける車両の走行位置（特に左右位置）を把握することができる。
【００１１】
尚、前記推定鳥瞰図画像には、通常、車両の位置を示す画像を加入するが、車両の位置を示す画像は、モニタ等に表示できれば良いので、両画像を合成するタイミング等には特に限定はない。
（２）請求項２の発明では、推定鳥瞰図画像作成手段は、後方鳥瞰図画像が、車両の側方及び／又は前方にも伸びているとみなして、推定鳥瞰図画像を作成する。
これにより、推定鳥瞰図画像を作成することができる。
（３）請求項３の発明では、推定鳥瞰図画像に車両の位置を示す画像を加えた合成画像を、表示手段に表示する。
【００１２】
本発明は、車両が前進する場合などにおいて、モニタ等に表示する画像を例示したものである。
本発明では、推定鳥瞰図画像に車両の位置を示す画像を加えた合成画像を作成するので、上述した様に、例えば車両とレーンマークとの位置関係を明瞭に把握できる。
【００１３】
よって、車両の前進時に、車両が車線を逸脱する前に、例えば車両が車線から逸脱しそうな状況にあることを報知することなどが可能である。
（４）請求項４の発明では、車両の位置に対応させて、後方鳥瞰図画像を、表示手段にて車両の側方や前方を表示するように移動させて、推定鳥瞰図画像を作成する。
【００１４】
本発明は、推定鳥瞰図画像を作成する手法を例示したものである。
後方鳥瞰図画像は、例えばモニタ上にて、車両に対してその後方に表示されるが、本発明では、後方鳥瞰図画像を車両の前方にずらす様に移動させる。これを、例えばモニタに表示した場合には、車両の側方や前方に後方鳥瞰図画像が位置した画像、即ち推定鳥瞰図画像となる。
【００１５】
（５）請求項５の発明では、後方鳥瞰図画像にてレーンマークを示す画像を抽出し、そのレーンマークを示す画像を、車両の側方や前方に延長することにより、推定鳥瞰図画像を作成する。
本発明は、推定鳥瞰図画像を作成する手法を例示したものである。
【００１６】
本発明では、レーンマークのみを車両の前方に向けて延長する。これにより、例えばモニタ上にて、レーンマークを車両の側方や前方に描くことができる。
【００１７】
本発明では、レーンマークのみを抽出して延長すればよいので、描画のための演算処理を軽減できるという利点がある。
（６）請求項６の発明では、表示手段に合成画像を表示する場合には、自身の車両を示す画像の位置を、車両の後方の画像を表示する場合に比べて、車両の前方の画像を表示できるように変更する。
【００１８】
例えばモニタ上にて、車両の後方の画像を表示する場合には、車両の位置をモニタの端部（例えばモニタ画面の上端）に設定すると、後方の画像を描く面積が多く効果的であるが、それでは、車両の前方の画像を表示できない。
そこで、本発明では、車両の前方などの画像を表示する場合には、車両位置を示す画像を、車両の後方の画像を表示する場合とは異なるようにする。
【００１９】
例えば、車両位置を示す画像を、モニタ等の中央付近に配置すれば、車両の前後左右を表示できるので好適である。
つまり、車両の前進時には、車両の後方ではなく車両の前方や側方を表示したいという要求があるので、その場合には、車両の前方や側方を表示できる様に、モニタ等の表示画面における車両位置を示す画像の位置を、適宜設定するのである。
【００２０】
（７）請求項７の発明は、コンピュータに請求項１〜６のいずれか１項に記載の車両周辺画像処理装置が行う処理を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体である。
つまり、上述した車両周辺画像処理装置が行う処理を実行させることができるプログラムを記憶した記録媒体である。
【００２１】
例えば記録媒体としては、マイクロコンピュータとして構成される電子制御装置、マイクロチップ、フロッピィディスク（登録商標）、ハードディスク、光ディスク等の各種の記録媒体が挙げられる。
【００２２】
【発明の実施の形態】
以下に、本発明の車両周辺画像処理装置及び記録媒体の実施の形態の例（実施例）を説明する。
（実施例１）
ａ）本実施例の基本的なシステム構成を図１及び図２を用いて説明する。
【００２３】
図１に示す様に、本実施例の車両周辺画像処理装置は、自動車の後部に配置されて車両の後方を撮影するカメラ（例えばＣＣＤカメラ）１と、ダッシュボードに配置された車載モニタ（例えば液晶ディスプレイ）３と、画像処理を行う画像処理ユニット５とを備えている。
【００２４】
前記画像処理ユニット５は、図２に示す様に、マイクロコンピュータを主要部とする画像データの処理を行う電子装置であり、機能的に、カメラ１で撮影した画像データの座標変換を行って鳥瞰図画像（後方鳥瞰図画像）を作成する後方鳥瞰図画像作成部１１と、後方鳥瞰図画像を車両前方に移動させた画像である推定鳥瞰図画像を形成する推定鳥瞰図画像作成部１３と、推定鳥瞰図画像と車両の画像とを合成して合成画像を作成する合成画像作成部１５と、モニタ３に表示する合成画像を描画する描画部１７とを備えている。
【００２５】
尚、画像処理ユニット５は、カメラ１と一体の構造となっていてもよく、画像処理ユニット５内の各構成は、一部又は全体で一体化してＬＳＩで構成してもよい。
ｂ）次に、本実施例における画像処理の手順等を、図３〜図５に基づいて説明する。
【００２６】
<1>最初に、カメラ１から入力された画像を、後方鳥瞰図画像作成部１１にて上空から見た鳥瞰図画像に変換する手法を説明する。
(i)図３（ａ）に、カメラ１から出力される原画像（出力画像）を示すが、この原画像は、車両の後部の上部に配置されたカメラ１により、車両後方を撮影した画像であるので、本来平行である車線の区分を示すレーンマーク（白線）２１が歪んでいる。
【００２７】
よって、後に(ii)にて詳述する様に、原画像の画像データを座標変換して、図３（ｂ）に示す様に、歪みのない鳥瞰図画像（後方鳥瞰図画像）を作成し、モニタ３に表示する。従って、この場合は、モニタ３の表示画面上では、レーンマーク２１は平行となる。
【００２８】
尚、図３（ｂ）は、後進の場合のモニタ３の表示画面であるので、車両は表示画面の上部に表示されている。
(ii)次に、前記カメラ１で撮影された原画像を鳥瞰図画像に変換する手順を説明する。尚、この手順は、以下に説明する様に、従来技術（例えば特開平１０−２１１８４９号公報）を利用できる。
【００２９】
ここでは、通常の透視変換の逆の処理を行うことにより、地上平面における画像（例えば駐車枠）の位置を鳥瞰図として求める。
具体的には、図４に示す様に、地上の画像の位置データをカメラ位置Ｒからの焦点距離ｆにあるスクリーン平面Ｔに投影するときの透視変換を実行する。
【００３０】
詳しくは、カメラ１は、Ｚ軸上の点Ｒ（０，０，Ｈ）に位置し、見下ろし角τで地上面（ｘｙ座標面）における画像をモニタしているとする。
従って、ここでは、下記式（１）に示す様にして、スクリーン平面Ｔ上の２次元座標（α、β）を、地上面上の座標（鳥瞰図座標）に変換（逆の透視変換）できる。
【００３１】
【数１】

【００３２】
つまり、上記式（１）を用いることにより、投影画像データを（鳥瞰図画像を示す）モニタ３の画面に対応した画像データに変換してモニタ表示することができる。
<2>次に、上述した手法にて作成した鳥瞰図画像（後方鳥瞰図画像）を用いて、推定鳥瞰図画像を作成する手法について説明する。
【００３３】
図５（ａ）に、（車両後方を示す）後方鳥瞰図画像をモニタ３に表示した画面を示すが、これだけでは、車両とレーンマーク２１の位置関係（特に車両の側方や前方におけるレーンマーク２１との位置関係）が明瞭ではない。
そこで、本実施例では、図５（ｂ）に示す様に、後方鳥瞰図画像を、車両の前方（同図では上方）に、車両に対して所定の移動量だけずらして、推定鳥瞰図画像を作成する。それとともに、この推定鳥瞰図画像に対して、前記移動量に対応する位置に車両の画像を書き込んで合成画像を作成し、この合成画像をモニタ３に表示する。
【００３４】
例えば、後方鳥瞰図画像を実際の１０ｍに対応する量だけ前方にずらした場合には、車両の位置は、後方鳥瞰図画像の前方（モニタ画面では上方）の先端から実際の１０ｍに対応した量だけ後方となるので、つまり、車両の位置は、後方鳥瞰図画像をずらした分だけ、後方鳥瞰図画像の内側に入ることになるので、モニタ３の表示画面上では、車両の側方や前方にまでレーンマーク２１が表示されることになる。
【００３５】
また、図５（ｂ）に示す様に、車両はモニタ３の表示画面の中央に表示する。これにより、車両の後方、側方、前方において、車両とレーンマーク２１との位置関係が明瞭になる。
尚、ここでは、「後方鳥瞰図画像を車両の前方にずらす」と表現したが、車両の位置と後方鳥瞰図画像の位置とは、（モニタ３の表示画面上では）相対的なものであるので、車両を後方にずらすとみなしてもよい。
【００３６】
また、後方鳥瞰図画像をずらす移動量とは、車両とレーンマーク２１との位置関係が明瞭となる量であり、例えば車両の先端よりレーンマーク２１が十分に前方に位置するように、適宜設定すればよい。
ｃ）次に、前記画像処理ユニット５等にて行われる処理を、図６のフローチャートに基づいて説明する。
【００３７】
図６に示す様に、まず、ステップ１００にて、シフト位置が前進であるか否かを判定する。ここで肯定判断されるとステップ１１０に進み、一方否定判断されるとステップ１５０に進む。
尚、シフト位置は、シフト位置検出センサ（図示せず）からの信号や、他の電子制御装置からの信号により検出することができる。
【００３８】
ステップ１５０では、シフト位置が前進ではないので、シフト位置に応じて、例えばシフト位置が後進の場合には、カメラ１の現在の画像（後方鳥瞰図画像）を表示する等の他の画像処理を行って、一旦本処理を終了する。
一方、ステップ１１０では、カメラ１で撮影した画像の座標変換（前記鳥瞰図変換）を行って、後方鳥瞰図画像を得る。
【００３９】
続くステップ１２０では、後方鳥瞰図画像を所定の移動量、車両の前方に移動させる処理を行って、推定鳥瞰図画像を作成する。
続くステップ１３０では、推定鳥瞰図画像を移動させた分だけ、車両の位置をずらすようにして、推定鳥瞰図画像と車両の表示とを合成させた合成画像を作成する。
【００４０】
続くステップ１４０では、前記合成画像を、車両が表示画面上で中央となるようにして、モニタ３に表示し、一旦本処理を終了する。尚、必要に応じて、視野角を示すＶ字状の線の描画を行う。
ｄ）この様に、本実施例では、カメラ１で撮影した車両後方の（レーンマーク２１を含む）画像を後方鳥瞰図画像に変換し、車両の前進時には、その後方鳥瞰図画像を車両の前方にずらして推定鳥瞰図画像を作成するとともに、推定鳥瞰図画像に車両の画像を合成して合成画像を作成し、この合成画像をモニタ３に表示している。
【００４１】
従って、モニタ３に表示された合成画像においては、車両の側方や前方にレーンマーク２１が表示されるので、車両とレーンマーク２１との位置関係が明瞭となり、運転操作に好適である。
また、車両とレーンマーク２１との位置関係が分かるので、例えば車両がレーンマーク２１に近づきすぎている場合などは、実際の車線からの逸脱が生ずる前に、その状態の発生を運転者などに警告でき、安全性の上でも好ましい。
【００４２】
更に、上述した効果を得るためには、車両の前方を撮影するカメラを用いることなく、単に車両の後方を撮影するカメラ１の画像だけ済むので、低コスト化を図ることができる。
（実施例２）
次に、実施例２について説明するが、前記実施例１と同様な箇所の説明は省略する。
【００４３】
本実施例は、後方鳥瞰図画像全体をずらすのではなく、後方鳥瞰図画像に含まれるレーンマークのみを車両の前方に延長するものである。
以下、本実施例の車両周辺画像処理装置における処理を、図７及び図８に基づいて説明する。
【００４４】
図７のフローチャートに示す様に、まず、ステップ２００にて、シフト位置が前進であるか否かを判定する。ここで肯定判断されるとステップ２１０に進み、一方否定判断されるとステップ２６０に進む。
ステップ２６０では、シフト位置が前進ではないので、シフト位置に応じて、カメラ１の現在の画像（後方鳥瞰図画像）を表示する等の他の画像処理を行って、一旦本処理を終了する。
【００４５】
一方、ステップ２１０では、カメラ１で撮影した画像の座標変換（前記鳥瞰図変換）を行って、図８（ａ）に示す様な後方鳥瞰図画像を作成する。
続くステップ２２０では、後方鳥瞰図画像から、周知の画像処理により、（道路表面とは色が異なる）レーンマーク２１を抽出する処理を行う。
【００４６】
続くステップ２３０では、抽出したレーンマーク２１を、車両の前方に延長するようにして、推定鳥瞰図画像を作成する。
続くステップ２４０では、レーンマーク２１を延長した推定鳥瞰図画像に対して、車両の画像を書き込んで、推定鳥瞰図画像と車両を示す画像とを合成させた合成画像を作成する。
【００４７】
続くステップ２５０では、図８（ｂ）に示す様に、前記合成画像を、車両がモニタ３の表示画面上で上部となるようにして、モニタ３に表示し、一旦本処理を終了する。
本実施例においても、前記実施例１と同様な効果を奏するとともに、ここでは、後方鳥瞰図画像全体を移動するのではなく、レーンマーク２１のみを延長するので、画像処理の演算の負担が軽減されるという利点がある。
【００４８】
尚、本発明は前記実施例になんら限定されるものではなく、本発明を逸脱しない範囲において種々の態様で実施しうることはいうまでもない。
例えば前記実施例１、２では、車両周辺画像処理装置について述べたが、この装置による処理を実行させるプログラムを記憶している記録媒体も、本発明の範囲である。
【００４９】
例えば記録媒体としては、マイクロコンピュータとして構成される電子制御装置、マイクロチップ、フロッピィディスク（登録商標）、ハードディスク、光ディスク等の各種の記録媒体が挙げられる。
【図面の簡単な説明】
【図１】実施例１の車両周辺画像処理装置の主要構成を示す説明図である。
【図２】実施例１の車両周辺画像処理装置の電気的構成を示す説明図である。
【図３】実施例１の車両周辺画像処理装置による処理の手順を示す説明図である。
【図４】実施例１の車両周辺画像処理装置による座標変換の際の位置関係を示す説明図である。
【図５】実施例１の車両周辺画像処理装置による処理の手順を示す説明図である。
【図６】実施例１の車両周辺画像処理装置の処理を示すフローチャートである。
【図７】実施例２の車両周辺画像処理装置の処理を示すフローチャートである。
【図８】実施例２の車両周辺画像処理装置による処理の手順を示す説明図である。
【符号の説明】
１…カメラ
３…車載モニタ（モニタ）
５…画像処理ユニット
１１…後方鳥瞰図画像作成部
１３…推定鳥瞰図画像作成部
１５…合成画像作成部
１７…描画部[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a vehicle periphery image processing apparatus and a recording medium that can photograph a periphery of a vehicle and display it on a monitor or the like.
[0002]
[Prior art]
2. Description of the Related Art Conventionally, as a device that displays a state behind a vehicle, a display device that outputs an image of a camera attached to the rear portion of the vehicle as it is to a monitor is known.
In this display device, it can be understood to some extent that there is a state behind the vehicle, but there is a problem that it is difficult to understand the relative position relationship between the image of the subject vehicle (for example, a parking frame) displayed on the monitor and the vehicle.
[0003]
Further, as a technique for improving the above problem, a technique has been proposed in which an image (rear camera image) taken by a rear camera is converted into a bird's eye view and the own vehicle is displayed therein.
[0004]
[Problems to be solved by the invention]
In the case of this prior art, since the own vehicle is shown in the bird's-eye view, the positional relationship between the target object displayed on the image and the own vehicle is easier to understand than that on the monitor as it is. Since this technique is simply a display technique when the vehicle is moved backward, it cannot cope with the case where the vehicle is moving forward.
[0005]
For example, in the technique described above, since only the rear of the vehicle is photographed, it is naturally not known whether the vehicle deviates from a lane mark (such as a white line) when the vehicle moves forward.
On the other hand, as a technique for advancing the vehicle, there is a technique for photographing a road ahead of the vehicle with an in-vehicle camera attached to the front of the vehicle and issuing an alarm when the vehicle deviates from the lane. (See, for example, JP-A-6-14230).
[0006]
However, in the case of this technology, since it is merely a device that generates an alarm when the vehicle departs from the lane, the traveling position of the vehicle (that is, the positional relationship with the lane mark) is not known during normal forward traveling. There was no problem.
The present invention has been made to solve the above problems, and provides a vehicle periphery image processing device and a recording medium that can easily recognize the position of a vehicle on a road or the like when the vehicle travels forward. Objective.
[0007]
[Means for Solving the Problems and Effects of the Invention]
(1) The invention of claim 1 is taken by a photographing means for a vehicle provided with photographing means (for example, a camera) for photographing an image behind the vehicle and a display means (for example, a monitor) for displaying an image. The present invention relates to a vehicle periphery image processing apparatus that processes an image and displays it on a display means.
[0008]
In the present invention, a rear bird's-eye view image is created by converting an image of the rear of the vehicle photographed by the photographing means (converted into data on the ground coordinate system projected from the photographing means as a viewpoint). As a result, the image is not a distorted image as captured by a camera, for example, but is an easy-to-see rear bird's eye view image as viewed from above the ground.
[0009]
When the shift position is forward, a rear bird's eye view image is created and the rear bird's eye view image is used to move the rear bird's eye view image to the front of the vehicle, for example (on the monitor screen). An estimated bird's-eye view image is created by shifting the positional relationship between the image and the position of the vehicle and estimating the side and front of the vehicle.
In other words, in the present invention, a rear bird's eye view image indicating the rear of the vehicle is created, but the lane mark included in the rear bird's eye view image is regarded as extending in the same manner to the side and front of the vehicle, An estimated bird's-eye view image showing the side or front of the vehicle is created using the rear bird's-eye view image.
[0010]
Therefore, particularly when the vehicle is moving forward, the estimated bird's eye view image is displayed on a monitor or the like together with an image indicating the position of the vehicle, so that the position of the vehicle with respect to the lane can be easily grasped.
Further, in the present invention, even if there is no camera or the like for photographing the front of the vehicle, if there is a camera or the like for photographing the rear of the vehicle, it is possible to estimate and draw an image of the side or front of the vehicle. Thus, when the vehicle moves forward, the traveling position of the vehicle on the road or the like (particularly the left-right position) can be grasped.
[0011]
The estimated bird's-eye view image usually includes an image indicating the position of the vehicle, but the image indicating the position of the vehicle only needs to be displayed on a monitor or the like. Absent.
(2) In the invention of claim 2, the estimated bird's-eye view image creating means creates the estimated bird's-eye view image on the assumption that the rear bird's-eye view image extends to the side and / or the front of the vehicle.
Thereby, an estimated bird's-eye view image can be created.
( 3 ) In the invention of claim 3 , a composite image obtained by adding an image showing the position of the vehicle to the estimated bird's-eye view image is displayed on the display means.
[0012]
The present invention exemplifies an image displayed on a monitor or the like when the vehicle moves forward.
In the present invention, a composite image is created by adding an image showing the position of the vehicle to the estimated bird's-eye view image. Therefore, for example, the positional relationship between the vehicle and the lane mark can be clearly grasped as described above.
[0013]
Therefore, when the vehicle moves forward, before the vehicle deviates from the lane, for example, it can be notified that the vehicle is likely to deviate from the lane.
( 4 ) In the invention of claim 4 , the estimated bird's-eye view image is created by moving the rear bird's-eye view image so as to display the side or front of the vehicle by the display means in correspondence with the position of the vehicle.
[0014]
The present invention exemplifies a method for creating an estimated bird's-eye view image.
The rear bird's-eye view image is displayed behind the vehicle, for example, on a monitor. In the present invention, the rear bird's-eye view image is moved so as to be shifted forward of the vehicle. When this is displayed on a monitor, for example, an image in which a rear bird's-eye view image is located on the side or front of the vehicle, that is, an estimated bird's-eye view image is obtained.
[0015]
( 5 ) In the invention of claim 5 , an estimated bird's-eye view image is created by extracting an image showing a lane mark from the rear bird's-eye view image and extending the image showing the lane mark to the side or front of the vehicle. .
The present invention exemplifies a method for creating an estimated bird's-eye view image.
[0016]
In the present invention, to extend toward the only record Nmaku ahead of the vehicle. Thereby, for example, the lane mark can be drawn on the side or front of the vehicle on the monitor.
[0017]
In the present invention, since only the lane mark needs to be extracted and extended, there is an advantage that arithmetic processing for drawing can be reduced.
( 6 ) In the invention of claim 6 , when the composite image is displayed on the display means, the position of the image indicating the own vehicle is compared with the image in the front of the vehicle as compared with the case in which the image behind the vehicle is displayed. Change to display.
[0018]
For example, when displaying an image behind the vehicle on the monitor, setting the position of the vehicle at the end of the monitor (for example, the upper end of the monitor screen) is effective because the area for drawing the rear image is large. Then, the image ahead of the vehicle cannot be displayed.
Therefore, in the present invention, when an image of the front of the vehicle or the like is displayed, the image indicating the vehicle position is made different from the case of displaying the image behind the vehicle.
[0019]
For example, if an image indicating the vehicle position is arranged near the center of a monitor or the like, it is preferable because the front, rear, left and right of the vehicle can be displayed.
In other words, when the vehicle is moving forward, there is a request to display the front and side of the vehicle, not the back of the vehicle. In that case, the display screen such as a monitor is displayed so that the front and side of the vehicle can be displayed. The position of the image indicating the vehicle position is set as appropriate.
[0020]
( 7 ) The invention of claim 7 is a computer-readable recording medium having recorded thereon a program for causing a computer to execute processing performed by the vehicle periphery image processing device according to any one of claims 1 to 6. .
In other words, a recording medium storing can be Help Rogura beam thereby execute processing described above vehicle surrounding image processing apparatus.
[0021]
For example, examples of the recording medium include various recording media such as an electronic control device configured as a microcomputer, a microchip, a floppy disk (registered trademark) , a hard disk, and an optical disk.
[0022]
DETAILED DESCRIPTION OF THE INVENTION
Examples of embodiments of the vehicle periphery image processing apparatus and the recording medium of the present invention (examples) will be described below.
Example 1
a) A basic system configuration of this embodiment will be described with reference to FIGS.
[0023]
As shown in FIG. 1, the vehicle periphery image processing apparatus according to the present embodiment includes a camera (for example, a CCD camera) 1 that is disposed at the rear of an automobile and photographs the back of the vehicle, and an in-vehicle monitor (for example, a dashboard). A liquid crystal display) 3 and an image processing unit 5 for performing image processing.
[0024]
As shown in FIG. 2, the image processing unit 5 is an electronic device that performs processing of image data including a microcomputer as a main part. Functionally, the image processing unit 5 performs coordinate conversion of image data captured by the camera 1 and is a bird's eye view. A rear bird's eye view image creation unit 11 that creates an image (rear bird's eye view image), an estimated bird's eye view image creation unit 13 that forms an estimated bird's eye view image that is an image obtained by moving the rear bird's eye view image forward of the vehicle, and the estimated bird's eye view image and vehicle A composite image creation unit 15 that creates a composite image by combining the images and a drawing unit 17 that draws a composite image to be displayed on the monitor 3 are provided.
[0025]
Note that the image processing unit 5 may be integrated with the camera 1, and each component in the image processing unit 5 may be partly or wholly integrated and configured by an LSI.
b) Next, image processing procedures and the like in the present embodiment will be described with reference to FIGS.
[0026]
<1> First, a method for converting an image input from the camera 1 into a bird's-eye view image viewed from above with the rear bird's-eye view image creating unit 11 will be described.
(i) FIG. 3A shows an original image (output image) output from the camera 1. This original image is an image obtained by photographing the rear of the vehicle with the camera 1 disposed at the upper part of the rear portion of the vehicle. Therefore, the lane mark (white line) 21 indicating the lane segments that are essentially parallel is distorted.
[0027]
Therefore, as will be described later in detail in (ii), the image data of the original image is coordinate-transformed to create a distortion-free bird's-eye view image (rear bird's-eye view image) as shown in FIG. 3 is displayed. Accordingly, in this case, the lane marks 21 are parallel on the display screen of the monitor 3.
[0028]
Since FIG. 3B is a display screen of the monitor 3 in the case of reverse, the vehicle is displayed at the top of the display screen.
(ii) Next, a procedure for converting an original image taken by the camera 1 into a bird's eye view image will be described. This procedure can use a conventional technique (for example, Japanese Patent Application Laid-Open No. 10-211849) as described below.
[0029]
Here, the position of an image (for example, a parking frame) on the ground plane is obtained as a bird's eye view by performing the reverse process of normal perspective transformation.
Specifically, as shown in FIG. 4, perspective transformation is executed when the position data of the ground image is projected onto the screen plane T at the focal length f from the camera position R.
[0030]
Specifically, it is assumed that the camera 1 is located at a point R (0, 0, H) on the Z axis and is monitoring an image on the ground surface (xy coordinate plane) at a look-down angle τ.
Therefore, the two-dimensional coordinates (α, β) on the screen plane T can be converted into coordinates (bird's eye view coordinates) on the ground plane (reverse perspective conversion) as shown in the following formula (1).
[0031]
[Expression 1]

[0032]
That is, by using the above formula (1), the projection image data can be converted into image data corresponding to the screen of the monitor 3 (showing a bird's eye view image) and displayed on the monitor.
<2> Next, a method for creating an estimated bird's-eye view image using the bird's-eye view image (rear bird's-eye view image) created by the above-described method will be described.
[0033]
FIG. 5A shows a screen in which a rear bird's eye view image (indicating the rear of the vehicle) is displayed on the monitor 3, but only with this, the positional relationship between the vehicle and the lane mark 21 (in particular, the lane mark 21 on the side or front of the vehicle). Is not clear.
Therefore, in this embodiment, as shown in FIG. 5B, the estimated bird's-eye view image is created by shifting the rear bird's-eye view image forward (upward in the figure) by a predetermined amount of movement with respect to the vehicle. To do. At the same time, a composite image is created by writing an image of the vehicle at a position corresponding to the amount of movement with respect to the estimated bird's-eye view image, and this composite image is displayed on the monitor 3.
[0034]
For example, when the rear bird's-eye view image is shifted forward by an amount corresponding to the actual 10 m, the position of the vehicle is rearward by the amount corresponding to the actual 10 m from the front end of the rear bird's-eye view image (upward on the monitor screen). In other words, since the position of the vehicle enters the inside of the rear bird's eye view image by the amount shifted from the rear bird's eye view image, the lane mark extends to the side or front of the vehicle on the display screen of the monitor 3. 21 will be displayed.
[0035]
Further, as shown in FIG. 5B, the vehicle is displayed at the center of the display screen of the monitor 3. As a result, the positional relationship between the vehicle and the lane mark 21 becomes clear at the rear, side, and front of the vehicle.
In addition, although it expressed as "shifting a rear bird's-eye view image ahead of a vehicle" here, since the position of a vehicle and the position of a rear bird's-eye view image are relative (on the display screen of monitor 3), It may be considered that the vehicle is moved backward.
[0036]
The amount of movement for shifting the rear bird's eye view image is an amount that makes the positional relationship between the vehicle and the lane mark 21 clear, and is appropriately set so that, for example, the lane mark 21 is positioned sufficiently forward from the front end of the vehicle. That's fine.
c) Next, processing performed by the image processing unit 5 and the like will be described based on the flowchart of FIG.
[0037]
As shown in FIG. 6, first, in step 100, it is determined whether or not the shift position is forward. If an affirmative determination is made here, the process proceeds to step 110, while if a negative determination is made, the process proceeds to step 150.
The shift position can be detected by a signal from a shift position detection sensor (not shown) or a signal from another electronic control device.
[0038]
In step 150, since the shift position is not forward, other image processing such as displaying the current image of the camera 1 (rear bird's eye view image) is performed according to the shift position, for example, when the shift position is backward. This processing is once ended.
On the other hand, in step 110, coordinate conversion of the image taken by the camera 1 (the bird's-eye view conversion) is performed to obtain a rear bird's-eye view image.
[0039]
In the following step 120, a process for moving the rear bird's-eye view image to the front of the vehicle by a predetermined movement amount is performed to create an estimated bird's-eye view image.
In the subsequent step 130, a composite image is created by combining the estimated bird's-eye view image and the vehicle display by shifting the position of the vehicle by the amount of movement of the estimated bird's-eye view image.
[0040]
In the following step 140, the composite image is displayed on the monitor 3 so that the vehicle is centered on the display screen, and the process is temporarily terminated. If necessary, a V-shaped line indicating the viewing angle is drawn.
d) As described above, in this embodiment, the rear image (including the lane mark 21) captured by the camera 1 is converted into a rear bird's eye view image, and when the vehicle moves forward, the rear bird's eye view image is shifted to the front of the vehicle. Thus, an estimated bird's-eye view image is created, and a synthesized image is created by synthesizing the vehicle image with the estimated bird's-eye view image, and this synthesized image is displayed on the monitor 3.
[0041]
Accordingly, in the composite image displayed on the monitor 3, the lane mark 21 is displayed on the side or front of the vehicle, so that the positional relationship between the vehicle and the lane mark 21 becomes clear, which is suitable for driving operation.
Further, since the positional relationship between the vehicle and the lane mark 21 is known, for example, when the vehicle is too close to the lane mark 21, the occurrence of the state is notified to the driver before the departure from the actual lane occurs. It is possible to warn and is preferable from the viewpoint of safety.
[0042]
Furthermore, in order to obtain the above-described effect, only the image of the camera 1 that captures the rear of the vehicle can be used without using a camera that captures the front of the vehicle, thereby reducing the cost.
(Example 2)
Next, the second embodiment will be described, but the description of the same parts as the first embodiment will be omitted.
[0043]
In this embodiment, the entire rear bird's eye view image is not shifted, but only the lane mark included in the rear bird's eye view image is extended forward of the vehicle.
Hereinafter, the process in the vehicle periphery image processing apparatus of a present Example is demonstrated based on FIG.7 and FIG.8.
[0044]
As shown in the flowchart of FIG. 7, first, at step 200, it is determined whether or not the shift position is forward. If an affirmative determination is made here, the process proceeds to step 210, while if a negative determination is made, the process proceeds to step 260.
In step 260, since the shift position is not forward, other image processing such as displaying the current image of the camera 1 (rear bird's eye view image) is performed according to the shift position, and the present processing is temporarily terminated.
[0045]
On the other hand, in step 210, coordinate conversion (the bird's-eye view conversion) of the image photographed by the camera 1 is performed to create a rear bird's-eye view image as shown in FIG.
In the following step 220, the lane mark 21 (which has a color different from the road surface) is extracted from the rear bird's eye view image by a known image process.
[0046]
In the next step 230, an estimated bird's-eye view image is created so that the extracted lane mark 21 extends to the front of the vehicle.
In the next step 240, a vehicle image is written in the estimated bird's-eye view image obtained by extending the lane mark 21, and a composite image is created by combining the estimated bird's-eye view image and the image showing the vehicle.
[0047]
In the following step 250, as shown in FIG. 8B, the composite image is displayed on the monitor 3 so that the vehicle is at the top on the display screen of the monitor 3, and the present process is temporarily terminated.
In this embodiment, the same effects as in the first embodiment are obtained, and here, the entire rear bird's-eye view image is not moved, but only the lane mark 21 is extended, so the burden of calculation of image processing is reduced. There is an advantage that.
[0048]
Needless to say, the present invention is not limited to the above-described embodiments, and can be implemented in various modes without departing from the scope of the present invention.
For example, in the first and second embodiments, the vehicle peripheral image processing apparatus has been described, but a recording medium storing a program for executing processing by this apparatus is also within the scope of the present invention.
[0049]
The example recording medium, configured as a microcomputer electronic control device, microchip, a floppy disk (registered trademark), a hard disk, Ru include various recording medium such as an optical disc.
[Brief description of the drawings]
FIG. 1 is an explanatory diagram illustrating a main configuration of a vehicle periphery image processing device according to a first embodiment.
FIG. 2 is an explanatory diagram illustrating an electrical configuration of the vehicle periphery image processing device according to the first embodiment.
FIG. 3 is an explanatory diagram illustrating a processing procedure performed by the vehicle periphery image processing apparatus according to the first embodiment.
FIG. 4 is an explanatory diagram illustrating a positional relationship during coordinate conversion by the vehicle periphery image processing device according to the first embodiment.
FIG. 5 is an explanatory diagram illustrating a processing procedure performed by the vehicle periphery image processing device according to the first embodiment.
FIG. 6 is a flowchart illustrating processing of the vehicle periphery image processing device according to the first embodiment.
FIG. 7 is a flowchart illustrating processing of the vehicle periphery image processing device according to the second embodiment.
FIG. 8 is an explanatory diagram illustrating a processing procedure performed by the vehicle periphery image processing device according to the second embodiment.
[Explanation of symbols]
1 ... Camera 3 ... In-vehicle monitor (monitor)
5 ... Image processing unit 11 ... Rear bird's eye view image creation unit 13 ... Estimated bird's eye view image creation unit 15 ... Composite image creation unit 17 ... Drawing unit

Claims

In a vehicle peripheral image processing apparatus that processes an image photographed by the photographing means and displays the image on the display means for a vehicle including a photographing means for photographing an image behind the vehicle and a display means for displaying the image. ,
A rear bird's-eye view image creating means for creating a rear bird's-eye view image showing the rear of the vehicle based on an image behind the vehicle photographed by the photographing means;
Estimated bird's-eye view showing the side and / or front side of the vehicle based on the rear bird's-eye view image by shifting the positional relationship between the rear bird's-eye view image created by the rear bird's-eye view image creating means and the position of the vehicle. Estimated bird's-eye view image creation means for creating an image;
Equipped with a,
When the shift position is forward, the vehicle periphery image processing apparatus is characterized in that the rear bird's eye view image is created by the rear bird's eye view image creating means and the estimated bird's eye view image is created by the estimated bird's eye view image creating means .

The estimated bird's-eye view image creating means creates the estimated bird's-eye view image by regarding that the rear bird's-eye view image extends to the side and / or the front of the vehicle. Vehicle periphery image processing apparatus.

The vehicle periphery image processing apparatus according to claim 1 or 2 , wherein a composite image obtained by adding an image indicating the position of the vehicle to the estimated bird's eye view image is displayed on the display means.

The estimated bird's-eye view image is created by moving the rear bird's-eye view image so as to display the side and / or front of the vehicle on the display means in correspondence with the position of the vehicle. The vehicle periphery image processing device according to any one of claims 1 to 3 .

An image showing a lane mark is extracted from the rear bird's eye view image, and the estimated bird's eye view image is created by extending the image showing the lane mark to the side and / or the front of the vehicle. The vehicle periphery image processing device according to any one of claims 1 to 3 .

When displaying the composite image on the display means, the position of the image showing its own vehicle is changed so that an image in front of the vehicle can be displayed as compared with a case in which an image behind the vehicle is displayed. vehicle periphery image processing apparatus according to any one of the claims 3-5, characterized in.

A computer-readable recording medium storing a program for executing the processing performed by the vehicle periphery image processing apparatus according to any one of the claims 1 to 6 on a computer.