JP4526868B2 - Top-view image generation apparatus and top-view image display method - Google Patents
Top-view image generation apparatus and top-view image display method Download PDFInfo
- Publication number
- JP4526868B2 JP4526868B2 JP2004142461A JP2004142461A JP4526868B2 JP 4526868 B2 JP4526868 B2 JP 4526868B2 JP 2004142461 A JP2004142461 A JP 2004142461A JP 2004142461 A JP2004142461 A JP 2004142461A JP 4526868 B2 JP4526868 B2 JP 4526868B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- obstacle
- top view
- host vehicle
- vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 20
- 238000012545 processing Methods 0.000 claims description 64
- 239000002131 composite material Substances 0.000 claims description 53
- 238000001514 detection method Methods 0.000 claims description 6
- 238000005520 cutting process Methods 0.000 claims description 5
- 238000003384 imaging method Methods 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 13
- 238000003860 storage Methods 0.000 description 12
- 238000013507 mapping Methods 0.000 description 11
- 238000006243 chemical reaction Methods 0.000 description 9
- 238000004519 manufacturing process Methods 0.000 description 7
- 230000002194 synthesizing effect Effects 0.000 description 2
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
Images
Description
本発明は、自車両の上方の仮想視点から見たトップビュー画像を生成するトップビュー画像生成装置及びトップビュー画像表示方法に関し、特に、自車両及び自車両の周辺を表示するトップビュー画像生成装置及びトップビュー画像表示方法に関する。 The present invention relates to a top view image generation apparatus and a top view image display method for generating a top view image viewed from a virtual viewpoint above the own vehicle, and in particular, a top view image generation apparatus that displays the periphery of the own vehicle and the own vehicle. And a top-view image display method.
従来、自車両に複数台のカメラを設置し、複数台のカメラにより自車両の周囲の画像を撮影して、撮影した画像を自車両内に設置したディスプレイ等の表示装置に表示する技術が提案されている。 Conventionally, a technique has been proposed in which a plurality of cameras are installed in the host vehicle, images around the host vehicle are captured by the plurality of cameras, and the captured images are displayed on a display device such as a display installed in the host vehicle. Has been.
自車両の運転者は、表示装置に表示された画像を確認することで、自車両と障害物との距離を把握し、自車両と障害物との衝突や追突等の交通事故を防ぐように運転を行う。 By checking the image displayed on the display device, the driver of the host vehicle knows the distance between the host vehicle and the obstacle, and prevents traffic accidents such as a collision between the host vehicle and the obstacle or a rear-end collision. Do the driving.
また、自車両に複数台のカメラを設置し、複数台のカメラにより撮影された画像をもとに、自車両の上方の仮想視点から見たトップビュー画像を生成し、このトップビュー画像をディスプレイ等の表示装置に表示することで、自車両の周辺を監視する技術が提案されている（例えば特許文献１など）。
図１４は、特許文献１に記載の画像処理装置により生成されるトップビュー画像１００の例を示す図である。図１４において、１００はトップビュー画像であり、ディスプレイ等の表示装置に必要に応じて表示される。１０１は自車両であり、画像処理装置の画像記憶部に記憶された自車両画像データに基づいて、トップビュー画像１００の略中央に上方の仮想視点から見た状態で表示される。１０２は障害物であり、自車両１０１に設置された複数台のカメラにより撮影された画像に基づいて障害物と認識されたものである。ここで、障害物１０２は、例えば塀や建物の壁、トラックなどのある程度の高さを持つ障害物であり、自車両１０１の進行方向（例えば前方）に対して略平行に所定の範囲に渡って存在している。１０３は遮蔽部であり、車の左をカメラにより撮影した場合に、障害物１０２により遮られる無画像の部分である。従って、トップビュー画像１００では、遮蔽部１０３の画像を表示することができない。
FIG. 14 is a diagram illustrating an example of a
１０４は背景部であり、自車両１０１に設置された複数台のカメラにより撮影された画像に基づいて生成される背景画像である。この背景画像は、自車両１０１が走行した場合に、トップビュー画像１００の略中央に自車両１０１を固定した状態で下方にスクロール表示される。このとき、障害物１０２も下方にスクロール表示される。
しかしながら、特許文献１に記載の技術によれば、トップビュー画像１００において、自車両１０１の表示位置が略中央に固定されてしまう。そのため、障害物１０２の左側に存在する遮蔽部１０３は、詳しい画像が得られていないにも関わらず、トップビュー画像１００のかなりの部分を占めて表示されてしまい、自車両１０１の運転者にとって無駄な情報になってしまうという問題があった。
However, according to the technique described in
本発明は、このような問題を解決するために成されたものであり、トップビュー画像における無駄な情報の表示を削減して、運転者にとって有効な情報を多く表示できるようにすることを目的とする。 The present invention has been made to solve such a problem, and an object of the present invention is to reduce the display of useless information in the top view image and to display a lot of information effective for the driver. And
上記した課題を解決するために、本発明では、画像撮影部により撮影された画像から生成される合成画像のうち、自車両から自車両の周辺の障害物までの距離及び方向を示す障害物情報に応じて決まる所定の範囲がトップビュー画像として表示されるようにしている。具体的に、自車両から自車両のある一方向に存在する障害物までの距離が、合成画像の中央に自車両を配置したときの当該自車両から当該合成画像の端までの長さよりも短い場合に、その障害物がトップビュー画像の一辺として表示されるように表示範囲を可変としている。また、画像撮影部の撮影可能範囲または障害物検知部により障害物を検知可能な範囲内で、且つ、自車両の両側に障害物が存在する場合に、自車両の両側の障害物をそれぞれ左辺および右辺としたトップビュー予備画像を切り出し、切り出したトップビュー予備画像の左右の辺がトップビュー画像の表示領域内に入り、自車両の画像がトップビュー画像に納まる範囲内で、トップビュー予備画像の左右の辺とトップビュー画像の表示領域の左右の辺との間隔が最小となるようにトップビュー予備画像の縮尺を変更することによってトップビュー画像の表示範囲を可変としている。 In order to solve the above-described problem, in the present invention, the obstacle information indicating the distance and direction from the own vehicle to the obstacles around the own vehicle in the composite image generated from the image photographed by the image photographing unit. A predetermined range determined in accordance with is displayed as a top view image. Specifically, the distance from the own vehicle to the obstacle existing in one direction of the own vehicle is shorter than the length from the own vehicle to the end of the synthesized image when the own vehicle is arranged in the center of the synthesized image. In this case, the display range is variable so that the obstacle is displayed as one side of the top view image. Also, if there are obstacles on both sides of the host vehicle within the range where the image shooting unit can shoot or the obstacle can be detected by the obstacle detection unit, the obstacles on both sides of the host vehicle are The top view preliminary image is cut out as the right side, and the left and right sides of the cut out top view preliminary image are within the display area of the top view image, and the top view preliminary image is within the range where the image of the host vehicle fits in the top view image. The display range of the top view image is made variable by changing the scale of the top view preliminary image so that the distance between the left and right sides of the top view image and the left and right sides of the display area of the top view image is minimized.
上記のように構成した本発明によれば、自車両の周辺に存在する障害物によって遮られる遮蔽部ができるだけ少なく表示され、遮蔽部ではない有効な画像ができるだけ多く表示されることとなる。これにより、トップビュー画像の表示領域を有効に活用することができ、運転者にとって有効な情報を多く含むトップビュー画像を生成することができる。従って、運転者は、自車両の周辺の障害物を容易に把握することができる。 According to the present invention configured as described above, as few shield parts as possible are obstructed by obstacles existing around the host vehicle, and as many valid images as possible that are not shield parts are displayed. Thereby, the display area of the top view image can be used effectively, and a top view image including a lot of information effective for the driver can be generated. Therefore, the driver can easily grasp obstacles around the host vehicle.
（第１の実施形態）
以下、本発明の第１の実施形態を図面に基づいて説明する。図１は、第１の実施形態によるトップビュー画像生成装置１の構成例を示すブロック図である。図１において、２は画像撮影部であり、自車両の周辺を撮影するための第１のカメラ２ａ、第２のカメラ２ｂ、第３のカメラ２ｃ、第４のカメラ２ｄにより構成されている。また、３はレーダー（特許請求の範囲の障害物検知部に該当する）であり、自車両の周辺の障害物を検知する。
(First embodiment)
DESCRIPTION OF EXEMPLARY EMBODIMENTS Hereinafter, a first embodiment of the invention will be described with reference to the drawings. FIG. 1 is a block diagram illustrating a configuration example of a top view
図２は、第１の実施形態のトップビュー画像生成装置１による第１のカメラ２ａ〜第４のカメラ２ｄ及びレーダー３の配置の例を示す図である。図２において、第１のカメラ２ａは自車両１２の前方に配置され、前方Ａの範囲の画像を撮影する。第２のカメラ２ｂは自車両１２の左側方に配置され、左方Ｂの範囲の画像を撮影する。第３のカメラ２ｃは自車両１２の後方に配置され、後方Ｃの範囲の画像を撮影する。第４のカメラ２ｄは自車両１２の右側方に配置され、右方Ｄの範囲の画像を撮影する。
FIG. 2 is a diagram illustrating an example of the arrangement of the
レーダー３は、自車両１２の上部中央に設置されており、３６０°の指向性を持つ赤外線レーダーや超音波レーダーにより構成されている。ここで、赤外線レーダーや超音波レーダーを複数使用して３６０°の指向性を実現しても良い。また、レーダー３は、自車両１２から障害物までの距離、自車両１２から障害物の方向、障害物の大きさを検出し、障害物情報として出力する。
The
４は画像生成部であり、画像処理部５、マッピングテーブル６、画像記憶部７により構成されている。画像処理部５では、第１のカメラ２ａ〜第４のカメラ２ｄにて撮影された画像を入力し、マッピングテーブル６に記憶されている変換情報に従って、自車両１２の周辺を上方から見たときの背景画像を生成する。この状態では、自車両１２に設置された第１のカメラ２ａ〜第４のカメラ２ｄにて撮影された画像に基づいて背景画像を生成しているので、背景画像に表示されているのは、実際の背景及び背景に含まれる障害物のみとなり、自車両１２の画像は表示されない。また、障害物は、背景画像の一部として表示されているので、障害物として認識されていない。
An image generation unit 4 includes an
そこで、画像処理部５は、レーダー３から入力される障害物情報に基づいて、背景画像中の障害物の画像を特定する。具体的には、背景画像中における自車両１２の位置、自車両１２から障害物までの距離、自車両１２から障害物の方向により背景画像中の障害物を特定する。また、画像処理部５は、自車両１２から所定の距離内に障害物が存在するか否かを判断する。ここで、所定の距離とは、例えば自車両１２に搭載した画像撮影部２の撮影可能範囲やレーダー３により障害物を検知可能な範囲、予め定めた範囲等である。そして、画像処理部５は、自車両１２から障害物までの距離が所定の長さより短いか否かを判断する。所定の長さは、例えばトップビュー画像の中央に自車両１２を配置したときの自車両１２からトップビュー画像の端までの長さを実際の距離に換算したものである。
Therefore, the
また、画像処理部５は、特定された障害物が所定の大きさ以上であるか否かを判断する。障害物が所定の大きさ以上であると、障害物より先の画像を画像撮影部２にて撮影し難くなる。ここで、所定の大きさ以上の障害物とは、例えば、第２のカメラ２ｂにより撮影された左側方の画像における障害物の画像の占める割合が所定の値以上の障害物であり、塀や建物の壁等の障害物を指すものである。
Further, the
また、画像処理部５は、自車両１２を上方から見た画像を示す自車両画像データを画像記憶部７から読み出し、背景画像の所定の位置（例えば背景画像における自車両１２が存在する位置）に合成する。
Further, the
マッピングテーブル６は、第１のカメラ２ａ〜第４のカメラ２ｄにより撮影される画像の画素データと自車両１２の周辺を上方の仮想視点から見た背景画像の画素データとの対応関係を記載したテーブルであり、撮影された画像のある画素が背景画像のどの画素に対応するかを示す変換情報を記載している。画像記憶部７は、自車両１２を上方から見た画像を示す自車両画像データを記憶しており、必要に応じて画像処理部５により読み出される。
The mapping table 6 describes the correspondence between the pixel data of the images photographed by the
図３は、第1の実施形態のトップビュー画像生成装置１による合成画像１６の例を示す図である。合成画像１６は、前述した背景画像に自車両画像を合成した画像であり、その略中央に自車両１２の画像を形成し、自車両１２の進行方向と略平行に存在している障害物１３の画像を自車両１２の画像の左側に形成している。ここで、自車両１２と障害物１３との距離は所定の長さより短くなっている。また、合成画像１６では、障害物１３により遮られた部分を遮蔽部１５の画像として形成しており、自車両１２の周辺に存在する道路等の背景を示す背景部１４の画像を形成している。
FIG. 3 is a diagram illustrating an example of the
画像処理部５では、自車両１２の周辺に存在する障害物１３と自車両１２との距離が所定の長さより短いか否かを判断すると共に、障害物１３が所定の大きさ以上であるか否かを判断する。そして、障害物１３と自車両１２との距離が所定の長さより短く、障害物１３が所定の大きさ以上であると判断したときに、自車両１２から見た障害物１３の方向に応じて、その障害物１３をトップビュー画像１１の一辺として、前述した合成画像１６からトップビュー画像１１を切り出して出力する。例えば、自車両１２から見た障害物１３の方向が左側であるときには、障害物１３が左端となるようにトップビュー画像１１を切り出し、自車両１２から見た障害物１３の方向が右側であるときには、障害物１３が右端となるようにトップビュー画像１１を切り出す。
The
８は表示装置であり、画像処理部５により生成されたトップビュー画像１１を表示する。図４は、第１の実施形態のトップビュー画像生成装置１によるトップビュー画像１１の例を示す図であり、このトップビュー画像１１では、自車両１２に近接して存在する障害物１３が左端に表示されているので、自車両１２が左側に偏って、自車両１２の右側のスペースが広く表示されている。ここで、合成画像１６からトップビュー画像１１を切り出す範囲については、トップビュー画像１１を表示する表示装置８のアスペクト比と解像度とに応じて決められるが、合成画像１６からトップビュー画像１１を切り出す範囲を所定の解像度に固定して、表示装置８の解像度に合わせて画像を拡大又は縮小するようにしても良い。
次に、第１の実施形態によるトップビュー画像生成装置１の動作及びトップビュー画像表示方法について説明する。図５は、第１の実施形態によるトップビュー画像生成装置１の動作及びトップビュー画像表示方法を示すフローチャートである。図５において、自車両１２に設置された第１のカメラ２ａ〜第４のカメラ２ｄは、常に自車両１２の周辺を撮影している。同様に、自車両１２に設置されたレーダー３は、常に自車両１２の周辺の障害物１３を検知している。
Next, the operation of the top view
ここで、画像処理部５では、レーダー３からの障害物情報に基づいて、自車両１２から所定の距離内に障害物１３が存在するか否かを調べる（ステップＳ１）。画像処理部５にて、自車両１２から所定の距離内に障害物１３がないと判断された場合には（ステップＳ１にてＮＯ）、画像処理部５では、第１のカメラ２ａ〜第４のカメラ２ｄにて撮影された画像を入力し、マッピングテーブル６に記憶されている変換情報に従って、背景画像を生成する。そして、画像記憶部７から自車両画像データを読み出して背景画像に合成することによって合成画像１６を生成し、その合成画像１６から自車両１２を中央に配置したトップビュー画像１１を切り出す（ステップＳ２）。
Here, the
一方、画像処理部５にて、自車両１２から所定の距離内に障害物１３があると判断された場合には（ステップＳ１にてＹＥＳ）、画像処理部５では、自車両１２と自車両１２の周辺に存在する障害物１３との距離が所定の長さよりも短く、且つ、障害物１３が所定の大きさ以上であるか否かを調べる（ステップＳ３）。
On the other hand, when the
自車両１２と障害物１３との距離が所定の長さ以上であると画像処理部５にて判断された場合、又は、障害物１３が所定の大きさ以上ではないと画像処理部５にて判断された場合には（ステップＳ３にてＮＯ）、画像処理部５では、第１のカメラ２ａ〜第４のカメラ２ｄにて撮影された画像を入力し、マッピングテーブル６に記憶されている変換情報に従って、背景画像を生成する。そして、画像記憶部７から自車両画像データを読み出して自車両１２を背景画像に合成した合成画像１６を生成し、自車両１２を中央に配置したトップビュー画像１１を合成画像１６から切り出す（ステップＳ２）。
When the
一方、自車両１２と障害物１３との距離が所定の長さより短く、且つ、障害物１３が所定の大きさ以上であると画像処理部５にて判断された場合には（ステップＳ３にてＹＥＳ）、画像処理部５では、第１のカメラ２ａ〜第４のカメラ２ｄにて撮影された画像を入力し、マッピングテーブル６に記憶されている変換情報に従って、背景画像を生成する。そして、画像記憶部７から自車両画像データを読み出して自車両１２を背景画像に合成した合成画像１６を生成する。更に、画像処理部５では、自車両１２との距離が所定の長さよりも短い障害物１３を背景画像中で特定すると共に、自車両１２から見た障害物１３の方向に応じて、特定された障害物１３を一辺とするトップビュー画像１１を合成画像１６から切り出す（ステップＳ４）。
On the other hand, when the
ここで、特定された障害物１３が自車両１２の左側にあるときには、特定された障害物１３がトップビュー画像１１の左端になるようにトップビュー画像１１を切り出し、特定された障害物１３が自車両１２の右側にあるときには、特定された障害物１３がトップビュー画像１１の右端になるようにトップビュー画像１１を切り出す。例えば、図３に示すような合成画像１６では、特定された障害物１３が自車両１２の左側にあるため、特定された障害物１３が左端になるようにトップビュー画像１１が切り出される。
Here, when the specified
ステップＳ２又はステップＳ４の処理によりトップビュー画像１１が生成されると、画像処理部５では、切り出されたトップビュー画像１１を表示装置８に表示する（ステップＳ６）。そして、画像処理部５では、運転者等が図示しない操作部によりトップビュー画像１１の表示を解除したか否かを調べる（ステップＳ６）。トップビュー画像１１の表示が解除されなかった場合には（ステップＳ６にてＮＯ）、ステップＳ１の処理に戻る。一方、トップビュー画像１１の表示が解除された場合には（ステップＳ６にてＹＥＳ）、処理を終了する。
When the
以上詳しく説明したように、第１の実施形態では、自車両１２及び自車両１２の周辺を上方の仮想視点から見たトップビュー画像１１を生成する際に、自車両１２と自車両１２の片側に存在する障害物１３との距離が所定の長さより短く、且つ、障害物１３が所定の大きさ以上である場合には、その障害物１３がトップビュー画像１１の一辺となるように合成画像１６からトップビュー画像１１を切り出している。これにより、障害物１３によって遮られる遮蔽部１５がトップビュー画像１１中に表示されなくなり、遮蔽部１５が存在しない側の画像を広く表示することができるので、トップビュー画像１１の表示領域を有効に活用することができ、運転者にとって有効な情報を多く含むトップビュー画像１１を表示することができる。
As described above in detail, in the first embodiment, when generating the
（第２の実施形態）
以下、本発明の第２の実施形態を図面に基づいて説明する。なお、第２の実施形態によるトップビュー画像生成装置１の構成については、図１と同様であるから説明を省略する。ただし、表示装置８に表示されるトップビュー画像１１は図７、図９、及び図１１に示すような画像であり、画像処理部５は後述する処理を行う点で第１の実施形態と相違する。
(Second Embodiment)
Hereinafter, a second embodiment of the present invention will be described with reference to the drawings. The configuration of the top view
画像処理部５では、第１のカメラ２ａ〜第４のカメラ２ｄにて撮影された画像を入力し、マッピングテーブル６に記憶されている変換情報に従って、自車両１２の周辺を上方の仮想視点から見たときの背景画像を生成する。また、画像処理部５では、レーダー３から入力される障害物情報に基づいて、背景画像中の障害物１３の画像を特定する。具体的には、背景画像中における自車両１２の位置、自車両１２から障害物１３までの距離、自車両１２から障害物１３の方向により背景画像中の障害物１３を特定する。
In the
そして、画像処理部５は、自車両１２から所定の距離内に、且つ、自車両１２の両側に所定の大きさ以上の障害物１３が存在するか否かを判断する。ここで、所定の距離とは、例えば自車両１２に搭載した画像撮影部２の撮影可能範囲やレーダー３により障害物１３を検知可能な範囲、予め定めた範囲等である。
Then, the
また、画像処理部５は、特定された障害物１３が所定の大きさ以上であるか否かを判断する。障害物１３が所定の大きさ以上であると、障害物１３より先の画像を画像撮影部２にて撮影し難くなる。また、画像処理部５は、自車両１２を上方から見た画像を示す自車両画像データを画像記憶部７から読み出し、背景画像の所定の位置（例えば背景画像における自車両１２が存在する位置）に合成する。
Further, the
また、画像処理部５では、自車両１２から自車両１２の片側の障害物１３までの距離と自車両１２から自車両１２のもう一方の片側の障害物１３までの距離との合計が所定の長さの二倍よりも短いか否かを判断する。所定の長さは、例えば縮尺を変更していないトップビュー画像１１の中央に自車両１２を配置したときの自車両１２からトップビュー画像１１の端までの長さを実際の距離に換算したものである。ここで、自車両１２から自車両１２の片側の障害物１３までの距離と自車両１２から自車両１２のもう一方の片側の障害物１３までの距離との合計が所定の長さの二倍よりも短い場合（例えば図６及び図８）と、自車両１２から自車両１２の片側の障害物１３までの距離と自車両１２から自車両１２のもう一方の片側の障害物１３までの距離との合計が所定の長さの二倍よりも長い場合（図１０）とがある。
Further, in the
図６は、第２の実施形態のトップビュー画像生成装置１による合成画像１６の例を示す図であり、自車両１２から自車両１２の片側の障害物１３までの距離と自車両１２から自車両１２のもう一方の片側の障害物１３までの距離との合計が所定の長さの二倍よりも短い場合の合成画像１６の例を示す図である。また、図６に示す合成画像１６は、自車両１２から自車両１２の両側に存在する障害物１３までの距離が何れも所定の長さより短い場合の画像である。また、図７は、第２の実施形態のトップビュー画像生成装置１によって図６に示す合成画像１６より生成されるトップビュー画像１１の例を示す図である。
FIG. 6 is a diagram illustrating an example of the
図６において、合成画像１６は、背景画像に自車両画像を合成した画像であり、その略中央に自車両１２の画像を形成し、自車両１２の進行方向と略平行に存在している障害物１３の画像を自車両１２の画像の両側に形成している。また、合成画像１６では、障害物１３により遮られた部分を遮蔽部１５の画像として形成しており、自車両１２の周辺に存在する道路等の背景を示す背景部１４の画像を形成している。
In FIG. 6, a
画像処理部５では、自車両１２から所定の距離内に、且つ、自車両１２の両側に障害物１３が存在するか否かを判断すると共に、その障害物１３が所定の大きさ以上であるか否かを調べる。そして、自車両１２から所定の距離内に、且つ、自車両１２の両側に所定の大きさ以上の障害物１３が存在すると判断したときには、画像処理部５では、自車両１２から自車両１２の片側の障害物１３までの距離と自車両１２から自車両１２のもう一方の片側の障害物１３までの距離との合計が所定の長さの二倍よりも短いか否かを判断する。
The
ここで、自車両１２から自車両１２の片側の障害物１３までの距離と自車両１２から自車両１２のもう一方の片側の障害物１３までの距離との合計が所定の長さの二倍よりも短い場合には、画像処理部５は、自車両１２の左側に存在している障害物１３の画像を左辺とし、自車両１２の右側に存在している障害物１３の画像を右辺として、前述した合成画像１６からトップビュー予備画像１１ａを切り出して出力する。このとき、自車両１２の左側に存在している障害物１３と自車両１２の右側に存在している障害物１３との距離をトップビュー予備画像１１ａの横方向の長さとすると、表示装置８のアスペクト比に合わせてトップビュー予備画像１１ａの縦方向の長さが決まる。しかしながら、図６のように、自車両１２の両側に存在する障害物１３の距離が近付きすぎると、自車両１２の画像がトップビュー予備画像１１ａに納まらなくなってしまうので、自車両１２がトップビュー予備画像１１ａに納まるように縦方向の長さを伸ばしてトップビュー予備画像１１ａを切り出す。
Here, the sum of the distance from the
そして、画像処理部５は、トップビュー予備画像１１ａをトップビュー画像１１の表示領域に貼り付けてトップビュー画像１１を生成する。このとき、画像処理部５は、図７に示すように、トップビュー予備画像１１ａの左辺とトップビュー画像１１の表示領域の左辺との間、及び、トップビュー予備画像１１ａの右辺とトップビュー画像１１の表示領域の右辺との間に存在する余白部１７が最も少なくなり、且つ、自車両１２の画像がトップビュー画像１１に納まるように、トップビュー予備画像１１ａを拡大している。ここで、余白部１７が最も少なくなることとは、換言すると、トップビュー予備画像１１ａの左右の辺とトップビュー画像１１の表示領域の左右の辺との間隔が最も小さくなることを指す。ここで、図７の例では、トップビュー画像１１の表示領域の左辺からトップビュー予備画像１１ａの左辺までの距離とトップビュー画像１１の表示領域の右辺からトップビュー予備画像１１ａの右辺までの距離とが等距離となるようにトップビュー予備画像１１ａを貼り付けているが、必ずしも等距離とする必要はない。
Then, the
なお、図６の例において、自車両１２の左側に存在している障害物１３の画像を左辺とし、自車両１２の右側に存在している障害物１３の画像を右辺として、合成画像１６からトップビュー予備画像１１ａを切り出しているが、これに限定されない。例えば、自車両１２の画像がトップビュー画像１１に納まり、余白部１７が最小となるように、表示装置８と同じアスペクト比でトップビュー画像１１を直接切り出すようにしても良い。
In the example of FIG. 6, from the
また、トップビュー画像１１の表示領域に自車両１２の画像が納まれば、トップビュー画像１１の表示領域の左辺からトップビュー予備画像１１ａの左辺までの距離及びトップビュー画像１１の表示領域の右辺からトップビュー予備画像１１ａの右辺までの距離が０となるようにトップビュー画像１１を生成しても良く、その場合、余白部１７は存在しない。また、トップビュー画像１１に自車両１２の画像が納まるという条件については、例えば自車両１２の画像の前方や後方にある程度のスペースを確保するようにしても良いし、自車両１２の前方や後方に全くスペースを設けないようにしても良い。
If the image of the
図８は、第２の実施形態のトップビュー画像生成装置１による合成画像１６の他の例を示す図であり、自車両１２から自車両１２の片側の障害物１３までの距離と自車両１２から自車両１２のもう一方の片側の障害物１３までの距離との合計が所定の長さの二倍よりも短い場合の合成画像１６の例を示す図である。また、図８に示す合成画像１６は、自車両１２から自車両１２の右側に存在する障害物１３までの距離が所定の長さよりも長い場合の画像である。また、図９は、第２の実施形態のトップビュー画像生成装置１によって図８に示す合成画像１６より生成されるトップビュー画像１１の例を示す図である。
FIG. 8 is a diagram illustrating another example of the
画像処理部５では、自車両１２から所定の距離内に、且つ、自車両１２の両側に障害物１３が存在するか否かを判断すると共に、その障害物１３が所定の大きさ以上であるか否かを調べる。そして、自車両１２から所定の距離内に、且つ、自車両１２の両側に所定の大きさ以上の障害物１３が存在すると判断したときには、画像処理部５では、自車両１２から自車両１２の片側の障害物１３までの距離と自車両１２から自車両１２のもう一方の片側の障害物１３までの距離との合計が所定の長さの二倍よりも短いか否かを判断する。
The
ここで、自車両１２から自車両１２の片側の障害物１３までの距離と自車両１２から自車両１２のもう一方の片側の障害物１３までの距離との合計が所定の長さの二倍よりも短い場合には、画像処理部５は、自車両１２の左側に存在している障害物１３の画像を左辺とし、自車両１２の右側に存在している障害物１３の画像を右辺として、前述した合成画像１６からトップビュー予備画像１１ａを切り出して出力する。このとき、自車両１２の左側に存在している障害物１３と自車両１２の右側に存在している障害物１３との距離をトップビュー予備画像１１ａの横方向の長さとすると、表示装置８のアスペクト比に合わせてトップビュー予備画像１１ａの縦方向の長さが決まる。図８の例では、自車両１２の画像がトップビュー予備画像１１ａに納まるので、トップビュー予備画像１１ａを表示装置８のアスペクト比に合わせて切り出す。
Here, the sum of the distance from the
そして、画像処理部５は、トップビュー予備画像１１ａを拡大してトップビュー画像１１の表示領域に貼り付けてトップビュー画像１１を生成する。このように、表示装置８のアスペクト比に合わせてトップビュー画像１１よりも小さいトップビュー予備画像１１ａを切り出しているので、トップビュー画像１１の表示領域の左辺からトップビュー予備画像１１ａの左辺までの距離及びトップビュー画像１１の表示領域の右辺からトップビュー予備画像１１ａの右辺までの距離が０となるようにトップビュー予備画像１１ａを拡大することができる。
Then, the
また、図１０は、第２の実施形態のトップビュー画像生成装置１による合成画像１６の更に他の例を示す図であり、自車両１２から自車両１２の片側の障害物１３までの距離と自車両１２から自車両１２のもう一方の片側の障害物１３までの距離との合計が所定の長さの二倍よりも長い場合の合成画像１６の例である。図１１は、第２の実施形態のトップビュー画像生成装置１によって図１０に示す合成画像１６より生成されるトップビュー画像１１の例を示す図である。
FIG. 10 is a diagram showing still another example of the
図１０において、合成画像１６は、背景画像に自車両画像を合成した画像であり、その略中央に自車両１２の画像を形成し、自車両１２の進行方向と略平行に存在している障害物１３の画像を自車両１２の画像の両側に形成している。また、合成画像１６では、障害物１３により遮られた部分を遮蔽部１５の画像として形成しており、自車両１２の周辺に存在する道路等の背景を示す背景部１４の画像を形成している。
In FIG. 10, a
画像処理部５では、自車両１２から所定の距離内に、且つ、自車両１２の両側に障害物１３が存在するか否かを判断すると共に、その障害物１３が所定の大きさ以上であるか否かを調べる。そして、自車両１２から所定の距離内に、且つ、自車両１２の両側に所定の大きさ以上の障害物１３が存在すると判断したときには、画像処理部５では、自車両１２から自車両１２の片側の障害物１３までの距離と自車両１２から自車両１２のもう一方の片側の障害物１３までの距離との合計が所定の長さの二倍よりも短いか否かを判断する。
The
ここで、自車両１２から自車両１２の片側の障害物１３までの距離と自車両１２から自車両１２のもう一方の片側の障害物１３までの距離との合計が所定の長さの二倍よりも長い場合には、画像処理部５は、自車両１２の左側に存在している障害物１３の画像を左辺とし、自車両１２の右側に存在している障害物１３の画像を右辺として、前述した合成画像１６からトップビュー予備画像１１ａを切り出して出力する。このとき、自車両１２の左側に存在している障害物１３と自車両１２の右側に存在している障害物１３との距離をトップビュー予備画像１１ａの横方向の長さとすると、表示装置８のアスペクト比に合わせてトップビュー予備画像１１ａの縦方向の長さが決まる。図１０の例では、自車両１２の画像がトップビュー予備画像１１ａに納まるので、トップビュー予備画像１１ａを表示装置８のアスペクト比に合わせて切り出す。
Here, the sum of the distance from the
そして、画像処理部５は、トップビュー予備画像１１ａを縮小してトップビュー画像１１の表示領域に貼り付けてトップビュー画像１１を生成する。このとき、自車両１２から自車両１２の片側の障害物１３までの距離と自車両１２から自車両１２のもう一方の片側の障害物１３までの距離との合計が所定の長さの二倍よりも長いので、トップビュー予備画像１１ａは、自車両１２の両側に存在する障害物１３がトップビュー画像１１の両端となるまで縮小されてトップビュー画像１１の表示領域に貼り付けられる。この場合は、トップビュー画像１１の表示領域の左辺からトップビュー予備画像１１ａの左辺までの距離及びトップビュー画像１１の表示領域の右辺からトップビュー予備画像１１ａの右辺までの距離は０となり、余白部１７は存在しなくなる。
Then, the
このように、表示装置８のアスペクト比に合わせてトップビュー画像１１よりも大きいトップビュー予備画像１１ａを切り出しているので、トップビュー画像１１の表示領域の左辺からトップビュー予備画像１１ａの左辺までの距離及びトップビュー画像１１の表示領域の右辺からトップビュー予備画像１１ａの右辺までの距離が０となるようにトップビュー予備画像１１ａを縮小することができる。
As described above, the top view
次に、第２の実施形態によるトップビュー画像生成装置１の動作及びトップビュー画像表示方法について説明する。図１２は、第２の実施形態によるトップビュー画像生成装置１の動作及びトップビュー画像表示方法を示すフローチャートである。図１２において、自車両１２に設置された第１のカメラ２ａ〜第４のカメラ２ｄは、常に自車両１２の周辺を撮影している。同様に、自車両１２に設置されたレーダー３は、常に自車両１２の周辺の障害物１３を検知している。
Next, the operation of the top view
ここで、画像処理部５では、レーダー３からの障害物情報に基づいて、自車両１２から所定の距離内に、且つ、自車両１２の両側に所定の大きさ以上の障害物１３が存在するか否かを調べる（ステップＳ１１）。自車両１２から所定の距離内に、且つ、自車両１２の両側に所定の大きさ以上の障害物１３が存在しないと画像処理部５にて判断された場合には（ステップＳ１１にてＮＯ）、画像処理部５では、第１のカメラ２ａ〜第４のカメラ２ｄにて撮影された画像を入力し、マッピングテーブル６に記憶されている変換情報に従って、背景画像を生成する。そして、画像記憶部７から自車両画像データを読み出して背景画像に合成することによって合成画像１６を生成し、その合成画像１６から自車両１２を中央に配置したトップビュー画像１１を切り出す（ステップＳ１２）。
Here, in the
一方、自車両１２から所定の距離内に、且つ、自車両１２の両側に所定の大きさ以上の障害物１３が存在すると画像処理部５にて判断された場合には（ステップＳ１１にてＹＥＳ）、画像処理部５では、自車両１２から自車両１２の片側の障害物１３までの距離と自車両１２から自車両１２のもう一方の片側の障害物１３までの距離との合計が所定の長さの二倍よりも短いが否かを調べる（ステップＳ１３）。
On the other hand, if the
自車両１２から自車両１２の片側の障害物１３までの距離と自車両１２から自車両１２のもう一方の片側の障害物１３までの距離との合計が所定の長さの二倍よりも短い場合には（ステップＳ１３にてＹＥＳ）、画像処理部５では、第１のカメラ２ａ〜第４のカメラ２ｄにて撮影された画像を入力し、マッピングテーブル６に記憶されている変換情報に従って、背景画像を生成する。そして、画像記憶部７から自車両画像データを読み出して自車両１２の画像を背景画像に合成した合成画像１６を生成する。更に、画像処理部５では、自車両１２の両側に存在する障害物１３を背景画像中で特定する。そして、自車両１２の両側にある障害物１３を左右の辺として合成画像１６からトップビュー予備画像１１ａを切り出し、トップビュー画像１１の表示領域で余白部１７が最も少なくなり、自車両１２がトップビュー画像１１に納まるように、トップビュー予備画像１１ａを拡大してトップビュー画像１１を生成する（ステップＳ１４）。
The sum of the distance from the
一方、自車両１２から自車両１２の片側の障害物１３までの距離と自車両１２から自車両１２のもう一方の片側の障害物１３までの距離との合計が所定の長さの二倍よりも長い場合には（ステップＳ１３にてＮＯ）、画像処理部５では、第１のカメラ２ａ〜第４のカメラ２ｄにて撮影された画像を入力し、マッピングテーブル６に記憶されている変換情報に従って、背景画像を生成する。そして、画像記憶部７から自車両画像データを読み出して自車両１２の画像を背景画像に合成した合成画像１６を生成する。更に、画像処理部５では、自車両１２の両側に存在する障害物１３を背景画像中で特定する。そして、自車両１２の両側にある障害物１３を左右の辺として合成画像１６からトップビュー予備画像１１ａを切り出し、トップビュー予備画像１１ａがトップビュー画像１１の表示領域にちょうど納まるように、トップビュー予備画像１１ａを縮小してトップビュー画像１１を生成する（ステップＳ１５）。
On the other hand, the sum of the distance from the
ステップＳ１２、ステップＳ１４、ステップＳ１５の処理によりトップビュー画像１１が生成されると、画像処理部５では、切り出されたトップビュー画像１１を表示装置８に表示する（ステップＳ１６）。そして、画像処理部５では、運転者等が図示しない操作部によりトップビュー画像１１の表示を解除したか否かを調べる（ステップＳ１７）。トップビュー画像１１の表示が解除されなかった場合には（ステップＳ１７にてＮＯ）、ステップＳ１の処理に戻る。一方、トップビュー画像１１の表示が解除された場合には（ステップＳ１７にてＹＥＳ）、処理を終了する。
When the
以上詳しく説明したように、第２の実施形態では、自車両１２及び自車両１２の周辺を上方の仮想視点から見たトップビュー画像１１を生成する際に、自車両１２から所定の距離内に、且つ、自車両１２の両側に所定の大きさ以上の障害物１３が存在する場合には、自車両１２の両側にある障害物１３を左右の辺としてトップビュー予備画像１１ａを合成画像１６から切り出す。そして、切り出したトップビュー予備画像１１ａの左右の辺からトップビュー画像１１の表示領域の左右の辺までの余白部１７が最小となり、自車両１２の画像がトップビュー画像１１に納まるように、トップビュー予備画像１１ａの縮尺を変更してトップビュー画像１１を生成している。これにより、障害物１３によって遮られる遮蔽部１５がトップビュー画像１１中にほとんど表示されなくなり、自車両１２の背景部１４の画像を詳細に表示することができるので、トップビュー画像１１の表示領域を有効に活用することができ、運転者にとって有効な情報を多く含むトップビュー画像１１を表示することができる。
As described above in detail, in the second embodiment, when generating the
なお、第１の実施形態及び第２の実施形態では、レーダー３を用いて、自車両１２から障害物１３までの距離、自車両１２から障害物１３の方向、障害物１３の大きさを検出し、障害物情報を生成しているが、これに限定されない。例えば、図１３に示すように、画像撮影部２を第１のステレオカメラ２２ａ、第２のステレオカメラ２２ｂ、第３のステレオカメラ２２ｃ、第４のステレオカメラ２２ｄにより構成することで、自車両１２から障害物１３までの距離、自車両１２から障害物１３の方向、障害物１３の大きさを検出し、障害物情報を生成しても良い。これにより、レーダー３が不要となる。
In the first and second embodiments, the
また、トップビュー画像表示装置１をカーナビゲーション装置に搭載した場合に、画像処理部５は、自車両１２の正確な位置情報及び地図データに含まれる障害物１３の位置情報をカーナビゲーション装置から取得して、合成画像１６を生成するようにしても良い。
In addition, when the top view
また、第１の実施形態及び第２の実施形態では、画像撮影部２を４台のカメラにより構成しているが、これに限定されない。自車両１２の左右を撮影する２台のカメラを使用しても良いし、それ以上の台数のカメラを使用しても良い。
In the first embodiment and the second embodiment, the
また、第１の実施形態では、自車両１２の左側に存在する障害物１３又は右側に存在する障害物１３を対象としてトップビュー画像１１を合成画像１６から切り出しているが、これに限定されない。例えば、自車両１２の前方の障害物１３又は自車両１２の後方の障害物１３を対象としてトップビュー画像１１を合成画像１６から切り出しても良い。
In the first embodiment, the
また、第２の実施形態では、自車両１２の左右に存在する障害物１３を対象としてトップビュー予備画像１１ａを合成画像１６から切り出しているが、これに限定されない。例えば、自車両１２の前後又は前後左右の障害物１３を対象としてトップビュー予備画像１１ａを合成画像１６から切り出しても良い。
Moreover, in 2nd Embodiment, although the top view
また、第１の実施形態及び第２の実施形態では、自車両１２の左右に存在する障害物１３が所定の大きさ以上であるか否かを判断して、トップビュー画像１１又はトップビュー予備画像１１ａを切り出すようにしているが、これに限定されない。例えば、自車両１２の左右に存在する障害物１３が所定の幅以上（トップビュー画像１１における縦方向の長さが所定の長さ以上）であるか否かを判断してトップビュー画像１１又はトップビュー予備画像１１ａを切り出すようにしても良い。このような障害物１３としては、例えばガードレールや低い塀、自動車等がある。
In the first and second embodiments, the
また、第１の実施形態及び第２の実施形態では、トップビュー画像１１において、障害物１３の画像を表示するようにしているが、これに限定されない。例えば、障害物１３の画像がトップビュー画像１１の端に配置される場合、障害物１３の画像の内側（自車両１２側）を合成画像１６から切り出すようにすることで障害物１３の画像を非表示としても良い。
In the first embodiment and the second embodiment, the image of the
また、第２の実施形態では、障害物１３が自車両１２から所定の距離内に、且つ、自車両１２の両側に存在しないと画像処理部５にて判断された場合に、自車両１２を中央に配置したトップビュー画像１１を切り出しているが、これに限定されない。例えば、障害物１３が自車両１２から所定の距離内に、且つ、自車両１２の片側に存在する場合に、第１の実施形態を利用してトップビュー画像１１を生成するようにしても良い。
In the second embodiment, when the
その他、上記第１の実施形態及び第２の実施形態は、何れも本発明を実施するにあたっての具体化の一例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその精神、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。 In addition, each of the first embodiment and the second embodiment described above is merely an example of a specific example for carrying out the present invention, and the technical scope of the present invention is limitedly interpreted by these. It must not be done. In other words, the present invention can be implemented in various forms without departing from the spirit or main features thereof.
本発明は、自車両の上方の仮想視点から見たトップビュー画像を生成するトップビュー画像生成装置に有用である。 The present invention is useful for a top view image generation device that generates a top view image viewed from a virtual viewpoint above the host vehicle.
１ トップビュー画像生成装置
２ 画像撮影部
２ａ〜２ｄ カメラ
３ レーダー
４ 画像生成部
５ 画像処理部
６ マッピングテーブル
７ 画像記憶部
８ 表示装置
１１ トップビュー画像
１１ａ トップビュー予備画像
１２ 自車両
１３ 障害物
１４ 背景部
１５ 遮蔽部
１６ 合成画像
１７ 余白部
DESCRIPTION OF
Claims (6)
前記自車両からその周辺の障害物までの距離及び方向を検知して障害物情報を生成する障害物検知部と、
前記画像撮影部により撮影された画像を入力し、この画像に基づいて前記自車両を上方の仮想視点から見た合成画像を生成すると共に、前記自車両から前記自車両のある一方向に存在する前記障害物までの距離が、前記合成画像の中央に前記自車両を配置したときの当該自車両から当該合成画像の端までの長さより短い場合に、前記合成画像のうち前記障害物情報により特定される前記障害物の画像を前記トップビュー画像の一辺とした範囲の画像を前記合成画像から切り出すことでトップビュー画像を生成する画像処理部とを備えたことを特徴とするトップビュー画像生成装置。 An image capturing unit that captures an image of the surroundings of the vehicle;
An obstacle detection unit that detects the distance and direction from the host vehicle to obstacles around the vehicle and generates obstacle information;
An image photographed by the image photographing unit is input, and based on this image, a composite image in which the host vehicle is viewed from an upper virtual viewpoint is generated, and exists in one direction from the host vehicle to the host vehicle. When the distance to the obstacle is shorter than the length from the host vehicle to the end of the composite image when the host vehicle is placed in the center of the composite image, the obstacle information is specified in the composite image. An image processing unit that generates a top view image by cutting out an image in a range where the obstacle image is one side of the top view image from the composite image .
前記自車両からその周辺の障害物までの距離及び方向を検知して障害物情報を生成する障害物検知部と、
前記画像撮影部により撮影された画像を入力し、この画像に基づいて前記自車両を上方の仮想視点から見た合成画像を生成すると共に、前記自車両の両側、かつ、前記画像撮影部の撮影可能範囲または前記障害物検知部により障害物を検知可能な範囲内に前記障害物が存在する場合に、前記合成画像のうち前記自車両の左側および右側にある前記障害物の画像をそれぞれ左辺および右辺とした範囲の画像を前記合成画像から切り出すことでトップビュー予備画像を生成し、前記トップビュー予備画像の左右の辺が前記トップビュー画像の表示領域内に入り、前記自車両の画像が前記トップビュー画像に納まる範囲内で、前記トップビュー予備画像の左右の辺と前記トップビュー画像の表示領域の左右の辺との間隔が最小となるように前記トップビュー予備画像の縮尺を変更することによって前記トップビュー画像を生成する画像処理部とを備えたことを特徴とするトップビュー画像生成装置。 An image capturing unit that captures an image of the surroundings of the vehicle;
An obstacle detection unit that detects the distance and direction from the host vehicle to obstacles around the vehicle and generates obstacle information;
An image captured by the image capturing unit is input, and based on this image, a composite image in which the host vehicle is viewed from an upper virtual viewpoint is generated, and both sides of the host vehicle and the image capturing unit are captured. When the obstacle exists within a possible range or a range where the obstacle detection unit can detect the obstacle, images of the obstacle on the left side and the right side of the host vehicle in the composite image are respectively shown on the left side and A top-view preliminary image is generated by cutting out an image of a range on the right side from the composite image, the left and right sides of the top-view preliminary image are within the display area of the top-view image, and the image of the host vehicle is the Within the range that fits in the top view image, the top view is such that the distance between the left and right sides of the top view preliminary image and the left and right sides of the display area of the top view image is minimized. Top-view image generation apparatus characterized by comprising an image processing unit for generating the top-view image by changing the scale of view preliminary image.
障害物検知部により前記自車両の周辺の障害物を検知することによって、前記自車両から前記障害物までの距離及び方向を示す障害物情報を生成する第２のステップと、
前記第２のステップにて生成された障害物情報により、前記自車両から前記自車両のある一方向に存在する前記障害物までの距離が、前記合成画像の中央に前記自車両を配置したときの当該自車両から当該合成画像の端までの長さより短いと判断された場合に、前記合成画像のうち前記障害物情報により特定される前記障害物の画像を前記トップビュー画像の一辺とした範囲を決める第３のステップと、
前記第３のステップにて決められた範囲の画像を前記第１のステップにて生成された合成画像から切り出してトップビュー画像を生成する第４のステップと、
前記第４のステップにて生成されたトップビュー画像を表示する第５のステップとを備えたトップビュー画像表示方法。 A first step of inputting an image of the periphery of the host vehicle captured by the image capturing unit and generating a composite image of the host vehicle viewed from an upper virtual viewpoint based on the image;
A second step of generating obstacle information indicating a distance and a direction from the own vehicle to the obstacle by detecting an obstacle around the own vehicle by an obstacle detecting unit;
The distance from the own vehicle to the obstacle existing in one direction of the own vehicle is arranged in the center of the composite image by the obstacle information generated in the second step. A range in which the image of the obstacle specified by the obstacle information in the composite image is one side of the top view image when it is determined that the length is shorter than the length from the host vehicle to the end of the composite image The third step of determining
A fourth step of generating a top view image by cutting out the image in the range determined in the third step from the composite image generated in the first step;
A top view image display method comprising: a fifth step of displaying the top view image generated in the fourth step.
障害物検知部により前記自車両の周辺の障害物を検知することによって、前記自車両から前記障害物までの距離及び方向を示す障害物情報を生成する第２のステップと、
前記第２のステップにて生成された障害物情報により、前記自車両の両側、かつ、前記画像撮影部の撮影可能範囲または前記障害物検知部により障害物を検知可能な範囲内に前記障害物が存在すると判断された場合に、前記合成画像のうち前記自車両の左側および右側にある前記障害物の画像をそれぞれ左辺および右辺とした範囲の画像を切り出すことでトップビュー予備画像を生成する第３のステップと、
前記第３のステップにて生成した前記トップビュー予備画像の左右の辺が前記トップビュー画像の表示領域内に入り、前記自車両の画像が前記トップビュー画像に納まる範囲内で、前記トップビュー予備画像の左右の辺と前記トップビュー画像の表示領域の左右の辺との間隔が最小となるように前記トップビュー予備画像の縮尺を変更することによって前記トップビュー画像を生成する第４のステップと、
前記第４のステップにて生成されたトップビュー画像を表示する第５のステップとを備えたトップビュー画像表示方法。 A first step of inputting an image of the periphery of the host vehicle captured by the image capturing unit and generating a composite image of the host vehicle viewed from an upper virtual viewpoint based on the image;
A second step of generating obstacle information indicating a distance and a direction from the own vehicle to the obstacle by detecting an obstacle around the own vehicle by an obstacle detecting unit;
Based on the obstacle information generated in the second step, the obstacles are located on both sides of the host vehicle and within a range that can be detected by the imaging unit or an obstacle that can be detected by the obstacle detection unit . A top-view preliminary image is generated by cutting out images in a range in which the obstacle images on the left side and the right side of the host vehicle are left and right sides, respectively , in the composite image . 3 steps,
The top-view spare image is generated within a range in which left and right sides of the top-view spare image generated in the third step fall within the display area of the top-view image and the image of the host vehicle falls within the top-view image. A fourth step of generating the top view image by changing the scale of the top view preliminary image so that the distance between the left and right sides of the image and the left and right sides of the display area of the top view image is minimized; ,
A top view image display method comprising: a fifth step of displaying the top view image generated in the fourth step .
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004142461A JP4526868B2 (en) | 2004-05-12 | 2004-05-12 | Top-view image generation apparatus and top-view image display method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004142461A JP4526868B2 (en) | 2004-05-12 | 2004-05-12 | Top-view image generation apparatus and top-view image display method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2005324593A JP2005324593A (en) | 2005-11-24 |
| JP4526868B2 true JP4526868B2 (en) | 2010-08-18 |
Family
ID=35471294
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2004142461A Expired - Fee Related JP4526868B2 (en) | 2004-05-12 | 2004-05-12 | Top-view image generation apparatus and top-view image display method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4526868B2 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101998113A (en) * | 2009-08-18 | 2011-03-30 | 东芝阿尔派·汽车技术有限公司 | Image display apparatus for vehicle |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4823938B2 (en) * | 2007-02-14 | 2011-11-24 | アルパイン株式会社 | Screen switching determination device, vehicle periphery monitoring device, and screen switching determination method |
| JP4980852B2 (en) * | 2007-11-01 | 2012-07-18 | アルパイン株式会社 | Vehicle surrounding image providing device |
| DE112010005661B4 (en) | 2010-06-15 | 2014-10-30 | Mitsubishi Electric Corporation | Vehicle environment monitoring device |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002019556A (en) * | 2000-07-04 | 2002-01-23 | Matsushita Electric Ind Co Ltd | Monitoring system |
| JP2003189293A (en) * | 2001-09-07 | 2003-07-04 | Matsushita Electric Ind Co Ltd | Device for displaying state of surroundings of vehicle and image-providing system |
| JP2003212041A (en) * | 2002-01-25 | 2003-07-30 | Toyota Central Res & Dev Lab Inc | Vehicle rear display device |
-
2004
- 2004-05-12 JP JP2004142461A patent/JP4526868B2/en not_active Expired - Fee Related
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002019556A (en) * | 2000-07-04 | 2002-01-23 | Matsushita Electric Ind Co Ltd | Monitoring system |
| JP2003189293A (en) * | 2001-09-07 | 2003-07-04 | Matsushita Electric Ind Co Ltd | Device for displaying state of surroundings of vehicle and image-providing system |
| JP2003212041A (en) * | 2002-01-25 | 2003-07-30 | Toyota Central Res & Dev Lab Inc | Vehicle rear display device |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101998113A (en) * | 2009-08-18 | 2011-03-30 | 东芝阿尔派·汽车技术有限公司 | Image display apparatus for vehicle |
| US8400329B2 (en) | 2009-08-18 | 2013-03-19 | Toshiba Alpine Automotive Technology Corporation | Image display apparatus for vehicle |
| CN101998113B (en) * | 2009-08-18 | 2013-06-19 | 东芝阿尔派·汽车技术有限公司 | Image display apparatus for vehicle |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2005324593A (en) | 2005-11-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5347257B2 (en) | Vehicle periphery monitoring device and video display method | |
| EP2763407B1 (en) | Vehicle surroundings monitoring device | |
| JP5922866B2 (en) | System and method for providing guidance information to a vehicle driver | |
| JP4863791B2 (en) | Vehicle peripheral image generation apparatus and image switching method | |
| JP4883977B2 (en) | Image display device for vehicle | |
| JP5523448B2 (en) | Driving support system, information display device, and information display program | |
| JP4961160B2 (en) | Vehicle surroundings confirmation device | |
| WO2016002163A1 (en) | Image display device and image display method | |
| US8553081B2 (en) | Apparatus and method for displaying an image of vehicle surroundings | |
| JP2009524171A (en) | How to combine multiple images into a bird's eye view image | |
| JP6425991B2 (en) | Towing vehicle surrounding image generating apparatus and method for generating towing vehicle surrounding image | |
| JP5213063B2 (en) | Vehicle display device and display method | |
| JP2000295604A (en) | Rear and side monitoring device for vehicle | |
| JP2005311868A (en) | Vehicle periphery visually recognizing apparatus | |
| US20130050490A1 (en) | Drive assisting apparatus | |
| JP4601505B2 (en) | Top-view image generation apparatus and top-view image display method | |
| JP2004240480A (en) | Operation support device | |
| JP2020068515A (en) | Image processing apparatus | |
| WO2015133072A1 (en) | Vehicle peripheral image display device and method for displaying vehicle peripheral image | |
| JP2006254318A (en) | Vehicle-mounted camera, vehicle-mounted monitor and forward road area imaging method | |
| WO2015122124A1 (en) | Vehicle periphery image display apparatus and vehicle periphery image display method | |
| JP2021013072A (en) | Image processing device and image processing method | |
| JP2015171106A (en) | Vehicle peripheral image display device and vehicle peripheral image display method | |
| JP6327115B2 (en) | Vehicle periphery image display device and vehicle periphery image display method | |
| JP5226621B2 (en) | Image display device for vehicle |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070227 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20091030 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20091110 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20091207 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100330 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100511 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100601 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100602 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130611 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4526868 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130611 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140611 Year of fee payment: 4 |
|
| LAPS | Cancellation because of no payment of annual fees |