JP6611918B2 - Parking assistance display control apparatus and parking assistance display control method - Google Patents
Parking assistance display control apparatus and parking assistance display control method Download PDFInfo
- Publication number
- JP6611918B2 JP6611918B2 JP2018511865A JP2018511865A JP6611918B2 JP 6611918 B2 JP6611918 B2 JP 6611918B2 JP 2018511865 A JP2018511865 A JP 2018511865A JP 2018511865 A JP2018511865 A JP 2018511865A JP 6611918 B2 JP6611918 B2 JP 6611918B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- vehicle
- parking space
- parking
- display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 51
- 239000002131 composite material Substances 0.000 claims description 89
- 230000002093 peripheral effect Effects 0.000 claims description 63
- 238000001514 detection method Methods 0.000 claims description 44
- 239000000203 mixture Substances 0.000 claims description 40
- 238000003384 imaging method Methods 0.000 claims description 11
- 238000010586 diagram Methods 0.000 description 57
- 238000012545 processing Methods 0.000 description 29
- 238000004891 communication Methods 0.000 description 23
- 230000015654 memory Effects 0.000 description 20
- 230000006870 function Effects 0.000 description 12
- 238000010295 mobile communication Methods 0.000 description 8
- 230000015572 biosynthetic process Effects 0.000 description 6
- 238000003786 synthesis reaction Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 4
- 239000007787 solid Substances 0.000 description 3
- 230000002194 synthesizing effect Effects 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 240000004050 Pentaglottis sempervirens Species 0.000 description 2
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000004575 stone Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/14—Traffic control systems for road vehicles indicating individual free spaces in parking areas
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Closed-Circuit Television Systems (AREA)
- Traffic Control Systems (AREA)
- Image Processing (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Description
本発明は、駐車支援用表示制御装置および駐車支援用表示制御方法に関する。 The present invention relates to a parking assistance display control device and a parking assistance display control method.
車両の駐車を支援するために、駐車可能なスペースを検出し、運転者に提示する技術が提案されている。たとえば、特許文献１，２に開示される技術では、車両に搭載される複数のカメラで撮影された画像から、車両の上方から見たような俯瞰画像が合成され、運転者に提示される。
In order to assist vehicle parking, a technique for detecting a space where parking is possible and presenting it to a driver has been proposed. For example, in the technologies disclosed in
駐車可能スペースを探すために車両が比較的低い速度で移動している場合、運転者は、運転席の位置から周辺を見る。前述の特許文献１，２に開示される技術では、駐車可能スペースは、俯瞰画像として運転者に提示されるので、運転者が現実に見た情景とは異なる。したがって、運転者が、提示された駐車可能スペースを即座に理解できない場合があるという問題がある。
When the vehicle is moving at a relatively low speed in order to find a parking space, the driver looks around from the position of the driver's seat. In the technologies disclosed in
以上のことから、より直感的に運転者に駐車可能スペースを提示することができる技術が求められる。 From the above, a technique that can more intuitively present a parking space to the driver is required.
本発明の目的は、運転者にとって直観的に理解が可能な表示形態で駐車可能なスペースを提示することができる駐車支援用表示制御装置および駐車支援用表示制御方法を提供することである。 An object of the present invention is to provide a parking assistance display control device and a parking assistance display control method capable of presenting a parking space in a display form that can be intuitively understood by a driver.
本発明の駐車支援用表示制御装置は、周辺検出装置によって検出される車両の周辺の状況に基づいて、車両の周辺に駐車可能な駐車可能スペースが有るか否かを判断する駐車可能スペース判断部と、周辺撮影装置によって車両の進行方向に沿って順に車両から側方へ向かって撮影される車両側方画像を表す画像情報を取得し、取得した画像情報に基づいて、車両側方画像を車両の進行方向に沿って繋ぎ合わせることによって、車両の運転者の視点もしくは運転者の視点を水平方向に移動した視点から見た車両の側方の画像である合成画像を生成する画像合成部と、駐車可能スペース判断部によって駐車可能スペースが有ると判断された場合、駐車可能スペースの位置を示す駐車スペース表示オブジェクトを、画像合成部によって生成された合成画像に重畳して、駐車スペース画像を生成する制御部と、制御部によって生成された駐車スペース画像を表示装置に出力する画像出力部とを備え、駐車スペース画像は、少なくとも一部分が、立体的に視認可能な立体視画像であることを特徴とする。 The display control device for parking assistance according to the present invention is a parking space determination unit that determines whether there is a parking space that can be parked around the vehicle based on the situation around the vehicle detected by the surrounding detection device. If, acquires image information representing the vehicle side images taken toward laterally from vehicles in order along the traveling direction of the vehicle by the peripheral imaging device, based on the acquired image information, vehicle side image by the splicing isosamples along the traveling direction of the vehicle, and generates a composite image is a lateral image of the vehicle viewed viewpoint of the driver's viewpoint or the driver of the vehicle from the viewpoint moves in the horizontal direction image synthesis And a parking space display object indicating a position of the parking space is determined by the image composition unit when the parking space determination unit determines that there is a parking space. A control unit that generates a parking space image superimposed on the image; and an image output unit that outputs the parking space image generated by the control unit to a display device. It is a stereoscopic image that can be visually recognized.
本発明の駐車支援用表示制御方法は、周辺撮影装置によって車両の進行方向に沿って順に車両から側方へ向かって撮影される車両側方画像を表す画像情報を取得し、取得した画像情報に基づいて、車両側方画像を車両の進行方向に沿って繋ぎ合わせることによって、車両の運転者の視点もしくは運転者の視点を水平方向に移動した視点から見た車両の側方の画像である合成画像を生成し、周辺検出装置によって検出される車両の周辺の状況に基づいて、車両の周辺に駐車可能な駐車可能スペースが有るか否かを判断し、駐車可能スペースが有ると判断された場合、駐車可能スペースの位置を示す駐車スペース表示オブジェクトを合成画像に重畳して、少なくとも一部分が立体的に視認可能な立体視画像である駐車スペース画像を生成し、生成された駐車スペース画像を、駐車スペース画像の立体視画像を立体的に表示可能な表示装置に出力することを特徴とする。 Parking assist display control method of the present invention acquires image information representing the vehicle side images taken toward laterally from vehicles in order along the traveling direction of the vehicle by the peripheral imaging device and obtaining images based on the information, by joining isosamples along the side of the vehicle image in the traveling direction of the vehicle, the side of the vehicle to the driver's viewpoint or driver's viewpoint from the viewpoint moved in the horizontal direction of the vehicle image to generate a composite image is based on the situation around the vehicle detected by the peripheral detection unit, it determines that it is determined whether the available parking available parking space around the vehicle is, the available parking space there If it is, a parking space display object indicating the position of the parking space is superimposed on the composite image to generate a parking space image that is a stereoscopic image that is at least partially visible in three dimensions. A parking space image, a stereoscopic image of the parking space image and outputting the stereoscopic displayable display device.
本発明の駐車支援用表示制御装置によれば、周辺検出装置によって検出される車両の周辺の状況に基づいて、車両の周辺に駐車可能スペースが有るか否かが、駐車可能スペース判断部によって判断される。周辺撮影装置によって車両の進行方向に沿って順に撮影される車両側方画像を表す画像情報が画像合成部によって取得され、取得された画像情報に基づいて、車両側方画像を車両の進行方向に沿って繋ぎ合わせた合成画像が生成される。駐車可能スペース判断部によって駐車可能スペースが有ると判断された場合、制御部によって、駐車スペース表示オブジェクトが、画像合成部によって生成された合成画像に重畳されて、少なくとも一部分が立体視画像である駐車スペース画像が生成される。制御部によって生成された駐車スペース画像が、画像出力部によって表示装置に出力される。これによって、運転者にとって直観的に理解が可能な表示形態で駐車可能なスペースを提示することができる。 According to the parking assistance display control device of the present invention, the parking space determination unit determines whether there is a parking space around the vehicle based on the situation around the vehicle detected by the periphery detection device. Is done. Image information representing vehicle side images that are sequentially photographed along the traveling direction of the vehicle by the peripheral photographing device is acquired by the image composition unit, and based on the acquired image information, the vehicle side image is set in the traveling direction of the vehicle. A composite image joined together is generated. When the parking space determination unit determines that there is a parking space, the control unit superimposes the parking space display object on the synthesized image generated by the image synthesis unit, and at least a part of the parking image is a stereoscopic image. A space image is generated. The parking space image generated by the control unit is output to the display device by the image output unit. Accordingly, it is possible to present a parking space in a display form that can be intuitively understood by the driver.
本発明の駐車支援用表示制御方法によれば、周辺撮影装置によって車両の進行方向に沿って順に撮影される車両側方画像を表す画像情報が取得され、取得された画像情報に基づいて、車両側方画像を車両の進行方向に沿って繋ぎ合わせた合成画像が生成される。周辺検出装置によって検出される車両の周辺の状況に基づいて、車両の周辺に駐車可能スペースが有るか否かが判断される。駐車可能スペースが有ると判断された場合、駐車スペース表示オブジェクトが合成画像に重畳されて、少なくとも一部分が立体視画像である駐車スペース画像が生成される。生成された駐車スペース画像が表示装置に出力される。これによって、運転者にとって直観的に理解が可能な表示形態で駐車可能なスペースを提示することができる。 According to the parking assist display control method of the present invention, image information representing vehicle side images that are sequentially photographed along the traveling direction of the vehicle by the peripheral photographing device is acquired, and the vehicle is based on the acquired image information. A composite image is generated by joining the side images along the traveling direction of the vehicle. It is determined whether there is a parking space around the vehicle based on the situation around the vehicle detected by the periphery detection device. When it is determined that there is a parking space, the parking space display object is superimposed on the composite image, and a parking space image, at least a part of which is a stereoscopic image, is generated. The generated parking space image is output to the display device. Accordingly, it is possible to present a parking space in a display form that can be intuitively understood by the driver.
本発明の目的、特徴、態様、および利点は、以下の詳細な説明と添付図面とによって、より明白となる。 Objects, features, aspects, and advantages of the present invention will become more apparent from the following detailed description and the accompanying drawings.
＜第１の実施の形態＞
図１は、本発明の第１の実施の形態における駐車支援装置１００の構成を示すブロック図である。駐車支援装置１００は、駐車支援用表示制御装置１、周辺撮影装置２、周辺検出装置３および表示装置４を備えて構成される。駐車支援用表示制御装置１は、画像合成部１１、駐車可能スペース判断部１２、制御部１３および画像出力部１４を備える。<First Embodiment>
FIG. 1 is a block diagram showing a configuration of a
駐車支援用表示制御装置１は、車両に搭載されて使用される。周辺撮影装置２、周辺検出装置３および表示装置４は、駐車支援用表示制御装置１を搭載する車両（以下「自車両」という場合がある）に設けられる。本発明の他の実施の形態である駐車支援用表示制御方法は、本実施の形態の駐車支援用表示制御装置１によって実行される。
The parking assistance
周辺撮影装置２は、カメラによって構成される。本実施の形態では、周辺撮影装置２は、自車両の進行方向の右側方、左側方および後方に設けられる。周辺撮影装置２は、自車両の周辺の画像、具体的には、自車両の進行方向の右側方、左側方および後方の画像を撮影する。以下の説明では、自車両の進行方向の右側方の画像を「右側方画像」といい、自車両の進行方向の左側方の画像を「左側方画像」といい、自車両の進行方向の後方の画像を「後方画像」という場合がある。
The peripheral photographing
周辺撮影装置２は、自車両の進行方向に沿って順に、自車両の側方の画像（以下「車両側方画像」という場合がある）を撮影する。周辺撮影装置２は、駐車支援用表示制御装置１の画像合成部１１に接続されている。周辺撮影装置２によって撮影された画像を表す画像情報は、画像合成部１１に与えられる。
The peripheral photographing
画像合成部１１は、周辺撮影装置２から、車両側方画像などを表す画像情報を取得する。画像合成部１１は、取得した画像情報に基づいて、車両側方画像を車両の進行方向に沿って繋ぎ合せた合成画像を生成する。
The
周辺検出装置３は、自車両の周辺の状況を検出する。具体的には、周辺検出装置３は、自車両の周辺に存在する物体を検出するとともに、自車両と物体との相対位置を検出する。自車両の周辺に存在する物体は、たとえば他の車両および地物である。周辺検出装置３は、たとえば、超音波センサ、画像処理センサ、ミリ波レーダおよびレーザレーダのうちの少なくとも１つによって構成される。画像処理センサは、カメラであってもよい。
The surrounding
周辺検出装置３は、駐車支援用表示制御装置１の駐車可能スペース判断部１２に接続されている。周辺検出装置３は、検出した自車両の周辺の状況を表す検出情報を生成する。たとえば、周辺検出装置３は、検出した物体、および自車両と物体との相対位置を表す検出情報を生成する。周辺検出装置３は、生成した検出情報を駐車可能スペース判断部１２に与える。
The
駐車可能スペース判断部１２は、周辺検出装置３によって検出される自車両の周辺の状況、具体的には周辺検出装置３から与えられる検出情報に基づいて、自車両の周辺に駐車可能なスペースである駐車可能スペースが有るか否かを判断する。本実施の形態では、駐車可能スペース判断部１２は、駐車可能スペースとして、駐車可能な区画が有るか否かを判断する。
The parking
制御部１３は、駐車可能スペース判断部１２によって駐車可能スペースが有ると判断された場合、駐車可能スペースの位置を示す駐車スペース表示オブジェクトを生成する。制御部１３は、生成した駐車スペース表示オブジェクトを、画像合成部１１によって生成された合成画像に重畳して、駐車スペース画像を生成する。本実施の形態では、駐車スペース画像は、少なくとも一部分が、立体的に視認可能な立体視画像である。
When it is determined by the parking
画像出力部１４は、制御部１３によって生成された駐車スペース画像、具体的には駐車スペース画像を表す画像情報を表示装置４に出力する。
The
表示装置４は、たとえば液晶ディスプレイ、ヘッドアップディスプレイなどによって構成される。表示装置４は、画像出力部１４から与えられる画像情報が表す画像を表示画面に表示する。これによって、駐車支援用表示制御装置１の使用者、たとえば自車両の運転者に、各種の情報、たとえば駐車可能スペースを提示することができる。
The
本実施の形態では、表示装置４は、駐車スペース画像の立体視画像を立体的に表示可能に構成される。これによって、駐車支援用表示制御装置１の使用者、たとえば自車両の運転者に、立体視画像が立体的に視認可能な状態で駐車スペース画像を提示することができる。
In this Embodiment, the
以上のように本実施の形態によれば、周辺検出装置３によって検出される自車両の周辺の状況に基づいて、自車両の周辺に駐車可能スペースが有るか否かが、駐車可能スペース判断部１２によって判断される。周辺撮影装置２によって自車両の進行方向に沿って順に撮影される車両側方画像を表す画像情報が画像合成部１１によって取得され、取得された画像情報に基づいて、車両側方画像を自車両の進行方向に沿って繋ぎ合わせた合成画像が生成される。
As described above, according to the present embodiment, based on the situation around the own vehicle detected by the surrounding
駐車可能スペース判断部１２によって駐車可能スペースが有ると判断された場合、制御部１３によって、駐車スペース表示オブジェクトが、画像合成部１１によって生成された合成画像に重畳されて、駐車スペース画像が生成される。制御部１３によって生成された駐車スペース画像が、画像出力部１４によって表示装置４に出力される。駐車スペース画像は、少なくとも一部分が、立体的に視認可能な立体視画像である。これによって、運転者にとって直観的に理解が可能な表示形態で駐車可能なスペースを提示することができる。
When it is determined by the parking
以上に述べた本実施の形態では、周辺撮影装置２と周辺検出装置３とが別個に設けられているが、周辺撮影装置２が周辺検出装置３を兼ねていてもよい。
In the present embodiment described above, the peripheral photographing
＜第２の実施の形態＞
図２は、本発明の第２の実施の形態における駐車支援装置２００の構成を示すブロック図である。駐車支援装置２００は、駐車支援用表示制御装置１０、周辺撮影装置２、周辺検出装置３、表示装置４、車内ＬＡＮ（Local Area Network）５および操作入力装置６を備えて構成される。駐車支援用表示制御装置１０は、画像合成部１１、駐車可能スペース判断部１２、制御部１３、画像出力部１４および車内ＬＡＮインタフェース１５を備える。<Second Embodiment>
FIG. 2 is a block diagram showing the configuration of the
駐車支援用表示制御装置１０は、車両に搭載されて使用される。周辺撮影装置２、周辺検出装置３、表示装置４、車内ＬＡＮ５および操作入力装置６は、駐車支援用表示制御装置１０を搭載する自車両に設けられる。
The parking assistance
本実施の形態の駐車支援装置２００は、前述の図１に示す第１の実施の形態の駐車支援装置１００と同一の構成を含んでいるので、同一の構成については同一の参照符号を付して、共通する説明を省略する。本発明の他の実施の形態である駐車支援用表示制御方法は、本実施の形態の駐車支援用表示制御装置１０によって実行される。
Since parking assist
車内ＬＡＮ５は、たとえばＣＡＮ（Controller Area Network）によって構成される。車内ＬＡＮ５は、駐車支援用表示制御装置１０の車内ＬＡＮインタフェース１５に接続されている。車内ＬＡＮ５は、自車両に関する種々の車両情報を車内ＬＡＮインタフェース１５に与える。
The in-
車両情報は、たとえば、自車両に設けられた種々のセンサによって検出したセンサ情報、自車両に設けられた表示灯および警告灯などの車両機器に関する情報、車両機器の状態を示す情報、車両の走行速度を表す車速情報、操舵角度を表す情報、ブレーキの状態を示す情報、ならびにシフトレバーの状態を示す情報などである。表示灯は、たとえばウインカーであり、車両機器に関する情報は、たとえばウインカーに関するウインカー情報である。 The vehicle information includes, for example, sensor information detected by various sensors provided on the host vehicle, information on vehicle equipment such as indicator lights and warning lights provided on the host vehicle, information indicating the state of the vehicle equipment, traveling of the vehicle Vehicle speed information indicating speed, information indicating steering angle, information indicating the state of the brake, information indicating the state of the shift lever, and the like. The indicator lamp is, for example, a blinker, and the information on the vehicle device is, for example, blinker information on the blinker.
車内ＬＡＮインタフェース１５は、車内ＬＡＮ５から与えられた車両情報を画像合成部１１、駐車可能スペース判断部１２および制御部１３に与える。制御部１３は、車内ＬＡＮ５から与えられた車両情報から、車両の移動の奇跡を表す車両移動軌跡情報を求める。制御部１３によって求められる車両移動軌跡情報は、駐車支援用表示制御装置１０の各部で利用される。
The in-
操作入力装置６は、使用者によって操作される不図示の操作入力部を備える。操作入力部は、たとえば、操作スイッチおよび操作ボタンを含む。操作入力装置６は、使用者が、数字情報、文字情報および駐車支援用表示制御装置１０への指示情報などの各種の情報を入力するときに用いられる。使用者によって操作入力部が操作されると、操作入力装置６は、使用者の入力操作に応じた操作情報を生成して、制御部１３に与える。操作入力装置６は、使用者が何も操作していないときには、使用者が何も操作していないことを表す情報を含む操作情報を生成する。
The
操作入力装置６の操作入力部は、操作スイッチおよび操作ボタンの代わりに、タッチパネル、または音声による操作入力が可能な音声入力装置によって構成されてもよい。
The operation input unit of the
操作入力装置６の操作入力部がタッチパネルで構成される場合、タッチパネルは、表示装置４の表示画面上に設置され、使用者のタッチ操作とタッチ位置とを検出する。タッチパネルは、検出したタッチ操作とタッチ位置とに応じた操作情報を生成して、制御部１３に与える。
When the operation input unit of the
操作入力装置６の操作入力部が音声入力装置で構成される場合、音声入力装置は、入力された音声を認識する。音声入力装置は、認識した音声に応じた操作情報を生成して、制御部１３に与える。
When the operation input unit of the
制御部１３は、画像重畳部として機能する。制御部１３が画像重畳部として機能する場合、前述の第１の実施の形態における制御部１３と同様の機能を有する。具体的には、制御部１３は、駐車可能スペース判断部１２によって駐車可能スペースが有ると判断された場合、駐車可能スペースの位置を示す駐車スペース表示オブジェクトを生成し、生成した駐車スペース表示オブジェクトを、画像合成部１１によって生成された合成画像に重畳して、駐車スペース画像を生成する。
The
また制御部１３は、操作入力装置６から与えられる操作情報に基づいて、駐車支援用表示制御装置１０の全体を制御する。
The
図３は、本発明の第２の実施の形態における駐車支援用表示制御装置１０のハードウェア構成を示すブロック図である。駐車支援用表示制御装置１０における画像合成部１１、駐車可能スペース判断部１２、制御部１３および画像出力部１４は、処理回路によって実現される。すなわち、駐車支援用表示制御装置１０は、駐車可能スペース判断部１２が、周辺検出装置３によって検出される車両の周辺の状況に基づいて、車両の周辺に駐車可能な駐車可能スペースが有るか否かを判断し、画像合成部１１が、周辺撮影装置２によって車両の進行方向に沿って順に撮影される車両の側方の車両側方画像を表す画像情報を取得し、取得した画像情報に基づいて、車両側方画像を車両の進行方向に沿って繋ぎ合わせた合成画像を生成し、制御部１３が、駐車可能スペース判断部１２によって駐車可能スペースが有ると判断された場合、駐車可能スペースの位置を示す駐車スペース表示オブジェクトを、画像合成部１１によって生成された合成画像に重畳して、駐車スペース画像を生成し、画像出力部１４が、制御部１３によって生成された駐車スペース画像を表示装置に出力するための処理回路を備える。
FIG. 3 is a block diagram showing a hardware configuration of the parking assistance
処理回路には、専用のハードウェアが適用されてもよいし、メモリ１０２に記憶されるプログラムを実行するプロセッサ（Central Processing Unit、Graphics Processing Unit、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、ＤＳＰ（Digital Signal Processor）ともいう）１０１が適用されてもよい。 Dedicated hardware may be applied to the processing circuit, or a processor (Central Processing Unit, Graphics Processing Unit, processing device, arithmetic device, microprocessor, microcomputer, DSP that executes a program stored in the memory 102 (Also referred to as “Digital Signal Processor”) 101 may be applied.
処理回路が専用のハードウェアである場合、処理回路は、たとえば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field Programmable Gate Array）、またはこれらを組み合わせたものが該当する。画像合成部１１、駐車可能スペース判断部１２、制御部１３および画像出力部１４の各部の機能は、それぞれ、複数の処理回路で実現されてもよいし、各部の機能をまとめて一つの処理回路で実現されてもよい。
When the processing circuit is dedicated hardware, the processing circuit is, for example, a single circuit, a composite circuit, a programmed processor, a parallel programmed processor, an ASIC (Application Specific Integrated Circuit), or an FPGA (Field Programmable Gate Array). Or a combination of these. The functions of the
処理回路がプロセッサを用いて構成されている場合、駐車支援用表示制御装置１０における画像合成部１１、駐車可能スペース判断部１２、制御部１３および画像出力部１４の各機能は、ソフトウェア、ファームウェア、またはソフトウェアとファームウェアとの組み合わせによって実現される。ソフトウェアおよびファームウェアはプログラムとして記述され、メモリ１０２に記憶される。
When the processing circuit is configured using a processor, each function of the
処理回路は、メモリ１０２に記憶されたプログラムを読み出して実行することによって、各部の機能を実現する。すなわち、駐車支援用表示制御装置１０は、処理回路によって実行されるときに、周辺撮影装置２によって車両の進行方向に沿って順に撮影される車両の側方の車両側方画像を表す画像情報を取得し、取得した画像情報に基づいて、車両側方画像を車両の進行方向に沿って繋ぎ合わせた合成画像を生成するステップと、周辺検出装置３によって検出される車両の周辺の状況に基づいて、車両の周辺に駐車可能な駐車可能スペースが有るか否かを判断するステップと、駐車可能スペースが有ると判断された場合、駐車可能スペースの位置を示す駐車スペース表示オブジェクトを合成画像に重畳して駐車スペース画像を生成するステップと、生成された駐車スペース画像を表示装置４に出力するステップとが結果的に実行されることになるプログラムを記憶するためのメモリ１０２を備える。
The processing circuit implements the functions of the respective units by reading and executing the program stored in the
また、これらのプログラムは、画像合成部１１、駐車可能スペース判断部１２、制御部１３および画像出力部１４が行う処理の手順および方法をコンピュータに実行させるものであるともいえる。
In addition, it can be said that these programs cause the computer to execute procedures and methods of processing performed by the
ここで、メモリ１０２は、たとえば、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリ、ＥＰＲＯＭ（Erasable Programmable Read Only Memory）、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）などの、不揮発性または揮発性の半導体メモリ、ならびに磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、およびＤＶＤ（Digital Versatile Disc）などが該当する。
Here, the
以上のように、本実施の形態では、画像合成部１１、駐車可能スペース判断部１２、制御部１３および画像出力部１４の各機能は、ハードウェアおよびソフトウェアなどのいずれか一方で実現される構成である。しかし、これらの構成に限られるものではなく、画像合成部１１、駐車可能スペース判断部１２、制御部１３および画像出力部１４の一部を専用のハードウェアで実現し、別の一部をソフトウェアなどで実現する構成であってもよい。たとえば、制御部１３については専用のハードウェアとしての処理回路でその機能を実現し、それ以外についてはプロセッサとしての処理回路がメモリ１０２に記憶されたプログラムを読み出して実行することによってその機能を実現することが可能である。
As described above, in the present embodiment, each function of the
以上のように、処理回路は、ハードウェア、ソフトウェアなど、またはこれらの組み合わせによって、前述の各機能を実現することができる。 As described above, the processing circuit can realize the aforementioned functions by hardware, software, or the like, or a combination thereof.
図４〜図１２は、立体視画像を含む駐車スペース画像を形成する方法を説明するための図である。本実施の形態では、駐車支援用表示制御装置１０は、一旦、２次元画像を合成した後、合成した２次元画像を、それぞれの駐車車両画像に分割し、それぞれの画像が駐車車両位置に対応した奥行きのある立体視画像となるように、駐車スペース画像を生成する。具体的には、以下のようにして駐車スペース画像が生成される。
4-12 is a figure for demonstrating the method of forming the parking space image containing a stereoscopic vision image. In the present embodiment, the parking assistance
図４は、周辺撮影装置２の単眼カメラ２１によって車両側方画像を撮影する様子を模式的に示す図である。周辺撮影装置２は、単眼カメラ２１を含んで構成される。図４では、単眼カメラ２１が、車両の進行方向に向かって左側の側面（以下「左側面」という場合がある）に設けられる場合を示す。以下の説明では、車両の左側面に設けられる単眼カメラ２１を、「左側単眼カメラ２１」という場合がある。
FIG. 4 is a diagram schematically illustrating a state in which a vehicle side image is captured by the
本実施の形態では、画像合成部１１は、周辺撮影装置２の単眼カメラ２１によって、予め定める距離Ｄ１だけ離れた２つの位置で撮影された２枚の画像Ｐｉｃ（ｔ）、Ｐｉｃ（ｔ＋Δｔ）を用いて、立体視画像を作成する。
In the present embodiment, the
ここで、撮影対象は移動していないものとし、撮影が行われる２つの位置間の距離Ｄ１は、両位置での撮影時刻の差Δｔが１秒以内程度となる比較的短いものとする。 Here, it is assumed that the subject to be photographed has not moved, and the distance D1 between the two positions where photographing is performed is relatively short so that the difference Δt in photographing time at both positions is within about one second.
たとえば、単眼カメラ２１が車両の左側面に設けられる場合、単眼カメラ２１は、時刻ｔにおいて、第１の位置で第１の画像Ｐｉｃ（ｔ）を撮影する。単眼カメラ２１は、時刻ｔからΔｔ後の時刻ｔ＋Δｔにおいて、第１の位置から距離Ｄ１離れた第２の位置で第２の画像Ｐｉｃ（ｔ＋Δｔ）を撮影する。
For example, when the
図５は、左側方画像を撮影する様子を模式的に示す図である。図５に示すように、自車両３１は、駐車可能なスペースである駐車可能スペースのサーチを開始した時点の自車両３１の位置（以下「駐車スペースサーチ開始位置」という場合がある）Ｔｓから、駐車可能スペースを提示する時点の自車両３１の位置（以下「駐車可能スペース提示位置」という場合がある）Ｔｅに向かって、進行方向３２に沿って進行する。この自車両３１が進行する間に、前述の図２に示す周辺撮影装置２は、前述の図４に示す単眼カメラ２１によって、自車両３１の側方の画像である車両側方画像、たとえば左側方画像Ｐ１，Ｐ２，…，Ｐｎ（ｎは自然数）を断続的または連続的に撮影する。単眼カメラ２１は、たとえば自車両３１の左側面に設けられる。周辺撮影装置２は、自車両３１の進行方向３２に向かって右側の右側面に設けられる単眼カメラ２２を備えていてもよい。
FIG. 5 is a diagram schematically illustrating a state in which a left side image is captured. As shown in FIG. 5, the
周辺撮影装置２は、単眼カメラ２１，２２によって撮影された車両側方画像から、自車両３１と、自車両３１の側方の物体、たとえば駐車車両Ｌ１，Ｌ３，Ｌ４との距離Ｙｌｎを求め、記録する。図５（ａ）において、横軸は、自車両３１からの距離Ｘを示し、縦軸は、自車両３１の左側方の奥行Ｙｌを示す。横軸の方向は、たとえば表示装置４の表示画面の横方向Ｘに相当する。自車両３１からの距離Ｘは、具体的には、自車両３１の進行方向３２における駐車可能スペース提示位置Ｔｅからの距離である。
The peripheral photographing
たとえば、周辺撮影装置２は、自車両３１の左側方に３台の駐車車両、すなわち第１の駐車車両Ｌ１、第３の駐車車両Ｌ３および第４の駐車車両Ｌ４が存在する場合、自車両３１と第１の駐車車両Ｌ１との距離Ｙｌ１、自車両３１と第３の駐車車両Ｌ３との距離Ｙｌ３、および自車両３１と第４の駐車車両Ｌ４との距離Ｙｌ４を求め、記録する。
For example, when there are three parked vehicles on the left side of the
周辺撮影装置２は、撮影した車両側方画像、たとえば左側方画像Ｐ１，Ｐ２，…，Ｐｎを表す画像情報を生成する。周辺撮影装置２は、生成した画像情報とともに、記録した自車両３１と自車両３１の側方の物体との距離、たとえば自車両３１と駐車車両Ｌ１，Ｌ３，Ｌ４との距離Ｙｌ１，Ｙｌ３，Ｙｌ４を駐車支援用表示制御装置１０の画像合成部１１に与える。
The peripheral photographing
自車両３１と自車両３１の側方の物体との距離は、周辺検出装置３によって求められてもよい。この場合、周辺検出装置３は、たとえば、超音波センサによって、自車両３と自車両３１の側方の物体との距離を求める。自車両３１と自車両３１の側方の物体との距離は、具体的には、自車両３１が駐車可能スペースを探す駐車スペースサーチのときに走行してきた軌跡を表す走行軌跡と、自車両３１の側方の物体との最短距離である。たとえば自車両３１の側方の物体が駐車車両Ｌ１，Ｌ３，Ｌ４である場合、自車両３１と各駐車車両Ｌ１，Ｌ３，Ｌ４との距離Ｙｌ１，Ｙｌ３，Ｙｌ４は、自車両３１の駐車スペースサーチのときの走行軌跡と、各駐車車両Ｌ１，Ｌ３，Ｌ４の自車両３１側の先端との距離である。
The distance between the
図６は、合成画像４０の一例を示す図である。画像合成部１１は、周辺撮影装置２から与えられた画像情報に基づいて、車両側方画像を自車両３１の進行方向３２に沿って繋ぎ合わせた合成画像４０を生成する。画像合成部１１は、生成した合成画像４０を制御部１３に与える。図６において、横軸は自車両３１からの距離Ｘを示し、縦軸は高さＺを示す。高さＺは、具体的には、自車両３１が走行する路面からの高さである。
FIG. 6 is a diagram illustrating an example of the
図７は、車両単位画像の一例を示す図である。制御部１３は、画像合成部１１から与えられた合成画像４０から、画像処理によって、駐車車両単位の画像（以下「車両単位画像」という場合がある）を切り取る。図７に示す例では、制御部１３は、合成画像４０を、ａ１，ａ３，ａ４，ｂ１〜ｂ４の７枚の画像（以下「分割画像」という場合がある）に分割し、第１〜第３の駐車車両Ｌ１，Ｌ３，Ｌ４をそれぞれ含む、３つの車両単位画像ａ１，ａ３，ａ４を切り取る。
FIG. 7 is a diagram illustrating an example of a vehicle unit image. The
制御部１３は、周辺検出装置３による距離測定結果を用いて、各駐車車両Ｌ１，Ｌ３，Ｌ４の位置を推定して、車両単位画像ａ１，ａ３，ａ４を切り取ってもよい。
The
図８は、左目用描画プレーン４１の一例を示す図であり、図９は、右目用描画プレーン４２の一例を示す図である。制御部１３は、立体視画像を作成するための描画プレーンとして、図８に示す左目用描画プレーン４１と、図９に示す右目用描画プレーン４２とを設ける。
FIG. 8 is a diagram illustrating an example of the left-
図１０は、分割画像の描画プレーンへの貼り付け方法を説明するための図である。図１０（ａ）は、車両単位画像ａ１，ａ３，ａ４を含む分割画像ａ１，ａ３，ａ４，ｂ１〜ｂ４の一例を示す図である。図１０（ｂ）は、左目用描画プレーン４１に分割画像ａ１，ａ３，ａ４，ｂ１〜ｂ４を貼り付けた状態の一例を示す図である。図１０（ｃ）は、右目用描画プレーン４２に分割画像ａ１，ａ３，ａ４，ｂ１〜ｂ４を貼り付けた状態の一例を示す図である。
FIG. 10 is a diagram for explaining a method for pasting a divided image onto a drawing plane. FIG. 10A is a diagram illustrating an example of divided images a1, a3, a4, b1 to b4 including vehicle unit images a1, a3, and a4. FIG. 10B is a diagram illustrating an example of a state in which the divided images a1, a3, a4, b1 to b4 are pasted on the left-
制御部１３は、図６に示す駐車可能スペースＳＬの位置を表す駐車スペース表示オブジェクト５１を生成し、生成した駐車スペース表示オブジェクト５１を、合成画像４０の対応する分割画像ｂ２に重畳する。駐車スペース表示オブジェクト５１は、たとえば図１０に示すマークである。
The
制御部１３は、駐車車両Ｌ１，Ｌ３，Ｌ４の距離に対応した奥行き位置であるＹ軸の位置に、それぞれの駐車車両Ｌ１，Ｌ３，Ｌ４が表示されるように両眼視差を計算して、分割画像ａ１，ａ３，ａ４，ｂ１〜ｂ４を左右の描画プレーン４１，４２のどの位置に貼り付けるかを計算する。
The
駐車車両Ｌ１，Ｌ３，Ｌ４の奥行が大きいほど、両眼視差が小さいので、左目用描画プレーン４１における車両単位画像ａ１，ａ３，ａ４の貼り付け位置と、右目用描画プレーン４２における車両単位画像ａ１，ａ３，ａ４の貼り付け位置との差異は小さくなる。
Since the binocular parallax is smaller as the depth of the parked vehicles L1, L3, and L4 is larger, the pasting positions of the vehicle unit images a1, a3, and a4 on the left-
換言すれば、駐車車両Ｌ１，Ｌ３，Ｌ４の奥行が小さいほど、両眼視差が大きいので、左目用描画プレーン４１における車両単位画像ａ１，ａ３，ａ４の貼り付け位置と、右目用描画プレーン４２における車両単位画像ａ１，ａ３，ａ４の貼り付け位置との差異は大きくなる。
In other words, the binocular parallax increases as the depths of the parked vehicles L1, L3, and L4 are smaller. Therefore, the attachment positions of the vehicle unit images a1, a3, and a4 on the left-
制御部１３は、各描画プレーン４１，４２の計算した位置に分割画像ａ１，ａ３，ａ４，ｂ１〜ｂ４を貼り付ける。以下の説明では、左目用描画プレーン４１に貼り付けられる左目用分割画像ａ１，ａ３，ａ４，ｂ１〜ｂ４を、参照符号ａ１−ｌ，ａ３−ｌ，ａ４−ｌ，ｂ１−ｌ〜ｂ４−ｌで表す。また右目用描画プレーン４２に貼り付けられる右目用分割画像ａ１，ａ３，ａ４，ｂ１〜ｂ４を、参照符号ａ１−ｒ，ａ３−ｒ，ａ４−ｒ，ｂ１−ｒ〜ｂ４−ｒで表す。
The
ここで、第ｎの車両単位画像をａｎ（ｎは自然数）とすると、第ｎの左目用車両単位画像ａｎ−ｌの位置と、第ｎの右目用車両単位画像ａｎ−ｒの位置とは、両眼視差を考慮したため、両描画プレーン４１，４２の同一位置とは限らない。したがって、制御部１３は、画像間の欠損が起きないように、背景側の画面を拡大または縮小することによって補間を行う。
Here, when the n-th vehicle unit image is an (n is a natural number), the position of the n-th left-eye vehicle unit image an-l and the position of the n-th right-eye vehicle unit image an-r are: Since binocular parallax is taken into account, the drawing positions 41 and 42 are not necessarily at the same position. Therefore, the
このようにして、左目用描画プレーン４１に左目用分割画像ａ１−ｌ，ａ３−ｌ，ａ４−ｌ，ｂ１−ｌ〜ｂ４−ｌが貼り付けられた左目用画像４３Ｌと、右目用描画プレーン４２に右目用分割画像ａ１−ｒ，ａ３−ｒ，ａ４−ｒ，ｂ１−ｒ〜ｂ４−ｒが貼り付けられた右目用画像４３Ｒとが生成される。
In this way, the left-
図１１は、立体視画像の奥行の一例を示す図である。図１２は、立体視画像を含む駐車スペース画像の一例を示す図である。図１３は、立体視画像の奥行と駐車スペース画像における各立体視画像の位置との関係を示す図である。 FIG. 11 is a diagram illustrating an example of the depth of a stereoscopic image. FIG. 12 is a diagram illustrating an example of a parking space image including a stereoscopic image. FIG. 13 is a diagram illustrating a relationship between the depth of the stereoscopic image and the position of each stereoscopic image in the parking space image.
前述のようにして制御部１３によって生成された図１０に示す左目用画像４３Ｌおよび右目用画像４３Ｒは、画像出力部１４に与えられ、画像出力部１４から表示装置４に出力される。これによって、図１２に示すように、表示装置４の表示画面４４に、奥行きのある立体視画像Ｌ１，Ｌ３，Ｌ４，５１を含む駐車スペース画像４５が表示され、自車両３１の運転者によって観測される。
The left-
駐車スペース画像４５に含まれる各立体視画像Ｌ１，Ｌ３，Ｌ４，５１の奥行表示位置は、図１１および図１３に示すような位置関係になる。図１１では、各分割画像ａ１，ａ３，ａ４，ｂ１〜ｂ４の奥行表示位置を、対応する参照符号ａ１，ａ３，ａ４，ｂ１〜ｂ４で示す。
The depth display positions of the stereoscopic images L1, L3, L4, and 51 included in the
図１４および図１５は、本発明の第２の実施の形態の駐車支援用表示制御装置１０における表示制御処理に関する処理手順を示すフローチャートである。本実施の形態では、図１４および図１５に示す処理手順に従って、前述の図１３に示す駐車スペース画像４５を表示装置４に表示させる表示制御処理が行われる。
FIG. 14 and FIG. 15 are flowcharts showing a processing procedure related to the display control process in the parking assistance
図１４および図１５に示すフローチャートの各処理は、駐車支援用表示制御装置１０の画像合成部１１、駐車可能スペース判断部１２、制御部１３、画像出力部１４および車内ＬＡＮインタフェース１５によって実行される。図１４および図１５に示すフローチャートの処理は、駐車支援用表示制御装置１０の電源が投入されると開始され、図１４のステップＳ１に移行する。
14 and 15 are executed by the
ステップＳ１において、車内ＬＡＮインタフェース１５は、車内ＬＡＮ５から車両情報を取得する。車両情報を取得すると、ステップＳ２に移行する。
In step S <b> 1, the in-
ステップＳ２において、制御部１３は、操作入力装置６から操作情報を取得する。操作情報を取得すると、ステップＳ３に移行する。
In step S <b> 2, the
ステップＳ３において、制御部１３は、駐車スペースサーチ開始条件を満たすか否かを判断する。ここで、駐車スペースサーチ開始条件は、自車両３１の速度（以下「車速」という場合がある）が予め定める速度未満になること、たとえば１０ｋｍ／ｈ未満になること、または使用者からの駐車スペース検出命令が入力されることである。駐車スペースサーチ開始条件を満たすと判断された場合は、ステップＳ４に移行し、駐車スペースサーチ開始条件を満たさないと判断された場合は、ステップＳ１に戻る。
In step S3, the
ステップＳ４において、画像合成部１１は、周辺撮影装置２から画像情報を取得する。本実施の形態では、画像合成部１１は、前述の車両側方画像、たとえば前述の図５（ｂ）に示す左側方画像Ｐ１，Ｐ２，…，Ｐｎを表す画像情報を取得する。画像情報を取得すると、ステップＳ５に移行する。
In step S <b> 4, the
ステップＳ５において、駐車可能スペース判断部１２は、周辺検出装置３から車両周辺情報を取得する。車両周辺情報は、たとえば自車両と、他の車両もしくは地物などの障害物との相対位置または距離である。車両周辺情報を取得すると、ステップＳ６に移行する。
In step S <b> 5, the parking
ステップＳ６において、駐車可能スペース判断部１２は、駐車可能スペース検出処理を行う。駐車可能スペース検出処理では、駐車可能スペース判断部１２は、ステップＳ５で取得した車両周辺情報を用いて、駐車可能スペースの有無を判断する。
In step S6, the parking
本実施の形態では、駐車可能スペース判断部１２は、駐車可能スペース検出処理において、駐車可能スペースを求め、その位置に自車両が駐車するための経路が存在する場合に、駐車可能であると判断する。
In the present embodiment, the parking
このとき、駐車可能スペース判断部１２は、車内ＬＡＮインタフェース１５から与えられる車両情報から自車両の走行経路を求め、周辺撮影装置２で撮影された画像、および周辺検出装置３で検出された検出情報の、時間属性および位置属性とする。駐車可能スペース判断部１２は、これらを用いて、求めた駐車可能スペースの位置に自車両が駐車するための経路が存在するか否かを判断する。駐車可能スペース検出処理が終了した後は、ステップＳ７に移行する。
At this time, the parking
ステップＳ７において、制御部１３は、操作入力装置６から操作情報を取得する。操作情報を取得すると、ステップＳ８に移行する。
In step S <b> 7, the
ステップＳ８において、車内ＬＡＮインタフェース１５は、車内ＬＡＮ５から車両情報を取得する。車両情報を取得すると、図１５のステップＳ９に移行する。
In step S <b> 8, the in-
図１５のステップＳ９において、制御部１３は、駐車スペースサーチ終了条件を満たすか否かを判断する。ここで、駐車スペースサーチ終了条件は、車速が予め定める速度以上、たとえば１０ｋｍ／ｈ以上になること、または使用者からの駐車スペースサーチ終了命令が入力されることである。駐車スペースサーチ終了条件を満たすと判断された場合は、全ての処理手順を終了し、駐車スペースサーチ終了条件を満たさないと判断された場合は、ステップＳ１０に移行する。
In step S9 of FIG. 15, the
ステップＳ１０において、制御部１３は、駐車可能スペース表示条件を満たすか否かを判断する。ここで、駐車可能スペース表示条件は、駐車可能スペースが発見された場合、自車両が停車した場合、使用者から駐車スペース表示命令が入力された場合のうちのいずれかの場合を満たすことである。駐車可能スペース表示条件を満たすと判断された場合は、ステップＳ１１に移行する。駐車可能スペース表示条件を満たさないと判断された場合は、ステップＳ１５に移行する。
In step S10, the
ステップＳ１１において、画像合成部１１は、合成画像、たとえば前述の図６に示す合成画像４０を生成する。合成画像を生成すると、ステップＳ１２に移行する。
In step S11, the
ステップＳ１２において、制御部１３は、駐車スペース表示オブジェクト、たとえば前述の図１０に示す駐車スペース表示オブジェクト５１を生成する。駐車スペース表示オブジェクトを生成すると、ステップＳ１３に移行する。
In step S12, the
ステップＳ１３において、制御部１３は、ステップＳ１２で生成された駐車スペース表示オブジェクトを、ステップＳ１１で生成された合成画像に重畳して、駐車スペース画像、たとえば図１２に示す駐車スペース画像４５を生成する。駐車スペース画像を生成すると、ステップＳ１４に移行する。
In step S13, the
ステップＳ１４において、画像出力部１４は、ステップＳ１４で生成された駐車スペース画像を表示装置４に出力する。駐車スペース画像を表示装置４に出力した後は、図１４のステップＳ４に戻る。
In step S14, the
ステップＳ１５において、制御部１３は、ステップＳ１４で生成された駐車スペース画像を消去する。駐車スペース画像を消去した後は、図１４のステップＳ４に戻る。
In step S15, the
以上の本実施の形態によれば、第１の実施の形態と同様の効果を得ることができる。具体的には、周辺検出装置３によって検出される自車両３１の周辺の状況に基づいて、自車両３１の周辺に駐車可能スペースが有るか否かが、駐車可能スペース判断部１２によって判断される。周辺撮影装置２によって自車両３１の進行方向３２に沿って順に撮影される車両側方画像を表す画像情報が画像合成部１１によって取得され、取得された画像情報に基づいて、車両側方画像を自車両３１の進行方向３２に沿って繋ぎ合わせた合成画像４０が生成される。
According to the above embodiment, the same effect as that of the first embodiment can be obtained. More specifically, the parking
駐車可能スペース判断部１２によって駐車可能スペースが有ると判断された場合、制御部１３によって、駐車スペース表示オブジェクト５１が、画像合成部１１によって生成された合成画像４０に重畳されて、駐車スペース画像４５が生成される。制御部１３によって生成された駐車スペース画像４５が、画像出力部１４によって表示装置４に出力される。駐車スペース画像は、少なくとも一部分が、立体的に視認可能な立体視画像である。これによって、運転者にとって直観的に理解が可能な表示形態で駐車可能なスペースを提示することができる。
When it is determined by the parking
また本実施の形態では、図１２に示すように、駐車スペース画像４５は、自車両３１以外の他の車両Ｌ１，Ｌ３，Ｌ４が駐車される駐車車両領域を含み、駐車車両領域は、立体視画像によって表される。これによって。運転者に、より直観的に理解が可能な表示形態で駐車可能スペースを提示することができる。
Moreover, in this Embodiment, as shown in FIG. 12, the
また本実施の形態では、図１２に示すように、駐車可能スペースは、立体視画像、具体的には立体視画像である駐車スペース表示オブジェクト５１によって表される。これによって、運転者に、より直観的に理解が可能な表示形態で駐車可能スペースを提示することができる。
Moreover, in this Embodiment, as shown in FIG. 12, the parking possible space is represented by the parking
本実施の形態では、前述の図７に示すように、合成画像４０から駐車車両毎に車両単位画像ａ１，ａ３，ａ４が切り取られるが、車両単位画像の切り取り方法は、これに限定されない。図１６および図１７は、車両単位画像の切り取り方法を説明するための図である。図１６は、図７に示す本発明の第２の実施形態において切り取られる車両単位画像ａ１を示す図である。図１７は、車両単位画像の他の例を示す図である。
In the present embodiment, as shown in FIG. 7 described above, the vehicle unit images a1, a3, and a4 are cut out from the
制御部１３は、図１７に示すように、第１の駐車車両Ｌ１の駐車車両部分ａ１−１と、駐車車両以外の部分ａ１−２とを分割し、駐車車両部分ａ１−１のみを、自車両３１と第１の駐車車両Ｌ１との距離Ｙｌ１に対応する奥行で表示し、駐車車両以外の部分ａ１−２は、駐車車両部分ａ１−１よりも更に奥行があるように表示するように駐車スペース画像を生成してもよい。
As shown in FIG. 17, the
また本実施の形態では、前述の図１１に示すように、駐車車両の背景となる、駐車車両を含まない分割画像ｂ１〜ｂ４を、異なる距離で表示するようにしたが、これに限定されない。図１８は、駐車車両の背景の位置の他の例を示す図である。たとえば図１８に示すように、背景となる、駐車車両を含まない分割画像ｂ１〜ｂ４は、自車両３１からの距離、すなわち奥行距離ｄ０が同一になるように表示されてもよい。
Further, in the present embodiment, as shown in FIG. 11 described above, the divided images b1 to b4 that do not include the parked vehicle that are the background of the parked vehicle are displayed at different distances, but the present invention is not limited to this. FIG. 18 is a diagram illustrating another example of the background position of the parked vehicle. For example, as illustrated in FIG. 18, the divided images b1 to b4 that do not include a parked vehicle as a background may be displayed such that the distance from the
また本実施の形態では、周辺撮影装置２は、単眼カメラ２１，２２を含んで構成されるが、これに限定されない。図１９は、両眼カメラ装置６０の構成を簡略化して示す図である。周辺撮影装置２は、単眼カメラ２１，２２に代えて、図１９に示す両眼カメラ装置６０を含んで構成されてもよい。
In the present embodiment, the peripheral photographing
両眼カメラ装置６０は、２つのカメラ、すなわち第１カメラ６１および第２カメラ６２を備える。第１カメラ６１と第２カメラ６２とは、予め定める距離Ｄ２だけ離隔して設けられる。
The
両眼カメラ装置６０は、第１カメラ６１によって左画像が撮影され、第２カメラ６２によって右画像が撮影されるように設けられる。たとえば、両眼カメラ装置６０が自車両３１の左側面に設けられる場合、両眼カメラ装置６０は、第１カメラ６１が自車両３１の進行方向３２の後方側に配置され、第２カメラ６２が自車両３１の進行方向３２の前方側に配置されるように設けられる。
The
両眼カメラ装置６０の第１カメラ６１および第２カメラ６２で同一時刻ｔに撮影される２つの画像、すなわち第１カメラ６１で撮影される左画像ＰｉｃＬ（ｔ）と、第２カメラ６２で撮影される右画像ＰｉｃＲ（ｔ）とのペアを用いて、立体視画像が生成される。
Two images taken at the same time t by the
第１カメラ６１と第２カメラ６２との距離Ｄ２が、前述の図４に示す単眼カメラ２１による２つの撮影位置間の距離Ｄ１と同一である場合、第１カメラ６１によって撮影される左画像ＰｉｃＬ（ｔ）は、時刻ｔにおいて単眼カメラ２１によって撮影される第１の画像Ｐｉｃ（ｔ）と同一になる。また第２カメラ６２によって撮影される右画像ＰｉｃＲ（ｔ）は、時刻ｔ＋Δｔにおいて単眼カメラ２１によって撮影される第２の画像Ｐｉｃ（ｔ＋Δｔ）と同一になる。
When the distance D2 between the
図２０は、両眼カメラ装置６０を用いて左側方画像を撮影する様子を模式的に示す図である。図２０に示す例では、周辺撮影装置２は、両眼カメラ装置６０によって個別に撮影した立体視画像用の左右ペア画像を、描画プレーン上で合成する。
FIG. 20 is a diagram schematically illustrating a state in which a left-side image is captured using the
具体的には、周辺撮影装置２は、自車両３１が進行方向３２に向かって進行する間に、前述の図１９に示す両眼カメラ装置６０を用いて、自車両３１の側方の画像である車両側方画像、たとえば左側方画像を撮影する。両眼カメラ装置６０は、第１カメラ６１および第２カメラ６２によって、各位置で、左画像ＰｉｃＬ（ｔ）として、左目用左側方画像Ｐｌ１，Ｐｌ２，…，Ｐｌｎと、右画像ＰｉｃＲ（ｔ）として、右目用左側方画像Ｐｒ１，Ｐｒ２，…，Ｐｒｎとを撮影する。ここで、ｎは自然数である。
Specifically, the peripheral photographing
左目用左側方画像Ｐｌ１，Ｐｌ２，…，Ｐｌｎと、右目用左側方画像Ｐｒ１，Ｐｒ２，…，Ｐｒｎとは、同一地点で撮影した左右１枚ずつの画像ペアであり、自車両３１から駐車車両Ｌ１，Ｌ３，Ｌ４または障害物までの距離属性を持つ。自車両３１と駐車車両Ｌ１，Ｌ３，Ｌ４または障害物との距離は、周辺検出装置３である超音波センサによって測定されてもよいし、両眼カメラ装置６０によって撮影される画像から測距されてもよい。
The left-eye left images Pl1, Pl2,..., Pln and the right-eye left-side images Pr1, Pr2,..., Prn are a pair of left and right images taken at the same point. It has a distance attribute to L1, L3, L4 or an obstacle. The distance between the
図２１は、左目用描画プレーン７１の一例を示す図であり、図２２は、右目用描画プレーン７２の一例を示す図である。制御部１３は、立体視画像を作成するための描画プレーンとして、図２１に示す左目用描画プレーン７１と、図２２に示す右目用描画プレーン７２とを設ける。ここでは、説明の都合上、左目用描画プレーン７１の奥行と、右目用描画プレーン７２の奥行とは、前述の図１２に示すように同一の距離とする。
FIG. 21 is a diagram illustrating an example of the left-
図２３は、描画プレーンへの貼り付け方法を説明するための図である。制御部１３は、両眼カメラ装置６０によって撮影された図２０に示す左目用左側方画像Ｐｌ１，Ｐｌ２，…，Ｐｌｎおよび右目用左側方画像Ｐｒ１，Ｐｒ２，…，Ｐｒｎに基づいて、図２３（ａ）に示すように、撮影された駐車車両Ｌ１，Ｌ３，Ｌ４に対応する左右のペア画像と、左右の駐車スペース表示オブジェクトとを準備する。たとえば、左右のペア画像である左目用車両画像ａｎ−ｌおよび右目用車両画像ａｎ−ｒと、左右の駐車スペース表示オブジェクトである左目用表示オブジェクト５１Ｌおよび右目用表示オブジェクト５１Ｒとを準備する。
FIG. 23 is a diagram for explaining a method of attaching to a drawing plane. The
制御部１３は、準備した左右のペア画像ａｎ−ｌ，ａｎ−ｒ、および左右の駐車スペース表示オブジェクト５１Ｌ，５１Ｒを、それぞれ対応する左右の描画プレーン７１，７２に貼り付ける。ここで、左右の画像ペアを貼り付ける左右の描画プレーン７１，７２上の位置は同じである。
The
このようにして、左目用描画プレーン７１に左目用車両画像ａｎ−ｌおよび左目用表示オブジェクト５１Ｌが貼り付けられた左目用画像７３Ｌと、右目用描画プレーン７２に右目用車両画像ａｎ−ｒおよび右目用表示オブジェクト５１Ｌが貼り付けられた右目用画像７３Ｒとが生成される。
In this way, the left-
図２４は、立体視画像の奥行の他の例を示す図である。図２５は、立体視画像を含む駐車スペース画像の他の例を示す図である。前述のようにして制御部１３によって生成された図２１に示す左目用画像７３Ｌおよび右目用画像７３Ｒは、画像出力部１４に与えられ、画像出力部１４から表示装置４に出力される。
FIG. 24 is a diagram illustrating another example of the depth of a stereoscopic image. FIG. 25 is a diagram illustrating another example of a parking space image including a stereoscopic image. The left-
図２４に示すように、背景となる各部分は奥行距離ｄ０が同一となるように表示される。駐車車両Ｌ１，Ｌ３，Ｌ４は、自車両３１からの距離に応じた奥行で表示される。たとえば、第４の駐車車両Ｌ４は、自車両３１からの距離Ｙｌ４に応じた奥行距離ｄ４で表示される。
As shown in FIG. 24, the background portions are displayed with the same depth distance d0. The parked vehicles L1, L3, and L4 are displayed with a depth corresponding to the distance from the
このようにすることによって、図２５に示すように、表示装置４の表示画面７４に、奥行きのある３つの立体視画像Ｌ１，Ｌ３，Ｌ４を含む駐車スペース画像７５が表示され、自車両３１の運転者によって観測される。
In this way, as shown in FIG. 25, the
また制御部１３は、前述の図４に示す単眼カメラ２１、または図１９に示す両眼カメラ装置６０で撮影された画像から、３次元仮想空間に車両および駐車可能スペースを構築し、視点変換処理によって、立体視画像を生成するように構成されてもよい。この場合、車両側方画像は、単眼カメラ２１または両眼カメラ装置６０によって撮影され、画像合成部１１を介して制御部１３に与えられる。制御部１３は、与えられた車両側方画像から、各車両の形状および位置を３次元的に計測する。
Further, the
図２６は、３次元仮想空間に車両をマッピングした状態を模式的に示す図である。制御部１３は、前述のようにして計測した各車両の形状および位置に基づいて、各車両を図２６に示すように３次元仮想空間にマッピングする。このとき、単眼カメラ２１または両眼カメラ装置６０で撮影できず、計測できなかった部分は、適当な車両モデルを当てはめて欠損情報を補ってもよい。
FIG. 26 is a diagram schematically illustrating a state in which the vehicle is mapped in the three-dimensional virtual space. Based on the shape and position of each vehicle measured as described above, the
具体的には、３次元仮想空間に仮想視点Ｐｖｅｒ（ｘ,ｙ,ｚ,θ,φ）を設け、その位置に仮想の両眼カメラ装置８０を設置して、両眼カメラ装置８０で撮影されたものとして、左目用画像８１と右目用画像８２とを生成する。この画像生成処理には、たとえば、公知の３次元画像処理が適用される。
Specifically, a virtual viewpoint Pver (x, y, z, θ, φ) is provided in a three-dimensional virtual space, a virtual
このようにして制御部１３によって生成される左目用画像８１および右目用画像８２は、画像出力部１４に与えられ、画像出力部１４から表示装置４に出力される。これによって、奥行きのある立体視画像を含む駐車スペース画像が表示装置４の表示画面に表示され、自車両３１の運転者によって観測される。
The left-
また、奥行のある立体視画像を含む駐車スペース画像を表示する表示装置４は、立体視画像を表示可能な表示装置に限るものではなく、３次元表現が可能なヘッドアップディスプレイであってもよいし、他の方式による３次元画像表示装置であってもよい。
In addition, the
図２７は、駐車可能スペースを検出する方法を説明するための図である。前述のように、周辺撮影装置２は、たとえば車両３１の左側に設置された両眼カメラ装置６０によって、立体視画像用に右目用画像Ｌ１−ｒ，Ｌ３−ｒ，Ｌ４−ｒと左目用画像Ｌ１−ｌ，Ｌ３−ｌ，Ｌ４−ｌとをペアで撮影する。制御部１３は、たとえば、両眼カメラ装置６０で撮影された画像Ｌ１−ｌ，Ｌ１−ｒ，Ｌ３−ｌ，Ｌ３−ｒ，Ｌ４−ｌ，Ｌ４−ｒから、合成画像を生成する。制御部１３は、生成した合成画像から、駐車可能スペースＳＬ−ｌ，Ｓｌ−ｒを検出する。
FIG. 27 is a diagram for explaining a method of detecting a parking space. As described above, the peripheral photographing
駐車可能スペースを検出するときには、たとえば、撮影と合わせて超音波センサで、左右の空きスペースを検出する。検出アルゴリズムおよび駐車可否判断には、公知の技術を用いることができる。 When detecting a parking available space, for example, left and right empty spaces are detected by an ultrasonic sensor in combination with shooting. A known technique can be used for the detection algorithm and parking availability determination.
制御部１３は、このようにして検出された駐車可能スペースＳＬ−ｌ，Ｓｌ−ｒを示す表示オブジェクトを合成画像に重畳した画像を表示装置４に表示させることによって運転者に提示する。たとえば、前述の図１２に示すように、車両も駐車可能スペースも立体視画像として表示される。
The
図２８は、駐車スペース画像の他の例を示す図である。駐車スペース画像は、図２８（ｂ）に示すように、車両側方画像Ｌ１，Ｌ３，Ｌ４が、表示装置４の表示画面上に対応する車両の進行方向に沿って、表示装置４の表示画面に向かって下側から上側に順に表示されるように構成されてもよい。
FIG. 28 is a diagram illustrating another example of the parking space image. As shown in FIG. 28 (b), the parking space image is displayed on the
図２８（ｂ）に示す例では、図２８（ａ）に示すように、第３の駐車車両Ｌ３は、第４の駐車車両Ｌ４よりも遠くに駐車されており、自車両３１と第３の駐車車両Ｌ３との距離Ｙｌ３は、自車両３１と第４の駐車車両Ｌ４との距離Ｙｌ４よりも大きくなっている（Ｙｌ３＞Ｙｌ４）。したがって、図２８（ｂ）に示す駐車スペース画像９０では、第３の駐車車両Ｌ３の立体角は、第４の駐車車両Ｌ４の立体角に比べて、やや狭くなっている。
In the example shown in FIG. 28 (b), as shown in FIG. 28 (a), the third parked vehicle L3 is parked farther than the fourth parked vehicle L4. The distance Yl3 with the parked vehicle L3 is larger than the distance Yl4 between the
図２９〜図３２は、駐車スペース画像の視点を模式的に示す図である。駐車スペース画像は、図２９〜図３２に示すように、表示エリアを視点変換して表示されてもよい。たとえば、駐車スペース画像は、図２９に示すように、水平で前方からの視点Ｐｅｙｅ１から見た画像として表示されてもよい。また駐車スペース画像は、図３０に示すように、水平でやや前方からの視点Ｐｅｙｅ２から見た画像として表示されてもよい。また駐車スペース画像は、図３１に示すように、真上から俯瞰する視点Ｐｅｙｅ３から見た画像として表示されてもよい。また駐車スペース画像は、図３２に示すように、斜め上からの視点Ｐｅｙｅ４から見た画像として表示されてもよい。
FIGS. 29-32 is a figure which shows typically the viewpoint of a parking space image. As shown in FIGS. 29 to 32, the parking space image may be displayed by changing the viewpoint of the display area. For example, as shown in FIG. 29, the parking space image may be displayed as an image viewed from the
図３３〜図３６は、駐車スペース画像の視点の他の例を模式的に示す図である。駐車ペース画像は、図３３〜図３６に示すように、予め定める指定エリア、たとえば駐車可能スペースＳＬを視点変換して表示されてもよい。 33 to 36 are diagrams schematically illustrating another example of the viewpoint of the parking space image. As shown in FIGS. 33 to 36, the parking pace image may be displayed by converting the viewpoint of a predetermined designated area, for example, a parking space SL.
この場合、制御部１３は、駐車可能スペースを選択して、駐車可能スペースにのみ視点変換を行う。指定エリア以外のエリアは、元のままの視点で表示されてもよいし、指定エリアと同様に視点変換して表示されてもよい。また指定エリアのみ、指定エリア以外のエリアよりも広く表示されてもよい。また駐車可能スペースＳＬに、車両を立体視画像として表す仮想３次元表示オブジェクト５１を表示してもよい。
In this case, the
たとえば、駐車スペース画像は、図３３に示すように、指定エリアとして駐車可能スペースを選択して、駐車可能スペースのみ、水平で前方からの視点Ｐｅｙｅ１から見た画像として表示されてもよい。図３３に示す例では、駐車可能スペースには、仮想３次元表示オブジェクト５１と、車輪止め９１とが表示される。
For example, as shown in FIG. 33, the parking space image may be displayed as an image viewed from the
また駐車スペース画像は、図３４に示すように、仮想３次元表示オブジェクト５１と車輪止め９１とを含む駐車可能スペースが、水平でやや前方からの視点Ｐｅｙｅ２から見た画像として表示されてもよい。また駐車スペース画像は、図３５に示すように、仮想３次元表示オブジェクト５１と車輪止め９１とを含む駐車可能スペースが、真上から俯瞰する視点Ｐｅｙｅ３から見た画像として表示されてもよい。また駐車スペース画像は、図３６に示すように、仮想３次元表示オブジェクト５１と車輪止め９１とを含む駐車可能スペースが、斜め上からの視点Ｐｅｙｅ４から見た画像として表示されてもよい。
34, the parking space image including the virtual three-
以上のように駐車スペース画像は、周辺撮影装置２によって車両側方画像が撮影されたときの視点とは異なる視点から見た画像に変換されて表示されてもよい。特に、駐車スペース画像のうち、予め定める指定エリアは、周辺撮影装置２によって車両側方画像が撮影されたときの視点とは異なる視点から見た画像に変換されて表示されてもよい。これによって、運転者に、より直観的に理解が可能な表示形態で駐車可能スペースを提示することができる。
As described above, the parking space image may be displayed after being converted into an image viewed from a viewpoint different from the viewpoint when the vehicle side image is captured by the
図３７は、駐車スペース画像の他の例を示す図である。駐車スペース画像は、たとえば図３７に示すように、車両が存在しない駐車可能スペースＳＬの領域Ｅ３が立体視画像で表示され、車両が存在する車両領域Ｅ１，Ｅ２が２次元画像で表示されてもよい。 FIG. 37 is a diagram illustrating another example of the parking space image. For example, as shown in FIG. 37, the parking space image is displayed even if the area E3 of the parking space SL where no vehicle is present is displayed as a stereoscopic image and the vehicle areas E1 and E2 where the vehicle is present are displayed as a two-dimensional image. Good.
これによって、画像処理量を削減することができる。この場合、実際の駐車車両の奥行は、図３７（ａ）に示すようになっているが、車両領域Ｅ１，Ｅ２は２次元画像で表示される。したがって、２次元画像を立体視画像と組み合わせる場合は、図３７（ｂ）に示すように駐車車両Ｌ１，Ｌ３，Ｌ４の奥行距離Ｙｌを、いずれかの駐車車両と自車両３１との距離、たとえば、第４の駐車車両Ｌ４と自車両３１との距離Ｙｌ４に統一する。
As a result, the amount of image processing can be reduced. In this case, the actual depth of the parked vehicle is as shown in FIG. 37A, but the vehicle areas E1 and E2 are displayed as a two-dimensional image. Therefore, when combining a two-dimensional image with a stereoscopic image, as shown in FIG. 37 (b), the depth distance Yl of the parked vehicles L1, L3, L4 is set to the distance between any parked vehicle and the
図３８は、駐車スペース画像の他の例を示す図である。駐車スペース画像は、図３８に示すように、自車両３１の位置を示す立体表示オブジェクトを含んでもよい。立体表示オブジェクトが表示される自車両の位置は、実際の３次元空間の車両の位置と対応する。自車両の立体表示オブジェクト以外は、たとえば前述の図２８（ｂ）と同様に表示される。
FIG. 38 is a diagram illustrating another example of the parking space image. As shown in FIG. 38, the parking space image may include a three-dimensional display object that indicates the position of the
図示は省略するが、駐車車両領域は、他の領域に比べて協調して表示されてもよい。具体的には、駐車車両領域は、車両Ｌ１，Ｌ３，Ｌ４をデフォルメして表示するデフォルメ表示オブジェクトで表示されてもよい。これによって、運転者に、より直観的に理解が可能な表示形態で駐車可能スペースを提示することができる。 Although illustration is omitted, the parked vehicle area may be displayed in cooperation with other areas. Specifically, the parked vehicle area may be displayed as a deformed display object that deforms and displays the vehicles L1, L3, and L4. Thus, the parking space can be presented to the driver in a display form that can be understood more intuitively.
図３８に示す例では、左右の車両群は、運転者視点で撮影した自車両から撮影した複数の画像をつなぎ合わせた立体視画像を含む合成画像で表示される。第３の駐車車両Ｌ３は、第４の駐車車両Ｌ４よりも遠くに駐車されており、第３の駐車車両Ｌ３と自車両との距離Ｙｌ３は、第４の駐車車両Ｌ４と自車両との距離Ｙｌ４よりも大きくなっている（Ｙｌ３＞Ｙｌ４）。したがって、図３８に示す立体視画像では、第３の駐車車両Ｌ３の方が、第４の駐車車両Ｌ４に比べて、立体角がやや狭くなっている。 In the example shown in FIG. 38, the left and right vehicle groups are displayed as a composite image including a stereoscopic image in which a plurality of images taken from the own vehicle taken from the driver's viewpoint are connected. The third parked vehicle L3 is parked farther than the fourth parked vehicle L4, and the distance Yl3 between the third parked vehicle L3 and the host vehicle is the distance between the fourth parked vehicle L4 and the host vehicle. It is larger than Yl4 (Yl3> Yl4). Therefore, in the stereoscopic image shown in FIG. 38, the solid angle of the third parked vehicle L3 is slightly narrower than that of the fourth parked vehicle L4.
図３９は、車両の左右に駐車可能スペースの候補がある場合の駐車スペース画像の一例を示す図である。自車両３１の左右に駐車可能スペースの候補がある場合、周辺撮影装置２は、自車両３１の左右に設置された単眼カメラ２１または両眼カメラ装置６０によって、左右両眼用の画像を撮影し、撮影した画像を表す画像情報を画像合成部１１に与える。画像合成部１１は、与えられた画像情報から合成画像２６１，２６２を生成する。駐車可能スペース判断部１２は、左右の駐車可能スペースをサーチする。これによって、たとえば、左側駐車可能スペースＳＬおよび右側駐車可能スペースＳＲが検出される。
FIG. 39 is a diagram illustrating an example of a parking space image when there are parking space candidates on the left and right of the vehicle. When there are parking space candidates on the left and right of the
制御部１３は、左右の合成画像２６１，２６２、すなわち左側合成画像２６１および右側合成画像２６２に、駐車可能スペースＳＬ，ＳＲを示す表示オブジェクトを重畳する。これによって、左右の駐車可能スペースＳＬ，ＳＲを含む駐車スペース画像１４０が生成される。このような駐車スペース画像１４０とすることによって、運転者に、より直観的に理解が可能な表示形態で駐車可能スペースを提示することができる。自車両３１は、表示装置４の表示画面の予め定める基準線１４１、たとえば表示画面の中央線上に表示される。具体的には、自車両３１は、自車両３１の走行軌跡を表す線が表示画面の基準線１４１に一致するように表示される。
The
また図３９に示す駐車スペース画像１４０は、自車両３１と自車両３１の進行方向３２に向かって右側および左側に存在する車両または駐車区画との位置関係に応じて、表示装置４の表示画面における左側合成画像２６１および右側合成画像２６２の表示位置を変更するように生成されてもよい。これによって、運転者に、より直観的に理解が可能な表示形態で駐車可能スペースを提示することができる。この場合、たとえば、各駐車車両の側方距離ｄｌ，ｄｒおよび進行方向距離Ｈｌ，Ｈｒに応じて、表示装置４の表示画面における左側合成画像６１および右側合成画像６２の表示位置が変更される。
Further, the
ここで、側方距離ｄｌ，ｄｒとは、自車両３１の側方における自車両３１と自車両３１の側方の物体との距離である。側方距離ｄｌ，ｄｒは、具体的には、自車両３１の駐車スペースサーチのときの走行軌跡３３と、自車両３１の側方の物体との最短距離である。たとえば自車両３１の側方の物体が車両Ｌ１，Ｌ３，Ｌ４，Ｒ１，Ｒ２，Ｒ４である場合、側方距離ｄｌ，ｄｒは、自車両３１の駐車スペースサーチのときの走行軌跡３３と、各車両Ｌ１，Ｌ３，Ｌ４，Ｒ１，Ｒ２、Ｒ４の自車両３１側の先端との距離である。側方距離ｄｌ，ｄｒは、前述の自車両３１との距離Ｙｌｎに相当する。
Here, the side distances dl and dr are distances between the
また進行方向距離Ｈｌ，Ｈｒとは、自車両３１の進行方向における自車両３１と自車両３１の側方の物体との距離である。進行方向距離Ｈｌ，Ｈｒは、具体的には、停車位置における自車両３１の進行方向後方側の端部と、自車両３１の側方の物体との最短距離である。たとえば自車両３１の側方の物体が車両Ｌ１，Ｌ３，Ｌ４，Ｒ１，Ｒ２，Ｒ４である場合、進行方向距離Ｈｌ，Ｈｒは、停車位置における自車両３１の進行方向後方側の端部と、各車両Ｌ１，Ｌ３，Ｌ４，Ｒ１，Ｒ２，Ｒ４の自車両３１側の側面部との距離である。進行方向距離Ｈｌ，Ｈｒは、前述の自車両３１からの距離Ｘに相当する。
Further, the traveling direction distances Hl and Hr are distances between the
図４０〜図４７は、車両の左右に駐車可能スペースの候補がある場合の駐車スペース画像の他の例を示す図である。図４０に示すように、駐車スペース画像１５０は、自車両３１の位置を示す自車両位置表示オブジェクト１５１を含んでもよい。これによって、運転者に、より直観的に理解が可能な表示形態で駐車可能スペースを提示することができる。
FIGS. 40 to 47 are diagrams showing other examples of parking space images when there are parking space candidates on the left and right of the vehicle. As shown in FIG. 40, the
また図４０では、表示装置４の表示画面のうち、予め定める第１の表示領域に相当する表示画面に向かって左側の領域に左側合成画像２６１が表示され、予め定める第２の表示領域に相当する表示画面に向かって右側の表域に右側合成画像２６２が表示されるように、駐車スペース画像１５０が生成される。これによって、運転者に、より直観的に理解が可能な表示形態で駐車可能スペースを提示することができる。
In FIG. 40, the left
また図４０では、左側合成画像２６１および右側合成画像２６２が、自車両３１の位置を支点として自車両３１の進行方向３２から、互いに反対方向に予め定める回転角度回転して表示されるように、駐車スペース画像１５０が生成される。具体的には、左側合成画像２６１および右側合成画像２６２が、自車両３１の進行方向３２と一致する表示画面の中央線１５２から、互いに反対方向に９０°回転して表示されるように、駐車スペース画像１５０が生成される。これによって、運転者に、より直観的に理解が可能な表示形態で駐車可能スペースを提示することができる。
In FIG. 40, the left
また図４１に示すように、駐車スペース画像１６０は、左側合成画像２６１が表示される第１の表示領域１６１と、右側合成画像２６２が表示される第２の表示領域１６２とに加えて、推奨スペースを示す第３の表示領域１６３を含んでもよい。これによって、運転者に、より直観的に理解が可能な表示形態で駐車可能スペースを提示することができる。
As shown in FIG. 41, the
また図４２に示すように、駐車スペース画像１７０は、自車両３１の位置を示す自車両位置表示オブジェクト１５１を含んでもよい。これによって、運転者に、より直観的に理解が可能な表示形態で駐車可能スペースを提示することができる。この場合、駐車スペース画像１７０は、図４２に示すように、自車両位置表示オブジェクト１５１が表示される自車両表示領域１７１と、合成画像２６１，２６２が表示される合成画像表示領域１７２とに分割された構成であってもよい。
As shown in FIG. 42, the
また図４２に示すように、制御部１３は、周辺撮影装置２によって撮影される自車両３１の進行方向３２の後方側の後方画像１７３を、左側合成画像２６１と右側合成画像２６２との間に挿入して、左側合成画像２６１と後方画像１７１と右側合成画像２６２とを繋ぎ合せるように、駐車スペース画像１７０を生成してもよい。これによって、運転者に、より直観的に理解が可能な表示形態で駐車可能スペースを提示することができる。
Further, as shown in FIG. 42, the
また図４３に示すように、制御部１３は、駐車スペース画像１８０の一部分が、残余の部分とは異なる表示形態で表示されるように、駐車スペース画像１８０を生成してもよい。図４３に示す例では、駐車スペース画像１８０の一部分、具体的には自車両３１が表示される自車両表示領域１８２が、俯瞰画像として表示される。また自車両表示領域１８２以外の領域、たとえば合成画像２６１，２６２が表示される合成画像表示領域１８１，１８３は、２次元画像として表示されてもよい。
As shown in FIG. 43, the
図４４は、駐車スペース画像の他の例を示す図である。図４４（ｂ）において、横軸は横方向Ｘを示し、縦軸は奥行Ｙを示す。駐車スペース画像は、図４４に示すように、俯瞰画像と合成されて表示されてもよい。図４４に示す例では、駐車スペース画像は、図４４（ａ）に示す自車両３１の画像と、図４４（ｃ），（ｄ）に示す俯瞰画像との合成として表示される。
FIG. 44 is a diagram illustrating another example of the parking space image. In FIG. 44 (b), the horizontal axis indicates the horizontal direction X, and the vertical axis indicates the depth Y. As shown in FIG. 44, the parking space image may be combined with the overhead image and displayed. In the example shown in FIG. 44, the parking space image is displayed as a composite of the image of the
図４４に示す例では、俯瞰画像として合成または撮影された自車両３１の画像と、運転者視点で撮影された立体視画像Ｌ４，Ｒ４とが並べて表示される。このとき、駐車エリアではない走行エリアを俯瞰画像とするが、俯瞰画像を表示する奥行平面の位置は、駐車可能スペースの奥の距離に合わせることが好ましい。
In the example shown in FIG. 44, the image of the
俯瞰画像は、図４４に示すように、立体視画像でもよい。図４４において、ｙ１は、自車両３１の左側方の左駐車可能スペース２１０の先端から第４の左側車両Ｌ４の先端までの距離、すなわち第４の左側車両Ｌ４が駐車される駐車領域２１２の周囲の領域２１１の幅を示す。ｙ２は、自車両３１の左側面から左駐車可能スペース２１０の先端までの距離を示す。
The overhead image may be a stereoscopic image as shown in FIG. 44, y1 is the distance from the tip of the
ｙ３は、自車両３１の右側面から自車両３１の右側方の右駐車可能スペース２１５の先端までの距離を示す。ｙ４は、右駐車可能スペース２１５の先端から第４の右側車両Ｒ４の先端までの距離、すなわち第４の右側車両Ｒ４が駐車される駐車領域２１７の周囲の領域２１６の幅を示す。
y3 represents the distance from the right side surface of the
ｚｒは、第４の右側車両Ｒ４の車高を示す。ｚｌは、第４の左側車両Ｌ４の車高を示す。ｚａは、自車両３１を表す自車両表示オブジェクトの車高を示す。ｘａは、自車両表示オブジェクトの車幅を示す。ｘｗは、走行エリアの幅を示す。
zr represents the vehicle height of the fourth right vehicle R4. zl represents the vehicle height of the fourth left vehicle L4. za indicates the vehicle height of the host vehicle display object representing the
図４４では、ｙ２を自車両３１の左側面から左駐車可能スペース２１０の先端までの距離としたが、走行エリアの幅の２分の１（１／２）にしてもよいし、自車両３１の中心から左駐車可能スペース２１０の先端までの距離としてもよい。ｙ３についても同様である。
In FIG. 44, y2 is the distance from the left side surface of the
道路は、基本的には平面であるので、立体視画像である必要はないが、駐車スペース画像の少なくとも一部分を俯瞰画像として表示することによって、たとえば石などの障害物を立体的に表示することができる。 Since the road is basically a plane, it does not have to be a stereoscopic image, but by displaying at least a part of the parking space image as an overhead image, for example, an obstacle such as a stone can be displayed in a stereoscopic manner. Can do.
図４５は、推奨する駐車可能スペースが存在する場合の駐車スペース画像の一例を示す図である。たとえば、図４５に示すように、駐車エリアに駐車車両が７台存在し、２か所の駐車可能スペースＰＬ１，ＰＬ２が存在する場合を想定する。 FIG. 45 is a diagram illustrating an example of a parking space image when there is a recommended parking space. For example, as shown in FIG. 45, it is assumed that seven parking vehicles exist in the parking area and two parking spaces PL1 and PL2 exist.
図４５では、第２の駐車可能スペースＰＬ２を推奨する場合の表示例を示す。図４５（ａ）は、駐車エリア内の駐車状況を説明するための図であり、上方から見た俯瞰図に相当する。正面から見た表示を図４５（ｃ）に示し、立体表示の奥行表現を図４５（ｂ）に示す。図４５に示す例では、推奨する駐車可能スペースＰＬ２と、その両隣の駐車車両Ｌ６，Ｌ８とを立体視画像で表示し、それ以外を平面画像で表示する。すなわち、駐車可能スペースＰＬ２およびその両隣の駐車車両Ｌ６，Ｌ８を含む領域Ｑ２を、立体視画像で表示される立体視画像表示領域とし、立体視画像表示領域Ｑ２以外の領域Ｑ１，Ｑ３を、平面画像で表示される平面画像表示領域とする。 FIG. 45 shows a display example when the second parking space PL2 is recommended. FIG. 45A is a diagram for explaining a parking situation in the parking area, and corresponds to an overhead view seen from above. The display seen from the front is shown in FIG. 45 (c), and the depth representation of the stereoscopic display is shown in FIG. 45 (b). In the example shown in FIG. 45, the recommended parking space PL2 and the adjacent parked vehicles L6 and L8 are displayed as a stereoscopic image, and the others are displayed as a planar image. That is, the area Q2 including the parking space PL2 and the adjacent parked vehicles L6 and L8 is set as a stereoscopic image display area displayed as a stereoscopic image, and the areas Q1 and Q3 other than the stereoscopic image display area Q2 are planar. A planar image display area displayed as an image is used.
図４６は、駐車スペース画像の他の例を示す図である。図４６（ａ）は、奥行表示の状況を説明するための図であり、図４６（ｂ）は、推奨する駐車可能スペースの表示例を示す図である。図４６に示すように、推奨する駐車可能スペースＰＬ２に、平面画像の代わりに、車両を示す表示オブジェクト２２０を追加して表示してもよい。表示オブジェクト２２０は、たとえば、立体視画像によって表される表示オブジェクトである。このように推奨される駐車可能スペースに、立体視画像によって表される表示オブジェクトを表示させることによって、運転者に、より直観的に理解が可能な表示形態で駐車可能スペースを提示することができる。
FIG. 46 is a diagram illustrating another example of the parking space image. FIG. 46A is a diagram for explaining the state of depth display, and FIG. 46B is a diagram illustrating a display example of a recommended parking space. As shown in FIG. 46, a
図４７は、駐車スペース画像の他の例を示す図である。図４７（ａ）は、推奨する駐車可能スペースＳＬ，ＳＲの奥行を示す図であり、図４７（ｂ）は、推奨する駐車可能スペースの表示例を示す図である。図４７に示すように、推奨する駐車スペースの存在する側の駐車エリアと、それ以外の駐車エリアとで表示態様を変えてもよい。図４７に示す例の駐車スペース画像２３０では、右の駐車可能スペースＳＲを推奨して、表示装置４の表示画面の中央線２３３に関して、右側の駐車エリア２３２を立体視画像で表示し、左側の駐車エリア２３１を平面画像として表示している。平面画像の代わりに、表示オブジェクトを用いてもよい。
FIG. 47 is a diagram illustrating another example of the parking space image. FIG. 47A is a diagram illustrating the depths of the recommended parking spaces SL and SR, and FIG. 47B is a diagram illustrating a display example of the recommended parking spaces. As shown in FIG. 47, the display mode may be changed between a parking area on the side where a recommended parking space exists and other parking areas. In the
このように左側合成画像２６１および右側合成画像２６２のうち、推奨される駐車可能スペースが存在する側の合成画像、すなわち右側合成画像２６２と、残余の合成画像、すなわち左側合成画像２６１とが異なる表示形態で表示されるように、駐車スペース画像２３０を生成することによって、運転者に、より直観的に理解が可能な表示形態で駐車可能スペースを提示することができる。
As described above, of the left
特に、推奨される駐車可能スペースが存在する側の合成画像、すなわち右側合成画像２６２を記立体視画像によって表すことによって、運転者に、より一層、直観的に理解が可能な表示形態で駐車可能スペースを提示することができる。
In particular, by representing the composite image of the side where the recommended parking space exists, that is, the right
＜第３の実施の形態＞
図４８は、本発明の第３の実施の形態における駐車支援装置２０１の構成を示すブロック図である。駐車支援装置２０１は、駐車支援用表示制御装置１０Ａ、周辺撮影装置２、周辺検出装置３、表示装置４、車内ＬＡＮ５、操作入力装置６および走行駆動装置７を備えて構成される。駐車支援用表示制御装置１０Ａは、画像合成部１１、駐車可能スペース判断部１２、制御部１３、画像出力部１４および自動駐車制御部１６を備える。<Third Embodiment>
FIG. 48 is a block diagram showing the configuration of the
駐車支援用表示制御装置１０Ａは、たとえば、車両などの移動体に搭載される。周辺撮影装置２、周辺検出装置３、表示装置４、車内ＬＡＮ５、操作入力装置６および走行駆動装置７は、駐車支援用表示制御装置１０Ａを搭載する自車両に設けられる。
The parking assistance
本実施の形態の駐車支援装置２０１は、前述の第１の実施の形態の駐車支援装置１００および第２の実施の形態の駐車支援装置２００と同一の構成を含んでいるので、同一の構成については同一の参照符号を付して、共通する説明を省略する。本発明の他の実施の形態である駐車支援用表示制御方法は、本実施の形態の駐車支援用表示制御装置１０Ａによって実行される。
Since
自動駐車制御部１６は、駐車可能スペース情報と駐車スペース選択情報により、走行駆動装置７を制御し、自動駐車を実行する。
The automatic
走行駆動装置７は、車両のハンドル、ブレーキ、アクセルを制御して、車両の駆動を行う。
The
図４９は、本発明の第３の実施の形態における駐車スペース画像２９０の一例を示す図である。本実施の形態では、駐車スペース画像２９０には、駐車可能スペースを選択するための表示オブジェクト２９１が含まれる。表示オブジェクト２９１は、「駐車スペースを選択してください」などの文字が表示される文字表示領域２９２と、左側駐車可能スペースＳＬを選択するためのボタン２９３と、右側駐車可能スペースＳＲを選択するためのボタン２９４とを含む。運転者は、表示オブジェクト２９１内のボタン２９３，２９４のいずれかを選択することによって、駐車可能スペースを選択する。
FIG. 49 is a diagram showing an example of the
本実施の形態においても、駐車スペース画像２９０は、車両側方画像を含むので、前述の第１および第２の実施の形態と同様の効果を得ることができる。
Also in the present embodiment, since
以上に述べた本実施の形態の駐車支援用表示制御装置は、車両に搭載可能なナビゲーション装置だけでなく、通信端末装置、およびサーバ装置などを適宜に組み合わせてシステムとして構築される駐車支援システムに適用することができる。通信端末装置は、たとえばサーバ装置と通信を行う機能を有するＰＮＤ（Portable Navigation Device）および携帯通信装置である。携帯通信装置は、たとえば携帯電話機、スマートフォンおよびタブレット型端末装置である。 The parking support display control device of the present embodiment described above is not only a navigation device that can be mounted on a vehicle, but also a parking support system constructed as a system by appropriately combining communication terminal devices, server devices, and the like. Can be applied. The communication terminal device is, for example, a PND (Portable Navigation Device) and a portable communication device having a function of communicating with a server device. The mobile communication device is, for example, a mobile phone, a smartphone, and a tablet terminal device.
前述のようにナビゲーション装置と通信端末装置とサーバ装置とを適宜に組み合わせてシステムが構築される場合、本実施の形態の駐車支援用表示制御装置の各構成要素は、前記システムを構築する各装置に分散して配置されてもよいし、いずれかの装置に集中して配置されてもよい。 As described above, when the system is constructed by appropriately combining the navigation device, the communication terminal device, and the server device, each component of the parking assistance display control device according to the present embodiment includes each device that constructs the system. It may be arranged in a distributed manner, or may be arranged concentrated on any device.
たとえば、駐車支援用表示制御装置に備えられる画像合成部、駐車可能スペース判断部および制御部は、サーバ装置に配置されてもよいし、携帯通信装置などの通信端末装置に配置されてもよい。 For example, the image composition unit, the parking space determination unit, and the control unit provided in the parking assistance display control device may be arranged in the server device or in a communication terminal device such as a portable communication device.
前述の駐車支援用表示制御装置に備えられる画像合成部、駐車可能スペース判断部および制御部がサーバ装置に配置される場合の駐車支援装置は、以下の第４の実施の形態に示す構成を有する。また、前述の画像合成部、駐車可能スペース判断部および制御部が携帯通信装置に配置される場合の駐車支援装置は、以下の第５の実施の形態に示す構成を有する。 The parking assistance apparatus in the case where the image composition unit, the parking space determination unit, and the control unit provided in the parking assistance display control device described above are arranged in the server device has a configuration shown in the following fourth embodiment. . Moreover, the parking assistance apparatus in case the above-mentioned image composition part, parking space determination part, and control part are arrange | positioned at a portable communication apparatus has a structure shown in the following 5th Embodiment.
＜第４の実施の形態＞
図５０は、本発明の第４の実施の形態における駐車支援装置５００の構成を示すブロック図である。本実施の形態の駐車支援装置５００は、情報提供装置３００とサーバ装置４００とを備えて構成される。本実施の形態の駐車支援装置５００は、前述の第１および第２の実施の形態の駐車支援装置１００，２００と同一の構成が含まれているので、同一の構成については同一の参照符号を付して、共通する説明を省略する。<Fourth embodiment>
FIG. 50 is a block diagram showing a configuration of a
情報提供装置３００は、車両に搭載される。情報提供装置３００は、情報提供装置本体３１０、周辺撮影装置２、周辺検出装置３、表示装置４、車内ＬＡＮ５および操作入力装置６を備えて構成される。
The
情報提供装置本体３１０は、画像出力部１４、車内ＬＡＮインタフェース１５、車載側制御部３１１および車載側通信部３１２を備える。車載側制御部３１１は、たとえばＣＰＵ（Central Processing Unit）と、書き込み可能なＲＡＭなどのメモリとによって構成される。メモリは、制御プログラムを記憶する。ＣＰＵが、メモリに記憶されている制御プログラムを実行することによって、画像出力部１４、車内ＬＡＮインタフェース１５および車載側通信部３１２を統括的に制御する。
The information providing apparatus
サーバ装置４００は、画像合成部１１、駐車可能スペース判断部１２、サーバ側通信部４０１およびサーバ側制御部４０２を備えて構成される。
The
サーバ側通信部４０１は、情報提供装置３００と通信を行う。サーバ側通信部４０１は、情報提供装置３００と通信を行う場合、たとえば、インターネットなどの通信網を介して、情報提供装置３００と通信可能に構成される。
The server
サーバ側制御部４０２は、たとえばＣＰＵと、書き込み可能なＲＡＭなどのメモリとによって構成される。メモリは、制御プログラムを記憶する。ＣＰＵが、メモリに記憶されている制御プログラムを実行することによって、画像合成部１１および駐車可能スペース判断部１２およびサーバ側通信部４０１を統括的に制御する。
The server-
以上のように本実施の形態では、画像合成部１１、駐車可能スペース判断部１２およびサーバ側制御部４０２は、サーバ装置４００に配置される。このように配置される場合でも、前述の第１〜第３の実施の形態と同様の効果を得ることができる。
As described above, in the present embodiment, the
＜第５の実施の形態＞
図５１は、本発明の第５の実施の形態における駐車支援装置５１０の構成を示すブロック図である。本実施の形態の駐車支援装置５１０は、情報提供装置３００と携帯通信装置４１０とを備えて構成される。本実施の形態の駐車支援装置５００は、前述の第４の実施の形態の駐車支援装置５００と同一の構成が含まれているので、同一の構成については同一の参照符号を付して、共通する説明を省略する。<Fifth embodiment>
FIG. 51 is a block diagram showing a configuration of a
携帯通信装置４１０は、たとえば携帯電話機、スマートフォンまたはタブレット型端末装置によって実現される。携帯通信装置４１０は、画像合成部１１、駐車可能スペース判断部１２、携帯側通信部４１１および携帯側制御部４１２を備えて構成される。
The
携帯側通信部４１１は、情報提供装置３００と通信を行う。携帯側通信部４１１は、情報提供装置３００と通信を行う場合、たとえば、インターネットなどの通信網を介して、情報提供装置３００と通信可能に構成される。また、携帯側通信部４１１は、情報提供装置３００と通信を行う場合、たとえば、近距離無線通信規格であるブルートゥース（Bluetooth（登録商標））または無線ＬＡＮなどの無線によって、情報提供装置３００と通信可能に構成されてもよい。また、携帯側通信部４１１は、ＵＳＢ（Universal Serial Bus）ケーブルまたはＬＡＮケーブルなどの有線によって、情報提供装置３００と通信可能に構成されてもよい。
The
携帯側制御部４１２は、たとえばＣＰＵと、書き込み可能なＲＡＭなどのメモリとによって構成される。メモリは、制御プログラムを記憶する。ＣＰＵが、メモリに記憶されている制御プログラムを実行することによって、画像合成部１１および駐車可能スペース判断部１２および携帯側通信部４１１を統括的に制御する。
The portable
以上のように本実施の形態では、画像合成部１１、駐車可能スペース判断部１２および携帯側制御部４１２は、携帯通信装置４１０に配置される。このように配置される場合でも、前述の第１〜第３の実施の形態と同様の効果を得ることができる。
As described above, in the present embodiment, the
なお、本発明は、その発明の範囲内において、各実施の形態を自由に組み合わせることが可能である。また、各実施の形態の任意の構成要素を適宜、変更または省略することが可能である。 The present invention can be freely combined with each embodiment within the scope of the invention. In addition, any component in each embodiment can be changed or omitted as appropriate.
本発明は詳細に説明されたが、上記した説明は、すべての態様において、例示であって、本発明がそれに限定されるものではない。例示されていない無数の変形例が、本発明の範囲から外れることなく想定され得るものと解される。 Although the present invention has been described in detail, the above description is illustrative in all aspects, and the present invention is not limited thereto. It is understood that countless variations that are not illustrated can be envisaged without departing from the scope of the present invention.
１，１０，１０Ａ 駐車支援用表示制御装置、２ 周辺撮影装置、３ 周辺検出装置、４ 表示装置、５ 車内ＬＡＮ、６ 操作入力装置、７ 走行駆動装置、１１ 画像合成部、１２ 駐車可能スペース判断部、１３ 制御部、１４ 画像出力部、１５ 車内ＬＡＮインタフェース、１６ 自動駐車制御部、２１ 左側カメラ、２２ 右側カメラ、１００，２００，２０１，５００，５１０ 駐車支援装置、３１１ 車載側制御部、３１２ 車載側通信部、３００ 情報提供装置、３１０ 情報提供装置本体、４００ サーバ装置、４０１ サーバ側通信部、４０２ サーバ側制御部、４１０ 携帯通信装置、４１１ 携帯側通信部、４１２ 携帯側制御部。
DESCRIPTION OF
Claims (20)
周辺撮影装置によって前記車両の進行方向に沿って順に前記車両から側方へ向かって撮影される車両側方画像を表す画像情報を取得し、取得した前記画像情報に基づいて、前記車両側方画像を前記車両の進行方向に沿って繋ぎ合わせることによって、前記車両の運転者の視点もしくは前記運転者の視点を水平方向に移動した視点から見た前記車両の側方の画像である合成画像を生成する画像合成部と、
前記駐車可能スペース判断部によって前記駐車可能スペースが有ると判断された場合、前記駐車可能スペースの位置を示す駐車スペース表示オブジェクトを、前記画像合成部によって生成された前記合成画像に重畳して、駐車スペース画像を生成する制御部と、
前記制御部によって生成された前記駐車スペース画像を表示装置に出力する画像出力部とを備え、
前記駐車スペース画像は、少なくとも一部分が、立体的に視認可能な立体視画像であることを特徴とする駐車支援用表示制御装置。 A parking space determination unit that determines whether or not there is a parking space that can be parked around the vehicle, based on the situation around the vehicle detected by the periphery detection device;
Image information representing a vehicle side image captured from the vehicle to the side in order along the traveling direction of the vehicle by a peripheral photographing device is acquired, and the vehicle side image is obtained based on the acquired image information. by splicing isosamples along the traveling direction of the vehicle, a composite image is an image of a side of the vehicle as seen from the viewpoint the viewpoint is moved in the driver's viewpoint or the driver of the vehicle in the horizontal direction An image composition unit to be generated;
When the parking space determination unit determines that the parking space is present, the parking space display object indicating the position of the parking space is superimposed on the composite image generated by the image combining unit, and parking is performed. A control unit for generating a space image;
An image output unit that outputs the parking space image generated by the control unit to a display device;
The parking support display control device, wherein at least a part of the parking space image is a stereoscopically viewable stereoscopic image.
前記駐車車両領域は、前記立体視画像によって表されることを特徴とする請求項１に記載の駐車支援用表示制御装置。 The parking space image includes a parked vehicle area where a vehicle other than the vehicle is parked,
The parking assistance display control apparatus according to claim 1, wherein the parked vehicle area is represented by the stereoscopic image.
前記駐車車両領域は、平面的に視認される平面画像によって表されることを特徴とする請求項１に記載の駐車支援用表示制御装置。 The parking space image includes a parked vehicle area where a vehicle other than the vehicle is parked,
The parking assistance display control apparatus according to claim 1, wherein the parked vehicle area is represented by a planar image visually recognized in a planar manner.
前記駐車車両領域は、他の領域に比べて強調して表示されることを特徴とする請求項１に記載の駐車支援用表示制御装置。 The parking space image includes a parked vehicle area where a vehicle other than the vehicle is parked,
The parking assist display control apparatus according to claim 1, wherein the parked vehicle area is displayed with emphasis as compared with other areas.
前記制御部は、前記駐車スペース表示オブジェクトを前記右側合成画像と前記左側合成画像とにそれぞれ重畳して、前記駐車スペース画像を生成することを特徴とする請求項１に記載の駐車支援用表示制御装置。 The image composition unit, as the composite image, among the vehicle side images, a right composite image obtained by joining right side images on the right side in the traveling direction of the vehicle along the traveling direction of the vehicle, Generating a left composite image in which left side images on the left side in the direction of travel of the vehicle are joined together along the direction of travel of the vehicle;
The parking control display control according to claim 1, wherein the control unit generates the parking space image by superimposing the parking space display object on the right composite image and the left composite image, respectively. apparatus.
取得した前記画像情報に基づいて、前記車両側方画像を前記車両の進行方向に沿って繋ぎ合わせることによって、前記車両の運転者の視点もしくは前記運転者の視点を水平方向に移動した視点から見た前記車両の側方の画像である合成画像を生成し、
周辺検出装置によって検出される前記車両の周辺の状況に基づいて、前記車両の周辺に駐車可能な駐車可能スペースが有るか否かを判断し、
前記駐車可能スペースが有ると判断された場合、前記駐車可能スペースの位置を示す駐車スペース表示オブジェクトを前記合成画像に重畳して、少なくとも一部分が立体的に視認可能な立体視画像である駐車スペース画像を生成し、
生成された前記駐車スペース画像を表示装置に出力することを特徴とする駐車支援用表示制御方法。 Obtain image information representing a vehicle side image that is photographed from the vehicle to the side in order along the traveling direction of the vehicle by the peripheral photographing device,
Based on the acquired image information, by joining isosamples along the traveling direction of the vehicle the vehicle side image, from the viewpoint the viewpoint is moved in the driver's viewpoint or the driver of the vehicle in the horizontal direction Generate a composite image that is an image of the side of the vehicle seen ;
Based on the situation around the vehicle detected by the surrounding detection device, determine whether there is a parking space that can be parked around the vehicle,
When it is determined that there is a parking space, a parking space image that is a stereoscopic image that is at least partially stereoscopically visible by superimposing a parking space display object indicating the position of the parking space on the composite image. Produces
A parking assistance display control method, comprising: outputting the generated parking space image to a display device.
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/JP2016/062155 WO2017179205A1 (en) | 2016-04-15 | 2016-04-15 | Display control device for parking assistance, and display control method for parking assistance |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPWO2017179205A1 JPWO2017179205A1 (en) | 2018-09-27 |
| JP6611918B2 true JP6611918B2 (en) | 2019-11-27 |
Family
ID=60042392
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018511865A Active JP6611918B2 (en) | 2016-04-15 | 2016-04-15 | Parking assistance display control apparatus and parking assistance display control method |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP6611918B2 (en) |
| WO (1) | WO2017179205A1 (en) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102197704B1 (en) * | 2018-08-30 | 2021-01-07 | 주식회사 큐엘씨 | Augmented Reality Based Parking Guidance System in Indoor Parking Lot |
| CN111507269B (en) * | 2020-04-17 | 2023-05-09 | 浙江大华技术股份有限公司 | Parking space state identification method and device, storage medium and electronic device |
| CN113823112B (en) * | 2021-07-31 | 2023-01-03 | 浙江慧享信息科技有限公司 | Park parking space reservation auxiliary system and auxiliary method based on 3D projection |
| CN117727201B (en) * | 2024-01-31 | 2024-04-26 | 泰安市东信智联信息科技有限公司 | Intelligent parking method, system, device and storage medium |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3882517B2 (en) * | 2001-03-21 | 2007-02-21 | 日産自動車株式会社 | Parking position setting device |
| JP5088074B2 (en) * | 2007-10-01 | 2012-12-05 | 日産自動車株式会社 | Parking support apparatus and method |
| JP2012158227A (en) * | 2011-01-31 | 2012-08-23 | Fujitsu Ten Ltd | Image processor, parking control system, and image processing method |
| JP2012175483A (en) * | 2011-02-23 | 2012-09-10 | Renesas Electronics Corp | Device and method for traffic lane recognition |
| JP2013154730A (en) * | 2012-01-30 | 2013-08-15 | Fujitsu Ten Ltd | Apparatus and method for processing image, and parking support system |
| JP2016016681A (en) * | 2014-07-04 | 2016-02-01 | クラリオン株式会社 | Parking frame recognition device |
-
2016
- 2016-04-15 WO PCT/JP2016/062155 patent/WO2017179205A1/en active Application Filing
- 2016-04-15 JP JP2018511865A patent/JP6611918B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JPWO2017179205A1 (en) | 2018-09-27 |
| WO2017179205A1 (en) | 2017-10-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6304628B2 (en) | Display device and display method | |
| CA3069114C (en) | Parking assistance method and parking assistance device | |
| JP4818816B2 (en) | Parking assistance program and parking assistance device | |
| JP5454934B2 (en) | Driving assistance device | |
| US9862316B2 (en) | Method and device for visualizing the surroundings of a vehicle | |
| JP4476719B2 (en) | Navigation system | |
| CN106043306A (en) | Vehicle control device | |
| JP5681569B2 (en) | Information processing system, server device, and in-vehicle device | |
| JP6699370B2 (en) | Vehicle image processing device | |
| JP5726201B2 (en) | Three-dimensional stereoscopic display device, three-dimensional stereoscopic display control device, and LSI circuit | |
| JP6760122B2 (en) | Peripheral monitoring device | |
| JP6611918B2 (en) | Parking assistance display control apparatus and parking assistance display control method | |
| WO2017179206A1 (en) | Display control device for parking assistance, and display control method for parking assistance | |
| JP5914114B2 (en) | Parking assistance device and parking assistance method | |
| JP2015133603A (en) | Periphery monitoring device, and program | |
| JP2019095215A (en) | Superimposed image display device and computer program | |
| CN110997409A (en) | Peripheral monitoring device | |
| JP2022048455A (en) | Vehicle display device | |
| JP2019054420A (en) | Image processing system | |
| JP2015088942A (en) | Image display system, image display method, and program | |
| JP2017065572A (en) | Surrounding state monitoring device | |
| JP5212422B2 (en) | Driving assistance device | |
| WO2021171397A1 (en) | Display control device, display device, and display control method | |
| JP2022048454A (en) | Vehicle display device | |
| JP2004328216A (en) | On-vehicle three-dimensional display system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180404 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180404 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190305 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190422 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20191001 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20191029 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6611918 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |