JP6656359B2 - 駐車支援用表示制御装置および駐車支援用表示制御方法 - Google Patents

駐車支援用表示制御装置および駐車支援用表示制御方法 Download PDF

Info

Publication number
JP6656359B2
JP6656359B2 JP2018511866A JP2018511866A JP6656359B2 JP 6656359 B2 JP6656359 B2 JP 6656359B2 JP 2018511866 A JP2018511866 A JP 2018511866A JP 2018511866 A JP2018511866 A JP 2018511866A JP 6656359 B2 JP6656359 B2 JP 6656359B2
Authority
JP
Japan
Prior art keywords
image
vehicle
parking
display
parking space
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018511866A
Other languages
English (en)
Other versions
JPWO2017179206A1 (ja
Inventor
直志 宮原
直志 宮原
下谷 光生
光生 下谷
井上 悟
井上  悟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of JPWO2017179206A1 publication Critical patent/JPWO2017179206A1/ja
Application granted granted Critical
Publication of JP6656359B2 publication Critical patent/JP6656359B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/14Traffic control systems for road vehicles indicating individual free spaces in parking areas

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Traffic Control Systems (AREA)
  • Closed-Circuit Television Systems (AREA)

Description

本発明は、駐車支援用表示制御装置および駐車支援用表示制御方法に関する。
車両の駐車を支援するために、駐車可能なスペースを検出し、運転者に提示する技術が提案されている。たとえば、特許文献1,2に開示される技術では、車両に搭載される複数のカメラで撮影された画像から、車両の上方から見たような俯瞰画像が合成され、運転者に提示される。
特開2006−129021号公報 特開2013−133098号公報
駐車可能スペースを探すために車両が比較的低い速度で移動している場合、運転者は、運転席の位置から周辺を見る。前述の特許文献1,2に開示される技術では、駐車可能スペースは、俯瞰画像として運転者に提示されるので、運転者が現実に見た情景とは異なる。したがって、運転者が、提示された駐車可能スペースを即座に理解できない場合があるという問題がある。
以上のことから、より直感的に運転者に駐車可能スペースを提示することができる技術が求められる。
本発明の目的は、運転者にとって直観的に理解が可能な表示形態で駐車可能なスペースを提示することができる駐車支援用表示制御装置および駐車支援用表示制御方法を提供することである。
本発明の駐車支援用表示制御装置は、周辺検出装置によって検出される車両の周辺の状況に基づいて、車両の周辺に駐車可能な駐車可能スペースが有るか否かを判断する駐車可能スペース判断部と、周辺撮影装置によって車両の進行方向に沿って順に車両から側方へ向かって撮影される車両側方画像を表す画像情報を取得し、取得した画像情報に基づいて、車両側方画像を車両の進行方向に沿って繋ぎ合わせることによって、車両の運転者の視点から見た車両の側方の画像である合成画像を生成する画像合成部と、駐車可能スペース判断部によって駐車可能スペースが有ると判断された場合、駐車可能スペースの位置を示す駐車スペース表示オブジェクトを、画像合成部によって生成された合成画像に重畳して、駐車スペース画像を生成する制御部と、制御部によって生成された駐車スペース画像を表示装置に出力する画像出力部とを備えることを特徴とする。
本発明の駐車支援用表示制御方法は、周辺撮影装置によって車両の進行方向に沿って順に車両から側方へ向かって撮影される車両側方画像を表す画像情報を取得し、取得した画像情報に基づいて、車両側方画像を車両の進行方向に沿って繋ぎ合わせることによって、車両の運転者の視点から見た車両の側方の画像である合成画像を生成し、周辺検出装置によって検出される車両の周辺の状況に基づいて、車両の周辺に駐車可能な駐車可能スペースが有るか否かを判断し、駐車可能スペースが有ると判断された場合、駐車可能スペースの位置を示す駐車スペース表示オブジェクトを合成画像に重畳して駐車スペース画像を生成し、生成された駐車スペース画像を表示装置に出力することを特徴とする。

本発明の駐車支援用表示制御装置によれば、周辺検出装置によって検出される車両の周辺の状況に基づいて、車両の周辺に駐車可能スペースが有るか否かが、駐車可能スペース判断部によって判断される。周辺撮影装置によって車両の進行方向に沿って順に撮影される車両側方画像を表す画像情報が画像合成部によって取得され、取得された画像情報に基づいて、車両側方画像を車両の進行方向に沿って繋ぎ合わせた合成画像が生成される。駐車可能スペース判断部によって駐車可能スペースが有ると判断された場合、制御部によって、駐車スペース表示オブジェクトが、画像合成部によって生成された合成画像に重畳されて、駐車スペース画像が生成される。制御部によって生成された駐車スペース画像が、画像出力部によって表示装置に出力される。これによって、運転者にとって直観的に理解が可能な表示形態で駐車可能なスペースを提示することができる。
本発明の駐車支援用表示制御方法によれば、周辺撮影装置によって車両の進行方向に沿って順に撮影される車両側方画像を表す画像情報が取得され、取得された画像情報に基づいて、車両側方画像を車両の進行方向に沿って繋ぎ合わせた合成画像が生成される。周辺検出装置によって検出される車両の周辺の状況に基づいて、車両の周辺に駐車可能スペースが有るか否かが判断される。駐車可能スペースが有ると判断された場合、駐車スペース表示オブジェクトが合成画像に重畳されて、駐車スペース画像が生成される。生成された駐車スペース画像が表示装置に出力される。これによって、運転者にとって直観的に理解が可能な表示形態で駐車可能なスペースを提示することができる。
本発明の目的、特徴、態様、および利点は、以下の詳細な説明と添付図面とによって、より明白となる。
本発明の第1の実施の形態における駐車支援装置100の構成を示すブロック図である。 本発明の第2の実施の形態における駐車支援装置200の構成を示すブロック図である。 本発明の第2の実施の形態における駐車支援用表示制御装置10のハードウェア構成を示すブロック図である。 周辺撮影装置2によって車両側方画像が撮影される様子を模式的に示す図である。 車両側方画像の一例を示す図である。 合成画像の一例を示す図である。 駐車スペース画像の一例を示す図である。 本発明の第2の実施の形態の駐車支援用表示制御装置10における表示制御処理に関する処理手順を示すフローチャートである。 本発明の第2の実施の形態の駐車支援用表示制御装置10における表示制御処理に関する処理手順を示すフローチャートである。 駐車スペース画像の他の例を示す図である。 駐車スペース画像の他の例を示す図である。 駐車スペース画像の他の例を示す図である。 車両の左右のカメラ21,22で左右の車両側方画像を撮影する様子を示す図である。 図13に示す場合の駐車スペース画像の一例を示す図である。 駐車スペース画像の他の例を示す図である。 駐車スペース画像の他の例を示す図である。 駐車スペース画像の他の例を示す図である。 駐車スペース画像の他の例を示す図である。 駐車スペース画像の他の例を示す図である。 自車両31の走行軌跡33の一例を示す図である。 駐車スペース画像の他の例を示す図である。 駐車スペース画像の他の例を示す図である。 駐車スペース画像の他の例を示す図である。 駐車スペース画像の他の例を示す図である。 駐車スペース画像の他の例を示す図である。 駐車スペース画像の他の例を示す図である。 駐車スペース画像の他の例を示す図である。 駐車スペース画像の他の例を示す図である。 駐車スペース画像の他の例を示す図である。 駐車スペース画像の他の例を示す図である。 駐車スペース画像の他の例を示す図である。 駐車スペース画像の他の例を示す図である。 駐車スペース画像の他の例を示す図である。 駐車スペース画像の他の例を示す図である。 駐車スペース画像の他の例を示す図である。 駐車スペース画像の他の例を示す図である。 駐車スペース画像の他の例を示す図である。 駐車スペース画像の他の例を示す図である。 駐車スペース画像の他の例を示す図である。 駐車スペース画像の他の例を示す図である。 駐車スペース画像の他の例を示す図である。 本発明の第3の実施の形態における駐車支援装置201の構成を示すブロック図である。 本発明の第3の実施の形態における駐車スペース画像290の一例を示す図である。 本発明の第4の実施の形態における駐車支援装置500の構成を示すブロック図である。 本発明の第5の実施の形態における駐車支援装置510の構成を示すブロック図である。
<第1の実施の形態>
図1は、本発明の第1の実施の形態における駐車支援装置100の構成を示すブロック図である。駐車支援装置100は、駐車支援用表示制御装置1、周辺撮影装置2、周辺検出装置3および表示装置4を備えて構成される。駐車支援用表示制御装置1は、画像合成部11、駐車可能スペース判断部12、制御部13および画像出力部14を備える。
駐車支援用表示制御装置1は、車両に搭載されて使用される。周辺撮影装置2、周辺検出装置3および表示装置4は、駐車支援用表示制御装置1を搭載する車両(以下「自車両」という場合がある)に設けられる。本発明の他の実施の形態である駐車支援用表示制御方法は、本実施の形態の駐車支援用表示制御装置1によって実行される。
周辺撮影装置2は、カメラによって構成される。本実施の形態では、周辺撮影装置2は、自車両の進行方向の右側方、左側方および後方に設けられる。周辺撮影装置2は、自車両の周辺の画像、具体的には、自車両の進行方向の右側方、左側方および後方の画像を撮影する。以下の説明では、自車両の進行方向の右側方の画像を「右側方画像」といい、自車両の進行方向の左側方の画像を「左側方画像」といい、自車両の進行方向の後方の画像を「後方画像」という場合がある。
周辺撮影装置2は、自車両の進行方向に沿って順に、自車両の側方の画像(以下「車両側方画像」という場合がある)を撮影する。周辺撮影装置2は、駐車支援用表示制御装置1の画像合成部11に接続されている。周辺撮影装置2によって撮影された画像を表す画像情報は、画像合成部11に与えられる。
画像合成部11は、周辺撮影装置2から、車両側方画像などを表す画像情報を取得する。画像合成部11は、取得した画像情報に基づいて、車両側方画像を車両の進行方向に沿って繋ぎ合せた合成画像を生成する。
周辺検出装置3は、自車両の周辺の状況を検出する。具体的には、周辺検出装置3は、自車両の周辺に存在する物体を検出するとともに、自車両と物体との相対位置を検出する。自車両の周辺に存在する物体は、たとえば他の車両および地物である。周辺検出装置3は、たとえば、超音波センサ、画像処理センサ、ミリ波レーダおよびレーザレーダのうちの少なくとも1つによって構成される。画像処理センサは、カメラであってもよい。
周辺検出装置3は、駐車支援用表示制御装置1の駐車可能スペース判断部12に接続されている。周辺検出装置3は、検出した自車両の周辺の状況を表す検出情報を生成する。たとえば、周辺検出装置3は、検出した物体、および自車両と物体との相対位置を表す検出情報を生成する。周辺検出装置3は、生成した検出情報を駐車可能スペース判断部12に与える。
駐車可能スペース判断部12は、周辺検出装置3によって検出される自車両の周辺の状況、具体的には周辺検出装置3から与えられる検出情報に基づいて、自車両の周辺に駐車可能なスペースである駐車可能スペースが有るか否かを判断する。本実施の形態では、駐車可能スペース判断部12は、駐車可能スペースとして、駐車可能な区画が有るか否かを判断する。
制御部13は、駐車可能スペース判断部12によって駐車可能スペースが有ると判断された場合、駐車可能スペースの位置を示す駐車スペース表示オブジェクトを生成する。制御部13は、生成した駐車スペース表示オブジェクトを、画像合成部11によって生成された合成画像に重畳して、駐車スペース画像を生成する。
画像出力部14は、制御部13によって生成された駐車スペース画像、具体的には駐車スペース画像を表す画像情報を表示装置4に出力する。
表示装置4は、たとえば液晶ディスプレイ、ヘッドアップディスプレイなどによって構成される。表示装置4は、画像出力部14から与えられる画像情報が表す画像を表示画面に表示する。これによって、駐車支援用表示制御装置1の使用者、たとえば自車両の運転者に、各種の情報、たとえば駐車可能スペースを提示することができる。
以上のように本実施の形態によれば、周辺検出装置3によって検出される自車両の周辺の状況に基づいて、自車両の周辺に駐車可能スペースが有るか否かが、駐車可能スペース判断部12によって判断される。周辺撮影装置2によって自車両の進行方向に沿って順に撮影される車両側方画像を表す画像情報が画像合成部11によって取得され、取得された画像情報に基づいて、車両側方画像を自車両の進行方向に沿って繋ぎ合わせた合成画像が生成される。
駐車可能スペース判断部12によって駐車可能スペースが有ると判断された場合、制御部13によって、駐車スペース表示オブジェクトが、画像合成部11によって生成された合成画像に重畳されて、駐車スペース画像が生成される。制御部13によって生成された駐車スペース画像が、画像出力部14によって表示装置4に出力される。これによって、運転者にとって直観的に理解が可能な表示形態で駐車可能なスペースを提示することができる。
以上に述べた本実施の形態では、周辺撮影装置2と周辺検出装置3とが別個に設けられているが、周辺撮影装置2が周辺検出装置3を兼ねていてもよい。
<第2の実施の形態>
図2は、本発明の第2の実施の形態における駐車支援装置200の構成を示すブロック図である。駐車支援装置200は、駐車支援用表示制御装置10、周辺撮影装置2、周辺検出装置3、表示装置4、車内LAN(Local Area Network)5および操作入力装置6を備えて構成される。駐車支援用表示制御装置10は、画像合成部11、駐車可能スペース判断部12、制御部13、画像出力部14および車内LANインタフェース15を備える。
駐車支援用表示制御装置10は、車両に搭載されて使用される。周辺撮影装置2、周辺検出装置3、表示装置4、車内LAN5および操作入力装置6は、駐車支援用表示制御装置10を搭載する自車両に設けられる。
本実施の形態の駐車支援装置200は、前述の図1に示す第1の実施の形態の駐車支援装置100と同一の構成を含んでいるので、同一の構成については同一の参照符号を付して、共通する説明を省略する。本発明の他の実施の形態である駐車支援用表示制御方法は、本実施の形態の駐車支援用表示制御装置10によって実行される。
車内LAN5は、たとえばCAN(Controller Area Network)によって構成される。車内LAN5は、駐車支援用表示制御装置10の車内LANインタフェース15に接続されている。車内LAN5は、自車両に関する種々の車両情報を車内LANインタフェース15に与える。
車両情報は、たとえば、自車両に設けられた種々のセンサによって検出したセンサ情報、自車両に設けられた表示灯および警告灯などの車両機器に関する情報、車両機器の状態を示す情報、車両の走行速度を表す車速情報、操舵角度を表す情報、ブレーキの状態を示す情報、ならびにシフトレバーの状態を示す情報などである。表示灯は、たとえばウインカーであり、車両機器に関する情報は、たとえばウインカーに関するウインカー情報である。
車内LANインタフェース15は、車内LAN5から与えられた車両情報を、画像合成部11、駐車可能スペース判断部12および制御部13に与える。制御部13は、車内LAN5から与えられた車両情報から、車両の移動の奇跡を表す車両移動軌跡情報を求める。制御部13によって求められる車両移動軌跡情報は、駐車支援用表示制御装置10の各部で利用される。
操作入力装置6は、使用者によって操作される不図示の操作入力部を備える。操作入力部は、たとえば、操作スイッチおよび操作ボタンを含む。操作入力装置6は、使用者が、数字情報、文字情報および駐車支援用表示制御装置10への指示情報などの各種の情報を入力するときに用いられる。使用者によって操作入力部が操作されると、操作入力装置6は、使用者の入力操作に応じた操作情報を生成して、制御部13に与える。操作入力装置6は、使用者が何も操作していないときには、使用者が何も操作していないことを表す情報を含む操作情報を生成する。
操作入力装置6の操作入力部は、操作スイッチおよび操作ボタンの代わりに、タッチパネル、または音声による操作入力が可能な音声入力装置によって構成されてもよい。
操作入力装置6の操作入力部がタッチパネルで構成される場合、タッチパネルは、表示装置4の表示画面上に設置され、使用者のタッチ操作とタッチ位置とを検出する。タッチパネルは、検出したタッチ操作とタッチ位置とに応じた操作情報を生成して、制御部13に与える。
操作入力装置6の操作入力部が音声入力装置で構成される場合、音声入力装置は、入力された音声を認識する。音声入力装置は、認識した音声に応じた操作情報を生成して、制御部13に与える。
制御部13は、画像重畳部として機能する。制御部13が画像重畳部として機能する場合、前述の第1の実施の形態における制御部13と同様の機能を有する。具体的には、制御部13は、駐車可能スペース判断部12によって駐車可能スペースが有ると判断された場合、駐車可能スペースの位置を示す駐車スペース表示オブジェクトを生成し、生成した駐車スペース表示オブジェクトを、画像合成部11によって生成された合成画像に重畳して、駐車スペース画像を生成する。
また制御部13は、操作入力装置6から与えられる操作情報に基づいて、駐車支援用表示制御装置10の全体を制御する。
図3は、本発明の第2の実施の形態における駐車支援用表示制御装置10のハードウェア構成を示すブロック図である。駐車支援用表示制御装置10における画像合成部11、駐車可能スペース判断部12、画像出力部14および制御部13は、処理回路によって実現される。すなわち、駐車支援用表示制御装置10は、駐車可能スペース判断部12が、周辺検出装置3によって検出される車両の周辺の状況に基づいて、車両の周辺に駐車可能な駐車可能スペースが有るか否かを判断し、画像合成部11が、周辺撮影装置2によって車両の進行方向に沿って順に撮影される車両の側方の車両側方画像を表す画像情報を取得し、取得した画像情報に基づいて、車両側方画像を車両の進行方向に沿って繋ぎ合わせた合成画像を生成し、制御部13が、駐車可能スペース判断部12によって駐車可能スペースが有ると判断された場合、駐車可能スペースの位置を示す駐車スペース表示オブジェクトを、画像合成部11によって生成された合成画像に重畳して、駐車スペース画像を生成し、画像出力部14が、制御部13によって生成された駐車スペース画像を表示装置に出力するための処理回路を備える。
処理回路には、専用のハードウェアが適用されてもよいし、メモリ102に記憶されるプログラムを実行するプロセッサ(Central Processing Unit、Graphics Processing Unit、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、DSP(Digital Signal Processor)ともいう)101が適用されてもよい。
処理回路が専用のハードウェアである場合、処理回路は、たとえば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ASIC(Application Specific Integrated Circuit)、FPGA(Field Programmable Gate Array)、またはこれらを組み合わせたものが該当する。画像合成部11、駐車可能スペース判断部12、画像出力部14および制御部13の各部の機能は、それぞれ、複数の処理回路で実現されてもよいし、各部の機能をまとめて一つの処理回路で実現されてもよい。
処理回路がプロセッサを用いて構成されている場合、駐車支援用表示制御装置10における画像合成部11、駐車可能スペース判断部12、画像出力部14および制御部13の各機能は、ソフトウェア、ファームウェア、またはソフトウェアとファームウェアとの組み合わせによって実現される。ソフトウェアおよびファームウェアはプログラムとして記述され、メモリ102に記憶される。
処理回路は、メモリ102に記憶されたプログラムを読み出して実行することによって、各部の機能を実現する。すなわち、駐車支援用表示制御装置10は、処理回路によって実行されるときに、周辺撮影装置2によって車両の進行方向に沿って順に撮影される車両の側方の車両側方画像を表す画像情報を取得し、取得した画像情報に基づいて、車両側方画像を車両の進行方向に沿って繋ぎ合わせた合成画像を生成するステップと、周辺検出装置3によって検出される車両の周辺の状況に基づいて、車両の周辺に駐車可能な駐車可能スペースが有るか否かを判断するステップと、駐車可能スペースが有ると判断された場合、駐車可能スペースの位置を示す駐車スペース表示オブジェクトを合成画像に重畳して駐車スペース画像を生成するステップと、生成された駐車スペース画像を表示装置4に出力するステップとが結果的に実行されることになるプログラムを記憶するためのメモリ102を備える。
また、これらのプログラムは、画像合成部11、駐車可能スペース判断部12、制御部13および画像出力部14が行う処理の手順および方法をコンピュータに実行させるものであるともいえる。
ここで、メモリ102は、たとえば、RAM(Random Access Memory)、ROM(Read Only Memory)、フラッシュメモリ、EPROM(Erasable Programmable Read Only Memory)、EEPROM(Electrically Erasable Programmable Read Only Memory)などの、不揮発性または揮発性の半導体メモリ、ならびに磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、およびDVD(Digital Versatile Disc)などが該当する。
以上のように、本実施の形態では、画像合成部11、駐車可能スペース判断部12、制御部13および画像出力部14の各機能は、ハードウェアおよびソフトウェアなどのいずれか一方で実現される構成である。しかし、これらの構成に限られるものではなく、画像合成部11、駐車可能スペース判断部12、制御部13および画像出力部14の一部を専用のハードウェアで実現し、別の一部をソフトウェアなどで実現する構成であってもよい。たとえば、制御部13については専用のハードウェアとしての処理回路でその機能を実現し、それ以外についてはプロセッサとしての処理回路がメモリ102に記憶されたプログラムを読み出して実行することによってその機能を実現することが可能である。
以上のように、処理回路は、ハードウェア、ソフトウェアなど、またはこれらの組み合わせによって、前述の各機能を実現することができる。
図4は、周辺撮影装置2によって車両側方画像が撮影される様子を模式的に示す図である。図4(a)は、自車両31の進行方向32の左側方に存在する車両を上方から見た俯瞰画像の一例を示す図である。図4(b)は、自車両31の進行方向32の左側方に存在する車両を自車両31から見た状態を示す図である。図4(c)は、自車両31の進行方向32を示す図である。周辺撮影装置2は、自車両31の進行方向32の左側に設置される左側カメラ21と、自車両31の進行方向32の右側に設置される右側カメラ22とを含む。
駐車可能スペース30をサーチする駐車スペースサーチを行うとき、自車両31は、進行方向32に向かって前進しながら、左側カメラ21によって、複数の左側方画像を順に撮影する。これによって、自車両31の左側方に存在する他の車両L1,L3,L4の画像が撮影される。
図示は省略するが、自車両31は、進行方向32に向かって前進しながら、右側カメラ22によって、複数の右側方画像を順に撮影する。これによって、自車両31の右側方に存在する他の車両の画像が撮影される。
このように周辺撮影装置2は、自車両31の進行方向32に沿って順に、自車両31の側方の車両側方画像を撮影する。周辺撮影装置2は、撮影した車両側方画像を表す画像情報を生成し、駐車支援用表示制御装置10の画像合成部11に与える。
図5は、車両側方画像の一例を示す図である。図5(a)は、左側方画像の一例を示す図である。図5(b)は、自車両31の進行方向32を示す図である。図6は、合成画像の一例を示す図である。図6では、左側合成画像の一例として、左側合成画像40を示す。図7は、駐車スペース画像の一例を示す図である。図7では、駐車スペース画像の一例として、駐車スペース画像40Aを示す。
図5に示すように、自車両31は、駐車スペースサーチを開始した時点の自車両31の位置(以下「駐車スペースサーチ開始位置」という場合がある)Tsから、駐車可能スペースを提示する時点の自車両31の位置(以下「駐車可能スペース提示位置」という場合がある)Teに向かって、進行方向32に沿って進行する。
この自車両31が進行する間に、前述の図2に示す周辺撮影装置2は、自車両31の進行方向32に沿って順に、自車両31の側方の車両側方画像を撮影する。たとえば、左側カメラ21によって左側方の車両側方画像、すなわち左側方画像が撮影された場合、図5(a)に示すように、複数の左側方画像P1,P2,…,Pnが撮影される。図5(a)では、n個の左側方画像が撮影される場合を示している。ここで、nは自然数である。
画像合成部11は、周辺撮影装置2から取得した画像情報に基づいて、以上のようにして撮影された車両側方画像を、自車両31の進行方向32に沿って繋ぎ合せた合成画像を生成する。たとえば、図5(a)に示す複数の左側方画像P1,P2,…,Pnが撮影された場合、画像合成部11は、隣合う左側方画像P1,P2,…,Pnを繋ぎ合せて、図6に示すように、自車両31の左側合成画像40として、1枚の画像を生成する。
駐車可能スペースを探索するときには、周辺撮影装置2による撮影と併せて、周辺検出装置3によるセンシングが行われる。周辺検出装置3は、たとえば超音波センサによって構成され、自車両31の進行方向の左右の空きスペースをセンシングする。駐車可能スペース判断部12は、周辺検出装置3から与えられる検出情報に基づいて、駐車可能スペースが有るか否かを判断する。周辺検出装置3のセンシングアルゴリズム、および駐車可能スペース判断部12による駐車可能スペースの有無の判断には、公知の方法を用いることができる。
このようにして駐車可能スペース判断部12によって駐車可能スペースが有ると判断された場合、制御部13は、たとえば図7に示すように、駐車スペース表示オブジェクト41を生成する。制御部13は、生成された駐車スペース表示オブジェクト41を、画像合成部11によって生成された図6に示す合成画像40に重畳し、図7に示す駐車スペース画像40Aを生成する。
このようにして生成された駐車スペース画像40Aは、表示装置4に与えられ、表示装置4の表示画面に表示される。これによって、駐車スペース表示オブジェクト41を含む駐車スペース画像40Aを運転者に提示することができる。
図5〜図7では、一例として、自車両31の進行方向32の左側方における合成画像40および駐車スペース画像40Aを生成する場合を示しているが、自車両31の進行方向の32の右側方における合成画像および駐車スペース画像についても、同様にして生成することができる。
図8および図9は、本発明の第2の実施の形態の駐車支援用表示制御装置10における表示制御処理に関する処理手順を示すフローチャートである。
ステップS1において、車内LANインタフェース15は、車内LAN5から車両情報を取得する。車両情報を取得すると、ステップS2に移行する。
ステップS2において、制御部13は、操作入力装置6から操作情報を取得する。操作情報を取得すると、ステップS3に移行する。
ステップS3において、制御部13は、駐車スペースサーチ開始条件を満たすか否かを判断する。ここで、駐車スペースサーチ開始条件は、車速が予め定める速度未満になること、たとえば10km/h未満になること、または使用者からの駐車スペース検出命令が入力されることである。駐車スペースサーチ開始条件を満たすと判断された場合は、ステップS4に移行し、駐車スペースサーチ開始条件を満たさないと判断された場合は、ステップS1に戻る。
ステップS4において、画像合成部11は、周辺撮影装置2から画像情報を取得する。画像情報を取得すると、ステップS5に移行する。
ステップS5において、駐車可能スペース判断部12は、周辺検出装置3から車両周辺情報を取得する。車両周辺情報は、たとえば自車両と、他の車両または地物などの障害物との相対位置である。車両周辺情報を取得すると、ステップS6に移行する。
ステップS6において、駐車可能スペース判断部12は、駐車可能スペース検出処理を行う。駐車可能スペース検出処理では、駐車可能スペース判断部12は、ステップS5で取得した車両周辺情報を用いて、駐車可能スペースの有無を判断する。
本実施の形態では、駐車可能スペース判断部12は、駐車可能スペース検出処理において、駐車可能スペースを求め、その位置に自車両が駐車するための経路が存在する場合に、駐車可能であると判断する。
このとき、駐車可能スペース判断部12は、車内LANインタフェース15から与えられる車両情報から自車両の走行経路を求め、周辺撮影装置2で撮影された画像、および周辺検出装置3で検出された検出情報の、時間属性および位置属性とする。駐車可能スペース判断部12は、これらを用いて、求めた駐車可能スペースの位置に自車両が駐車するための経路が存在するか否かを判断する。駐車可能スペース検出処理が終了した後は、ステップS7に移行する。
ステップS7において、制御部13は、操作入力装置6から操作情報を取得する。操作情報を取得すると、ステップS8に移行する。
ステップS8において、車内LANインタフェース15は、車内LAN5から車両情報を取得する。車両情報を取得すると、図9のステップS9に移行する。
図9のステップS9において、制御部13は、駐車スペースサーチ終了条件を満たすか否かを判断する。ここで、駐車スペースサーチ終了条件は、車速が予め定める速度以上、たとえば10km/h以上になること、または使用者からの駐車スペースサーチ終了命令が入力されることである。駐車スペースサーチ終了条件を満たすと判断された場合は、全ての処理手順を終了し、駐車スペースサーチ終了条件を満たさないと判断された場合は、ステップS10に移行する。
ステップS10において、制御部13は、駐車可能スペース表示条件を満たすか否かを判断する。ここで、駐車可能スペース表示条件は、駐車可能スペースが発見された場合、自車両が停車した場合、使用者から駐車スペース表示命令が入力された場合のうちのいずれかの場合を満たすことである。駐車可能スペース表示条件を満たすと判断された場合は、ステップS11に移行する。駐車可能スペース表示条件を満たさないと判断された場合は、ステップS15に移行する。
ステップS11において、画像合成部11は、合成画像を生成する。合成画像を生成すると、ステップS12に移行する。
ステップS12において、制御部13は、駐車スペース表示オブジェクトを生成する。駐車スペース表示オブジェクトを生成すると、ステップS13に移行する。
ステップS13において、制御部13は、ステップS12で生成された駐車スペース表示オブジェクトを、ステップS11で生成された合成画像に重畳して、駐車スペース画像を生成する。駐車スペース画像を生成すると、ステップS14に移行する。
ステップS14において、画像出力部14は、ステップS14で生成された駐車スペース画像を表示装置4に出力する。駐車スペース画像を表示装置4に出力した後は、図8のステップS4に戻る。
ステップS15において、制御部13は、ステップS14で生成された駐車スペース画像を消去する。駐車スペース画像を消去した後は、図8のステップS4に戻る。
以上の本実施の形態によれば、第1の実施の形態と同様の効果を得ることができる。具体的には、周辺検出装置3によって検出される自車両の周辺の状況に基づいて、自車両の周辺に駐車可能スペースが有るか否かが、駐車可能スペース判断部12によって判断される。周辺撮影装置2によって自車両の進行方向に沿って順に撮影される車両側方画像を表す画像情報が画像合成部11によって取得され、取得された画像情報に基づいて、車両側方画像を自車両の進行方向に沿って繋ぎ合わせた合成画像が生成される。
駐車可能スペース判断部12によって駐車可能スペースが有ると判断された場合、制御部13によって、駐車スペース表示オブジェクトが、画像合成部11によって生成された合成画像に重畳されて、駐車スペース画像が生成される。制御部13によって生成された駐車スペース画像が、画像出力部14によって表示装置4に出力される。これによって、運転者にとって直観的に理解が可能な表示形態で駐車可能なスペースを提示することができる。
図10は、駐車スペース画像の他の例を示す図である。図10では、紙面に向かって左側から右側に向かう方向が、自車両31の進行方向32となっている。制御部13は、たとえば図10に示すように、自車両31の進行方向32の前方側から後方側に向かうに従って、他の車両L1,L3,L4を撮影した車両側方画像が小さくなるように駐車スペース画像50を生成してもよい。すなわち、駐車スペース画像50は、図10に示すように、遠近法的に、自車両31から遠い方を小さくするように画像処理変形を行った変形画像でもよい。この場合、駐車スペース表示オブジェクト41も、他の車両L1,L3,L4を撮影した車両側方画像と合わせて、自車両31の進行方向32の前方側から後方側に向かうに従って小さくなるように生成される。
このような画像で駐車スペース画像50を構成することによって、運転者に、より直観的に理解が可能な表示形態で駐車可能スペースを提示することができる。
図11は、駐車スペース画像の他の例を示す図である。図11では、実際には表示されないが、理解を容易にするために、自車両31を仮想線で示している。制御部13は、図11に示すように、車両側方画像が、表示装置4の表示画面上に対応する自車両31の進行方向32に沿って、表示装置4の表示画面に向かって上側から下側に順に表示されるように、駐車スペース画像51を生成してもよい。駐車スペース画像51は、他の車両L1,L3,L4を撮影した車両側方画像とともに、駐車スペース表示オブジェクト41を含んでもよい。
また制御部13は、前述の図7に示すように、車両側方画像が、表示装置4の表示画面上に対応する自車両31の進行方向32に沿って、表示装置4の表示画面に向かって左側から右側に順に表示されるように、駐車スペース画像40Aを生成してもよい。
図7および図11に示すように駐車スペース画像40A,51を生成することによって、自車両31に最も近い駐車車両L4が自車両31に近い方向になるように表示することができる。したがって、運転者に、より直観的に理解が可能な表示形態で駐車可能スペースを提示することができる。
図12は、駐車スペース画像の他の例を示す図である。制御部13は、合成画像が、自車両31の位置を支点として自車両31の進行方向32から予め定める回転角度θ回転して表示されるように、駐車スペース画像52を生成してもよい。これによって、運転者に、より直観的に理解が可能な表示形態で駐車可能スペースを提示することができる。
また制御部13は、図12に示すように、合成画像に、自車両31の位置を示す車両位置表示オブジェクトをさらに重畳して、駐車スペース画像52を生成してもよい。このように合成画像の自車両31の位置に相当する位置に、車両位置表示オブジェクトを重畳することによって、運転者に、より直観的に理解が可能な表示形態で駐車可能スペースを提示することができる。
図13は、車両の左右のカメラ21,22で左右の車両側方画像を撮影する様子を示す図である。図13(a)は、自車両31の左側の領域を上方から見た上面図である。図13(b)は、撮影された左側方画像を示す図である。図13(c)は、自車両31の走行状況を示す図である。図13(d)は、撮影された右側方画像を示す図である。図13(e)は、自車両31の右側の領域を上方から見た上面図である。
図13(a)〜図13(e)に示すように、自車両31の進行方向32の左右両側に他の車両L1,L3,L4,R1,R2,R4が駐車されている場合、周辺撮影装置2の左右のカメラ21,22によって、左右の車両側方画像、すなわち右側方画像および左側方画像が撮影される。
駐車可能スペース判断部12は、左右の駐車可能スペースをサーチする駐車スペースサーチを行う。これによって、たとえば、左側駐車可能スペースSLおよび右側駐車可能スペースSRが検出される。
図14は、図13に示す場合の駐車スペース画像の一例を示す図である。制御部13は、左右の合成画像61,62、すなわち左側合成画像61および右側合成画像62に、駐車可能スペースSL,SRを示す表示オブジェクトを重畳する。これによって、左右の駐車可能スペースSL,SRを含む駐車スペース画像60が生成される。このような駐車スペース画像60とすることによって、運転者に、より直観的に理解が可能な表示形態で駐車可能スペースを提示することができる。
駐車スペース画像60において、右側合成画像62は、たとえば、自車両31に最も近い車両R4の画像の端部が基準線63に一致するように表示される。左側合成画像61は、たとえば、自車両31に最も近い車両L4の画像の端部が、基準線63よりも自車両31の進行方向の反対側に離れて表示される。
図15は、駐車スペース画像の他の例を示す図である。制御部13は、表示装置4の表示画面のうち、予め定める第1の表示領域71に左側合成画像61が表示され、予め定める第2の表示領域72に右側合成画像62が表示されるように、駐車スペース画像70を生成してもよい。これによって、運転者に、より直観的に理解が可能な表示形態で駐車可能スペースを提示することができる。図15では、第1の表示領域71は、表示装置4の表示画面に向かって左側の領域であり、第2の表示領域72は、表示装置4の表示画面に向かって右側の領域である。
また図15に示すように、各表示領域71,72の背景を、異なる表示形態で表示するようにしてもよい。たとえば、推奨する駐車可能スペースSRがある第2の表示領域72以外の表示領域、すなわち第1の表示領域71の背景を、半透過処理して、第2の表示領域72の背景よりも暗く表示させてもよい。図15では、第1の表示領域71にハッチングを付して、第2の表示領域72の背景よりも暗く表示されることを示している。各表示領域71,72の背景は、半透過で表示されることに代えて、グラデーションまたは模様を付加して表示されてもよい。
図16は、駐車スペース画像の他の例を示す図である。制御部13は、左側合成画像61および右側合成画像62が、表示装置4の表示画面上に対応する自車両31の進行方向32に沿って、表示装置4の表示画面に向かって左側から右側に順に表示されるように、駐車スペース画像80を生成してもよい。これによって、運転者に、より直観的に理解が可能な表示形態で駐車可能スペースを提示することができる。
また図16では、図15と同様に、制御部13は、表示装置4の表示画面のうち、予め定める第1の表示領域81に左側合成画像61が表示され、予め定める第2の表示領域82に右側合成画像62が表示されるように、駐車スペース画像80を生成してもよい。これによって、運転者に、より直観的に理解が可能な表示形態で駐車可能スペースを提示することができる。図16では、第1の表示領域81は、表示装置4の表示画面に向かって上側の領域であり、第2の表示領域82は、表示装置4の表示画面に向かって下側の領域である。この構成は、表示装置4の表示画面が横長の場合に好適である。
図16に示す例では、表示装置4の表示画面に向かって右側に自車両31が配置されるように表示している。これに限定されず、自車両31の位置は、上下左右だけでなく任意の方向でもよい。また北側が表示画面に向かって上側に来るノースアップとなるようにしてもよい。また、駐車可能スペースの形状で、駐車スペース画像の向きを変更してもよい。この構成は、たとえば、駐車領域が斜めに区画される駐車場で駐車するときなどに適用することができる。
また図16に示す例では、図15に示す例と同様に、各表示領域81,82の背景を、異なる表示形態で表示するようにしてもよい。たとえば、推奨する駐車可能スペースSRがある第2の表示領域82以外の表示領域、すなわち第1の表示領域81の背景を、半透過処理して、第2の表示領域82の背景よりも暗く表示させてもよい。図16では、第1の表示領域81にハッチングを付して、第2の表示領域82の背景よりも暗く表示されることを示している。各表示領域81,82の背景は、半透過で表示されることに代えて、グラデーションまたは模様を付加して表示されてもよい。
図17は、駐車スペース画像の他の例を示す図である。図17に示すように、駐車スペース画像90は、左側合成画像61が表示される第1の表示領域91と、右側合成画像62が表示される第2の表示領域92とに加えて、推奨スペースを示す第3の表示領域93を含んでもよい。これによって、運転者に、より直観的に理解が可能な表示形態で駐車可能スペースを提示することができる。
また、図17に示すように、右側合成画像62は、左側合成画像61と同様に、表示装置4の表示画面に向かって上方向に、各車両R1,R2,R4を示す表示オブジェクトの上方向が位置するように表示されてもよい。これによって、運転者に、より直観的に理解が可能な表示形態で駐車可能スペースを提示することができる。
図18は、駐車スペース画像の他の例を示す図である。制御部13は、左側合成画像61および右側合成画像62が、自車両31の位置を支点として自車両31の進行方向32から、互いに反対方向に予め定める回転角度θl,θr回転して表示されるように、駐車スペース画像110を生成してもよい。これによって、運転者に、より直観的に理解が可能な表示形態で駐車可能スペースを提示することができる。
この場合、左側合成画像61の回転角度θlと、右側合成画像62の回転角度θrとは、同じ大きさである(θl=θr)ことが好ましい。これによって、運転者に見易い配置とすることができる。ここで、左側合成画像61の回転角度θlとは、自車両31の進行方向32を示す自車両基準線113から、左側合成画像61に含まれる各車両L1,L3,L4の左側方画像が並べられる基準となる左側基準線111が回転した角度をいう。また、右側合成画像62の回転角度θrとは、自車両基準線113から、右側合成画像62に含まれる各車両R1,R2,R4の右側方画像が並べられる基準となる右側基準線112が回転した角度をいう。
図19は、駐車スペース画像の他の例を示す図である。図19に示すように、駐車スペース画像120は、左側合成画像61および右側合成画像62を、自車両31の位置を支点として自車両31の進行方向32から、互いに反対方向に90°回転させたものであってもよい。
この場合、左側合成画像61に含まれる車両L1,L3,L4は、たとえば仮想線121に沿って一列に並ぶ。右側合成画像62に含まれる車両R1,R2,R4は、たとえば仮想線122に沿って一列に並ぶ。左側合成画像61と右側合成画像62とは、同一の線に沿って一列に並んで表示されてもよい。図19に示す駐車スペース画像120は、たとえば、表示装置4の表示画面が横長である場合に好適である。この場合、駐車スペース画像120全体を回転させてもよい。
図20は、自車両31の走行軌跡33の一例を示す図である。図21〜図41は、駐車スペース画像の他の例を示す図である。
自車両31は、たとえば図20に示すように、左右の駐車車両群の中心、すなわち自車両31の左側方に駐車される車両L1,L3,L4を含む左側駐車車両群と、自車両31の右側方に駐車される車両R1,R2,R4を含む右側駐車車両群との中間の位置よりも、やや左寄りの位置を、駐車スペースサーチを行いながら走行し、図20に示す位置で停車する。
このとき、自車両31の走行軌跡33は、図20に示すようになる。自車両31が停車すると、駐車支援用表示制御装置10は、駐車可能スペースの候補を検出する。図20に示す例では、駐車支援用表示制御装置10は、2か所の駐車可能スペースの候補を検出する。
また駐車支援用表示制御装置10は、自車両31が走行している間に、たとえば周辺検出装置3によって、自車両31の側方における自車両31と自車両31の側方の物体との距離(以下「側方距離」という場合がある)を求める。側方距離は、具体的には、自車両31の駐車スペースサーチのときの走行軌跡33と、自車両31の側方の物体との最短距離である。たとえば自車両31の側方の物体が車両L1,L3,L4,R1,R2,R4である場合、側方距離は、自車両31の駐車スペースサーチのときの走行軌跡33と、各車両L1,L3,L4,R1,R2、R4の自車両31側の先端との距離dl,drである。
また駐車支援用表示制御装置10は、たとえば周辺検出装置3によって、自車両31の進行方向における自車両31と自車両31の側方の物体との距離(以下「進行方向距離」という場合がある)を求める。進行方向距離は、具体的には、停車位置における自車両31の進行方向後方側の端部と、自車両31の側方の物体との最短距離である。たとえば自車両31の側方の物体が車両L1,L3,L4,R1,R2,R4である場合、進行方向距離は、停車位置における自車両31の進行方向後方側の端部と、各車両L1,L3,L4,R1,R2,R4の自車両31側の側面部との距離Hl,Hrである。
制御部13は、自車両31と、自車両31の走行軌跡33の右側および左側に存在する車両または駐車区画との位置関係に応じて、図21または図22に示すように、表示装置4の表示画面における左側合成画像61および右側合成画像62の表示位置を変更するように、駐車スペース画像140,150を生成してもよい。これによって、運転者に、より直観的に理解が可能な表示形態で駐車可能スペースを提示することができる。この場合、たとえば、前述の図20に示す各車両の側方距離dl,drおよび進行方向距離Hl,Hrに応じて、表示装置4の表示画面における左側合成画像61および右側合成画像62の表示位置が変更される。
また制御部13は、図23に示すように、駐車スペース表示エリア161と、情報表示エリア162とを含むように、駐車スペース画像160を生成してもよい。駐車スペース表示エリア161には、前述の図21に示す駐車スペース画像140と同様に、駐車可能スペースSL,SRを含む画像が表示される。情報表示エリア162には、たとえば、駐車可能スペースSL,SRが自車両31の左側方および右側方のいずれに存在するかを表す文字情報が表示される。
このように駐車スペース画像160を複数のエリア、具体的には駐車スペース表示エリア161および情報表示エリア162に分割した構成とすることによって、運転者に、より直観的に理解が可能な表示形態で駐車可能スペースを提示することができる。
また図22および図24に示すように、駐車スペース画像150,170は、自車両31の位置を示す車両位置表示オブジェクト151を含んでもよい。これによって、運転者に、より直観的に理解が可能な表示形態で駐車可能スペースを提示することができる。この場合、図24に示すように、駐車スペース画像170は、自車両位置表示オブジェクト151が表示される自車両表示領域171と、合成画像61,62が表示される合成画像表示領域172とに分割された構成であってもよい。
また図24に示すように、制御部13は、周辺撮影装置2によって撮影される自車両31の進行方向32の後方側の後方画像173を、左側合成画像61と右側合成画像62との間に挿入して、左側合成画像61と後方画像171と右側合成画像62とを繋ぎ合せるように、駐車スペース画像170を生成してもよい。これによって、運転者に、より直観的に理解が可能な表示形態で駐車可能スペースを提示することができる。
また図25に示すように、制御部13は、駐車スペース画像180の一部分が、残余の部分とは異なる表示形態で表示されるように、駐車スペース画像180を生成してもよい。図25に示す例では、駐車スペース画像180の一部分、具体的には自車両31が表示される自車両表示領域183、特に自車両31の周辺画像184が、俯瞰画像として表示される。また自車両表示領域183以外の領域、たとえば合成画像61,62が表示される合成画像表示領域181,182は、2次元画像として表示されてもよい。
このように駐車スペース画像180の一部分を残余の部分とは異なる表示形態で表示することによって、運転者に、より直観的に理解が可能な表示形態で駐車可能スペースを提示することができる。
図25に示す例とは異なるが、駐車スペース画像の一部分として、駐車可能スペースを、残余の部分とは異なる表示形態で表示してもよい。これによって、同様の効果を得ることができる。
この場合、図26に示す駐車可能スペースを表す駐車スペース表示オブジェクト190を、図27に示すように予め定める角度α立ち上げて生成した駐車スペース表示オブジェクト192を表示してもよい。また図28に示すように、平行四辺形の駐車スペース表示オブジェクト193としてもよいし、図29に示すように、湾曲した形状の駐車スペース表示オブジェクト194としてもよい。また図30〜図34に示すように、各種の形状の駐車スペース表示オブジェクト210,211,212,213,214を用いてもよい。
また図35に示すように、駐車スペース表示オブジェクト223,224を、鳥瞰画像として表示してもよい。これによって、図33および図34に示す場合と同様に、運転者に、より直観的に理解が可能な表示形態で駐車可能スペースを提示することができる。
また図36に示すように、駐車スペース表示オブジェクト230は、路面の傷232を示すマーカ表示オブジェクト231を含んでもよい。また図37に示すように、駐車スペース表示オブジェクト240は、車輪止め243が破損した部分、すなわち破損した車輪止め242を示すマーカ表示オブジェクト241を含んでもよい。
また制御部13は、図38に示すように、異なる視点で表現した複数の画像を含む駐車スペース画像250を生成してもよい。具体的には、駐車スペース画像250は、車両側方画像を合成した合成画像61,62と、合成画像61,62とは異なる視点で表現された画像との2種類の画像を含んでもよい。たとえば、図38の紙面に向かって左側の領域の駐車スペース画像251は、俯瞰画像または強調表示で表示され、図38の紙面に向かって右側の領域の駐車スペース画像70は、車両側方画像を合成した合成画像61,62で表示される。
このように駐車スペース画像250を、異なる視点で表現した複数の画像で構成することによって、運転者に、より直観的に理解が可能な表示形態で駐車可能スペースを提示することができる。
図38の紙面に向かって右側の領域の駐車スペース画像70は、図38の紙面に向かって左側の左側領域71と、図38の紙面に向かって右側の右側領域72とを含む。左側領域71と、右側領域72とは、背景が異なるように生成される。これによって、運転者に、さらに直観的に理解が可能な表示形態で駐車可能スペースSL,SRを提示することができる。
また図39〜図41に示すように、駐車可能スペースが複数有る場合、最も推奨される駐車可能スペースと残余の駐車可能スペースとが異なる表示形態で表示されるように、駐車スペース画像260が生成されてもよい。具体的には、図41に示すように、左側合成画像61および右側合成画像62のうち、最も推奨される駐車可能スペースが存在する方が、残余の方と異なる表示形態または表示スペースで表示されるように、駐車スペース画像が生成されてもよい。これによって、運転者に、より直観的に理解が可能な表示形態で駐車可能スペースを提示することができる。
<第3の実施の形態>
図42は、本発明の第3の実施の形態における駐車支援装置201の構成を示すブロック図である。駐車支援装置201は、駐車支援用表示制御装置10A、周辺撮影装置2、周辺検出装置3、表示装置4、車内LAN5、操作入力装置6および走行駆動装置7を備えて構成される。駐車支援用表示制御装置10Aは、画像合成部11、駐車可能スペース判断部12、制御部13、画像出力部14および自動駐車制御部16を備える。
駐車支援用表示制御装置10Aは、たとえば、車両などの移動体に搭載される。周辺撮影装置2、周辺検出装置3、表示装置4、車内LAN5、操作入力装置6および走行駆動装置7は、駐車支援用表示制御装置10Aを搭載する自車両に設けられる。
本実施の形態の駐車支援装置201は、前述の第1の実施の形態の駐車支援装置100および第2の実施の形態の駐車支援装置200と同一の構成を含んでいるので、同一の構成については同一の参照符号を付して、共通する説明を省略する。本発明の他の実施の形態である駐車支援用表示制御方法は、本実施の形態の駐車支援用表示制御装置10Aによって実行される。
自動駐車制御部16は、駐車可能スペース情報と駐車スペース選択情報により、走行駆動装置7を制御し、自動駐車を実行する。
走行駆動装置7は、車両のハンドル、ブレーキ、アクセルを制御して、車両の駆動を行う。
図43は、本発明の第3の実施の形態における駐車スペース画像290の一例を示す図である。本実施の形態では、駐車スペース画像290には、駐車可能スペースを選択するための表示オブジェクト291が含まれる。表示オブジェクト291は、「駐車スペースを選択してください」などの文字が表示される文字表示領域292と、左側駐車可能スペースSLを選択するためのボタン293と、右側駐車可能スペースSRを選択するためのボタン294とを含む。運転者は、表示オブジェクト291内のボタン293,294のいずれかを選択することによって、駐車可能スペースを選択する。
本実施の形態においても、駐車スペース画像290は、車両側方画像を含むので、前述の第1および第2の実施の形態と同様の効果を得ることができる。
以上に述べた本実施の形態の駐車支援用表示制御装置は、車両に搭載可能なナビゲーション装置だけでなく、通信端末装置、およびサーバ装置などを適宜に組み合わせてシステムとして構築される駐車支援システムに適用することができる。通信端末装置は、たとえばサーバ装置と通信を行う機能を有するPND(Portable Navigation Device)および携帯通信装置である。携帯通信装置は、たとえば携帯電話機、スマートフォンおよびタブレット型端末装置である。
前述のようにナビゲーション装置と通信端末装置とサーバ装置とを適宜に組み合わせてシステムが構築される場合、本実施の形態の駐車支援用表示制御装置の各構成要素は、前記システムを構築する各装置に分散して配置されてもよいし、いずれかの装置に集中して配置されてもよい。
たとえば、駐車支援用表示制御装置に備えられる画像合成部、駐車可能スペース判断部および制御部は、サーバ装置に配置されてもよいし、携帯通信装置などの通信端末装置に配置されてもよい。
前述の駐車支援用表示制御装置に備えられる画像合成部、駐車可能スペース判断部および制御部がサーバ装置に配置される場合の駐車支援装置は、以下の第4の実施の形態に示す構成を有する。また、前述の画像合成部、駐車可能スペース判断部および制御部が携帯通信装置に配置される場合の駐車支援装置は、以下の第5の実施の形態に示す構成を有する。
<第4の実施の形態>
図44は、本発明の第4の実施の形態における駐車支援装置500の構成を示すブロック図である。本実施の形態の駐車支援装置500は、情報提供装置300とサーバ装置400とを備えて構成される。本実施の形態の駐車支援装置500は、前述の第1および第2の実施の形態の駐車支援装置100,200と同一の構成が含まれているので、同一の構成については同一の参照符号を付して、共通する説明を省略する。
情報提供装置300は、車両に搭載される。情報提供装置300は、情報提供装置本体310、周辺撮影装置2、周辺検出装置3、表示装置4、車内LAN5および操作入力装置6を備えて構成される。
情報提供装置本体310は、画像出力部14、車内LANインタフェース15、車載側制御部311および車載側通信部312を備える。車載側制御部311は、たとえばCPU(Central Processing Unit)と、書き込み可能なRAMなどのメモリとによって構成される。メモリは、制御プログラムを記憶する。CPUが、メモリに記憶されている制御プログラムを実行することによって、画像出力部14、車内LANインタフェース15および車載側通信部312を統括的に制御する。
サーバ装置400は、画像合成部11、駐車可能スペース判断部12、サーバ側通信部401およびサーバ側制御部402を備えて構成される。
サーバ側通信部401は、情報提供装置300と通信を行う。サーバ側通信部401は、情報提供装置300と通信を行う場合、たとえば、インターネットなどの通信網を介して、情報提供装置300と通信可能に構成される。
サーバ側制御部402は、たとえばCPUと、書き込み可能なRAMなどのメモリとによって構成される。メモリは、制御プログラムを記憶する。CPUが、メモリに記憶されている制御プログラムを実行することによって、画像合成部11および駐車可能スペース判断部12およびサーバ側通信部401を統括的に制御する。
以上のように本実施の形態では、画像合成部11、駐車可能スペース判断部12およびサーバ側制御部402は、サーバ装置400に配置される。このように配置される場合でも、前述の第1〜第3の実施の形態と同様の効果を得ることができる。
<第5の実施の形態>
図45は、本発明の第5の実施の形態における駐車支援装置510の構成を示すブロック図である。本実施の形態の駐車支援装置510は、情報提供装置300と携帯通信装置410とを備えて構成される。本実施の形態の駐車支援装置500は、前述の第4の実施の形態の駐車支援装置500と同一の構成が含まれているので、同一の構成については同一の参照符号を付して、共通する説明を省略する。
携帯通信装置410は、たとえば携帯電話機、スマートフォンまたはタブレット型端末装置によって実現される。携帯通信装置410は、画像合成部11、駐車可能スペース判断部12、携帯側通信部411および携帯側制御部412を備えて構成される。
携帯側通信部411は、情報提供装置300と通信を行う。携帯側通信部411は、情報提供装置300と通信を行う場合、たとえば、インターネットなどの通信網を介して、情報提供装置300と通信可能に構成される。また、携帯側通信部411は、情報提供装置300と通信を行う場合、たとえば、近距離無線通信規格であるブルートゥース(Bluetooth(登録商標))または無線LANなどの無線によって、情報提供装置300と通信可能に構成されてもよい。また、携帯側通信部411は、USB(Universal Serial Bus)ケーブルまたはLANケーブルなどの有線によって、情報提供装置300と通信可能に構成されてもよい。
携帯側制御部412は、たとえばCPUと、書き込み可能なRAMなどのメモリとによって構成される。メモリは、制御プログラムを記憶する。CPUが、メモリに記憶されている制御プログラムを実行することによって、画像合成部11および駐車可能スペース判断部12および携帯側通信部411を統括的に制御する。
以上のように本実施の形態では、画像合成部11、駐車可能スペース判断部12および携帯側制御部412は、携帯通信装置410に配置される。このように配置される場合でも、前述の第1〜第3の実施の形態と同様の効果を得ることができる。
なお、本発明は、その発明の範囲内において、各実施の形態を自由に組み合わせることが可能である。また、各実施の形態の任意の構成要素を適宜、変更または省略することが可能である。
本発明は詳細に説明されたが、上記した説明は、すべての態様において、例示であって、本発明がそれに限定されるものではない。例示されていない無数の変形例が、本発明の範囲から外れることなく想定され得るものと解される。
1,10,10A 駐車支援用表示制御装置、2 周辺撮影装置、3 周辺検出装置、4 表示装置、5 車内LAN、6 操作入力装置、7 走行駆動装置、11 画像合成部、12 駐車可能スペース判断部、13 制御部、14 画像出力部、15 車内LANインタフェース、16 自動駐車制御部、21 左側カメラ、22 右側カメラ、100,200,201,500,510 駐車支援装置、311 車載側制御部、312 車載側通信部、300 情報提供装置、310 情報提供装置本体、400 サーバ装置、401 サーバ側通信部、402 サーバ側制御部、410 携帯通信装置、411 携帯側通信部、412 携帯側制御部。

Claims (22)

  1. 周辺検出装置によって検出される車両の周辺の状況に基づいて、前記車両の周辺に駐車可能な駐車可能スペースが有るか否かを判断する駐車可能スペース判断部と、
    周辺撮影装置によって前記車両の進行方向に沿って順に前記車両から側方へ向かって撮影される車両側方画像を表す画像情報を取得し、取得した前記画像情報に基づいて、前記車両側方画像を前記車両の進行方向に沿って繋ぎ合わせることによって、前記車両の運転者の視点から見た前記車両の側方の画像である合成画像を生成する画像合成部と、
    前記駐車可能スペース判断部によって前記駐車可能スペースが有ると判断された場合、前記駐車可能スペースの位置を示す駐車スペース表示オブジェクトを、前記画像合成部によって生成された前記合成画像に重畳して、駐車スペース画像を生成する制御部と、
    前記制御部によって生成された前記駐車スペース画像を表示装置に出力する画像出力部とを備えることを特徴とする駐車支援用表示制御装置。
  2. 前記制御部は、前記車両の進行方向の前方側から後方側に向かうに従って前記車両側方画像が小さくなるように前記駐車スペース画像を生成することを特徴とする請求項1に記載の駐車支援用表示制御装置。
  3. 前記制御部は、前記車両側方画像が、前記表示装置の表示画面上に対応する前記車両の進行方向に沿って、前記表示装置の表示画面に向かって左側から右側に順に表示されるように、前記駐車スペース画像を生成することを特徴とする請求項1に記載の駐車支援用表示制御装置。
  4. 前記制御部は、前記車両側方画像が、前記表示装置の表示画面上に対応する前記車両の進行方向に沿って、前記表示装置の表示画面に向かって下側から上側に順に表示されるように、前記駐車スペース画像を生成することを特徴とする請求項1に記載の駐車支援用表示制御装置。
  5. 前記制御部は、前記合成画像が、前記表示装置の表示画面上に対応する前記車両の位置を支点として前記車両の進行方向から予め定める回転角度回転して表示されるように、前記駐車スペース画像を生成することを特徴とする請求項3に記載の駐車支援用表示制御装置。
  6. 前記制御部は、前記合成画像に、前記車両の位置を示す車両位置表示オブジェクトをさらに重畳して、前記駐車スペース画像を生成することを特徴とする請求項3に記載の駐車支援用表示制御装置。
  7. 前記画像合成部は、前記合成画像として、前記車両側方画像のうち、前記車両の進行方向に向かって右側方の右側方画像を前記車両の進行方向に沿って繋ぎ合わせた右側合成画像と、前記車両の進行方向に向かって左側方の左側方画像を前記車両の進行方向に沿って繋ぎ合わせた左側合成画像とを生成し、
    前記制御部は、前記駐車スペース表示オブジェクトを前記右側合成画像と前記左側合成画像とにそれぞれ重畳して、前記駐車スペース画像を生成することを特徴とする請求項1に記載の駐車支援用表示制御装置。
  8. 前記制御部は、前記表示装置の表示画面のうち、予め定める第1の表示領域に前記左側合成画像が表示され、予め定める第2の表示領域に前記右側合成画像が表示されるように、前記駐車スペース画像を生成することを特徴とする請求項7に記載の駐車支援用表示制御装置。
  9. 前記制御部は、前記車両の進行方向の前方側から後方側に向かうに従って前記車両側方画像が小さくなるように前記駐車スペース画像を生成することを特徴とする請求項7に記載の駐車支援用表示制御装置。
  10. 前記制御部は、前記右側方画像および前記左側方画像が、前記表示装置の表示画面上に対応する前記車両の進行方向に沿って、前記表示装置の表示画面に向かって左側から右側に順に表示されるように、前記駐車スペース画像を生成することを特徴とする請求項7に記載の駐車支援用表示制御装置。
  11. 前記制御部は、前記車両側方画像が、前記表示装置の表示画面上に対応する前記車両の進行方向に沿って、前記表示装置の表示画面に向かって下側から上側に順に表示されるように、前記駐車スペース画像を生成することを特徴とする請求項7に記載の駐車支援用表示制御装置。
  12. 前記制御部は、前記右側合成画像および前記左側合成画像が、前記車両の位置を支点として前記車両の進行方向から、互いに反対方向に予め定める回転角度回転して表示されるように、前記駐車スペース画像を生成することを特徴とする請求項7に記載の駐車支援用表示制御装置。
  13. 前記制御部は、前記合成画像に、前記車両の位置を示す車両位置表示オブジェクトをさらに重畳して、前記駐車スペース画像を生成することを特徴とする請求項12に記載の駐車支援用表示制御装置。
  14. 前記制御部は、前記車両と前記車両の進行方向に向かって右側および左側に存在する車両または駐車区画との位置関係に応じて、前記表示装置の表示画面における前記右側合成画像および前記左側合成画像の表示位置を変更するように、前記駐車スペース画像を生成することを特徴とする請求項7に記載の駐車支援用表示制御装置。
  15. 前記制御部は、前記周辺撮影装置によって撮影される前記車両の進行方向の後方側の後方画像を、前記右側合成画像と前記左側合成画像との間に挿入して、前記右側合成画像と前記後方画像と前記左側合成画像とを繋ぎ合せるように、前記駐車スペース画像を生成することを特徴とする請求項7に記載の駐車支援用表示制御装置。
  16. 前記制御部は、前記駐車スペース画像の一部分が、残余の部分とは異なる表示形態で表示されるように、前記駐車スペース画像を生成することを特徴とする請求項1に記載の駐車支援用表示制御装置。
  17. 前記制御は、前記駐車スペース画像の一部分が、俯瞰画像として表示されるように、前記駐車スペース画像を生成することを特徴とする請求項16に記載の駐車支援用表示制御装置。
  18. 前記駐車スペース画像の一部分は、前記駐車可能スペースであることを特徴とする請求項16に記載の駐車支援用表示制御装置。
  19. 前記制御部は、前記表示装置の表示画面のうち、前記駐車スペース画像の一部分が表示される表示エリアの背景と、前記残余の部分が表示される表示エリアの背景とが異なる表示形態となるように、前記駐車スペース画像を生成することを特徴とする請求項16に記載の駐車支援用表示制御装置。
  20. 前記制御部は、前記駐車可能スペースが複数有る場合、最も推奨される駐車可能スペースと残余の駐車可能スペースとが異なる表示形態で表示されるように、前記駐車スペース画像を生成することを特徴とする請求項1に記載の駐車支援用表示制御装置。
  21. 前記制御部は、前記駐車可能スペースが複数有る場合、前記右側合成画像および前記左側合成画像のうち、最も推奨される駐車可能スペースが存在する方が、残余の方と異なる表示形態または表示スペースで表示されるように、前記駐車スペース画像を生成することを特徴とする請求項7に記載の駐車支援用表示制御装置。
  22. 周辺撮影装置によって車両の進行方向に沿って順に前記車両から側方へ向かって撮影される車両側方画像を表す画像情報を取得し、
    取得した前記画像情報に基づいて、前記車両側方画像を前記車両の進行方向に沿って繋ぎ合わせることによって、前記車両の運転者の視点から見た前記車両の側方の画像である合成画像を生成し、
    周辺検出装置によって検出される前記車両の周辺の状況に基づいて、前記車両の周辺に駐車可能な駐車可能スペースが有るか否かを判断し、
    前記駐車可能スペースが有ると判断された場合、前記駐車可能スペースの位置を示す駐車スペース表示オブジェクトを前記合成画像に重畳して駐車スペース画像を生成し、
    生成された前記駐車スペース画像を表示装置に出力することを特徴とする駐車支援用表示制御方法。
JP2018511866A 2016-04-15 2016-04-15 駐車支援用表示制御装置および駐車支援用表示制御方法 Active JP6656359B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/062156 WO2017179206A1 (ja) 2016-04-15 2016-04-15 駐車支援用表示制御装置および駐車支援用表示制御方法

Publications (2)

Publication Number Publication Date
JPWO2017179206A1 JPWO2017179206A1 (ja) 2018-07-26
JP6656359B2 true JP6656359B2 (ja) 2020-03-04

Family

ID=60042419

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018511866A Active JP6656359B2 (ja) 2016-04-15 2016-04-15 駐車支援用表示制御装置および駐車支援用表示制御方法

Country Status (2)

Country Link
JP (1) JP6656359B2 (ja)
WO (1) WO2017179206A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109074743A (zh) 2016-04-28 2018-12-21 日产自动车株式会社 停车辅助方法及装置
CN107657832B (zh) * 2017-11-15 2020-09-11 吉林大学 一种车位引导方法及系统
JP7249541B2 (ja) * 2019-03-15 2023-03-31 パナソニックIpマネジメント株式会社 表示制御装置、駐車支援装置、および表示制御方法
CN113706878B (zh) * 2020-05-20 2023-02-28 宏碁智通股份有限公司 车牌拍摄系统与车牌拍摄方法
US11999342B2 (en) 2021-05-26 2024-06-04 Panasonic Automotive Systems Co., Ltd. Display control device, parking assist apparatus and display control method
WO2024112092A1 (ko) * 2022-11-22 2024-05-30 주식회사 에이브이지니어스 원격 대행 주차 서비스 시스템 및 방법

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5088074B2 (ja) * 2007-10-01 2012-12-05 日産自動車株式会社 駐車支援装置及び方法
JP2012175483A (ja) * 2011-02-23 2012-09-10 Renesas Electronics Corp 車線認識装置及び車線認識方法
JP2013154730A (ja) * 2012-01-30 2013-08-15 Fujitsu Ten Ltd 画像処理装置、画像処理方法、及び、駐車支援システム
JP2015201680A (ja) * 2014-04-04 2015-11-12 富士通株式会社 画像表示装置、画像表示方法及び画像表示プログラム
JP6413477B2 (ja) * 2014-08-21 2018-10-31 アイシン精機株式会社 画像表示制御装置および画像表示システム

Also Published As

Publication number Publication date
JPWO2017179206A1 (ja) 2018-07-26
WO2017179206A1 (ja) 2017-10-19

Similar Documents

Publication Publication Date Title
JP6656359B2 (ja) 駐車支援用表示制御装置および駐車支援用表示制御方法
US10474911B2 (en) Smart parking assist apparatus and method
US10789845B2 (en) Parking assistance method and parking assistance device
US7554461B2 (en) Recording medium, parking support apparatus and parking support screen
JP5454934B2 (ja) 運転支援装置
KR102452556B1 (ko) 차량 주차 제어 장치, 그를 포함한 시스템 및 그 방법
JPWO2018066711A1 (ja) 走行支援装置及びコンピュータプログラム
US11787335B2 (en) Periphery monitoring device
JP5104171B2 (ja) 駐車支援装置および駐車支援方法
JP6801786B2 (ja) 駐車支援方法及び駐車支援装置
JP2016060238A (ja) 駐車支援装置
JP6760122B2 (ja) 周辺監視装置
JP2015133603A (ja) 周辺監視装置、及びプログラム
JP2012066709A (ja) 駐車支援装置
JP2019186853A (ja) 車両用表示制御装置、車両用表示システム、車両用表示制御方法、およびプログラム
JP2019095215A (ja) 重畳画像表示装置及びコンピュータプログラム
CN112477758A (zh) 周边监视装置
JP2019064431A (ja) 駐車支援装置
JP2012076551A (ja) 駐車支援装置、駐車支援方法、及び、駐車支援システム
JP6611918B2 (ja) 駐車支援用表示制御装置および駐車支援用表示制御方法
JP6720729B2 (ja) 表示制御装置
JP2007311898A (ja) 車両運転支援装置および車両運転支援方法
JP5617396B2 (ja) 運転支援装置
JP2022023870A (ja) 表示制御装置
WO2019171528A1 (ja) 運転支援装置および運転支援方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180404

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180404

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190514

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190703

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200107

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200204

R150 Certificate of patent or registration of utility model

Ref document number: 6656359

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250