JP4537537B2

JP4537537B2 - 運転支援装置

Info

Publication number: JP4537537B2
Application number: JP2000155128A
Authority: JP
Inventors: 和史水澤; 毅岡田
Original assignee: Panasonic Corp; Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Corp; Panasonic Holdings Corp
Priority date: 2000-05-25
Filing date: 2000-05-25
Publication date: 2010-09-01
Anticipated expiration: 2020-05-25
Also published as: JP2001339715A

Description

【０００１】
【発明の属する技術分野】
本発明は、複数のカメラの画像を合成して、運転者の死角を含め自動車周囲の状況をわかりやすく表示案内する運転支援装置に関する。
【０００２】
【従来の技術】
従来の運転支援装置について、図面を参照しながら説明する。
【０００３】
図９は、従来の運転支援装置の構成を示すブロック図である。図９において従来の運転支援装置は、複数のカメラ１１と、複数の仮想視点変換手段１２と、この仮想視点変換手段からの画像情報を合成する画像合成手段１３とから構成されている。
【０００４】
カメラ１１は、自動車に取り付けられ、図８に示されるように自車周囲のある方向、例えば前方、後方あるいは側方の状況を動画画像として撮影する。カメラ１１は２以上の複数台装備されている。通常、自動車の周囲を死角なく撮りたいならば、４台から１０台前後のカメラ１１を取り付けるとよい。
【０００５】
さて、通常、カメラ１１で撮った画像はちょうどカメラ１１の撮像素子に視点を置いた場合に見ることができる画像に相当する。一般に得られた画像を細分割して個々を拡大、縮小、変形、回転することで、上記撮像素子の視点から任意の視点かつ視線の映像に変えることが可能である。例えば、仮に自動車のサイドミラー付近に斜め上方から道路を映し出すようにカメラ１１を設置した場合であっても、視点変換することで車前端部に視点を置き道路と並行の視線で眺めたときの画像に変えたり、あるいは車の真上に視点を置いて見下ろすような画像に変えることが可能である。
【０００６】
仮想視点変換手段１２は各々のカメラ１１の取付け位置及びその取付け姿勢を元に既に説明した仮想視点変換をあらかじめ決められた視点及び視線で行う（あらかじめ決められた視点及び視線の代わりに運転者自身が後で指定してもよい）。
【０００７】
画像合成手段１３は、仮想視点変換手段１２で得られた同一の視点から得られた視点変換画像を合成する。もしも複数のカメラ１１を自動車の周囲に死角なく取り付けたとすると、自分の車の全周囲をあたかも真上から眺めたような画像に合成することができる。
【０００８】
以上のように従来の運転支援装置は、車の限定された個所に取り付けられた複数のカメラを用い、それらの画像を視点変換及び画像合成することにより、今までありえなかった視点からの画像、例えば自車真上からの画像等を運転者に提供し、運転者が周囲の状況を一目で理解することができるものとなっている。
【０００９】
【発明が解決しようとする課題】
しかしながら上記した従来の運転支援装置は、画像を視点変換及び画像合成することにより、今までありえなかった視点からの画像等を運転者に提供できるものではあるが、仮想視点、仮想視線の方向の変更や、画面の拡大、縮小を行うための操作が容易でなく、ユーザに負担がかかってしまうという問題点があった。
【００１０】
そこで本発明は、上記のような問題点を解決するために、仮想視点、仮想視線の方向の変更や、画面の拡大、縮小を行うための操作をユーザに負担をかけずに容易に行える運転支援装置を提供することを目的とする。
【００１１】
【課題を解決するための手段】
本発明は、車の周囲に取り付けた複数のカメラと、前記カメラの映像をそれぞれの画像の視点をカメラ位置から任意の視点及び視線方向に視点変換する仮想視点変換手段と、前記仮想視点変換手段によって任意の視点及び視線方向に視点変換した後に一つの画像に合成する画像合成手段と、合成した画像を表示する表示手段とを備えて、運転者に運転支援画像を提供する運転支援装置であって、仮想視点及び仮想視線の変更かつ前記運転支援画像の拡大及び縮小を行うための切替え入力を行う多方向切替入力手段を有することを特徴とする運転支援装置としたものであり、多方向切替入力手段をある方向に動かすことによって仮想視点、仮想視線の方向を切替えたり、また別の方向に動かすことによって画面の拡大、縮小を行うことができる。
【００１２】
また本発明によれば、前記多方向切替入力手段は、ジョイスティック、十字レバー、又は、ユニバーサルジョイント式の指示入力装置とすることができ、例えば、十字レバーを上下に動かすことによって仮想視点、仮想視線の方向を切替えたり、また十字レバーを左右に動かすことによって画面の拡大、縮小を行うことができるようになり、運転者は片手でレバーを操作することによって、容易に所望の視点に切替えることができる。
【００１３】
また本発明によれば、前記多方向切替入力手段として、個々のモード（仮想視点や視線方向、拡大率を変化させた状態）と車のギヤシフトを連想させるレバーを用いて切替えるようにすることができ、例えば、シフトレバーのレバーをシフトさせることによって、それぞれブラインドコーナモニタ、リアビュー、トップビュー、サイドビューと変化させてモードを切替えるようにできるので、仮にシフトレバーのレバー位置を目で追わなくても慣れてくればブラインドタッチでレバーを操作することによって、容易にかつ迅速に、所望の視点や視線、拡大率のモードに切替えることができる。
【００１４】
また本発明によれば、前記多方向切替入力手段として、運転者の足で操作しうる切替入力装置を用いて切替えを可能とすることができ、足操作切替装置を操作することによって仮想視点、仮想視線の方向を切替えたり、画面の拡大、縮小を行うことができるので、運転者は両手を使うことなく、容易に所望の視点、視線、拡大率に切替えることができる。
【００１５】
また本発明によれば、前記足で操作しうる切替入力装置は、足ペダルスイッチ、足トラックボール、足ボタン又は足パネルスイッチとすることができ、例えば、４つの指示接点を持つ足ペダルスイッチを用意し、上下に踏みつけることによって仮想視点、仮想視線の方向を切替えたり、左右に踏みつけることによって画面の拡大、縮小を行うことができるので、運転者は両手を使うことなく、容易に所望の視点、視線、拡大率に切替えることができる。
【００１６】
また本発明によれば、前記多方向切替入力手段として、いくつかの候補となる画面をマルチスクリーン表示で全て表示し、所望の画面モードに対応する画面自身をタッチすることによって表示を変更することができ、実際の画像を小さいながら確認してから所望のモードの画面を選択することによって仮想視点、仮想視線の方向を切替えたり、画面の拡大、縮小を行うことができるので、容易にかつ確実に所望の視点、視線、拡大率に切替えることができる。
【００１７】
また本発明によれば、前記多方向切替入力手段として、いくつかの候補となる画面をマルチスクリーン表示で全て表示し、所望の画面モードに対応する画面を選択する選択スイッチを押下することによって行うことができ、実際の画像を小さいながら確認してから所望のモードの画面を選択することによって仮想視点、仮想視線の方向を切替えたり、画面の拡大、縮小を行うことができるので、容易にかつ確実に所望の視点、視線、拡大率に切替えることができる。
【００１８】
また本発明は、車の周囲に取り付けた複数のカメラと、前記カメラの映像をそれぞれの画像の視点をカメラ位置から任意の視点及び視線方向に視点変換する仮想視点変換手段と、前記仮想視点変換手段によって任意の視点及び視線方向に視点変換した後に一つの画像に合成する画像合成手段と、合成した画像を表示する表示手段とを備えて、運転者に運転支援画像を提供する運転支援装置であって、所望の仮想視点及び仮想視線の変更あるいは前記運転支援画像の拡大・縮小を直接的に行うための切替え入力を行う専用切替入力手段を有することを特徴とする運転支援装置としたものであり、運転者は、緊急を要するときにも確実にかつ迅速に所望の視点、視線、拡大率に切替えることができる。
【００１９】
また本発明によれば、前記専用切替入力手段は、選択ボタンスイッチからなり、一つの操作で動作可能とすることができ、運転者は、緊急を要するときにも確実にかつ迅速に所望の視点、視線、拡大率に切替えることができる。
【００２０】
また本発明によれば、一つの操作で動作可能な選択ボタンスイッチにおいて、前記一つの操作で動作を可能とするための機能及びモード設定を、車両の速度、車のシフトレバー位置、又はユーザの初期設定によって行うことができ、例えば、スピードが早いときはトップビュー、スピードが遅いときはブラインドコーナモニタ、ギアシフトがＲのときはリアビューと状態に応じて、一つの操作で動作可能な選択ボタンスイッチ(一発ボタン)の機能を変えたり、また、ユーザが初期設定でその機能を変えたりできるので、運転者は、緊急を要するときに、その時点の状況に応じて、あるいはユーザの希望に則った所望の視点、視線、拡大率に、確実にかつ迅速に切替えることができる。
【００２１】
【発明の実施の形態】
以下、本発明の実施の形態について、図１から図８を用いて説明する。
【００２２】
（第１の実施の形態）
図１は、本発明の第１の実施の形態に係る運転支援装置の構成を示すブロック図である。図１において運転支援装置は、複数のカメラ１１と、複数の仮想視点変換手段１２と、この仮想視点変換手段からの画像情報を合成する画像合成手段１３と、案内画像生成手段１５と、画像合成手段１６と、切替手段１７とから構成されている。
【００２３】
カメラ１１は自動車に取り付けられ、図８に示されるように自車周囲のある方向、例えば前方、後方あるいは側方の状況を動画画像として撮影する。自動車の周囲を死角なく撮るためにカメラ１の装備台数は、通常、４台から１０台前後のカメラ１１を取り付けることが望ましい。
【００２４】
さて、通常、カメラ１１で撮った画像はちょうどカメラ１１の撮像素子に視点を置いた場合に見ることができる画像に相当する。一般に得られた画像を細分割して個々を拡大、縮小、変形、回転することで、上記撮像素子の視点から任意の視点かつ視線の映像に変えることが可能である。
【００２５】
例えば、仮に自動車のサイドミラー付近に斜め上方から道路を映し出すようにカメラ１１（図８にあってはカメラ３，４参照）を設置した場合であっても、視点変換することで車前端部に視点を置き道路と並行の視線で眺めたときの画像に変えたり、あるいは車の真上に視点を置いて見下ろすような画像に変えたり、運転者の死角となるブラインドコーナー（図８にあってはブラインドコーナーモニタ用カメラ５，６参照）を窓越しに見ているような画像に変えたりすることが可能である。
【００２６】
仮想視点変換手段１２は、ユーザ（運転者）が切替手段１７を通して設定した仮想視点、仮想視線の方向や、画面の拡大、縮小を行う切替えのモード（仮想視点や視線方向、拡大率を変化させた状態）にしたがって、各々のカメラ１１の取付け位置及びその取付け姿勢を元に既に説明した仮想視点変換を行う。
【００２７】
本発明の第１の実施の形態では、切替手段１７として多方向切替入力手段を用いることができ、例えば運転者が片手で操作できる図３に示されるようなジョイスティック３１や、図示していないが、十字レバーあるいはユニバーサルジョイント式の指示入力装置を用いることができる。
【００２８】
たとえば、図３に示されるジョイスティック３１を上下方向に動かすことによって仮想視点、仮想視線の方向を切替え、ジョイスティック３１を左右方向に動かすことによって画面の拡大、縮小を行う。
【００２９】
画像合成手段１３は、仮想視点変換手段１２で得られた同一の視点から得られた視点変換画像を合成する。もしも複数のカメラ１１を自動車の周囲に死角なく取り付けたとすると、自分の車の全周囲をあたかも真上から眺めたような画像に合成することができる。
【００３０】
このようにして得られた合成画像を車内のディスプレイに表示した場合、運転者が見てどの視点又は視線方向から見た画像であるのかが一目見ただけでは理解しがたいところがあるので、案内画像生成手段１５は、ユーザが切替手段１７を通して設定した仮想視点、仮想視線の方向や、画面の拡大、縮小を行う切替えのモード（仮想視点や視線方向、拡大率を変化させた状態）にしたがって、例えば、図２に示すように仮想視点変換手段１２によって任意の視点及び視線方向に視点変換した時の仮想設定された視線方向を矢印で表現する画像を生成する。そして、画像重畳手段１６は、画像合成手段１３が合成した画像と案内画像生成手段１５が生成した視線方向を矢印で表現する画像を重畳する。
【００３１】
すなわち、案内画像生成手段１５が図２に示すような矢印２１を生成し、画像重畳手段１６で画像合成手段１３が合成した画像と案内画像生成手段１５が生成した上記矢印２１を重畳するようにしたので、図２のディスプレイ１４上では画像（図では明示していない）の上に矢印２１が重畳して表示され、これにより例えばブライドコーナー右から見た画像であることが一目で把握できるので、矢印無しで見せる場合に比べて、仮想設定された視線方向を直感的にかつ一目で理解できるようになる。
【００３２】
以上の説明から明らかなように、仮想視点、仮想視線の方向の変更や、画面の拡大、縮小を行うための操作をユーザに負担をかけずに容易に行える優れた運転支援装置を提供することができる。
【００３３】
（第２の実施の形態）
図４は、本発明の第２の実施の形態に係る運転支援装置の切替手段の構成を示したものであり、運転支援装置の構成自体は図１の第１の実施の形態に示したものと基本的に同様である。
【００３４】
本発明の第２の実施の形態では、仮想視点及び仮想視線の変更あるいは運転支援画像の拡大・縮小を行うために切替手段１７は、車のシフトレバーと同様に、個々のモード（仮想視点や視線、拡大率を変化させた状態）とレバーシフト位置を対応させたシフトレバーを用いてモード（仮想視点や視線、拡大率を変化させた状態）を切替えるようにする。
【００３５】
例えば、シフトレバーのレバーをシフトさせることによって、それぞれブラインドコーナモニタ（Ｂ）、リアビュー（Ｒ）、トップビュー（Ｔ）、サイドビュー（Ｓ）と変化させてモード（仮想視点や視線、拡大率を変化させた状態）を切替える。
【００３６】
これにより例えば、仮にシフトレバーのレバー位置を目で追わなくても慣れてくればブラインドタッチでレバーを操作することによって、容易にかつ迅速に、所望の視点や視線、拡大率のモードに切替えることができる。
【００３７】
以上の説明から明らかなように、仮想視点、仮想視線の方向の変更や、画面の拡大、縮小を行うための操作をユーザに負担をかけずに容易に行える優れた運転支援装置を提供することができる。
【００３８】
（第３の実施の形態）
図５は、本発明の第３の実施の形態に係る運転支援装置の切替手段の構成を示したものであり、運転支援装置の構成自体は図１の第１の実施の形態に示したものと基本的に同様である。
【００３９】
本発明の第３の実施の形態では、仮想視点及び仮想視線の変更あるいは運転支援画像の拡大・縮小を行うために切替手段１７は、運転者の足で操作しうる切替入力装置を用いて切替えを可能とするようにしたものであり、例えば、図５に示されるような足ペダルスイッチ５２や、図示していないが、足トラックボール、足ボタンあるいは複数の接点を持つ足パネルスイッチを用いることができる。
【００４０】
このように例えば、上記したジョイスティック３１や十字レバーに対応して、４つの指示接点を持つ運転者の足で操作しうる切替入力装置を用意し、上下に踏みつけることによって仮想視点、仮想視線の方向を切替え、左右に踏みつけることによって画面の拡大、縮小を行う。
【００４１】
これにより運転者は両手を使うことなく、容易に所望の視点、視線、拡大率に切替えることができるという作用を有する。
【００４２】
以上の説明から明らかなように、仮想視点、仮想視線の方向の変更や、画面の拡大、縮小を行うための操作を運転者は両手を使うことなく、容易に所望の視点、視線、拡大率に切替えることができる優れた運転支援装置を提供することができる。
【００４３】
（第４の実施の形態）
図６は、本発明の第４の実施の形態に係る運転支援装置の切替手段の構成を示したものであり、運転支援装置の構成自体は図１の第１の実施の形態に示したものと基本的に同様である。
【００４４】
本発明の第４の実施の形態では、仮想視点及び仮想視線の変更あるいは運転支援画像の拡大・縮小を行うために切替手段１７は、図６に示されるように、いくつかの候補となる画面６１をマルチスクリーン表示で全て表示しておいて、所望の画面モードに対応する画面自身をタッチすることによって行うようにしたものである。
【００４５】
また、図６に示されるように、いくつかの候補となる画面６１をマルチスクリーン表示で全て表示しておいて、所望の画面モードに対応する画面位置に設けたセレクトボタン（選択ボタン）６２を設け、このセレクトボタン６２を操作するようにしても良い。
【００４６】
これにより、例えば実際の画像を小さいながら確認してから所望のモードの画面を選択することによって仮想視点、仮想視線の方向を切替えたり、画面の拡大、縮小を行うことができるので、容易にかつ確実に所望の視点、視線、拡大率に切替えることができる。
【００４７】
以上の説明から明らかなように、仮想視点、仮想視線の方向の変更や、画面の拡大、縮小を行うための操作をユーザに負担をかけずに容易に行える優れた運転支援装置を提供することができる。
【００４８】
（第５の実施の形態）
図７は、本発明の第５の実施の形態に係る運転支援装置の切替手段の構成を示したものであり、運転支援装置の構成自体は図１の第１の実施の形態に示したものと基本的に同様である。
【００４９】
本発明の第５の実施の形態では、仮想視点及び仮想視線の変更あるいは運転支援画像の拡大・縮小を行うために切替手段１７は、図７に示されるように、通常の切替ボタン７１の外に、一発選択ボタン７２を設けるようにしている。
【００５０】
すなわち、一発選択ボタン７２は、所望の仮想視点及び仮想視線の変更あるいは前記運転支援画像の拡大・縮小を直接的に行うための切替え入力を行う専用切替入力手段であって、運転者はこの一発選択ボタン７２を操作することにより、緊急を要するときにも確実にかつ迅速に所望の視点、視線、拡大率に切替えることができる。
【００５１】
なお、上記選択ボタン７２においては、一発操作を可能とするための機能及びモード設定を、車両の速度、車のシフトレバー位置に対応して設定できるようになっている。またユーザ（運転者）が初期設定を行うことによって設定できるようにしても良い。
【００５２】
すなわち例えば、車両スピードが早いときはトップビュー、車両スピードが遅いときはブラインドコーナモニタ、ギアシフトがリア（Ｒ）のときはリアビューと車両速度に応じて、一発ボタンの機能を変えたり、また、ユーザ（運転者）が初期設定でその機能を変えるようにできる。
【００５３】
これにより運転者は、緊急を要するときに、その時点の状況に応じて、あるいはユーザの希望に則った所望の視点、視線、拡大率に、確実にかつ迅速に切替えることができる。
【００５４】
以上の説明から明らかなように、仮想視点、仮想視線の方向の変更や、画面の拡大、縮小を行うための操作をユーザに負担をかけずに容易に行える優れた運転支援装置を提供することができる。
【００５５】
【発明の効果】
以上のように本発明の運転支援装置は、仮想視点、仮想視線の方向の変更や、画面の拡大、縮小を行うための操作をユーザに負担をかけずにできるという効果が得られる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態に係る運転支援装置の構成を示すブロック図、
【図２】本発明の第１の実施の形態に係る運転支援装置の案内画像生成手段が生成する案内画像の例を示す図、
【図３】本発明の第１の実施の形態に係る運転支援装置の切替手段の構成を示した図、
【図４】本発明の第２の実施の形態に係る運転支援装置の切替手段の構成を示した図、
【図５】本発明の第３の実施の形態に係る運転支援装置の切替手段の構成を示した図、
【図６】本発明の第４の実施の形態に係る運転支援装置の切替手段の構成を示した図、
【図７】本発明の第５の実施の形態に係る運転支援装置の切替手段の構成を示した図、
【図８】自動車に取り付けられたカメラの取付位置例を示す図、
【図９】従来の運転支援装置の構成を示すブロック図である。
【符号の説明】
11 カメラ
12 仮想視点変換手段
13 画像合成手段
14 ディスプレイ（表示手段）
15 案内画像生成手段
16 画像重畳手段
17 切替手段
31 ジョイスティック
41 操作レバー
52 足ペダルスイッチ
61 指示画面（タッチパネル付き）
62 セレクトボタン
71 切替ボタン
72 一発選択ボタン

Claims

車の周囲に取り付けた複数のカメラと、前記カメラの映像をそれぞれの画像の視点をカメラ位置から任意の視点及び視線方向に視点変換する仮想視点変換手段と、前記仮想視点変換手段によって任意の視点及び視線方向に視点変換した後に一つの画像に合成する画像合成手段と、合成した画像を表示する表示手段とを備えて、運転者に運転支援画像を提供する運転支援装置であって、
仮想視点及び仮想視線の変更かつ前記運転支援画像の拡大及び縮小を行うための切替え入力を行う多方向切替入力手段を有し、
前記多方向切替入力手段として、個々のモード（仮想視点や視線、拡大率を変化させた状態）とレバーシフト位置を対応させたシフトレバーを用いて切替えるようにしたことを特徴とする運転支援装置。