JP5825091B2 - 撮影領域明示装置 - Google Patents

Description

本発明は、車両の表示画面に表示される画像の撮影領域を明示する撮影領域明示装置に関する。

車両の周囲には運転者の位置から視認できない死角があり、運転者は車両の運転にあたり当該車両の周囲に細心の注意を払う必要がある。特に、車両を後退して駐車させる場合には、駐車自体に苦手意識を持っているユーザも多く、精神的疲労も少なくない。そこで、従来、車両の周囲の障害物を監視する技術が利用されてきた（例えば特許文献１及び２）。

特許文献１に記載の車両の障害物警報装置は、横移動障害物検出手段と、横移動方向検出手段と、横移動情報提供手段とを備えて構成される。横移動障害物検出手段は車両前方において進行方向を横切る方向に移動する障害物を検出する。横移動方向検出手段は横移動障害物検出手段により検出された障害物の横移動方向を検出する。横移動情報提供手段は横移動方向検出手段により検出された障害物の横移動方向に関する情報をドライバーに提供する。この際、横移動情報提供手段は表示部に横移動方向検出手段により検出された横移動方向を表わす矢印をディスプレイに表示する。

特許文献２に記載の車両周囲監視装置は、撮像手段と、障害物検出手段と、表示手段とを備えて構成される。撮像手段は自車両の一部を含む車両周囲を撮像する。障害物検出手段は車両周囲に位置する障害物を検出し、検出した障害物と自車両との距離を算出する。表示手段は撮像手段によって撮像された撮像画像と障害物検出手段によって算出された距離を示す障害物表示画像とを１つの画面に表示する。

特開平１１−１１５６６０号公報 特開２００９−２１７７４０号公報

特許文献１や特許文献２に記載の技術のように車両の周囲の障害物を検出し、当該障害物を明示する情報（矢印等）を画面表示することで運転者に車両の周囲の障害物の存在を報知することが可能である。しかしながら、車両に搭載されるディスプレイ（表示手段）の画面サイズは大きいものではない。このため、ディスプレイに表示される車両の周囲の状況を示す画像上に矢印等を表示すると、車両の周囲の状況が見難くなったり障害物を把握できなくなったりする可能性がある。

そこで、広視野角で撮影して取得された画像から所定の領域を切り出して表示する形態が考えられる。しかしながら、このような形態の場合には、広視野角で撮影した画像を表示しているのか、切り出した画像を表示しているのか、直感的に把握し難い。

本発明の目的は、上記問題に鑑み、表示装置に表示される画像が、切り出す前の画像であるか、或いは切り出した後の画像であるかを運転者に明示することが可能な撮影領域明示装置を提供することにある。

上記目的を達成するための本発明に係る撮影領域明示装置の特徴構成は、
車両の後方の情景を撮影した撮影画像を取得する撮影画像取得部と、
前記撮影画像に基づいて注目撮影画像を生成する注目撮影画像生成部と、
表示画面に表示されている画像の撮影領域が、前記撮影画像に対応する撮影領域か前記注目撮影画像に対応する撮影領域かを明示する撮影領域明示画像を生成すると共に、前記表示画面の表示が、前記撮影画像から前記注目撮影画像に変更される場合に、前記撮影領域明示画像のうち、前記注目撮影画像に対応する領域のみを拡大する撮影領域明示画像生成部と、
前記撮影画像及び前記注目撮影画像の一方と、前記撮影領域明示画像とを合成して前記表示画面に表示させる合成画像生成部と、
を備えている点にある。

このような特徴構成とすれば、車両の表示装置（モニタ）に表示されている画像と共に、当該画像の撮影領域を示す撮影領域明示画像が表示されているので、車両の乗員は撮影領域明示画像を見ることにより表示装置に表示されている画像の撮影領域を直感的に認識することができる。したがって、画像内に存在する物体の車両に対する位置関係を容易に認識することが可能となる。また、画面を変更する前に、変更後の画面に対応する撮影領域明示画像を表示するので、車両の乗員が、画面が切り替わることを事前に認識することが可能となる。したがって、乗員が混乱することを防止できる。このように、本発明によれば、表示装置に表示される画像が、撮影画像取得部により取得された撮影画像（切り出す前の画像）であるか、或いは撮影画像に基づいて生成された注目撮影画像（切り出した後の画像）であるかを運転者に明示することができる。

また、前記撮影領域明示画像生成部は、前記拡大を行う前に、前記撮影領域明示画像の少なくとも一部を点滅させる構成とすると好適である。

このような構成とすれば、車両の乗員に対して、撮影領域明示画像の拡大が行われることを事前に明示することができる。したがって、乗員の混乱を防止できる。

また、前記撮影領域明示画像は半透明であり、前記表示画面に表示されている画像に重畳して表示されると好適である。

このような構成とすれば、撮影領域明示画像が重畳された撮影画像や注目撮影画像が見えなくなることを防止できる。したがって、撮影領域明示画像を表示したことによる車両の周囲の情景の見落としを避けることができる。

また、前記撮影領域明示画像には、少なくとも前記車両の後部の鳥瞰画像が含まれると好適である。

このような構成とすれば、表示画面に表示される画像と撮影領域との位置関係が直感的に把握し易くなる。

また、前記撮影領域明示画像は、前記表示画面の上部に配置されると好適である。

一般的に、表示画面の上部には空が映る。したがって、撮影領域明示画像を表示画面の上部に配置した場合には、車両の周囲の情景が隠れることを防ぐことができる。

撮影領域明示装置の構成を模式的に示したブロック図である。 撮影領域明示装置の処理の一例を示した図である。 合成画像の一例を示した図である。 撮影領域明示装置の処理を模式的に示した図である。

以下、本発明の実施の形態について、詳細に説明する。本発明に係る撮影領域明示装置１００は、車両のモニタにカメラで撮影して取得した画像を表示する際、撮影領域を明示する機能を備えている。以下、図面を用いて説明する。

図１は、撮影領域明示装置１００の構成を模式的に示したブロック図である。図１に示されるように、撮影領域明示装置１００は、撮影画像取得部１１、注目撮影画像生成部１２、画像決定部１６、撮影領域明示画像生成部１７、合成画像生成部１８の各機能部を備えて構成される。各機能部はＣＰＵを中核部材として車両１の乗員にモニタ５０に表示される画像の撮影領域を明示する種々の処理を行うための上述の機能部がハードウェア又はソフトウェア或いはその両方で構築されている。

撮影画像取得部１１は、車両１の後方の情景を撮影した撮影画像Ｇを取得する。ここで、車両１にはカメラ５が備えられる。本実施形態におけるカメラ５は、ＣＣＤ（charge coupled device）やＣＩＳ（CMOS image sensor）などの撮像素子を内蔵するとともに、撮影した情報を動画情報として出力するデジタルカメラにより構成される。このようなカメラ５は、図２（ａ）に示されるように、車両１の外側後部に備えられるライセンスプレートの近傍、或いは車両１の外側後部に備えられるエンブレムの近傍等に、車両１の後方に向けてやや俯角を有して配設される。また、カメラ５は広角レンズ（図示せず）を備えて構成される。これにより、車両１の後方を略１８０度に亘って、車両１の周囲の情景を撮影することができる。このような撮影範囲は、図２（ａ）の「広視野角」として示される。このカメラ５は、リアルタイムで動画を撮影画像Ｇとして出力する性能を有する。このような撮影画像Ｇは、撮影画像取得部１１に伝達される。

このような撮影画像Ｇの一例が図２（ｂ）に示される。図２（ｂ）の全幅は、図２（ａ）の広視野角に対応する。ここで、撮影画像Ｇは、図２（ａ）に示されるような車両１から後方を見て左側にいる物体７が、図２（ｂ）に示されるように撮影画像Ｇ内の右側にいるように鏡像処理が行われる。これは、モニタ５０に車両１の後方の情景を表示する際、車両１の運転者が撮影画像Ｇに含まれる物体７が車両１の左側にいるのか右側にいるのかを感覚的に理解し易くするためである。

図１に戻り、注目撮影画像生成部１２は、撮影画像Ｇに基づいて注目撮影画像Ｃを生成する。本実施形態では、撮影画像Ｇの撮影範囲は広視野角である。このため、注目撮影画像生成部１２は、撮影画像Ｇの中央部分である狭視野領域Ｎを注目撮影画像Ｃとして生成する。撮影画像Ｇは上述の撮影画像取得部１１から伝達される。本実施形態では、注目撮影画像Ｃは、図２（ｂ）に示される撮影画像Ｇの横方向の中央部分が相当する。このような狭視野領域Ｎは、図１（ａ）の「狭視野角」のような例えば車両１の後方１２０〜１３０度程度の領域とすると好適である。また、狭視野領域Ｎは車両１が後退する際の進行可能範囲に近いので、撮影画像Ｇのうち特に注目すべき領域であることから「注目撮影画像」と称される。このような注目撮影画像Ｃは、後述するモニタ５０に表示される表示画像に対応する（図２（ｃ）参照）。なお、本実施形態では、「注目撮影画像」は「狭視野領域」の画像であるとして説明する。

画像決定部１６は、モニタ５０に撮影画像Ｇを表示するか、注目撮影画像Ｃを表示するかを決定する。この決定は、車両１の乗員によるスイッチの操作に応じて行っても良いし、本撮影領域明示装置１００の上位システムからの命令により行ってもよい。乗員のスイッチの操作による場合には、図示はしないがメカ的なスイッチを設けることも可能であるし、モニタ５０をタッチパネルで構成した場合には当該タッチパネルへのタッチ入力による形態とすることも可能である。画像決定部１６によるいずれの画像を表示するかを示す決定結果は撮影領域明示画像生成部１７及び合成画像生成部１８に伝達される。

撮影領域明示画像生成部１７は、表示画面（モニタ５０）に表示されている画像の撮影領域が、撮影画像Ｇに対応する撮影領域か注目撮影画像Ｃに対応する撮影領域かを明示する撮影領域明示画像Ｓを生成する。モニタ５０に撮影画像Ｇが表示されているか又は注目撮影画像Ｃが表示されているかは、上述の画像決定部１６から伝達される検出結果に基づき特定することが可能である。撮影領域明示画像Ｓは、車両１の乗員にモニタ５０に表示されている画像の撮影領域を示す画像である。

撮影領域明示画像Ｓには、少なくとも車両１の後部の鳥瞰画像が含まれる。本実施形態では、図２（ｃ）に示されるように、車両１の後部の鳥瞰画像が示される。この鳥瞰画像は、予め自車の写真を取得しておいたものを表示しても良いし、或いは写真ではないイメージ画像を表示しても良い。本実施形態では、イメージ画像として自車イメージ画像ＣＩが表示される。撮影領域明示画像Ｓは、モニタ５０の横方向中央部に注目撮影領域の撮影領域を示す第１明示領域Ｓ１と、当該第１明示領域Ｓ１の横方向両側に当該第１明示領域Ｓ１と共に撮影画像Ｇの撮影領域を示す第２明示領域Ｓ２とで構成される。すなわち、第１明示領域Ｓ１で注目撮影画像Ｃの撮影領域を示し、第１明示領域Ｓ１及び第２明示領域Ｓ２で撮影画像Ｇの撮影領域を示す。

したがって、モニタ５０に撮影画像Ｇが表示されている場合には撮影領域明示画像Ｓとして、第１明示領域Ｓ１、第２明示領域Ｓ２、及び自車イメージ画像ＣＩが表示される。一方、モニタ５０に注目撮影画像Ｃが表示されている場合には撮影領域明示画像Ｓとして、第１明示領域Ｓ１及び自車イメージ画像ＣＩが表示される。

また、撮影領域明示画像生成部１７は、モニタ５０の表示が、撮影画像Ｇから注目撮影画像Ｃに変更される場合に、撮影領域明示画像Ｓのうち、注目撮影画像Ｃに対応する撮影領域のみを拡大する。ここで、モニタ５０に表示される画像のサイズは、モニタ５０の表示サイズに合わせて拡大または縮小して表示される。このため、モニタ５０の表示を、広視野角の撮影画像Ｇから当該狭視野角の注目撮影画像Ｃに切り替える場合には、撮影画像Ｇの一部が切り出されて拡大して表示されることになる。したがって、撮影画像Ｇ及び注目撮影画像Ｃに同一の物体７が含まれる場合には、当該物体７の表示画面内のサイズは撮影画像Ｇの場合よりも注目撮影画像Ｃの場合の方が大きくなる。

撮影領域明示画像生成部１７は、このように撮影画像Ｇから注目撮影画像Ｃに切り替える場合には、事前に第１明示領域Ｓ１及び自車イメージ画像ＣＩを拡大して表示し、その後、注目撮影画像Ｃに切り替える。これにより、乗員に前もってモニタ５０の表示が、撮影画像Ｇから注目撮影画像Ｃに切り替えられることを暗示することが可能となる。

本実施形態では、このような撮影領域明示画像生成部１７は、第１明示領域Ｓ１を拡大する前に、撮影領域明示画像Ｓの少なくとも一部を点滅させる。本実施形態では、第１明示領域Ｓ１を所定時間点滅させる。これにより、乗員に対して第１明示領域Ｓ１が拡大されることを暗示できると共に、その後、注目撮影画像Ｃが表示されることを暗示することが可能となる。

合成画像生成部１８は、撮影画像Ｇ及び注目撮影画像Ｃの一方と、撮影領域明示画像Ｓとを合成してモニタ５０に表示させる。上述のように、モニタ５０には、撮影画像Ｇ及び注目撮影画像Ｃの一方が表示される。合成画像生成部１８は、これらのうちの一方と撮影領域明示画像Ｓを合成する。撮影画像Ｇ及び注目撮影画像Ｃのいずれを用いるかは、上述の画像決定部１６からの決定結果に基づき特定される。また、撮影領域明示画像Ｓは、画像決定部１６による決定結果に基づき撮影領域明示画像生成部１７により生成され、合成画像生成部１８に伝達される。以上により、合成画像生成部１８は、所定の画像と、撮影領域明示画像Ｓとを合成する。これによりモニタ５０に適切な画像が表示される。

ここで、撮影領域明示画像Ｓは半透明であり、モニタ５０に表示されている画像に重畳して表示される。これにより、車両１の周囲の状況を示す撮影画像Ｇ又は注目撮影画像Ｃに撮影領域明示画像Ｓを重畳した場合でも、乗員が車両１の周囲の状況の視認性が妨げられることはない。

また、撮影領域明示画像Ｓは、表示画面の上部に配置される。ここで、一般的にモニタ５０に表示される画面の上部には、空が表示される。したがって、このような空の部分に撮影領域明示画像Ｓを表示することにより、車両１の周囲の状況の視認性が悪化することを防止できる。

このような撮影領域明示画像Ｓを重畳して表示する一連の画像の一例が、図３に示される。図３（ａ）においては、広視野角の撮影画像Ｇが表示されている。この場合には、表示画面の上部に、撮影画像Ｇの撮影領域を示す第１明示領域Ｓ１及び第２明示領域Ｓ２も表示される。更には、自車イメージ画像ＣＩも表示される。

この状態で、乗員により注目撮影画像Ｃへの切り替え操作が行われると、図３（ａ）及び（ｂ）を所定の回数だけ繰り返すことにより第１明示領域Ｓ１の点滅が行われる。これにより、撮影画像Ｇが注目撮影画像Ｃに切り替えられることを暗示することができる。その後、第１明示領域Ｓ１が表示画面の横方向のサイズになるまで徐々に拡大される（図３（ｃ）及び（ｅ））。

第１明示領域Ｓ１が拡大されると、その後、車両１の後方の状況を示す画像も、撮影画像Ｇから注目撮影画像Ｃに切り替えられる（図３（ｆ））。このような撮影領域明示画像Ｓを表示画面内に表示することにより、車両１の乗員が表示画面に表示される画像の撮影範囲を直感的に把握することができる。したがって、画像に含まれる物体７の位置を適切に認識することが可能となる。

次に、撮影領域明示装置１００が、撮影領域明示画像Ｓを撮影画像Ｇ又は注目撮影画像Ｃに重畳した合成画像をモニタ５０に表示する一連の処理について、図４の模式図を用いて説明する。まず、撮影画像取得部１１が、車両１のカメラ５により撮影された撮影画像Ｇを取得する（ステップ＃１）。

次に、注目撮影画像生成部１２が、取得された撮影画像Ｇの中央部分を注目撮影画像Ｃとして生成する（ステップ＃２）。一方、画像決定部１６が、モニタ５０に表示する画像を撮影画像Ｇにするか、或いは注目撮影画像Ｃにするかを決定する（ステップ＃３）。また、撮影領域明示画像生成部１７により、撮影領域明示画像Ｓが生成される（ステップ＃４）。

合成画像生成部１８は、ステップ＃１において取得された撮影画像Ｇ、及びステップ＃２において生成された注目撮影画像Ｃから、ステップ＃３により決定された画像を選択し、当該選択された画像に、ステップ＃４で生成された撮影領域明示画像Ｓを重畳して合成画像を生成する（ステップ＃５）。生成された合成画像は、モニタ５０に表示される（ステップ＃６）。このように撮影画像Ｇ又は注目撮影画像Ｃに撮影領域明示画像Ｓを重畳して表示することにより車両１の乗員にモニタ５０に表示される画像の撮影範囲を明示することが可能となる。

このように本発明に係る撮影領域明示装置１００によれば、車両１のモニタ５０に表示されている画像と共に、当該画像の撮影領域を示す撮影領域明示画像Ｓが表示されているので、車両１の乗員は撮影領域明示画像Ｓを見ることによりモニタ５０に表示されている画像の撮影領域を直感的に認識することができる。したがって、画像内に存在する物体７の車両１に対する位置関係を容易に認識することが可能となる。また、画面を変更する前に、変更後の画面に対応する撮影領域明示画像Ｓを表示するので、車両１の乗員が、画面が切り替わることを事前に認識することが可能となる。したがって、乗員が混乱することを防止できる。このように、本発明によれば、モニタ５０に表示される画像が、カメラ５で撮影した画像（撮影画像Ｇ）であるのか、或いは撮影画像Ｇの一部の画像（注目撮影画像）であるかを運転者に明示することができる。

〔その他の実施形態〕
上記実施形態では、撮影領域明示画像生成部１７は、第１明示領域Ｓ１の拡大を行う前に、第１明示領域Ｓ１を点滅させるとして説明した。しかしながら、本発明の適用範囲はこれに限定されるものではない。第１明示領域Ｓ１を点滅させないように構成することも当然に可能である。或いは、第１明示領域Ｓ１を点灯させるように構成することも当然に可能である。また、撮影領域明示画像Ｓ全体を点滅させるように構成することも可能である。

また、撮影領域明示画像生成部１７は、第１明示領域Ｓ１の拡大を行う前に、第１明示領域Ｓ１を点滅させるだけでなく、モニタ５０の表示を注目撮影画像Ｃから撮影画像Ｇに切り替える際において、第１明示領域Ｓ１の縮小を行う前に、第１明示領域Ｓ１を点滅させる構成とすることも当然に可能である。

上記実施形態では、撮影領域明示画像Ｓは半透明であるとして説明した。しかしながら、本発明の適用範囲はこれに限定されるものではない。撮影領域明示画像Ｓを半透明にすることなく、すなわち透明度を０％として構成することも当然に可能である。また、半透明とは、透明度が５０％に限定されるものではなく、フレキシブルに変更することが可能である（０％＜透明度＜１００％に変更することが可能である）。

上記実施形態では、撮影領域明示画像Ｓは、表示画面の上部に配置されるとして説明した。しかしながら、本発明の適用範囲はこれに限定されるものではない。撮影領域明示画像Ｓを表示画像の上部以外の位置に表示することも当然に可能である。

上記実施形態では、画像決定部１６は乗員のスイッチ操作や上位システムによりモニタ５０に表示する画像を決定するとして説明した。しかしながら、本発明の適用範囲はこれに限定されるものではない。例えば、車両１に当該車両１に接近する物体７を検知する物体検知手段を備え、当該物体検知手段が物体７を検知した場合に画像を切り替える構成とすることも可能である。このような物体検知手段として、カメラ５により取得された撮影画像Ｇを用いて画像認識処理を行って物体７を検知する構成とすることも可能であるし、車両１に例えばソナーを搭載し、当該ソナーの検出結果に基づき物体７を検知する構成とすることも可能である。もちろん、他の検知手段を備えて検知する構成とすることも当然に可能である。

上記実施形態では、撮影領域明示画像Ｓに、少なくとも車両１の後部の鳥瞰画像が含まれるとして説明した。しかしながら、本発明の適用範囲はこれに限定されるものではない。撮影領域明示画像Ｓに、車両１の後部の鳥瞰画像を含まずに構成することも可能であるし、撮影領域明示画像Ｓに、車両１の全体の鳥瞰画像を含んで構成することも可能である。

本発明は、車両に接近する障害物の存在を乗員に明示する撮影領域明示装置に関する。

１：車両
１１：撮影画像取得部
１２：注目撮影画像生成部
１７：撮影領域明示画像生成部
１８：合成画像生成部
１００：撮影領域明示装置
Ｃ；注目撮影画像
Ｇ：撮影画像
Ｓ：撮影領域明示画像

Claims (5)

1. 車両の後方の情景を撮影した撮影画像を取得する撮影画像取得部と、
   前記撮影画像に基づいて注目撮影画像を生成する注目撮影画像生成部と、
   表示画面に表示されている画像の撮影領域が、前記撮影画像に対応する撮影領域か前記注目撮影画像に対応する撮影領域かを明示する撮影領域明示画像を生成すると共に、前記表示画面の表示が、前記撮影画像から前記注目撮影画像に変更される場合に、前記撮影領域明示画像のうち、前記注目撮影画像に対応する領域のみを拡大する撮影領域明示画像生成部と、
   前記撮影画像及び前記注目撮影画像の一方と、前記撮影領域明示画像とを合成して前記表示画面に表示させる合成画像生成部と、
   を備える撮影領域明示装置。
2. 前記撮影領域明示画像生成部は、前記拡大を行う前に、前記撮影領域明示画像の少なくとも一部を点滅させる請求項１に記載の撮影領域明示装置。
3. 前記撮影領域明示画像は半透明であり、前記表示画面に表示されている画像に重畳して表示される請求項１又は２に記載の撮影領域明示装置。
4. 前記撮影領域明示画像には、少なくとも前記車両の後部の鳥瞰画像が含まれる請求項１から３のいずれか一項に記載の撮影領域明示装置。
5. 前記撮影領域明示画像は、前記表示画面の上部に配置される請求項１から４のいずれか一項に記載の撮影領域明示装置。

Images