JP4917191B1 - 画像制御装置及び画像制御方法 - Google Patents

Abstract

画像制御装置は、取得手段と、記憶手段と、判断手段と、表示制御手段と、を備える。取得手段は、移動体に搭載された撮像手段が撮像した画像を取得する。記憶手段は、施設に関する施設情報を記憶する。判断手段は、撮像手段の撮像範囲にある施設のうち、画像に表示されない非表示施設、又は／及び、撮像範囲の外にある施設のうち、撮影範囲の近傍に位置する非表示施設の有無を判断する。表示制御手段は、判断手段によって非表示施設があると判断された場合、当該非表示施設に関する施設情報を画像に重畳して表示手段に表示させる。
【選択図】図５

Description

本発明は、移動体に搭載された撮像手段から得られる画像を制御する技術に関する。

従来から、移動体の位置とカメラの設置位置、設置方向により、施設情報の画像上の位置を推定し、実写画像に重畳して表示する技術が知られている。例えば、特許文献１には、ランドマーク（施設マーク）として重畳表示する付加情報のうち、所定の条件を満たすものだけを表示することで閲覧性を向上させる画像撮影装置が開示されている。具体的には、上述の画像撮影装置は、実写画像の撮影範囲をエリア分けし、そのエリア内で最大表示個数を設け、予めランドマークデータに付与された優先度順に表示させている。

特開２００９−０１７５４０号公報

上述の技術によれば、実写画像に重畳させるランドマークの数を制限することができる一方で、実写画像から容易に視認できる施設についてもランドマークが表示される場合がある。従って、この場合、表示が煩雑化すると共に、運転者にとって有益な情報が表示されない可能性がある。

本発明は、上記のような課題を解決するためになされたものであり、移動体に搭載された撮像手段から得られる画像に、必要な施設情報のみを選定して付加することが可能な画像制御装置を提供することを主な目的とする。

請求項１に記載の発明は、移動体に搭載された撮像手段が撮像した画像を取得する取得手段と、施設に関する施設情報を記憶する記憶手段と、前記撮像手段の撮像範囲にある前記施設のうち、撮像位置から見て他の施設の背後に位置することにより所定の割合以上前記画像に表示されない撮影範囲内非表示施設、又は／及び、前記撮像範囲の外にあることにより所定の割合以上表示されない前記施設のうち前記撮影範囲の近傍に位置する撮影範囲外非表示施設の有無を判断する判断手段と、前記画像に含まれる施設のうち前記判断手段によって前記撮影範囲内非表示施設又は／及び前記撮影範囲外非表示施設と判断された施設の前記施設情報のみを前記画像に重畳して表示手段に表示させ、前記撮影範囲内非表示施設又は前記撮影範囲外非表示施設のいずれにも判断されなかった施設の前記施設情報を前記表示手段に表示させない表示制御手段と、を備えることを特徴とする。

請求項６に記載の発明は、画像制御装置により実行される画像制御方法であって、移動体に搭載された撮像手段が撮像した画像を取得する取得工程と、施設に関する施設情報を記憶する記憶工程と、前記撮像手段の撮像範囲にある前記施設のうち、撮像位置から見て他の施設の背後に位置することにより所定の割合以上前記画像に表示されない撮影範囲内非表示施設、又は／及び、前記撮像範囲の外にあることにより所定の割合以上表示されない前記施設のうち前記撮影範囲の近傍に位置する撮影範囲外非表示施設の有無を判断する判断工程と、前記画像に含まれる施設のうち前記判断工程で前記撮影範囲内非表示施設又は／及び前記撮影範囲外非表示施設と判断された施設の前記施設情報のみを前記画像に重畳して表示手段に表示させ、前記撮影範囲内非表示施設又は前記撮影範囲外非表示施設のいずれにも判断されなかった施設の前記施設情報を前記表示手段に表示させない表示制御工程と、を備えることを特徴とする。

本実施例に係るナビゲーション装置の概略構成の一例である。 （ａ）は、仮想的に生成したカメラの視野に対応する３次元空間の概念図である。（ｂ）は、撮影範囲空間と、撮影範囲外空間との位置関係を示す。 （ａ）は、オブジェクトによって生成される非表示空間をＸＺ平面上で表した図を示す。（ｂ）は、オブジェクトによって生成される非表示空間をＸＹ平面上で表した図を示す。 （ａ）は、施設マークを重畳させる前の撮影画像の一例を示す。（ｂ）は、システムコントローラが非表示施設検出処理を実行し、施設マークを重畳させた撮影画像を示す。 本実施例の処理手順を示すフローチャートの一例である。

本発明の好適な実施形態によれば、画像制御装置は、施設に関する施設情報を記憶する記憶手段と、前記撮像手段の撮像範囲にある前記施設のうち、前記画像に表示されない非表示施設、又は／及び、前記撮像範囲の外にある前記施設のうち、前記撮影範囲の近傍に位置する非表示施設の有無を判断する判断手段と、前記判断手段によって前記非表示施設があると判断された場合、当該非表示施設に関する前記施設情報を前記画像に重畳して表示手段に表示させる表示制御手段と、を備える。

上記の画像制御装置は、取得手段と、記憶手段と、判断手段と、表示制御手段と、を備える。取得手段は、移動体に搭載された撮像手段が撮像した画像を取得する。記憶手段は、施設に関する施設情報を記憶する。判断手段は、撮像手段の撮像範囲にある施設のうち、画像に表示されない非表示施設、又は／及び、撮像範囲の外にある施設のうち、撮影範囲の近傍に位置する非表示施設の有無を判断する。「撮影範囲の近傍」とは、撮影範囲にあるエリアに隣接した所定範囲のエリアであり、例えば実験等に基づき予めその特定方法が規定される。表示制御手段は、判断手段によって非表示施設があると判断された場合、当該非表示施設に関する施設情報を画像に重畳して表示手段に表示させる。

この実施形態によれば、画像制御装置は、撮影した画像からは視認しにくい又は視認することができない非表示施設の施設情報を当該画像に重畳して表示する。従って、画像制御装置は、撮影画像上の情報が煩雑になるのを防ぎつつ、画像から得られる情報の不足を補い、運転者にとって有益な情報を提示することができる。

上記の画像制御装置の一態様では、前記移動体の現在位置を測位する測位手段をさらに備え、前記記憶手段は、地図上の前記施設の位置を示す施設位置情報を記憶し、前記判断手段は、前記測位手段により測位された前記現在位置と、前記施設位置情報とに基づいて前記非表示施設の有無を判断する。この態様により、画像制御装置は、好適に、非表示施設を特定することが可能となる。

上記の画像制御装置の他の一態様では、前記判断手段は、前記撮像手段の撮影範囲にある前記施設のうち、前記画像に所定の割合以上表示されない施設を前記非表示施設とする。「所定の割合」とは、運転者が当該施設の存在を視認しにくい又は視認することができないと判断される割合であり、例えば実験等に基づき予め定められる。このようにすることで、画像制御装置は、好適に、非表示施設を特定することができる。

上記の画像制御装置の他の一態様では、前記表示制御手段は、前記施設情報を、当該施設情報に対応する非表示施設とずれた位置に表示すると共に、当該非表示施設の位置と前記施設情報との対応を示す矢印を表示する。このようにすることで、画像制御装置は、施設情報と当該施設情報が示す施設の位置との対応を運転者に明確に把握させることができる。

上記の画像制御装置の他の一態様では、前記判断手段により前記非表示施設であるか否か判断の対象となる施設は、駐車場である。一般に、駐車場及びその入口は、走行中に撮影される画像上では他の施設に遮られて特に視認しにくい又は視認することができない場合が多い。従って、この態様では、画像制御装置は、非表示となっている駐車場の情報を撮影画像に重畳させることで、画像から得られる情報の不足を補い、利便性を向上させることができる。

本発明の他の実施形態によれば、施設に関する施設情報を記憶する記憶手段を有する画像制御装置により実行される制御方法であって、移動体に搭載された撮像手段が撮像した画像を取得する取得工程と、前記撮像手段の撮像範囲にある前記施設のうち、前記画像に表示されない非表示施設、又は／及び、前記撮像範囲の外にある前記施設のうち、前記撮影範囲の近傍に位置する非表示施設の有無を判断する判断工程と、前記判断工程によって前記非表示施設があると判断された場合、当該非表示施設に関する前記施設情報を前記画像に重畳して表示手段に表示させる表示制御工程と、を備える。画像制御装置は、この制御方法を実行することで、撮影画像上の情報が煩雑になるのを防ぎつつ、画像から得られる情報の不足を補い、運転者にとって有益な情報を提示することができる。

本発明のさらに別の実施形態によれば、施設に関する施設情報を記憶する記憶手段を有する画像制御装置により実行されるプログラムであって、移動体に搭載された撮像手段が撮像した画像を取得する取得手段と、前記撮像手段の撮像範囲にある前記施設のうち、前記画像に表示されない非表示施設、又は／及び、前記撮像範囲の外にある前記施設のうち、前記撮影範囲の近傍に位置する非表示施設の有無を判断する判断手段と、前記判断手段によって前記非表示施設があると判断された場合、当該非表示施設に関する前記施設情報を前記画像に重畳して表示手段に表示させる表示制御手段、として前記画像制御装置を機能させる。画像制御装置は、このプログラムを搭載し実行することで、撮影画像上の情報が煩雑になるのを防ぎつつ、画像から得られる情報の不足を補い、運転者にとって有益な情報を提示することができる。なお、好適には、上記のプログラムは記憶媒体に記憶される。

以下、図面を参照して本発明の好適な実施例について説明する。以後では、「目的地」とは、使用者がナビゲーション装置１に設定した目的の地点を指す。また、「立寄地」とは、使用者が目的地の途中で立ち寄る地点としてナビゲーション装置１に設定した地点を指す。また、目的地及び立寄地を特に区別しない場合、これらを「目的地等」とも呼ぶ。

［概略構成］
図１は、本発明における画像制御装置の一例であるナビゲーション装置１の概略構成を示す。ナビゲーション装置１は、車両に搭載され、カメラ５と接続する。図１に示すように、ナビゲーション装置１は、自立測位装置１０、ＧＰＳ受信機１８、システムコントローラ２０、ディスクドライブ３１、データ記憶ユニット３６、通信用インタフェース３７、通信装置３８、表示ユニット４０、音声出力ユニット５０及び入力装置６０を備える。

自立測位装置１０は、加速度センサ１１、角速度センサ１２及び距離センサ１３を備える。加速度センサ１１は、例えば圧電素子からなり、車両の加速度を検出し、加速度データを出力する。角速度センサ１２は、例えば振動ジャイロからなり、車両の方向変換時における車両の角速度を検出し、角速度データ及び相対方位データを出力する。距離センサ１３は、車両の車輪の回転に伴って発生されているパルス信号からなる車速パルスを計測する。

ＧＰＳ受信機１８は、複数のＧＰＳ衛星から、測位用データを含む下り回線データを搬送する電波１９を受信する。測位用データは、緯度及び経度情報等から車両の絶対的な位置（以後、「現在位置」とも呼ぶ。）を検出するために用いられる。

システムコントローラ２０は、インタフェース２１、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２２、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２３及びＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２４を含んでおり、ナビゲーション装置１全体の制御を行う。

インタフェース２１は、加速度センサ１１、角速度センサ１２及び距離センサ１３並びにＧＰＳ受信機１８とのインタフェース動作を行う。そして、これらから、車速パルス、加速度データ、相対方位データ、角速度データ、ＧＰＳ測位データ、絶対方位データ等をシステムコントローラ２０に入力する。ＣＰＵ２２は、予め用意されたプログラムを実行することにより、システムコントローラ２０全体を制御する。ＲＯＭ２３は、システムコントローラ２０を制御する制御プログラム等が格納された図示しない不揮発性メモリ等を有する。ＲＡＭ２４は、入力装置６０を介して使用者により予め設定された経路データ等の各種データを読み出し可能に格納したり、ＣＰＵ２２に対してワーキングエリアを提供したりする。

システムコントローラ２０、ＣＤ−ＲＯＭドライブ又はＤＶＤ−ＲＯＭドライブなどのディスクドライブ３１、データ記憶ユニット３６、通信用インタフェース３７、表示ユニット４０、音声出力ユニット５０及び入力装置６０は、バスライン３０を介して相互に接続されている。

ディスクドライブ３１は、システムコントローラ２０の制御の下、ＣＤ又はＤＶＤといったディスク３３から、音楽データ、映像データなどのコンテンツデータを読み出し、出力する。なお、ディスクドライブ３１は、ＣＤ−ＲＯＭドライブ又はＤＶＤ−ＲＯＭドライブのうち、いずれか一方としてもよいし、ＣＤ及びＤＶＤコンパチブルのドライブとしてもよい。

データ記憶ユニット３６は、例えば、ＨＤＤなどにより構成され、地図データなどのナビゲーション処理に用いられる各種データを記憶するユニットである。データ記憶ユニット３６は、本発明における「記憶手段」の一例である。

通信装置３８は、例えば、ＦＭチューナやビーコンレシーバ、携帯電話や専用の通信カードなどにより構成され、ＶＩＣＳ（Ｖｅｈｉｃｌｅ Ｉｎｆｏｒｍａｔｉｏｎ Ｃｏｍｍｕｎｉｃａｔｉｏｎ Ｓｙｓｔｅｍ）センタなどから配信される情報（以下、「ＶＩＣＳ情報」と呼ぶ。）を電波３９より取得する。そしてインタフェース３７は、通信装置３８のインタフェース動作を行い、ＶＩＣＳ情報をシステムコントローラ２０等に入力する。

表示ユニット４０は、システムコントローラ２０の制御の下、各種表示データをディスプレイなどの表示装置に表示する。具体的には、システムコントローラ２０は、データ記憶ユニット３６から地図データを読み出す。表示ユニット４０は、本発明における「表示手段」の一例であり、システムコントローラ２０によってデータ記憶ユニット３６から読み出された地図データなどを表示画面上に表示する。表示ユニット４０は、バスライン３０を介してＣＰＵ２２から送られる制御データに基づいて表示ユニット４０全体の制御を行うグラフィックコントローラ４１と、ＶＲＡＭ（Ｖｉｄｅｏ ＲＡＭ）等のメモリからなり即時表示可能な画像情報を一時的に記憶するバッファメモリ４２と、グラフィックコントローラ４１から出力される画像データに基づいて、液晶、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）等のディスプレイ４４を表示制御する表示制御部４３と、ディスプレイ４４とを備える。ディスプレイ４４は、画像表示部として機能し、例えば対角５〜１０インチ程度の液晶表示装置等からなり、車内のフロントパネル付近に装着される。

音声出力ユニット５０は、システムコントローラ２０の制御の下、ＣＤ−ＲＯＭドライブ３１又はＤＶＤ−ＲＯＭ３２、若しくはＲＡＭ２４等からバスライン３０を介して送られる音声デジタルデータのＤ／Ａ（Ｄｉｇｉｔａｌ ｔｏ Ａｎａｌｏｇ）変換を行うＤ／Ａコンバータ５１と、Ｄ／Ａコンバータ５１から出力される音声アナログ信号を増幅する増幅器（ＡＭＰ）５２と、増幅された音声アナログ信号を音声に変換して車内に出力するスピーカ５３とを備えて構成されている。

入力装置６０は、各種コマンドやデータを入力するための、キー、スイッチ、ボタン、リモコン、音声入力装置等から構成されている。入力装置６０は、車内に搭載された当該車載用電子システムの本体のフロントパネルやディスプレイ４４の周囲に配置される。また、ディスプレイ４４がタッチパネル方式の場合、ディスプレイ４４の表示画面上に設けられたタッチパネルも入力装置６０として機能する。

カメラ５は、所定の画角を有し、撮像素子に入射する光に基づき撮影した画像（単に「撮影画像」とも呼ぶ。）を生成する。カメラ５は、車両の前方方向に向けられる。カメラ５は、本発明における「撮像手段」の一例である。以後では、「撮影範囲」とは、カメラ５の視野（Ｆｉｅｌｄ ｏｆ Ｖｉｅｗ）内の空間であって、撮影画像に映り得る距離にある空間を指す。

システムコントローラ２０は、現在位置及び地図情報に基づき、撮影画像から一部または全部が非表示となっている施設を特定し、当該施設を識別するためのマーク（「施設マーク」とも呼ぶ。）を重畳させて表示ユニット４０に表示させる。施設マークは、本発明における「施設情報」の一例である。このように、システムコントローラ２０は、本発明における「取得手段」、「判断手段」、「表示制御手段」に相当する。

以下、システムコントローラ２０が実行する具体的な処理について説明する。以後では、施設マークを撮影画像に重畳させる対象となる施設を、「非表示施設Ｉｎ」とも呼ぶ。

［非表示施設検出処理］
次に、非表示施設Ｉｎの検出処理（「非表示施設検出処理」とも呼ぶ。）について具体的に説明する。概略的には、システムコントローラ２０は、カメラ５の撮影範囲外にある施設うち、撮影範囲の近傍に存在する施設（「撮影範囲外非表示施設Ｉｎｏ」とも呼ぶ。）と、撮影範囲内にある施設のうち、撮影画像に表示されない施設（「撮影範囲内非表示施設Ｉｎｉ」とも呼ぶ。）とを、施設マークを付す非表示施設Ｉｎに定める。このようにすることで、システムコントローラ２０は、撮影画像からは視認しにくい又は視認することができない施設の施設マークを積極的に提示し、利便性を向上させる。

１．撮影範囲外非表示施設
まず、撮影範囲外非表示施設Ｉｎｏの特定方法について具体的に説明する。まず、システムコントローラ２０は、撮影画像と同縮尺であって、撮影範囲と一致する仮想的な３次元空間（「撮影範囲空間Ｓｉ」とも呼ぶ。）を生成する。これについて、図２を参照して説明する。

図２（ａ）は、撮影範囲空間Ｓｉの概念図である。図２（ａ）において、「視点Ｐｖ」は、カメラ５の位置を示し、「四角錐Ｆｖ」は、視点Ｐｖからカメラ５の向き、及び画角に基づき生成したカメラ５の視野に相当する空間を示し、「前方クリップ面Ｃｆ」は、四角錐Ｆｖから撮影範囲空間Ｓｉを切り取る２つの面のうち、視点Ｐｖに近い面を指し、「後方クリップ面Ｃｒ」は、四角錐Ｆｖから撮影範囲空間Ｓｉを切り取る２つの面のうち、視点Ｐｖから遠い面を指す。また、以後では、「Ｘ軸」は、車両の進行方向を正とする座標軸を指し、「Ｙ軸」は、車両の側面方向であって車両の前方を向いて右方向を正方向とする座標軸を指し、「Ｚ軸」は、重力方向と反対方向を正方向とする座標軸を指すものとする。

まず、システムコントローラ２０は、カメラ５が設置される高さ及び測定した車両の現在位置に基づき視点Ｐｖの位置を特定する。次に、システムコントローラ２０は、図２（ａ）に基づき、視点Ｐｖから、カメラ５の向き及び画角に基づき、四角錐Ｆｖを生成する。さらに、システムコントローラ２０は、Ｘ軸と垂直な平面である前方クリップ面Ｃｆ及び後方クリップ面Ｃｒで四角錐Ｆｖを切り取ることで、撮影範囲空間Ｓｉを生成する。なお、カメラ５が設置される高さ、カメラ５の向き、画角、前方クリップ面Ｃｆ及び後方クリップ面ＣｒのＸ座標値は、例えば予めＲＯＭ２３やデータ記憶ユニット３６等のメモリ（単に、「メモリ」とも呼ぶ。）に予め記憶されている。

次に、システムコントローラ２０は、撮影範囲空間Ｓｉの近傍にある所定の空間に存在する施設を、撮影範囲外非表示施設Ｉｎｏとする。以後では、上述の所定の空間を、「撮影範囲外空間Ｓｏ」とも呼ぶ。

これについて、図２（ｂ）を参照して説明する。図２（ｂ）は、図２（ａ）の矢印「Ｙ１」から見た場合の撮影範囲空間Ｓｉと、撮影範囲外空間Ｓｏとの位置関係を示す。また、「中心線Ｌｃ」は、視点Ｐｖから前方クリップ面Ｃｆ及び後方クリップ面Ｃｒへの垂線を表す。

図２（ｂ）に示すように、撮影範囲外空間Ｓｏは、撮影範囲空間ＳｉからＹ軸の正負両方向に延在する。具体的には、撮影範囲外空間Ｓｏは、前方クリップ面Ｃｆ及び後方クリップ面ＣｒをそれぞれＸ軸と平行な中心線Ｌｃから所定距離「Ｄ１」の位置までＹ軸方向に拡大し、拡大後の前方クリップ面Ｃｆ及び後方クリップ面Ｃｒを上面及び底面とする錐台から撮影範囲空間Ｓｉを除外した空間である。

そして、システムコントローラ２０は、撮影範囲外空間Ｓｏを特定後、地図データに記憶された施設の位置情報（「施設位置情報」とも呼ぶ。）に基づき、撮影範囲外空間Ｓｏに位置する施設を撮影範囲外非表示施設Ｉｎｏとする。

２．撮影範囲内非表示施設
次に、撮影範囲内非表示施設Ｉｎｉの特定方法について具体的に説明する。まず、システムコントローラ２０は、地図データを参照し、施設位置情報に加え、施設の高さの情報（「施設高さ情報」とも呼ぶ。）と、施設の横幅に相当するＹ軸方向での幅及び施設の奥行き幅に相当するＸ軸方向での幅から特定される立地範囲の情報（「施設範囲情報」とも呼ぶ。）とに基づき、撮影範囲空間Ｓｉ中に各施設の模型に相当するオブジェクトを配置する。そして、システムコントローラ２０は、カメラ５の向き及び画角に基づき、視点Ｐｖから撮影範囲空間Ｓｉを撮影画像と同様の２次元空間に投影した場合に、他の施設のオブジェクトにより非表示となる空間（「非表示空間Ｓｈ」とも呼ぶ。）を特定する。上述した撮影範囲空間Ｓｉを投影後の２次元空間を、「投影２Ｄ空間Ｓｐ」とも呼ぶ。

この処理について図３を参照して具体的に説明する。

図３（ａ）は、撮影範囲空間Ｓｉに配置された施設のオブジェクト「Ｏｂ１」によって生成される非表示空間ＳｈをＸＺ平面上で表した図を示す。図３（ｂ）は、オブジェクトＯｂ１によって生成される非表示空間ＳｈをＸＹ平面上で表した図を示す。非表示空間Ｓｈは、斜線により図示されている。

図３（ａ）、（ｂ）では、システムコントローラ２０は、撮影範囲空間Ｓｉに対応する位置関係を有する施設について、施設高さ情報及び施設範囲情報に基づき、オブジェクトＯｂ１を生成し、撮影範囲空間Ｓｉに配置している。具体的には、システムコントローラ２０は、図３（ａ）に示すように、施設高さ情報に基づき、矢印６０の幅に相当するオブジェクトＯｂ１の高さを定める。また、システムコントローラ２０は、図３（ｂ）に示すように、矢印６１の幅に相当する施設の横幅の情報及び矢印６２の幅に相当する施設の奥行き幅の情報からなる施設範囲情報に基づき、オブジェクトＯｂ１の立地範囲を定める。従って、この場合、オブジェクトＯｂ１は、直方体の形状を有する。そして、システムコントローラ２０は、視点ＰｖからオブジェクトＯｂ１の各頂点を通過する半直線を撮影範囲空間Ｓｉ中に描き（破線「Ｌ１」乃至「Ｌ３」参照）、非表示空間Ｓｈを特定する。

そして、システムコントローラ２０は、非表示空間Ｓｈと重なるオブジェクトであって、全体のうち所定割合以上が非表示となるオブジェクトを、撮影範囲内非表示施設Ｉｎｉのオブジェクトであると特定する。具体的には、投影２Ｄ空間Ｓｐ中で他のオブジェクトにより非表示となった面積を「Ａ１」、投影２Ｄ空間Ｓｐ中で当該オブジェクトが表示される面積を「Ａ２」とし、上述の所定割合を「Ｔｈ」とすると、システムコントローラ２０は、以下の式（１）が満たされた場合、当該オブジェクトを、撮影範囲内非表示施設Ｉｎｉのオブジェクトであると特定する。

Ａ１／（Ａ１＋Ａ２）≧Ｔｈ 式（１）
上述の所定割合Ｔｈは、例えば実験等に基づき予め定められる。

このように、システムコントローラ２０は、撮影範囲空間Ｓｉに生成した各施設のオブジェクトについて非表示空間Ｓｈを生成し、当該非表示空間Ｓｈと重なるオブジェクトであって、投影２Ｄ空間Ｓｐで所定割合Ｔｈ以上非表示となるオブジェクトを、撮影範囲内非表示施設Ｉｎｉのオブジェクトであると特定する。これにより、システムコントローラ２０は、好適に、撮影範囲内非表示施設Ｉｎｉを特定することができる。

［表示例］
次に、上述の処理に基づいて、システムコントローラ２０が表示ユニット４０に表示させる表示例について図４を参照して説明する。

図４（ａ）は、施設マークを重畳させる前の撮影画像の一例を示す。図４（ａ）に示す撮影画像は、施設「７０Ａ」乃至「７０Ｇ」が表示されている。なお、施設７０Ｆは、駐車場である。さらに、撮影範囲外には、図示しない施設「７０Ｈ」が存在する。施設７０Ｂ、７０Ｆは、他施設により所定割合Ｔｈ以上が非表示となっている。

図４（ｂ）は、システムコントローラ２０が非表示施設検出処理を実行し、施設マークを重畳させた撮影画像を示す。図４（ｂ）に示すように、システムコントローラ２０は、非表示施設検出処理により、施設７０Ｂ、７０Ｆを撮影範囲内非表示施設Ｉｎｉであると判断し、かつ、施設７０Ｈを撮影範囲外非表示施設Ｉｎｏであると判断し、各施設に対応する施設マーク「７１Ｂ」、「７１Ｆ」、「７１Ｈ」を撮影画像に重畳させている。また、システムコントローラ２０は、各施設マーク７１Ｂ、７１Ｆ、７１Ｈに対応して、対応する施設の位置を明示するための矢印「７２Ｂ」、「７２Ｆ」、「７２Ｈ」を表示させている。

このように、システムコントローラ２０は、非表示施設に対応する施設マークを撮影画像に重畳させることで、撮影画像のみでは把握することができない施設の存在をユーザに知らせることができる。特に、運転者が駐車場を探しているときに、当該駐車場及びその入口の存在を撮影画像のみでは把握できない場合であっても、システムコントローラ２０は、その駐車場に対応する施設マークを撮影画像に重畳させて表示することで、運転者に容易に所望の駐車場及びその入口を把握させることができる。

一方、システムコントローラ２０は、撮影画像から明確に視認される施設（図４（ｂ）では施設７０Ａ、７０Ｃ乃至７０Ｅ、７０Ｇ）の施設マークを撮影画像に重畳しない。このように、システムコントローラ２０は、非表示施設に対応する施設マークのみを撮影画像に重畳させることで、不要な情報表示により表示が煩雑化するのを防ぎ、運転者に必要な情報のみを運転者に提示することができる。

また、図４（ｂ）では、システムコントローラ２０は、施設マーク７１Ｂ、７１Ｆ、７１Ｈを対応する施設とずれた位置に配置すると共に、当該施設マークと、これに対応する施設７０Ｂ、７０Ｆ、７０Ｈとを、矢印７２Ｂ、７２Ｆ、７２Ｈを表示することで対応づけた。これにより、施設マークが前面に表示されている施設に対応すると運転者が誤認するのを防ぎ、各施設マークに対応する施設の位置を明確に把握させることができる。

［処理フロー］
次に、本実施例でシステムコントローラ２０が実行する処理手順について図５を用いて説明する。図５は、本実施例でシステムコントローラ２０が実行する処理手順を示すフローチャートの一例である。システムコントローラ２０は、図５に示すフローチャートの処理を、所定の周期に従い繰り返し実行する。

まず、システムコントローラ２０は、現在位置を特定する（ステップＳ１０１）。例えば、システムコントローラ２０は、ＧＰＳ受信機１８や自立測位装置１０の検出信号に基づき、現在位置を特定する。

次に、システムコントローラ２０は、撮影範囲空間Ｓｉ及び撮影範囲外空間Ｓｏを生成する（ステップＳ１０２）。具体的には、システムコントローラ２０は、カメラ５が設置される高さ及び現在位置に基づき、視点Ｐｖを定めると共に、カメラ５の向き、画角、前方クリップ面Ｃｆ及び後方クリップ面Ｃｒの位置とに基づき、撮影範囲空間Ｓｉを生成する。また、システムコントローラ２０は、撮影範囲空間ＳｉからＹ軸の正負両方向に所定幅だけ延在する隣接空間を撮影範囲外空間Ｓｏに定める。

次に、システムコントローラ２０は、撮影範囲空間Ｓｉ中に各施設のオブジェクトを配置し、非表示空間Ｓｈを生成する（ステップＳ１０３）。具体的には、システムコントローラ２０は、視点Ｐｖから各施設のオブジェクトの頂点を通過する半直線を描くことで、各オブジェクトに対応する非表示空間Ｓｈを特定する。

そして、システムコントローラ２０は、撮影範囲外空間Ｓｏに対応する施設が存在するか否か判定する（ステップＳ１０４）。そして、システムコントローラ２０は、撮影範囲外空間Ｓｏに対応する施設が存在すると判断した場合（ステップＳ１０４；Ｙｅｓ）、当該施設の施設マークを撮影画像に重畳させる（ステップＳ１０５）。これにより、システムコントローラ２０は、カメラ５の撮影範囲外で撮影画像に表示されない施設であっても、ユーザにその存在を知らせることができ、利便性を向上させることができる。

一方、システムコントローラ２０は、撮影範囲外空間Ｓｏに施設が存在しないと判断した場合（ステップＳ１０４；Ｎｏ）、又はステップＳ１０５の処理の終了後、非表示空間Ｓｈと重なるオブジェクトが存在するか否か判定する（ステップＳ１０６）。そして、システムコントローラ２０は、非表示空間Ｓｈと重なるオブジェクトが存在すると判断した場合（ステップＳ１０６；Ｙｅｓ）、投影２Ｄ空間Ｓｐを生成し、所定割合Ｔｈ以上非表示となるか否か判定する（ステップＳ１０７）。そして、システムコントローラ２０は、投影２Ｄ空間Ｓｐ上で所定割合Ｔｈ以上非表示となるオブジェクトが存在すると判断した場合（ステップＳ１０７；Ｙｅｓ）、当該オブジェクトに対応する施設の施設マークを撮影画像に重畳させる（ステップＳ１０８）。これにより、システムコントローラ２０は、他の施設と重なって撮影画像中で隠れた施設であっても、ユーザにその存在を知らせることができ、利便性を向上させることができる。

一方、システムコントローラ２０は、非表示空間Ｓｈと重なるオブジェクトが存在しない場合（ステップＳ１０６；Ｎｏ）、または、投影２Ｄ空間Ｓｐ上で所定割合Ｔｈ以上非表示となるオブジェクトが存在しない場合（ステップＳ１０７；Ｎｏ）、当該オブジェクトに対応する施設の施設マークを表示する必要はないと判断し、フローチャートの処理を終了する。これにより、システムコントローラ２０は、不要な情報表示により表示が煩雑化するのを防ぎ、運転者に必要な情報のみを運転者に提示することができる。

［変形例］
以下、本実施例の各変形例について説明する。なお、これらの各変形例は、任意に組み合わせて上述の実施例に適用することが可能である。

（変形例１）
図５の処理フローでは、システムコントローラ２０は、ステップＳ１０３で撮影範囲空間Ｓｉに全てのオブジェクトを配置した後、ステップＳ１０７において、投影２Ｄ空間Ｓｐ上で所定割合Ｔｈ以上非表示となるオブジェクトがあるか否か判定した。しかし、本発明が適用可能な方法はこれに限定されない。

これに代えて、システムコントローラ２０は、視点Ｐｖ（現在位置）から近い施設から順に撮影範囲空間Ｓｉにオブジェクトを配置し、そのたびに、当該オブジェクトが投影２Ｄ空間Ｓｐ上で所定割合Ｔｈ以上非表示となるか否か判定してもよい。これによっても、好適に、システムコントローラ２０は、撮影範囲内非表示施設Ｉｎｉを特定することができる。

（変形例２）
上述の説明では、システムコントローラ２０は、地図データを参照して施設高さ情報及び施設範囲情報を取得し、撮影範囲空間Ｓｉ中に配置する施設のオブジェクトの形状を定め、非表示空間Ｓｈを特定した。

しかし、本発明が適用可能な方法は、これに限定されない。これに代えて、システムコントローラ２０は、施設高さ情報又は施設範囲情報のいずれか一方に基づき、非表示空間Ｓｈを特定してもよい。

例えば、システムコントローラ２０は、施設範囲情報のみに基づき非表示空間Ｓｈを定める場合、図３（ｂ）に示すように、ＸＹ平面上で、撮影範囲空間Ｓｉ中の非表示空間Ｓｈを平面的に定める。そして、システムコントローラ２０は、当該ＸＹ平面上で、非表示空間Ｓｈと施設の範囲が所定割合Ｔｈ以上重なる施設を、撮影範囲内非表示施設Ｉｎｉであるとしてもよい。

一方、システムコントローラ２０は、施設高さ情報のみに基づき非表示空間Ｓｈを特定する場合、例えば、各施設の立地範囲を予め定めた大きさに画一的に定め、実施例と同様、オブジェクトを撮影範囲空間Ｓｉに直方体状に配置し、非表示空間Ｓｈを特定する。

（変形例３）
非表示施設検出処理の説明では、システムコントローラ２０は、撮影範囲空間Ｓｉに対応する全ての施設について、オブジェクトを生成して撮影範囲内非表示施設Ｉｎｉか否かを判定し、撮影範囲内非表示施設Ｉｎｉの場合には施設マークを撮影画像に重畳させた。これに代えて、システムコントローラ２０は、撮影範囲空間Ｓｉに対応する施設のうち、所定の種類又は予め定められた施設についてのみ、撮影範囲内非表示施設Ｉｎｉか否か判定し、施設マークを撮影画像に重畳させてもよい。上述の「所定の種類」とは、例えば駐車場が該当する。また、「予め定められた施設」とは、例えば交差点付近の施設、その他地図データ等で予め指定された運転上目印となる施設が該当する。

同様に、システムコントローラ２０は、撮影範囲外空間Ｓｏ中の全ての施設を対象に、施設マークを撮影画像に重畳させる場合に代えて、撮影範囲外空間Ｓｏ中の施設のうち、所定の種類又は予め定められた施設のみを撮影範囲外非表示施設Ｉｎｏと定め、施設マークを撮影画像に重畳させてもよい。

この例によっても、システムコントローラ２０は、撮影画像では視認できない運転者にとって重要な施設を知らせることができ、利便性を向上させることができる。

（変形例４）
図４の説明では、システムコントローラ２０は、撮影範囲内非表示施設Ｉｎｉに対応する施設マークを表示する場合、撮影範囲内非表示施設Ｉｎｉとずれた位置に施設マークを配置すると共に、当該施設マークと、これに対応する撮影範囲内非表示施設Ｉｎｉとを、矢印を表示することで対応づけた。しかし、本発明が適用可能な構成は、これに限定されない。

これに代えて、システムコントローラ２０は、施設マークを対応する撮影範囲内非表示施設Ｉｎｉ上に重ねて表示すると共に、当該施設マークを、半透明により、又は、点線枠を付すなどにより表示態様を変化させて表示してもよい。この態様によっても、システムコントローラ２０は、撮影範囲内非表示施設Ｉｎｉの前面に表示された施設が施設マークに対応するとの誤認が生じるのを防ぎ、撮影範囲内非表示施設Ｉｎｉの存在を運転者に知らせることができる。

本発明は、車載用ナビゲーション装置、ＰＮＤ（Ｐｅｒｓｏｎａｌ Ｎａｖｉｇａｔｉｏｎ Ｄｅｖｉｃｅ）、その他移動体に搭載されたカメラから取得した画像を制御する装置に好適に適用することができる。

１ ナビゲーション装置
１０ 自立測位装置
１２ ＧＰＳ受信機
２０ システムコントローラ
２２ ＣＰＵ
３６ データ記憶ユニット
３８ 通信装置
４０ 表示ユニット
４４ ディスプレイ

Claims (6)

1. 移動体に搭載された撮像手段が撮像した画像を取得する取得手段と、
   施設に関する施設情報を記憶する記憶手段と、
   前記撮像手段の撮像範囲にある前記施設のうち、撮像位置から見て他の施設の背後に位置することにより所定の割合以上前記画像に表示されない撮影範囲内非表示施設、又は／及び、前記撮像範囲の外にあることにより所定の割合以上表示されない前記施設のうち前記撮影範囲の近傍に位置する撮影範囲外非表示施設の有無を判断する判断手段と、
   前記画像に含まれる施設のうち前記判断手段によって前記撮影範囲内非表示施設又は／及び前記撮影範囲外非表示施設と判断された施設の前記施設情報のみを前記画像に重畳して表示手段に表示させ、前記撮影範囲内非表示施設又は前記撮影範囲外非表示施設のいずれにも判断されなかった施設の前記施設情報を前記表示手段に表示させない表示制御手段と、
   を備えることを特徴とする画像制御装置。
2. 前記判断手段は、前記撮像手段の撮像範囲にある前記施設のうち、予め定められた施設についてのみ前記撮影範囲内非表示施設に該当するか否かを判断することを特徴とする請求項１に記載の画像制御装置。
3. 前記判断手段は、前記撮像手段の撮像範囲にある前記施設のうち、交差点から所定範囲内に存在する施設についてのみ前記撮影範囲内非表示施設に該当するか否かを判断することを特徴とする請求項２に記載の画像制御装置。
4. 前記表示制御手段は、前記撮影範囲内非表示施設に関する施設情報を、前記画像中の前記撮影範囲内非表示施設に重ねて、且つ半透明又は点線枠を付して表示させることを特徴とする請求項１乃至請求項３のいずれか一項に記載の画像制御装置。
5. 前記表示制御手段は、前記撮影範囲外非表示施設に関する施設情報を、前記画像中に前記撮影範囲外非表示施設が存在する方向を示す矢印とともに表示させることを特徴とする請求項１乃至請求項４のいずれか一項に記載の画像制御装置。
6. 画像制御装置により実行される画像制御方法であって、
   移動体に搭載された撮像手段が撮像した画像を取得する取得工程と、
   施設に関する施設情報を記憶する記憶工程と、
   前記撮像手段の撮像範囲にある前記施設のうち、撮像位置から見て他の施設の背後に位置することにより所定の割合以上前記画像に表示されない撮影範囲内非表示施設、又は／及び、前記撮像範囲の外にあることにより所定の割合以上表示されない前記施設のうち前記撮影範囲の近傍に位置する撮影範囲外非表示施設の有無を判断する判断工程と、
   前記画像に含まれる施設のうち前記判断工程で前記撮影範囲内非表示施設又は／及び前記撮影範囲外非表示施設と判断された施設の前記施設情報のみを前記画像に重畳して表示手段に表示させ、前記撮影範囲内非表示施設又は前記撮影範囲外非表示施設のいずれにも判断されなかった施設の前記施設情報を前記表示手段に表示させない表示制御工程と、
   を備えることを特徴とする画像制御方法。

Images