JP6045796B2 - 映像処理装置、映像処理方法、および映像表示システム - Google Patents

Description

本発明は、映像処理装置、映像処理方法、および映像表示システムに関するものである。より詳細には、本発明は、移動体に取り付けられたカメラにより撮影された映像を処理する映像処理装置、映像処理方法、および当該映像処理装置を含む映像表示システムに関するものである。

近年、自動車に車載カメラを設置して撮影した映像を、車内に設置したディスプレイ等の表示部に表示することにより、運転者の安全確認などを補助する技術が知られている。

例えば、自動車の前方の先端付近にカメラを設置して、自動車の前方すなわち進行方向を撮影した映像を車内の運転者に示すことにより、見通しの悪い道路から交差点に進入する際などの安全性を高めようとする技術がある。また、例えば、自動車の後方を撮影できる位置にカメラを設置して、自動車の後方を中心とする映像を車内の運転者に示すことにより、運転者が自動車を後進させる際の安全性を高めようとする技術もある。

このような技術には、一般的に広角撮影が可能なカメラ、すなわち広角レンズなどの画角の広いレンズを搭載したカメラが採用されることが多い（例えば、特許文献１参照）。これは、広角撮影可能なカメラで撮影された映像の方が、当該映像を表示部に表示した際に、運転者が一画面で視認できる範囲が広くなる等の理由によるものである。

特開２００６−３１１２２２号公報

しかしながら、上記特許文献１からも明らかなように、車載カメラとして採用される広角撮影可能なカメラで撮影した映像は、通常、映像の中心から外側に向かって徐々に歪むようになる。

例えば、図１２に示すように、自動車１００の後方部分に設置した広角撮影可能なカメラ１２０によって、自動車１００の後方の映像を撮影する場合について説明する。図１２は、駐車場に停車している自動車および駐車場の周辺を上方から見た状態を表す図である。図１２に示す例において、カメラ１２０は、両端に矢印を付した円弧で示すように、水平方向に１８０°程度の画角の映像を撮影可能である。図１２に示す駐車場においては、自動車の駐車位置を表す白線３００により、各車両が駐車すべき位置が示されている。また、この駐車場の周辺には、建物４００が建っているとする。

図１２に示すような状況で、カメラ１２０によって自動車１００の後方を撮影したものを、車内に設置したディスプレイ等の表示部１６０に表示すると、図１３に示すような映像になる。図１３に示すように、白線３００のうち実際には水平方向にまっすぐな部分は大きく湾曲し、画面の端に向かうに連れてその曲率も高くなっている。また、白線３００のうち自動車１００が後進する方向と平行である部分は、画面の端に向かうに連れて自動車１００の後進方向との角度が大きくなっている。さらに、当該平行な部分同士は、実際には等間隔であるにもかかわらず、表示部１６０の表示上は等間隔になっていない。

一般的に、このようなカメラで撮影した映像は、中央部分はあまり歪みを含まないが、中央部分から遠ざかるにつれて歪みが大きくなり、映像端部においてはかなりの歪みを含むものとなる。このため、運転者は、このような歪みを含む映像による補助があっても、自車と他の物体との間の距離を把握するのが困難であるのみならず、自車が進行する方向を基準とした他の物体の方向を把握するのも困難である。

したがって、かかる事情に鑑みてなされた本発明の目的は、車載カメラにより広角撮影された映像において運転者が方向感覚および距離感を把握することができる映像処理装置、映像処理方法、および映像表示システムを提供することにある。

上記目的を達成する第１の観点に係る発明は、
移動体に取り付けられ、当該移動体の進行方向を広角撮影可能なカメラにより撮影された映像に所定の情報を重畳する映像処理装置であって、
前記カメラにより撮影された映像を出力している状態下において、当該映像における所定の位置が指示される入力を検出すると、前記カメラにより撮影された映像のうち当該指示された位置と前記移動体との間の距離に関する情報を重畳するように制御する制御部を備え、
前記制御部は、前記カメラのレンズ固有の歪みデータに基づいて前記距離を把握し、
前記所定の情報を、前記移動体からの距離が、前記カメラにより撮影された映像のうち前記指示された位置に等しくなる点を線状につないだ参照線として重畳するように制御し、
前記カメラにより撮影された映像を被写体と前記移動体との間の距離に応じて複数に分割した領域のそれぞれにおいては、同じ曲率の前記参照線を表示するように制御する。

また、前記制御部は、前記移動体が移動して前記カメラにより撮影される映像が変化するのに追従させて、前記参照線が前記カメラにより撮影された映像の歪みに応じた曲率になるように制御するのが好ましい。

また、前記カメラにより撮影される映像の座標における当該映像の被写体と前記移動体との間の距離を記憶する記憶部をさらに備え、
前記制御部は、前記記憶部に記憶された前記カメラにより撮影される映像の座標における当該映像の被写体と前記移動体との間の距離を読み出して、前記所定の情報を重畳するように制御するのが好ましい。

また、前記制御部は、前記所定の情報を、前記指示された位置における被写体と前記移動体との間の距離を数値で表した参照値として重畳するように制御するのが好ましい。

また、前記制御部は、前記入力が検出された位置に所定の物体が存在することが認識された場合、当該所定の物体の接地点付近かつ前記移動体に最も近い位置を基準として、前記所定の情報を重畳するように制御するのが好ましい。

また、前記制御部は、前記移動体が移動して前記カメラにより撮影される映像が変化するのに追従させて、前記重畳する所定の情報の位置を変化させるように制御するのが好ましい。

また、前記制御部は、前記指示された位置における被写体と前記移動体との間の距離に応じて、前記重畳する所定の情報の表示態様を変化させて重畳するように制御するのが好ましい。

また、前記制御部は、前記カメラにより撮影された映像に前記所定の情報を重畳する際に、前記移動体の進路を示唆するガイド線を重畳するように制御するのが好ましい。

また、前記制御部は、前記移動体のステアリングの舵角に応じて、前記ガイド線を変化させて重畳するように制御するのが好ましい。

また、タッチパネルにより構成される入力検出部を備え、
前記制御部は、前記映像における所定の位置が指示される入力を、前記入力検出部を介して検出するように制御するのが好ましい。

また、操作キーにより構成される入力検出部を備え、
前記制御部は、前記映像における所定の位置が指示される入力を、前記入力検出部を介して検出するように制御するのが好ましい。

また、前記カメラにより撮影された映像は、魚眼レンズを備えるカメラにより撮影された映像とするのが好ましい。

また、前記カメラにより撮影された映像は、複数のカメラにより撮影された映像を合成したものとするのが好ましい。

上記目的を達成する第２の観点に係る発明は、
移動体に取り付けられ、当該移動体の進行方向を広角撮影可能なカメラにより撮影された映像に所定の情報を重畳する映像処理方法であって、
前記カメラにより撮影された映像を出力している状態下において、当該映像における所定の位置が指示される入力を検出すると、前記カメラにより撮影された映像のうち当該指示された位置と前記移動体との間の距離に関する情報を重畳するように制御するステップを含み、
前記制御するステップでは、前記カメラのレンズ固有の歪みデータに基づいて前記距離を把握し、
前記所定の情報を、前記移動体からの距離が、前記カメラにより撮影された映像のうち前記指示された位置に等しくなる点を線状につないだ参照線として重畳するように制御し、
前記カメラにより撮影された映像を被写体と前記移動体との間の距離に応じて複数に分割した領域のそれぞれにおいては、同じ曲率の前記参照線を表示するように制御する。

上記目的を達成する第３の観点に係る発明は、
移動体に取り付けられ、当該移動体の進行方向を広角撮影可能なカメラと、
前記カメラにより撮影された映像に所定の情報を重畳する制御部と、
前記カメラにより撮影された映像および前記所定の情報を表示する表示部と、
前記表示部に表示された映像における所定の位置が指示される入力を検出する入力検出部と、
を含む映像表示システムであって、
前記制御部は、前記表示部が前記カメラにより撮影された映像を表示している状態下において、当該映像における所定の位置が指示される入力を前記入力検出部が検出すると、前記カメラにより撮影された映像のうち当該指示された位置と前記移動体との間の距離に関する情報を重畳するように制御し、
前記制御部はさらに、前記カメラのレンズ固有の歪みデータに基づいて前記距離を把握し、
前記所定の情報を、前記移動体からの距離が、前記カメラにより撮影された映像のうち前記指示された位置に等しくなる点を線状につないだ参照線として重畳するように制御し、
前記カメラにより撮影された映像を被写体と前記移動体との間の距離に応じて複数に分割した領域のそれぞれにおいては、同じ曲率の前記参照線を表示するように制御する。

本発明の映像処理装置、映像処理方法、および映像表示システムによれば、運転者は、車載カメラにより広角撮影された映像において方向感覚および距離感を把握することができる。

本発明の第１実施形態に係る映像表示システムの概略構成を示す図である。 第１実施形態に係る移動体と被写体との関係を説明する図である。 第１実施形態に係るカメラにより撮影される映像の被写体と移動体との間の距離について説明する図である。 第１実施形態に係るカメラにより撮影される映像の座標における当該映像の被写体と移動体との間の距離の対応を表す図である。 第１実施形態においてカメラにより撮影された映像を表示した例を示す図である。 第１実施形態に係る参照線の例を示す図である。 第２実施形態においてカメラにより撮影された映像を表示した例を示す図である。 第２実施形態に係る参照線の例を示す図である。 第３実施形態においてカメラにより撮影された映像を表示した例を示す図である。 第３実施形態に係る参照値の例を示す図である。 本発明の実施形態の変形例に係る参照線の例を示す図である。 カメラを設置した自動車および駐車場を上方から見た図である。 広角撮影可能なカメラにより撮影した映像を示す図である。

以下、本発明の各実施形態について、図面を参照して説明する。

（第１実施形態）
図１は、本発明の第１実施形態に係る映像処理装置を含む映像表示システムの概略構成の例を示す図である。図１に示すように、本実施形態に係る映像表示システムは、カメラ１２と、カメラ制御部１４と、表示部１６と、入力検出部６０と、を含んで構成される。また、図１に示すように、本実施形態に係る映像処理装置４０は、カメラ制御部１４と、記憶部５０と、を備えている。本実施形態に係る映像処理装置４０は、例えば自動車などの移動体１００に設置することを想定している。しかしながら、自動車以外の移動体に設置して使用することも当然可能である。

図１に示すように、本実施形態に係る映像表示システムにおいては、バス１０に各種の機能を構成する要素が接続されている。バス１０に接続された映像処理装置４０は、カメラ制御部１４を備え、カメラ制御部１４にはカメラ１２が接続されている。その他、バス１０には、自動車に備えられた電子機器関連の要素のうち主なものとして、表示部１６、イグニッションスイッチ１８、舵角センサ２０、ブレーキセンサ２２、ＧＰＳ２４、ライト２６、スピーカ２８、制御部３０、および入力検出部６０などが接続される。以下の説明においては、特に、自動車を構成する各機能部のうち映像などの各種の情報が取得される要素、および映像などの各種の情報が出力される要素を中心に説明し、他の機能部を構成する要素は図示および説明を省略する。

カメラ１２は、例えば魚眼レンズなどの画角の広いレンズを備え、広角撮影が可能である。カメラ１２が撮影した映像は、映像処理装置４０のカメラ制御部１４に送られる。カメラ制御部１４は、カメラ１２が撮影した映像に、本実施形態に係る後述の所定の情報を重畳する処理が行われるように制御する他、カメラ１２に関連する各種の制御を行う。例えば、図１においてカメラ１２は１つの要素として示してあるが、カメラ１２を複数設置することもできる。この場合、カメラ制御部１４は、複数のカメラ１２が連携するように制御を行う。そして、カメラ制御部１４は、複数のカメラ１２から送られる複数の映像を加工して合成してから、前記所定の情報を重畳する処理が行われるように制御する。

映像処理装置４０は、カメラ１２により撮影された映像にカメラ制御部１４が前記所定の情報を重畳した映像を出力する。本実施形態において、映像処理装置４０は、図１に示すように、カメラ制御部１４を備えたユニットとして説明し、外部のカメラ１２から映像を入力するものとして説明する。しかしながら、映像処理装置４０は、カメラ制御部１４、カメラ１２、および記憶部６０を含んで、全体としてカメラユニットを構成するものとしてもよい。

表示部１６は、例えば液晶ディスプレイまたは有機ＥＬディスプレイ等で構成し、各種の情報および映像などを表示する。例えば、自動車１００の各種の車両情報を表示したり、ＧＰＳ２４を利用したナビゲーションシステムの画面を表示したりすることができる。本実施形態においては、表示部１６は、映像処理装置４０から出力された映像を表示する。

イグニッションスイッチ１８は、移動体１００のエンジンを始動したり停止したりするスイッチであるが、アクセサリをオンにすることで移動体１００の多くの電子機器が通電するため、実質的には映像表示システムのメインスイッチのような働きをする。

舵角センサ２０は、ステアリングの切れ角を検出するものである。ブレーキセンサ２２は、移動体１００のブレーキが作動しているか否か、およびブレーキの度合いなどを検出するものである。ＧＰＳ２４は、アンテナを介してＧＰＳ衛星からのＧＰＳ信号を受信することにより、現在地の情報を取得することができる。ライト２６は、移動体１００のヘッドライトおよびポジションランプなどを総称するものである。これらのヘッドライトおよびポジションランプなどの点灯／消灯の状況は、バス１０側から知ることができる。スピーカ２８は、カーステレオの音声を出力するのみならず、カーナビゲーションの音声ガイドおよび各種警告システムからの警報音なども出力する。

制御部３０は、移動体１００の電子制御に係る処理を制御するとともに、移動体１００の各機能部を制御する。具体的には、制御部３０は、例えばカーナビゲーションシステムなどが接続されるコンピュータとすることもできるが、その他の機能部が制御部３０の機能を担うようにすることもできる。

記憶部５０は、フラッシュメモリなどの任意のメモリによって構成することができる。本実施形態において、記憶部５０は、後述するように、カメラ１２により撮影される映像の座標における当該映像の被写体と移動体１００との間の距離を記憶する。また、記憶部５０は、各種の情報を記憶することができるものとして説明する。

入力検出部６０は、移動体１００の運転者などの操作者による操作入力を検出する。本実施形態において、入力検出部６０は、例えばキーボードまたは専用コントローラなど、所定のキーやボタンなどの操作キーにより構成されるものとすることができる。しかしながら、以下の説明において、入力検出部６０は、表示部１６に表示された映像またはオブジェクトなどに操作者が直接触れるような入力を検出することができるタッチパネルにより構成されたものとして説明する。

次に、本実施形態に係る被写体と移動体１００との関係について説明する。図２は、第１実施形態に係るカメラ１２により撮影される映像の被写体と移動体１００との関係を説明する図である。図２に示すように、本実施形態において、カメラ１２は、例えば自動車としての移動体１００における、その後方を撮影できる位置に設置される。また、本実施形態において、カメラ１２は、移動体１００の後方の路面および路面上に存在する物体などの映像を撮影する。したがって、本実施形態において、カメラ１２により撮影される映像の「被写体」とは、通常、移動体１００の後方の路面および路面上に存在する物体などを意味する。

図２においては、カメラ１２により映像が撮影される被写体の領域を、移動体１００の後方の領域Ａとして示してある。この領域Ａにおいて、例えば障害物などの物体が路面上に置かれていた場合、領域Ａの路面のみならず当該物体も被写体としてカメラ１２により映像が撮影される。このようにして、カメラ１２により撮影された被写体の映像は、図１において説明した映像処理装置４０に入力される。映像処理装置４０は、当該被写体の映像を出力して、表示部１６に表示することができる。一般的に、図２に示した表示部１６は、移動体１００の運転者が視認することができるように、移動体１００の内部に設置される。

図２に示した例においては、主に後進する場合について説明するため、移動体１００の後方を撮影できる位置にカメラ１２を設置した例を示してある。しかしながら、本発明はこのような例に限定されるものではなく、移動体１００が前進する場合のために、移動体１００の前方を撮影できる位置にカメラ１２を設置してもよい。

次に、第１実施形態に係るカメラ１２により撮影される映像の被写体と移動体との間の距離について説明する。

上述したように、本実施形態において、カメラ１２は広角撮影可能であるため、カメラ１２によって撮影された映像は、一般的に歪みを含んだものとなる。したがって、カメラ１２によって被写体を撮影した映像を表示部１６に表示したとしても、表示部１６上で直線状に見えるものは実際には直線状ではなかったり、表示部１６上で所定の位置から等距離にある地点が実際には等距離ではなかったりすることがある。このため、移動体１００の運転者が表示部１６に表示された映像を参照したとしても、それだけでは、移動体１００の相対的な方向感覚および距離感を正しく把握することは困難である。

そこで、本実施形態に係る映像処理装置４０は、移動体１００に取り付けられて移動体１００の進行方向を広角撮影可能なカメラ１２により撮影された映像に所定の情報を重畳する。ここで、本実施形態において「所定の情報」とは、後述するように、所定の参照線を意味する。この参照線により、移動体１００の運転者は、移動体１００の相対的な方向感覚および距離感を正しく把握することができる。

本実施形態では、このような参照線を付与するために、カメラ制御部１４は、カメラ１２のレンズに固有の歪みデータに基づいて、カメラ１２により撮影される映像の座標における当該映像の被写体と移動体１００との間の距離を予め把握しておく。すなわち、カメラ制御部１４は、カメラ１２により撮影されて表示部１６に表示される映像の所定の座標（あるいはドットまたは画素など）において、撮影される映像の被写体と移動体１００との間の距離の情報を予め記憶するなどして把握しておく。

図３は、表示部１６に表示された映像において、所定の座標ごとに対応する領域で区切って示した図である。図３において、表示部１６に表示された映像は網目状に表されているが、当該網目によって区切られた領域のそれぞれは、所定の座標ごとに対応する領域を表している。図３においては、説明のために、表示部１６に表示された映像を網目状にして表したが、実際の表示部１６の表示においては、図３に示すように映像を網目状に表示する必要はない。また、図３においては、図を簡略化するために、表示部１６に表示された映像において、比較的低い解像度で（つまり粗く）所定の座標を示してある。実際には、表示部１６に表示された映像において、例えば画素ごとの高い解像度で（つまり細かく）所定の座標を規定することもでき、また、いくつかの画素群ごとに所定の座標を規定するなど、任意の解像度とすることができる。

本実施形態においては、図３のように区切られた領域の座標ごとに、当該座標の位置に表示される被写体と移動体１００との距離を、それぞれの座標について予め把握しておく。図４は、カメラ１２により撮影される映像の座標における当該映像の被写体と移動体との間の距離の対応を表す図である。すなわち図４においては、図３で示した区切られた領域の座標に対応させて、当該座標の位置に表示される被写体と移動体１００との距離を示してある。しかしながら、図の簡略化のために、図４は部分的に省略して示してある。

例えば、図３において最も左上の座標は、実際には移動体１００から３ｍ離れている点がカメラ１２により撮影されて表示部１６に映し出されているものとした場合、この座標に対応する図４における最も左上の座標（Ｘ，Ｙ）＝（０，０）には３０００という値が与えられている。すなわち、図３において左上の座標に対応し、当該座標に表示される映像の被写体は移動体１００から３０００ｍｍ離れていることが図４における座標（Ｘ，Ｙ）＝（０，０）を参照することで把握できる。また、同様に、図４において最も右下の座標（Ｘ，Ｙ）＝（６３９，４７９）は、図３においても最も右下の座標に対応し、０という値が付与されている。すなわち、当該座標に表示される映像の被写体は移動体１００から０ｍｍ離れていることを表している。この場合、図３において右下の座標に表示される被写体は、実際には移動体１００からの距離がゼロであることを意味する。図４から分かるように、カメラ１２によって撮影された映像は歪みを含んだものとなるため、同じＹ座標の複数の点同士を比較しても、被写体から移動体１００までの距離は必ずしも同じにならない。具体的には、同じＹ座標上の値であっても、Ｘ座標軸における中央（Ｘ＝３１９）近辺の値が最も小さく、両端（Ｘ＝０または６３９）近辺の値の方が大きい。

このように座標ごとに距離を表す数値は、カメラ１２に搭載されたレンズに固有の歪みデータにより異なるものであり、また、カメラ１２が移動体１００に設置される水平方向の高さおよび角度など各種のパラメータにより異なる。したがって、図４に示すような対応表は、カメラ１２に搭載されるレンズに応じて、さらにカメラが移動体１００に設置される水平方向の高さおよび角度などのパラメータに応じて提供されるようにする。また、図４に示すような対応表は、それぞれ座標ごとの数値を、記憶部５０に予め記憶しておくようにしてもよいし、あるいは記憶部５０にそれぞれの場合についての計算式を記憶しておき、必要に応じて数値を算出するようにしてもよい。このように、本実施形態では、記憶部５０は、カメラ１２により撮影される映像の座標における当該映像の被写体と移動体１００との間の距離を記憶する。

また、図３において表示部１６に表示された映像には、移動体１００が後進する際に運転者をガイドするための各種のガイド線が表示されている。例えば、ガイド線αは、移動体１００から例えば１ｍのような比較的近くの間隔を表すことにより、表示ガイド線α付近に物体が表示されている場合には、当該物体は移動体１００のすぐ近くに位置することを表す。また、ガイド線βＲおよびβＬは、移動体１００の車幅を基準として、移動体の進行方向と平行な方向を表す。図３においては、ガイド線βＲおよびβＬは、破線により示してある。また、ガイド線γは、移動体１００から例えば３ｍのような少し離れた間隔を表すことにより、表示ガイド線β付近に物体が表示されている場合に、当該物体は移動体１００から少し離れた位置にあることを表す。

次に、本実施形態に係る映像処理装置４０による処理の具体的を説明する。

図５は、図３と同様に、カメラ１２により撮影された映像を表示部１６に表示している状態を表している。図５に示すガイド線α、βＲ、βＬ、およびγは、図３で説明したのと同様である。また、図５に示す例においては、表示部１６に表示しているカメラ１２により撮影された映像には、通常の路面のみが被写体として表示されており、特に障害物などの物体は表示されていない。

このような状況において、カメラ制御部１４は、タッチパネルである入力検出部６０を介して、前記映像における所定の位置が指示される入力を検出するように制御する。
すなわち、カメラ制御部１４は、運転者がタッチパネルである入力検出部６０においていずれかの位置に接触する入力を検出するように制御する。

例えば、図５に示すように、運転者が表示部１６に表示された映像の中央付近の位置Ｐ１において接触する入力が検出されたとする。このようにして、表示された映像における所定の位置が指示される入力を検出すると、カメラ制御部１４は、図４に示したような対応に基づいて、当該位置の被写体と移動体１００との間の距離を記憶部５０から読み出す。そして、カメラ制御部１４は、図４に示したような対応に基づいて、当該位置の被写体と移動体１００との間の距離に等しい距離の他の座標の位置を読み出す。このようにして複数の座標の位置が読み出されたら、カメラ制御部１４は、これらの点を線状につないだ参照線を、カメラ１２により撮影された映像に重畳して出力するように制御する。この場合、カメラ制御部１４は、記憶部５０に記憶されたカメラ１２により撮影される映像の座標における当該映像の被写体と移動体１００との間の距離を読み出して、前記所定の情報を重畳するように制御する。

このようにして、表示部１６においてカメラ１２により撮影された映像に重畳される参照線は、運転者による入力が検出された位置と移動体１００からの距離が等しくなる位置を示すことになる。図６（Ａ）は、図５においてＰ１の位置に入力が検出され、当該位置を含めて当該位置と移動体１００からの距離が等しくなる位置を示す点が結ばれた参照線δ１を示している。運転者は、この参照線δ１を視認することによって、映像上で自らが入力した位置と同じ距離だけ移動体１００から離れた位置を、表示部１６上で表示された映像全体において容易に認識することができる。

このように、本実施形態において、カメラ制御部１４は、カメラ１２により撮影された映像を出力している最中に、当該映像における所定の位置が指示される入力を検出すると、所定の情報を重畳するように制御する。ここで、所定の情報とは、カメラ１２により撮影された映像の被写体と移動体１００との間の距離に関する情報のうち当該指示された位置に対応する情報である。特に、本実施形態においては、前記所定の情報は、前記指示された位置における前記被写体と移動体１００との間の距離が、カメラ１２により撮影された映像の被写体と移動体１００との間の距離に等しくなる点を線状につないだ参照線とする。具体的には、図５の場合には、Ｐ１の位置に対応する座標を図３の要領で特定し、当該特定ざれた座標に対応する図４の座標を確認する。さらに図４において、確認された値と同じ値を有する座標を抽出する。抽出された一連の座標について、対応する図５の点を結ぶことにより図６（Ａ）に示す参照線δ１を得る。

図６（Ａ）に示すような参照線δ１が表示された後で、運転者が移動体１００を進行させると、カメラ１２により撮影された映像は、当然ながら撮影箇所が進行方向に沿って移動するため、表示部１６において、移動体１００の進行に伴って移動する。この場合、運転者による入力が検出された位置も移動体１００の進行に伴って移動するため、参照線δも移動させて表示した方が運転者の安全確認の補助に資すると考えられる。そこで、カメラ制御部１４は、例えば運転者による入力が検出された位置が、図４に示したような座標上で移動したら、当該移動した座標についての参照線を重畳するように制御するのが好適である。

このようにすれば、図６（Ａ）に示す状況から運転者が移動体１００を進行させると、カメラ１２により撮影される映像が表示部１６において移動するとともに、図６（Ｂ）に示すように、参照線も参照線δ１からδ２に変化する。ここでは、移動体１００が進行しているため、表示部１６において、参照線は徐々に手前に近付いてくるように表示される。また、表示部１６において、参照線δ１が表示される位置と、参照線δ２が表示される位置とでは歪みの度合いが異なるため、参照線δ１と参照線δ２とでは、曲率が異なる参照線として表示される。図６（Ｂ）に示す状況から運転者が移動体１００をさらに進行させると、カメラ１２により撮影される映像が表示部１６において移動するとともに、図６（Ｃ）に示すように、参照線も参照線δ２からδ３に変化する。

このように、本実施形態において、カメラ制御部１４は、移動体１００が移動してカメラ１２により撮影される映像が変化するのに追従させて、参照線がカメラ１２により撮影された映像の歪みに応じた曲率になるように制御する。

さらに、このように参照線を変化させて表示する場合、当該参照線が移動体１００に近付くにつれて、例えば参照線の色、線種、点滅の有無および態様など、表示態様を適宜変更させて、移動体１００の運転者に注意を喚起するのが望ましい。例えば、図６（Ａ）に示す状況において参照線は緑色であるが、図６（Ｂ）に示す状況において参照線は黄色に変化し、図６（Ｃ）に示す状況において参照線は赤色に変化させることができる。このように、カメラ制御部１４は、前記指示された位置における前記被写体と移動体１００との間の距離に応じて、前記所定の情報の表示態様を変化させて重畳するように制御するのが好ましい。

（第２実施形態）
次に、本発明の第２実施形態について説明する。

第２実施形態は、上述した第１実施形態と同様の基本原理に従って、入力検出部６０が操作者の入力を検出する際の処理、および参照線が表示される位置を変更するものである。これらの相違点以外は、上述した第１実施形態と同様の構成により実施することができるため、第１実施形態と同じ内容になる説明は、適宜省略する。

本実施形態では、表示部１６に表示された映像において所定の位置を指示する操作者の入力が入力検出部６０により検出されたら、カメラ制御部１４は、当該入力が検出された位置に、路面以外の障害物などの所定の物体が表示されていないか否かを判定する。ここで、表示部１６に表示される映像において、路面以外の障害物などの所定の物体が存在するか否かは、例えば輪郭検出などによる種々の画像認識の技術を適用することができる。

表示部１６において、路面以外に表示された障害物などの物体が高さを有する場合、当該物体の接地点以外の位置においては、当該物体から移動体１００までの実際の距離と、当該物体周囲に表示される路面から移動体１００までの実際の距離とが一致しない。したがって、本実施形態においては、障害物などの所定の物体の位置を操作者が指示する入力が検出されたら、当該所定の物体の接地点の位置に参照線を重畳する。

例えば、図７に示すように、運転者が表示部１６に表示された映像のパイロン２００の中腹あるいは先端部分の位置において接触する入力が検出されたとする。このような場合であっても、カメラ制御部１４は、画像認識によりパイロン２００が所定の物体であると認識すると、パイロン２００が路面と接地する点付近であって移動体１００に最も近い位置を基準として参照線を重畳する。ここで「パイロン２００が路面と接地する点付近であって移動体１００に最も近い位置」とは、物体認識された領域のうち、Ｙ座標軸中の最下段かつＸ座標軸上の中央、つまり座標（Ｘ，Ｙ）＝（３１９，４７９）に最も近い座標（最近点）であることが好ましい。あるいはより単純に物体認識された領域の最下段の座標（最下点）であってもよい。

図８（Ａ）は、図７においてパイロン２００の位置に入力が検出され、パイロン２００が路面と接地する点付近であって移動体１００に最も近い位置（最近点あるいは最下点）を基準とした参照線δ４を示している。運転者は、この参照線δ４を視認することによって、映像上で自らが入力したパイロン２００が接地している点であって移動体１００に最も近い位置を、表示部１６上で表示された映像全体において容易に認識することができる。

本実施形態においても、図８（Ａ）に示す状況から運転者が移動体１００を進行させると、カメラ１２により撮影される映像が表示部１６において移動するとともに、図８（Ｂ）に示すように、参照線も参照線δ４からδ５に変化させるのが望ましい。図８（Ｂ）に示す状況から運転者が移動体１００をさらに進行させると、カメラ１２により撮影される映像が表示部１６において移動するとともに、図８（Ｃ）に示すように、参照線も参照線δ５からδ６に変化する。

このように、本実施形態において、カメラ制御部１４は、入力が検出された位置に所定の物体が存在することが認識された場合、当該所定の物体の接地点付近かつ移動体１００に最も近い位置を基準として、所定の情報を重畳するように制御する。
この場合、カメラ制御部１４は、移動体１００が移動してカメラ１２により撮影される映像が変化するのに追従させて、前記所定の情報の位置を変化させて重畳するように制御するのが好ましい。また、本実施形態においても、カメラ制御部１４は、前記指示された位置における前記被写体と移動体１００との間の距離に応じて、前記所定の情報の表示態様を変化させて重畳するように制御するのが好ましい。

本実施形態において、操作者による入力が検出された位置に障害物などの所定の物体が認識されない場合、操作者は所定の物体ではなく路面までの位置を基準とした参照線の表示を所望しているとみなして、第１実施形態で説明した処理を行うことができる。

（第３実施形態）
次に、本発明の第３実施形態について説明する。

第３実施形態は、上述した第１実施形態と同様の基本原理に従って、表示部１６に所定の参照線を表示する代わりに、所定の参照値を表示する。この相違点以外は、上述した第１実施形態と同様の構成により実施することができるため、第１実施形態と同じ内容になる説明は、適宜省略する。

本実施形態では、所定の位置を指示する操作者の入力が入力検出部６０により検出されたら、カメラ制御部１４は、図４に示したような対応に基づいて、当該位置の被写体と移動体１００との間の距離を記憶部５０から読み出す。このようにして入力が検出された座標における当該位置の被写体と移動体１００との間の距離が読み出されたら、カメラ制御部１４は、その距離の数値を参照値として、カメラ１２により撮影された映像に重畳して出力するように制御する。この場合、カメラ制御部１４は、当該参照値を、入力が検出された座標の真上または右側など、入力が検出された座標の直近に重畳するように制御するのが好ましい。また、入力が検出された位置の被写体と移動体１００との間の距離の数値を記憶部５０から読み出した際に、当該数値を例えば近似値にしたり、単位を変更したりして、移動体１００の運転者のような操作者に見易い参照値にするのが好適である。

例えば、図９に示すように、運転者が表示部１６に表示された位置Ｐ３において接触する入力が検出されたとする。すると、図１０（Ａ）に示すように、当該接触する入力が検出された位置を基準として、当該位置の被写体と移動体１００との間の実際の距離（３ｍ）が、参照値δ７として表示部１６に表示される。運転者は、この参照δ７を視認することによって、映像上で自らが入力した位置が、移動体１００からどれだけ離れているかを、表示部１６上で容易に認識することができる。

本実施形態においても、図１０（Ａ）に示す状況から運転者が移動体１００を進行させると、その進行速度に応じてカメラ１２により撮影される映像が表示部１６において移動するとともに、図１０（Ｂ）に示すように、参照値もδ７からδ８（２ｍ）に変化させるのが望ましい。すなわち、移動後の位置に対応する座標を図３と図４に示した例のようにして特定し、この特定された座標に対応する値を読み出すこととなる。同様に、図１０（Ｂ）に示す状況から運転者が移動体１００をさらに進行させると、カメラ１２により撮影される映像が表示部１６において移動するとともに、図１０（Ｃ）に示すように、参照値もδ８からδ９（１ｍ）に変化する。本実施形態においても、参照値を変化させて表示する場合、当該参照値が移動体１００に近付くにつれて、例えば参照値の色、囲み表示の線種、点滅の有無および態様など、表示態様を適宜変更させて、移動体１００の運転者に注意を喚起するのが望ましい。

このように、本実施形態において、カメラ制御部１４は、所定の情報を、前記指示された位置における前記被写体と移動体１００との間の距離を数値で表した参照値として重畳するように制御する。

上述した実施形態においては、カメラ１２により撮影された映像は、魚眼レンズ等の画角の広いレンズを備える１つのカメラにより撮影された映像であることを想定して説明した。しかしながら、本発明は上述した実施形態に限定されるものではなく、カメラ１２により撮影された映像が、複数のカメラ１２により撮影された映像を合成したものとすることもできる。

このように、複数のカメラ１２により撮影された映像を組み合わせて合成すると、当該組み合わせた部分は、撮影した映像がなめらかに合成されないことも想定される。本実施形態によれば、このような合成の態様に対応する参照線を演算したり予め記憶したりすることにより、運転者は、なめらかに合成されていない映像を表示部１６に表示する場合においても、映像の歪み具合を容易に把握することができる。

以上説明したように、本発明は、カメラ１２により撮影された映像に、単純な画像により構成される参照線または参照値を重畳する制御を行う。これにより、運転者は、車載カメラにより広角撮影された映像において方向感覚および距離感を把握することができる。

本発明を諸図面や実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。したがって、これらの変形や修正は本発明の範囲に含まれることに留意されたい。例えば、各部材、各手段、各ステップなどに含まれる機能などは論理的に矛盾しないように再配置可能である。また、本発明を方法の発明として実施する場合にも、複数の手段やステップなどを１つに組み合わせたり、或いは分割したりすることが可能である。

また、上述した実施形態においては、カメラ制御部１４が、取得したカメラ１２の映像に参照線が重畳されて出力される処理が行われるように制御を行った。この場合には、カメラ制御部１４から出力される映像のデータは、すでに参照線の画像データが重畳された状態で出力させる。しかしながら、本発明は、上述した実施形態に限定されるものではなく、例えば、カメラ制御部１４は、カメラ１２が撮影した映像をそのまま出力してもよい。この場合、例えば制御部３０が、取得したカメラ１２の映像に参照線が重畳されて出力される処理が行われるように制御を行うようにすることができる。

また、上述した第１および第２実施形態では、図６および図８の説明において、移動体１００が進行する際、映像が表示部１６において移動するとともに参照線も移動する態様について説明した。この場合、参照線は、移動するたびに、図４に示すような対応表から被写体と移動体１００との間の距離を読み出すことにより、新たな参照線として書き換えることを想定して説明した。このような処理を例えば参照線が１画素移動するたびに行うとすると、映像処理装置４０の処理速度があまり速くない場合には、処理負荷が高くなることも想定される。

したがって、上述した第１および第２実施形態において、表示部１６において映像が移動するとともに参照線も移動させる場合、所定の範囲の移動であれば、参照線の書き換えを行わずに、同じ曲率の参照線を単に移動させる処理とすることもできる。この場合、例えば図１１に示すように、表示部１６に表示される映像を例えば領域（１）から（７）などのいくつかの領域に分割することより、それぞれの領域内においては、参照線の書き換えを行わないようにする。それぞれの領域内においては、当該領域内で最初に重畳するために生成した参照線を表示した後そのまま移動させるか、または当該領域内で予め用意した曲率の参照線を表示した後そのまま移動させる。そして、ある領域から次の領域にまたがった際に、当該次の領域内で最初に重畳するための参照線を生成するか、または当該次の領域内で予め用意した曲率の参照線を表示する。

このように、本発明において、カメラ制御部１４は、カメラ１２により撮影された映像を被写体と移動体１００との間の距離に応じて複数に分割した領域のそれぞれにおいては、同じ曲率の参照線を表示するように制御してもよい。このようにすれば、カメラ制御部１４および／または制御部３０を中心とする各機能部の処理負荷を低減させる効果が期待できる。

さらに、上述した各実施形態において、図３および図５において説明したようなガイド線α、β、γ等は、移動体１００が進行する方向などの基準となる線として示したが、本発明において、このようなガイド線は必須のものではなく、表示部１６に表示しないようにすることもできる。

また、上述した各実施形態において、これらのガイド線を重畳させて表示部１６に表示する際には、移動体１００のステアリングが操作されるのに応じて、表示部１６においてガイド線を変化させることもできる。例えば図５においては、移動体１００がまっすぐに進行することを想定して、ガイド線βＲおよびβＬを表示してある。しかしながら、例えば運転者が移動体１００を後進させつつ右または左に曲がる場合、これらのガイド線ガイド線βＲおよびβＬは、移動体１００が曲がる方向に向かって方向および曲率などを変更させて表示することもできる。

このように、本発明において、カメラ制御部１４は、カメラ１２により撮影された映像に前記所定の情報を重畳する際に、移動体１００の進路を示唆するガイド線を重畳するように制御することもできる。また、この場合において、カメラ制御部１４は、移動体１００のステアリングの舵角に応じて、前記ガイド線を変化させて重畳するように制御することもできる。

１０ バス
１２ カメラ
１４ カメラ制御部
１６ 表示部
１８ イグニッションスイッチ
２０ 舵角センサ
２２ ブレーキセンサ
２４ ＧＰＳ
２６ ライト
２８ スピーカ
３０ 制御部
４０ 映像処理装置
５０ 記憶部
６０ 入力検出部
１００ 移動体（自動車）

Claims (15)

1. 移動体に取り付けられ、当該移動体の進行方向を広角撮影可能なカメラにより撮影された映像に所定の情報を重畳する映像処理装置であって、
   前記カメラにより撮影された映像を出力している状態下において、当該映像における所定の位置が指示される入力を検出すると、前記カメラにより撮影された映像のうち当該指示された位置と前記移動体との間の距離に関する情報を重畳するように制御する制御部を備え、
   前記制御部は、前記カメラのレンズ固有の歪みデータに基づいて前記距離を把握し、
   前記所定の情報を、前記移動体からの距離が、前記カメラにより撮影された映像のうち前記指示された位置に等しくなる点を線状につないだ参照線として重畳するように制御し、
   前記カメラにより撮影された映像を被写体と前記移動体との間の距離に応じて複数に分割した領域のそれぞれにおいては、同じ曲率の前記参照線を表示するように制御する、映像処理装置。
2. 前記制御部は、前記移動体が移動して前記カメラにより撮影される映像が変化するのに追従させて、前記参照線が前記カメラにより撮影された映像の歪みに応じた曲率になるように制御する、請求項１に記載の映像処理装置。
3. 前記カメラにより撮影される映像の座標における当該映像の被写体と前記移動体との間の距離を記憶する記憶部をさらに備え、
   前記制御部は、前記記憶部に記憶された前記カメラにより撮影される映像の座標における当該映像の被写体と前記移動体との間の距離を読み出して、前記所定の情報を重畳するように制御する、請求項１又は２に記載の映像処理装置。
4. 前記制御部は、前記所定の情報を、前記指示された位置における被写体と前記移動体との間の距離を数値で表した参照値として重畳するように制御する、請求項１に記載の映像処理装置。
5. 前記制御部は、前記入力が検出された位置に所定の物体が存在することが認識された場合、当該所定の物体の接地点付近かつ前記移動体に最も近い位置を基準として、前記所定の情報を重畳するように制御する、請求項１から４のいずれか１項に記載の映像処理装置。
6. 前記制御部は、前記移動体が移動して前記カメラにより撮影される映像が変化するのに追従させて、前記重畳する所定の情報の位置を変化させるように制御する、請求項１から５のいずれか１項に記載の映像処理装置。
7. 前記制御部は、前記指示された位置における被写体と前記移動体との間の距離に応じて、前記重畳する所定の情報の表示態様を変化させて重畳するように制御する、請求項６に記載の映像処理装置。
8. 前記制御部は、前記カメラにより撮影された映像に前記所定の情報を重畳する際に、前記移動体の進路を示唆するガイド線を重畳するように制御する、請求項１から７のいずれか１項に記載の映像処理装置。
9. 前記制御部は、前記移動体のステアリングの舵角に応じて、前記ガイド線を変化させて重畳するように制御する、請求項８に記載の映像処理装置。
10. タッチパネルにより構成される入力検出部を備え、
    前記制御部は、前記映像における所定の位置が指示される入力を、前記入力検出部を介して検出するように制御する、請求項１から９のいずれか１項に記載の映像処理装置。
11. 操作キーにより構成される入力検出部を備え、
    前記制御部は、前記映像における所定の位置が指示される入力を、前記入力検出部を介して検出するように制御する、請求項１から９のいずれか１項に記載の映像処理装置。
12. 前記カメラにより撮影された映像は、魚眼レンズを備えるカメラにより撮影された映像である、請求項１から１１のいずれか１項に記載の映像処理装置。
13. 前記カメラにより撮影された映像は、複数のカメラにより撮影された映像を合成したものである、請求項１から１２のいずれか１項に記載の映像処理装置。
14. 移動体に取り付けられ、当該移動体の進行方向を広角撮影可能なカメラにより撮影された映像に所定の情報を重畳する映像処理方法であって、
    前記カメラにより撮影された映像を出力している状態下において、当該映像における所定の位置が指示される入力を検出すると、前記カメラにより撮影された映像のうち当該指示された位置と前記移動体との間の距離に関する情報を重畳するように制御するステップを含み、
    前記制御するステップでは、前記カメラのレンズ固有の歪みデータに基づいて前記距離を把握し、
    前記所定の情報を、前記移動体からの距離が、前記カメラにより撮影された映像のうち前記指示された位置に等しくなる点を線状につないだ参照線として重畳するように制御し、
    前記カメラにより撮影された映像を被写体と前記移動体との間の距離に応じて複数に分割した領域のそれぞれにおいては、同じ曲率の前記参照線を表示するように制御する、映像処理方法。
15. 移動体に取り付けられ、当該移動体の進行方向を広角撮影可能なカメラと、
    前記カメラにより撮影された映像に所定の情報を重畳する制御部と、
    前記カメラにより撮影された映像および前記所定の情報を表示する表示部と、
    前記表示部に表示された映像における所定の位置が指示される入力を検出する入力検出部と、
    を含む映像表示システムであって、
    前記制御部は、前記表示部が前記カメラにより撮影された映像を表示している状態下において、当該映像における所定の位置が指示される入力を前記入力検出部が検出すると、前記カメラにより撮影された映像のうち当該指示された位置と前記移動体との間の距離に関する情報を重畳するように制御し、
    前記制御部はさらに、前記カメラのレンズ固有の歪みデータに基づいて前記距離を把握し、
    前記所定の情報を、前記移動体からの距離が、前記カメラにより撮影された映像のうち前記指示された位置に等しくなる点を線状につないだ参照線として重畳するように制御し、
    前記カメラにより撮影された映像を被写体と前記移動体との間の距離に応じて複数に分割した領域のそれぞれにおいては、同じ曲率の前記参照線を表示するように制御する、映像表示システム。

Images