JP6371553B2 - 映像表示装置および映像表示システム - Google Patents

Description

本発明は、映像表示装置の技術に関する。

本技術分野の背景技術として、特開２００９−２８９１８５号公報（特許文献１）がある。この公報には、「共通視野を各々が部分的に有するＫ個（Ｋ：２以上の整数）のカメラを指定する指定手段、前記指定手段によって指定されたＫ個のカメラからそれぞれ出力されたＫ個の被写界像を前記Ｋ個のカメラの各々に割り当てられた重みを参照して合成する合成手段、動的立体物が前記共通視野に存在する否かを前記指定手段の指定処理に関連して判別する判別手段、前記判別手段の判別結果が否定的であるとき前記Ｋ個のカメラの重みを既定要領で制御する第１制御手段、前記判別手段の判別結果が肯定的であるとき前記動的立体物までの距離の縮小量を前記Ｋ個のカメラの各々について算出する算出手段、および前記算出手段によって算出された縮小量に基づいて前記Ｋ個のカメラの重みを制御する第２制御手段を備える、画像処理装置」と記載されている。

特開２００９−２８９１８５号公報

上記技術に係る重み付けの合成手法では、障害物の画像部分については、一方のカメラの画像の重み付けを０か１かの２値で選択する手法のみしか開示されていない。この手法では、障害物の画像と背景画像の分離処理を失敗すると、非常に不自然な合成画像が生成されることとなるため、障害物の画像と背景画像を非常に高い精度で分離する必要があり、処理量の要求やハードウェア能力の要求が高い。

本発明は、立体物の存在を容易に、かつ精度よく検出し、俯瞰画像に反映させることを目的とする。

本願は、上記課題の少なくとも一部を解決する手段を複数含んでいるが、その例を挙げるならば、以下のとおりである。上記課題を解決すべく、本発明に係る映像表示装置は、少なくとも２つの異なる視点から共通領域を撮影した画像の俯瞰画像について上記俯瞰画像上での立体物の存在に関する所定の特徴量を上記視点の位置と上記共通領域との位置関係に基づき検出する条件を特定する特徴量検出条件特定部と、特定された上記特徴量検出条件を用いて、上記共通領域を撮影した画像の各俯瞰画像について上記特徴量を検出する特徴量検出部と、上記特徴量検出部により検出される特徴量に応じて、上記異なる視点から撮影した共通領域を撮影した画像の俯瞰画像の画素をブレンドする際のブレンド率を特定するブレンド率特定部と、上記ブレンド率特定部により特定されたブレンド率に応じて上記共通領域を撮影した画像の俯瞰画像の画素をブレンドして合成出力する俯瞰画像合成部と、を備えることを特徴とする。

本発明によると、立体物の存在を容易に、かつ精度よく検出し、俯瞰画像に反映させることができる。上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。

本発明の実施形態に係る映像表示装置の構成例を示す図である。 映像表示装置のハードウェア構成例を示す図である。 映像表示装置の使用状況の例を示す図である。 映像表示装置による出力例を示す図である。 映像表示装置による特徴量の検出処理の概要を示す図である。 特徴量検出条件記憶部に格納されるデータ構造を示す図である。 ブレンド情報記憶部に格納されるデータ構造を示す図である。 特徴量の走査方向と画像の回転量の関係を示す図である。 同心円上の特徴量の走査方向とその実現手段の例を示す図である。 ブレンド率決定処理の処理フローを示す図である。 特徴量を基準にブレンドして俯瞰画像を合成する画面例を示す図である。 画像を選択して俯瞰画像を合成する画面例を示す図である。 経時に伴う立体物の変化に応じたブレンド率の変化の例を示す図である。 映像表示装置による撮影対象の領域の設定例を示す図である。

以下に、本発明に係る実施形態を適用した映像表示装置１００およびこれを含む映像表示システム１の例について、図面を参照して説明する。

図１は、本発明に係る第一の実施形態を適用した映像表示装置１００の構成例を示す図である。映像表示装置１００は、制御部１１０と、記憶部１２０と、カメラ制御部１３０と、を含んで構成される。映像表示装置１００は、利用者に対して、俯瞰画像を提示する端末である。例えば、映像表示装置１００は、典型的にはナビゲーション装置や車両制御装置等であって、車両の周囲を撮影した画像を用いて、上空から見下ろしたような俯瞰画像を提示する装置である。しかし、これに限らず、パーソナルコンピューター装置、携帯電話端末、タブレット端末、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）等の電子情報端末であってもよい。

制御部１１０は、映像表示装置１００の基本的な制御を行う。例えば、制御部１１０は、映像表示装置１００全体の電源管理、オペレーティングシステムによる各種装置の制御やタスク管理等のスーパーバイザ機能等を担う。さらに、制御部１１０には、特徴量検出条件特定部１１１と、特徴量検出部１１２と、ブレンド率特定部１１３と、俯瞰画像合成部１１４と、が含まれる。特徴量検出条件特定部１１１は、画像の特徴量を検出するために適切な条件を特定する。なお、後述するが、特徴量検出条件には、例えば、特徴量をより精度高く検出するために画像の走査方向を詳細に特定する情報等が含まれる。

特徴量検出部１１２は、画像に関して、所定の特徴量を検出する。具体的には、特徴量には、立体物が画面上に占める面積の割合等が含まれる。

ブレンド率特定部１１３は、共通する領域を異なる視点位置から撮影した複数の画像を合成して俯瞰画像を生成する際に用いる各画像間のデータの重み付けを特定する。具体的には、ブレンド率特定部１１３は、各画像間の特徴量に相関がみられるか否か、各画像間の特徴量がみられる領域が共通する領域内の同位置を含むか否か、等に応じてブレンド率を特定する。

俯瞰画像合成部１１４は、共通する領域を撮影した複数の画像を、ブレンド率特定部１１３が特定したブレンド率に応じて画素をブレンドすることで、俯瞰画像を合成出力する。

記憶部１２０には、特徴量検出条件記憶部１２１と、ブレンド情報記憶部１２２と、が含まれる。

特徴量検出条件記憶部１２１には、撮影される領域を特定する情報と、該領域を撮影する視点位置と、の組み合わせに応じて、特徴量を検出する際に適用する条件が格納されている。特徴量検出条件記憶部１２１の詳細な説明は、後述する図７の説明において行う。

ブレンド情報記憶部１２２には、撮影される領域を特定する情報と、該領域を撮影する視点位置間のブレンド率の情報と、が格納されている。ブレンド情報記憶部１２２の詳細な説明は、後述する図８の説明において行う。

カメラ制御部１３０は、映像表示装置１００に画像を提供可能なカメラに対して、撮影の開始および終了を含む各種制御を指示し、カメラから出力される画像を取得する。以上が、映像表示装置１００の構成の概要である。

図２は、本発明に係る第一の実施形態を適用した映像表示装置１００およびこれを含む映像表示システム１のハードウェア構成例を示す図である。

映像表示システム１には、映像表示装置１００と、カメラ群１０１と、ディスプレイ１０８と、が含まれる。カメラ群１０１には、第１カメラから第ｎ（ｎは整数）カメラまで、複数のカメラが含まれる。映像表示システム１は、典型的には、車両に搭載された複数（ｎ個）のカメラで車両周囲の画像を撮影し、映像表示装置１００により各カメラの撮影画像を合成し、ディスプレイ１０８により車両の周囲の俯瞰画像を表示する。なお、カメラ群１０１には、可視光を中心に撮像可能なカメラに限らず、例えば赤外線に感度領域を有し、画像として出力する暗視カメラ等のカメラが含まれるものであってもよい。

映像表示装置１００は、一つ又は複数のデコード部を含むデコード部群１０２と、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０４と、メモリ１０５と、補助記憶装置１０６と、エンコード部１０７と、を備える。カメラ群１０１を構成する各カメラから送信された画像は、それぞれ対応するデコード部を有するデコード部群１０２にてデコード処理され、バス１０３を介してメモリ１０５に蓄積される構成を備える。また、メモリ１０５に蓄積された各カメラからの撮影画像は、ＣＰＵ１０４により合成処理が行われ、車両の周囲の俯瞰画像を生成するのに用いられる。そして、合成された俯瞰画像は、エンコード部１０７によりエンコードされてディスプレイ１０８にて再生処理される。

また、上述した特徴量検出条件特定部１１１と、特徴量検出部１１２と、ブレンド率特定部１１３と、俯瞰画像合成部１１４と、カメラ制御部１３０とは、ＣＰＵ１０４により実現される。また、特徴量検出条件記憶部１２１と、ブレンド情報記憶部１２２とは、補助記憶装置１０６およびメモリ１０５により実現される。

その他にも、ＣＰＵ１０４は、例えば、視野角が所定以上広い広角のカメラにより得た画像に対して、光学系により発生する歪の補正処理および透視変換処理を行い、カメラ毎の画像を用いて俯瞰画像の一部を構成する元となる画像を作成する。また、ＣＰＵ１０４は、それらの俯瞰画像の切り出し、合成、アルファブレンド処理等の処理を行い、車両の周囲全体の俯瞰画像を生成する処理を担う。

また、ＣＰＵ１０４はさらに、撮影画像データに対し、エッジ抽出、輪郭抽出、ガウシアン処理、ノイズ除去処理、閾値処理などの各種画像処理を行い、道路に描かれた白線、障害物、歩行者等の有無と、それらの写っている面積の大きさの検出処理をも行う。

エンコード部１０７は、生成された俯瞰画像のエンコード処理を行う。ディスプレイ１０８は、映像表示装置１００から出力された俯瞰画像を表示させる。ディスプレイ１０８は、例えばＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）等であるが、種類をこれに限定するものではなく、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）、ＬＣＯＳ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｏｎ Ｓｉｌｉｃｏｎ）、ＯＬＥＤ（Ｏｒｇａｎｉｃ ｌｉｇｈｔ−ｅｍｉｔｔｉｎｇ ｄｉｏｄｅ）、ホログラフィック光学素子やプロジェクタ装置など任意である。また、平面型のモニタのみでなく、ＨＵＤ（Ｈｅａｄ−Ｕｐ Ｄｉｓｐｌａｙ）、ＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）などであっても良い。

図３は、映像表示装置の使用状況の例を示す図である。当該使用状況においては、車両２００に設置された複数のカメラで同一の被写体２０５を撮影した画像の例が示されている。また、本例は、車両２００には、前方カメラ２０１、左サイドカメラ２０２、後方カメラ２０３、右サイドカメラ２０４が設置されており、車両２００の左斜め前方に歩行者（被写体２０５）が歩いて来た状況を示している。

この状況において、車両２００に進行方向前方に向けて取り付けられた前方カメラ２０１で撮影され俯瞰画像に変換された画像が正面画像２０６であり、左サイドカメラ２０２で撮影され俯瞰画像に変換された画像が左側面画像２０７である。前方カメラ２０１および左サイドカメラ２０２は、鉛直下向き方向に所定の角度だけ傾けることで、斜め下（地面方向）の視野角を確保するように取り付けられている。なお、図示していないが、後方カメラ２０３で撮影され俯瞰画像に変換された画像は、背面画像として、また、右サイドカメラ２０４で撮影され俯瞰画像に変換された画像は、右側面画像として生成されることは、言うまでもない。

この例においては、被写体（歩行者）２０５の足部分が、それぞれ正面画像２０６においては正面足画像２０５ａとして、左側面画像２０７においては左側面足画像２０５ｂとして、含まれている。

一般に、俯瞰画像を生成する処理においては、カメラで撮影される画像に対し、画像端部に生じるレンズ歪の補正処理と、奥行きの距離に応じて拡大率を変化させる透視変換を行う。そのため、俯瞰画像において立体物は伸びたように歪んで写ってしまい、前方カメラ２０１で撮影された正面画像２０６においては、正面足画像２０５ａのように前方カメラ２０１から出ている矢印の方向に伸びて表示される。同様に、左サイドカメラ２０２で撮影された左側面画像２０７においては、左側面足画像２０５ｂのように左サイドカメラ２０２から出ている矢印の方向に伸びて表示される。つまり、本来は同一の被写体である被写体（歩行者）２０５は、俯瞰画像においてはカメラの視点位置の違いにより異なる向きに伸びる正面足画像２０５ａ、左側面足画像２０５ｂとして表示されてしまう。これは、被写体である被写体（歩行者）２０５が立体物であるために生じる現象である。被写体が立体物でない場合、例えば白線２０８のように道路上に描かれた平面状の絵柄の場合には、俯瞰画像中の白線２０８ａ、白線２０８ｂのように、俯瞰画像においても形状に差がなく撮影され、位置を合わせれば重ねることも可能となる。

すなわち、異なる方向から同一の被写体を撮影し俯瞰画像に変換すると、２つの画像を比較して異なる方向に形状が伸びるという特徴が検出される場合には、立体物が存在すると考えられ、２つの画像内において形状に差がない特徴が検出される場合には路面上に略平面の物体が存在すると判定できる。さらに、俯瞰画像において立体物の形状が伸びる方向は、前方カメラ２０１、左サイドカメラ２０２から出ている矢印の方向が示すように、カメラと立体物との位置関係により定まるものであるため、検出される画像から、立体物の有無を判定する有力な判定条件となりうるといえる。本実施形態においては、この性質に基づいて、カメラすなわち視点位置と立体物の位置関係に応じて、特徴を検出する際の処理条件を決定する。これにより、立体物の抽出精度を向上させ、複数のカメラ画像の重なる部分をより見易くなるようブレンド処理することが可能といえる。

図４は、映像表示装置１００による俯瞰画像の出力例を示す図である。俯瞰画像においては、撮影領域は所定の領域に分割されるとともに、重畳して他のカメラにより撮影される領域の画像は、何らかの画像合成がなされて表示される。図４においては、車両２００の周囲は、８つのエリア（左前エリア３００、正面エリア３０１、右前エリア３０２、左エリア３０３、右エリア３０４、左後エリア３０５、背面エリア３０６、右後エリア３０７）に分割するものとする。この場合においては、前方カメラ２０１で撮影されるエリアは左前エリア３００、正面エリア３０１、右前エリア３０２である。（また、左サイドカメラ２０２で撮影されるエリアは左前エリア３００、左エリア３０３、左後エリア３０５である。他のエリアについても、後方カメラ２０３、右サイドカメラ２０４の視点位置および向き、画角を基準にして同様に定められる。

この場合、左前エリア３００は、前方カメラ２０１と左サイドカメラ２０２により得られる画像が重なるエリアである（以後の記載においては、このように複数のカメラにより共通して撮影される領域を、「重畳エリア」と称呼する）。同様に、右前エリア３０２、左後エリア３０５、右後エリア３０７についても、複数のカメラにより共通して撮影される重畳エリアであるといえる。なお、図４においては、右前エリア３０２、左後エリア３０５、右後エリア３０７は斜線で表示されているが、実際には、撮影された対象が表示される。

俯瞰画像においては、上述のように立体物が視点位置を基準とする方向に延伸して表現される点を考慮すると、地面に突起物（立体物）がなく平面である場合には、共通するエリアの画像は基本的に同一となり、重ね合わせることができるといえる。

図３における俯瞰画像中の白線２０８ａ、２０８ｂは平面であるため、俯瞰画像においては、白線３０８は、同一の場所に重ねて表示されうる。他方で、重畳エリアである左前エリア３００に立体物（例えば、歩行者）が存在する場合には、立体物である歩行者の正面足画像２０５ａ、左側面足画像２０５ｂを所定のブレンド率によりブレンド処理を行って表示することで、立体物の存在が欠落しないようにしている。これにより、立体物の画像の一部が消失してしまうことを回避する。

図５は、映像表示装置１００による特徴量の検出処理の概要を示す図である。重畳エリアにおいて画像から立体物を抽出する際に、特徴量検出条件特定部１１１および特徴量検出部１１２は当該特徴量の検出処理を行う。正面画像４００ａは、前方カメラ２０１にて撮影され俯瞰画像に変換された画像であり、左側面画像４００ｂは、左サイドカメラ２０２で撮影され俯瞰画像に変換された画像である。俯瞰変換された正面画像４００ａと差側面画像４００ｂにおいては、前述のとおり、視点位置の違いから立体物は異なる方向に伸びて表示され、路面上のものは重なる場所に表示される。したがって、俯瞰画像合成部１１４は、共通する領域である重畳エリアを撮影した互いの画像について、それぞれの画像から共通物を除去する処理を行うと、共通物（平面物）を除去した正面立体物画像４０１ａ、左側面立体物画像４０１ｂをそれぞれ得ることができる。これは、俯瞰画像合成部１１４が、各画像から他の画像の対応する範囲に関して共通部分の情報を除去することで実現される。

具体的には、正面立体物画像４０１ａ、左側面立体物画像４０１ｂにおいては、それぞれの画像に写り込んでいる立体物（正面足画像２０５ａ、左側面足画像２０５ｂ）は差分として残すことができ、路面上のもの２０８ａ、２０８ｂは共通部分として除去することができている。

そして、立体物を精度よく抽出するために、特徴量検出条件特定部１１１は、適切な検出条件を特定する。補足すると、上記のような特性から、立体物の輪郭が延伸する方向は重畳エリアからみた視点位置の方向に応じるものであるため、抽出精度を効率的に高める検出条件は、適切な輪郭走査方向を特定することにあるといえる。そこで、特徴量検出条件特定部１１１は、視点位置と、共通する領域との幾何的関係に応じて、特徴量検出条件を特定する。具体的には、特徴量検出条件特定部１１１は、視点位置と、共通する領域からみた視点位置の方向と、に応じて、特徴量検出に用いる輪郭走査の方向を特定する。

なお、一般的に、輪郭の抽出処理は、画像上の所定の方向（通常は、水平画素方向）に、輝度あるいはＲＧＢ、ＣＭＹの値等の画像を構成する要素の変化量を走査することで行われ、走査方向と検出対象が直交する状態にあれば高い検出精度を得られることが多い。これを踏まえ、特徴量検出条件特定部１１１は、立体物の輪郭の延伸方向に直交するよう走査するために、検出条件を設定する。

そして、特徴量検出条件特定部１１１は、正面立体物画像４０１ａ、左側面立体物画像４０１ｂのそれぞれに対して、輪郭走査方向４０２ａ、輪郭走査方向４０２ｂを特定する。

そして、特徴量検出部１１２は、特定された輪郭走査方向４０２ａ、輪郭走査方向４０２ｂに応じてそれぞれ正面立体物画像４０１ａ、左側面立体物画像４０１ｂを走査し、輪郭４０３ａ、４０３ｂを検出する。以上が、特徴量の検出処理の概要である。

図６は、特徴量検出条件記憶部１２１に格納されるデータ構造を示す図である。特徴量検出条件記憶部１２１には、領域特定情報１２１Ａと、代表点１２１Ｂと、視点位置特定情報１２１Ｃと、特徴量検出条件１２１Ｄと、が対応づけられて格納される。領域特定情報１２１Ａは、複数の画像間で共通して撮影される領域を特定する情報である。代表点１２１Ｂは、領域特定情報１２１Ａにより特定される領域を代表する点である。代表点１２１Ｂにより特定される位置は、例えば領域の重心であってもよいし、中心であってもよいし、領域のいずれかの頂点であってもよい。例えば、撮影エリアの重心に限らず、撮影エリア内で、カメラから最も遠い点や最も近い点、または、撮影エリア内で検出した物体上の点などを代表点とするものであってもよい。

視点位置特定情報１２１Ｃは、視点位置すなわちカメラの位置を特定する情報である。特徴量検出条件１２１Ｄは、特徴量を検出するために用いるべき条件である。例えば、特徴量検出条件１２１Ｄには、画像回転角をθ（θは、視点位置から領域の代表点へ至る線分と直交する直線の延伸方向と、輪郭の抽出処理において輝度の変化量を走査する方向との角度の差分）として適用すべき旨の条件が予め格納される。

図７は、ブレンド情報記憶部１２２に格納されるデータ構造を示す図である。ブレンド情報記憶部１２２には、領域特定情報１２２Ａと、ブレンド率１２２Ｂと、が対応づけられて格納される。領域特定情報１２１Ａは、複数の画像間で共通して撮影される領域を特定する情報である。ブレンド率１２２Ｂは、領域特定情報１２１Ａにより特定される領域を複数の画像を用いて合成出力する際に、画像間の重みを特定する情報である。例えば、「カメラ００１」により撮影された画像と、「カメラ００２」により撮影された画像と、の重み付けを、「ｐ：（１−ｐ）」（ｐは、０から１までの数）の比で重みづけてブレンドするよう指定する情報である。

正面画像４００ａにおいて立体物が伸びたように撮影される際の画像上の方向は、厳密にはエリア内の位置によっても異なるが、これを同一方向とみなして輪郭走査方向を同一に設定することにより演算処理の負荷を低減することができる。

図８は、特徴量の走査方向と画像の回転量の関係を示す図である。すなわち、図８は、輪郭走査方向５０１に応じて正面立体物画像４０１ａを走査して輪郭を検出する処理における、具体的な方法のイメージを示す。ここで、正面立体物画像４０１ａは、前方カメラ（視点位置）２０１から水平方向にｘ、垂直方向にｙ離れた重心５００を備えている。そのため、特徴量検出条件特定部１１１は、前方カメラ（視点位置）２０１と重心５００とを結ぶ線分に直交する方向に輪郭走査方向５０１を設定する。

当該処理においては、特徴量検出条件特定部１１１は、正面立体物画像４０１ａの代表点である重心５００を回転の中心として、特徴量検出条件１２１Ｄに示された画像回転角θだけ正面立体物画像４０１ａを回転させる。これに限られず、特徴量検出条件特定部１１１は、処理画像自体をカメラ位置と撮影エリアの位置関係に応じて決定される角度で回転させた後、共通のエッジ検出を施すものでも良い。

なお、画像回転角θは上述のとおり、視点位置から領域の代表点へ至る線分と直交する直線の延伸方向と、輪郭の抽出処理において輝度の変化量を走査する方向との角度の差分である。これにより、輝度の変化量を走査する方向（水平または垂直方向）と、輪郭走査方向５０１とを並行にすることが可能となり、輪郭抽出の高い精度を得られる。なお、この回転量は、カメラごとに、あるいは撮影方向ごとに、最適な角度とすることも可能である。例えば、後方カメラの場合には垂直方向の走査が適している場合（例えば、車庫入れの際の位置決め用等）には、画像回転角θは輪郭走査方向が垂直方向となるように定められるものであってもよい。

図９は、同心円上の特徴量の走査方向とその実現手段の例を示す図である。すなわち、上述の輪郭を検出する処理において、さらに精度の高い検出を可能とするための抽出方向の設定例である。図９では、正面立体物画像４０１ａから輪郭を抽出する場合に、前方カメラ（視点位置）２０１を中心とする同心円の接線方向になるべく近くなるよう走査方向を設定する方法の例を挙げている。このように一つの領域を細かく分割して走査することで、立体物の輪郭の延伸方向と略直交する方向に走査して輪郭を検出することが可能となる。

具体的には、前方カメラ２０１が重畳エリアを撮影し俯瞰変換した正面立体物画像４０１ａで設定する場合を想定する。図９では、正面立体物画像４０１ａに対しては、前方カメラ（視点位置）２０１からの同心円の接線方向に輪郭走査方向５０２を設定する。その方法として、正面立体物画像４０１ａをさらに視点位置に近い頂点を通る直線に沿って細分化した領域４１０〜４４０を予め設定しておけば、特徴量検出条件特定部１１１は、領域ごとに重心と前方カメラ（視点位置）２０１との間を結ぶ線分に直交する方向の走査方向５０３Ａ〜５０３Ｄを特定して設定することが可能となり、精度良く輪郭を検出することが可能となる。

立体物が伸びる方向は、基本的には、カメラと、立体物の地上と接触する位置と、を結ぶ線分の延長方向であり、図９の方法では、正面立体物画像４０１ａの面内で輪郭走査方向が異なるため、画像内の探索領域によって輪郭抽出フィルタなどの映像表示方法を変更する必要があり演算処理の負荷が高くなる。しかし、立体物の伸びる方向と略直交して輪郭抽出処理を行うことができるため、立体物の高い抽出精度を得られる。

なお、輪郭走査方向の設定方法は、図８、図９に示した例に限定されず、例えばラプラシアンフィルタやソーベルフィルタなどのエッジ検出フィルタのフィルタ係数を、前方カメラ２０１の視点位置と重畳エリアの位置関係に応じて決定するものでも良い。このようにすることで、より精度の高い輪郭抽出が可能となる。

図１０は、重畳エリアにおける画像合成の動作シーケンスのうち、ブレンド率を決定する処理の例である。本例においては、「カメラ１」である前方カメラ２０１と、「カメラ２」である左サイドカメラ２０２と、を用いて撮影される領域のうち共通して撮影される領域である左前エリア３００に関し、「カメラ１」に基づき得た俯瞰画像と、「カメラ２」に基づき得た俯瞰画像と、を合成するものとする。

まず、特徴量検出条件特定部１１１は、カメラ１と重畳エリアの位置関係より、カメラ１に基づき得た俯瞰画像の処理条件Ｃ１を決定する（ステップＳ００１）。具体的には、特徴量検出条件特定部１１１は、特徴量検出条件記憶部１２１を参照して、重畳エリアに相当する領域特定情報１２１Ａと、カメラ１の配置位置に相当する視点位置特定情報１２１Ｃと、の組み合わせに応じた特徴量検出条件１２１Ｄを読み出す。

そして、特徴量検出条件特定部１１１は、カメラ２と重畳エリアの位置関係より、カメラ２に基づき得た俯瞰画像の処理条件Ｃ２を決定する（ステップＳ００２）。具体的には、特徴量検出条件特定部１１１は、特徴量検出条件記憶部１２１を参照して、重畳エリアに相当する領域特定情報１２１Ａと、カメラ２の配置位置に相当する視点位置特定情報１２１Ｃと、の組み合わせに応じた特徴量検出条件１２１Ｄを読み出す。

そして、特徴量検出部１１２は、カメラ１に基づき得た俯瞰画像の重畳エリアに存在する立体物を、処理条件Ｃ１を用いて検出する（ステップＳ００３）。なお、検出した立体物は、画像特徴量Ｑ１を持つものとする。具体的には、特徴量検出部１１２は、カメラ１に基づき得た俯瞰画像について、処理条件Ｃ１を適用し、処理条件Ｃ１を満たす状態で輪郭走査方向に走査して立体物の輪郭を特定する。その際、特徴量検出部１１２は、エッジなどが多い部分やラプラシアンフィルタやソーベルフィルタによる輪郭抽出、二値化処理、色情報、ヒストグラム情報や各種パターン認識処理などにより画像特徴量を抽出する。そして、特徴量検出部１１２は、エッジや輪郭が抽出できた画素の位置やそのエッジの輝度の高さなどの画像特徴量Ｑ１を特定する。

そして、特徴量検出部１１２は、カメラ２に基づき得た俯瞰画像の重畳エリアに存在する立体物を、処理条件Ｃ２を用いて検出する（ステップＳ００４）。なお、検出した立体物は、画像特徴量Ｑ２を持つものとする。具体的には、特徴量検出部１１２は、カメラ２に基づき得た俯瞰画像について、処理条件Ｃ２を適用し、処理条件Ｃ２を満たす状態で輪郭走査方向に走査して立体物の輪郭を特定する。その際、特徴量検出部１１２は、エッジなどが多い部分やラプラシアンフィルタやソーベルフィルタによる輪郭抽出、二値化処理、色情報、ヒストグラム情報や各種パターン認識処理などにより画像特徴量を抽出する。そして、特徴量検出部１１２は、エッジや輪郭が抽出できた画素の位置やそのエッジの輝度の高さなどの画像特徴量Ｑ２を特定する。

なお、画像特徴量Ｑ１、Ｑ２のいずれについても、ＳＩＦＴ（Ｓｃａｌｅ−Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ）やＨＯＧ（Ｈｉｓｔｏｇｒａｍｓ ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔｓ）などによる画像の特徴量を利用しても良い。また、ＨＯＧ特徴量と歩行者の形の特徴量を組合せて、抽出できた特徴情報が歩行者等の人であるか物であるかを選別しても良い。このように、歩行者であるか物であるかに応じて、コントラスト強調処理や危険度表示などの出力内容を切り換えれば、運転者に対しより使い勝手の良い情報を提供することができる。

そして、ブレンド率特定部１１３は、画像特徴量Ｑ１とＱ２は所定以上強く相関するか否かを判定する（ステップＳ００５）。具体的には、ブレンド率特定部１１３は、検出した物体の画素位置が一致またはある範囲内に集まっているか、特徴量の差分が所定の範囲内であるか否かを判定する。これは、従来から存在する統計的な処理やクラスタリング処理を行うことで、空間的な距離関係や意味的な距離関係の相関を判定するものであってよい。

そして、相関が所定以上に強い場合（ステップＳ００５にて「Ｙｅｓ」の場合）には、ブレンド率特定部１１３は、立体物は重畳エリアには存在しないものとして、カメラ１に基づき得た俯瞰画像とカメラ２に基づき得た俯瞰画像とを用いて所定のブレンド率で重畳エリアの俯瞰画像を合成することを決定し、俯瞰画像合成部１１４に合成を実施させる（ステップＳ００６）。この場合、いずれかの俯瞰画像のブレンド率が「０」となるように合成する場合には、実質的にカメラ１またはカメラ２のいずれかにより得られた俯瞰画像を選択して利用することも可能となる。しかし、俯瞰画像同士の繋ぎ目付近に立体物があった場合には、その画像が消失してしまうおそれがある。そのため、いずれかの俯瞰画像を選択的に利用して俯瞰画像を生成するよりも、所定の「０以外の」ブレンド率によりブレンド合成するのが好ましいといえる。

そして、俯瞰画像合成部１１４は、カメラ１に基づき得た俯瞰画像とカメラ２に基づき得た俯瞰画像との対応する位置にある画素情報（例えば、輝度情報、あるいはＲＧＢ情報）に対してブレンド率に応じた重み付けを行って一つの俯瞰画像に合成する。俯瞰画像合成部１１４は、俯瞰画像を合成すると、ブレンド率決定処理を終了させる。なお、合成された俯瞰画像は、その後、エンコード部１０７、ディスプレイ１０８に送られ、出力される。

相関が所定以上に強くない場合（ステップＳ００５にて「Ｎｏ」の場合）には、ブレンド率特定部１１３は、カメラ１に基づき得た俯瞰画像とカメラ２に基づき得た俯瞰画像とにそれぞれ含まれる立体物が重畳エリア内のどの位置にあるか特定し、所定以上共通する位置にあるか否かを判定する（ステップＳ００７）。すなわち、ブレンド率特定部１１３は、共通する領域上において、各カメラから得た画像の特徴量に関し所定以上の度合いで重複する領域があるか否かを判定する。

立体物が共通する位置にある場合（ステップＳ００７にて「Ｙｅｓ」の場合）には、ブレンド率特定部１１３は、画像特徴量Ｑ１とＱ２とに応じてブレンド率を決定する（ステップＳ００８）。具体的には、ブレンド率特定部１１３は、まず、カメラ１に基づき得た画像特徴量Ｑ１に所定の演算を行い、結果をＦ（Ｑ１）とする。同様に、カメラ２に基づき得た画像特徴量Ｑ２に所定の演算を行なった結果をＦ（Ｑ２）とする。そして、ブレンド率特定部１１３は、カメラ１に基づき得た画像特徴量Ｑ１に基づく合成の重み付けの割合を、下式（１）により特定する。

合成重み付けＰ１＝Ｆ（Ｑ１）／（Ｆ（Ｑ１）＋Ｆ（Ｑ２））・・・式（１）

同様に、カメラ２に基づき得た画像特徴量Ｑ２に基づく合成の重み付けの割合を下式（２）により特定する。

合成重み付けＰ２＝Ｆ（Ｑ２）／（Ｆ（Ｑ１）＋Ｆ（Ｑ２））・・・式（２）

なお、上記所定の演算Ｆは、重畳エリア内で、所定の閾値以上の特徴量を有する画像の画素数を抽出しカウントするという演算が考えられる。この場合は、カメラ１に基づき得た俯瞰画像とカメラ２に基づき得た俯瞰画像のそれぞれの重畳エリア内における立体物の画像が占める大きさを、ブレンド率を可変させる要素とすることができる。

また、上記所定の演算Ｆは、カメラ１に基づき得た俯瞰画像とカメラ２に基づき得た俯瞰画像の重畳エリア内の画素の画像特徴量の総和、平均、加重平均、重心、中心値を算出するなどの各種演算も考えられる。この場合は、重畳エリア内における立体物の画像が占める大きさのみならず、特徴量の値の大きさもブレンド率を可変する要素とすることができる。

または、ブレンド率を画素毎に決定することもできる。この場合は、Ｆ（Ｑ１）として対象の画素における特徴量そのものを用い、Ｆ（Ｑ２）として対象の画素における特徴量そのものを用いてもよい。画素ごとにＦ（Ｑ１）とＦ（Ｑ２）を比較して値の大きい方の画像のブレンド率を大きく設定するものであってもよい。

また例えば、カメラ１に基づき得た俯瞰画像のブレンド率特徴量の割合を連続的に変化させるものであっても、「特徴量の割合」が０．５により近い部分で、ブレンド率の変化の勾配を大きく設定するものであってもよい。このようなブレンド率の算出方法により、「特徴量の割合」が変化する際にブレンド率が穏やかに切り替わりながらも、より特徴がある画像（立体物がある可能性の高い画像）のコントラストを強調することが可能となる。これにより、立体物がある可能性が比較的高い画像を、よりユーザーが認識しやすくなるという効果がある。

また例えば、カメラ１に基づき得た俯瞰画像のブレンド率特徴量の割合を連続的に変化させるものであっても、特徴量の割合が所定の大きさ以上あるいは所定の大きさ以下になった場合は、特徴量の大きい俯瞰画像のブレンド率を１とし、他方の俯瞰画像のブレンド率を０とすることも可能である。このようなブレンド率の算出方法により、特徴量の割合が変化する際にブレンド率が穏やかに切り替わりながらも、より特徴がある画像（立体物がある可能性の高い画像）のコントラストをさらに強調することが可能となる。立体物がある可能性が比較的高い画像を、ユーザーがさらに認識しやすくなるという効果がある。

また例えば、特徴量の割合が変化する際に、ブレンド率が段階的に切り替わるように設定してもよい。この場合、切り替え段階の数が多いほどブレンド率の切り替えがより穏やかとなる。このように、特徴量の割合の変化に応じてブレンド率を段階的に切り替えるような、特徴量の割合の変化に対するブレンド率の変化が不連続であっても、本発明の一実施の態様となりうる。

なお、演算Ｆについては、立体物が存在する可能性の高い画像について、演算結果の値が大きくなる場合を想定して説明したが、逆すなわち立体物がある可能性の高い画像ほど演算結果の値が小さくなるような演算Ｆとしてもよい。

このように、立体物の部分の画像についても、ブレンド率として多値の値をとることができる。これにより、立体物の部分も、立体物がある可能性の高さに応じてより自然に合成することが可能となるといえる。

また、ブレンド率は、重畳エリア全体または画素単位で算出し、重畳エリア全体または画素単位での合成処理に用いることが可能であるため、重畳エリア内において、境界線のような不自然な画像の接合部分が生じることを防ぐことも可能となり、より自然な合成画像を生成することが可能となる。

また、他のブレンド率の決定法として、左前エリア３００内のある画素位置から、「カメラ１」である前方カメラ２０１と「カメラ２」である左サイドカメラ２０２までの距離をそれぞれｄ１、ｄ２として、距離ｄ１とｄ２の比に応じて固定のブレンド率を設定するものであってもよい。すなわち、「カメラ１」である前方カメラ２０１に近い距離にある画素位置（つまりｄ１＜ｄ２）では、前方カメラ２０１の画像のブレンド率を高く設定するものであってもよい。例えば、前方カメラ２０１の画像のブレンド率を式「Ｐ１＝ｄ２／（ｄ１＋ｄ２）」で与え、左サイドカメラ２０２の画像のブレンド率を式「Ｐ２＝ｄ１／（ｄ１＋ｄ２）」で与えるものとしてもよい。

しかし、この場合においては、カメラに近すぎる画素位置ではピントずれや歪が大きくなっている可能性が高いので、所定以上に近すぎる画素位置については、距離が遠い方のカメラによる俯瞰画像の重み付けを重くするようブレンド率を修正するのが好ましい。すなわち、接近限界閾値をｄｔｈ（ただし、ｄ１最小値≦ｄｔｈ≦ｄ１最大値）としたとき、ｄ１＜ｄ２かつｄ１＜ｄｔｈとなる位置では、近い前方カメラ２０１による俯瞰画像のブレンド率Ｐ１が低くなるように修正するようにしてもよい。例えば、上記設定したブレンド率Ｐ１、Ｐ２を入れ替えて、前方カメラ２０１の画像のブレンド率を式「Ｐ１＝ｄ１／（ｄ１＋ｄ２）」で与え、左サイドカメラ２０２の画像のブレンド率を式「Ｐ２＝ｄ２／（ｄ１＋ｄ２）」で与えるようにしてもよい。これにより、カメラから近過ぎる位置で発生するピントずれや歪を軽減して表示することができる。

そして、俯瞰画像合成部１１４は、ブレンド率を用いて、立体物の存在をハイライトする等、強調する表現を含む俯瞰画像合成を行う（ステップＳ００９）。具体的には、俯瞰画像合成部１１４は、カメラ１に基づき得た俯瞰画像とカメラ２に基づき得た俯瞰画像との対応する位置にある画素情報（例えば、輝度情報、あるいはＲＧＢ情報）に対して、決定されたブレンド率に応じた重み付けを行って一つの俯瞰画像に合成する。俯瞰画像合成部１１４は、俯瞰画像を合成すると、ブレンド率決定処理を終了させる。なお、合成された俯瞰画像は、その後、ディスプレイ１０８に送られ、出力される。

図１１は、特徴量を基準にブレンドして俯瞰画像を合成する画面例を示す図である。この例は、ブレンド率決定処理のステップＳ００５において特徴量が相関しないと判定され、ステップＳ００７において物体が共通する位置にあると判定された場合、すなわちステップＳ００８において決定されたブレンド率を用いて俯瞰画像を合成する処理の例である。カメラ１に基づき得た俯瞰画像とカメラ２に基づき得た俯瞰画像の重畳エリアにおいて、カメラ１に基づき得た俯瞰画像１１０１には、カメラ１により撮影された歩行者の足１１０３が写っている。カメラ２に基づき得た俯瞰画像１１０２には、カメラ２により撮影された歩行者の足１１０４が写っている。同一の重畳エリアを撮影しており、立体物である歩行者がそのエリア内に存在するため、歩行者の足１１０３、１１０４はそれぞれ異なる方向に伸びている。

この例においては、歩行者の足１１０３と歩行者の足１１０４とは、いずれも共通する位置１１０８に特徴量を有するため、カメラ１による俯瞰画像１１０１とカメラ２による俯瞰画像１１０２のブレンド率「ｐ：（１−ｐ）」を算出し、そのブレンド率に応じて俯瞰画像合成部１１４は俯瞰合成画像１１０５を合成する。その結果、カメラ１により撮影された歩行者の足１１０６と、カメラ２により撮影された歩行者の足１１０７と、がそれぞれのブレンド率に従って合成され、俯瞰合成画像１１０５に含まれる。

フローの説明に戻る。立体物が共通する位置にない場合（ステップＳ００７にて「Ｎｏ」の場合）には、ブレンド率特定部１１３は、画像特徴量Ｑ１とＱ２とのいずれか特徴量が大きい方の画像を俯瞰画像に採用することを決定する（ステップＳ０１０）。

そして、俯瞰画像合成部１１４は、採用した俯瞰画像を用いて俯瞰画像合成を行う（ステップＳ０１０）。具体的には、俯瞰画像合成部１１４は、カメラ１に基づき得た俯瞰画像とカメラ２に基づき得た俯瞰画像とのうち、重畳エリアの特徴量が大きい方の画像を採用して、俯瞰画像を合成する。俯瞰画像合成部１１４は、俯瞰画像を合成すると、ブレンド率決定処理を終了させる。なお、合成された俯瞰画像は、その後、ディスプレイ１０８に送られ、出力される。なお、誤検出による繋ぎ目付近での画像の消失を回避するために、特徴が抽出できたカメラ画像のブレンド率を優先してブレンド処理を行い、俯瞰画像を合成するようにしても良い。

図１２は、画像を選択して俯瞰画像を合成する画面例を示す図である。この例は、ブレンド率決定処理のステップＳ００５において相関しないと判定され、ステップＳ００７において物体が共通する位置にないと判定された場合、すなわちステップＳ０１０において俯瞰画像を選択的に採用して合成する処理の例である。カメラ１に基づき得た俯瞰画像とカメラ２に基づき得た俯瞰画像の重畳エリアにおいて、カメラ１に基づき得た俯瞰画像１２０１には、カメラ１により撮影された歩行者の足１２０３が写っている。カメラ２に基づき得た俯瞰画像１２０２には、カメラ２により撮影された画像が写っているが、歩行者の足に相当するものは存在しない。これは、重畳エリア内には何も存在しないが、カメラ１の近くには歩行者（立体物）が存在して、それがカメラ１の俯瞰画像１２０１に物体として写り出されたものである。一方、カメラ２の俯瞰画像１２０２の付近には何も存在しないため、何も写っていない。

この例においては、俯瞰画像合成部１１４は、カメラ１により撮影された俯瞰画像１２０１を採用して俯瞰合成画像１２０５を合成する。その結果、カメラ１により撮影された歩行者の足１２０３が俯瞰合成画像１２０５に含まれる。

以上が、ブレンド率決定処理の処理内容である。ブレンド率決定処理によれば、共通する領域を異なる視点位置から撮影した画像を各々が部分的に有する複数の画像情報に対して特徴量検出条件を適用して共通する領域の特徴量を検出し、画像ごとの共通する領域の特徴量を用いて、共通する領域が含まれる画像をブレンドする重み付けを特定し、共通する領域を含む俯瞰画像を合成することができる。すなわち、複数のカメラで撮影された重畳エリアにおいて、異なる方向から撮影されたカメラ画像の画像特徴量を抽出しこれらの相関性を判定することで、道路に描かれた平面状の模様と立体物とを区別できる。また立体物が存在する場合は、特徴量の位置的な重なりを判定し、立体物が重畳エリア内に存在するのか、重畳エリア外に存在するのかを判別できる。そして、それぞれの状態に合わせて、俯瞰画像の合成時のブレンド率を変化させることが可能となり、良好な俯瞰画像が得られる。

以上、第一の実施形態について、図面を用いて説明した。第一の実施形態によれば、映像表示装置１００は、複数のカメラで撮影した画像を利用して、障害物や歩行者を検出し、検出結果に従って、画像に写っている障害物や歩行者が見易いように各カメラ画像の俯瞰画像を合成し、車両の全周囲の俯瞰画像を生成することができるものであるといえる。言い換えると、映像表示システム１は、共通する領域を異なる視点位置から撮影する画像を部分的に含む画像情報を得る複数の撮像装置と、映像表示装置と、を含む。

そして、映像表示装置は、画像情報に関する所定の特徴量を検出する条件となる特徴量検出条件を特定する特徴量検出条件特定部と、複数の画像情報に対して特徴量検出条件を適用し、共通する領域の特徴量を検出する特徴量検出部と、画像ごとの共通する領域の特徴量を用いて、共通する領域が含まれる画像をブレンドする重み付けを特定するブレンド率特定部と、ブレンド率を用いて共通する領域を含む俯瞰画像を合成する俯瞰画像合成部と、を備えるものであるともいえる。

なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

なお、本実施形態に係る映像表示システム１は、映像表示装置１００と、カメラ群１０１と、ディスプレイ１０８と、を含む構成としているが、カメラ群１０１とディスプレイ１０８のいずれかまたは両方が映像表示システム１に直接的に管理されるものでなくともよい。例えば、車両に限らない場所（例えば、美術館の展示等）に設置された複数の監視カメラで取得され送信される画像を合成して、監視対象領域の俯瞰画像を作成する場合にも適用できる。

上述した第一の実施形態においては、共通する領域を撮影した複数の画像について、特徴量を互いに比較してブレンド率を求めて合成するものとしたが、これに限られない。例えば、経時に伴うヒステリシスを考慮して、前後の時刻におけるブレンド率を考慮して大きく変化しないよう、経時に応じて徐々にブレンド率を変更するようにしても良い。

図１３は、経時に伴う立体物の変化に応じたブレンド率の変化の例を示す図である。例えば、重畳エリア内を立体物である歩行者が移動した場合の合成画像の例を示す図である。図１３では、歩行者がカメラ１とカメラ２により両カメラが共通して撮影する領域である重畳エリア１３００内を左側から右方向に歩いて行く場合の重畳エリア１３００における、歩行者の合成画像を時系列に並べている。

時刻ｔ１時点では、カメラ１により撮影された歩行者の足１３０１とカメラ２により撮影された歩行者の足１３０２は、それらのブレンド率を画像特徴量（例えば足の写っている面積）に応じて決定し、カメラ１により撮影された歩行者の側をＰ１＝０．９、カメラ２側をＰ２＝０．１等として合成する。このようにブレンド率を設定することで、歩行者の足の面積が大きく写っている側、すなわちカメラ１で撮影された足１３０１がくっきりと表示される。

時刻ｔ２時点では、カメラ１により撮影された歩行者の足１３０３とカメラ２により撮影された歩行者の足１３０４の画像特徴量（面積）は同程度となり、ブレンド率は共に等しくＰ１＝Ｐ２＝０．５またはP１＝０．６、Ｐ２＝０．４等として合成する。

時刻ｔ３時点では、カメラ１により撮影された歩行者の足１３０５よりもカメラ２により撮影された歩行者の足１３０６の画像特徴量の方がやや大きくなり、ブレンド率はカメラ１側をＰ１＝０．３、カメラ２側をＰ２＝０．７として合成する。

時刻ｔ４時点では、カメラ１により撮影された歩行者の足１３０７よりもカメラ２で撮影された足１３０８の画像特徴量の方がはるかに大きくなり、ブレンド率はカメラ１側をＰ１＝０．１、カメラ２側をＰ２＝０．９で合成する。その結果、足の面積が大きく写っているカメラ２で撮影された足１３０８がくっきり表示される。

このように、第一の実施形態に係る発明によれば、複数のカメラで同一の物体が撮影されている場合において、画像特徴量の相対的な比率に応じてブレンド率を設定することにより、面積がより大きく写っている方の画像のコントラストを大きくした画像を生成できる。これに対してさらに、ブレンド率を求める処理において、ブレンド率特定部１１３は、下式（３）を適用してブレンド率を求めるようにしてもよい。

ブレンド率p１（t）＝p１（t−１）＋k（p１_calc（t）−p１（t−１））・・・式（３）

すなわち、時刻tにおけるカメラ１のブレンド率p１（t)は、時刻（t−１）におけるブレンド率との差のk倍（kは０から１までの数）を時刻（t−１）におけるブレンド率に足したものとすることができる。ただし、式（３）においては、p１_calc（t）の値は、特徴量に基づき算出されたt時刻における補正前のブレンド率とする。つまり、所定の期間毎にブレンドの重み付けを特定し、当該所定の期間ごとのブレンドの重み付けに際しては、所定の期間の前または後あるいは前後の期間のブレンドの重み付けとの間の変化量が所定以下となるよう重み付けをすることができる。

あるいは、将来の時刻における輝度の予測を行い、該予測される輝度までをスムーズにつなげるようブレンド率を設定するものであってもよい。

なお、上述の第一の実施形態においては、時刻ｔ２において、画像特徴量が画像間で同程度になる場合には、ブレンド率を等しくＰ１＝Ｐ２＝０．５とすべきところ、その場合には両画像を合成した画像の輝度が高くなってしまい視認しにくくなる可能性がある。そこで、ヒステリシスを考慮して、一時刻前にブレンド率が高かった画像を優先して表示する処理を行ってもよい。具体的には、図１３の例では、時刻ｔ２の一時刻前の時刻ｔ１では、Ｐ１の方がブレンド率が高い。そこで、画像特徴量が同程度である時刻ｔ２の処理では、Ｐ１を優先して、検出した画像特徴量に対して、所定の割合または値を加える、または乗ずる処理を行う。これにより、例えば、ブレンド率をＰ１＝０．６、Ｐ２＝０．４などとして、カメラ１の映像を見易くさせても良い。なお、このとき、前の動きから次の時刻の動きを予測して、Ｐ１＝０．４、Ｐ２＝０．６としても良い。この手法のように、カメラ１とカメラ２で同程度の画像特徴量が検出される場合には、時系列的な特徴量の変化に応じて、二つの映像のブレンド率が等しくなる状況（Ｐ１＝Ｐ２＝０．５）を避けるようにブレンドすることで、両方の画像が薄くなり視認しづらくなる現象を低減できる。

その他、画像情報が所定の期間において撮影された動画像である場合には、動きベクトル情報を用いてブレンド率を算出する方法についても採用しうる。すなわち、画像特徴量の検出のためにオプティカルフローの動きベクトル情報を利用し、これから重畳エリアのブレンド率を算出し画像を合成する。画像特徴量として複数フレームの動きベクトルを利用し、動きベクトルの総和の比からブレンド率を算出する。具体的には、カメラ１の画像内の動きベクトルの総和 ΣＣａｍ１と、カメラ２の画像内の動きベクトル１４０４の総和 ΣＣａｍ２を計算する。これから、カメラ１のブレンド率Ｐ１とカメラ２のブレンド率Ｐ２を、下式（４）、（５）として算出する。

Ｐ１＝ ΣＣａｍ１／（ ΣＣａｍ１＋ ΣＣａｍ２）・・・式（４）
Ｐ２＝ ΣＣａｍ２／（ ΣＣａｍ１＋ ΣＣａｍ２）・・・式（５）

つまり、動きの大きい映像を備えるカメラ画像のブレンド率を大きく設定する。これらのブレンド率で動き物体を含む合成画像１４０５を生成する。この手法によれば、重畳エリア内で動きが大きいものほどくっきりとコントラストを向上させた画像が生成可能となる。

図１４は、映像表示装置１００による撮影対象の領域の設定例を示す図である。輪郭の検出について、さらに精度の高い立体物の輪郭検出を可能にする仕組みを適用する変形例であるといえる。図１４においては、図４に示したエリアのうち、重畳エリアをさらに細分化して、延伸方向と走査方向とのずれを減らすことで立体物の検出精度を高める仕組みが示されている。

図１４においては、基本的に第一の実施形態と同様の構成を備えるものであるが、左前エリア３００をさらに扇状に分割し、第１の領域３００Ａ、第２の領域３００Ｂ、第３の領域３００Ｃ、第４の領域３００Ｄ、第５の領域３００Ｅ、第６の領域３００Ｆ、第７の領域３００Ｇを設けている。また、各領域にはブレンド率を固定で設定する。

例えば、第１の領域３００Ａでは、その重心位置は前方カメラ２０１側が近いため、前方カメラ２０１の画像のブレンド率をＰ１＝０．９、左サイドカメラ２０２の画像のブレンド率をＰ２＝０．１とする。これに対して、隣接する第２の領域３００Ｂについては、前方カメラ２０１から少し遠ざかるため、Ｐ１＝０．８、Ｐ２＝０．２とする。同様に、前方カメラ２０１からの距離と、左サイドカメラ２０２からの距離と、に応じて、第３から第６までの領域についてもブレンド率を設定する。第７の領域３００Ｇでは、左サイドカメラ２０２に近いので、Ｐ１＝０．１、Ｐ２＝０．９とする。このように、前方カメラ２０１に近いほど前方カメラ２０１の画像を優先し、左サイドカメラ２０２に近いほど左サイドカメラ２０２の画像を優先してブレンド率を設定する。これにより、それぞれの分割された領域では近い方のカメラからの画像が強調されてブレンドされるので、より見易い画像が作成できる。さらに各分割領域において、各カメラ画像の特徴量に応じて、ブレンド率を調整しても良い。

また、上記の各構成、機能、処理部、処理手段などは、それらの一部または全部を、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現しても良い。各機能を実現するプログラム、テーブル、ファイルなどの情報は、メモリやハードディスク、ＳＳＤなどの記録装置、または、ＩＣカード、ＳＤカード、ＤＶＤなどの記憶媒体に置くことができる。

また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際にはほとんど全ての構成が相互に接続されていると考えても良い。

また、上記の各構成、機能、処理部等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記した実施形態の技術的要素は、単独で適用されてもよいし、プログラム部品とハードウェア部品のような複数の部分に分けられて適用されるようにしてもよい。

以上、本発明について、実施形態を中心に説明した。

１・・・映像表示システム、１００・・・映像表示装置、１１０・・・制御部、１１１・・・特徴量検出条件特定部、１１２・・・特徴量検出部、１１３・・・ブレンド率特定部、１１４・・・俯瞰画像合成部、１２０・・・記憶部、１２１・・・特徴量検出条件記憶部、１２２・・・ブレンド情報記憶部、１３０・・・カメラ制御部

Claims (11)

1. 少なくとも２つの異なる視点から共通領域を撮影した画像の俯瞰画像について前記俯瞰画像上での立体物の存在に関する所定の特徴量を前記視点の位置と前記共通領域との位置関係に基づき検出する条件を特定する特徴量検出条件特定部と、
   特定された前記特徴量検出条件を用いて、前記共通領域を撮影した画像の各俯瞰画像について前記特徴量を検出する特徴量検出部と、
   前記特徴量検出部により検出される特徴量に応じて、前記異なる視点から撮影した共通領域を撮影した画像の俯瞰画像の画素をブレンドする際のブレンド率を特定するブレンド率特定部と、
   前記ブレンド率特定部により特定されたブレンド率に応じて前記共通領域を撮影した画像の俯瞰画像の画素をブレンドして合成出力する俯瞰画像合成部と、
   を備えることを特徴とする映像表示装置。
2. 請求項１に記載の映像表示装置であって、
   前記特徴量検出条件特定部は、前記共通領域と、前記視点のある位置と、に応じて前記特徴量検出条件を特定する、
   ことを特徴とする映像表示装置。
3. 請求項１に記載の映像表示装置であって、
   前記特徴量検出条件特定部は、前記共通領域の所定の代表点から前記視点のある位置へ向かう方向に直交する方向に走査して前記共通領域を撮影した画像の俯瞰画像の特徴量を抽出することを処理条件として特定する、
   ことを特徴とする映像表示装置。
4. 請求項１に記載の映像表示装置であって、
   前記特徴量検出条件特定部は、前記視点のある位置を中心とする同心円の接線方向に走査して前記共通領域を撮影した画像の俯瞰画像の特徴量を抽出することを処理条件として特定する、
   ことを特徴とする映像表示装置。
5. 請求項１に記載の映像表示装置であって、
   前記特徴量検出条件特定部は、前記共通領域の代表点から前記視点のある位置へ向かう方向が水平方向または垂直方向となるよう前記共通領域を撮影した画像の俯瞰画像を回転させて走査して画像の特徴量を抽出することを処理条件として特定する、
   ことを特徴とする映像表示装置。
6. 請求項１に記載の映像表示装置であって、
   前記ブレンド率特定部は、前記共通領域を撮影した画像の各俯瞰画像の特徴量について、複数の前記俯瞰画像の間の相関の強弱を判定し、相関が所定より弱いと判定された場合には、前記共通領域上において、前記共通する領域を撮影した画像の各俯瞰画像の特徴量に関し所定以上の度合いで重複する領域があるか否かを判定し、該領域の有無に応じてブレンドの方法を切り替える、
   ことを特徴とする映像表示装置。
7. 請求項６に記載の映像表示装置であって、
   前記俯瞰画像合成部は、前記ブレンド率特定部により前記共通する領域を撮影した画像の各俯瞰画像の特徴量に関し所定以上の度合いで重複する領域があると判定された場合、前記共通する領域を撮影した画像の俯瞰画像の特徴量が大きい画像のブレンド率を大きく設定して前記俯瞰画像の画素をブレンドして合成出力する、
   ことを特徴とする映像表示装置。
8. 請求項６に記載の映像表示装置であって、
   前記俯瞰画像合成部は、前記ブレンド率特定部により前記共通する領域を撮影した画像の各俯瞰画像の特徴量に関し所定以上の度合いで重複する領域がないと判定された場合、前記共通する領域を撮影した画像の俯瞰画像の特徴量が大きい画像を採用して前記俯瞰画像を合成出力する、
   ことを特徴とする映像表示装置。
9. 請求項１に記載の映像表示装置であって、
   前記俯瞰画像合成部は、前記共通領域の画像について、前記共通領域と隣接する領域に向けて前記ブレンド率に傾斜を付けて変化するよう前記俯瞰画像を合成出力する、
   ことを特徴とする映像表示装置。
10. 請求項１に記載の映像表示装置であって、
    前記俯瞰画像合成部は、所定の期間毎に前記ブレンド率を特定し、当該所定の期間ごとのブレンド率の特定に際しては、前記所定の期間の前または後あるいは前後の期間のブレンド率との間の変化量が所定以下となるよう特定する、
    ことを特徴とする映像表示装置。
11. 共通領域を互いに異なる視点から撮影する画像の俯瞰画像を得る複数の撮像装置と、映像表示装置と、を含み、
    前記映像表示装置は、
    前記俯瞰画像について前記俯瞰画像上での立体物の存在に関する所定の特徴量を前記視点の位置と前記共通領域との位置関係に基づき検出する条件となる特徴量検出条件を特定する特徴量検出条件特定部と、
    前記共通領域を撮影した画像の各俯瞰画像に対して、特定された前記特徴量検出条件を用いて、特徴量を検出する特徴量検出部と、
    前記特徴量検出部により検出される特徴量に応じて、前記異なる視点の位置から撮影した共通領域を撮影した画像の俯瞰画像の画素をブレンドする際のブレンド率を特定するブレンド率特定部と、
    前記ブレンド率特定部により特定されたブレンド率に応じて前記共通領域を撮影した画像の俯瞰画像の画素をブレンドして合成出力する俯瞰画像合成部と、
    を備える、
    ことを特徴とする映像表示システム。

Images