JP4293157B2 - 画像処理装置 - Google Patents

Description

本発明は、撮影した風景画像の一部が障害物に覆われている場合に、この障害物を補間した擬似風景画像を得る画像処理装置に関する。

ビデオカメラ、スチルカメラ等を用いて遠くの山や山岳などの風景を撮影する場合、風景の一部が雲や霧などの障害物に覆われていると、覆われた部分にどんな風景があるか確認できなかったり、確認したい山や山岳などが覆われている可能性がある。一方現在車両に搭載したり持ち運びができるナビゲーションシステムの技術が進歩し、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）及び高度計で取得した撮影場所の３次元位置情報に基づき、予め有している地理情報からシミュレートした地形の画像を表示することで、撮影者のいる場所及びその周囲を確認することができる。

そこで特許文献１には、風景を撮影した風景画像とともにシミュレートした地形の画像を一体表示可能な画像処理装置が示されている。
この特許文献１に記載されている画像処理装置について図９を用いて説明する。
図９に示すカメラ装置２７は、風景を撮影する撮影手段２４と、撮影手段２４で撮影された風景画像を記録する記録手段２５と、撮影手段２４で撮影された風景及び記録手段２５に記録された風景画像を表示する表示手段２６とからなる。
画像処理装置２３は、カメラ装置２７の撮像手段２４で撮影した風景画像をズームした時に用いられた焦点距離を取得する焦点距離取得手段２８と、焦点距離取得手段２８で取得した焦点距離から画角を決定する画角決定手段２９と、画角を含む撮影条件（画角、方位、仰角）及び撮影場所の地理上の３次元位置情報（緯度、経度、高度）に基づいて、記憶手段３０に予め記憶されている地理情報から、カメラ装置２７から見た理想風景画像及び地名文字をシミュレートするシミュレート情報形成手段３１と、風景画像と理想風景画像及び地名文字とを一つの画面の中に表示させて表示手段２６に出力する合成手段３２と、からなる。

このようにすることにより、撮像手段２４で撮影した風景画像の名称を把握できるようにしたものである。
特開２００４−３５６７６９号公報

しかしながら、特許文献１による画像処理装置２３は、遠くの風景などを撮影した風景画像が、風景の一部が雲や霧などの障害物で覆われた場合には、覆われた部分の風景がわからないために、撮影した風景画像の風景全体がわからなかった。このため、撮影した風景の名称や全体形状もわからなくなっていた。

そこで、本発明は、上記のような問題を解消するためになされたもので、気象条件が悪化するなどで風景画像の一部が障害物で覆われる場合においても、撮影した風景画像の全体を擬似的に表示可能とすると共に、撮影した風景画像の地名情報を表示可能とする画像処理装置を提供することを目的とする。

１）本発明の画像処理装置は上記の目的を達成するために、撮影された風景画像に関連付けられた風景画像の撮影場所の３次元位置情報を検出する位置情報検出手段と、予め地理情報が格納されている記憶手段と、風景画像の撮影条件を取得する撮影条件取得手段と、３次元位置情報及び撮影条件に基づいて記憶手段から地理情報を読み出すと共に、地理情報から構成される風景画像に対応する位置における理想風景画像を読み出された地理情報から構成するシミュレート画像形成手段と、風景画像と理想風景画像とを比較して、風景画像における理想風景画像と異なる領域に対応した理想風景画像の領域をトリミング画像領域とするトリミング手段と、トリミング画像領域を用いて風景画像における異なる領域を補間して補間風景画像を得る補間手段と、記憶手段から地理情報を読み出し、読み出された地理情報から風景画像に対応した地名文字を形成する地名文字形成手段と、地名文字形成部で形成された地名文字を補間風景画像に重畳する合成手段と、を備える。
撮影された風景画像に関連付けられた風景画像の撮影場所の３次元位置情報を検出する位置情報検出手段と、予め地理情報が格納されている記憶手段と、前記風景画像に対応する位置における前記地理情報から構成される理想風景画像を、３次元位置情報及び撮影条件を用いて、記憶手段から読み出された地理情報により構成するシミュレート画像形成手段と風景画像と理想風景画像とを比較して、風景画像における理想風景画像と異なる領域に対応した理想風景画像の領域をトリミング画像領域とするトリミング手段と、トリミング画像領域を用いて風景画像における異なる領域を補間して補間風景画像を得る補間手段と、記憶手段に格納されている地理情報を読み出し、風景画像に対応する地名データを地名文字として形成する地名文字形成手段と、地名文字形成部で形成された地名文字を前記補間風景画像に重畳する合成手段と、を備える。
２）更に、本発明の１）記載の画像処理装置は上記の目的を達成するために、撮影条件は、方位角を含み、位置情報検出手段で検出した３次元位置情報から偏角を算出し、偏角を用い方位角の誤差を補正し、補正方位角を生成する方位角補正手段を備え、シミュレート画像形成手段は、補正方位角，３次元位置情報及び撮影条件に基づいて、記憶手段から地理情報を読み出し、読み出された地図情報から風景画像対応する位置の理想風景画像を構成する

本発明によれば、気象条件が悪化するなどで風景画像の一部が障害物で覆われる場合においても、撮影した風景画像の全体を擬似的に表示することができる。また、撮影した風景画像の地名情報を表示することができる。

以下に本発明の各実施形態に係る画像処理装置について図１〜図８を用いて説明する。
図１は、本発明の第1の実施の形態である画像処理装置の一例を示すブロック構成図である。図２は、第1及び第２の実施の形態のトリミング手段を示すブロック図である。図３は、第1及び第２の実施の形態のトリミング手段での処理の例を説明する図であり、（Ａ）は障害物に覆われた風景画像を示し、（Ｂ）はエッジ画像を示し、（Ｃ）はブロック化エッジ画像を示している。図４は、第1及び第２の実施の形態のトリミング手段での処理の例を説明する図であり、（Ａ）は理想風景画像を示し、（Ｂ）はエッジ画像を示し、（Ｃ）はブロック化エッジ画像を示している。図５は、第1及び第２の実施の形態の補間手段と合成手段の処理の例を示す図であり、（Ａ）は補間された擬似風景画像を示し、（Ｂ）は地名文字の合成を示している。図６は、第２の実施の形態である画像処理装置の一例を示すブロック構成図である。図７は、第２の実施の形態である方位角誤差を補正する方位角補正手段を示すブロック図である。図８は、第２の実施の形態である方位角誤差による理想風景画像への影響を示す図である。

まずは、第1の実施の形態について説明する。
画像処理装置１は、撮影された被写体画像の一部が雲や霧等の障害物により覆われている場合に、その覆われた部分を擬似画像に置き換えて全体画像を得るようにしたものである。

図１に示すように、画像処理装置１は、カメラ装置１で撮影された風景画像の一部が障害物で覆われている場合にその一部を補間する画像に置き換えて風景画像の全体を得るものである。
カメラ装置２は、風景を撮影する撮影手段３と、撮影手段３で撮影された風景画像を記録する映像記録手段４と、風景の撮影場所を示す地理上の緯度、経度、高度の３次元位置情報及び撮影条件を記録する撮影情報記録手段５とを備えている。
画像処理装置１は、カメラ装置２の撮影情報記録手段５に記録されている３次元位置情報を読み出す位置情報読出手段６と、前記撮像情報から撮影手段３に設定された画角、方位角、仰角からなる撮影条件を読み出す撮影条件読出手段７と、地球上の地理情報を予め記憶する記憶手段８と、位置情報読出手段６で読み出された３次元位置情報及び撮影条件読出手段７で読み出された前記撮影条件を用いて、記憶手段８から撮影場所の地理情報を読み出し、撮影場所から見た理想風景画像をシミュレートするシミュレート画像形成手段９と、カメラ装置２の映像記録手段４に記録されている風景画像と理想風景画像とを比較して、風景画像が障害物で覆われている部分に対応する理想被写体画像を抽出して、トリミングするトリミング手段１０と、風景画像が障害物に覆われている部分にトリミングされた理想風景画像を補間して擬似風景画像を得る補間手段１１と、地理情報から風景画像に名称を付加する地名文字を形成する地名文字形成部１２と、地名文字を擬似風景画像に付加して表示手段１４に出力する合成手段１３と、を有する。

図２に示すように、トリミング手段１０は、撮影された風景画像の輪郭のエッジ検出を行うエッジ検出部１５Ａと、理想風景画像に形成されている輪郭のエッジ検出を行うエッジ検出部１５Ｂと、エッジ検出部１５Ａ，１５Ｂでエッジ検出が行われて得られたエッジ画像を複数のブロックに分割して、各ブロックにブロック番号を付加するブロック化部１６Ａ、１６Ｂと、を有する。

理想風景画像と撮影された風景画像とを比較して、それぞれの風景画像間で対応する輪郭線の差が２以上のブロックある場合に、撮影された風景画像に対応する理想風景画像のブロックから補間する補間ブロック番号を出力するブロック間差分判定部１７と、ブロック間差判定部１７から出力された補間ブロック番号のブロックを理想風景画像から切り出してトリミングした補間画像を補間手段１１へ出力するトリミング処理部１８と、からなる。

ここで、シミュレートされた理想風景画像は、元となる地理情報が本来風景画像に存在する細部の地形の形状まで忠実に再現するものではないので、本実施例の目的である障害物で覆われた領域のみ抽出が行われるように、この違いに起因する僅かな画像の違いまで判定しないようにする。そこでエッジ検出部１５Ａ，１５Ｂにおいて、予め障害物のない風景画像を観測して両エッジ画像が相似形の輪郭形状になるようエッジ検出処理の２値化のしきい値などの判定条件パラメータを設定しておく。

さらに、ブロック化部１６Ａ，１６Ｂにおけるブロック化は、障害物で覆われた領域の判定を適切に行うためであり、ブロックの最小限の大きさに制限を加えている。それは、両エッジ画像の輪郭形状が相似形であっても、理想風景画像をシミュレートする際に用いる３次元位置情報、撮影条件、及び予め記憶している地理情報のそれぞれが持つ誤差があるので、理想風景画像は、撮影された風景画像と比較すると地形の位置、大きさ、画像の傾きなどにシミュレート誤差を生じている。そのため両エッジ画像を比較する際、誤差によって生じるブロックの差で障害物で覆われた領域として判定されないように、シミュレート誤差を包含した面積以上のブロックで比較する。

そこで、理想風景画像を形成する際のシミュレート誤差が水平方向Ｄｘブロック、垂直方向Ｄｙブロックの大きさであることを予め測定に基づいて想定しておき、水平方向２Ｄｘブロック、垂直方向２Ｄｙブロック以上の大きさを確保したブロックによる分割数より少ない分轄数とする。ここで、ブロック化の分割数を上記制限より少なくする場合、障害物以外の領域まで擬似的な補間画像となることを考慮して設定する。

次に、その動作について図３〜図５を併せ用いて説明する。
まずは、風景をカメラ装置２の撮影手段３で撮影して、風景画像を映像記録手段４に記録し、撮影条件及び３次元位置情報を撮影情報記録手段５に記録する。この後、位置情報読取手段６で撮影情報記録手段５に記録されている３次元位置情報を読み取り、撮影条件読出手段７で撮影条件を読み取る。位置情報読取手段６で読み取られた３次元位置情報及び撮影条件読出手段７で読み取られた撮影条件に基づき、シミュレート画像形成手段９で地理上の範囲を指定して記憶手段８から指定された範囲の地理情報を読出して、撮影場所から見た理想風景画像を作成する。

理想風景画像からのトリミングは、以下のようにして行う。
ここで、撮影手段３で撮影された風景画像は、図３（Ａ）に示す一部が障害物（ここでは山の頂上を覆っている雲）に覆われている風景画像であり、これに対応した理想風景画像は、図４（Ａ）に示すものであるとする。
図３（Ａ）に示す風景画像のエッジ検出をエッジ検出部１５Ａで行って、図３（Ｂ）に示す障害物を除いたエッジ画像Ａを生成する。障害物の領域のエッジ検出が行われないのは、輝度変化が少なく輪郭と判定されないので輪郭線で表すことができないからである。次に、図３（Ｃ）に示すように、エッジ画像Ａをブロック化部１６Ａで複数のブロック単位でブロック化し、ブロック化エッジ画像Ａ及び各ブロックの位置におけるブロック番号をブロック間差分判定部１７へ出力する。

同様に、図４（Ａ）に示す理想風景画像のエッジ検出をエッジ検出部１５Ｂで行って、図４（Ｂ）に示すエッジ画像Ｂを生成する。次に、図４（Ｃ）に示すように、エッジ画像Ｂをブロック化部１６Ｂで複数のブロック単位でブロック化し、ブロック化エッジ画像Ｂ及び各ブロックの位置を示すブロック番号をブロック間差分判定部１７へ出力する。

ブロック化エッジ画像Ａ及びＢ間のブロック番号間の風景画像と理想風景画像との輪郭形状の線の比較を行う。図３（Ｃ）に示すように、風景画像のブロック数が理想風景画像のブロック数よりも少ない場合には、障害物により覆われていると判定し、この障害物で覆われた理想風景画像部分の補間ブロック番号をトリミング処理部１８へ出力する。

更に、トリミング処理部１８に出力された補間ブロック番号に相当するブロックの理想風景画像をトリミングした補間画像及びその補間ブロック番号を補間手段１１へ出力する。

図５（Ａ）に示すように、合成手段１３により、補間手段１１から出力された補間画像と補間ブロック番号に基づいて、風景画像を覆う障害物を補間画像に補間した擬似風景画像を得る。

更に、図５（Ｂ）に示すように、擬似風景画像にミュレート画像形成手段９でシミュレートした理想風景画像の地形範囲に基づき地名文字形成手段１２で形成した地名文字を合成して表示手段１４に表示させる。

風景画像が障害物に覆われていない場合は、エッジ画像Ａ、Ｂは一致するため表示手段１４に表示する画像は、擬似風景画像ではなく、風景画像そのものである。

以上のように、本発明の第１の実施の形態によれば、地球上の地理情報を予め記憶する記憶手段８と、位置情報読出手段６で読み出された３次元位置情報及び撮影条件読出手段７で読み出された前記撮影条件を用いて、記憶手段８から撮影場所の地理情報を読み出し、撮影場所から見た理想風景画像をシミュレートするシミュレート画像形成手段９と、カメラ装置２の映像記録手段４に記録されている風景画像と理想風景画像とを比較して、風景画像が障害物で覆われている部分に対応する理想被写体画像を抽出して、トリミングするトリミング手段１０と、風景画像が障害物に覆われている部分にトリミングされた理想風景画像を補間して擬似風景画像を得る補間手段１１と、を有しているので、撮影された風景画像の障害物で覆われている部分が補間され、障害物に覆われていない擬似的な擬似風景画像が表示でき、風景画像全体を見ることができる。

次に、本発明の第２の実施の形態について述べる。
第１の実施の形態と同一構成には同一符号を付し、その説明を省略する。
図６に示すように、第２の実施の形態における画像処理装置１９は、第１の形態において、撮影条件読出手段７及び位置情報読出手段８とシュミュレート画像形成手段９との間に撮像手段３に内蔵されている方位磁石によって設定された方位角が地理上の方位角からずれていることにより生じる方位角誤差を補正し、補正方位角を生成する方位角補正手段２０を挿入したものであり、それ以外は同様である。

図７に示すように、方位角補正手段２０は、緯度、経度に対応する偏角をテーブルにした方位角偏角テーブル２１と、テーブルからの偏角で方位角を修正する方位角補正部２２と、を備えている。図８（Ａ）に示す理想風景画像は、図８（Ｂ）に示す風景画像の中心が左のＥの方向にずれを生じている。
方位角補正手段２０で方位磁石の方向と地理上の方位角のずれ生じる誤差に基づいて、理想風景画像を地理上の位置で撮影された風景画像に合致させるようにする。このようにすることにより、カメラ装置２の撮影手段３で撮影された風景画像の一部が障害物で覆われた場合にも正確な擬似風景画像を得ることができる。

尚、本発明の第１、第２の実施形態は、カメラ装置２の撮影手段３で撮影された風景画像及びその時の撮影情報を一旦記録した後、画像処理装置１、１９に出力する構成であるが、これに拘らず、カメラ装置２の撮影手段３で撮影された風景画像及びその時の撮影情報を撮影中に、直接画像処理装置１、１９に出力する構成にしても良い。

また、映像記録手段４と撮影情報記録手段５との同じ機能の手段を画像処理装置１及び画像処理装置１９の近傍に設置しても良く、これらで予めカメラ装置２で撮影して記録した記録メディアを再生し、画像処理装置１及び画像処理装置１９に入力する構成にすることも可能であり、以外は、同様である。

更に、カメラ装置２が搭載する映像記録手段４と撮影情報記録手段５とは、同一の記録メディアに統合した一つの記録手段であっても良く、その場合は再生された風景画像及び撮影情報とが混成されて入力するが、画像処理装置１の入力以前にこれらを分離する手段を設けることで画像処理装置１及び画像処理装置１９は同様な構成のまま実施可能であり、以外は、同様である。

本発明の第1の実施の形態である画像処理装置の一例を示すブロック構成図である。 第1及び第２の実施の形態のトリミング手段を示すブロック図である。 第1及び第２の実施の形態のトリミング手段での処理の例を説明する図であり、（Ａ）は障害物に覆われた風景画像を示し、（Ｂ）はエッジ画像を示し、（Ｃ）はブロック化エッジ画像を示している。 第1及び第２の実施の形態のトリミング手段での処理の例を説明する図であり、（Ａ）は理想風景画像を示し、（Ｂ）はエッジ画像を示し、（Ｃ）はブロック化エッジ画像を示している。 第1及び第２の実施の形態の補間手段と合成手段の処理の例を示す図であり、（Ａ）は補間された擬似風景画像を示し、（Ｂ）は地名文字の合成を示している。 第２の実施の形態である画像処理装置の一例を示すブロック構成図である。 第２の実施の形態である方位角誤差を補正する方位角補正手段を示すブロック図である。 第２の実施の形態である方位角誤差による理想風景画像への影響を示す図である。 従来例の画像処理装置を示すブロック構成図である。

符号の説明

１…画像処理装置、２…カメラ装置、３…位置情報読出手段、４…撮影条件読出手段、５…記憶手段、６…シミュレート画像形成手段、７…トリミング手段、８…補間手段、９…地名文字形成部、１０…合成手段、１１…表示手段、１２Ａ，１２Ｂ…エッジ検出部、１３Ａ，１３Ｂ…ブロック化部、１４…ブロック間差分判定部、１５…トリミング処理部、１６…撮像手段、１７…映像記録手段、１８…撮影情報記録手段、１９…画像処理装置、２０…方位角補正手段、２１…方位角偏角テーブル、２２…方位角補正部

Claims (2)

1. 撮影された風景画像に関連付けられた前記風景画像の撮影場所の３次元位置情報を検出する位置情報検出手段と、
   予め地理情報が格納されている記憶手段と、
   前記風景画像の撮影条件を取得する撮影条件取得手段と、
   前記３次元位置情報及び前記撮影条件に基づいて前記記憶手段から前記地理情報を読み出すと共に、前記地理情報から構成される前記風景画像に対応する位置における理想風景画像を読み出された前記地理情報から構成するシミュレート画像形成手段と、
   前記風景画像と前記理想風景画像とを比較して、前記風景画像における前記理想風景画像と異なる領域に対応した前記理想風景画像の領域をトリミング画像領域とするトリミング手段と、
   前記トリミング画像領域を用いて前記風景画像における前記異なる領域を補間して補間風景画像を得る補間手段と、
   前記記憶手段から前記地理情報を読み出し、読み出された前記地理情報から前記風景画像に対応した地名文字を形成する地名文字形成手段と、
   前記地名文字形成部で形成された前記地名文字を前記補間風景画像に重畳する合成手段と、
   を備えることを特徴とする画像処理装置。
2. 前記撮影条件は、方位角を含み、
   前記位置情報検出手段で検出した前記３次元位置情報から偏角を算出し、前記偏角を用いて前記方位角の誤差を補正し、補正方位角を生成する方位角補正手段を備え、
   前記シミュレート画像形成手段は、前記補正方位角，前記３次元位置情報及び前記撮影条件に基づいて、前記記憶手段から前記地理情報を読み出し、読み出された前記地図情報から前記風景画像対応する位置の前記理想風景画像を構成することを特徴とする請求項１記載の画像処理装置。

Images