JP6606748B2 - ステレオペア画像表示装置 - Google Patents

Description

本願発明は、立体視する際に用いられる２枚１組の画像（以下、これらを「ステレオペア画像」という。）を表示する技術に関するものであり、より具体的には、立体視しようとする対象物に関し多数の画像があるとき、そのうち利用条件に適したステレオペア画像を表示することができるステレオペア画像表示装置に関するものである。

従来から、位置と連動して画像を表示する画像表示処理装置は利用されている。例えば、ディスプレイに表示された地形図を所望の位置まで移動し、その位置の航空写真を表示することができる装置などは代表的な例である。また近年の計測技術の発達に伴い、航空写真など上空からの写真のほか、沿道状況を写した画像を位置情報とともに扱うことができる仕組みも提供されている。モバイルマッピングシステム（以下、「ＭＭＳ」という。）もその一つで、全方位カメラや、ＧＮＳＳ（Ｇｌｏｂａｌ Ｎａｖｉｇａｔｉｏｎ Ｓａｔｅｌｌｉｔｅ Ｓｙｓｔｅｍ）などの測位計、ＩＭＵ（Ｉｎｅｒｔｉａｌ Ｍｅａｓｕｒｅｍｅｎｔ Ｕｎｉｔ）などの慣性計測装置を装備した移動車で計測を行う仕組みである。この仕組みを利用すれば、位置と連動して沿道画像を表示することもできる。

さらに、無人飛行体（ＵＡＶ：Ｕｎｍａｎｎｅｄ Ａｅｒｉａｌ Ｖｅｈｉｃｌｅ）に固定したカメラで撮影した画像や、人工衛星から撮影した画像など、位置情報と関連付けられた画像は多岐に渡る。このように様々な手法で撮影された画像は、それぞれ特徴を備えており、例えばＵＡＶによる画像は精密ではあるが狭い範囲しか取得できず、人工衛星による画像は広範囲に取得できるものの粗い画像となってしまう。すなわち、多様な画像を得ることができるようになった反面、目的に応じて適切な画像を選択しなければならないという負荷が掛かった一面もある。

位置に関連して多種多様な情報が記憶されている場合、ユーザが注目する位置において、その目的上最も適した情報を表示する仕組みは、これまでもいくつか提案されているところである。例えば特許文献１では、記憶された画像データとユーザが表示したい範囲との重なりの程度や、記憶された画像データの画素数や縮尺（情報密度）に基づいて、ユーザが注目する範囲における最も適した画像データを表示する装置を提案している。さらに特許文献２では、記憶された画像データが有する空間情報と、時間情報、質情報に応じて得点化し、その得点に応じて最も適した画像データを選出する装置を提案している。

特許第４３４５９８５号公報 特開２０１２−２３８０４６号公報

特許文献１や特許文献２は、記憶された多様な画像データのうち、ユーザが指定した範囲に係る最も適したものを表示する技術である。しかしながら、立体視しようとするユーザが指定した範囲のうち、当該ユーザにとって最も適したステレオペア画像、あるいはステレオペア画像の候補を表示するものではない。

本願発明の課題は、これまで提供されることがなかった技術を提供することであり、すなわち立体視しようとするユーザにとって、適したステレオペア画像やその候補を表示することができるステレオペア画像表示装置を提供することである。

本願発明は、画像を取得したときの諸元情報を基礎として画像ベクトルや画像ピラミッドを作成するとともに、これら画像ベクトルや画像ピラミッド撮影位置に基づいて画像ごとに得点を付与し、さらに画像の得点に応じて表示すべき画像を選択するという点に着目したものであり、従来にはなかった発想に基づいてなされた発明である。

本願発明のステレオペア画像表示装置は、立体視するためのステレオペア画像の候補を表示する装置であり、画像記憶手段と、画像取得情報記憶手段、画像距離設定手段、画像ベクトル設定手段、画像底面設定手段、画像ピラミッド作成手段、串刺しベクトル設定手段、交差得点付与手段、長さ得点付与手段、内積得点付与手段、接近得点付与手段、画像得点付与手段、そして表示手段を備えたものである。このうち画像記憶手段は、複数の画像を記憶し、画像取得情報記憶手段は、画像を取得したときの画像取得位置、及び画像取得姿勢を当該画像ごとに記憶する。画像距離設定手段は、画像取得位置からの所定距離を「画像距離」として画像ごとに設定し、画像ベクトル設定手段は、「画像ベクトル（画像取得位置を起点とし、画像取得姿勢に基づく方向を有し、画像距離を長さとするベクトル）」を画像ごとに設定し、画像底面設定手段は、画像ベクトルに基づいて定められる所定領域を「画像底面」として画像ごとに設定し、画像ピラミッド作成手段は、画像取得位置と画像底面によって構成される立体形状を「画像ピラミッド」として画像ごとに作成する。串刺しベクトル設定手段は、ビュー視点（視覚の基準点）を設定するとともにこのビュー視点を起点とする串刺しベクトルを設定する。交差得点付与手段は、串刺しベクトルとぞれぞれの画像ピラミッドとを照らし合わせ、串刺しベクトルと画像ピラミッドとの交差の有無に基づいて当該画像に「交差得点」を付与し、長さ得点付与手段は、串刺しベクトルとぞれぞれの画像距離とを照らし合わせ、串刺しベクトルの長さと画像距離の比に基づいて当該画像に「長さ得点」を付与し、内積得点付与手段は、串刺しベクトルとぞれぞれの画像ベクトルとを照らし合わせ、串刺しベクトルの単位ベクトルと画像ベクトルの単位ベクトルの内積に基づいて当該画像に「内積得点」を付与し、接近得点付与手段は、串刺しベクトルとぞれぞれの画像底面とを照らし合わせ、串刺しベクトルが画像底面と交差する点と画像底面中心点との距離に基づいて当該画像に「接近得点」を付与し、画像得点付与手段は、交差得点と、長さ得点、内積得点、接近得点の中から選択される組み合わせに基づいて当該画像に「画像得点」を付与する。

本願発明のステレオペア画像表示装置は、あらかじめ定められた距離、又は画像取得位置からあらかじめ定められた平面までの距離、又は画像取得位置と画像取得姿勢とあらかじめ用意された数値標高モデルに基づいて求められる距離を、画像距離とするものとすることもできる。

本願発明のステレオペア画像表示装置は、串刺しベクトルの要素を指定するベクトル要素指定手段をさらに備えたものとすることもできる。この場合、ベクトル要素指定手段は、串刺しベクトルの起点及び終点、又は串刺しベクトルの起点（あるいは終点）と方向とベクトル長をユーザの入力により指定する。また串刺しベクトル設定手段は、ベクトル要素指定手段で指定されたベクトルの要素に基づいて串刺しベクトルを設定する。

本願発明のステレオペア画像表示装置は、ステレオペア画像を構成する第１画像と第２画像のうち、第１画像や第２画像の候補画像を選出する候補画像選出手段をさらに備えたものとすることもできる。この場合、候補画像選出手段は、画像得点が最も高い画像を第１画像の候補画像として選出し、表示手段は、第１画像の候補画像を含む２以上の画像を表示する。

本願発明のステレオペア画像表示装置は、第１画像の候補画像を除く画像のうち、画像得点が最も高い画像を第２画像の候補画像として選出する候補画像選出手段を備えたものとすることもできる。この場合、候補画像選出手段は、第１画像の候補画像と第２画像の候補画像を「第１候補のステレオペア画像」として選出し、表示手段は、第１画像の候補画像を含む２以上の画像を表示する。

本願発明のステレオペア画像表示装置は、既に選出された候補画像を除く記画像のうち画像得点が最も高い画像を第２画像の候補画像として選出する候補画像選出手段を備えたものとすることもできる。この場合、候補画像選出手段は、候補画像として選出された順位がｎ（ｎは２以上の整数）番目である第２画像の候補画像と第１画像の候補画像を「第ｎ候補のステレオペア画像」として選出し、表示手段は、第１候補のステレオペア画像から第ｎ候補のステレオペア画像までを表示する。

本願発明のステレオペア画像表示装置は、第１候補のステレオペア画像から第ｎ候補のステレオペア画像までそれぞれ３次元モデルを作成する３次元モデル作成手段をさらに備えたものとすることもできる。この場合、表示手段は、第１候補のステレオペア画像から第ｎ候補のステレオペア画像に基づいて作成された３次元モデルを表示する。

本願発明のステレオペア画像表示装置は、立体視する領域であるビュー領域をユーザが指定するビュー領域指定手段と、第１候補のステレオペア画像から第ｎ候補のステレオペア画像までそれぞれ「重なり比率」を求める重なり比率算定手段をさらに備えたものとすることもできる。この重なり比率は、ステレオペア画像を構成する第１画像と第２画像が重複する範囲がビュー領域を占める比率で表される。この場合、候補画像選出手段は、第１候補のステレオペア画像の画像得点と、第２候補のステレオペア画像の画像得点との差が所定の閾値を下回るとき、第１候補のステレオペア画像から第ｎ候補のステレオペア画像のうち重なり比率が最も大きいステレオペア画像を第１候補のステレオペア画像として選出する。なお候補画像選出手段は、所定の閾値以下の重なり比率を有するステレオペア画像から第１候補のステレオペア画像を選出することとしてもよい。

本願発明のステレオペア画像表示装置は、次の特徴を有する補画像選出手段を備えたものとすることもできる。すなわち、この場合の候補画像選出手段は、第１候補のステレオペア画像から第ｎ候補のステレオペア画像のうち重なり比率が最も大きいステレオペア画像と重なり比率が２番目に大きいステレオペア画像との重なり比率の差が所定の閾値を下回るとき、第１画像の画像取得姿勢と第２画像の画像取得姿勢との差が最も小さいステレオペア画像を第１候補のステレオペア画像として選出する。

本願発明のステレオペア画像表示装置には、次のような効果がある。
（１）多種多様な画像の中から、ユーザ利用に適したステレオペア画像が表示されるため、ユーザの労力が著しく軽減されるうえ、目的に合致した良質な視結果を得ることができる。
（２）画像そのものに、他の画像との関連付け情報を付与するといった処理が必要がなく、単に画像を集積するだけで足りることから、比較適用に当該装置を構築することができる。
（３）航空写真のほか、衛星写真や、ＭＭＳで取得した画像、ＵＡＶで取得した画像など、様々な撮影手段による画像を選択することなく利用することができる。

本願発明のステレオペア画像表示装置の概要を説明するための概略ブロック図。 画像モデルの設定手順を示すフロー図。 画像モデルを設定するための手段構成を示すブロック図。 数値標高モデルに基づいて設定される画像ベクトルを示すモデル図。 画像ピラミッドと串刺しベクトルを示すモデル図。 （ａ）は起点と終点からなる構成要素で設定される串刺しベクトルを示すモデル図、（ｂ）は起点とベクトル長、方向からなる構成要素で設定される串刺しベクトルを示すモデル図、（ｃ）は終点とベクトル長、方向からなる構成要素で設定される串刺しベクトルを示すモデル図。 各画像に対して画像得点を付与する流れを示すフロー図。 （ａ）は画像ピラミッドと略鉛直下向きの串刺しベクトルの配置関係を示すモデル図、（ｂ）は画像ピラミッドと概ね水平方向の串刺しベクトルの配置関係を示すモデル図。 接近得点を判定する際の基礎となる接近距離を説明するモデル図。 テレオペア画像として表示する処理の流れを示すフロー図。 重なり比率を考慮してステレオペア画像の候補を選出する処理の流れを示すフロー図。 重なり比率について説明するモデル図。

本願発明のステレオペア画像表示装置の実施形態の一例を、図に基づいて説明する。

１．全体概要
図１は、本願発明のステレオペア画像表示装置１００の概要を説明するための概略ブロック図である。まずはこの図を参考に、本願発明の全体概要について説明する。図に示す画像記憶手段１０１は、複数の画像を記憶するものである。ここで記憶される画像は、同一の撮影手段で取得されたもの（撮影時期は異なってもよい）とすることもできるし、２種類以上の撮影手段で取得されたものとすることもできる。この図では、衛星で取得された衛星画像、航空写真撮影による画像、ＵＡＶで取得された衛星画像、ＭＭＳで取得された衛星画像などが記憶されている。

また画像取得情報記憶手段１０２は、撮影したときのカメラ中心位置である「画像取得位置」や、撮影時のカメラの姿勢である「画像取得姿勢」、その他撮影属性情報、カメラ諸元など画像取得に関わる「画像取得情報」を記憶するものであり、画像ごとに付与される画像取得情報を、当該画像に関連付けて（紐付けて）記憶する。なお、ここで撮影属性情報とは、撮影したプロジェクトの名称、当該プロジェクト識別子（ＩＤ：ＩＤｅｎｔｉｆｉｃａｔｉｏｎ）、撮影日時、撮影手法、撮影範囲（場所）といった情報を含むもので、カメラ諸元とは、カメラの画角、焦点距離、画面距離、画素数といった情報を含むものである。

ステレオペア画像表示装置１００を構成する画像得点付与手段１０３は、画像取得情報に基づいて、画像ごとに「画像得点」を付与するものである。この画像得点は、後述するように交差得点、長さ得点、内積得点、接近得点の４種類の得点の中から選択される組み合わせによって配点される。画像記憶手段１０１に記憶された画像にはそれぞれ画像得点が付与され、例えば画像得点が上位のものが抽出されて、ディスプレイなど表示手段１０４に表示される。このとき単体の画像を表示してもよいし、画像得点に基づいてステレオペア画像を選出し、これを表示手段１０４に表示することもできる。図１では６組のステレオペア画像が候補として選出され、表示手段１０４に表示されている。既述のとおりステレオペア画像は２つの画像の組み合わせであり、ここでは便宜上、この２つの画像のうち一方を「第１画像」、他方を「第２画像」ということとする。

以下、本願発明のステレオペア画像表示装置を構成する主な要素ごとに詳述する。なお本願発明のステレオペア画像表示装置は、プログラムを実行するコンピュータを利用して構成するとよい。

２．画像モデル
本願発明は、画像取得情報に基づいて設定される「画像モデル」と、「串刺しベクトル」を照らし合わせて画像得点を付与することが技術的特徴の一つである。なお串刺しベクトルは、ユーザの視点である「ビュー視点」を基準とするベクトルであり、後に詳しく説明する。画像モデルは、画像ごとに設定され、「画像距離」、「画像ベクトル」、「画像底面」、そして「画像ピラミッド」を含んで構成される。以下それぞれについて、図２と図３を参照しながら説明する。ここで図２は、画像モデルの設定手順を示すフロー図であり、図３は、画像モデルを設定するための手段構成を示すブロック図である。

（画像距離）
図２に示すように、まずは画像モデルのうち画像距離が設定される（Ｓｔｅｐ１０）。この画像距離は、図３に示すように画像距離設定手段１０５によって設定されるもので、画像取得情報に基づき画像記憶手段１０１に記憶された画像ごとに設定される。具体的には、画像取得位置を基点とし、撮影方向（画像取得姿勢に基づく方向）に向けて設定される所定距離が画像距離である。この所定距離は、あらかじめ定めた距離とすることもできるし、あらかじめ定めた平面（例えば、標高０ｍの水平面）までの距離とすることもできる。

画像距離は、図２や図３に示すようにＤＥＭ（Ｄｉｇｉｔａｌ Ｅｌｅｖａｔｉｏｎ Ｍｏｄｅｌ）やＤＳＭ（Ｄｉｇｉｔａｌ Ｓｕｒｆａｃｅ Ｍｏｄｅｌ）といった数値標高モデルに基づいて設定することもできる。この場合、図４に示すように画像取得位置を基点として撮影方向に伸びる半直線が数値標高モデル（地表面）と交差する地形交差点を求め、画像取得位置からこの地形交差点までの距離（あるいは余裕長を加えた距離）を画像距離とする。ここで設定された画像距離は、画像距離記憶手段１０６に記憶される。

（画像ベクトル）
画像距離が設定されると、次に画像ベクトルを設定する（Ｓｔｅｐ２０）。この画像ベクトルは、画像ベクトル設定手段１０７によって設定されるもので、画像取得情報と画像距離に基づいて画像ごとに設定される。具体的には、画像取得位置を基点とし、画像距離をベクトルの長さ（以下、単に「ベクトル長」という。）とする撮影方向のベクトルが画像ベクトルである。図４に示すように数値標高モデルに基づいて設定する場合、画像取得位置を起点とし地形交差点を終点とするベクトルが画像ベクトルとして設定される。ここで設定された画像ベクトルは、画像ベクトル記憶手段１０８に記憶される。

（画像底面）
画像ベクトルが設定されると、画像底面を設定する（Ｓｔｅｐ３０）。この画像底面は、画底面設定手段１０９によって設定されるもので、画像取得情報と画像ベクトルに基づいて画像ごとに設定される。具体的には、画像ベクトルの終点を含む平面のうち、画像として取得される範囲（撮影手段の画角等により決定される範囲）が画像底面として設定される。このとき、画像ベクトルの終点を含む水平面を画像底面とすることもできるし、画像ベクトルの終点を含み画像ベクトルと直交する平面を画像底面とすることもできる。図４の場合、地形交差点を含み画像ベクトルと直交する平面を画像底面として設定している。ここで設定された画像底面は、画像底面記憶手段１１０に記憶される。

（画像ピラミッド）
画像底面が設定されると、最後に画像ピラミッドを設定する（Ｓｔｅｐ４０）。この画像ピラミッドは、画底ピラミッド設定手段１１１によって設定されるもので、画像取得情報と画像底面に基づいて画像ごとに設定される。具体的には、画像取得位置を頂点とし、画像底面を底面とする角錐や円錐といった立体形状が画像ピラミッドである。図５は、画像ピラミッドと串刺しベクトルを示すモデル図であり、画像底面が四角形であることから四角錐の画像ピラミッドが表されている。このように、画像ピラミッドの立体形状は画像底面の形状に依存し、画像底面が円形であれば画像ピラミッドは円錐となり、画像底面が多角形であれば画像ピラミッドは多角錐となる。なお図５に示す画像底面は、画像ベクトルの終点を含む水平面として設定されている。ここで設定された画像ピラミッドは、画像ピラミッド記憶手段１１２に記憶される。

３．串刺しベクトル
串刺しベクトルは、ユーザによって設定されるものであり、ビュー視点を基準とするベクトルとして表される。具体的には、ユーザが指定した点をビュー視点として設定し、さらにユーザがベクトル要素指定手段を用いて串刺しベクトルの構成要素を指定し、これらビュー視点と他の構成要素によって串刺しベクトルは設定される。

図６は、種々の構成要素で設定される串刺しベクトルを示すモデル図であり、（ａ）は起点と終点からなる構成要素で設定される場合を示し、（ｂ）は起点とベクトル長、方向からなる構成要素で設定される場合を、（ｃ）は終点とベクトル長、方向からなる構成要素で設定される場合を示している。図６（ａ）では、ユーザによってビュー視点と終点が指定されるとともにビュー視点が起点として設定され、これら起点と終点を結ぶ串刺しベクトルが設定される。図６（ｂ）では、ユーザによってビュー視点とベクトル長、方向が指定され、ビュー視点が起点であって、指定されたベクトル長と方向を具備する串刺しベクトルが設定される。図６（ｃ）では、ユーザによってビュー視点とベクトル長、方向が指定され、ビュー視点が終点であって、指定されたベクトル長と方向を具備する串刺しベクトルが設定される。

図６のように種々の構成要素をユーザが指定することで串刺しベクトルを設定する手法に代えて、ユーザが目標物を指定するだけで串刺しベクトルを設定する手法を採ることもできる。この手法について、図５を参照しながら詳しく説明する。まずユーザが目標物指定手段によって画像中にある目標物を指定し、画像底面に対して垂直であってこの目標物を通る垂線を求める。そしてこの垂線上に、当該画像の画像取得位置と同じ高さ（Ｚ座標）の点を求め、これをビュー視点とする。換言すれば、画像取得位置を含む水平面と当該垂線との交点（接点）がビュー視点とされる。そして、ビュー視点を起点とし、目標物を終点とするベクトルが、串刺しベクトルとして設定される。あるいは、ビュー視点を起点とし、ビュー視点から目標物までの長さに余裕長を加えたものを、串刺しベクトルとして設定することもできる。

４．画像得点
画像ごとの画像モデルと、串刺しベクトルが設定されると、これらを照らし合わせることで画像ごとに画像得点を付与する。図７は、各画像に対して画像得点を付与する流れを示すフロー図である。この図を参照しながら、画像得点を付与する手法について説明する。

（交差得点）
ここまで説明したとおり串刺しベクトルが設定される（Ｓｔｅｐ５０）と、まず各画像に「交差得点」を付与する（Ｓｔｅｐ６０）。図８は、画像ピラミッドと串刺しベクトルの配置関係を示すモデル図であり、（ａ）は略鉛直下向きの串刺しベクトルの場合を示し、（ｂ）は概ね水平方向の串刺しベクトルの場合を示している。いずれの図も、左側は航空写真など略鉛直下向きに撮影した画像に基づいて設定された画像ピラミッドであり、右側はＭＭＳ画像など概ね水平方向に撮影した画像に基づいて設定された画像ピラミッドである。

交差得点は、交差得点付与手段によって付与されるもので、串刺しベクトルと画像ピラミッドとの交差の有無に応じて付与される。例えば、串刺しベクトルと画像ピラミッドが交差しない場合は、当該画像の交差得点は０点とし、交差する場合は相当の得点を付与する。また、串刺しベクトルがユーザの視線方向であることを考えれば、画像に相当する画像底面を串刺しベクトルが貫くものの方が、ユーザにとって好適な画像といえる。したがって、図６（ａ）（ｂ）に示すように底面交差点（串刺しベクトルと画像底面の交差点）を生ずる画像は高得点とし、串刺しベクトルが画像ピラミッドの側面のみ交差する場合は低い得点を付与するとよい。一例を挙げれば、串刺しベクトルと画像ピラミッドを照らし合わせ、底面交差点を生ずる画像には２，０００点を、串刺しベクトルが側面のみ交差する画像には１，０００点を付与し、串刺しベクトルと画像ピラミッドが交差しない画像は得点を与えないこととする。

（長さ得点）
長さ得点は、串刺しベクトルのベクトル長（以下、便宜上「串刺しベクトル長」という。）と、画像距離（つまり、画像ベクトルのベクトル長）に基づく得点であり、長さ得点付与手段によって各画像に付与される（Ｓｔｅｐ７０）。串刺しベクトルがユーザの視線方向であることから、その画像距離が串刺しベクトル長に近いほど、ユーザにとって好適な画像と考えるわけである。例えば、画像距離と串刺しベクトルの比を求め、その比が１より小さい場合はそのままの値を、１を超える場合はその逆数を「長さ比」として設定し、この長さ比が大きいものほど（つまり１に近いものほど）長さ得点として高得点を付与する。この場合、あらかじめ段階的な得点（例えば、１点刻みの０点〜１００点）を用意し、長さ比が大きな画像から順に高い得点を割り振ることができる。

（内積得点）
内積得点は、串刺しベクトルと画像ベクトルそれぞれの方向に基づく得点であり、内積得点付与手段によって各画像に付与される（Ｓｔｅｐ８０）。串刺しベクトルがユーザの視線方向であることから、その画像ベクトルの方向が串刺しベクトルの方向に近い（つまり、両者の方向が平行に近い）ほど、ユーザにとって好適な画像と考えるわけである。具体的には、画像ベクトルの単位ベクトルと串刺しベクトルの単位ベクトルによって内積を求め、その比が１より小さい場合はそのままの値を、１を超える場合はその逆数を「内積比」として設定し、この内積比が大きいものほど（つまり１に近いものほど）内積得点として高得点を付与する。なお内積は負の値が算出されることもあるため、求められた内積の絶対値を用いて内積を設定するとよい。この場合、あらかじめ段階的な得点（例えば、１点刻みの０点〜１００点）を用意し、内積比が大きな画像から順に高い得点を割り振ることができる。

（接近得点）
接近得点は、串刺しベクトルが画像底面と交差する点（以下、「画像交差点」という。）と、画像底面の中心点（以下、「画像中心点」という。）との距離に基づく得点であり、接近得点付与手段によって各画像に付与される（Ｓｔｅｐ９０）。串刺しベクトルがユーザの視線方向であることから、画像ベクトルの終点が串刺しベクトルの終点に近いほど、ユーザにとって好適な画像と考えるわけである。具体的には図９に示すように、串刺しベクトルが画像底面と交差する点（以下、「画像交差点」という。）を求めるとともに、画像底面の中心点である「画像中心点」を求め、画像交差点と画像中心点とも距離を接近距離として算出する。このとき、単に画像ベクトルの終点と画像ベクトルの終点との距離を接近距離として算出してもよい。この場合、あらかじめ段階的な得点（例えば、１点刻みの０点〜１００点）を用意し、接近距離が小さい画像から順に高い得点を割り振ることができる。

（画像得点）
画像得点は、交差得点と、長さ得点、内積得点、接近得点からなる４つの個別点の中から選択される組み合わせに基づく総合得点であり、画像得点付与手段によって各画像に付与される（Ｓｔｅｐ１００）。例えば、交差得点と、長さ得点、内積得点、接近得点の総和としたり、交差得点と、内積得点、接近得点の総和としたり、その他４つの個別点から選ばれる１又は２以上の個別点の総和を画像得点とすることができる。あるいは、単に個別点の総和とする代わりに、適宜重み付けを行ったうえで個別点の合計を画像得点とすることもできる。

５．ステレオペア画像の候補
ここまで説明した処理を行った結果、画像記憶手段１０１に記憶された画像には、候補画像選出手段によってそれぞれ画像得点が付与される。つまり、各画像には画像得点に基づく順位が振られることとなり、その順位に応じて選択的に画像を表示手段１０４に表示することができる。この場合、あらかじめ定めた数だけ画像を表示するとよい。ただし、ステレオペア画像表示装置１００は立体視を目的としたものであるから、少なくとも２枚の画像が表示手段１０４に表示される。

表示手段１０４に表示する場合、独立した画像として表示することもできるが、ステレオペア画像として表示するとさらに好適である。以下、ステレオペア画像として表示する手法について、図１０を参照しながら詳しく説明する。はじめに、表示したいステレオペア画像の候補数Ｎを設定しておく（Ｓｔｅｐ１１０）。このステレオペア画像の候補数Ｎは、１以上の整数を選択することができ、ここでは便宜上をＮ＝９の場合で説明する。

ステレオペア画像の候補を選出するに当たっては、あらかじめ撮影に関する情報（つまり、撮影属性情報）を指定しておくことができる（Ｓｔｅｐ１２０）。例えば、プロジェクトの名称を指定すると（複数可）、画像取得情報記憶手段に記憶された画像取得情報（ここではプロジェクト名称）を検索し、指定されたプロジェクト名称を具備する画像のみが、以降の処理の対象となるわけである。あるいは撮影時期を指定すると、画像取得情報記憶手段に記憶された画像取得情報（ここでは撮影日時）を検索し、指定された撮影時期に近い（前後、所定閾値期間内の）撮影日時を具備する画像のみが、以降の処理の対象となるわけである。この撮影属性情報の設定（Ｓｔｅｐ１２０）は、省略することもできる。

撮影属性情報が設定されると、当該撮影属性情報に合致する（あるいは近い）画像取得情報を具備する画像のみが選択され、「画像選択集合」としてセットされる（Ｓｔｅｐ１３０）。撮影属性情報が設定されない場合は、もちろん画像記憶手段１０１に記憶されたすべての画像が画像選択集合としてセットされる。

次に候補画像選出手段が、画像選択集合の中から最も高い画像得点を具備する画像を、第１画像の第１候補として選出する（Ｓｔｅｐ１４０）。そして、Ｓｔｅｐ１３０でセットされた画像選択集合からこの第１画像の第１候補を除き、新たに「第２画像選択集合」としてセットする（Ｓｔｅｐ１５０）。さらに候補画像選出手段が、この第２画像選択集合のうち最も高い画像得点を具備する画像を第２画像の第１候補として選出し（Ｓｔｅｐ１６０）、第１画像の第１候補と第２画像の第１候補の組み合わせを「第１候補のステレオペア画像」として選出する（Ｓｔｅｐ１７０）。

第１候補のステレオペア画像が選出されると、Ｓｔｅｐ１３０でセットされた画像選択集合から第１画像の第１候補と第２画像の第１候補（つまり、第１候補のステレオペア画像）を除き、新たに「第２画像選択集合」としてセットする（Ｓｔｅｐ１５０）。そして、この第２画像選択集合のうち最も高い画像得点を具備する画像を、第２画像の第２候補として選出し（Ｓｔｅｐ１６０）、第１画像の第１候補と第２画像の第２候補の組み合わせを「第２候補のステレオペア画像」として選出する（Ｓｔｅｐ１７０）。Ｓｔｅｐ１５０からＳｔｅｐ１７０の処理を、第９候補のステレオペア画像が選出するまで繰り返し行い、すべてが揃うと、候補順に９組のステレオペア画像が表示手段１０４に表示される。このとき、ステレオペア画像を表示するだけでなく、このステレオペア画像に基づき３次元モデル作成手段によって自動成された３次元モデルを、当該ステレオペア画像と合わせて表示することもできる。

なお、９組のステレオペア画像が揃う前に第２画像選択集合がセットできなくなった場合（つまり、Ｓｔｅｐ１３０でセットされた画像選択集合が１０未満の画像からなる場合）、撮影属性情報を変更して（あるいは閾値期間を緩めて）再度設定し（Ｓｔｅｐ１２０）、新たに第１画像の第２候補を選出（Ｓｔｅｐ１４０）して、第ｎ番目のステレオペア画像を選出する。

ステレオペア画像の候補は、第１画像と第２画像の重なり比率を考慮したうえで選出することもできる。図１１は、重なり比率を考慮してステレオペア画像の候補を選出する処理の流れを示すフロー図である。この図に示すように、はじめに第１候補のステレオペア画像から第９候補のステレオペア画像まで順に並べ、順位が並ぶ２組のステレオペア画像の画像得点の差を算出する（Ｓｔｅｐ１９０）。このとき第１画像の画像得点と第２画像の画像得点の合計得点を、当該ステレオペア画像の画像得点とすることもできるし、第２画像の画像得点を、そのまま当該ステレオペア画像の画像得点とすることもできる。

第１候補のステレオペア画像の画像得点と、第２候補のステレオペア画像の画像得点の差が、あらかじめ定めた閾値を上回る場合はそのまま画像得点が最も高いものを第１候補のステレオペア画像として維持し（Ｓｔｅｐ２４０）、閾値を下回る場合は両者には差がないとして、重なり比率を用いて第１候補のステレオペア画像を再選出する。ここで重なり比率とは、図１２に示す「ビュー領域」のうち、第１画像と第２画像が重複する範囲（画像重複範囲）が占める比率である。なおビュー領域は、ユーザが立体視する領域であり、ユーザがビュー領域指定手段で指定することで設定される。

図１１で、画像得点差が閾値以下となった場合、第１候補のステレオペア画像から第９候補のステレオペア画像まで重なり比率が算出される。この重なり比率の算出は、重なり比率算定手段によって行われる。さらに、重なり比率が大きい順で９組のステレオペア画像を順に並べ、順位が並ぶ２組のステレオペア画像の重なり比率の差を算出する（Ｓｔｅｐ２００）。このとき、第１画像と第２画像の画像重複範囲があまりに大きいと立体視するには不向きとなるため、重なり比率に上限（例えば、０．８）を設け、この上限を超える重なり比率となったステレオペア画像は候補画像から排除することもできる。

重なり比率が最も大きいステレオペア画像と、重なり比率が２番目に大きいステレオペア画像との重なり比率の差が、あらかじめ定めた閾値を上回る場合は、重なり比率が最も大きいステレオペア画像をそのまま第１候補のステレオペア画像とし（Ｓｔｅｐ２３０）、閾値を下回る場合は両者に差がないとして、他の判定要素に基づいて第１候補のステレオペア画像を再選出する。図１１では、第１画像と第２画像の撮影角度の差が最小であるものを第１候補のステレオペア画像として選出している（Ｓｔｅｐ）。

本願発明のステレオペア画像表示装置は、地形の立体視を行う場合や、建物を含む沿道状況の立体視を行う場合などに、利用することができる。また本願発明のステレオペア画像表示装置は、３次元モデルを作成する際に特に好適に利用することができる。

１００ ステレオペア画像表示装置
１０１ 画像記憶手段
１０２ 画像取得情報記憶手段
１０３ 画像得点付与手段
１０４ 表示手段
１０５ 画像距離設定手段
１０６ 画像距離記憶手段
１０７ 画像ベクトル設定手段
１０８ 画像ベクトル記憶手段
１０９ 画底面設定手段
１１０ 画像底面記憶手段
１１１ 画底ピラミッド設定手段
１１２ 画像ピラミッド記憶手段

Claims (10)

1. 立体視するためのステレオペア画像の候補を表示する装置であって、
   複数の画像を記憶する画像記憶手段と、
   前記画像を取得したときの画像取得位置、及び画像取得姿勢を当該画像ごとに記憶する画像取得情報記憶手段と、
   前記画像取得位置からの所定距離を、画像距離として前記画像ごとに設定する画像距離設定手段と、
   前記画像取得位置が起点であって、前記画像取得姿勢に基づく方向であり、前記画像距離を長さとする画像ベクトルを、前記画像ごとに設定する画像ベクトル設定手段と、
   前記画像ベクトルに基づいて定められる所定領域を、画像底面として前記画像ごとに設定する画像底面設定手段と、
   前記画像取得位置と前記画像底面によって構成される立体形状を、画像ピラミッドとして前記画像ごとに作成する画像ピラミッド作成手段と、
   視覚の基準点であるビュー視点を設定するとともに、該ビュー視点を基準とする串刺しベクトルを設定する串刺しベクトル設定手段と、
   前記串刺しベクトルとぞれぞれの前記画像ピラミッドとを照らし合わせるとともに、該串刺しベクトルと前記画像ピラミッドとの交差の有無に基づいて、当該画像に交差得点を付与する交差得点付与手段と、
   前記串刺しベクトルとぞれぞれの前記画像距離とを照らし合わせるとともに、該串刺しベクトルの長さと前記画像距離の比に基づいて、当該画像に長さ得点を付与する長さ得点付与手段と、
   前記串刺しベクトルとぞれぞれの前記画像ベクトルとを照らし合わせるとともに、該串刺しベクトルの単位ベクトルと前記画像ベクトルの単位ベクトルの内積に基づいて、当該画像に内積得点を付与する内積得点付与手段と、
   前記串刺しベクトルとぞれぞれの前記画像底面とを照らし合わせるとともに、該串刺しベクトルが前記画像底面と交差する点と前記画像底面中心点との距離に基づいて、当該画像に接近得点を付与する接近得点付与手段と、
   前記交差得点と、前記長さ得点、前記内積得点、前記接近得点の中から選択される組み合わせに基づいて当該画像に画像得点を付与する画像得点付与手段と、
   前記画像得点に基づいて前記画像に順位を付与するとともに、当該順位に基づいて２以上の前記画像を表示する表示手段と、を備えたことを特徴とするステレオペア画像表示装置。
2. 前記画像距離は、あらかじめ定められた距離、又は前記画像取得位置からあらかじめ定められた平面までの距離、又は前記画像取得位置と前記画像取得姿勢とあらかじめ用意された数値標高モデルに基づいて求められる距離である、ことを特徴とする請求項１記載のステレオペア画像表示装置。
3. 前記串刺しベクトルの要素を指定するベクトル要素指定手段を、さらに備え、
   前記ベクトル要素指定手段は、前記串刺しベクトルの起点及び終点、又は前記串刺しベクトルの起点と方向とベクトル長、又は前記串刺しベクトルの終点と方向とベクトル長を、ユーザの入力により指定し、
   前記串刺しベクトル設定手段は、前記ベクトル要素指定手段で指定されたベクトルの要素に基づいて、前記串刺しベクトルを設定する、ことを特徴とする請求項１又は請求項２記載のステレオペア画像表示装置。
4. ステレオペア画像を構成する第１画像と第２画像のうち、第１画像及び／又は第２画像の候補画像を選出する候補画像選出手段と、をさらに備え、
   前記候補画像選出手段は、前記画像得点が最も高い前記画像を第１画像の候補画像として選出し、
   前記表示手段は、前記第１画像の候補画像を含む２以上の前記画像を表示する、ことを特徴とする請求項１乃至請求項３のいずれかに記載のステレオペア画像表示装置。
5. 前記候補画像選出手段は、前記第１画像の前記候補画像を除く前記画像のうち、前記画像得点が最も高い前記画像を第２画像の候補画像として選出するとともに、前記第１画像の候補画像と該第２画像の候補画像を第１候補のステレオペア画像として選出し、
   前記表示手段は、前記第１候補のステレオペア画像を表示する、ことを特徴とする請求項４記載のステレオペア画像表示装置。
6. 前記候補画像選出手段は、既に選出された候補画像を除く前記画像のうち、前記画像得点が最も高い前記画像を前記第２画像の候補画像として選出するとともに、候補画像として選出された順位がｎ（ｎは２以上の整数）番目である該第２画像の候補画像と前記第１画像の候補画像を、第ｎ候補のステレオペア画像として選出し、
   前記表示手段は、前記第１候補のステレオペア画像から前記第ｎ候補のステレオペア画像までを表示する、ことを特徴とする請求項４又は請求項５記載のステレオペア画像表示装置。
7. 前記第１候補のステレオペア画像から前記第ｎ候補のステレオペア画像まで、それぞれ３次元モデルを作成する３次元モデル作成手段を、さらに備え、
   前記表示手段は、前記第１候補のステレオペア画像から前記第ｎ候補のステレオペア画像に基づいて作成された３次元モデルを表示する、ことを特徴とする請求項６記載のステレオペア画像表示装置。
8. 立体視する領域であるビュー領域を、ユーザが指定するビュー領域指定手段と、
   前記第１候補のステレオペア画像から前記第ｎ候補のステレオペア画像まで、それぞれ重なり比率を求める重なり比率算定手段と、をさらに備え、
   前記重なり比率は、ステレオペア画像を構成する第１画像と第２画像が重複する範囲が、前記ビュー領域を占める比率で表され、
   前記候補画像選出手段は、前記第１候補のステレオペア画像の前記画像得点と、前記第２候補のステレオペア画像の前記画像得点との差が、所定の閾値を下回るとき、前記第１候補のステレオペア画像から前記第ｎ候補のステレオペア画像のうち、前記重なり比率が最も大きいステレオペア画像を第１候補のステレオペア画像として選出する、ことを特徴とする請求項６又は請求項７記載のステレオペア画像表示装置。
9. 前記候補画像選出手段は、所定の閾値以下の前記重なり比率を有するステレオペア画像から第１候補のステレオペア画像を選出する、ことを特徴とする請求項８記載のステレオペア画像表示装置。
10. 前記候補画像選出手段は、前記第１候補のステレオペア画像から前記第ｎ候補のステレオペア画像のうち、前記重なり比率が最も大きいステレオペア画像と、前記重なり比率が２番目に大きいステレオペア画像との前記重なり比率の差が、所定の閾値を下回るとき、 第１画像の前記画像取得姿勢と第２画像の前記画像取得姿勢との差が、最も小さいステレオペア画像を、第１候補のステレオペア画像として選出する、ことを特徴とする請求項８又は請求項９記載のステレオペア画像表示装置。

Images