JPH11259673A - 空間散策映像表示方法及び空間内オブジェクト検索方法及び空間内オブジェクト抽出方法及びそれらの装置及びそれらの方法を記録した記録媒体 - Google Patents

Abstract

(57)【要約】 【課題】 臨場感があり、自由に移動可能な散策空間を
構成でき、その画像内容を検索でき、オブジェクトを高
精度で抽出できる方法及び装置を提供する。 【解決手段】 全方位写真点情報入力手段１を用いて現
実の空間の所定位置での全方位写真と位置情報を対応さ
せた写真点情報を作成し、全方位写真点情報蓄積手段３
に蓄積する。次に、利用者から散策空間内での位置や視
線方向が入力されると、散策画像再生手段４はそれに該
当する写真画像を全方位写真点情報蓄積手段３から検索
し再生する。利用者位置、視線方向の入力と、散策画像
再生手段４による再生を繰り返すことで、利用者が移動
すれば対応する位置の画像を次々に提示し、利用者が視
線方向を変えれば対応する方向の画像を次々に提示す
る。また、蓄積手段３の画像等から特徴量を抽出してデ
ータベースを作成し、キー画像等の特徴量による類似比
較をすることで、画像内容の検索を可能とする。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、マルチメディア・
プレゼンテーションの分野において、高い臨場感と自由
な移動を可能にする散策空間の構成技術、並びに、マル
チメディア情報システムで実現された仮想空間散策シス
テムで、複数の地点で実写映像または実写写真を利用者
に提示する部分において、検索キーとして与えられた画
像またはオブジェクト画像またはスケッチから、それに
類似する画像の得られる地点と向きまたはオブジェクト
画像が存在する地点と向きを検索結果として得るような
オブジェクト検索技術、並びに、そのオブジェクトの自
動抽出技術に関するものである。

【０００２】

【従来の技術】空間散策とは、コンピュータによって構
成される仮想的な空間の中を自由に、または、ある制限
のもとに移動した感じを体験させる技術のことで、空間
ウォークスルーと呼ばれることもある。

【０００３】これまで、空間散策のための空間として以
下の（１）〜（３）の３方式が提案されている。それら
を散策空間を示す図１６、および、図１６の散策空間を
上部から見た図１７を例にして説明する。なお、本例で
は水平方向のみを扱う。垂直方向については、水平方向
と全く同様であるため省略する。

【０００４】（１）ＣＧで構成する散策空間（ＣＧベー
スの散策空間と呼ぶこととする） 最も代表的な散策空間の実現方法が、コンピュータグラ
フィック（ＣＧ）で３次元空間を構成する方法である。
これはバーチャル・リアリティ（ＶＲ）と呼ばれること
もある。ＶＲＭＬ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ
Ｍｏｄｅｌｉｎｇ Ｌａｎｇｕａｇｅ）で作成された空
間や、ゲーム（たとえば任天堂のスーパーマリオ６４）
などで利用されている。

【０００５】図１８にＣＧで作られた図１６，１７の例
に基づく空間における散策の例を示す。図内の矢印が散
策経路に対応している。この方法の利点は、空間内の散
策（移動）が自由にできることである。

【０００６】（２）実写映像で構成する散策空間（実写
ベースの散策空間と呼ぶこととする） この方式は、空間の中に移動経路を示すパスと、変向点
または交差点を示すノードを配置し、そのパスとノード
に対応する実写映像を現実空間において撮影し、対応に
もとづいて空間内に配置することで、そのパスとノード
上を散策（移動）できるようにした散策空間構成法であ
る。

【０００７】図１９に実写映像を用いた図１６，１７の
例に基づく散策空間の例とパスを散策した経路の例を示
す。図内のＮ１〜Ｎ８がノードであり、それらを結ぶ線
や点線がパスを示している。また、太線の矢印が散策経
路を表している。

【０００８】この手法は、上記ＣＧにもとづく方法に比
べ、臨場感の高い空間散策を可能にするので、観光地案
内等のシステムに利用されている。

【０００９】（３）上記（１），（２）の組み合わせで
構成する散策空間 上記１，２を組み合わせることで、その欠点をなくそう
という試みもある（例えば、特願平９−１４８６６号
「映像統合装置」）。

【００１０】これは、ＣＧ空間内に実写映像パスとノー
ドを配置し、ＣＧ空間内と実写映像空間内を相互に行き
来できるようにすることで、ＣＧ空間内では自由な移動
を、実写映像空間内では高い臨場感を得ることができ
る。

【００１１】図２０にその例を示す。散策空間の利用者
は、Ｎ１からしばらく実写映像パス内を進んだ後、ＣＧ
空間内の自由な散策を経て、Ｎ５への実写映像パスに移
っている。

【００１２】次に、散策空間における検索技術について
は、文献１「情報処理学会 研究会報告 ９７−ＤＢＳ
−１１３−２６“画像内オブジェクトの自動抽出を使っ
た画像検索システム ＥｘＳｉｇｈｔ −写真（Ｐｈｏ
ｔｏ Ｄｉｓｃ）への適用−”」や、文献２「アドバン
スト・データベースシンポジウム １９９７“画像の内
容検索技術の動向”」に見られるように、実写画像の内
容検索技術が近年発明されている。

【００１３】これまで、ＣＧベースの散策空間における
空間内オブジェクトの検索システムについては容易に実
現できた。その理由は、ＣＧ空間内の全てのオブジェク
トは空間表示時には完全にモデル化（ＣＧ空間内にアバ
タ等が存在する場合も含む）されており、その空間内の
オブジェクトの検索は単にそのモデル群を、特定の視点
から検索する技術にすぎないためである。

【００１４】次に、実写画像からオブジェクトを抽出す
る技術については、従来、単一の画像からノイズを許す
という前提のもとにオブジェクトの自動抽出を行うこと
が前記文献でも示された通り、既にできていた。一方、
１つの物体を複数の方向から写した画像を用いてオブジ
ェクトを抽出する試みは、ステレオ画像を扱う研究分野
で試行されていた。

【００１５】

【発明が解決しようとする課題】まず、上記従来の散策
空間の構成方法は、それぞれ以下のような問題点を有し
ていた。

【００１６】（１）ＣＧで構成する散策空間では、空間
内の散策（移動）が自由にできるものの、（２）実写映
像で構成する散策空間に比べ、臨場感に乏しいという問
題点があった。

【００１７】（２）実写映像で構成する散策空間では、
（１）のＣＧで構成する散策空間に比べ、臨場感の高い
空間散策を可能にするものの、指定されたパスとノード
しか散策できず、散策空間としての制限がきついという
問題、また、実写映像の撮影に手間がかかるといった問
題があった。

【００１８】（３）上記（１），（２）の組み合わせで
構成する散策空間では、ＣＧ空間内では自由な移動を、
実写映像空間内では高い臨場感を得ることができるもの
の、基本的には上記（１），（２）の問題を根本的に解
決していない。

【００１９】そこで、本発明の第１の課題は、上記従来
の仮想空間の散策技術の問題点を解決し、臨場感があ
り、自由な散策（移動）が可能な、散策空間を構成する
方法及び装置を提供することにある。

【００２０】次に、従来の散策空間における検索技術で
は、ＣＧベースの散策空間における空間内オブジェクト
の検索手法については容易に実現できているものの、実
写ベースの散策空間における空間内オブジェクトの検索
手法及び検索システムについては、散策空間内のオブジ
ェクトのモデル化が一般に行われていないため実現され
ていなかった。

【００２１】そこで、本発明の第２の課題は、実写ベー
スの散策空間における空間内オブジェクトの検索システ
ムが実現されていない問題を解決すること、つまり、実
写をベースとする散策空間において、画像検索やオブジ
ェクトの検索方法及び装置を実現することにある。

【００２２】次に、画像からオブジェクトを抽出する技
術では、単一の画像からノイズを許すという前提のもと
にオブジェクトの自動抽出を行う技術、あるいは１つの
物体を複数の方向から写した画像を用いてオブジェクト
を抽出する技術のいずれも、未だ完成された技術ではな
く、更なる精度の改善が求められていた。

【００２３】そこで、本発明の第３の課題は、実写ベー
スの散策空間において、実写ベースの散策空間の特性を
利用し、より精度の高い自動オブジェクト抽出の方法を
実現することにある。

【００２４】

【課題を解決するための手段】まず本発明は、以下の
〈１〉〜〈８〉の発明により、上記第１の課題を解決す
る。

【００２５】〈１〉空間散策映像を利用者に提供するシ
ステムにおいて、現実の空間内の撮影位置の情報とその
位置における全方位の写真画像を全方位写真点情報と呼
び、その時の撮影位置を全方位写真点と呼ぶとき、全方
位写真点情報を全方位写真点情報蓄積手段に蓄積する第
１の手順と、散策する利用者からの、散策空間内におけ
る位置ｘ（ここでのｘは、ｘ座標ではなく空間位置を表
す）およびそのときの視線の方向θを入力する第２の手
順と、前記入力された利用者の位置ｘと視線の方向θに
該当する散策画像を前記全方位写真点情報蓄積手段から
検索し、再生する第３の手順と、前記第２の手順と第３
の手順を繰り返すことで、利用者が前記位置ｘを移動し
た場合には、その移動に対応する位置の画像を次々に提
示し、利用者が前記視線の方向θを回転させた場合に
は、その回転に対応する方向の画像を次々に提示する第
４の手順と、を有することを特徴とする空間散策映像表
示方法。

【００２６】あるいは、空間散策映像を利用者に提供す
るシステムにおいて、現実の空間内の撮影位置の情報と
その位置における全方位の写真画像を全方位写真点情報
と呼び、その時の撮影位置を全方位写真点と呼ぶとき、
全方位写真点情報を蓄積する全方位写真点情報蓄積手段
と、散策する利用者から、空間内における位置ｘおよび
そのときの視線の方向θを入力する利用者位置入力手段
と、前記利用者位置入力手段で得られた前記位置ｘおよ
び視線の方向θに該当する画像を全方位写真点情報蓄積
手段から検索し、再生する散策画像再生手段と、を有
し、前記散策画像再生手段は、利用者が前記位置ｘを移
動した場合には、その移動に対応する位置の画像を次々
に提示し、利用者が前記視線の方向θを回転させた場合
には、その回転に対応する視線の方向の画像を次々に提
示するものとすることを特徴とする空間散策映像表示装
置。

【００２７】〈２〉発明〈１〉における前記第２の手順
において、利用者から入力された任意の位置ｘを最寄り
の全方位写真点に変換することを特徴とする空間散策映
像表示方法。

【００２８】あるいは、発明〈１〉における前記利用者
位置入力手段は、入力された任意の位置ｘを最寄りの全
方位写真点に変換するものであることを特徴とする空間
散策映像表示装置。

【００２９】〈３〉発明〈１〉における前記第２の手順
において、全方位写真点以外の位置ｘにおける視線の方
向θが入力された場合に、前記第３の手順において、前
記位置ｘを通る前記視線の方向θの直線上で、前記位置
ｘを挟む２つの全方位写真点を全方位写真点情報蓄積手
段から検索して２つの写真画像を求め、それらの写真画
像を補完することで、前記位置ｘ、前記視線の方向θの
写真画像を作成し、再生することを特徴とする空間散策
映像表示方法。

【００３０】あるいは、発明〈１〉における前記散策画
像再生手段は、前記利用者位置入力手段から全方位写真
点以外の位置ｘにおける視線の方向θが入力された場合
に、全方位写真点情報蓄積手段から、前記位置ｘを通る
前記視線の方向θの直線上で、前記位置ｘを挟む２つの
全方位写真点を検索して２つの写真画像を求め、それら
の写真画像を補完することで、前記位置ｘ、前記視線の
方向θの写真画像を作成し、再生するものであることを
特徴とする空間散策映像表示装置。

【００３１】〈４〉発明〈１〉または〈３〉における前
記第２の手順において、全方位写真点以外の位置ｘにお
ける視線の方向θが入力された場合に、前記第３の手順
において、前記位置ｘを通る前記視線の方向θの直線上
で、前記位置ｘを挟む２つの全方位写真点が全方位写真
点情報蓄積手段に存在しない場合、または、存在しても
前記位置ｘから距離的に離れており補完した写真画像の
精度が悪い場合に、前記位置ｘを通る前記視線の方向θ
の直線に近い方向を持つ直線上で、前記位置ｘを挟む２
つの方向の写真画像を前記全方位写真点情報蓄積手段か
ら検索して求め、それらの写真画像を重ねて合成するこ
とにより、前記位置ｘ、前記視線の方向θの写真画像を
作成し、再生することを特徴とする空間散策映像表示方
法。

【００３２】あるいは、発明〈１〉または〈３〉におけ
る前記散策画像再生手段は、前記利用者位置入力手段か
ら全方位写真点以外の位置ｘにおける視線の方向θが入
力された場合に、全方位写真点情報蓄積手段に、前記位
置ｘを通る前記視線の方向θの直線上で前記位置ｘを挟
む２つの全方位写真点が存在しない場合、または、存在
しても前記位置ｘから距離的に離れており補完した画像
の精度が悪い場合に、前記位置ｘを通る前記視線の方向
θの直線に近い方向を持つ直線上で、前記位置ｘを挟む
２つの方向の写真画像を求め、それらの写真画像を重ね
て合成することにより、前記位置ｘ、前記視線の方向θ
の写真画像を作成し、再生するものであることを特徴と
する請求項８および請求項１０記載の空間散策映像表示
装置。

【００３３】〈５〉発明〈１〉における前記第１の手順
の前に、実際に撮影した全方位写真点情報を前記全方位
写真点情報蓄積手段に入力する手順を持ち、前記入力す
る手順において、前記実際に撮影した全方位写真点以外
の位置においても、前記実際に撮影した全方位写真点情
報をもとに請求項３記載の補完もしくは請求項４記載の
合成により予め全方位写真点情報を作成し、前記全方位
写真点情報蓄積手段に入力することを特徴とする空間散
策映像表示方法。

【００３４】あるいは、発明〈１〉において、全方位写
真点情報を入力する全方位写真点情報入力手段を新たに
備え、該全方位写真点情報入力手段は、請求項３記載の
補完により任意位置の画像を作成する手段、および、請
求項４記載の合成により任意視線の方向の画像を作成す
る手段を有し、実際に撮影した全方位写真点以外の位置
においても予め全方位写真点情報を作成するものとし、
前記全方位写真点情報蓄積手段は、前記作成された全方
位写真点以外の位置における全方位写真点情報をも蓄積
しておくものとすることを特徴とする空間散策映像表示
装置。

【００３５】〈６〉発明〈１〉，〈３〉，〈４〉のいず
れかにおいて、前記第１の手順の前に、全方位写真点情
報を全方位写真点情報蓄積手段に入力する手順を持ち、
前記入力する手順において、全方位写真の撮影時に、位
置ｙ（ここでのｙは、ｙ座標ではなく空間位置を表す）
において動いている物体が写真Ｂ内にノイズ物体として
写り込んだ場合、前記全方位写真点情報蓄積手段から前
記位置ｙを通る前記撮影時の方向と同一方向の直線上で
物体の手前側で撮影した前景写真Ｆを求め、この前景写
真Ｆ内で、前記写真Ｂのノイズ物体に対応する部分を求
め、その部分を拡大し、前記写真Ｂのノイズ物体の写る
位置に張り込むことによって、前記写真Ｂの全方位写真
内から前記ノイズ物体を除去することを特徴とする空間
散策映像表示方法。

【００３６】あるいは、発明〈１〉，〈３〉，〈４〉の
いずれかにおいて、全方位写真点情報を入力する全方位
写真点情報入力手段を新たに備え、前記全方位写真点情
報入力手段は、全方位写真の撮影時に位置ｙにおいて動
いている物体が写真Ｂ内にノイズとして写り込んだ場
合、前記全方位写真点情報蓄積手段から位置ｙを通る同
一方向の直線上で物体の手前側で撮影した前景写真Ｆを
求め、前記前景写真Ｆ内で、前記写真Ｂのノイズ物体に
対応する部分を求め、その部分を拡大し、前記写真Ｂの
ノイズ物体の写る位置に張り込むことによって、前記写
真Ｂの全方位写真内から前記ノイズ物体を除去するもの
とすることを特徴とする空間散策映像表示装置。

【００３７】〈７〉発明〈１〉，〈３〉，〈４〉のいず
れかにおいて、前記第１の手順の前に、全方位写真点情
報を全方位写真点情報蓄積手段に入力する手順を持ち、
前記入力する手順において、全方位写真の撮影時に、位
置ｙにおいて静止または動いている物体が写真Ｆ内にノ
イズ物体として写り込んだ場合、前記全方位写真点情報
蓄積手段から前記位置ｙを通る前記撮影時の方向と同一
方向の直線上でノイズ物体の向こう側で撮影した奥景写
真Ｂを求め、この奥景写真Ｂ内で、前記写真Ｆのノイズ
物体に対応する部分を求め、その部分を縮小し、前記写
真Ｆのノイズ物体の写る位置に張り込むことによって、
前記写真Ｆの全方位写真内から前記ノイズ物体を除去す
ることを特徴とする空間散策映像表示方法。

【００３８】あるいは、発明〈１〉，〈３〉，〈４〉の
いずれかにおいて、全方位写真点情報を入力する全方位
写真点情報入力手段を新たに備え、前記全方位写真点情
報入力手段は、全方位写真の撮影時に、位置ｙにおいて
静止または動いている物体が写真Ｆ内にノイズとして写
り込んだ場合、前記全方位写真点情報蓄積手段から、前
記位置ｙを通る同一方向の直線上で物体の向こう側で撮
影した奥景写真Ｂを求め、前記奥景写真Ｂ内で、前記写
真Ｆのノイズ物体に対応する部分を求め、その部分を縮
小し、前記写真Ｆのノイズ物体の写る位置に張り込むこ
とによって、前記写真Ｆの全方位写真内から前記ノイズ
物体を除去するものとすることを特徴とする空間散策映
像表示装置。

【００３９】〈８〉発明〈１〉〜〈７〉のいずれかにお
いて、前記利用者位置入力手段は、利用者の位置と視線
の方向とともにいずれの散策空間を表示するかの情報を
入力するものとし、前記散策画像再生手段は、ＣＧによ
る空間散策再生手段、または、実写映像による空間散策
再生手段、または、それらの両方を持ち、前記利用者位
置入力手段で得られたいずれの散策空間を表示するかの
情報に基づいて、前記位置と視線の方向に該当する前記
ＣＧによる空間散策再生手段で再生した散策空間、また
は前記実写映像で再生した散策空間、または前記全方位
写真点情報により再生した散策空間を利用者に提示する
ものとすることを特徴とする空間散策映像表示装置。

【００４０】本発明〈１〉〜〈８〉では、実空間をコン
ピュータ上の散策空間に写像する際に、従来のＣＧや実
写映像を用いるのではなく、実空間内の複数の点（位
置）における写真画像を利用し、空間の移動に伴う表示
画像の構成は、複数の写真画像間の補完や合成によって
構成することに特徴がある。

【００４１】ここで、複数の点の位置関係は、コンピュ
ータ上で扱える関係であればよく、全点を一様に配置す
る場合には、図４に示したような格子点や、図６
（ａ），（ｂ）に示したような三角格子点、六角格子点
などを用いると容易であるが、図５内の斜線で塗られた
点のように、各点毎に座標情報による位置管理ができれ
ば、配置は格子点のように一様でなくても構わない。

【００４２】全方位写真とは、全方位を撮影した写真の
ことで、その撮影方法や合成方法は問わない。たとえ
ば、全方位を一度に撮影するようなカメラで撮影した写
真画像であっても、カメラやビデオカメラを回転させな
がら撮影したものから作成した写真画像であっても、カ
メラで４方向を撮影し、それらを編集、合成することで
作成した写真画像であっても、その他の方法であっても
構わない。

【００４３】本発明〈１〉〜〈８〉の方法／装置は、利
用者位置入力手順／手段、全方位写真点情報蓄積手順／
手段、散策画像再生手順／手段を持ち、空間の作成機能
も含む場合には全方位写真点情報入力手順／手段も持
つ。

【００４４】発明〈１〉によって、利用者が位置を移動
した場合には、その移動に対応する位置の画像を次々に
提示し、利用者が視線方向を回転させた場合には、その
回転に対応する方向の画像を次々に提示する全方位写真
点群空間を使った空間散策映像表示方法／装置が構成で
きる。

【００４５】発明〈２〉によって、入力された任意の位
置ｘを最寄りの全方位写真点に変換を行うことで、発明
〈１〉とともに任意の位置を入力した移動ができる簡易
な空間散策映像表示方法／装置が構成できる。

【００４６】発明〈３〉では、利用者位置入力手順／手
段において、全方位写真点以外の位置ｘにおける方向θ
が入力された場合に、全方位写真点情報蓄積手段から、
位置ｘを通る視線の方向（以下、単に方向という）θの
直線上で、ｘを挟む２つの全方位写真点を検索し、２つ
の写真画像を求め、散策画像再生手順／手段によって、
それらの写真画像の補完により、目的とする位置ｘ、方
向θの写真画像を作成し、再生することで、空間内の任
意の点の滑らかな移動の画像を持つ空間散策が可能にな
る。

【００４７】発明〈４〉では、利用者位置入力手順／手
段において、全方位写真点以外の位置ｘにおける方向θ
が入力された場合に、全方位写真点情報蓄積手段に、位
置ｘを通る方向θの直線上で、ｘを挟む２つの全方位写
真点が存在しない場合、または、存在してもｘから距離
的に離れており補完した画像の精度が悪い場合には、位
置ｘを通る方向θの直線に近い方向を持つ直線上で、ｘ
を挟む２つの方向の画像を求め、散策画像再生手順／手
段によって、それらの写真画像を重ねて合成することに
より、目的とする位置ｘ、方向θの写真画像を作成し、
再生することで、空間内の任意の点における全方位の画
像を持つ空間散策が可能になる。

【００４８】よって、発明〈１〉，〈２〉，〈３〉，
〈４〉により、自由な経路を可能とする空間散策映像表
示方法／装置の構成が可能になる。

【００４９】なお、画像の補完とは、同一方向に対する
複数の地点からの画像があるとき、それらを補完するこ
とで、その方向上を移動するコマ送りの画像を生成し、
全体として、その方向上を移動する映像を生成する手法
である。この補完の具体例としては、 ・単に線形補完を使う方法、 ・従来のＣＧ空間における散策で利用されていた座標変
換の技法を利用する方法、などがあるが、本発明では、
その内容は問わないため、線形補完で説明する。もちろ
ん、もっと単純なズーム処理等であっても構わない。

【００５０】また、特定方位画像の合成とは、ある地点
からの複数方向に対する画像がある場合、その間の方向
の画像を生成し、全体として、その全方位に対する画像
を生成する手法である。この合成の具体例としては、 ・単に角度比を利用して重ね合わせる方法、 ・対応点を見つけ、重ね合わせの部分に線形補完を使う
方法、 ・従来のＣＧ空間における散策で利用されていた座標変
換の技法を利用する方法、などがあるが、本発明では、
その内容は問わない。

【００５１】一般に十分な全方位写真点を持つ空間にお
いては、その周辺部を除き、重なりがない場合は存在し
ない。

【００５２】発明〈５〉は、本発明の装置で利用する全
方位写真点情報の事前計算により応答を高速化するため
にある。全方位写真点情報を入力する段階において、発
明〈３〉で記載した任意位置の画像作成の手順／手段、
および、発明〈４〉で記載した任意方向の画像作成の手
順／手段を用いて、実際に撮影した全方位写真点以外の
位置におていも予め全方位写真点情報を作成することが
可能になる。そこで、それらを全方位写真点情報蓄積手
段に蓄積しておくことで、散策実行時の計算負荷を削減
することができる。

【００５３】発明〈６〉および〈７〉は、本発明の方法
／装置で利用する全方位写真点情報を事前に編集するこ
とで、散策空間の質を向上させるためにある。

【００５４】発明〈６〉では、全方位写真の撮影時にお
いて、位置ｙにおいて動いている物体が写真Ｂ内にノイ
ズとして写り込んだ場合、全方位写真点情報入力手順／
手段において、全方位写真点情報蓄積手段から位置ｙを
通る同一方向の直線上で物体の手前側で撮影した前景写
真Ｆを求め、写真Ｆ内で、写真Ｂのノイズ物体に対応す
る部分を求め、その部分を拡大し、写真Ｂのノイズ物体
の写る位置に張り込むことによって、写真Ｂの全方位写
真内から物体を除去することが可能になる。

【００５５】発明〈７〉では、全方位写真の撮影時にお
いて、位置ｙにおいて静止または動いている物体が写真
Ｆ内にノイズとして写り込んだ場合、全方位写真点情報
入力手順／手段において全方位写真点情報蓄積手段から
位置ｙを通る同一方向の直線上で物体の向こう側で撮影
した奥景写真Ｂを求め、写真Ｂ内で、写真Ｆのノイズ物
体に対応する部分を求め、その部分を縮小し、写真Ｆの
ノイズ物体の写る位置に張り込むことによって、写真Ｆ
の全方位写真内から物体を除去することが可能になる。

【００５６】なお、これら発明〈６〉，〈７〉の手法は
両方を組み合わせて利用することもできる。

【００５７】発明〈８〉は、これまで述べた上記発明
〈１〉〜〈７〉を利用した全方位写真点群による散策空
間と、従来技術のＣＧによる空間散策、または、従来技
術の実写映像による空間散策とを、散策中に切り替える
ことを可能にする。

【００５８】次に本発明は、以下の〈９〉の発明によ
り、上記第２の課題を解決する。

【００５９】〈９〉発明〈１〉〜〈７〉のいずれかに記
載の空間散策映像表示方法における第１の手順で、全方
位写真点情報蓄積手段に蓄積された画像を画像内容検索
の登録データとして扱う手順と、画像またはオブジェク
ト画像の検索時には、利用者が入力した画像またはオブ
ジェクト画像を検索キーとして前記登録データとした前
記全方位写真点情報蓄積手段内に蓄積された画像または
この画像から抽出したオブジェクト画像内から類似する
画像またはオブジェクト画像を検索する手順と、前記類
似する画像またはオブジェクト画像の位置と向きの情報
を利用者に検索結果として返す手順と、を有することを
特徴とする空間内オブジェクト検索方法。

【００６０】または、上記空間内オブジェクト検索方法
において、前記全方位写真点情報蓄積手段に蓄積された
画像を画像内容検索の登録データとして扱う手順では、
該画像またはこの画像から抽出したオブジェクト画像か
ら特徴量を抽出して特徴量データベースを作成し、前記
画像またはオブジェクト画像を検索する手順では、利用
者が入力した検索キーの画像またはオブジェクト画像か
ら特徴量を抽出し、前記特徴量データベースを用いて類
似検索し、この検索結果により前記全方位写真点情報蓄
積手段内に蓄積された画像またはこの画像から抽出した
オブジェクト画像内から類似する画像またはオブジェク
ト画像を検索することを特徴とする空間内オブジェクト
検索方法。

【００６１】あるいは、発明〈１〉〜〈８〉のいずれか
の空間散策映像表示装置に加えて、画像またはオブジェ
クト画像を検索する画像内容検索手段を持ち、前記画像
内容検索手段は、検索のための画像の登録時には、全方
位写真点情報蓄積手段に登録された画像を対象に、それ
を該画像内容検索手段の登録データとして扱い、画像ま
たはオブジェクト画像の検索時には、利用者が入力した
画像またはオブジェクト画像を検索キーとして前記登録
データとした前記全方位写真点情報蓄積手段内に蓄積さ
れた画像またはこの画像から抽出したオブジェクト画像
内から類似する画像を検索し、前記類似する画像または
オブジェクト画像の位置と向きの情報を利用者に検索結
果として返すものであることを特徴とする空間内オブジ
ェクト検索装置。

【００６２】または、前記画像内容検索手段が、全方位
写真点情報蓄積手段に登録された画像またはこの画像か
ら抽出したオブジェクト画像から特徴量を抽出して特徴
量データベースを作成する手段と、利用者が入力した検
索キーの画像またはオブジェクト画像から特徴量を抽出
し、前記特徴量データベースを用いて類似検索し、この
検索結果により前記全方位写真点情報蓄積手段内に蓄積
された画像またはこの画像から抽出したオブジェクト画
像内から類似する画像またはオブジェクト画像を検索す
る類似検索手段と、を有することを特徴とする空間内オ
ブジェクト検索装置。

【００６３】本発明〈９〉では、実写ベースの散策空間
で蓄積されている実写画像に対し、画像の内容検索技術
（画像検索およびオブジェクト画像検索）を適用する。
つまり、発明〈１〉〜〈８〉で示した実写ベースの散策
空間において、各点における、各方位の画像を事前に計
算・作成する。この画像は、全方位写真点情報蓄積手段
に蓄えられていたが、その蓄積と同時に、画像検索手段
またはオブジェクト画像検索手段の登録データとして扱
い、例えば、検索のために特徴量データベース（ＤＢ）
の作成などを行う。ここで、利用者から空間内のオブジ
ェクト検索用のキーとして与えられた画像またはオブジ
ェクト画像が与えられると、登録データから画像検索ま
たはオブジェクト画像検索を行う。検索は、例えば、キ
ーとなる画像またはオブジェクト画像を特徴量に変換
し、特徴量データベースに蓄積されている特徴量との類
似検索を行い、検索結果として類似度の高い順にオブジ
ェクト画像または画像とともに、あるいは単独に、その
位置と方向の情報を返却する。この位置と方向の情報
は、予め全方位写真点情報蓄積手段に画像と共に蓄積さ
れている。

【００６４】次に本発明は、以下の〈１０〉の発明によ
り、上記第３の課題を解決する。

【００６５】〈１０〉発明〈１〉〜〈７〉のいずれかの
空間散策映像表示方法、または発明〈１〉〜〈８〉のい
ずれかの空間散策映像表示装置において蓄積された全方
位写真点情報に対して、同一方向で異なる複数の地点の
画像を用い、その差分から、その間に存在するオブジェ
クトの形状を抽出する手順を有することを特徴とする空
間内オブジェクト抽出方法。

【００６６】本発明〈１０〉では、実写ベースの散策空
間において、オブジェクトの手前側の実写画像と向こう
側の実写画像（背景）の差分を利用することにより、画
像からのオブジェクトの抽出精度を改善する。例えば、
同一方向を撮影した２枚（これは最低でも２枚必要とい
う事を示しており、それ以上の枚数があった場合には、
それらを同様に適用することができる）の実写映像があ
って、その間の距離が何らかの手段で与えられていると
き、その２枚について、距離に基づいた画像の正規化、
対応点の検出、差分からオブジェクトの抽出を行う。

【００６７】

【発明の実施の形態】以下、本発明の実施の形態につい
て図を用いて詳細に説明する。

【００６８】［実施形態例１］図１は、本発明の空間散
策映像表示装置の基本的な構成例を説明する図であっ
て、１は利用者位置入力手段、２は全方位写真点情報入
力手段、３は全方位写真点情報蓄積手段、４は散策画像
再生手段である。

【００６９】図２は、上記装置の動作例とともに、本発
明の方法の基本的な実施形態例を説明するフロー図であ
る。以下、図１を参照して説明する。

【００７０】まず、全方位写真点情報入力手段１を用い
て現実の空間の所定位置での全方位写真と位置情報を対
応させた写真点情報を作成し、全方位写真点情報蓄積手
段３に蓄積する。

【００７１】次に、散策する利用者から、散策空間内に
おける位置ｘおよびそのときの視線の方向θが利用者位
置入力手段１により入力されると、散策画像再生手段４
はｘとθに該当する写真画像を全方位写真点情報蓄積手
段３から検索し、再生する。

【００７２】ここで、或る位置から別の位置に移動する
場合では、利用者は位置ｘに代えて移動距離Ｌと移動方
向γを入力することができる。この場合、移動前の位置
情報と移動距離Ｌ、移動方向γとから移動後の位置ｘを
計算する。なお、移動方向γと視線の方向θとは共通に
することもできる。また、利用者が位置ｘ（または移動
距離Ｌと移動方向γ）のみを入力した場合には、そのと
きの視線の方向θとして直前の視線の方向を入力する。
同様に、利用者が視線の方向θのみを入力した場合に
は、位置ｘとして直前の位置情報を入力する。

【００７３】以上の利用者位置入力手段１からの入力
と、散策画像再生手段４による写真画像の再生を繰り返
すことで、利用者が位置ｘを移動した場合には、その移
動に対応する位置の画像を次々に提示し、利用者が視線
の方向θを回転させた場合には、その回転に対応する方
向の画像を次々に提示する。

【００７４】なお、本発明〈１〉では、全方位写真点情
報は予め作成されたものを利用することとして、全方位
写真点情報入力手段２および全方位写真点情報を作成す
る手順は省略できる。

【００７５】［実施形態例２］図３は、本発明〈８〉の
装置の実施形態例を説明する図であって、１は利用者位
置入力手段、２は全方位写真点情報入力手段、３は全方
位写真点情報蓄積手段、４は散策画像再生手段である。
本実施形態例では、さらにＣＧによる空間散策再生手段
５と、実写映像による空間散策再生手段６を有する。

【００７６】本実施形態例の動作例を説明すると、ま
ず、第１の実施形態例と同様に全方位写真点情報入力手
段１を用いてを現実の空間の所定位置での全方位写真と
位置情報を対応させた写真点情報を作成して全方位写真
点情報蓄積手段３に蓄積する。次に、散策する利用者
は、散策空間内における位置ｘおよびそのときの視線の
方向θとともに、いずれの散策空間を表示するかの情報
を入力する。次に、散策画像再生手段４は、指定された
散策空間がＣＧによるものであればＣＧによる空間散策
再生手段５により、実写映像によるものであれば実写映
像による空間散策再生手段６により、ｘとθに該当する
散策空間を再生させて利用者に提示する。また、散策空
間の指定が全方位写真点による散策空間であれば、散策
画像再生手段４は、図２と同様にｘとθに該当する写真
画像を全方位写真点情報蓄積手段３から検索し、再生す
る。以下、利用者位置入力手段１からの入力と、散策画
像再生手段４による写真画像の再生を繰り返すことで、
利用者が位置ｘを移動した場合には、その移動に対応す
る位置の画像を次々に提示し、利用者が視線の方向θを
回転させた場合には、その回転に対応する方向の画像を
次々に提示し、利用者が散策の途中で散策空間の指定を
変えた場合には、指定された散策空間の表示に切り替え
る。

【００７７】［実施形態例３］図４は実施形態例１で示
した本発明〈１〉および〈２〉による空間散策の例を示
している。

【００７８】各全方位写真点を座標ｐ（ｘ，ｙ）の形式
で識別しており、左上の点をｐ（１，１）、右下の点を
ｐ（６，７）としている。ここで、散策は、各全方位写
真点間を結ぶような経路となっており、これは本発明
〈２〉で示した方式によって実現できる。各全方位写真
点においては、全方位の写真画像情報を持っているの
で、空間散策の利用者は、それらの地点での全方位を眺
めることができる。

【００７９】なお、図４，５，６，７，８，９におい
て、丸い点は全方位写真撮影点を示している。

【００８０】［実施形態例４］図５は本発明〈１〉，
〈３〉，〈４〉，〈５〉による空間散策の例を示してい
る。

【００８１】各全方位写真点を座標ｐ（ｘ，ｙ）の形式
で識別しており、左上の点をｐ（１，１）、右下の点を
ｐ（６，７）としている。

【００８２】ここで、散策は、本発明〈４〉によって、
各点での自由な回転が可能になっており、本発明〈３〉
によって、自由な進行が可能になっている。

【００８３】［実施形態例５］図７は空間内の点の配置
を説明する図である。ａ１〜ａ１６は全方位写真点を示
し、ｂ１はその途中の点を表す。この図をもとに、本実
施形態例では本発明〈３〉の途中経路の画像の作成（補
完）の例を、次の実施形態例６では本発明〈４〉の全方
位画像の合成の例を説明する。

【００８４】図８は本発明〈３〉の途中経路画像の作成
する例であり、図７でａ８位置からａ３位置に向かって
進んだ時の、ｂ１位置での画像の補完合成方法を示して
いる。ａ８位置で右手にある対象物は、ａ８位置からａ
３位置に進むことで、より右手に大きくなってくる。こ
の感覚に該当する映像を得るためには遠近法を使ったズ
ーム処理を用いれば容易に実現できる。よって、ａ８位
置の画像とａ３位置の画像から、ｂ１位置の画像が補完
合成できる。

【００８５】［実施形態例６］図９に本発明〈４〉に対
応する全方位画像の合成の例を示す。

【００８６】図７においてｂ１位置には、カメラ撮影時
には全方位画像はない。しかし、ｂ１位置を通る複数
（格子点空間が広い場合には無数）の線分が存在する。
よって、本発明〈３〉により、それらの方向のｂ１位置
での画像を得ることができる。しかし、補完の対象とな
る点が存在しない方向や、存在してもあまりにも遠すぎ
て補完の精度が悪い場合がある。そこで、特定の方向θ
の画像を得たい場合には、近似の方向の画像を合わせて
目的の方向の画像を合成することでθの画像を合成す
る。

【００８７】これは同様に全方向に適用することが可能
なので、結局、ｂ１位置における全方位画像を得ること
ができ、利用者は自由な方向を見ることができるように
なる。

【００８８】［実施形態例７］図１０は対象画像中のノ
イズ（動きのある車）を前景の画像を使って除去する本
発明〈６〉の例、逆に図１１は対象画像中のノイズ（止
まった車）を奥景の画像を使って除去する本発明〈７〉
の例、を示している。

【００８９】図１０の場合、ａ３位置で、方向（ａ３→
ａ１５）の対象画像の中に車のノイズがあった場合、そ
の手前に位置するａ８位置で、方向（ａ８→ａ１５）の
前景画像を使い、前景画像内で対象画像のノイズ領域に
対応する領域を求め、それを拡大して対象画像に貼り付
けることで、対象画像内のノイズを除去している。

【００９０】逆に、図１１の場合、ａ８位置で、方向
（ａ８→ａ１５）の対象画像の中に車のノイズが合った
場合、その奥側に位置するａ３位置で、方向（ａ３→ａ
１５）の奥景画像を使い、奥景画像内で対象画像のノイ
ズ領域に対応する領域を求め、それを縮小して対象画像
に貼り付けることで、対象画像内のノイズを除去してい
る。

【００９１】このように、特定の画像の前後の画像から
相互にノイズ除去が可能であるが、拡大して除去する方
式では、画像の精度が落ちる、という問題があり、縮小
して除去する方式では、はみ出した部分は対象外とな
る、という問題がある。よって、両方の方式が利用でき
る場合には、はみ出さない場合には縮小して除去し、は
み出した部分については、拡大して除去する方式を使う
のが良い。

【００９２】なお、ノイズ領域の指定は、人手で行って
も良いし、隣接画像群から自動判別してもよい。

【００９３】［実施形態例８］全方位写真点は、本来、
１点毎に撮影することが望ましい。しかし、天候や陰の
位置の変化の影響を避けるため撮影時間を短縮すること
が望まれる。本発明を利用して、撮影時間を大幅に短縮
する撮影方式を示す。

【００９４】図１２は本発明で利用する全方位写真点の
カメラ撮影時の状況を説明している。

【００９５】まず、撮影点を複数のグループに分類す
る。図１２では白丸がグループＡ、黒丸がグループＢを
示している。それぞれのグループ毎に、複数のカメラを
用い一度ずつ、計２回の撮影を行う。それらの写真に対
して、本発明〈６〉および〈７〉に示した手法（実施形
態例７）によって、個々の画像からカメラ自体が写って
いる部分を除去する。これによって、複数地点の同時撮
影が可能になる。さらに、カメラの撮影位置は、格子状
に限らず、図１３に示すように、外縁部と主要なオブジ
ェクト周辺だけを撮影することで、撮影効率を上げるこ
ともできる。

【００９６】［実施形態例９］これまで述べた方法は、
全方位写真画像を全方位写真撮影カメラによって撮影し
た場合を述べたが、そのカメラはビデオカメラのような
映像撮影カメラであっても構わない。

【００９７】図１５にそのカメラの例を示す。

【００９８】このカメラは、ビデオカメラ７を８台使
い、８方向の映像を同時に撮影できる。撮影者がカメラ
の中央（内側）に位置することで、撮影者が写ることも
防いでいる。８方向以外の角度の映像については、８方
向から撮影した映像を使って合成する。このようなカメ
ラを使い、図１４に示すような経路で現実空間の撮影を
行えば、効率的に複数の全方位写真画像情報を得ること
ができ、移動も容易なので、効率的な現実空間の取り込
みが可能になる。

【００９９】なお、このときのカメラ位置情報について
は、撮影時に赤外線情報等を使った位置検出を行い、そ
れを映像とともに記録しても構わないし、撮影後に、カ
メラの移動速度や撮影内容物の位置関係等から求めても
構わない。

【０１００】［実施形態例１０］本発明〈９〉の実施形
態例を示す。図２１は、本発明〈９〉の実施形態例を示
し、図２２は本発明〈９〉の実施形態例のうちオブジェ
クト画像検索の実施形態例を説明する画像内容検索手段
の構成図である。

【０１０１】図２１において、１は利用者位置入力手
段、２は全方位写真点情報入力手段、３は全方位写真点
情報蓄積手段、４は散策画像再生手段であり、前述の第
１の実施形態例で説明した空間散策映像表示装置と同じ
構成である。本実施形態例では、この構成に加えて、画
像検索手段またはオブジェクト画像検索手段（画像内容
検索手段）８を持つ。

【０１０２】図２２は、８がオブジェクト画像検索手段
である場合の例である。図２２において、１０はキーオ
ブジェクト画像の入力手段、１１はキー画像の入力手
段、１２は登録データ画像の入力手段、１３はオブジェ
クト画像の抽出手段、１４は特徴量の抽出手段、１５は
特徴量の類似検索手段、１６は特徴量ＤＢ（データベー
ス）の管理手段、１７は類似オブジェクト画像を含む画
像の検索手段、１８は類似オブジェクト画像の出力手
段、１９は類似画像の出力手段を表す。

【０１０３】本実施形態例では、実写ベースの散策空間
で蓄積されている実写画像に対し、画像の内容検索技術
（画像検索およびオブジェクト画像検索）を適用する。
つまり、第１〜第９の実施形態例で示した実写ベースの
散策空間において、各点における、各方位の画像を事前
に計算・作成する。この画像は、図２４の空間散策映像
表示装置の全方位写真点情報蓄積手段３に蓄えられる
が、その蓄積と同時に、図２２のオブジェクト画像検索
手段における登録データ画像入力手段１２によりオブジ
ェクト画像検索システムの登録データとして扱い、オブ
ジェクト画像抽出手段１３によりオブジェクト画像を抽
出し、特徴量抽出手段１４によりその特徴量を抽出し
て、特徴量データベース（ＤＢ）の作成を行い、特徴量
ＤＢ管理手段１６で管理する。

【０１０４】ここで、オブジェクト画像を検索する場
合、利用者は空間内のオブジェクト検索用のキーとして
オブジェクト画像を、キーオブジェクト画像入力手段１
０を介して特徴量抽出手段１５に入力する。あるいは、
利用者がキーオブジェクトが含まれているキー画像をキ
ー画像入力手段１１から入力した場合には、オブジェク
ト画像抽出手段１３によりオブジェクト画像を抽出して
特徴量抽出手段１３に入力する。入力されたオブジェク
ト画像は、特徴量抽出手段１５により特徴量に変換され
る。特徴量の類似検索手段１５は、この変換された特徴
量を用いて、特徴量ＤＢ管理手段１６で管理されている
特徴量データベースに蓄積されている特徴量との類似検
索を行い、検索結果として類似度の高い順に類似オブジ
ェクト画像出力手段１８を介してオブジェクト画像を返
却し、および、その位置と方向の情報を類似画像出力手
段１９に返却する。この位置と方向の情報は、予め図２
４の全方位写真点情報蓄積手段３に画像と共に蓄積され
ており、類似画像出力手段１９は、その情報に基づいて
類似画像を出力する。

【０１０５】このようなオブジェクト画像検索の応用例
を示す。

【０１０６】例えば、実写ベースの散策空間をモーター
ショー等の車の展示会と想定し、事前に格子状の各点ま
たは撮影コース上の各点における全方位写真を記録して
おくとする。このデータから、より稠密な各点における
全方向の画像を生成し、空間散策用システムに蓄積して
おくと共に、その個々の写真から画像の内容検索のため
の特徴量を抽出してデータベースに登録しておく。

【０１０７】検索時において、例えば利用者が書いた車
の外形のスケッチを入力キーとすれば、その形に似た車
が存在するのは展示スペース内のどの位置で、どの方向
を向いて見たときなのかを検索することができる。

【０１０８】［実施形態例１１］本発明〈９〉のうち画
像検索の実施形態例を示す。図２３は、本実施形態例を
説明する画像検索手段の構成図である。図２３は、図２
１における８が画像検索手段である場合の例である。

【０１０９】図２３において、２０はキー画像の入力手
段、２１は登録データ画像の入力手段、２２は特徴量の
抽出手段、２３は特徴量の類似検索手段、２４は特徴量
ＤＢ（データベース）の管理手段、２５は類似画像の出
力手段を表す。

【０１１０】本実施形態例においても、実写ベースの散
策空間で蓄積されている実写画像に対し、画像の内容検
索技術（画像検索およびオブジェクト画像検索）を適用
する。つまり、第１〜第９の実施形態例で示した実写ベ
ースの散策空間において、各点における、各方位の画像
を事前に計算・作成する。この画像は、図２４の空間散
策映像表示装置の全方位写真点情報蓄積手段３に蓄えら
れるが、その蓄積と同時に、図２３の画像検索手段にお
ける登録データ画像入力手段２１によりオブジェクト画
像検索システムの登録データとして扱い、特徴量抽出手
段２２によりその特徴量を抽出して、特徴量データベー
ス（ＤＢ）の作成を行い、特徴量ＤＢ管理手段２４で管
理する。

【０１１１】ここで、画像を検索する場合、利用者は、
空間内の画像検索用のキー画像を、キー画像入力手段２
０を介して特徴量抽出手段２２に入力する。入力された
キー画像は、特徴量抽出手段２２により特徴量に変換さ
れる。特徴量の類似検索手段２３は、この変換された特
徴量を用いて、特徴量ＤＢ管理手段２４で管理されてい
る特徴量データベースに蓄積された特徴量との類似検索
を行い、検索結果として類似度の高い順にその位置と方
向の情報を類似画像出力手段２５に返却する。この位置
と方向の情報は、予め図２４の全方位写真点情報蓄積手
段３に画像と共に蓄積されており、類似画像出力手段２
５は、その情報に基づいて類似画像を出力する。

【０１１２】このような画像検索の応用例を示す。

【０１１３】例えば、第１０の実施形態例と同様に、実
写ベースの散策空間をモーターショー等の車の展示会と
想定し、事前に格子状の各点または撮影コース上の各点
における全方位写真を記録しておくとする。このデータ
から、より稠密な各点における全方向の画像を生成し、
空間散策用システムに蓄積しておくと共に、その個々の
写真から画像の内容検索のための特徴量を抽出してデー
タベースに登録しておく。

【０１１４】検索時において、例えば利用者が撮影した
写真を入力キーとした時、画像の内容検索を使って、類
似写真を求め、その写真から、その写真が展示スペース
内のどの位置で、どの方向を向いてとった写真なのかを
求めることができる。

【０１１５】［実施形態例１２］本発明〈１０〉の実施
形態例を示す。本実施形態例では、画像からのオブジェ
クトの抽出する際の抽出精度を改善するため、実写ベー
スの散策空間において、オブジェクトの手前側の実写画
像と向こう側の実写画像（背景）の差分を利用する。つ
まり、同一方向を撮影した２枚（これは最低でも２枚必
要という事を示しており、それ以上の枚数があった場合
には、それらを同様に適用することができる）の実写映
像があって、その間の距離が何らかの手段で与えられて
いるとき、その２枚について、距離に基づいた画像の正
規化、対応点の検出、差分からオブジェクトの抽出を行
う。なお、対応点の検出時には、カメラのレンズ曲率等
の補正が必要になる場合もあるが、その詳細は画像入力
装置の特性に依存するので、ここでは詳細の議論を行わ
ない。

【０１１６】オブジェクト抽出方法の実施形態例を図２
５、図２６を例として説明する。前述した空間散策映像
表示の発明で示した図２５のような空間において、３
点、ｘ１，ｘ２，ｘ３の方向１の画像が図２６（ａ），
（ｂ），（ｃ）のようであったとする。

【０１１７】まず、ｘ３地点とｘ２地点の画像に対して
比較を行う。ｘ３地点画像の拡大（またはｘ２画像の縮
小）により比較可能な状態に変換し、両画像中に共通し
て存在する領域において、その差分を抽出する。この例
の場合は、その間にオブジェクトが存在しないので、そ
の差は少ない。

【０１１８】次に、ｘ２地点とｘ１地点の画像に対して
比較を行う。これも同様にｘ２地点の画像の拡大（また
はｘ１画像の縮小）を行い、両画像中に共通して存在す
る領域において、その差分を抽出する。この例の場合
は、その間にオブジェクトＢが存在していたため、その
差はそのオブジェクトが写っていた部分について大きく
なり、オブジェクトの存在と、その形状が認識できる。

【０１１９】以上は、ｘ１，ｘ２，ｘ３の３点のみの比
較で説明したが、方向１上に多くの全方位写真点が存在
する場合、その隣接画像との差分はとりやすくなり、精
度は向上する。また、一般には背景画像からの差分をと
っていく向き（最初にｘ１とｘ２を比較、次にｘ２とｘ
３を比較する）に実行する。こうすると、最初に背景情
報が与えられるので、オブジェクトが出現したことの認
識（差分抽出）が容易になる。

【０１２０】［実施形態例１３］本実施形態例は、本発
明による装置や方法をコンピュータで実現する実施形態
例を示す。

【０１２１】本実施形態例では、記録媒体の読取装置
と、記録媒体から読み取ったプログラム等を記憶したり
全方位写真点情報を蓄積保存したりして、それらを自由
に読み出し可能なハードディスクやその他の記憶装置
と、画像の補完や合成、画像内容の検索、オブジェクト
抽出等の処理を行う際に画像データの保持等に必要なバ
ッファやそれに準ずる装置と、所望の散策空間を表示、
出力するディスプレイなどの出力装置と、利用者の散策
空間内の位置や視線の方向を入力するためにキーボード
やマウスなどの入力装置を備え、それらハードディス
ク、バッファ、出力装置及び入力装置などをあらかじめ
定められた手順に基いて制御するコンピュータやそれに
準ずる装置により、図２のフロー図や各実施形態例で示
した本発明の方法の処理の手順ないしアルゴリズムを適
宜、実行することが可能であり、その手順ないしアルゴ
リズムをコンピュータ等に実行させるためのプログラム
を該コンピュータが読み取り可能な記録媒体、例えばフ
ロッピーディスクやメモリカード、ＭＯ、ＣＤ−ＲＯＭ
などに記録して配布することが可能である。

【０１２２】

【発明の効果】以上で明らかなように、本発明〈１〉お
よび〈２〉によって、全方位写真点情報による基本的な
散策が可能になる。

【０１２３】また、本発明〈３〉および〈４〉によっ
て、位置や方向が自由な散策が可能になる。

【０１２４】また、本発明〈５〉を用いれば、事前に任
意位置での全方位写真点情報を計算することで、応答性
能の向上が可能になる。

【０１２５】また、本発明〈６〉および〈７〉を用いれ
ば、撮影時の画像内ノイズを取り除くことが可能にな
る。

【０１２６】これを応用すれば、一度に複数点の同時撮
影を行い、さらに、その撮影画像内からカメラ自身を除
去することも可能になる。

【０１２７】以上によって、従来のＣＧによる散策空
間、実写映像による散策空間の欠点をカバーした散策自
由度が高く、臨場感のある散策空間を構成することが可
能になる。

【０１２８】また、移動とともに対応する位置と方向の
画像を順次提示することで、なめらかな移動による散策
が可能になる。この空間では、任意の位置における任意
の角度の写真画像を見ることができる。

【０１２９】また、本発明〈８〉によれば、従来の散策
空間の提供技術と組み合わせることで、より個性のある
空間演出が可能になる。

【０１３０】また、本発明〈９〉によれば、実写をベー
スとする散策空間において、利用者から与えられたキー
画像に類似する視点を持つ空間内での位置および方向、
または利用者から与えられたキーオブジェクトに類似す
るオブジェクトの空間内での位置およびその方向の検索
が可能になる。

【０１３１】さらに、本発明〈１０〉によれば、空間内
のオブジェクトの抽出処理において、そのオブジェクト
の高精度な抽出を容易に行うことが可能になる。

【図面の簡単な説明】

【図１】本発明の空間散策映像表示装置の基本的な実施
形態例を示す図である。

【図２】本発明の空間散策映像表示方法の基本的な実施
形態例を示すフロー図である。

【図３】本発明〈８〉に対応する装置の実施形態例を示
す図である。

【図４】本発明〈１〉，〈２〉に対応する全方位写真点
群空間内を散策した経路の例を示す図である。

【図５】本発明〈１〉，〈３〉，〈４〉に対応する全方
位写真点群空間内を散策した経路の例を示す図である。

【図６】（ａ），（ｂ）は、本発明における全方位写真
点の配置の例を示す図である。

【図７】本発明〈３〉，〈４〉，〈６〉，〈７〉を説明
する画像の位置関係を示す図である。

【図８】本発明〈３〉に対応する途中経路画像の補完合
成を説明する例を示す図である。

【図９】本発明〈４〉に対応する全方位画像の合成を説
明する例を示す図である。

【図１０】本発明〈６〉に対応する前景を拡大し画像中
のノイズを除去する例を示す図である。

【図１１】本発明〈７〉に対応する奥景を縮小し画像中
のノイズを除去する例を示す図である。

【図１２】上記実施形態例におけるカメラ撮影の方法を
説明する図である。

【図１３】上記実施形態例における撮影地点を説明する
図である。

【図１４】上記実施形態例における映像として撮影する
経路例を説明する図である。

【図１５】上記実施形態例における全方位映像撮影カメ
ラの例を説明する図である。

【図１６】散策空間の例を示す図である。

【図１７】図１６の散策空間を上部から見た図である。

【図１８】従来技術のＣＧによる散策空間とその散策経
路例を示す図である。

【図１９】従来技術の実写映像による散策空間とその散
策経路例を示す図である。

【図２０】従来技術のＣＧによる散策空間と実写映像に
よる散策空間の組合せとその散策経路例を示す図であ
る。

【図２１】本発明〈９〉の画像内容検索の実施形態例を
説明する構成図である。

【図２２】本発明〈９〉のうちオブジェクト画像検索の
実施形態例を説明する構成図である。

【図２３】本発明〈９〉のうち画像検索の例を説明する
図である。

【図２４】本発明〈９〉に適用する空間散策映像表示装
置の例である。

【図２５】本発明〈１０〉の実施形態例に関し、オブジ
ェクト抽出に対応した撮影地点を説明する図である。

【図２６】（ａ），（ｂ），（ｃ）は、本発明〈１０〉
の実施形態例に関し、オブジェクト抽出を説明する図で
ある。

【符号の説明】

１…利用者位置入力手段 ２…全方位写真点情報入力手段 ３…全方位写真点情報蓄積手段 ４…散策画像再生手段 ５…ＣＧによる空間散策再生手段 ６…実写映像による空間散策再生手段 ７…ビデオカメラ ８…画像検索手段またはオブジェクト画像検索手段 １０…キーオブジェクト画像入力手段 １１…キー画像入力手段 １２…登録データ画像入力手段 １３…オブジェクト画像抽出手段 １４…特徴量抽出手段 １５…特徴量類似検索手段 １６…特徴量ＤＢ（データベース）管理手段 １７…類似オブジェクト画像を含む画像検索手段 １８…類似オブジェクト画像出力手段 １９…類似画像出力手段 ２０…キー画像入力手段 ２１…登録データ画像入力手段 ２２…特徴量抽出手段 ２３…特徴量類似検索手段 ２４…特徴量ＤＢ（データベース）管理手段 ２５…類似画像出力手段

Claims (23)

【特許請求の範囲】
1. 【請求項１】 空間散策映像を利用者に提供するシステ
   ムにおいて、現実の空間内の撮影位置の情報とその位置
   における全方位の写真画像を全方位写真点情報と呼び、
   その時の撮影位置を全方位写真点と呼ぶとき、 全方位写真点情報を全方位写真点情報蓄積手段に蓄積す
   る第１の手順と、 散策する利用者からの、散策空間内における位置ｘおよ
   びそのときの視線の方向θを入力する第２の手順と、 前記入力された利用者の位置ｘと視線の方向θに該当す
   る散策画像を前記全方位写真点情報蓄積手段から検索
   し、再生する第３の手順と、 前記第２の手順と第３の手順を繰り返すことで、利用者
   が前記位置ｘを移動した場合には、その移動に対応する
   位置の画像を次々に提示し、利用者が前記視線の方向θ
   を回転させた場合には、その回転に対応する方向の画像
   を次々に提示する第４の手順と、 を有することを特徴とする空間散策映像表示方法。
2. 【請求項２】 前記第２の手順において、利用者から入
   力された任意の位置ｘを最寄りの全方位写真点に変換す
   る、 ことを特徴とする請求項１記載の空間散策映像表示方
   法。
3. 【請求項３】 前記第２の手順において、全方位写真点
   以外の位置ｘにおける視線の方向θが入力された場合
   に、 前記第３の手順において、前記位置ｘを通る前記視線の
   方向θの直線上で、前記位置ｘを挟む２つの全方位写真
   点を全方位写真点情報蓄積手段から検索して２つの写真
   画像を求め、それらの写真画像を補完することで、前記
   位置ｘ、前記視線の方向θの写真画像を作成し、再生す
   る、 ことを特徴とする請求項１記載の空間散策映像表示方
   法。
4. 【請求項４】 前記第２の手順において、全方位写真点
   以外の位置ｘにおける視線の方向θが入力された場合
   に、 前記第３の手順において、前記位置ｘを通る前記視線の
   方向θの直線上で、前記位置ｘを挟む２つの全方位写真
   点が全方位写真点情報蓄積手段に存在しない場合、また
   は、存在しても前記位置ｘから距離的に離れており補完
   した写真画像の精度が悪い場合に、前記位置ｘを通る前
   記視線の方向θの直線に近い方向を持つ直線上で、前記
   位置ｘを挟む２つの方向の写真画像を前記全方位写真点
   情報蓄積手段から検索して求め、それらの写真画像を重
   ねて合成することにより、前記位置ｘ、前記視線の方向
   θの写真画像を作成し、再生する、 ことを特徴とする請求項１または請求項３記載の空間散
   策映像表示方法。
5. 【請求項５】 前記第１の手順の前に、実際に撮影した
   全方位写真点情報を前記全方位写真点情報蓄積手段に入
   力する手順を持ち、 前記入力する手順において、前記実際に撮影した全方位
   写真点以外の位置においても、前記実際に撮影した全方
   位写真点情報をもとに請求項３記載の補完もしくは請求
   項４記載の合成により予め全方位写真点情報を作成し、
   前記全方位写真点情報蓄積手段に入力する、 ことを特徴とする請求項１記載の空間散策映像表示方
   法。
6. 【請求項６】 前記第１の手順の前に、全方位写真点情
   報を全方位写真点情報蓄積手段に入力する手順を持ち、 前記入力する手順において、全方位写真の撮影時に、位
   置ｙにおいて動いている物体が写真Ｂ内にノイズ物体と
   して写り込んだ場合、前記全方位写真点情報蓄積手段か
   ら前記位置ｙを通る前記撮影時の方向と同一方向の直線
   上で物体の手前側で撮影した前景写真Ｆを求め、この前
   景写真Ｆ内で、前記写真Ｂのノイズ物体に対応する部分
   を求め、その部分を拡大し、前記写真Ｂのノイズ物体の
   写る位置に張り込むことによって、前記写真Ｂの全方位
   写真内から前記ノイズ物体を除去する、 ことを特徴とする請求項１，３，４のいずれかに記載の
   空間散策映像表示方法。
7. 【請求項７】 前記第１の手順の前に、全方位写真点情
   報を全方位写真点情報蓄積手段に入力する手順を持ち、 前記入力する手順において、全方位写真の撮影時に、位
   置ｙにおいて静止または動いている物体が写真Ｆ内にノ
   イズ物体として写り込んだ場合、前記全方位写真点情報
   蓄積手段から前記位置ｙを通る前記撮影時の方向と同一
   方向の直線上でノイズ物体の向こう側で撮影した奥景写
   真Ｂを求め、この奥景写真Ｂ内で、前記写真Ｆのノイズ
   物体に対応する部分を求め、その部分を縮小し、前記写
   真Ｆのノイズ物体の写る位置に張り込むことによって、
   前記写真Ｆの全方位写真内から前記ノイズ物体を除去す
   る、 ことを特徴とする請求項１，３，４のいずれかに記載の
   空間散策映像表示方法。
8. 【請求項８】 空間散策映像を利用者に提供するシステ
   ムにおいて、現実の空間内の撮影位置の情報とその位置
   における全方位の写真画像を全方位写真点情報と呼び、
   その時の撮影位置を全方位写真点と呼ぶとき、 全方位写真点情報を蓄積する全方位写真点情報蓄積手段
   と、 散策する利用者から、空間内における位置ｘおよびその
   ときの視線の方向θを入力する利用者位置入力手段と、 前記利用者位置入力手段で得られた前記位置ｘおよび視
   線の方向θに該当する画像を全方位写真点情報蓄積手段
   から検索し、再生する散策画像再生手段と、 を有し、 前記散策画像再生手段は、利用者が前記位置ｘを移動し
   た場合には、その移動に対応する位置の画像を次々に提
   示し、利用者が前記視線の方向θを回転させた場合に
   は、その回転に対応する視線の方向の画像を次々に提示
   するものとする、ことを特徴とする空間散策映像表示装
   置。
9. 【請求項９】 前記利用者位置入力手段は、入力された
   任意の位置ｘを最寄りの全方位写真点に変換するもので
   ある、 ことを特徴とする請求項１記載の空間散策映像表示装
   置。
10. 【請求項１０】 前記散策画像再生手段は、前記利用者
    位置入力手段から全方位写真点以外の位置ｘにおける視
    線の方向θが入力された場合に、全方位写真点情報蓄積
    手段から、前記位置ｘを通る前記視線の方向θの直線上
    で、前記位置ｘを挟む２つの全方位写真点を検索して２
    つの写真画像を求め、それらの写真画像を補完すること
    で、前記位置ｘ、前記視線の方向θの写真画像を作成
    し、再生するものである、 ことを特徴とする請求項１記載の空間散策映像表示装
    置。
11. 【請求項１１】 前記散策画像再生手段は、前記利用者
    位置入力手段から全方位写真点以外の位置ｘにおける視
    線の方向θが入力された場合に、全方位写真点情報蓄積
    手段に、前記位置ｘを通る前記視線の方向θの直線上で
    前記位置ｘを挟む２つの全方位写真点が存在しない場
    合、または、存在しても前記位置ｘから距離的に離れて
    おり補完した画像の精度が悪い場合に、前記位置ｘを通
    る前記視線の方向θの直線に近い方向を持つ直線上で、
    前記位置ｘを挟む２つの方向の写真画像を求め、それら
    の写真画像を重ねて合成することにより、前記位置ｘ、
    前記視線の方向θの写真画像を作成し、再生するもので
    ある、 ことを特徴とする請求項８および請求項１０記載の空間
    散策映像表示装置。
12. 【請求項１２】 全方位写真点情報を入力する全方位写
    真点情報入力手段を新たに備え、 該全方位写真点情報入力手段は、請求項３記載の補完に
    より任意位置の画像を作成する手段、および、請求項４
    記載の合成により任意視線の方向の画像を作成する手段
    を有し、実際に撮影した全方位写真点以外の位置におい
    ても予め全方位写真点情報を作成するものとし、 前記全方位写真点情報蓄積手段は、前記作成された全方
    位写真点以外の位置における全方位写真点情報をも蓄積
    しておくものとする、 ことを特徴とする請求項８記載の空間散策映像表示装
    置。
13. 【請求項１３】 全方位写真点情報を入力する全方位写
    真点情報入力手段を新たに備え、 前記全方位写真点情報入力手段は、全方位写真の撮影時
    に位置ｙにおいて動いている物体が写真Ｂ内にノイズと
    して写り込んだ場合、前記全方位写真点情報蓄積手段か
    ら位置ｙを通る同一方向の直線上で物体の手前側で撮影
    した前景写真Ｆを求め、前記前景写真Ｆ内で、前記写真
    Ｂのノイズ物体に対応する部分を求め、その部分を拡大
    し、前記写真Ｂのノイズ物体の写る位置に張り込むこと
    によって、前記写真Ｂの全方位写真内から前記ノイズ物
    体を除去するものとする、 ことを特徴とする請求項８，１０，１１のいずれかに記
    載の空間散策映像表示装置。
14. 【請求項１４】 全方位写真点情報を入力する全方位写
    真点情報入力手段を新たに備え、 前記全方位写真点情報入力手段は、全方位写真の撮影時
    に、位置ｙにおいて静止または動いている物体が写真Ｆ
    内にノイズとして写り込んだ場合、前記全方位写真点情
    報蓄積手段から、前記位置ｙを通る同一方向の直線上で
    物体の向こう側で撮影した奥景写真Ｂを求め、前記奥景
    写真Ｂ内で、前記写真Ｆのノイズ物体に対応する部分を
    求め、その部分を縮小し、前記写真Ｆのノイズ物体の写
    る位置に張り込むことによって、前記写真Ｆの全方位写
    真内から前記ノイズ物体を除去するものとする、 ことを特徴とする請求項８，１０，１１のいずれかに記
    載の空間散策映像表示装置。
15. 【請求項１５】 前記利用者位置入力手段は、利用者の
    位置と視線の方向とともにいずれの散策空間を表示する
    かの情報を入力するものとし、 前記散策画像再生手段は、ＣＧによる空間散策再生手
    段、または、実写映像による空間散策再生手段、また
    は、それらの両方を持ち、前記利用者位置入力手段で得
    られたいずれの散策空間を表示するかの情報に基づい
    て、前記位置と視線の方向に該当する前記ＣＧによる空
    間散策再生手段で再生した散策空間、または前記実写映
    像で再生した散策空間、または前記全方位写真点情報に
    より再生した散策空間を利用者に提示するものとする、 ことを特徴とする請求項８，９，１０，１１，１２，１
    ３，１４のいずれかに記載の空間散策映像表示装置。
16. 【請求項１６】 請求項１，２，３，４，５，６，７の
    いずれかに記載の空間散策映像表示方法における手順
    を、コンピュータに実行させるプログラムとして該コン
    ピュータが読み取り可能である記録媒体に記録した、 ことを特徴とする空間散策映像表示方法を記録した記録
    媒体。
17. 【請求項１７】 請求項１，２，３，４，５，６，７の
    いずれかに記載の空間散策映像表示方法における第１の
    手順で、全方位写真点情報蓄積手段に蓄積された画像を
    画像内容検索の登録データとして扱う手順と、 画像またはオブジェクト画像の検索時には、利用者が入
    力した画像またはオブジェクト画像を検索キーとして前
    記登録データとした前記全方位写真点情報蓄積手段内に
    蓄積された画像またはこの画像から抽出したオブジェク
    ト画像内から類似する画像またはオブジェクト画像を検
    索する手順と、 前記類似する画像またはオブジェクト画像の位置と向き
    の情報を利用者に検索結果として返す手順と、 を有することを特徴とする空間内オブジェクト検索方
    法。
18. 【請求項１８】 前記全方位写真点情報蓄積手段に蓄積
    された画像を画像内容検索の登録データとして扱う手順
    では、該画像またはこの画像から抽出したオブジェクト
    画像から特徴量を抽出して特徴量データベースを作成
    し、 前記画像またはオブジェクト画像を検索する手順では、
    利用者が入力した検索キーの画像またはオブジェクト画
    像から特徴量を抽出し、前記特徴量データベースを用い
    て類似検索し、この検索結果により前記全方位写真点情
    報蓄積手段内に蓄積された画像またはこの画像から抽出
    したオブジェクト画像内から類似する画像またはオブジ
    ェクト画像を検索する、 ことを特徴とする請求項１７に記載の空間内オブジェク
    ト検索方法。
19. 【請求項１９】 請求項８，９，１０，１１，１２，１
    ３，１４，１５のいずれかに記載の空間散策映像表示装
    置に加えて、 画像またはオブジェクト画像を検索する画像内容検索手
    段を持ち、 前記画像内容検索手段は、 検索のための画像の登録時には、全方位写真点情報蓄積
    手段に登録された画像を対象に、それを該画像内容検索
    手段の登録データとして扱い、 画像またはオブジェクト画像の検索時には、利用者が入
    力した画像またはオブジェクト画像を検索キーとして前
    記登録データとした前記全方位写真点情報蓄積手段内に
    蓄積された画像またはこの画像から抽出したオブジェク
    ト画像内から類似する画像を検索し、 前記類似する画像またはオブジェクト画像の位置と向き
    の情報を利用者に検索結果として返すものである、 ことを特徴とする空間内オブジェクト検索装置。
20. 【請求項２０】 前記画像内容検索手段は、 全方位写真点情報蓄積手段に登録された画像またはこの
    画像から抽出したオブジェクト画像から特徴量を抽出し
    て特徴量データベースを作成する手段と、 利用者が入力した検索キーの画像またはオブジェクト画
    像から特徴量を抽出し、前記特徴量データベースを用い
    て類似検索し、この検索結果により前記全方位写真点情
    報蓄積手段内に蓄積された画像またはこの画像から抽出
    したオブジェクト画像内から類似する画像またはオブジ
    ェクト画像を検索する類似検索手段と、 を有することを特徴とする請求項１９に記載の空間内オ
    ブジェクト検索装置。
21. 【請求項２１】 請求項１７または請求項１８に記載の
    空間内オブジェクト検索示方法における手順を、コンピ
    ュータに実行させるプログラムとして該コンピュータが
    読み取り可能である記録媒体に記録した、 ことを特徴とする空間内オブジェクト検索方法を記録し
    た記録媒体。
22. 【請求項２２】 請求項１，２，３，４，５，６，７の
    いずれかに記載の空間散策映像表示方法、または８，
    ９，１０，１１，１２，１３，１４，１５のいずれかに
    記載の空間散策映像表示装置において蓄積された全方位
    写真点情報に対して、 同一方向で異なる複数の地点の画像を用い、その差分か
    ら、その間に存在するオブジェクトの形状を抽出する手
    順を有する、 ことを特徴とする空間内オブジェクト抽出方法。
23. 【請求項２３】 請求項２２に記載の空間内オブジェク
    ト抽出方法における手順を、コンピュータに実行させる
    プログラムとして該コンピュータが読み取り可能である
    記録媒体に記録した、 ことを特徴とする空間内オブジェクト抽出方法を記録し
    た記録媒体。