JP3566530B2 - 空間散策映像表示方法及び空間内オブジェクト検索方法及び空間内オブジェクト抽出方法及びそれらの装置及びそれらの方法を記録した記録媒体 - Google Patents
空間散策映像表示方法及び空間内オブジェクト検索方法及び空間内オブジェクト抽出方法及びそれらの装置及びそれらの方法を記録した記録媒体 Download PDFInfo
- Publication number
- JP3566530B2 JP3566530B2 JP04909098A JP4909098A JP3566530B2 JP 3566530 B2 JP3566530 B2 JP 3566530B2 JP 04909098 A JP04909098 A JP 04909098A JP 4909098 A JP4909098 A JP 4909098A JP 3566530 B2 JP3566530 B2 JP 3566530B2
- Authority
- JP
- Japan
- Prior art keywords
- omnidirectional
- photograph
- image
- point information
- space
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Studio Circuits (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、マルチメディア・プレゼンテーションの分野において、高い臨場感と自由な移動を可能にする散策空間の構成技術、並びに、マルチメディア情報システムで実現された仮想空間散策システムで、複数の地点で実写映像または実写写真を利用者に提示する部分において、検索キーとして与えられた画像またはオブジェクト画像またはスケッチから、それに類似する画像の得られる地点と向きまたはオブジェクト画像が存在する地点と向きを検索結果として得るようなオブジェクト検索技術、並びに、そのオブジェクトの自動抽出技術に関するものである。
【０００２】
【従来の技術】
空間散策とは、コンピュータによって構成される仮想的な空間の中を自由に、または、ある制限のもとに移動した感じを体験させる技術のことで、空間ウォークスルーと呼ばれることもある。
【０００３】
これまで、空間散策のための空間として以下の（１）〜（３）の３方式が提案されている。それらを散策空間を示す図１６、および、図１６の散策空間を上部から見た図１７を例にして説明する。なお、本例では水平方向のみを扱う。垂直方向については、水平方向と全く同様であるため省略する。
【０００４】
（１）ＣＧで構成する散策空間（ＣＧベースの散策空間と呼ぶこととする）
最も代表的な散策空間の実現方法が、コンピュータグラフィック（ＣＧ）で３次元空間を構成する方法である。これはバーチャル・リアリティ（ＶＲ）と呼ばれることもある。ＶＲＭＬ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ Ｍｏｄｅｌｉｎｇ Ｌａｎｇｕａｇｅ）で作成された空間や、ゲーム（たとえば任天堂のスーパーマリオ６４）などで利用されている。
【０００５】
図１８にＣＧで作られた図１６，１７の例に基づく空間における散策の例を示す。図内の矢印が散策経路に対応している。この方法の利点は、空間内の散策（移動）が自由にできることである。
【０００６】
（２）実写映像で構成する散策空間（実写ベースの散策空間と呼ぶこととする）
この方式は、空間の中に移動経路を示すパスと、変向点または交差点を示すノードを配置し、そのパスとノードに対応する実写映像を現実空間において撮影し、対応にもとづいて空間内に配置することで、そのパスとノード上を散策（移動）できるようにした散策空間構成法である。
【０００７】
図１９に実写映像を用いた図１６，１７の例に基づく散策空間の例とパスを散策した経路の例を示す。図内のＮ１〜Ｎ８がノードであり、それらを結ぶ線や点線がパスを示している。また、太線の矢印が散策経路を表している。
【０００８】
この手法は、上記ＣＧにもとづく方法に比べ、臨場感の高い空間散策を可能にするので、観光地案内等のシステムに利用されている。
【０００９】
（３）上記（１），（２）の組み合わせで構成する散策空間
上記１，２を組み合わせることで、その欠点をなくそうという試みもある（例えば、特願平９−１４８６６号「映像統合装置」）。
【００１０】
これは、ＣＧ空間内に実写映像パスとノードを配置し、ＣＧ空間内と実写映像空間内を相互に行き来できるようにすることで、ＣＧ空間内では自由な移動を、実写映像空間内では高い臨場感を得ることができる。
【００１１】
図２０にその例を示す。散策空間の利用者は、Ｎ１からしばらく実写映像パス内を進んだ後、ＣＧ空間内の自由な散策を経て、Ｎ５への実写映像パスに移っている。
【００１２】
次に、散策空間における検索技術については、文献１「情報処理学会 研究会報告 ９７−ＤＢＳ−１１３−２６“画像内オブジェクトの自動抽出を使った画像検索システム ＥｘＳｉｇｈｔ −写真（Ｐｈｏｔｏ Ｄｉｓｃ）への適用−”」や、文献２「アドバンスト・データベースシンポジウム １９９７“画像の内容検索技術の動向”」に見られるように、実写画像の内容検索技術が近年発明されている。
【００１３】
これまで、ＣＧベースの散策空間における空間内オブジェクトの検索システムについては容易に実現できた。その理由は、ＣＧ空間内の全てのオブジェクトは空間表示時には完全にモデル化（ＣＧ空間内にアバタ等が存在する場合も含む）されており、その空間内のオブジェクトの検索は単にそのモデル群を、特定の視点から検索する技術にすぎないためである。
【００１４】
次に、実写画像からオブジェクトを抽出する技術については、従来、単一の画像からノイズを許すという前提のもとにオブジェクトの自動抽出を行うことが前記文献でも示された通り、既にできていた。一方、１つの物体を複数の方向から写した画像を用いてオブジェクトを抽出する試みは、ステレオ画像を扱う研究分野で試行されていた。
【００１５】
【発明が解決しようとする課題】
まず、上記従来の散策空間の構成方法は、それぞれ以下のような問題点を有していた。
【００１６】
（１）ＣＧで構成する散策空間では、空間内の散策（移動）が自由にできるものの、（２）実写映像で構成する散策空間に比べ、臨場感に乏しいという問題点があった。
【００１７】
（２）実写映像で構成する散策空間では、（１）のＣＧで構成する散策空間に比べ、臨場感の高い空間散策を可能にするものの、指定されたパスとノードしか散策できず、散策空間としての制限がきついという問題、また、実写映像の撮影に手間がかかるといった問題があった。
【００１８】
（３）上記（１），（２）の組み合わせで構成する散策空間では、ＣＧ空間内では自由な移動を、実写映像空間内では高い臨場感を得ることができるものの、基本的には上記（１），（２）の問題を根本的に解決していない。
【００１９】
そこで、本発明の第１の課題は、上記従来の仮想空間の散策技術の問題点を解決し、臨場感があり、自由な散策（移動）が可能な、散策空間を構成する方法及び装置を提供することにある。
【００２０】
次に、従来の散策空間における検索技術では、ＣＧベースの散策空間における空間内オブジェクトの検索手法については容易に実現できているものの、実写ベースの散策空間における空間内オブジェクトの検索手法及び検索システムについては、散策空間内のオブジェクトのモデル化が一般に行われていないため実現されていなかった。
【００２１】
そこで、本発明の第２の課題は、実写ベースの散策空間における空間内オブジェクトの検索システムが実現されていない問題を解決すること、つまり、実写をベースとする散策空間において、画像検索やオブジェクトの検索方法及び装置を実現することにある。
【００２２】
次に、画像からオブジェクトを抽出する技術では、単一の画像からノイズを許すという前提のもとにオブジェクトの自動抽出を行う技術、あるいは１つの物体を複数の方向から写した画像を用いてオブジェクトを抽出する技術のいずれも、未だ完成された技術ではなく、更なる精度の改善が求められていた。
【００２３】
そこで、本発明の第３の課題は、実写ベースの散策空間において、実写ベースの散策空間の特性を利用し、より精度の高い自動オブジェクト抽出の方法を実現することにある。
【００２４】
【課題を解決するための手段】
まず本発明は、以下の〈１〉〜〈８〉の発明により、上記第１の課題を解決する。
【００２５】
〈１〉空間散策映像を利用者に提供するシステムにおいて、現実の空間内の撮影位置の情報とその位置における全方位の写真画像を全方位写真点情報と呼び、その時の撮影位置を全方位写真点と呼ぶとき、全方位写真点情報を全方位写真点情報蓄積手段に蓄積する第１の手順と、散策する利用者からの、散策空間内における位置ｘ（ここでのｘは、ｘ座標ではなく空間位置を表す）およびそのときの視線の方向θを入力する第２の手順と、前記入力された利用者の位置ｘと視線の方向θに該当する散策画像を前記全方位写真点情報蓄積手段から検索し、再生する第３の手順と、前記第２の手順と第３の手順を繰り返すことで、利用者が前記位置ｘを移動した場合には、その移動に対応する位置の画像を次々に提示し、利用者が前記視線の方向θを回転させた場合には、その回転に対応する方向の画像を次々に提示する第４の手順と、を有することを特徴とする空間散策映像表示方法。
【００２６】
あるいは、空間散策映像を利用者に提供するシステムにおいて、現実の空間内の撮影位置の情報とその位置における全方位の写真画像を全方位写真点情報と呼び、その時の撮影位置を全方位写真点と呼ぶとき、全方位写真点情報を蓄積する全方位写真点情報蓄積手段と、散策する利用者から、空間内における位置ｘおよびそのときの視線の方向θを入力する利用者位置入力手段と、前記利用者位置入力手段で得られた前記位置ｘおよび視線の方向θに該当する画像を全方位写真点情報蓄積手段から検索し、再生する散策画像再生手段と、を有し、前記散策画像再生手段は、利用者が前記位置ｘを移動した場合には、その移動に対応する位置の画像を次々に提示し、利用者が前記視線の方向θを回転させた場合には、その回転に対応する視線の方向の画像を次々に提示するものとすることを特徴とする空間散策映像表示装置。
【００２７】
〈２〉発明〈１〉における前記第２の手順において、利用者から入力された任意の位置ｘを最寄りの全方位写真点に変換することを特徴とする空間散策映像表示方法。
【００２８】
あるいは、発明〈１〉における前記利用者位置入力手段は、入力された任意の位置ｘを最寄りの全方位写真点に変換するものであることを特徴とする空間散策映像表示装置。
【００２９】
〈３〉発明〈１〉における前記第２の手順において、全方位写真点以外の位置ｘにおける視線の方向θが入力された場合に、前記第３の手順において、前記位置ｘを通る前記視線の方向θの直線上で、前記位置ｘを挟む２つの全方位写真点を全方位写真点情報蓄積手段から検索して２つの写真画像を求め、それらの写真画像を補完することで、前記位置ｘ、前記視線の方向θの写真画像を作成し、再生することを特徴とする空間散策映像表示方法。
【００３０】
あるいは、発明〈１〉における前記散策画像再生手段は、前記利用者位置入力手段から全方位写真点以外の位置ｘにおける視線の方向θが入力された場合に、全方位写真点情報蓄積手段から、前記位置ｘを通る前記視線の方向θの直線上で、前記位置ｘを挟む２つの全方位写真点を検索して２つの写真画像を求め、それらの写真画像を補完することで、前記位置ｘ、前記視線の方向θの写真画像を作成し、再生するものであることを特徴とする空間散策映像表示装置。
【００３１】
〈４〉発明〈１〉または〈３〉における前記第２の手順において、全方位写真点以外の位置ｘにおける視線の方向θが入力された場合に、前記第３の手順において、前記位置ｘを通る前記視線の方向θの直線上で、前記位置ｘを挟む２つの全方位写真点が全方位写真点情報蓄積手段に存在しない場合、または、存在しても前記位置ｘから距離的に離れており補完した写真画像の精度が悪い場合に、前記位置ｘを通る前記視線の方向θの直線に近い方向を持つ直線上で、前記位置ｘを挟む２つの方向の写真画像を前記全方位写真点情報蓄積手段から検索して求め、それらの写真画像を重ねて合成することにより、前記位置ｘ、前記視線の方向θの写真画像を作成し、再生することを特徴とする空間散策映像表示方法。
【００３２】
あるいは、発明〈１〉または〈３〉における前記散策画像再生手段は、前記利用者位置入力手段から全方位写真点以外の位置ｘにおける視線の方向θが入力された場合に、全方位写真点情報蓄積手段に、前記位置ｘを通る前記視線の方向θの直線上で前記位置ｘを挟む２つの全方位写真点が存在しない場合、または、存在しても前記位置ｘから距離的に離れており補完した画像の精度が悪い場合に、前記位置ｘを通る前記視線の方向θの直線に近い方向を持つ直線上で、前記位置ｘを挟む２つの方向の写真画像を求め、それらの写真画像を重ねて合成することにより、前記位置ｘ、前記視線の方向θの写真画像を作成し、再生するものであることを特徴とする請求項８および請求項１０記載の空間散策映像表示装置。
【００３３】
〈５〉発明〈１〉における前記第１の手順の前に、実際に撮影した全方位写真点情報を前記全方位写真点情報蓄積手段に入力する手順を持ち、前記入力する手順において、前記実際に撮影した全方位写真点以外の位置においても、前記実際に撮影した全方位写真点情報をもとに請求項３記載の補完もしくは請求項４記載の合成により予め全方位写真点情報を作成し、前記全方位写真点情報蓄積手段に入力することを特徴とする空間散策映像表示方法。
【００３４】
あるいは、発明〈１〉において、全方位写真点情報を入力する全方位写真点情報入力手段を新たに備え、該全方位写真点情報入力手段は、請求項３記載の補完により任意位置の画像を作成する手段、および、請求項４記載の合成により任意視線の方向の画像を作成する手段を有し、実際に撮影した全方位写真点以外の位置においても予め全方位写真点情報を作成するものとし、前記全方位写真点情報蓄積手段は、前記作成された全方位写真点以外の位置における全方位写真点情報をも蓄積しておくものとすることを特徴とする空間散策映像表示装置。
【００３５】
〈６〉発明〈１〉，〈３〉，〈４〉のいずれかにおいて、前記第１の手順の前に、全方位写真点情報を全方位写真点情報蓄積手段に入力する手順を持ち、前記入力する手順において、全方位写真の撮影時に、位置ｙ（ここでのｙは、ｙ座標ではなく空間位置を表す）において動いている物体が写真Ｂ内にノイズ物体として写り込んだ場合、前記全方位写真点情報蓄積手段から前記位置ｙを通る前記撮影時の方向と同一方向の直線上で物体の手前側で撮影した前景写真Ｆを求め、この前景写真Ｆ内で、前記写真Ｂのノイズ物体に対応する部分を求め、その部分を拡大し、前記写真Ｂのノイズ物体の写る位置に張り込むことによって、前記写真Ｂの全方位写真内から前記ノイズ物体を除去することを特徴とする空間散策映像表示方法。
【００３６】
あるいは、発明〈１〉，〈３〉，〈４〉のいずれかにおいて、全方位写真点情報を入力する全方位写真点情報入力手段を新たに備え、前記全方位写真点情報入力手段は、全方位写真の撮影時に位置ｙにおいて動いている物体が写真Ｂ内にノイズとして写り込んだ場合、前記全方位写真点情報蓄積手段から位置ｙを通る同一方向の直線上で物体の手前側で撮影した前景写真Ｆを求め、前記前景写真Ｆ内で、前記写真Ｂのノイズ物体に対応する部分を求め、その部分を拡大し、前記写真Ｂのノイズ物体の写る位置に張り込むことによって、前記写真Ｂの全方位写真内から前記ノイズ物体を除去するものとすることを特徴とする空間散策映像表示装置。
【００３７】
〈７〉発明〈１〉，〈３〉，〈４〉のいずれかにおいて、前記第１の手順の前に、全方位写真点情報を全方位写真点情報蓄積手段に入力する手順を持ち、前記入力する手順において、全方位写真の撮影時に、位置ｙにおいて静止または動いている物体が写真Ｆ内にノイズ物体として写り込んだ場合、前記全方位写真点情報蓄積手段から前記位置ｙを通る前記撮影時の方向と同一方向の直線上でノイズ物体の向こう側で撮影した奥景写真Ｂを求め、この奥景写真Ｂ内で、前記写真Ｆのノイズ物体に対応する部分を求め、その部分を縮小し、前記写真Ｆのノイズ物体の写る位置に張り込むことによって、前記写真Ｆの全方位写真内から前記ノイズ物体を除去することを特徴とする空間散策映像表示方法。
【００３８】
あるいは、発明〈１〉，〈３〉，〈４〉のいずれかにおいて、全方位写真点情報を入力する全方位写真点情報入力手段を新たに備え、前記全方位写真点情報入力手段は、全方位写真の撮影時に、位置ｙにおいて静止または動いている物体が写真Ｆ内にノイズとして写り込んだ場合、前記全方位写真点情報蓄積手段から、前記位置ｙを通る同一方向の直線上で物体の向こう側で撮影した奥景写真Ｂを求め、前記奥景写真Ｂ内で、前記写真Ｆのノイズ物体に対応する部分を求め、その部分を縮小し、前記写真Ｆのノイズ物体の写る位置に張り込むことによって、前記写真Ｆの全方位写真内から前記ノイズ物体を除去するものとすることを特徴とする空間散策映像表示装置。
【００３９】
〈８〉発明〈１〉〜〈７〉のいずれかにおいて、前記利用者位置入力手段は、利用者の位置と視線の方向とともにいずれの散策空間を表示するかの情報を入力するものとし、前記散策画像再生手段は、ＣＧによる空間散策再生手段、または、実写映像による空間散策再生手段、または、それらの両方を持ち、前記利用者位置入力手段で得られたいずれの散策空間を表示するかの情報に基づいて、前記位置と視線の方向に該当する前記ＣＧによる空間散策再生手段で再生した散策空間、または前記実写映像で再生した散策空間、または前記全方位写真点情報により再生した散策空間を利用者に提示するものとすることを特徴とする空間散策映像表示装置。
【００４０】
本発明〈１〉〜〈８〉では、実空間をコンピュータ上の散策空間に写像する際に、従来のＣＧや実写映像を用いるのではなく、実空間内の複数の点（位置）における写真画像を利用し、空間の移動に伴う表示画像の構成は、複数の写真画像間の補完や合成によって構成することに特徴がある。
【００４１】
ここで、複数の点の位置関係は、コンピュータ上で扱える関係であればよく、全点を一様に配置する場合には、図４に示したような格子点や、図６（ａ），（ｂ）に示したような三角格子点、六角格子点などを用いると容易であるが、図５内の斜線で塗られた点のように、各点毎に座標情報による位置管理ができれば、配置は格子点のように一様でなくても構わない。
【００４２】
全方位写真とは、全方位を撮影した写真のことで、その撮影方法や合成方法は問わない。たとえば、全方位を一度に撮影するようなカメラで撮影した写真画像であっても、カメラやビデオカメラを回転させながら撮影したものから作成した写真画像であっても、カメラで４方向を撮影し、それらを編集、合成することで作成した写真画像であっても、その他の方法であっても構わない。
【００４３】
本発明〈１〉〜〈８〉の方法／装置は、利用者位置入力手順／手段、全方位写真点情報蓄積手順／手段、散策画像再生手順／手段を持ち、空間の作成機能も含む場合には全方位写真点情報入力手順／手段も持つ。
【００４４】
発明〈１〉によって、利用者が位置を移動した場合には、その移動に対応する位置の画像を次々に提示し、利用者が視線方向を回転させた場合には、その回転に対応する方向の画像を次々に提示する全方位写真点群空間を使った空間散策映像表示方法／装置が構成できる。
【００４５】
発明〈２〉によって、入力された任意の位置ｘを最寄りの全方位写真点に変換を行うことで、発明〈１〉とともに任意の位置を入力した移動ができる簡易な空間散策映像表示方法／装置が構成できる。
【００４６】
発明〈３〉では、利用者位置入力手順／手段において、全方位写真点以外の位置ｘにおける方向θが入力された場合に、全方位写真点情報蓄積手段から、位置ｘを通る視線の方向（以下、単に方向という）θの直線上で、ｘを挟む２つの全方位写真点を検索し、２つの写真画像を求め、散策画像再生手順／手段によって、それらの写真画像の補完により、目的とする位置ｘ、方向θの写真画像を作成し、再生することで、空間内の任意の点の滑らかな移動の画像を持つ空間散策が可能になる。
【００４７】
発明〈４〉では、利用者位置入力手順／手段において、全方位写真点以外の位置ｘにおける方向θが入力された場合に、全方位写真点情報蓄積手段に、位置ｘを通る方向θの直線上で、ｘを挟む２つの全方位写真点が存在しない場合、または、存在してもｘから距離的に離れており補完した画像の精度が悪い場合には、位置ｘを通る方向θの直線に近い方向を持つ直線上で、ｘを挟む２つの方向の画像を求め、散策画像再生手順／手段によって、それらの写真画像を重ねて合成することにより、目的とする位置ｘ、方向θの写真画像を作成し、再生することで、空間内の任意の点における全方位の画像を持つ空間散策が可能になる。
【００４８】
よって、発明〈１〉，〈２〉，〈３〉，〈４〉により、自由な経路を可能とする空間散策映像表示方法／装置の構成が可能になる。
【００４９】
なお、画像の補完とは、同一方向に対する複数の地点からの画像があるとき、それらを補完することで、その方向上を移動するコマ送りの画像を生成し、全体として、その方向上を移動する映像を生成する手法である。この補完の具体例としては、
・単に線形補完を使う方法、
・従来のＣＧ空間における散策で利用されていた座標変換の技法を利用する方法、などがあるが、本発明では、その内容は問わないため、線形補完で説明する。
もちろん、もっと単純なズーム処理等であっても構わない。
【００５０】
また、特定方位画像の合成とは、ある地点からの複数方向に対する画像がある場合、その間の方向の画像を生成し、全体として、その全方位に対する画像を生成する手法である。この合成の具体例としては、
・単に角度比を利用して重ね合わせる方法、
・対応点を見つけ、重ね合わせの部分に線形補完を使う方法、
・従来のＣＧ空間における散策で利用されていた座標変換の技法を利用する方法、などがあるが、本発明では、その内容は問わない。
【００５１】
一般に十分な全方位写真点を持つ空間においては、その周辺部を除き、重なりがない場合は存在しない。
【００５２】
発明〈５〉は、本発明の装置で利用する全方位写真点情報の事前計算により応答を高速化するためにある。全方位写真点情報を入力する段階において、発明〈３〉で記載した任意位置の画像作成の手順／手段、および、発明〈４〉で記載した任意方向の画像作成の手順／手段を用いて、実際に撮影した全方位写真点以外の位置におていも予め全方位写真点情報を作成することが可能になる。そこで、それらを全方位写真点情報蓄積手段に蓄積しておくことで、散策実行時の計算負荷を削減することができる。
【００５３】
発明〈６〉および〈７〉は、本発明の方法／装置で利用する全方位写真点情報を事前に編集することで、散策空間の質を向上させるためにある。
【００５４】
発明〈６〉では、全方位写真の撮影時において、位置ｙにおいて動いている物体が写真Ｂ内にノイズとして写り込んだ場合、全方位写真点情報入力手順／手段において、全方位写真点情報蓄積手段から位置ｙを通る同一方向の直線上で物体の手前側で撮影した前景写真Ｆを求め、写真Ｆ内で、写真Ｂのノイズ物体に対応する部分を求め、その部分を拡大し、写真Ｂのノイズ物体の写る位置に張り込むことによって、写真Ｂの全方位写真内から物体を除去することが可能になる。
【００５５】
発明〈７〉では、全方位写真の撮影時において、位置ｙにおいて静止または動いている物体が写真Ｆ内にノイズとして写り込んだ場合、全方位写真点情報入力手順／手段において全方位写真点情報蓄積手段から位置ｙを通る同一方向の直線上で物体の向こう側で撮影した奥景写真Ｂを求め、写真Ｂ内で、写真Ｆのノイズ物体に対応する部分を求め、その部分を縮小し、写真Ｆのノイズ物体の写る位置に張り込むことによって、写真Ｆの全方位写真内から物体を除去することが可能になる。
【００５６】
なお、これら発明〈６〉，〈７〉の手法は両方を組み合わせて利用することもできる。
【００５７】
発明〈８〉は、これまで述べた上記発明〈１〉〜〈７〉を利用した全方位写真点群による散策空間と、従来技術のＣＧによる空間散策、または、従来技術の実写映像による空間散策とを、散策中に切り替えることを可能にする。
【００５８】
次に本発明は、以下の〈９〉の発明により、上記第２の課題を解決する。
【００５９】
〈９〉発明〈１〉〜〈７〉のいずれかに記載の空間散策映像表示方法における第１の手順で、全方位写真点情報蓄積手段に蓄積された画像を画像内容検索の登録データとして扱う手順と、画像またはオブジェクト画像の検索時には、利用者が入力した画像またはオブジェクト画像を検索キーとして前記登録データとした前記全方位写真点情報蓄積手段内に蓄積された画像またはこの画像から抽出したオブジェクト画像内から類似する画像またはオブジェクト画像を検索する手順と、前記類似する画像またはオブジェクト画像の位置と向きの情報を利用者に検索結果として返す手順と、を有することを特徴とする空間内オブジェクト検索方法。
【００６０】
または、上記空間内オブジェクト検索方法において、前記全方位写真点情報蓄積手段に蓄積された画像を画像内容検索の登録データとして扱う手順では、該画像またはこの画像から抽出したオブジェクト画像から特徴量を抽出して特徴量データベースを作成し、前記画像またはオブジェクト画像を検索する手順では、利用者が入力した検索キーの画像またはオブジェクト画像から特徴量を抽出し、前記特徴量データベースを用いて類似検索し、この検索結果により前記全方位写真点情報蓄積手段内に蓄積された画像またはこの画像から抽出したオブジェクト画像内から類似する画像またはオブジェクト画像を検索することを特徴とする空間内オブジェクト検索方法。
【００６１】
あるいは、発明〈１〉〜〈８〉のいずれかの空間散策映像表示装置に加えて、画像またはオブジェクト画像を検索する画像内容検索手段を持ち、前記画像内容検索手段は、検索のための画像の登録時には、全方位写真点情報蓄積手段に登録された画像を対象に、それを該画像内容検索手段の登録データとして扱い、画像またはオブジェクト画像の検索時には、利用者が入力した画像またはオブジェクト画像を検索キーとして前記登録データとした前記全方位写真点情報蓄積手段内に蓄積された画像またはこの画像から抽出したオブジェクト画像内から類似する画像を検索し、前記類似する画像またはオブジェクト画像の位置と向きの情報を利用者に検索結果として返すものであることを特徴とする空間内オブジェクト検索装置。
【００６２】
または、前記画像内容検索手段が、全方位写真点情報蓄積手段に登録された画像またはこの画像から抽出したオブジェクト画像から特徴量を抽出して特徴量データベースを作成する手段と、利用者が入力した検索キーの画像またはオブジェクト画像から特徴量を抽出し、前記特徴量データベースを用いて類似検索し、この検索結果により前記全方位写真点情報蓄積手段内に蓄積された画像またはこの画像から抽出したオブジェクト画像内から類似する画像またはオブジェクト画像を検索する類似検索手段と、を有することを特徴とする空間内オブジェクト検索装置。
【００６３】
本発明〈９〉では、実写ベースの散策空間で蓄積されている実写画像に対し、画像の内容検索技術（画像検索およびオブジェクト画像検索）を適用する。つまり、発明〈１〉〜〈８〉で示した実写ベースの散策空間において、各点における、各方位の画像を事前に計算・作成する。この画像は、全方位写真点情報蓄積手段に蓄えられていたが、その蓄積と同時に、画像検索手段またはオブジェクト画像検索手段の登録データとして扱い、例えば、検索のために特徴量データベース（ＤＢ）の作成などを行う。ここで、利用者から空間内のオブジェクト検索用のキーとして与えられた画像またはオブジェクト画像が与えられると、登録データから画像検索またはオブジェクト画像検索を行う。検索は、例えば、キーとなる画像またはオブジェクト画像を特徴量に変換し、特徴量データベースに蓄積されている特徴量との類似検索を行い、検索結果として類似度の高い順にオブジェクト画像または画像とともに、あるいは単独に、その位置と方向の情報を返却する。この位置と方向の情報は、予め全方位写真点情報蓄積手段に画像と共に蓄積されている。
【００６４】
次に本発明は、以下の〈１０〉の発明により、上記第３の課題を解決する。
【００６５】
〈１０〉発明〈１〉〜〈７〉のいずれかの空間散策映像表示方法、または発明〈１〉〜〈８〉のいずれかの空間散策映像表示装置において蓄積された全方位写真点情報に対して、同一方向で異なる複数の地点の画像を用い、その差分から、その間に存在するオブジェクトの形状を抽出する手順を有することを特徴とする空間内オブジェクト抽出方法。
【００６６】
本発明〈１０〉では、実写ベースの散策空間において、オブジェクトの手前側の実写画像と向こう側の実写画像（背景）の差分を利用することにより、画像からのオブジェクトの抽出精度を改善する。例えば、同一方向を撮影した２枚（これは最低でも２枚必要という事を示しており、それ以上の枚数があった場合には、それらを同様に適用することができる）の実写映像があって、その間の距離が何らかの手段で与えられているとき、その２枚について、距離に基づいた画像の正規化、対応点の検出、差分からオブジェクトの抽出を行う。
【００６７】
【発明の実施の形態】
以下、本発明の実施の形態について図を用いて詳細に説明する。
【００６８】
［実施形態例１］
図１は、本発明の空間散策映像表示装置の基本的な構成例を説明する図であって、１は利用者位置入力手段、２は全方位写真点情報入力手段、３は全方位写真点情報蓄積手段、４は散策画像再生手段である。
【００６９】
図２は、上記装置の動作例とともに、本発明の方法の基本的な実施形態例を説明するフロー図である。以下、図１を参照して説明する。
【００７０】
まず、全方位写真点情報入力手段１を用いて現実の空間の所定位置での全方位写真と位置情報を対応させた写真点情報を作成し、全方位写真点情報蓄積手段３に蓄積する。
【００７１】
次に、散策する利用者から、散策空間内における位置ｘおよびそのときの視線の方向θが利用者位置入力手段１により入力されると、散策画像再生手段４はｘとθに該当する写真画像を全方位写真点情報蓄積手段３から検索し、再生する。
【００７２】
ここで、或る位置から別の位置に移動する場合では、利用者は位置ｘに代えて移動距離Ｌと移動方向γを入力することができる。この場合、移動前の位置情報と移動距離Ｌ、移動方向γとから移動後の位置ｘを計算する。なお、移動方向γと視線の方向θとは共通にすることもできる。また、利用者が位置ｘ（または移動距離Ｌと移動方向γ）のみを入力した場合には、そのときの視線の方向θとして直前の視線の方向を入力する。同様に、利用者が視線の方向θのみを入力した場合には、位置ｘとして直前の位置情報を入力する。
【００７３】
以上の利用者位置入力手段１からの入力と、散策画像再生手段４による写真画像の再生を繰り返すことで、利用者が位置ｘを移動した場合には、その移動に対応する位置の画像を次々に提示し、利用者が視線の方向θを回転させた場合には、その回転に対応する方向の画像を次々に提示する。
【００７４】
なお、本発明〈１〉では、全方位写真点情報は予め作成されたものを利用することとして、全方位写真点情報入力手段２および全方位写真点情報を作成する手順は省略できる。
【００７５】
［実施形態例２］
図３は、本発明〈８〉の装置の実施形態例を説明する図であって、１は利用者位置入力手段、２は全方位写真点情報入力手段、３は全方位写真点情報蓄積手段、４は散策画像再生手段である。本実施形態例では、さらにＣＧによる空間散策再生手段５と、実写映像による空間散策再生手段６を有する。
【００７６】
本実施形態例の動作例を説明すると、まず、第１の実施形態例と同様に全方位写真点情報入力手段１を用いてを現実の空間の所定位置での全方位写真と位置情報を対応させた写真点情報を作成して全方位写真点情報蓄積手段３に蓄積する。次に、散策する利用者は、散策空間内における位置ｘおよびそのときの視線の方向θとともに、いずれの散策空間を表示するかの情報を入力する。次に、散策画像再生手段４は、指定された散策空間がＣＧによるものであればＣＧによる空間散策再生手段５により、実写映像によるものであれば実写映像による空間散策再生手段６により、ｘとθに該当する散策空間を再生させて利用者に提示する。また、散策空間の指定が全方位写真点による散策空間であれば、散策画像再生手段４は、図２と同様にｘとθに該当する写真画像を全方位写真点情報蓄積手段３から検索し、再生する。以下、利用者位置入力手段１からの入力と、散策画像再生手段４による写真画像の再生を繰り返すことで、利用者が位置ｘを移動した場合には、その移動に対応する位置の画像を次々に提示し、利用者が視線の方向θを回転させた場合には、その回転に対応する方向の画像を次々に提示し、利用者が散策の途中で散策空間の指定を変えた場合には、指定された散策空間の表示に切り替える。
【００７７】
［実施形態例３］
図４は実施形態例１で示した本発明〈１〉および〈２〉による空間散策の例を示している。
【００７８】
各全方位写真点を座標ｐ（ｘ，ｙ）の形式で識別しており、左上の点をｐ（１，１）、右下の点をｐ（６，７）としている。ここで、散策は、各全方位写真点間を結ぶような経路となっており、これは本発明〈２〉で示した方式によって実現できる。各全方位写真点においては、全方位の写真画像情報を持っているので、空間散策の利用者は、それらの地点での全方位を眺めることができる。
【００７９】
なお、図４，５，６，７，８，９において、丸い点は全方位写真撮影点を示している。
【００８０】
［実施形態例４］
図５は本発明〈１〉，〈３〉，〈４〉，〈５〉による空間散策の例を示している。
【００８１】
各全方位写真点を座標ｐ（ｘ，ｙ）の形式で識別しており、左上の点をｐ（１，１）、右下の点をｐ（６，７）としている。
【００８２】
ここで、散策は、本発明〈４〉によって、各点での自由な回転が可能になっており、本発明〈３〉によって、自由な進行が可能になっている。
【００８３】
［実施形態例５］
図７は空間内の点の配置を説明する図である。ａ１〜ａ１６は全方位写真点を示し、ｂ１はその途中の点を表す。この図をもとに、本実施形態例では本発明〈３〉の途中経路の画像の作成（補完）の例を、次の実施形態例６では本発明〈４〉の全方位画像の合成の例を説明する。
【００８４】
図８は本発明〈３〉の途中経路画像の作成する例であり、図７でａ８位置からａ３位置に向かって進んだ時の、ｂ１位置での画像の補完合成方法を示している。ａ８位置で右手にある対象物は、ａ８位置からａ３位置に進むことで、より右手に大きくなってくる。この感覚に該当する映像を得るためには遠近法を使ったズーム処理を用いれば容易に実現できる。よって、ａ８位置の画像とａ３位置の画像から、ｂ１位置の画像が補完合成できる。
【００８５】
［実施形態例６］
図９に本発明〈４〉に対応する全方位画像の合成の例を示す。
【００８６】
図７においてｂ１位置には、カメラ撮影時には全方位画像はない。しかし、ｂ１位置を通る複数（格子点空間が広い場合には無数）の線分が存在する。よって、本発明〈３〉により、それらの方向のｂ１位置での画像を得ることができる。しかし、補完の対象となる点が存在しない方向や、存在してもあまりにも遠すぎて補完の精度が悪い場合がある。そこで、特定の方向θの画像を得たい場合には、近似の方向の画像を合わせて目的の方向の画像を合成することでθの画像を合成する。
【００８７】
これは同様に全方向に適用することが可能なので、結局、ｂ１位置における全方位画像を得ることができ、利用者は自由な方向を見ることができるようになる。
【００８８】
［実施形態例７］
図１０は対象画像中のノイズ（動きのある車）を前景の画像を使って除去する本発明〈６〉の例、逆に図１１は対象画像中のノイズ（止まった車）を奥景の画像を使って除去する本発明〈７〉の例、を示している。
【００８９】
図１０の場合、ａ３位置で、方向（ａ３→ａ１５）の対象画像の中に車のノイズがあった場合、その手前に位置するａ８位置で、方向（ａ８→ａ１５）の前景画像を使い、前景画像内で対象画像のノイズ領域に対応する領域を求め、それを拡大して対象画像に貼り付けることで、対象画像内のノイズを除去している。
【００９０】
逆に、図１１の場合、ａ８位置で、方向（ａ８→ａ１５）の対象画像の中に車のノイズが合った場合、その奥側に位置するａ３位置で、方向（ａ３→ａ１５）の奥景画像を使い、奥景画像内で対象画像のノイズ領域に対応する領域を求め、それを縮小して対象画像に貼り付けることで、対象画像内のノイズを除去している。
【００９１】
このように、特定の画像の前後の画像から相互にノイズ除去が可能であるが、拡大して除去する方式では、画像の精度が落ちる、という問題があり、縮小して除去する方式では、はみ出した部分は対象外となる、という問題がある。よって、両方の方式が利用できる場合には、はみ出さない場合には縮小して除去し、はみ出した部分については、拡大して除去する方式を使うのが良い。
【００９２】
なお、ノイズ領域の指定は、人手で行っても良いし、隣接画像群から自動判別してもよい。
【００９３】
［実施形態例８］
全方位写真点は、本来、１点毎に撮影することが望ましい。しかし、天候や陰の位置の変化の影響を避けるため撮影時間を短縮することが望まれる。本発明を利用して、撮影時間を大幅に短縮する撮影方式を示す。
【００９４】
図１２は本発明で利用する全方位写真点のカメラ撮影時の状況を説明している。
【００９５】
まず、撮影点を複数のグループに分類する。図１２では白丸がグループＡ、黒丸がグループＢを示している。それぞれのグループ毎に、複数のカメラを用い一度ずつ、計２回の撮影を行う。それらの写真に対して、本発明〈６〉および〈７〉に示した手法（実施形態例７）によって、個々の画像からカメラ自体が写っている部分を除去する。これによって、複数地点の同時撮影が可能になる。さらに、カメラの撮影位置は、格子状に限らず、図１３に示すように、外縁部と主要なオブジェクト周辺だけを撮影することで、撮影効率を上げることもできる。
【００９６】
［実施形態例９］
これまで述べた方法は、全方位写真画像を全方位写真撮影カメラによって撮影した場合を述べたが、そのカメラはビデオカメラのような映像撮影カメラであっても構わない。
【００９７】
図１５にそのカメラの例を示す。
【００９８】
このカメラは、ビデオカメラ７を８台使い、８方向の映像を同時に撮影できる。撮影者がカメラの中央（内側）に位置することで、撮影者が写ることも防いでいる。８方向以外の角度の映像については、８方向から撮影した映像を使って合成する。このようなカメラを使い、図１４に示すような経路で現実空間の撮影を行えば、効率的に複数の全方位写真画像情報を得ることができ、移動も容易なので、効率的な現実空間の取り込みが可能になる。
【００９９】
なお、このときのカメラ位置情報については、撮影時に赤外線情報等を使った位置検出を行い、それを映像とともに記録しても構わないし、撮影後に、カメラの移動速度や撮影内容物の位置関係等から求めても構わない。
【０１００】
［実施形態例１０］
本発明〈９〉の実施形態例を示す。図２１は、本発明〈９〉の実施形態例を示し、図２２は本発明〈９〉の実施形態例のうちオブジェクト画像検索の実施形態例を説明する画像内容検索手段の構成図である。
【０１０１】
図２１において、１は利用者位置入力手段、２は全方位写真点情報入力手段、３は全方位写真点情報蓄積手段、４は散策画像再生手段であり、前述の第１の実施形態例で説明した空間散策映像表示装置と同じ構成である。本実施形態例では、この構成に加えて、画像検索手段またはオブジェクト画像検索手段（画像内容検索手段）８を持つ。
【０１０２】
図２２は、８がオブジェクト画像検索手段である場合の例である。図２２において、１０はキーオブジェクト画像の入力手段、１１はキー画像の入力手段、１２は登録データ画像の入力手段、１３はオブジェクト画像の抽出手段、１４は特徴量の抽出手段、１５は特徴量の類似検索手段、１６は特徴量ＤＢ（データベース）の管理手段、１７は類似オブジェクト画像を含む画像の検索手段、１８は類似オブジェクト画像の出力手段、１９は類似画像の出力手段を表す。
【０１０３】
本実施形態例では、実写ベースの散策空間で蓄積されている実写画像に対し、画像の内容検索技術（画像検索およびオブジェクト画像検索）を適用する。つまり、第１〜第９の実施形態例で示した実写ベースの散策空間において、各点における、各方位の画像を事前に計算・作成する。この画像は、図２４の空間散策映像表示装置の全方位写真点情報蓄積手段３に蓄えられるが、その蓄積と同時に、図２２のオブジェクト画像検索手段における登録データ画像入力手段１２によりオブジェクト画像検索システムの登録データとして扱い、オブジェクト画像抽出手段１３によりオブジェクト画像を抽出し、特徴量抽出手段１４によりその特徴量を抽出して、特徴量データベース（ＤＢ）の作成を行い、特徴量ＤＢ管理手段１６で管理する。
【０１０４】
ここで、オブジェクト画像を検索する場合、利用者は空間内のオブジェクト検索用のキーとしてオブジェクト画像を、キーオブジェクト画像入力手段１０を介して特徴量抽出手段１５に入力する。あるいは、利用者がキーオブジェクトが含まれているキー画像をキー画像入力手段１１から入力した場合には、オブジェクト画像抽出手段１３によりオブジェクト画像を抽出して特徴量抽出手段１３に入力する。入力されたオブジェクト画像は、特徴量抽出手段１５により特徴量に変換される。特徴量の類似検索手段１５は、この変換された特徴量を用いて、特徴量ＤＢ管理手段１６で管理されている特徴量データベースに蓄積されている特徴量との類似検索を行い、検索結果として類似度の高い順に類似オブジェクト画像出力手段１８を介してオブジェクト画像を返却し、および、その位置と方向の情報を類似画像出力手段１９に返却する。この位置と方向の情報は、予め図２４の全方位写真点情報蓄積手段３に画像と共に蓄積されており、類似画像出力手段１９は、その情報に基づいて類似画像を出力する。
【０１０５】
このようなオブジェクト画像検索の応用例を示す。
【０１０６】
例えば、実写ベースの散策空間をモーターショー等の車の展示会と想定し、事前に格子状の各点または撮影コース上の各点における全方位写真を記録しておくとする。このデータから、より稠密な各点における全方向の画像を生成し、空間散策用システムに蓄積しておくと共に、その個々の写真から画像の内容検索のための特徴量を抽出してデータベースに登録しておく。
【０１０７】
検索時において、例えば利用者が書いた車の外形のスケッチを入力キーとすれば、その形に似た車が存在するのは展示スペース内のどの位置で、どの方向を向いて見たときなのかを検索することができる。
【０１０８】
［実施形態例１１］
本発明〈９〉のうち画像検索の実施形態例を示す。図２３は、本実施形態例を説明する画像検索手段の構成図である。図２３は、図２１における８が画像検索手段である場合の例である。
【０１０９】
図２３において、２０はキー画像の入力手段、２１は登録データ画像の入力手段、２２は特徴量の抽出手段、２３は特徴量の類似検索手段、２４は特徴量ＤＢ（データベース）の管理手段、２５は類似画像の出力手段を表す。
【０１１０】
本実施形態例においても、実写ベースの散策空間で蓄積されている実写画像に対し、画像の内容検索技術（画像検索およびオブジェクト画像検索）を適用する。つまり、第１〜第９の実施形態例で示した実写ベースの散策空間において、各点における、各方位の画像を事前に計算・作成する。この画像は、図２４の空間散策映像表示装置の全方位写真点情報蓄積手段３に蓄えられるが、その蓄積と同時に、図２３の画像検索手段における登録データ画像入力手段２１によりオブジェクト画像検索システムの登録データとして扱い、特徴量抽出手段２２によりその特徴量を抽出して、特徴量データベース（ＤＢ）の作成を行い、特徴量ＤＢ管理手段２４で管理する。
【０１１１】
ここで、画像を検索する場合、利用者は、空間内の画像検索用のキー画像を、キー画像入力手段２０を介して特徴量抽出手段２２に入力する。入力されたキー画像は、特徴量抽出手段２２により特徴量に変換される。特徴量の類似検索手段２３は、この変換された特徴量を用いて、特徴量ＤＢ管理手段２４で管理されている特徴量データベースに蓄積された特徴量との類似検索を行い、検索結果として類似度の高い順にその位置と方向の情報を類似画像出力手段２５に返却する。この位置と方向の情報は、予め図２４の全方位写真点情報蓄積手段３に画像と共に蓄積されており、類似画像出力手段２５は、その情報に基づいて類似画像を出力する。
【０１１２】
このような画像検索の応用例を示す。
【０１１３】
例えば、第１０の実施形態例と同様に、実写ベースの散策空間をモーターショー等の車の展示会と想定し、事前に格子状の各点または撮影コース上の各点における全方位写真を記録しておくとする。このデータから、より稠密な各点における全方向の画像を生成し、空間散策用システムに蓄積しておくと共に、その個々の写真から画像の内容検索のための特徴量を抽出してデータベースに登録しておく。
【０１１４】
検索時において、例えば利用者が撮影した写真を入力キーとした時、画像の内容検索を使って、類似写真を求め、その写真から、その写真が展示スペース内のどの位置で、どの方向を向いてとった写真なのかを求めることができる。
【０１１５】
［実施形態例１２］
本発明〈１０〉の実施形態例を示す。本実施形態例では、画像からのオブジェクトの抽出する際の抽出精度を改善するため、実写ベースの散策空間において、オブジェクトの手前側の実写画像と向こう側の実写画像（背景）の差分を利用する。つまり、同一方向を撮影した２枚（これは最低でも２枚必要という事を示しており、それ以上の枚数があった場合には、それらを同様に適用することができる）の実写映像があって、その間の距離が何らかの手段で与えられているとき、その２枚について、距離に基づいた画像の正規化、対応点の検出、差分からオブジェクトの抽出を行う。なお、対応点の検出時には、カメラのレンズ曲率等の補正が必要になる場合もあるが、その詳細は画像入力装置の特性に依存するので、ここでは詳細の議論を行わない。
【０１１６】
オブジェクト抽出方法の実施形態例を図２５、図２６を例として説明する。前述した空間散策映像表示の発明で示した図２５のような空間において、３点、ｘ１，ｘ２，ｘ３の方向１の画像が図２６（ａ），（ｂ），（ｃ）のようであったとする。
【０１１７】
まず、ｘ３地点とｘ２地点の画像に対して比較を行う。ｘ３地点画像の拡大（またはｘ２画像の縮小）により比較可能な状態に変換し、両画像中に共通して存在する領域において、その差分を抽出する。この例の場合は、その間にオブジェクトが存在しないので、その差は少ない。
【０１１８】
次に、ｘ２地点とｘ１地点の画像に対して比較を行う。これも同様にｘ２地点の画像の拡大（またはｘ１画像の縮小）を行い、両画像中に共通して存在する領域において、その差分を抽出する。この例の場合は、その間にオブジェクトＢが存在していたため、その差はそのオブジェクトが写っていた部分について大きくなり、オブジェクトの存在と、その形状が認識できる。
【０１１９】
以上は、ｘ１，ｘ２，ｘ３の３点のみの比較で説明したが、方向１上に多くの全方位写真点が存在する場合、その隣接画像との差分はとりやすくなり、精度は向上する。また、一般には背景画像からの差分をとっていく向き（最初にｘ１とｘ２を比較、次にｘ２とｘ３を比較する）に実行する。こうすると、最初に背景情報が与えられるので、オブジェクトが出現したことの認識（差分抽出）が容易になる。
【０１２０】
［実施形態例１３］
本実施形態例は、本発明による装置や方法をコンピュータで実現する実施形態例を示す。
【０１２１】
本実施形態例では、記録媒体の読取装置と、記録媒体から読み取ったプログラム等を記憶したり全方位写真点情報を蓄積保存したりして、それらを自由に読み出し可能なハードディスクやその他の記憶装置と、画像の補完や合成、画像内容の検索、オブジェクト抽出等の処理を行う際に画像データの保持等に必要なバッファやそれに準ずる装置と、所望の散策空間を表示、出力するディスプレイなどの出力装置と、利用者の散策空間内の位置や視線の方向を入力するためにキーボードやマウスなどの入力装置を備え、それらハードディスク、バッファ、出力装置及び入力装置などをあらかじめ定められた手順に基いて制御するコンピュータやそれに準ずる装置により、図２のフロー図や各実施形態例で示した本発明の方法の処理の手順ないしアルゴリズムを適宜、実行することが可能であり、その手順ないしアルゴリズムをコンピュータ等に実行させるためのプログラムを該コンピュータが読み取り可能な記録媒体、例えばフロッピーディスクやメモリカード、ＭＯ、ＣＤ−ＲＯＭなどに記録して配布することが可能である。
【０１２２】
【発明の効果】
以上で明らかなように、本発明〈１〉および〈２〉によって、全方位写真点情報による基本的な散策が可能になる。
【０１２３】
また、本発明〈３〉および〈４〉によって、位置や方向が自由な散策が可能になる。
【０１２４】
また、本発明〈５〉を用いれば、事前に任意位置での全方位写真点情報を計算することで、応答性能の向上が可能になる。
【０１２５】
また、本発明〈６〉および〈７〉を用いれば、撮影時の画像内ノイズを取り除くことが可能になる。
【０１２６】
これを応用すれば、一度に複数点の同時撮影を行い、さらに、その撮影画像内からカメラ自身を除去することも可能になる。
【０１２７】
以上によって、従来のＣＧによる散策空間、実写映像による散策空間の欠点をカバーした散策自由度が高く、臨場感のある散策空間を構成することが可能になる。
【０１２８】
また、移動とともに対応する位置と方向の画像を順次提示することで、なめらかな移動による散策が可能になる。この空間では、任意の位置における任意の角度の写真画像を見ることができる。
【０１２９】
また、本発明〈８〉によれば、従来の散策空間の提供技術と組み合わせることで、より個性のある空間演出が可能になる。
【０１３０】
また、本発明〈９〉によれば、実写をベースとする散策空間において、利用者から与えられたキー画像に類似する視点を持つ空間内での位置および方向、または利用者から与えられたキーオブジェクトに類似するオブジェクトの空間内での位置およびその方向の検索が可能になる。
【０１３１】
さらに、本発明〈１０〉によれば、空間内のオブジェクトの抽出処理において、そのオブジェクトの高精度な抽出を容易に行うことが可能になる。
【図面の簡単な説明】
【図１】本発明の空間散策映像表示装置の基本的な実施形態例を示す図である。
【図２】本発明の空間散策映像表示方法の基本的な実施形態例を示すフロー図である。
【図３】本発明〈８〉に対応する装置の実施形態例を示す図である。
【図４】本発明〈１〉，〈２〉に対応する全方位写真点群空間内を散策した経路の例を示す図である。
【図５】本発明〈１〉，〈３〉，〈４〉に対応する全方位写真点群空間内を散策した経路の例を示す図である。
【図６】（ａ），（ｂ）は、本発明における全方位写真点の配置の例を示す図である。
【図７】本発明〈３〉，〈４〉，〈６〉，〈７〉を説明する画像の位置関係を示す図である。
【図８】本発明〈３〉に対応する途中経路画像の補完合成を説明する例を示す図である。
【図９】本発明〈４〉に対応する全方位画像の合成を説明する例を示す図である。
【図１０】本発明〈６〉に対応する前景を拡大し画像中のノイズを除去する例を示す図である。
【図１１】本発明〈７〉に対応する奥景を縮小し画像中のノイズを除去する例を示す図である。
【図１２】上記実施形態例におけるカメラ撮影の方法を説明する図である。
【図１３】上記実施形態例における撮影地点を説明する図である。
【図１４】上記実施形態例における映像として撮影する経路例を説明する図である。
【図１５】上記実施形態例における全方位映像撮影カメラの例を説明する図である。
【図１６】散策空間の例を示す図である。
【図１７】図１６の散策空間を上部から見た図である。
【図１８】従来技術のＣＧによる散策空間とその散策経路例を示す図である。
【図１９】従来技術の実写映像による散策空間とその散策経路例を示す図である。
【図２０】従来技術のＣＧによる散策空間と実写映像による散策空間の組合せとその散策経路例を示す図である。
【図２１】本発明〈９〉の画像内容検索の実施形態例を説明する構成図である。
【図２２】本発明〈９〉のうちオブジェクト画像検索の実施形態例を説明する構成図である。
【図２３】本発明〈９〉のうち画像検索の例を説明する図である。
【図２４】本発明〈９〉に適用する空間散策映像表示装置の例である。
【図２５】本発明〈１０〉の実施形態例に関し、オブジェクト抽出に対応した撮影地点を説明する図である。
【図２６】（ａ），（ｂ），（ｃ）は、本発明〈１０〉の実施形態例に関し、オブジェクト抽出を説明する図である。
【符号の説明】
１…利用者位置入力手段
２…全方位写真点情報入力手段
３…全方位写真点情報蓄積手段
４…散策画像再生手段
５…ＣＧによる空間散策再生手段
６…実写映像による空間散策再生手段
７…ビデオカメラ
８…画像検索手段またはオブジェクト画像検索手段
１０…キーオブジェクト画像入力手段
１１…キー画像入力手段
１２…登録データ画像入力手段
１３…オブジェクト画像抽出手段
１４…特徴量抽出手段
１５…特徴量類似検索手段
１６…特徴量ＤＢ（データベース）管理手段
１７…類似オブジェクト画像を含む画像検索手段
１８…類似オブジェクト画像出力手段
１９…類似画像出力手段
２０…キー画像入力手段
２１…登録データ画像入力手段
２２…特徴量抽出手段
２３…特徴量類似検索手段
２４…特徴量ＤＢ（データベース）管理手段
２５…類似画像出力手段
【発明の属する技術分野】
本発明は、マルチメディア・プレゼンテーションの分野において、高い臨場感と自由な移動を可能にする散策空間の構成技術、並びに、マルチメディア情報システムで実現された仮想空間散策システムで、複数の地点で実写映像または実写写真を利用者に提示する部分において、検索キーとして与えられた画像またはオブジェクト画像またはスケッチから、それに類似する画像の得られる地点と向きまたはオブジェクト画像が存在する地点と向きを検索結果として得るようなオブジェクト検索技術、並びに、そのオブジェクトの自動抽出技術に関するものである。
【０００２】
【従来の技術】
空間散策とは、コンピュータによって構成される仮想的な空間の中を自由に、または、ある制限のもとに移動した感じを体験させる技術のことで、空間ウォークスルーと呼ばれることもある。
【０００３】
これまで、空間散策のための空間として以下の（１）〜（３）の３方式が提案されている。それらを散策空間を示す図１６、および、図１６の散策空間を上部から見た図１７を例にして説明する。なお、本例では水平方向のみを扱う。垂直方向については、水平方向と全く同様であるため省略する。
【０００４】
（１）ＣＧで構成する散策空間（ＣＧベースの散策空間と呼ぶこととする）
最も代表的な散策空間の実現方法が、コンピュータグラフィック（ＣＧ）で３次元空間を構成する方法である。これはバーチャル・リアリティ（ＶＲ）と呼ばれることもある。ＶＲＭＬ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ Ｍｏｄｅｌｉｎｇ Ｌａｎｇｕａｇｅ）で作成された空間や、ゲーム（たとえば任天堂のスーパーマリオ６４）などで利用されている。
【０００５】
図１８にＣＧで作られた図１６，１７の例に基づく空間における散策の例を示す。図内の矢印が散策経路に対応している。この方法の利点は、空間内の散策（移動）が自由にできることである。
【０００６】
（２）実写映像で構成する散策空間（実写ベースの散策空間と呼ぶこととする）
この方式は、空間の中に移動経路を示すパスと、変向点または交差点を示すノードを配置し、そのパスとノードに対応する実写映像を現実空間において撮影し、対応にもとづいて空間内に配置することで、そのパスとノード上を散策（移動）できるようにした散策空間構成法である。
【０００７】
図１９に実写映像を用いた図１６，１７の例に基づく散策空間の例とパスを散策した経路の例を示す。図内のＮ１〜Ｎ８がノードであり、それらを結ぶ線や点線がパスを示している。また、太線の矢印が散策経路を表している。
【０００８】
この手法は、上記ＣＧにもとづく方法に比べ、臨場感の高い空間散策を可能にするので、観光地案内等のシステムに利用されている。
【０００９】
（３）上記（１），（２）の組み合わせで構成する散策空間
上記１，２を組み合わせることで、その欠点をなくそうという試みもある（例えば、特願平９−１４８６６号「映像統合装置」）。
【００１０】
これは、ＣＧ空間内に実写映像パスとノードを配置し、ＣＧ空間内と実写映像空間内を相互に行き来できるようにすることで、ＣＧ空間内では自由な移動を、実写映像空間内では高い臨場感を得ることができる。
【００１１】
図２０にその例を示す。散策空間の利用者は、Ｎ１からしばらく実写映像パス内を進んだ後、ＣＧ空間内の自由な散策を経て、Ｎ５への実写映像パスに移っている。
【００１２】
次に、散策空間における検索技術については、文献１「情報処理学会 研究会報告 ９７−ＤＢＳ−１１３−２６“画像内オブジェクトの自動抽出を使った画像検索システム ＥｘＳｉｇｈｔ −写真（Ｐｈｏｔｏ Ｄｉｓｃ）への適用−”」や、文献２「アドバンスト・データベースシンポジウム １９９７“画像の内容検索技術の動向”」に見られるように、実写画像の内容検索技術が近年発明されている。
【００１３】
これまで、ＣＧベースの散策空間における空間内オブジェクトの検索システムについては容易に実現できた。その理由は、ＣＧ空間内の全てのオブジェクトは空間表示時には完全にモデル化（ＣＧ空間内にアバタ等が存在する場合も含む）されており、その空間内のオブジェクトの検索は単にそのモデル群を、特定の視点から検索する技術にすぎないためである。
【００１４】
次に、実写画像からオブジェクトを抽出する技術については、従来、単一の画像からノイズを許すという前提のもとにオブジェクトの自動抽出を行うことが前記文献でも示された通り、既にできていた。一方、１つの物体を複数の方向から写した画像を用いてオブジェクトを抽出する試みは、ステレオ画像を扱う研究分野で試行されていた。
【００１５】
【発明が解決しようとする課題】
まず、上記従来の散策空間の構成方法は、それぞれ以下のような問題点を有していた。
【００１６】
（１）ＣＧで構成する散策空間では、空間内の散策（移動）が自由にできるものの、（２）実写映像で構成する散策空間に比べ、臨場感に乏しいという問題点があった。
【００１７】
（２）実写映像で構成する散策空間では、（１）のＣＧで構成する散策空間に比べ、臨場感の高い空間散策を可能にするものの、指定されたパスとノードしか散策できず、散策空間としての制限がきついという問題、また、実写映像の撮影に手間がかかるといった問題があった。
【００１８】
（３）上記（１），（２）の組み合わせで構成する散策空間では、ＣＧ空間内では自由な移動を、実写映像空間内では高い臨場感を得ることができるものの、基本的には上記（１），（２）の問題を根本的に解決していない。
【００１９】
そこで、本発明の第１の課題は、上記従来の仮想空間の散策技術の問題点を解決し、臨場感があり、自由な散策（移動）が可能な、散策空間を構成する方法及び装置を提供することにある。
【００２０】
次に、従来の散策空間における検索技術では、ＣＧベースの散策空間における空間内オブジェクトの検索手法については容易に実現できているものの、実写ベースの散策空間における空間内オブジェクトの検索手法及び検索システムについては、散策空間内のオブジェクトのモデル化が一般に行われていないため実現されていなかった。
【００２１】
そこで、本発明の第２の課題は、実写ベースの散策空間における空間内オブジェクトの検索システムが実現されていない問題を解決すること、つまり、実写をベースとする散策空間において、画像検索やオブジェクトの検索方法及び装置を実現することにある。
【００２２】
次に、画像からオブジェクトを抽出する技術では、単一の画像からノイズを許すという前提のもとにオブジェクトの自動抽出を行う技術、あるいは１つの物体を複数の方向から写した画像を用いてオブジェクトを抽出する技術のいずれも、未だ完成された技術ではなく、更なる精度の改善が求められていた。
【００２３】
そこで、本発明の第３の課題は、実写ベースの散策空間において、実写ベースの散策空間の特性を利用し、より精度の高い自動オブジェクト抽出の方法を実現することにある。
【００２４】
【課題を解決するための手段】
まず本発明は、以下の〈１〉〜〈８〉の発明により、上記第１の課題を解決する。
【００２５】
〈１〉空間散策映像を利用者に提供するシステムにおいて、現実の空間内の撮影位置の情報とその位置における全方位の写真画像を全方位写真点情報と呼び、その時の撮影位置を全方位写真点と呼ぶとき、全方位写真点情報を全方位写真点情報蓄積手段に蓄積する第１の手順と、散策する利用者からの、散策空間内における位置ｘ（ここでのｘは、ｘ座標ではなく空間位置を表す）およびそのときの視線の方向θを入力する第２の手順と、前記入力された利用者の位置ｘと視線の方向θに該当する散策画像を前記全方位写真点情報蓄積手段から検索し、再生する第３の手順と、前記第２の手順と第３の手順を繰り返すことで、利用者が前記位置ｘを移動した場合には、その移動に対応する位置の画像を次々に提示し、利用者が前記視線の方向θを回転させた場合には、その回転に対応する方向の画像を次々に提示する第４の手順と、を有することを特徴とする空間散策映像表示方法。
【００２６】
あるいは、空間散策映像を利用者に提供するシステムにおいて、現実の空間内の撮影位置の情報とその位置における全方位の写真画像を全方位写真点情報と呼び、その時の撮影位置を全方位写真点と呼ぶとき、全方位写真点情報を蓄積する全方位写真点情報蓄積手段と、散策する利用者から、空間内における位置ｘおよびそのときの視線の方向θを入力する利用者位置入力手段と、前記利用者位置入力手段で得られた前記位置ｘおよび視線の方向θに該当する画像を全方位写真点情報蓄積手段から検索し、再生する散策画像再生手段と、を有し、前記散策画像再生手段は、利用者が前記位置ｘを移動した場合には、その移動に対応する位置の画像を次々に提示し、利用者が前記視線の方向θを回転させた場合には、その回転に対応する視線の方向の画像を次々に提示するものとすることを特徴とする空間散策映像表示装置。
【００２７】
〈２〉発明〈１〉における前記第２の手順において、利用者から入力された任意の位置ｘを最寄りの全方位写真点に変換することを特徴とする空間散策映像表示方法。
【００２８】
あるいは、発明〈１〉における前記利用者位置入力手段は、入力された任意の位置ｘを最寄りの全方位写真点に変換するものであることを特徴とする空間散策映像表示装置。
【００２９】
〈３〉発明〈１〉における前記第２の手順において、全方位写真点以外の位置ｘにおける視線の方向θが入力された場合に、前記第３の手順において、前記位置ｘを通る前記視線の方向θの直線上で、前記位置ｘを挟む２つの全方位写真点を全方位写真点情報蓄積手段から検索して２つの写真画像を求め、それらの写真画像を補完することで、前記位置ｘ、前記視線の方向θの写真画像を作成し、再生することを特徴とする空間散策映像表示方法。
【００３０】
あるいは、発明〈１〉における前記散策画像再生手段は、前記利用者位置入力手段から全方位写真点以外の位置ｘにおける視線の方向θが入力された場合に、全方位写真点情報蓄積手段から、前記位置ｘを通る前記視線の方向θの直線上で、前記位置ｘを挟む２つの全方位写真点を検索して２つの写真画像を求め、それらの写真画像を補完することで、前記位置ｘ、前記視線の方向θの写真画像を作成し、再生するものであることを特徴とする空間散策映像表示装置。
【００３１】
〈４〉発明〈１〉または〈３〉における前記第２の手順において、全方位写真点以外の位置ｘにおける視線の方向θが入力された場合に、前記第３の手順において、前記位置ｘを通る前記視線の方向θの直線上で、前記位置ｘを挟む２つの全方位写真点が全方位写真点情報蓄積手段に存在しない場合、または、存在しても前記位置ｘから距離的に離れており補完した写真画像の精度が悪い場合に、前記位置ｘを通る前記視線の方向θの直線に近い方向を持つ直線上で、前記位置ｘを挟む２つの方向の写真画像を前記全方位写真点情報蓄積手段から検索して求め、それらの写真画像を重ねて合成することにより、前記位置ｘ、前記視線の方向θの写真画像を作成し、再生することを特徴とする空間散策映像表示方法。
【００３２】
あるいは、発明〈１〉または〈３〉における前記散策画像再生手段は、前記利用者位置入力手段から全方位写真点以外の位置ｘにおける視線の方向θが入力された場合に、全方位写真点情報蓄積手段に、前記位置ｘを通る前記視線の方向θの直線上で前記位置ｘを挟む２つの全方位写真点が存在しない場合、または、存在しても前記位置ｘから距離的に離れており補完した画像の精度が悪い場合に、前記位置ｘを通る前記視線の方向θの直線に近い方向を持つ直線上で、前記位置ｘを挟む２つの方向の写真画像を求め、それらの写真画像を重ねて合成することにより、前記位置ｘ、前記視線の方向θの写真画像を作成し、再生するものであることを特徴とする請求項８および請求項１０記載の空間散策映像表示装置。
【００３３】
〈５〉発明〈１〉における前記第１の手順の前に、実際に撮影した全方位写真点情報を前記全方位写真点情報蓄積手段に入力する手順を持ち、前記入力する手順において、前記実際に撮影した全方位写真点以外の位置においても、前記実際に撮影した全方位写真点情報をもとに請求項３記載の補完もしくは請求項４記載の合成により予め全方位写真点情報を作成し、前記全方位写真点情報蓄積手段に入力することを特徴とする空間散策映像表示方法。
【００３４】
あるいは、発明〈１〉において、全方位写真点情報を入力する全方位写真点情報入力手段を新たに備え、該全方位写真点情報入力手段は、請求項３記載の補完により任意位置の画像を作成する手段、および、請求項４記載の合成により任意視線の方向の画像を作成する手段を有し、実際に撮影した全方位写真点以外の位置においても予め全方位写真点情報を作成するものとし、前記全方位写真点情報蓄積手段は、前記作成された全方位写真点以外の位置における全方位写真点情報をも蓄積しておくものとすることを特徴とする空間散策映像表示装置。
【００３５】
〈６〉発明〈１〉，〈３〉，〈４〉のいずれかにおいて、前記第１の手順の前に、全方位写真点情報を全方位写真点情報蓄積手段に入力する手順を持ち、前記入力する手順において、全方位写真の撮影時に、位置ｙ（ここでのｙは、ｙ座標ではなく空間位置を表す）において動いている物体が写真Ｂ内にノイズ物体として写り込んだ場合、前記全方位写真点情報蓄積手段から前記位置ｙを通る前記撮影時の方向と同一方向の直線上で物体の手前側で撮影した前景写真Ｆを求め、この前景写真Ｆ内で、前記写真Ｂのノイズ物体に対応する部分を求め、その部分を拡大し、前記写真Ｂのノイズ物体の写る位置に張り込むことによって、前記写真Ｂの全方位写真内から前記ノイズ物体を除去することを特徴とする空間散策映像表示方法。
【００３６】
あるいは、発明〈１〉，〈３〉，〈４〉のいずれかにおいて、全方位写真点情報を入力する全方位写真点情報入力手段を新たに備え、前記全方位写真点情報入力手段は、全方位写真の撮影時に位置ｙにおいて動いている物体が写真Ｂ内にノイズとして写り込んだ場合、前記全方位写真点情報蓄積手段から位置ｙを通る同一方向の直線上で物体の手前側で撮影した前景写真Ｆを求め、前記前景写真Ｆ内で、前記写真Ｂのノイズ物体に対応する部分を求め、その部分を拡大し、前記写真Ｂのノイズ物体の写る位置に張り込むことによって、前記写真Ｂの全方位写真内から前記ノイズ物体を除去するものとすることを特徴とする空間散策映像表示装置。
【００３７】
〈７〉発明〈１〉，〈３〉，〈４〉のいずれかにおいて、前記第１の手順の前に、全方位写真点情報を全方位写真点情報蓄積手段に入力する手順を持ち、前記入力する手順において、全方位写真の撮影時に、位置ｙにおいて静止または動いている物体が写真Ｆ内にノイズ物体として写り込んだ場合、前記全方位写真点情報蓄積手段から前記位置ｙを通る前記撮影時の方向と同一方向の直線上でノイズ物体の向こう側で撮影した奥景写真Ｂを求め、この奥景写真Ｂ内で、前記写真Ｆのノイズ物体に対応する部分を求め、その部分を縮小し、前記写真Ｆのノイズ物体の写る位置に張り込むことによって、前記写真Ｆの全方位写真内から前記ノイズ物体を除去することを特徴とする空間散策映像表示方法。
【００３８】
あるいは、発明〈１〉，〈３〉，〈４〉のいずれかにおいて、全方位写真点情報を入力する全方位写真点情報入力手段を新たに備え、前記全方位写真点情報入力手段は、全方位写真の撮影時に、位置ｙにおいて静止または動いている物体が写真Ｆ内にノイズとして写り込んだ場合、前記全方位写真点情報蓄積手段から、前記位置ｙを通る同一方向の直線上で物体の向こう側で撮影した奥景写真Ｂを求め、前記奥景写真Ｂ内で、前記写真Ｆのノイズ物体に対応する部分を求め、その部分を縮小し、前記写真Ｆのノイズ物体の写る位置に張り込むことによって、前記写真Ｆの全方位写真内から前記ノイズ物体を除去するものとすることを特徴とする空間散策映像表示装置。
【００３９】
〈８〉発明〈１〉〜〈７〉のいずれかにおいて、前記利用者位置入力手段は、利用者の位置と視線の方向とともにいずれの散策空間を表示するかの情報を入力するものとし、前記散策画像再生手段は、ＣＧによる空間散策再生手段、または、実写映像による空間散策再生手段、または、それらの両方を持ち、前記利用者位置入力手段で得られたいずれの散策空間を表示するかの情報に基づいて、前記位置と視線の方向に該当する前記ＣＧによる空間散策再生手段で再生した散策空間、または前記実写映像で再生した散策空間、または前記全方位写真点情報により再生した散策空間を利用者に提示するものとすることを特徴とする空間散策映像表示装置。
【００４０】
本発明〈１〉〜〈８〉では、実空間をコンピュータ上の散策空間に写像する際に、従来のＣＧや実写映像を用いるのではなく、実空間内の複数の点（位置）における写真画像を利用し、空間の移動に伴う表示画像の構成は、複数の写真画像間の補完や合成によって構成することに特徴がある。
【００４１】
ここで、複数の点の位置関係は、コンピュータ上で扱える関係であればよく、全点を一様に配置する場合には、図４に示したような格子点や、図６（ａ），（ｂ）に示したような三角格子点、六角格子点などを用いると容易であるが、図５内の斜線で塗られた点のように、各点毎に座標情報による位置管理ができれば、配置は格子点のように一様でなくても構わない。
【００４２】
全方位写真とは、全方位を撮影した写真のことで、その撮影方法や合成方法は問わない。たとえば、全方位を一度に撮影するようなカメラで撮影した写真画像であっても、カメラやビデオカメラを回転させながら撮影したものから作成した写真画像であっても、カメラで４方向を撮影し、それらを編集、合成することで作成した写真画像であっても、その他の方法であっても構わない。
【００４３】
本発明〈１〉〜〈８〉の方法／装置は、利用者位置入力手順／手段、全方位写真点情報蓄積手順／手段、散策画像再生手順／手段を持ち、空間の作成機能も含む場合には全方位写真点情報入力手順／手段も持つ。
【００４４】
発明〈１〉によって、利用者が位置を移動した場合には、その移動に対応する位置の画像を次々に提示し、利用者が視線方向を回転させた場合には、その回転に対応する方向の画像を次々に提示する全方位写真点群空間を使った空間散策映像表示方法／装置が構成できる。
【００４５】
発明〈２〉によって、入力された任意の位置ｘを最寄りの全方位写真点に変換を行うことで、発明〈１〉とともに任意の位置を入力した移動ができる簡易な空間散策映像表示方法／装置が構成できる。
【００４６】
発明〈３〉では、利用者位置入力手順／手段において、全方位写真点以外の位置ｘにおける方向θが入力された場合に、全方位写真点情報蓄積手段から、位置ｘを通る視線の方向（以下、単に方向という）θの直線上で、ｘを挟む２つの全方位写真点を検索し、２つの写真画像を求め、散策画像再生手順／手段によって、それらの写真画像の補完により、目的とする位置ｘ、方向θの写真画像を作成し、再生することで、空間内の任意の点の滑らかな移動の画像を持つ空間散策が可能になる。
【００４７】
発明〈４〉では、利用者位置入力手順／手段において、全方位写真点以外の位置ｘにおける方向θが入力された場合に、全方位写真点情報蓄積手段に、位置ｘを通る方向θの直線上で、ｘを挟む２つの全方位写真点が存在しない場合、または、存在してもｘから距離的に離れており補完した画像の精度が悪い場合には、位置ｘを通る方向θの直線に近い方向を持つ直線上で、ｘを挟む２つの方向の画像を求め、散策画像再生手順／手段によって、それらの写真画像を重ねて合成することにより、目的とする位置ｘ、方向θの写真画像を作成し、再生することで、空間内の任意の点における全方位の画像を持つ空間散策が可能になる。
【００４８】
よって、発明〈１〉，〈２〉，〈３〉，〈４〉により、自由な経路を可能とする空間散策映像表示方法／装置の構成が可能になる。
【００４９】
なお、画像の補完とは、同一方向に対する複数の地点からの画像があるとき、それらを補完することで、その方向上を移動するコマ送りの画像を生成し、全体として、その方向上を移動する映像を生成する手法である。この補完の具体例としては、
・単に線形補完を使う方法、
・従来のＣＧ空間における散策で利用されていた座標変換の技法を利用する方法、などがあるが、本発明では、その内容は問わないため、線形補完で説明する。
もちろん、もっと単純なズーム処理等であっても構わない。
【００５０】
また、特定方位画像の合成とは、ある地点からの複数方向に対する画像がある場合、その間の方向の画像を生成し、全体として、その全方位に対する画像を生成する手法である。この合成の具体例としては、
・単に角度比を利用して重ね合わせる方法、
・対応点を見つけ、重ね合わせの部分に線形補完を使う方法、
・従来のＣＧ空間における散策で利用されていた座標変換の技法を利用する方法、などがあるが、本発明では、その内容は問わない。
【００５１】
一般に十分な全方位写真点を持つ空間においては、その周辺部を除き、重なりがない場合は存在しない。
【００５２】
発明〈５〉は、本発明の装置で利用する全方位写真点情報の事前計算により応答を高速化するためにある。全方位写真点情報を入力する段階において、発明〈３〉で記載した任意位置の画像作成の手順／手段、および、発明〈４〉で記載した任意方向の画像作成の手順／手段を用いて、実際に撮影した全方位写真点以外の位置におていも予め全方位写真点情報を作成することが可能になる。そこで、それらを全方位写真点情報蓄積手段に蓄積しておくことで、散策実行時の計算負荷を削減することができる。
【００５３】
発明〈６〉および〈７〉は、本発明の方法／装置で利用する全方位写真点情報を事前に編集することで、散策空間の質を向上させるためにある。
【００５４】
発明〈６〉では、全方位写真の撮影時において、位置ｙにおいて動いている物体が写真Ｂ内にノイズとして写り込んだ場合、全方位写真点情報入力手順／手段において、全方位写真点情報蓄積手段から位置ｙを通る同一方向の直線上で物体の手前側で撮影した前景写真Ｆを求め、写真Ｆ内で、写真Ｂのノイズ物体に対応する部分を求め、その部分を拡大し、写真Ｂのノイズ物体の写る位置に張り込むことによって、写真Ｂの全方位写真内から物体を除去することが可能になる。
【００５５】
発明〈７〉では、全方位写真の撮影時において、位置ｙにおいて静止または動いている物体が写真Ｆ内にノイズとして写り込んだ場合、全方位写真点情報入力手順／手段において全方位写真点情報蓄積手段から位置ｙを通る同一方向の直線上で物体の向こう側で撮影した奥景写真Ｂを求め、写真Ｂ内で、写真Ｆのノイズ物体に対応する部分を求め、その部分を縮小し、写真Ｆのノイズ物体の写る位置に張り込むことによって、写真Ｆの全方位写真内から物体を除去することが可能になる。
【００５６】
なお、これら発明〈６〉，〈７〉の手法は両方を組み合わせて利用することもできる。
【００５７】
発明〈８〉は、これまで述べた上記発明〈１〉〜〈７〉を利用した全方位写真点群による散策空間と、従来技術のＣＧによる空間散策、または、従来技術の実写映像による空間散策とを、散策中に切り替えることを可能にする。
【００５８】
次に本発明は、以下の〈９〉の発明により、上記第２の課題を解決する。
【００５９】
〈９〉発明〈１〉〜〈７〉のいずれかに記載の空間散策映像表示方法における第１の手順で、全方位写真点情報蓄積手段に蓄積された画像を画像内容検索の登録データとして扱う手順と、画像またはオブジェクト画像の検索時には、利用者が入力した画像またはオブジェクト画像を検索キーとして前記登録データとした前記全方位写真点情報蓄積手段内に蓄積された画像またはこの画像から抽出したオブジェクト画像内から類似する画像またはオブジェクト画像を検索する手順と、前記類似する画像またはオブジェクト画像の位置と向きの情報を利用者に検索結果として返す手順と、を有することを特徴とする空間内オブジェクト検索方法。
【００６０】
または、上記空間内オブジェクト検索方法において、前記全方位写真点情報蓄積手段に蓄積された画像を画像内容検索の登録データとして扱う手順では、該画像またはこの画像から抽出したオブジェクト画像から特徴量を抽出して特徴量データベースを作成し、前記画像またはオブジェクト画像を検索する手順では、利用者が入力した検索キーの画像またはオブジェクト画像から特徴量を抽出し、前記特徴量データベースを用いて類似検索し、この検索結果により前記全方位写真点情報蓄積手段内に蓄積された画像またはこの画像から抽出したオブジェクト画像内から類似する画像またはオブジェクト画像を検索することを特徴とする空間内オブジェクト検索方法。
【００６１】
あるいは、発明〈１〉〜〈８〉のいずれかの空間散策映像表示装置に加えて、画像またはオブジェクト画像を検索する画像内容検索手段を持ち、前記画像内容検索手段は、検索のための画像の登録時には、全方位写真点情報蓄積手段に登録された画像を対象に、それを該画像内容検索手段の登録データとして扱い、画像またはオブジェクト画像の検索時には、利用者が入力した画像またはオブジェクト画像を検索キーとして前記登録データとした前記全方位写真点情報蓄積手段内に蓄積された画像またはこの画像から抽出したオブジェクト画像内から類似する画像を検索し、前記類似する画像またはオブジェクト画像の位置と向きの情報を利用者に検索結果として返すものであることを特徴とする空間内オブジェクト検索装置。
【００６２】
または、前記画像内容検索手段が、全方位写真点情報蓄積手段に登録された画像またはこの画像から抽出したオブジェクト画像から特徴量を抽出して特徴量データベースを作成する手段と、利用者が入力した検索キーの画像またはオブジェクト画像から特徴量を抽出し、前記特徴量データベースを用いて類似検索し、この検索結果により前記全方位写真点情報蓄積手段内に蓄積された画像またはこの画像から抽出したオブジェクト画像内から類似する画像またはオブジェクト画像を検索する類似検索手段と、を有することを特徴とする空間内オブジェクト検索装置。
【００６３】
本発明〈９〉では、実写ベースの散策空間で蓄積されている実写画像に対し、画像の内容検索技術（画像検索およびオブジェクト画像検索）を適用する。つまり、発明〈１〉〜〈８〉で示した実写ベースの散策空間において、各点における、各方位の画像を事前に計算・作成する。この画像は、全方位写真点情報蓄積手段に蓄えられていたが、その蓄積と同時に、画像検索手段またはオブジェクト画像検索手段の登録データとして扱い、例えば、検索のために特徴量データベース（ＤＢ）の作成などを行う。ここで、利用者から空間内のオブジェクト検索用のキーとして与えられた画像またはオブジェクト画像が与えられると、登録データから画像検索またはオブジェクト画像検索を行う。検索は、例えば、キーとなる画像またはオブジェクト画像を特徴量に変換し、特徴量データベースに蓄積されている特徴量との類似検索を行い、検索結果として類似度の高い順にオブジェクト画像または画像とともに、あるいは単独に、その位置と方向の情報を返却する。この位置と方向の情報は、予め全方位写真点情報蓄積手段に画像と共に蓄積されている。
【００６４】
次に本発明は、以下の〈１０〉の発明により、上記第３の課題を解決する。
【００６５】
〈１０〉発明〈１〉〜〈７〉のいずれかの空間散策映像表示方法、または発明〈１〉〜〈８〉のいずれかの空間散策映像表示装置において蓄積された全方位写真点情報に対して、同一方向で異なる複数の地点の画像を用い、その差分から、その間に存在するオブジェクトの形状を抽出する手順を有することを特徴とする空間内オブジェクト抽出方法。
【００６６】
本発明〈１０〉では、実写ベースの散策空間において、オブジェクトの手前側の実写画像と向こう側の実写画像（背景）の差分を利用することにより、画像からのオブジェクトの抽出精度を改善する。例えば、同一方向を撮影した２枚（これは最低でも２枚必要という事を示しており、それ以上の枚数があった場合には、それらを同様に適用することができる）の実写映像があって、その間の距離が何らかの手段で与えられているとき、その２枚について、距離に基づいた画像の正規化、対応点の検出、差分からオブジェクトの抽出を行う。
【００６７】
【発明の実施の形態】
以下、本発明の実施の形態について図を用いて詳細に説明する。
【００６８】
［実施形態例１］
図１は、本発明の空間散策映像表示装置の基本的な構成例を説明する図であって、１は利用者位置入力手段、２は全方位写真点情報入力手段、３は全方位写真点情報蓄積手段、４は散策画像再生手段である。
【００６９】
図２は、上記装置の動作例とともに、本発明の方法の基本的な実施形態例を説明するフロー図である。以下、図１を参照して説明する。
【００７０】
まず、全方位写真点情報入力手段１を用いて現実の空間の所定位置での全方位写真と位置情報を対応させた写真点情報を作成し、全方位写真点情報蓄積手段３に蓄積する。
【００７１】
次に、散策する利用者から、散策空間内における位置ｘおよびそのときの視線の方向θが利用者位置入力手段１により入力されると、散策画像再生手段４はｘとθに該当する写真画像を全方位写真点情報蓄積手段３から検索し、再生する。
【００７２】
ここで、或る位置から別の位置に移動する場合では、利用者は位置ｘに代えて移動距離Ｌと移動方向γを入力することができる。この場合、移動前の位置情報と移動距離Ｌ、移動方向γとから移動後の位置ｘを計算する。なお、移動方向γと視線の方向θとは共通にすることもできる。また、利用者が位置ｘ（または移動距離Ｌと移動方向γ）のみを入力した場合には、そのときの視線の方向θとして直前の視線の方向を入力する。同様に、利用者が視線の方向θのみを入力した場合には、位置ｘとして直前の位置情報を入力する。
【００７３】
以上の利用者位置入力手段１からの入力と、散策画像再生手段４による写真画像の再生を繰り返すことで、利用者が位置ｘを移動した場合には、その移動に対応する位置の画像を次々に提示し、利用者が視線の方向θを回転させた場合には、その回転に対応する方向の画像を次々に提示する。
【００７４】
なお、本発明〈１〉では、全方位写真点情報は予め作成されたものを利用することとして、全方位写真点情報入力手段２および全方位写真点情報を作成する手順は省略できる。
【００７５】
［実施形態例２］
図３は、本発明〈８〉の装置の実施形態例を説明する図であって、１は利用者位置入力手段、２は全方位写真点情報入力手段、３は全方位写真点情報蓄積手段、４は散策画像再生手段である。本実施形態例では、さらにＣＧによる空間散策再生手段５と、実写映像による空間散策再生手段６を有する。
【００７６】
本実施形態例の動作例を説明すると、まず、第１の実施形態例と同様に全方位写真点情報入力手段１を用いてを現実の空間の所定位置での全方位写真と位置情報を対応させた写真点情報を作成して全方位写真点情報蓄積手段３に蓄積する。次に、散策する利用者は、散策空間内における位置ｘおよびそのときの視線の方向θとともに、いずれの散策空間を表示するかの情報を入力する。次に、散策画像再生手段４は、指定された散策空間がＣＧによるものであればＣＧによる空間散策再生手段５により、実写映像によるものであれば実写映像による空間散策再生手段６により、ｘとθに該当する散策空間を再生させて利用者に提示する。また、散策空間の指定が全方位写真点による散策空間であれば、散策画像再生手段４は、図２と同様にｘとθに該当する写真画像を全方位写真点情報蓄積手段３から検索し、再生する。以下、利用者位置入力手段１からの入力と、散策画像再生手段４による写真画像の再生を繰り返すことで、利用者が位置ｘを移動した場合には、その移動に対応する位置の画像を次々に提示し、利用者が視線の方向θを回転させた場合には、その回転に対応する方向の画像を次々に提示し、利用者が散策の途中で散策空間の指定を変えた場合には、指定された散策空間の表示に切り替える。
【００７７】
［実施形態例３］
図４は実施形態例１で示した本発明〈１〉および〈２〉による空間散策の例を示している。
【００７８】
各全方位写真点を座標ｐ（ｘ，ｙ）の形式で識別しており、左上の点をｐ（１，１）、右下の点をｐ（６，７）としている。ここで、散策は、各全方位写真点間を結ぶような経路となっており、これは本発明〈２〉で示した方式によって実現できる。各全方位写真点においては、全方位の写真画像情報を持っているので、空間散策の利用者は、それらの地点での全方位を眺めることができる。
【００７９】
なお、図４，５，６，７，８，９において、丸い点は全方位写真撮影点を示している。
【００８０】
［実施形態例４］
図５は本発明〈１〉，〈３〉，〈４〉，〈５〉による空間散策の例を示している。
【００８１】
各全方位写真点を座標ｐ（ｘ，ｙ）の形式で識別しており、左上の点をｐ（１，１）、右下の点をｐ（６，７）としている。
【００８２】
ここで、散策は、本発明〈４〉によって、各点での自由な回転が可能になっており、本発明〈３〉によって、自由な進行が可能になっている。
【００８３】
［実施形態例５］
図７は空間内の点の配置を説明する図である。ａ１〜ａ１６は全方位写真点を示し、ｂ１はその途中の点を表す。この図をもとに、本実施形態例では本発明〈３〉の途中経路の画像の作成（補完）の例を、次の実施形態例６では本発明〈４〉の全方位画像の合成の例を説明する。
【００８４】
図８は本発明〈３〉の途中経路画像の作成する例であり、図７でａ８位置からａ３位置に向かって進んだ時の、ｂ１位置での画像の補完合成方法を示している。ａ８位置で右手にある対象物は、ａ８位置からａ３位置に進むことで、より右手に大きくなってくる。この感覚に該当する映像を得るためには遠近法を使ったズーム処理を用いれば容易に実現できる。よって、ａ８位置の画像とａ３位置の画像から、ｂ１位置の画像が補完合成できる。
【００８５】
［実施形態例６］
図９に本発明〈４〉に対応する全方位画像の合成の例を示す。
【００８６】
図７においてｂ１位置には、カメラ撮影時には全方位画像はない。しかし、ｂ１位置を通る複数（格子点空間が広い場合には無数）の線分が存在する。よって、本発明〈３〉により、それらの方向のｂ１位置での画像を得ることができる。しかし、補完の対象となる点が存在しない方向や、存在してもあまりにも遠すぎて補完の精度が悪い場合がある。そこで、特定の方向θの画像を得たい場合には、近似の方向の画像を合わせて目的の方向の画像を合成することでθの画像を合成する。
【００８７】
これは同様に全方向に適用することが可能なので、結局、ｂ１位置における全方位画像を得ることができ、利用者は自由な方向を見ることができるようになる。
【００８８】
［実施形態例７］
図１０は対象画像中のノイズ（動きのある車）を前景の画像を使って除去する本発明〈６〉の例、逆に図１１は対象画像中のノイズ（止まった車）を奥景の画像を使って除去する本発明〈７〉の例、を示している。
【００８９】
図１０の場合、ａ３位置で、方向（ａ３→ａ１５）の対象画像の中に車のノイズがあった場合、その手前に位置するａ８位置で、方向（ａ８→ａ１５）の前景画像を使い、前景画像内で対象画像のノイズ領域に対応する領域を求め、それを拡大して対象画像に貼り付けることで、対象画像内のノイズを除去している。
【００９０】
逆に、図１１の場合、ａ８位置で、方向（ａ８→ａ１５）の対象画像の中に車のノイズが合った場合、その奥側に位置するａ３位置で、方向（ａ３→ａ１５）の奥景画像を使い、奥景画像内で対象画像のノイズ領域に対応する領域を求め、それを縮小して対象画像に貼り付けることで、対象画像内のノイズを除去している。
【００９１】
このように、特定の画像の前後の画像から相互にノイズ除去が可能であるが、拡大して除去する方式では、画像の精度が落ちる、という問題があり、縮小して除去する方式では、はみ出した部分は対象外となる、という問題がある。よって、両方の方式が利用できる場合には、はみ出さない場合には縮小して除去し、はみ出した部分については、拡大して除去する方式を使うのが良い。
【００９２】
なお、ノイズ領域の指定は、人手で行っても良いし、隣接画像群から自動判別してもよい。
【００９３】
［実施形態例８］
全方位写真点は、本来、１点毎に撮影することが望ましい。しかし、天候や陰の位置の変化の影響を避けるため撮影時間を短縮することが望まれる。本発明を利用して、撮影時間を大幅に短縮する撮影方式を示す。
【００９４】
図１２は本発明で利用する全方位写真点のカメラ撮影時の状況を説明している。
【００９５】
まず、撮影点を複数のグループに分類する。図１２では白丸がグループＡ、黒丸がグループＢを示している。それぞれのグループ毎に、複数のカメラを用い一度ずつ、計２回の撮影を行う。それらの写真に対して、本発明〈６〉および〈７〉に示した手法（実施形態例７）によって、個々の画像からカメラ自体が写っている部分を除去する。これによって、複数地点の同時撮影が可能になる。さらに、カメラの撮影位置は、格子状に限らず、図１３に示すように、外縁部と主要なオブジェクト周辺だけを撮影することで、撮影効率を上げることもできる。
【００９６】
［実施形態例９］
これまで述べた方法は、全方位写真画像を全方位写真撮影カメラによって撮影した場合を述べたが、そのカメラはビデオカメラのような映像撮影カメラであっても構わない。
【００９７】
図１５にそのカメラの例を示す。
【００９８】
このカメラは、ビデオカメラ７を８台使い、８方向の映像を同時に撮影できる。撮影者がカメラの中央（内側）に位置することで、撮影者が写ることも防いでいる。８方向以外の角度の映像については、８方向から撮影した映像を使って合成する。このようなカメラを使い、図１４に示すような経路で現実空間の撮影を行えば、効率的に複数の全方位写真画像情報を得ることができ、移動も容易なので、効率的な現実空間の取り込みが可能になる。
【００９９】
なお、このときのカメラ位置情報については、撮影時に赤外線情報等を使った位置検出を行い、それを映像とともに記録しても構わないし、撮影後に、カメラの移動速度や撮影内容物の位置関係等から求めても構わない。
【０１００】
［実施形態例１０］
本発明〈９〉の実施形態例を示す。図２１は、本発明〈９〉の実施形態例を示し、図２２は本発明〈９〉の実施形態例のうちオブジェクト画像検索の実施形態例を説明する画像内容検索手段の構成図である。
【０１０１】
図２１において、１は利用者位置入力手段、２は全方位写真点情報入力手段、３は全方位写真点情報蓄積手段、４は散策画像再生手段であり、前述の第１の実施形態例で説明した空間散策映像表示装置と同じ構成である。本実施形態例では、この構成に加えて、画像検索手段またはオブジェクト画像検索手段（画像内容検索手段）８を持つ。
【０１０２】
図２２は、８がオブジェクト画像検索手段である場合の例である。図２２において、１０はキーオブジェクト画像の入力手段、１１はキー画像の入力手段、１２は登録データ画像の入力手段、１３はオブジェクト画像の抽出手段、１４は特徴量の抽出手段、１５は特徴量の類似検索手段、１６は特徴量ＤＢ（データベース）の管理手段、１７は類似オブジェクト画像を含む画像の検索手段、１８は類似オブジェクト画像の出力手段、１９は類似画像の出力手段を表す。
【０１０３】
本実施形態例では、実写ベースの散策空間で蓄積されている実写画像に対し、画像の内容検索技術（画像検索およびオブジェクト画像検索）を適用する。つまり、第１〜第９の実施形態例で示した実写ベースの散策空間において、各点における、各方位の画像を事前に計算・作成する。この画像は、図２４の空間散策映像表示装置の全方位写真点情報蓄積手段３に蓄えられるが、その蓄積と同時に、図２２のオブジェクト画像検索手段における登録データ画像入力手段１２によりオブジェクト画像検索システムの登録データとして扱い、オブジェクト画像抽出手段１３によりオブジェクト画像を抽出し、特徴量抽出手段１４によりその特徴量を抽出して、特徴量データベース（ＤＢ）の作成を行い、特徴量ＤＢ管理手段１６で管理する。
【０１０４】
ここで、オブジェクト画像を検索する場合、利用者は空間内のオブジェクト検索用のキーとしてオブジェクト画像を、キーオブジェクト画像入力手段１０を介して特徴量抽出手段１５に入力する。あるいは、利用者がキーオブジェクトが含まれているキー画像をキー画像入力手段１１から入力した場合には、オブジェクト画像抽出手段１３によりオブジェクト画像を抽出して特徴量抽出手段１３に入力する。入力されたオブジェクト画像は、特徴量抽出手段１５により特徴量に変換される。特徴量の類似検索手段１５は、この変換された特徴量を用いて、特徴量ＤＢ管理手段１６で管理されている特徴量データベースに蓄積されている特徴量との類似検索を行い、検索結果として類似度の高い順に類似オブジェクト画像出力手段１８を介してオブジェクト画像を返却し、および、その位置と方向の情報を類似画像出力手段１９に返却する。この位置と方向の情報は、予め図２４の全方位写真点情報蓄積手段３に画像と共に蓄積されており、類似画像出力手段１９は、その情報に基づいて類似画像を出力する。
【０１０５】
このようなオブジェクト画像検索の応用例を示す。
【０１０６】
例えば、実写ベースの散策空間をモーターショー等の車の展示会と想定し、事前に格子状の各点または撮影コース上の各点における全方位写真を記録しておくとする。このデータから、より稠密な各点における全方向の画像を生成し、空間散策用システムに蓄積しておくと共に、その個々の写真から画像の内容検索のための特徴量を抽出してデータベースに登録しておく。
【０１０７】
検索時において、例えば利用者が書いた車の外形のスケッチを入力キーとすれば、その形に似た車が存在するのは展示スペース内のどの位置で、どの方向を向いて見たときなのかを検索することができる。
【０１０８】
［実施形態例１１］
本発明〈９〉のうち画像検索の実施形態例を示す。図２３は、本実施形態例を説明する画像検索手段の構成図である。図２３は、図２１における８が画像検索手段である場合の例である。
【０１０９】
図２３において、２０はキー画像の入力手段、２１は登録データ画像の入力手段、２２は特徴量の抽出手段、２３は特徴量の類似検索手段、２４は特徴量ＤＢ（データベース）の管理手段、２５は類似画像の出力手段を表す。
【０１１０】
本実施形態例においても、実写ベースの散策空間で蓄積されている実写画像に対し、画像の内容検索技術（画像検索およびオブジェクト画像検索）を適用する。つまり、第１〜第９の実施形態例で示した実写ベースの散策空間において、各点における、各方位の画像を事前に計算・作成する。この画像は、図２４の空間散策映像表示装置の全方位写真点情報蓄積手段３に蓄えられるが、その蓄積と同時に、図２３の画像検索手段における登録データ画像入力手段２１によりオブジェクト画像検索システムの登録データとして扱い、特徴量抽出手段２２によりその特徴量を抽出して、特徴量データベース（ＤＢ）の作成を行い、特徴量ＤＢ管理手段２４で管理する。
【０１１１】
ここで、画像を検索する場合、利用者は、空間内の画像検索用のキー画像を、キー画像入力手段２０を介して特徴量抽出手段２２に入力する。入力されたキー画像は、特徴量抽出手段２２により特徴量に変換される。特徴量の類似検索手段２３は、この変換された特徴量を用いて、特徴量ＤＢ管理手段２４で管理されている特徴量データベースに蓄積された特徴量との類似検索を行い、検索結果として類似度の高い順にその位置と方向の情報を類似画像出力手段２５に返却する。この位置と方向の情報は、予め図２４の全方位写真点情報蓄積手段３に画像と共に蓄積されており、類似画像出力手段２５は、その情報に基づいて類似画像を出力する。
【０１１２】
このような画像検索の応用例を示す。
【０１１３】
例えば、第１０の実施形態例と同様に、実写ベースの散策空間をモーターショー等の車の展示会と想定し、事前に格子状の各点または撮影コース上の各点における全方位写真を記録しておくとする。このデータから、より稠密な各点における全方向の画像を生成し、空間散策用システムに蓄積しておくと共に、その個々の写真から画像の内容検索のための特徴量を抽出してデータベースに登録しておく。
【０１１４】
検索時において、例えば利用者が撮影した写真を入力キーとした時、画像の内容検索を使って、類似写真を求め、その写真から、その写真が展示スペース内のどの位置で、どの方向を向いてとった写真なのかを求めることができる。
【０１１５】
［実施形態例１２］
本発明〈１０〉の実施形態例を示す。本実施形態例では、画像からのオブジェクトの抽出する際の抽出精度を改善するため、実写ベースの散策空間において、オブジェクトの手前側の実写画像と向こう側の実写画像（背景）の差分を利用する。つまり、同一方向を撮影した２枚（これは最低でも２枚必要という事を示しており、それ以上の枚数があった場合には、それらを同様に適用することができる）の実写映像があって、その間の距離が何らかの手段で与えられているとき、その２枚について、距離に基づいた画像の正規化、対応点の検出、差分からオブジェクトの抽出を行う。なお、対応点の検出時には、カメラのレンズ曲率等の補正が必要になる場合もあるが、その詳細は画像入力装置の特性に依存するので、ここでは詳細の議論を行わない。
【０１１６】
オブジェクト抽出方法の実施形態例を図２５、図２６を例として説明する。前述した空間散策映像表示の発明で示した図２５のような空間において、３点、ｘ１，ｘ２，ｘ３の方向１の画像が図２６（ａ），（ｂ），（ｃ）のようであったとする。
【０１１７】
まず、ｘ３地点とｘ２地点の画像に対して比較を行う。ｘ３地点画像の拡大（またはｘ２画像の縮小）により比較可能な状態に変換し、両画像中に共通して存在する領域において、その差分を抽出する。この例の場合は、その間にオブジェクトが存在しないので、その差は少ない。
【０１１８】
次に、ｘ２地点とｘ１地点の画像に対して比較を行う。これも同様にｘ２地点の画像の拡大（またはｘ１画像の縮小）を行い、両画像中に共通して存在する領域において、その差分を抽出する。この例の場合は、その間にオブジェクトＢが存在していたため、その差はそのオブジェクトが写っていた部分について大きくなり、オブジェクトの存在と、その形状が認識できる。
【０１１９】
以上は、ｘ１，ｘ２，ｘ３の３点のみの比較で説明したが、方向１上に多くの全方位写真点が存在する場合、その隣接画像との差分はとりやすくなり、精度は向上する。また、一般には背景画像からの差分をとっていく向き（最初にｘ１とｘ２を比較、次にｘ２とｘ３を比較する）に実行する。こうすると、最初に背景情報が与えられるので、オブジェクトが出現したことの認識（差分抽出）が容易になる。
【０１２０】
［実施形態例１３］
本実施形態例は、本発明による装置や方法をコンピュータで実現する実施形態例を示す。
【０１２１】
本実施形態例では、記録媒体の読取装置と、記録媒体から読み取ったプログラム等を記憶したり全方位写真点情報を蓄積保存したりして、それらを自由に読み出し可能なハードディスクやその他の記憶装置と、画像の補完や合成、画像内容の検索、オブジェクト抽出等の処理を行う際に画像データの保持等に必要なバッファやそれに準ずる装置と、所望の散策空間を表示、出力するディスプレイなどの出力装置と、利用者の散策空間内の位置や視線の方向を入力するためにキーボードやマウスなどの入力装置を備え、それらハードディスク、バッファ、出力装置及び入力装置などをあらかじめ定められた手順に基いて制御するコンピュータやそれに準ずる装置により、図２のフロー図や各実施形態例で示した本発明の方法の処理の手順ないしアルゴリズムを適宜、実行することが可能であり、その手順ないしアルゴリズムをコンピュータ等に実行させるためのプログラムを該コンピュータが読み取り可能な記録媒体、例えばフロッピーディスクやメモリカード、ＭＯ、ＣＤ−ＲＯＭなどに記録して配布することが可能である。
【０１２２】
【発明の効果】
以上で明らかなように、本発明〈１〉および〈２〉によって、全方位写真点情報による基本的な散策が可能になる。
【０１２３】
また、本発明〈３〉および〈４〉によって、位置や方向が自由な散策が可能になる。
【０１２４】
また、本発明〈５〉を用いれば、事前に任意位置での全方位写真点情報を計算することで、応答性能の向上が可能になる。
【０１２５】
また、本発明〈６〉および〈７〉を用いれば、撮影時の画像内ノイズを取り除くことが可能になる。
【０１２６】
これを応用すれば、一度に複数点の同時撮影を行い、さらに、その撮影画像内からカメラ自身を除去することも可能になる。
【０１２７】
以上によって、従来のＣＧによる散策空間、実写映像による散策空間の欠点をカバーした散策自由度が高く、臨場感のある散策空間を構成することが可能になる。
【０１２８】
また、移動とともに対応する位置と方向の画像を順次提示することで、なめらかな移動による散策が可能になる。この空間では、任意の位置における任意の角度の写真画像を見ることができる。
【０１２９】
また、本発明〈８〉によれば、従来の散策空間の提供技術と組み合わせることで、より個性のある空間演出が可能になる。
【０１３０】
また、本発明〈９〉によれば、実写をベースとする散策空間において、利用者から与えられたキー画像に類似する視点を持つ空間内での位置および方向、または利用者から与えられたキーオブジェクトに類似するオブジェクトの空間内での位置およびその方向の検索が可能になる。
【０１３１】
さらに、本発明〈１０〉によれば、空間内のオブジェクトの抽出処理において、そのオブジェクトの高精度な抽出を容易に行うことが可能になる。
【図面の簡単な説明】
【図１】本発明の空間散策映像表示装置の基本的な実施形態例を示す図である。
【図２】本発明の空間散策映像表示方法の基本的な実施形態例を示すフロー図である。
【図３】本発明〈８〉に対応する装置の実施形態例を示す図である。
【図４】本発明〈１〉，〈２〉に対応する全方位写真点群空間内を散策した経路の例を示す図である。
【図５】本発明〈１〉，〈３〉，〈４〉に対応する全方位写真点群空間内を散策した経路の例を示す図である。
【図６】（ａ），（ｂ）は、本発明における全方位写真点の配置の例を示す図である。
【図７】本発明〈３〉，〈４〉，〈６〉，〈７〉を説明する画像の位置関係を示す図である。
【図８】本発明〈３〉に対応する途中経路画像の補完合成を説明する例を示す図である。
【図９】本発明〈４〉に対応する全方位画像の合成を説明する例を示す図である。
【図１０】本発明〈６〉に対応する前景を拡大し画像中のノイズを除去する例を示す図である。
【図１１】本発明〈７〉に対応する奥景を縮小し画像中のノイズを除去する例を示す図である。
【図１２】上記実施形態例におけるカメラ撮影の方法を説明する図である。
【図１３】上記実施形態例における撮影地点を説明する図である。
【図１４】上記実施形態例における映像として撮影する経路例を説明する図である。
【図１５】上記実施形態例における全方位映像撮影カメラの例を説明する図である。
【図１６】散策空間の例を示す図である。
【図１７】図１６の散策空間を上部から見た図である。
【図１８】従来技術のＣＧによる散策空間とその散策経路例を示す図である。
【図１９】従来技術の実写映像による散策空間とその散策経路例を示す図である。
【図２０】従来技術のＣＧによる散策空間と実写映像による散策空間の組合せとその散策経路例を示す図である。
【図２１】本発明〈９〉の画像内容検索の実施形態例を説明する構成図である。
【図２２】本発明〈９〉のうちオブジェクト画像検索の実施形態例を説明する構成図である。
【図２３】本発明〈９〉のうち画像検索の例を説明する図である。
【図２４】本発明〈９〉に適用する空間散策映像表示装置の例である。
【図２５】本発明〈１０〉の実施形態例に関し、オブジェクト抽出に対応した撮影地点を説明する図である。
【図２６】（ａ），（ｂ），（ｃ）は、本発明〈１０〉の実施形態例に関し、オブジェクト抽出を説明する図である。
【符号の説明】
１…利用者位置入力手段
２…全方位写真点情報入力手段
３…全方位写真点情報蓄積手段
４…散策画像再生手段
５…ＣＧによる空間散策再生手段
６…実写映像による空間散策再生手段
７…ビデオカメラ
８…画像検索手段またはオブジェクト画像検索手段
１０…キーオブジェクト画像入力手段
１１…キー画像入力手段
１２…登録データ画像入力手段
１３…オブジェクト画像抽出手段
１４…特徴量抽出手段
１５…特徴量類似検索手段
１６…特徴量ＤＢ（データベース）管理手段
１７…類似オブジェクト画像を含む画像検索手段
１８…類似オブジェクト画像出力手段
１９…類似画像出力手段
２０…キー画像入力手段
２１…登録データ画像入力手段
２２…特徴量抽出手段
２３…特徴量類似検索手段
２４…特徴量ＤＢ（データベース）管理手段
２５…類似画像出力手段
Claims (21)
- 空間散策映像を利用者に提供するシステムにおいて、現実の空間内の撮影位置の情報とその位置における全方位の写真画像を全方位写真点情報と呼び、その時の撮影位置を全方位写真点と呼ぶとき、
全方位写真点情報を全方位写真点情報蓄積手段に蓄積する第１の手順と、
散策する利用者からの、散策空間内における位置ｘおよびそのときの視線の方向θを入力する第２の手順と、
前記入力された利用者の位置ｘと視線の方向θに該当する散策画像を前記全方位写真点情報蓄積手段から検索し、再生する第３の手順と、
前記第２の手順と第３の手順を繰り返すことで、利用者が前記位置ｘを移動した場合には、その移動に対応する位置の画像を次々に提示し、利用者が前記視線の方向θを回転させた場合には、その回転に対応する方向の画像を次々に提示する第４の手順と、
を有し、
前記第２の手順において、全方位写真点以外の位置ｘにおける視線の方向θが入力された場合に、
前記第３の手順において、前記位置ｘを通る前記視線の方向θの直線上で、前記位置ｘを挟む２つの全方位写真点を全方位写真点情報蓄積手段から検索して２つの写真画像を求め、それらの写真画像を補完することで、前記位置ｘ、前記視線の方向θの写真画像を作成し、再生する、
ことを特徴とする空間散策映像表示方法。 - 空間散策映像を利用者に提供するシステムにおいて、現実の空間内の撮影位置の情報とその位置における全方位の写真画像を全方位写真点情報と呼び、その時の撮影位置を全方位写真点と呼ぶとき、
全方位写真点情報を全方位写真点情報蓄積手段に蓄積する第１の手順と、
散策する利用者からの、散策空間内における位置ｘおよびそのときの視線の方向θを入力する第２の手順と、
前記入力された利用者の位置ｘと視線の方向θに該当する散策画像を前記全方位写真点情報蓄積手段から検索し、再生する第３の手順と、
前記第２の手順と第３の手順を繰り返すことで、利用者が前記位置ｘを移動した場合には、その移動に対応する位置の画像を次々に提示し、利用者が前記視線の方向θを回転させた場合には、その回転に対応する方向の画像を次々に提示する第４の手順と、
を有し、
前記第２の手順において、全方位写真点以外の位置ｘにおける視線の方向θが入力された場合に、
前記第３の手順において、前記位置ｘを通る前記視線の方向θの直線上で、前記位置ｘを挟む２つの全方位写真点が全方位写真点情報蓄積手段に存在しない場合、または、存在しても前記位置ｘから距離的に離れており補完した写真画像の精度が悪い場合に、前記位置ｘを通る前記視線の方向θの直線に近い方向を持つ直線上で、前記位置ｘを挟む２つの方向の写真画像を前記全方位写真点情報蓄積手段から検索して求め、それらの写真画像を重ねて合成することにより、前記位置ｘ、前記視線の方向θの写真画像を作成し、再生する、
ことを特徴とする空間散策映像表示方法。 - 前記第２の手順において、全方位写真点以外の位置ｘにおける視線の方向θが入力された場合に、
前記第３の手順において、前記位置ｘを通る前記視線の方向θの直線上で、前記位置ｘを挟む２つの全方位写真点が全方位写真点情報蓄積手段に存在しない場合、または、存在しても前記位置ｘから距離的に離れており補完した写真画像の精度が悪い場合に、前記位置ｘを通る前記視線の方向θの直線に近い方向を持つ直線上で、前記位置ｘを挟む２つの方向の写真画像を前記全方位写真点情報蓄積手段から検索して求め、それらの写真画像を重ねて合成することにより、前記位置ｘ、前記視線の方向θの写真画像を作成し、再生する、
ことを特徴とする請求項１記載の空間散策映像表示方法。 - 空間散策映像を利用者に提供するシステムにおいて、現実の空間内の撮影位置の情報とその位置における全方位の写真画像を全方位写真点情報と呼び、その時の撮影位置を全方位写真点と呼ぶとき、
全方位写真点情報を全方位写真点情報蓄積手段に蓄積する第１の手順と、
散策する利用者からの、散策空間内における位置ｘおよびそのときの視線の方向θを入力する第２の手順と、
前記入力された利用者の位置ｘと視線の方向θに該当する散策画像を前記全方位写真点情報蓄積手段から検索し、再生する第３の手順と、
前記第２の手順と第３の手順を繰り返すことで、利用者が前記位置ｘを移動した場合には、その移動に対応する位置の画像を次々に提示し、利用者が前記視線の方向θを回転させた場合には、その回転に対応する方向の画像を次々に提示する第４の手順と、
を有し、
前記第１の手順の前に、実際に撮影した全方位写真点情報を前記全方位写真点情報蓄積手段に入力する手順を持ち、
前記入力する手順において、前記実際に撮影した全方位写真点以外の位置においても、前記実際に撮影した全方位写真点情報をもとに請求項１記載の補完もしくは請求項２記載の合成により予め全方位写真点情報を作成し、前記全方位写真点情報蓄積手段に入力する、
ことを特徴とする空間散策映像表示方法。 - 空間散策映像を利用者に提供するシステムにおいて、現実の空間内の撮影位置の情報とその位置における全方位の写真画像を全方位写真点情報と呼び、その時の撮影位置を全方位写真点と呼ぶとき、
全方位写真点情報を全方位写真点情報蓄積手段に蓄積する第１の手順と、
散策する利用者からの、散策空間内における位置ｘおよびそのときの視線の方向θを入力する第２の手順と、
前記入力された利用者の位置ｘと視線の方向θに該当する散策画像を前記全方位写真点情報蓄積手段から検索し、再生する第３の手順と、
前記第２の手順と第３の手順を繰り返すことで、利用者が前記位置ｘを移動した場合には、その移動に対応する位置の画像を次々に提示し、利用者が前記視線の方向θを回転させた場合には、その回転に対応する方向の画像を次々に提示する第４の手順と、
を有し、
前記第１の手順の前に、全方位写真点情報を全方位写真点情報蓄積手段に入力する手順を持ち、
前記入力する手順において、全方位写真の撮影時に、位置ｙにおいて動いている物体が写真Ｂ内にノイズ物体として写り込んだ場合、前記全方位写真点情報蓄積手段から前記位置ｙを通る前記撮影時の方向と同一方向の直線上で物体の手前側で撮影した前景写真Ｆを求め、この前景写真Ｆ内で、前記写真Ｂのノイズ物体に対応する部分を求め、その部分を拡大し、前記写真Ｂのノイズ物体の写る位置に張り込むことによって、前記写真Ｂの全方位写真内から前記ノイズ物体を除去する、
ことを特徴とする空間散策映像表示方法。 - 前記第１の手順の前に、全方位写真点情報を全方位写真点情報蓄積手段に入力する手順を持ち、
前記入力する手順において、全方位写真の撮影時に、位置ｙにおいて動いている物体が写真Ｂ内にノイズ物体として写り込んだ場合、前記全方位写真点情報蓄積手段から前記位置ｙを通る前記撮影時の方向と同一方向の直線上で物体の手前側で撮影した前景写真Ｆを求め、この前景写真Ｆ内で、前記写真Ｂのノイズ物体に対応する部分を求め、その部分を拡大し、前記写真Ｂのノイズ物体の写る位置に張り込むことによって、前記写真Ｂの全方位写真内から前記ノイズ物体を除去する、
ことを特徴とする請求項１，２，３のいずれかに記載の空間散策映像表示方法。 - 空間散策映像を利用者に提供するシステムにおいて、現実の空間内の撮影位置の情報とその位置における全方位の写真画像を全方位写真点情報と呼び、その時の撮影位置を全方位写真点と呼ぶとき、
全方位写真点情報を全方位写真点情報蓄積手段に蓄積する第１の手順と、
散策する利用者からの、散策空間内における位置ｘおよびそのときの視線の方向θを入力する第２の手順と、
前記入力された利用者の位置ｘと視線の方向θに該当する散策画像を前記全方位写真点情報蓄積手段から検索し、再生する第３の手順と、
前記第２の手順と第３の手順を繰り返すことで、利用者が前記位置ｘを移動した場合には、その移動に対応する位置の画像を次々に提示し、利用者が前記視線の方向θを回転させた場合には、その回転に対応する方向の画像を次々に提示する第４の手順と、
を有し、
前記第１の手順の前に、全方位写真点情報を全方位写真点情報蓄積手段に入力する手順を持ち、
前記入力する手順において、全方位写真の撮影時に、位置ｙにおいて静止または動いている物体が写真Ｆ内にノイズ物体として写り込んだ場合、前記全方位写真点情報蓄積手段から前記位置ｙを通る前記撮影時の方向と同一方向の直線上でノイズ物体の向こう側で撮影した奥景写真Ｂを求め、この奥景写真Ｂ内で、前記写真Ｆのノイズ物体に対応する部分を求め、その部分を縮小し、前記写真Ｆのノイズ物体の写る位置に張り込むことによって、前記写真Ｆの全方位写真内から前記ノイズ物体を除去する、
ことを特徴とする空間散策映像表示方法。 - 前記第１の手順の前に、全方位写真点情報を全方位写真点情報蓄積手段に入力する手順を持ち、
前記入力する手順において、全方位写真の撮影時に、位置ｙにおいて静止または動いている物体が写真Ｆ内にノイズ物体として写り込んだ場合、前記全方位写真点情報蓄積手段から前記位置ｙを通る前記撮影時の方向と同一方向の直線上でノイズ物体の向こう側で撮影した奥景写真Ｂを求め、この奥景写真Ｂ内で、前記写真Ｆのノイズ物体に対応する部分を求め、その部分を縮小し、前記写真Ｆのノイズ物体の写る位置に張り込むことによって、前記写真Ｆの全方位写真内から前記ノイズ物体を除去する、
ことを特徴とする請求項１，２，３のいずれかに記載の空間散策映像表示方法。 - 空間散策映像を利用者に提供するシステムにおいて、現実の空間内の撮影位置の情報とその位置における全方位の写真画像を全方位写真点情報と呼び、その時の撮影位置を全方位写真点と呼ぶとき、
全方位写真点情報を蓄積する全方位写真点情報蓄積手段と、
散策する利用者から、空間内における位置ｘおよびそのときの視線の方向θを入力する利用者位置入力手段と、
前記利用者位置入力手段で得られた前記位置ｘおよび視線の方向θに該当する画像を全方位写真点情報蓄積手段から検索し、再生する散策画像再生手段と、
を有し、
前記散策画像再生手段は、利用者が前記位置ｘを移動した場合には、その移動に対応する位置の画像を次々に提示し、利用者が前記視線の方向θを回転させた場合には、その回転に対応する視線の方向の画像を次々に提示するものとし、
前記利用者位置入力手段から全方位写真点以外の位置ｘにおける視線の方向θが入力された場合に、全方位写真点情報蓄積手段から、前記位置ｘを通る前記視線の方向θの直線上で、前記位置ｘを挟む２つの全方位写真点を検索して２つの写真画像を求め、それらの写真画像を補完することで、前記位置ｘ、前記視線の方向θの写真画像を作成し、再生するものである、
ことを特徴とする空間散策映像表示装置。 - 空間散策映像を利用者に提供するシステムにおいて、現実の空間内の撮影位置の情報とその位置における全方位の写真画像を全方位写真点情報と呼び、その時の撮影位置を全方位写真点と呼ぶとき、
全方位写真点情報を蓄積する全方位写真点情報蓄積手段と、
散策する利用者から、空間内における位置ｘおよびそのときの視線の方向θを入力する利用者位置入力手段と、
前記利用者位置入力手段で得られた前記位置ｘおよび視線の方向θに該当する画像を全方位写真点情報蓄積手段から検索し、再生する散策画像再生手段と、
を有し、
前記散策画像再生手段は、利用者が前記位置ｘを移動した場合には、その移動に対応する位置の画像を次々に提示し、利用者が前記視線の方向θを回転させた場合には、その回転に対応する視線の方向の画像を次々に提示するものとし、
前記利用者位置入力手段から全方位写真点以外の位置ｘにおける視線の方向θが入力された場合に、全方位写真点情報蓄積手段に、前記位置ｘを通る前記視線の方向θの直線上で前記位置ｘを挟む２つの全方位写真点が存在しない場合、または、存在しても前記位置ｘから距離的に離れており補完した画像の精度が悪い場合に、前記位置ｘを通る前記視線の方向θの直線に近い方向を持つ直線上で、前記位置ｘを挟む２つの方向の写真画像を求め、それらの写真画像を重ねて合成することにより、前記位置ｘ、前記視線の方向θの写真画像を作成し、再生するものである、
ことを特徴とする空間散策映像表示装置。 - 前記利用者位置入力手段から全方位写真点以外の位置ｘにおける視線の方向θが入力された場合に、全方位写真点情報蓄積手段に、前記位置ｘを通る前記視線の方向θの直線上で前記位置ｘを挟む２つの全方位写真点が存在しない場合、または、存在しても前記位置ｘから距離的に離れており補完した画像の精度が悪い場合に、前記位置ｘを通る前記視線の方向θの直線に近い方向を持つ直線上で、前記位置ｘを挟む２つの方向の写真画像を求め、それらの写真画像を重ねて合成することにより、前記位置ｘ、前記視線の方向θの写真画像を作成し、再生するものである、
ことを特徴とする請求項９記載の空間散策映像表示装置。 - 空間散策映像を利用者に提供するシステムにおいて、現実の空間内の撮影位置の情報とその位置における全方位の写真画像を全方位写真点情報と呼び、その時の撮影位置を全方位写真点と呼ぶとき、
全方位写真点情報を蓄積する全方位写真点情報蓄積手段と、
散策する利用者から、空間内における位置ｘおよびそのときの視線の方向θを入力する利用者位置入力手段と、
前記利用者位置入力手段で得られた前記位置ｘおよび視線の方向θに該当する画像を全方位写真点情報蓄積手段から検索し、再生する散策画像再生手段と、
を有し、
前記散策画像再生手段は、利用者が前記位置ｘを移動した場合には、その移動に対応する位置の画像を次々に提示し、利用者が前記視線の方向θを回転させた場合には、その回転に対応する視線の方向の画像を次々に提示するものとし、
全方位写真点情報を入力する全方位写真点情報入力手段を新たに備え、
該全方位写真点情報入力手段は、請求項１記載の補完により任意位置の画像を作成する手段、および、請求項２記載の合成により任意視線の方向の画像を作成する手段を有し、実際に撮影した全方位写真点以外の位置においても予め全方位写真点情報を作成するものとし、
前記全方位写真点情報蓄積手段は、前記作成された全方位写真点以外の位置における全方位写真点情報をも蓄積しておくものとする、
ことを特徴とする空間散策映像表示装置。 - 空間散策映像を利用者に提供するシステムにおいて、現実の空間内の撮影位置の情報とその位置における全方位の写真画像を全方位写真点情報と呼び、その時の撮影位置を全方位写真点と呼ぶとき、
全方位写真点情報を蓄積する全方位写真点情報蓄積手段と、
散策する利用者から、空間内における位置ｘおよびそのときの視線の方向θを入力する利用者位置入力手段と、
前記利用者位置入力手段で得られた前記位置ｘおよび視線の方向θに該当する画像を全方位写真点情報蓄積手段から検索し、再生する散策画像再生手段と、
を有し、
前記散策画像再生手段は、利用者が前記位置ｘを移動した場合には、その移動に対応する位置の画像を次々に提示し、利用者が前記視線の方向θを回転させた場合には、その回転に対応する視線の方向の画像を次々に提示するものとし、
全方位写真点情報を入力する全方位写真点情報入力手段を新たに備え、
前記全方位写真点情報入力手段は、全方位写真の撮影時に位置ｙにおいて動いている物体が写真Ｂ内にノイズとして写り込んだ場合、前記全方位写真点情報蓄積手段から位置ｙを通る同一方向の直線上で物体の手前側で撮影した前景写真Ｆを求め、前記前景写真Ｆ内で、前記写真Ｂのノイズ物体に対応する部分を求め、その部分を拡大し、前記写真Ｂのノイズ物体の写る位置に張り込むことによって、前記写真Ｂの全方位写真内から前記ノイズ物体を除去するものとする、
ことを特徴とする空間散策映像表示装置。 - 全方位写真点情報を入力する全方位写真点情報入力手段を新たに備え、
前記全方位写真点情報入力手段は、全方位写真の撮影時に位置ｙにおいて動いている物体が写真Ｂ内にノイズとして写り込んだ場合、前記全方位写真点情報蓄積手段から位置ｙを通る同一方向の直線上で物体の手前側で撮影した前景写真Ｆを求め、前記前景写真Ｆ内で、前記写真Ｂのノイズ物体に対応する部分を求め、その部分を拡大し、前記写真Ｂのノイズ物体の写る位置に張り込むことによって、前記写真Ｂの全方位写真内から前記ノイズ物体を除去するものとする、
ことを特徴とする請求項９，１０，１１のいずれかに記載の空間散策映像表示装置。 - 空間散策映像を利用者に提供するシステムにおいて、現実の空間内の撮影位置の情報とその位置における全方位の写真画像を全方位写真点情報と呼び、その時の撮影位置を全方位写真点と呼ぶとき、
全方位写真点情報を蓄積する全方位写真点情報蓄積手段と、
散策する利用者から、空間内における位置ｘおよびそのときの視線の方向θを入力する利用者位置入力手段と、
前記利用者位置入力手段で得られた前記位置ｘおよび視線の方向θに該当する画像を全方位写真点情報蓄積手段から検索し、再生する散策画像再生手段と、
を有し、
前記散策画像再生手段は、利用者が前記位置ｘを移動した場合には、その移動に対応する位置の画像を次々に提示し、利用者が前記視線の方向θを回転させた場合には、その回転に対応する視線の方向の画像を次々に提示するものとし、
全方位写真点情報を入力する全方位写真点情報入力手段を新たに備え、
前記全方位写真点情報入力手段は、全方位写真の撮影時に、位置ｙにおいて静止または動いている物体が写真Ｆ内にノイズとして写り込んだ場合、前記全方位写真点情報蓄積手段から、前記位置ｙを通る同一方向の直線上で物体の向こう側で撮影した奥景写真Ｂを求め、前記奥景写真Ｂ内で、前記写真Ｆのノイズ物体に対応する部分を求め、その部分を縮小し、前記写真Ｆのノイズ物体の写る位置に張り込むことによって、前記写真Ｆの全方位写真内から前記ノイズ物体を除去するものとする、
ことを特徴とする空間散策映像表示装置。 - 全方位写真点情報を入力する全方位写真点情報入力手段を新たに備え、
前記全方位写真点情報入力手段は、全方位写真の撮影時に、位置ｙにおいて静止または動いている物体が写真Ｆ内にノイズとして写り込んだ場合、前記全方位写真点情報蓄積手段から、前記位置ｙを通る同一方向の直線上で物体の向こう側で撮影した奥景写真Ｂを求め、前記奥景写真Ｂ内で、前記写真Ｆのノイズ物体に対応する部分を求め、その部分を縮小し、前記写真Ｆのノイズ物体の写る位置に張り込むことによって、前記写真Ｆの全方位写真内から前記ノイズ物体を除去するものとする、
ことを特徴とする請求項９，１０，１１のいずれかに記載の空間散策映像表示装置。 - 前記利用者位置入力手段は、利用者の位置と視線の方向とともにいずれの散策空間を表示するかの情報を入力するものとし、
前記散策画像再生手段は、ＣＧによる空間散策再生手段、または、実写映像による空間散策再生手段、または、それらの両方を持ち、前記利用者位置入力手段で得られたいずれの散策空間を表示するかの情報に基づいて、前記位置と視線の方向に該当する前記ＣＧによる空間散策再生手段で再生した散策空間、または前記実写映像で再生した散策空間、または前記全方位写真点情報により再生した散策空間を利用者に提示するものとする、
ことを特徴とする請求項９，１０，１１，１２，１３，１４，１５，１６のいずれかに記載の空間散策映像表示装置。 - 請求項１，２，３，４，５，６，７，８のいずれかに記載の空間散策映像表示方法における手順を、コンピュータに実行させるプログラムとして該コンピュータが読み取り可能である記録媒体に記録した、
ことを特徴とする空間散策映像表示方法を記録した記録媒体。 - 請求項１，２，３，４，５，６，７，８のいずれかに記載の空間散策映像表示方法、または９，１０，１１，１２，１３，１４，１５，１６のいずれかに記載の空間散策映像表示装置において蓄積された全方位写真点情報に対して、
同一方向で異なる複数の地点の画像を用い、その差分から、その間に存在するオブジェクトの形状を抽出する手順を有する、
ことを特徴とする空間内オブジェクト抽出方法。 - 空間散策映像を利用者に提供するシステムにおいて、現実の空間内の撮影位置の情報とその位置における全方位の写真画像を全方位写真点情報と呼び、その時の撮影位置を全方位写真点と呼ぶとき、
全方位写真点情報を蓄積する全方位写真点情報蓄積手段と、
散策する利用者から、空間内における位置ｘおよびそのときの視線の方向θを入力する利用者位置入力手段と、
前記利用者位置入力手段で得られた前記位置ｘおよび視線の方向θに該当する画像を全方位写真点情報蓄積手段から検索し、再生する散策画像再生手段と、
を有し、
前記散策画像再生手段は、利用者が前記位置ｘを移動した場合には、その移動に対応する位置の画像を次々に提示し、利用者が前記視線の方向θを回転させた場合には、その回転に対応する視線の方向の画像を次々に提示するものとし、
前記利用者位置入力手段は、利用者の位置と視線の方向とともにいずれの散策空間を表示するかの情報を入力するものとし、
前記散策画像再生手段は、ＣＧによる空間散策再生手段、または、実写映像による空間散策再生手段、または、それらの両方を持ち、前記利用者位置入力手段で得られたいずれの散策空間を表示するかの情報に基づいて、前記位置と視線の方向に該当する前記ＣＧによる空間散策再生手段で再生した散策空間、または前記実写映像で再生した散策空間、または前記全方位写真点情報により再生した散策空間を利用者に提示するものとする、
ことを特徴とする空間散策映像表示装置において蓄積された全方位写真点情報に対して、
同一方向で異なる複数の地点の画像を用い、その差分から、その間に存在するオブジェクトの形状を抽出する手順を有する、
ことを特徴とする空間内オブジェクト抽出方法。 - 請求項１９または２０に記載の空間内オブジェクト抽出方法における手順を、コンピュータに実行させるプログラムとして該コンピュータが読み取り可能である記録媒体に記録した、
ことを特徴とする空間内オブジェクト抽出方法を記録した記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP04909098A JP3566530B2 (ja) | 1998-01-08 | 1998-03-02 | 空間散策映像表示方法及び空間内オブジェクト検索方法及び空間内オブジェクト抽出方法及びそれらの装置及びそれらの方法を記録した記録媒体 |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP199298 | 1998-01-08 | ||
| JP10-1992 | 1998-01-08 | ||
| JP04909098A JP3566530B2 (ja) | 1998-01-08 | 1998-03-02 | 空間散策映像表示方法及び空間内オブジェクト検索方法及び空間内オブジェクト抽出方法及びそれらの装置及びそれらの方法を記録した記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH11259673A JPH11259673A (ja) | 1999-09-24 |
| JP3566530B2 true JP3566530B2 (ja) | 2004-09-15 |
Family
ID=26335299
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP04909098A Expired - Fee Related JP3566530B2 (ja) | 1998-01-08 | 1998-03-02 | 空間散策映像表示方法及び空間内オブジェクト検索方法及び空間内オブジェクト抽出方法及びそれらの装置及びそれらの方法を記録した記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3566530B2 (ja) |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001008232A (ja) | 1999-06-25 | 2001-01-12 | Matsushita Electric Ind Co Ltd | 全方位映像出力方法と装置 |
| US7096428B2 (en) * | 2001-09-28 | 2006-08-22 | Fuji Xerox Co., Ltd. | Systems and methods for providing a spatially indexed panoramic video |
| JP2003219389A (ja) * | 2002-01-18 | 2003-07-31 | Nippon Telegr & Teleph Corp <Ntt> | 映像配信方法及びシステム及び装置及びユーザ端末及び映像配信プログラム及び映像配信プログラムを格納した記憶媒体 |
| US7443402B2 (en) | 2002-11-25 | 2008-10-28 | Mentorwave Technologies Ltd. | Method and apparatus for virtual walkthrough |
| GB2413718A (en) * | 2004-04-30 | 2005-11-02 | Hewlett Packard Development Co | Automatic view generation from recording photographer's eye movements |
| JP2007011607A (ja) * | 2005-06-29 | 2007-01-18 | Mitsubishi Electric Corp | 地図検索装置および携帯端末 |
| JP2008288767A (ja) * | 2007-05-16 | 2008-11-27 | Sony Corp | 情報処理装置および方法、並びにプログラム |
| KR101877901B1 (ko) * | 2016-12-29 | 2018-07-12 | 세종대학교산학협력단 | Vr영상을 제공하는 방법 및 그 전자 장치 |
| JP6775776B2 (ja) | 2017-03-09 | 2020-10-28 | 株式会社岩根研究所 | 自由視点移動表示装置 |
| WO2021075307A1 (ja) * | 2019-10-15 | 2021-04-22 | ソニー株式会社 | 情報処理装置、情報処理方法および情報処理プログラム |
| US11386151B2 (en) | 2020-04-11 | 2022-07-12 | Open Space Labs, Inc. | Image search in walkthrough videos |
-
1998
- 1998-03-02 JP JP04909098A patent/JP3566530B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH11259673A (ja) | 1999-09-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10902676B2 (en) | System and method of controlling a virtual camera | |
| JP6775776B2 (ja) | 自由視点移動表示装置 | |
| JP5355422B2 (ja) | ビデオの索引付けとビデオシノプシスのための、方法およびシステム | |
| JP4972095B2 (ja) | 映像概要を生成する方法およびシステム | |
| JP4956375B2 (ja) | 画像処理装置、画像処理方法 | |
| DeCamp et al. | An immersive system for browsing and visualizing surveillance video | |
| JP6415675B1 (ja) | 生成装置、生成方法及びプログラム | |
| US20130321575A1 (en) | High definition bubbles for rendering free viewpoint video | |
| US8754959B2 (en) | Image processing device, dynamic image reproduction device, and processing method and program in them | |
| Tompkin et al. | Videoscapes: exploring sparse, unstructured video collections | |
| JP2009516257A5 (ja) | ||
| JP3566530B2 (ja) | 空間散策映像表示方法及び空間内オブジェクト検索方法及び空間内オブジェクト抽出方法及びそれらの装置及びそれらの方法を記録した記録媒体 | |
| CN108509621B (zh) | 景区全景图的景点识别方法、装置、服务器和存储介质 | |
| JP3751770B2 (ja) | ３次元形状生成装置 | |
| JP2020515091A (ja) | 仮想カメラを構成する方法、システム及び装置 | |
| US20230222791A1 (en) | Systems and methods for providing video presentation and video analytics for live sporting events | |
| JP5612457B2 (ja) | 動画像表示装置と動画像オブジェクト探索システムと動画像表示方法とプログラム | |
| JP5047102B2 (ja) | ３次元動画像再生装置及び付加情報検索方法とプログラム | |
| JP2005174024A (ja) | 画像生成装置及び方法 | |
| JP7265825B2 (ja) | 生成装置、生成方法およびプログラム | |
| JPH1173489A (ja) | 画像保存方法及び機械読み取り可能媒体 | |
| Hsieh et al. | Photo navigator | |
| KR101934799B1 (ko) | 파노라마 영상을 이용하여 새로운 컨텐츠를 생성하는 방법 및 시스템 | |
| US20230156177A1 (en) | Information processing apparatus, information processing method, and storage medium | |
| WO2023145571A1 (ja) | 情報処理装置、情報処理方法、データ構造及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20031222 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040119 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20040302 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040401 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20040506 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040608 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040610 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090618 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |