JP5696996B2 - 画像表示システム - Google Patents

Description

本発明は、広く画像表示システムに関し、特にデータベース及び画像認識機能を備えた画像表示システムに関する。

サーバ装置、及びパソコン、ＰＤＡ、携帯電話等の端末装置の処理能力の向上、ならびに、コンピュータ・ネットワークやインターネット環境の進展に伴い、動画や静止画等の視覚情報の提供形態が多様化している。例えば、インターネットではリンクの概念が発達し、Ｗｅｂページ中にリンク可能に配置されたテキストや画像をクリックして、関連する他のＷｅｂページに遷移し、関連するファイルをダウンロードすることができる。リンク先が音声ファイルや動画ファイルの場合には、必要に応じてその場で再生（例えば、ストリーミング再生）することができる。

近年においては、地理的な位置に関連する情報を提供する地図情報提供サービスが進歩してきており、例えば、特許文献１に開示された地図情報提供サービスがある。このサービスは、デジタル地図を表示することにおいて使用するための装置であって、デジタル地図データから作成された地図に関連する１セットの地図タイルを生成するための手段と、クライアントから受信した、場所情報を含む候補の場所データを解釈するための手段と、前記候補の場所データから前記場所情報を決定するための手段と、前記場所情報に関連する要求された地図タイルを前記クライアントへ提供するための手段と、を備える装置である。

特許文献１の出願人は、２００５年よりグーグル・アース（Google Earth）と呼ばれる仮想地球儀閲覧サービスの提供を開始している（日本において、http://earth.google.co.jp/）。このサービスは、地球上の衛星写真画像をサーバ上で合成しユーザに提供するもので、端末装置から閲覧したユーザは、まるで地球儀を回して見ているかのように世界中の衛星写真を見ることができる。また、高解像度画像が用意された地域では、高度数十メートルにまで降下（ズームイン）することができ、航空写真を閲覧しているような体験ができる。また、同社は、２００７年よりグーグル・ストリートビュー（Google Street View）と呼ばれるＷｅｂサービスを開始している（日本において、http://www.google.co.jp/help/maps/streetview/）。このサービスは、屋根にカメラを搭載した車を多数、街中を走らせて収集した３６０度パノラマ画像をサーバ上で合成しユーザに提供するサービスである。端末装置から閲覧したユーザは、パノラマ画像をたどって前後左右にストリートを移動することができ、あたかも街中を走行しているかのような疑似体験ができる。ユーザは、視野を上下左右に変えることもでき、ズームイン及びズームアウトも可能である。このストリートビューは、同社が先行して提供してきたグーグル・マップ（Google Map）、及びグーグル・アース（Google Earth）と連携している。

一方で、コンピュータの技術の進歩ともに研究が進んだテーマに画像認識技術がある。コンピュータを使った画像認識の研究は、１９６０年代より始められた。以来、計算機の高速化と機械学習技術の進歩とともに、線画解釈（１９７０年代）、人手によるルールや幾何形状モデルによって構築された知識データベースに基づく認知モデル、及び３次元モデル表現（１９８０年代）といった研究が進み。１９９０年代に入ると、特に顔画像の認識や学習による認識に関する研究が盛んになった。

画像認識研究は、顔画像の認識から一般的な物体への認識へと発展した。２０００年代になると、計算機能力の一層の向上により、統計処理や学習処理のために必要な膨大な計算量を処理可能になったため、一般物体認識に関する研究が進んだ。一般物体認識とは、実世界のシーンに対する画像に対して、計算機がその画像中に含まれる物体を一般的な名称で認識する技術である。８０年代には、人手によってルールやモデルの構築がなされていたのに対し、大量のデータを高速に処理可能になったこの時期には統計的機械学習によるアプローチが注目され、近年の一般物体認識ブームのきっかけとなった。一般物体認識技術によれば、画像に対するキーワードを自動的に付与することが可能になり、画像をその意味内容によって分類及び検索することが可能になる。計算機によって人間の認識機能を実現することが究極の目標とされている（非特許文献１）。

一般物体認識技術は、画像データベースからのアプローチと統計的確率手法の導入によって進歩した。その中でも先駆的な研究として、画像に人手でキーワードを付与したデータから対応付けを学習し物体認識を行なう手法（非特許文献２）や、局所特徴量に基づく手法（非特許文献３）がある。また、局所特徴量による特定物体認識に関する研究にＳＩＦＴ法（非特許文献４）、及びＶｉｄｅｏ Ｇｏｏｇｌｅ（非特許文献５）がある。

そして、２００４年に、"Bag-of-Keypoints"あるいは"Bag-of-Features"と呼ばれる手法が発表された。この手法は、画像をビジュアル・ワード（visual word）と呼ばれる代表的な局所パターン画像片の出現頻度ヒストグラムで表現する。具体的には、ＳＩＦＴ法に基づいた特徴点抽出を行い、あらかじめ求められた複数のビジュアル・ワードに基づいてＳＩＦＴ特徴ベクトルをベクトル量子化し、画像ごとにヒストグラムを生成するものである。このように生成されたヒストグラムの次元数は、数百〜数千次元のスパース（sparse）なベクトルになる。そして、これらのベクトルは、多次元ベクトルの分類問題として処理されることにより画像認識処理が行われる（非特許文献６）。

特表２００７−５３１００４号公報

柳井啓司, "一般物体認識の現状と今後", 情報処理学会論文誌, Vol.48, No.SIG16(CVIM19), pp.1-24, 2007. Pinar Duygulu, Kobus Barnard, Nando de Freitas, David Forsyth, "Object Recognition as Machine Translation: Learning a lexicon for a fixed image vocabulary," European Conference on Computer Vision (ECCV), pp.97-112, 2002. R. Fergus, P. Perona, and A. Zisserman, "Object Class Recognition by Unsupervised Scale-invariant Learning," IEEE Conf. on Computer Vision and Pattern Recognition, pp.264-271, 2003. David G.Lowe, "Object Recognition from Local Scale-Invariant Features," Proc. IEEE International Conference on Computer Vision, pp.1150-1157, 1999. J. Sivic and A. Zisserman, "Video google: A text retrieval approach to object matching in videos," Proc. ICCV2003, Vol. 2, pp.1470-1477, 2003. G. Csurka, C. Bray, C. Dance, and L. Fan, "Visual categorization with bags of keypoints," Proc. ECCV Workshop on Statistical Learning in Computer Vision, pp.1-22, 2004.

しかしながら、従来のインターネットブラウジングでは、あらかじめリンクが貼られていなければ興味をもった物体についての情報をたどることができないという課題がある。そこで、ネットワーク検索エンジンを使用することになるが、検索キーワード（テキスト文字）を自ら考えなければならないため、興味を持った対象について適切なキーワードが選択されていない場合も多かった。つまり、本当に欲しい情報が即座に確実に入手できないという根本的な課題があった。

また、上記した地図提供サービスにおいては、平面的な地図画像を提供するものよりは俯瞰性及び移動性の高いサービスが提供できる。しかし、ユーザが端末装置の表示画面で見ている画像はあくまでも２次元的に張り付けられた画像に過ぎず、現実感はその画像データの解像度に制約されてしまう。つまり、見ている地図画像を最大に拡大して得られるものは、粗い画素片の並びである。

しかも、これまでの技術においては、モデルデータに対する時間軸移動の概念が乏しく、時空間移動の観点からは限界があった。

そこで、本発明は、システムより配信された画像において、ユーザが着目した物体をあたかも手にとって動かしているかのように閲覧したり、画像におかれた特定物体の中に進入することが可能になったり、画像におかれた物体について時間軸移動を行うことが可能な画像表示システムを提供することを目的とする。

ここで、発明者らが追求する時空間について述べておく。
われわれ人間は、認知空間に生きている。
人間が認知できる様々な情報（写真や動画、音など）は、対象物それ自体は十分詳細な情報は有していない場合であっても、人間が蓄積した知識や経験をもとに脳により知識処理をすることにより瞬時に補完され、対象物が正確に何者であるか判断することが可能である。
本発明では、このような人間が有する特徴をコンピュータに適用する方法を提供する。個々の人間の知識データベースは、脳内に収納可能な量に限定される。また、人類全体の知識は遥かに大きいものの、即時に包括して参照し的確な判断を行うことはできない（例えば、地球上の７０億人＋過去の全ての人類の知識）。
これらの知識は、コンピュータシステム上の膨大なデータベースとして時間をかけて集積し、学習（ＡＩ）により進化可能である。
これらにより、将来、人間の認知能力・判断能力を遥かに超える人工知能システムの誕生が期待できる。この基本となるデータベースに、時間軸情報を含ませることにより、４次元の時空間を参照や移動が可能となる。
この基本となるデータベースを「マザーデータベース」と呼ぶ。

われわれの日常をよく観察してみると、広範な時代の広範な地域の事物を高度な情報伝達によって見知ることができるようになったが、そこには、常に資料の精細度や物体の保存状態に起因する情報密度の限界が存在していた。われわれが追求する世界は、人間の五感や知識で捕捉可能な情報量を超えた"The object"であり、"The space"であり、"The world"である。これらは現実世界の詳細を記述したものであり、メタバースやバーチャル世界といった擬似現実とは全くその本質を異とするものである。

博物館は様々な事物を現物として収集しているが、上記システムは、それらをいつの時点でも認識・再構築可能なＡＩシステム上の「マザーデータベース」として蓄積・成長させるものである。

仮に、多くの物体が千年後に消失してしまっても、ＡＩシステム上の「マザーデータベース」に物体は存在し続ける。未来の考古学は、地層を掘ったり、アイソトープによる年代測定をすること以外に、マザーデータベースを未来人がマイニングすることで実践されることになるだろう。そうした意味においても、マザーデータベースは、人類にとって最も重要な記憶であり、財産となる。

本発明に係る画像表示システムは、物体を構成するためのデータベースから再構成されたマザーデータベース（ＭＤＢ）をもとに特定物体認識された物体を、全体の画像の中におけるＭＤＢをもとにした画像（２次元画像、３次元空間、４次元時空間）に置換し、合成表示することを特徴とする。

また、本発明に係る画像表示システムにおいて置換された特定物体画像を、全体の画像とは異なる座標系に配置し、個別に回転・拡大・縮小表示可能なことを特徴とする。

また、本発明に係る画像表示システムにおいて置換された特定物体が有する、及び参照可能なリンク先から入手した詳細な情報を元に、入力画像が有する当初の情報量を遥かに超える詳細な物体の拡大や縮小、内部構造を含む広範囲な閲覧を可能にすることを特徴とする。

また、置換された特定物体画像に含まれる時間軸情報を利用して、画像全体及び／又は個々の特定物体の任意の時間における状況を閲覧可能にすることを特徴とする。

特定の時間において未存在の物体は、非表示及び／又は非表示状態を表す文字・記号・特定の色やパターンで明示することを特徴とする。

本発明に係る画像認識システムによれば、次のような効果を奏する。
（１）認識した物体を、データベースを元にレンダリングした詳細画像（例えば３次元モデル画像）に置換することにより、認識した物体についての視点の変更が可能になり、また、物体そのものの拡大縮小表示が可能になる。さらに、物体の内部構造まで存在する場合（例えば、建物データ）には、その内部構造に入り込む視点で物体内部の表現が可能となる。
（２）認識した物体に時間軸情報が含まれる場合（例えば、同じ車種のＣＡＤデータを年式ごとに有している場合や、建物のＣＡＤデータについて建築順序や建築年等の時間情報が含まれている場合）には、仮想空間に構築した街の時空間移動が可能となる。つまり、ユーザは、物体についての異なる外観（appearance）を閲覧することができ、より広範な場所における物体群についての異なる時間における外観を閲覧することが可能となる（例えば、昔の街並の再現）。

本発明に係る画像表示システムの一実施形態におけるシステム構成を説明する説明図である。 本発明に係る画像表示システムの一実施形態におけるサーバの機能ブロックを説明する説明図である。 本発明に係る画像表示システムの一実施形態における端末装置の機能ブロックを説明する説明図である。 本発明に係る画像表示システムの実施形態における動作フローを説明する説明図である。 本発明に係る画像表示システムの一実施形態における端末装置の表示画面例を説明する説明図である。 本発明に係る画像表示システムの一実施形態における端末装置の表示画面例を説明する説明図である。 本発明に係る画像表示システムの一実施形態における端末装置の表示画面例を説明する説明図である。 本発明に係る画像表示システムの一実施形態における端末装置の表示画面例を説明する説明図である。 本発明に係る画像表示システムの一実施形態における物体認識の処理フローを説明する説明図である。

以下、本発明に係る画像表示システムの一実施形態について説明する。

図１に、本発明に係る画像表示システムの一実施形態を示す。画像表示システム１００は、サーバ１０１と、ユーザが使用する端末装置１０５ａ〜１０５ｄとからなり、いずれのサーバ又は端末装置もネットワークないしインターネット１０４に接続されている。

サーバとは、クライアントである端末装置からの要求に対してサービスを提供するコンピュータシステムであり、複数のサーバシステムが結合したコンピュータ群を意味し、複数のソフトウェアにより駆動される。したがって、本明細書では、サーバの意義を上記のとおり位置付ける。

また、ハードウェアとしてのコンピュータは、最も基本的な構成としては、命令バス及びデータバスで接続された算術論理演算ユニットと制御ユニットと記憶装置と入出力装置とを備えた電子計算機である。入出力インタフェースを介して入出力装置から入力された情報（ビット列データ）に基づき算術論理演算ユニットにおいて算術演算や論理演算、比較演算、シフト演算等が実行される。実行されたデータは必要に応じて記憶装置に記憶され、入出力装置から出力される。これら一連の処理は、記憶装置に記憶されたソフトウェアプログラムによって制御される。本発明における各サーバマシンも、上記のとおりのコンピュータとしての基本機能を最低限備えたハードウェアであり、オペレーティングシステムやデバイスドライバ、そしてアプリケーションソフトウェアといったプログラム群によって制御されている。

図２に、本発明に係る画像表示システムの一実施形態におけるサーバ１０１の機能ブロックを示す。コンピュータ上で起動されるサーバ１０１は、ソフトウェア機能ブロックとして、マザーデータベース（以下、「ＭＤＢ」）２０１と、マザーデータベースマネージメント２０２と、マザーデータベース検索エンジン２０３と、画像認識部２０４と、画像生成部２０５とからなる。

ＭＤＢ２０１は、物体に関わる精細なデータを格納した統合データベースである。例えば、設計データや、物体の部品データ、加工データ、構造データ、形状データ、素材情報、剛性情報や、物体の名称、製造者情報、日付などの時間情報を含む付帯情報データや、物体の属するカテゴリデータ、物体の形状などに関する特徴量データ、ベクタ画像データ、等が含まれる。
ＭＤＢマネージメント２０２は、ＭＤＢへのアクセス制御、データセット制御、複製管理、学習等の管理ソフトウェアである。
ＭＤＢ検索エンジン２０３は、ＭＤＢ内のメタデータ、物体の特徴データ等を検索するエンジンである。

画像認識部２０４は、物体のカテゴリを分類するための一般物体認識部と、物体を同定するための特定物体認識部とがある。一般物体認識部は、画像中に含まれる物体を一般的な名称（カテゴリ）で認識する。また、特定物体認識は、ＭＤＢに登録された情報と照合し、物体を同定する。

画像生成部２０５は、レンダリング処理等の画像生成を行う機能ブロックであり、例えば端末１０５ａ〜１０５ｄの表示画面上に３次元モデルを描画するために必要な演算処理を行なう。具体的には描画すべき特定物体のモデリング処理、レンダリング処理、テクスチャマッピング処理、陰影処理などがある。これらの演算処理は、各処理アルゴリズムを実行するソフトウェアプログラムによってＣＰＵ及びメモリを使って実行されるが、必要に応じて高速処理のためのＤＳＰ（デジタル・シグナル・プロセッサ）やＧＰＵ（グラフィックス・プロセッサ）を使用することができる。

図３に、本発明に係る画像表示システムの一実施形態における端末装置を示す。端末装置１０５ａ〜１０５ｄは、広くユーザが使用するクライアント端末装置であり、コンピュータ、携帯情報端末（ＰＤＡ）、携帯電話等が含まれる。つまり、端末装置１０５ａ〜１０５ｄは、多様な種類の電子情報機器が多数インターネットなどのネットワークに接続されている様子をあらわしている。以下、端末装置１０５と記載した場合にはネットワークに接続された端末装置１０５ａ〜１０５ｄのいずれか１台をさす。当然のことながら、端末装置１０５ａ〜１０５ｄはすべて同一機種である必要はない。同等の機能（あるいは実施可能な最低限の機能）を備えた端末装置であればよい。ここでは端末装置１０５の代表的な機能ブロックについて説明する。

端末装置１０５ａ〜１０５ｄは、キーボード、ペン、マウス、マイク等のデバイスで構成される入出部３０１と、ディスプレイ、スピーカ等のデバイスで構成される出力部３０２と、ネットワーク接続部３０３と、ネットワークブラウザ３０４と、各種オブジェクト及びプラグインを処理する処理部３０５とからなる。このほか、図示しないが、ハードディスク等の記憶部、ＧＰＵ、音声通話機能部等を備えてもよい。

ネットワーク接続部３０３は、インターネットなどのネットワークに接続するためのインタフェースであって、有線／無線を問わない。

ネットワークブラウザ３０４は、典型的には、ＨＴＭＬ等で記述されたページを閲覧するためのアプリケーションソフトウェアであるが、広くネットワークを介してデータや情報をまとまった形で閲覧するソフトウェアを含む。そして、ネットワークブラウザ３０４に組み込まれる形で、あるいはネットワークブラウザ３０４と協働する形で、動画や高音質の音声などの各種オブジェクトやアプリケーションに追加機能として提供されたプログラムを実行するプラグイン処理部３０５を備えている。

また、このほか傾きや加速度を検出するセンサ、ＧＰＳ受信機などを必要に応じて搭載することもできる。

次に、図４に、本発明に係る画像表示システムの実施形態における動作フローを示す。図４においては、例えば表示画面中の物体が未だ認識されていない状態であっても画像認識処理を経て画像中の物体の特定を行う。もし、特定できれば、ＭＤＢ２０１中の特定物体から画像中の視点及び座標系に基づいて３次元画像を生成し、画像中の検知物体と置換する。置換された物体は、後述するように、視点を変えたり、回転させたり、持ち上げたりといった操作を行うことができる。また、時間軸情報に基づいて、置換された物体の未来又は過去の詳細データを参照することができる。このとき、サーバ１０１と端末１０５との間で双方向通信が行われる。

まず、Ｓ４０２において、ユーザは背景画像中の物体を指示する。例えば、ユーザは、指示したい物体上にポインタを置き、マウス等のクリック動作を行い、画像及びポイント座標をサーバ１０１に送信してサーバ側でポイント座標にある物体を切り出す。画像を特定するために端末装置１０５からサーバ１０１に送信される情報としては、静止画であれば静止画を特定するための識別子、動画の場合には、動画コンテンツとフレームとを識別することができるＩＤ（例えば、動画ＩＤにフレーム番号を付加した一意のＩＤなど）が利用される。

次に、Ｓ４０３において、サーバは指示物体の認識を行う。認識は、一般物体認識及び特定物体認識の順に行われる。その処理については、図９に基づいて後述する。次に、Ｓ４０４において、サーバ１０１はＭＤＢ２０１において認識された特定物体を端末に送るデータを生成する。このとき、サーバ１０１は、端末装置１０５の機能に応じて最適なデータセットを選択することができる（Ｓ４０５）。例えば、（１）サーバ側で表示すべき物体の三次元モデルのレンダリング処理を行なってストリーミング配信する、（２）元画像とともに特定物体の詳細情報を端末装置１０５へ送信する、（３）端末装置１０５側でレンダリングできるような情報を送信する、といった選択肢がある。Ｓ４０６において、端末装置１０５ではサーバから送られてきた特定物体についての詳細なデータに基づいて、その特定物体を時空間的に再現することができる。

次に、図５〜図８に基づいて、本発明に係る画像表示システムの一実施形態における端末装置の表示画面例を説明する。

図５（Ａ）は、ユーザが端末装置１０５において閲覧している画像である。図５（Ａ）の画像には、自動車５０１、ゴルフプレー中の男性５０２、カートを押して買い物をする女性５０３、東京タワー５０４、自動車５０５、自転車に乗る男性５０６が含まれている。

図５（Ａ）において、ユーザが自動車５０５に興味を示し、これをクリック等して選択すると、例えばその輪郭が輪郭部５１０として切り出される（図５（Ｂ））。輪郭部５１０は強調表示してもよい。このとき、端末装置１０５からサーバ１０１へは、ユーザが自動車５０５に着目したことがメッセージとして送信され、これを受信したサーバ１０１で自動車５０５の部分が切り出された領域の物体認識処理が行なわれる。

そして、後述する物体認識処理によって自動車５０５が同定されると、例えば、サーバ１０１ではＭＤＢ２０１に登録された自動車５０５のＣＡＤデータに基づき、画像５００に含まれている自動車５０５の座標系及びサイズに合わせた画像を生成する。そして、生成した画像を、画像５００中の自動車５０５と置換する。この置換された詳細データは、ユーザの操作により、自由に回転・拡大・縮小表示させることができる。

つまり、置換された自動車５０５の特定物体画像を、全体の画像（図５（Ａ））とは異なる座標系に配置し、個別に回転・拡大・縮小表示させることができる。

次に、ユーザは、図５（Ｂ）において、自動車５０５の中に入る操作（不図示）をすると、図６に示したように、自動車５０５の内部に進入することができる。自動車の内部画像６０１は、ＭＤＢ２０１に登録されている自動車５０５のＣＡＤデータから生成されたものであり、ユーザは車内における視点を移動させ、各種パーツを拡大／縮小表示させることができる。そして、ＭＤＢ２０１に登録されていれば、パーツ（例えば、ハンドルやシート）を全体の画像６０１とは異なる座標系に配置し、個別に回転・拡大・縮小表示させることができる。このとき、サブウィンドウを表示させて、パーツだけを表示させてもよい。

図７に、本発明に係る画像表示システムにおいて、クルージング可能な街を再現した空間例を示す。図７（Ａ）は、ある街を３次元的に再現した空間であり、ユーザの所定の操作によって、近づいたり遠ざかったり、高度を上下させることができる。そして、例えば、図７（Ａ）に写し出されている建築物のうち、一部又は全部の設計データがＭＤＢ２０１に登録されている。ここでは、説明の便宜上、建物の一部の設計データがＭＤＢ２０１に登録されているものとする。

そして、ユーザが所定の操作によって設計データが登録されている建築物の表示をさせると、図７（Ｂ）に示すように、設計データが登録されている建築物の真上に「▽」印を付すことができる。ここでは、建築物７０１、７０２、７０３、７０５、及び７０７についての設計データがＭＤＢ２０２に登録されていることが示されている。したがって、ユーザはこれらの建築物に近づき、その内部に入ったり、各フロアや部屋を移動することができる。

また、図７（Ｂ）には設計データが有する時間軸情報を可変にする機能が備わっている。すなわち、図７（Ｂ）下部には、時間軸情報を可変にするスライドバー７１０が備えられ、ノブ（つまみ）７１１を移動させることによって時間軸を変えることができる。図７（Ｂ）では、ノブ７１１に１９８０と表示され、図７（Ｂ）に表示されている設計データが１９８０年時点のものであることが示されている。そして、建物７０４、７０６、７０８については、１９８０年当時存在していたにも関わらず、設計データ等が現存していないので、白抜き表示されている。表示方法に関しては、白抜き表示ではなく建物自体を表示しない（非表示）方法や、史実等の情報をもとに再現した画像を表示する方法も取りうる。また、非表示及び／又は非表示状態を表す文字・記号・特定の色やパターンで明示することができる。
さらに、既存の建物がある時点で取り壊された場合、その時点を超えて未来方向にノブ７１１をスライドさせると、その取り壊された建物は表示されなくなる。また、建築予定の建物に関する設計データが存在する場合には、竣工予定時点以降の未来方向に時間を移動させた場合、その建物が表示される。

つまり、置換された特定物体画像に含まれる時間軸情報を利用して、画像全体及び／又は個々の特定物体の任意の時間における姿を閲覧可能にする。もし、設計データに建築段階ごとに時間軸情報が記録されていれば、ある建物の建築過程を月（あるいは日）単位で可変にすることによって、閲覧することができる。

図８（Ａ）は、他のユーザが端末装置１０５において閲覧している画像である。図８（Ａ）の画像には、自動車５０１、ゴルフプレー中の男性５０２、カートを押して買い物をする女性５０３、東京タワー５０４、自動車５０５、自転車に乗る男性５０６が含まれている。

図８（Ａ）において、このユーザが東京タワー５０４に興味を示し、これをクリック等して選択すると、例えばその輪郭が輪郭部８０１として切り出される（図８（Ｂ））。輪郭部８０１は強調表示してもよい。このとき、端末装置１０５からサーバ１０１へは、ユーザが東京タワー５０４に着目したことがメッセージとして送信され、これを受信したサーバ１０１で東京タワー５０４の部分が切り出された領域の物体認識処理が行なわれる。

そして、後述する物体認識処理によって東京タワー５０４が同定されると、ユーザの操作により、自由に回転・拡大・縮小表示させることができる。例えば、利用者が拡大を指示すると、ＭＤＢ２０２の情報、あるいは、参照可能なリンク先からの詳細な情報に基づいて、東京タワーの拡大図が表示される（８０２）。また、利用者が縮小を指示すると、ＭＤＢ２０２の情報、あるいは、参照可能なリンク先からの詳細な情報、および周囲の情報に基づいて東京タワーを含む遠隔図が表示される（８０３）。

つまり、置換された東京タワー５０４の特定物体画像を、全体の画像（図８（Ａ））とは異なる座標系に配置し、個別に拡大・縮小表示させることができる。

図９に基づいて、ＭＤＢ２０１を使った物体認識のフローを説明する。

［一般物体認識］
画像認識処理の開始（Ｓ９０１）は、まず、端末装置１０５における元画像の入力からはじまる（Ｓ９０２）。元画像は、２次元画像であるか３次元画像であるかを問わない。また、元画像の入力に際しては、その元画像におけるどの物体の着目領域の指示がポインティングデバイス等のデバイス（不図示）を通じてなされる場合と、着目点の指示がなく元画像全体が処理対象として入力される場合がある。次に、Ｓ９０４において一般物体認識処理が行われる。一般物体認識処理には、例えば、ＢＯＦ（Bag-Of-Features）の手法を採用することができる。この一般物体認識処理では、検出された物体のカテゴリ（物体の一般名称）の認識まで行われる。ただし、着目点の指示がされた場合は、カテゴリの認識ができた場合とできなかった場合とで処理が分岐し、その判断はＳ９０５で行われる。カテゴリ認識ができなかった場合には、Ｓ９０６へ進み、既存のカテゴリの取り扱いについて判断がなされる（Ｓ９０７）が、着目点に指示の有無に関わらず物体のカテゴリ認識が出来た場合には、特定物体認識処理へ進むべくＳ９０９へ進む。

［特定物体認識］
Ｓ９０５の判断において特定物体認識処理へ進む場合は、まず、Ｓ９０９において個別物体画像の切り出し処理が行われる。そして、切り出された個別物体画像について、特定物体認識処理が行われる（Ｓ９１０）。特定物体認識処理では、ＭＤＢ２０１に登録された設計データから抽出された特徴量データに基づく一致度を算出する評価関数によって物体の同定が試みられる。

［学習処理（１）］
一方で、Ｓ９０５の判断において一般物体認識ができなかった場合には、Ｓ９０６へ進み、着目物体の持つ特徴量と、ＭＤＢ２０１が把握している既存のカテゴリに属する物体の特徴量との情報距離に基づいて、その着目物体を含む新たなカテゴリを登録するか（Ｓ９０７）、その着目物体に近接する既存カテゴリの拡張を検討するか（Ｓ９０８）の判断が行われる。新たなカテゴリを登録する（Ｓ９０７）場合にはＳ９０４に復帰し、既存のカテゴリを拡張する（Ｓ９０８）場合にはＳ９０９へ進む。

［特定物体認識後 学習処理（２）］
Ｓ９１１においては、特定物体の同定ができたかどうかが判断される。特定物体の同定ができた場合には、Ｓ９１３に進み、Ｓ９０９において切り出された個別物体画像にＭＤＢ２０１に登録されている物体の詳細データよりもさらに精細な情報が含まれるかが判断される。もし、Ｓ９１３においてＹｅｓと判断された場合には、Ｓ９１４に進み、ＭＤＢ２０１におけるその物体の詳細データはＭＤＢ学習部により更新され、より精細な情報を有するようになる。一方で、Ｓ９１３においてＮｏと判断された場合には、Ｓ９１５に進み、次の判断がなされる。

Ｓ９１５は、Ｓ９０５において一般物体認識ができなかったと判断された場合であって、Ｓ９０６の判断でＳ９０８、Ｓ９０９、Ｓ９１０へ進み、特定物体の認識ができた（Ｓ９１１でＹｅｓ）場合に判断される。Ｓ９１５において、特定された物体が既存のカテゴリであった場合には、ＭＤＢ２０１に登録されているその既存カテゴリの定義を拡張、あるいは拡張によりカテゴリ内の物体の情報距離が分散する場合には分割、あるいは近接カテゴリとの情報距離が前記カテゴリ内の物体間の情報距離と同程度以下になった場合には統合、あるいは特定された物体の登録により既存の物体の情報の齟齬を発見した場合には修正を施し、カテゴリデータをアップデートする（Ｓ９１６）。一方で、Ｓ９１５において、特定された物体が既存のカテゴリでなかった場合には、Ｓ９０７へ遷移し、新規カテゴリとして登録する。

Ｓ９１１において、特定物体の認識ができなかった場合は、ＭＤＢ２０１においてその物体は「未確認物体」として登録され、将来の処理に備えて認識処理を終了する（Ｓ９１７）。Ｓ９１６において既存カテゴリを拡張してアップデートされた場合も認識処理を終了する（Ｓ９１７）。

上記の説明におけるＭＤＢマネージメント２０２の学習機能は、本発明に係る画像表示システムの稼動において適宜反映されることにより、特定物体認識能力を向上させる。

１００ 画像表示システム
１０１ サーバ
１０４ ネットワーク（あるいはインターネット）
１０５ａ〜１０５ｄ 端末装置

Claims (5)

1. 一般物体認識部と特定物体認識部とを備え、物体を構成するためのデータベースから再構成されたマザーデータベース（ＭＤＢ）であって、当該物体の複数の時間情報それぞれに対応する物体の情報を有するＭＤＢをもとに、前記一般物体認識部による一般物体認識及び／又は前記特定物体認識部によって物体認識された物体を、全体の画像の中における当該物体認識された物体を、前記複数の時間情報の内の所定の時間におけるＭＤＢから得られる物体の２次元及び／又は３次元画像に置換し、合成表示する画像表示システム。
2. 請求項１に記載の画像表示システムにおいて置換された前記物体の２次元及び／又は３次元画像を、全体の画像とは異なる座標系に配置し、個別に回転・拡大・縮小表示可能な画像表示システム。
3. 請求項１及び２に記載の画像表示システムにおいて置換された前記物体が有する、及び参照可能なリンク先から入手した詳細な情報を元に、入力画像が有する当初の情報量を遥かに超える詳細な物体の拡大や縮小、内部構造を含む広範囲な閲覧を可能にする画像表示システム。
4. 請求項１〜３のいずれか１項に記載の画像表示システムにおいて置換された前記物体の２次元及び／又は３次元画像に含まれる時間軸情報を利用して、画像全体及び／又は個々の物体の任意の時間における姿を閲覧可能にする画像表示システム。
5. 請求項４に記載の画像表示システムにおいて、特定の時間において未存在の物体は、非表示及び／又は非表示状態を表す文字・記号・特定の色やパターンで明示する画像表示システム。