JP4770960B2 - 画像検索システム及び画像検索方法 - Google Patents
画像検索システム及び画像検索方法 Download PDFInfo
- Publication number
- JP4770960B2 JP4770960B2 JP2009082799A JP2009082799A JP4770960B2 JP 4770960 B2 JP4770960 B2 JP 4770960B2 JP 2009082799 A JP2009082799 A JP 2009082799A JP 2009082799 A JP2009082799 A JP 2009082799A JP 4770960 B2 JP4770960 B2 JP 4770960B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- image data
- search
- wireless communication
- imaging
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/5854—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using shape and object relationship
Description
本発明は、画像検索システム及び画像検索方法に関し、詳細には、３次元モデルを利用し、所望の視点方向からの画像を検索する画像検索システム及び画像検索方法に関する。
従来、３次元モデルを利用した写真検索・閲覧システムと、写真を利用した３次元モデル表示・操作システムが知られている（特許文献１）。このシステムによれば、ユーザは画面上で閲覧している３次元モデルに似た視点から撮影されたデジタル写真の表示・閲覧が可能であり、またユーザが画面上で閲覧している写真に似た視点から３次元モデルを表示し操作できるとしている。
上記の画像検索方法では、所望の視点方向から見た画像を得たい場合その画像の立体形状データを検索キーとして用意する必要がある。しかしながらそのような立体形状データはデータ量も膨大であるため、汎用性に乏しいという問題点があった。
本発明は、かかる従来の課題に鑑みてなされたものであり、限られた枚数の２次元画像を用いて、容易に他の撮像方向からの被写体像を含む画像データを検索することが可能な画像検索システムを提供することを目的とする。
前記課題を解決するため、請求項１記載の発明に係る画像検索システムにあっては、被写体像を含んだ画像データを、前記画像データの撮像方位及び特徴情報と関連付けて複数格納する格納手段と、前記格納手段に格納された複数の画像データから特定の画像データの選択を検出する選択検出手段と、前記選択検出手段によって選択が検出された特定の画像データについて、これと関連付けられた特徴情報に基づいて、類似する画像データを検索する第１の検索手段と、前記選択検出手段によって選択が検出された画像データと前記第１の検索手段による検索結果として取得された画像データの少なくとも一つの撮像方位及び特徴情報を送信する第１の送信手段と、を備える通信端末と、前記第１の送信手段によって送信された撮像方位及び特徴情報を受信する受信手段と、前記受信手段によって受信された特徴情報及び撮像方位に基づいて、前記画像データに含まれる被写体像の３次元形状を推測する推測手段と、前記推測手段によって推測された被写体像の前記３次元形状に基づいて情報公開網を検索して、前記受信された撮像方位とは異なる方位を撮像方位とする前記被写体像を含む画像の画像データを取得する第２の検索手段と、前記第２の検索手段によって取得した画像データを前記通信端末に送信する第２の送信手段と、を備える画像検索サーバと、を含むことを特徴とする。
また、請求項２記載の発明に係る画像検索システムにあっては、前記通信端末は、被写体を撮像して画像データを取得する撮像手段と、前記撮像手段が撮像する際の撮像方位を取得する方位取得手段と、前記撮像手段が撮像して取得した画像データに関する特徴情報を取得する特徴情報取得手段と、前記撮像手段が取得した画像データ、前記方位取得手段が取得した撮像方位、及び、前記特徴情報取得手段が取得した特徴情報を関連付けて前記格納手段に格納する格納制御手段と、をさらに備えることを特徴とする。
また、請求項３記載の発明に係る画像検索システムにあっては、前記選択検出手段は、画像データとして所定の範囲の位置又は時刻において撮影された少なくとも２つのデジタル写真データが、特定の画像データとして選択されたことを検出することを特徴とする。
また、請求項４記載の発明に係る画像検索システムにあっては、さらに、前記選択検出手段が選択する画像データが追加されるに従って、前記第２の検索手段は検索する対象を絞り込むことを特徴とする。
また、請求項５記載の発明に係る画像検索システムにあっては、前記格納手段に格納される画像データは、デジタル画像、ポインティング・デバイス描画入力、スキャナ読み取り画像の少なくとも一つを含むことを特徴とする請求項１に記載の画像検索システム。
また、請求項６記載の発明に係る画像検索方法にあっては、被写体像を含んだ画像データを前記画像データの撮像方位及び特徴情報と関連付けて複数格納するメモリから特定の画像データの選択を通信端末が検出する選択検出ステップと、前記選択検出ステップにて選択が検出された特定の画像データについて、これと関連付けられた特徴情報に基づいて、類似する画像データを通信端末が検索する第１の検索ステップと、前記選択検出ステップにて選択が検出された画像データと前記第１の検索ステップにおける検索結果として取得された画像データの少なくとも一つの撮像方位及び特徴情報に基づいて、前記画像データに含まれる被写体像の３次元形状を画像検索サーバが推測する推測ステップと、前記推測ステップにて推測された被写体像の前記３次元形状に基づいて情報公開網を検索して、前記メモリに格納されていない方位を撮像方位とする前記被写体像を含む画像の画像データを画像検索サーバが取得する第２の検索ステップと、前記第２の検索ステップにおける検索結果として前記被写体像の画像データを通信端末が取得する画像データ取得ステップと、を含むことを特徴とする。
本発明に係る画像検索システム又は画像検索方法は、他の画像検索装置又は画像検索システム等の既存技術と組み合わせることができ、そのように組み合わせた技術もまた、本発明の技術範囲に含まれる。同様に、本発明の技法を取り入れた画像検索システム等も本発明の技術範囲に含まれる。また、本発明の技法は、本発明に係る画像を検索する方法のいずれかのステップを任意の記憶媒体に記憶して提供し得る。具体的には、磁気記憶媒体、電気的記憶媒体、光学ディスク等のコンピュータ可読媒体に記憶されたコンピュータ・プログラムの形態も、本発明の技術範囲に含まれる。さらに、本発明の技法は、画像検索の諸段階を、ＦＰＧＡ（プログラム可能ゲートアレイ）、ＡＳＩＣ（特定用途向け集積回路）、これらと同等のハードウェアロジック素子、プログラム可能な集積回路、又はこれらの組み合わせが記憶し得るプログラムの形態、すなわちプログラム製品として提供し得る。具体的には、データ入出力、データバス、メモリバス、システムバス等を備えるカスタムＬＳＩ（大規模集積回路）の形態として、本発明に係る画像検索装置を提供でき、そのように集積回路に記憶されたプログラム製品の形態も、本発明の技術範囲に含まれる。
本発明によれば、画像検索の時点で存在する２次元画像のみでは類似性を判定する情報が不足している画像であっても、いったん疑似３次元画像データを生成し、この疑似３次元画像データに基づく任意視点からの２次元画像を生成して、画像検索を実施することが可能になる。これにより、本発明においては、生成した２次元画像とネットワーク資源上に記憶された画像との類似性を評価して、画像を検索することができる。また、本発明によれば、自然物又は人工物等の同一物に対して、入力画像の視点や撮影範囲が異なっても、生成した２次元画像を用いて画像検索の類似性を判定し、画像を検索することが可能になる。
従って、本発明に係る画像検索システム又は画像検索方法においては、一部しか写っていなかったり、後ろに隠れた部分があったり、同じ対象物でも視点や撮影範囲が違う場合でも、任意視点からの２次元画像を生成して、当該生成した２次元画像を検索キーとすることにより、検索できる画像の範囲を広げ、検索精度を向上することが可能になる。
また、本発明に係る画像検索システム又は画像検索方法においては、任意視点からの人工物又は自然物の部分画像等を検索キーとして、立体物の２次元画像を検索することが可能になる。これにより、本発明に係る画像検索システム又は画像検索方法は、図面検索、観光地検索、住宅検索、人物検索等、一般の写真や画像以外の検索用等にも利用することが可能になる。
以下、本発明の実施の形態について、図面を参照して詳細に説明する。なお、本実施の形態における構成要素は適宜、既存の構成要素等との置き換えが可能であり、また、他の既存の構成要素との組み合わせを含むさまざまなバリエーションが可能である。従って、本実施の形態の記載をもって、本発明の内容を限定するものではない。本願明細書に用いる用語「撮影」及び「撮像」は、デジタルカメラ又はスキャナ等を用いてコンピュータが読み取り可能な画像データを取り込むことを含む。
［画像検索システム１０］
図１は、本発明の一実施の形態に係る画像検索システム１０を例示する図である。図１に示す画像検索システム１０は、無線通信カメラ１００、画像検索サーバ３００、サービス・プロバイダ４１０、無線中継局４３０、画像データベース（以下、画像ＤＢ）５００、ネットワーク６００を含む。ネットワーク６００は、インターネット等の広域ネットワークでもよく、ローカル・エリア・ネットワーク（ＬＡＮ）でもよい。
図１は、本発明の一実施の形態に係る画像検索システム１０を例示する図である。図１に示す画像検索システム１０は、無線通信カメラ１００、画像検索サーバ３００、サービス・プロバイダ４１０、無線中継局４３０、画像データベース（以下、画像ＤＢ）５００、ネットワーク６００を含む。ネットワーク６００は、インターネット等の広域ネットワークでもよく、ローカル・エリア・ネットワーク（ＬＡＮ）でもよい。
無線通信カメラ１００は、典型的には無線通信機能を備えるデジタルカメラである。しかしながら、これに限定せず、撮像機能を備える携帯端末装置等を用いてもよい。無線通信カメラ１００は、無線中継局４３０を介してサービス・プロバイダ４１０に接続し、ネットワーク６００に接続されている画像検索サーバ３００等のネットワーク資源を利用できる。無線通信カメラ１００は、格納手段、選択検出手段、検索手段及び送信手段等の構成要素を備えるが、これについては後述する。
無線通信カメラ１００が備える無線通信機能は、無線通信カメラ１００内の一部の回路として組み込まれるか、又は無線通信カード等の形態で提供される周辺機器として提供される。このような無線通信カメラ１００は、撮影したデジタル写真を適宜符号化し、所定のコンピュータ等に送信することが可能である。例えば、無線通信カメラ１００は、撮影したデジタル写真を、無線中継局４３０、サービス・プロバイダ４１０、及びネットワーク６００を介して、画像検索サーバ３００等に送信できる。また、無線通信カメラ１００は、これらの無線通信の形態を含む情報通信網を介して、デジタル写真を含む情報を受信することが可能である。すなわち、無線通信カメラ１００は、画像検索サーバ３００に対して画像検索等の要求を送信し、当該要求に対応する検索結果等が画像検索サーバ３００から送信されると、この検索結果等を受信することが可能である。
画像検索サーバ３００は、ネットワーク６００を介して接続されている無線通信カメラ１００等の端末装置からの画像検索等の要求を受信し、受信した検索条件に基づいて検索結果を当該端末装置に送信する。検索対象の画像データ等は、例えば、画像ＤＢ５００等のデータベース装置に蓄積された画像データである。本発明に係る画像検索サーバ３００は、単に画像を検索するだけではなく、後述するように、画像検索の要求に基づいて３次元画像モデルを作成し、さらに３次元画像モデルから２次元画像データを生成し、この２次元画像データを検索キーとして画像検索を実施する。すなわち、画像検索サーバ３００は、画像ＤＢ５００等の一般的なデータベース装置とは異なって、このような３次元画像モデル及び２次元画像データを生成する動作を含む。画像検索サーバ３００は受信手段、推測手段、検索手段、及び送信手段等の構成要素を備えるが、これについては後述する。
画像ＤＢ５００は、所定の検索条件に基づいて画像データを検索する、汎用のデータベース装置等を用いることができる。本発明に係る画像ＤＢ５００は、後述する所定のデータ構造を用いることにより、画像データ、画像データの撮像方位、及び画像データの特徴情報を関連付けて格納することが可能である。
サービス・プロバイダ４１０は、典型的には、インターネットに接続するためのサービスを提供する事業体であるインターネット・サービス・プロバイダ等である。無線中継局４３０は、典型的にはサービス・プロバイダ４１０によるネットワーク接続サービス等を、無線通信カメラ１００に対して無線接続して提供するために用いられる。無線中継局４３０は、サービス・プロバイダ４１０の回線設備等と一体としていてもよい。
このようにすることで、本実施の形態の画像検索システム１０においては、無線通信カメラ１００は画像検索サーバ３００に対して画像検索の要求を送信し、画像検索サーバ３００は当該要求に基づいて、画像ＤＢ５００等を用いて検索条件に該当する特定の画像を抽出して検索結果とし、当該検索結果を無線通信カメラ１００に送信する。無線通信カメラ１００は、画像検索サーバ３００からの検索結果を受信することが可能である。
［無線通信カメラのハードウェア構成］
図２は、無線通信カメラ１００のハードウェア構成を例示する図である。
図２は、無線通信カメラ１００のハードウェア構成を例示する図である。
撮像部２０は、レンズ２２、絞り２４及びシャッタ２６を備え、被写体光を結像する動作を実施する。Ａ／Ｄ変換部２８は、典型的には撮像素子と一体として、結像した被写体光を受光し、デジタル信号に変換する動作を実施する。信号処理部３０は、変換されたデジタル信号に対して画像補間処理等を実施する。
キー入力部３２は、シャッタ２６の動作を指示するためのシャッタ・キー、画像の選択等の指示を入力する操作キー、無線通信カメラ１００の電源を投入又は切断するための電源キー、無線通信カメラ１００の動作モードを撮影モードと再生モードとの間で切り替えるためのモード切り替えキー等を適宜備える。
表示部３４は、撮像モードにおいて撮像部２０からＡ／Ｄ変換部２８に到達している被写体像、再生モードにおいて画像格納部３６等に記憶され選択された画像データを間引いた画像データ、及び適宜動作情報又は画像データに関連する情報等を表示するために用いられる。
画像格納部３６は、無線通信カメラ１００により撮影された画像データを含む任意の画像データを格納するために用いられる。例えば、画像検索サーバ３００から受信した画像データを、画像格納部３６に記憶してもよい。
通信部３８は、典型的にはアンテナを内蔵し、無線通信カメラ１００が無線中継局４３０を介して、画像検索システム１０に含まれる画像検索サーバ３００と無線接続するために用いられる。通信部３８により、無線通信カメラ１００が撮影したデジタル写真等の画像データは、画像検索サーバ３００等に送信することが可能になる。また、無線通信カメラ１００は、通信部３８を介して画像検索サーバ３００に画像検索等の要求を送信し、かつ画像検索サーバ３００からの検索結果を受信することが可能である。
画像処理部４０は、典型的には次のような動作を実施する。
（画像処理部４０の動作−１）撮影モードにおいて、巡回的に撮像される画像データを間引いて表示部３４に出力する処理；
（画像処理部４０の動作−２）キー入力部３２のシャッタ・キーの操作検出により、その時点で撮像、Ａ／Ｄ変換及び信号処理された画像データを圧縮符号化する処理；及び、
（画像処理部４０の動作−３）再生モードにおいて、キー入力部での所定の動作検出により、画像格納部３６に格納された画像データを表示部３４に出力する処理。
（画像処理部４０の動作−１）撮影モードにおいて、巡回的に撮像される画像データを間引いて表示部３４に出力する処理；
（画像処理部４０の動作−２）キー入力部３２のシャッタ・キーの操作検出により、その時点で撮像、Ａ／Ｄ変換及び信号処理された画像データを圧縮符号化する処理；及び、
（画像処理部４０の動作−３）再生モードにおいて、キー入力部での所定の動作検出により、画像格納部３６に格納された画像データを表示部３４に出力する処理。
制御部４２は、典型的には次のような動作を実施する。
（制御部４２の動作−１）無線通信カメラ１００全体の制御に係る動作；
（制御部４２の動作−２）画像格納部３６、データメモリ４６又は拡張Ｉ／Ｆ５６を介して接続されるメモリカード等に記録した画像データと、方向検知部５０が検知した方位、傾斜角度、座標とＳＩＦＴ特徴量の組を、図５を用いて後述する管理テーブルに記憶させる動作；
（制御部４２の動作−３）画像格納部３６に格納される複数の画像データのＳＩＦＴ特徴量同士に対して、座標値を加味して比較することにより類似度を算出する動作；
（制御部４２の動作−４）類似度に基づいて類似すると判定した画像データについて、当該画像データに関連付けられた方位、傾斜角度、座標とＳＩＦＴ特徴量の組を画像検索サーバ３００に送信する動作；及び、
（制御部４２の動作−５）画像検索サーバ３００から受信した検索結果を表示部３４に表示する動作。制御部４２の動作−４の判定で、「類似すると判定した画像データ」とは「一致すると判定した画像データ又は同一の画像データ」を含んでもよい。
（制御部４２の動作−１）無線通信カメラ１００全体の制御に係る動作；
（制御部４２の動作−２）画像格納部３６、データメモリ４６又は拡張Ｉ／Ｆ５６を介して接続されるメモリカード等に記録した画像データと、方向検知部５０が検知した方位、傾斜角度、座標とＳＩＦＴ特徴量の組を、図５を用いて後述する管理テーブルに記憶させる動作；
（制御部４２の動作−３）画像格納部３６に格納される複数の画像データのＳＩＦＴ特徴量同士に対して、座標値を加味して比較することにより類似度を算出する動作；
（制御部４２の動作−４）類似度に基づいて類似すると判定した画像データについて、当該画像データに関連付けられた方位、傾斜角度、座標とＳＩＦＴ特徴量の組を画像検索サーバ３００に送信する動作；及び、
（制御部４２の動作−５）画像検索サーバ３００から受信した検索結果を表示部３４に表示する動作。制御部４２の動作−４の判定で、「類似すると判定した画像データ」とは「一致すると判定した画像データ又は同一の画像データ」を含んでもよい。
プログラムメモリ４４は、制御部４２が実行する制御プログラムを記憶する。
データメモリ４６は、制御部４２の動作に伴い一時的に記憶が必要な数値等を記憶するためのワークメモリとして用いられる。これに限定せず、データメモリ４６は、任意の画像データの記憶のために用いられてもよい。
画像特徴量算出部４８は、画像記録時に、座標ごとのＳＩＦＴ特徴量を算出し、上位所定数の組をリストアップする動作を実施する。
ＳＩＦＴ（Scale Invariant Feature Transform）特徴量は、画素の代表輝度勾配方向を決定し、その方向を基準とした輝度勾配ヒストグラムを作成し、多次元ベクトルとして記述される特徴量（例えば、永橋、藤吉、金出「領域分割に基づくＳＩＦＴ特徴を用いた物体識別」、電気学会、システム・制御研究会、pp39-44、2007年１月を参照；当該文献は次のサイトからオンライン入手可能である；＜URL：http://www.vision.cs.chubu.ac.jp/04/pdf/PIA08.pdf＞）である。例えば、ある画像に対して顕著点（特徴的な点、又は人目につきやすい点）を複数検出し、そのような点の周辺の画素値を用いて特徴量が抽出される。
ＳＩＦＴ特徴量の算出においては、まず、目標となる画像を、特徴点を検出する領域に分割する。当該分割は、混合正規分布を用いる領域分割（永橋ら、2007年）等により行われる。次いで、ＳＩＦＴ特徴量の算出において、注目画素の代表輝度勾配方向が決定される。例えば、画像Ｌ（ｘ，ｙ）の輝度勾配方向をθ（ｘ，ｙ）、大きさをｍ（ｘ，ｙ）で表すと、これらは次式から求められる。
式中、
である。輝度勾配の大きさｍ及び輝度勾配の方向θを用いて、次式のようにヒストグラムｗ（ｘ，ｙ）を求めることができる。
式中、Ｇ（ｘ，ｙ，σ）はガウス分布である。また，θは全方向を３６分割したものを用いる。このヒストグラムの最大値の方向を、当該画像中の座標（ｘ，ｙ）における代表輝度勾配方向とすることができる。
次いで、この代表輝度勾配方向を基準とした周囲の輝度勾配ヒストグラムを作成する。例えば、正規分布から得られる領域を４×４画素領域に分割し、それぞれの位置で８方向の輝度勾配ヒストグラムを作成する。４×４画素の領域にそれぞれ８方向ヒストグラムを作成する場合、１２８次元ベクトルの特徴量が得られる。このようにして得られた１２８次元ベクトルの特徴量が、ある画素領域に対するＳＩＦＴ特徴量である。
従って、ＳＩＦＴ特徴量は、画像データにおける座標（ｘ，ｙ）と方向θとを関連付けた情報を含む。方向θの情報としては、方位角等の角度情報を含んでもよく、例えば各θの余弦の値に変換した数値等を含んでもよい。
方向検知部５０は、一般的には、方位センサ及び傾斜センサを備える。方向検知部５０は、撮影モードにおいて記録が指示された際に、無線通信カメラ１００から見た被写体が存在する方位、及び無線通信カメラ１００の傾斜角度を検知する。
拡張Ｉ／Ｆ（インタフェース）５６は、着脱可能なメモリカード等を無線通信カメラ１００に接続するために用いられる。拡張Ｉ／Ｆ５６に接続可能なハードウェアは、このような記憶媒体に限定しない。例えば、無線通信カメラ１００は、アンテナを内蔵する通信部３８に替えて、拡張Ｉ／Ｆ５６を介して無線通信カード等の無線通信手段を接続し、画像検索サーバ３００等と無線接続してもよい。
バス５８は、上述のそれぞれの構成要素の間でデータ又は制御のための情報等をやりとりするために用いられる。
図２に示したハードウェア構成は、無線通信カメラ１００に用いることができ、撮像部２０は撮像手段として、方向検知部５０は方位取得手段として、画像格納部３６又はデータメモリ４６は格納手段として、画像特徴量算出部４８は画像データの特徴量を取得するための特徴情報取得手段として、通信部３８は特徴情報及び撮像方位を送信する送信手段として、制御部４２は選択検出手段、格納手段に格納されている画像データを検索する検索手段、及び格納制御手段として、それぞれ機能することができる。
［画像検索サーバの機能ブロック図］
図３は、本発明の一実施の形態に係る、画像検索サーバ３００の機能の構成を例示する図である。一実施の形態において、画像検索サーバ３００は、検索要求受信手段２１０、疑似３次元形状データ作成手段２２０、２次元画像生成手段２３０、類似画像抽出手段２４０、類似度算出手段２５０、類似画像出力手段２６０、制御手段２７０、記憶手段２８０、通信Ｉ／Ｆ（インタフェース）２９０を備える。
図３は、本発明の一実施の形態に係る、画像検索サーバ３００の機能の構成を例示する図である。一実施の形態において、画像検索サーバ３００は、検索要求受信手段２１０、疑似３次元形状データ作成手段２２０、２次元画像生成手段２３０、類似画像抽出手段２４０、類似度算出手段２５０、類似画像出力手段２６０、制御手段２７０、記憶手段２８０、通信Ｉ／Ｆ（インタフェース）２９０を備える。
検索要求受信手段２１０は、画像検索サーバ３００が検索要求を受信するために用いられる。この検索要求は、検索キーとして用いる画像を生成するための少なくとも二つの入力画像、当該入力画像と関連付けられた撮像方向及び特徴情報の組を含む。入力画像としては、例えば、図１に示した無線通信カメラ１００により撮像されたデジタル写真等の画像データが用いられる。
疑似３次元形状データ作成手段２２０は、少なくとも二つの入力画像から、所定の３次元モデリングの技法を用いて、３次元画像データを生成する。３次元モデリングの詳細は後述する。
２次元画像生成手段２３０は、生成した３次元画像データに対して、入力画像と関連付けられている撮像方向とは異なる撮像方向から当該３次元画像データを眺めた場合の投影図又は断面図等を生成する。これらの投影図又は断面図は、２次元画像データであってもよい。投影図又は断面図等の生成の詳細は後述する。
類似画像抽出手段２４０は、生成した２次元画像データを検索キーとして、画像ＤＢ５００等の、情報公開網に接続されているデータベースから画像を抽出する。
類似度算出手段２５０は、生成した２次元画像データと抽出された画像との類似度を算出する。
類似画像出力手段２６０は、抽出された画像と、生成した２次元画像データに対する当該抽出された画像の類似度を関連付けて、検索結果として出力する。
制御手段２７０は、上述の各手段の動作を制御する。
記憶手段２８０は、上述の各手段の動作における一時的な記憶手段又は制御手段２７０を動作させるためのプログラム等のための記憶手段として用いられる。
通信接続手段２９０は、無線通信カメラ１００等からの検索要求を受信して検索要求受信手段２１０に送り、類似画像出力手段２６０からの検索結果を受け取って無線通信カメラ１００等に送信するために用いられる。
図３に示した機能の構成は、画像検索サーバ３００又は画像検索サーバ機能として用いることができる。すなわち、検索要求受信手段２１０は無線通信カメラ１００等から特徴情報及び撮像方向を受信するための受信手段として、制御手段２７０は被写体像の３次元形状を推測する推測手段、及び情報公開網から画像を検索する検索手段として、通信接続手段２９０は検索の結果得られた画像を無線通信カメラ１００に送信するための送信手段として、それぞれ機能しうる。
［画像検索サーバのハードウェア構成］
図４は、画像検索サーバ３００のハードウェア構成を例示する図である。図４においては、コンピュータを典型とする情報処理装置として、画像検索サーバ３００の全般的なハードウェア構成を説明するが、その環境に応じて必要最小限な構成を選択できることはいうまでもない。
図４は、画像検索サーバ３００のハードウェア構成を例示する図である。図４においては、コンピュータを典型とする情報処理装置として、画像検索サーバ３００の全般的なハードウェア構成を説明するが、その環境に応じて必要最小限な構成を選択できることはいうまでもない。
画像検索サーバ３００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）３０３、バスライン３０５、通信Ｉ／Ｆ３４０、メインメモリ３５０、ＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ）３６０、パラレルポート３８０、ＵＳＢポート３９０、グラフィック・コントローラ３２０、ＶＲＡＭ３２４、音声プロセッサ３３０、Ｉ／Ｏコントローラ３７０、ならびにキーボード及びマウス・アダプタ１３０等の入力手段を備える。Ｉ／Ｏコントローラ３７０には、フレキシブル・ディスク（ＦＤ）ドライブ３７２、ハードディスク３７４、光ディスク・ドライブ３７６、半導体メモリ３７８等の記憶手段を接続することができる。
通信Ｉ／Ｆ３４０は、画像検索サーバ３００をネットワーク６００に接続するために用いられる。すなわち、通信Ｉ／Ｆ３４０を用いて、画像検索サーバ３００は、図１に示した画像検索システム１０に含まれる無線通信カメラ１００と通信可能に接続しうる。これにより、画像検索サーバ３００は、無線通信カメラ１００を用いて撮影されたデジタル写真等の画像データ、あるいはＰＣ４９０又は画像ＤＢ５００に記憶された画像データを、入力画像として受信することが可能になる。
音声プロセッサ３３０には、マイクロホン３３６、増幅回路３３２、及びスピーカ３３４が接続される。また、グラフィック・コントローラ３２０には、表示装置３２２が接続されている。
ＢＩＯＳ３６０は、画像検索サーバ３００の起動時にＣＰＵ３０３が実行するブートプログラムや、画像検索サーバ３００のハードウェアに依存するプログラム等を格納する。ＦＤ（フレキシブル・ディスク）ドライブ３７２は、フレキシブル・ディスク３７１からプログラム又はデータを読み取り、Ｉ／Ｏコントローラ３７０を介してメインメモリ３５０又はハードディスク３７４に提供する。
図３には、画像検索サーバ３００の内部にハードディスク３７４が含まれる例を示したが、バスライン３０５又はＩ／Ｏコントローラ３７０に適宜外部機器接続用インタフェース（図示せず）を接続し、画像検索サーバ３００の外部にハードディスクを接続又は増設してもよい。
図３には、画像検索サーバ３００の内部にハードディスク３７４が含まれる例を示したが、バスライン３０５又はＩ／Ｏコントローラ３７０に適宜外部機器接続用インタフェース（図示せず）を接続し、画像検索サーバ３００の外部にハードディスクを接続又は増設してもよい。
光ディスク・ドライブ３７６としては、例えば、ＤＶＤ−ＲＯＭドライブ、ＣＤ−ＲＯＭドライブ、ＤＶＤ−ＲＡＭドライブ、ＢＤ（Ｂｌｕ−ｒａｙ Ｄｉｓｋ）−ＲＯＭドライブ等を使用することができる。この際は各ドライブに対応した光ディスク３７７を使用する必要がある。光ディスク・ドライブ３７６は光ディスク３７７からプログラム又はデータを読み取り、Ｉ／Ｏコントローラ３７０を介してメインメモリ３５０又はハードディスク３７４に提供することもできる。
画像検索サーバ３００に提供されるコンピュータ・プログラムは、フレキシブル・ディスク３７１、光ディスク３７７、又はメモリカード等の記録媒体に格納されて利用者によって提供される。このコンピュータ・プログラムは、Ｉ／Ｏコントローラ３７０を介して、記録媒体から読み出され、又は通信Ｉ／Ｆ３４０を介してダウンロードされることによって、画像検索サーバ３００にインストールされ実行される。コンピュータ・プログラムが情報処理装置に働きかけて行わせる動作は、既に説明した装置における動作と同一であるので省略する。
前述のコンピュータ・プログラムは、外部の記憶媒体に格納されてもよい。記憶媒体としてはフレキシブル・ディスク３７１、光ディスク３７７、又はメモリカードの他に、ＭＤ等の光磁気記録媒体、テープ媒体を用いることができる。また、専用通信回線やインターネットに接続されたサーバシステムに設けたハードディスク又は光ディスク・ライブラリ等の記憶装置を記録媒体として使用し、通信回線を介してコンピュータ・プログラムを画像検索サーバ３００に提供してもよい。
以上の例は、画像検索サーバ３００について主に説明したが、コンピュータに、情報処理装置で説明した機能を有するプログラムをインストールして、そのコンピュータを情報処理装置として動作させることにより上記で説明した情報処理装置と同様な機能を実現することができる。
図４に示したハードウェアの構成要素は、画像検索サーバ３００の構成要素として用いることができる。すなわち、通信Ｉ／Ｆ３４０は無線通信カメラ１００等から特徴情報及び撮像方向を受信するための受信手段、及び検索の結果得られた画像を無線通信カメラ１００に送信するための送信手段として、ＣＰＵ３０３は被写体像の３次元形状を推測する推測手段、及び情報公開網から画像を検索する検索手段として、それぞれ機能しうる。
また、図４に示したハードウェアの構成要素は、ＰＣ４９０の構成要素として用いることもできる。すなわち、図４に示したハードウェアの構成要素をＰＣ４９０に備えて、ＰＣ４９０を、画像検索サーバ機能３０２を動作させるための装置として用いることが可能である。この場合においても、通信Ｉ／Ｆ３４０及びＣＰＵ３０３のそれぞれを、受信手段及び送信手段、ならびに検索手段とすることができる。
本装置は、ハードウェア、ソフトウェア、又はハードウェア及びソフトウェアの組み合わせとして実現可能である。ハードウェアとソフトウェアの組み合わせによる実施では、所定のプログラムを有するコンピュータ・システムでの実施が典型的な例として挙げられる。かかる場合、該所定のプログラムが該コンピュータ・システムにロードされ実行されることにより、該プログラムは、コンピュータ・システムに本発明にかかる処理を実行させる。このプログラムは、任意の言語、コード、又は表記によって表現可能な命令群から構成される。そのような命令群は、システムが特定の機能を直接実行すること、又は（１）他の言語、コード、もしくは表記への変換、（２）他の媒体への複製、のいずれか一方もしくは双方が行われた後に、実行することを可能にするものである。もちろん、本発明は、そのようなプログラム自体のみならず、プログラムを記録した媒体を含むプログラム製品もその範囲に含むものである。本発明の機能を実行するためのプログラムは、フレキシブル・ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＤＶＤ、ハードディスク装置、ＲＯＭ、ＭＲＡＭ、ＲＡＭ等の任意のコンピュータ可読媒体に格納することができる。かかるプログラムは、コンピュータ可読媒体への格納のために、通信回線で接続する他のコンピュータ・システムからダウンロードしたり、他の媒体から複製したりすることができる。また、かかるプログラムは、圧縮し、又は複数に分割して、単一又は複数の記録媒体に格納することもできる。
［画像検索サーバ３００のデータ構造］
図５は、本実施の形態において画像データを管理するための画像データ管理テーブルの一例を示す図である。図５に示す画像データ管理テーブルは、格納アドレス４５２、ファイル名４５４、特徴情報４６０及び関連画像データの格納アドレス４６８のそれぞれをフィールドとして含むデータ構造を有する。さらに、特徴情報４６０は、方向データ４６２及びＳＩＦＴ特徴量情報４６４を含む。本実施の形態では、この画像データ管理テーブルを図２に示す無線通信カメラ１００の画像格納部３６に格納するものとするが、本発明はこれに限定されず、例えば、図４に示した画像検索サーバ３００のハードディスク３７４など、画像データを管理するために適当であれば、いかなる記憶媒体に格納してもよい。
図５は、本実施の形態において画像データを管理するための画像データ管理テーブルの一例を示す図である。図５に示す画像データ管理テーブルは、格納アドレス４５２、ファイル名４５４、特徴情報４６０及び関連画像データの格納アドレス４６８のそれぞれをフィールドとして含むデータ構造を有する。さらに、特徴情報４６０は、方向データ４６２及びＳＩＦＴ特徴量情報４６４を含む。本実施の形態では、この画像データ管理テーブルを図２に示す無線通信カメラ１００の画像格納部３６に格納するものとするが、本発明はこれに限定されず、例えば、図４に示した画像検索サーバ３００のハードディスク３７４など、画像データを管理するために適当であれば、いかなる記憶媒体に格納してもよい。
格納アドレス４５２は、画像格納部３６における個々の画像データを格納するために用いられるメモリ・アドレスである。画像データを、データメモリ４６又は拡張Ｉ／Ｆ５６を介して接続されるメモリカード等に格納する場合でも、同様に格納アドレス４５２を個別の画像データに割り当てて、管理テーブルを設けることができる。
ファイル名４５４は、個々の画像データに付けられるファイル名である。例えば、新たに撮影が実施されて画像データが生成されるごとに、制御部４２の動作により、自動的に当該画像データのファイル名が指定されてもよい。
方向データ４６２は、画像記録時の方位、及び傾斜角度からなる。これらの情報は、無線通信カメラ１００等による撮影時に、撮影された画像データごとに方向検知部５０が検知した情報である。従って、方向データ４６２は、一つの画像データのファイル名と対応して記憶される。
ＳＩＦＴ特徴量情報４６４は、ＳＩＦＴ特徴量が存在する座標、及びＳＩＦＴ特徴量からなる。このＳＩＦＴ特徴量情報４６４は、画像特徴量算出部４８の動作により、一つの画像データに対して解析され、当該画像データが含むＳＩＦＴ特徴量が存在する座標（換言すれば、特徴点の座標）、及びＳＩＦＴ特徴量の組として算出される情報である。例えば、ＳＩＦＴ特徴量情報４６４は、座標（ｘ，ｙ）と、代表輝度勾配方向を余弦の値に変換した値とからなる。一つの画像データには複数のＳＩＦＴ特徴量情報４６４が含まれうる。図５には、格納アドレス４５２が「００１Ａ」であり、ファイル名４５４が「ＣＩＭＧ００１．ｊｐｇ」である一つの画像データが、ＳＩＦＴ特徴量情報４６４として、（ｘ１１，ｙ１１，ｃｏｓｔ１１）、（ｘ１２，ｙ１２，ｃｏｓｔ１１）、…、（ｘ１ｎ，ｙ１ｎ，ｃｏｓｔ１ｎ）からなるｎ個の情報を含むことを例示している。他の格納アドレス４５２又はファイル名４５４を有する画像データについても同様であり、それぞれの画像データは、独立して複数のＳＩＦＴ特徴量情報４６４を含みうる。
関連画像データの格納アドレス４６８は、本発明に係る類似画像検索により、類似画像として検索された他の画像への関連付けのために用いられる。
図５に示す画像データ管理テーブルのデータ構造は、無線通信カメラ１００等だけでなく、図４に示した画像検索サーバ３００のハードウェア構成において、例えばハードディスク３７４に画像データを記憶するためのデータ構造として用いてもよい。従って、画像検索サーバ３００は、画像データ管理テーブルのデータ構造を用いて、特定のファイル名を有する画像データと当該画像データの特徴情報とを関連付けて記憶することができる。
［画像検索の動作フロー］
図６及び図７は、本発明に係る画像検索システム１０が実行する画像検索の動作を説明するフロー図である。図６は、無線通信カメラ１００が実行する画像検索の動作の諸段階を例示するフロー図であり、図７は、無線通信カメラ１００と画像検索サーバ３００が画像検索のために協働して実行する動作の諸段階を説明するフロー図である。無線通信カメラ１００は、以下の動作を制御部４２の制御の下に実行し、画像検索サーバは、以下の動作をＣＰＵ３０３の制御に下に実行する。
図６及び図７は、本発明に係る画像検索システム１０が実行する画像検索の動作を説明するフロー図である。図６は、無線通信カメラ１００が実行する画像検索の動作の諸段階を例示するフロー図であり、図７は、無線通信カメラ１００と画像検索サーバ３００が画像検索のために協働して実行する動作の諸段階を説明するフロー図である。無線通信カメラ１００は、以下の動作を制御部４２の制御の下に実行し、画像検索サーバは、以下の動作をＣＰＵ３０３の制御に下に実行する。
本実施の形態の類似画像検索においては、類似画像を検索するために３次元形状モデルから２次元画像データを生成する。それぞれの画像の特徴をコンパクトに表す特徴量を比較することにより、類似画像を数値の比較として取り扱うことが可能になる。そこで、本発明に係る画像検索システム１０の動作フローにおいては、ステップＳ１１０からステップＳ２００までの動作の諸段階において、画像ごとにＳＩＦＴ特徴量が算出される。
図６を算法して、無線通信カメラ１００の動作について説明する。まず、ステップＳ１１０では、無線通信カメラ１００は、格納されている画像を一覧表示する。
ステップＳ１２０では、無線通信カメラ１００は、画像が選択されたかどうかを判定する。判定の結果が真であればステップＳ１９０に進み、偽であればステップＳ１３０に進む。具体的には、制御部４２は、キー入力部３２等の操作を検出して、画像が選択されたかどうかを判定する。
ステップＳ１３０では、無線通信カメラ１００は、撮像部に対して巡回的に画像取得を実施する。例えば、ユーザは、無線通信カメラ１００を用いてデジタル写真を撮像する操作を実施する。
ステップＳ１４０では、無線通信カメラ１００は、記録指示を検出したかどうかを判定する。判定の結果が真であればステップＳ１５０に進み、偽であればステップＳ１３０に戻る。例えば、デジタル写真が撮像され、画像格納部３６に新規な画像データが適宜圧縮符号化されて記録されることにより、当該判定は真となりうる。
ステップＳ１５０では、無線通信カメラ１００は、方位、傾斜角度を検出する。例えば、方向検知部５０により検出される撮影方向及び傾斜角度が読み取られる。
ステップＳ１６０では、無線通信カメラ１００は、撮像されている画像データを解析し、ＳＩＦＴ特徴量と座標値とを取得する。これにより、撮像された画像データに対して、ＳＩＦＴ及び座標値が算出され、当該画像データの特徴量として記憶される。
ステップＳ１７０では、無線通信カメラ１００は、取得した方位、傾斜角度、ＳＩＦＴ特徴量及び座標の組を、圧縮符号化された画像データと関連付けて、画像格納部３６の管理テーブルに書き込む。この管理テーブルは、例えば、図５に示した画像データ管理テーブルのデータ構造が用いられる。管理テーブルが参照しうる画像データは、画像格納部３６、データメモリ４６、又は拡張Ｉ／Ｆ５６を介して接続されるメモリカード（図示せず）等に記憶されうる。
ステップＳ１８０では、無線通信カメラ１００は、管理テーブルを参照し、算出したＳＩＦＴ特徴量と所定範囲内で近いＳＩＦＴ特徴量と関連付けられた画像データを検索する。これにより、新規に撮像された画像データと類似した特徴量を有する他の画像データが、無線通信カメラ１００内から検索される。
一方、ステップＳ１９０では、無線通信カメラ１００は、選択された画像データと関連付けられているＳＩＦＴ特徴量を管理テーブルから読み出す。この動作は、すでに撮像されて無線通信カメラ１００内に記憶されている画像データが選択され、選択された画像データの特徴量が参照されることを指す。従って、無線通信カメラ１００は、新規な撮像が実施されない場合であっても、すでに撮像された画像データを用いて、類似画像検索を実施することができる。
ステップＳ２００では、無線通信カメラ１００は、管理テーブルを参照し、読み出したＳＩＦＴ特徴量と所定範囲内で近いＳＩＦＴ特徴量と関連付けられた画像データを検索する。この動作は、新規に画像データを撮像した場合におけるステップＳ１８０の動作と対応する。
ステップＳ２２０では、無線通信カメラ１００は、類似する画像データがあるかどうかを判定する。判定の結果が真であればステップＳ２３０に進み、偽であればステップＳ２９０に進む。
ステップＳ２３０では、無線通信カメラ１００は、関連画像データとして管理テーブルの格納アドレスに互いの格納アドレスを記憶する。すなわち、ＳＩＦＴ特徴量が所定の範囲内にあり相互に類似する複数の画像が、関連画像データとして扱われる。
ステップＳ２４０では、無線通信カメラ１００は、前述の関連画像データを一覧表示する。
ステップＳ２５０では、無線通信カメラ１００は、一覧表示している関連画像データに対して、選択を検出したかどうかを判定する。判定の結果が真であればステップＳ２６０に進み、偽であればステップＳ２４０に戻る。
ステップＳ２６０では、無線通信カメラ１００は、選択された関連画像データごとに方位、傾斜角度をそれぞれ読み出す。
ステップＳ１１０では、無線通信カメラ１００は、読み出された方位、傾斜角度を用いて立体形状が推測できるかどうかを判定する。判定の結果が真であれば、後続の図７に示すフロー図の「Ｂ」に進み、偽であればステップＳ２９０に進む。
ステップＳ２９０では、無線通信カメラ１００は、検索不可能と判断し、読み出した画像（撮影記録した画像）と撮影すべき方向と大きさ（画角に対する検索対象被写体の大きさ）のメッセージを表示する。すなわち、この動作は、ステップＳ２２０において類似画像データが存在しないと判定されるか、又はステップＳ２７０において類似画像データを用いて立体形状が推測可能ではないと判定された場合に実施される。ステップＳ２９０の後は、無線通信カメラ１００は類似画像検索の動作を終了する。
このように動作することで、無線通信カメラ１００は、ステップＳ２７０の判定が真であれば、少なくとも二つの類似画像データ及びこれらと関連付けられた方位、傾斜角度及びＳＩＦＴ特徴量と座標値の組の情報を、用意することができる。
図７を参照して、本発明の一実施の形態に係る、無線通信カメラ１００と画像検索サーバ３００とが協働して実行する画像検索処理の諸段階について説明する。図７に示すステップＳ３１０からステップＳ３７０は無線通信カメラ１００の動作であり、ステップＳ４１０からステップＳ４７０は画像検索サーバ３００の動作である。
ステップＳ３１０は、図６に示したステップＳ２７０の判定が真である場合の動作に続いて実施される。ステップＳ３１０では、無線通信カメラ１００は、方位、傾斜角度及びＳＩＦＴ特徴量と座標値の組の情報を、画像検索サーバ３００に送信する。当該送信は、例えば、検索要求として、送信される。
ステップＳ３２０では、無線通信カメラ１００は、セッション維持状態で待機する。すなわち、画像検索サーバ３００と通信可能な状態を維持し、検索要求に対する画像検索サーバ３００からの応答を待機する。
一方、画像検索サーバは、無線通信カメラ１００からの検索要求に基づいて、本発明に係る類似画像検索のための動作を実施する。
ステップＳ４１０では、画像検索サーバ３００は、ログイン認証処理を実施する。これにより、特定の無線通信カメラ１００による検索要求が、画像検索サーバ３００に受け付けられ、類似画像検索の一つのセッションが開始される。
ステップＳ４２０では、画像検索サーバ３００は、検索キーとして、方位、傾斜角度及び、ＳＩＦＴ特徴量と座標値の組を受信する。
ステップＳ４３０では、画像検索サーバ３００は、受信した方位、傾斜角度から撮影方向を算出する。
ステップＳ４４０では、画像検索サーバ３００は、算出した撮影方向とＳＩＦＴ特徴量と座標から立体形状を推測する処理を実施する。これにより３次元モデリングが実施され、検索要求に基づく３次元画像データが生成される。当該ステップＳ４４０の動作には、例えば、後述する図８に示す多視点画像からの３次元形状データ生成を用いることができる。
ステップＳ４５０では、画像検索サーバ３００は、推測された立体形状において、受信していない撮影方向を取得する。すなわち、生成した３次元画像データに対して、検索要求に含まれない撮影方向からの投影図又は断面図等の２次元画像データが生成される。
ステップＳ４６０では、画像検索サーバ３００は、画像データを検索する。すなわち、ステップＳ４５０において生成した２次元画像データを検索キーとして、画像ＤＢ５００等の情報公開網に接続されているデータベースを用いて類似する画像が検索される。検索の結果は、検索結果として、無線通信カメラ１００に送信される。
ステップＳ４７０では、画像検索サーバ３００は、ログアウト処理を実施する。これにより、検索要求に基づく類似画像検索の一つのセッションが終了する。セッション終了後は、画像検索サーバ３００は、再び無線通信カメラ１００等の端末装置からの要求を受信待機しうる。
再び無線通信カメラ１００の動作の諸段階に戻り、ステップＳ３３０では、無線通信カメラ１００は、検索結果を受信する。
ステップＳ３４０では、無線通信カメラ１００は、検索結果として画像を受信したかどうかを判定する。判定の結果が真であればステップＳ３５０に進み、偽であればステップＳ３７０に進む。
ステップＳ３５０では、無線通信カメラ１００は、受信した画像を画像格納部３６に記憶し、関連画像データとして格納アドレスを追加して記憶する。これにより、検索結果として受信した画像データが類似画像検索の結果として画像格納部３６に記憶される。なお、画像データの記憶手段としては、画像格納部３６に限定せず、データメモリ４６又は拡張Ｉ／Ｆ５６を介して接続されるメモリカード等でもよい。
ステップＳ３６０では、無線通信カメラ１００は、検索結果として受信した関連画像データを、他の類似画像と共に表示する。これにより、ユーザは、無線通信カメラ１００の表示部３４等に表示される関連画像データ及び他の類似画像を視認することが可能になる。
一方、検索結果に画像が含まれていなかった場合は、ステップＳ３７０において、無線通信カメラ１００は、画像が見つからなかったことを表示する。
ステップＳ３６０又はステップＳ３７０の後は、無線通信カメラ１００は、類似画像検索の動作を終了する。
これらのステップ１１０からステップＳ４７０までの動作により、無線通信カメラ１００は画像検索サーバ３００と接続して、画像検索サーバ３００による３次元画像データ及び２次元画像データの生成を利用して類似画像検索を実施することができる。
また、これらのステップ１１０からステップＳ４７０までの動作は、１回の類似画像検索として実施されるだけでなく、無線通信カメラ１００からステップＳ２２０において類似する画像データとして判定しうる追加の画像データが加えられることにより、当該追加の画像データを用いて、画像検索サーバ３００は検索結果を絞り込んでもよい。
さらに、追加の画像データとしては、予め用意した所定の３次元画像データを用いてもよい。予め用意した所定の３次元画像データと生成した疑似３次元形状データとから２次元画像を生成してもよい。さらに、生成した２次元画像を、予め用意した所定の２次元画像データと比較してもよい。
図８は、画像検索サーバ３００がＣＰＵ３０３の制御に従って、図７のステップＳ４４０で実行する立体形状推測処理を説明するフロー図である。この処理によって、画像検索サーバ３００は多視点画像による３次元形状データを作成する。
ステップＳ９１０では、画像検索サーバ３００は、同一対象の異なる視点からの複数画像を入力する。
ステップＳ９２０では、画像検索サーバ３００は、前処理（鮮鋭化、ノイズ除去、傾斜補正）を実施する。
ステップＳ９３０では、画像検索サーバ３００は、カメラ情報は既知かどうかを判定する。判定の結果が真であればステップＳ９４０に進み、偽であればステップＳ９７０又はステップＳ９８０に進む。当該カメラ情報は、具体的には、それぞれの画像データに関連付けられた撮像の方位等のパラメータを指す。ステップＳ９７０又はステップＳ９８０のいずれを選択するかは、これらのカメラ情報以外の条件に基づいて、例えば、３次元形状データを生成するための画像データの枚数、各画像において算出された特徴量の平均又は分散等の統計的情報、あるいは任意の他の数値又は撮影に用いたカメラの設計情報等に基づいて、実施されうる。
ステップＳ９４０では、画像検索サーバ３００は、各画像のカメラ位置パラメータを計算する。例えば、被写体までの距離、カメラの撮像の方位等が計算される。
ステップＳ９５０では、画像検索サーバ３００は、各画像から輪郭画像データを抽出する。これにより、各画像に対して輪郭画像データが生成される。
ステップＳ９６０では、画像検索サーバ３００は、カメラ位置と各輪郭画像に基づいて
被写体の３次元形状モデルを作成する。これにより、略同一の被写体を複数の視点から眺めて得られる３次元形状モデルが作成される。
被写体の３次元形状モデルを作成する。これにより、略同一の被写体を複数の視点から眺めて得られる３次元形状モデルが作成される。
ステップＳ９７０では、画像検索サーバ３００は、因子分解法の処理を実施する。因子分解法は、例えば、次のような画像情報処理の方法である。
（因子分解法−１）各画像から、被写体の輪郭外形や顔の特徴部位を表す線分、曲線、又は特徴点を抽出する。
（因子分解法−２）各画像の主要点の点特徴を抽出し、各特徴点を対応付ける。
（因子分解法−３）多視点画像における各点座標から、カメラの動き情報及び被写体の３次元形状情報を復元する。
（因子分解法−１）各画像から、被写体の輪郭外形や顔の特徴部位を表す線分、曲線、又は特徴点を抽出する。
（因子分解法−２）各画像の主要点の点特徴を抽出し、各特徴点を対応付ける。
（因子分解法−３）多視点画像における各点座標から、カメラの動き情報及び被写体の３次元形状情報を復元する。
ステップＳ９８０では、画像検索サーバ３００は、視体積交差法の処理を実施する。視体積交差法は、例えば、次のような画像情報処理の方法である。
（視体積交差法−１）形状を記憶する３次元ボクセル空間を用意し、これを立方格子に分割する。
（視体積交差法−２）処理対象となる各多視点画像のシルエット画像を入力し、前述のように分割した各ボクセルに対して正射影による逆投影を実施する。
（視体積交差法−３）各ボクセルについて処理対象画像のシルエット内が存在するかどうかを判定し、存在するボクセルを残し、他のボクセルを削除する。
（視体積交差法−４）全てのボクセルについて判定を繰り返し、さらに全ての多視点画像に対するボクセルの判定を繰り返す。
（視体積交差法−５）残ったボクセルの集合を、被写体の３次元形状モデルとする。
（視体積交差法−１）形状を記憶する３次元ボクセル空間を用意し、これを立方格子に分割する。
（視体積交差法−２）処理対象となる各多視点画像のシルエット画像を入力し、前述のように分割した各ボクセルに対して正射影による逆投影を実施する。
（視体積交差法−３）各ボクセルについて処理対象画像のシルエット内が存在するかどうかを判定し、存在するボクセルを残し、他のボクセルを削除する。
（視体積交差法−４）全てのボクセルについて判定を繰り返し、さらに全ての多視点画像に対するボクセルの判定を繰り返す。
（視体積交差法−５）残ったボクセルの集合を、被写体の３次元形状モデルとする。
ステップＳ９９０では、画像検索サーバ３００は、主要被写体の３次元形状データを生成する。生成される３次元形状データの形式としては、当業に公知のワイヤーフレーム・モデル、サーフェス・モデル、ソリッド・モデル、ＣＳＧ（Ｃｏｎｓｔｒｕｃｔｉｖｅ Ｓｏｌｉｄ Ｇｅｏｍｅｔｒｙ）表現、又は境界表現等を任意に用いうる。ステップＳ９９０の後は、多視点画像からの３次元形状データ作成の諸段階は終了する。
＜実施例＞
［異なる視点からの複数画像を入力画像とする実施例］
図９は、本発明の一実施の形態に係る、異なる視点からの複数画像を入力画像に用いて生成した３次元形状モデルから、視点を変えた２次元画像を生成して、画像検索のための検索キーとする一例を示す図である。以下、無線通信カメラ１００及び画像検索サーバ３００を含む画像検索システム１０の動作について説明する。
［異なる視点からの複数画像を入力画像とする実施例］
図９は、本発明の一実施の形態に係る、異なる視点からの複数画像を入力画像に用いて生成した３次元形状モデルから、視点を変えた２次元画像を生成して、画像検索のための検索キーとする一例を示す図である。以下、無線通信カメラ１００及び画像検索サーバ３００を含む画像検索システム１０の動作について説明する。
図９に示す入力画像Ａ（８１０）及び入力画像Ｂ（８１５）は、例えば、異なる視点から撮影された略同一の建築物等のデジタル写真である。無線通信カメラ１００は、撮影モードの動作又は再生モードの動作において、これらの画像を画像格納部３６等に記憶し、表示部３４に適宜表示することが可能である。無線通信カメラ１００は、これらの画像及びＳＩＦＴ特徴量等の付随情報を画像検索サーバ３００に送信し、類似画像の検索を要求する。
画像検索サーバ３００は、当該要求に応答して、これらの入力画像から３次元形状モデル８２０を生成する。例えば、図７のステップＳ４４０の動作として例示した、立体形状推測処理が実施される。
さらに、画像検索サーバ３００は、これらの入力画像の撮影方向とは異なる方向からの投影図を生成する。例えば、図７のステップＳ４５０の動作として例示した、受信していない撮影方向を用いて、３次元形状モデル８２０の投影図が生成される。例えば、視点を変えた２次元画像データ８３０又は８３５等が生成される。
生成された２次元画像データは、画像検索の検索キーとして用いられ、画像ＤＢ５００等のデータベースが検索される。例えば、画像ＤＢ５００に記憶されている、記録済みの画像データ８４０等が、視点を変えた２次元画像データ８３０又は８３５等と比較される。
比較の結果、記録済みの画像データ８４０が、視点を変えた２次元画像データ８３０又は８３５等と類似していることが判定されると、画像検索サーバ３００は、記録済みの画像データから検索された類似画像８５０を検索結果として無線通信カメラ１００に送信する。
このようにして、画像検索システム１０は、略同一の被写体に対して異なる視点から撮影された画像データを入力画像として用いて、３次元形状モデル８２０及び視点を変えた２次元画像データ８３０又は８３５を生成して、類似画像を検索することができる。
以上、本発明の実施の形態を用いて説明したが、本発明は上記実施の形態に限定されない。上記実施の形態に、多様な変更又は改良を加えることができる。たとえば、上述の図９の例では入力画像として、異なる視点からの画像を２枚用いた場合について説明したが、本発明はこれに限定されず、入力画像として用いる、異なる視点からの画像の数は２枚以上で、かつ、実装上可能であれば、制限を設けない。同様に、入力画像として、全体画像とともに部分画像を用いて、３次元形状モデルを生成するようにしてもよい。無線通信カメラ１００は、撮影モードの動作又は再生モードの動作において、略同一の被写体の任意の数の全体画像又は部分画像を画像格納部３６等に記憶し、表示部３４に適宜表示し、これら画像及びＳＩＦＴ特徴量等の付随情報を画像検索サーバ３００に送信し、類似画像の検索を要求する。前述の図９に示した例と同様に、画像検索サーバ３００は、当該要求に応答して、これら任意の数の全体画像又は部分画像の入力画像から３次元形状モデル８７０、及び投影図を生成するようにしてもよい。
［全体画像及び部分画像を入力画像とする実施例］
図１０は、全体画像と部分画像とから２次元形状モデルを生成する一例を示す図である。前述の図９に示した、視点を変えた２次元画像の生成と同様に、入力画像−１（８６１）、入力画像−２（８６２）及び入力画像−Ｎ（８６８）は、異なる視点から撮影された略同一の建築物等のデジタル写真である。これらの入力画像は、略同一の被写体の全体画像又は部分画像を適宜含む。Ｎは任意の自然数である。無線通信カメラ１００は、撮影モードの動作又は再生モードの動作において、これらの画像を画像格納部３６等に記憶し、表示部３４に適宜表示することが可能である。無線通信カメラ１００は、これらの画像及びＳＩＦＴ特徴量等の付随情報を画像検索サーバ３００に送信し、類似画像の検索を要求する。
図１０は、全体画像と部分画像とから２次元形状モデルを生成する一例を示す図である。前述の図９に示した、視点を変えた２次元画像の生成と同様に、入力画像−１（８６１）、入力画像−２（８６２）及び入力画像−Ｎ（８６８）は、異なる視点から撮影された略同一の建築物等のデジタル写真である。これらの入力画像は、略同一の被写体の全体画像又は部分画像を適宜含む。Ｎは任意の自然数である。無線通信カメラ１００は、撮影モードの動作又は再生モードの動作において、これらの画像を画像格納部３６等に記憶し、表示部３４に適宜表示することが可能である。無線通信カメラ１００は、これらの画像及びＳＩＦＴ特徴量等の付随情報を画像検索サーバ３００に送信し、類似画像の検索を要求する。
前述の図９に示した例と同様に、画像検索サーバ３００は、当該要求に応答して、これらの入力画像から３次元形状モデル８７０を生成する。さらに、画像検索サーバ３００は、これらの入力画像の撮影方向とは異なる方向からの投影図を生成する。従って、これらの入力画像の撮影方向とは異なる方向からの投影図が、例えば、視点を変えた２次元画像データ８８０又は８８２等として生成される。
このように、本発明に係る類似画像検索においては、３次元形状モデルを生成するための入力画像は、略同一の被写体の全体画像又は部分画像でもよい。
さらに上述の実施の形態では、無線通信カメラとして１台のデジタルカメラ１００と無線中継局４３０を用いた場合について説明したが、本発明はこれに限定されず、画像検索システムには、撮像機能を備える携帯電話などを含む、任意の数の無線通信カメラを用いてもよく、さらに、任意の数の無線中継局を用いてもよい。また、画像を読み取るスキャナ、ポインティング・デバイス、描画画像を取り込むペンタブレットなどを備えた端末と接続し、ユーザが、例えば、スキャナを用いて読み取った画像、マウスや専用ペンなどのポインティング・デバイスを操作してタブレットに描画した画像なども検索に用いるようにしてもよい。画像検索サーバ３００とこれら複数の無線通信カメラ、端末との通信は様々な形態が可能であり、例えば、サービス・プロバイダ、無線中継局などを介した有線、無線のネットワークを用いてもよく、かかるネットワークもインターネット等の広域ネットワークのみならず、ローカル・エリア・ネットワーク（ＬＡＮ）、あるいはそれらの組み合わせなどを用いてもよい。
画像検索サーバ３００は、これらの無線通信カメラからの画像データを、所定の範囲内の位置又は時刻にあるか否かの判定を行って、略同一と判定されるものについては、同一の被写体の入力画像であるとして画像検索を行うことができる。
さらに、ネットワークに接続した端末などの操作によって、これら複数の無線通信カメラを制御して、同一の被写体を所定の範囲内の位置又は時刻において異なる視点から撮影して、画像検索サーバ３００に送信するようにさせてもよい。ネットワークに接続した端末によって、画像検索サーバ３００が行った検索結果を受け取ることができるようにしてもよい。
さらに、上述の実施の形態では、画像検索サーバ３００と無線通信カメラ１００を別の構成として説明したが、無線通信カメラが画像検索サーバの機能を有するようにしてもよい。具体的には、無線通信カメラが有するハードウェア資源の一部を用いて、例えば、画像検索サーバ３００における、３次元画像モデルの作成及び３次元画像モデルからの２次元画像データ生成等を実行するようにしてもよい。この場合、図７に示した、画像検索サーバ３００の動作の諸段階は、無線通信カメラによって実行される。このようにして画像検索サーバ３００の機能を統合した無線通信カメラが、画像検索サーバ３００と同様に、入力画像から３次元画像モデル及び２次元画像データを生成し、生成した２次元画像データを、類似画像を検索するための検索キーとして用いて、画像ＤＢ５００から画像を抽出するようにしてもよい。
このようにすることで、本発明に係る画像検索システムは、画像検索サーバ３００の機能を内蔵した無線通信カメラによって実現することができる。また、無線通信カメラが画像検索サーバ３００の機能の全てを内蔵するのではなく、例えば、入力画像から３次元画像モデル及び２次元画像データを生成し、生成した２次元画像データを、類似画像を検索するための検索キーとして用いる類似画像検索の処理については、別個画像検索サーバ３００が実行するようにするなど、画像検索サーバ３００の機能を部分的に内蔵するようにしてもよい。
さらに、画像検索サーバ３００の機能も、部分的にネットワークに接続した他の端末が内蔵するようにしてもよい。また、画像検索サーバ３００の機能を、サーバ装置が単体で実行するのではなく、複数の端末に分担して実現するようにしてもよい。具体的には、図７を参照して説明した、本発明に係る画像検索サーバ３００の動作の諸段階を複数の端末に分担して実行するようにしてもよい。
上述の実施の形態では、一例として、無線通信カメラ１００としてデジタルカメラを用いて説明したが、本発明はデジタルカメラに限られず、例えばカメラ付きの携帯電話機やＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）等の撮像機能を有する撮像装置にも適用可能である。さらに、本発明の画像検索システムは、ＣＰＵとメモリを含む、撮像装置が有するコンピュータを上述した各手段として機能させる画像検索プログラムによって動作させることができる。画像検索プログラムは、通信回線を介して配布することも可能であるし、ＣＤ−ＲＯＭ等の記録媒体に書き込んで配布することも可能である。本発明に係る画像検索サーバの機能を制御するためのプログラムは、当業に公知の言語を任意に用いて記述することが可能であり、例えば、無線通信カメラ又は端末等のハードウェア上で動作する仮想マシンとして実現されてもよい。
１０、１２、１４ 画像検索システム
２０ 撮像部
３０ 信号処理部
３６ 画像格納部
３８ 通信部
４２ 制御部
４８ 画像特徴量算出部
１００、１０２ 無線通信カメラ
１１０ 他の無線通信カメラ
１２０ 携帯端末装置
２１０ 検索要求受信手段
２２０ 疑似３次元形状データ作成手段
２３０ ２次元画像生成手段
２４０ 類似画像出力手段
２５０ 類似度算出手段
２６０ 類似画像出力手段
２７０ 制御手段
２８０ 記憶手段
２９０ 通信接続手段
３００ 画像検索サーバ
３０２ 画像検索サーバ機能
３４０ 通信Ｉ／Ｆ
４１０ サービス・プロバイダ
４９０ ＰＣ
４９２ 無線ＬＡＮ装置
４９４ スキャナ
４９６ ペンタブレット
５００ 画像ＤＢ
６００ ネットワーク
２０ 撮像部
３０ 信号処理部
３６ 画像格納部
３８ 通信部
４２ 制御部
４８ 画像特徴量算出部
１００、１０２ 無線通信カメラ
１１０ 他の無線通信カメラ
１２０ 携帯端末装置
２１０ 検索要求受信手段
２２０ 疑似３次元形状データ作成手段
２３０ ２次元画像生成手段
２４０ 類似画像出力手段
２５０ 類似度算出手段
２６０ 類似画像出力手段
２７０ 制御手段
２８０ 記憶手段
２９０ 通信接続手段
３００ 画像検索サーバ
３０２ 画像検索サーバ機能
３４０ 通信Ｉ／Ｆ
４１０ サービス・プロバイダ
４９０ ＰＣ
４９２ 無線ＬＡＮ装置
４９４ スキャナ
４９６ ペンタブレット
５００ 画像ＤＢ
６００ ネットワーク
Claims (6)
- 被写体像を含んだ画像データを、前記画像データの撮像方位及び特徴情報と関連付けて複数格納する格納手段と、
前記格納手段に格納された複数の画像データから特定の画像データの選択を検出する選択検出手段と、
前記選択検出手段によって選択が検出された特定の画像データについて、これと関連付けられた特徴情報に基づいて、類似する画像データを検索する第１の検索手段と、
前記選択検出手段によって選択が検出された画像データと前記第１の検索手段による検索結果として取得された画像データの少なくとも一つの撮像方位及び特徴情報を送信する第１の送信手段と、
を備える通信端末と、
前記第１の送信手段によって送信された撮像方位及び特徴情報を受信する受信手段と、
前記受信手段によって受信された特徴情報及び撮像方位に基づいて、前記画像データに含まれる被写体像の３次元形状を推測する推測手段と、
前記推測手段によって推測された被写体像の前記３次元形状に基づいて情報公開網を検索して、前記受信された撮像方位とは異なる方位を撮像方位とする前記被写体像を含む画像の画像データを取得する第２の検索手段と、
前記第２の検索手段によって取得した画像データを前記通信端末に送信する第２の送信手段と、
を備える画像検索サーバと、
を含むことを特徴とする画像検索システム。 - 前記通信端末は、
被写体を撮像して画像データを取得する撮像手段と、
前記撮像手段が撮像する際の撮像方位を取得する方位取得手段と、
前記撮像手段が撮像して取得した画像データに関する特徴情報を取得する特徴情報取得手段と、
前記撮像手段が取得した画像データ、前記方位取得手段が取得した撮像方位、及び、前記特徴情報取得手段が取得した特徴情報を関連付けて前記格納手段に格納する格納制御手段と、をさらに備えることを特徴とする請求項１に記載の画像検索システム。 - 前記選択検出手段は、画像データとして所定の範囲の位置又は時刻において撮影された少なくとも２つのデジタル写真データが、特定の画像データとして選択されたことを検出することを特徴とする、請求項１に記載の画像検索システム。
- さらに、前記選択検出手段が選択する画像データが追加されるに従って、前記第２の検索手段は検索する対象を絞り込むことを特徴とする請求項１に記載の画像検索システム。
- 前記格納手段に格納される画像データは、デジタル画像、ポインティング・デバイス描画入力、スキャナ読み取り画像の少なくとも一つを含むことを特徴とする請求項１に記載の画像検索システム。
- 被写体像を含んだ画像データを前記画像データの撮像方位及び特徴情報と関連付けて複数格納するメモリから特定の画像データの選択を通信端末が検出する選択検出ステップと、
前記選択検出ステップにて選択が検出された特定の画像データについて、これと関連付けられた特徴情報に基づいて、類似する画像データを通信端末が検索する第１の検索ステップと、
前記選択検出ステップにて選択が検出された画像データと前記第１の検索ステップにおける検索結果として取得された画像データの少なくとも一つの撮像方位及び特徴情報に基づいて、前記画像データに含まれる被写体像の３次元形状を画像検索サーバが推測する推測ステップと、
前記推測ステップにて推測された被写体像の前記３次元形状に基づいて情報公開網を検索して、前記メモリに格納されていない方位を撮像方位とする前記被写体像を含む画像の画像データを画像検索サーバが取得する第２の検索ステップと、
前記第２の検索ステップにおける検索結果として前記被写体像の画像データを通信端末が取得する画像データ取得ステップと、
を含むことを特徴とする画像検索方法。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009082799A JP4770960B2 (ja) | 2009-03-30 | 2009-03-30 | 画像検索システム及び画像検索方法 |
| US12/748,591 US20100250588A1 (en) | 2009-03-30 | 2010-03-29 | Image searching system and image searching method |
| CN2010101564249A CN101853268B (zh) | 2009-03-30 | 2010-03-30 | 图像检索系统及图像检索方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009082799A JP4770960B2 (ja) | 2009-03-30 | 2009-03-30 | 画像検索システム及び画像検索方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2010237804A JP2010237804A (ja) | 2010-10-21 |
| JP4770960B2 true JP4770960B2 (ja) | 2011-09-14 |
Family
ID=42785531
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2009082799A Expired - Fee Related JP4770960B2 (ja) | 2009-03-30 | 2009-03-30 | 画像検索システム及び画像検索方法 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US20100250588A1 (ja) |
| JP (1) | JP4770960B2 (ja) |
| CN (1) | CN101853268B (ja) |
Families Citing this family (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101399895B (zh) * | 2007-09-28 | 2010-10-06 | 佛山普立华科技有限公司 | 数码相机存储空间快速整理系统及方法 |
| JP5045776B2 (ja) * | 2010-03-23 | 2012-10-10 | カシオ計算機株式会社 | カメラ、カメラ制御プログラム及び撮影方法並びに被写体情報送受信システム |
| JP5672109B2 (ja) * | 2011-03-29 | 2015-02-18 | カシオ計算機株式会社 | 撮像装置及び撮像方法、並びにプログラム |
| WO2012164685A1 (ja) * | 2011-05-31 | 2012-12-06 | 楽天株式会社 | 情報提供装置、情報提供方法、情報提供処理プログラム、情報提供処理プログラムを記録した記録媒体、及び情報提供システム |
| CN102270234A (zh) * | 2011-08-01 | 2011-12-07 | 北京航空航天大学 | 一种图像搜索方法及其搜索引擎 |
| US8805000B2 (en) * | 2011-08-23 | 2014-08-12 | Honeywell International Inc. | Mobile energy audit system and method |
| US9001147B2 (en) * | 2011-11-14 | 2015-04-07 | W.W. Grainger, Inc. | System and method for using an image to provide search results |
| US8605189B2 (en) * | 2012-05-01 | 2013-12-10 | Xerox Corporation | Product identification using mobile device |
| US9076241B2 (en) | 2013-08-15 | 2015-07-07 | Xerox Corporation | Methods and systems for detecting patch panel ports from an image having perspective distortion |
| EP2919450B1 (en) * | 2014-03-11 | 2020-09-09 | Wipro Limited | A method and a guided imaging unit for guiding a user to capture an image |
| US10217292B2 (en) | 2015-11-25 | 2019-02-26 | Intel Corporation | 3D scene reconstruction using shared semantic knowledge |
| JP6378664B2 (ja) * | 2015-12-02 | 2018-08-22 | 株式会社オプティム | 情報特定システム、情報特定方法及びそのプログラム |
| JP7259732B2 (ja) * | 2019-12-23 | 2023-04-18 | 横河電機株式会社 | 配信サーバ、方法およびプログラム |
| WO2022059335A1 (ja) * | 2020-09-18 | 2022-03-24 | パナソニックＩｐマネジメント株式会社 | 三次元モデル生成方法及び三次元モデル生成装置 |
Family Cites Families (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001290820A (ja) * | 2000-01-31 | 2001-10-19 | Mitsubishi Electric Corp | 映像収集装置、映像検索装置および映像収集検索システム |
| JP4624594B2 (ja) * | 2000-06-28 | 2011-02-02 | パナソニック株式会社 | 物体認識方法および物体認識装置 |
| GB2364590B (en) * | 2000-07-07 | 2004-06-02 | Mitsubishi Electric Inf Tech | Method and apparatus for representing and searching for an object in an image |
| JP2002117036A (ja) * | 2000-10-12 | 2002-04-19 | Asd:Kk | 実写画像の管理システム |
| EP1217843B1 (en) * | 2000-12-19 | 2012-11-28 | Canon Kabushiki Kaisha | Image processing method, apparatus, and storage medium |
| JP2002251396A (ja) * | 2001-02-21 | 2002-09-06 | Mapnet Co Ltd | 地理空間案内装置 |
| JP2003087772A (ja) * | 2001-09-10 | 2003-03-20 | Fujitsu Ltd | 画像制御装置 |
| US7187787B2 (en) * | 2003-03-14 | 2007-03-06 | Intelitrac, Inc. | Method and apparatus for facial identification enhancement |
| JP4047264B2 (ja) * | 2003-09-30 | 2008-02-13 | 株式会社東芝 | 動画像処理装置、動画像処理方法および動画像処理プログラム |
| JP2005181611A (ja) * | 2003-12-18 | 2005-07-07 | Matsushita Electric Ind Co Ltd | 画像処理装置 |
| GB2411532B (en) * | 2004-02-11 | 2010-04-28 | British Broadcasting Corp | Position determination |
| US8156116B2 (en) * | 2006-07-31 | 2012-04-10 | Ricoh Co., Ltd | Dynamic presentation of targeted information in a mixed media reality recognition system |
| JP2006309722A (ja) * | 2005-03-31 | 2006-11-09 | National Institute Of Information & Communication Technology | 三次元モデルを利用した写真検索・閲覧システム及び同プログラム、写真を利用した三次元モデル表示・操作システム及び同プログラム |
| KR100906918B1 (ko) * | 2005-06-30 | 2009-07-08 | 올림푸스 가부시키가이샤 | 검색 시스템 및 검색 방법 |
| US8160400B2 (en) * | 2005-11-17 | 2012-04-17 | Microsoft Corporation | Navigating images using image based geometric alignment and object based controls |
| JP2009054018A (ja) * | 2007-08-28 | 2009-03-12 | Ricoh Co Ltd | 画像検索装置、画像検索方法及びプログラム |
-
2009
- 2009-03-30 JP JP2009082799A patent/JP4770960B2/ja not_active Expired - Fee Related
-
2010
- 2010-03-29 US US12/748,591 patent/US20100250588A1/en not_active Abandoned
- 2010-03-30 CN CN2010101564249A patent/CN101853268B/zh not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| CN101853268A (zh) | 2010-10-06 |
| JP2010237804A (ja) | 2010-10-21 |
| CN101853268B (zh) | 2012-11-14 |
| US20100250588A1 (en) | 2010-09-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4770960B2 (ja) | 画像検索システム及び画像検索方法 | |
| CN110568447B (zh) | 视觉定位的方法、装置及计算机可读介质 | |
| JP6425780B1 (ja) | 画像処理システム、画像処理装置、画像処理方法及びプログラム | |
| JP4642757B2 (ja) | 画像処理装置および画像処理方法 | |
| JP5134664B2 (ja) | アノテーション装置 | |
| JP6723748B2 (ja) | 画像管理装置、画像管理方法及びプログラム | |
| JP7271099B2 (ja) | ファイルの生成装置およびファイルに基づく映像の生成装置 | |
| KR101335617B1 (ko) | 모바일 환경에서의 증강 현실 구현 방법 및 이를 위한 장치 | |
| JPWO2018047687A1 (ja) | 三次元モデル生成装置及び三次元モデル生成方法 | |
| JP2010109783A (ja) | 電子カメラ | |
| JP6045378B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
| JP6046501B2 (ja) | 特徴点出力装置、特徴点出力プログラム、特徴点出力方法、検索装置、検索プログラムおよび検索方法 | |
| JP2016212784A (ja) | 画像処理装置、画像処理方法 | |
| CN112270736A (zh) | 增强现实处理方法及装置、存储介质和电子设备 | |
| JP2018133059A (ja) | 情報処理装置及び三次元モデルの生成方法 | |
| JP6410427B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
| JP2006113832A (ja) | ステレオ画像処理装置およびプログラム | |
| JP2015056152A (ja) | 表示制御装置及び表示制御装置の制御方法 | |
| JP5396971B2 (ja) | 位置検索システム及び位置検索方法 | |
| JP2013214158A (ja) | 表示画像検索装置、表示制御システム、表示制御方法、およびプログラム | |
| CN112615993A (zh) | 深度信息获取方法、双目摄像模组、存储介质及电子设备 | |
| Lee et al. | Mobile phone-based 3d modeling framework for instant interaction | |
| JP2016071496A (ja) | 情報端末装置、方法及びプログラム | |
| KR102542363B1 (ko) | 3차원 공간에서 객체를 인식하는 방법 | |
| KR102200262B1 (ko) | 지도 서비스를 활용한 실시간 cg 영상 제작 시스템 및 그 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100820 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110125 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110208 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110411 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110524 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110606 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140701 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4770960 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |