JP5544250B2 - 表示画像検索方法 - Google Patents
表示画像検索方法 Download PDFInfo
- Publication number
- JP5544250B2 JP5544250B2 JP2010197019A JP2010197019A JP5544250B2 JP 5544250 B2 JP5544250 B2 JP 5544250B2 JP 2010197019 A JP2010197019 A JP 2010197019A JP 2010197019 A JP2010197019 A JP 2010197019A JP 5544250 B2 JP5544250 B2 JP 5544250B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- specific image
- feature amount
- specific
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
また、拡張現実感(AR:Augmented Reality)技術を利用して、ユーザの現在の位置を示す位置情報とこの位置でモバイルデバイスが撮影した画像に基づき、この撮影した位置に関連付けられた情報を、撮影した画像とともにモバイルデバイスに表示させ、ユーザに提供するシステムがある。この拡張現実感技術を利用したシステムとしては、セカイカメラ(Tonchidot Corporation, http://sekaicamera.com/ )やLayar( http://layar.com/ )などがあり、注目を集めている。
また、撮影した画像データの内容を認識する画像認識装置として、撮影された位置に応じて、撮影された画像データの内容を表わすキーワードを抽出するものがある(例えば、特許文献2参照)。
例えば、二次元バーコード等のマーカを撮影して画像認識する場合、認識可能な画角が得られる程度にユーザがマーカに近接して撮影する必要があり、マーカとユーザとの関係が比較的近い範囲内に制限される問題があった。なお、マーカは二次元バーコードのようにデザイン性の低い図形で構成されている場合が多いため、例えば、ビルに設置されている大型広告の全面に表示するなどのマーカ表示方法は、美観的に適さず、その表示場所が制限される問題があった。
以下、本発明の一実施形態による画像検索表示システムの一例について、図面を参照して詳細に説明する。図1は、本実施形態における画像検索表示システムの機能ブロック図である。
図1に示す通り、画像検索表示システムは、表示装置1と表示画像検索装置2を備える。本実施形態において、表示装置1と表示画像検索装置2は、ネットワークNWを介して通信可能に接続されている。
なお、本実施形態では、表示装置1と表示画像検索装置2は、それぞれ異なるデバイスであって、ネットワークNWを経由して接続されている構成を例に以下説明するが、本発明はこれに限られない。例えば、表示装置1が、表示画像検索装置2を内部に備える構成であってもよい。また、ネットワークNWは、有線あるいは無線のいずれであってもよく、例えば、電話回線、インターネット回線、無線LAN通信方式等を利用した通信を行うものであればよい。
撮影部12は、被写体からの光を受光し、受光した光を光電変換して画像データを生成し、出力する。つまり、撮影部12は、被写体を撮影して画像データを出力する。
この撮影部12は、画像データとして、撮影画像データD(n)とリアルタイム再生画像データとを出力する。このリアルタイム再生画像データは、撮影部12が撮影する画像をリアルタイムで表示部15に表示するため撮影部12から出力される画像データである。これにより、ユーザは、表示部15に表示されている画像をみながら、表示部15に表示された被写体を撮影することができる。
一方、撮影画像データD(n)は、リアルタイム再生画像データに基づく画像が表示部15に表示されている状態において、操作部18が入力するユーザからの撮影指示に基づき、撮影部12が被写体を撮影して得られる画像データである。
なお、本実施形態において、撮影時とは、例えば、操作部18のシャッターボタンをユーザが押下したタイミングであってもよく、撮影画像データD(n)が生成されたタイミングであってもよい。
また、端末制御部11は、撮影部12によって連続的に撮影されるリアルタイム再生画像データを端末制御部11から入力し、撮影部12が撮影する画像をリアルタイムで表示部15に表示する。
この端末制御部11は、表示画像検索装置2から受信した特定画像付加情報と表示位置情報に基づき、表示位置情報が示す撮影画像データ内の画像領域に、特定画像付加情報を重畳して表示部15に表示させる。
この表示位置情報が示す画像領域の形状が、特定画像付加情報が示す画像の出力形状と一致していない場合、端末制御部11は、特定画像付加情報の出力形状を、表示位置情報が示す画像領域の形状に対応するものに変形処理する。この端末制御部11は、表示位置情報が示す画像領域に特定画像付加情報を重畳して表示させるための合成処理した撮影画像データを、表示部15に出力する。例えば、特定画像付加情報である動画ファイル名の動画の出力形状が長方形の画像であって、表示位置情報が示す画像領域の形状が歪んでいる場合、特定画像付加情報取得部32は、この歪みに応じて、動画の出力形状を変形処理する。
図2に示す通り、撮影画像データD(n)は、例えば、ある繁華街の風景を写した画像であって、画面右側に大きなビルB1の画像が、画面中央にビルB1よりも小さいビルB2の画像が、それぞれ含まれている。このビルB1には、大型ディスプレイが設置されている。ビルB2には、貸広告を掲示する大きな貸広告スペースが設けられている。
このビルB1の大型ディスプレイは、右辺が長く、左辺が短く歪んでいる。また、ビル2の貸広告スペースは、上辺と下辺が湾曲している。
なお、通信部21は、本実施形態のように、表示装置1と表示画像検索装置2とがネットワークNWを介して接続されている場合、上述のように表示装置1と情報の送受信を行う機能を有する。一方、図示しないが、表示画像検索装置2が表示装置1に内蔵されている場合、表示装置1と情報の入出力を行う機能を有する。つまり、通信部21は、表示装置1から情報を入力する入力部、および、表示装置1(表示部15)へ情報を出力する出力部として機能する。
この特定画像位置テーブル220は、図3に示す通り、特定画像IDと、特定画像に関連する付加情報を提供可能な位置を示す特定画像位置情報とを対応付けるテーブルである。この特定画像位置情報は、緯度と、経度と、高度と、位置誤差許容距離を示す情報を含む。
特定画像IDは、特定画像を識別するための識別情報である。なお、この特定画像IDが割り当てられている特定画像データは、この特定画像IDと対応付けて第1記憶部22に格納されている。
図4に示す通り、特定画像データ100は、特定画像ID1が割り当てられており、画面の中央にネコの画像を含む画像である。この特定画像データ100は、画面の約60%の範囲にネコの画像が表示されている。
特定画像データ200は、特定画像ID2が割り当てられており、画面の上部に「映画タイトル」の文字画像を、この「映画タイトル」の下にネコの画像を、それぞれ含む画像である。この特定画像データ200は、画面の約30%の範囲にネコの画像が、画面の約20%の範囲に「映画タイトル」の文字画像が、それぞれ表示されている。
特定画像データ300は、特定画像ID3が割り当てられており、画面の中央に「映画タイトル」の文字画像を、この「映画タイトル」の上にネコの画像を、この「映画タイトル」の右下に「近日公開」の文字画像を、それぞれ含む画像である。この特定画像データ300は、画面の約5%の範囲にネコの画像が、画面の約20%の範囲に「映画タイトル」の文字画像が、画面の約5%の範囲に「近日公開」の文字画像が、それぞれ表示されている。
位置誤差許容距離は、緯度、経度、および高度によって、特定画像位置とみなされる一定の範囲を示す情報である。この位置誤差許容距離は、例えば、特定画像位置を中心とする円の半径を示す距離である。
この撮影画像特徴量群C1は、撮影画像データD(n)の画像内において、ビルB1の大型ディスプレイに表示された「映画タイトル」の文字画像に対応する画像領域から算出された特徴量である。
撮影画像特徴量群C2は、撮影画像データD(n)の画像内において、ビルB1の大型ディスプレイに表示されたネコの画像に対応する画像領域から算出された特徴量である。
撮影画像特徴量群C3は、撮影画像データD(n)の画像内において、ビルB2の貸広告のスペースに表示されたネコの画像に対応する画像領域から算出された特徴量である。
なお、撮影画像特徴量群C2とC3は、ともにネコの画像に対応する画像領域から算出される特徴量であり、その特徴量の分布は類似している。
言い換えると、位置情報比較部24は、第1記憶部22に記憶されている全ての特定画像データの中から、撮影位置情報に対応する特定画像データを検索によって得ることで、画像特徴量比較部26による比較対象を撮影位置情報に対応するものに限定する処理を行っている。
なお、特定画像特徴量テーブル250において、特定の緯度、経度、高度、位置誤差許容距離と対応づけられていない特定画像IDの特定画像データは、位置情報比較部24により検索結果の候補から除外せず、位置情報比較部24によって画像特徴量比較部26に出力される。
この特定画像特徴量テーブル250は、図6に示す通り、特定画像IDと、特定画像の特徴を示す特定画像特徴量情報とを対応付けるテーブルである。この特定画像特徴量情報は、特徴点縦座標と、特徴点横座標と、特徴点特徴量とを示す情報を含む。
この特徴点縦座標と特徴点横座標は、対応する特定画像IDの特定画像データにおける特徴点特徴量の位置を示す。この特徴点特徴量は、この特徴点縦座標と特徴点横座標が示す位置の特徴量を示す。なお、各特定画像IDに対応付けられている特徴点特徴量の数は、各特定画像IDに応じて決まる。
なお、特徴量類似度は、例えば、レベル1〜10で示され、閾値がレベル5とする。また、レベル1は、特定画像の特徴量と撮影画像特徴量とが最も類似していないことを示し、レベル10は特定画像の特徴量と撮影画像特徴量とが最も類似していることを示すものとする。
図5に示した通り、撮影画像特徴量群C2は、ネコの画像に対応する画像領域から算出された特徴量である。このため、このネコの画像を含む特定画像データ100、200、300の特徴量と撮影画像特徴量群C2とは類似する。
画像特徴量比較部26は、例えば、この撮影画像特徴量群C2と類似する特徴量の画像が特定画像データにおいて占める面積の割合に応じて、特徴量類似度を算出する。上述の通り、特定画像データ100、200、300のそれぞれにおいて、ネコの画像の占める面積の割合は、60%、30%、5%である。よって、画像特徴量比較部26は、特定画像データ100、200、300の特徴量のそれぞれと撮影画像特徴量群C2との特徴量類似度は、例えば、レベル6、3、0.5と算出する。
これにより、画像特徴量比較部26は、撮影画像特徴量群C1、C2と特定画像データ100との特徴量類似度が「6」、撮影画像特徴量群C1、C2と特定画像データ200との特徴量類似度が「6」、撮影画像特徴量群C1、C2と特定画像データ300との特徴量類似度が「2.5」と算出する。
このように、撮影画像特徴量群C1、C2と特定画像データ100、200との特徴量類似が閾値のレベル5以上である。よって、画像特徴量比較部26は、特定画像ID1、2を、撮影画像特徴量群C1、C2の特定画像候補として検出する。
なお、撮影条件とは、例えば、撮影時の照明が自然光(日中、夜間)、蛍光灯、白熱灯等であって照明の色や明るさ、特定画像データの画像が設置されている背景の色や明るさ、映り込みの有無や程度に応じて決められる。補正値は、このように想定される撮影時の状況の撮影条件に応じて、特徴量を補正する係数によって予め決められている。なお、この補正値は、例えば、第2記憶部25に記憶されている。
よって、画像特徴量比較部26は、特定画像特徴量テーブル250から読み出した特定画像データの特徴量に対して撮影条件や画像の歪みに応じた補正をかけた特徴量と、撮影画像特徴量とを比較して、特定画像データであると許容される類似度の閾値の範囲内であれば、撮影画像特徴量と類似する特徴量を有する特定画像データと認識する。一方、この類似度の閾値の範囲外である場合、画像特徴量比較部26は、撮影画像特徴量と類似する特徴量を有しない特定画像データと認識し、この特定画像データを特定画像候補としては検出しない。
この重畳領域抽出部28は、例えば、特定画像候補と対応する特定画像の特徴量の特定画像特徴量テーブル250から読み出し、この特定画像の特徴量を表わす変換行列M(t)を作成する。この変換行列M(t)は、言い換えると、特定画像候補セットから特定画像特徴量テーブル250から読み出し特定画像の特徴量のセットへの変換行列である。重畳領域抽出部28は、この変換行列M(t)に基づき重畳領域の輪郭を示す座標を算出し、重畳領域情報を得る。
R11、R12は、特定画像ID1に対応する重畳領域を示す。R21は、特定画像ID2に対応する重畳領域を示す。
図9に示す通り、撮影画像特徴量群C1、C2と類似する特徴量を有する特定画像データ100の重畳領域R11と特定画像データ200の重畳領域R21は、互いに、撮影画像特徴量群C2に対応する画像領域において重複している。
例えば、この画像識別部27は、重畳領域が一定の閾値以上の面積で重複している複数の特定画像候補毎に、オブジェクト特徴情報比較部30によって算出されるオブジェクト類似度が一定の閾値以上であるか否かを判断する。この画像識別部27は、これら特定画像候補の中から、オブジェクト類似度が閾値以上の特定画像候補を取得する。
画像識別部27は、重畳領域が一定の閾値以上の面積で重複している特定画像候補のうち、このオブジェクト類似度が閾値以上の特定画像候補を、重畳領域に含まれている特定画像と判断し、特定画像候補の中から検索によって得た画像(以下、検索特定画像という)として扱う。
一方、重畳領域情報が示す重畳領域が他の重畳領域と重複していない場合、および、重複している場合であってもその重複している重畳領域が一定の閾値未満の面積である場合、画像識別部27は、オブジェクト類似度に基づき、1つの特定画像候補を検索特定画像として選択する処理をすることなく、各重畳領域に対応する特定画像候補を検索特定画像として扱う。
画像識別部27は、各重畳領域情報に検索特定画像の特定画像IDを関連付けて特定画像付加情報取得部32に出力する。
このオブジェクト情報テーブル290は、図7に示す通り、特定画像IDと、特定画像に含まれるオブジェクトの特徴を示すオブジェクト特徴情報とを対応付けるテーブルである。このオブジェクト特徴情報は、特定画像内オブジェクト種別と、画像内オブジェク縦座標と、画像内オブジェクト横座標と、特定画像内文字とを含む。
特定画像内オブジェクト種別は、例えば、イメージ、文字、図形等の属性の異なるオブジェクトの種別を示す。ここでは、「1」が文字、「2」が図形、「3」が表、「0」はその他のオブジェクトであることを示す。
画像内特徴座標縦座標と画像内特徴座標横座標は、特定画像IDの示す特定画像データにおいて、オブジェクトを含む位置を示す。なお、このオブジェクトを含む位置は、特定画像データの画像を分割した領域で示すものであってもよく、画像の右上領域、画像の左下領域等によりその位置を特定するものであってもよい。
特定画像内文字は、特定画像内特徴種別が文字を示す場合、この文字の内容を示す。つまり、特定画像内文字は、特定画像内特徴種別が「1」の場合において、対応する特定画像IDの示す特定画像データに含まれる文字列を示す。なお、特定画像内特徴種別が「1」以外の場合、nullとする。
具体的にいうと、オブジェクト特徴情報比較部30は、画像識別部27によって重畳領域が一定の閾値以上の面積で重複している特定画像候補が複数枚算出された場合、この特定画像候補にそれぞれ対応する重畳領域画像に、オブジェクト特徴情報テーブル290において定義されているオブジェクトが存在する可能性を示すオブジェクト類似度を算出する。
その結果、撮影画像データD(n)において、各特定画像IDと対応付けられているオブジェクト特徴情報と類似するオブジェクトが決められた位置に存在している場合、オブジェクト特徴情報比較部30は、撮影画像データD(n)にこのオブジェクトが含まれている可能性が高いことを示すオブジェクト類似度を算出する。この場合、オブジェクト類似度は高くなる。なお、このオブジェクトが類似しているとオブジェクト特徴情報比較部30により判断される範囲は、オブジェクトの種類や位置に応じて予め決められている。
また、オブジェクト特徴情報テーブル290において定義されているオブジェクトが、重畳領域画像に存在する可能性が低い場合、オブジェクト類似度は低い。
画像識別部27は、重畳領域R11が、他の重畳領域R21と面積の割合90%で重複しているため、閾値以上であると判断し、この重畳領域R11、R12に対応するオブジェクト類似度を、オブジェクト特徴情報比較部30に算出させる。
また、オブジェクト特徴情報比較部30は、オブジェクト特徴情報テーブル290を参照して、重畳領域R11にオブジェクト特徴情報に対応するオブジェクトがあるか否かを判断する。ここでは、オブジェクト特徴情報比較部30は、対応するオブジェクトがないと判断し、重畳領域R11のオブジェクト類似度として、特定画像ID1である可能性が低いことを示すオブジェクト類似度を算出する。
一方、重畳領域R12は、他の重畳領域と重複していないため、画像識別部27は、重畳領域R12に対応する特定画像候補である特定画像ID1の特定画像を、検索特定画像として扱う。
この特定画像付加情報テーブル310は、図8に示す通り、特定画像IDと、特定画像に関連する付加情報を示す特定画像付加情報と、この特定画像IDに対応する特定画像付加情報を撮影時の条件に応じてさらに特定するための情報である撮影条件情報とを対応付けるテーブルである。この撮影条件情報は、緯度と、経度と、高度と、位置誤差許容距離と、年/月/日と、時刻とを含む。特定画像付加情報は、例えば、コンテンツURLと、動画ファイル名と、スライドショー画像数と、スライドショー画像表示フレームレートとを含む。
年/月/日と、時刻は、特定画像IDに対応する特定画像付加情報を撮影時の日時に応じてさらに特化させることを可能にするための情報である。
コンテンツURLは、特定画像と関連するコンテンツをインターネットを介して提供するURL( Uniform Resource Locator )である。
動画ファイル名は、特定画像と関連する動画ファイルを示す情報である。なお、この動画ファイル名で示す動画ファイルは、第4の記憶部31に保存されている。
スライドショー画像数と、スライドショー画像表示フレームレートは、特定画像と関連するスライドショーの画像枚数と、このスライドショーを表示させる際のフレームレートを示す情報である。
また、特定画像付加情報取得部32は、特定画像付加情報テーブル310を参照して、通信部21から入力する撮影位置情報と撮影日時情報に対応する特定画像付加情報を検索によって得る。
特定画像付加情報取得部32は、検索によって得られた特定画像付加情報と、重畳領域情報を、通信部21に出力する。なお、この特定画像付加情報取得部32が通信部21に出力する重畳領域情報は、表示装置1において、撮影画像データの重畳領域、特定画像付加情報を重畳して表示するための表示位置を示す情報であって、表示位置情報という。
通信部21は、入力する特定画像付加情報と表示位置情報(重畳領域情報)を表示装置1に送信する。
例えば、表示装置1の撮影部12がリアルタイム再生画像データを取得して、端末制御部11が表示部15にリアルタイム再生画像データに基づく画像を表示している。この状態において、ユーザが操作部18のシャッターボタンを押下すると、撮影部12が、リアルタイム再生画像データに対応する画像を撮影する。つまり、撮影部12は、撮影画像データD(n)を取得して、端末制御部11に出力する(ステップST1)。
次いで、位置情報比較部24は、特定画像位置テーブル220を参照して、撮影位置情報P(n)に基づき、特定画像位置テーブル220に示された緯度、経度、高度を中心とし位置誤差許容距離を半径とする特定画像範囲内に、撮影位置情報P(n)が示す位置を含む特定画像データを検索する(ステップST4)。
例えば、位置情報比較部24は、撮影位置情報P(n)に対応する特定画像データとして、特定画像ID1〜10の特定画像データを検索によって得る。
例えば、画像特徴量比較部26は、特定画像特徴量テーブル250において各特定画像ID1〜3と対応付けられている特徴量と、撮影画像特徴量群C1、C2、C3を含む撮影画像特徴量とを比較して、特徴量類似度を算出する。そして、画像特徴量比較部26は、上述の通り、撮影画像特徴量群C1、C2と特定画像データ100との特徴量類似度が「6」、撮影画像特徴量群C1、C2と特定画像データ200との特徴量類似度が「6」、撮影画像特徴量群C1、C2と特定画像ID3の特定画像データ100との特徴量類似度が「2.5」であると算出する。よって、画像特徴量比較部26は、特定画像ID1、2を、撮影画像特徴量群C1、C2の特定画像候補として検出する。
また、画像特徴量比較部26が、特定画像データ100、200、300の特徴量のそれぞれと撮影画像特徴量群C3との特徴量類似度を算出すると、それぞれの特徴点類似度は、レベル6、3、0.5となる。よって、画像特徴量比較部26は、特定画像ID1を、撮影画像特徴量群C3の特定画像候補として検出する。
この画像特徴量比較部26は、例えば、図9に示したように、特定画像候補の重畳領域R11、R12、R21を抽出し、これら重畳領域の座標を示す重畳領域情報を算出する。そして、画像特徴量比較部26は、特定画像候補の特定画像IDと重畳領域情報とを対応付けた重畳領域セットを取得して、画像識別部27に出力する。
ここで、重畳領域R11と重畳領域R21とは、重複しているため、画像識別部27は、複数の重畳領域が重複していると判断する(ステップST9−YES)。
そして、画像識別部27は、重畳領域R11、R21のそれぞれのオブジェクト類似度に基づき、重畳領域R11、R21が重複する領域に対応する特定画像候補が、特定画像ID2であると判断する。これにより、オブジェクト特徴情報比較部30は、特定画像ID2を、検索特定画像として扱う(ステップST11)。
そして、画像識別部27は、この重畳領域R11、R21が重複する領域に対応する検索特定画像が、特定画像ID2であることを示す情報を特定画像付加情報取得部32に出力する。
一方、ステップST9において、重複する重畳領域がないと判断された場合、画像識別部27は、ステップST10、11は行ない。例えば、画像識別部27は、当該重畳領域R11に対応する特定画像候補が、特定画像ID1であると判断するため、この場合ステップST10、11は行わない。
この特定画像付加情報取得部32は、特定画像付加情報テーブル310を参照して、検索特定画像の特定画像ID、撮影位置情報、撮影日時情報に対応する特定画像付加情報を検索によって得る(ステップST13)。
そして、操作部18から特定画像付加情報を表示部15に表示させることを指示する操作情報を入力した場合(ステップST17−YES)、端末制御部11は、特定画像表示データと重畳領域情報に基づき、撮影画像データの対応する領域に特定画像付加情報を表示させる(ステップST18)。
つまり、端末制御部11は、表示画像検索装置2から受信した特定画像付加情報と表示位置情報に基づき、表示位置情報が示す撮影画像データ内の画像領域に、特定画像付加情報を重畳して表示部15に表示させる。具体的には、端末制御部11が、特定画像付加情報の出力形状を、表示位置情報が示す画像領域の形状に対応するものに変形処理する。そして、端末制御部11が、表示位置情報が示す画像領域に特定画像付加情報を重畳して表示させるための合成処理した撮影画像データを、表示部15に出力する。この表示部15は、この合成処理された撮影画像データに基づき、撮影画像データの重畳領域に特定画像付加情報を重畳して表示する。
図12(a)は、被写体を撮影した際の撮影画像データの一例を示す図である。例えば、表示装置1の撮影部12が、図12(a)に示すようなポスターを含む風景を被写体として撮影する。ここで、表示装置1の端末制御部11は、ARモードが設定されており、撮影により生成された撮影画像データと、撮影時に位置情報検出部13により検出された撮影位置情報と、撮影時に計時部14により計時された撮影日時情報を、表示画像検索装置2に送信する。
また、画像特徴量算出部23は、撮影画像データに基づき、撮影画像の特徴を示す撮影画像特徴量を算出し、画像特徴量比較部26に出力する。
画像特徴量比較部26は、特定画像特徴量テーブル250を参照して、撮影画像特徴量と類似する特徴量を有する特定画像を検出し、特定画像候補として画像識別部27に出力する。ここで、画像特徴量比較部26は、撮影画像特徴量と特定画像の特徴量と類似の程度を示す特徴量類似度を算出し、この特徴量類似度に応じて撮影画像データに含まれている可能性の高い特定画像を特定画像候補として検出する。
ここでは、1つの特定画像候補が検出され、図12(b)に示す通り、撮影画像の画面の右辺が左辺よりも長い台形で示される重畳領域R13が抽出される。また、重畳領域情報は、例えば、この重畳領域R13の四隅を示す座標である。なお、ここでは、検出された特定画像候補が1つであり、複数の重畳領域が重複することがないため、オブジェクト特徴情報比較部30により算出されたオブジェクト類似度に基づき、画像識別部27が複数の特定画像候補のうち、重複する重畳領域に対応する特定画像を選択する処理は実行されない。
そして、画像識別部27は、特定画像候補と重畳領域情報を特定画像付加情報取得部32に出力する。
例えば、特定画像位置テーブル220では、特定画像位置情報として、緯度、経度、高度が示す位置から半径数十キロ範囲と規定しておく。そして、特定画像付加情報テーブル310では、この特定画像位置テーブル220において規定する特定画像位置情報よりも狭い範囲、例えば、緯度、経度、高度が示す位置から半径数キロ範囲と規定しておく。
具体的に説明すると、位置情報比較部24では、東京都23区の地域と関連付けられた特定画像を検索により得るようにしておき、特定画像付加情報取得部32では、このエリアよりも狭い、例えば渋谷や恵比寿といった各駅単位のエリアを規定しておく。これにより、東京都23区に張り出された同一のポスターが特定画像として登録されている場合であっても、駅毎にユーザの撮影時の位置に近い映画館の情報を特定画像付加情報として提供することができる。
これにより、この画像データに基づき、表示装置1の表示部15は、図12(b)に示すように、重畳領域R13に特定画像付加情報のコンテンツを重畳して表示することができる。
このコンテンツは、例えば、ポスターに掲載されている企業や映画等のテレビCMの動画等である。
これにより、表示装置1の端末制御部11は、通信部16を介して、コンテンツURLにアクセスしてコンテンツ関連情報をダウンロードし、図12(c)に示すように、コンテンツ関連情報を表示部15に表示する。
このコンテンツ関連情報は、例えば、ポスターに掲載されている企業や映画等とタイアップしているキャンペーン等に関する情報である。
よって、ポスターの内容としては、マーカに限られず、ARを利用したコンテンツの提供を受けないユーザも認識できるようなデザイン性の高い写真や文字等を利用することができる。これにより、特定画像をポスターや大型ディスプレイに表示して、本実施形態に係るARモードを利用したコンテンツを配信サービスの提供を受けないユーザに対しても、認識できる画像を表示することができる。また、ARモードを利用したコンテンツの配信サービスの提供を受けるためにユーザが意識的にマーカを撮影せずとも、このARモードを設定しておき、撮影した画像内に特定画像が含まれていれば、関連するコンテンツの提供をうけることができる。
これにより、撮影画像データに特定画像に類似する画像が含まれていれば、特定画像付加情報が重畳領域に重畳されて表示される。よって、特定画像付加情報が動画ファイルの場合、撮影した静止画の撮像画像データの一部に、動画が重畳して表示されるため、撮影した静止画が目の前で動き出したような画像を表示部15に表示することができる。
このように、本発明は、画像識別処理による「画像の特徴量」の類似度に、「画像が撮影された位置情報」および「特定画像に含まれる文字情報や画像情報等のオブジェクトならびにそれらの画像内における座標情報」を組み合わせて、撮影画像データと特定画像を比較処理する。この比較方法の採用により、従来方式に比べて誤識別や識別不可能となる場合を低減でき、従来よりも正確にモバイルデバイスで撮影された空間に付加情報の表示を可能とする。
本願発明によれば、このような誤認識や認識不可能等の発生を防止し、撮影画像データに含まれる特定画像の検索精度を向上させることができる。また、特定画像が、撮影された画像内の仮想空間において、どの領域に存在するのか特定することができ、仮想空間内において特定画像が存在する領域に対応するコンテンツを表示することができる。
例えば、図13(a)に示す通り、雑誌や新聞等の媒体に特定画像を掲載しておくことで、この特定画像に関連する広告のコンテンツや、ショッピングサイトのURLを、コンテンツやコンテンツ関連情報として提供することができる。
また、図13(b)に示す通り、ビルの大型ディスプレイや貸広告スペース等に特定画像である映画のポスターを表示することで、この風景を撮影した場合、映画の予告編の動画やこの映画が上映されている映画館の情報を、コンテンツやコンテンツ関連情報として提供することができる。この場合、特定画像付加情報テーブル310において、撮影条件情報として、各映画館の位置に応じた緯度、経度、高度で示される位置情報を設定して、特定画像付加情報と対応付けるデータを予め用意しておく。これにより、特定画像位置テーブル220に規定されている位置情報においては同一の範囲内とされる複数の映画館であって、撮影時にユーザが存在している位置により近い映画館の情報を配信することができる。
次に、図14、15を参照して、本発明に係る他の実施形態の一例について説明する。図14は、第1、2の実施形態を含む概念を説明するための図である。
図14に示す通り、本発明に係る表示画像検索装置2は、表示装置1の撮影部12が撮影した撮影画像データと、撮影時に取得される撮影位置情報と撮影日時情報に基づき、以下の(A)〜(C)の要素に基づき、特定画像が撮影した画像内に含まれているか否かを検索する。この表示画像検索装置2は、撮影画像データに特定画像と類似する画像が含まれている場合、この特定画像に関連するコンテンツを、表示部15が表示している撮影画像データ内の対応する領域に重畳して表示させる。また、コンテンツ関連情報が存在する場合、このコンテンツ関連情報を、コンテンツを表示した後に表示させる。
このように、表示画像検索装置2は、(A)撮影画像データから検出されるオブジェクトと特定画像に含まれるオブジェクトの類似の程度を示すオブジェクト類似度、(B)撮影位置情報に基づき特定画像が存在する位置との距離、(C)撮影画像データから検出される撮影画像特徴量と特定画像の特徴量の類似の程度を示す特徴量類似度、に基づき、撮影画像データに含まれている特定画像を検索する。
しかし本発明はこれに限られず、上述の通り(A)〜(C)の要素に基づき、特定画像が撮影した画像内に含まれているか否かを検索し、撮影画像の画像領域に応じて最も類似する特定画像に決定することができる。この一例を以下に説明する。
図15に示す通り、通信部21が受信した撮影画像データは、画像特徴量算出部23とオブジェクト特徴情報比較部30に出力され、撮影位置情報は位置情報比較部24に出力される。
例えば、距離誤差X(t)≦位置誤差許容距離A(t)であるとき、撮影位置が特定画像位置範囲内にあるため、位置類似度f(A(t),X(t))は、正の値とする。なお、位置類似度f(A(t),X(t))は、特定画像位置範囲内において撮影位置情報が示す位置からどの程度位置がずれているかを示す。
一方、距離誤差X(t)>位置誤差許容距離A(t)であるとき、撮影位置が特定画像位置範囲外にあるため、位置類似度f(A(t),X(t))は、負の値とする。なお、位置類似度f(A(t),X(t))は、特定画像位置範囲に対して、撮影位置情報が示す位置からどの程度位置がずれているかを示す。
このような特性を有する位置類似度f(A(t),X(t))は、例えば、以下の式で示すことができる。
位置類似度f(A(t),X(t))= {A(t) − X(t)}/A(t)
・・・式1
なお、撮影位置が特定画像位置範囲に対してどの程度範囲の内外にあるかを示す値は、この関数fの傾きを任意に設定することにより算出することができる。また、この値は、傾きに限らず、他のやり方で数式に傾斜を与えられるものであってもよい。
Q(t)=a×f(A(t),X(t))+b×Y(t)/C(t)+c×Z(t)
・・・式2
なお、a、b、cは、重み係数であって、任意に決められる数値である。
ここで、画像識別部27は、重畳領域抽出部28に対して、例えば、特定画像類似度Q(t)が大きい上位10個の特定画像に対応する重畳領域を抽出させ、上述の通り、撮影画像データ内において一定の割合で面積が重複しているか否かを判断できる。
また、上述の式2は、この場合、位置類似度f(A(t),X(t))、オブジェクト類似度Y(t)/C(t)、特徴量類似度Z(t)のうち、画像識別部27によって特定画像類似度Q(t)が算出される以前に特定画像の絞込みに利用されたものについては、対応する重み係数を「0」にすることによって、他の表示画像検索装置の構成において利用することができる。
なお、本発明に係る表示画像検索装置2は、表示装置1の撮影部12が撮影した撮影画像データと、撮影時に取得される撮影位置情報と撮影日時情報に基づき、(A)〜(C)の要素に基づき、特定画像が撮影した画像内に含まれているか否かを検索するものとして説明した。本発明は、これら(A)〜(C)の要素を組み合わせることによって、あるいは、新たな要素を追加することによって、撮影画像データに含まれる特定画像の検索精度を高めることができる。
これにより、撮影画像データにノイズが含まれ、撮影画像に含まれるオブジェクトと、テーブルにおいて規定されているオブジェクトとが大きく異なり、オブジェクト類似度の信頼性が低い場合であっても、撮影時のユーザの状況に応じた特定画像付加情報を提供することができる。
ここで、図16を参照して、本発明に係る検索パターンを用いて、本願発明の概要について説明する。図16(a)には、第1記憶部22に記憶されている特定画像ID1〜4の特定画像データ100、200、300、400を示す。図示の通り、特定画像データ400は、タワーが中央にある風景の画像である。
このように特定画像データ100、200、300と、特定画像データ400とは、画像に含まれる内容が異なるため、その画像特徴量も大きく異なる。
この場合、画像特徴量算出部23による検索だけでは、特定画像データ100、200、300のように複数の特定画像候補が残ってしまう可能性がある。この場合、図示の通り、各特定画像データ100、200、300の重畳領域R100、R200、R300は、仮想的に重なりあっており、この重なった部分に対応する特定画像候補を決定することができない。そこで、本願発明は、画像識別部27によって、オブジェクト類似度に応じて、この重なった部分の撮影画像と類似する特定画像候補を選択することにより、画像認識の精度を高めることができる。
画像識別部27は、上述の通り、オブジェクト類似度を用いることで、含まれているオブジェクトの類似する程度やオブジェクトの位置に応じた特定画像候補を選択することができる。また、画像識別部27は、重畳領域が撮影画像データの画像サイズに占める面積の割合に応じて、複数の特定画像候補を絞るものであってもよい。
なお、このような検索パターンは、図2を参照して上述した検索パターンに対応するものである。つまり、ビルB1の大型ディスプレイにおいて、重畳領域が一定の割合以上の面積で重畳している特定画像ID1、2が検索により得られるため、画像識別部27は、オブジェクト類似度に応じて、1つの特定画像に絞っている。
重畳領域R101、R102は、特定画像ID1に対応するものであり、重畳領域R400は、特定画像ID4に対応するものである。
この場合、図示の通り、検出された複数の重畳領域R101、R102、R400は、いずれも仮想的に重なっていない。
よって、画像識別部27は、検索により得られた特定画像が、複数の領域に出現していて、複数の検索結果である重畳領域R101、R102、R400にそれぞれ対応する特定画像ID1、1、4が有効であると判断する。この画像識別部27によって有効と判断された特定画像は、通信部21に出力される。
例えば、特定画像の形状は、上述の四角形や台形に限られず、円や三角形等の形状であってもよい。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、フラッシュメモリ等の書き込み可能な不揮発性メモリ、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク(通信網)や電話回線等の通信回線(通信線)のように情報を伝送する機能を有する媒体のことをいう。
また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムに既に記録されているプログラムとの組合せで実現できるもの、いわゆる差分ファイル(差分プログラム)であっても良い。
Claims (2)
- 撮影された画像に対応する画像を検索する表示画像検索方法において、
被写体を撮影して撮影画像データを取得する撮影処理と、
前記撮影画像データに基づき、当該画像の特徴を示す撮影画像特徴量を算出する画像特徴量算出処理と、
検索対象である特定画像の特徴を示す特定画像特徴量情報に当該特定画像を表わす特定画像データを対応付ける特定画像特徴量テーブルを参照して、前記特定画像の特徴量と前記撮影画像特徴量とを比較し、前記撮影画像データに含まれる画像の特徴量と類似する特徴量を有する前記特定画像を検索する画像特徴量比較処理と、
検索により前記特定画像を得た場合、
特定画像特徴量テーブルに定義されている特徴点特徴量の位置(特徴点縦座標と特徴点横座標が示す位置)に応じて、撮影画像データ内に特定画像を重畳する画像領域である重畳領域の輪郭を示す座標情報を重畳領域情報として取得する重畳領域抽出処理と、
当該特定画像に関連する特定画像付加情報を取得する特定画像付加情報取得処理と、
特定画像付加情報が示すコンテンツの出力形状を、前記画像領域に内接する形状に変形し、重畳領域情報が示す座標位置に、特定画像付加情報が示すコンテンツを、撮影画像データに重ねて表示する端末制御処理を備えることを特徴とする、表示画像検索方法。 - 請求項1記載の表示画像検索方法において、
表示側と表示画像検索側を、ネットワークを介してつなげ、
前記表示側が、
前記撮影処理を実行し、
前記表示画像検索側が、
前記画像特徴量算出処理と、前記画像特徴量比較処理と、前記重畳領域抽出処理と、前記特定画像付加情報取得処理を実行し、
前記表示側が、
前記特定画像付加情報にもとづき、ネットワークを介して前記コンテンツを取得する処理と、
前記端末制御処理を実行する
ことを特徴とする、表示画像検索方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010197019A JP5544250B2 (ja) | 2010-09-02 | 2010-09-02 | 表示画像検索方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010197019A JP5544250B2 (ja) | 2010-09-02 | 2010-09-02 | 表示画像検索方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012053776A JP2012053776A (ja) | 2012-03-15 |
JP5544250B2 true JP5544250B2 (ja) | 2014-07-09 |
Family
ID=45906989
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010197019A Expired - Fee Related JP5544250B2 (ja) | 2010-09-02 | 2010-09-02 | 表示画像検索方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5544250B2 (ja) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013214158A (ja) * | 2012-03-30 | 2013-10-17 | Ntt Comware Corp | 表示画像検索装置、表示制御システム、表示制御方法、およびプログラム |
CN104335251A (zh) * | 2012-06-12 | 2015-02-04 | 索尼公司 | 信息处理设备、信息处理方法和程序 |
JP6299234B2 (ja) * | 2014-01-23 | 2018-03-28 | 富士通株式会社 | 表示制御方法、情報処理装置、および表示制御プログラム |
JP2015141507A (ja) * | 2014-01-28 | 2015-08-03 | 三菱重工業株式会社 | 保守作業支援システムおよび保守作業支援方法 |
JP2014238815A (ja) * | 2014-02-04 | 2014-12-18 | 株式会社リコー | 情報処理システム、情報提供方法、端末装置およびプログラム |
JP6149015B2 (ja) | 2014-09-10 | 2017-06-14 | 富士フイルム株式会社 | 画像処理装置、画像処理方法、プログラムおよび記録媒体 |
JP6731605B2 (ja) * | 2014-12-11 | 2020-07-29 | 株式会社リリピア | 情報提示装置、情報提示システム、情報提示方法および情報提示プログラム |
JP6783179B2 (ja) * | 2017-04-19 | 2020-11-11 | Kddi株式会社 | 三次元空間情報表示システム、及び三次元空間情報表示方法 |
KR20200017325A (ko) * | 2018-08-08 | 2020-02-18 | 주식회사 소울핑거 | 증강현실 컨텐츠 제공 시스템 및 방법 |
JP7282519B2 (ja) * | 2018-12-28 | 2023-05-29 | キヤノン株式会社 | 画像処理装置または画像処理サーバー |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3683758B2 (ja) * | 1998-11-12 | 2005-08-17 | 日本電信電話株式会社 | 類似画像検索システム,類似画像検索方法および類似画像検索プログラムを記録した記録媒体 |
JP4334234B2 (ja) * | 2003-01-06 | 2009-09-30 | 富士通株式会社 | 類似画像の判定方法および類似画像判定機能を備えた画像処理装置 |
JP2007041762A (ja) * | 2005-08-02 | 2007-02-15 | Seiko Epson Corp | 画像認識装置 |
JP4774346B2 (ja) * | 2006-08-14 | 2011-09-14 | 日本電信電話株式会社 | 画像処理方法、画像処理装置およびプログラム |
JP4934577B2 (ja) * | 2007-12-07 | 2012-05-16 | キヤノン株式会社 | 画像処理装置及び画像処理方法 |
-
2010
- 2010-09-02 JP JP2010197019A patent/JP5544250B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2012053776A (ja) | 2012-03-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5544250B2 (ja) | 表示画像検索方法 | |
KR101423928B1 (ko) | 전자지도에 포함된 이미지 파일을 이용한 이미지 재생장치, 이의 재생 방법 및 상기 방법을 실행하기 위한프로그램을 기록한 기록매체. | |
US8988456B2 (en) | Generating digital media presentation layouts dynamically based on image features | |
Chen et al. | Building book inventories using smartphones | |
US9076069B2 (en) | Registering metadata apparatus | |
CN103415849B (zh) | 用于标注视图图像的至少一个特征的计算机化方法和设备 | |
US9286624B2 (en) | System and method of displaying annotations on geographic object surfaces | |
US20160154826A1 (en) | Computer-vision-assisted location accuracy augmentation | |
US10089762B2 (en) | Methods for navigating through a set of images | |
CN104520828B (zh) | 自动媒体发布 | |
WO2007013432A1 (ja) | 画像データ管理装置および画像データ管理方法 | |
KR101042910B1 (ko) | 전자 지도를 이용하여 서비스를 제공하기 위한 방법, 시스템 및 컴퓨터 판독 가능한 기록 매체 | |
JP2014071850A (ja) | 画像処理装置、端末装置、画像処理方法、およびプログラム | |
KR20100065918A (ko) | 사진의 촬영 위치 및 방향 정보 태깅 방법과 그 장치 | |
JP2013210974A (ja) | 検索画像登録装置、検索画像表示システム、検索画像登録方法およびプログラム | |
JP2012185591A (ja) | 画像処理装置、情報提供システム及びプログラム | |
JP2015022631A (ja) | 情報処理装置、情報処理システム及びプログラム | |
JP2013214158A (ja) | 表示画像検索装置、表示制御システム、表示制御方法、およびプログラム | |
JP2004214760A (ja) | 被写体推定方法および装置並びにプログラム | |
JP6591594B2 (ja) | 情報提供システム、サーバ装置、及び情報提供方法 | |
US20150379040A1 (en) | Generating automated tours of geographic-location related features | |
KR101640020B1 (ko) | 강화 이미지 제공 시스템 및 방법 | |
JP5967036B2 (ja) | 画像検索システム、情報処理装置及びプログラム | |
JP2018005611A (ja) | 情報処理装置 | |
Semaan et al. | Camera pose estimation using collaborative databases and single building image |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130220 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20131226 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140114 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140311 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140415 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140512 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5544250 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |