WO2011081193A1 - 画像表示システム - Google Patents
画像表示システム Download PDFInfo
- Publication number
- WO2011081193A1 WO2011081193A1 PCT/JP2010/073744 JP2010073744W WO2011081193A1 WO 2011081193 A1 WO2011081193 A1 WO 2011081193A1 JP 2010073744 W JP2010073744 W JP 2010073744W WO 2011081193 A1 WO2011081193 A1 WO 2011081193A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- image
- display system
- image display
- information
- mdb
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Library & Information Science (AREA)
- Computer Hardware Design (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Processing Or Creating Images (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
背景において、ユーザが着目した物体をあたかも手にとって動かしているかのように閲覧し、背景におかれた特定物体の中に進入することが可能な画像表示システムを提供する。 本発明に係る画像表示システムは、物体を構成するためのデータベースから再構成されたマザーデータベース(MDB)をもとに特定物体認識された物体を、全体の画像の中におけるMDBをもとにした画像(2次元画像、3次元空間、4次元時空間)に置換し、合成表示することを特徴とする。
Description
本発明は、広く画像表示システムに関し、特にデータベース及び画像認識機能を備えた画像表示システムに関する。
サーバ装置、及びパソコン、PDA、携帯電話等の端末装置の処理能力の向上、ならびに、コンピュータ・ネットワークやインターネット環境の進展に伴い、動画や静止画等の視覚情報の提供形態が多様化している。例えば、インターネットではリンクの概念が発達し、Webページ中にリンク可能に配置されたテキストや画像をクリックして、関連する他のWebページに遷移し、関連するファイルをダウンロードすることができる。リンク先が音声ファイルや動画ファイルの場合には、必要に応じてその場で再生(例えば、ストリーミング再生)することができる。
近年においては、地理的な位置に関連する情報を提供する地図情報提供サービスが進歩してきており、例えば、特許文献1に開示された地図情報提供サービスがある。このサービスは、デジタル地図を表示することにおいて使用するための装置であって、デジタル地図データから作成された地図に関連する1セットの地図タイルを生成するための手段と、クライアントから受信した、場所情報を含む候補の場所データを解釈するための手段と、前記候補の場所データから前記場所情報を決定するための手段と、前記場所情報に関連する要求された地図タイルを前記クライアントへ提供するための手段と、を備える装置である。
特許文献1の出願人は、2005年よりグーグル・アース(Google Earth)と呼ばれる仮想地球儀閲覧サービスの提供を開始している(日本において、http://earth.google.co.jp/)。このサービスは、地球上の衛星写真画像をサーバ上で合成しユーザに提供するもので、端末装置から閲覧したユーザは、まるで地球儀を回して見ているかのように世界中の衛星写真を見ることができる。また、高解像度画像が用意された地域では、高度数十メートルにまで降下(ズームイン)することができ、航空写真を閲覧しているような体験ができる。また、同社は、2007年よりグーグル・ストリートビュー(Google Street View)と呼ばれるWebサービスを開始している(日本において、http://www.google.co.jp/help/maps/streetview/)。このサービスは、屋根にカメラを搭載した車を多数、街中を走らせて収集した360度パノラマ画像をサーバ上で合成しユーザに提供するサービスである。端末装置から閲覧したユーザは、パノラマ画像をたどって前後左右にストリートを移動することができ、あたかも街中を走行しているかのような疑似体験ができる。ユーザは、視野を上下左右に変えることもでき、ズームイン及びズームアウトも可能である。このストリートビューは、同社が先行して提供してきたグーグル・マップ(Google Map)、及びグーグル・アース(Google Earth)と連携している。
一方で、コンピュータの技術の進歩ともに研究が進んだテーマに画像認識技術がある。コンピュータを使った画像認識の研究は、1960年代より始められた。以来、計算機の高速化と機械学習技術の進歩とともに、線画解釈(1970年代)、人手によるルールや幾何形状モデルによって構築された知識データベースに基づく認知モデル、及び3次元モデル表現(1980年代)といった研究が進み。1990年代に入ると、特に顔画像の認識や学習による認識に関する研究が盛んになった。
画像認識研究は、顔画像の認識から一般的な物体への認識へと発展した。2000年代になると、計算機能力の一層の向上により、統計処理や学習処理のために必要な膨大な計算量を処理可能になったため、一般物体認識に関する研究が進んだ。一般物体認識とは、実世界のシーンに対する画像に対して、計算機がその画像中に含まれる物体を一般的な名称で認識する技術である。80年代には、人手によってルールやモデルの構築がなされていたのに対し、大量のデータを高速に処理可能になったこの時期には統計的機械学習によるアプローチが注目され、近年の一般物体認識ブームのきっかけとなった。一般物体認識技術によれば、画像に対するキーワードを自動的に付与することが可能になり、画像をその意味内容によって分類及び検索することが可能になる。計算機によって人間の認識機能を実現することが究極の目標とされている(非特許文献1)。
一般物体認識技術は、画像データベースからのアプローチと統計的確率手法の導入によって進歩した。その中でも先駆的な研究として、画像に人手でキーワードを付与したデータから対応付けを学習し物体認識を行なう手法(非特許文献2)や、局所特徴量に基づく手法(非特許文献3)がある。また、局所特徴量による特定物体認識に関する研究にSIFT法(非特許文献4)、及びVideo Google(非特許文献5)がある。
そして、2004年に、"Bag-of-Keypoints"あるいは"Bag-of-Features"と呼ばれる手法が発表された。この手法は、画像をビジュアル・ワード(visual word)と呼ばれる代表的な局所パターン画像片の出現頻度ヒストグラムで表現する。具体的には、SIFT法に基づいた特徴点抽出を行い、あらかじめ求められた複数のビジュアル・ワードに基づいてSIFT特徴ベクトルをベクトル量子化し、画像ごとにヒストグラムを生成するものである。このように生成されたヒストグラムの次元数は、数百~数千次元のスパース(sparse)なベクトルになる。そして、これらのベクトルは、多次元ベクトルの分類問題として処理されることにより画像認識処理が行われる(非特許文献6)。
柳井啓司, "一般物体認識の現状と今後", 情報処理学会論文誌, Vol.48, No.SIG16(CVIM19), pp.1-24, 2007.
Pinar Duygulu, Kobus Barnard, Nando de Freitas, David Forsyth, "Object Recognition as Machine Translation: Learning a lexicon for a fixed image vocabulary," European Conference on Computer Vision (ECCV), pp.97-112, 2002.
R. Fergus, P. Perona, and A. Zisserman, "Object Class Recognition by Unsupervised Scale-invariant Learning," IEEE Conf. on Computer Vision and Pattern Recognition, pp.264-271, 2003.
David G.Lowe, "Object Recognition from Local Scale-Invariant Features," Proc. IEEE International Conference on Computer Vision, pp.1150-1157, 1999.
J. Sivic and A. Zisserman, "Video google: A text retrieval approach to object matching in videos," Proc. ICCV2003, Vol. 2, pp.1470-1477, 2003.
G. Csurka, C. Bray, C. Dance, and L. Fan, "Visual categorization with bags of keypoints," Proc. ECCV Workshop on Statistical Learning in Computer Vision, pp.1-22, 2004.
しかしながら、従来のインターネットブラウジングでは、あらかじめリンクが貼られていなければ興味をもった物体についての情報をたどることができないという課題がある。そこで、ネットワーク検索エンジンを使用することになるが、検索キーワード(テキスト文字)を自ら考えなければならないため、興味を持った対象について適切なキーワードが選択されていない場合も多かった。つまり、本当に欲しい情報が即座に確実に入手できないという根本的な課題があった。
また、上記した地図提供サービスにおいては、平面的な地図画像を提供するものよりは俯瞰性及び移動性の高いサービスが提供できる。しかし、ユーザが端末装置の表示画面で見ている画像はあくまでも2次元的に張り付けられた画像に過ぎず、現実感はその画像データの解像度に制約されてしまう。つまり、見ている地図画像を最大に拡大して得られるものは、粗い画素片の並びである。
しかも、これまでの技術においては、モデルデータに対する時間軸移動の概念が乏しく、時空間移動の観点からは限界があった。
そこで、本発明は、システムより配信された画像において、ユーザが着目した物体をあたかも手にとって動かしているかのように閲覧したり、画像におかれた特定物体の中に進入することが可能になったり、画像におかれた物体について時間軸移動を行うことが可能な画像表示システムを提供することを目的とする。
ここで、発明者らが追求する時空間について述べておく。
われわれ人間は、認知空間に生きている。
人間が認知できる様々な情報(写真や動画、音など)は、対象物それ自体は十分詳細な情報は有していない場合であっても、人間が蓄積した知識や経験をもとに脳により知識処理をすることにより瞬時に補完され、対象物が正確に何者であるか判断することが可能である。
本発明では、このような人間が有する特徴をコンピュータに適用する方法を提供する。個々の人間の知識データベースは、脳内に収納可能な量に限定される。また、人類全体の知識は遥かに大きいものの、即時に包括して参照し的確な判断を行うことはできない(例えば、地球上の70億人+過去の全ての人類の知識)。
これらの知識は、コンピュータシステム上の膨大なデータベースとして時間をかけて集積し、学習(AI)により進化可能である。
これらにより、将来、人間の認知能力・判断能力を遥かに超える人工知能システムの誕生が期待できる。この基本となるデータベースに、時間軸情報を含ませることにより、4次元の時空間を参照や移動が可能となる。
この基本となるデータベースを「マザーデータベース」と呼ぶ。
われわれ人間は、認知空間に生きている。
人間が認知できる様々な情報(写真や動画、音など)は、対象物それ自体は十分詳細な情報は有していない場合であっても、人間が蓄積した知識や経験をもとに脳により知識処理をすることにより瞬時に補完され、対象物が正確に何者であるか判断することが可能である。
本発明では、このような人間が有する特徴をコンピュータに適用する方法を提供する。個々の人間の知識データベースは、脳内に収納可能な量に限定される。また、人類全体の知識は遥かに大きいものの、即時に包括して参照し的確な判断を行うことはできない(例えば、地球上の70億人+過去の全ての人類の知識)。
これらの知識は、コンピュータシステム上の膨大なデータベースとして時間をかけて集積し、学習(AI)により進化可能である。
これらにより、将来、人間の認知能力・判断能力を遥かに超える人工知能システムの誕生が期待できる。この基本となるデータベースに、時間軸情報を含ませることにより、4次元の時空間を参照や移動が可能となる。
この基本となるデータベースを「マザーデータベース」と呼ぶ。
われわれの日常をよく観察してみると、広範な時代の広範な地域の事物を高度な情報伝達によって見知ることができるようになったが、そこには、常に資料の精細度や物体の保存状態に起因する情報密度の限界が存在していた。われわれが追求する世界は、人間の五感や知識で捕捉可能な情報量を超えた"The object"であり、"The space"であり、"The world"である。これらは現実世界の詳細を記述したものであり、メタバースやバーチャル世界といった擬似現実とは全くその本質を異とするものである。
博物館は様々な事物を現物として収集しているが、上記システムは、それらをいつの時点でも認識・再構築可能なAIシステム上の「マザーデータベース」として蓄積・成長させるものである。
仮に、多くの物体が千年後に消失してしまっても、AIシステム上の「マザーデータベース」に物体は存在し続ける。未来の考古学は、地層を掘ったり、アイソトープによる年代測定をすること以外に、マザーデータベースを未来人がマイニングすることで実践されることになるだろう。そうした意味においても、マザーデータベースは、人類にとって最も重要な記憶であり、財産となる。
本発明に係る画像表示システムは、物体を構成するためのデータベースから再構成されたマザーデータベース(MDB)をもとに特定物体認識された物体を、全体の画像の中におけるMDBをもとにした画像(2次元画像、3次元空間、4次元時空間)に置換し、合成表示することを特徴とする。
また、本発明に係る画像表示システムにおいて置換された特定物体画像を、全体の画像とは異なる座標系に配置し、個別に回転・拡大・縮小表示可能なことを特徴とする。
また、本発明に係る画像表示システムにおいて置換された特定物体が有する、及び参照可能なリンク先から入手した詳細な情報を元に、入力画像が有する当初の情報量を遥かに超える詳細な物体の拡大や縮小、内部構造を含む広範囲な閲覧を可能にすることを特徴とする。
また、置換された特定物体画像に含まれる時間軸情報を利用して、画像全体及び/又は個々の特定物体の任意の時間における状況を閲覧可能にすることを特徴とする。
特定の時間において未存在の物体は、非表示及び/又は非表示状態を表す文字・記号・特定の色やパターンで明示することを特徴とする。
本発明に係る画像認識システムによれば、次のような効果を奏する。
(1)認識した物体を、データベースを元にレンダリングした詳細画像(例えば3次元モデル画像)に置換することにより、認識した物体についての視点の変更が可能になり、また、物体そのものの拡大縮小表示が可能になる。さらに、物体の内部構造まで存在する場合(例えば、建物データ)には、その内部構造に入り込む視点で物体内部の表現が可能となる。
(2)認識した物体に時間軸情報が含まれる場合(例えば、同じ車種のCADデータを年式ごとに有している場合や、建物のCADデータについて建築順序や建築年等の時間情報が含まれている場合)には、仮想空間に構築した街の時空間移動が可能となる。つまり、ユーザは、物体についての異なる外観(appearance)を閲覧することができ、より広範な場所における物体群についての異なる時間における外観を閲覧することが可能となる(例えば、昔の街並の再現)。
(1)認識した物体を、データベースを元にレンダリングした詳細画像(例えば3次元モデル画像)に置換することにより、認識した物体についての視点の変更が可能になり、また、物体そのものの拡大縮小表示が可能になる。さらに、物体の内部構造まで存在する場合(例えば、建物データ)には、その内部構造に入り込む視点で物体内部の表現が可能となる。
(2)認識した物体に時間軸情報が含まれる場合(例えば、同じ車種のCADデータを年式ごとに有している場合や、建物のCADデータについて建築順序や建築年等の時間情報が含まれている場合)には、仮想空間に構築した街の時空間移動が可能となる。つまり、ユーザは、物体についての異なる外観(appearance)を閲覧することができ、より広範な場所における物体群についての異なる時間における外観を閲覧することが可能となる(例えば、昔の街並の再現)。
以下、本発明に係る画像表示システムの一実施形態について説明する。
図1に、本発明に係る画像表示システムの一実施形態を示す。画像表示システム100は、サーバ101と、ユーザが使用する端末装置105a~105dとからなり、いずれのサーバ又は端末装置もネットワークないしインターネット104に接続されている。
サーバとは、クライアントである端末装置からの要求に対してサービスを提供するコンピュータシステムであり、複数のサーバシステムが結合したコンピュータ群を意味し、複数のソフトウェアにより駆動される。したがって、本明細書では、サーバの意義を上記のとおり位置付ける。
また、ハードウェアとしてのコンピュータは、最も基本的な構成としては、命令バス及びデータバスで接続された算術論理演算ユニットと制御ユニットと記憶装置と入出力装置とを備えた電子計算機である。入出力インタフェースを介して入出力装置から入力された情報(ビット列データ)に基づき算術論理演算ユニットにおいて算術演算や論理演算、比較演算、シフト演算等が実行される。実行されたデータは必要に応じて記憶装置に記憶され、入出力装置から出力される。これら一連の処理は、記憶装置に記憶されたソフトウェアプログラムによって制御される。本発明における各サーバマシンも、上記のとおりのコンピュータとしての基本機能を最低限備えたハードウェアであり、オペレーティングシステムやデバイスドライバ、そしてアプリケーションソフトウェアといったプログラム群によって制御されている。
図2に、本発明に係る画像表示システムの一実施形態におけるサーバ101の機能ブロックを示す。コンピュータ上で起動されるサーバ101は、ソフトウェア機能ブロックとして、マザーデータベース(以下、「MDB」)201と、マザーデータベースマネージメント202と、マザーデータベース検索エンジン203と、画像認識部204と、画像生成部205とからなる。
MDB201は、物体に関わる精細なデータを格納した統合データベースである。例えば、設計データや、物体の部品データ、加工データ、構造データ、形状データ、素材情報、剛性情報や、物体の名称、製造者情報、日付などの時間情報を含む付帯情報データや、物体の属するカテゴリデータ、物体の形状などに関する特徴量データ、ベクタ画像データ、等が含まれる。
MDBマネージメント202は、MDBへのアクセス制御、データセット制御、複製管理、学習等の管理ソフトウェアである。
MDB検索エンジン203は、MDB内のメタデータ、物体の特徴データ等を検索するエンジンである。
MDBマネージメント202は、MDBへのアクセス制御、データセット制御、複製管理、学習等の管理ソフトウェアである。
MDB検索エンジン203は、MDB内のメタデータ、物体の特徴データ等を検索するエンジンである。
画像認識部204は、物体のカテゴリを分類するための一般物体認識部と、物体を同定するための特定物体認識部とがある。一般物体認識部は、画像中に含まれる物体を一般的な名称(カテゴリ)で認識する。また、特定物体認識は、MDBに登録された情報と照合し、物体を同定する。
画像生成部205は、レンダリング処理等の画像生成を行う機能ブロックであり、例えば端末105a~105dの表示画面上に3次元モデルを描画するために必要な演算処理を行なう。具体的には描画すべき特定物体のモデリング処理、レンダリング処理、テクスチャマッピング処理、陰影処理などがある。これらの演算処理は、各処理アルゴリズムを実行するソフトウェアプログラムによってCPU及びメモリを使って実行されるが、必要に応じて高速処理のためのDSP(デジタル・シグナル・プロセッサ)やGPU(グラフィックス・プロセッサ)を使用することができる。
図3に、本発明に係る画像表示システムの一実施形態における端末装置を示す。端末装置105a~105dは、広くユーザが使用するクライアント端末装置であり、コンピュータ、携帯情報端末(PDA)、携帯電話等が含まれる。つまり、端末装置105a~105dは、多様な種類の電子情報機器が多数インターネットなどのネットワークに接続されている様子をあらわしている。以下、端末装置105と記載した場合にはネットワークに接続された端末装置105a~105dのいずれか1台をさす。当然のことながら、端末装置105a~105dはすべて同一機種である必要はない。同等の機能(あるいは実施可能な最低限の機能)を備えた端末装置であればよい。ここでは端末装置105の代表的な機能ブロックについて説明する。
端末装置105a~105dは、キーボード、ペン、マウス、マイク等のデバイスで構成される入出部301と、ディスプレイ、スピーカ等のデバイスで構成される出力部302と、ネットワーク接続部303と、ネットワークブラウザ304と、各種オブジェクト及びプラグインを処理する処理部305とからなる。このほか、図示しないが、ハードディスク等の記憶部、GPU、音声通話機能部等を備えてもよい。
ネットワーク接続部303は、インターネットなどのネットワークに接続するためのインタフェースであって、有線/無線を問わない。
ネットワークブラウザ304は、典型的には、HTML等で記述されたページを閲覧するためのアプリケーションソフトウェアであるが、広くネットワークを介してデータや情報をまとまった形で閲覧するソフトウェアを含む。そして、ネットワークブラウザ304に組み込まれる形で、あるいはネットワークブラウザ304と協働する形で、動画や高音質の音声などの各種オブジェクトやアプリケーションに追加機能として提供されたプログラムを実行するプラグイン処理部305を備えている。
また、このほか傾きや加速度を検出するセンサ、GPS受信機などを必要に応じて搭載することもできる。
次に、図4に、本発明に係る画像表示システムの実施形態における動作フローを示す。図4においては、例えば表示画面中の物体が未だ認識されていない状態であっても画像認識処理を経て画像中の物体の特定を行う。もし、特定できれば、MDB201中の特定物体から画像中の視点及び座標系に基づいて3次元画像を生成し、画像中の検知物体と置換する。置換された物体は、後述するように、視点を変えたり、回転させたり、持ち上げたりといった操作を行うことができる。また、時間軸情報に基づいて、置換された物体の未来又は過去の詳細データを参照することができる。このとき、サーバ101と端末105との間で双方向通信が行われる。
まず、S402において、ユーザは背景画像中の物体を指示する。例えば、ユーザは、指示したい物体上にポインタを置き、マウス等のクリック動作を行い、画像及びポイント座標をサーバ101に送信してサーバ側でポイント座標にある物体を切り出す。画像を特定するために端末装置105からサーバ101に送信される情報としては、静止画であれば静止画を特定するための識別子、動画の場合には、動画コンテンツとフレームとを識別することができるID(例えば、動画IDにフレーム番号を付加した一意のIDなど)が利用される。
次に、S403において、サーバは指示物体の認識を行う。認識は、一般物体認識及び特定物体認識の順に行われる。その処理については、図9に基づいて後述する。次に、S404において、サーバ101はMDB201において認識された特定物体を端末に送るデータを生成する。このとき、サーバ101は、端末装置105の機能に応じて最適なデータセットを選択することができる(S405)。例えば、(1)サーバ側で表示すべき物体の三次元モデルのレンダリング処理を行なってストリーミング配信する、(2)元画像とともに特定物体の詳細情報を端末装置105へ送信する、(3)端末装置105側でレンダリングできるような情報を送信する、といった選択肢がある。S406において、端末装置105ではサーバから送られてきた特定物体についての詳細なデータに基づいて、その特定物体を時空間的に再現することができる。
次に、図5~図8に基づいて、本発明に係る画像表示システムの一実施形態における端末装置の表示画面例を説明する。
図5(A)は、ユーザが端末装置105において閲覧している画像である。図5(A)の画像には、自動車501、ゴルフプレー中の男性502、カートを押して買い物をする女性503、東京タワー504、自動車505、自転車に乗る男性506が含まれている。
図5(A)において、ユーザが自動車505に興味を示し、これをクリック等して選択すると、例えばその輪郭が輪郭部510として切り出される(図5(B))。輪郭部510は強調表示してもよい。このとき、端末装置105からサーバ101へは、ユーザが自動車505に着目したことがメッセージとして送信され、これを受信したサーバ101で自動車505の部分が切り出された領域の物体認識処理が行なわれる。
そして、後述する物体認識処理によって自動車505が同定されると、例えば、サーバ101ではMDB201に登録された自動車505のCADデータに基づき、画像500に含まれている自動車505の座標系及びサイズに合わせた画像を生成する。そして、生成した画像を、画像500中の自動車505と置換する。この置換された詳細データは、ユーザの操作により、自由に回転・拡大・縮小表示させることができる。
つまり、置換された自動車505の特定物体画像を、全体の画像(図5(A))とは異なる座標系に配置し、個別に回転・拡大・縮小表示させることができる。
次に、ユーザは、図5(B)において、自動車505の中に入る操作(不図示)をすると、図6に示したように、自動車505の内部に進入することができる。自動車の内部画像601は、MDB201に登録されている自動車505のCADデータから生成されたものであり、ユーザは車内における視点を移動させ、各種パーツを拡大/縮小表示させることができる。そして、MDB201に登録されていれば、パーツ(例えば、ハンドルやシート)を全体の画像601とは異なる座標系に配置し、個別に回転・拡大・縮小表示させることができる。このとき、サブウィンドウを表示させて、パーツだけを表示させてもよい。
図7に、本発明に係る画像表示システムにおいて、クルージング可能な街を再現した空間例を示す。図7(A)は、ある街を3次元的に再現した空間であり、ユーザの所定の操作によって、近づいたり遠ざかったり、高度を上下させることができる。そして、例えば、図7(A)に写し出されている建築物のうち、一部又は全部の設計データがMDB201に登録されている。ここでは、説明の便宜上、建物の一部の設計データがMDB201に登録されているものとする。
そして、ユーザが所定の操作によって設計データが登録されている建築物の表示をさせると、図7(B)に示すように、設計データが登録されている建築物の真上に「▽」印を付すことができる。ここでは、建築物701、702、703、705、及び707についての設計データがMDB202に登録されていることが示されている。したがって、ユーザはこれらの建築物に近づき、その内部に入ったり、各フロアや部屋を移動することができる。
また、図7(B)には設計データが有する時間軸情報を可変にする機能が備わっている。すなわち、図7(B)下部には、時間軸情報を可変にするスライドバー710が備えられ、ノブ(つまみ)711を移動させることによって時間軸を変えることができる。図7(B)では、ノブ711に1980と表示され、図7(B)に表示されている設計データが1980年時点のものであることが示されている。そして、建物704、706、708については、1980年当時存在していたにも関わらず、設計データ等が現存していないので、白抜き表示されている。表示方法に関しては、白抜き表示ではなく建物自体を表示しない(非表示)方法や、史実等の情報をもとに再現した画像を表示する方法も取りうる。また、非表示及び/又は非表示状態を表す文字・記号・特定の色やパターンで明示することができる。
さらに、既存の建物がある時点で取り壊された場合、その時点を超えて未来方向にノブ711をスライドさせると、その取り壊された建物は表示されなくなる。また、建築予定の建物に関する設計データが存在する場合には、竣工予定時点以降の未来方向に時間を移動させた場合、その建物が表示される。
さらに、既存の建物がある時点で取り壊された場合、その時点を超えて未来方向にノブ711をスライドさせると、その取り壊された建物は表示されなくなる。また、建築予定の建物に関する設計データが存在する場合には、竣工予定時点以降の未来方向に時間を移動させた場合、その建物が表示される。
つまり、置換された特定物体画像に含まれる時間軸情報を利用して、画像全体及び/又は個々の特定物体の任意の時間における姿を閲覧可能にする。もし、設計データに建築段階ごとに時間軸情報が記録されていれば、ある建物の建築過程を月(あるいは日)単位で可変にすることによって、閲覧することができる。
図8(A)は、他のユーザが端末装置105において閲覧している画像である。図8(A)の画像には、自動車501、ゴルフプレー中の男性502、カートを押して買い物をする女性503、東京タワー504、自動車505、自転車に乗る男性506が含まれている。
図8(A)において、このユーザが東京タワー504に興味を示し、これをクリック等して選択すると、例えばその輪郭が輪郭部801として切り出される(図8(B))。輪郭部801は強調表示してもよい。このとき、端末装置105からサーバ101へは、ユーザが東京タワー504に着目したことがメッセージとして送信され、これを受信したサーバ101で東京タワー504の部分が切り出された領域の物体認識処理が行なわれる。
そして、後述する物体認識処理によって東京タワー504が同定されると、ユーザの操作により、自由に回転・拡大・縮小表示させることができる。例えば、利用者が拡大を指示すると、MDB202の情報、あるいは、参照可能なリンク先からの詳細な情報に基づいて、東京タワーの拡大図が表示される(802)。また、利用者が縮小を指示すると、MDB202の情報、あるいは、参照可能なリンク先からの詳細な情報、および周囲の情報に基づいて東京タワーを含む遠隔図が表示される(803)。
つまり、置換された東京タワー504の特定物体画像を、全体の画像(図8(A))とは異なる座標系に配置し、個別に拡大・縮小表示させることができる。
図9に基づいて、MDB201を使った物体認識のフローを説明する。
[一般物体認識]
画像認識処理の開始(S901)は、まず、端末装置105における元画像の入力からはじまる(S902)。元画像は、2次元画像であるか3次元画像であるかを問わない。また、元画像の入力に際しては、その元画像におけるどの物体の着目領域の指示がポインティングデバイス等のデバイス(不図示)を通じてなされる場合と、着目点の指示がなく元画像全体が処理対象として入力される場合がある。次に、S904において一般物体認識処理が行われる。一般物体認識処理には、例えば、BOF(Bag-Of-Features)の手法を採用することができる。この一般物体認識処理では、検出された物体のカテゴリ(物体の一般名称)の認識まで行われる。ただし、着目点の指示がされた場合は、カテゴリの認識ができた場合とできなかった場合とで処理が分岐し、その判断はS905で行われる。カテゴリ認識ができなかった場合には、S906へ進み、既存のカテゴリの取り扱いについて判断がなされる(S907)が、着目点に指示の有無に関わらず物体のカテゴリ認識が出来た場合には、特定物体認識処理へ進むべくS909へ進む。
画像認識処理の開始(S901)は、まず、端末装置105における元画像の入力からはじまる(S902)。元画像は、2次元画像であるか3次元画像であるかを問わない。また、元画像の入力に際しては、その元画像におけるどの物体の着目領域の指示がポインティングデバイス等のデバイス(不図示)を通じてなされる場合と、着目点の指示がなく元画像全体が処理対象として入力される場合がある。次に、S904において一般物体認識処理が行われる。一般物体認識処理には、例えば、BOF(Bag-Of-Features)の手法を採用することができる。この一般物体認識処理では、検出された物体のカテゴリ(物体の一般名称)の認識まで行われる。ただし、着目点の指示がされた場合は、カテゴリの認識ができた場合とできなかった場合とで処理が分岐し、その判断はS905で行われる。カテゴリ認識ができなかった場合には、S906へ進み、既存のカテゴリの取り扱いについて判断がなされる(S907)が、着目点に指示の有無に関わらず物体のカテゴリ認識が出来た場合には、特定物体認識処理へ進むべくS909へ進む。
[特定物体認識]
S905の判断において特定物体認識処理へ進む場合は、まず、S909において個別物体画像の切り出し処理が行われる。そして、切り出された個別物体画像について、特定物体認識処理が行われる(S910)。特定物体認識処理では、MDB201に登録された設計データから抽出された特徴量データに基づく一致度を算出する評価関数によって物体の同定が試みられる。
S905の判断において特定物体認識処理へ進む場合は、まず、S909において個別物体画像の切り出し処理が行われる。そして、切り出された個別物体画像について、特定物体認識処理が行われる(S910)。特定物体認識処理では、MDB201に登録された設計データから抽出された特徴量データに基づく一致度を算出する評価関数によって物体の同定が試みられる。
[学習処理(1)]
一方で、S905の判断において一般物体認識ができなかった場合には、S906へ進み、着目物体の持つ特徴量と、MDB201が把握している既存のカテゴリに属する物体の特徴量との情報距離に基づいて、その着目物体を含む新たなカテゴリを登録するか(S907)、その着目物体に近接する既存カテゴリの拡張を検討するか(S908)の判断が行われる。新たなカテゴリを登録する(S907)場合にはS904に復帰し、既存のカテゴリを拡張する(S908)場合にはS909へ進む。
一方で、S905の判断において一般物体認識ができなかった場合には、S906へ進み、着目物体の持つ特徴量と、MDB201が把握している既存のカテゴリに属する物体の特徴量との情報距離に基づいて、その着目物体を含む新たなカテゴリを登録するか(S907)、その着目物体に近接する既存カテゴリの拡張を検討するか(S908)の判断が行われる。新たなカテゴリを登録する(S907)場合にはS904に復帰し、既存のカテゴリを拡張する(S908)場合にはS909へ進む。
[特定物体認識後 学習処理(2)]
S911においては、特定物体の同定ができたかどうかが判断される。特定物体の同定ができた場合には、S913に進み、S909において切り出された個別物体画像にMDB201に登録されている物体の詳細データよりもさらに精細な情報が含まれるかが判断される。もし、S913においてYesと判断された場合には、S914に進み、MDB201におけるその物体の詳細データはMDB学習部により更新され、より精細な情報を有するようになる。一方で、S913においてNoと判断された場合には、S915に進み、次の判断がなされる。
S911においては、特定物体の同定ができたかどうかが判断される。特定物体の同定ができた場合には、S913に進み、S909において切り出された個別物体画像にMDB201に登録されている物体の詳細データよりもさらに精細な情報が含まれるかが判断される。もし、S913においてYesと判断された場合には、S914に進み、MDB201におけるその物体の詳細データはMDB学習部により更新され、より精細な情報を有するようになる。一方で、S913においてNoと判断された場合には、S915に進み、次の判断がなされる。
S915は、S905において一般物体認識ができなかったと判断された場合であって、S906の判断でS908、S909、S910へ進み、特定物体の認識ができた(S911でYes)場合に判断される。S915において、特定された物体が既存のカテゴリであった場合には、MDB201に登録されているその既存カテゴリの定義を拡張、あるいは拡張によりカテゴリ内の物体の情報距離が分散する場合には分割、あるいは近接カテゴリとの情報距離が前記カテゴリ内の物体間の情報距離と同程度以下になった場合には統合、あるいは特定された物体の登録により既存の物体の情報の齟齬を発見した場合には修正を施し、カテゴリデータをアップデートする(S916)。一方で、S915において、特定された物体が既存のカテゴリでなかった場合には、S907へ遷移し、新規カテゴリとして登録する。
S911において、特定物体の認識ができなかった場合は、MDB201においてその物体は「未確認物体」として登録され、将来の処理に備えて認識処理を終了する(S917)。S916において既存カテゴリを拡張してアップデートされた場合も認識処理を終了する(S917)。
上記の説明におけるMDBマネージメント202の学習機能は、本発明に係る画像表示システムの稼動において適宜反映されることにより、特定物体認識能力を向上させる。
100 画像表示システム
101 サーバ
104 ネットワーク(あるいはインターネット)
105a~105d 端末装置
101 サーバ
104 ネットワーク(あるいはインターネット)
105a~105d 端末装置
Claims (5)
- 物体を構成するためのデータベースから再構成されたマザーデータベース(MDB)をもとに特定物体認識された物体を、全体の画像の中におけるMDBをもとにした画像(2次元画像、3次元空間、4次元時空間)に置換し、合成表示する画像表示システム。
- 請求項1に記載の画像表示システムにおいて置換された特定物体画像を、全体の画像とは異なる座標系に配置し、個別に回転・拡大・縮小表示可能な画像表示システム。
- 請求項1及び2に記載の画像表示システムにおいて置換された特定物体が有する、及び参照可能なリンク先から入手した詳細な情報を元に、入力画像が有する当初の情報量を遥かに超える詳細な物体の拡大や縮小、内部構造を含む広範囲な閲覧を可能にする画像表示システム。
- 請求項1~3のいずれか1項に記載の画像表示システムにおいて置換された特定物体画像に含まれる時間軸情報を利用して、画像全体及び/又は個々の特定物体の任意の時間における姿を閲覧可能にする画像表示システム。
- 請求項4に記載の画像表示システムにおいて、特定の時間において未存在の物体は、非表示及び/又は非表示状態を表す文字・記号・特定の色やパターンで明示する画像表示システム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US13/519,461 US9135752B2 (en) | 2009-12-28 | 2010-12-28 | Image display system |
JP2011547722A JP5696996B2 (ja) | 2009-12-28 | 2010-12-28 | 画像表示システム |
EP10841048.1A EP2521096A4 (en) | 2009-12-28 | 2010-12-28 | IMAGE DISPLAY SYSTEM |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009297907 | 2009-12-28 | ||
JP2009-297907 | 2009-12-28 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2011081193A1 true WO2011081193A1 (ja) | 2011-07-07 |
Family
ID=44226595
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2010/073744 WO2011081193A1 (ja) | 2009-12-28 | 2010-12-28 | 画像表示システム |
Country Status (4)
Country | Link |
---|---|
US (1) | US9135752B2 (ja) |
EP (1) | EP2521096A4 (ja) |
JP (1) | JP5696996B2 (ja) |
WO (1) | WO2011081193A1 (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015225323A (ja) * | 2014-05-30 | 2015-12-14 | 株式会社日立ソリューションズ | イベント表示装置 |
JP2016539398A (ja) * | 2013-10-04 | 2016-12-15 | クアルコム,インコーポレイテッド | 未知の対象物に対する拡張現実コンテンツの生成 |
WO2018142756A1 (ja) * | 2017-01-31 | 2018-08-09 | 株式会社Nttドコモ | 情報処理装置及び情報処理方法 |
WO2018194137A1 (ja) * | 2017-04-19 | 2018-10-25 | 小柳建設株式会社 | 情報処理装置、情報処理方法、及びプログラム |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5573349B2 (ja) * | 2010-05-17 | 2014-08-20 | パナソニック株式会社 | パノラマ展開画像撮影システムおよび方法 |
KR102174470B1 (ko) * | 2014-03-31 | 2020-11-04 | 삼성전자주식회사 | 영상 저장 시스템 및 방법 |
US10366144B2 (en) | 2016-04-01 | 2019-07-30 | Ebay Inc. | Analyzing and linking a set of images by identifying objects in each image to determine a primary image and a secondary image |
US10523922B2 (en) * | 2018-04-06 | 2019-12-31 | Zspace, Inc. | Identifying replacement 3D images for 2D images via ranking criteria |
US10884710B1 (en) * | 2019-08-13 | 2021-01-05 | Accenture Global Solutions Limited | System and method for generating unified experiences on digital platforms |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002074399A (ja) * | 2000-08-28 | 2002-03-15 | Sony Corp | 画像編集システム及び画像編集方法、並びに記憶媒体 |
JP2003067429A (ja) * | 2001-05-09 | 2003-03-07 | Sony Corp | 情報公開システム、サーバ、クライアント装置、および、プログラム |
JP2006202323A (ja) * | 1997-09-12 | 2006-08-03 | Hitachi Ltd | 仮想3次元空間の生成プログラムを記録したコンピュータ読み取り可能な記録媒体 |
JP2007531004A (ja) | 2004-03-23 | 2007-11-01 | グーグル インク. | デジタルマッピングシステム |
Family Cites Families (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6690841B2 (en) * | 1997-07-07 | 2004-02-10 | General Electric Company | Method and apparatus for image registration |
US6295066B1 (en) | 1997-09-12 | 2001-09-25 | Hitachi, Ltd. | Method for generating virtual three-dimensional space |
US6315664B1 (en) * | 2000-06-28 | 2001-11-13 | Igt | Gaming device having an indicator selection with probability-based outcome |
US8046330B2 (en) * | 2003-11-11 | 2011-10-25 | Fujifilm Corporation | Image accumulation device and image accumulation method |
US7755608B2 (en) * | 2004-01-23 | 2010-07-13 | Hewlett-Packard Development Company, L.P. | Systems and methods of interfacing with a machine |
US7831387B2 (en) | 2004-03-23 | 2010-11-09 | Google Inc. | Visually-oriented driving directions in digital mapping system |
US7865301B2 (en) | 2004-03-23 | 2011-01-04 | Google Inc. | Secondary map in digital mapping system |
US7599790B2 (en) | 2004-03-23 | 2009-10-06 | Google Inc. | Generating and serving tiles in a digital mapping system |
US7620496B2 (en) | 2004-03-23 | 2009-11-17 | Google Inc. | Combined map scale and measuring tool |
US8126907B2 (en) * | 2004-08-03 | 2012-02-28 | Nextengine, Inc. | Commercial shape search engine |
JP2007019671A (ja) * | 2005-07-05 | 2007-01-25 | Nec Corp | 画像通信システム及び画像処理プログラム |
US20070112747A1 (en) * | 2005-11-15 | 2007-05-17 | Honeywell International Inc. | Method and apparatus for identifying data of interest in a database |
JP2007188310A (ja) | 2006-01-13 | 2007-07-26 | Nec Biglobe Ltd | 仮想チャット空間システム、端末、方法及びプログラム |
US7680748B2 (en) | 2006-02-02 | 2010-03-16 | Honda Motor Co., Ltd. | Creating a model tree using group tokens for identifying objects in an image |
US7920698B1 (en) | 2006-10-17 | 2011-04-05 | At&T Mobility Ii Llc | Microphone systems for telephones |
JP5062884B2 (ja) | 2007-08-24 | 2012-10-31 | 株式会社リコー | 画像検索装置、画像検索方法及びプログラム |
WO2009155281A1 (en) | 2008-06-17 | 2009-12-23 | The Trustees Of Columbia University In The City Of New York | System and method for dynamically and interactively searching media data |
-
2010
- 2010-12-28 EP EP10841048.1A patent/EP2521096A4/en not_active Withdrawn
- 2010-12-28 WO PCT/JP2010/073744 patent/WO2011081193A1/ja active Application Filing
- 2010-12-28 US US13/519,461 patent/US9135752B2/en active Active
- 2010-12-28 JP JP2011547722A patent/JP5696996B2/ja active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006202323A (ja) * | 1997-09-12 | 2006-08-03 | Hitachi Ltd | 仮想3次元空間の生成プログラムを記録したコンピュータ読み取り可能な記録媒体 |
JP2002074399A (ja) * | 2000-08-28 | 2002-03-15 | Sony Corp | 画像編集システム及び画像編集方法、並びに記憶媒体 |
JP2003067429A (ja) * | 2001-05-09 | 2003-03-07 | Sony Corp | 情報公開システム、サーバ、クライアント装置、および、プログラム |
JP2007531004A (ja) | 2004-03-23 | 2007-11-01 | グーグル インク. | デジタルマッピングシステム |
Non-Patent Citations (8)
Title |
---|
DAVID G. LOWE: "Object Recognition from Local Scale-Invariant Features", PROC. IEEE INTERNATIONAL CONFERENCE ON COMPUTER VISION, 1999, pages 1150 - 1157 |
G. CSURKA; C. BRAY; C. DANCE; L. FAN: "Visual categorization with bags of keypoints", PROC. ECCV WORKSHOP ON STATISTICAL LEARNING IN COMPUTER VISION, 2004, pages 1 - 22 |
J. SIVIC; A. ZISSERMAN: "Video google: A text retrieval approach to object matching in videos", PROC. ICCV 2003, vol. 2, 2003, pages 1470 - 1477, XP010662565, DOI: doi:10.1109/ICCV.2003.1238663 |
KEJI YANAI: "The Current State and Future Directions on Generic Object Recognition", JOURNAL OF INFORMATION PROCESSING SOCIETY OF JAPAN, vol. 48, no. SIG16, 2007, pages 1 - 24, XP055148832 |
PINAR DUYGULU; KOBUS BARNARD; NANDO DE FREITAS; DAVID FORSYTH: "Object Recognition as Machine Translation: Learning a lexicon for a fixed image vocabulary", EUROPEAN CONFERENCE ON COMPUTER VISION (ECCV, 2002, pages 97 - 112 |
R. FERGUS; P. PERONA; A. ZISSERMAN: "Object Class Recognition by Unsupervised Scale-invariant Learning", IEEE CONF ON COMPUTER VISION AND PATTERN RECOGNITION, 2003, pages 264 - 271, XP010644682, DOI: doi:10.1109/CVPR.2003.1211479 |
See also references of EP2521096A4 |
SHIGERU KAKUMOTO ET AL.: "Integrated Geographic Database and Common GIS for Local Government : For Realizing Risk- Adaptive Regional Management Information System", PAPERS AND PROCEEDINGS OF THE GEOGRAPHIC INFORMATION SYSTEMS ASSOCIATION, vol. 8, 30 September 1999 (1999-09-30), pages 179 - 184, XP008165487 * |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016539398A (ja) * | 2013-10-04 | 2016-12-15 | クアルコム,インコーポレイテッド | 未知の対象物に対する拡張現実コンテンツの生成 |
JP2015225323A (ja) * | 2014-05-30 | 2015-12-14 | 株式会社日立ソリューションズ | イベント表示装置 |
WO2018142756A1 (ja) * | 2017-01-31 | 2018-08-09 | 株式会社Nttドコモ | 情報処理装置及び情報処理方法 |
JPWO2018142756A1 (ja) * | 2017-01-31 | 2019-11-07 | 株式会社Nttドコモ | 情報処理装置及び情報処理方法 |
WO2018194137A1 (ja) * | 2017-04-19 | 2018-10-25 | 小柳建設株式会社 | 情報処理装置、情報処理方法、及びプログラム |
JPWO2018194137A1 (ja) * | 2017-04-19 | 2019-11-07 | 小柳建設株式会社 | 情報処理装置、情報処理方法、及びプログラム |
CN110770798A (zh) * | 2017-04-19 | 2020-02-07 | 小柳建设株式会社 | 信息处理装置、信息处理方法及程序 |
US10950050B2 (en) | 2017-04-19 | 2021-03-16 | Oyanagi Construction Inc. | Information processing device, information processing method, and program for planning and execution of work plan |
CN110770798B (zh) * | 2017-04-19 | 2024-03-19 | 小柳建设株式会社 | 信息处理装置、信息处理方法及计算机可读存储介质 |
Also Published As
Publication number | Publication date |
---|---|
JP5696996B2 (ja) | 2015-04-08 |
EP2521096A1 (en) | 2012-11-07 |
US20120281913A1 (en) | 2012-11-08 |
EP2521096A4 (en) | 2013-10-09 |
US9135752B2 (en) | 2015-09-15 |
JPWO2011081193A1 (ja) | 2013-05-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2011081193A1 (ja) | 画像表示システム | |
JP7096902B2 (ja) | 画像処理方法、装置、コンピュータプログラム及びコンピュータデバイス | |
US20200005361A1 (en) | Three-dimensional advertisements | |
EP2557782B1 (en) | Server system for real-time moving image collection, recognition, classification, processing, and delivery | |
KR101867558B1 (ko) | 뷰이미지의 적어도 하나의 피처에 주석을 달기 위한 컴퓨터화 방법 및 장치 | |
US20090161963A1 (en) | Method. apparatus and computer program product for utilizing real-world affordances of objects in audio-visual media data to determine interactions with the annotations to the objects | |
JP3718472B2 (ja) | 画像表示方法および装置 | |
JP4341408B2 (ja) | 画像表示方法及び装置 | |
CN102063475B (zh) | 三维模型的网页用户终端呈现方式 | |
KR101722177B1 (ko) | 하이브리드 방식으로 vr 컨텐츠를 디스플레이하는 방법 및 장치 | |
CN106560809A (zh) | 用从另一图像提取的至少一个属性修改图像的至少一个属性 | |
CN106560810A (zh) | 使用图像中找到的特定属性进行搜索 | |
US20110122153A1 (en) | Information processing apparatus, information processing method, and program | |
US20090119583A1 (en) | Image displaying apparatus, image display method, and image display system | |
US9201974B2 (en) | Method and apparatus for incorporating media elements from content items in location-based viewing | |
CN113892129B (zh) | 创建三维外观的虚拟视差 | |
JP2018077644A (ja) | 情報処理システム及びプログラム | |
JP2005327314A (ja) | 画像表示方法および装置 | |
Cao | Development and design case function comparison of panoramic roaming system of virtual museum based on Pano2VR | |
CN109863746B (zh) | 用于数据探索的沉浸式环境系统和视频投影模块 | |
CN117437342B (zh) | 一种三维场景渲染方法和存储介质 | |
Gatzidis et al. | Automatic modelling, generation and visualisation of realistic 3D virtual cities for mobile navigation | |
Blechschmied et al. | Interaction and Visualization of 3D City Models for Location-Based Services | |
CN118013079A (en) | Virtual scene model retrieval method | |
Mammou et al. | SPATIAL SIMULATION SYSTEMS AND METHODOLOGIES IN DIGITAL CITIES |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 10841048 Country of ref document: EP Kind code of ref document: A1 |
|
WWE | Wipo information: entry into national phase |
Ref document number: 13519461 Country of ref document: US |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
WWE | Wipo information: entry into national phase |
Ref document number: 2011547722 Country of ref document: JP |
|
WWE | Wipo information: entry into national phase |
Ref document number: 2010841048 Country of ref document: EP |