JP4282398B2 - 画像処理装置 - Google Patents

Description

本発明は、被写体を撮影して得られた画像を処理する画像処理装置に関に関する。

従来、カメラの位置姿勢情報を得るために、複数のマーカを用いて計算する手法が提案されている。

例えば、特許文献１には、当該マーカ自身の設置位置や向きを示す二次元の位置情報、さらには、標高等も含めた三次元の位置情報がパターン化して記されたマーカが開示されている。

また、特許文献２には、カメラの概略位置姿勢を求めるために基準マーカに内包される情報を読み込むことで、基準マーカ及びその周辺に配置されたマーカ及び／又は特徴点の位置を確認できる方法が提案されている。この特許文献２に開示の技術によれば、４点以上のマーカ及び／又は特徴点の位置を確認することで、この情報を用い、カメラの位置姿勢を推定することが可能となるものである。そして、この特許文献２には、撮影画像上の対応位置に被写体の各部の関連情報を重畳表示する関連情報呈示装置において、その関連情報を重畳表示する際に、そのようにして推定したカメラの位置姿勢に基づいて、つまり、カメラの視野に応じて、呈示する関連情報の重畳表示位置を決定することも示されている。
特開２００１−１１８１８７号公報 特開２００１−１２６０５１号公報

しかしながら、上記特許文献１及び２の何れも、マーカは、位置に関する情報しかパターン化されていない。そのため、画像のみからカメラの位置姿勢を取得したとしても、最終的に表示する視野に応じて呈示する関連情報を、外部手段に依存することになり、システムが繁雑になってしまう。即ち、撮影されると想定される全てのマーカについての関連情報を、関連情報呈示装置内に予め記憶しておくか、外部に保存されたものを通信によって取得する必要があり、予めシステム内に用意しておかなければならない。よって、関連情報呈示装置内外の記憶装置として大容量のものが必要とされていた。

本発明は、上記の点に鑑みてなされたもので、予め情報を記憶しておかなくても、画像だけから必要な情報を得られる画像処理装置を提供することを目的とする。

上記の目的を達成するために、請求項１に記載の発明による画像処理装置は、
出力すべきオブジェクトのデータを符号化した高解像度パターンを有するマーカを、その撮影画像中に含む画像を撮影する画像入力部と、
予め記憶された上記マーカの形状抽出に関する情報に基づいて、上記画像入力部によって得られた画像中の上記マーカの画像における上記高解像度パターンから上記オブジェクトのデータを復号化し、上記画像入力部の上記マーカに対する位置姿勢を検出する画像処理部と、
上記画像処理部が検出した上記画像入力部の位置姿勢に基づいて上記画像処理部によって復号化されたオブジェクトのデータを処理することで出力用のオブジェクトを生成し、該出力用のオブジェクトと上記画像入力部によって得られた画像とを重ね合わせた表示画像を生成する表示画像生成部と、
上記表示画像生成部によって生成された表示画像を表示する表示部と、
を具備し、
上記画像処理部は、上記マーカが有するパターンの解像度に基づいて、上記オブジェクトのデータの復号化動作を切り替えるものであって、
上記高解像度パターンにおいて隣接する白と黒とを平均化して生成した低解像度パターンと、上記低解像度パターンに対応する上記オブジェクトのデータとを予め記憶し、
上記マーカの画像から上記高解像度パターンを検出したときは上記高解像度パターンから上記オブジェクトのデータを生成して復号化を行い、
上記マーカの画像から上記高解像度パターンを検出しないときは、上記マーカの画像とマッチする上記低解像度パターンに対応して予め記憶された上記オブジェクトのデータを読み出すことを特徴とする。

本発明によれば、予め情報を記憶しておかなくても、若しくは最小限の情報を記憶しておくだけで、画像だけから必要な情報を得られる画像処理装置を提供することができる。

以下、本発明を実施するための最良の形態を図面を参照して説明する。

［第１実施形態］
図１は、本発明の第１実施形態に係る画像処理装置１０の構成を示す図である。この画像処理装置１０は、例えばカメラ付きＰＤＡの形態で提供されるもので、カメラ等の画像入力部１１と、該画像入力部１１で入力された画像を処理する情報処理部１２と、該情報処理部１２での処理結果として得られた情報を表示する表示部１３とから構成されている。なお、上記情報処理部１２は、画像処理部１２１と表示画像生成部１２２とを含んでいる。

ここで、該画像処理装置１０においては、画像入力部１１により、少なくともその視野内にマーカを捉えて撮影することで、マーカの画像１Ａを含む画像を得て、それを情報処理部１２の画像処理部１２１に入力するようになっている。

このマーカには、上記特許文献１及び２に開示されたような、当該マーカの位置姿勢情報が符号化されたパターンが記されており、上記画像処理部１２１は、例えば当該画像処理部１２１内の記憶部（不図示）に記憶されたマーカ形状の抽出に関する情報（パターン抽出プログラム、パラメータ等）に基づいて当該マーカを抽出する。さらに、該画像処理部１２１は、入力された画像に含まれるマーカの画像１Ａよりマーカ１の位置姿勢情報を取得し、それに基づいて、画像入力部１１つまりは当該画像処理装置１０のマーカ１に対する位置姿勢を検出する機能を備えている。

さらに、上記マーカ１のパターンは、画像、３Ｄモデル、動画、音声等のオブジェクトのデータ、例えば図２に示すように、ソファの３Ｄモデル２を作成する為の３Ｄモデルデータ１００を、２次元バーコードとして符号化したものが含まれている。よって、画像処理部１２１は、そのパターンより、そのオブジェクトデータ例えば３Ｄモデルデータ１００を復号する機能も備えている。

そして、上記情報処理部１２の表示画像生成部１２２は、上記画像処理部１２１で復号した３Ｄモデルデータ１００から、同じく上記画像処理部１２１で検出した当該画像処理装置１０の位置姿勢に応じた形態のソファの３Ｄモデル２Ａを生成し、上記画像入力部１１による撮影で得られた実際の画像上へその生成した３Ｄモデル２Ａを重畳した表示画像を生成して、表示部１３にて表示する。

また、該画像処理装置１０は、上記画像処理部１２１で復号化して得たオブジェクトデータ例えば３Ｄモデルデータ１００を、図示しない記憶装置に、その元となったマーカ１のＩＤと対応づけて記憶しておくようになっている。なおここで、画像入力部１１のカメラ解像度は、図３の（Ａ）に示すようなマーカ１のパターンとして符号化されたオブジェクトデータを所定の距離から読み取れるようなものとなっているが、例えばそれをより遠距離から撮影する、つまり広角な視野でマーカを捉えた際には、低解像度でしかパターンを撮影できない。このような場合には、図３の（Ｂ）に示すように、隣接するパターンの黒め白が平均化された、より低解像度のパターンが得られることとなる。この低解像度のパターンがどのようになるかは、図３の（Ａ）に示すような元のパターンから容易に想定できる。そこで、本実施形態では、このような低解像度のパターンを復号化したときに得られるデータを、上記マーカのＩＤとして採用し、当該マーカの位置姿勢情報と共にパターンに符号化して記録しておく、または、撮影したパターンより自動生成する。こうすることで、マーカ１のパターンとして符号化されたオブジェクト出たーを復元できる解像度で撮影が行われたときには、そのパターンを復号してオブジェクトデータを得、また、低解像度のパターンしか得られない場合には、既に一度、高解像度な状態でパターンが読み取られている場合に限るとはいえ、その低解像度のパターンから得られるＩＤにより、記憶されているオブジェクトデータを読み出して利用することで、同じ表示を得ることが可能となる。

図４は、このような画像処理装置１０の動作フローチャートである。即ち、まず、画像入力部１１によりマーカを含む画像を撮影する（ステップＳ１１）。次に、情報処理部１２の画像処理部１２１において、入力画像よりマーカの画像１Ａを抽出して（ステップＳ１３）、パターンを解析する（ステップＳ１３）。このパターンが高解像度の画像であったときには（ステップＳ１４）、パターンからデータへの復号化を行うことでオブジェクトデータ例えば３Ｄモデルデータデータ１００を得、マーカのＩＤと共に記憶する（ステップＳ１５）。また、画像入力部１１つまりは当該画像処理装置１０の位置姿勢を計算する（ステップＳ１６）。そして、表示画像生成部１２２により、その計算した位置姿勢に応じた形態の３Ｄモデルを生成して、実際に画像入力部１１から得られた画像にその３Ｄモデルを重畳した画面を、表示部１３にて表示する（ステップＳ１７）。

また、解析したパターンが高解像度の画像でない場合には（ステップＳ１４）、画像処理部１２１は、読み取った低解像度のパターン画像に基づくＩＤにマッチする、記憶されているオブジェクトデータ例えば３Ｄモデルデータ１００を読み出す（ステップＳ１８）。そして、画像入力部１１つまりは当該画像処理装置１０の位置姿勢を計算し（ステップＳ１６）、表示画像生成部１２２により、上記読み出したオブジェクトデータから、その位置姿勢に応じたオブジェクト例えば３Ｄモデルを生成して、実際に画像入力部１１から得られた画像と重畳して表示部１３にて表示する（ステップＳ１７）。

上記のような第１実施形態を用いた実施例としては、例えば、お菓子の箱の内側にマーカが印刷さていて、お菓子のオマケとして、３Ｄのロボットが付いているものが考えられる。この場合、パターンは、３Ｄオブジェクトを符号化したものになっている。

画像処理装置１０は、マーカのパターンから３Ｄオブジェクト情報を読み取り、内部で復号化する。また、マーカとの位置姿勢関係から、視野に応じた３Ｄオブジェクトを表示する。

また、上記のような第１実施形態を用いた別の実施例として、雑誌やチラシ等のインテリアアイテムの写真脇にマーカがシールとして印刷されているものが考えられる。この場合、マーカのパターンには、インテリアアイテムの３Ｄデータとスケール情報が符号化されている。

マーカを撮影すると、そこに３Ｄのインテリアアイテム（例えば図１におけるソファの３Ｄモデル２Ａ）があるかのように、表示部１３の画面上で、マーカを撮影したアングルに対応する自由なアングルで見ることができる。

また、上記のような第１実施形態を用いた更に別の実施例として、図５に示すように、雑誌やチラシ等の印刷物３に印刷されている部屋のレイアウト図等の図・写真４の脇に、マーカ１がシールとして印刷されているものが考えられる。この場合、マーカ１のパターンには、部屋の３Ｄレイアウトデータとスケール情報が符号化されている。

このような印刷物３上のマーカ１を撮影すると、図６に示すように、その撮影した位置姿勢に応じて、撮影された実際のレイアウト図等の図・写真の画像４Ａ上に、屋内レイアウトの３Ｄモデルの一部（壁）２Ｂが立つように立体化した映像が得られる。

またさらに、上記実施例２のようなインテリアアイテム、例えばソファの３Ｄモデルに対応するマーカシールを、使用者が上記レイアウト図等の図・写真４上に貼り付けて撮影することで、そのマーカシールの画像１Ｂに対しマーカーシールのパターンに符号化された規定位置に基づく位置にそのソファの３Ｄモデル２Ａが撮影した位置姿勢に応じて表示されるので、使用者は自由にレイアウトを検討できる。もちろん、この場合は、各マーカに符号化されているスケール情報によって、レイアウトデータとインテリアアイテムデータとの大きさは調整される。

［第２実施形態］
次に、本発明の第２実施形態を説明する。上記第１実施形態は、マーカのパターンとして、画像、３Ｄモデル、動画、音声等のオブジェクトのデータも符号化したものとしたが、本実施形態は、プログラムやそのプログラムの設定値（パラメータ）を符号化したパターンとしたものである。

この場合、画像処理装置１０は、図７に示すように、画像処理部１２１及び表示画像生成部１２２に加えて、処理切替部１２３を備えている。この処理切替部１２３は、パターンから復号化したプログラムまたは設定値に従って、動的に画像処理部１２１の動作を切り替えるものである。

あるいは、処理切替部１２３は、パターンから復号化したプログラムまたは設定値に従って、動的に表示画像生成部１２２の動作を切り替えるものとしても良い。

このような第２実施形態を用いた実施例としては、例えば、雑誌等のインテリアアイテムについて、全ての読者に対して３Ｄモデルを呈示しても良いものと、会員にだけ呈示したいようなものとがある場合に、後者のためには、画像処理部１２１で抽出できないような例えば独特な符号化形式や形状のマーカ（例えば図７に示すような楕円マーカ）とすることで、画像処理部１２１が通常のプログラムではその独特なマーカの画像１Ｃを抽出できないようにし、そのような独特なマーカの画像１Ｃを抽出する為の特別なプログラムを符号化したパターンを有するマーカを印刷した会員カードを会員に発行することが考えられる。

この場合、その特別な抽出プログラムを符号化したマーカの画像１Ｄと上記独特なマーカの画像１Ｃとを同一視野に捉えて撮影する、即ち一つの入力画像に両画像が含まれるように撮影することで、画像処理部１２１で、通常のプログラムに従って、その入力画像から上記特別なプログラムを符号化したマーカの画像１Ｄを抽出してパターンを復号化して、上記特別なプログラムを得る。そして、処理切替部１２３は、その特別なプログラムの検出により、上記画像処理部１２１のプログラムをその特別なプログラムに従って動作するよう切り替える。これにより、上記画像処理部１２１は、上記独特なマーカの画像１Ｃを入力画像から抽出して、パターンを復号化することができる。

また、上記のような第２実施形態を用いた別の実施例として、屋外に設置されたマーカのパターンには、周辺をトラッキングするのに最適なプログラムを符号化しておくことが考えられる。

さらに、周辺環境に応じて調整可能な設定値（パラメータ）も同時に符号化しておく。例えば、オフィスの廊下のように周辺に直線要素が多い場合は、直線を抽出するプログラムに、また、そうでない場合には、角部分を抽出するプログラムを選択できるように、当該マーカが設置され位置の周辺環境を示す情報を設定値とする。

この場合には、図８に示すように、まず、画像入力部１１によりマーカを含む画像を撮影する（ステップＳ１１）。次に、情報処理部１２の画像処理部１２１において、入力画像よりマーカの画像１Ａを抽出する（ステップＳ１３）。ここで、入力画像からマーカの画像１Ａが抽出できたならば（ステップＳ２１）、そのマーカの画像１Ａに含まれるパターンを解析する（ステップＳ１３）。このパターンが高解像度の画像であったときには（ステップＳ１４）、パターンを復号化することでプログラム５及び設定値を得る（ステップＳ２２）。そして、処理切替部１２３は、そのプログラム５の検出に応じて、上記画像処理部１２１で実行するプログラムを上記復号化されたプログラム５に切り替える（ステップＳ２３）。このとき、その切り替えるプログラムとして、復号化された設定値に従って、その復号化されたプログラム５が含む直線抽出アルゴリズム（プログラム）５１と角抽出アルゴリズム（プログラム）５２とを選択するようになっている。そして、画像処理部１２１は、その切り替えられたプログラム５により、入力画像に対し自然特徴解析の処理を実行し（ステップＳ２４）、その結果を使用して画像入力部１１つまりは当該画像処理装置１０の位置姿勢を計算する（ステップＳ１６Ａ）。その後は、上記第１実施形態で説明したように、表示画像生成部１２２により、その計算した位置姿勢に応じた形態の例えば３Ｄモデルを生成して、実際に画像入力部１１から得られた画像にその３Ｄモデルを重畳した画面を、表示部１３にて表示することになる。

こうして一度プログラムが切り替えられたならば、画像処理部１２１は、引き続き画像入力部１１から入力される画像に対して自然特徴解析の処理を実行することになる。即ち、上記ステップＳ２１において、入力画像にマーカの画像が含まれていない場合には、上記ステップＳ２４に進んで、自然特徴解析の処理を実行する。

なお、本実施例においては、例えば３Ｄモデルを生成するためのオブジェクトデータは、上記第１実施形態のようにマーカの画像１Ａから抽出できるように、上記マーカに上記プログラム及び設定値と共に符号化されてパターンとして記録されているものとする。もちろん、オブジェクトデータを、従来のシステムのように、画像処理装置１０内に予め記憶しておいても良いし、外部から入力するようにしても構わない。

また、上記ステップＳ１３で解析したパターンが高解像度の画像でない場合には（ステップＳ１４）、画像処理部１２１は、読み取った低解像度のパターン画像に基づくＩＤにマッチする、マーカから読み取り記憶されている或いは予め記憶されているオブジェクトデータを読み出す（ステップＳ１８）。そして、低解像度のパターン画像に基づいて画像入力部１１つまりは当該画像処理装置１０の位置姿勢を計算し（ステップＳ１６Ｂ）、表示画像生成部１２２により、上記読み出したオブジェクトデータから、その位置姿勢に応じたオブジェクト例えば３Ｄモデルを生成して、実際に画像入力部１１から得られた画像と重畳して表示部１３にて表示することになる。

もちろん、上記第１実施形態と同様に、上記ステップＳ２３において、復号化されたプログラム５及び設定値をマーカのＩＤと共に記憶しておき、上記ステップＳ１８では、その記憶したプログラム５及び設定値を読み出して、ステップＳ２４の自然特徴解析の処理を実行するようにしても構わない。

このように、マーカを認識することにより、画像処理装置１０は、周辺環境に最適な処理アルゴリズムによりトラッキングを行うことが可能となる。

また、上記のような第２実施形態を用いたさらに別の実施例として、屋外で観光地をナビゲーションすることが考えられる。この場合、観光エリアに設置されたマーカのパターンには、該エリア内の順路情報が符号化されている。

画像処理装置１０は、その観光エリア内ある他のマーカを認識すると、該画像処理装置１０内に保存してあるこれまでの行動履歴と、該マーカのパターンから読み取ったプログラムとから、次の案内を動的に変更できる。

以上実施形態に基づいて本発明を説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。

例えば、上記実施形態においては、パターンは、２次元バーコードなどを利用したものを説明したが、情報が光学的に取得可能に符号化されていれば良く、パターンを構成する要素の白黒、大きさ（大きさの比率）のみならず、グレースケールや色などにより符号化されていても良い。

（付記）
前記の具体的実施形態から、以下のような構成の発明を抽出することができる。

（１） 出力すべきオブジェクトのデータを符号化したパターンを有するマーカを、その撮影画像中に含む画像を撮影する画像入力部と、
予め記憶された上記マーカの形状抽出に関する情報に基づいて、上記画像入力部によって得られた画像中の上記マーカの画像における上記パターンから上記オブジェクトのデータを復号化し、上記画像入力部の上記マーカに対する位置姿勢を検出する画像処理部と、
上記画像処理部が検出した上記画像入力部の位置姿勢に基づいて上記画像処理部によって復号化されたオブジェクトのデータを処理することで出力用のオブジェクトを生成し、該出力用のオブジェクトと上記画像入力部によって得られた画像とを重ね合わせた表示画像を生成する表示画像生成部と、
上記表示画像生成部によって生成された表示画像を表示する表示部と、
を具備することを特徴とする画像処理装置。

（対応する実施形態）
この（１）に記載の画像処理装置に関する実施形態は、第１実施形態が対応する。
（作用効果）
この（１）に記載の画像処理装置は、マーカとして、出力すべきオブジェクトのデータを符号化したパターンを有するものを使用し、予め記憶された上記マーカの形状抽出に関する情報に基づいて、そのマーカを撮影した画像のパターンから上記オブジェクトのデータを復号化し、画像入力部つまりは当該画像処理装置の上記マーカに対する位置姿勢を検出して、その検出した位置姿勢に基づいて上記復号化されたオブジェクトのデータを処理することで出力用のオブジェクトを生成し、該出力用のオブジェクトと上記撮影した画像とを重ね合わせた表示画像を生成して表示する。
従って、マーカの画像を含む画像を取得し処理するだけで、オブジェクトそのものの情報を画像入力部の位置姿勢に応じた状態で復元することができるので、最小限の情報を記憶しておくだけで、画像だけから必要な情報を得られる画像処理装置を提供することができる。

（２） プログラム及び／又は設定値を符号化したパターンを有するマーカを、その撮影画像中に含む画像を撮影する画像入力部と、
上記画像入力部によって得られた画像中の上記マーカの画像における上記パターンから上記プログラム及び／又は設定値を復号化する画像処理部と、
上記画像処理部の動作を、上記画像処理部で復号化された上記プログラム及び／又は設定値に従ったものに切り替える処理切替部と、
を具備することを特徴とする画像処理装置。

（対応する実施形態）
この（２）に記載の画像処理装置に関する実施形態は、第２実施形態が対応する。

（作用効果）
この（２）に記載の画像処理装置は、マーカとして、プログラム及び／又は設定値を符号化したパターンを有するものを使用し、そのマーカを撮影した画像のパターンから上記プログラム及び／又は設定値を復号化し、画像処理部の動作を、上記復号化された上記プログラム及び／又は設定値に従ったものに切り替える。
従って、マーカの画像を含む画像を取得し処理するだけで、マーカが設置された状態に応じた最適な処理内容へと切り替えることができるので、予め情報を記憶しておかなくても、画像だけから必要な情報を得られる画像処理装置を提供することができる。

（３） 自身の設置された状態に関する情報及び出力すべきオブジェクトのデータを符号化したパターンを有するマーカを、その撮影画像中に含む画像を撮影する画像入力部と、
上記画像入力部によって得られた画像中の上記マーカの画像における上記パターンから上記設置された状態に関する情報及び上記オブジェクトのデータを復号化し、その復号化された上記設置された状態に関する情報に基づいて上記画像入力部の上記マーカに対する位置姿勢を検出する画像処理部と、
上記画像処理部が検出した上記画像入力部の位置姿勢に基づいて上記画像処理部によって復号化されたオブジェクトのデータを処理することで出力用のオブジェクトを生成し、該出力用のオブジェクトと上記画像入力部によって得られた画像とを重ね合わせた表示画像を生成する表示画像生成部と、
上記表示画像生成部によって生成された表示画像を表示する表示部と、
を具備することを特徴とする画像処理装置。

（対応する実施形態）
この（３）に記載の画像処理装置に関する実施形態は、第１実施形態が対応する。
（作用効果）
この（３）に記載の画像処理装置は、マーカとして、自身の設置された状態に関する情報及び出力すべきオブジェクトのデータを符号化したパターンを有するものを使用し、そのマーカを撮影した画像のパターンから上記設置された状態に関する情報及び上記オブジェクトのデータを復号化し、その復号化された上記設置された状態に関する情報に基づいて画像入力部つまりは当該画像処理装置の上記マーカに対する位置姿勢を検出して、その検出した位置姿勢に基づいて上記復号化されたオブジェクトのデータを処理することで出力用のオブジェクトを生成し、該出力用のオブジェクトと上記撮影した画像とを重ね合わせた表示画像を生成して表示する。
従って、マーカの画像を含む画像を取得し処理するだけで、オブジェクトそのものの情報を画像入力部の位置姿勢に応じた状態で復元することができるので、予め情報を記憶しておかなくても、画像だけから必要な情報を得られる画像処理装置を提供することができる。

（４） 自身の設置された状態に関する情報とプログラム及び／又は設定値を符号化したパターンを有するマーカを、その撮影画像中に含む画像を撮影する画像入力部と、
上記画像入力部によって得られた画像中の上記マーカの画像における上記パターンから上記設置された状態に関する情報及び上記プログラム及び／又は設定値を復号化する画像処理部と、
上記画像処理部によって復号化された上記設置された状態に関する情報に基づいて、上記画像処理部の動作を、上記画像処理部で復号化された上記プログラム及び／又は設定値に従ったものに切り替える処理切替部と、
を具備することを特徴とする画像処理装置。

（対応する実施形態）
この（４）に記載の画像処理装置に関する実施形態は、第２実施形態が対応する。

（作用効果）
この（４）に記載の画像処理装置は、マーカとして、自身の設置された状態に関する情報とプログラム及び／又は設定値を符号化したパターンを有するものを使用し、そのマーカを撮影した画像のパターンから上記設置された状態に関する情報及び上記プログラム及び／又は設定値を復号化し、その復号化された上記設置された状態に関する情報に基づいて、画像処理部の動作を、上記復号化された上記プログラム及び／又は設定値に従ったものに切り替える。
従って、マーカの画像を含む画像を取得し処理するだけで、マーカが設置された状態に応じた最適な処理内容へと切り替えることができるので、予め情報を記憶しておかなくても、画像だけから必要な情報を得られる画像処理装置を提供することができる。

（５） 上記画像処理部によって復号化された上記オブジェクトのデータもしくは上記プログラム及び／又は設定値を、その元となったパターンを有するマーカを特定するためのＩＤと共に記憶しておき、
上記画像入力部によって上記マーカのパターンを低解像度の画像でしか得られない場合には、上記画像処理部は、その低解像度のパターン画像を復号化して得られる当該マーカのＩＤに一致する上記記憶してある上記オブジェクトのデータもしくは上記プログラム及び／又は設定値を、上記復号化されたオブジェクトのデータもしくはプログラム及び／又は設定値として出力することを特徴とする（１）乃至（４）の何れかに記載の画像処理装置。

（対応する実施形態）
この（５）に記載の画像処理装置に関する実施形態は、第１及び第２実施形態が対応する。

（作用効果）
この（５）に記載の画像処理装置は、復号化したオブジェクトのデータもしくはプログラム及び／又は設定値をマーカのＩＤと共に記憶しておき、マーカの画像からそのようなオブジェクトのデータもしくはプログラム及び／又は設定値を得られないときには、記憶してあるものを利用する。
従って、マーカのパターンを２段階の解像度で判断することにより、高解像度であればデータの完全な符号化を行い、低解像度であればＩＤに関連する情報を利用することで、情報の維持が可能になる。

本発明の第１実施形態に係る画像処理装置の構成を示す図である。 マーカのパターンを説明するための図である。 （Ａ）は高解像度に撮影されたパターンを示す図であり、（Ｂ）は低解像度に撮影されたパターンを示す図である。 第１実施形態に係る画像処理装置の動作フローチャートを示す図である。 マーカが印刷された印刷物の例を示す図である。 図５の印刷物を撮影したときの表示例を示す図である。 本発明の第２実施形態に係る画像処理装置の構成を示す図である。 第２実施形態に係る画像処理装置の動作フローチャートを示す図である。

符号の説明

１…マーカ、 １Ａ…マーカの画像、 １Ｂ…マーカシールの画像、 １Ｃ…独特なマーカの画像、 １Ｄ…プログラムを符号化したマーカの画像、 ２…ソファの３Ｄモデル、 ２Ａ…ソファの３Ｄモデル、 ２Ｂ…屋内レイアウトの３Ｄモデルの一部（壁）、 ３…印刷物、 ４…図・写真、 ４Ａ…図・写真の画像、 ５…プログラム、 １０…画像処理装置、 １１…画像入力部、 １２…情報処理部、 １３…表示部、 ５１…直線抽出アルゴリズム（プログラム）、 ５２…角抽出アルゴリズム（プログラム）、 １００…３Ｄモデルデータ、 １２１…画像処理部、 １２２…表示画像生成部、 １２３…処理切替部。

Claims (1)

1. 出力すべきオブジェクトのデータを符号化した高解像度パターンを有するマーカを、その撮影画像中に含む画像を撮影する画像入力部と、
   予め記憶された上記マーカの形状抽出に関する情報に基づいて、上記画像入力部によって得られた画像中の上記マーカの画像における上記高解像度パターンから上記オブジェクトのデータを復号化し、上記画像入力部の上記マーカに対する位置姿勢を検出する画像処理部と、
   上記画像処理部が検出した上記画像入力部の位置姿勢に基づいて上記画像処理部によって復号化されたオブジェクトのデータを処理することで出力用のオブジェクトを生成し、該出力用のオブジェクトと上記画像入力部によって得られた画像とを重ね合わせた表示画像を生成する表示画像生成部と、
   上記表示画像生成部によって生成された表示画像を表示する表示部と、
   を具備し、
   上記画像処理部は、上記マーカが有するパターンの解像度に基づいて、上記オブジェクトのデータの復号化動作を切り替えるものであって、
   上記高解像度パターンにおいて隣接する白と黒とを平均化して生成した低解像度パターンと、上記低解像度パターンに対応する上記オブジェクトのデータとを予め記憶し、
   上記マーカの画像から上記高解像度パターンを検出したときは上記高解像度パターンから上記オブジェクトのデータを生成して復号化を行い、
   上記マーカの画像から上記高解像度パターンを検出しないときは、上記マーカの画像とマッチする上記低解像度パターンに対応して予め記憶された上記オブジェクトのデータを読み出すことを特徴とする画像処理装置。

Images