JP6020124B2 - 画像処理装置、画像処理方法および画像処理プログラム - Google Patents

Description

本発明は、例えば、画面上の任意の位置に付加情報を表示する画像処理装置、画像処理方法および画像処理プログラムに関する。

従来から、広告等を含む文書を読む手段として紙媒体を用いる方法が用いられている。一方、コンピュータの性能向上やインターネット技術の発達により、電子媒体の文書を読む機会も増加している。紙媒体を用いる利点として、大きなサイズで読むことができる、安価である、俯瞰することで文章全体が把握できる、等の利点が挙げられる。一方、電子媒体を用いる利点として、インターネットの情報や動画などの動的に変化する情報を表示できる、持ち運びが容易である、等の利点などが挙げられる。そこで、従来の紙媒体の利点を活かしつつ、電子媒体と連携することで、文書の利用価値を向上させるという新たなインターフェースが開発されている。

上述のインターフェースは、任意の場所に固定されたカメラ、または自由に移動が可能なカメラを用いて、ユーザの眼前の紙等の表示媒体に示される２次元コードを撮影することにより、２次元コードを含む画像を取得した後、その文書に関連する付加情報をディスプレイ上に表示する機能が搭載されている。ここで、付加情報の表示を行う技術として、文書画像上または、投影した文書上に付加情報を重畳させて表示する拡張現実感（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ：ＡＲ）による情報提示方法が、近年提案されている。

拡張現実感による情報提示方法は、具体的には、２次元コードに対応する付加情報を、撮像した２次元コードの４隅と４辺から決定される基準位置と該基準位置に基づく物理座標系に基づいて、カメラのディスプレイや、カメラが搭載されるＰＣや携帯端末のディスプレイに重畳表示することを特徴としている。当該情報提示方法により、付加情報と文書画像上の表示位置を関連付けることが可能となり、紙媒体と電子媒体を連携することが出来る。

図１（ａ）は、広告等を含む文書と、当該文書に付される２次元コードの一例を示す。図１（ｂ）は、携帯端末のディスプレイに表示される文書画像と、付加情報の一例を示す。図１（ａ）に示される通り、２次元コードは、文書の視認性や美観に影響を及ぼさない様に、比較的小さい面積で、例えば、文書の右下隅に配置される。図１（ｂ）に示される通り、例えば、２次元コードの４隅から４辺を規定し、交点に基づいて基準位置を定めることで、２次元コード基準の物理座標系を規定することが出来る。また、例えば、携帯端末のディスプレイに表示される文書画像の左上端を表示座標原点として定めることで、撮像画像基準の表示座標系を規定することが出来る。２次元コードに含まれるモジュールから抽出される付加情報は、物理座標系と表示座標系に基づいて、撮像画像に重畳されて携帯端末のディスプレイに表示される。なお、従来技術として、２次元コードに含まれるモジュールの検出性能を向上させる為に、２次元コードの外側に第２のモジュールを設ける技術が開示されている。

特開２００７−２５７３６０号公報

付加情報を撮像画像に対して正確な位置に重畳させる為には、２次元コード基準の物理座標系を正確に規定する必要がある。物理座標系を規定する為には、基準位置を正確に規定する必要がある。ここで、基準位置を正確に規定する為には、上述の通り、２次元コードの４隅から４辺を規定し、当該４辺の交点を定める必要がある。しかしながら、２次元コードは、例えば、白と黒の２色の色相パターンとなっている為、４辺の境界線位置を正確に求めることが困難である。また、２次元コードの４隅の１つの色相は、２次元コードの種類によっては、白となる場合が有り、４隅の１つの頂点位置が、図形として明示されない為、４隅を規定すること自体が難しい場合もある。更に、撮像距離が遠くなったり、２次元コードの物理サイズが小さくなることにより、撮像画像の解像度が低下することによっても物理座標系の規定精度は低下する。

図２（ａ）は、物理座標系が正確に規定された場合における付加情報が重畳された撮像画像の一例を示す図である。図２（ｂ）は、物理座標系が正確に規定されない場合における付加情報が重畳された撮像画像の一例を示す図である。図２（ａ）においては、撮像距離が近い為、物理座標系が正しく規定され、付加情報を表示させる位置の位置ずれが発生することなく、付加情報が正しく撮像画像に対して重畳している。なお、図２（ａ）においては、付加情報として、ナレーターと当該ナレーターが説明する自動車のタイヤホイールの説明文に加えて、当該タイヤホイールに着目させる重畳マーキング情報が撮像画像に対して正常に（タイヤホイールと重畳マーキング情報の輪郭が一致する様に）重畳表示されている。

一方、図２（ｂ）においては、撮像距離が遠い為、物理座標系の規定精度が低い状態である。この場合、付加情報に含まれる重畳マーキング情報が自動車のタイヤホイールに正しく重畳して表示されておらず、正確な情報伝達が出来ていない状態となる。図２（ａ）、（ｂ）に示される通り、撮像画像の解像度が低下すると物理座標系の規定精度が低下することになる。更に、上述の２次元コードの２色の色相パターンの特性による基準位置の規定精度の不安定性も、物理座標系の規定精度に対して重畳的に影響を及ぼすことになる。

本発明者らの新たな検証により、例えば、黒の１色の色相からなる、物理座標系を規定する為に用いるパターン（以下、位置決めパターンと称する）を２次元コードと分離して表示させることで、物理座標系の規定精度を向上出来ることが明らかになった。図３（ａ）は、２次元コードの一例である。図３（ｂ）は、位置決めパターンの一例である。図３（ａ）の２次元コードは、白と黒の２色の色相からなるパターンとなっている。図３（ａ）に示す２次元コードは上述の通り、白と黒の２色の色相パターンとなっている為、４辺の境界線位置を正確に求めることが困難である。また、２次元コードの４隅の１つの色相が白であり、４隅の１つの頂点位置が、図形として明示されない為、４隅を規定すること自体が難しい。一方、図３（ｂ）の位置決めパターンは、黒の１色の色相からなり、形状が矩形である為、図３（ａ）に示す２次元コードの白と黒の２色の色相からなるパターンとは異なり、４隅と４辺が一意的に定まる為、基準位置と当該基準位置に基づく物理座標系を正確に規定することが出来る。また、位置決めパターンから抽出される画素値は、連続する１値の画素値となる為、２次元コードと比較して撮像距離による解像度低下の影響も受け難い利点も有する。

しかしながら、文書に対する２次元コードと位置決めパターンの専有面積を考慮すると、２次元コードと位置決めパターンは重畳させるのが好ましい。しかしながら、２次元コードと位置決めパターンを単純に重畳させると、双方の色相が混在する（黒一色の色相となる）ことにより、２次元コードと位置決めパターンの区別が付かなくなり、２次元コードの読み取りと物理座標系の規定が出来なくなる。以上の説明から理解される通り、物理座標系を高い精度で規定出来る画像処理装置は提唱されていない状況である。

本発明は、物理座標系の規定精度が向上する画像処理装置を提供することを目的とする。

本発明が開示する画像処理装置は、第１画素値と第２画素値を有する色成分を含む画像パターンにより表示情報を規定する２次元コードと、表示情報を表示する基準となる基準座標を規定する位置決めパターンと、が重畳して表示される画像を取得する取得部を備える。更に、当該画像処理装置は、画像から、第１画素値と同定される第１モジュールと、第２画素値と同定される第２モジュールを抽出するための第１色成分に基づき２次元コードを抽出し、画像から、第１色成分に基づき抽出した第１モジュールの画素値と同一の値と同定される画素値を有する画素を抽出するための第２色成分に基づき、位置決めパターンを抽出する抽出部とを備える。

なお、本発明の目的及び利点は、請求項において特に指摘されたエレメント及び組み合わせにより実現され、かつ達成されるものである。また、上記の一般的な記述及び下記の詳細な記述の何れも、例示的かつ説明的なものであり、請求項のように、本発明を制限するものではないことを理解されたい。

本明細書に開示される画像処理装置では、物理座標系の規定精度を向上させることが可能となる。

（ａ）は、広告等を含む文書と、当該文書に付される２次元コードの一例を示す。（ｂ）は、携帯端末のディスプレイに表示される文書画像と、付加情報の一例を示す。 （ａ）は、物理座標系が正確に規定された場合における付加情報が重畳された撮像画像の一例を示す図である。（ｂ）は、物理座標系が正確に規定されない場合における付加情報が重畳された撮像画像の一例を示す図である。 （ａ）は、２次元コードの一例である。（ｂ）は、位置決めパターンの一例である。 一つの実施形態による画像処理装置１の機能ブロック図である。 （ａ）は、制御部４が制御する第１の制御重畳コードの一例を示す図である。（ｂ）は、（ａ）に示す第１の制御重畳コードから抽出される２次元コードの一例を示す図である。（ｃ）は、（ａ）に示す第１の制御重畳コードから抽出される位置決めパターンの一例を示す図である。 任意の色相に対する色空間を構成する色成分の画素値を含むデータ構造の一例を示すテーブルである。 （ａ）は、制御部４が制御する第２の制御重畳コードの一例を示す図である。（ｂ）は、（ａ）に示す第２の制御重畳コードから抽出される２次元コードの一例を示す図である。（ｃ）は、（ａ）に示す第２の制御重畳コードから抽出される位置決めパターンの一例を示す図である。 一つの実施形態による画像処理装置１１が含まれる情報提示装置１０の機能ブロック図である。 画像処理装置１１による第１の画像処理のフローチャートである。 撮像距離によるＭＰＩＸ２ｄとＭＰＩＸｐの変動量に対する、付加情報の取り出し可否、物理座標系の規定精度の関係図を示す。 （ａ）は、ＭＰＩＸｐ＞Ｔａの範囲における重畳画像の一例を示す図である。（ｂ）は、Ｔａ≦ＭＰＩＸｐ＜Ｔｂの範囲における重畳画像の一例を示す図である。 （ａ）は、Ｔｂ≦ＭＰＩＸｐ＜Ｔｃの範囲における重畳画像の一例を示す図である。（ｂ）は、Ｔｃ≦ＭＰＩＸｐの範囲における重畳画像の一例を示す図である。 画像処理装置１１による第２の画像処理のフローチャートである。 一つの実施形態による画像処理装置１または画像処理装置１１として機能するコンピュータのハードウェア構成図である。

以下に、一つの実施形態による画像処理装置、画像処理方法及び画像処理プログラムの実施例を図面に基づいて詳細に説明する。なお、この実施例は、開示の技術を限定するものではない。

（実施例１）
実施例１は、２次元コードと位置決めパターンを重畳させた重畳セルを生成する画像処理装置について説明する。図４は、一つの実施形態による画像処理装置１の機能ブロック図である。画像処理装置１は、規定部２、重畳部３、制御部４を有する。

規定部２は、例えば、ワイヤードロジックによるハードウェア回路である。また、規定部２は、画像処理装置１で実行されるコンピュータプログラムにより実現される機能モジュールであっても良い。更に、規定部２は、図示しない通信部を有しており、通信回線を介して様々な外部装置と双方向にデータの送受信を行うことが可能である。

規定部２は、公知の手法を用いて付加情報を規定するモジュールを含む２次元コードを規定するか、外部装置から２次元コードを受け取る。なお、実施例１においては説明の便宜上、規定部２は、例えば、図３（ａ）に示される白色と黒色の２色の色相パターンの２次元コードを公知の手法を用いて規定する。また、付加情報を表示情報またはコンテンツ情報と称しても良い。また、規定部２は、例えば、図３（ｂ）に示される黒色の１色の色相からなる位置決めパターンを規定する。位置決めパターンは、黒の１色の色相からなり、形状が矩形である為、図３（ａ）に示す２次元コードの白と黒の２色の色相からなるパターンとは異なり、４隅位置が明確となり、かつ、４辺が当該４隅間の連続直線となる為、基準位置と当該基準位置に基づく物理座標系を正確に規定することが出来る。ここで、位置決めパターンは、２次元コードの色相が黒のモジュールが集合した１つのモジュールとして取り扱われても良い。換言すると、位置決めパターンのモジュールは、２次元コードを構成するモジュールよりも大きい。また、位置決めパターンの形状は、矩形であり、公知の手法を用いて４隅または外縁の４辺により、基準位置が規定され、当該基準位置に基づいて基準座標系が適宜規定される。ここで、基準座標系を基準座標と称しても良い。なお、規定部２は、２次元コードと位置決めパターンを、同じ大きさに規定しても良いし、異なる大きさに規定しても良い。実施例１においては説明の便宜上、規定部２は、２次元コードと位置決めパターンを、同じ大きさに規定する。規定部２は、規定した２次元コードと位置決めパターンを重畳部３へ出力する。

重畳部３は、例えば、ワイヤードロジックによるハードウェア回路である。また、重畳部３は、画像処理装置１で実行されるコンピュータプログラムにより実現される機能モジュールであっても良い。重畳部３は、２次元コードと位置決めパターンを規定部２から受け取る。重畳部３は、２次元コードと位置決めパターンを所定の領域で重畳させる。ここで、重畳部３は、２次元コードと位置決めパターンを、それぞれの外枠が一致する領域で重畳させても良いし、一部の領域のみで重畳させても良い。実施例１では説明の便宜上、重畳部３は、２次元コードと位置決めパターンの外枠（外縁）が一致する領域を所定の領域として、２次元コードと位置決めパターンを重畳させるものとする。重畳部３は、２次元コードと位置決めパターンを所定の領域で重畳させた初期重畳コードを制御部４へ出力する。また、画像処理装置１は、重畳部３を必ずしも有する必要はなく、重畳部３の機能を規定部２に保持させても良い。なお、初期重畳コードを別の任意の名称で称しても良い。

制御部４は、例えば、ワイヤードロジックによるハードウェア回路である。また、制御部４は、画像処理装置１で実行されるコンピュータプログラムにより実現される機能モジュールであっても良い。更に、制御部４は、図示しない通信部を有しており、通信回線を介して様々な外部装置と双方向にデータの送受信を行うことが可能である。制御部４は、初期重畳コードを重畳部３から受け取る。

制御部４は、例えば、位置決めパターンが２次元コードと重畳する領域かつ、２次元コードの色相が白のモジュールの色相を黄に制御（補正）する。この理由の詳細は後述するが、重畳された２次元コードと位置決めパターンを分離する為となる。なお、実施例１においては、２次元コードの２色の色相パターンのうちの１つモジュールの色相が黒であり、位置決めパターンの色相と同一である。また、２次元コードと位置決めパターンの外枠は一致している為、制御部４は、単純に２次元コードの色相が白のモジュールの色相を黄に制御することも出来る。

制御部４は、初期重畳コードにおいて、位置決めパターンが２次元コードと重畳する領域を所定の色相に制御した第１の制御重畳コードを外部装置へ出力する。外部装置は、例えば、プリンターであり、紙媒体の印刷物に画像処理装置１が処理した第１の制御重畳コードが印刷される。また、外部装置は、例えば、デジタルサイネージ（電子看板）であり、当該デジタルサイネージのディスプレイに画像処理装置１が処理した第１の制御重畳コードが表示される。なお、第１の制御重畳コードを別の任意の名称で称しても良い。

なお、画像処理装置１は、例えば、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）や、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）などの集積回路で構成しても良い。

図５（ａ）は、制御部４が制御する第１の制御重畳コードの一例を示す図である。図５（ｂ）は、図５（ａ）に示す第１の制御重畳コードから抽出される２次元コードの一例を示す図である。図５（ｃ）は、図５（ａ）に示す第１の制御重畳コードから抽出される位置決めパターンの一例を示す図である。図５（ａ）に示す第１の制御重畳コードは、上述の通り、２次元コードと位置決めパターンの双方の外枠が一致する様に重畳されており、外観上は、黒と黄の２色の色相パターンで規定されている。ここで、図５（ａ）に示す第１の制御重畳コードから、図５（ｂ）、図５（ｃ）に示す２次元コードと位置決めパターンが分離して抽出することが出来る技術的な理由について説明する。

先ず、図５（ａ）に示す第１の制御重畳コードから、図５（ｂ）に示す２次元コードが分離して抽出することが出来る技術的な理由について説明する。図６は、任意の色相に対する色空間を構成する色成分の画素値を含むデータ構造の一例を示すテーブルである。図６のテーブル６０に示される通り、色相は、３種類の色成分の画素値を有し、ＲＧＢ色空間で表現することが出来る。また、色相は、ＲＧＢ色空間を、輝度成分Ｙと色差成分Ｕ（青さの程度；輝度信号と青色成分の差）、Ｖ（赤さの程度；輝度信号と赤色成分の差）を組み合わせたＹＵＶ色空間で次式を用いて表現することが出来る。
（数１）
Ｙ ＝０．３０Ｒ＋０．５９Ｇ＋０．１１Ｂ
Ｕ＝０．１７Ｒ−０．３３Ｇ＋０．５０Ｂ
Ｖ＝０．５０Ｒ−０．４２Ｇ＋０．０８Ｂ

図６に示すテーブル６０においては、任意の色相を、ＲＧＢ色空間を構成するＲ（赤）色成分、Ｇ（緑）色成分、Ｂ（青）色成分、または、ＹＵＶ色空間を構成するＹ（輝度）色成分、Ｕ（青さの程度）色成分、Ｖ（赤さの程度）色成分を用いて表現する画素値を示している。

ここで、図５（ａ）に示す、外観上の色相が黒と黄の２色の色相パターンで表現されている第１の制御重畳コードに対して、ＹＵＶ色空間のＹ色成分を用いて画素値を抽出する場合について説明する。図６のテーブル６０に示される通り、Ｙ色成分を用いて画素値を抽出した場合、第１の制御重畳コードの色相が黒のモジュールの画素値は０となり、黄のモジュールの画素値は２２６となる。図５（ｂ）に示される通り、Ｙ色成分を用いて画素値を抽出すると、画素値０と、画素値２２６の２値のモジュールが抽出される。なお、図４の規定部２が規定する、図３（ａ）に示す２次元コードの色相が白のモジュールからＹ色成分を用いて画素値を抽出する場合の画素値は２５５であり、図６のテーブル６０に示すＩＤの色相の中においては、色相が黄の画素値が最も白の画素値と近接することになる。

黒と白の２色の色相パターンからなる慣用的な２次元コードにおける一般的なモジュール判定（モジュールの色相が白か黒を判定する処理）は、例えば、画素値１２８以上を閾値（第１閾値と称しても良い）として判断する為、色相が黄のモジュールから画素値を抽出しても、黒のモジュールと十分な識別分解能を有していることになる。この様な作用効果により、第１の制御重畳コードから２次元コードを抽出することが可能となる。

次に図５（ａ）に示す第１の制御重畳コードから、図５（ｃ）に示す位置決めパターンを分離して抽出することが出来る技術的な理由について説明する。図６のテーブル６０において、上述の２次元コードと同様にＹＵＶ色空間のＹ色成分を用いて、第１の制御重畳コードから画素値を抽出した場合は、図５（ｂ）に示される通り、画素値０と、画素値２２６のモジュールが混在することなり、位置決めパターンを正しく抽出することは難しい。ここで視点を変えて、ＲＧＢ色空間のＢ色成分を用いて画素値を抽出する場合を考える。図６のテーブル６０に示される通り、Ｂ色成分を用いて画素値を抽出した場合、第１の制御重畳コードの色相が黒のモジュールの画素値は０となり、かつ色相が黄のモジュールの画素値も０となり双方の画素値は０で一致する。なお、図４の規定部２が規定する、図３（ｂ）に示す色相が黒の位置決めパターンからＢ色成分を用いて画素値を抽出する場合の画素値も０である為、図５（ｃ）に示される位置決めパターンが完全に再現された状態で抽出される。この様な作用効果により、第１の制御重畳コードから位置決めパターンを抽出することが可能となる。なお、第１の制御重畳コードの色相が完全に一致しない場合であっても、例えば、閾値を１２８未満としてモジュール判定を行うことで位置決めパターンを抽出することが可能である。

なお、実施例１においては、ＹＵＶ色空間とＲＧＢ色空間の異なる色空間を利用しているが、同一の色空間でもデータセルと位置決めパターンを抽出することが可能である。例えば、図５（ａ）に示す第１の制御重畳コードの色相が黄のモジュールをシアンに制御した場合は、２次元コードをＲＧＢ色空間のＢ色成分を用いて抽出し、位置決めパターンを同一のＲＧＢ色空間のＲ色成分で抽出することも可能である。

更に、実施例１では２次元コードの色相が黒と白の２色のモジュールを用いて説明したが、２色のモジュールの色相を任意の色相で変化させた２次元コードを用いた場合でも、第１の制御重畳コードから位置決めパターンと２次元コードを分離して抽出することが出来る。これにより、画像処理装置１は、印刷物の背景色等を考慮した第１の制御重畳コードを規定することが可能となる。例えば、図３（ａ）に示す２次元コードの黒のモジュールの色相を赤にする場合は、位置決めパターンと重畳する領域の白のモジュールの色相を黄に制御すれば良い。この場合、Ｙ色成分で２次元コードを抽出し、Ｂ色成分で位置決めパターンを抽出することが出来る。具体的には、Ｙ色成分により、画素値７６（赤）と、画素値２２６（黄）または画素値２５５（白）が抽出されることによって、２次元コードが抽出される。また、Ｂ成分により画素値０（赤と黄）のみ、または、画素値０（赤と黄）と、画素値０と識別可能な画素値２５５（白）が抽出されることにより、位置決めパターンが抽出される。

また、図３（ａ）に示す２次元コードの白のモジュールの色相を黄にする場合は、位置決めパターンと重畳する領域の色相が黄のモジュールの色相をシアンに制御すれば良い。但し、この場合は、２次元コードと位置決めパターンの外枠を一致させて重畳させる必要がある。この場合、Ｙ色成分で２次元コードを抽出し、Ｒ色成分で位置決めパターンを抽出することが出来る。具体的には、Ｙ色成分により、画素値１７８（シアン）、または画素値０（黒）が抽出されることによって、２次元コードが抽出される。また、Ｒ成分により画素値０のみ（シアンと黒）が抽出されることにより、位置決めパターンが抽出される。

実施例１による画像処理装置によれば、物理座標系の規定精度を向上させることが可能となる。

（実施例２）
実施例１においては、図４の規定部２は、例えば、図３（ｂ）に示される黒色の１色の色相からなる位置決めパターンを規定するが、規定部２は、異なる２色の色相を用いて位置決めパターンを規定し、制御部４が制御することも可能である。

図７（ａ）は、制御部４が制御する第２の制御重畳コードの一例を示す図である。図７（ｂ）は、図７（ａ）に示す第２の制御重畳コードから抽出される２次元コードの一例を示す図である。図７（ｃ）は、図７（ａ）に示す第２の制御重畳コードから抽出される位置決めパターンの一例を示す図である。なお、実施例２における規定部２が規定する位置決めパターンは、図７（ｃ）に示される通り、周囲の色相が黒のセルの中に、色相が青のセルが内包されているセルとなる。また、色相が黒のセルと、色相が青のセルの面積比は、例えば９対１に規定される。図７（ａ）に示す第２の制御重畳コードは、実施例１と同様に、２次元コードと位置決めパターンの双方の外枠が一致する様に重畳されている。また、第２の制御重畳コードは、黒と黄と青と白の４色の色相パターンで規定されている。ここで、図７（ａ）に示す第２の制御重畳コードから、図７（ｂ）、図７（ｃ）に示す２次元コードと位置決めパターンを分離して抽出することが出来る技術的な理由について説明する。

先ず、図７（ａ）に示す外観上の色相が黒と黄と青と白の４色の色相パターンで規定されている第２の制御重畳コードに対して、ＹＵＶ色空間のＹ色成分を用いて画素値を抽出する場合について説明する。図６のテーブル６０に示される通り、Ｙ色成分を用いて画素値を抽出した場合、第２の制御重畳コードの色相が黒のモジュールの画素値は０となり、黄のモジュールの画素値は２２６となり、青のモジュールの画素値は２８となり、白のモジュールの画素値は２５５となる。図７（ｂ）に示される通り、Ｙ色成分を用いて画素値を抽出すると、画素値０と２８と、画素値２２６と２５５の４値のモジュールが抽出される。

上述の通り、黒と白の２色の色相パターンからなる慣用的な２次元コードにおける一般的なモジュール判定は、例えば、画素値１２８を閾値として判断する為、色相が黄と白のモジュールから画素値を抽出しても、黒と青のモジュールと十分な識別分解能を有していることになる。この様な作用効果により、第２の制御重畳コードから２次元コードを抽出することが可能となる。

次に図７（ａ）に示す第２の制御重畳コードから、図７（ｃ）に示す位置決めパターンを分離して抽出することが出来る技術的な理由について説明する。図６のテーブル６０に示される通り、Ｂ色成分を用いて画素値を抽出した場合、第２の制御重畳コードの色相が黒と黄のモジュールの画素値は０となり、かつ色相が白と青のモジュールの画素値は２５５となる。なお、図４の規定部２が規定する、図７（ｃ）に示す色相が黒の位置決めパターンからＢ色成分を用いて画素値を抽出する場合の画素値は０である。また、図７（ｃ）に示す色相が青の位置決めパターンからＢ色成分を用いて画素値を抽出する場合の画素値は２５５であることから、図７（ｃ）に示される位置決めパターンが完全に再現された状態で抽出される。この様な作用効果により、第２の制御重畳コードから位置決めパターンを抽出することが可能となる。なお、第２の制御重畳コードの色相が完全に一致しない場合であっても、例えば、閾値を１２８未満としてモジュール判定を行うことで位置決めパターンを抽出することが可能である。

実施例２による画像処理装置によれば、物理座標系の規定精度を向上させることが可能となる。更に、位置決めパターンの色相が２色に出来る為、色相の差異を利用して位置決めパターンに付加情報を与えることが可能になる。付加情報は、例えば、位置決めパターンの存在の有無を第２の制御重畳コードを取得する画像処理装置に認識させる為などに利用することが出来る。

（実施例３）
実施例３では、２次元コードと位置決めパターンを重畳させた重畳セルを読み取る画像処理装置について説明する。図８は、一つの実施形態による画像処理装置１１が含まれる情報提示装置１０の機能ブロック図である。情報提示装置１０は、画像処理装置１１、撮像素子１２、記憶部１５、表示部１６を有する。更に、画像処理装置１１は、取得部１３と、抽出部１４を有する。

情報提示装置１０は、例えば、ユーザによって使用されるＰＣや携帯端末等の情報機器である。更に、情報提示装置１０は、図示しない通信部を有しており、通信回線を介して様々な外部装置と双方向にデータの送受信を行うことが可能である。

撮像素子１２は、例えば、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）カメラなどの撮像デバイスである。また、撮像素子１２をＨＭＣ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｃａｍｅｒａ）として利用することも可能である。撮像素子１２は、例えば、紙媒体に印刷された広告等を含む文書や、当該文書に含まれる２次元コードを撮像する。なお、撮像素子１２は、必ずしも情報提示装置１０に含まれる必要はない。例えば、情報提示装置１０または、画像処理装置１１に設けられる図示しない通信ユニットを用いて通信回線を介することによって、撮像素子１２を情報提示装置１０以外の外部装置に設けることも可能である。

取得部１３は、例えば、ワイヤードロジックによるハードウェア回路である。また、取得部１３は、画像処理装置１１で実行されるコンピュータプログラムにより実現される機能モジュールであっても良い。取得部１３は、撮像素子１２が撮像する画像を、撮像素子１２から受け取る。また、取得部１３は、当該画像に含まれる重畳された２次元コードと位置決めパターンを取得し、抽出部１４に出力する。実施例３では説明の便宜上、取得部１３は、図５（ａ）に示す、第１の制御重畳コードを取得し、当該第１の制御重畳コードを抽出部１４に出力する。

抽出部１４は、例えば、ワイヤードロジックによるハードウェア回路である。また、抽出部１４は、画像処理装置１１で実行されるコンピュータプログラムにより実現される機能モジュールであっても良い。抽出部１４は、取得部１３から第１の制御重畳コードを受け取る。抽出部１４は、所定の第１色成分と、第２色成分を用いて第１の制御重畳コードから２次元コードと位置決めパターンを抽出する。ここで、第１色成分は、例えば、ＹＵＶ色空間のＹ色成分であり、第２色成分は、例えば、ＲＧＢ色空間のＢ色成分である。

ここで、抽出部１４による第１の制御重畳コードから２次元コードを抽出する方法について説明する。上述の実施例１と同様に、図６のテーブル６０に示される通り、Ｙ色成分を用いて画素値を抽出した場合、第１の制御重畳コードの色相が黒のモジュールの画素値は０となり、黄のモジュールの画素値は２２６となる。黒と白の２色の色相パターンからなる慣用的な２次元コードにおける一般的なモジュール判定は、例えば、画素値１２８以上を閾値（第１閾値と称しても良い）として判断する為、色相が黄のモジュールから画素値を抽出しても、黒のモジュールと十分な識別分解能を有していることになる。なお、図４の規定部２が規定する、図３（ａ）に示す２次元コードの色相が白のモジュールからＹ色成分を用いて画素値を抽出する場合の画素値は２２５となる。即ち、２次元コードまたは制御重畳コードにおいて色相が黒のモジュールの画素値が第１画素値として同定され、色相が白のモジュールの画素値が第２画素値として同定されると仮定すると、色相が黄のモジュールも第２画素値として同定されることになる。この様な作用効果により、図８の抽出部１４は、第１の制御重畳コードから２次元コードを抽出することが可能となる。

次に、抽出部１４による第１の制御重畳コードから位置決めパターンを抽出する方法について説明する。図６のテーブル６０に示される通り、Ｂ色成分を用いて画素値を抽出した場合、第１の制御重畳コードの色相が黒のモジュールの画素値は０となり、かつ色相が黄のモジュールの画素値も０となり双方の画素値は０で一致する。なお、図４の規定部２が規定する、図３（ｂ）に示す色相が黒の位置決めパターンからＢ色成分を用いて画素値を抽出する場合の画素値も０である為、図５（ｃ）に示される位置決めパターンが完全に再現された状態で抽出される。すなわち、制御重畳コードまたは位置決めパターンにおいて色相が黒のモジュールの画素値と黄のモジュールの画素値は、共に第１画素値として同定されることになる。この様な作用効果により、図８の抽出部１４は、第１の制御重畳コードから位置決めパターンを抽出することが可能となる。なお、第１の制御重畳コードの色相が完全に一致しない場合であっても、例えば、閾値を１２８未満としてモジュール判定を行うことで、抽出部１４は位置決めパターンを抽出することが可能である。

ここで抽出部１４は、図示しない通信部を介して、第１の制御重畳コードを生成する図４に示す画像処理装置１から、所定の第１色成分と第２色成分の情報を受け取ることが出来る。また、抽出部１４は、抽出部１４が有する図示しないキャッシュやメモリに第１色成分と第２色成分の情報を予め保持させることが出来る。更に、抽出部１４は、第１色成分と、第２色成分を動的に選定することが出来る。例えば、第１の制御重畳コードに対して、所定の第１閾値（例えば画素値＝１２８）を用いて、２次元コードを抽出する場合は、第１閾値以上となる色成分を選定し、位置決めパターンを抽出する場合は、第１閾値未満となる色成分を選定すれば良い。また、閾値は必ずしも一つである必要はなく、複数の閾値を用いても良い。

図８に示す抽出部１４は、抽出した２次元コードから付加情報を抽出する。抽出部１４は、２次元コードに付与される情報に基づいて必要に応じて記憶部１５にアクセスして、付加情報を記憶部１５から受け取っても良い。また、抽出部１４は、抽出した位置決めパターンの４隅と４辺を定め、基準位置と当該基準位置に基づく物理座標系を公知の手法を用いて規定する。また、抽出部１４は、撮像画像の左上端を表示座標原点として定めることで、撮像画像基準の表示座標系を規定する。抽出部１４は、物理座標系と表示座標系に基づいて、付加情報が撮像画像に重畳された重畳画像を表示部１６へ出力する。

記憶部１５は、例えば、フラッシュメモリ（ｆｌａｓｈ ｍｅｍｏｒｙ）などの半導体メモリ素子、または、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、光ディスクなどの記憶装置である。なお、記憶部１５は、上記の種類の記憶装置に限定されるものではなく、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）であってもよい。記憶部１５には、例えば、付加情報等の各種データが記憶される。なお、記憶部１５は、必ずしも情報提示装置１０に含まれる必要はない。例えば当該各種データは、画像処理装置１１に含まれる各機能部の図示しないキャッシュやメモリ等に記憶しても良い。また、情報提示装置１０または、画像処理装置１１に設けられる図示しない通信ユニットを用いて通信回線を介することによって、記憶部１５を情報提示装置１０以外の外部装置に設けることも可能である。

表示部１６は、例えば、ディスプレイ（デジタルサイネージを含む）、プロジェクタ、ＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）などの表示デバイスである。表示部１６は、付加情報が撮像画像に重畳された重畳画像を抽出部１４から受け取り、当該重畳画像を表示する。また、表示部１６は、必ずしも情報提示装置１０に含まれる必要はない。例えば、情報提示装置１０または、画像処理装置１１に設けられる図示しない通信部を用いて通信回線を介することによって、表示部１６を情報提示装置１０以外の外部装置に設けることも可能である。

なお、画像処理装置１１は、例えば、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）や、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）などの集積回路で構成しても良い。

図９は、画像処理装置１１による第１の画像処理のフローチャートである。図９において、取得部１３は、撮像素子１２が撮像する画像を、撮像素子１２から受け取る（ステップＳ９０１）。取得部１３は、当該画像に、重畳された２次元コードと位置決めパターン（第１の制御重畳コード）が含まれているかを判定し（ステップＳ９０２）、含まれている場合は、第１の制御重畳コードを取得する（ステップＳ９０２−Ｙｅｓ）。また、取得部１３は、取得した画像に第１の制御重畳コードが含まれていない場合（ステップＳ９０２−Ｎｏ）は、撮像素子１２から再び画像を受け取る（ステップＳ９０１）。

抽出部１４は、取得部１３から第１の制御重畳コードを受け取る。抽出部１４は、所定の第１色成分と、第２色成分を用いて第１の制御重畳コードから２次元コードと位置決めパターンを抽出する（ステップＳ９０３、Ｓ９０４）。ここで、第１色成分は、例えば、ＹＵＶ色空間のＹ色成分であり、第２色成分は、例えば、ＲＧＢ色空間のＢ色成分である。

抽出部１４は、抽出した２次元コードから付加情報を抽出する（ステップＳ９０５）。また、抽出部１４は、２次元コードに付与される情報に基づいて必要に応じて記憶部１５にアクセスして、付加情報を記憶部１５から受け取っても良い。

抽出部１４は、抽出した位置決めパターンの４隅と４辺を定め、基準位置と当該基準位置に基づく物理座標系を公知の手法を用いて規定する。また、抽出部１４は、撮像画像の左上端を表示座標原点として定めることで、撮像画像基準の表示座標系を規定する（ステップＳ９０６）。

抽出部１４は、物理座標系と表示座標系に基づいて、付加情報が撮像画像に重畳された重畳画像を表示部１６へ出力し（ステップＳ９０７）、画像処理装置１１は、図９に示す画像処理を終了する。

実施例３に示す画像処理装置においては、物理座標系の規定精度を向上させることが可能となる。

（実施例４）
図８に示す画像処理装置１１において、撮像距離が著しく遠くなる場合は、撮像素子１２の光学特性により、撮像画像の解像度は自然と低下する。この場合、第１の制御重畳コードから分離した２次元コードの読み取りが難しく、付加情報を抽出することが出来なく場合も発生し得ることが想定される。この現象は、従来の画像処理装置における２次元コードの読み取りにおいても同様に発生する。この現象が生じた場合、どの程度の撮像距離であれば２次元コードが読み取り可能であるのかというユーザの撮像処理に対する指針が無く、ユーザが判断に困窮する場合が生じ得ることが本発明者らにより新たに検証された。２次元コードのモジュールと位置決めパターンのモジュールの大きさの相対関係を利用することで、ユーザに対して適切な指針を与えることが可能となる為、実施例４にて説明する。なお、実施例４における画像処理装置の構成は、図８に示す画像処理装置１１と同様であり、例えば、抽出部１４が以下に示す処理を実行する。

２次元コードを構成する１モジュールの大きさを示すＭＳＩＺＥ２ｄと、位置決めパターンを構成する１モジュールの大きさ（図３（ｃ）または図５（ｃ）の場合は、位置決めパターンの大きさと同値）を示すＭＳＩＺＥｐは、次式の関係を有する。
（数２）
ＭＳＩＺＥｐ＝αｍ×ＭＳＩＺＥ２ｄ （αｍ＞１．０）
図３（ａ）と図３（ｂ）、または図５（ｂ）と図５（ｃ）に示す例では、αｍ＝２５となる。この場合、位置決めパターンは２次元コードの２５倍の撮像距離まで検出することが可能であることを意味する。

ここで、２次元コードを構成する１モジュールに対する画素数をＭＰＩＸ２ｄとし、位置決めパターンを構成する１モジュールに対する画素数をＭＰＩＸｐとする。ＭＰＩＸ２ｄとＭＰＩＸｐの値は、撮像距離に依存して変動することになる。換言すると、撮像距離が遠くなる程、撮像画像の解像度が低くなる為、ＭＰＩＸ２ｄとＭＰＩＸｐの値は小さくなる。

実施例４においては、ＭＰＩＸ２ｄよりも画素数が大きく検出が容易なＭＰＩＸｐを利用することによって、ＭＰＩＸ２ｄを上述の（数２）と次式を用いて算出することが出来る。
（数３）
ＭＰＩＸ２ｄ＝ＭＰＩＸｐ／αｍ
この為、抽出部１４は、ＭＰＩＸｐを判定基準として、２次元コードからの付加情報の抽出可否の判定と、位置決めパターンからの物理座標系の規定精度の判定を行うことが可能となる。

図１０は、撮像距離によるＭＰＩＸ２ｄとＭＰＩＸｐの変動量に対する、付加情報の取り出し可否、物理座標系の規定精度の関係図を示す。図１０に示す通り、抽出部１４が、２次元コードから付加情報を抽出する場合、ＭＰＩＸ２ｄが所定値Ｔａ（例えば、ＭＰＩＸ２ｄ＝３）以上の場合は、安定して付加情報を抽出することが可能である。Ｔａ未満の場合は、付加情報の抽出において不安定性が発生する場合がある。更に、ＭＰＩＸ２ｄが所定値Ｔｂ（例えばＭＰＩＸ２ｄ＝２）未満になると、解像度の制約から原理上、付加情報の抽出が難しくなる。なお、上述の所定値ＴａとＴｂは、抽出部１４による付加情報の取り出しアルゴリズムに基づいて適宜設定されれば良い。

図１０に示す通り、物理座標系の規定精度は、ＭＰＩＸｐが小さくなるにつれて単調減少する。物理座標系の規定精度の減少の度合いは、抽出部１４による物理座標系の規定処理の算出アルゴリズムに依存することになるが、上述の付加情報の抽出の様な明確な性能境界となる所定値（例えば、Ｔａ、Ｔｂ等）は存在しない。この為、想定する用途で必要となる規定精度をユーザサイドで規定し、その規定精度を満たす下限となる所定値をＴｃ（例えば、ＭＰＩＸｐ＝１）として判定に用いれば良い。

図１０において、ＭＰＩＸｐ＞Ｔａの範囲においては、抽出部１４により付加情報の抽出は問題なく実施され、物理座標系の規定精度も高い状態である。図１１（ａ）は、ＭＰＩＸｐ＞Ｔａの範囲における重畳画像の一例を示す図である。図１１（ａ）において、ＭＰＩＸｐ＞Ｔａの範囲では、図２（ａ）と同様に、物理座標系が高い精度で規定され、付加情報を表示させる位置の位置ずれが発生することなく、付加情報が正しく重畳している。なお、図１１（ａ）においては、付加情報となるナレーターと当該ナレーターが説明する自動車のタイヤホイールの説明文に加えて、当該タイヤホイールに着目させる重畳マーキング情報が、撮像画像に対して正常に（タイヤホイールと重畳マーキング情報の輪郭が一致する様に）、図８の情報提示装置１０に含まれる表示部１６に表示される。

図１０において、Ｔａ≦ＭＰＩＸｐ＜Ｔｂの範囲においては、抽出部１４による付加情報の抽出処理に不安定性が発生する場合がある。この為、抽出部１４は、例えば、「加藤ら、２値パターン拘束と超解像を組み合わせた低解像度ＱＲコード認識、電子情報通信学会、２０１０年」（ＱＲコードは登録商標）に開示される超解像処理や、一般的な補完処理を用いた補正処理を行うことが可能である。これにより、抽出部１４は、付加情報の抽出精度を向上させることが出来る。更に、実施例４においては、常に超解像処理や補完処理を用いた補正処理を行うのではなく、必要となる場合（Ｔａ≦ＭＰＩＸｐ＜Ｔｂの範囲）のみで補正処理を実行することになるので、抽出部１４の演算処理の負荷を低減させることが可能となる。また、抽出部１４は、付加情報を抽出できなかった場合においても、例えば、時系列に従った追従処理を行うことにより、抽出できなかった時刻以前の付加情報を使用することも可能である。また、抽出部１４は、物理座標系の規定精度が若干劣化し得ることも考慮して付加情報を補正した制御付加情報を生成または選択しても良い。なお、抽出部１４が制御付加情報を選択する場合、制御付加情報は、例えば、図１０の記憶部１５に記憶させておくことが出来る。また、制御付加情報を制御表示情報と称しても良い。

図１１（ｂ）は、Ｔａ≦ＭＰＩＸｐ＜Ｔｂの範囲における重畳画像の一例を示す図である。図１１（ｂ）に示す、重畳画像においては、物理座標系の規定精度が若干減少し得ることも考慮して、重畳マーキング情報の輪郭がタイヤホイールの輪郭よりも大きくなる様に制御付加情報が図８の情報提示装置１０に含まれる表示部１６に表示される。

図１０において、Ｔｂ≦ＭＰＩＸｐ＜Ｔｃの範囲においては、抽出部１４による付加情報の抽出は原理上難しくなる。しかしながら、物理座標系の規定精度は、想定用途で必要な精度を満たしているため、抽出部１４は、付加情報を補正した制御付加情報を用いても良い。また、抽出部１４は、付加情報の抽出は行わずに、抽出処理自体をスキップすることも可能である。また、Ｔａ≦ＭＰＩＸｐ＜Ｔｂの撮像範囲から、Ｔｂ≦ＭＰＩＸｐ＜Ｔｃの撮像範囲に遷移した場合は、抽出部１４による付加情報の抽出は、Ｔａ≦ＭＰＩＸｐ＜Ｔｂの撮像範囲で既に成功している為、制御付加情報ではなく、付加情報を用いることも可能である。一方、最初からＴｂ≦ＭＰＩＸｐ＜Ｔｃの撮像範囲で撮像が開始された場合は、付加情報を抽出することは難しい。この為、抽出部１４は、制御付加情報として、物理座標系の任意の座標を起点とした任意の重畳マーキング情報や、ユーザに撮像距離を近づけることを促す説明文を用いることが出来る。

図１２（ａ）は、Ｔｂ≦ＭＰＩＸｐ＜Ｔｃの範囲における重畳画像の一例を示す図である。図１２においては、制御付加情報として、重畳マーキング情報は、大きなずれが発生しても影響が無い大きさと形状で表示されている。なお、当該重畳マーキング情報は、物理座標系の任意の座標を起点として適宜規定されれば良い。また、ナレーターの説明文に「この車の詳しい情報は、近づけると見られます」など、ユーザに対して撮像距離を近づけることを促す様に制御付加情報を提示させても良い。

図１０において、Ｔｃ≦ＭＰＩＸｐの範囲では、物理座標系の規定精度も必要な精度を下回るため、抽出部１４は、付加情報の表示等の処理を行わないという処理を行うことが可能でなる。また、抽出部１４は、制御付加情報を表示させる処理を行っても良い。図１２（ｂ）は、Ｔｃ≦ＭＰＩＸｐの範囲における重畳画像の一例を示す図である。図１２（ｂ）において、制御付加情報として、例えば、情報提示装置１０の表示部１６の中心付近に、点線の枠と「この付近にある重畳マーキング情報に近づけて下さい」など、ユーザに対して撮像距離を近づけることを促す制御付加情報を提示させても良い。

図１３は、画像処理装置１１による第２の画像処理のフローチャートである。図１３において、ステップＳ１３０１〜Ｓ１３０３に示す処理は、図９のステップＳ９０１〜Ｓ９０３と同様の処理となる為、詳細な説明は省略する。抽出部１４は、抽出した位置決めパターンからＭＰＩＸｐを規定する（ステップＳ１３０４）。なお、上述の（数２）と（数３）において、αｍの値は例えば２５であり、予め抽出部１４の図示しないキャッシュまたはメモリに記憶されているものとする。また、抽出部１４は、図示しない通信部を介して、図４に示す画像処理装置１から、αｍの情報を受け取ることも出来る。

抽出部１４は、上述の通り、所定値Ｔａ（例えば、ＭＰＩＸ２ｄ＝３）、所定値Ｔｂ（例えばＭＰＩＸ２ｄ＝２）、所定値Ｔｃ（例えば、ＭＰＩＸｐ＝１）を適宜定めた上で、以下の処理を実施する。

ＭＰＩＸｐ＞Ｔａの条件を満たす場合（ステップＳ１３０５−Ｙｅｓ）の場合は、抽出部１４は、付加情報の重畳画像を出力する（ステップＳ１３０８）。ステップＳ１３０８においては、例えば、図１１（ａ）に示す重畳画像が出力される。なお、抽出部１４は、ステップＳ１３０８を実施するにあたり、図９のステップＳ９０４〜Ｓ９０７の処理を適宜実施しても良い。

ＭＰＩＸｐ＞Ｔａの条件を満たさない場合（ステップＳ１３０５−Ｎｏ）であり、Ｔａ≦ＭＰＩＸｐ＜Ｔｂの条件を満たす場合（ステップＳ１３０６−Ｙｅｓ）の場合は、抽出部１４は、２次元コードを抽出し、抽出した２次元コードに対して、必要に応じて超解像処理や補完処理を用いた補正処理を実施する（ステップＳ１３０９）。抽出部１４は、付加情報または制御付加情報の重畳画像を出力する（ステップＳ１３１０）。ステップＳ１３１０においては、例えば、図１１（ｂ）に示す重畳画像が出力される。なお、抽出部１４は、ステップＳ１３１０を実施するにあたり、図９のステップＳ９０４〜Ｓ９０７の処理を適宜実施しても良い。

Ｔａ≦ＭＰＩＸｐ＜Ｔｂの条件を満たさない場合（ステップＳ１３０６−Ｎｏ）であり、Ｔｂ≦ＭＰＩＸｐ＜Ｔｃの条件を満たす場合（ステップＳ１３０７−Ｙｅｓ）は、抽出部１４は、付加情報または制御付加情報の重畳画像を出力する（ステップＳ１３１１）。ステップＳ１３１１においては、例えば、図１２（ａ）に示す重畳画像が出力される。また、抽出部１４は、付加情報と制御付加情報のいずれを用いるかは、例えば、Ｔａ≦ＭＰＩＸｐ＜Ｔｂの撮像範囲から、Ｔｂ≦ＭＰＩＸｐ＜Ｔｃの撮像範囲に遷移した場合において、抽出部１４による付加情報の抽出が成功しているか否かで判断しても良い。なお、抽出部１４は、ステップＳ１３１１を実施するにあたり、図９のステップＳ９０４〜Ｓ９０７の処理を適宜実施しても良い。

Ｔｂ≦ＭＰＩＸｐ＜Ｔｃの条件を満たさない場合（ステップＳ１３０７−Ｎｏ、Ｔｃ≦ＭＰＩＸｐの条件を満たす場合）、抽出部１４は、制御付加情報の重畳画像を出力する（ステップＳ１３１２）。ステップＳ１３１２においては、例えば、図１２（ｂ）に示す重畳画像が出力される。

画像処理装置１１は、ステップＳ１３０８〜Ｓ１３１２のいずれかに示すステップを実施することで図１３に示す画像処理を終了する。

実施例４における画像処理装置においては、２次元コードのモジュールと位置決めパターンのモジュールの大きさの相対関係を利用することで、ユーザの撮像処理に対して適切な指針を与えることが可能となる。また、超解像処理や補完処理を用いた補正処理を必要となる場合のみに実行することで、画像処理装置の演算処理の負荷を低減させることが可能となる。

（実施例５）
図１４は、一つの実施形態による画像処理装置１または画像処理装置１１として機能するコンピュータのハードウェア構成図である。図１４に示すように、画像処理装置１または画像処理装置１１は、処理部２１、主記憶部２２、補助記憶部２３、ドライブ装置２４、ネットワークＩ／Ｆ部２６、入力部２７、表示部１６を含む。これら各構成は、バスを介して相互にデータ送受信可能に接続されている。

処理部２１は、コンピュータの中で、各装置の制御やデータの演算、加工を行うＣＰＵである。また、処理部２１は、主記憶部２２や補助記憶部２３に記憶されたプログラムを実行する演算装置であり、入力部２７や記憶装置からデータを受け取り、演算、加工した上で、表示部１６や記憶装置などに出力する。

主記憶部２２は、ＲＯＭやＲＡＭなどであり、処理部２１が実行する基本ソフトウェアであるＯＳやアプリケーションソフトウェアなどのプログラムやデータを記憶または一時保存する記憶装置である。

補助記憶部２３は、ＨＤＤなどであり、アプリケーションソフトウェアなどに関連するデータを記憶する記憶装置である。

ドライブ装置２４は、記録媒体２５、例えばフレキシブルディスクからプログラムを読み出し、補助記憶部２３にインストールする。

また、記録媒体２５に、所定のプログラムを格納し、この記録媒体２５に格納されたプログラムはドライブ装置２４を介して画像処理装置１または画像処理装置１１にインストールされる。インストールされた所定のプログラムは、画像処理装置１または画像処理装置１１により実行可能となる。

ネットワークＩ／Ｆ部２６は、有線及び／又は無線回線などのデータ伝送路により構築されたＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）などのネットワークを介して接続された通信機能を有する周辺機器と画像処理装置１または画像処理装置１１とのインターフェースである。

入力部２７は、カーソルキー、数字入力及び各種機能キー等を備えたキーボード、表示部１６の表示画面上でキーの選択等を行うためのマウスやスライスパット等を有する。また、入力部２７は、ユーザが処理部２１に操作指示を与えたり、データを入力したりするためのユーザインターフェースである。

表示部１６は、図８に示した表示部１６と同等のハードウェアを用いることが可能である為、詳細な説明は省略する。なお、表示部１６は、処理部２１から入力される表示データに応じた表示が行われる。

なお、上述した画像処理方法は、コンピュータに実行させるためのプログラムとして実現されてもよい。このプログラムをサーバ等からインストールしてコンピュータに実行させることで、上述した画像処理方法を実現することができる。

また、このプログラムを記録媒体２５に記録し、このプログラムが記録された記録媒体２５をコンピュータや携帯端末に読み取らせて、前述した画像処理を実現させることも可能である。なお、記録媒体２５は、ＣＤ−ＲＯＭ、フレキシブルディスク、光磁気ディスク等の様に情報を光学的、電気的或いは磁気的に記録する記録媒体、ＲＯＭ、フラッシュメモリ等の様に情報を電気的に記録する半導体メモリ等、様々なタイプの記録媒体を用いることができる。

また、図示した各装置の各構成要素は、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。また、上記の実施例で説明した各種の処理は、予め用意されたプログラムをパーソナルコンピュータやワークステーションなどのコンピュータで実行することによって実現することができる。

以上、説明した実施形態に関し、更に以下の付記を開示する。
（付記１）
第１画素値と第２画素値を含む画像パターンにより、表示情報を規定する２次元コードと、
前記表示情報を表示する為の基準座標を規定する位置決めパターンと、
が重畳して表示される画像を取得する取得部と、
前記画像から、前記第１画素値と同定される画素値と、前記第２画素値と同定される画素値を抽出する第１色成分を用いて前記２次元コードを抽出し、
前記画像から、前記第１色成分を用いて前記第１画素値と同定される画素値と、前記第２画素値と同定される画素値が、同一と同定される画素値を抽出する第２色成分を用いて前記位置決めパターンを抽出する
抽出部と、
を備えることを特徴とする画像処理装置。
（付記２）
前記位置決めパターンは、前記第１画素値を含む画像パターンにより前記基準座標を規定し、
前記抽出部は、前記第１画素値を前記同一と同定される画素値として抽出することを特徴とする付記１記載の画像処理装置。
（付記３）
前記取得部は、
前記２次元コードと前記位置決めパターンが重畳することにより、前記第２画素値を有する色相が、
前記第１色成分を用いて前記抽出部が前記２次元コードを抽出する場合に、前記第１画素値との差分が所定の第１閾値以上、かつ、
前記第２色成分を用いて前記抽出部が前記位置決めパターンを抽出する場合に、前記第１画素値との差分が前記第１閾値未満となる
第３画素値を有する色相で表示される前記画像を取得することを特徴とすることを特徴とする付記１または付記２記載の画像処理装置。
（付記４）
前記抽出部は、前記２次元コードを構成するモジュールの大きさと、前記位置決めパターンを構成する前記モジュールの大きさの比較に基づいて、前記表示情報を制御することを特徴とする付記１ないし付記３のいずれか一つに記載の画像処理装置。
（付記５）
前記位置決めパターンの形状は、４隅または外縁に基づいて前記基準座標が規定される矩形であることを特徴とする付記１ないし付記４のいずれか一つに記載の画像処理装置。
（付記６）
前記２次元コードを構成するモジュールの大きさは、前記位置決めパターンを構成する前記モジュールよりも小さいことを特徴とする付記１ないし付記５のいずれか一つに記載の画像処理装置。
（付記７）
前記位置決めパターンは、前記矩形の４隅に頂点が定められ、前記基準座標が規定される基準となる４隅位置を前記頂点が対応づけられ、前記４隅位置を結ぶ４辺に基づいて前記外縁が規定されることを特徴とする付記４記載の画像処理装置。
（付記８）
前記抽出部は、
前記２次元コードを構成するモジュールから抽出される画素数と、前記位置決めパターンを構成する前記モジュールから抽出される画素数との比率を算出し、
当該比率と所定の閾値に基づいて、前記２次元コードに含まれる前記表示情報の抽出制度を判定し、
前記判定の結果に基づいて前記２次元コードの補正の処理、または、前記表示情報を補正した制御表示情報の表示の処理をすること特徴とする付記４記載の画像処理装置。
（付記９）
コンピュータに、
第１画素値と第２画素値を含む画像パターンにより、表示情報を規定する２次元コードと、前記表示情報を表示する為の基準座標を規定する位置決めパターンと、が重畳して表示される画像を取得し、
前記画像から、前記第１画素値と同定される画素値と、前記第２画素値と同定される画素値を抽出する第１色成分を用いて前記２次元コードを抽出し、
前記画像から、前記第１色成分を用いて前記第１画素値と同定される画素値と、前記第２画素値と同定される画素値が、同一と同定される画素値を抽出する第２色成分を用いて前記位置決めパターンを抽出する
ことを実行させることを特徴とする画像処理プログラム。
（付記１０）
前記位置決めパターンは、前記第１画素値を含む画像パターンにより前記基準座標を規定し、
前記位置決めパターンを抽出することは、前記第１画素値を前記同一と同定される画素値として抽出することを特徴とする付記９記載の画像処理プログラム。
（付記１１）
前記取得することは、
前記２次元コードと前記位置決めパターンが重畳することにより、前記第２画素値を有する色相が、
前記第１色成分を用いて前記抽出部が前記２次元コードを抽出する場合に、前記第１画素値との差分が所定の第１閾値以上、かつ、
前記第２色成分を用いて前記抽出部が前記位置決めパターンを抽出する場合に、前記第１画素値との差分が前記第１閾値未満となる
第３画素値を有する色相で表示される前記画像を取得することを特徴とすることを特徴とする付記９または付記１０記載の画像処理プログラム。
（付記１２）
前記２次元コードを抽出こと、ならびに、前記位置決めパターンを抽出することは、前記２次元コードを構成するモジュールの大きさと、前記位置決めパターンを構成する前記モジュールの大きさの比較に基づいて、前記表示情報を制御することを特徴とする付記９ないし付記１１のいずれか一つに記載の画像処理プログラム。
（付記１３）
前記位置決めパターンの形状は、４隅または外縁に基づいて前記基準座標が規定される矩形であることを特徴とする付記９ないし付記１２のいずれか一つに記載の画像処理プログラム。
（付記１４）
第１画素値と第２画素値を含む画像パターンにより、表示情報を規定する２次元コードと、前記表示情報を表示する為の基準座標を規定する位置決めパターンと、が重畳して表示される画像を取得し、
前記画像から、前記第１画素値と同定される画素値と、前記第２画素値と同定される画素値を抽出する第１色成分を用いて前記２次元コードを抽出し、
前記画像から、前記第１色成分を用いて前記第１画素値と同定される画素値と、前記第２画素値と同定される画素値が、同一と同定される画素値を抽出する第２色成分を用いて前記位置決めパターンを抽出する
ことを含むことを特徴とする画像処理方法。
（付記１５）
前記位置決めパターンは、前記第１画素値を含む画像パターンにより前記基準座標を規定し、
前記位置決めパターンを抽出することは、前記第１画素値を前記同一と同定される画素値として抽出することを特徴とする付記１４記載の画像処理方法。
（付記１６）
前記取得することは、
前記２次元コードと前記位置決めパターンが重畳することにより、前記第２画素値を有する色相が、
前記第１色成分を用いて前記抽出部が前記２次元コードを抽出する場合に、前記第１画素値との差分が所定の第１閾値以上、かつ、
前記第２色成分を用いて前記抽出部が前記位置決めパターンを抽出する場合に、前記第１画素値との差分が前記第１閾値未満となる
第３画素値を有する色相で表示される前記画像を取得することを特徴とすることを特徴とする付記１４または付記１５記載の画像処理方法。
（付記１７）
前記２次元コードを抽出こと、ならびに、前記位置決めパターンを抽出することは、前記２次元コードを構成するモジュールの大きさと、前記位置決めパターンを構成する前記モジュールの大きさの比較に基づいて、前記表示情報を制御することを特徴とする付記１１４ないし付記１６のいずれか一つに記載の画像処理方法。
（付記１８）
前記位置決めパターンの形状は、４隅または外縁に基づいて前記基準座標が規定される矩形であることを特徴とする付記１４ないし付記１７のいずれか一つに記載の画像処理方法。
（付記１９）
所定の第１色成分を用いて画素値が抽出される場合において、第１画素値と同定される画素値と、第２画素値と同定される画素値を有する複数の色相の画像パターンにより表示情報が規定される２次元コードと、
前記第１色成分を用いて前記第１画素値と同定される画素値と、前記第２画素値と同定される画素値が、前記第１画素値と同一と同定される画素値を抽出する第２色成分を用いて画素値が抽出される場合に、前記第１画素値と同定される画素値を有する色相の画像パターンにより、前記表示情報を表示する為の基準座標を規定する位置決めパターンと、
を規定する規定部と、
前記２次元コードと前記位置決めパターンを所定の領域で重畳させる重畳部と、
前記２次元コードと前記位置決めパターンが重畳する前記領域の前記第２画素値を有する色相を、
前記第１色成分を用いて画素値を抽出する場合に、前記第１画素値との差分が所定の第１閾値以上、かつ、
前記第２色成分を用いて画素値を抽出する場合に、前記第１画素値との差分が前記第１閾値未満となる
第３画素値を有する色相へ制御する制御する制御部と
を備えることを特徴とする画像処理装置。
（付記２０）
所定の第１色成分を用いて画素値が抽出される場合において、第１画素値と同定される画素値と、第２画素値と同定される画素値を有する複数の色相の画像パターンにより表示情報が規定される２次元コードと、
前記第１色成分を用いて前記第１画素値と同定される画素値と、前記第２画素値と同定される画素値が、前記第１画素値と同一と同定される画素値を抽出する第２色成分を用いて画素値が抽出される場合に、前記第１画素値と同定される画素値を有する色相の画像パターンにより、前記表示情報を表示する為の基準座標を規定する位置決めパターンと、
が表示される印刷物であって、
前記２次元コードと前記位置決めパターンが重畳することにより、前記第２画素値を有する色相が、
前記第１色成分を用いて画素値を抽出する場合に、前記第１画素値との差分が所定の第１閾値以上、かつ、
前記第２色成分を用いて画素値を抽出する場合に、前記第１画素値との差分が前記第１閾値未満となる
第３画素値を有する色相で表示されている
ことを特徴とする印刷物。

１ 画像処理装置
２ 規定部
３ 重畳部
４ 制御部
１０ 情報提示装置
１１ 画像処理装置
１２ 撮像素子
１３ 取得部
１４ 抽出部
１５ 記憶部
１６ 表示部

Claims (8)

1. 第１画素値と第２画素値を有する色成分を含む画像パターンにより表示情報を規定する２次元コードと、前記表示情報を表示する基準となる基準座標を規定する位置決めパターンと、が重畳して表示される画像を取得する取得部と、
   前記画像から、前記第１画素値と同定される第１モジュールと、前記第２画素値と同定される第２モジュールを抽出するための第１色成分に基づき前記２次元コードを抽出し、前記第１色成分に基づき抽出した前記第１モジュールの画素値と同一の値と同定される画素値を有する画素を抽出するための第２色成分に基づき、前記画像から前記位置決めパターンを抽出する抽出部と、
   を備えることを特徴とする画像処理装置。
2. 前記位置決めパターンは、前記第１画素値を有する色成分を含む画像パターンに基づき前記基準座標を規定し、
   前記抽出部は、前記第２色成分に基づき前記第１モジュールの画素を前記同一の値と同定される画素値の画素として抽出することを特徴とする請求項１記載の画像処理装置。
3. 前記抽出部は、前記第２色成分に基づき抽出した前記位置決めパターンが前記第１画素値と異なる第３画素値を有する場合に、前記第２色成分において基準となる閾値との大小関係に応じて、前記位置決めパターンから前記第１画素値を有する第１のパターンおよび前記第３画素値を有する第２のパターンを抽出する
   請求項１または２に記載の画像処理装置。
4. 前記抽出部は、前記２次元コードを構成するモジュールの大きさと、前記位置決めパターンを構成する前記モジュールの大きさの比較に基づいて、前記表示情報を制御することを特徴とする請求項１ないし請求項３のいずれか一項に記載の画像処理装置。
5. 前記位置決めパターンの形状は、４隅または外縁に基づいて前記基準座標が規定される矩形であることを特徴とする請求項１ないし請求項４のいずれか一項に記載の画像処理装置。
6. コンピュータに、
   第１画素値と第２画素値を有する色成分を含む画像パターンにより表示情報を規定する２次元コードと、前記表示情報を表示する基準となる基準座標を規定する位置決めパターンと、が重畳して表示される画像を取得し、
   前記画像から、前記第１画素値と同定される第１モジュールと、前記第２画素値と同定される第２モジュールを抽出するための第１色成分に基づき前記２次元コードを抽出し、前記第１色成分に基づき抽出した前記第１モジュールの画素値と同一の値と同定される画素値を有する画素を抽出するための第２色成分に基づき、前記画像から前記位置決めパターンを抽出する
   ことを実行させることを特徴とする画像処理プログラム。
7. 第１画素値と第２画素値を有する色成分を含む画像パターンにより表示情報を規定する２次元コードと、前記表示情報を表示する基準となる基準座標を規定する位置決めパターンと、が重畳して表示される画像を取得し、
   前記画像から、前記第１画素値と同定される第１モジュールと、前記第２画素値と同定される第２モジュールを抽出するための第１色成分に基づき前記２次元コードを抽出し、前記第１色成分に基づき抽出した前記第１モジュールの画素値と同一の値と同定される画素値を有する画素を抽出するための第２色成分に基づき、前記画像から前記位置決めパターンを抽出する
   こと含むことを特徴とする画像処理方法。
8. 第１画素値と第２画素値を有する色成分を含む画像パターンであって、前記第１画素値と同定される第１モジュールと前記第２画素値と同定される第２モジュールに基づき表示情報を規定する２次元コードと、前記第１画素値と同一画素値を有する、前記表示情報を表示する為の基準座標を規定する位置決めパターンとを規定する規定部と、
   前記２次元コードと前記位置決めパターンを所定の領域で重畳させる重畳部と、
   前記所定の領域において前記第１モジュールと前記位置決めパターンが一部重畳する場合に、前記一部重畳する領域における前記第１モジュールまたは前記位置決めパターンのいずれか一方の画素値を、第１色成分に基づき異なる値と判定され、かつ第２色成分に基づき同一の値と同定される画素値を有する色相に変更する制御部と
   を備えることを特徴とする画像処理装置。

Images