JP5288691B2 - ２次元コード読取プログラム - Google Patents

Description

本発明は、記録装置からシート状記録媒体や固形物表面に出力された、もしくは、表示装置によりディスプレイに表示された２次元コードに関し、当該２次元コードの画像データを、カメラやスキャナなどの撮像装置から取得し、コンピュータを用いて解析することによって、２次元コードに表現された所定のデジタル情報を復元することを可能にした、２次元コード読取プログラムに関する。

２次元コードは、一般に、格子状に配列した複数のセルと、その周囲に配置した位置決めシンボルによって構成され、平面上にデジタル情報を表現することに使われる。セルは白色の平面上に想定され、黒色のデータマークが印されたマークセルと、データマークが印されずに白色が露出した空白セルの２種類で構成される。２次元コードでは、２種類のセルの表示によって配置のパターンを形成してデジタル情報を表現する。例えば、マークセルを１に、空白セルを０に対応させて、１と０の２進データ列によるデジタル情報を平面上に表現する。

このように表示された２次元コードに対し、光学的な撮像装置を用いて画像データを取得し、該画像データを解析することでデジタル情報を復元する。解析にはコンピュータを用い、画像データ上のセルの位置を求め、その位置でセルの表示を判定する。これにより、セルの表示を明らかにして、２次元コードに表現された２進データ列を復元する。
その際、セルの位置は、特定の位置に固定して表示された位置決めシンボルを基準にして算出する。例えば、検出された２以上の位置決めシンボル間の距離と角度から画像データ中の２次元コードのサイズと傾きを求め、これを基にして各セルの位置を算出する方法が知られている（特許文献１、非特許文献１）。
特定されたセルの位置において、セルの表示は、セルの概ね中心位置における階調（濃度）の値から判定する。すなわち、セルの中心画素の階調を事前に用意されたしきい値と比較して、しきい値より階調が高いセルをマークセル、低いセルを空白セルと見なす。

一方、位置決めシンボルのような画像パターンを表示することなく、セルの位置を特定する方法も報告されている（特許文献３）。この方法では、２次元コード作成時にデータ列をランダム化することで、黒ピクセルの分布を平均化しておく。復元の際には、黒ピクセルの数を軸方向に足し合わせて得られるヒストグラムから、ビット表示領域の輪郭を推定する。また、ビット表示領域のコーナーに予めアンカービットを印しておき、テンプレートマッチングによりアンカービットを検出して領域を特定する。

２次元コードは、表示面に対して情報を２次元的に表現することで、従来のバーコードに比べて高密度に表示することができる。すなわち、２次元コードでは、範囲が限られた表示面においても容量の大きい情報を表示することができる。この特徴から、近年、２次元コードは多方面で利用されている。
例えば、文字情報、数値情報、画像情報、音声情報、暗号情報、コンピュータ上の命令コードなどのデジタル情報を、用紙などのシート状記録媒体や電子部品などの固形物表面に記録し、後で撮像装置から取得して復元することに使われる。また、表示装置上に表示するとともに、撮像装置から取得して情報を復元することによる、装置間でのデジタル情報の受け渡しに使われる。

本発明者らによって考案された特許文献４に記載の２次元コードは、データマークを周囲から判別可能に表示しておき、情報を復元する際に検出することにより、様々な原因で生じる位置ずれの問題を解決したものである。これにより、デジタル情報を高密度に表示した場合でも、画像の乱れによる読取エラーが起きずに、安定して２次元コードの表示および読取が可能となる。そのため、環境変動を伴う多方面での使用に適している。

特開平７−２５４０３７号公報 特開２０００−２３５６１７号公報 特開２０００−１３２６５１号公報 国際出願番号：ＰＣＴ／ＪＰ２００４／００５８６２ 特開２００１−１６０１１４号公報 ＪＩＳ Ｘ０５１０ ２次元コードシンボル−ＱＲコード（登録商標）−基本仕様書

近年、コンピュータの処理速度の向上や、記憶媒体の容量の増加などによる技術進歩により、従来に比べて大容量のデジタル情報が扱われるようになった。また、通信技術の進歩にともない、それらのデジタル情報を簡便に送受信できるネットワーク環境が整ってきた。そのため、時間的および地理的な条件に縛られることなく、様々な場面において情報をやり取りすることが可能となった。

２次元コードに対しても、従来以上に大容量なデジタル情報を、高密度に表示することが求められている。また、このように高密度な２次元コードを、様々な場面において、多様な入出力装置を介して扱うことが求められている。これにより、我々の周囲に存在する様々な種類の情報を、より簡便に、さらに快適に取り扱うことが望まれている。

２次元コードの表示を高密度化するには、個々のセルのサイズを微小にして、単位面積あたりのセル数を増加する必要がある。しかし、セルのサイズを微小にするに従い、表示を判定する際の位置のずれが起こりやすくなるという問題がある。そのため、セルの表示を判定する際に判定エラーが発生し、デジタル情報を正確に復元することができない。
位置のずれが生じる原因としては、画像の入出力条件の変動によって生じる画像データ面内の乱れが考えられる。例えば、２次元コードの出力時において、出力装置による出力間隔のずれ、表示面の湾曲などが原因となる。また、入力時においては、カメラのレンズがもつ光学的な歪みや、撮像する際の撮像角度の傾きなどが原因となる。

セル表示を判定する際の位置ずれの問題を解決するため、セルを配置した領域（セル領域）の周囲にマークセルと空白セルを交互に配置したタイミングセルを表示し、タイミングセルの位置からデータセルの位置を補正する方法が知られている（特許文献１参照）。
また、所定の位置に印されたマーカとパターンドットの画像を検出し、これを基にデータが表現されたデータドットの位置を求める方法が知られている（特許文献２参照）。この方法では、パターンドットの位置からマーカの位置を補正することで、マーカ位置特定の精度を向上させている。
しかし、これらの方法においては、タイミングセルやマーカから離れたセルに対しては、画像面内の歪みの影響を受けてずれが生じやすいという問題がある。ずれが生じないように位置決めシンボルやタイミングセル、マーカやパターンドットなどの位置決め用画像の数を増やすことは、相対的に情報を表現するためのデータセル数を減らすか、もしくは２次元コード全体の表示面積を拡大する必要が生じるため、情報の高密度化の観点から適切ではない。
また、位置を特定するために最初に検出される位置決めシンボルやマーカなどの画像パターンは、情報を表現するマークやドットと区別されるため、複数のセルを用いて独特な画像パターンを構成したり、画像パターンのサイズを特別に大きくしたりする必要がある。このように、最初に検出される画像パターンが大きい表示面積を有することは、情報の高密度化にとって好ましくない。そのうえ、セル上に表示されるマークやデータドットなどの画像パターンとの間で均質性がなく、違和感を与えるデザインとなってしまう。

特許文献３に記載の方法では、位置決めシンボルのような特定の画像パターンを表示することなく、ビット表示領域の輪郭からデータビットの位置を特定する。しかし、この方法も、特許文献１や特許文献２の方法と同様、画像面内に歪みが存在する場合には位置ずれが起こり易いという問題がある。すなわち、歪みの影響を受けて推定されたビット表示領域の輪郭は誤差を含むため、特に、表示領域のコーナーから離れた内部の位置において位置ずれが生じる。
また、この方法では、表示領域のコーナーに印したアンカービットを検出する際に、アンカービットがデータビットと接していることから、テンプレートマッチングはアンカービットの一部だけにしか行われない。そのため、２次元コード画像の入出力の際に生じるアンカービットの太りや細りによって、位置のずれが生じ易いという問題がある。さらに、この方法では、予めデジタル情報をランダム化して分布を平均化する必要があり、データに冗長性が生じることから高密度化に適切ではない。

位置ずれの問題を解決する方法としては、特許文献４に記載の方法が適切である。この方法では、データマーク自体を検出することによって、画像に乱れがある場合でもデジタル情報を精確に復元することが可能となる。
しかし、この方法では、位置決めシンボルの画像パターンは、データマークから区別され易いように、データマークに比べて複雑でサイズの大きいパターンで構成される必要がある。そのため、予め用意する照合パターンも複雑でサイズが大きくなり、画像データを走査する際に照合・判定に計算負荷が掛かる。また、データマークを検出することから、従来の方法に比べて画像パターンの検出に計算負荷が掛かるという問題を有する。
そのため、特に、モバイル環境のように低速なコンピュータを用いる場合や、多数のプロセスを同時に実行するサーバー環境において、解析に時間が掛かり、ユーザは快適な使用感が得られない。
また、この方法では、位置決めシンボルがデータマークに比べて複雑でサイズの大きいパターンで構成されるため、情報の高密度化や、均質的で美しいデザイン性を得るという観点から好ましいとは言えない。特に、データマークをカラーで表現するカラー２次元コードにおいて、複数の色成分の重なり（黒色）で表示された位置決めシンボルは、カラフルなデータマークに対比して視覚的な違和感が生じる。そのため、２次元コードとして、全体的な均質性が得られないという問題がある。

本発明は、上記の点に鑑みてなされたものであり、多様な条件に対応しながら、デジタル情報を高密度に表示すること、および該デジタル情報を正確に読み取ることを可能にした、２次元コード読取プログラムを提供する。

本発明に係る２次元コード読取プログラムは、２次元的に配置した複数のセルに対して表示されたデータマーク、及び、前記セルに対して固定した位置関係で表示された位置決めマーク、を含む２次元コードから当該２次元コードに表現されたデジタル情報を読み取るプログラムであって、前記２次元コードを撮像して取得されたカラー画像データにおいて、当該画像データを構成する１つの画素は複数の色成分を保持しており、当該複数の色成分のそれぞれに対応する複数の階調を前記１つの画素を単位として統合し、当該統合により前記１つの画素に対応する１つの階調を導出すること、前記位置決めマークは、前記データマークと同じ形状および大きさの画像パターンからなり、かつ周囲を空白領域に囲まれて表示されており、前記統合により導出された階調を対象として、マーク領域とその周囲の空白領域とで構成された照合パターンを照合しながら走査するプロセスを通して、当該照合におけるマーク領域と空白領域との間のコントラストが大きい画像を前記位置決めマークの画像パターンとして検出すること、を特徴とする。

本発明に係る更なる２次元コード読取プログラムは、前記画像データにおいて複数のセルが含まれる画像領域を抽出するとともに、当該画像領域を構成する画素を前記統合により導出された階調の大きさで分類し、当該分類による一の集合の階調をマーク領域の指標、同じ分類による別の集合の階調を空白領域の指標として、それぞれ取得すること、前記画像パターンの検出において、前記照合パターンの照合により得られるマーク領域の階調を前記マーク領域の指標と対比すること、及び、同じ照合パターンの照合により得られる空白領域の階調を前記空白領域の指標と対比することにより、前記照合におけるマーク領域と空白領域との間のコントラストの大きさを判定すること、を特徴とする。

本発明に係る更なる２次元コード読取プログラムは、前記位置決めマークは、セルが正方格子状に配列して構成されたセル領域の四隅に対応する位置に表示されており、前記照合パターンを照合しながら走査するプロセスを通して複数の画像が検出されるとともに、それらの複数の検出位置の中から相対的な位置関係が外側に存在する四箇所を、前記位置決めマークとして選出すること、選出された前記位置決めマークの位置に基づいてセルの位置を算出し、当該位置のセルに属するデータマークを判定して表示を特定すること、を特徴とする。

位置決めマークは、画像データにおける２次元コードの位置の基準を定めることを目的として、セルに対して固定した位置関係を持って表示される。その際、２次元コードが発行されるごとに、同じ位置に常に表示されることが好ましい。
デジタル情報を表現するデータマークは、同一の形状および大きさを有する所定の画像パターンからなる。また、位置決めマークは、データマークと同じ画像パターンを用いて表示される。ここで画像パターンが同じであるとは、表示される画像の形状だけでなくサイズも同じことを意味している。このとき、全ての位置決めマークは、データマークと同じ画像パターンを用いて表示されることが好ましい。
画像パターンとしては、図１や図２に示すように、周囲を空白領域で囲まれた正方形のパターンを用いると良い。また、図４に示すように、円形のパターンを用いても良い。

位置決めマークの表示は、図１〜図４に示すように、正方格子状に配列したセル上に為されると良い。また、データマークと同様、１つのセルに対して１つの位置決めマークを表示すると良い。この場合、データマークの配置規則に倣うことで、位置決めマークの表示に違和感がなく美しいデザイン性を持つ。その際、各マークの周囲が空白領域で囲まれて表示されることで、デザイン性がさらに向上する。また、デジタル情報を復元する際に、当該マークの画像パターン検出が容易に実現できる。
空白領域は、データマークの表示に使用される色成分を出力しないことが好ましい。この色成分の出力は減法混色によるものが好適で、出力装置が色の３原色（シアン、マゼンタ、イエロー）でフルカラーを表現する場合、空白領域は白色で表示されると良い。ただし、出力装置が加法混色の色成分からなる場合には、減法混色の場合と同じ色彩になるように、空白領域を白色に表示することが好ましい。

上記において、位置決めマークをセル領域の四隅に配置するとともに、デジタル情報を復元する際に、これら四隅の位置決めマークを基準としてセルの位置を算出すると良い。この場合、検出されたデータマーク等を含む画像パターンの中から位置決めマークを抽出し易くなる。また、抽出された当該位置決めマークの位置から、セルの位置を算出し易くなる。
また、特に２次元コードのセル数が多い場合に、位置決めマークを四角形のセル領域の辺上や、セル領域の内部に表示しても良い。一般に、セル数が多い場合、画像データが持つ面内の歪み等の影響により、位置決めマークから遠いセルは位置ずれが生じやすいが、このように位置決めマークを表示することで問題を回避できる。

デジタル情報を復元する際に、画像データにおいて、位置決めマークの位置を明らかにして位置の基準を取得する。その後、従来技術（特許文献４）と同様、取得した位置基準を基に、検出されたデータマークがどのセルに属するか特定すると良い。この方法では、特許文献１〜３に記載の方法と異なり、データマーク自体を検出することで面内の歪み等の影響を受けることなく、セル表示を判定する際の位置ずれを防ぐことができる。
データマークおよび位置決めマークの検出には、マーク領域とその周囲の囲む空白領域の２つの領域で構成された照合パターンを用いると良い。この場合、検出位置にずれが生じ難いという利点を持つ。これにより、入出力の際に生じる画像の太りや細り等のばらつきが存在しても、精確に位置の基準を設定することが可能となる。

位置決めマークをデータマークと同じ画像パターンで構成し、同じプロセスを通して同時に検出すると良い。これにより、上記プロセスの回数が減り、計算負荷を抑えることができる。一方、従来の方法（特許文献４）では、位置決めシンボルとデータマークが異なる画像パターンからなり、それぞれ別のプロセスを通して検出する。そのため、画像パターン検出のプロセスを繰り返す必要があり、画像データの解析に計算負荷が掛かる。
また、位置決めマークに対して、データマークと同一の単純な画像パターンを用いることで、照合・判定に対して計算負荷を抑えることができる。一方、従来の方法（特許文献４）では、位置決めシンボルはデータマークと混同されないように、形状が複雑な画像パターンで構成される。この場合、予め用意する照合パターンも複雑になり、画像データを走査する際に、照合パターンの照合・判定に対して計算負荷が掛かる。

上記において、同じ画像パターンからなる複数のデータマークおよび位置決めマークは、同じプロセスを通して区別されることなく同時に検出されることが想定される。そのため、位置決めマークを、複数のマーク検出位置の中から選出する。この選出において、予め定められた位置決めマークの配置と比較して、当該配置に一致して検出されたマークを位置決めマークと見なして選択すると良い。また、この選出は、検出された各マークの位置座標の集合に対して行うと良い。

位置決めマークの配置としては、図１に示されるように、四角形のセル領域の四隅に表示すると良い。この場合、デジタル情報を復元する際に、複数のマーク検出位置の中から、最も外側に存在する４点を位置決めマークと解釈して選出すると良い。
位置決めマークは、四隅の位置決めマーク間を結ぶ直線上や、セル領域の内部に表示しても良く、その場合には四隅の位置決めマークを選出した後、これら四隅の位置決めマークとの位置関係を基に選出すると良い。例えば、四隅の位置決めマークの位置から正方格子を想定し、想定された位置のマークを位置決めマークとして選出すると良い。

上記において、位置決めマークが選出された後、当該位置決めマークの位置に基づいて、格子状に配列するセルの位置を算出すると良い。セルの位置算出に際して、四隅の位置決めマーク間を結ぶ線分をセル数に等分し、等分する点同士をセル領域の対辺で結ぶことで格子を推定すると良い。これにより、この格子をセルの境界として、各セルの位置を算出することができる。
また、セルの位置が算出された後、当該セル位置と対比することで、検出されたデータマークが属するセルを特定すると良い。通常、上記の方法で算出されるセル位置は、画像面内の歪み等の影響によりずれが生じるが、検出されたデータマークとの距離が近いセルを選択すると良い。これにより、検出された全てのマークに対して、セルを特定することができる。

上記において、データマークが属するセルを特定することで、当該セルはマークセルと見なせる。画像検出のプロセスで全てのデータマークを検出する場合、データマークが検出されないセルを空白セルと見なすことで、全てのセルの表示が明らかになる。
もしくは、全てのデータマークを検出しない場合、データマークが検出されたセルの位置を基に他のセルの位置を算出し、当該位置で表示を判定すると良い。この場合も、正しく判定がなされることで、全てのセルの表示が明らかになる。

位置決めマーク等の画像パターン検出に際して、各画素が持つ色成分に対応した複数の階調（画素値）を用いて新たに画素値を算出し、その画素値を基に解析を行うと良い。例えば、１つの画素が保持する複数の画素値から最大のものを選択して新たな画素値とし、１つの画素が１つの画素値を持つようにすると良い。
上記において算出された画素値を基に、画像データからセルを含む画像領域を抽出すると良い。また、算出された画素値を基に位置決めマークを検出しても良く、当該検出位置を用いてセル位置を算出すると良い。
セル位置を特定した後では、カラー画像データを、色成分プレーンごとに解析することでセル表示を復元すると良い。その際、各色成分での解析に、算出された上記セル位置を利用すると良い。

上記において、複数の色成分による画素値を統合した後で画像パターンを検出することの効果は以下に挙げられる。
複数の色成分を重ねた色彩（黒色等）で表示された位置決めマークに対して、条件の変動等により画像の乱れが大きい場合でも、マーク領域と周囲の空白領域のコントラストが得られ、確実に検出することができる。この効果は、カラー２次元コードにおいて、他の画像と識別しやすいため顕著に表れる。
また、画像パターン検出に必要となる計算負荷を低下させることができる。すなわち、セル位置を特定するにあたり、カラー画像データに対して色成分ごとの複数の画素値を予め統合することで、モノクロ画像データの解析と同様、一つの画像データに対して画像パターン検出のプロセスを行えば良く、解析に掛かる負荷は低減される。

画素値の算出としては、各画素における複数の画素値から最大のものを選択して新たな画素値とする方法が好適である。この場合、データマーク等の特定の色成分しか持たないマークも大きい値を取るため、コントラストが得られやすい。そのため、例えば、これらのマークのコントラストを基に、画像データからセルを含む画像領域を抽出する際に信頼性が得られる。
もしくは、複数の画素値から平均を求めて新たな画素値としても良い。このように各色成分の平均を画素値とすると、複数の色成分を重ねた色彩（例えば、シアン、マゼンタ、イエローの色成分を重ねた黒色）で表示された位置決めマークは高い画素値を持つこととなる。これにより、位置決めマークを確実に検出することが可能となる。

生成する画像データのデータ形式は、特殊なフォーマットである必要はなく、平面状に配列した画素の位置と、それらの画素が保持する画素値とを備えものであれば良い。
上記において、各色成分の画素値から新たな画素値を算出する際に、これらの画素値による新たな画像データを生成し、当該画像データを解析することが好ましい。また、これとは別の方法として、画素値を算出しながらこの画素値を参照して、上記の解析を行っても良い。この場合、新たに画像データを生成する必要がない。
上記画像データの生成とは、元の画像データ全体に対して行う場合に限らず、その一部を抽出した、セルを含む画像領域に対して行うものであっても良い。

上記において、抽出される画像領域は、画像データにおける複数のセルが含まれた部分の領域であり、より好ましくは、全てのセルが含まれた領域であると良い。全てのセルが含まれる場合には、この画像領域に、セルの配列によるセル領域全体が含まれる。
データマークや位置決めマーク検出のための解析は、抽出された画像領域の範囲を指定して、当該範囲に対してだけ行うと良い。例えば、四角形の画像領域の範囲として、角の４点（縦方向の始点、縦方向の終点、横方向の始点、横方向の終点）の位置を指定し、この範囲を解析すると良い。
この方法の他、抽出された画像領域を切り出して、別ファイルによる新たな画像データを生成し、当該画像データに対して解析を行っても良い。

位置決めマークの検出（照合・判定や、走査等）は、抽出された画像領域対してのみ行えば良く、これにより解析を行う範囲が限定されるため、画像解析に掛かる計算負荷を抑制することができる。その際、データマークと位置決めマークを同じ画像パターンとし、これらを同一のプロセスを通して同時に検出しても良く、この場合、さらに計算負荷を抑制することができる。
また、抽出されたセルの周囲だけに対して解析を行い、画像データの他の領域に存在する画像を排除することができる。これにより、２次元コード以外の画像の影響による読取エラーを防ぐことができ、高い信頼性が得られる。
すなわち、位置決めマークがデータマークと同じ単純な画像パターンで構成される場合であっても、当該位置決めマークを確実に検出できる。また、画像面内にテキストや写真等の２次元コード以外の情報が表示される場合であっても、当該２次元コードからデジタル情報を確実に復元することができる。

上記において、データマークや位置決めマーク等のマークは周囲を空白領域で囲まれて表示されることが好ましく、この場合、画像領域の抽出は、これらのマーク領域とその周囲の空白領域のコントラストを基に行うと良い。その際、セルの間隔よりも小さい周期で複数の画素値を取得し、これらの画素値のコントラストが高い領域を、所望の画像領域と見なして抽出すると良い。
例えば、想定されるマーク領域の中心点、及びマーク領域間の中間点（空白領域）から画素値を取得し、領域の判定に用いると良い。図２５（全体図）は、セル領域が縦８セル、横８セルの正方格子状に配列した例で、図２５（拡大図）に示すように、マーク領域の中心点の画素と、それら中心点の中間に位置する画素から画素値を取得すると良い。

取得された画素値に対しては、セルの間隔以上の周期による所定の範囲に存在する画素値同士を比較し、これらの画素値の差が大きい場合にコントラストが高い領域であると見なすと良い。例えば、図２５（拡大図）に示すように、２セル×２セルの範囲に存在する画素値を比較し、画素値の最大値と最小値を選んでそれらの差を取ると良い。この場合、最大値と最小値の差が大きい領域は、コントラストが高いと見なすことができる。
上記の画素値の比較は、全てのセルが含まれる領域に対して行われることが好ましく、各範囲の画素値の差（コントラスト）を合わせて、画像領域を抽出するための指標とすると良い。これにより、例えば、上記コントラストの合計が大きい領域を、セルを含む画像領域であるとして抽出すると良い。

上記において、マークが表示されない所定の空白領域において画素値を取得し、画像領域の抽出に利用しても良い。例えば、図２５（全体図）に示すように、セルを含む領域の周囲に存在する空白領域において画素値を取得する。この領域の画素値は小さい値を取ることが想定され、これらの値の合計が小さい場合に、所望の画像領域に適すると見なすことができる。そこで、画像領域の抽出に際して、空白領域の画素値から得られる指標を、上記のコントラストによる指標とともに利用すると良い。

カラー画像データにおいて画像領域を抽出する際には、各画素が持つ色成分に対応した複数の階調（画素値）を用いて新たに画素値を算出し、その画素値を基に解析を行うと良い。例えば、１つの画素が保持する複数の画素値の最大値を求めて新たな画素値とし、各画素が１つの画素値を持つようにすると良い。
この例のように、最大値を画素値として採用すると、カラー２次元コードにおけるカラーのデータマークが大きい画素値を取るため、上記の画像領域が抽出されやすくなる。
また、画像データ中における２次元コードのサイズは、入出力条件によって変動するため、取得する画素間の位置に対して相似の関係を維持したまま、縮小／拡大して画素値を取得すると良い。

解析の対象となる画像データは、多様な入出力機器を介して様々な入出力条件のもとに取得されることで、その度ごとに異なる階調の特性を持つ。このように階調が変動する要因としては、例えば、２次元コードをディスプレイ上に表示する際に出力光量の変動や、用紙等にプリントする際の出力濃度の変動、もしくは、デジタルカメラ等で撮像する際の入力感度の変動、等が考えられる。
また、入出力時の偏り等を原因として、画像データ面内においても階調の特性に変動が存在する。この変動は、２次元コードをデジタルカメラ等により近接して撮像する際に、中央部と端部との間で顕著に発生する。

上記の変動に対応するため、画像データの解析にあたり、画像データにおいて指標を取得して画像を判定する際に利用すると良い。これにより、位置決めマーク等の画像パターン検出において、画像データの階調に変動が存在する場合でも、安定して検出することが可能となる。
上記の指標の取得は、特に、抽出された画像領域において算出することが好ましい。この場合、画像面内に階調の変動が存在しても、この画像領域に適した判定を行うことができる。また、この場合、想定されるマーク以外の画像が含まれないため、より好適な指標が得られる。
すなわち、指標の取得にあたり、対象とする画像領域は画像データ中のセルを含む範囲であると良く、更に好ましくは、全てのセルが含まれた領域であると良い。

対象とする画像領域において、モノクロ２次元コードでは、マーク領域と空白領域の２種類の領域で構成される。また、カラー２次元コードにおいても、複数の色成分を合せて新たな画素値とした画像（例えば、最大のものを新たな画素値とした画像）においては、モノクロ２次元コードと同様、マーク領域と空白領域の２種類の領域で構成される。
上記のように、マーク領域と空白領域で構成される画像において、画素値の頻度分布を取った場合、通常、マーク領域と空白領域に対応して２つのピークを持ち、これらのピークの周囲に分布が広がったものとなる（図１１）。
上記の指標は、画像領域を構成する領域（マーク領域や空白領域）に対応して、複数算出することが好ましい。例えば、マーク領域と空白領域の２種類で構成される場合には、それぞれの領域を表す指標を算出すると良い。この場合、マーク領域に対応する指標は大きい画素値に、空白領域に対応する指標は小さい画素値に対応したものとなる。
各画素が複数の画素値を持つカラー画像データをそのまま扱う場合や、マークが中間調を用いて表される場合等、より多くの領域が存在する画像データでは、上記の指標は領域に応じた数の指標を用意すると良い。例えば、領域数と同数の指標を用意すると良い。

上記の指標は、画像領域を構成する複数の画素に対して、これらの画素が持つ画素値を統計的に処理して取得すると良い。その際、画像領域の全ての画素を対象とすると良い。この処理により、画像領域を構成する各領域（マーク領域や空白領域等）の特徴が得られることが好ましい。
すなわち、上記の指標は、画像領域における画素値の頻度に基づいて算出すると良い。例えば、画像領域中の複数の画素から画素値の頻度分布を求め、これを用いて導出すると良い。好適な例として、頻度分布における頻度のピークでの画素値（図１１の例におけるＭｖ、Ｍｗ）を採用すると良い。これらは、画像データにおける各領域を代表する値であり、これらの値を用いることで正確に画像の判定を行うことができる。
これらのピークは、頻度分布に対する解析により検出すると良い。ただし、ピークが検知できない／存在しない場合には、上記の指標として、画素の取り得る最大値や最小値を用いても良い。

好適な別の例として、画像領域における複数の画素値をいくつかの集合に分類して、各集合からそれぞれ指標を算出すると良い。指標の算出は、予め定めた統計的な計算（平均や標準偏差等）を用いて為されると良い。
その際、画素値の分類は、画像領域を構成する各領域の比率に応じた相対頻度によって為されると良い。例えば、画像領域がマーク領域と空白領域の２つの領域で構成される場合に、想定されるマーク領域と空白領域の比率（例えば、マーク領域：空白領域＝３０：７０）に応じて、画素値が高い画素数３０％の集合と、画素値が低い画素数７０％の集合の、２つの集合に分類すると良い。
また、特定の画素値をしきい値として、しきい値に対する大小で画素値を分類しても良い。例えば、しきい値を０．５として、画素値が０．５以上の集合と、画素値が０．５より小さい集合に分類すると良い。

画像を判定する際には、上記複数の指標を、照合パターンを構成する各領域と対比させると良い。すなわち、照合パターンが複数の領域で構成され、かつ、想定される指標を領域ごとに対比させることで、画像に変動が生じても正確な判定が為される。
例えば、照合パターンがマーク領域と、その周囲の空白領域で構成される場合（図９）に、マーク領域の階調（画素値）が想定される指標よりも大きく、かつ、空白領域の階調（画素値）が想定される別の指標よりも小さい場合に、所望の位置決めマークであるとすれば良い。
照合パターンは、２つの領域で構成される場合が好適であるが、３つ以上の領域で構成されていても良い。この場合、照合パターンを構成する各領域に対して、それぞれ対応する指標が導出されることが好ましい。

以上、本発明の構成要素は、一般に使用されるコンピュータ上で実行されるプログラム、すなわちソフトウェアであることが好ましい。また、専用のハードウェアであっても良く、ソフトウェアとハードウェアの組み合せであっても良い。
プログラムを実行するコンピュータとしては、一般的に普及しているものでよく、パーソナルコンピュータ、ワークステーション、メインフレームなどのコンピュータの他、携帯電話やＰＤＡなどの電子機器に搭載したコンピュータであってもよい。また、このプログラムを実行するために特別に用意されたコンピュータであってもよい。

本発明に係る２次元コード読取プログラムによれば、同一の単純な画像パターンを用いて表示されたデータマークおよび位置決めマークを検出することで、読取時の位置ずれの問題を解決しながら画像データの解析に掛かる計算負荷を抑えることができる。
これにより、モバイル端末のように低速なコンピュータを使用する場合や、サーバーにて多数のプロセスを同時に実行する場合等、十分な計算速度が得られにくい環境においても、コンピュータによる計算時間が少なくて済み、短時間で実行することができる。

また、本発明に係る２次元コード読取プログラムによれば、カラー画像データに関して、前記画素値を統合して画素ごとに新たな画素値を導出することで、色成分ごとに位置決めマーク等の検出を行う必要がなく、モノクロ２次元コード同様の単純な解析で済むため、計算負荷を抑えることができる。
また、画素値の統合により、位置決めマークのコントラストが得られやすく、当該位置決めマークの検出を確実に行うことができる。これにより、デジタル情報を高密度に情報を表示した場合でも、短時間で正確に復元することが可能となる。

また、本発明に係る２次元コード読取プログラムによれば、画像データからセルを含む画像領域を抽出することで、２次元コードの周囲に文字や写真等の多様な画像が混在する場合でも、位置決めマーク等のマークを確実に検出することができる。
その際、当該画像領域の画素から所定の指標を導出して、画像パターン検出の際の判定に利用することで、当該判定を確実に行うことができる。
上記により、入出力における様々な条件の変動に対応して、２次元コードを確実に復元することができる。

本発明を実施するための最良の形態を、以下、実施例１および実施例２を用いて詳細に説明する。その際、実施例１はモノクロ２次元コードを前提として説明する。本発明のより好適な例である、カラー２次元コードに関する説明は実施例２に記述する。

以下、本発明の実施例１について説明する。
本実施例における２次元コードの全体像を図１に示す。セルは記録媒体上に格子状に配列して想定され、本実施例では１２×１２セルに構成した。ただし、セルの数は１２×１２セルから増減してもよい。また、各辺のセル数は、縦と横が等しい正方形の場合に限らず、例えば長方形のものであってもよい。
さらに、本実施例のように、セルに対して正方形のデータマークを表示する場合に限らず、例えば図４に示すように、六角格子状に配列した六角形のセルに対して、円形のデータマークを表示してもよい。この場合、位置決めマークは、六角形のセル領域における各角に配置されるとよい。また、位置決めマークの画像パターンは、データマークと同じ円形とするとよい。

本実施例における２次元コードの拡大図を図２に示す。このように、セルの表示は、データマークを有するマークセル００１とデータマーク有しない空白セル００２からなる。マークセルは、図３に示すように、想定されたセルにおいて、データマークの領域００３（マーク領域）とデータマーク以外の領域００４（空白領域）によって構成される。このとき、データマークは周囲に空隙を設けて印され、周りのデータマークから分離される。
位置決めマーク０１０は、他のデータマークと同じサイズ・同じパターンで構成され、２次元コードの位置の基準として特定の位置に常に表示される。その際、位置決めマークは画像面内の歪みに対応するため複数存在することが望ましく、本実施例では、図１に示すように、セル領域の４隅にそれぞれ配置した。図１では、位置決めマークを表示する領域をセル配列の１つとしてセル領域に設けたが、セル領域の外部（セル配列の外側）に配置してもよい。

上記の２次元コードにおいて、データマークや位置決めマーク以外に、目的が異なる他のマークを表示しても良い。この場合でも、それらの画像パターンは、データマークや位置決めマークと同じ形状および大きさによる同一の画像パターンであることが好ましい。また、それらのマークの表示位置は、データマークや位置決めマークと同様に、配列されたセル上であることが好ましい。
例えば、データマークを判定する際の階調（画素値）の基準として利用する参照マークを表示する場合、当該参照マークの画像パターンは、データマークや位置決めマークと同じ形状および大きさによる同一の画像パターンを用いてセルに表示すると良い。
より好適な表示としては、２次元コードに表示される全てのマークを、データマークと同じ形状および大きさによる同一の画像パターンで構成すると良い。これにより、位置決めマークが同じ画像パターンからなることの利点（情報の高密度化、美しいデザイン、等）を、参照マーク等の他のマークを表示する場合にも得ることができる。

本実施例における２次元コード作成時の概要構成図を図５に示す。本実施例において、２次元コードの作成は、デジタル情報入力部１００、２次元コード生成部２００、２次元コード出力部３００で為される。
デジタル情報入力部１００では、コンピュータ内において、デジタル情報を構成する１と０からなる２進データ列を取得する。２次元コードに表現されるデジタル情報としては、氏名、住所、電話番号などの個人情報や、商品名とそのホームページアドレスなどの広告情報、商品名とその金額、会社名などの契約情報など、様々な内容の情報を含めることができる。
２次元コード生成部２００では、入力された２進データ列から２次元コードの画像データを生成する。実際の手順は、２進データ列を２次元コードに変換するエンコード（エンコード手段）と、当該２次元コードの画像データ生成（画像データ生成手段）、の２ステップからなる。２次元コード生成部２００の詳細については後述する。
２次元コード出力部３００では、画像データとしてコンピュータ内に保持された２次元コード画像を、用紙等の記録媒体上に出力したり、ディスプレイ等の表示装置上に表示したりする。２次元コード出力部３００の詳細についても後述する。

以下、２次元コード生成部２００を構成するエンコード手段２１０、および、画像データ生成手段２２０について記述する。
エンコード手段２１０では、入力手段１１０から得られるデータ列を基に、２次元コードにおける各セルの表示を決定する。本実施例では、前記データ列の各桁を、「１」をマークセル、「０」を空白セルとして、２次元的に配置したセルに割り当てた。その際、入力手段１１０で入力されたデータ列を所定の規則に基づいて変換し、変換後のデータ列をセルに割り当ててもよい。
データ列のセルへの割り当ては、予め定めた規則に基づいて行われる。本実施例においては、データ列の１桁目から順に、セルの配列の行ごとに左上から右下へと割り当てた。
画像データ生成手段２２０では、エンコード手段で定めたセルの表示から、実際に出力装置から出力するための画像データを生成する。その際、画像データ中のセルは複数の画素によって構成される。本実施例におけるセルと、当該セル上に表示されたデータマークの画像の例を図６に示した。図６に示されるように、本実施例において、画像データは各画素が２５６階調の画素値を持つものを用いた。この画像データにおいて、各画素の値は明るさを意味し、濃度の高い（暗い）黒色は「０」に、濃度の低い（明るい）白色は「２５５」に表される。

２次元コード出力部３００では、上記の画像データを、既知の出力装置を用いて出力する。本実施例において、記録装置としてインクジェットプリンター（６００ｄｐｉモード）を用いた。同時に、表示装置として液晶ディスプレイ（１６０ｄｐｉ）を用いた。これらにより、マーク領域を黒色に、周囲の空白領域を白色に表示した。記録装置としては、印刷機を用いて印刷してもよく、また電子写真方式のプリンターを用いてもよい。
このとき、マーク領域は、黒以外の色彩を用いてカラーで表示してもよい。また、マーク領域と空白領域の色を反転して、マーク領域を白色に、空白領域を黒色に表示してもよい。さらに、マーク領域の出力において、中間階調を用いて、セルの表示に対して複数種類の階調を用意してもよい。

マーク領域を中間階調で表現する場合、例えば、上記のデータマークあり（１００％）とデータマークなし（０％）の他、中間階調（例えば、６６％や３３％等）を持つことができる。この場合には、データ列の複数の桁を１つのセルに対応させて表示を割り当てると良い。例えば、２進データ列の２桁ぶんを１つのセルに対応させて、００を０％階調、０１を３３％階調、１０を６６％階調、１１を１００％階調として、データマークの表示を出力すると良い。
その際、階調は各出力装置に設けられた既知の方法によって形成すればよい。例えば、記録装置の場合には、インク（またはトナー）の出力による記録媒体上の面積階調によって形成する。また、表示装置の場合には、画像を構成する複数の発光体の発光割合によって形成すると良い。

本実施例における２次元コード読取時の概要構成図を図７に示す。本実施例において、２次元コードの読取は、２次元コード入力部４００、２次元コード読取部５００、デジタル情報出力部６００で為される。
２次元コード入力部４００では、記録媒体等に表示された２次元コードの画像を光学的に取得して、当該２次元コードの画像データをコンピュータに入力する。画像の取得には既知の装置を用いることができ、本実施例では、カメラ付き携帯電話に付属したデジタルカメラ（５０万画素）、および、フラットヘッドスキャナ（６００ｄｐｉ）を用いた。
２次元コード読取部５００では、入力された画像データをコンピュータにより解析して、２次元コードに表されたデジタル情報を読み取る。２次元コード読取部５００の詳細については後述する。
デジタル情報出力部６００では、画像データの読み取りによって得られたデジタル情報を出力する。デジタル情報の出力には既知の方法を用い、読み取った内容をデータベースに記述することでコンピュータ内に保存したり、ディスプレイに表示したり、等に利用する。これにより、コンピュータ内に個人情報を登録することや、商品広告の内容をディスプレイ上に表示すること、また、商品の売買契約を結ぶことなどに使用する。

以下、２次元コード読取部５００の手段構成について記述する。２次元コード読取部５００の基本構成は、図７に示すように、画像領域抽出手段５１０、画像パターン検出指標取得手段５２０、画像パターン検出手段５３０、セル配置再現手段５４０、セル判定指標取得手段５５０、セル判定手段５６０、デコード手段５７０で構成される。
画像領域抽出手段５１０では、入力手段４１０から入力された画像データから、セルを含む画像領域を抽出する。
画像パターン検出指標取得手段５２０では、画像パターン検出手段５３０で画像パターンを検出する際に参照する指標（画像パターン検出指標）を取得する。
画像パターン検出手段５３０では、画像領域抽出手段５１０で抽出された画像領域において、セル上に表示された画像パターンを検出する。当該画像パターンの検出は、データマークと同じ形状および大きさからなる全てのマークを対象とし、データマークの他、位置決めマークや参照マークの画像を検出する。
セル配置再現手段５４０では、画像パターン検出手段５３０によって取得された複数の画像パターン検出位置の中から、位置決めマークの検出位置を選出する。その後、選出された位置決めマークの位置を基に格子状に想定されたセルの位置を算出し、画像パターン検出手段で検出された画像パターンが属するセルを明らかにする。
セル判定指標取得手段５５０では、セル判定手段５６０でセル表示を判定する際に利用する指標（セル判定指標）を取得する。
セル判定手段５６０では、まず、上記複数の画像パターン検出位置を用いることにより、精確なセルの位置を求める。その後、その位置でセルの表示を判定する。
デコード手段５７０では、明らかになったセルの表示を、予め定められた規則に基づいて、「１」と「０」からなる２進データ列に復元する。これにより、セルの配列がデコードされ、２次元コードに表現されたデジタル情報が復元される。
２次元コード読取部５００を構成するこれらの手段（５１０〜５７０）は、コンピュータに用意された実行プログラムにより、コンピュータ上で実現される。

２次元コード入力部４００において、２次元コード全体の画像を含む画像データが取得される。この画像データでは、各画素は濃度に応じた階調値（画素値）を持つ。本実施例では、画素値は２５６階調であって、この場合、各画素は濃度に応じて０〜２５５の値をとり、白色領域の画素は「２５５」に近い値を、黒色領域の画素は「０」に近い値をとる。ただし、階調の刻みは２５６階調に限らず、例えば１０２４階調であってもよい。
本実施例における画像データとして、２次元コード読取後の画像データの一部であるマークセルの画像を図８に示す。この例が示すように、入出力時に発生するノイズ等の影響を受け、画素値は出力前の画像データからの変動を持つ。すなわち、画素の階調として完全な黒色（０）や完全な白色（２５５）にはならず、一般に、マーク領域では２０〜1３０程度、空白領域では１００〜２１０程度の画素値を持つ。
画像データの解析に際して、画素値は事前に値を反転してもよい。この場合、上記の例では白色の領域は「０」、黒色の領域は「２５５」に近い値をとることになる。また、画素値は正規化してもよく、この場合、画素値は０〜１の値をとる。本実施例では、画像データを解析するにあたり、画素値（ｄ’）を反転するとともに、さらに、それを正規化したもの（ｄ）を用いた。このとき、画素値（ｄ）は、ｄ＝（２５５−ｄ’）／２５５、により算出され、０（白）〜１．０（黒）の値をとる。

本実施例における２次元コード読取方法では、画像領域抽出手段５１０において、画像データからセルを含む画像領域を抽出する。
本実施例において、画像領域の抽出は、データマークや位置決めマーク等におけるマーク領域と、それらの周囲の空白領域とのコントラストに基づいて行われる。これにより、全てのセルが含まれる領域を抽出した。
上記コントラストは、図２５に示すように、想定されるマーク領域の中心点、及びマーク領域間の中間点（空白領域）の周期で画素値を取得して評価した。その際、想定されるセルにおける２×２セルの領域に含まれる上記画素値の集合（２×２セルの領域に１６点存在）から、最大の画素値と最小の画素値との間で差を取った。この差を、２次元コード全体（８×８セル）を構成する、全ての上記２×２セルの領域（２次元コード全体で１６領域存在）から取得し、その平均（Ｍｃ）が最も大きいものを、コントラストが高い画像領域であるとした。
その際、図２５において、画像データ中における２次元コードのサイズは、入出力条件等により変動するため、取得する画素間の位置に対して相似の関係を維持したまま、縮小／拡大して画素値を取得すると良い。
本実施例では、同時に、図２５（全体図）に示すように、セルを含む領域の周囲に存在する空白領域において画素値の平均（Ｍｓ）を取り、これも画像領域を抽出に利用した。本実施例においては、上記マーク領域とその周囲の空白領域のコントラストに基づく指標Ｍｃと、画像領域の周囲における画素値の指標Ｍｓを用いて、「Ｍｃ−Ｍｓ」が最も大きい領域を所望の画像領域であると見なして抽出した。

画像パターン検出指標取得手段５２０では、画像データ中の複数の画素から画素値の頻度分布を求め、この頻度分布を基に指標（画像パターン検出指標）を算出した。本実施例では、頻度分布を算出する対象は、画像領域抽出手段５１０で抽出された画像領域とした。その際、画像領域における全ての画素を対象として上記の頻度分布を算出した。
本実施例における画素値の頻度分布の例を、図１１に示す。
図１１において、頻度分布の横軸である画素値に刻みを設け、この刻みの幅に入る個数の和を取って頻度とした。本実施例では、この幅を０．０２とし、例えば、画素値０．５０〜０．５２に含まれる個数の合計を、画素値０．５の頻度とした。

図１１に示されるように、画素値の頻度分布には、通常、マーク領域と空白領域に対応して２つのピークが存在するとともに、これらのピークを頂点として周囲に分布が広がっている。本実施例では、上記の指標として、これらのピークにおける画素値を採用した。すなわち、大きい方の画素値をマーク領域の指標Ｍｍ、小さい方の画素値を空白領域の指標Ｍｖ、とした。これらのピークの検知は、上記の頻度分布に対して、多次曲線をフィッティングすることで行った。これにより、この多次曲線の２つの変曲点に対応する画素値を指標として求めた。
また、これらのピークの中間点を境界として頻度分布を２つの集合に分類し、各集合から指標を算出した。すなわち、画素値が大きい集合に対して標準偏差を求め、マーク領域の指標Ｓｍとした。同様に、画素値が小さい集合からは空白領域の指標Ｓｖを取得した。
平均Ｍと標準偏差Ｓの算出には、公知の計算式（数１、数２）を用いた。数１、数２において、ｎは画素数、ｉは画素番号、ｄｉは画素ｉの画素値、Σは各領域における画素の和、を意味する。

本実施例における画像パターン検出手段５３０は、画像領域抽出手段５１０で抽出された画像領域に対し、セルに表示されたデータマークや位置決めマークの画像パターンを検出する。
画像パターン検出手段５３０では、マーク領域とその周囲の空白領域で構成された照合パターン００８を照合しながら画像データを走査する（図９）。照合された画像は判定され、所望の画像パターンとして適合する場合に画素位置が記憶される。この一連のプロセスは、本実施例では、図１０のフローチャートに示した手順により実施した。
照合パターンとしては、５×５画素のセル上に３×３画素のマーク領域を想定したものを用いた（図９）。照合パターンによって照合された画像の判定には、マーク領域および空白領域での画素値の平均（ＤｍおよびＤｖ）を用いた。すなわち、ＤｍとＤｖを判定式に代入し、条件を満たす場合に画像パターンに適合すると見なした。本実施例では、判定式としては数３を用いた。

数３のＲｍとＲｖは予め用意する定数で、本実施例では、Ｒｍ＝Ｒｖ＝５、を用いた。また、Ｍｍ、Ｓｍ、Ｍｖ、Ｓｖは、判定に用いる指標（画像パターン検出指標）で、画像パターン検出指標取得手段５２０により画像データ内の複数の画素から取得する。

本実施例におけるセル配置再現手段５４０は、画像パターン検出手段５３０によって取得された複数の画像パターン検出位置の中から、位置決めマークの検出位置を選出するステップと、選出された位置決めマークの位置からセルの位置を算出し、検出された画像パターンのセルとの対応付けを行うステップ、の２つのステップで構成される。以下、セル配置再現手段５４０におけるこれら２つのステップの詳細について記述する。

最初のステップである位置決めマークの選出は、画像パターン検出手段５３０で取得された複数の検出位置の集合から、最も外側の４隅に配置された画像パターンを選択してなされる。本実施例において、この選択は以下の方法により実施した。
セル領域の４隅に配置された位置決めマークのうち、左上の位置決めマークに対して、この位置決めマークを通る傾き４５度の直線を引くと、他の全ての画像パターンは、この直線の下側に存在する。また、右下の位置決めマークを通る傾き４５度の直線を引くと、他の全ての画像パターンは、この直線の上側に存在する。同様に、右上および左下を通る傾き１３５度の直線を引くと、他の全ての画像パターンは、これらの直線で囲まれた領域に存在する。
このことから、検出された画像パターンに対して、検出位置を通る傾き４５度および１３５度の直線を求め、各直線の切片が最大および最小である計４点の画像パターンを、４隅の位置決めマークとして選出した。
このとき、本実施例で用いた直線の傾き４５度および１３５度は、セル領域が回転していないと想定したものであって、セル領域に回転が生じている場合には、それに応じて傾きを変更してもよい。
また、位置決めマークが、セル領域の４隅以外、例えば辺上や領域内部に配置される場合には、４隅の位置決めマークを選出した後、これらの位置決めマークとの位置関係を基に残りの位置決めマークを選出するとよい。

２つめのステップにおいて、選出された位置決めマークから各セルの位置を算出し、この位置と画像パターンの検出位置を対比する。これにより、検出された画像パターンが、どのセルに属するか、その対応付けを行う。
以下、本実施例において、各セルの位置を算出する方法について記述する。本実施例では、まず、選出された４隅の位置決めマーク間を結ぶ線分を想定し、これらの線分をセル数で等分する。これにより、セル領域の辺上に配置されたセルの位置を算出する。次に、辺上のセルと、当該セルの対辺上に配置されたセルとの間を結ぶ線分を、行および列方向に算出して、セル領域における格子を想定する。想定された格子上の交点の位置をセル位置として、セル領域内における全てのセルの位置を算出する。このとき、算出される位置は、整数となるように、計算で得られた値を四捨五入して端数をまるめる。
検出された画像パターンとの対応づけは、その検出位置との間の距離を計算し、最も距離が短いものを当該画像パターンが属するセルとして選択した。通常、位置決めマークの位置を基に算出されたセル位置は、画像面内の歪み等の影響が考慮されておらず、微小なずれを含んでいる。しかし、位置決めマーク間の距離を所定の範囲に抑えることで、画像が１セル以上歪むことはなく、誤って他のセルに対応付けられることはない。

上記の対応づけによりデータマークが属することが明らかになったセルは、マークセルとして表示が明らかになる。このようにして、全てのデータマークを検出することで、データマークが検出されないセルを空白セルと見なすことができる。この場合、セル配置再現手段５４０によって全てのセルの表示が明らかになり、セル判定手段５６０は実施しなくてよい。
一方、想定される使用条件によっては、画像データに乱れにより全てのデータマークが検出されることは困難である。その場合、画像パターン検出手段５３０では、比較的乱れの少ない画像パターンだけを検出し、その後、セル判定手段５６０において、画像パターン検出位置を基に周囲のセルの位置を精度高く算出して表示を判定する。本実施例では、多様な入出力条件による画像の乱れに対応するため、セル判定手段５６０を利用した。

本実施例におけるセル判定手段５６０は、検出された複数の画像パターンの位置を基にセルの位置を算出するステップと、算出された位置でセルの表示を判定するステップを有する。これらのステップを繰り返し行うことで、全てのセルの表示を明らかにする。この一連のプロセスは、本実施例において、図１２のフローチャートに示した手順に従って実施した。

セルの位置を算出する方法としては、検出された複数のデータマークの位置に対して回帰線を求め、行方向と列方向の回帰線どうしの交点をセル位置として求めた（図１３）。本実施例において、セルは正方格子状に配列しているから、行と列の各軸方向に配置した複数のデータマークに対して直線に回帰した。
この回帰直線を求めるにあたり、本実施例では、セルからの距離で重み付けされた重み付き最小２乗法（数４）を用いた。数４において、ｉはセル番号、Σは軸方向の画素の和、を意味する。また、（Ｘ，Ｙ）は画像データ上の位置座標、ｗｉは重みの係数（数５）、を意味する。数５において、ｎはセルからの距離で、重みの係数ｗｉは、算出されるセルに近いほど重みが大きい。算出された値（Ｘ，Ｙ）は、小数点以下を四捨五入して整数値とした。

セルの表示を判定する方法としては、セルの中心の画素が持つ画素値を、しきい値と比較することで行った。すなわち、この画素値が、しきい値よりも大きい（濃度が高い）場合にはマークセルであるとし、逆に小さい（濃度が低い）場合には空白セルとした。
本実施例において、しきい値は、先に検出されたデータマークや位置決めマークの画像から指標（セル判定指標）を取得して求めた。すなわち、検出された全てのマークセルに対し、マーク領域と空白領域の階調の平均を求め（ＭｍとＭｖ）、これらの中間値（＝（Ｍｍ＋Ｍｖ）／２）をしきい値とした。上記のセル判定指標の取得は、セル判定指標取得手段５５０において行った。
上記のセル判定指標は、所定のセルに表示した参照マークの画像から取得してもよい。参照マークから取得する場合、データマークや位置決めマークと同じパターンからなる画像を所定のセルに表示して、この画像を解析して求める。カラー２次元コードの場合には、複数の色成分の組み合せによる多種類の参照マークを表示しておくとよい。
セルの表示を判定する上記以外の方法として、画像パターン検出手段５３０で使用した照合パターンを用いて画像を照合し、判定式（数３）を満たす場合をマークセル、満たさない場合を空白セルとしてもよい。このとき、画像の判定にあたって、判定条件は画像パターン検出手段５３０ほど厳しくせず、数３のＲｍ、Ｒｖはもっと大きい値（例えば、Ｒｍ＝Ｒｖ＝１２）を用いるとよい。その際、Ｍｍ、Ｓｍ、Ｍｖ、Ｓｖは、上記と同様、先に検出された画像パターンの画像から求めるとよい。

本実施例の２次元コード読取方法で用いた、画像を判定する際の判定式（数３）について詳細を記述する。
数３は、抽出した画像領域から算出した指標Ｍ（Ｍｍ、Ｍｖ）と指標Ｓ（Ｓｍ、Ｓｖ）を用いて、照合パターンで照合された各領域の画素値の平均Ｄ（Ｄｍ、Ｄｖ）から、その画像の適合性を判定する。
その際、各領域の画素値の平均Ｄは、指標Ｍに近い値を持つと考えられる。また、標準偏差として求めた指標Ｓを用いて、階調のばらつきの幅はＲＳと表される（Ｒは許容範囲を定める定数）。これにより、「−１＜（Ｄ−Ｍ）／ＲＳ＜１」を満たす場合に、画素値の平均Ｄを所望の画像として許容した。
各領域に対する許容範囲を組み合せることで、判定式としては数３に表される。数３の適合の範囲を、概念図として図１４に表した。図１４において、マーク領域と空白領域の画素値の平均（ＤｍとＤｖ）が、Ｊ１の範囲である場合にはマークセル、Ｊ０の範囲である場合には空白セルとして判定される。

本実施例において、数３の左辺の値を、画像パターンの適合性の指標として利用した。この指標の値（数３の左辺）は、照合された画像パターンにおいて、マーク領域の画素値の平均Ｄｍが高いほど、空白領域の画素値の平均Ｄｖが低いほど、小さい値をとる。そこで、数３の左辺が小さい値をとる画像を、所望の画像パターンに対する適合性が高いと見なした。
データマークや位置決めマークを検出する際には、同一のマークに対して、画素ずれた位置で重複して数３を満たすものが存在する。そのため、画像パターンの検出にあたり、周囲の複数の画素位置に対して適合性を調べ、それらの中から最も適合性の高い画像を所望の画像として選択した。

判定式としては、数３の代わりに数６を用いてもよい。数６では、数３と同様、各領域の画素値の平均Ｄを代入して式を満たす場合に所望の画像パターンであると見なす。数６の適合の範囲を、概念図として図１５に表した。

画像を検出する際には、画像パターンは３つ以上の領域で構成されていてもよい。図１６において、円形のパターンを対象とする３層で構成された照合パターン０５１の例を示した。画像の判定は、２つの領域で構成された照合パターンを用いる場合と同様、各領域の画素値の平均Ｄを判定式に代入して行う。判定式としては、数６を一般化して得られる数７を用いるとよい。数７において、Ｎは画像パターンを構成する領域の数、ｉは各領域の番号を表す。

以下、本発明の実施例２について説明する。本実施例は、データマークを複数の色成分を用いて重ねて表示するカラー２次元コードに関する。
出力装置としては、印刷装置、インクジェットプリンター、電子写真装置などの記録装置を用いる。これらは、通常、シアン、マゼンタ、イエローのインク（またはトナー）を重ねて出力し、減法混色でカラーを表現する。色成分は、上記の３種類以外のものを使ってもよい。また、出力装置としては、ディスプレイなどの表示装置を用いる。この場合には、通常、レッド、グリーン、ブルーなどの発光体の発光によって加法混色でカラーを表現すると良い。
本実施例において、２次元コードの出力は、カラー用記録装置を用いて、記録媒体である用紙上に記録した。また、カラー用表示装置を用いて、ディスプレイ上に表示した。これらの出力にあたり、本実施例では、インクジェットプリンター（６００ｄｐｉ）、および、液晶ディスプレイ（１６０ｄｐｉ、３２ビットカラー）を用いた。

上記において、データマークはカラーで表示されたカラー２次元コードであって、当該カラーは、出力装置が保持する複数の色成分を組み合せて表現されると良い。その際、色成分プレーンごとに複数の配置を用意して、この配置に基づいてデータマークを重ねて表示すると良い。この場合、各色成分のデータマークはセル上で重ねられ、混色によるカラーで多様に表現される。
カラー２次元コードでは、複数の配置が同じセル領域を共有して表示することで、デジタル情報をより高密度に表示することが可能となる。
デジタル情報を復元する際には、各画素が複数の色成分の階調（画素値）を保持して構成されたカラー画像データを解析する。その際、色成分プレーンごとにセルの表示を復元し、それらの色成分の表示を合せて、表現されたデジタル情報を読み取ると良い。

セルのカラー表示は、出力装置が持つ色成分の組み合せによって、多くの種類を持つことができる。出力装置が記録装置の場合には、例えば、白色の用紙上にシアン、マゼンタ、イエローの画像パターンを重ねて出力することで、黒色、シアン、マゼンタ、イエロー、レッド、グリーン、ブルー、白色の８種類のセルを表現する。また、出力装置が表示装置の場合には、レッド、グリーン、ブルーの発光体による発光を組み合せて、上記の８種類のセルを表現する。セルの表示は、中間階調を用いて表現されてもよく、この場合、さらに多くの種類が表現される。
本実施例におけるカラー２次元コードを図１７に示す。図１７に示されるカラー２次元コードは、図１８に示す表示フォーマットに対して、デジタル情報に基づいて構成されたカラーのデータマークを表示したものである。セルの配列は、本実施例では、８×８セルの正方格子状に配列した。ただし、セルの配列は８×８セルに限らず、表現するデジタル情報の容量に応じて変更することができる。より容量の大きい場合の例として、図１９に１２×１２セルの配列を示した。

記録装置から記録媒体上に出力する場合、セル上に表示されるカラーのデータマークは、記録装置が持つインク（またはトナー）による減法混色の色成分（シアン、マゼンタ、イエロー）を組み合せて出力する。このとき、周囲の空白領域には出力せず、従って用紙の地合の色である白色となる。これにより、マーク領域は空白領域に対してコントラストを設けて表示される。ただし、一般的な記録装置では、減法混色の色成分の他に黒色のインク（またはトナー）を持っており、黒色に対してこれを用いて表示できる。
一方、表示装置上に表示する場合、セル上に表示されるカラーのデータマークは、加法混色の色成分を持つ発光体による発光を組み合せて表示される。このとき、周囲の空白領域は、各色成分の発光体（レッド、グリーン、ブルー）を発光させて白色に表示する。この場合、各色成分において、マーク領域は発光体を発光させずに、空白領域に対してコントラストを設けて表示する。その際、マーク領域は、発光体の補色である減法混色の色成分（シアン、マゼンタ、イエロー）を組み合せて表示される。
ただし、上記とは異なる方法として、空白領域は、発光体を発光させずに黒色に表示してもよい。この場合には、マーク領域は発光体を発光させて、発光体の色成分（レッド、グリーン、ブルー）で表示される。

上記において、位置決めマークの表示には、データマークの表示に使用される全ての色成分を重ねた色彩を用いることが好ましい。この色成分の重なりは、減法混色によるものが好適で、出力装置が色の３原色（シアン、マゼンタ、イエロー）を用いて所謂フルカラーを表現する場合、位置決めマークは黒色で表示されると良い。
ただし、出力装置が加法混色の色成分からなるディスプレイ等の表示装置の場合には、減法混色の場合と同じ色彩として扱えるように、出力装置が持つ色成分の補色を用いながらカラーを表現することが好ましい。これにより、上記と同様、位置決めマークを黒色として表示すると良い。
色成分を重ねた色彩を用いると、位置決めマークのマーク領域は、各色成分プレーンで高い濃度（大きい画素値）を持つことになる。そのため、２次元コード読取の際に、マーク領域と周囲の空白領域とのコントラストが得られ易くなり、画像に乱れが存在する場合でも、位置決めマークを確実に検出することができる。

位置決めマークは、出力装置が持つ全ての色成分を用いて表示し、周囲の空白領域との間にコントラストを設ける。本実施例では、周囲の空白領域を白色とするとともに、位置決めマークを黒色で表示した。記録装置から出力する際には、減法混色の色成分を組み合せて黒色（シアン＋マゼンタ＋イエロー）を出力してもよく、また、黒色のインク（またはトナー）を用いて出力してもよい。本実施例では、位置決めマーク以外の画像パターンを出力する場合も含め、黒色の画像の表示には全て黒色のインク（またはトナー）を用いて出力した。

セル表示を判定する際の指標（セル判定指標）を取得するため、所定のセルに対して、データマークや位置決めマークと同じパターンからなる参照マークを表示した。本実施例において、図２０に示すように、黒色と白色を除く全ての種類、すなわち、シアン、マゼンタ、イエロー、レッド、グリーン、ブルーの６種類の参照マークを表示した。白色に対する指標は、画像データ中の空白領域から取得した。また、黒色に対する指標は、特に取得しなかった。

２次元コードを発行する際には、１と０の配列による２進データ列を分離して、出力装置が持つ色成分に対応した複数のデータ列を取得する。データ列の分離は、色成分ごとに同数程度の配列が振り分けられればよく、本実施例では、出力装置が持つシアン、マゼンタ、イエローに対して、データ列を順に分離して振り分けた。もしくは、最初の１／３の配列をシアンに、次の１／３の配列をマゼンタに、残りの１／３の配列をイエローに、というようにまとめて振り分けてもよい。
分離して得られるデータ列は、モノクロ２次元コードの場合と同じ方法で画像データを生成する。これによって、複数の色成分の組み合せで構成されるカラー表示を、白黒の場合と同じ単純な方法によって生成することができる。
生成された画像データは、出力装置の色成分ごとに重ねて表示する。画像を出力する際には、色成分ごとの画像データを統合して、所定の形式によるカラー画像データを生成するとよい。その際、各画像データに対して、階調の反転や、色変換などの所定の変換を行ってもよい。
上記とは異なる方法として、２進データ列を、セル表示の種類に応じた進数のデータ列に変換し、そのデータ列を基にセルの表示を定めてもよい。すなわち、例えば、セルの８種類の表示（黒色、シアン、マゼンタ、イエロー、レッド、グリーン、ブルー、白色）に合せて、２進データ列を８進データ列に変換し、この８進データ列を、８を「黒色」、７を「シアン」、６を「マゼンタ」、…、０を「白色」と対応付けてセルに表示すると良い。これにより、８進データ列の各桁の数を、各セルでカラー表示を用いて表現する。

カラー画像データは、各画素において色成分の数だけ階調（画素値）が保持され、これらの画素値の組み合せによってカラーが表現される。本実施例において、画像データの色成分は、レッド、グリーン、ブルーの加法混色の色成分で構成される。
これにより、本実施例では、セルのカラー表示を構成するデータマークは、各画素が持つレッド、グリーン、ブルーの色成分を用いて、黒色、シアン、マゼンタ、イエロー、レッド、グリーン、ブルー、白色の８種類を表現される。また、周囲の空白領域は、白色で表示される。
画像パターンの検出の際には、色成分ごとに周囲の領域とのコントラストを指標として画像の判定を行った。そのため、白色の空白領域に対して、減法混色の色成分である、シアン、マゼンタ、イエローのマークを検出した。その際、画像データに対して、階調の反転や、色変換などの所定の変換を事前に行ってもよい。

本実施例における２次元コード作成時の概要構成図を図２１に示す。本実施例の２次元コードの作成は、実施例１と同様、デジタル情報入力部１００、２次元コード生成部２００、２次元コード出力部３００によって構成される。
デジタル情報入力部１００、および、２次元コード出力部３００は、本実施例ではカラー画像を扱う以外、実施例１と同一である。

２次元コード生成部２００では、デジタル情報入力部１００で取得された２進データ列から、２次元コードの画像データを生成する。２次元コード生成部２００は、入力手段１１０の後にデータ列分離手段２３０が、出力手段３１０の前に画像データ統合手段２４０が設けてある以外は、実施例１と同一である。
データ列分離手段２３０は、入力手段１１０から得られる２進データ列を、色成分ごとに分離するものである。これにより、色成分ごとに分離されたデータ列の集まりに対して、実施例１のモノクロ２次元コードと同じ方法を用いて画像データを生成する。
画像データ統合手段２４０は、画像データ生成手段２２０で生成された、色成分ごとの複数の画像データを、カラー画像データとして統合するものである。
これらのステップにより、デジタル情報を構成する２進データ列から、カラー２次元コードを生成する。図２２に、本実施例におけるカラー２次元コード作成の概念図を示す。

本実施例における２次元コード読取時の概要構成図を図２３に示す。本実施例の２次元コードの読取は、実施例１と同様、２次元コード入力部４００、２次元コード読取部５００、デジタル情報出力部６００によって構成される。
２次元コード入力部４００、および、デジタル情報出力部６００は、本実施例ではカラー画像を扱う以外、実施例１と同一である。

２次元コード読取部５００では、２次元コード入力部４００で取得されたカラー画像を解析し、２次元コードに表現されたデジタル情報を得る。２次元コード読取部５００において、セル判定指標取得手段５５０の前に画像データ分離手段５８０を、出力手段６１０の前にデータ列統合手段５８５を、それぞれ設けた。また、画像領域抽出手段５１０の前に画素値統合手段５９０を設けた。これら以外は、実施例１と同一である。

画像データ分離手段５８０は、入力手段４１０で取得されたカラー画像データを、色成分ごとに分離するものである。これにより、各色成分において、それぞれが２５６階調の単色の画像データと同じ構成を持つ。ただし、画像データの分離は概念上のもので、画像データを実際に３つのファイルに分離してから解析してもよいし、実際には分離せずに、１つのカラー画像データに対して色成分ごとに解析してもよい。
画像データ分離手段５８０で画像データを分離した後は、各色成分の画像データに対して、実施例１に記載されたモノクロ２次元コードと同じ方法を用いて解析を行う。
本実施例では、セル判定指標取得手段５５０におけるセル判定指標の取得、および、セル判定手段５６０におけるセル表示の判定は、画像データ分離手段５８０で分離された、各色成分プレーンの画像データに対して行った。
データ列統合手段５８５は、色成分ごとの画像データの解析によって得られる複数のデータ列を統合するものである。この統合は、カラー２次元コードを生成する際に用いたデータ列の分離と同じ規則に従って、分離とは逆の手順を用いて実施する。
上記のプロセスを通して、カラー２次元コードに表現されたデジタル情報を読み取ることができる。図２４に、本実施例におけるカラー２次元コード読取の概念図を示す。

画素値統合手段５９０では、入力手段４１０で取得されたカラー画像データにおいて、各画素が持つ複数の色成分を統合して新たな画素値を導出する。統合して得られた画素値は、位置決めマーク等のマーク検出に利用する
本実施例において、１つの画素が保持する複数の画素値を比較し、最大のものを選択して新たな画素値とした。これにより、１つの画素が１つの画素値を持つ、新たな画像データを生成した。その際、本実施例では、画像データに含まれる全ての画素を対象として統合を行った。
本実施例では、画像領域抽出手段５１０における画像領域抽出、および、画像パターン検出指標取得手段５２０における画像パターン検出指標の取得、画像パターン検出手段５３０における位置決めマーク等のマークの検出は、画素値統合手段５９０で新たに生成された上記画像データに対して行った。

本実施例におけるその他の事柄の説明は、実施例１と同一であるため省略する。

以上のように、本発明に係る２次元コード読取プログラムは、文字情報、数値情報、画像情報、音声情報、暗号情報、コンピュータ上の命令コードなどのデジタル情報を、用紙などのシート状記録媒体や電子部品などの固形物表面に記録するとともに、カメラやスキャナなどの撮像装置から取得して復元するのに適している。また、表示装置上に表示するとともに、撮像装置から取得して情報を復元することによる装置間でのデジタル情報の受け渡しに適している。
特に、本発明の２次元コード読取プログラムでは、２次元コードに表現された大容量のデジタル情報を、固有の特性を持つ多様な入出力装置を介して、様々な条件の変動の影響を受けることなく扱うことに適している。そのため、ネットワークを介して送受信されるデジタル情報を入出力する際の使用に適している。
これにより、時間的および地理的な条件に縛られることなく、様々な場面において情報をやり取りすることができ、我々の周囲に存在する様々な種類の情報を簡便・快適に取り扱うことを可能にする。
また、本発明の２次元コードは、均質で美しいデザインを有しており、様々なユーザに着目されやすく、シンボリックな役割を担うことができる。これにより、多様な場面で、多くの人の目に付きやすい、様々な種類の情報を表現することを目的としたメディア上に表示されることに適している。

実施例１における２次元コード全体を示した図である。 実施例１における２次元コードの一部を示した図である。 実施例１におけるマークセルを示した図である。 六角形のセルからなる２次元コードを示した図である。 実施例１における２次元コード作成の概要構成図である。 ２次元コード作成時の画像データを画素単位で示した図である。 実施例１における２次元コード読取の概要構成図である。 ２次元コード読取時の画像データを画素単位で示した図である。 画像データから画像パターンを検出する様子を示した図である。 画像パターンを検出する際のフローチャートである。 画像領域における画素値の頻度分布を示した図である。 セルを判定する際のフローチャートである。 回帰線の交点からセルの位置を算出する様子を示した図である。 判定式（数３）による判定の領域を示した図である。 判定式（数６）による判定の領域を示した図である。 ３層で構成された照合パターンを示した図である。 実施例２におけるカラー２次元コードを表した図である。 カラー２次元コードの表示フォーマットを表した図である。 実施例２におけるカラー２次元コードを表した図である。 セル上に表示された参照マークを示した図である。 カラー２次元コード作成の概要構成図である。 カラー２次元コード生成を示した模式図である。 カラー２次元コード読取の概要構成図である。 カラー２次元コード読取を示した模式図である。 画像領域を抽出する際に利用する画素を示した図である。

００１…マークセル、００２…空白セル、
００３，００５…データマーク、００４…空白領域、
００６…画素、００７…階調（画素値）、０１０…位置決めマーク、
００８，０５１…照合パターン、００９…データマークのパターン、
０２１，０２２，０２３…カラーのデータマーク
０３０…画素（画像領域の抽出に利用）
０３１…画像領域のマーク領域
０３２…画像領域の周囲の空白領域
０３３…画像領域の拡大図（２×２セルの範囲）
０４２…参照マーク、
０９０…記録媒体上の２次元コード、
１００…デジタル情報入力部、１１０…入力手段、
２００…２次元コード生成部、
２１０…エンコード手段、２２０…画像データ生成手段、
２３０…データ列分離手段、２４０…画像データ統合手段、
３００…２次元コード出力部、３１０…出力手段、
４００…２次元コード入力部、４１０…入力手段、
５００…２次元コード読取部、
５１０…画像領域抽出手段、５２０…画像パターン検出指標取得手段、
５３０…画像パターン検出手段、５４０…セル配置再現手段、
５５０…セル判定指標取得手段、５６０…セル判定手段、
５７０…デコード手段、
５８０…画像データ分離手段、５８５…データ列統合手段、
５９０…画素値統合手段、
６００…デジタル情報出力部、６１０…出力手段、
Ｊ１…マークセルと判定する領域、Ｊ０…マークセルではないと判定する領域、
Ｃ…シアン色のデータマーク、Ｍ…マゼンタ色のデータマーク、
Ｙ…イエロー色のデータマーク、Ｒ…赤色のデータマーク、
Ｇ…緑色のデータマーク、Ｂ…青色のデータマーク、Ｋ…黒色のデータマーク、
Ｃ１…シアンプレーン、Ｍ１…マゼンタプレーン、Ｙ１…イエロープレーン

Claims (3)

1. ２次元的に配置した複数のセルに対して表示されたデータマーク、及び、前記セルに対して固定した位置関係で表示された位置決めマーク、を含む２次元コードから当該２次元コードに表現されたデジタル情報を読み取るプログラムであって、
   前記２次元コードを撮像して取得されたカラー画像データにおいて、当該画像データを構成する１つの画素は複数の色成分を保持しており、当該複数の色成分のそれぞれに対応する複数の階調を前記１つの画素を単位として統合し、当該統合により前記１つの画素に対応する１つの階調を導出すること、
   前記位置決めマークは、前記データマークと同じ形状および大きさの画像パターンからなり、かつ周囲を空白領域に囲まれて表示されており、前記統合により導出された階調を対象として、マーク領域とその周囲の空白領域とで構成された照合パターンを照合しながら走査するプロセスを通して、当該照合におけるマーク領域と空白領域との間のコントラストが大きい画像を前記位置決めマークの画像パターンとして検出すること、
   を特徴とする２次元コード読取プログラム。
2. 前記画像データにおいて複数のセルが含まれる画像領域を抽出するとともに、当該画像領域を構成する画素を前記統合により導出された階調の大きさで分類し、当該分類による一の集合の階調をマーク領域の指標、同じ分類による別の集合の階調を空白領域の指標として、それぞれ取得すること、
   前記画像パターンの検出において、前記照合パターンの照合により得られるマーク領域の階調を前記マーク領域の指標と対比すること、及び、同じ照合パターンの照合により得られる空白領域の階調を前記空白領域の指標と対比することにより、前記照合におけるマーク領域と空白領域との間のコントラストの大きさを判定すること、
   を特徴とする請求項１に記載の２次元コード読取プログラム。
3. 前記位置決めマークは、セルが正方格子状に配列して構成されたセル領域の四隅に対応する位置に表示されており、前記照合パターンを照合しながら走査するプロセスを通して複数の画像が検出されるとともに、それらの複数の検出位置の中から相対的な位置関係が外側に存在する四箇所を、前記位置決めマークとして選出すること、
   選出された前記位置決めマークの位置に基づいてセルの位置を算出し、当該位置のセルに属するデータマークを判定して表示を特定すること、
   を特徴とする請求項１に記載の２次元コード読取プログラム。
   

Images