WO2006041149A1

WO2006041149A1 - 物体、画像データ、画像データ伝送方法、カード、ゲーム用マット、カードゲームシステム、画像解析装置、画像解析方法

Info

Publication number: WO2006041149A1
Application number: PCT/JP2005/018926
Authority: WO
Inventors: Masanori Takano; Hirofumi Okamoto
Original assignee: Sony Computer Entertainment Inc.
Priority date: 2004-10-15
Filing date: 2005-10-14
Publication date: 2006-04-20
Also published as: EP1801735B1; US20090321521A1; KR20060123625A; EP2330536A3; EP2330536A2; EP2330536B1; DE602005026145D1; US7661601B2; US8066195B2; ATE497219T1; KR100858399B1; EP1801735A1; EP1801735A4; US20070181684A1

Abstract

　精度よく認識することのできる２次元コードを提供する。　２次元コードは、複数の方形セル１０６を２次元配置することでコードデータを構成するコードデータ部分１０２と、コードデータ部分１０２を取り囲むように配置される複数のコーナーセル１０４とを備える。このコーナーセル１０４は、方形セル１０６よりも大きな面積を有して構成される。この２次元コードが撮像装置により撮像されると、コーナーセル１０４を大きく認識できるため、２次元コードの読み取り精度を向上できる。

Description

明細書

物体、画像データ、画像データ伝送方法、カード、ゲーム用マット、カードゲームシステム、画像解析装置、画像解析方法

技術分野

[0001] 本発明は、複数のセルを 2次元配置することでコードデータを表現する技術に関する。

背景技術

[0002] 近年、 2次元コードをカメラで撮像してコードデータを認識し、そのコードデータに対応付けられた所定の処理を実行させる技術が普及している。 1次元バーコードと比較すると、 2次元コードの方がコードィ匕できる情報量が多ぐ現在では様々な種類の 2次元コードが登場するようになっている。 2次元コードのコードデータは、画像データから効率よく且つ正確に読み取られる必要がある。このような状況をふまえて、従来、 2 次元コードの画像認識に関する技術を提案するものがある（例えば、特許文献 1参照

) o

特許文献 1 :特開 2000— 82108号公報

発明の開示

発明が解決しょうとする課題

[0003] 画像データの解像度が高ければ、 2次元コードの情報量を多く取得でき、コードデータの高い認識率を実現することができる。し力しながら、カメラによっては解像度の低いものもあり、そのような場合であっても、コードデータの認識率を高めることが好ましい。また、撮像して取得された画像データには、外部の環境光などの影響が含まれているため、取得した画像データを 2値ィ匕する際にその影響を考慮して、 2値化する画素値の範囲を好適に設定することが好ましい。

本発明は、 2次元コードや、カードなどの物体を、精度よく認識することのできる技術を提供することを目的とする。

課題を解決するための手段

[0004] 上記課題を解決するために、本発明のある態様は、複数の方形セルを 2次元配置することでコードデータを構成するコードデータ部分と、コードデータ部分を取り囲むように配置される複数のコーナーセルとを備え、コーナーセルは方形セルよりも大きな面積を有する物体を提供する。この物体はカードなどの 2次元的なオブジェクトであってもよぐまた 3次元オブジェクトであってもよい。また、方形セルおよびコーナーセルは、物体上に印刷されていてもよぐまた刻印されていてもよい。これらのセルは、撮像装置により撮像されることが可能な状態で存在すればよい。

[0005] 本発明の別の態様は、複数の方形セルを 2次元配置することでコードデータを構成するコードデータ部分と、コードデータ部分を取り囲むように配置された複数のコーナ一セルとを備え、コーナーセルは丸い形状を有する物体を提供する。この物体は力ードなどの 2次元的なオブジェクトであってもよぐまた 3次元オブジェクトであってもよい。また、方形セルおよびコーナーセルは、物体上に印刷されていてもよぐまた刻印されていてもよい。これらのセルは、撮像装置により撮像されることが可能な状態で存在すればよい。

[0006] 本発明のさらに別の態様は、 2次元コードを表示装置に表示させるためのデータフォーマットにしたがって生成された画像データであって、複数の方形セルを表示装置上の所定の座標位置に表示させるためのデータと、所定の座標位置に表示される複数の方形セルを取り囲む座標位置に複数のコーナーセルを表示させるためのデータとを備え、コーナーセルが方形セルよりも大きく表示されるように、コーナーセルと方形セルのデータが設定されていることを特徴とする画像データを提供する。

[0007] 本発明のさらに別の態様は、 2次元コードを表示装置に表示させるためのデータフォーマットにしたがって生成された画像データであって、複数の方形セルを表示装置上の所定の座標位置に表示させるためのデータと、所定の座標位置に表示される複数の方形セルを取り囲む座標位置に複数のコーナーセルを表示させるためのデータとを備え、コーナーセルが丸い形状に表示されるように、コーナーセルのデータが設定されて!/ゝることを特徴とする画像データを提供する。

[0008] 本発明のさらに別の態様は、 2次元コードを表示装置に表示させるためのデータフォーマットにしたがって生成された画像データを伝送する方法であって、伝送する画像データが、複数の方形セルを表示装置上の所定の座標位置に表示させるためのデータと、所定の座標位置に表示される複数の方形セルを取り囲む座標位置に複数のコーナーセルを表示させるためのデータとを備え、コーナーセルが方形セルよりも大きく表示されるように、コーナーセルと方形セルのデータが設定されて、ることを特徴とする画像データ伝送方法を提供する。

[0009] 本発明のさらに別の態様は、 2次元コードを表示装置に表示させるためのデータフォーマットにしたがって生成された画像データを伝送する方法であって、伝送する画像データが、複数の方形セルを表示装置上の所定の座標位置に表示させるためのデータと、所定の座標位置に表示される複数の方形セルを取り囲む座標位置に複数のコーナーセルを表示させるためのデータとを備え、コーナーセルが丸い形状に表示されるように、コーナーセルのデータが設定されて、ることを特徴とする画像データ伝送方法を提供する。

[0010] 本発明のさらに別の態様は、所定の形状を有する基準セルと、それぞれを 2次元配置することでコードデータを構成する複数の多辺形セルと、複数の多辺形セルが 2次元配置される領域を取り囲むように配置される複数のコーナーセルとを備え、基準セル、多辺开セル、コーナーセルの少なくとも一つのセルは、他のセルと異なる色を付けられる物体を提供する。この物体はカードなどの 2次元的なオブジェクトであってもよぐまた 3次元オブジェクトであってもよい。また、方形セルおよびコーナーセルは、物体上に印刷されていてもよぐまた刻印されていてもよい。これらのセルは、撮像装置により撮像されることが可能な状態で存在すればよい。

[0011] 本発明のさらに別の態様は、 2次元コードを表示装置に表示させるためのデータフォーマットにしたがって生成された画像データであって、所定の形状を有する基準セルを表示装置上の所定の位置に表示させるためのデータと、基準セルに対して定められる領域の範囲内で複数の多辺形セルを表示させるためのデータと、領域を取り囲む座標位置に複数のコーナーセルを表示させるためのデータとを備え、基準セル、多辺开セル、コーナーセルの少なくとも一つのセルの色が、他のセルの色と異なるように設定されてヽる画像データを提供する。

[0012] 本発明のさらに別の態様は、 2次元コードを表示装置に表示させるためのデータフォーマットにしたがって生成された画像データを伝送する方法であって、伝送する画像データが、所定の形状を有する基準セルを表示装置上の所定の位置に表示させるためのデータと、基準セルに対して定められる領域の範囲内で複数の多辺形セルを表示させるためのデータと、領域を取り囲む座標位置に複数のコーナーセルを表示させるためのデータとを備え、基準セル、多辺形セル、コーナーセルの少なくとも一つのセルの色が、他のセルの色と異なるように設定されてヽる画像データ伝送方法を提供する。

[0013] 本発明のさらに別の態様は、フレーム画像に含まれるオブジェクト画像を認識する画像解析装置に関する。当該オブジェクト画像は、所定の形状を有する基準セルと、基準セルとは異なる色を付けられた複数のコーナーセルとを有して構成される。この態様の画像解析装置は、 RGBの画素値の範囲を設定して、フレーム画像を 2進数のビット表現に変換する 2値化処理部と、フレーム画像の 2値化データから基準セルを検出する第 1検出部と、フレーム画像の 2値化データからコーナーセルを検出する第 2検出部とを備える。 2値化処理部は、基準セル用の RGBの画素値の範囲を設定して、設定した画素値の範囲内にある画素を抽出してフレーム画像の 2値化処理を行い、その 2値ィ匕データをもとに第 1検出部が基準セルを検出する。また 2値化処理部は、コーナーセル用の RGBの画素値の範囲を設定して、設定した画素値の範囲内にある画素を抽出してフレーム画像の 2値ィ匕処理を行、、その 2値ィ匕データをもとに第 2検出部がコーナーセルを検出する。

[0014] 本発明のさらに別の態様は、フレーム画像に含まれるオブジェクト画像を認識する方法に関する。当該オブジェクト画像は、所定の形状を有する基準セルと、基準セルとは異なる色を付けられた複数のコーナーセルとを有して構成される。この態様のォブジェクト認識方法は、基準セル用の RGBの画素値の範囲を設定し、設定した画素値の範囲内にある画素を抽出して、フレーム画像力も基準セルを検出するステップと、コーナーセル用の RGBの画素値の範囲を設定し、設定した画素値の範囲内にある画素を抽出して、フレーム画像力もコーナーセルを検出するステップとを備える。

[0015] 本発明のさらに別の態様の物体は、所定の形状を有する基準セルと、それぞれを 2 次元配置することでコードデータを構成する複数の多辺形セルと、同一形状を有する複数のコーナーセルと、を備える。コーナーセルは、基準セルおよび多辺形セルとは異なる色を付けられる。この物体はカードなどの 2次元的なオブジェクトであってもよぐまた 3次元オブジェクトであってもよい。

[0016] 本発明のさらに別の態様のゲーム用マットは、ゲーム用カードを配置するためのゲーム用マットであって、段階的に明度が変化するグラデーション領域が設けられる。

[0017] 本発明のさらに別の態様は、カードゲームシステムである。このカードゲームシステムは、所定の色をもつセルをもつゲーム用カードと、ゲーム用カードのセルと同一の色相の色により構成され、段階的に明度が変化するグラデーション領域を有するゲーム用マットと、ゲーム用マットと、ゲーム用マット上に置かれるゲーム用カードを撮像してフレーム画像を取得する撮像部と、 RGBの画素値の範囲を設定して、フレーム画像を 2進数のビット表現に変換する 2値化処理部と、フレーム画像の 2値化データにおけるゲーム用マットのグラデーション領域を抽出する抽出部と、グラデーション領域の 2値ィ匕データをもとに、 2値化処理部にお、て 2値ィ匕する際の RGBの画素値の範囲を調整する調整部とを備える。

[0018] 本発明のさらに別の態様は、画像解析装置である。この装置は、所定の色のセルをもつゲーム用カードと、ゲーム用カードのセルと同一の色相の色により構成され、段階的に明度が変化するグラデーション領域を有するゲーム用マットとを撮像したフレーム画像を解析する画像解析装置であって、 RGBの画素値の範囲を設定して、フレーム画像を 2進数のビット表現に変換する 2値化処理部と、フレーム画像の 2値化デ一タカもゲーム用マットのグラデーション領域を抽出する抽出部と、グラデーション領域の 2値ィ匕データをもとに、 2値化処理部にお、て 2値ィ匕する際の RGBの画素値の範囲を調整する調整部とを備える。

[0019] 本発明のさらに別の態様は、画像解析方法である。この方法は、所定の色をもつセルをもつゲーム用カードと、ゲーム用カードのセルと同一の色相の色により構成され、段階的に明度が変化するグラデーション領域を有するゲーム用マットとを撮像したフレーム画像を解析する画像解析方法であって、 RGBの画素値の範囲を設定して、フレーム画像を 2進数のビット表現に変換するステップと、フレーム画像の 2値化データにおけるゲーム用マットのグラデーション領域を抽出するステップと、グラデーション領域の 2値化データをもとに、 2値ィ匕する際の RGBの画素値の範囲を調整するステツプとを備える。

[0020] 本発明のさらに別の態様は、プログラムである。このプログラムは、所定の色をもつセルをもつゲーム用カードと、ゲーム用カードのセルと同一の色相の色により構成され段階的に明度が変化するグラデーション領域を有するゲーム用マットとを撮像したフレーム画像を解析させるプログラムであって、コンピュータに、 RGBの画素値の範囲を設定して、フレーム画像を 2進数のビット表現に変換させる機能と、フレーム画像の 2値ィ匕データにおけるゲーム用マットのグラデーション領域を抽出させる機能と、グラデーシヨン領域の 2値化データをもとに、 2値化する際の RGBの画素値の範囲を調整させる機能とをコンピュータに実行させる。

[0021] なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。

発明の効果

[0022] 本発明によると、精度よく認識することのできる 2次元コードを提供することができる

図面の簡単な説明

[0023] [図 1]実施例に力かるゲームシステムの構成を示す図である。

[図 2]ゲームカードの表面に印刷した 2次元コードを示す図である。

[図 3]画像解析装置の構成を示す図である。

[図 4]2次元コードの認識処理の処理手順を示すフローチャートである。

[図 5]基準セルの検出処理を示すフローチャートである。

[図 6]コード部の検出処理を示すフローチャートである。

[図 7]コードデータの検証処理を示すフローチャートである。

[図 8]ゲームカードの表面に印刷した 2次元コードの別の例を示す図である。

[図 9]ゲームカードの表面に印刷した 2次元コードのさらに別の例を示す図である。

[図 10]ゲームカードの表面に印刷した 2次元コードのさらに別の例を示す図である。

[図 11] (a)〜 (c)は、コーナーセルである力否かを判別する方法を説明するための説明図である。 [図 12]ゲームカードの表面に印刷した 2次元コードのさらに別の例を示す図である。

[図 13]ゲーム用カードを配置するためのゲーム用マットを示す図である。

[図 14]グラデーション領域の外観を示す図である。

[図 15]画像解析装置の別の構成を示す図である。

[図 16] (a)〜 (c)は、グラデーション領域として特定されたドーナツ領域を示す図である。

[図 17]実施例における画像データの伝送システムを示す図である。

符号の説明

[0024] 1 · · 'ゲームシステム、 2· · '撮像装置、 4· · 'ゲームカード、 6 · · '出力装置、 7· · ·ディスプレイ、 10 · · '画像処理装置、 20· · '画像解析装置、 30· · 'ゲーム装置、 40· · ·フレーム画像取得部、 42 · · ·実オブジェクト抽出部、 44· · '状態決定部、 50· · · 2値ィ匕処理部、 52· · '基準セル検出部、 54· · 'コード部検出部、 56 · · '検証処理部、 60· · '領域抽出部、 62· · 'RGB調整部、 100· · '基準セル、 102· · 'コードデータ部分、 1 04 · · 'コーナーセル、 106 · · '方形セル、 108 · · '領域、 110· · 'コード部、 200· · '画像データ伝送システム、 201 · · '画像データ生成装置、 202· · '端末装置、 203 · · · 表示装置、 204· · ·送信局。

発明を実施するための最良の形態

[0025] 図 1は、本発明の実施例にカゝかるゲームシステム 1の構成を示す。ゲームシステム 1 は、撮像装置 2、画像処理装置 10および出力装置 6を備える。画像処理装置 10は、画像解析装置 20およびゲーム装置 30を備える。画像解析装置 20およびゲーム装置 30は別装置として構成されてもよいが、一体として構成されてもよい。撮像装置 2 は、 CCD撮像素子または MOS撮像素子など力構成されるビデオカメラであり、例えば 320画素 X 240画素の解像度を有する。撮像装置 2は実空間を所定の周期で撮像して、周期ごとのフレーム画像を生成する。撮像領域 5は撮像装置 2により撮像される範囲であり、撮像装置 2の高さや向きを調整することで、撮像領域 5の位置や大きさが調整される。ゲームプレイヤは、撮像領域 5において、実オブジェクトであるゲームカード 4を指で動かす。ゲームカード 4は、自身を一意に識別するための 2次元コードを有して構成される。 [0026] 出力装置 6は、表示装置であるディスプレイ 7を有する。出力装置 6は、さらにスピー力（図示せず)を有して構成されてもよい。基本的に画像処理装置 10は、撮像装置 2 により撮像されたフレーム画像をディスプレイ 7に表示させ、その際に、ゲームカード 4 上に仮想オブジェクトであるキャラクタを重畳するように表示制御する。プレイヤは、ディスプレイ 7を見ることで、ゲームカード 4が撮像領域 5に入って、るか容易に確認でき、入っていない場合には、ゲームカード 4の位置をずらしたり、また撮像装置 2の向きを調整して、撮像装置 2にゲームカード 4を撮像させるようにする。

[0027] 実施例のゲームアプリケーションでは、プレイヤがゲームカード 4に対して所定の操作を施すことにより、キャラクタを動作させる。このゲームアプリケーションの性質上、プレイヤにゲームカード 4とキャラクタとの一体性を認識させることが好ましぐそのため、キャラクタの画像を、ゲームカード 4に重ね合わせて表示させている。撮像領域 5 内でゲームカード 4をゆっくりと移動させると、キャラクタは、ゲームカード 4の上に乗つた状態を維持しながら、ゲームカード 4の動きに追従して一緒に移動する。

[0028] 以上のキャラクタの動きは、画像処理装置 10により制御される。まず、画像解析装置 20は、撮像装置 2において取得されたフレーム画像から、ゲームカード 4の画像情報を抽出する。さらに、画像解析装置 20は、ゲームカード 4の画像情報から、ゲームカード 4に印刷された 2次元コードを抽出する。このとき、画像解析装置 20は、ゲームカード 4の 2次元コードから、ゲームカード 4の空間における位置情報、方向情報、距離情報などを決定する。

[0029] 後述するが、画像解析装置 20は、フレーム画像中のゲームカード 4の画像における基準セルおよび 4隅のコーナーセルを用いて、撮像装置 2とゲームカード 4との距離やゲームカード 4の向きなどを計算して求める。これにより、キャラクタは、ゲーム力ード 4上にて前方を向くように表示制御される。また、 2次元コードにおける複数の方形セルの配列から、ゲームカード 4のコードデータを取得する。

[0030] 図 1では、ゲームカード 4が台 3に単に置かれている状態を示している力ゲーム力ード 4は、例えば台 3に対して斜めに傾けられたり、また台 3よりも上に持ち上げられたりしてもよい。画像解析装置 20は、ゲームカード 4が傾斜された状態、または、台 3からの高さを変化された状態を画像解析により認識する機能をもつ。画像解析装置 20 において画像解析された結果は、ゲーム装置 30に送られる。なお、撮像装置 2において撮像されたフレーム画像力ゲーム装置 30に送られて、ゲーム装置 30側で画像解析を行ってもよい。この場合、画像処理装置 10は、ゲーム装置 30のみで構成されることになる。

[0031] ゲーム装置 30は、画像解析装置 20における画像解析結果をもとに、ディスプレイ 7 の表示画面上で、キャラクタをゲームカード 4の上に位置するように表示制御する。キャラクタは、ゲームカード 4から抽出したコードデータに対応付けられて、ゲームシーンごとに適宜割り当てられてもよい。この場合、ゲームシーンが切り替わると、表示されるキャラクタち切り替わること〖こなる。

[0032] 図 2は、ゲームカードの表面に印刷した 2次元コードを示す。ゲームカード 4の表面には、複数の所定形状をもつ多角形セルが所定の配列規則にしたがって 2次元的に配置されている。具体的に、ゲームカード 4の 2次元コードは、撮像装置 2により撮像された画像データ力もゲームカード 4の認識処理を行うための基準となる基準セル 10 0、複数の方形セル 106を 2次元配置することでコードデータを構成するコードデータ部分 102、コードデータ部分 102を取り囲むように配置される複数のコーナーセル 10 4a、 104b, 104c, 104d (以下、総称する場合は、「コーナーセル 104」と呼ぶ）を備えている。コードデータ部分 102およびコーナーセル 104は、 2次元コードにおけるコード部 110に存在している。

[0033] 基準セル 100、方形セル 106およびコーナーセル 104は、それぞれ所定の形状を有して構成される。図 2に示す 2次元コードでは、各セルが黒色に塗りつぶされて存在している。図 2において、領域 108は、複数の方形セル 106が連結して構成されたものであり、他の方形セル 106とともにコードデータを構成している。方形セル 106は、同一の形状、ここでは正方形の形状をもつ。実施例のゲームカード 4が複数存在する場合に、基準セル 100およびコーナーセル 104の配置および大きさは共通とされ、コードデータ部分 102における方形セル 106の配列により、ゲームカード 4を一意に特定することができる。

[0034] 以下に、本実施例における 2次元コードの詳細を説明する。正方形状の方形セル 1 06の 1辺を 1ブロックとすると、基準セル 100は、 7ブロック分の横方向の長辺と 1. 5 ブロック分の縦方向の短辺で形成される長方形状のセル（エレメント）として構成される。実施例において、縦 1ブロックと横 1ブロックで形成される正方形状の領域をプロック領域と呼ぶ。

[0035] コードデータ部分 102は、 7ブロック X 7ブロックで囲まれる領域に形成される。この領域の一辺は、基準セル 100の長辺に平行であり且つ長辺から 1ブロック離れた位置に配置される。図示のように、コード部 110は、 8ブロック X 8ブロックで囲まれる領域であり、コードデータ部分 102は、コード部 110が形成される領域に含まれる。実際に方形セル 106が配置される領域は、 7ブロック X 7ブロックで囲まれる領域の 4隅における 2ブロック X 2ブロックの領域を除いた部分とする。すなわち、 4隅の 2ブロック X 2ブロックの領域には方形セル 106を配置させないこととし、したがって、（7 X 7— 2 X 2 X 4) = 33のブロック領域に方形セル 106が配置されて、コードデータを構成する。

[0036] コーナーセル 104aは、コード部 110の左上隅の領域に配置される。この左上隅の領域は、コードデータ部分 102として 7ブロック X 7ブロックで囲まれる領域の左上隅の 2ブロック X 2ブロックの領域の範囲内であってよぐまたその範囲内からはみ出してもよい。図示の例では、コーナーセル 104aが、コードデータ部分 102における左上隅の 2ブロック X 2ブロックの領域から縦に 0. 5ブロック分、横に 0. 5ブロック分だけはみ出して配置されている。すなわち、コーナーセル 104aは、コード部 110において 2. 5ブロック X 2. 5ブロックで囲まれる左上隅の領域に存在している。同様に、コーナーセル 104bはコード部 110の右上隅の領域に配置され、コーナーセル 104cはコード部 110の右下隅の領域に配置され、コーナーセル 104dはコード部 110の左下隅の領域に配置される。図示の例では、各コーナーセル 104は方形に形成され、具体的には 1辺を 1. 5ブロック分の長さとする正方形のセルとして形成されている。

[0037] コードデータ部分 102は、 1ブロック領域を 1ビットとすると、合計で 33ビット分の情報をコード化することができる。この 33ビット中、 9ビット分は、コードデータ力正しいコードデータであることを確かめるためのチェックデータを構成する。従って、コードデータ部分 102には、 24ビット分の情報がコード化されている。

[0038] 方形セル 106は、コードデータを表現する重要なエレメントであり、画像解析装置 2 0において正確に画像認識される必要がある。そのためには、全ての方形セル 106 を大きく形成することが理想的であるが、当然のことながらゲームカード 4の大きさには制約があり、方形セル 106を大きくすることは、それだけコードデータ部分 102を構成する方形セル 106の数を減じる結果となる。これは情報のビット数を減らすことに相当し、好ましくない。

[0039] 以上のことから、本実施例において、コーナーセル 104は、方形セル 106よりも大きな面積を有して構成される。後述するが、本実施例の画像解析装置 20において、 4 隅のコーナーセル 104は、コードデータ部分 102を検出するために利用される。逆に言えば、 4隅のコーナーセル 104を検出できなければ、方形セル 106を検出することもできないため、この 2次元コードでは、方形セル 106よりもコーナーセル 104をまず確実に認識する必要がある。 4隅のコーナーセル 104を方形セル 106よりも大きく形成することで、 4隅のコーナーセル 104の認識率を高めることができる。

[0040] 画像解析装置 20は、フレーム画像中の基準セル 100の候補を抽出して所定の基準を満たすものを基準セル 100として仮定し、その仮定した基準セル 100の近傍に 4 つのコーナーセル 104が存在して!/、るか否かを判定する。 4つのコーナーセル 104 を認識すると、画像解析装置 20は、 4つのコーナーセル 104により囲まれた領域、すなわちコードデータ部分 102における方形セル 106の配置を読み取り、コードデータを取得する。これにより、仮定した基準セル 100が真の基準セル 100であったことが判断され、ゲームカード 4を認識することができる。画像解析装置 20は、撮像装置 2 を基準 (原点）とするゲームカード 4の仮想 3次元座標系における位置と方向を計算して求める。

[0041] 図 3は、画像解析装置の構成を示す。画像解析装置 20は、フレーム画像取得部 4 0、実オブジェクト抽出部 42および状態決定部 44を備える。実オブジェクト抽出部 42 は、 2値化処理部 50、基準セル検出部 52、コード部検出部 54、検証処理部 56を備える。本実施例における画像解析装置 20の処理機能は、 CPU、メモリ、メモリにロードされたプログラムなどによって実現され、ここではそれらの連携によって実現される構成を描いている。プログラムは、画像解析装置 20に内蔵されていてもよぐまた記録媒体に格納された形態で外部力供給されるものであってもよ、。したがつてこれらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによつていろいろな形で実現できることは、当業者に理解されるところである。図示の例では、画像解析装置 20の CPU力フレーム画像取得部 40、実オブジェクト抽出部 42 、状態決定部 44としての機能をもつ。

[0042] フレーム画像取得部 40が、撮像装置 2にて撮像された実空間のフレーム画像を取得する。撮像装置 2は、周期的にフレーム画像を取得し、好適には 1Z60秒間隔でフレーム画像を生成する。

[0043] 実オブジェクト抽出部 42は、フレーム画像力実オブジェクト画像、すなわちゲームカード 4の画像を抽出する。具体的に、 2値化処理部 50がフレーム画像を 2進数のビット表現に変換して、フレーム画像の情報をビットのオンとオフで表現する。基準セル検出部 52は、フレーム画像の 2値化データから、基準セル 100を検出する。基準セル 100を検出すると、コード部検出部 54力基準セル 100の位置をもとにコード部 11 0を検出し、検証処理部 56が、コード部 110に含まれるコードデータの検証処理を行

[0044] 状態決定部 44は、設定した座標系における実オブジェクトの状態を決定し、具体的には、ゲームカード 4の位置、方向および撮像装置 2からの距離を決定する。状態決定部 44において決定された位置情報、方向情報、距離情報は、 2次元コードから取得されたコードデータにそれぞれ関連付けされて、ゲーム装置 30に送られる。なお、複数のゲームカード 4が撮像領域 5に存在する場合には、それぞれのゲーム力ード 4ごとに、位置情報、方向情報、距離情報、コードデータが関連付けされてゲーム装置 30に送られる。また、ゲームシステム 1では、撮像装置 2により撮像されたフレーム画像をディスプレイ 7に表示させるため、フレーム画像自体もゲーム装置 30に送られる。ゲーム装置 30は、コードデータに対応付けられたキャラクタを読み出し、 3次元の仮想空間にお、てゲームカード 4とキャラクタとを重畳させて表示させる。

[0045] 図 4は、 2次元コードの認識処理の処理手順を示すフローチャートである。 2次元コ一ドが撮像装置 2により撮像され、その結果得られた 1フレーム分の画像データ力フレーム画像取得部 40により取得される。 2値化処理部 50は、画像データに対して 2 値化処理を行う（S10)。 2値化処理では、所定の閾値より大きい輝度を保持する画素の画素値が" 0〃に符号ィ匕され、表示上、その画素は白色とされる。以下においては、このように、画素値が" ΟΊこ符号化された画素を、白色画素と称する。一方、閾値以下の輝度値を保持する画素の画素値は、 "1Ίこ符号化され、表示上、その画素は黒色とされる。以下においては、このように、画素値力 'ΐΊこ符号ィ匕された画素を、黒色画素と称する。 2値化処理部 50は、黒色画素が連続して存在する領域を 1つの連結領域としてまとめ、抽出された複数の黒色画素連結領域に対して、番号を 1から順に昇順で設定 (ラベリング)する（S 12)。例えば、ラベリングの番号は、連結領域として抽出した順すなわち特定した順に設定されてもよい。番号は、その座標データとともに RAM (図示せず）に記憶させる。図 2に示す 2次元コードを利用すると、コーナーセル 104が方形セル 106よりも大きく表示されているため、コーナーセル 104を黒色画素連結領域として検出できる確率および座標位置の精度を高くすることができる。

[0046] 基準セル検出部 52は、今回対象とする画像データより前に実行された 2次元コード認識処理において、認識された 2次元コードの表示上の位置、例えば、基準セル 10 0の中央点力 RAMに記憶されているか否かを判定する（S 14)。前フレームにおける基準セル 100の中央点が RAMに記憶されている場合（S14の Y)、記憶されている位置を基準セル検出処理の開始点として設定する（S16)。前の画像フレームにお V、て基準セル 100が検出されて!、る場合、今回の画像フレームにお!/、てちゲーム力ード 4の位置は大きく変化して!/、な!/、ことが多!、ため、前フレームの基準セル 100の中央点を利用することで、今回のフレームにおいて効率的に基準セル 100を検出することが可能となる。一方、 2次元コードの位置が RAMに記憶されていない場合（S1 4の N)、基準セル検出部 52は、ディスプレイ 7の表示上の中心点を基準セル検出処理の開始点に設定する（S18)。開始点を設定した後、基準セル検出部 52は、基準セル 100の検出処理を実行する（S20)。

[0047] 図 5は、基準セルの検出処理を示すフローチャートである。なお、本フローにて示す画素数は撮像装置 2の解像度などに依存し、ここでは理解を容易にするため、一例としての画素数を示すこととする。まず、基準セル検出部 52は、図 4の S12においてラベリングした黒色画素連結領域の総数 Mを読み出し、カウンタの値 jを 1に初期設定する（S 100)。次に、図 4の S 16または S 18において設定した開始点から、ディスプレィ 7の画面上を左回りの渦巻の軌跡に沿って、黒色画素連結領域を探索し、始めに検出した黒色画素連結領域を基準セル候補領域として選択する（S102)。基準セル検出部 52は、選択した基準セル候補領域の縁部分を抽出して、短辺および長辺を決定する（S 104)。

[0048] 基準セル検出部 52は、短辺が所定画素数、例えば 20画素以上の画素で構成されているか否かを判定する（S 106)。短辺は 1. 5ブロック分の長さで構成されているが、短辺が 20画素より少ない画素で構成されている基準セル 100である場合、 1ブロックの長さは、さらに少ない数の画素力も構成されることとなる。そのため、 2次元コードにおける最小の構成要素である方形セル 106の一辺は約 13画素以下となり、撮像装置 2で適切に撮像することはできない。このことより、短辺が 20画素より少ない画素で構成されていると判定された場合 (S 106の N)、 S 102で選択された黒色画素連結領域は、基準セル 100ではないと判断することとし、 S116に進む。

[0049] 短辺が 20画素以上の画素で構成されていると判定された場合（S 106の Y)、基準セル検出部 52は、基準セル候補領域の長辺が所定画素数、例えば 300画素以下の画素で構成されているか否かを判定する（S 108)。例えば、長辺が 300画素より多い画素で構成されている基準セル 100であるとすると、長辺の長さが 7に対して 1の割合で求められる 1ブロックの長さが大きくなり、基準セル 100から、 8. 5ブロック分離れて位置する右下コーナーセル 104cおよび左下コーナーセル 104dが、撮像装置 2 にて撮像されなくなる。このことより、長辺が 300画素より多い画素で構成されていると判定された場合 (S 108の N)、 S 102で選択された黒色画素連結領域は、基準セル 1 00ではな!/ヽと半 IJ断することとし、 S116に進む。

[0050] 長辺が 300画素以下の画素で構成されていると判定された場合（S108の Y)、基準セル検出部 52は、基準セル候補領域の黒色画素の総数が、 20画素以上かつ 15 00画素未満であるか否かを判定する（S 110)。黒色画素の総数が 20画素未満の場合 (S110の N)、短辺が 20画素より少ない画素で構成された場合と同様の問題が発生し、また、 1500画素以上である場合（S110の N)、長辺が 300画素より多い画素で構成された場合と同様の問題が発生する。したがって、これらの場合には、基準セル候補領域が基準セル 100である可能性が小さいと判断することとし、 S116に進む [0051] 基準セル候補領域の黒色画素の総数が 20画素以上かつ 1500画素未満である場合 (S110の Y)、基準セル検出部 52が、基準セル候補領域の方形らしさを判定する (S112) ₀方形らしさは、既述した特許文献 1に記載されるように、基準セル候補領域のモーメントをもとに求められる。方形でないと判定する場合 (S 112の N)、基準セル候補領域が基準セル 100でないと判断することとし、 S116に進む。方形であると判定される場合 (S112の Y)、基準セル検出部 52は、基準セル候補領域を基準セル 1 00として設定し (S114)、基準セル候補領域とされた黒色画素連結領域のラベリング番号を、 RAMに記憶させる。このようにして、基準セル 100を検出することができる。画像データ中に 1枚のゲームカード 4し力含まれて、な、場合、基準セル 100を検出した時点で、基準セルの検出処理を終了する。一方、ゲームカード 4が複数含まれている可能性がある場合には、 S116に進む。

[0052] 基準セル検出部 52は、カウント値 jが基準セル候補領域の総数 Mに等しいか否かを判定する（S116)。カウント値 jが総数 Mに達していない場合（S116の N)、カウント値 jを 1インクリメントして（S118)、 S102のステップに戻る。一方、カウント値 jが総数 Mに達すると（S116の Y)、この基準セル検出処理を終了する。

[0053] 図 4に戻って、 S20の基準セル検出処理において基準セル 100が検出されない場合（S22の N)、ゲームカード 4の存在を確認できないため、 2次元コードの認識処理を終了する。一方、基準セル 100が検出されると（S22の Y)、コード部検出処理が実行される（S24)。

[0054] 図 6は、コード部の検出処理を示すフローチャートである。まず、コード部検出部 54 は、図 5の S114において設定された基準セル 100の総数 Nを読み出し、カウンタの値 kを 1に初期設定する（S200)。なお、 S114において設定した基準セル 100には、設定した順に番号をふっているものとする。続いて、図 4の S12においてラベリングした黒色画素連結領域の総数 Mを読み出し、カウンタの値 jを 1に初期設定する（S20 2)。コード部検出部 54は、カウント値 jに対応する番号の黒色画素連結領域を検出し、それを左下隅のコーナーセル候補領域として選択する（S204)。

[0055] 次に、コード部検出部 54は、選択した左下隅コーナーセル候補領域力図 4の S2 0において検出してカウント値 kに対応する番号の基準セル 100に対して予め設定された探索範囲内に存在する力否かを判定する（S206)。基準セル 100と左下隅のコーナーセル 104dとの位置関係は図 2に示すように予め定められているため、基準セル 100の座標データから、左下隅コーナーセルを探索する範囲を絞ることが可能である。なお、基準セル 100は横長の矩形状を有するため、長辺側を挟んで対向する 2 つの位置に探索範囲を設定することが可能となる。探索範囲内に存在しない場合 (S 206の N)、その黒色画素連結領域は左下コーナーセル 104dではないと判断され、 S232に進む。探索範囲内に存在する場合 (S206の Y)、その黒色画素連結領域を左下コーナーセル 104dとして設定する（S208)。

[0056] 左下コーナーセル 104を設定した後、コード部検出部 54は、黒色画素連結領域の番号をカウントする他のカウンタの値 1を 1に初期設定する（S210)。コード部検出部 5

4は、カウント値 1に対応する番号の黒色画素連結領域を検出し、それを右下隅のコーナーセル候補領域として選択する（S 212)。

[0057] 次に、コード部検出部 54は、 S208で設定した左下コーナーセル 104dの画素数（面積)と、 S212で選択した右下コーナーセル候補領域の画素数 (面積)の比を算出し、その比（面積比）が例えば 1Z6以上または 6倍以下であるか否かを判定する（S2 14)。コーナーセル 104は撮像装置 2からの距離に応じて取得される画素数が変化する。具体的に、撮像装置 2に近ければ大きい面積を有し、離れれば面積は小さくなる。そのため、コーナーセル同士であっても画像データ中の面積は異なるケースが想定される。しかしながら、例えば左下コーナーセルと右下コーナーセルの比が 1Z6より小さく、または 6倍よりも大きくなるようなケース（S214の N)は通常想定しえないため、これらは一つの 2次元コードにおけるコーナーセルであるとみなすことはできず、 S226に進む。

[0058] 面積比が例えば 1Z6以上、 6倍以下である場合 (S214の Y)、コード部検出部 54 は、左下コーナーセル 104dの中心点と、 S212で選択した右下コーナーセル候補領域の中心点の距離が所定の条件を満たすか否かを判定する (S216)。ここで所定の条件とは、中心点同士の距離が例えば基準セル 100の長辺の長さに近似していることであってもよい。所定の条件が成立しなければ（S216の N)、 S226にすすみ、所定の条件が成立すると（S216の Y)、コード部検出部 54は、その黒色画素連結領域を右下コーナーセル 104cとして設定する（S218)。

[0059] 以上のように左下コーナーセル 104d、右下コーナーセル 104cを設定すると、コード部検出部 54力設定した基準セル 100、左下コーナーセル 104d、右下コーナーセル 104cを、ディスプレイ 7の画面上の X軸方向および Y軸方向にァフィン変換する (S220)。なお、 1ブロックの長さは、 S20で設定した基準セル 100の長辺または短辺の長さに基づいて算出される。コード部検出部 54は、ァフィン変換して得られた画像から、コード部 110の領域に含まれる黒色画素連結領域をセルとしてマッピングし、コードマップを生成する（S222)。

[0060] コード部検出部 54は、生成したコードマップのセルのうち、 4隅のコーナーセル 104 を検出し、その周りの 3ブロック領域が、白色画素とされている力否かを判定する（S2 24)。コーナーセル 104の周囲の 3ブロック領域が白色画素で構成されて!、る場合（ S224の Y)、そのコードマップを 2次元コードのコード部 110と設定して（S230)、 S2 36に進む。コーナーセル 104の周囲の 3ブロック領域が白色画素でない場合、 S22 6に進む。

[0061] S226では、カウント値 1が黒色画素連結領域の総数 Mに等しいか否かを判定し、力ゥント値 1が Mに等しければ（S226の Y)、 S232に進み、等しくなければ（S226の Ν) 、カウント値 1を 1インクリメントして（S228)、 S212に戻る。

[0062] S232では、カウント値 jが黒色画素連結領域の総数 Mに等しいか否かを判定し、力ゥント値 jが Mに等しければ（S232の Y)、 S236に進み、等しくなければ（S232の Ν) 、カウント値 jを 1インクリメントして（S234)、 S204に戻る。

[0063] S236では、カウント値 kが設定した基準セル 100の総数 Nに等しいか否かを判定し、カウント値 kが Nに等しくなければ（S236の N)、カウント値 kを 1インクリメントして（S 238)、 S202に戻る。これにより、画像データにおいて複数の 2次元コードを探索することが可能となる。カウント値 kが Nに等しくなると（S236の Y)、以上により、コード部 110の検出処理が終了する。

[0064] 図 4に戻って、 S24のコード部検出処理においてコード部 110が検出されない場合

(S26の N)、 2次元コードの存在を確認できないため、 2次元コードの認識処理を終了する。一方、コード部 110が検出されると（S26の Y)、コードデータの検証処理が実行される（S28)。

[0065] 図 7は、コードデータの検証処理を示すフローチャートである。既述したように、 33 ビットのコードデータ中、所定のアルゴリズムで生成された 9ビットのチェックデータと、 24ビットの情報データとが存在し、この処理ではチェックデータを用いて、コードデータを検証する。以下では、所定のアルゴリズムで生成したチェックデータを、そのアルゴリズムに基づいてコードデータ力チェックデータを生成して照合することで、コードデータを検証する処理を行う。

[0066] まず、検証処理部 56は、後のステップである S304、 S308で算出される基準値を、 1ビット右方向にシフトする回数をカウントするカウンタの値 pを 1に初期設定する（S3 00)。次に、検証処理部 56は、コード部 110のコードマップから、コードデータおよびチェックデータの値を算出する（S302)。

[0067] 検証処理部 56は、算出したコードデータの値（ビットストリーム）と、 OxFFFFFFとの排他的論理和演算を行ヽ (S304)、その結果得られた値 (ビットストリーム)を基準値 ( 基準ビットストリーム）とする。基準ビットストリームの LSB(Least Significant Bit)に" 1 "が立って、るか否かを判定し（S306)、〃1"が立って!/、な!/、と判定した場合（S306の N )、検証処理部 56は、基準値 (基準ビットストリーム）と、 0x8408との排他的論理和演算を行、 (S308)、その結果得られた値 (ビットストリーム)を新たな基準値 (基準ビットストリーム）とし、 S310に進む。 LSBに" 1"力たって!/、る場合（S306の Y)、同様に S3 10に進む。

[0068] 検証処理部 56は、 S304または S308において算出した基準値 (基準ビットストリーム）を 1ビットだけ右にシフトさせ (S310)、カウント値 ρ力予め定めたシフト回数である 24に等し!/、か否かを判定する（S312)。 p = 24ではな!/、と判定した場合（S312の N)、カウント値 pを 1だけインクリメントした後（S314)、 S306に戻る。

[0069] p = 24であると判定した場合（S312の Y)、算出されたビットストリームと、 OxlFFとの論理積演算を行う（S316)。検証処理部 56は、論理積演算より得られ値が、算出したチヱックデータの値と等しいか否かを判定し (S318)、等しいと判定した場合 (S3 18の Y)、図 4の S24で検出されたコード部 110力 2次元コードとして適正なパターンであるとし、 2次元コードのコード部 110を確定する（S320)。チェックコードと等しくなければ（S318の N)、コード部 110の読み取りに誤りがあったことを判定して、コードデータの検証処理を終了する。なお、図 7では 1つのコード部 110の検証処理のみを示している力複数のコード部 110が検出されている場合は、それぞれについてこの検証処理を実行する。

[0070] 図 4に戻って、 S28のコードデータ検出処理においてコード部 110が確定されない場合（S30の N)、 2次元コードの存在を確認できないため、 2次元コードの認識処理を終了する。一方、コード部 110が確定されると（S30の Y)、コードデータの値、すなわち、 2次元コードの値を、例えば RAMに記憶させ、保持し（S32)、 2次元コードの認識処理を終了する。

[0071] 以下に、 3次元座標系におけるゲームカード 4の位置および方向の求め方について説明する。ゲームカード 4の仮想 3次元座標系の位置および方向を求めるために、本実施例では、撮像装置 2の画角、スクリーン解像度、 4つのコーナーセル 104のスクリーン座標位置、実際のコーナーセル 104間の距離を利用する。なお、スクリーンとは、撮像装置 2により撮像された画像を表示するディスプレイ 7の画面である。

[0072] (ステップ 1)

まず、視点力もスクリーン投影面までの距離を求める。ここでは、カメラの画角とスクリーン解像度により、視点力もスクリーン投影面までの距離を求める。

カメラの水平方向の画角： 0

スクリーンの水平方向の解像度: W

視点からスクリーン投影面までの距離: P

とすると、以下の計算式が成り立つ。

P= (WX 0. 5) /tan ( θ Χ Ο. 5)

[0073] (ステップ 2)

次に、視点から各コーナーセル 104に伸びる 3次元ベクトルを求める。

コーナーセルのスクリーン座標位置： SX、 SY

視点からスクリーン投影面までの距離: P

コーナーセルへ伸びる 3次元ベクトル： V とすると、以下の計算式が成り立つ。

V= (SX, SY, P)

なお、スクリーン座標位置は、スクリーンの中央を原点としている。

[0074] (ステップ 3)

視点と、隣り合う 2つのコーナーセルの 3点が形成する平面の法線ベクトルを求める。この法線ベクトルは、合計で 4つ生成される。

視点からコーナーセル 104aへ伸びる 3次元ベクトル: VI

視点からコーナーセル 104bへ伸びる 3次元ベクトル: V2

視点からコーナーセル 104cへ伸びる 3次元ベクトル: V3

視点からコーナーセル 104dへ伸びる 3次元ベクトル: V4

視点とコーナーセル 104a、 104bが形成する平面の法線ベクトル： S12 視点とコーナーセル 104b、 104cが形成する平面の法線ベクトル： S23 視点とコーナーセル 104c、 104dが形成する平面の法線ベクトル： S34 視点とコーナーセル 104d、 104aが形成する平面の法線ベクトル： S41 とすると、以下の計算式が成り立つ。

S12=V1 XV2

S23=V2 XV3

S34=V3 XV4

S41 =V4 XV1

なお、「X」は、外積を指す。

[0075] (ステップ 4)

続いて、ゲームカード 4の 3次元上での方向（座標軸）を求める。ステップ 3で求めた 4つの法線ベクトルをもとに、カードの座標軸が求まる。

カードのローカル座標 X軸 (カード表面に対して左右方向）： VX

カードのローカル座標 γ軸 (カード表面に対して貫く方向）： VY

カードのローカル座標 Z軸 (カード表面に対して上下方向）： VZ

とすると、以下の計算式が成り立つ。

VX=S12 X S34 VZ = S23 X S41

VY=VZ XVX

[0076] (ステップ 5)

最後に、ゲームカード 4の 3次元上での位置を求める。ステップ 4では、ゲームカード 4のローカル座標変換マトリクスを求めた力現実のコーナーセル間の距離が分かれば、カードの位置は容易に求められる。コーナーセル 104aの 3次元座標位置を変数として表現すると、その変数を使ってコーナーセル 104b、 104c, 104dの 3次元座標位置を表すことができる。 4つのコーナーセルのスクリーン座標位置は判明しているため、これらの計算式の連立方程式を解くことで、ゲームカード 4の 3次元座標位置を特定できる。

[0077] 以上の実施例に示したように、図 2に示す 2次元コードを利用することで、コード部 1 10におけるコーナーセル 104の認識率を高めることができるとともに、 2次元座標系におけるコーナーセル 104の座標位置を正確に求めることが可能となる。具体的には、コーナーセル 104を大きく形成することで、コーナーセル 104の中心位置を正確に求めることができるため、ゲームカード 4の位置を正確に特定できる。また、複数のコーナーセル 104の中心位置を正確に求めることで、基準セル 100とコーナーセル 1 04との位置関係を正確に把握して、ァフィン変換の精度を高めることができ、ゲームカード 4の位置やゲームカード 4が向いている方向などを正確に特定できる。

[0078] 図 8は、ゲームカードの表面に印刷した 2次元コードの別の例を示す。ゲームカード 4の表面には、所定の形状を有する基準セル 100およびコード部 110が配置されている。図 2の 2次元コードと比較すると、図 8に示す 2次元コードでは、コードデータ部分 102を取り囲む複数のコーナーセル 104a、 104b, 104c, 104dが円形に形成されている。既述したように、コーナーセル 104の 2次元座標位置は、コーナーセル 10 4の中心点により特定される。コーナーセル 104が丸い形状を有することで、撮像装置 2に対するゲームカード 4の向きによらず、撮像装置 2により撮像されるコーナーセル 104の形状は変化しない。そのため、撮像装置 2に対する向きによって、コーナーセル 104の中心点が変わらず、したがって安定して中心点を取得することが可能となる。これにより、既述したように、ゲームカード 4の位置情報、方向情報、距離情報を正確に求めることが可能となる。なお、方形セル 106を丸く形成してもよい。また、コーナーセル 104を円形にするだけでなぐ図 2に関して説明したように、方形セル 10 6に対して大きく形成することで、コーナーセル 104の座標位置をさらに高精度に求めることが可能となる。

[0079] 図 9は、ゲームカードの表面に印刷した 2次元コードのさらに別の例を示す。ゲームカード 4の表面には、基準セル 100およびコード部 110が配置されている。図 2の 2次元コードと比較すると、図 9に示す 2次元コードでは、所定の形状を有する基準セル 1 00、それぞれ 2次元配置することでコードデータを構成する複数の方形セル 106、コードデータ部分 102の領域を取り囲むように配置される複数のコーナーセル 104の少なくとも 1つのセル力他のセルと異なる色を付けられる。例えば、基準セル 100に赤色、方形セル 106に緑色、コーナーセル 104に青色とそれぞれのセルに異なる色を割り当ててもよい。なお、ここで割り当てる色は、撮像装置 2において取り込んで、所定の輝度閾値を基準として 2値ィ匕できる色であればよぐ必ずしも人間の目に可視であることは要求されない。使用する撮像装置 2の撮像特性が予め分力つている場合は、その特性に合わせてセルを色づけしてもよ、。

[0080] 本実施例の 2次元コードの認識処理では、図 4の S20〖こ示すよう〖こ、まず基準セル 100を検出することが条件となる。 2次元コードの認識処理全体のなかでも、この基準セル検出処理の負荷は高ぐしたがって、画像データ中から基準セル 100を効率的に抽出できることが好ましい。そこで、複数種類のセルのうち、少なくとも基準セル 10 0には、方形セル 106およびコーナーセル 104とは異なる色をつけることが好ましい。

[0081] 撮像装置 2の受光面の前面には RGBのカラーフィルタが配置されており、フレーム画像ごとに、 RGBのそれぞれの画素値が 256階調で表現されたデータとして記録される。この例において、 2値化処理部 50が、 2値化処理するための RGBの画素値の範囲を設定する機能をもつ。基準セル 100が赤色で塗りつぶされている場合、図 4の S 10の 2値化処理において、 2値化処理部 50が、基準セル用の RGBの画素値の範囲を設定する。例えば、 2値化処理部 50は、赤色 (R)の画素値の範囲を 200〜255 、緑色（G)の画素値の範囲を 0〜100、青色（B)の画素値の範囲を 0〜100と設定する。この設定に基づいて、 2値化処理部 50は、この範囲内にある RGBの複合画素を抽出して、その画素値を〃 1Ίこ符号ィ匕する。例えば、 R画素値が 225、 G画素値が 30、 Β画素値が 50となる複合画素の画素値は〃 1Ίこ符号ィ匕され、 2値画像としての色が黒色に設定される。一方、 RGBの画素値力これらの範囲内にない複合画素の画素値は" 0〃に符号ィ匕され、 2値画像としての色が白色に設定される。このように、赤色の画素を画像データ力も抽出することで、図 4の S12において、 2値画像において黒色画素となる連結領域をラベリングすることができる。黒色画素として抽出する画素を画像データにおいて特定の色、ここでは赤色のものに限定することで、抽出するノィズの数を少なくでき、基準セル検出部 52は、フレーム画像の 2値化データから基準セル 100を検出する時間を短縮できる。

[0082] なお、画素値はカラーフィルタ特性の影響を受けるため、カラーフィルタの特性も加味した画素値の範囲設定を行うために、ゲームカード 4を台 3に配置した状態で、基準セル 100の赤色の画素値を調査してもよい。これにより、撮像装置 2において取得される基準セル 100の RGBの画素値を特定することができ、特定した画素値に若干のマージンを与えた範囲で 2値ィ匕処理を行うことで、検出する黒色画素連結領域の数を飛躍的に少なくすることが可能となる。特に、ゲームシステム 1においては、リアルタイムで処理することが好ましいため、基準セル 100を効率的に抽出できることには、大きなメリットがある。

[0083] なお、他の種類のセル、例えばコーナーセル 104、方形セル 106に色づけを施した場合も同様である。コーナーセル 104を青色とする場合、図 4の S10において、 2 値化処理部 50が、コーナーセル用の RGBの画素値の範囲を設定する。例えば、 2 値化処理部 50は、赤色（R)の画素値の範囲を 0〜100、緑色（G)の画素値の範囲を 0〜100、青色（B)の画素値の範囲を 200〜255と設定する。この設定に基づいて、 2値化処理部 50は、この範囲内にある RGBの複合画素を抽出して、その画素値を "1Ίこ符号化する。例えば、 R画素値が 20、 G画素値が 30、 B画素値が 240となる複合画素の画素値は〃1"に符号ィ匕され、 2値画像としての色が黒色に設定される。一方、 RGBの画素値がこれらの範囲内にない複合画素の画素値は" 0〃に符号化され、 2 値画像としての色が白色に設定される。このように、青色の画素を画像データから抽出することで、図 4の S12において、 2値画像において黒色画素となる連結領域をラベリングすることができる。

[0084] このように、青色の強い画像を黒色画像に変換する 2値ィ匕処理を行ってから、 S12 において黒色画素連結領域としてラベリングされたものを、コード部検出部 ₅₄が、図

6のフローに示すコーナーセル候補領域として選択するために利用する。黒色画素として抽出する画素を画像データにおいて特定の色、ここでは青色のものに限定することで、抽出するノイズの数を少なくでき、コード部検出部 54は、フレーム画像の 2 値ィ匕データカゝらコーナーセル 104を検出する時間を短縮できる。方形セル 106を緑色とした場合は、図 4の S10において緑色の強い画像を黒色画像に変換する 2値ィ匕処理を行ってから、 S12において黒色画素連結領域としてラベリングされたものを、図 6の S222のコードマップ生成処理に利用する。 3種類のセルに異なる色づけをした場合、 2値ィ匕処理をする回数が増えることになるが、 2値化処理した後の連結領域を探索する処理量が大幅に低減されるため、全体的な効率ィ匕を実現できる。

[0085] 図 9に示した 2次元コードは、色づけしたセルを有しており、色づけしたセルは、大きく形成されてもよぐまた図 8に示すように、丸く形成されてもよい。

[0086] 図 10は、ゲームカードの表面に印刷した 2次元コードのさらに別の例を示す。ゲームカード 4の表面には、基準セル 100およびコード部 110が配置されている。図 10に示す 2次元コードは、図 9に示した 2次元コードの一つの実施態様である。図 10に示す 2次元コードは、所定の形状を有する基準セル 100、それぞれ 2次元配置することでコードデータを構成する複数の方形セル 106、コードデータ部分 102の領域を取り囲むように配置される複数のコーナーセル 104を備える。 4つのコーナーセル 104a、 104b, 104c, 104dには全て同一の配色がなされる力基準セル 100および方形セル 106とは異なる色を付けられる。

[0087] ゲームカード 4の美観性を向上するために、コーナーセル 104は、ゲームカード 4の側縁まで設けられる。コーナーセル 104はゲームカード 4の 4隅の近くに配置され、また方形セル 106よりも大きく形成されるため、ゲームカード 4の中で、 4つのコーナーセル 104は目立つ存在となる。本来、コーナーセル 104は、方形セル 106の存在位置を特定するために設けられるが、ゲームカード 4として使用される以上は、美観性も重要である。そのためゲームカード 4を縁取る枠縁 107を、コーナーセル 104の位置でコーナーセル 104を取り囲むように内側に折れ曲げてデザイン的に変化をもたせることで、コーナーセル 104に意匠性をもたせることとしている。

[0088] このようにコーナーセル 104をゲームカード 4の側縁に設ける場合、コーナーセル 1 04は、黒色以外の色をつけられることが好ましい。仮に黒色を割り当てた場合、ゲームカード 4を撮像装置 2で撮像して 2値ィ匕処理を施すと、ゲームカード 4の縁部に生じる影も黒色画素として変換されることがあり、黒色画素に変換された 2つのコーナーセル 104が、ゲームカード 4の縁部の影で連結される状況が想定される。 2値化処理により 2つのコーナーセル 104が連結されると、連結した黒色画素から 2つのコーナーセル 104を分離することは難しくなる。そのため、コーナーセル 104に黒色以外の色を割り当て、 2値ィ匕する際の RGBの閾値、すなわち RGBの範囲を適切に設定して 2 値ィ匕処理することで、ゲームカード 4の縁部の影によりコーナーセル 104が連結される事態を回避することが可能となる。このように、コーナーセル 104をゲームカード 4 の側縁まで設けた場合には、影の色以外の色、すなわち黒色以外の色を割り当てることで、コーナーセル 104を適切に抽出することが可能となる。

[0089] また、図 10に示すゲームカード 4においては、コーナーセル 104が三角形状に構成される。この形状は、正三角形であってもよい。コーナーセル 104を正三角形とすることで、コーナーセル 104の認識精度を高めることができる。

[0090] 図 11 (a)〜図 11 (c)は、取得した黒色画素がコーナーセル 104であるか否かを判別する方法を説明するための説明図である。既述したように、コーナーセル 104は、フレーム画像を 2値化したあと、黒色画素の連結領域をもとに判別される。 2値化されたフレーム画像は、 2次元の XY座標上に表現されるため、この連結領域の座標値を利用して、連結領域がコーナーセル 104である力否かを判別することができる。

[0091] 図 11 (a)は、フレーム画像から抽出された連結領域の一例を示す。この連結領域 1 09aは、 X軸方向の幅を H、 Y軸方向の幅を Vとする。なお、この幅は、 2次元座標上の画素数でカウントする。この連結領域 109aの画素数を Cとした場合、この連結領域 109aがコーナーセル 104の候補であるか否かは、以下の式で判別される。 a X H X V ≤ C ≤ j8 Χ Η X V ( α < β < 1)

例えば αは 0. 3、 j8は 0. 7である。連結領域 109aの画素数じェが、上式を満たす場合、この連結領域 109aをコーナーセル 104の候補であると判別してもよい。当然のことながら、定数 a、 j8の値は、他の値に設定してもよい。

[0092] 図 11 (b)は、フレーム画像から抽出された連結領域の別の例を示す。この連結領域 109bがコーナーセル 104の候補であるか否かは、同様に以下の式で判別される。この連結領域 109bの画素数を C、 X軸方向の幅を H、 Y軸方向の幅を Vとする。

2 2 2 a X H X V≤ C ≤ j8 Χ Η X V ( α < β < 1)

2 2 2 2 2

図 11 (a)および図 11 (b)に示す連結領域は、それぞれ判別式を満たしており、コーナーセル 104の候補であると判別された例である。図 11 (a)および図 11 (b)に示されるように、フレーム画像において、ゲームカード 4は様々な角度で撮像領域 5中に配置されている可能性があるが、上記した判別式を利用することで、三角形状のコーナーセル 104を適切に認識することが可能となる。

[0093] 図 11 (c)は、フレーム画像から抽出された連結領域のさらに別の例を示す。この場合、連結領域 109cの画素数 Cは、 a X H (X軸方向の幅） X V (Υ軸方向の幅）より

3 3 3

も小さい。すなわち、

C < a X H X V

3 3 3

の関係が成立する。これは、判別式（a X H X V≤ C ≤ β X H X V

3 3 3 3 3 )を満足するものではないため、図 11 (c)に示す連結領域 109cは、コーナーセル 104ではないことが判別される。

[0094] 以上のように、コーナーセル 104の形状を三角形とすることで、 2次元座標上の座標値を利用して、簡単にコーナーセル 104の候補を抽出することができる。またコーナーセル 104の形状を正三角形とすると、他の三角形状と比較して、上記判別式で判定する際の方向依存性を低減できるため、コーナーセル 104の認識精度をより高めることができる。

なお、図 10に示すゲームカード 4においては、方形セル 106で構成されるコードデータ部分 102を、カード下方のコーナーセル 104c、 104dの間に配置する。これにより、ゲームカード 4の中央部分にスペースを作ることができ、そこにキャラクタの絵などを印刷することが可能となる。 [0095] 図 12は、ゲームカードの表面に印刷した 2次元コードのさらに別の例を示す。図 12 に示すゲームカード 4では、図 10に示すゲームカード 4と同様に、コーナーセル 104 がゲームカード 4の側縁から設けられている。このコーナーセル 104は三角形状に形成され、基準セル 100およびコードデータ部分 102a、 102bとは異なる色を付けられる。

[0096] 図 12に示すゲームカード 4では、方形セル 106を設ける領域が 2つに分離される。

ここでは、 2つのコードデータ部分 102a、 102b力 4つのコーナーセル 104a、 104b 、 104c, 104dより取り囲まれる領域以外の部分に配置される。コードデータ部分 10 2aは、基準セル 100とゲームカード 4の上縁との間に形成され、コードデータ部分 10 2bは、コーナーセル 104cおよび 104dを結んだラインとゲームカード 4の下縁との間に形成される。なお、コーナーセル 104cおよび 104dを結ぶラインとは、カード内向きの三角形頂点同士を結んだラインである。コードデータ部分 102aおよびコードデータ部分 102bを、 4つのコーナーセル 104で囲まれる領域の外に配置することで、ゲームカード 4の中央領域のスペースを広くとることができ、そこにキャラクタの絵などを印刷することが可能となる。コードデータ部分 102aおよび 102bは、それぞれ 12ビットの情報を記録することができ、したがって合計 24ビットの情報量を保持できる。なお、ゲームカード 4の下方に配置されたコードデータ部分 102bは、基準セル 100と誤認識されることを防ぐために、所定のビット長、例えば 3ビット以上連続して着色されな、ようにすることが望まし!/、。

[0097] 図 12の方形セル 106を認識する際には、既に基準セル 100と、左下および右下のコーナーセル 104d、 104cが検出されているため、これらの近傍を探索することで、コードデータ部分 102aおよび 102bを容易に検出することができる。すなわち、コードデータ部分 102aは、基準セル 100に対してコーナーセル 104cおよび 104dの反対側に存在し、コードデータ部分 102bは、コーナーセル 104cおよび 104dに対して基準セル 100の反対側に存在する。基準セル 100とコードデータ部分 102aとを近傍に設定し、またコーナーセル 104cおよび 104dとコードデータ部分 102bとを近傍に設定することで、コードデータ部分 102の探索効率を高めることが可能となる。

[0098] なお、図 12のゲームカード 4においては、コードデータ部分 102aおよび 102bとが 2つに分離した配置を示した力コードデータ部分 102aおよび 102bは、隣接して配置されてもよい。すなわち、コードデータ部分 102aおよび 102bは、基準セル 100とゲームカード 4の上縁の間に配置されてもよぐまたコーナーセル 104dおよび 104c とゲームカード 4の下縁の間に配置されてもよい。

[0099] なお以上は、ゲームカード 4を台 3上で動かしている力台 3にゲーム用マットを置いて、その上でゲームカード 4を動力してもよい。

図 13は、ゲーム用カードを配置するためのゲーム用マットを示す。図 1を参照して、ゲーム用マット 300は、撮像装置 2の撮像領域 5に入るように台 3に置かれる。ゲーム用マット 300は、フェルト生地などの柔らかい素材で作製されて、使用しない間はコンノタトに丸めて収納できることが好ましい。

[0100] ゲーム用マツ卜 300【こ ίま、複数の仕切り線 304【こより、 9つのマス 302a、 302b, 30 2c、 302d、 302e、 302f、 302g、 302h、 302i (以下、総称する場合は、「マス 302」と呼ぶ）が形成されている。ゲーム用マット 300は、ゲームアプリケーションに応じて構成され、それぞれのマス 302は、ゲームカード 4を配置する区画を形成する。 1人以上のユーザがゲームカード 4をいずれかのマス 302に置くと、画像解析装置 20が、配置されたマス 302を特定してゲームカード 4の 2次元コードを認識し、ゲーム装置 30 1S 配置されたマスに応じたゲームストーリーを展開してもよい。図 13に示すゲーム用マット 300では 3 X 3のマス 302が形成されている力マス 302の数は、これに限るものではない。ユーザがゲームカード 4を動力してよい領域を「プレイエリア」と呼ぶと、図 13に示すゲーム用マット 300においては、マス 302が形成された正方形の領域がプレイエリア 306を形成する。ゲーム用マット 300は、その全体が撮像領域 5に入るように配置される必要はないが、少なくともプレイエリア 306は撮像領域 5に入っている必要がある。なお、ゲームカード 4を自由に動かしてもよいゲームアプリケーションにおいては、マス 302は形成されなくてもよい。

[0101] ゲーム用マット 300において、プレイエリア 306の 4隅に、段階的に明度が変化するグラデーション領域 310a、 310b, 310c, 310d (以下、総称する場合は、「グラデーシヨン領域 310」と呼ぶ）が設けられる。色には、色相、明度、彩度の 3つの属性がある力グラデーション領域 310は、一つの色相の明度を変化させることで構成され、彩度については変化させなくてもよい。グラデーション領域 310の外縁は円形であり、グラデーション領域 310の中心から外縁に向力方向に、高明度から低明度に明度が同心円状に段階的に変化している。

[0102] 図 14は、グラデーション領域の外観を示す。グラデーション領域 310は、一つの色相で構成され、その色相において段階的に明度を変化させて構成される。色相は、赤、緑、青といった色合いの違いを表し、明度は明るさの違いを表す。ここではグラデーシヨン領域 310が色相をもち、すなわち有彩色で表現される場合を想定している。なお、白、黒、グレーなどの無彩色には色相は存在していないが、グラデーション領域 310を、白力も黒に明度を段階的に変化して構成することも可能である。グラデーシヨン領域 310における明度の相違は、 RGBフィルタを介してデジタルィ匕される際、輝度の相違として取得される。

[0103] このように、グラデーション領域 310の外縁 312の明度が低ぐ中心 314の明度は高く設定される。すなわち、このグラデーション領域 310は、外側が濃い有彩色の領域をもち、内側が白く構成される。 4つのグラデーション領域 310は、 4つ全てを同色で構成してもよいが、少なくとも 1つの色を変えることでゲーム用マット 300の向きを定めるための指標として利用することができる。例えば、 3つのグラデーション領域 310a 、 310b, 310cを同一の色相で構成し、 1つのグラデーション領域 310dを別の色相で構成してもよい。このとき、 4つのグラデーション領域 310を検出することができれば、グラデーション領域 310a、 310b, 310cに対するグラデーション領域 310dの位置が既知であるため、ゲーム用マット 300の向きを特定することが可能となる。

[0104] また、グラデーション領域 310を検出することができれば、上述した、ゲームカード 4 の仮想 3次元座標系における位置及び方向を求める方法と同様の方法により、ゲーム用マット 300の位置、方向、距離などの幾何情報を算出することができる。予めゲーム用マット 300の位置や方向などを把握しておくことにより、プレイエリア 306に配置されているゲームカード 4を更に効率よく認識することができる。また、図 1において、撮像装置 2により撮像されたフレーム画像をディスプレイ 7に表示させ、ゲームカード 4上にキャラクタを重畳表示させることを説明した力ゲーム用マット 300を使用している場合には、ゲーム用マット 300の幾何情報を取得して、ディスプレイ 7に表示されるフレーム画像におけるゲーム用マット 300上に、例えばゲームカード 4を使った戦闘の背景画像などを重畳表示させてもよい。これにより、ゲームカード 4を効率よく認識するために用いられるゲーム用マット 300をそのままディスプレイ 7に表示するのではなぐ背景画像などを重畳表示させることができるので、演出効果を向上させることができる。

[0105] グラデーション領域 310は、さらに、ゲームカード 4の基準セル 100、コーナーセル 104および/または方形セル 106の画像を 2値ィ匕して抽出する際の RGBの画素値の閾値を決定するために利用される。例えば、コーナーセル 104の色相が緑であり、所定の明度を有して構成されるものとする。このとき、グラデーション領域 310の色相を緑に設定し、グラデーションの一部に、コーナーセル 104と同一の明度をもつ領域を形成する。したがって、コーナーセル 104と同一の明度をもつセル明度領域 316が、グラデーション領域 310の中心 314から外縁 312の間の所定位置に設定される。好適には、セル明度領域 316は、中心 314と外縁 312の中間地点に同心円状に形成される。したがって、グラデーション領域 310の半径方向において、セル明度領域 316と中心 314の間には、セル明度領域 316よりも明度の高い領域が設けられ、またセル明度領域 316と外縁 312の間には、セル明度領域 316よりも明度の低い領域が設けられる。

[0106] コーナーセル 104と、グラデーション領域 310のセル明度領域 316とが、同一色相

(G)で同一の輝度 (階調)をもち、環境光などの影響がない場合には、 Gフィルタを介して取得される G画素値力例えば 127で表現されるものとする。 2値化処理部 50は、 2値化処理するために RGBの画素値の範囲を設定するが、コーナーセル 104の画素値が予め分力つている場合には、理想的には、 2値ィ匕閾値をコーナーセル 104の画素値近傍で設定して、コーナーセル 104よりも画素値の低い (すなわち明度の高い)ものを、できるだけ抽出しないように範囲設定することが好ましい。この場合、理論的には、 2値化処理部 50が、例えば閾値を 120として、 G画素値の範囲を 120〜25 5に設定することで、コーナーセル 104を抽出でき、 G画素値が 120に満たない画像を 2値ィ匕処理により" 0"に変換できる。 2値化処理の際の G画素値の範囲を狭くすることで、他のノイズを低減できる。 [0107] し力しながら、実際の環境下では、照明があったり、また太陽光が入るなどして、撮像装置 2により取得されるコーナーセル 104は、理論値（127)から異なることが多い。なお、「理論値」は、本実施例を説明するために便宜上使用する用語であって、基準となる環境下で画像データ力抽出される画素値を意味する。 2値化するために設定する画素値の範囲は、狭ければ狭いほど、後処理の負荷を低減できるが、一方で、環境光の影響により実際に取得される画素値が理論値とは異なってくるために、 2 値化する画素値の範囲が狭ければ、その範囲力外れる可能性が生じる。そのため、本実施例のゲームシステム 1では、グラデーション領域 310を利用して、 2値化する際の画素値範囲にキャリブレーションを施し、環境光などの影響を加味した現実使用環境下での画素値範囲を設定する。

[0108] 図 15は、画像解析装置の別の構成を示す。画像解析装置 20は、フレーム画像取得部 40および実オブジェクト抽出部 42を備える。実オブジェクト抽出部 42は、 2値ィ匕処理部 50、領域抽出部 60、 RGB調整部 62を備える。図 3に示したブロック図とは異なり、図 15では、 2値ィ匕する際の画素値の範囲をキャリブレーションする構成が示されている。この画像解析装置 20の処理機能は、 CPU、メモリ、メモリにロードされたプログラムなどによって実現され、ここではそれらの連携によって実現される構成を描いている。プログラムは、画像解析装置 20に内蔵されていてもよぐまた記録媒体に格納された形態で外部力も供給されるものであってもよ、。したがってこれらの機能プロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは、当業者に理解されるところである。図示の例では、画像解析装置 20の CPU力フレーム画像取得部 40、実オブジェクト抽出部 42としての機能をもつ。

[0109] フレーム画像取得部 40が、撮像装置 2にて撮像された実空間のフレーム画像を取得する。撮像装置 2は、周期的にフレーム画像を取得し、好適には 1Z60秒間隔でフレーム画像を生成する。撮像領域 5には、ゲーム用マット 300と、ゲーム用マット 30 0上に置かれたゲームカード 4が配置されており、したがってフレーム画像は、ゲーム用マット 300とゲームカード 4を含んでいる。

[0110] 実オブジェクト抽出部 42は、フレーム画像力も実オブジェクト画像を抽出する。ここでは、コーナーセル 104を 2値化する際の RGBの画素値の範囲を調整することを目的とするため、抽出する実オブジェクト画像は、ゲーム用マット 300におけるグラデーシヨン領域 310である。以下では、コーナーセル 104が所定の明度をもった緑色で構成されており、グラデーション領域 310が、その所定の明度を含んだ緑色のグラデーシヨンとして形成されて、る場合にっ、て説明する。

[0111] 2値化処理部 50は、 2値化する RGBの範囲を設定して、フレーム画像を 2進数のビット表現に変換する。具体的に、 2値化処理部 50は、緑色のグラデーションが施されたグラデーション領域 310a、 310b, 310cを抽出するために、 G画素値の範囲を 12 0〜255、 R画素値の範囲を 0〜20、 B画素値の範囲を 0〜20に設定し、この RGBの画素値の範囲内にある RGBの複合画素を抽出する。 RBについて画素値の範囲を 0 としないのは、カラーフィルタの特性などを考慮するためである。 2値化処理部 50は、設定した RGBの画素値の範囲内にある複合画素を抽出して、その画素値を" 1"とする。

[0112] 領域抽出部 60は、フレーム画像の 2値化データから、ゲーム用マット 300のグラデーシヨン領域 310を抽出する。グラデーション領域 310は、中心部分の G画素値が低ぐ外周部分の G画素値が高いグラデーションを形成している。 2値化処理の結果、グラデーション領域 310は、中心部分の複合画素値が 0、外周部分の複合画素値が 1のビット表現に変換され、中心部分が空白となるドーナツ形状となる。そこで、領域抽出部 60は、 2値化されたデータの中からドーナツ形状を検出する。 2値化処理の結果、グラデーション領域 310以外にドーナツ形状に変換される領域は少ないと考えられるため、グラデーション領域 310を円形に形成することは、グラデーション領域 31 0の候補を絞る意味にお、てメリットが高、。

[0113] ここで、 4つのグラデーション領域 310は、正方形の頂点に配置されている。緑色用の 2値化処理および黒色用の 2値化処理の結果、複数のドーナツ領域が検出された場合に、それらのドーナツ領域が正方形の頂点にくる関係となるものを抽出し、それらをグラデーション領域 310として特定する。緑色のグラデーション領域 310a、 310b 、 310cとして特定されたドーナツ領域の形状は、 2値ィ匕閾値のキャリブレーションのために RGB調整部 62に送られる。 [0114] 図 16 (a)〜図 16 (c)は、グラデーション領域として特定されたドーナツ領域を示す。以下では、緑色のグラデーション領域 310a〜310cをもとに、 2値化して同一色のコーナーセル 104を検出する際の G画素値の範囲をキャリブレーションする方法について説明する。 G画素値の 2値ィ匕閾値を 120とし、抽出範囲を 120〜255とする。 RG B調整部 62は、グラデーション領域 310の 2値ィ匕データをもとに、 2値ィ匕処理部 50において 2値ィ匕する際の RGBの画素値の範囲を調整する。

[0115] 図 16 (a)は、内径と外径との比が約 1 : 2、正確には 121 : 256となるドーナツ領域を示す。この場合は、撮像装置 2により取り込んだフレーム画像において環境光の影響がー切なぐグラデーション領域 310が理想的に 2値ィ匕されている。このドーナツ領域において、方形セル 106と同一階調をもつセル明度領域 316は、中心と外縁とを 1 : 1に分割した地点に存在し、ドーナツ領域の黒色部分に含まれている。したがって、 G画素値の閾値を 120に設定することで、コーナーセル 104を好適に抽出することが可能となる。

[0116] 図 16 (b)は、ドーナツ領域の外径に対して内径が非常に小さくなつた状態を示す。

この場合、中心と外縁とを 1 : 1に分割した地点に存在するセル明度領域 316は、ドーナツ領域の黒色部分に含まれているが、その内側の階調の低い領域までもが検出されている。例えば、環境光に緑色光が含まれている場合に、緑色光とグラデーション領域 310の緑色とが重なり合って、検出光の G成分が強くなることがある。このとき、ド一ナツ領域の画素値は、グラデーション領域 310の画素値の理論値よりも強、値で検出され、そのため、 2値ィ匕されて" 1"に符号ィ匕される領域が必要以上に増えることになる。

[0117] したがって、 2値化処理部 50が、 G画素値の範囲を 120〜255に設定してゲーム力ード 4の画像を 2値化すると、コーナーセル 104を抽出することはできるが、コーナーセル 104よりも薄い緑色の領域も同様に抽出することになる。コーナーセル 104の候補が増えると、それだけコーナーセル 104の特定処理に時間が力かるため、コーナ一セル 104の候補が少なくなるように、 2値化する際の画素値の範囲を設定することが好ましい。

[0118] RGB調整部 62は、グラデーション領域 310のグラデーションで表現される階調の分布と、コーナーセル 104と同一の階調が存在する領域の位置を予め保持している。したがって、 RGB調整部 62は、図 16 (b)に示すドーナツ領域の形状を受け取ると、設定した閾値（120)が低力つたことを判定し、閾値を高くする必要があることを決定する。

[0119] 例えば RGB調整部 62は、グラデーション領域 310の階調分布をもとに、ドーナツ領域における中心から内径までの距離 (すなわち、白色領域の半径)から、その地点におけるグラデーション領域 310の G画素値の理論値を求める。その地点の G画素値の理論値は、本来、 120よりも低い G画素値をとる力図 16 (b)に示すドーナツ領域では、その地点の G画素値が 120として検出されている。したがって、 RGB調整部 6 2は、グラデーション領域 310上の G画素値の理論値と、設定された閾値 120との差を、環境光による上昇分として、閾値の上げ量を定めてもよい。例えば、ドーナツ領域における白色領域と黒色領域の境界のグラデーション領域 310上の G画素値の理論値を 60とした場合、設定閾値 120との差は 60となるため、 RGB調整部 62は、 2値化処理における G画素値の閾値を 180として、 2値化処理部 50に供給する。

[0120] 図 16 (c)は、ドーナツ領域の内径が外径の半分よりも大きくなつた状態を示す。この場合、中心と外縁とを 1 : 1に分割した地点に存在するセル明度領域 316は、ドーナッ領域の白色部分に含まれており、したがって、コーナーセル 104と同一階調のセル明度領域 316は、 2値ィ匕処理により" 0"に変換されていることになる。例えば、環境が非常に暗いような場合に、グラデーション領域 310の理論値よりも画素値が低く検出されることがある。

[0121] したがって、 2値化処理部 50が、 G画素値の範囲を 120〜255に設定してゲーム力ード 4を 2値化すると、コーナーセル 104を抽出できないことになる。そのため、 G画素値の抽出範囲を広げて、コーナーセル 104と同一の画素値をもつセル明度領域 316 を抽出できるように、 2値化処理の G画素値の範囲を再設定する必要がある。

[0122] RGB調整部 62は、図 16 (c)に示すドーナツ領域の形状を受け取ると、設定した閾値（120)が高力つたことを判定し、閾値を低くする必要があることを決定する。例えば RGB調整部 62は、グラデーション領域 310の階調分布をもとに、ドーナツ領域における中心から内径までの距離 (すなわち、白色領域の半径)から、その地点におけるグラデーション領域 310の G画素値の理論値を求める。その地点の G画素値の理論値は、本来、 120よりも高い G画素値をとる力図 16 (c)に示すドーナツ領域では、その地点の G画素値が 120として検出されている。したがって、 RGB調整部 62は、ダラデーシヨン領域 310上の G画素値の理論値と、設定された閾値 120との差を、閾値の下げ量に定めてもよい。例えば、ドーナツ領域における白色領域と黒色領域の境界のグラデーション領域 310上の G画素値の理論値を 180とした場合、設定閾値 120との差は 60となるため、 RGB調整部 62は、 2値化処理における G画素値の閾値を 60 として、 2値化処理部 50に供給する。

[0123] 2値化処理部 50は、 RGB調整部 62より調整された画素値の範囲を受け取ると、その範囲をもとにフレーム画像の 2値ィ匕処理を実行する。領域抽出部 60は、 2値化されたデータから、グラデーション領域 310に対応するドーナツ領域を検出して、 RGB調整部 62に供給する。 RGB調整部 62は、ドーナツ領域をもとに、 2値化処理の閾値を調整し、 2値化処理部 50にフィードバックする。以上のキャリブレーション処理は、ド一ナツ領域が、図 16 (a)に示すような状態となるまで実行されてもよい。

[0124] なお、以上は、 2値化する際の G画素値の範囲（閾値)をキャリブレーションする場合について説明した力他の R、 B画素値についても同様である。緑色のグラデーシヨン領域 310a、 310b, 310cの 2値化処理時の RB画素値の閾値を 20にデフォルト設定している力 RGB調整部 62は、必要に応じてこのデフォルト値を調整することが好ましい。

[0125] なお、グラデーション領域 310a、 310b, 310cは、空間的に異なる 3点に存在しており、環境光などの影響により、その位置によって 2値ィ匕処理時の最適な画素値の範囲が異なることも考えられる。外部照明の向きにより、グラデーション領域 310a、 310 bの付近が明るぐグラデーション領域 310cの付近が暗いような場合、グラデーション領域 310cにあわせて、 2値ィ匕する際の閾値を低く設定してもよい。これにより、ゲームカード 4の配置位置にかかわらず、コーナーセル 104を検出することが可能となる。

[0126] し力しながら、グラデーション領域 310a、 310b付近では、 2値ィ匕閾値が低く設定されることで、コーナーセル 104以外の様々な領域を抽出する可能性が高まる。そのため、それぞれのグラデーション領域 310の位置における最適な 2値ィ匕閾値を求め、この 3点の 2値ィ匕閾値から、プレイエリア 306中の任意の位置における 2値ィ匕閾値を導出してもよい。例えば、グラデーション領域 310bにおける 2値ィ匕閾値を Tl、グラデーシヨン領域 310cにおける 2値化閾値を Τ2とした場合、グラデーション領域 310bおよび 310cを結ぶライン上では、 2値ィ匕閾値を T1から T2までリニアに変化させるように設定してもよい。他の任意の位置についても同様であり、 3点の 2値ィ匕閾値からの距離に応じて、それぞれの位置における 2値ィ匕閾値が算出されてもよい。これにより、照明が近い場合など、カードの位置によって照明環境が異なり、撮影されるコード色が大きく異なるような場合であっても、適切にコードを認識することが可能となる。

[0127] 本実施例のキャリブレーション処理は、定期的に行われることが好ましい。なお、環境に変化がない場合には、頻繁にキャリブレーション処理が行われる必要性は高くないため、環境の変化を検知するセンサを別途設け、そのセンサにより環境変化が検知された場合に、キャリブレーション処理が行われるようにしてもよい。なお、環境変ィ匕には、ゲーム用マット 300を動力した場合や、外部照明などの明るさが変わった場合などがある。

[0128] キャリブレーション処理の方法として、グラデーション領域 310の所定位置における実際の画素値と、撮影の結果得られる測定値との差分から、 2値化閾値を補正してもよいし、グラデーション領域 310を 2値ィ匕したときのドーナツ領域の形状が特定の形状になるように、 2値化閾値を補正してもよい。後者の場合、例えば、ドーナツ領域の大小に応じて、 2値ィ匕閾値をインクリメント又はデクリメントし、ドーナツ領域の形状が理論値に近づくように調整してもよい。また、単に 1つの 2値ィ匕閾値をもとに 2値ィ匕するだけでなぐ上限と下限の 2つの閾値を設け、その範囲に入るか否かによって 2値化してもよい。例えば、画素値が 85以上 170以下であれば「0」、それ以外であれば「 1」として 2値ィ匕してもよい。この場合、ある 2値ィ匕閾値の大小によりグラデーション領域 310を 2値化して、グラデーション領域 310の外径を把握してから、上限と下限の 2つの閾値により特定される中間領域のドーナツ領域の実測結果を取得し、その形状が理論値に近づくように上限と下限を補正してもよい。また、上述した例と濃淡が逆転していてもよぐその場合、反転処理をしてから 2値ィ匕を行ってもよい。

[0129] 図 1に示したように、撮像装置 2は斜め上方力もゲーム用マット 300を撮像するので、グラデーション領域 310の形状が真円であったとしても、楕円形として認識される可能性がある。この場合であっても、上述したように、ゲーム用マット 300の位置や方向などを予め把握することが可能であるから、この情報をもとにグラデーション領域 310 の認識結果であるドーナツ領域の形状を、ァフィン変換や相似変換などにより補正してから、上述したキャリブレーション処理を行ってもよ！、。

[0130] また、ゲーム用マット 300が固定的に設置されて力もキャリブレーション処理を行うことが好ましいので、例えば、グラデーション領域 310の認識処理を複数回行って位置が変わらないことを確認してから、または、所定時間をおいて再度認識処理を行って位置が変わらないことを確認してから、キャリブレーション処理を開始してもよい。また、上述したように、ゲーム用マット 300の幾何情報を取得している場合には、ゲーム用マット 300とカードゲーム 4の間の距離を算出することにより、ゲームカード 4がゲーム用マット 300に置かれている（ゲームカード 4とゲーム用マット 300との間の距離がほぼ 0であり、かつ、平行である場合)の力、ユーザの手に持たれた状態にある（ゲームカード 4とゲーム用マット 300との間の距離が離れている力、又は、平行ではない場合)のかを認識することができる。

[0131] 図 17は、実施例における画像データの伝送システムを示す。画像データ伝送システム 200は、画像データを生成する画像データ生成装置 201、画像データを送信する送信局 204、送信された画像データを受信する端末装置 202を有して構成される。端末装置 202は、受信した画像データを表示するための表示装置 203を有する。画像データ伝送システム 200は、無線通信によりデータを伝送しているが、有線通信によりデータを伝送するものであってもよ、。

[0132] 画像データ生成装置 201は、上述した 2次元コード、すなわち図 2、図 8、図 9、図 1 0および図 12に関して説明した 2次元コードの画像データを、端末装置 202の表示装置 203に表示させるためのデータフォーマットにしたがって生成する。画像データ生成装置 201は、図 2に示す 2次元コードの画像データとして、複数の方形セルを表示装置 203上の所定の座標位置に表示させるためのデータと、所定の座標位置に表示される複数の方形セルを取り囲む座標位置に複数のコーナーセルを表示させるためのデータを生成してもよい。画像データ生成装置 201は、表示装置 203上で、コーナーセルが方形セルよりも大きく表示されるように、コーナーセルと方形セルのデータを設定する。

[0133] 画像データ生成装置 201は、図 8に示す 2次元コードの画像データとして、複数の方形セルを表示装置 203上の所定の座標位置に表示させるためのデータと、所定の座標位置に表示される複数の方形セルを取り囲む座標位置に複数のコーナーセルを表示させるためのデータを生成してもよい。画像データ生成装置 201は、コーナーセルが丸、形状に表示されるように、コーナーセルのデータを設定する。

[0134] 画像データ生成装置 201は、図 9に示す 2次元コードの画像データとして、所定の形状を有する基準セルを表示装置上の所定の位置に表示させるためのデータと、基準セルに対して定められる領域の範囲内で複数の多辺形セルを表示させるためのデータと、領域を取り囲む座標位置に複数のコーナーセルを表示させるためのデータを生成してもよい。画像データ生成装置 201は、基準セル、多辺形セル、コーナーセルの少なくとも一つのセルの色が、他のセルの色と異なるように設定する。また画像データ生成装置 201は、図 10、図 12に示す 2次元コードの画像データとして、所定の形状を有する基準セルを表示装置上の所定の位置に表示させるためのデータと、同一形状を有する複数のコーナーセルを表示させるためのデータと、所定の領域に複数のコーナーセルを表示させるためのデータを生成してもよ、。画像データ生成装置 201は、コーナーセルの色を、基準セルおよび多辺形セルとは異なる色に設定する。

[0135] 送信局 204は、画像データ生成装置 201により生成された画像データを、端末装置 202に送信する。画像データは、端末装置 202において解凍可能な形式で圧縮されていることが好ましぐまた端末装置 202におけるブラウザ機能などにより表示されるデータフォーマットで作成されている必要がある。送信局 204は、例えばセルごとの画像データを表示座標位置に対応付けて送信することで、データ送信量を削減することが可能となる。端末装置 202は、表示装置 203上に 2次元コードを表示する。図 1 のゲームシステム 1において、ユーザは、表示装置 203に表示された 2次元コードを、ゲームカード 4の代わりに使用して、撮像装置 2により読み取らせることができる。これにより、ユーザは、ゲームカード 4を有していなくても、画像データを端末装置 202にダウンロードすることで、ゲームシステム 1に参加することができる。

[0136] 以上、本発明を実施例をもとに説明した。この実施例は例示であり、それらの各構成要素や各処理プロセスの組合せに、ろ、ろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

産業上の利用可能性

[0137] 本発明は、 2次元コードを備えるカードなどの物体や、その 2次元コードを認識する装置などに利用することができる。

Claims

請求の範囲

[1] 複数の方形セルを 2次元配置することでコードデータを構成するコードデータ部分と、

コードデータ部分を取り囲むように配置される複数のコーナーセルと、を備え、前記コーナーセルは前記方形セルよりも大きな面積を有することを特徴とする物体

[2] 前記コーナーセルは方形または円形であることを特徴とする請求項 1に記載の物体

[3] 複数の方形セルを 2次元配置することでコードデータを構成するコードデータ部分と、

コードデータ部分を取り囲むように配置された複数のコーナーセルと、を備え、前記コーナーセルは丸い形状を有することを特徴とする物体。

[4] 2次元コードを表示装置に表示させるためのデータフォーマットにしたがって生成された画像データを伝送する方法であって、伝送する前記画像データが、

複数の方形セルを表示装置上の所定の座標位置に表示させるためのデータと、所定の座標位置に表示される複数の方形セルを取り囲む座標位置に複数のコーナーセルを表示させるためのデータとを備え、

前記コーナーセルが前記方形セルよりも大きく表示されるように、前記コーナーセルと前記方形セルのデータが設定されていることを特徴とする画像データ伝送方法。

[5] 2次元コードを表示装置に表示させるためのデータフォーマットにしたがって生成された画像データを伝送する方法であって、伝送する前記画像データが、

前記コーナーセルが丸い形状に表示されるように、前記コーナーセルのデータが設定されて!ゝることを特徴とする画像データ伝送方法。

[6] 所定の形状を有する基準セルと、

それぞれを 2次元配置することでコードデータを構成する複数の多辺形セルと、複数の多辺形セルが 2次元配置される領域を取り囲むように配置される複数のコーナーセノレと、

を備え、

前記基準セル、前記多辺形セル、前記コーナーセルの少なくとも一つのセルは、他のセルと異なる色を付けられることを特徴とする物体。

[7] 前記基準セルは、前記多辺形セルおよび前記コーナーセルとは異なる色をつけられることを特徴とする請求項 6に記載の物体。

[8] 2次元コードを表示装置に表示させるためのデータフォーマットにしたがって生成された画像データを伝送する方法であって、伝送する前記画像データが、

所定の形状を有する基準セルを表示装置上の所定の位置に表示させるためのデータと、

前記基準セルに対して定められる領域の範囲内で複数の多辺形セルを表示させるためのデータと、

前記領域を取り囲む座標位置に複数のコーナーセルを表示させるためのデータとを備え、

前記基準セル、前記多辺形セル、前記コーナーセルの少なくとも一つのセルの色力他のセルの色と異なるように設定されてヽることを特徴とする画像データ伝送方法。

[9] フレーム画像に含まれるオブジェクト画像を認識する画像解析装置であって、当該オブジェクト画像は、所定の形状を有する基準セルと、前記基準セルとは異なる色を付けられた複数のコーナーセルとを有して構成されており、

RGBの画素値の範囲を設定して、フレーム画像を 2進数のビット表現に変換する 2 値化処理部と、

フレーム画像の 2値化データから基準セルを検出する第 1検出部と、

フレーム画像の 2値ィ匕データ力コーナーセルを検出する第 2検出部とを備え、前記 2値化処理部は、前記基準セル用の RGBの画素値の範囲を設定して、設定した画素値の範囲内にある画素を抽出してフレーム画像の 2値化処理を行い、その 2 値ィ匕データをもとに第 1検出部が基準セルを検出し、また前記 2値ィ匕処理部は、前記コーナーセル用の RGBの画素値の範囲を設定して、設定した画素値の範囲内にある画素を抽出してフレーム画像の 2値化処理を行い、その 2値ィ匕データをもとに第 2検出部がコーナーセルを検出することを特徴とする画像解析装置。

[10] フレーム画像に含まれるオブジェクト画像を認識する方法であって、当該オブジェクト画像は、所定の形状を有する基準セルと、前記基準セルとは異なる色を付けられた複数のコーナーセルとを有して構成されており、

前記基準セル用の RGBの画素値の範囲を設定し、設定した画素値の範囲内にある画素を抽出して、前記フレーム画像力も前記基準セルを検出するステップと、前記コーナーセル用の RGBの画素値の範囲を設定し、設定した画素値の範囲内にある画素を抽出して、前記フレーム画像力も前記コーナーセルを検出するステップと、

を備えることを特徴とするオブジェクト認識方法。

[11] コンピュータに、フレーム画像に含まれるオブジェクト画像を認識させるプログラムであって、当該オブジェクトは、所定の形状を有する基準セルと、前記基準セルとは異なる色を付けられた複数のコーナーセルとを有して構成されており、

前記基準セル用の RGBの画素値の範囲を設定させ、設定した画素値の範囲内にある画素を抽出させて、前記フレーム画像力前記基準セルを検出させる機能と、前記コーナーセル用の RGBの画素値の範囲を設定させ、設定した画素値の範囲内にある画素を抽出させて、前記フレーム画像から前記コーナーセルを検出させる機能と、

を実現させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。

[12] 所定の形状を有する基準セルと、

コードデータを構成する複数の多辺形セルと、

同一形状を有する複数のコーナーセルと、

を備え、

前記多辺形セルは、前記複数のコーナーセルより取り囲まれる領域以外の部分に配置されることを特徴とするカード。

[13] 前記コーナーセルは、前記基準セルおよび前記多辺形セルとは異なる色を付けられることを特徴とする請求項 12に記載のカード。

[14] 前記コーナーセルは三角形であることを特徴とする請求項 12または 13に記載の力ード。

[15] 前記コーナーセルは、当該カードの縁部力設けられ、黒色以外の色をつけられることを特徴とする請求項 12から 14のいずれかに記載のカード。

[16] 所定の形状を有する基準セルと、

コードデータを構成する複数の多辺形セルと、

同一形状を有する複数のコーナーセルと、

を備えた矩形状のカードであって、

前記複数のコーナーセルは、当該カードの相対向する第 1縁部および第 2縁部において設けられ、

前記複数の多辺形セルの少なくとも一部は、前記第 1縁部および前記第 2縁部とは異なる第 3縁部の近傍において、当該第 3縁部に沿って設けられることを特徴とするカード。

[17] 前記複数の多辺形セルの一部が、前記第 3縁部に対向する第 4縁部の近傍において、当該第 4縁部に沿って設けられており、前記第 3縁部と前記第 4縁部に設けられた複数の多辺形セルが、 1つの 2次元コードを構成することを特徴とする請求項 16に記載のカード。

[18] 前記複数のコーナーセルにより取り囲まれる領域には、前記多辺形セルおよび前記基準セルが形成されないことを特徴とする請求項 16または 17に記載のカード。

[19] ゲーム用カードを配置するためのゲーム用マットであって、段階的に明度が変化するグラデーション領域が設けられることを特徴とするゲーム用マット。

[20] 前記グラデーション領域は、当該ゲーム用マット上に複数設けられ、

それぞれのグラデーション領域は、同一の色相で構成されることを特徴とする請求項 19に記載のゲーム用マット。

[21] 前記グラデーション領域の外縁は円形であり、グラデーション領域の中心から外縁に向かう方向に、高明度力低明度に明度が同心円状に段階的に変化することを特徴とする請求項 19または 20に記載のゲーム用マット。

[22] 所定の色をもつセルをもつゲーム用カードと、

前記ゲーム用カードのセルと同一の色相の色により構成され、段階的に明度が変化するグラデーション領域を有するゲーム用マットと、

前記ゲーム用マットと、前記ゲーム用マット上に置かれる前記ゲーム用カードを撮像してフレーム画像を取得する撮像部と、

フレーム画像の 2値ィ匕データにおける前記ゲーム用マットのグラデーション領域を抽出する抽出部と、

グラデーション領域の 2値化データをもとに、前記 2値化処理部におヽて 2値化する際の RGBの画素値の範囲を調整する調整部と、

を備えることを特徴とするカードゲームシステム。

[23] 前記グラデーション領域の外縁は円形であり、グラデーション領域の中心から外縁に向かう方向に、高明度力低明度に明度が同心円状に段階的に変化することを特徴とする請求項 22に記載のカードゲームシステム。

[24] 前記グラデーション領域は、前記ゲーム用カードのセルの明度よりも高い明度をもつ領域と、低い明度をもつ領域とを少なくとも含むことを特徴とする請求項 22または 2 3に記載のカードゲームシステム。

[25] 所定の色のセルをもつゲーム用カードと、前記ゲーム用カードのセルと同一の色相の色により構成され、段階的に明度が変化するグラデーション領域を有するゲーム用マットとを撮像したフレーム画像を解析する画像解析装置であって、

フレーム画像の 2値ィ匕データ力前記ゲーム用マットのグラデーション領域を抽出する抽出部と、

グラデーション領域の 2値化データをもとに、前記 2値化処理部におヽて 2値化する際の RGBの画素値の範囲を調整する調整部と、を備えることを特徴とする画像解析装置。

[26] 所定の色をもつセルをもつゲーム用カードと、前記ゲーム用カードのセルと同一の色相の色により構成され、段階的に明度が変化するグラデーション領域を有するゲーム用マットとを撮像したフレーム画像を解析する画像解析方法であって、

RGBの画素値の範囲を設定して、フレーム画像を 2進数のビット表現に変換するステツプと、

フレーム画像の 2値ィ匕データにおける前記ゲーム用マットのグラデーション領域を抽出するステップと、

グラデーション領域の 2値化データをもとに、 2値ィ匕する際の RGBの画素値の範囲を調整するステップと、

を備えることを特徴とする画像解析方法。

[27] コンピュータに、所定の色をもつセルをもつゲーム用カードと、前記ゲーム用カードのセルと同一の色相の色により構成され、段階的に明度が変化するグラデーション領域を有するゲーム用マットとを撮像したフレーム画像を解析させるプログラムであって

RGBの画素値の範囲を設定して、フレーム画像を 2進数のビット表現に変換させる機能と、

フレーム画像の 2値ィ匕データにおける前記ゲーム用マットのグラデーション領域を抽出させる機能と、

グラデーション領域の 2値化データをもとに、 2値ィ匕する際の RGBの画素値の範囲を調整させる機能と、