WO2006025137A1

WO2006025137A1 - 画像処理装置、ゲーム装置および画像処理方法

Info

Publication number: WO2006025137A1
Application number: PCT/JP2005/009547
Authority: WO
Inventors: Nobuki Nagai; Tetsuya Watanabe; Yusuke Iida; Takahisa Suzuki
Original assignee: Sony Computer Entertainment Inc.
Priority date: 2004-09-01
Filing date: 2005-05-25
Publication date: 2006-03-09
Also published as: US7991220B2; US20080100620A1

Abstract

　実オブジェクトと仮想オブジェクトとを関連付けて表示させる画像処理技術を提供する。　本発明の画像処理装置は、実オブジェクトの現実の動きに応じて、仮想オブジェクトの動作パターンを変化させる。変化検出部１１０が、撮像装置が撮像した実オブジェクトの画像の時間的な状態変化を検出し、表示制御部１２０が、画像の状態変化により発生したイベントに基づいて、動作パターン格納部１２２から動作パターンを選択して読み出す。表示制御部１２０は、読み出した動作パターンによりディスプレイ上の仮想オブジェクトを表示制御する。

Description

明細書

画像処理装置、ゲーム装置および画像処理方法

技術分野

[0001] 本発明は、画像処理技術に関し、特に実オブジェクトと仮想オブジェクトとを関連付けて表示させる技術に関する。

背景技術

[0002] 近年、 2次元コードをカメラで撮像して認識し、 2次元コードのパターンに基づいた所定の処理を実行する技術が普及している。そのような技術の 1つとして、 2次元バ一コードをビデオカメラで撮像して、 2次元バーコードに対応する 3次元画像を表示装置に表示させる画像処理技術が提案されている (例えば、特許文献 1参照)。特許文献 1では、撮像した 2次元バーコードの座標および CCDビデオカメラの焦点距離をもとに、 3次元オブジェクトを表示する空間上の座標を決定し、 2次元バーコードに 3 次元オブジェクトを重畳させて表示する。

特許文献 1：特開 2000— 322602号公報

発明の開示

発明が解決しょうとする課題

[0003] 特許文献 1に開示された技術は、実世界のオブジェクトと仮想のオブジェクトとを組み合わせて表示させることで、優れた視覚効果を実現可能とする。しかしながら、特許文献 1は、 2次元バーコードが静止した状態における仮想オブジェクトの表示技術を開示するのみであり、 2次元バーコードを動かしたときの仮想オブジェクトの表示処理について意識するものではない。本発明者は、 2次元バーコードを動力したときの表示処理に注目し、このときの仮想オブジェクトの表示処理に工夫を凝らすことで、例えば、ゲーム分野などの動画像を処理する分野に応用して、さらに優れた視覚効果を実現する可能性が秘められていることを見出した。

[0004] また、特許文献 1は、 1つの 2次元バーコードに対応付けて仮想オブジェクトを表示する技術を開示するのみであり、複数の 2次元バーコードが存在するときの仮想ォブジェタトの表示処理について意識するものではない。本発明者は、複数の 2次元バーコードなどの実オブジェクトが実空間に存在するときの表示処理に注目し、このときの仮想オブジェクトの表示処理に工夫を凝らすことで、例えば、ゲーム分野などの分野に応用して、さらに優れた視覚効果を実現する可能性が秘められていることを見出した。

[0005] 本発明は、実オブジェクトと仮想オブジェクトとを関連付けて表示させる技術を提供することを目的とし、特に、動画像表示を行うゲームなどの分野において、実オブジェタトの動きに関連して仮想オブジェクトの表示態様を制御する技術を提供することを目的とする。

[0006] また本発明は、実オブジェクトと仮想オブジェクトとを関連付けて表示させる技術を提供することを目的とし、特に、ゲームなどの分野において、複数の実オブジェクトの位置関係に基づいて仮想オブジェクトの表示態様を制御する技術を提供することを目的とする。

課題を解決するための手段

[0007] 上記課題を解決するために、本発明のある態様は、画像処理装置に関する。この態様の画像処理装置は、実オブジェクトを識別するための識別情報と、仮想オブジェタトの 3次元画像データとを対応付けて記憶する格納部と、撮像装置により撮像されたフレーム画像に含まれる実オブジェクト画像の識別情報に対応付けられた仮想ォブジエタトの 3次元画像データを格納部から読み出す読出部と、読み出された 3次元画像データを用いて、仮想オブジェクトを、実オブジェクトの表示位置に関連付けて表示装置に表示させる表示制御部と、撮像装置により撮像された実オブジェクト画像の時間的な状態変化を検出する変化検出部とを備える。この態様の画像処理装置において、表示制御部は、変化検出部において検出された状態変化に基づいて仮想オブジェクトの表示態様を制御する。ここで、実オブジェクトは、現実空間において有体物として存在する実在オブジェクトであり、また、仮想オブジェクトは、現実空間には存在せず、仮想空間においてデータで表現されるものを意味する。

[0008] この画像処理装置によると、撮像された実オブジェクト画像の状態変化、換言すると現実の実オブジェクトの動きに基づいて仮想オブジェクトの表示態様を制御するため、実オブジェクトの動きに応じた仮想オブジェクトの新たな視覚表現を実現できる。 [0009] 本発明の別の態様は、ゲーム装置に関する。この態様のゲーム装置は、実ォブジェクトを識別するための識別情報と、ゲームキャラクタの 3次元画像データとを対応付けて記憶する格納部と、撮像装置により撮像されたフレーム画像に含まれる実ォブジェクト画像の識別情報に対応付けられたゲームキャラクタの 3次元画像データを格納部から読み出す読出部と、読み出された 3次元画像データを用いて、ゲームキャラクタを、実オブジェクトの表示位置に関連付けて表示装置に表示させる表示制御部と、撮像装置により撮像された実オブジェ外画像の時間的な状態変化を検出する変化検出部とを備える。この態様のゲーム装置において、表示制御部は、変化検出部において検出された状態変化に基づいてゲームキャラクタの表示態様を制御する。

[0010] このゲーム装置によると、撮像された実オブジェクト画像の状態変化、換言すると実オブジェクトの動きに基づ、てゲームキャラクタの表示態様を制御するため、実ォブジヱタトの動きに応じたゲームキャラクタの新たな視覚表現を実現できる。

[0011] 本発明のさらに別の態様は、実オブジェクトを識別するための識別情報と仮想ォブジェタトの 3次元画像データとを対応付けて記憶した格納部から、撮像装置により撮像されたフレーム画像に含まれる実オブジェクト画像の識別情報に対応付けられた仮想オブジェクトの 3次元画像データを読み出すステップと、読み出した 3次元画像データを用いて、仮想オブジェクトを、実オブジェクトの表示位置に関連付けて表示装置に表示させるステップと、撮像装置により撮像された実オブジェクト画像の時間的な状態変化を検出するステップと、検出した状態変化に基づいて仮想オブジェクトの表示態様を制御するステップとを備える画像処理方法を提供する。

[0012] 本発明のさらに別の態様は、コンピュータに、実オブジェクトを識別するための識別情報と仮想オブジェクトの 3次元画像データとを対応付けて記憶した格納部から、撮像装置により撮像されたフレーム画像に含まれる実オブジェクト画像の識別情報に対応付けられた仮想オブジェクトの 3次元画像データを読み出させる機能と、読み出させた 3次元画像データを用いて、仮想オブジェクトを、実オブジェクトの表示位置に関連付けて表示装置に表示させる機能と、撮像装置により撮像された実オブジェ外画像の時間的な状態変化を検出させる機能と、検出させた状態変化に基づいて仮想オブジェクトの表示態様を制御する機能とを実行させるためのプログラムを提供する [0013] また、本発明のさらに別の態様は、画像処理装置に関する。この態様の画像処理装置は、実オブジェクトを識別するための識別情報と、仮想オブジェクトの 3次元画像データとを対応付けて記憶する格納部と、撮像装置により撮像されたフレーム画像に含まれる複数の実オブジェクト画像の位置関係を検出する位置関係検出部と、少なくとも 2つの実オブジェクト画像について検出した位置関係が所定の条件を満たすか否かを判定する条件判定部と、フレーム画像に含まれる複数の実オブジェクト画像の識別情報に対応付けられた複数の仮想オブジェクトの 3次元画像データを格納部から読み出す読出部と、条件判定部により所定の条件が満たされたことが判定された場合に、条件を満たす少なくとも 2つの実オブジェクト画像の識別情報に基づいて、仮想オブジェクトの表示パターンを決定し、読み出された複数の 3次元画像データを用いて、決定した表示パターンにより仮想オブジェクトの表示処理を行う表示制御部とを備える。ここで、実オブジェクトは、現実空間において有体物として存在する実在オブジェクトであり、また、仮想オブジェクトは、現実空間には存在せず、仮想空間にお、てデータで表現されるものを意味する。

[0014] この画像処理装置によると、撮像された複数の実オブジェクト画像の位置関係に基づ、て仮想オブジェクトの表示態様を制御するため、複数の実オブジェクトを所定の位置関係におくことで、仮想オブジェクトの新たな視覚表現を実現できる。

[0015] 本発明のさらに別の態様は、ゲーム装置に関する。この態様のゲーム装置は、実ォブジェクトを識別するための識別情報と、ゲームキャラクタの 3次元画像データとを対応付けて記憶する格納部と、撮像装置により撮像されたフレーム画像に含まれる複数の実オブジェクト画像の位置関係を検出する位置関係検出部と、少なくとも 2つの実オブジェ外画像について検出した位置関係が所定の条件を満たすか否かを判定する条件判定部と、フレーム画像に含まれる複数の実オブジェ外画像の識別情報に対応付けられた複数のゲームキャラクタの 3次元画像データを格納部力読み出す読出部と、条件判定部により所定の条件が満たされたことが判定された場合に、条件を満たす少なくとも 2つの実オブジェクト画像の識別情報に基づいて、ゲームキャラクタの表示パターンを決定し、読み出された複数の 3次元画像データを用いて、決定した表示パターンによりゲームキャラクタの表示処理を行う表示制御部とを備える。

[0016] このゲーム装置によると、撮像された複数の実オブジェクト画像の位置関係に基づ V、てゲームキャラクタの表示態様を制御するため、複数の実オブジェクトを所定の位置関係におくことで、ゲームキャラクタの新たな視覚表現を実現できる。

[0017] 本発明のさらに別の態様は、撮像装置により撮像されたフレーム画像に含まれる複数の実オブジェクト画像の位置関係を検出するステップと、少なくとも 2つの実ォブジェ外画像について検出した位置関係が所定の条件を満たす力否かを判定するステップと、実オブジェクトを識別するための識別情報と、仮想オブジェクトの 3次元画像データとを対応付けて記憶する格納部から、フレーム画像に含まれる複数の実ォブジェタト画像の識別情報に対応付けられた複数の仮想オブジェクトの 3次元画像データを読み出すステップと、所定の条件が満たされたことが判定された場合に、条件を満たす少なくとも 2つの実オブジェクト画像の識別情報に基づいて、仮想オブジェクトの表示パターンを決定するステップと、格納部から読み出した複数の 3次元画像データを用いて、決定した表示パターンにより仮想オブジェクトの表示処理を行うステップとを備える画像処理方法を提供する。

[0018] 本発明のさらに別の態様は、コンピュータに、撮像装置により撮像されたフレーム画像に含まれる複数の実オブジェ外画像の位置関係を検出させる機能と、少なくとも 2 つの実オブジェクト画像について検出した位置関係が所定の条件を満たす力否かを判定させる機能と、実オブジェクトを識別するための識別情報と、仮想オブジェクトの 3次元画像データとを対応付けて記憶する格納部から、フレーム画像に含まれる複数の実オブジェクト画像の識別情報に対応付けられた複数の仮想オブジェクトの ₃次元画像データを読み出させる機能と、所定の条件が満たされたことが判定された場合に、条件を満たす少なくとも 2つの実オブジェクト画像の識別情報に基づいて、仮想オブジェクトの表示パターンを決定させる機能と、格納部から読み出した複数の 3 次元画像データを用いて、決定した表示パターンにより仮想オブジェクトの表示処理を行わせる機能とを実現させるためのプログラムを提供する。

[0019] なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。

発明の効果

[0020] 本発明によると、実オブジェクトの動きに関連して仮想オブジェクトの表示態様を制御する技術を提供することができる。

[0021] また本発明によると、複数の実オブジェクトの位置関係に基づ、て仮想オブジェクトの表示態様を制御する技術を提供することができる。

図面の簡単な説明

[0022] [図 1]第 1の実施例に力かるゲームシステムの構成を示す図である。

[図 2]ゲームカードの表面の一例を示す図である。

[図 3]画像解析装置の構成を示す図である。

[図 4]ゲーム装置の構成を示す図である。

[図 5]スライドイベントが発生したときにディスプレイ上で表現されるキャラクタの動作を示す図である。

[図 6]往復イベントが発生したときにディスプレイ上で表現されるキャラクタの動作を示す図である。

[図 7]キャラクタが目を回している状態を示す図である。

[図 8]画像処理のフローチャートである。

[図 9]キャラクタがボーリングをする表示例を示す図である。

[図 10]第 2の実施例に力かるゲームシステムの構成を示す図である。

[図 11]画像解析装置の構成を示す図である。

[図 12]ゲーム装置の構成を示す図である。

[図 13]キャラクタ格納部の記憶内容を示す図である。

[図 14]ステージ 1におけるディスプレイの表示例を示す図である。

[図 15]図 14に示す状態から、 2枚のゲームカードを接触させた状態を示す図である。

[図 16]図 15に示す状態から、 1枚のゲームカードに 2枚のゲームカードを接触させた状態を示す図である。

[図 17]複数のゲームカード画像に 1つのキャラクタを割り当てる処理を説明するための図である。 [図 18]キャラクタの向きを変更する処理を説明するための図である。

[図 19]仮想オブジェクトを伸縮して表示する処理を説明するための図である。

[図 20]プレイヤに課題をだした状態を示す図である。

[図 21]画像処理のフローチャートである。

符号の説明

[0023] 1 · · ·ゲームシステム、 4···ゲームカード、 10···画像処理装置、 20···画像解析装置、 30· · 'ゲーム装置、 40· · 'フレーム画像取得部、 42· ··実オブジェクト抽出部、 4 4· · ·状態決定部、 46·· ·識別情報取得部、 48·· ·識別情報格納部、 50· · ·送出部、 52· · ·姿勢決定部、 54· · '方向決定部、 56·· '距離決定部、 100· · '解析情報取得部、 102· · 'ゲーム進行処理部、 104· · ·キャラクタ決定部、 106· · ·キャラクタ格納部、 110···変化検出部、 112···移動量監視部、 114···回転検出部、 116···存在確認部、 120· · '表示制御部、 122· · '動作パターン格納部、 201· · 'ゲームシステム、 210· · '画像処理装置、 220· · '画像解析装置、 230· · 'ゲーム装置、 240··· フレーム画像取得部、 242· ··実オブジェクト抽出部、 244· · '状態決定部、 246··· 識別情報取得部、 248· · ·識別情報格納部、 250· · ·送出部、 252·· ·位置決定部、 254· · '方向決定部、 256·· '距離決定部、 300· · '解析情報取得部、 302· · 'ザ一ム進行処理部、 304· · 'キャラクタ決定部、 306· · 'キャラクタ格納部、 310· · '位置関係検出部、 312· · ·条件判定部、 320· · ·表示制御部、 322·· ·表示パターン格納部発明を実施するための最良の形態

[0024] <第 1実施例 >

本発明の第 1の実施例は、撮像装置により撮像された実オブジェクトの画像の時間的な状態変化を検出し、検出した状態変化に基づいて仮想オブジェ外の表示態様を制御する技術を提供する。実オブジェクトは、実在する 1次元オブジェクト、 2次元オブジェクトまたは 3次元オブジェクトのいずれであってもよぐ実オブジェクト自身を識別させるための特徴部分を有して構成されることが好ましい。例えば、実オブジェクトは、 2次元で表現されたコード情報を特徴部分として有するカードなどの 2次元ォブジェタトであってもよぐまたユニークな立体形状を特徴部分として有する 3次元ォブジェタトであってもよい。なお、 2次元オブジェクトの 2次元形状がユニークな特徴部分を構成してもよぐまた 3次元オブジェクトに特徴部分となるコード情報が貼り付けられていてもよい。仮想オブジェクトは、仮想空間において 3次元的に表現される人、動物、物などの所謂キャラクタであってもよい。以下に示す第 1の実施例は、ゲームアブリケーシヨンにおける画像処理技術に関し、ゲームアプリケーションに登場するゲームキャラクタを、仮想オブジェクトして採用している。

[0025] 図 1は、本発明の第 1の実施例にカゝかるゲームシステム 1の構成を示す。ゲームシステム 1は、撮像装置 2、画像処理装置 10および出力装置 6を備える。画像処理装置 1 0は、画像解析装置 20およびゲーム装置 30を備える。画像解析装置 20およびゲーム装置 30は別装置として構成されてもよいが、一体として構成されてもよい。撮像装置 2は、 CCD撮像素子または MOS撮像素子など力構成されるビデオカメラである。撮像装置 2は実空間を所定の周期で撮像して、周期ごとのフレーム画像を生成する。撮像領域 5は撮像装置 2により撮像される範囲であり、撮像装置 2の高さや向きを調整することで、撮像領域 5の位置や大きさが調整される。ゲームプレイヤは、撮像領域 5において、実オブジェクトであるゲームカード 4を指で動かす。ゲームカード 4 は、自身を一意に識別するための特徴部分を有して構成される。

[0026] 出力装置 6は、表示装置であるディスプレイ 7を有する。出力装置 6は、さらにスピー力（図示せず)を有して構成されてもよい。基本的に画像処理装置 10は、撮像装置 2 により撮像されたフレーム画像をディスプレイ 7に表示させ、その際に、ゲームカード 4 上に仮想オブジェクトであるキャラクタを重畳するように表示制御する。プレイヤは、ディスプレイ 7を見ることで、ゲームカード 4が撮像領域 5に入って、るか容易に確認でき、入っていない場合には、ゲームカード 4の位置をずらしたり、また撮像装置 2の向きを調整して、撮像装置 2にゲームカード 4を撮像させるようにする。

[0027] 第 1の実施例のゲームアプリケーションでは、プレイヤがゲームカード 4に対して所定の操作を施すことにより、キャラクタを動作させる。このゲームアプリケーションの性質上、プレイヤにゲームカード 4とキャラクタとの一体性を認識させることが好ましぐそのため、キャラクタの画像を、ゲームカード 4に重ね合わせて表示させている。撮像領域 5内でゲームカード 4をゆっくりと移動させると、キャラクタは、ゲームカード 4の上に乗った状態を維持しながら、ゲームカード 4の動きに追従して一緒に移動する。

[0028] 以上のキャラクタの動きは、画像処理装置 10により制御される。まず、画像解析装置 20は、撮像装置 2において取得されたフレーム画像から、ゲームカード 4の画像情報を抽出する。さらに、画像解析装置 20は、ゲームカード 4の画像情報から、ゲームカード 4を識別するためのユニークな特徴部分を抽出する。このとき、画像解析装置 2 0は、ゲームカード 4の画像情報から、ゲームカード 4の空間における姿勢情報、方向情報、距離情報などを決定する。

[0029] 図 2は、ゲームカード 4の表面の一例を示す。ゲームカード 4の表面には、方向指示部 11と識別部 12とが印刷されている。方向指示部 11は、ゲームカード 4の前部を示すために設けられ、識別部 12は、ゲームカード 4を一意に識別するための特徴部分を表現するために設けられる。識別部 12は、所定の区画内に複数のブロックを印刷して作成されたコード情報である。複数のブロックのうち、 4角のブロックは複数のゲームカード 4に共通して付与され、実質的には 4角以外のブロックにより、特徴部分が形成される。 4角のブロックは、撮像装置 2からの距離を測定するために利用される。

[0030] 図 1に戻って、画像解析装置 20は、フレーム画像中のゲームカード 4を認識すると、ゲームカード 4の画像における 4角のブロック間の長さをもとに、撮像装置 2とゲームカード 4との距離を計算して求める。また、画像解析装置 20は、ゲームカード 4の方向指示部 11を検出して、フレーム画像にぉ、てゲームカード 4が向ヽて、る方向を求める。この場合、方向指示部 11が存在する方向が前方となり、キャラクタは、ゲームカード 4上にて前方を向くように表示制御される。さらに、画像解析装置 20は、識別部 12の 4角以外のブロックから、ゲームカード 4の識別情報を取得する。

[0031] 図 1では、ゲームカード 4が台 3に単に置かれている状態を示している力ゲーム力ード 4は、例えば台 3に対して斜めに傾けられたり、また台 3よりも上に持ち上げられたりしてもよい。画像解析装置 20は、ゲームカード 4が傾斜された状態、または、台 3からの高さを変化された状態を画像解析により認識する機能をもつ。画像解析装置 20 において画像解析された結果は、ゲーム装置 30に送られる。なお、撮像装置 2において撮像されたフレーム画像力ゲーム装置 30に送られて、ゲーム装置 30側で画像解析を行ってもよい。この場合、画像処理装置 10は、ゲーム装置 30のみで構成されることになる。

[0032] ゲーム装置 30は、画像解析装置 20における画像解析結果をもとに、ディスプレイ 7 の表示画面上で、キャラクタをゲームカード 4の上に位置するように表示制御する。キャラクタは、ゲームカード 4に対してゲームシーンごとに適宜割り当てられてもよい。この場合、ゲームシーンが切り替わると、表示されるキャラクタも切り替わること〖こなる。第 1の実施例では、ゲーム装置 30が、画像解析結果をもとに、ゲームカード 4の時間的な撮像状態の変化を検出し、この状態変化に基づいて、キャラクタの表示態様を制御する。

[0033] 図 3は、画像解析装置 20の構成を示す。画像解析装置 20は、フレーム画像取得部 40、実オブジェクト抽出部 42、状態決定部 44、識別情報取得部 46、識別情報格納部 48および送出部 50を備える。識別情報格納部 48は、実オブジェクトを識別するための特徴部分の情報と、実オブジェクトを識別するための識別情報とを対応付けて記憶する。具体的には、図 2におけるゲームカード 4の識別部 12のパターン情報と、識別情報とを 1対 1に対応付けて記憶している。識別情報は、ゲーム装置 30においてキャラクタの割当てに利用される。特に、複数のゲームカード 4の存在を許可するゲームアプリケーションにお、ては、ゲームカード 4のそれぞれを識別情報と紐付けすることで、ゲームカード 4を認識可能となる。状態決定部 44は、設定した座標系における実オブジェクトの状態を決定し、具体的には、姿勢を決定する姿勢決定部 52、方向を決定する方向決定部 54および撮像装置 2からの焦点距離を決定する距離決定部 56を有する。

[0034] フレーム画像取得部 40が、撮像装置 2にて撮像された実空間のフレーム画像を取得する。ここでは、図 1に示すように、撮像領域 5に 1枚のゲームカード 4が配置されている状態を想定する。撮像装置 2は、周期的にフレーム画像を取得し、好適には 1Z 60秒間隔でフレーム画像を生成する。

[0035] 実オブジェクト抽出部 42は、フレーム画像力実オブジェクト画像、すなわちゲームカード 4の画像を抽出する。この処理は、画像情報を 2進数のビット表現に変換し、このビット表現力ゝらゲームカード 4の画像を抽出することで行われる。いわゆるドット処理であり、ビットのオンとオフを検出することで、画像抽出処理が行われてもよい。また、この処理は、既知の画像マッチング技術によって行ってもよい。その場合、実ォブジェクト抽出部 42は、マッチング処理のために、使用する実オブジェクトの画像情報を、メモリ（図示せず）に予め登録しておく。予め登録した画像情報と撮像した画像情報とのマッチングをとることで、ゲームカード 4の画像をフレーム画像力も切り出すことができる。

[0036] 姿勢決定部 52は、実オブジェクト画像の姿勢を決定する。具体的には、フレーム画像における実オブジェクト画像の中心点の座標、実オブジェクト画像の台 3からの傾き、および実オブジェクト画像の台 3からの高さなどを定める。そのために、状態決定部 44は、ゲームカード 4を置いて動かすための台 3のジオメトリ情報を予め検出しておき、さらに台 3の表面を基準面として、その基準面上にゲームカード 4を載せた姿勢のジオメトリ情報をゲームカード 4の姿勢の初期状態として記録しておく。このジォメトリ情報は、撮像装置 2を基準として生成されてもよい。状態決定部 44は、台 3に関して取得したジォメトリ情報から、台 3の位置、姿勢などを撮像空間における座標データとして把握しておく。姿勢決定部 52は、ゲームカード 4の基準面に対するゲーム力ード 4の傾きおよび高さを、初期状態として記録したゲームカード 4の姿勢力の相対的な状態量の差分、すなわち撮像空間における座標値の差分として求める。プレイャがゲームカード 4を手で持ち上げたり、傾けたりした場合に、ゲームカード 4の初期状態の姿勢に対して状態量の変化が発生し、台 3に対する実オブジェクト画像の高さや傾きが変化する。

[0037] 方向決定部 54は、実オブジェクト画像の方向を定める。方向決定部 54は、実ォブジェタト画像の中から図 2に示す方向指示部 11を検出して、実オブジェクトの向きを定めてもよい。また、方向決定部 54は、姿勢決定部 52において実オブジェクトが傾斜されていることが認識された場合に、その傾斜した方向を実オブジェクトの向きとして定めてもよい。

[0038] 距離決定部 56は、ゲームカード 4の画像における識別部 12の 4角間の長さをもとに

、撮像装置 2とゲームカード 4との距離を決定する。

[0039] 識別情報取得部 46は、実オブジェクト画像から特徴部分を抽出して、識別情報格納部 48から対応する識別情報を取得する。図 1の例では、 1つのゲームカード 4しか示していないが、第 1の実施例のゲームシステム 1は、複数の異なるゲームカード 4にも対応することが可能である。例えば、 5枚のゲームカード 4の同時使用を許可する場合、それぞれのゲームカード 4に対して、 1から 5までの識別情報がそれぞれ対応付けられていてもよい。

[0040] 状態決定部 44におヽて決定された姿勢情報、方向情報、距離情報、および識別情報取得部 46において取得された識別情報は、それぞれ関連付けされて送出部 5 0からゲーム装置 30に送られる。なお、複数のゲームカード 4が撮像領域 5に存在する場合には、それぞれのゲームカード 4ごとに、姿勢情報、方向情報、距離情報、識別情報が関連付けされて送出部 50からゲーム装置 30に送られる。また、第 1の実施例では、撮像装置 2により撮像されたフレーム画像をディスプレイ 7に表示させるため、フレーム画像自体も送出部 50からゲーム装置 30に送られる。

[0041] 図 4は、ゲーム装置 30の構成を示す。ゲーム装置 30は、解析情報取得部 100、ゲーム進行処理部 102、キャラクタ決定部 104、キャラクタ格納部 106、変化検出部 11 0、表示制御部 120および動作パターン格納部 122を備える。変化検出部 110は、移動量監視部 112、回転検出部 114および存在確認部 116を有し、撮像装置 2が撮像した実オブジェクト画像の時間的な状態変化を検出する。

[0042] 第 1の実施例におけるゲーム装置 30の処理機能は、 CPU、メモリ、メモリにロードされたプログラムなどによって実現され、ここではそれらの連携によって実現される構成を描いている。プログラムは、ゲーム装置 30に内蔵されていてもよぐまた記録媒体に格納された形態で外部力も供給されるものであってもよ、。したがってこれらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは、当業者に理解されるところである。図示の例では、ゲーム装置 30の CPU力解析情報取得部 100、ゲーム進行処理部 102、キャラクタ決定部 104、変化検出部 110、表示制御部 120としての機能をもつ。

[0043] 解析情報取得部 100は、画像解析装置 20から、解析結果を受け取る。この解析結果は、実オブジェ外であるゲームカード 4の姿勢情報、方向情報、距離情報、識別情報を含む。解析情報取得部 100は、受け取った解析結果をゲーム進行処理部 10 2に渡す。なお、解析情報取得部 100は、撮像装置 2からフレーム画像のデータを直接取得してもよい。この場合は、ゲーム装置 30が、画像解析装置 20における機能を有して、画像解析装置 20に関して説明した処理と同様の処理を実行すればよい。

[0044] ゲーム進行処理部 102は、ゲームアプリケーション全体の処理を制御する。第 1の実施例におけるゲームアプリケーションは、ゲーム進行が複数のステージ力構成され、各ステージにおいて異なるゲームシーンが設定されている。プレイヤは、各ステージの終了条件をそれぞれ段階的にクリアしていき、最終ステージをクリアしたところで、ゲーム終了となる。ゲーム進行処理部 102は、ゲームの進行状況を管理し、ゲームの開始直後やゲームステージの切替の時点において、キャラクタ決定部 104に、次に開始されるゲームステージ名と、解析情報取得部 100から送られてきた識別情報を伝える。

[0045] キャラクタ格納部 106は、ゲームステージごとに、ゲームカード 4の識別情報とキャラクタの 3次元画像データとを対応付けて記憶する。キャラクタ決定部 104は、ゲームステージ名と識別情報をもとに、この識別情報に対応付けられたキャラクタの 3次元画像データをキャラクタ格納部 106から読み出し、ゲーム進行処理部 102に供給する。なお、読み出した 3次元画像データは、直接表示制御部 120に供給されてもよい。ゲーム進行処理部 102は表示制御部 120に、 3次元画像データと、ゲームカード 4の姿勢情報、方向情報、距離情報を供給する。表示制御部 120は、 3次元画像データを用いて、キャラクタをゲームカード 4の表示位置に関連付けてディスプレイ 7に表示させる。

[0046] 具体的に、表示制御部 120は、画像解析装置 20から送られるフレーム画像を受け取り、ディスプレイ 7に表示させる。また、表示制御部 120は、ゲームカード 4の姿勢情報、方向情報、距離情報をもとにゲームカード 4の姿勢、向き、距離を認識し、 3次元画像データを用いてディスプレイ 7に表示するキャラクタの姿勢、向き、および大きさを決定する。例えば、ゲームカード 4が台 3に対して傾けられていれば、ゲームカード 4の法線ベクトルに沿うようにキャラクタが傾けられて表示されてもょ、。表示制御部 120は、ゲームカード 4に重なるのであれば、キャラクタをどの位置に配置してもよい力通常の表示態様では、ゲームカード 4の中心点の上方に位置するように、キャラクタの表示位置を定める。キャラクタは、プレイヤの操作履歴により、感情、調子などを表現した内部パラメータを有してもょ、。

[0047] 動作パターン格納部 122は、通常の操作状態におけるキャラクタの動作パターンを格納している。具体的に、動作パターン格納部 122は、動作パターンを、キャラクタ、ゲームステージ、さらには内部パラメータに対応付けて設定している。したがって、表示制御部 120は、キャラクタ名、現在プレイしているゲームステージ、およびキャラクタの内部パラメータをもとに、動作パターン格納部 122から動作パターンを選択し、ディスプレイ 7におけるキャラクタを表示制御する。

[0048] プレイヤがゲームカード 4をゆっくりと動かすと、フレーム画像の解析結果が画像解析装置 20から解析情報取得部 100に逐次送られる。以下に示すゲームカード 4の状態変化に対して、ゆっくりと動かす操作や全く動力さない操作を、通常の操作状態と呼ぶことができる。表示制御部 120は、ゲーム進行処理部 102からキャラクタの 3次元画像データと、ゲームカード 4の姿勢情報、方向情報、距離情報を受け取り、ディスプレイ 7におけるゲームカード 4の表示位置にキャラクタの画像が重なるように、キヤラクタをゲームカード 4の動きに追従させる。これにより、ディスプレイ 7では、キャラクタがゲームカード 4に常に乗っている表示態様となり、キャラクタとゲームカード 4との一体感をプレイヤに認識させることができる。以上のように、表示制御部 120は、ゲームカード 4の通常の操作状態では、キャラクタをゲームカード 4に重ね合わせて表示させる。

[0049] 以下では、ゲームカード 4がプレイヤの操作により所定の撮像状態をとる場合、表示制御部 120が、キャラクタをゲームカード 4の動きに単純に追従させるのではなぐキャラクタの表示態様を制御して、キャラクタの動作パターンに変化をもたせる。プレイャによるゲームカード 4へのアクションを、キャラクタの動作パターンを変化させるトリガとすることで、通常のゲームコントローラなどによる操作とは違った楽しみをプレイヤに与えることができる。ゲーム進行処理部 102は、通常の操作状態であるか否かを検出するために、ゲームカード 4の姿勢情報、方向情報、距離情報を、変化検出部 110 に引き渡す。変化検出部 110は、フレーム画像におけるゲームカード 4の画像の時間的な状態変化を検出する。

[0050] 移動量監視部 112は、撮像装置 2において撮像されるゲームカード 4の移動量を監視する。具体的に、移動量監視部 112は、ゲームカード 4の姿勢情報に含まれる中心座標および距離情報をもとに、ゲームカード 4の移動速度を測定する。移動量監視部 112は、ゲームカード 4の中心座標および距離情報をフレームごとにメモリ（図示せず）に保存し、所定数のフレームにおけるゲームカード 4の距離変化および中心座標の差分から、移動ベクトルを計算する。これにより、移動速度が測定される。なお、中心座標を 3次元空間の座標値としてもつ場合には、単純に中心座標値の差分をとることで、移動ベクトルを算出することできる。移動量監視部 112は、撮像装置 2において撮像されるゲームカード 4の移動量を監視し、設定した仮想空間における移動量を監視してもよぐまた実際の移動量を監視してもよい。

[0051] 移動量監視部 112は、ゲームカード 4の移動速度が所定の基準速度を超えていることを判断すると、その判断結果をゲーム進行処理部 102に通知する。ゲームカード 4の移動速度は、撮像されたゲームカード 4の仮想空間における移動速度であってもよぐまたゲームカード 4の実際の移動速度であってもよい。ゲーム進行処理部 102 は、その判断結果を受けると、プレイヤによりゲームカード 4が素早く動力されたことを認識する。このイベントを「スライドイベント」と呼ぶと、ゲーム進行処理部 102は、キヤラクタ名およびスライドイベントの発生を表示制御部 120に通知する。表示制御部 12 0は、スライドイベントの発生通知を受けると、当該キャラクタに対して設定されているスライドイベントに対応する動作パターンを、動作パターン格納部 122から検索する。

[0052] 動作パターン格納部 122は、既述した通常の操作状態における動作パターンだけでなぐイベントの発生時におけるキャラクタの動作パターンも格納している。動作パターン格納部 122は、動作パターンを、キャラクタ、ゲームステージ、内部パラメータに対応付けるとともに、イベント名にも対応付けて設定している。したがって、表示制御部 120は、キャラクタ名、現在プレイしているゲームステージ、およびキャラクタの内部パラメータ、イベント名をもとに、動作パターン格納部 122から動作パターンを選択し、ディスプレイ 7におけるキャラクタを表示制御する。

[0053] 表示制御部 120は、スライドイベントの発生を通知されると、キャラクタをゲームカード 4の移動に追従させずに、その場で転ばせる動作パターンを動作パターン格納部 1 22から読み出し、実行する。ゲームカード 4を高速に動かすと、プレイヤは直観的に、キャラクタがその動きについていくことができずに取り残されるイメージを抱くことになるが、そのイメージを具体ィ匕する動作パターンを選択して、ディスプレイ 7の画面中に表現することで、プレイヤの意識に合わせた画像処理が実現される。

[0054] 図 5は、スライドイベントが発生したときにディスプレイ上で表現されるキャラクタの動作を示す。図 5 (a)は、ゲームカード 4にキャラクタが重ねあわされて表示されている状態を示す。この状態は、通常の操作状態に相当し、キャラクタは、内部パラメータなどに応じた動作パターンで表示制御されて、る。

[0055] 図 5 (b)において、画面中で、ゲームカード 4がプレイヤにより左方向に動力される。

なお、ディスプレイ 7上では、ゲームカード 4を操作するプレイヤの指が表示されることになるが、ここでは図示を省略している。移動量監視部 112が、ゲームカード 4の移動速度が所定の基準速度を超えていることを判断すると、ゲーム進行処理部 102がスライドイベントの発生を表示制御部 120に通知する。表示制御部 120は、画像解析装置 20から周期的に送られるフレーム画像をもとに、ゲームカード 4をディスプレイ 7 にお、て左方向に移動させる。

[0056] このとき表示制御部 120は、図 5 (c)に示すように、キャラクタをゲームカード 4の移動に追従させずに、スライドイベントの発生を検出した時点でキャラクタを転ばせる。すなわち、表示制御部 120は、スライドイベントが発生したときには、キャラクタがゲームカード 4の表示位置に重ならないように、キャラクタの移動をその場で停止させる。これにより、ゲームカード 4の表示位置とキャラクタの表示位置とが、瞬間的に離れることになる。

[0057] 表示制御部 120は、図 5 (d)に示すように、所定のタイミングでキャラクタを起き上がらせ、キャラクタをゲームカード 4の表示位置まで移動させる。このタイミングは、例えばゲームカード 4の高速移動が終わった後のタイミングであってもよぐまたスライドィベントの発生後、所定時間が経過した時点であってもよい。このとき、表示制御部 12 0は、ゲームカード 4の中心座標を移動目標点として、キャラクタの移動モーションをディスプレイ 7上に再生する。図 5 (a)〜図 5 (d)に示す一連のキャラクタの動作は、表示制御部 120により選択された動作パターンにおいて定められている。図 5 (e)は、キャラクタがゲームカード 4の表示位置まで戻った状態を示す。第 1の実施例のゲームアプリケーションによると、プレイヤは、ゲームカード 4を動かすことによって、以上の一連の 3次元キャラクタの動きを楽しむことができる。ゲームシステム 1では、プレイヤがゲームカード 4の操作方法を色々と試してみることで、ディスプレイ上でキャラクタに新たな動きをさせることができ、ゲームアプリケーションの興趣を高めることができる。

[0058] 移動量監視部 112は、移動速度だけでなぐ撮像装置 2において撮像されるゲームカード 4の移動方向を監視する。具体的に、移動量監視部 112は、ゲームカード 4の中心座標をフレームごとにメモリ（図示せず）に保存し、フレーム間におけるゲーム力ード 4の中心座標の差分から、移動ベクトルを計算する。これにより、移動ベクトルの向きを検出することができる。

[0059] 移動量監視部 112は、時間的に前後の移動ベクトルの向きを比較し、移動ベクトル間のなす角度が実質的に 180度となる状態を所定時間内に複数回検出すると、その検出結果をゲーム進行処理部 102に通知する。例えば、 2秒の間に移動ベクトルの向きが 3回反転したことを通知の条件としてもよい。ゲーム進行処理部 102は、その検出結果を受けると、ゲームカード 4が往復運動されていることを認識する。このィべントを「往復イベント」と呼ぶと、ゲーム進行処理部 102は、キャラクタ名および往復ィベントの発生を表示制御部 120に通知する。表示制御部 120は、往復イベントの発生通知を受けると、当該キャラクタに対して設定されている往復イベントに対応する動作パターンを、動作パターン格納部 122から検索する。

[0060] 図 6は、往復イベントが発生したときにディスプレイ上で表現されるキャラクタの動作を示す。図 6 (a)は、ゲームカード 4を往復運動させることで、キャラクタを叱った状態を示す。移動量監視部 112が、ゲームカード 4が所定の基準を満たす往復運動をされていることを判断すると、ゲーム進行処理部 102が往復イベントの発生を表示制御部 120に通知する。表示制御部 120は、ゲームカード 4の往復運動をディスプレイ 7 に表示させるとともに、動作パターン格納部 122から検索された動作パターンに基づいてキャラクタの動作パターンを変化させる。この例では、ゲームカード 4の往復運動は、キャラクタを叱る動作パターンを実行するトリガとなり、キャラクタは、叱られたことによりショックを受けた表情を見せている。なお、ゲームカード 4の往復運動中、キャラクタは、ゲームカード 4の往復運動に追従させずに、ゲームカード 4の範囲にある限りにおいて、表示位置を固定としてもよい。なお、往復運動の振幅が大きぐゲーム力ード 4の範囲からキャラクタが外れる場合には、キャラクタをゲームカード 4に追従させることが好ましい。

[0061] 図 6 (b)は、ゲームカード 4を往復運動させることで、キャラクタが巨大化した状態を示す。このように、ゲームカード 4の往復運動に対して、動作パターン格納部 122は複数種類の動作パターンを対応付けて記憶してもよい。既述のように、動作パターン格納部 122は、ゲームステージに対応付けて動作パターンを記憶してもよぐさらにはキャラクタの内部パラメータに対応付けて動作パターンを記憶してもよい。

[0062] 図 4に戻って、回転検出部 114は、ゲームカード 4の回転を検出する。具体的に、回転検出部 114は、ゲームカード 4の姿勢情報に含まれる中心座標および方向情報をもとに、ゲームカード 4の回転動作を検出する。回転検出部 114は、ゲームカード 4 の中心座標および方向情報をフレームごとにメモリ（図示せず）に保存する。方向情報により特定されるゲームカード 4の向きが実質的な平面上で時間的に変化し、その変化中、ゲームカード 4の中心座標の位置がほとんどずれない場合、回転検出部 11 4は、ゲームカード 4が回転されていることを検出する。このとき、ゲームカード 4の向き力 S360度以上、同じ回転方向に変化していることを、回転検出の条件としてもよい。

[0063] 回転検出部 114は、ゲームカード 4が回転していることを判断すると、その判断結果をゲーム進行処理部 102に通知する。ゲーム進行処理部 102は、その判断結果を受けると、ゲームカード 4が回転されていることを認識する。このイベントを「回転イベント」と呼ぶと、ゲーム進行処理部 102は、キャラクタ名および回転イベントの発生を表示制御部 120に通知する。表示制御部 120は、回転イベントの発生通知を受けると、当該キャラクタに対して設定されている回転イベントに対応する動作パターンを、動作ノ《ターン格納部 122から検索する。

[0064] 表示制御部 120は、現在プレイ中のゲームステージに対してキャラクタに設定されている動作パターンを選択する。表示制御部 120が、選択した動作パターンを用いてキャラクタの動作パターンを変化させ、具体的には、キャラクタの目を回す動作バターンを読み出し実行する。

[0065] 図 7は、ゲームカードを回転させたことで、キャラクタが目を回して!/、る状態を示す。目を回した状態は所定の時間が経過すると元に戻り、通常の状態に復帰する。ゲームカード 4を回転させると、キャラクタの目が回ることは、回転という点で同一であり、プレイヤも直観的に理解しやすい。第 1の実施例のゲームアプリケーションでは、ゲームコントローラを使用しないため、カード操作に対応するキャラクタの動作パターンが

、カード操作の行為自体と感覚的にリンクしていることが好ましい。このようにカード操作とキャラクタの動作パターンを対応付けることで、プレイヤによる操作性を容易にすることができる。カード操作により 3次元キャラクタの動作パターンを決定することで、これまでにな、ゲームアプリケーションを実現でき、プレイヤに新たな体感を与えることがでさる。

[0066] 図 4に戻って、存在確認部 116は、撮像領域 5中にゲームカード 4が存在しているか否かを確認する。ゲームカード 4が撮像領域 5に存在することは、画像解析装置 20 力もゲームカード 4の情報が解析されて、るか否かに基づ、て判断される。ゲーム力ード 4がプレイヤにより隠される場合には、画像解析装置 20はゲームカード 4の画像を認識できず、ゲームカード 4の画像解析結果はゲーム装置 30に送られな、。

[0067] 存在確認部 116は、所定数の連続したフレーム画像にぉ、て実オブジェクトが認識されない場合に、実オブジェクトが撮像装置 2により撮像されていないことを判断する。逆に、存在確認部 116は、実オブジェクトが認識されないフレーム画像が連続して所定数以上続かなければ、実オブジェクトが撮像装置 2により撮像されていることを判断する。ここで、所定数の連続フレーム画像において実オブジェクトが認識されないことを条件とするのは、照明の影響などで偶然にもゲームカード 4を検出できない状況を無視するためである。

[0068] 存在確認部 116は、ゲームカード 4が撮像されていないことを判断すると、その判断結果をゲーム進行処理部 102に通知する。ゲーム進行処理部 102は、その判断結果を受けると、ゲームカード 4が撮像領域 5中に存在しないことを認識する。このィべントを「隠しイベント」と呼ぶと、ゲーム進行処理部 102は、キャラクタ名および隠しィベントの発生を表示制御部 120に通知する。なお、プレイヤはゲームカード 4を手で隠したり、ゲームカード 4を撮像領域 5の外に移動させることで、隠しイベントを発生させることができる。表示制御部 120は、隠しイベントの発生通知を受けると、当該キヤラクタに対して設定されている隠しイベントに対応する動作パターンを、動作パターン格納部 122から検索する。

[0069] ここでは、表示制御部 120は、選択した動作パターンを用いて、キャラクタをデイスプレイ 7の画面から消す。これも、プレイヤにとっては理解しやすいキャラクタの動作パターンであり、プレイヤはゲームのプレイ方法を十分に理解しなくても、直観的にキャラクタを操作することがでさる。

[0070] なお、存在確認部 116は、ゲームカード 4が撮像されて、る状態と撮像されて！、ない状態とが繰り返されていることを判定してもよい。プレイヤは、ゲームカード 4上に手を力ざすことでゲームカード 4の非撮像状態を作り、また手をどけることで撮像状態を作りだす。非撮像状態と撮像状態とが所定時間内に、所定の回数繰り返されると、存在確認部 116は、その撮像状態の変化を検出し、その検出結果をゲーム進行処理部 102に通知する。ゲーム進行処理部 102は、その判断結果を受けると、ゲーム力ード 4が撮像装置 2によりキヤプチャされる状態とキヤプチャされない状態とが交互に生じていることを認識する。このイベントを「スィッチイベント」と呼ぶと、ゲーム進行処理部 102は、キャラクタ名およびスィッチイベントの発生を表示制御部 120に通知する。表示制御部 120は、スィッチイベントの発生通知を受けると、当該キャラクタに対して設定されてヽるスィッチイベントに対応する動作パターンを、動作パターン格納部 122から検索する。

[0071] ここでは、表示制御部 120は、選択した動作パターンを用いて、新たな仮想ォブジェクトをディスプレイ 7に表示させる。この新たな仮想オブジェクトは、通常の操作状態では非表示とされていたものであり、スィッチイベントの発生をトリガとして、仮想ォブジェタトの全体を新たに表示させる。ゲーム業界でいう「隠れキャラクタ」の出現に相当し、新たなキャラクタを登場させることで、ゲーム進行に変化をもたらすことが可能となる。

[0072] ゲームシステム 1において、プレイヤは、カード操作に対して割り当てられている動作パターンを必ずしも覚えておく必要はなぐゲームカード 4を色々と操作してみることでキャラクタを動力してみればよい。第 1の実施例のゲームアプリケーションは、新たなゲームの楽しみ方をプレイヤに提供することができる。 [0073] 図 8は、第 1の実施例の画像処理フローを示す。ゲーム装置 30において、解析情報取得部 100が、画像解析装置 20からゲームカード 4の識別情報を取得する（S10) 。キャラクタ決定部 104は、この識別情報を受け取ると、キャラクタ格納部 106から、現在のステージおよび識別情報に対応付けられたキャラクタの 3次元画像データを読み出す（S12)。表示制御部 120は、ディスプレイ 7におけるゲームカード 4の表示位置に、読み出したキャラクタの 3次元画像データを重畳表示させる（S14)。

[0074] 変化検出部 110は、ゲームカード 4の時間的な状態変化を監視する（S16)。所定の状態変化を検出すると (S16の Y)、表示制御部 120が、その状態変化に対応付けられた動作パターンを、動作パターン格納部 122から読み出し (S18)、その動作パターンにしたがってキャラクタを表示制御する（S20)。ステージが «I続する場合 (S2 2の N)、表示制御部 120は、キャラクタの表示態様を元に戻し、キャラクタをゲーム力ード 4に重畳表示させる。なお、所定の状態変化を検出しない場合 (S16の N)、ステージの切替がなければ、重畳表示の状態を維持する。ステージが切り替わると（S22 の Y)、このフローは終了する。次のステージが開始すると、ステージに応じたキャラクタの 3次元画像データが読み出され、上記したフローが実行される。

[0075] 以上、第 1の実施例を説明した。この第 1の実施例は例示であり、それらの各構成要素や各処理プロセスの組合せに、ろ、ろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。第 1の実施例では、キャラクタの動作パターンを変化させる例について説明した力例えば、ゲームカード 4の撮像状態の変化に基づ、て、メインキャラクタとは別の新たな仮想オブジェクトを発生させ、メインキャラクタカゝら離れる方向に、その新たな仮想オブジェクトを移動させる表示制御を行うことも可能である。

[0076] 変形例として、表示制御部 120は、キャラクタとともに、キャラクタとは別の仮想ォブジェタトを表示させ、変化検出部 110においてゲームカード 4の状態変化が検出されたことをトリガとして、画像解析装置 20の方向決定部 54において決定された方向に、キャラクタ力離れるように、別の仮想オブジェクトを移動させてもよい。別の仮想ォブジェタトは、ゲーム進行に用いるアイテムであってよぐ例えばキャラクタが投げる「ボール」などの仮想オブジェクトであってよ！/、。 [0077] 図 9 (a)は、キャラクタがボールを投げて、ボーリングをする表示例を示す。既述のように、方向決定部 54は、実空間におけるゲームカード 4の方向指示部 11の位置に応じて、ゲームカード 4の方向を決定する。ディスプレイ 7における仮想的なボーリングピンの表示位置を固定とすると、プレイヤは、ディスプレイ 7を見ながらゲームカード 4を動かして、キャラクタがボールを投げる位置および方向を調整する。なお、ボーリングピンは他のゲームカード 4上に表示される仮想オブジェクトであってよい。キャラクタ決定部 104は、他のゲームカード 4上にボーリングピンが表示されたことを条件として、ボールの 3次元画像データをキャラクタ格納部 106から読み出し、ゲーム進行処理部 102に供給する。表示制御部 120は、ゲーム進行処理部 102からボールの 3次元画像データを受け取り、キャラクタにボールをもたせるように表示制御する。プレイヤによるカード移動によりキャラクタが所望の位置に表示されると、プレイヤは、ゲームカード 4を操作して、ボールを投げるトリガとして設定されて、るイベントを発生させる。このイベントは、プレイヤに対して画面上またはスピーカを通じて告知されるのが好ましい。表示制御部 120は、そのイベントの発生通知を受けると、方向決定部 54により定められた方向にボールを転がし、方向に応じてボーリングピンの倒れる本数を所定の演算により算出する。このとき、表示制御部 120は、ボーリングピンおよびキャラクタの座標系を同じ座標系に統一し、移動物体であるボールとボーリングピンとの接触判定を行うことで、この表示処理が可能となる。なお、ボーリングは一つの例であり、キャラクタ力仮想オブジェクトを発射させることで、キャラクタ以外のオブジェクトを用いた新たなゲームストーリを展開することができる。

[0078] 方向決定部 54は、ゲームカード 4に印刷された方向指示部 11から方向を決定することもできるが、傾けられた状態では、その傾けられた傾斜面に沿ったベクトルを、ゲームカード 4の方向として決定することもできる。

[0079] 図 9 (b)は、キャラクタがボールを投げて、ボーリングをする別の表示例を示す。方向決定部 54は、実空間におけるゲームカード 4の傾斜した方向を決定する。この傾斜方向は、台 3において、台 3に接触するゲームカード 4の一辺に垂直な方向として定められる。図 9 (a)の例と異なり、この場合は、ボールを投げる方向がゲームカード 4と台 3との接線に応じて決定される。プレイヤは、ゲームカード 4を所望の位置に配置して傾斜させる。このとき、ゲームカード 4を傾斜させたこと力ボールを投げるトリガとして設定されていてもよい。ゲーム進行処理部 102は、姿勢情報からゲームカード 4が傾斜されたことを検出すると、その旨を表示制御部 120に通知し、表示制御部 120は、動作パターンを読み出して、方向決定部 54により定められた方向にボールを転がす。

[0080] 上記した第 1の実施例および変形例では、ゲームカード 4の状態変化に基づ、て、キャラクタの表示態様を制御した。ゲームアプリケーションの興趣を高めるために、キャラクタの表示態様だけでなぐ音声などによる演出を行ってもよい。この場合、変化検出部 110においてゲームカード 4の状態変化が検出されると、ゲーム進行処理部 1 02は、その旨を図示しない音声制御部に通知して、音声制御部がスピーカを通じてキャラクタの聴覚的な演出を行ってもよい。このとき、ゲーム装置 30は、画像処理装置として機能するだけでなぐ音声処理装置としても機能するため、ゲーム装置 30を、画像および音声の両方を制御可能な処理装置と呼ぶこともできる。なお、ゲーム装置 30は、ゲームカード 4の状態変化に基づいて、音声制御のみを行ってもよい。

[0081] <第 2実施例 >

本発明の第 2の実施例は、撮像装置により撮像された複数の実オブジェクトの位置関係を検出し、検出した位置関係に基づいて仮想オブジェクトの表示態様を制御する技術を提供する。実オブジェクトは、実在する 1次元オブジェクト、 2次元オブジェクトまたは 3次元オブジェクトのいずれであってもよぐ実オブジェクト自身を識別させるための特徴部分を有して構成されることが好ましい。例えば、実オブジェクトは、 2次元で表現されたコード情報を特徴部分として有するカードなどの 2次元オブジェクトであってもよぐまたユニークな立体形状を特徴部分として有する 3次元オブジェクトであってもよい。なお、 2次元オブジェクトの 2次元形状がユニークな特徴部分を構成してもよぐまた 3次元オブジェクトに特徴部分となるコード情報が貼り付けられていてもよい。仮想オブジェクトは、仮想空間において 3次元的に表現される人、動物、物などの所謂キャラクタであってもよい。以下に示す第 2の実施例は、ゲームアプリケーションにおける画像処理技術に関し、ゲームアプリケーションに登場するゲームキャラクタを、仮想オブジェクトして採用している。第 2の実施例では、プレイヤが実オブジェクト同士を接触させることで、その接触に応じたイベントが発生し、イベントを順次実行して！、くことで進行するゲームアプリケーションを示す。

[0082] 図 10は、本発明の第 2の実施例にカゝかるゲームシステム 201の構成を示す。ゲームシステム 201は、撮像装置 2、画像処理装置 210および出力装置 6を備える。画像処理装置 210は、画像解析装置 220およびゲーム装置 230を備える。画像解析装置 220およびゲーム装置 230は別装置として構成されてもよいが、一体として構成されてもよい。撮像装置 2は、 CCD撮像素子または MOS撮像素子などカゝら構成されるビデオカメラである。撮像装置 2は実空間を所定の周期で撮像して、周期ごとのフレーム画像を生成する。撮像領域 5は撮像装置 2により撮像される範囲であり、撮像装置 2の高さや向きを調整することで、撮像領域 5の位置や大きさが調整される。ゲームプレイヤは、撮像領域 5において、実オブジェクトであるゲームカード 4を指で動かす。ゲームカード 4は、自身を一意に識別するための特徴部分を有して構成される。

[0083] 出力装置 6は、表示装置であるディスプレイ 7を有する。出力装置 6は、さらにスピー力（図示せず)を有して構成されてもよい。基本的に画像処理装置 210は、撮像装置 2により撮像されたフレーム画像をディスプレイ 7に表示させ、その際に、ゲームカード 4上に仮想オブジェクトであるキャラクタを重畳するように表示制御する。図 10の例では、撮像領域 5に 2枚のゲームカード 4が存在し、ディスプレイ 7には、それぞれのゲームカード 4上にキャラクタが重畳表示されている。プレイヤは、ディスプレイ 7を見ることで、ゲームカード 4が撮像領域 5に入っている力容易に確認でき、入っていない場合には、ゲームカード 4の位置をずらしたり、また撮像装置 2の向きを調整して、撮像装置 2にゲームカード 4を撮像させるようにする。

[0084] 第 2の実施例のゲームアプリケーションでは、プレイヤがゲームカード 4に対して所定の操作を施すことにより、キャラクタを動作させる。このゲームアプリケーションの性質上、プレイヤにゲームカード 4とキャラクタとの一体性を認識させることが好ましぐそのため、キャラクタの画像を、ゲームカード 4に重ね合わせて表示させている。

[0085] 以上のキャラクタの動きは、画像処理装置 210により制御される。まず、画像解析装置 220は、撮像装置 2において取得されたフレーム画像から、ゲームカード 4の画像情報を抽出する。さら〖こ、画像解析装置 220は、ゲームカード 4の画像情報から、ゲームカード 4を識別するためのユニークな特徴部分を抽出する。このとき、画像解析装置 220は、ゲームカード 4の画像情報から、ゲームカード 4の空間における位置情報、方向情報、距離情報などを決定する。なお、ゲームカード 4の表面には、図 2に関して説明したとおり、方向指示部 11と識別部 12とが印刷されている。

[0086] 図 2に関して既述したように、方向指示部 11は、ゲームカード 4の前部を示すために設けられ、識別部 12は、ゲームカード 4を一意に識別するための特徴部分を表現するために設けられる。識別部 12は、所定の区画内に複数のブロックを印刷して作成されたコード情報である。複数のブロックのうち、 4角のブロックは複数のゲーム力ード 4に共通して付与され、実質的には 4角以外のブロックにより、特徴部分が形成される。 4角のブロックは、撮像装置 2からの距離を測定するために利用される。

[0087] 図 10に戻って、画像解析装置 220は、フレーム画像中のゲームカード 4を認識すると、ゲームカード 4の画像における 4角のブロック間の長さをもとに、撮像装置 2とゲームカード 4との距離を計算して求める。また、画像解析装置 220は、ゲームカード 4の方向指示部 11を検出して、フレーム画像にぉ、てゲームカード 4が向、て、る方向を求める。この場合、方向指示部 11が存在する方向が前方となり、キャラクタは、ゲームカード 4上にて前方を向くように表示制御される。さらに、画像解析装置 220は、識別部 12の 4角以外のブロックから、ゲームカード 4の識別情報を取得する。

[0088] 画像解析装置 220において画像解析された結果は、ゲーム装置 230に送られる。

なお、撮像装置 2において撮像されたフレーム画像力ゲーム装置 230に送られて、ゲーム装置 230側で画像解析を行ってもよい。この場合、画像処理装置 210は、ゲーム装置 230のみで構成されることになる。

[0089] ゲーム装置 230は、画像解析装置 220における画像解析結果をもとに、ディスプレィ 7の表示画面上で、キャラクタをゲームカード 4の上に位置するように表示制御する。キャラクタは、ゲームカード 4に対してゲームシーンごとに適宜割り当てられてもよい。この場合、ゲームシーンが切り替わると、表示されるキャラクタも切り替わること〖こなる。第 2の実施例では、ゲーム装置 230が、複数の実オブジェクト画像の位置関係を検出し、実オブジェクト画像間の位置関係が所定の条件を満たすことを判定すると、仮想オブジェクトの表示態様を制御する。 [0090] 図 11は、画像解析装置 220の構成を示す。画像解析装置 220は、フレーム画像取得部 240、実オブジェクト抽出部 242、状態決定部 244、識別情報取得部 246、識別情報格納部 248および送出部 250を備える。識別情報格納部 248は、実オブジェタトを識別するための特徴部分の情報と、実オブジェクトを識別するための識別情報とを対応付けて記憶する。具体的には、図 2におけるゲームカード 4の識別部 12のパターン情報と、識別情報とを 1対 1に対応付けて記憶している。識別情報は、ゲーム装置 230においてキャラクタの割当てに利用される。例えば、 5枚のゲームカード 4の同時使用を許可するゲームシステム 201の場合、それぞれのゲームカード 4に対して、 1から 5までの識別情報がそれぞれ割り当てられていてもよい。複数のゲームカード 4のそれぞれを識別情報と紐付けすることで、個々のゲームカード 4が認識可能となる。状態決定部 244は、設定した座標系における実オブジェクトの状態を決定し、具体的には、ゲームカード 4の位置を決定する位置決定部 252、方向を決定する方向決定部 254および撮像装置 2からの焦点距離を決定する距離決定部 256を有する。

[0091] フレーム画像取得部 240が、撮像装置 2にて撮像された実空間のフレーム画像を取得する。ここでは、図 10に示すように、撮像領域 5に複数枚のゲームカード 4が配置されている状態を想定する。撮像装置 2は、周期的にフレーム画像を取得し、好適には 1Z60秒間隔でフレーム画像を生成する。

[0092] 実オブジェクト抽出部 242は、フレーム画像力も複数の実オブジェクト画像、すなわちゲームカード 4の画像を抽出する。この処理は、画像情報を 2進数のビット表現に変換し、このビット表現力もゲームカード 4の画像を抽出することで行われる。いわゆるドット処理であり、ビットのオンとオフを検出することで、画像抽出処理が行われてもよい。また、この処理は、既知の画像マッチング技術によって行ってもよい。その場合、実オブジェクト抽出部 242は、マッチング処理のために、使用する実オブジェクトの画像情報をメモリ（図示せず）に予め登録しておく。予め登録した画像情報と撮像した画像情報とのマッチングをとることで、複数のゲームカード 4の画像をフレーム画像力切り出すことができる。

[0093] 状態決定部 244は、ゲームカード 4を置いて動かすための台 3のジオメトリ情報を予め検出しておき、さらに台 3の表面を基準面として、その基準面上にゲームカード 4を載せた姿勢のジオメトリ情報をゲームカード 4の姿勢の初期状態として記録しておく。このジオメトリ情報は、撮像装置 2を基準として生成されてもよい。状態決定部 244は、台 3に関して取得したジオメトリ情報から、台 3の位置、姿勢などを撮像空間における座標データとして把握しておく。位置決定部 252は、実オブジェクト画像の位置を決定する。具体的には、フレーム画像における実オブジェクト画像の中心点の座標を定める。なお、位置決定部 252は、ゲームカード 4の位置に加えて、ゲームカード 4の基準面に対するゲームカード 4の傾きおよび高さを、初期状態として記録したゲームカード 4の姿勢力もの相対的な状態量の差分、すなわち撮像空間における座標値の差分として求めてもよい。方向決定部 254は、実オブジェクト画像の方向を定める。方向決定部 254は、実オブジェクト画像の中から図 2に示す方向指示部 11を検出して、実オブジェクトの向きを定めてもよい。距離決定部 256は、ゲームカード 4の画像における識別部 12の 4角間の長さをもとに、撮像装置 2とゲームカード 4との距離を決定する。識別情報取得部 246は、実オブジェ外画像カゝら特徴部分を抽出して、識別情報格納部 248から対応する識別情報を取得する。

[0094] 状態決定部 244におヽて決定された位置情報、方向情報、距離情報、および識別情報取得部 246において取得された識別情報は、それぞれ関連付けされて送出部 250からゲーム装置 230に送られる。なお、この関連付けは、それぞれのゲームカード 4ごとに行われる。また、第 2の実施例では、撮像装置 2により撮像されたフレーム画像をディスプレイ 7に表示させるため、フレーム画像自体も送出部 250からゲーム装置 230に送られる。

[0095] 図 12は、ゲーム装置 230の構成を示す。ゲーム装置 230は、解析情報取得部 300 、ゲーム進行処理部 302、キャラクタ決定部 304、キャラクタ格納部 306、位置関係検出部 310、条件判定部 312、表示制御部 320および表示パターン格納部 322を備える。

[0096] 第 2の実施例におけるゲーム装置 230の処理機能は、 CPU、メモリ、メモリにロードされたプログラムなどによって実現され、ここではそれらの連携によって実現される構成を描いている。プログラムは、ゲーム装置 230に内蔵されていてもよぐまた記録媒体に格納された形態で外部力供給されるものであってもよ、。したがってこれらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは、当業者に理解されるところである。図示の例では、ゲーム装置 230の CPU力解析情報取得部 300、ゲーム進行処理部 302、キャラクタ決定部 304、位置関係検出部 310、条件判定部 312、表示制御部 320としての機能をもつ。

[0097] 解析情報取得部 300は、画像解析装置 220から、解析結果を受け取る。この解析結果は、実オブジェクトであるゲームカード 4の位置情報、方向情報、距離情報、識別情報を含む。解析情報取得部 300は、受け取った解析結果をゲーム進行処理部 302に渡す。なお、解析情報取得部 300は、撮像装置 2からフレーム画像のデータを直接取得してもよい。この場合は、ゲーム装置 230が、画像解析装置 220における機能を有して、画像解析装置 220に関して説明した処理と同様の処理を実行すればよい。

[0098] ゲーム進行処理部 302は、ゲームアプリケーション全体の処理を制御する。第 2の実施例におけるゲームアプリケーションは、ゲーム進行が複数のステージ力構成され、各ステージにおいて異なるゲームシーンが設定されている。プレイヤは、各ステージの終了条件をそれぞれ段階的にクリアしていき、最終ステージをクリアしたところで、ゲーム終了となる。ゲーム進行処理部 302は、ゲームの進行状況を管理し、ゲームの開始直後やゲームステージの切替の時点において、キャラクタ決定部 304に、次に開始されるゲームステージ名と、解析情報取得部 300から送られてきた識別情報を伝える。キャラクタ格納部 306は、ゲームステージごとに、ゲームカード 4の識別情報とキャラクタの 3次元画像データとを対応付けて記憶する。

[0099] 図 13は、キャラクタ格納部 306の記憶内容を示す。第 2の実施例のゲームシステム 201は、 5枚のゲームカード 4を使用可能とする。キャラクタ格納部 306は、ゲームステージに対応付けて、 5枚のゲームカード 4のそれぞれに割り当てるキャラクタの 3次元画像データを記憶している。ステージ 1では、識別情報 1のゲームカードにキャラクタ「男」、識別情報 2のゲームカードにキャラクタ「女」、識別情報 3のゲームカードにキャラクタ「太鼓」、識別情報 4のゲームカードにキャラクタ「レストランの建物」、識別情報 5のゲームカードにキャラクタ「郵便局の建物」が割り当てられる。ステージ 2では、識別情報 1のゲームカードにキャラクタ「男」、識別情報 2のゲームカードにキャラクタ「女」、識別情報 3のゲームカードにキャラクタ「レストランのドア」、識別情報 4のゲームカードにキャラクタ「ウエイター」、識別情報 5のゲームカードにキャラクタ「テーブルと椅子」が割り当てられる。ステージ 1およびステージ 2において、識別情報 3、 4、 5に割り当てられるキャラクタが異なって、る。

[0100] キャラクタ決定部 304は、ゲームステージ名と複数の識別情報をもとに、識別情報に対応付けられた複数のキャラクタの 3次元画像データをキャラクタ格納部 306から読み出し、ゲーム進行処理部 302に供給する。なお、読み出した 3次元画像データは、表示制御部 320に直接供給されてもよい。ゲーム進行処理部 302は表示制御部 320に、 3次元画像データと、ゲームカード 4の位置情報、方向情報、距離情報を供給する。表示制御部 320は、 3次元画像データを用いて、キャラクタをゲームカード 4 の表示位置に関連付けてディスプレイ 7に表示させる。

[0101] 具体的に、表示制御部 320は、画像解析装置 220から送られるフレーム画像を受け取り、ディスプレイ 7に表示させる。また、表示制御部 320は、ゲームカード 4の位置情報、方向情報、距離情報をもとにゲームカード 4の位置、向き、距離を認識し、 3次元画像データを用いてディスプレイ 7に表示するキャラクタの位置、向き、および大きさを決定する。表示制御部 320は、ゲームカード 4に重なるのであれば、キャラクタをどの位置に配置してもよいが、通常の表示態様では、ゲームカード 4の中心点の上方に位置するように、キャラクタの表示位置を定める。

[0102] プレイヤがゲームカード 4を動かすと、フレーム画像の解析結果が画像解析装置 22 0から解析情報取得部 300に逐次送られる。表示制御部 320は、ゲーム進行処理部 302からキャラクタの 3次元画像データと、ゲームカード 4の位置情報、方向情報、距離情報を受け取り、ディスプレイ 7におけるゲームカード 4の表示位置にキャラクタの画像が重なるように、キャラクタをゲームカード 4の動きに追従させる。これにより、ディスプレイ 7では、キャラクタがゲームカード 4に常に乗っている表示態様となり、キャラクタとゲームカード 4との一体感をプレイヤに認識させることができる。

[0103] 図 14は、ステージ 1におけるディスプレイの表示例を示す。ここで、ゲームカード 4a は識別情報 1のゲームカード、ゲームカード 4bは識別情報 2のゲームカード、ゲームカード 4cは識別情報 3のゲームカード、ゲームカード 4dは識別情報 4のゲームカード、ゲームカード 4eは識別情報 5のゲームカードを示す。

[0104] ゲームカード 4aにキャラクタ「男」が、ゲームカード 4cにキャラクタ「太鼓」が、ゲームカード 4dにキャラクタ「レストランの建物」力ゲームカード 4eにキャラクタ「郵便局の建物」が、それぞれ重畳表示されている。なお、ゲームカード 4cには、太鼓とともに、太鼓を叩くための「ばち」も表示される。このとき、ゲームカード 4bには、まだキャラクタ「女」の表示はない。

[0105] 第 2の実施例のゲームアプリケーションでは、複数のゲームカード 4の配置位置が所定の位置関係となる場合に、イベントを発生させて、そのイベントを実行することで、ゲームストーリが進行する。プレイヤが複数のゲームカード 4を動かすことで、キャラクタの動作パターンなどを変化させることができ、通常のゲームコントローラなどによる操作とは違った楽しみをプレイヤに与えることができる。図 14の例では、ステージ 1で定められている所定のイベントを実行することで、「女」のキャラクタがゲームカード 4b に登場する。

[0106] 位置関係検出部 310は、撮像装置 2により撮像されたフレーム画像に含まれる複数のゲームカード 4の画像の位置関係を検出する。具体的には、まず、ゲーム進行処理部 302が、複数のゲームカード 4の位置情報、方向情報、距離情報を、位置関係検出部 310に引き渡す。位置関係検出部 310は、複数のゲームカード 4の位置情報、距離情報をもとに、ゲームカード間の位置関係を検出する。ここでは、 2つ以上のゲームカード 4の全ての組合せについて、ゲームカード間の位置関係を検出することが好ましい。例えば、位置関係検出部 310は、それぞれのゲームカード 4の中心座標に基づいて、中心座標間の距離を算出してもよい。

[0107] 条件判定部 312は、位置関係検出部 310により検出された位置関係に基づいて、ゲームカード 4間の位置関係が所定の条件を満足するか否かを判定する。ここでは、少なくとも 2つのゲームカード 4の画像について検出した位置関係が所定の条件を満たすか否かが判定される。条件判定の一例として、条件判定部 312は、ゲームカード 4の画像同士が接触している力否かを判定する。単純には、 2つのゲームカード画像の中心座標の距離が所定の範囲内にある場合に、条件判定部 312は、ゲームカード画像の接触を判定してもよ、。

[0108] 条件判定部 312は、ゲームカード画像同士の接触を判定する際、ゲームカード画像の向きを考慮する。ゲームカード画像の中心座標および向きにより、空間上におけるゲームカード画像の配置を定めることができる。これにより、条件判定部 312は、空間におけるゲームカード画像の配置を知ることができ、接触している力否かを判定できる。このとき、向きを考慮することで、ゲームカード画像のどの辺が接触しているの力も知ることができる。方向決定部 254によりゲームカード画像の向きは決定されているため、矩形のゲームカード力前部の辺で接触しているの力または左部の辺で接触しているのかを、条件判定部 312は決定された方向情報により判定できる。条件判定部 312が、接触判定時に、ゲームカード画像の向きを認識しておくことで、ゲームカード同士がどの向きで接触しているかで、発生させるイベントも異ならせることが可能となる。条件判定部 312は、ゲームカード画像同士が接触していることを判定すると、その判定結果、接触しているゲームカード画像の識別情報と、ゲームカード画像の向きを、ゲーム進行処理部 302に通知する。ゲーム進行処理部 302は、表示制御部 320に、これらの情報を伝える。以上の位置関係検出部 310と条件判定部 312 の処理は、同時に実行されてよい。

[0109] さらに条件判定部 312は、例えば 1つのゲームカード画像に仮想の視野角を設定し、その視野角内に他のゲームカード画像が存在するか否かの判定を行ってもよい。この条件判定は、位置関係検出部 310において検出された位置関係に基づいて実行され、ゲーム中では、あるキャラクタの視野角に他のキャラクタが存在する力否かの確認に利用される。条件判定部 312は、視野角内に他のゲームカード画像が存在していることを判定すると、その判定結果、視野角を設定したゲームカード画像の識別情報、および視野角内に存在するゲームカード画像の識別情報をゲーム進行処理部 302に通知する。これらの情報は、表示制御部 320に伝えられる。

[0110] 表示制御部 320は、条件判定部 312により所定の条件が満たされたことが判定された場合に、条件を満たす少なくとも 2つのゲームカード画像の識別情報に基づいて、キャラクタの表示パターンを決定する。表示制御部 320は、ゲーム進行処理部 30 2より送られてきた判定結果、条件を満たしているゲームカード画像の識別情報、およびゲームカード画像の向きを受け取り、表示パターン格納部 322を参照して、表示パターンを決定する。

[0111] 表示パターン格納部 322は、仮想オブジェクトの表示パターンを格納する。表示パターンは、例えば、条件を満たす少なくとも 2つのゲームカード画像の識別情報に対応するキャラクタ間の動作パターンであってよい。この動作パターンは、少なくとも 2つのゲームカード画像の識別情報と、それらのゲームカード画像の向きとに対応付けられて記憶されている。具体的に表示制御部 320は、例えば、識別情報 1のゲーム力ード 4aと識別情報 3のゲームカード 4cとを、それぞれの前辺同士で接触させた場合に、所定の動作パターンを表示パターン格納部 322から読み出すことができる。換言すると、ゲームカード 4aの画像とゲームカード 4cの画像とが接触しており、且つ、それらが前辺同士で接触していること力表示パターン格納部 322から表示パターンを読み出すための要件として設定されている。したがって、ゲームカード 4aとゲーム力ード 4cとがそれぞれの前辺と左辺とで接触していても、表示制御部 320は、表示パターンを読み出すことはできない。

[0112] 表示制御部 320は、画像解析装置 220から送られるフレーム画像上に、複数のキャラクタの 3次元画像データを用いて、決定した表示パターンによりキャラクタの表示処理を行う。

[0113] 図 15は、図 14に示す状態から、 2枚のゲームカードを接触させた状態を示す。ここでは、ゲームカード 4aとゲームカード 4cを接触させている。なお、ゲームカード 4aとゲームカード 4cは、それぞれ前辺同士で接触されている。「男」はゲームカード 4aの前辺方向を向いており、また「太鼓」もゲームカード 4cの前辺方向を向いて配置されているため、「男」は、太鼓の正面に立つことで、太鼓を叩くことができる。逆にいうと、「男」は太鼓の側面に立っても、太鼓を叩くことはできない。接触させるゲームカード 4 の識別情報および接触時の向きは、既述のように表示パターン格納部 322から表示パターンを読み出すための要件となっている。したがって、それぞれのゲームカードの前辺同士を接触させることで、表示制御部 320は所定の動作パターンを読み出し、男がゲームカード 4c上に置かれていたばちを握り、太鼓を叩く表示処理を実行する。この一連の動きは、読み出された表示パターンにおいて定められたものである。 [0114] ゲームアプリケーションにお、て、太鼓を叩く動作は「女」のキャラクタを登場させるための条件となっており、ゲーム進行処理部 302は、男により太鼓が叩かれたことを認識すると、「女」をゲームカード 4b上に登場させる。続いて、プレイヤは、男と女のキャラクタをレストランの前に移動させる。

[0115] 図 16は、図 15に示す状態から、 1枚のゲームカードに 2枚のゲームカードを接触させた状態を示す。ここでは、ゲームカード 4dの左辺に、ゲームカード 4aの前辺とゲームカード 4bの前辺とを接触させて、る。接触させるゲームカードの識別情報および向きは、既述のように表示パターンを読み出すための要件として設定されている。ステージ 1では、図 16のように、男と女のキャラクタをレストランの前に移動させることが、ステージ 1を終了してステージ 2に進むための移行条件として設定されている。条件判定部 312は、ゲームカード 4a、 4b、 4dについて図 16に示す位置関係を位置関係検出部 310から通知されると、ゲームカード 4dの左辺に対してゲームカード 4a、 4b の前辺がそれぞれ接触していることを判定し、ゲーム進行処理部 302に報告する。ゲーム進行処理部 302は、この報告を受けると、ステージ 1の終了条件が成立したことを認識し、ゲームステージの切替処理を行う。なお、条件判定部 312が、この終了条件の成立を判定してもよい。ゲーム進行処理部 302は、次のステージ名（ステージ 2) をキャラクタ決定部 304に通知する。

[0116] キャラクタ決定部 304は、ステージ名を通知されると、図 13に示す対応関係を参照して、ステージ 2に割り当てられた識別情報の 3次元画像データを読み出す。このように、キャラクタ決定部 304が、ステージに応じて参照する対応関係を変えることで、ステージごとに新たなキャラクタを登場させることができ、ゲームストーリを充実させることが可能となる。ステージ 2では、図 13に示したように、識別情報 3のゲームカードにキャラクタ「レストランのドア」、識別情報 4のゲームカードにキャラクタ「ウエイター」、識別情報 5のゲームカードにキャラクタ「テーブルと椅子」が割り当てられ、図 16に示すキャラクタ表示が切り替えられる。

[0117] 第 2の実施例のゲームシステム 201では、ゲームカード画像の位置関係を利用して、上記以外の様々な画像処理技術を実現することができる。

[0118] 図 17は、複数のゲームカード画像に 1つのキャラクタを割り当てる処理を説明するための図である。

図 17 (a)は、 3枚のゲームカードに建物が割り当てられている状態を示す。ゲームカード 4a、 4b、 4cに同一の建物が割り当てられている力ここでは、割り当てるキャラクタの対象は問題としない。図 17 (b)は、 3枚のゲームカードを接触させた状態を示す。このとき、 3枚のゲームカード上に 1つの大きな建物が割り当てられている。

[0119] 表示パターン格納部 322は、条件を満たす少なくとも 2つのゲームカード画像に対して、 1つの仮想オブジェクトを割り当てた表示パターンを記憶する。この例において、表示パターン格納部 322は、 3つのゲームカード画像の識別情報 (識別情報 1、 2、 3)と、それらのゲームカード画像の接触部分の向きに対応付けた表示パターンを記憶している。ここで、接触部分の向きは左右方向、すなわち、各ゲームカード画像が左辺または右辺にて他のゲームカード画像と接触していることが、表示パターンを読み出すための条件となる。

[0120] 条件判定部 312は、ゲームカード 4a、 4b、 4cが左右方向にて接触していることを判定すると、その判定結果およびゲームカード画像の識別情報、画像の向きが、ゲーム進行処理部 302を介して表示制御部 320に供給される。表示制御部 320は、これらの情報をもとに、表示パターン格納部 322から表示パターンを読み出す。表示制御部 320は、表示パターンに基づいて、図 17 (b)に示す表示処理を行う。これにより、キャラクタを大きく表示できるため、ゲームストーリにおいて新たな視覚効果を実現できる。プレイヤは、ゲームカード同士をくつつけてみることで、予想もしないキャラクタが登場することにもなり、ゲームの面白さを高めることもできる。

[0121] 図 18は、キャラクタの向きを変更する処理を説明するための図である。

図 18 (a)は、ゲームカード 4aのキャラクタ「男」とゲームカード 4bのキャラクタ「女」との位置関係を示す。キャラクタ「男」から延びる 2本の破線 301は、男の仮想的な視野角を示す。条件判定部 312は、ゲームカード 4aの位置情報および方向情報と、ゲームカード 4bの位置情報から、ゲームカード 4bの画像力ゲームカード 4aの仮想的な視野角に入っているかを判定する。なお、位置情報および方向情報は、位置関係検出部 310より引き渡される。キャラクタ「女」が仮想的な視野角に入っていることを判定すると、その判定結果およびゲームカード 4a、 4bの識別情報をゲーム進行処理部 3 02に伝える。ゲームカード 4aは、以後のプレイヤの操作により、矢印の経路に沿って進められるものとする。

[0122] 図 18 (b)は、図 18 (a)に示す矢印に沿って動力した後の状態を示す。ゲームカード 4aのキャラクタは、本来前方方向を向くように設定されている力この例ではゲームカード 4bのキャラクタの方向を向いている。表示制御部 320は、ゲーム進行処理部 3 02からゲームカード 4a、 4bの識別情報と、ゲームカード 4bがゲームカード 4aの視野角に入っていることを示す情報を受け取る。表示パターン格納部 322は、ゲームカード 4aのキャラクタがゲームカード 4bのキャラクタを見続けるように向きを変えることを示す動作パターンを記憶している。この表示パターンは、これらのゲームカードと視野角の関係が成立したことを条件として読み出し可能に設定されている。表示制御部 3 20は、この動作パターンを読み出し、図 18 (b)に示す表示処理を実行する。すなわち、表示制御部 320は、ゲームカード 4aのキャラクタの向きを、ゲームカード 4bのキャラクタの位置に応じて変化させる。これによりプレイヤは、ゲームカード 4aのキャラクタにとってゲームカード 4bのキャラクタがゲーム進行に重要な影響を及ぼす可能性があることを認識する。このような表示態様は、プレイヤに対して、ゲームカード 4aをゲームカード 4bに接触させて新たなイベントを発生させる契機を与えることになる。

[0123] 図 19は、仮想オブジェクトを伸縮して表示する処理を説明するための図である。

図 19 (a)は、ゲームカード 4aとゲームカード 4bとが接触した状態を示す。 2枚のゲームカードを接触させると、キャラクタ同士の間に、仮想オブジェクト 303が発生する。この仮想オブジェクト 303は、図 19 (b)に示すように、ゲームカード同士を離すことにより、伸びるように表現される。一方、図 19 (b)に示す状態力も再びゲームカード同士を近づけていくと、仮想オブジェクト 303は縮むように表現される。これにより、新たな視覚効果を実現できる。なお、表示パターン格納部 322は、ゲームカード 4aとゲームカード 4bの前辺同士が接触することで、キャラクタの間に、それらの位置関係に応じて伸縮可能な仮想オブジェクトを発生させる表示パターンを記憶している。

[0124] 位置関係検出部 310が、ゲームカード画像間の位置関係が第 1の状態力も第 2の状態に移行することを検出すると、表示制御部 320が、それぞれの識別情報に対応するキャラクタ間において、それらを結ぶ仮想オブジェクトを伸縮して表示する表示パターンを表示パターン格納部 322から読み出して決定する。表示制御部 320は、その表示パターンを用いて、図 19 (a)および図 19 (b)に示す表示を行う。

[0125] 図 20は、ゲーム性を向上するために、プレイヤに課題をだした状態を示す。例えば、その課題は、 2枚のゲームカード 4をくつつけたまま、ディスプレイ 7に表示される矢印 305にしたがって、ゲームカード 4を台 3上で移動させるというものである。位置関係検出部 310は、ゲームカード 4a、 4bのそれぞれの移動ベクトルを計算し、その平均を 2枚のゲームカードの移動方向とする。移動ベクトルは、ゲームカード画像の中心座標および距離情報をフレームごとにメモリ（図示せず）に保存し、前後のフレームにおけるゲームカード 4の距離変化および中心座標の差分力も算出される。条件判定部 312は、移動ベクトルから、課題が達成されたカゝ否かを判定し、具体的には移動ベクトルが矢印 305に沿っているかを判定して、ベクトルと矢印 305の向きが実質的に同一であれば、課題をクリアできたものとする。プレイヤは課題をクリアすることで、ゲーム上でオプション的なメリットなどを受けるようにしてもよ!、。

[0126] 図 21は、第 2の実施例の画像処理フローを示す。ゲーム装置 230において、位置関係検出部 310が、撮像装置 2により撮像されたフレーム画像に含まれる複数のゲームカード 4の画像の位置関係を検出する（S 110)。条件判定部 312は、位置関係検出部 310により検出された位置関係に基づいて、ゲームカード 4間の位置関係が所定の条件を満足するか否かを判定する (S 112)。所定の条件が成立した場合 (S 1 12の Y)、表示制御部 320が、成立した条件に対応付けられた表示パターンを決定して、表示パターン格納部 322から読み出す (S114)。表示制御部 320は、決定した表示パターンによりキャラクタの表示処理を行う（S 116)。

[0127] 所定の条件が成立せず（S112の N)、ステージが継続する間（S118の N)、位置関係検出部 310が、ゲームカード 4間の位置関係を検出し続ける。ステージが切り替わると（S 118の Y)、このフローは終了する。次のステージが開始すると、ステージに応じたキャラクタの 3次元画像データが読み出され、上記したフローが実行される。

[0128] 以上、本発明を第 2の実施例をもとに説明した。この第 2の実施例は例示であり、それらの各構成要素や各処理プロセスの組合せに、ろ、ろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。 [0129] 上記した第 2の実施例では、ゲームカード 4間の位置関係に基づいて、キャラクタの表示態様を制御した。ゲームアプリケーションの興趣を高めるために、キャラクタの表示態様だけでなぐ音声などによる演出を行ってもよい。この場合、条件判定部 312 においてゲームカード 4間の位置関係が所定の条件を満たすことが判定されると、ゲーム進行処理部 302は、その旨を図示しない音声制御部に通知して、音声制御部がスピーカを通じてキャラクタの聴覚的な演出を行ってもよい。このとき、ゲーム装置 23 0は、画像処理装置として機能するだけでなぐ音声処理装置としても機能するため、ゲーム装置 230を、画像および音声の両方を制御可能な処理装置と呼ぶこともできる。なお、ゲーム装置 230は、ゲームカード 4間の位置関係に基づいて、音声制御のみを行ってもよい。

[0130] 以上、本発明を複数の実施例をもとに説明した。これらの実施例は例示であり、それらの各構成要素や各処理プロセスの組合せに、ろ、ろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。第 1 の実施例および第 2の実施例につヽて説明したが、それぞれの実施例の内容を糸且み合わせることで、より効果的に、仮想オブジェクトの表示態様を制御することができる。

産業上の利用可能性

[0131] 本発明は、画像処理の分野に適用することができる。

Claims

請求の範囲

[1] 実オブジェクトを識別するための識別情報と、仮想オブジェクトの 3次元画像データとを対応付けて記憶する格納部と、

撮像装置により撮像されたフレーム画像に含まれる実オブジェクト画像の識別情報に対応付けられた仮想オブジェクトの 3次元画像データを前記格納部から読み出す読出部と、

読み出された 3次元画像データを用いて、前記仮想オブジェクトを、前記実ォブジェタトの表示位置に関連付けて表示装置に表示させる表示制御部と、

前記撮像装置により撮像された実オブジェ外画像の時間的な状態変化を検出する変化検出部と、

を備え、

前記表示制御部は、前記変化検出部にお、て検出された状態変化に基づ、て仮想オブジェクトの表示態様を制御することを特徴とする画像処理装置。

[2] 前記表示制御部は、前記表示装置にお!、て、前記実オブジェクトの表示位置に、前記仮想オブジェクトを重ね合わせて表示させることを特徴とする請求項 1に記載の画像処理装置。

[3] 前記変化検出部は、前記撮像装置にぉ、て撮像される前記実オブジェクトの移動量を監視する移動量監視部を有し、

前記表示制御部は、前記移動量監視部にぉ、て前記実オブジェクトの移動速度が所定の基準速度を超えてヽることが判断された場合に、前記仮想オブジェクトを前記実オブジェクトの移動に追従させないことを特徴とする請求項 1または 2に記載の画像処理装置。

[4] 前記表示制御部は、前記仮想オブジェクトが前記実オブジェクトの表示位置に重ならな、ように、前記仮想オブジェクトの移動を停止させることを特徴とする請求項 3に記載の画像処理装置。

[5] 前記表示制御部は、前記実オブジェクトの表示位置と前記仮想オブジェクトの表示位置が離れると、所定のタイミングで前記仮想オブジェクトを前記実オブジェクトの表示位置まで移動させることを特徴とする請求項 3または 4に記載の画像処理装置。

[6] 前記変化検出部は、前記撮像装置にぉ、て撮像される前記実オブジェクトの移動量を監視する移動量監視部を有し、

前記表示制御部は、前記移動量監視部にぉ、て前記実オブジェクトが往復運動をしていることが検出された場合に、前記仮想オブジェクトの動作パターンを変化させることを特徴とする請求項 1から 5のいずれかに記載の画像処理装置。

[7] 前記変化検出部は、所定数の連続したフレーム画像において前記実オブジェクトが認識されな、場合に、前記実オブジェクトが前記撮像装置により撮像されて、なヽことを判断する存在確認部を有し、

前記表示制御部は、前記存在確認部にぉヽて前記実オブジェクトが撮像されてヽな!、ことが判断された場合に、前記仮想オブジェクトを表示装置の画面から消すことを特徴とする請求項 1から 6のいずれかに記載の画像処理装置。

[8] 前記変化検出部は、所定数の連続したフレーム画像において前記実オブジェクトが認識されな、場合に、前記実オブジェクトが前記撮像装置により撮像されて、なヽことを判断する存在確認部を有し、

前記表示制御部は、前記存在確認部にぉヽて前記実オブジェクトが撮像されてヽる状態と撮像されてヽな、状態とが交互に繰り返されてヽることが判定された場合に、新たな仮想オブジェクトを表示装置に表示させることを特徴とする請求項 1から 7の V、ずれかに記載の画像処理装置。

[9] 前記変化検出部は、前記実オブジェクトの回転を検出する回転検出部を有し、前記表示制御部は、前記回転検出部において前記実オブジェクトが回転していることが検出された場合に、前記仮想オブジェクトの動作パターンを変化させることを特徴とする請求項 1から 8のいずれかに記載の画像処理装置。

[10] 前記実オブジェクトの方向を定める方向決定部をさらに備え、

前記表示制御部は、前記仮想オブジェクトとともに、前記仮想オブジェクトとは別の仮想オブジェクトを表示させ、前記変化検出部にぉ、て前記実オブジェクトの状態変化が検出されたことを契機として、前記方向決定部において決定された方向に、前記仮想オブジェクトから離れるように、前記別の仮想オブジェクトを移動させることを特徴とする請求項 1から 9のいずれかに記載の画像処理装置。

[11] 前記実オブジェクトの姿勢を決定する姿勢決定部と、

決定された姿勢から、前記実オブジェクトの傾斜した方向を定める方向決定部とをさらに備え、

前記表示制御部は、前記仮想オブジェクトとともに、前記仮想オブジェクトとは別の仮想オブジェクトを表示させ、前記方向決定部において決定された方向に、前記仮想オブジェクトから離れるように、前記別の仮想オブジェクトを移動させることを特徴とする請求項 1から 10のいずれかに記載の画像処理装置。

[12] 実オブジェクトを識別するための識別情報と、ゲームキャラクタの 3次元画像データとを対応付けて記憶する格納部と、

撮像装置により撮像されたフレーム画像に含まれる実オブジェクト画像の識別情報に対応付けられたゲームキャラクタの 3次元画像データを前記格納部から読み出す読出部と、

読み出された 3次元画像データを用いて、前記ゲームキャラクタを、前記実ォブジェタトの表示位置に関連付けて表示装置に表示させる表示制御部と、

を備え、

前記表示制御部は、前記変化検出部にぉ、て検出された状態変化に基づ、てゲームキャラクタの表示態様を制御することを特徴とするゲーム装置。

[13] ゲーム進行が複数のステージから構成される場合に、

前記格納部は、ステージごとに、実オブジェクトを識別するための識別情報と、ゲームキャラクタの 3次元画像データとを対応付けて記憶することを特徴とする請求項 12 に記載のゲーム装置。

[14] 実オブジェクトを識別するための識別情報と仮想オブジェクトの 3次元画像データとを対応付けて記憶した格納部から、撮像装置により撮像されたフレーム画像に含まれる実オブジェクト画像の識別情報に対応付けられた仮想オブジェクトの 3次元画像データを読み出すステップと、

読み出した 3次元画像データを用いて、前記仮想オブジェクトを、前記実オブジェクトの表示位置に関連付けて表示装置に表示させるステップと、

前記撮像装置により撮像された実オブジェ外画像の時間的な状態変化を検出するステップと、

検出した状態変化に基づいて仮想オブジェクトの表示態様を制御するステップとを備えることを特徴とする画像処理方法。

[15] コンピュータに、

実オブジェクトを識別するための識別情報と仮想オブジェクトの 3次元画像データとを対応付けて記憶した格納部から、撮像装置により撮像されたフレーム画像に含まれる実オブジェクト画像の識別情報に対応付けられた仮想オブジェクトの 3次元画像データを読み出させる機能と、

読み出させた 3次元画像データを用いて、前記仮想オブジェクトを、前記実ォブジェ外の表示位置に関連付けて表示装置に表示させる機能と、

前記撮像装置により撮像された実オブジェクト画像の時間的な状態変化を検出させる機能と、

検出させた状態変化に基づいて仮想オブジェ外の表示態様を制御する機能と、を実行させるためのプログラム。

[16] 請求項 15に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。

[17] 実オブジェクトを識別するための識別情報と、仮想オブジェクトの 3次元画像データとを対応付けて記憶する格納部と、

撮像装置により撮像されたフレーム画像に含まれる複数の実オブジェクト画像の位置関係を検出する位置関係検出部と、

少なくとも 2つの実オブジェクト画像について検出した位置関係が所定の条件を満たす力否かを判定する条件判定部と、

フレーム画像に含まれる複数の実オブジェクト画像の識別情報に対応付けられた複数の仮想オブジェクトの 3次元画像データを格納部力読み出す読出部と、条件判定部により所定の条件が満たされたことが判定された場合に、条件を満たす少なくとも 2つの実オブジェクト画像の識別情報に基づいて仮想オブジェクトの表示ノターンを決定し、読み出された複数の 3次元画像データを用いて、決定した表示パターンにより仮想オブジェクトの表示処理を行う表示制御部と、

を備えることを特徴とする画像処理装置。

[18] 表示パターンは、条件を満たす少なくとも 2つの実オブジェクト画像の識別情報に対応する仮想オブジェクト間の動作パターンを定めることを特徴とする請求項 17に記載の画像処理装置。

[19] 表示パターンは、条件を満たす少なくとも 2つの実オブジェクト画像に対して、 1つの仮想オブジェクトを割り当てることを特徴とする請求項 17に記載の画像処理装置。

[20] 条件判定部は、実オブジェクト画像同士が接触して、る力否かを判定することを特徴とする請求項 17から 19のいずれかに記載の画像処理装置。

[21] 条件判定部は、接触判定時に、実オブジェ外画像の向きを認識することを特徴とする請求項 20に記載の画像処理装置。

[22] 格納部は、実オブジェクトを識別するための識別情報と仮想オブジェクトの 3次元画像データとの対応関係を複数記憶し、

前記読出部は、条件判定部により所定の条件が満たされたことが判定された場合に、格納部における別の対応関係を参照して、識別情報をもとに 3次元画像データを読み出すことを特徴とする請求項 17から 21のいずれかに記載の画像処理装置。

[23] 条件判定部により所定の条件が満たされたことが判定された場合に、前記表示制御部は、 1つの実オブジェクト画像の識別情報に対応する仮想オブジェクトの向きを、他の実オブジェクト画像の識別情報に対応する仮想オブジェクトの位置に応じて変化させることを特徴とする請求項 17から 22のいずれかに記載の画像処理装置。

[24] 位置関係検出部により検出される実オブジェ外画像間の位置関係が第 1の状態から第 2の状態に移行するとき、表示制御部は、それぞれの実オブジェクト画像の識別情報に対応する仮想オブジェクト間において、仮想オブジェクト同士間を結ぶ仮想ォブジェクトを伸ばし又は縮めて表示する表示パターンを決定することを特徴とする請求項 17から 23のいずれかに記載の画像処理装置。

[25] 実オブジェクト画像の移動ベクトルから、条件判定部が、所定の課題が達成されたか否かを判定することを特徴とする請求項 17から 24のいずれかに記載の画像処理装置。

[26] 実オブジェクトを識別するための識別情報と、ゲームキャラクタの 3次元画像データとを対応付けて記憶する格納部と、

フレーム画像に含まれる複数の実オブジェクト画像の識別情報に対応付けられた複数のゲームキャラクタの 3次元画像データを格納部力読み出す読出部と、条件判定部により所定の条件が満たされたことが判定された場合に、条件を満たす少なくとも 2つの実オブジェクト画像の識別情報に基づ、て、ゲームキャラクタの表示ノターンを決定し、読み出された複数の 3次元画像データを用いて、決定した表示パターンによりゲームキャラクタの表示処理を行う表示制御部と、

を備えることを特徴とするゲーム装置。

[27] ゲーム進行が複数のステージから構成される場合に、

格納部は、ステージごとに、実オブジェクトを識別するための識別情報とゲームキヤラクタの 3次元画像データとを対応付けて記憶することを特徴とする請求項 26に記載のゲーム装置。

[28] 撮像装置により撮像されたフレーム画像に含まれる複数の実オブジェクト画像の位置関係を検出するステップと、

少なくとも 2つの実オブジェクト画像について検出した位置関係が所定の条件を満たす力否かを判定するステップと、

実オブジェクトを識別するための識別情報と、仮想オブジェクトの 3次元画像データとを対応付けて記憶する格納部から、フレーム画像に含まれる複数の実オブジェクト画像の識別情報に対応付けられた複数の仮想オブジェクトの 3次元画像データを読み出すステップと、

所定の条件が満たされたことが判定された場合に、条件を満たす少なくとも 2つの実オブジェクト画像の識別情報に基づ、て、仮想オブジェクトの表示パターンを決定するステップと、格納部力読み出した複数の 3次元画像データを用いて、決定した表示パターンにより仮想オブジェクトの表示処理を行うステップと、

を備えることを特徴とする画像処理方法。

[29] コンピュータに、

撮像装置により撮像されたフレーム画像に含まれる複数の実オブジェクト画像の位置関係を検出させる機能と、

少なくとも 2つの実オブジェクト画像について検出した位置関係が所定の条件を満たす力否かを判定させる機能と、

実オブジェクトを識別するための識別情報と、仮想オブジェクトの 3次元画像データとを対応付けて記憶する格納部から、フレーム画像に含まれる複数の実オブジェクト画像の識別情報に対応付けられた複数の仮想オブジェクトの 3次元画像データを読み出させる機能と、

所定の条件が満たされたことが判定された場合に、条件を満たす少なくとも 2つの実オブジェクト画像の識別情報に基づ、て、仮想オブジェクトの表示パターンを決定させる機能と、

格納部力読み出した複数の 3次元画像データを用いて、決定した表示パターンにより仮想オブジェクトの表示処理を行わせる機能と、

を実現させるためのプログラム。

[30] 請求項 29に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。