WO2017179309A1 - 処理装置および投影画像生成方法 - Google Patents

Abstract

撮像画像取得部１００は、プロジェクタにより投影された投影領域を含む領域を撮像した撮像画像を取得する。認識処理部１２０は、撮像画像に含まれるカードの認識処理を実行する。投影画像生成部１３０は、認識処理部１２０が認識したカードにもとづいて、プロジェクタにより投影する投影画像を生成する。重畳検出部１４４は、認識済みの第１のカードの上に、新たな第２のカードが重ねられたことを検出する。重畳検出部１４４がカードが重ねられたこと検出すると、投影画像生成部１３０は、カードが重ねられたことに応じた投影画像を生成する。

Description

処理装置および投影画像生成方法

　本発明は、投影装置であるプロジェクタから画像を投影する技術に関する。

　特許文献１は、マーカが付されたカードと、カードに対して画像を投影する投影装置と、カードに付されたマーカを検出するためのカード検出用センサと、処理装置とを備えた画像投影システムを開示する。処理装置は、カード検出用センサの検出結果を用いてカードが配置されている位置を取得し、投影装置は、カードに対応付けられている画像を投影する。

特開２０１５－９２２０５号公報

　近年、トレーディングカードゲーム（Collectable Card Game）機が、ゲームセンターや玩具店、スーパーマーケットなどに設置されている。トレーディングカードゲームでは、ユーザがカードを収集し、対戦相手との間でカードを互いに出し合ってゲームを進行させる。それぞれのカードにはオリジナルモンスターやアニメーションのキャラクタなどの様々な絵柄や文字が描かれている。カードには、たとえばキャラクタの能力や属性などを表現する特性値が設定されており、ユーザが出したカードに応じてゲームの進行や勝敗が決定される。

　特許文献１に示す画像投影システムのように、プロジェクタによる演出をカードゲームに付加する手法は、カードゲームの新たな楽しみ方を提供する。本発明者は、カメラおよびプロジェクタを備えたシステムにおいて、カードゲームを円滑に実施するための技術や、ゲーム操作を行うための新たなユーザインタフェースに関する技術を開発した。

　本発明は、カードゲームを実施するための技術を提供することを目的とする。

　上記課題を解決するために、本発明のある態様の処理装置は、プロジェクタにより投影された投影領域を含む領域を撮像した撮像画像を取得する撮像画像取得部と、撮像画像に含まれるカードの認識処理を実行する認識処理部と、認識処理部が認識したカードにもとづいて、プロジェクタにより投影する投影画像を生成する投影画像生成部と、認識済みの第１のカードの上に、新たな第２のカードが重ねられたことを検出する重畳検出部とを備える。

　本発明の別の態様は、プロジェクタにより投影する投影画像を生成する方法である。この方法は、プロジェクタにより投影された投影領域を含む領域を撮像した撮像画像を取得するステップと、撮像画像に含まれるカードの認識処理を実行するステップと、認識したカードにもとづいて、プロジェクタにより投影する投影画像を生成するステップと、認識済みの第１のカードの上に、新たな第２のカードが重ねられたことを検出するステップとを有する。

　なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。

実施例にかかる画像投影システムの構成を示す図である。 処理装置の機能ブロックを示す図である。 キャリブレーションモードにおける初期画面を示す図である。 案内画面を示す図である。 撮像された黒丸マーカを示す図である。 案内画面を示す図である。 カードを撮像した画像を示す図である。 案内画面を示す図である。 補正された画像を示す図である。 補正された撮像画像の例を示す図である。 投影画像の例を示す図である。 カードの向きの態様を示す図である。 姿勢情報を説明するための図である。 カード向きを判定するための判定基準を示す図である。 補正された撮像画像の例を示す図である。 投影された投影画像の例を示す図である。 補正された撮像画像の例を示す図である。 補正された撮像画像の例を示す図である。 カードを重ねた状態を示す図である。 投影画像の例を示す図である。 カードスリーブを示す図である。 カードを重ねた状態を示す図である。

　本発明は、プレイエリアに配置されたカードに応じて、投影装置であるプロジェクタから画像光を投影する技術を提供する。使用されるカードは平板状の所定の形状を有し、カードには、当該カードを特定するためのマークが付与されている。赤外線カメラがマークを撮像し、処理装置が、撮像画像に含まれるマークを検出すると、プロジェクタの照射光パターンを制御して、プロジェクタからゲーム演出を高めるための画像光を投影させる。マークは、コードや図柄などの１次元または２次元パターンとして構成されてよい。

　図１は、本発明の実施例にかかる画像投影システム１の構成を示す。画像投影システム１は、ゲームに関する処理を実施する処理装置１０と、処理装置１０に対して撮像画像を供給し、また処理装置１０から投影画像を供給される光学装置２０を備える。処理装置１０には、キーボードやマウス、ゲームコントローラなど、ユーザが入力を行うためのユーザインタフェース装置が接続されている。光学装置２０は、プロジェクタ２１と、赤外線カメラ２２と、可視光カメラ２３とを備える。なおプロジェクタ２１および赤外線カメラ２２は、光学装置２０に一体に収容されることが好ましいが、可視光カメラ２３は、光学装置２０とは別の筐体に設けられてもよい。また光学装置２０は、赤外線カメラ２２とは別に第２の赤外線カメラを備えてもよい。

　プロジェクタ２１は、投影光を照射して投影領域４を形成する。投影面において投影領域４は略四角形となり、投影領域４は、ユーザがカード７を配置してゲームをプレイする領域（プレイエリア）を画定する。実施例では、プロジェクタ２１がテーブル２上に投影領域４を形成しているが、投影面は、カード７を配置できる面であればよい。プロジェクタ２１は、投影面において投影領域４が略長方形となるように、予め投影光を制御されていることが好ましい。なおユーザは、投影領域４を外れてカード７を配置してもよいが、投影領域４を外れた場所には、プロジェクタ２１による演出画像は投影されない。

　赤外線カメラ２２は、撮像領域５を撮像する。撮像感度を高めるために、赤外線カメラ２２は赤外線光源を有してもよい。実施例において撮像領域５は、プロジェクタ２１による投影領域４を少なくとも含み、すなわち赤外線カメラ２２は、投影領域４よりも広い範囲を撮像する。

　赤外線カメラ２２による撮像画像は、処理装置１０に供給されて、実オブジェクトを検出するために利用される。実施例において検出対象となる実オブジェクトは、代表的には矩形のカード７であるが、カード７に対する指示を生成する物体、たとえばユーザの手指や、ゲーム用コインなどを含む。なおユーザの手指などの物体は、第２の赤外線カメラによる撮像画像によって検出されてもよい。

　図１に示すように、ユーザは光学装置２０と向かい合った位置でカードゲームをプレイするため、プレイエリアを形成する投影領域４は、赤外線カメラ２２とユーザとの間に設定される。赤外線カメラ２２は、投影領域４を斜めから撮像し、その結果、撮像領域５の手前側（赤外線カメラ２２に近い側）を相対的に大きく、撮像領域５の奥側（赤外線カメラ２２に遠い側）を相対的に小さく撮像する。赤外線カメラ２２がテーブル２に対して垂直方向から投影領域４を撮像できないため、カード７は本来の矩形ではなく、赤外線カメラ２２との距離によって歪んだ形状で撮像されることになる。

　なお図１においては、ユーザと光学装置２０との間にプレイエリアが設定されるが、光学装置２０は、ユーザの横前方に配置されて横方向から投影光を照射して、ユーザの正面にプレイエリアを形成してもよい。この場合であっても、赤外線カメラ２２は、撮像領域５の手前側（赤外線カメラ２２に近い側）を相対的に大きく、撮像領域５の奥側（赤外線カメラ２２に遠い側）を相対的に小さく撮像するため、カード７は歪んだ形状で撮像される。

　赤外線カメラ２２の撮像画像はリアルタイムで処理装置１０に供給され、処理装置１０は、撮像画像に含まれるカード７のマークを検出して、カード７を認識する。この認識処理は、検出したマークをデータベースに登録している複数のマークと比較して、一致するマークを探し出す処理であり、検出したマークが歪んでいると、認識処理に支障をきたすことがある。

　そこで実施例の処理装置１０は、カードゲームの開始前に、赤外線カメラ２２により撮像されたカード７が本来の矩形となるように撮像画像を補正するキャリブレーション処理を行う。具体的にキャリブレーション処理は、赤外線カメラ２２による斜めからの撮像画像を投影領域４の真上からの撮像画像に変換するための変換行列と、変換した撮像画像のアスペクト比を正しくするホモグラフィ行列を求める処理であり、ゲーム開始前に補正用のパラメータを求めておくことで、ゲーム開始後は、撮像画像を補正した補正画像をもとに、カード７の認識処理を実施する。補正画像は、理想的には、赤外線カメラ２２を投影領域４の直上に配置したときに撮像される画像となる。ゲーム開始前、処理装置１０は、赤外線カメラ２２の撮像画像を表示装置３に表示させて、ユーザがキャリブレーションに関する作業を円滑に進められるようにする。

　可視光カメラ２３も、赤外線カメラ２２と同様に、テーブル２上の撮像領域を撮像する。可視光カメラ２３は、ユーザによるゲームプレイの様子をインターネットなどのネットワークに配信するために設けられる。配信画像が歪んでいては、配信を受けるユーザも見づらいため、処理装置１０は、赤外線カメラ２２と同様のキャリブレーション処理を実施して、補正した撮像画像を配信することが好ましい。

　アクセスポイント（以下、「ＡＰ」とよぶ）６は、無線アクセスポイントおよびルータの機能を有し、処理装置１０は、無線または有線経由でＡＰ６に接続して、インターネットに接続する。ユーザは、インターネットに接続している他のユーザとゲーム対戦でき、処理装置１０は、可視光カメラ２３の撮像画像、正確には撮像画像を補正した画像を他のユーザに配信し、また他のユーザから、撮像画像を受信して表示装置３から表示させる。このように可視光カメラ２３は、ゲームプレイを配信するために利用される。

　ネットワーク対戦を実現するためには、相手側にも、画像投影システム１が用意されていればよい。処理装置１０は、インターネット上の専用サーバに、戦績などを記録できるようにし、自身の戦績や他ユーザの戦績を閲覧できるようなネットワークシステムが構築されてもよい。

　処理装置１０は、赤外線カメラ２２の撮像画像に含まれるカード７の認識処理を実行し、プロジェクタ２１の画像投影を制御する。処理装置１０は、カードゲームのアプリケーションプログラム（以下、「カードゲームプログラム」とも呼ぶ）を実行するゲーム専用機であってもよいが、当該プログラムを実行するパーソナルコンピュータであってもよい。処理装置１０は、赤外線カメラ２２から撮像画像を受け取り、プレイエリアに配置されたカード７に応じて、投影画像を生成する機能を有している。後述するが、処理装置１０は、認識した１枚のカード７に対応する演出を実施するだけでなく、認識したカード７の状態、複数枚のカード７の組合せ、カード７に対するユーザからの指示の有無等に応じてゲームへのユーザの関心を高めるように動的に投影画像を生成して、プロジェクタ２１の画像投影を制御する。

　カード７は、識別用マークとして、たとえば特許文献１に開示されるように、ユーザが視認不能であって、赤外線センサなどの非可視光センサが検出可能なマーカを付加されていてよい。このマーカは、処理装置１０がカード認識を行うためにカード７に付加される専用のマークであり、赤外線センサの検出精度を高めるために、非可視光反射材料または非可視光吸収材料で印刷されることが好ましい。

　なお近年の画像認識技術の発達により、画像のパターンマッチング精度が向上している。そのためカード７に描かれているイラストなどの図柄そのものを、カード７を一意に識別するための識別用マークとして利用することも可能となっている。現在普及しているトレーディングカードゲームには、通常、何百種類ものカードが存在し、それぞれのカードにはオリジナルモンスターやキャラクタなどの様々な図柄が描かれている。ユーザはカードを図柄によって区別するが、実施例の処理装置１０も同様に、赤外線カメラ２２により撮像されたカードを図柄によって識別する。つまり実施例の画像投影システム１では、カードの図柄を識別用マークとして利用するため、現在流通しているトレーディングカードゲーム用のカードをそのまま使用してゲームプレイできる環境を提供する。

　この環境を実現するために、処理装置１０は、ゲームにおける全てのカード７の図柄ないしは図柄の特徴点を登録したデータベースを予め用意しておく。処理装置１０は、撮像されたカード７の図柄と比較可能な態様で、全カード７の図柄に関する情報をデータベースに登録している。

　図２は、処理装置１０の機能ブロックを示す。処理装置１０は、処理機能として撮像画像取得部１００、位置受付部１０２、表示処理部１０４、画像変換部１１０、認識処理部１２０、投影画像生成部１３０および指示検出部１４０を備える。また処理装置１０は、ＨＤＤなどの補助記憶装置において、マーク記憶部１５０、指示記憶部１５２および演出記憶部１５４を備える。マーク記憶部１５０は、撮像画像に含まれるマーク（図柄）をパターンマッチングで比較するための複数のマークを記憶したデータベースである。

　本実施例における処理装置１０の処理機能は、ＣＰＵ、メモリ、メモリにロードされたプログラムなどによって実現され、ここではそれらの連携によって実現される構成を描いている。したがってこれらの機能ブロックがハードウエアのみ、ソフトウエアのみ、またはそれらの組合せによっていろいろな形で実現できることは、当業者に理解されるところである。

＜キャリブレーション処理＞
　上記したように、実施例の画像投影システム１において、赤外線カメラ２２は、斜めから撮像領域５を撮像するため、撮像されたカード７は、赤外線カメラ２２からの距離に応じて歪んだ形状を有している。そのためゲーム開始前に、処理装置１０は、撮像されたカード７の歪みを解消するための補正用パラメータを予め求めておき、ゲーム開始後は、撮像画像を補正用パラメータを用いて補正した補正画像にもとづいてカード認識処理を実施する。カードゲームプログラムは、キャリブレーションモードとゲームモードとを有し、ゲームモードの実行前に必ずキャリブレーションモードを実行するようにして、プレイ環境に応じた適切な補正用パラメータを求める。なおキャリブレーション用のプログラムは、処理装置１０のシステムソフトウェアに含まれ、ゲームプログラムの実行前に、システムソフトウェアが補正用パラメータを求めて、ゲームプログラムに対して、補正した撮像画像を供給するようにしてもよい。

　撮像画像取得部１００は、プロジェクタ２１により投影された略四角形の投影領域４を少なくとも含む領域を撮像した撮像画像を取得する。キャリブレーションモードの実行中、表示処理部１０４は、赤外線カメラ２２により撮像されている撮像画像を撮像画像取得部１００から受け取り、撮像画像を表示装置３に表示する際に、ユーザが画面の下方に位置するように撮像画像を１８０度回転して表示させる。実施例の画像投影システム１において、赤外線カメラ２２は、赤外線カメラ２２とユーザとの間に位置する撮像領域５を撮像しているため、赤外線カメラ２２の撮像画像は、ユーザが見ている状態と上下が逆になる。そこで表示処理部１０４が、撮像画像を１８０度回転して表示装置３に表示させることで、ユーザに違和感を与えない画像を表示装置３から出力する。

　図３は、キャリブレーションモードにおける初期画面を示す。キャリブレーションモードにおいて、表示処理部１０４が、赤外線カメラ２２の撮像画像の１８０度回転画像を表示装置３に表示する。図３に示す初期画面では、ユーザの手が画面下方から上に向かう方向に表示されているが、表示処理部１０４が回転処理を行わない場合、ユーザの手は、画面上方から下に向かう方向に表示されることになり、ユーザに違和感を与える。そこで表示処理部１０４は撮像画像の回転処理を行っている。

　キャリブレーションモードにおいて、プロジェクタ２１は、投影光をテーブル２に照射する。光学装置２０の電源がオンされると、プロジェクタ２１は、自動的に白色光をテーブル２に照射するが、投影画像生成部１３０が、プロジェクタ２１に、白色光を投影させるように投影制御してもよい。なお投影光は白色光でなくてもよく、ユーザが投影領域４を視認可能な光であればよい。

　図３において一点鎖線で示す投影領域４ａは、テーブル２に照射された投影光の領域を仮想的に示している。投影領域４は、テーブル２上でユーザによって視認されるが、赤外線カメラ２２は、投影された白色光の反射光を撮像しない。そのため表示装置３には投影領域４ａは表示されず、ユーザは、表示装置３の画面から投影領域４ａを確認できない。

　図４は、表示装置３に表示される案内画面を示す。表示処理部１０４は、表示装置３に案内文３０ａを表示する。ここで付属のマーカとは、光学装置２０に同梱されているキャリブレーション用のマーカであり、赤外線カメラ２２により撮像可能な素材で作られている。ユーザは、この案内文３０ａにしたがって、マーカをテーブル２上の投影領域４の４隅に配置する。マーカは、たとえば中抜きの黒丸マーカであってよい。なお投影画像生成部１３０が、案内文３０ａを含めた投影画像を生成して、プロジェクタ２１から投影させてもよい。ユーザは、投影領域４に表示された案内文３０ａをみて、実施するべき作業を認識する。

　図５は、撮像された４つの黒丸マーカ３２ａ～３２ｄを示す。このとき表示装置３には、案内文３０ａが表示され続けていてよい。ユーザは、テーブル２に投影された投影領域４の４隅に黒丸マーカを配置すると、ユーザインタフェース装置を操作して、黒丸マーカを配置したことを処理装置１０に通知する。たとえばマウスをダブルクリックすることが、作業完了を処理装置１０に知らせて次の作業に進むためのトリガとして設定されていてもよい。なお次の作業に進むためのトリガには様々なものがあってよく、たとえばユーザが所定の言葉を発声することで、処理装置１０が音声解析して黒丸マーカが配置されたことを認識し、次の作業に進んでもよい。

　図６は、表示装置３に表示される案内画面を示す。黒丸マーカが配置された後、表示処理部１０４は、案内文３０ｂを表示する。ユーザは、案内文３０ｂにしたがって、カード７を１枚、投影領域４の中央に配置する。このとき表示処理部１０４は、案内文３０ｂとともに、カード７の配置場所を示す情報を表示してもよい。なお投影画像生成部１３０が、案内文３０ｂを含めた投影画像を生成して、プロジェクタ２１から投影させてもよい。

　図７は、ユーザが投影領域４に配置したカード７を撮像した画像を示す。図７には、カード７が投影領域４の略中央に縦向きに配置されているが、赤外線カメラ２２が斜め上方から投影領域４を撮像しているために、矩形のカード７は、撮像画像中では台形の形状で撮像されている。ユーザはカード７を配置すると、ユーザインタフェース装置を操作して、カード７を配置したことを処理装置１０に通知する。

　図８は、表示装置３に表示される案内画面を示す。カード７が配置された後、表示処理部１０４は、案内文３０ｃを表示する。ユーザは、表示装置３の案内画面に表示される黒丸マーカ３２ａ～３２ｄにマウスのポインタを当てて指定操作（クリック操作）を行う。

　位置受付部１０２は、表示装置３に表示された撮像画像においてユーザからの位置指定を受け付ける。具体的に位置受付部１０２は、図８に示す案内画面において、ユーザによりマウスで指定された撮像画像上の位置座標を受け付ける。なお、この例ではユーザインタフェース装置としてマウスを利用する例を示しているが、ユーザは、表示装置３に表示されるポインタをゲームコントローラで動かして、位置指定してもよい。画像変換部１１０において、領域特定部１１４は、位置受付部１０２が受け付けた４つの指定位置から、四角形の領域を特定する。

　なお領域特定部１１４は、黒丸マーカ３２ａ～３２ｄを撮像した撮像画像から、４つの黒丸マーカを自動検出して、四角形の領域を特定してもよい。領域特定部１１４は、キャリブレーション用のマーカの形状を予め記憶していることで、撮像画像から黒丸マーカ３２ａ～３２ｄを抽出し、その位置座標を特定できる。領域特定部１１４が黒丸マーカを自動検出する場合、ユーザによるマーカ指定操作が不要となるため、案内文３０ｃを表示する必要はない。

　このように領域特定部１１４は、赤外線カメラ２２による撮像画像において、ユーザの指定操作により、またはマーカの自動検出により、四角形の領域を特定する。この四角形領域は、ユーザがカード７を配置するための領域を画定し、したがって撮像画像の補正領域を定めるものである。ゲームモードにおいて画像補正部１１６は、少なくとも領域特定部１１４により特定された四角形領域を画像補正する。なお実施例では、投影領域４の４隅に黒丸マーカを配置させる例を示したが、補正領域を定める四角形領域は、投影領域４の内側に設定されてもよく、また撮像領域５の範囲内で投影領域４の外側に設定されてもよい。四角形領域が投影領域４の内側に設定されれば、画像補正部１１６は、その内側の四角形領域を画像補正の対象領域とし、四角形領域が投影領域４の外側に設定されれば、画像補正部１１６は、その外側の四角形領域を画像補正の対象領域とする。

　マーク記憶部１５０は、カードゲームにおいて用意されている全てのカード７のマークと、カード７の識別情報（以下、カードＩＤとよぶ）とを対応付けて記憶する。実施例においてマークは、カード７の表面に描かれたキャラクタなどの図柄であり、マーク記憶部１５０は、マークごとに予め抽出している複数の特徴点の位置関係を表現する特徴パターンと、カードＩＤとを対応付けて記憶していてよい。カード検出部１１２は、撮像画像からカード７のマークの特徴点を抽出し、マーク記憶部１５０に記憶されている複数のマークの特徴パターンを参照して、投影領域内に配置されたカード７のカードＩＤを特定する。なおマーク記憶部１５０は、特徴パターンにおけるカード７の中心位置を記憶しており、カード検出部１１２は、パターンマッチングにより一致するマークを検出した際には、撮像画像に含まれるマークの傾き（カード７の姿勢）と、カード７の中心位置とを特定できる。

　なおキャリブレーション処理において、使用する物体はカード７に限るものではなく、赤外線カメラ２２により撮像可能であって、カード検出部１１２が撮像画像から検出できるものであれば、何でもよい。なおカードゲームにおいては、各カード７のマークの特徴パターンがマーク記憶部１５０に登録されており、処理装置１０はカード認識エンジンを実装しているため、カード７をキャリブレーション処理に利用することの利点は多い。

　画像補正部１１６は、撮像されたカード形状を、カード７の既知形状と相似形状となるように撮像画像を補正する。まず画像補正部１１６は、投影領域４を斜めから撮像している赤外線カメラ２２の位置を、擬似的に投影領域４の真上に配置するための処理を行う。この処理は、カード検出部１１２が検出したカード７の中心位置を原点とした３次元空間を設定し、設定した３次元空間におけるカード中心位置と赤外線カメラ２２との傾きθを導出して、赤外線カメラ２２からの距離に応じた撮像画像の歪みを解消するように撮像画像を変換するための変換行列を求める。投影領域４を斜めから撮像する赤外線カメラ２２は、赤外線カメラ２２の手前側を大きく、赤外線カメラ２２の奥側を小さく撮像しているため、赤外線カメラ２２を投影領域４の真上に擬似的に配置する処理を行うことで、撮像画像の１ピクセルあたりの長さを等しくする。

　なお光学装置２０が姿勢センサを有して、画像補正部１１６が、姿勢センサのセンサ情報にもとづいてテーブル２に対する赤外線カメラ２２の傾きθを自律的に検出できる場合には、カード７を撮像させる処理は実施しなくてよい。画像補正部１１６は、傾きθを取得することで、領域特定部１１４で特定された四角形の領域を、台形状に撮像された状態から矩形状に変換するための変換行列を求める。

　次に画像補正部１１６は、矩形状に変換した四角形の領域をホモグラフィ変換して、プロジェクタ２１による投影領域４のアスペクト比に合わせる処理を行う。画像補正部１１６は、矩形状の四角形領域を、既知のアスペクト比の矩形領域に補正するホモグラフィ変換の技術を利用して、領域特定部１１４で特定された四角形領域を、既知の投影領域４の形状と相似形状となるように射影変換を行うホモグラフィ行列を求める。画像補正部１１６は、ホモグラフィ行列を求めると、求めたホモグラフィ行列を保持して、ゲームモードにおいて撮像画像を補正するために利用する。

　なお画像補正部１１６は、領域特定部１１４で特定された四角形領域を、投影領域４の既知のアスペクト比に合わせてもよいが、たとえば撮像されたカード７の形状を、既知の矩形のアスペクト比となるように射影変換を行うホモグラフィ行列を求めてもよい。

　図９は、画像補正部１１６により補正された画像を示す。画像補正部１１６は、赤外線カメラ２２の傾きθおよびホモグラフィ行列を求めると、擬似的に赤外線カメラ２２を真上に配置したように画像変換して、領域特定部１１４が特定した四角形の領域を変換行列を用いて矩形に直した後、矩形領域を既知のアスペクト比となるようにホモグラフィ行列を用いて補正する。これにより図９に示すように、補正後のカード画像は、所定のアスペクト比をもつ矩形状に表示されるようになる。カード７には、キャラクタなどの図柄が描かれており、認識処理部１２０は、カード７に描かれた図柄をもとにカード認識処理を実施するため、カード画像を所定のアスペクト比をもつ矩形となるように補正することで、認識処理部１２０におけるカード認識処理がより適切に実施されるようになる。なおキャリブレーション処理が終了すると、ユーザは、投影領域４の４隅から、黒丸マーカを取り除き、ゲームモードに移行する。

　以上のように処理装置１０はキャリブレーション処理を実施する。なお上記したようにキャリブレーションに使用する物体はカード７に限定されるものではなく、カード検出部１１２により中心位置を検出可能な他のオブジェクトであってよい。画像補正部１１６は、補正用パラメータ（つまり傾きθ（変換行列）およびホモグラフィ行列）を求めると、以後は、補正用パラメータを用いて補正した撮像画像を生成して、認識処理部１２０に供給する。このとき画像補正部１１６は、認識処理部１２０による処理負荷を増加させないために、領域特定部１１４で特定された画像領域を切り出して、切り出した領域を画像変換した補正画像を認識処理部１２０に供給することが好ましい。なおアプリケーションによるが、画像補正部１１６は、領域特定部１１４で特定される画像領域のうち、所定のエリアのみを切り出して、切り出したエリアの補正画像を認識処理部１２０に供給することで、認識処理部１２０の処理負荷をさらに軽減することも可能である。

　赤外線カメラ２２の傾斜角θを補正する変換行列およびホモグラフィ行列を含む補正用パラメータは、処理装置１０のメイン電源がオフにされるまで画像変換部１１０に保持されて利用されるが、光学装置２０のテーブル２に対する傾きが変更された場合には、あらためてキャリブレーション処理を実施して、補正用パラメータを求め直す必要がある。

＜カード認識処理＞
　マーク記憶部１５０は、カードゲームにおいて用意されている全てのカード７のマークと、カード７のカードＩＤとを対応付けて記憶する。上記したように実施例においてマークは、カード７の表面に描かれたキャラクタなどの図柄であり、マーク記憶部１５０は、マークごとに予め抽出した複数の特徴点の位置関係を表現する特徴パターンと、カードＩＤとを対応付けて記憶している。なお一部カード（以下、レアカードとよぶ）には特殊な加工が施されて、角度によって見える図柄が異なるものが存在する。マーク記憶部１５０は、レアカードについては、各角度から見える全てのマークと、一つのカードＩＤとを対応付けて記憶し、どの角度からカード７の図柄が検出された場合であっても、一つのカードＩＤが特定されるようにする。
　実施例では、説明の便宜上、カード７の表面に「Ａ」や「Ｂ」などの図柄が印刷されたものを使用する。

　図１０は、画像補正部１１６により補正された撮像画像の例を示す。この例では図柄である「Ａ」を印刷されたカード７が投影領域４に配置されている。撮像画像取得部１００は、プロジェクタ２１により投影された略四角形の投影領域４を含む領域を赤外線カメラ２２が撮像した撮像画像を取得する。画像補正部１１６は、周期的に撮像される赤外線反射画像を傾斜角θおよびホモグラフィ行列をもとに補正した補正画像を生成し、認識処理部１２０に提供する。たとえば撮像周期は１／６０秒であり、画像補正部１１６は、撮像周期と同じ周期で投影領域４の撮像画像を補正してもよいが、処理負荷を軽減するために撮像周期よりも遅い周期で（すなわち撮像画像を間引いて）補正してもよい。

　認識処理部１２０は、カード検出部１２２、カード情報生成部１２４およびオブジェクト検出部１２６を有して、撮像画像に含まれるカード７の認識処理を実行する。なお認識処理部１２０におけるカード検出部１２２と、画像変換部１１０におけるカード検出部１１２とは、図２において別の構成として示しているが、処理装置１０において両者は同じカード認識エンジンにより構成されてよい。

　カード検出部１２２は、撮像画像から、マーク記憶部１５０に記憶されている複数のマークの特徴パターンを探索する。カード検出部１２２は、マーク記憶部１５０に記憶されているマークの特徴パターンを、投影領域内から抽出されるマーク８ａの特徴パターンと比較するパターンマッチング処理を実施する。カード検出部１２２は、撮像画像に含まれるマーク８ａの特徴パターンを、マーク記憶部１５０に保持された特徴パターンと比較して、マーク８ａに一致する特徴パターンを特定し、その特徴パターンに対応付けられたカードＩＤを特定する。この例では、マーク記憶部１５０に記憶されたマーク「Ａ」に対応付けられたカードＩＤが特定される。

　なお図１０に示す例では、カード検出部１２２が、投影領域４の全体を撮像した画像からマークの検出処理を実施しているが、アプリケーションによっては、投影領域４がカード７を配置するための複数のエリアに分割されていてもよい。この場合、カード検出部１２２は、各エリア内でカード７の検出処理を実施すればよく、エリアを限定できるために、パターンマッチングの処理時間を短縮できる。

　一般にカード７には天地が存在し、通常は短辺の一方が上辺、短辺の他方が下辺となる。マーク記憶部１５０は、マーク８の特徴パターンを、カード７の正しい天地となるように保持している。なお長辺の一方が上辺、長辺の他方が下辺となるようなカード７であってもよい。カード検出部１２２は、撮像画像からマーク８ａを抽出してマーク記憶部１５０に記憶されたマーク８と比較して、一致するマーク８を検出すると、検出したマーク８の中心座標（カード７の中心座標）と、マーク８ａの傾き（カード７の姿勢）を特定する。

　カード検出部１２２は、マーク記憶部１５０に記憶されたマークの特徴パターンを何度回転させると、撮像画像に含まれるマーク８ａの特徴パターンに一致するか特定する。この姿勢情報（角度情報）は、補正された撮像画像の２次元座標系におけるカード７の姿勢を示し、カード７の下辺から上辺に向かう左辺または右辺の傾きとして表現される。姿勢情報については、図１３で説明する。

　なお、カード７を利用した画像投影システム１においては、投影領域４における実世界座標系と、赤外線カメラ２２におけるカメラ座標系と、プロジェクタ２１におけるプロジェクタ座標系とがそれぞれ独立して存在する。処理装置１０は、これらの座標系を自動調整する座標調整機能を備えており、これにより赤外線カメラ２２で検出されたマーク８の位置座標が、投影領域４における位置座標に変換されて取り扱われ、また投影領域４における位置座標が、プロジェクタ２１におけるプロジェクタ座標系の位置座標に変換されて取り扱われる。以下では、処理装置１０が、この座標調整機能を有していることを前提とし、説明の便宜上、様々な位置座標を、投影領域４における２次元座標系の位置座標と同一視して説明する。

　カード検出部１２２が、カード７のカードＩＤ、中心座標および姿勢情報を検出すると、カード情報生成部１２４が、アプリケーションで使用するカード情報を生成する。ここではカード情報生成部１２４が、カード７のカードＩＤ、姿勢情報と、カード７の４隅の頂点座標を、カード情報として生成し、カード情報を投影画像生成部１３０および指示検出部１４０に提供する。なおカード情報生成部１２４はカード７の大きさを認識しており、カード検出部１２２から提供される中心座標および姿勢情報から、カード７の４隅の頂点座標を求めることができる。

　カード検出部１２２は、所定の周期でカード認識処理を実施し、検出したカード７のカードＩＤ、中心座標および姿勢情報を、カード情報生成部１２４に提供する。たとえばカード検出部１２２は、赤外線カメラ２２の撮影周期に同期してカード認識処理を実施してもよい。なおカード検出部１２２は、認識済みのカード７に対しては、トラッキング処理を実施して、カード７のカードＩＤ、中心座標および姿勢情報を、カード情報生成部１２４に提供してもよい。

＜ゲーム制御＞
　演出記憶部１５４は、カードＩＤに、演出内容を対応付けて記憶する。演出記憶部１５４は、カードＩＤと、静止画像または動画像である演出パターンとを対応付けて記憶してよい。なお演出記憶部１５４は、カードＩＤおよびゲームシーンに対応付けられている演出パターンを記憶してもよい。投影画像生成部１３０は、カード７の周辺で常時動いているような動画像、たとえばユーザの期待感やゲームの臨場感を高めるような動画像を生成することが好ましい。投影画像生成部１３０は、認識処理部１２０が認識したカード７にもとづいて、プロジェクタ２１により投影する投影画像を生成する。投影画像生成部１３０の機能は、カードゲームプログラムによって実現され、ゲームの進行に応じて、カードＩＤに対応付けられた演出内容から投影画像を生成する。

　投影画像生成部１３０により生成された投影画像は、プロジェクタ２１により投影領域４に投影される。カード認識処理において、赤外線カメラ２２は、プロジェクタ２１による投影光の影響を受けずにカード７を撮像できるため、認識処理部１２０は、赤外線カメラ２２による撮像画像をもとに、カード７の特定処理を適切に実施できる。なお可視光カメラ２３は、プロジェクタ２１により投影される演出も撮像するため、カード認識の用途には適さない。

　投影画像生成部１３０は、演出記憶部１５４に記憶された演出パターンにしたがって、プロジェクタ２１の画像投影を制御する。具体的に投影画像生成部１３０は、認識処理部１２０から提供されるカードＩＤに対応付けられている演出画像を演出記憶部１５４から読み出し、または演出記憶部１５４から読み出された演出パターンにしたがって演出画像を生成して、カード７の位置情報をもとに、プロジェクタ２１に演出画像を投影させる。たとえば投影画像生成部１３０は、カード７の近傍に、ゲームルールに関する説明や、カード７の操作方法など、進行に関するゲーム操作情報を投影させてもよい。このように投影画像生成部１３０は、ゲーム操作をアシストする情報をプロジェクタ２１からカード７近傍に投影させることで、ユーザが円滑にゲームを進行できるようになる。

　なお投影画像生成部１３０は、カード７上に白色光を投影させるようにプロジェクタ２１を制御することが好ましい。実施例のカード７の表面には、図柄が描かれており、ユーザは、図柄によってカード７を特定する。そのためカード７上にプロジェクタ２１からの演出画像が投影されると、演出効果は高まるものの、図柄の視認性は落ちることになる。そこで投影画像生成部１３０は、認識処理部１２０から供給されるカード７の４隅の頂点座標をもとに、カード７上に白色光を投影させるようにプロジェクタ２１を投影制御することで、カード７の視認性を損なうことなく、ゲーム演出を行うことができる。

　なお投影画像生成部１３０は、投影領域４の全体に投影する背景画像を、認識処理部１２０により特定されたカード７に応じて変更してよい。このとき複数のカード７が投影領域４に配置されていれば、その複数のカード７の組合せに応じて、投影画像生成部１３０が背景画像を決定してもよい。また背景用のカード７を予め設定しておき、背景用のカード７が特定されると、当該カード７の背景画像が投影されるようにしてもよい。

　図１１は、投影領域４に投影された投影画像の例を示す。カード７ａ～７ｃは、投影領域４に配置されているカードである。投影画像生成部１３０は、カード７ａ～７ｃに対して白色光を投影しつつ、さらにカード７ａ、７ｃの周囲を丸で囲い、カード７ｂにバツをつける演出画像を投影している。ここで丸で囲われたカード７ａ、７ｃは、操作可能なカードであることを示し、バツを付加されたカード７ｂは、操作不能なカードであることを示す。このように投影画像生成部１３０は、カード７の状態をユーザが認識できるような投影画像を生成することで、ユーザが円滑にゲームを進行できるようになる。

　なお投影画像生成部１３０が、カード７に対応付けられた演出画像をプロジェクタ２１から投影させることを説明したが、投影画像生成部１３０は、たとえばカード７の動きに応じて演出画像を投影させてもよい。投影画像生成部１３０は、カード７の位置座標の変化からカード７の速度および進行方向を導出して、導出した速度および進行方向に対応付けられている演出画像をプロジェクタ２１から投影領域４に投影させてもよい。

＜ゲーム操作＞
　上記したように、投影画像生成部１３０は、カード７の位置や動きなどのカード操作に基づいて投影画像を生成する。以下においては、それ以外の操作によって、ゲームを進行させるユーザインタフェースを提案する。

　カードゲームでは、カードの向きによって、カードの状態を表現することが一般に行われている。たとえば縦向きのカードは操作可能であるが、横向きのカードは、一時的に操作できない状態にあることを示す。また縦向きのカードはスタンバイ状態、横向きのカードは攻撃状態にあることを示してもよい。縦向きか横向きかで表現されるカードの状態はゲームにより適宜定められる。

　投影画像生成部１３０は、認識処理部１２０から、カード７のカードＩＤ、姿勢情報および４隅の頂点座標（以下、位置情報ともよぶ）を、カード情報として提供される。投影画像生成部１３０は、提供された姿勢情報から、カード７の向きを特定し、カード７の向きに応じた投影画像を生成する。以下、提供される姿勢情報を、角度αとする。

　図１２（ａ）～図１２（ｄ）は、投影画像生成部１３０が取り扱うカード７の向きの態様を示す。図１２（ａ）に示すカード７は「上向き」、図１２（ｂ）に示すカード７は「左向き」、図１２（ｃ）に示すカード７は「下向き」、図１２（ｄ）に示すカード７は「右向き」として特定される。投影画像生成部１３０は、撮像画像に含まれるカード７の向きを、上下左右の４つの向きのいずれかに特定する。

　図１３（ａ）、（ｂ）は、認識処理部１２０から提供される姿勢情報を説明するための図である。角度αは、カード７の下辺から上辺に向かう辺（たとえば左辺）の傾きとして表現される。角度αは、カード７の下辺の左頂点を仮想２次元座標系の原点に配置したときの、横軸であるｘ軸からの角度として特定される。

　図１４（ａ）は、カード向きを判定するための第１判定基準を示す。上向き判定領域４０ａは、角度αが４５度以上、１３５度未満である領域を示す。左向き判定領域４０ｂは、角度αが１３５度以上、２２５度未満である領域を示す。下向き判定領域４０ｃは、角度αが２２５度以上、３１５度未満である領域を示す。右向き判定領域４０ｄは、角度αが３１５度以上、３６０度未満、または０度以上、４５度未満である領域を示す。

　図１４（ａ）に示す第１判定基準は、上下左右の各向きの範囲を示す判定領域を規定する。図１４（ｂ）に示す第２判定基準と比較すると明らかなように、第１判定基準では、各判定領域の境界が連続しており、したがって角度αが与えられれば、投影画像生成部１３０は、ただちにカード７の向きを特定できる。

　認識処理部１２０が、最初にカード７を認識した時点でのカードＩＤ、位置情報および姿勢情報をカード情報として投影画像生成部１３０に提供すると、投影画像生成部１３０は、そのときの姿勢情報（角度α）から、図１４（ａ）に示す第１判定基準を用いて、カード７の向きを判定し、カード７の向きに応じた投影画像を生成する。

　認識処理部１２０は、カード７を検出し続けている間、カード７のカード情報を投影画像生成部１３０に提供する。投影画像生成部１３０は、姿勢情報にもとづいて、カード７の向きを特定するが、その際、カード７の左辺が第１判定基準の境界近傍の角度にあると、カード７の検出精度によっては、カード７が動かされていないにも関わらず、カード向きの判定結果が変化することがある。

　図１４（ｂ）は、カード向きを判定するための第２判定基準を示す。図１４（ｂ）に示す第２判定基準は、投影画像生成部１３０がカード７の向きを図１４（ａ）に示す第１判定基準を用いて決定した後に使用される。図１４（ｂ）に示す第２判定基準では、向き判定領域の間に、不感領域４２が設けられ、向き判定領域の境界は連続しない。

　投影画像生成部１３０は、角度αが、ある向き判定領域から不感領域４２に含まれるようになっても、判定したカード向きを変更しない。投影画像生成部１３０は、角度αが、ある向き判定領域から不感領域４２を超えて別の判定領域に含まれるようになった場合に、カード向きが切り替わったことを判定する。このような不感領域４２を設けることで、向き判定の結果が頻繁に入れ替わることを防止できる。

　このように投影画像生成部１３０は、第１判定基準をもとにカード７の向きを特定した後は、向き判定領域間に不感領域４２を設けた第２判定基準にもとづいてカード７の向きを特定する。これにより認識処理部１２０の検出精度にかかわらず、カード７の向きを安定して特定できるようになる。

　実施例の投影画像生成部１３０は、４方向のカード向きを区別して特定する。これによりカードゲームにおいては、カード７の４方向に対して、それぞれ異なるカード状態をもたせることができ、ゲーム操作の選択肢を増やすことができる。たとえば上向きのときは操作可能状態、左向きのときは操作不能状態、下向きのときはスタンバイ状態、右向きのときは攻撃状態にあることを指定し、投影画像生成部１３０は、カード７の向きに応じた投影画像を生成してよい。

　実施例のカードゲームでは、ゲームコントローラを用いたゲーム操作も可能とするが、カード７を用いたゲーム操作がユーザ感覚に沿うため、カード７の向きによって４つの操作選択肢を作り出せることは、カードゲームにおいて革新的なユーザインタフェースを提供する。

　次に、カード７とは別の実オブジェクトによりゲーム操作を行う例を示す。
　指示検出部１４０は、カード７に対する指示またはゲームアプリケーションに対する指示を検出する。カード７やゲームに対する指示は、ユーザによりカード７とは異なる物体（実オブジェクト）によって生成される。投影画像生成部１３０は、指示検出部１４０が検出した指示にもとづいて、投影画像を生成する。

　認識処理部１２０において、オブジェクト検出部１２６は、カード７とは異なる物体（実オブジェクト）を検出する。実オブジェクトの一つの例は、ユーザの手指である。

　図１５は、画像補正部１１６により補正された撮像画像の例を示す。この例では図柄である「Ａ」、「Ｃ」を印刷された２枚のカード７ａ、７ｄが投影領域４に配置されている。画像補正部１１６は、補正用パラメータを用いて撮像画像を補正して、認識処理部１２０に提供する。

　認識処理部１２０において、カード情報生成部１２４が、カード７ａ、７ｄのカードＩＤ、姿勢情報および４隅の頂点座標を、カード情報として生成して、指示検出部１４０に提供する。ここで撮像画像にユーザの手指が入り込むと、オブジェクト検出部１２６は、撮像画像に含まれる物体の位置情報を検出する。オブジェクト検出部１２６は、検出したオブジェクトの位置情報を、指示検出部１４０に提供する。

　オブジェクト検出部１２６は、撮像画像においてオブジェクトが所定以上の長さを有する場合に、当該オブジェクトが長尺オブジェクト５０であることを検出する。図１５に示す例では、長尺オブジェクト５０は、ユーザの手指であるが、たとえばカードゲームの付属品として用意されたカード指定棒であってもよい。オブジェクト検出部１２６は、オブジェクトが所定以上の長さを有して撮像されている場合に、長尺オブジェクト５０が撮像領域に進入したことを検出し、長尺オブジェクト５０の先端の位置座標を、検出情報として指示検出部１４０に提供する。

　指示記憶部１５２は、オブジェクトに関連づけられたゲーム指示を記憶する。指示記憶部１５２は、オブジェクトに関連づけて、ゲーム進行に応じたゲーム指示を記憶していてもよい。たとえば、あるゲームシーンにおいて、長尺オブジェクト５０によるカードの指定は、攻撃カードを選択するための指示として記憶されており、また別のゲームシーンにおいて長尺オブジェクト５０によるカードの指定は、攻撃を開始するための指示として記憶されていてよい。上記したように投影画像生成部１３０は、カード７近傍にゲーム操作のアシスト情報を投影するため、ユーザは、手指を使った直観的なゲーム操作を可能とする。

　付加オブジェクト検出部１４２は、長尺オブジェクト５０の先端の位置座標と、カード７の４隅の頂点座標から、長尺オブジェクト５０がカード７上に進入したか否かを判定する。長尺オブジェクト５０の位置座標が、カード７の４隅の頂点座標で囲まれる矩形領域内に含まれる場合に、付加オブジェクト検出部１４２は、長尺オブジェクト５０がカード７上に進入したことを判定して、長尺オブジェクト５０がカード７を指定したことを検出する。付加オブジェクト検出部１４２は、指示記憶部１５２を参照して、指定されたカード７に対するゲーム指示を読み出し、投影画像生成部１３０に、指定されたカード７のカードＩＤとゲーム指示とを提供する。これを受けて投影画像生成部１３０は、当該カード７に対して、ゲーム指示を反映した投影画像を生成する。

　なお付加オブジェクト検出部１４２は、長尺オブジェクト５０がカード７の矩形領域に進入したことを検出すると、検出してから所定時間（たとえば２秒）の間、長尺オブジェクト５０が矩形領域に入り込み続けた場合に、長尺オブジェクト５０がカード７上に進入したことを判定してもよい。たとえばユーザが意図せずカード７を触ってしまった場合や、カード７の位置を整えようとしている場合には、ユーザにカード選択の意思はない。そのため所定時間の間、矩形領域に進入している場合に、付加オブジェクト検出部１４２は、ユーザの長尺オブジェクト５０によるカード指定操作として判定してもよい。

　さらに付加オブジェクト検出部１４２は、カード指定操作として検出する際に、カード７が動かされていないことを条件としてもよい。カードゲームにおいては、カード７の配置を動かすゲーム操作があり、カード７の配置を動かす場合には、ユーザは手指でカード７を動かすことになる。そのため、このゲーム操作と区別するために、付加オブジェクト検出部１４２は、カード７が動かされないこと、つまりカード７の位置座標に変化がないことを条件として、長尺オブジェクト５０によるカード指定操作を検出してもよい。

　上記したように、長尺オブジェクト５０の検出処理は、赤外線カメラ２２の撮像画像にもとづいて実施されてよいが、光学装置２０は、オブジェクト検出用の別の赤外線カメラをさらに備えてもよい。光学装置２０は、投影領域４上に赤外レーザ光を照射する光源と、投影領域４を撮像する第２の赤外線カメラを備えてよい。オブジェクト検出部１２６は、第２の赤外線カメラの撮像画像から、投影領域４に進入したオブジェクトを検出してもよい。

　図１６は、投影領域４に投影された投影画像の例を示す。カード７ａ、７ｄは、投影領域４に配置されているカードである。投影画像生成部１３０は、カード７ａに対しては白色光を投影しつつ、カード７ａの周囲に、指定されたことを示す演出画像を投影させている。このように投影画像生成部１３０は、カード７ａに対する指示が検出される前と、検出された後とで、カード７ａに対して異なる投影画像を生成し、プロジェクタ２１から投影させる。これによりユーザは、カード７ａを適切に指定できたことを知ることができる。なおカード７ｄは選択されていないため、カード７ｄに対する投影画像に変更はない。

　図１７は、画像補正部１１６により補正された撮像画像の例を示す。この例では図柄である「Ａ」、「Ｃ」を印刷された２枚のカード７ａ、７ｄが投影領域４に配置されている。画像補正部１１６は、補正用パラメータを用いて撮像画像を補正して、認識処理部１２０に提供する。認識処理部１２０において、カード検出部１２２が、カード７ａ、７ｄのカードＩＤ、中心座標および姿勢情報を検出し、カード情報生成部１２４が、カード７ａ、７ｄのカードＩＤ、４隅の頂点座標および姿勢情報を含むカード情報を生成して、指示検出部１４０に提供する。

　図１７では、カード７ｄ上に、２つのアイテムオブジェクト５２が配置された状態が撮像されている。このアイテムオブジェクト５２は、カードゲームの付属品として用意されたゲーム用コインである。アイテムオブジェクト５２は、その検出精度を高めるために、たとえば再帰性反射材によって作られてよい。

　カードゲームでは、カード７にアイテムを載せて、カード７の状態を変化させる状態指定方法がある。アイテムオブジェクト５２は、カード７の状態を変化させるために利用され、ユーザは、カード７の状態に応じた数のアイテムオブジェクト５２をカード７に載せられる。オブジェクト検出部１２６は、撮像画像に含まれるアイテムオブジェクト５２を検出し、検出したアイテムオブジェクト５２の位置情報を指示検出部１４０に提供する。

　付加オブジェクト検出部１４２は、オブジェクトの位置情報と、カード７の４隅の頂点座標から、オブジェクトがカード７上に進入したか否かを判定する。付加オブジェクト検出部１４２は、カード７の矩形領域に入り込むオブジェクトが矩形領域外にでていない場合、すなわち矩形領域内でのみ検出される場合に、当該オブジェクトがアイテムオブジェクト５２であることを検出する。図１７に示す例では、アイテムオブジェクト５２は、ゲーム用コインであるが、小石などのオブジェクトであってもよい。アイテムオブジェクト５２は、カード７のサイズよりも小さい物体である必要がある。付加オブジェクト検出部１４２は、カード７の矩形領域に進入したオブジェクトが矩形領域内からはみ出ない場合に、アイテムオブジェクト５２が進入したことを検出し、アイテムオブジェクト５２が進入した矩形領域から、カード７のカードＩＤを特定する。

　指示記憶部１５２は、オブジェクトに関連づけられたゲーム指示を記憶する。指示記憶部１５２は、オブジェクトに関連づけて、ゲーム進行に応じたゲーム指示を記憶していてもよい。また指示記憶部１５２は、アイテムオブジェクト５２の個数に応じたゲーム指示を記憶していてもよい。

　付加オブジェクト検出部１４２は、アイテムオブジェクト５２により指定されたカード７を特定すると、指示記憶部１５２を参照して、カード７に対するゲーム指示を読み出し、投影画像生成部１３０に、指定されたカード７のカードＩＤとゲーム指示とを提供する。これを受けて投影画像生成部１３０は、当該カード７に対して、ゲーム指示を反映した投影画像を生成する。

　なおアイテムオブジェクト５２を再帰性反射材で形成した場合、赤外線反射強度が高いため、カード検出時の赤外線カメラ２２と同じカメラパラメータでアイテムオブジェクト５２を撮像すると、反射強度が強すぎて、アイテムオブジェクト５２の輪郭がぼやけ、実際のサイズよりも大きく撮像されてしまう。そのため赤外線カメラ２２は、カード検出用のカメラパラメータと、再帰性反射材検出用のカメラパラメータとを調整して、背景は暗く、アイテムオブジェクト５２のみが明るく画像に写り込むように撮像を実行することが好ましい。以下、カード検出用のカメラパラメータを第１パラメータ、再帰性反射材検出用のカメラパラメータを第２パラメータと呼ぶ。

　１つの手法として第１パラメータのシャッタースピードと第２パラメータのシャッタースピードを比較すると、第１パラメータのシャッタースピードは相対的に遅く、第２パラメータのシャッタースピードは相対的に速く設定される。これにより再帰性反射材の輪郭を実際のサイズに等しく撮像できるようになる。

　別の手法として、第２パラメータのカメラゲインを、第１パラメータのカメラゲインよりも下げてもよい。つまり再帰性反射材検出用のカメラパラメータでは、赤外線カメラ２２の感度を下げることで、再帰性反射材の輪郭を実際のサイズに等しく撮像できるようになる。

　これらの手法は単独で利用されてもよく、また組み合わせて利用されてもよい。赤外線カメラ２２は、第１パラメータと第２パラメータとを時間的に交互に切り替えて撮像してもよい。また赤外線カメラ２２は、水平ラインごとに第１パラメータと第２パラメータとを交互に切り替えて撮像してもよく、画素ごとに第１パラメータと第２パラメータとを交互に切り替えて撮像してもよい。赤外線カメラ２２がステレオカメラである場合は、一方のカメラを第１パラメータで動作させ、他方のカメラを第２パラメータで動作させてもよい。このように再帰性反射材のアイテムオブジェクト５２を利用する場合には、異なるカメラパラメータで、カード検出とアイテム検出とが実施されてよい。

　次に、認識済みのカード７に、別のカード７を重ねることで、ゲーム操作を行う例を示す。
　重畳検出部１４４は、認識済みのカード７の上に、新たなカード７が重ねられたことを検出する。重畳検出部１４４がカード７が重ねられたことを検出すると、投影画像生成部１３０は、カードが重ねられたことに応じた投影画像を生成する。

　認識処理部１２０において、カード情報生成部１２４は、カード７のカードＩＤ、カード７の４つの頂点座標および姿勢情報を含むカード情報を、指示検出部１４０に提供する。あるカード７が配置されていた位置に、当該カード７が取り除かれることなく、別のカード７が配置されると、重畳検出部１４４は、異なる種類のカード７が重ねられたことを検出する。

　図１８は、画像補正部１１６により補正された撮像画像の例を示す。この例では図柄である「Ａ」を印刷されたカード７ａが投影領域４に配置されている。画像補正部１１６は、補正用パラメータを用いて撮像画像を補正して、認識処理部１２０に提供する。認識処理部１２０において、カード検出部１２２が、カード７ａのカードＩＤ、中心座標および姿勢情報を検出して、カード情報生成部１２４が、カードＩＤ、カード７の４つの頂点座標および姿勢情報を含むカード情報を生成し、指示検出部１４０に提供する。

　重畳検出部１４４は、カードＩＤおよび４つの頂点座標から、検出されたカード７ａの位置を認識する。投影領域４においてカード７ａが動かされなければ、重畳検出部１４４は、その間、カード７ａが静止していることを認識する。ここでカード７ａ上にユーザが別のカード７ｄを重ねると、カード情報生成部１２４は、カード７ｄのカードＩＤ、４つの頂点座標および姿勢情報を含むカード情報を、指示検出部１４０に提供する。なおカード検出部１２２は、カード７ａを検出できなくなるため、カード情報生成部１２４は、カード７ａのカード情報を指示検出部１４０に提供しない。

　図１９は、カード７ａにカード７ｄを重ねた状態を示す。重畳検出部１４４は、カード情報生成部１２４から提供されるカード７ｄのカード情報を受け取ると、カード７ａが消失したことを認識するとともに、カード７ａが配置されていた位置に、カード７ｄが配置されていることを認識する。そこで重畳検出部１４４は、カード７ａに、新たなカード７ｄが重ねられたことを検出する。

　重畳検出部１４４は、カード７ａの位置情報とカード７ｄの位置情報とが重なる関係にあることを示す場合に、カード７ａ上にカード７ｄが重ねられたことを検出する。たとえば重畳検出部１４４は、カード７ａの４点の頂点座標からカード７ａの重心座標を求め、またカード７ｄの４点の頂点座標からカード７ｄの重心座標を求めて、２つの重心座標の距離が所定距離（たとえば短辺の半分）以下である場合に、カード７ａにカード７ｄが重ねられたことを判定してもよい。なお重畳検出部１４４は、認識処理部１２０からカード７ａのカードＩＤ等の情報の提供が途絶え、しばらくの時間が経過した後に、カード７ａと同位置となるカード７ｄの情報の提供を受けた場合には、カードが重ねられたことを判定しない。この場合は、ユーザがカード７ａをカード７ｄに交換したと判定されてよい。

　重畳検出部１４４は、カード７ａにカード７ｄが重ねられたことを検出すると、投影画像生成部１３０にその旨を通知する。投影画像生成部１３０は、カード７ａにカード７ｄが重ねられたことに応じた投影画像を生成し、プロジェクタ２１から投影させる。

　図２０は、投影画像の例を示す。図２０（ａ）は、カード７ａの攻撃力が５０００であるとする投影画像を示す。図１８に示すようにカード７ａが検出されている場合、カード７ａの近傍には、図２０（ａ）に示す投影画像が投影されている。この状態から、図１９に示すようにカード７ａにカード７ｄが重ねられると、図２０（ｂ）に示すように、カード７ａにカード７ｄを重ねた状態の攻撃力が１００００であるとする投影画像が投影される。実施例のカードゲームでは、カード７を複数枚重ねたことによる特殊効果を生じさせることで、ゲームに新しい楽しみ方を提供できる。

　以上は、別種類のカード７を重ねた場合の処理であるが、ユーザが同じ種類のカード７を複数枚有していることは多い。そこで以下では、同じ種類のカード７を重ねた場合の処理について説明する。

　実施例のカード検出部１２２は、図柄によりカード７を特定するものであり、同種のカード７を区別できない。そこで実施例では、マークを不可視インクで印刷したカードスリーブを利用し、カードスリーブにカード７を入れることで、同種のカード７であっても区別できるようにする。

　図２１（ａ）は、カードスリーブ９を示す。このカードスリーブ９は、カード７を入れるための袋体の形状を有するフィルムケースであり、ユーザは、カードスリーブ９にカード７を入れて保護することができる。カードスリーブ９は、可視光を透過する透明シートにより形成される。

　カードスリーブ９には、赤外線カメラ２２で撮像可能なインクでスリーブ識別情報（スリーブＩＤ）９ａが印刷されている。このインクは、不可視インクであって、スリーブＩＤ９ａは、ユーザにより視認されないように印刷されていることが好ましい。ユーザは、複数のカードスリーブ９を有してよいが、各カードスリーブ９のスリーブＩＤ９ａは、重複しないことが好ましい。

　図２１（ｂ）は、カードスリーブ９にカード７を入れた状態を示す。ユーザは、同種のカード７を重ねる場合は、カードスリーブ９にカード７を入れた状態で使用する。カード検出部１２２は、カードＩＤを特定する際に、スリーブＩＤ９ａを読み取る。カード情報生成部１２４は、カード７に関するカード情報として、カードＩＤ、４つの頂点座標および姿勢情報とともに、スリーブＩＤを重畳検出部１４４に提供する。

　図１８を参照して、認識処理部１２０において、カード検出部１２２が、カード７ａのカードＩＤ、中心座標および姿勢情報を検出する。指示検出部１４０は、カード情報生成部１２４から、カード７ａのカードＩＤ、４つの頂点座標および姿勢情報とともに、スリーブＩＤを提供される。

　重畳検出部１４４は、カードＩＤおよび頂点座標から、検出されたカード７ａの位置を認識する。投影領域４においてカード７ａが動かされなければ、重畳検出部１４４は、その間、カード７ａが静止していることを認識する。ここでカード７ａ上にユーザが同種の別のカード７ａを重ねると、カード情報生成部１２４は、カード７ａのカードＩＤ、４つの頂点座標および姿勢情報とともに、スリーブＩＤを指示検出部１４０に提供する。

　図２２は、カード７ａに、カード７ａを重ねた状態を示す。いずれのカード７ａも、カードスリーブ９に挿入されている。なお各カードスリーブ９のスリープＩＤは異なっている。重畳検出部１４４は、カード情報生成部１２４から提供されるカード７ａのカード情報を受け取ると、スリーブＩＤに変更があったことから、元のカード７ａが配置されていた位置に、新たな別のカード７ａが配置されていることを認識する。そこで重畳検出部１４４は、カード７ａに、別のカード７ａが重ねられたことを検出する。

　重畳検出部１４４は、カード７ａに同種のカード７ａが重ねられたことを検出すると、投影画像生成部１３０にその旨を通知する。投影画像生成部１３０は、カード７ａにカード７ａが重ねられたことに応じた投影画像を生成し、プロジェクタ２１から投影させる。

　以上、本発明を実施例をもとに説明した。この実施例は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

　実施例では、コインなどの実オブジェクトをカード７上に配置して、カード７の状態を変更したが、処理装置１０は、バーチャルなアイテムをカード７に配置（投影）して、カード７の状態を変更してもよい。また投影画像生成部１３０は、サーバや処理装置１０に記録しているセーブデータを読み込むことでカード７の状態を設定して、プロジェクタ２１から状態を示す投影画像をカード７に投影させてもよい。

　実施例では、同種のカード７をカードスリーブ９によって区別したが、同種のカード７を重ねたことは、ユーザにより指定されてもよい。たとえばカード７の近傍に、同種カード７を重ねたことを示すボタン画像が投影され、ユーザがボタン画像が投影された位置をタッチすると、同種のカード７を重ねたことが重畳検出部１４４により検出されてもよい。このときオブジェクト検出部１２６は、投影領域４におけるユーザの指位置を検出し、重畳検出部１４４は、指位置がボタン画像の投影位置に重なったときに、同種のカード７が重ねられたことを検出してもよい。なお音声認識部１４６が、ユーザからの「同じカードを重ねました」の発声を認識すると、重畳検出部１４４は、同種のカード７が重なったことを検出してもよい。

１・・・画像投影システム、３・・・表示装置、４・・・投影領域、５・・・撮像領域、７，７ａ，７ｂ，７ｃ，７ｄ・・・カード、８，８ａ・・・マーク、９・・・カードスリーブ、１０・・・処理装置、２０・・・光学装置、２１・・・プロジェクタ、２２・・・赤外線カメラ、２３・・・可視光カメラ、１００・・・撮像画像取得部、１０２・・・位置受付部、１０４・・・表示処理部、１１０・・・画像変換部、１１２・・・カード検出部、１１４・・・領域特定部、１１６・・・画像補正部、１２０・・・認識処理部、１２２・・・カード検出部、１２４・・・カード情報生成部、１２６・・・オブジェクト検出部、１３０・・・投影画像生成部、１４０・・・指示検出部、１４２・・・付加オブジェクト検出部、１４４・・・重畳検出部、１４６・・・音声認識部、１５０・・・マーク記憶部、１５２・・・指示記憶部、１５４・・・演出記憶部。

　本発明は、投影装置であるプロジェクタから画像を投影する技術分野に利用できる。

Claims (5)

1. 　プロジェクタにより投影された投影領域を含む領域を撮像した撮像画像を取得する撮像画像取得部と、
   　撮像画像に含まれるカードの認識処理を実行する認識処理部と、
   　前記認識処理部が認識したカードにもとづいて、プロジェクタにより投影する投影画像を生成する投影画像生成部と、
   　認識済みの第１のカードの上に、新たな第２のカードが重ねられたことを検出する重畳検出部と、
   　を備えることを特徴とする処理装置。
2. 　前記重畳検出部がカードが重ねられたこと検出すると、前記投影画像生成部は、カードが重ねられたことに応じた投影画像を生成する、
   　請求項１に記載の処理装置。
3. 　前記認識処理部は、認識したカードの識別情報および位置情報を前記重畳検出部に提供し、
   　前記重畳検出部は、第１のカードの位置情報と第２のカードの位置情報とが重なる関係にあることを示す場合に、第１のカード上に第２のカードが重ねられたことを検出する、
   　ことを特徴とする請求項１または２に記載の処理装置。
4. 　プロジェクタにより投影する投影画像を生成する方法であって、
   　プロジェクタにより投影された投影領域を含む領域を撮像した撮像画像を取得するステップと、
   　撮像画像に含まれるカードの認識処理を実行するステップと、
   　認識したカードにもとづいて、プロジェクタにより投影する投影画像を生成するステップと、
   　認識済みの第１のカードの上に、新たな第２のカードが重ねられたことを検出するステップと、
   　を有することを特徴とする投影画像生成方法。
5. 　コンピュータに、
   　プロジェクタにより投影された投影領域を含む領域を撮像した撮像画像を取得する機能と、
   　撮像画像に含まれるカードの認識処理を実行する機能と、
   　認識したカードにもとづいて、プロジェクタにより投影する投影画像を生成する機能と、
   　認識済みの第１のカードの上に、新たな第２のカードが重ねられたことを検出する機能と、
   　を実現させるためのプログラム。

Images