JP7229198B2 - 仮想空間表示装置、プログラム - Google Patents

Description

仮想現実、各超現実、複合現実に関する。

近年、拡張現実(AR)や仮想現実(VR)、複合現実(MR)を活用したゲームが登場している(特許文献1)。これら、VRゲームでは、ゲーム内のオブジェクトが仮想的に表現され、ユーザーは手に持った指示装置などを用いて仮想オブジェクトに触れゲームを進行する。

また、従来現実のカードやコマでプレイされていたゲームはコンピューターゲームとして実装され、ゲームの進行やカードの管理などが現実のカードやコマを扱う場合よりもユーザーにとって簡単なものになっている。

特開2020-064652

カードゲームやボードゲームをコンピューターゲームとしてプレイすることで、ユーザーは煩雑なゲームの進行処理などを自動化できる他、得点などの各種情報をわかりやすい形式で確認可能となる。一方で、カードゲームやボードゲームは、そのゲームのルールなどのゲーム性の他、ユーザーはカードやゲームのコマを手に持ったり並べたりなど、カードやコマに触れて扱うことも楽しむものである。コンピューターゲームやVRゲームとしてプレイする場合では、これらの利点が失われることとなる。

そこで、本願発明では、カードゲームやボードゲームといった、カードやコマを扱うゲームをコンピューターゲームとすることによって得られる利点を維持しつつ、現実のカードやコマなどを扱う楽しさも備えたシステムを提供する。

識別IDと位置と姿勢を検出可能な実オブジェクトに仮想オブジェクトを割り当て、仮想空間に実オブジェクトの識別IDに割り当てられた仮想オブジェクトを、実オブジェクトの位置に応じた仮想空間内の位置に、実オブジェクトの姿勢に応じた姿勢で表示させる。

実オブジェクトに対する仮想オブジェクトの割り当てを、ゲームの進行に応じて変化させる。

本願発明では、カードゲームやボードゲームといった、カードやコマを扱うゲームをコンピューターゲームとすることによって得られる利点を維持しつつ、現実のカードやコマなどを扱う楽しさも備えたシステムを提供可能となる。

本願発明では、ゲームの進行をコンピュータによって管理可能であるため、いかさまの防止が可能である。また、カードのシャッフルなどランダムな要素に関してもコンピュータによる管理が可能となる。例えば、カードの場合シャッフルの方法によっては十分にカードの順番がランダムとならずに特定のカードがまとまったままになる場合があることを防止できる。また、ゲームのルール上本来はランダムとなる要素について、意図的な制御を加えることも可能となる。本願発明では上記の特徴を備えつつ、ユーザーが現実のカードやコマを用いたゲームプレイが可能となる。コンピューターゲームで失われる、ユーザーがカードやコマを扱う楽しさを備えつつ、シャッフルやカードの選択、ゲーム処理の自動化やカードの枚数といった各種情報の表示などコンピューターゲームとすることにより得られる利便性を得ることが可能となる。

実カードの例 実カードの認識例 仮想カードのカード面の変形例 システム構成例 盤面の一例

現実のカードやコマを実オブジェクトと表記する。ゲームなどコンピュータ上で仮想的に管理、表現されるカードやコマを仮想オブジェクトと呼ぶこととする。

以下、主にカードゲームでの適用について説明していくが、カードに限らず、フィギュアやボードゲームに用いられるようなコマなど、カード以外についても同様に適用することができる。コマ以外に適用してもよい。

本実施例では、拡張現実(AR)におけるカードゲームへの適用について説明する。拡張現実の他、仮想現実(VR)や複合現実(MR)、プロジェクションマッピングへの適用も同様に可能である。現実世界のオブジェクトに映像を重ねる、あるいは現実世界のオブジェクトの表面に動画や画像を表示させる技術への適用も可能である。

本願発明は、異なる識別子を持つ複数の実カードに仮想カードを割り当てる。また、ゲームの進行に応じて実カードと仮想カードの割り当てを変化させる。これよって、例えば、拡張現実を用いたカードゲームシステムにおいて、ユーザーにとって煩雑なシャッフルや特定のカードを探し出すといった操作を自動化することができる。例えば、山札にある実カードの集合の仮想カードの割り当てをシャッフルすることによって、山札を実際にシャッフルしたことと同じ効果を得ることができる。また、その他の例は、山札から特定のカードを選び手札に加えたいとき、山札の一番上のカードをそのカードに割り当てることで、現実のカードを使うときのように複数のカードの中からユーザーが目的のカードを探す手間が省ける。

ゲームシステムは、割り当てられた仮想カードに対する処理を実カードの位置や向き等に応じて実施することができる。ゲームシステムはカメラを用いてカードやコマなど実オブジェクトを検出する他にも、実オブジェクトに位置や向きを検出する仕組みを組み込むことも可能である。例えば、バーコードやマーカーなどを備えてもよい。このとき、識別用の仕組みと位置や姿勢を検出するための仕組みを分けてもよい。実オブジェクトの識別が可能だが、正確な位置や姿勢の検出が困難な識別手段と、実オブジェクトの正確な位置や姿勢を検出可能だが、識別が困難な仕組みを組み合わせることが可能である。

カメラなどで取得した、実カードの位置に対応する仮想空間の位置に、その実カードに割り当てられた仮想カードを仮想空間に描画するものとする。ARへの適用例では、カメラで取得した画像の、実カードのカード面にその実カードに割り当てられた仮想カードのカード面を描画することで、ユーザーは実カードが仮想カードに置き換わった画像・映像を見ることができる。

実オブジェクトと仮想オブジェクトの割り当ては、ゲームの進行に応じて変えることができる。以下にカードゲームにおける、実カードの割り当て変更について説明する。

カードのシャッフルについて説明する。
カードの並び順を変える場合、実カードの割り当てを変更することによって実現することができる。シャッフルするカードの一部または全部について、並び順をランダムにする。あるいは、一部または全部について、所定の並び順に並び替える。

並び順が不明な山札からカードを引くカードゲームにおいて、山札をシャッフルする場合の実施例について説明する。山札の実カードに仮想カードを予め割り当てておく場合と、山札からカードを引く際に、引くカードに仮想カードを割り当てる場合のシャッフルの処理について説明する。

予めカードを割り当てる場合の例について説明する。山札の実カードの割り当てを入れ替えることによって並び順を変化させることができる。この場合、各実カードについて、そのカードが山札、即ちシャッフルするカードの集合に含まれているかを管理する必要がある。

引くカードに仮想カードを割り当てる場合の例について説明する。山札など、並び順などが非公開の集合からカード取り出してカードの情報が公開された状態にする、即ち何のカードかわからない山札の一番上のカードを引いて手札に加えるときに引いた実カードに仮想カードを割り当てるようにしてもよい。山札の並び順がランダムにシャッフルされた状態であれば、未割当の仮想カードの集合からランダムに実カードに割り当てを行えばよい。ゲームの進行上、山札の並び順が操作されており、次に引くカードが決まっているような場合は、引いた実カードにその仮想カードを割り当てればよい。

カードの選択について説明する。
山札など、仮想オブジェクトの集合から、特定の仮想オブジェクトを選び出し、実オブジェクトに割り当てる。カードゲームにおいては、例えば、山札から特定のカードを選び出して手札に加えるような操作に適用する。

山札からユーザーがカードを選択して手札に加える場合について説明する。システムは、このような状況となったとき、ユーザーに選択肢の一覧を提示する。提示方法は、例えば、仮想空間に選択肢のカードを表示する。ユーザーは、選択したいカードに触れる操作を行うなどして、カードを選択する。このとき、選択肢の指示手段として実カードを用いてもよい。システムは実カードの位置を検出する手段を備えるため、ユーザーの手を検出し、その位置から選択されたカードを判断させるよりも、実カードを指示棒のようにして選択させるほうが、ユーザーの手の位置を検出する必要がなくなるため、処理を簡単化することができる。また、実カードの位置検出手段を用いるほうが、誤検出を減らせる場合が多い。

ディスプレイに選択肢のカードを表示して選択したり、ボタンなどの各種入力手段を用いて選択させたりしてもよい。選択手段や方法は適用先のゲームなどに合わせて任意のものを用いてよい。

カードの並び順が公開されていない非公開の集合から選択する場合の例について、山札などからカードを選択する場合を例に説明する。山札の一番上の実カードを選択された仮想カードを割り当てる。これによって、ユーザーは山札の一番上のカードをとることによって、選択したカードを手に取ることができる。このとき、選択されたカードの内容が分かるようにカードを表示してもよい。例えば、山札の一番上のカードが選択されたカードで、表向きになっている状態にする。このとき、対戦相手にはカードの内容がわからないようにしてもよい。例えば、相手の表示手段にはカードの内容が表示されないようにする。ユーザーが山札の一番上の実カードをとって、その実カードを前記指示棒のようにしてカードを選択し、その実カードに選択した仮想カードを割り当てるようにしてもよい。

山札の一番上の実カードを選択した仮想カードを割り当てた後の山札の状態について、山札の実カードにすでに仮想カードが割り当てられている場合は、山札の一番上の実カードの仮想カードの割り当てを、選択した仮想カードが割り当てられていた実カードと入れ替えることで再現可能である。この後選択したカード以外について、シャッフル処理をしてもよい。選択したカードを山札の一番上に割り当てた後の並び順については自由に設定してよい。

山札の実カードが未割当状態の場合は、山札の実カードの一番上のカードなど、ユーザーが手に取りやすいカードに選択したカードを割り当てるようにしてよい。カードが積まれている場合でも、一番上にあるカードは見える状態であり、システムがカメラなどで認識可能であるため、システムは山札の実カードの並び順をすべて把握している必要はない。選択したカードが複数ある場合は、1枚ずつ処理することによって対応可能である。

また、未割当の実カードを前述した指示棒のように使って選択肢から仮想カードを選択し、カード選択に使った実カードに選択した仮想カードを割り当てるようにしてもよい。

選択後に、ユーザーが手に取った未割当の実カードを検出して、そのカードに選択した仮想カードを割り当ててもよい。

カードの並び順が公開されている集合からカードを選択する場合について説明する。例えば、捨て札などである。前記の山札の場合のように、捨て札の一番上のカードを選択したカードに変化させるとユーザーは容易に選択したカードを手に取ることが可能となる。
カードの並び順が公開されているような場合は、適用先のゲームによってはカードの並び順に意味がある場合があるため、選択したカードを取り出した後のカードの並び順が維持されるように、あるいは適用先のゲームのルールに準じた並び順となるように仮想カードの割り当てを変更する。この場合、システムは、捨て札の実カードの並び順を記録できるように、実カードが捨て札置き場に置かれた順番を記録する。

並び順を維持して選択した仮想カードを一番上の実カードに割り当てる例について説明する。まず、一番上の実カードに割り当てられている仮想カードを一時記憶し、選択された仮想カードを割り当てる。次に、一時記憶した仮想カードと、一枚下の実カードに割り当てられた仮想カードとを交換する。さらに一枚下の実カードに割り当てられた仮想カードと一時記憶した仮想カードとを入れ替える。前記一時記憶した仮想カードとの入れ替えを、選択した仮想カードが割り当てられていた実カードになるまで繰り返せばよい。

未割当の実カードに選択した仮想カードを割り当ててもよい。このとき仮想カードの割り当てをする未割当の実カードは、山札など、別の集合に属するカードの中から選んでもよい。またこのとき、選択したカードが割り当てられていた実カードを未割当状態に変化させてもよい。

カードの交換について説明する。
仮想カードを割り当て済みの実カードの、割り当てを変更する場合について説明する。例えば、手札と場札のカードの交換やカードの位置の交換などである。この場合は、交換元の実カードの割り当てと交換先の実カードの割り当てを入れ替えればよい。交換先のカードが、未割り当ての仮想カードであった場合は、交換元の実カードに割り当てられている仮想カードを未割り当ての状態に変更して、属する集合を交換先の仮想カードが属していた集合に変更する。例えば、手札の割り当て済みのカードと山札の未割り当てのカードを交換する場合、手札の実カードはそのままに、当該実カードの仮想カードの割り当てを変更して、もともと割り当てられていた仮想カードを山札の未割り当てカードに変更する。

カードを別の集合に移す場合について説明する。
場札や手札から、捨て札など公開された集合に移す場合は、割り当て変更処理をしなくてもよい。ユーザーは、場札や手札から実カードを捨て札に置けばよいので、システムはユーザーにそのような行動を促す表示をしてもよい。割り当て済みのカードを未割当の集合に移動させる場合は、対象実カードを未割当状態にして、割り当てられていた仮想カードを移動先の集合に移動させる。

通信対戦などで、遠隔地にいる対戦相手と対戦中といった場合など、カードを離れた場所に移動させる必要がある場合には、移動対象の実カードを未割当状態に変化させ、移動対象の仮想カードは、対戦相手の未割当実カードに割り当てる。割り当てを行う実カードは、対戦相手の山札のカードなど、現在使用していない未割当実カードを使用してよい。例えば、山札の一番上のカードを使用する。カードを受け取る側のユーザーは実カードを用いずに、受け取ったカードを実カードに割り当てずに仮想空間で表示、扱うものとしてもよい。

ユーザーが、プレイ中に実カードを紛失した場合について説明する。
手元にあるはずの実オブジェクトをユーザーが落とすなどして扱えなくなった場合について説明する。仮想現実で仮想オブジェクトを表示している場合、多くの場合でユーザーはVRゴーグルといった仮想現実表示手段を装着することになる。こうした状態では、ユーザーは紛失したオブジェクトを見つけること、拾うことが艱難である。そのため、実オブジェクトを紛失した場合には、別の実オブジェクトに紛失した実オブジェクトに割り当てられていた仮想オブジェクトを割り当てることで、ユーザーは円滑にゲームを続行することができる。ゲームの途中で紛失した実オブジェクトが発見された場合は、その実オブジェクトは未割当状態の実オブジェクトとして再度利用可能としてもよい。このとき、実オブジェクトは、山札の一番上など特定の場所に置くようにシステムがユーザーに指示するようにしてもよい。

システムが実オブジェクトの紛失を検出する方法について説明する。
システムが実オブジェクト検出手段で、実オブジェクトを所定の期間検出できなかった場合、その実オブジェクトが紛失したとして、新たな実オブジェクトへの仮想オブジェクトの割り当てを行う。特定の実オブジェクトのみを紛失の検出対象としてもよく、例えば、場札や手札にある実カードのみを紛失の検出対象としてもよい。捨て札のように、カードが重ねられていて見えない場合など、隠れている実オブジェクトについては紛失の検出対象外としてもよい。

システムは、実オブジェクトの紛失を検出した際、その旨をユーザーに表示して、新たな実オブジェクトの割り当て処理を実施してよい。この際に、紛失を検知した実オブジェクトが認識できた場合は、割り当て処理をキャンセルしてよい。

ユーザーがユーザー操作によって、オブジェクトの紛失をシステムに通知してもよい。

紛失した仮想オブジェクトについて、実オブジェクトに割り当てず、仮想的に扱うようにしてもよい。仮想的に扱うオブジェクトは、ユーザーのジェスチャや入力手段へのユーザー入力によって扱うものとしてよい。

仮想オブジェクトの数が、実オブジェクトの数を超えた場合の扱い方について説明する。
割り当て対象となる仮想オブジェクトの数が、実オブジェクトの数を超えてしまう場合、割り当て先の実オブジェクトの集合とは別の集合の実オブジェクトを用いてよい。例えば、山札Aからカードを引くとき、山札Aの実カードがなかった場合、代わりに別の山札Bの実カードに山札Aの仮想カードを割り当てて使ってよい。あるいは、捨て札の使用していない仮想カードが割り当てられている実カードに割り当てを行い、もともと割り当てがされていた捨て札の仮想カードは、仮想的に扱うようにしてもよい。当該捨て札を使用する際には改めて、実カードへの割り当て処理を実施する。

仮想現実や拡張現実による仮想的な表示で代用してもよい。仮想的な表示をしている仮想オブジェクトをユーザーが操作する際は、割り当ての変更を行って実オブジェクトにその仮想オブジェクトを割り当てる処理をしてもよい。

カードやコマなどの実オブジェクトの認識に関する事項について説明する。
ここでは主に、カードを例に説明するが、コマなどその他の立体物についても同様に適用可能である。

実オブジェクトにマーカー(101,102,103,104,100)をつけて、マーカーの識別IDと位置および姿勢を検出することによって、実オブジェクトの位置を検出する。システムは検出したIDと位置と姿勢情報を用いて、仮想現実表示手段に実オブジェクトに関連付けられた仮想オブジェクトを表示する。カードの場合は、カメラでとらえた実カードのカード面に仮想カードの画像を表示することによって、ユーザーにはその実カードが仮想カードのように見えることとなる。

実カードに備えるマーカーの配置について説明する。カードはユーザーが複数枚手に持っている場合などに重なりが生じる。また、カードを持つ手によってもカードの一部が隠れてしまう。1つの実オブジェクトに複数のマーカー(101,102,103,104)を配置することによって、実オブジェクトの一部が隠れてしまう場合でも、システムが実オブジェクトのID、位置、姿勢を認識することを可能とする。

マーカーの配置の一例は、図1に示すようにマーカーを少なくともカードの角に配置する。四角形のカードの場合には、一般的な手札の持ち方は図2のようになる。この場合、重なっているカードの四隅のうち少なくとも1つが見えることとなるため、図2のカードのようにマーカーを配置することによって、一部が隠れているカードの認識も可能となる。このとき、1つの実オブジェクトに配置するマーカーのIDはそれぞれ異なるIDを用いて良い。システムはIDの情報をもとに、仮想カードを表示する位置を変える。例えば、カードの左上のマーカーを検出した場合、そのマーカーの位置と仮想カードの左上のマーカーに対応する位置が一致するように表示する。

1つの実オブジェクト内でのマーカーの位置の検出には、実オブジェクトの自体の認識結果を用いても良い。カードの場合の例は、カードの縁、すなわち直線を検出し、その近くのマーカーとカードの縁との位置関係から、そのマーカーが実カードの四隅のどこの配置されたものかを検出する。例えば、マーカーの左と上にカードの縁が検出された場合、そのマーカーはカードの左上のマーカーとなる。こうした場合は、実オブジェクトに配置するマーカーのIDの種類を少なくすることができる。すなわち、1つの実オブジャクトに対して、最低1種類のIDを用意すれば良く、実オブジェクト上のどのマーカーなのかは、認識したマーカーを基準とした実オブジェクトの形状から識別できるので、システムが用いるIDの種類を少なくすることができ、結果として、マーカーの小型化やマーカーの模様やパターンの簡単化、IDの識別のしやすさを向上することができる。この場合、マーカーは向きの情報を含める。

マーカーの他、バーコード(111,112,113,114,115,116)を用いることもできる。この場合、位置情報の認識をマーカー、実オブジェクトの識別IDを、マーカーを用いて検出するようにしても良い。カードの場合は、カードの端の付近にバーコードを配置することで、カードが重なっている場合に検出できる場面が多くなる。また、バーコード113,114のように、1つの辺に複数配置してもよいし、1つの辺に対して、1つのバーコードを配置してもよい。

マーカー100のように、認識しやすいように大きなマーカーを配置してもよい。一般的に、マーカーやバーコードの大きさが小さいとき誤検出の恐れがある。マーカーが大きいとき、マーカーが隠れて認識できなくなる場合が多くなるが、カードゲームの場合、カードを場札として使用する際などにはカードの全面が見えている場合が多いため、効果的である。

これら実カードのマーカーやバーコードに関する記載は、曲面を含む立体物にも適用可能である。また、マーカーやバーコードは単色の他、複数の色を組み合わせてもよい。また、マーカーやバーコード及びカード面131は実カードのIDごとに異なる色や模様を用いてもよい。特に、カード面の色をIDごとに変えることによって、実カードが重なっているときに色ごとにカード面が分かれることになるので、実カードごとのカード面の検出に役立つ。

カードの場合は、カードの表と裏で、異なるマーカー、バーコードのレイアウトを用いてもよい。裏面にマーカーやバーコードを備えなくてもよい。また、裏面のマーカーやバーコードのIDを表面用と裏面用とで分けてもよいし、同一のIDを用いてもよい。裏と表の区別をつけなくてもよい。

仮想オブジェクトを描画する領域について説明する。ここでは主に、カードにおける例について述べるが、立体物や曲面への適用も可能である。

図1の実カードを用いる場合について説明する。図1の実カードは、マーカーを右上101と右下102と左下103と左上104に備えている。また、カードの縁には、カードの縁を検出しやすくするような輪郭132を備えても良い。マーカーや輪郭132はカメラなどシステムが認識しやすい色やパターンを用いることができる。

システムは、カメラによって、マーカーの位置を認識する。

システムは、カード面131を検出する。カード面131は、検出しやすいような色や模様、その他材料的な特徴を備えるようにして良い。また、輪郭132を検出して、輪郭132で囲まれた、マーカーを含む領域をカード面131として認識しても良い。図2のような場合では、輪郭132はカード同士のカード面の境界としてとらえることができる。マーカー部分や輪郭部分は、カード面の一部として扱って良い。

システムに記録された実カードの画像を、カメラ402でとらえたマーカーに応じた位置、および姿勢で配置したときに、カメラ402でとらえた画像と前記配置した実カードとが一致する部分を検出したカード面としてもよい。ここで、カード面のうちカメラ402で見えている部分は、配置した実カードの画像と一致し、隠れている部分は不一致となるため、システムは、仮想カードのカード面を描画すべき領域を検出することができる。パターンマッチング処理を実施し、一致する部分を検出するものとしてもよい。許容する一致の度合いは適宜調整してよい。

システムは、検出したマーカーの姿勢に応じて、マーカーに対応した仮想カードのカード面の画像の形状を変形させる。一例を図3に示す。カード面の画像133を、記録されているマーカー105のサイズに対する、検出したマーカー106の拡大率、およびその姿勢の変化と同じ変化をさせる変形をカード面の画像に施す(134)。

システムは、検出したカード面131をマスクとして、検出したマーカーの拡大率、姿勢に応じた変形を施した仮想カードのカード面とのANDを取り、仮想カードのカード面のうち、カメラで見えている部分に相当する部分のみを切り取る。

システムは、前記変形を施したカード面の画像を描画する。AR,MRの場合では、前記切り取り処理を行った変形後画像134を、検出したマーカーの位置に応じた場所に描画することによって、カメラで取得した映像の実カードは、仮想カードとして映る。VRのように、現実空間を映す必要がない場合には、仮想カードのカード面131のカメラで見えている部分の検出処理や前記した仮想カードのカード面の切り取り処理を行わなくてもよい。

処理の順序は、前記した順に限るものではなく、例えば、カード面の画像変形とカード面131の検出の順序を逆にしてもよく、その際は、カード面131を正面など、所定の姿勢で捉えた場合となるように検出したカード面を変形し、その形状に応じたマスクで仮想カードの画像をトリミングすることで、システムが描画すべき、カード面の見えている部分を取り出すことができる。

仮想オブジェクトの描画について説明する。
ここでは主に、拡張現実(AR)における仮想カードの描画に関して説明する。

実オブジェクトの位置と姿勢に応じて、仮想空間に仮想オブジェクトを表示させる。現実空間の映像、画像に仮想オブジェクトを表示させることによって、実オブジェクトを仮想オブジェクトにみせることができる。

表示する仮想オブジェクトは実オブジェクトに準じたものでなくても良い。例えば、カードゲームの場合には、単にカードを表示させるのではなく、そのカードに対応するキャラクターのCGなどを表示させても良い。キャラクターはアニメーションを有していてもよく、ゲームの進行に応じた動きを伴わせることもできる。

また、表示する仮想オブジェクトに関する情報などを表示させても良い。例えば、カードのステータスや影響を与えている、または影響を受けている他のカードの情報を表示して良い。表現の一例は、仮想オブジェクト付近に情報表示用の枠を表示する、矢印や線などで、表示している仮想オブジェクト同士をつなぐなどである。仮想オブジェクトのカード面に表示させる画像にアニメーションを加えたり、情報を表示してもよい。

表示する仮想オブジェクトを透過させても良い。例えば、ユーザーが実オブジェクトに触ろうとするときに、表示している仮想オブジェクトを透過表示させることによって、ユーザーは実オブジェクトの形状を把握可能となり、ユーザーの実カードの扱いを容易にする。特に、実オブジェクトの形状と表示している仮想オブジェクトの形状が異なる場合に有用である。

透過させる他にも、仮想オブジェクトの形状を実オブジェクトに準ずる形状に変化させてもよい。このとき、表示していた仮想オブジェクトを透過して重ねて表示させてもよい。仮想オブジェクトの形状を実オブジェクトと同じとする他、実オブジェクトに備える持ち手など、その一部のみを実オブジェクトに準ずる形状に変化させてもよい。

表示させる仮想オブジェクトは、実オブジェクトの状態を反映させても良い。
例えば、実カードに影がかかっているような場合では、表示する仮想カードにも影を表示することによって、現実世界との表現の親和性を高めることができる。実オブジェクトの状態を取得する方法の一例は、システムに記録されている実オブジェクトの情報と、システムが認識した実オブジェクトの状態との差分をとる。例えば、認識した実オブジェクトが記録されている実オブジェクトよりも暗い色合いで認識された場合は、表示する仮想オブジェクトの色合いを暗くする。

仮想オブジェクトの向きの変更について説明する。
仮想オブジェクトを表示するとき、実オブジェクトの向きや位置によらずに、仮想オブジェクトを表示させても良い。カードの場合、カードの向きや裏表を変化させることができる。例えば、カードゲームに適用する場合で、ゲームのルール上カードの向きや裏表をユーザーが変化させる必要がある際に、ユーザーに代わってシステムが表示する仮想カードの向きや表裏を変化させることができる。また、カードゲームにおいて、手札など本来対戦相手に見えないカードの表面が相手に見えてしまうような場合に、対戦相手の表示手段では、カードの表面の情報が見えないように加工して表示させてもよい。一例は、カード面に特定の画像を表示させる、あるいは裏面を表示させるなどである。

一例では、伏せたカードを表にする際に、実カードをめくる代わりにユーザーは実カードに触れるといったジェスチャーをすることで対応する仮想カードの表面を表示する。または、適用先のゲームのルール上、カードを表面にする必要がある際に。システムが自動的にカードの表面を表示させるようにしても良い。

表示する仮想オブジェクトのサイズを、実オブジェクトによらないサイズに変化させても良い。
例えば、表示する仮想カードのサイズを実カードのサイズよりも大きくする。

仮想オブジェクトの表示を変化させる際に、アニメーションをさせても良い。アニメーションを伴って仮想オブジェクトの表示を変化させることによって、ユーザーが仮想オブジェクトの変化を直感的に捉えることができる。

本願発明では、ゲームの進行をコンピュータによって管理可能であるため、いかさまの防止が可能である。また、カードのシャッフルなどランダムな要素に関してもコンピュータによる管理が可能となる。例えば、カードの場合シャッフルの方法によっては十分にカードの順番がランダムとならずに特定のカードがまとまったままになる場合があることを防止できる。また、ゲームのルール上本来はランダムとなる要素について、意図的な制御を加えることも可能となる。本願発明では上記の特徴を備えつつ、ユーザーが現実のカードやコマを用いたゲームプレイが可能となる。コンピューターゲームで失われる、ユーザーがカードやコマを扱う楽しさを備えつつ、シャッフルやカードの選択、ゲーム処理の自動化やカードの枚数といった各種情報の表示などコンピューターゲームとすることにより得られる利便性を得ることが可能となる。

また、インターネットを介した対人戦も可能となる。

構成例を示す。一般的なコンピュータやマイコン、回路の組み合わせなどによって制御/プログラムの実行を行う。
図4にカードゲームに適用した場合のシステムの構成例を示す。システムは、実カードとコンピュータ401と実オブジェクト認識手段としてカメラ402と盤面403を備える。また、ユーザーに仮想カードを表示するための表示手段を備える。表示手段の一例は、ヘッドマウントディスプレイ(HMD)405であり、ユーザーは、HMD405を介して仮想空間、もしくは、HMD405に備えたカメラで観測した映像に仮想カードが表示された映像を見ることができる。ここで、HDM405に備えるカメラを、実カードを認識するためのカメラ402としてもよい。カメラ402は複数用いてもよく、複数のカメラによって互いの死角の補完や、位置や姿勢の認識精度を向上させるようにしてもよい。
コンピュータ401はゲームプログラム404を備え、ゲームプログラム404によってゲームの進行を管理する。また、コンピュータ401はカメラ402からの映像をもとに、実カードの種類と位置と姿勢を認識し、ゲームプログラム404によって割り当てられる仮想カードを表示手段であるHMD405で表示する。

盤面403は、適用先のゲームで用いられる、場札や山札、捨て札などが置かれる。図5に盤面の一例を示す。本例の盤面403は、山札置き場501、捨て札置き場502、場札置き場503、第二の山札置き場504を備える。各置場には、置き場の位置を認識するためのマーカーを備えてもよい。置き場のマーカーは、カードが置かれると隠れることとなるが、カードが置かれていないときに置き場の位置を記録することで、システムはその位置にあるカードが山札、捨て札、場札のいずれのカードなのかを判別できる。ゲームのルール上、盤面の初期状態が決まっているような場合は、盤面403や盤面403のマーカーを備えずに、初期の実カードの配置を記録して前記判別を行ってもよい。ユーザーが各置場(501,502,503,504)の位置がわかるように、HDM405で置き場の位置を表示させてもよい。

実オブジェクトや盤面に接触センサなどのユーザー入力を検出する手段を備えてもよい。例えば、盤面403の場札置き場503にタッチセンサを備え、タッチセンサへのユーザー入力がなされたとき、その場札に置かれた実カードに割り当てられた仮想カードに応じた、適用先のゲームにおける所定のアクションを実行する。一例は、ゲームにおける攻撃やその実カードの特有の処理を実行する、あるいはアクションの候補を表示してユーザーが選択して実行する。

対戦相手がいる場合には、対戦相手用の盤面403とHMD405をシステムに備える。適用先のゲームによっては、盤面403は1つのものを全ユーザーで共有してもよい。

対戦相手は、ネットワークやインターネットで接続された遠隔地にいるユーザーであってもよい。その場合、ユーザー自身と対戦相手はそれぞれ図4のシステムを用いる。コンピュータ401をネットワークで接続し、通信対戦を行う。この場合、対戦相手の盤面403と仮想オブジェクトは備えなくてもよく、カードなど、対戦相手が扱うオブジェクトは仮想的に表示するのみとしてもよい。また、対戦相手の実オブジェクトについては、正確な位置や姿勢の情報を取得しなくてもよい。例えば、対戦相手の手札については、対戦相手のユーザーの動きに応じて移動する実カードの位置を正確に表示させる必要はなく、例えば、仮想空間の所定の場所に表示しておくことができる。対戦相手が実カードを手札から場札に出す場合などについても、実カードの動きを再現する必要はなく、所定のアニメーションなどで仮想カードを移動させてもよい。対戦相手の仮想カードの動きは、対戦相手を一般的なコンピューターゲームのコンピュータープレイヤーとした場合と同じようにしてもよい。

対戦相手のユーザーの動きや音声などのユーザー入力は、仮想空間のキャラクターの所定のアクションや、所定のセリフや音声に変換してもよい。変換は、ユーザー側のシステムで行ってもよいし、対戦相手側のシステムで行ってもよい。通信の中継点のシステムで行ってもよい。例えば、対戦相手が場札を出す場合、対戦相手を表すキャラクターが場札を出す所定のアクションを行う。また、このとき「場札を出します」というセリフを伴ってもよい。ユーザーの動きや音声がキャラクターの所定の動きやセリフなどに置き換わって対戦相手に伝わるため、通信対戦相手に対してユーザーの匿名性を高める効果がある。また、対戦相手がゲームのキャラクターなどに置き換わるため、ユーザーはゲームの世界観を保ったまま、対人対戦を楽しむことが可能となる。

各構成要素は、同様の効果や特徴を含む別の構成要素に置き換えてもよい。

カメラ401を用いる代わりに、その他の実オブジェクトのID、位置、姿勢を認識する手段を用いてもよい。実オブジェクト自体に、自己位置を認識する手段を備えてもよい。一例は、GPSなどである。実オブジェクトに盤面403のマーカーやバーコードを認識する手段を備えるようにしてもよい。

本願システムをスマートフォンのアプリケーションとして実装してもよい。その場合、カメラ402をスマートフォンに備えるカメラとしてよい。また、スマートフォンをHMD405として機能させてもよい。スマートフォンの画面に仮想現実または拡張現実の映像を描画すればよい。

本願実施形態における１つの構成要素が有する機能を複数の構成要素として分離させたり、複数の構成要素が有する機能を１つの構成要素に統合させたりしてもよい。また、本願実施形態の構成の少なくとも一部を、同様の機能を有する公知の構成に置き換えてもよい。また、本願実施形態の構成の一部を省略してもよい。また、本願実施形態の構成の少なくとも一部を、他の本願実施形態の構成に対して付加又は置換してもよい。なお、特許請求の範囲に記載した文言のみによって特定される技術思想に含まれるあらゆる態様が本発明の実施形態である。

本発明は上記の実施形態に限定されることはなく、種々の変形を行うことができる。
上述した装置の他、当該装置を構成要素とするシステム、当該装置としてコンピュータを機能させるためのプログラム、このプログラムを記録した媒体、制御方法、方法等、種々の形態で本発明を実現することもできる。

また、プログラムはサーバーに設置され、実行する機器がサーバーからダウンロードする、あるいは、処理の一部あるいは全部をサーバー側で実行させるようにしてもよい。

本願技術は種々のボードゲームやカードゲームに適用可能である。また、実オブジェクトへの仮想オブジェクトの割り当てを管理せずとも、ユーザーがプレイするゲームに応じて、割り当てる仮想オブジェクトの種類を変更するだけでも、ユーザーは本願システムのみで複数種類のゲームを楽しむことができる。例えば、カードゲームにおいては、仮想カードに割り当てる仮想カードをトランプと花札とで切り替えることで、ユーザーはトランプ、花札を用いたゲームを楽しむことができる。また、デッキ(山札)をユーザーが構築するカードゲームにおいては、ユーザーはデッキを仮想的に管理構築して、ゲーム開始時にどのデッキを使ってゲームをするかを選択して遊ぶことができる。

10 ユーザーの手、100 マーカー、101 マーカー右上、102 マーカー右下、103 マーカー左下、104マーカー左上、105 記録されているマーカー、106 検出したマーカー、111 バーコード右上、112 バーコード右下、113バーコード左下、114 バーコード左上、115 バーコード下、116 バーコード上、131 カード面、132 輪郭、133 仮想カードのカード面、134 変形後の仮想カードのカード面、401 コンピュータ、402 カメラ、403 盤面、404 ゲームプログラム、405 ヘッドマウントディスプレイ、501 山札置き場、502 捨て札置き場、503 場札置き場、504 山札2置き場

Claims (6)

1. 現実世界のオブジェクトである実オブジェクトの識別IDと位置と姿勢を認識するオブジェクト認識手段と
   仮想空間表示手段と
   を備える、仮想空間表現装置であり、
   仮想空間内で表示される仮想オブジェクトと前記識別IDを関連付け、
   仮想空間表示手段は、前記オブジェクト認識手段で認識した前記実オブジェクトの前記識別IDと関連付けられた前記仮想オブジェクトを
   認識した前記実オブジェクトの位置と姿勢に対応した位置と姿勢で、前記仮想空間に表示し、
   前記仮想オブジェクトの前記識別IDへの関連付けを変更可能である仮想空間表現装置を備えるゲーム装置であって、
   複数の仮想オブジェクトを含む集合を少なくとも1つ備え、
   前記実オブジェクトに対する
   前記集合内での前記集合に含まれる仮想オブジェクトの関連付けと、
   前記集合を複数備える場合には、前記仮想オブジェクトの集合間の移動時の前記実オブジェクトへの仮想オブジェクトの関連付け少なくともいずれかを、
   ゲームの進行に応じて変化させる
   ゲーム装置。
   
2. 現実世界のオブジェクトである実オブジェクトの識別IDと位置と姿勢を認識するオブジェクト認識手段と
   仮想空間表示手段と
   を備える、仮想空間表現装置であり、
   仮想空間内で表示される仮想オブジェクトと前記識別IDを関連付け、
   仮想空間表示手段は、前記オブジェクト認識手段で認識した前記実オブジェクトの前記識別IDと関連付けられた前記仮想オブジェクトを
   認識した前記実オブジェクトの位置と姿勢に対応した位置と姿勢で、前記仮想空間に表示する
   仮想空間表現装置であって、
   所定の集合1に属する仮想オブジェクトを所定の集合2に移すとき、
   仮想オブジェクトと関連付けられていない実オブジェクトのいずれかに、前記移す仮想オブジェクトを関連付ける、
   または、仮想オブジェクトと関連付けられた実オブジェクトのいずれかに前記移す仮想オブジェクトを関連付け、前記移す仮想オブジェクトが関連付けられていた実オブジェクトに、前記移す仮想オブジェクトを関連付けた実オブジェクトに関連付けられていた仮想オブジェクトを関連付ける、
   または、前記仮想オブジェクトと前記仮想オブジェクトに関連付けられている実オブジェクトとの関連付けを解除する
   仮想空間表現装置。
   
3. 現実世界のオブジェクトである実オブジェクトの識別IDと位置と姿勢を認識するオブジェクト認識手段と
   仮想空間表示手段と
   を備える、仮想空間表現装置であり、
   仮想空間内で表示される仮想オブジェクトと前記識別IDを関連付け、
   仮想空間表示手段は、前記オブジェクト認識手段で認識した前記実オブジェクトの前記識別IDと関連付けられた前記仮想オブジェクトを
   認識した前記実オブジェクトの位置と姿勢に対応した位置と姿勢で、前記仮想空間に表示する
   仮想空間表現装置であって、
   所定の仮想オブジェクトの集合を並べ替えるとき、
   前記仮想オブジェクトの集合に関連付けられた実オブジェクトの識別IDを入れ替える
   仮想空間表現装置。
   
4. 現実世界のオブジェクトである実オブジェクトの識別IDと位置と姿勢を認識するオブジェクト認識手段と
   仮想空間表示手段と
   を備える、仮想空間表現装置であり、
   仮想空間内で表示される仮想オブジェクトと前記識別IDを関連付け、
   仮想空間表示手段は、前記オブジェクト認識手段で認識した前記実オブジェクトの前記識別IDと関連付けられた前記仮想オブジェクトを
   認識した前記実オブジェクトの位置と姿勢に対応した位置と姿勢で、前記仮想空間に表示する
   仮想空間表現装置であって、
   前記実オブジェクトは複数の角を備え、
   前記オブジェクト認識手段が前記実オブジェクトの位置と姿勢と前記識別IDの少なくともいずれかを少なくとも前記実オブジェクトの角のいずれかを観測することで認識可能なように、前記実オブジェクトのすべての角にオブジェクト判別手段を備え、
   さらに角に備える前記オブジェクト判別手段よりも大きなオブジェクト判別手段を備える仮想空間表現装置。
   
5. 現実世界のオブジェクトである実オブジェクトの識別IDと位置と姿勢を認識するオブジェクト認識手段と
   仮想空間表示手段と
   を備える、仮想空間表現装置であり、
   仮想空間内で表示される仮想オブジェクトと前記識別IDを関連付け、
   仮想空間表示手段は、前記オブジェクト認識手段で認識した前記実オブジェクトの前記識別IDと関連付けられた前記仮想オブジェクトを
   認識した前記実オブジェクトの位置と姿勢に対応した位置と姿勢で、前記仮想空間に表示する
   仮想空間表現装置であって、
   前記オブジェクト認識手段が前記実オブジェクトの位置と姿勢と前記識別IDの少なくともいずれかを前記実オブジェクトの縁の少なくとも一部を観測することで認識可能なように、前記実オブジェクトのすべての縁にオブジェクト判別手段を備え、
   さらに縁に備える前記オブジェクト判別手段よりも大きなオブジェクト判別手段を備える仮想空間表現装置。
   
6. 現実世界のオブジェクトである実オブジェクトの識別IDと位置と姿勢を認識するオブジェクト認識手段と
   仮想空間表示手段と
   を備える、仮想空間表現装置であり、
   仮想空間内で表示される仮想オブジェクトと前記識別IDを関連付け、
   仮想空間表示手段は、前記オブジェクト認識手段で認識した前記実オブジェクトの前記識別IDと関連付けられた前記仮想オブジェクトを
   認識した前記実オブジェクトの位置と姿勢に対応した位置と姿勢で、前記仮想空間に表示する
   仮想空間表現装置であって、
   前記実オブジェクトに前記オブジェクト認識手段が前記実オブジェクトの位置と姿勢と前記識別IDを識別可能な表示を少なくとも2つ備え、前記表示は同一の前記実オブジェクトにおいては同じであり、
   前記表示の少なくとも1つは実オブジェクトの角に配置され、
   前記オブジェクト認識手段は、実オブジェクトの形状の輪郭を検出可能であり、
   前記実オブジェクトの輪郭と前記表示の位置関係から検出した前記表示の実オブジェクト上における位置を判断し、
   前記仮想オブジェクトを前記表示の位置と前記表示の前記実オブジェクト上での位置に応じた位置に描画する
   仮想空間表現装置。
   

Images