JP6340414B2

JP6340414B2 - 情報処理装置、情報処理システム、および情報処理方法

Info

Publication number: JP6340414B2
Application number: JP2016513652A
Authority: JP
Inventors: 直紀沼口; 圭司外川; 洋大澤; 山岸　建; 建山岸; 平田　真一; 真一平田
Original assignee: Sony Interactive Entertainment Inc
Current assignee: Sony Interactive Entertainment Inc
Priority date: 2014-04-16
Filing date: 2015-01-13
Publication date: 2018-06-06
Anticipated expiration: 2035-01-13
Also published as: US10510189B2; JPWO2015159561A1; WO2015159561A1; US20170024934A1

Description

本発明は、実空間における物体を利用した情報処理技術に関する。

近年、実空間における人や物などの物体に係るパラメータを何らかの手段により計測し、それを入力値としてコンピュータに取り込み解析したり、画像として表示したりする技術が様々な分野で利用されている。コンピュータゲームの分野においては、ユーザ自身やユーザが把持するマーカーの動きを取得し、それに応じて表示画面内の仮想世界におけるキャラクタを動作させるといったことにより、直感的かつ容易な操作が実現されている（例えば特許文献１参照）。このように実空間における物体の動きや形状変化を表示画像に反映させる技術は、ゲームのみならず玩具や学習用教材などへの応用が見込まれている（例えば非特許文献１、特許文献２参照）。

ＷＯ２００７／０５０８８５Ａ２公報特開２００８−７３２５６号公報

Posey: Instrumenting a Poseable Hub and Strut Construction Toy, Michael Philetus Weller, Ellen Yi-Luen Do, Mark D Gross, Proceedings of the Second International Conference on Tangible and Embedded Interaction, 2008, pp 39-46

上述の従来技術では、実空間の物体をそのままの形状で表示させたり、物体の一部をコンピュータグラフィクスにより描画したオブジェクトに差し替えた画像を表示したりする、比較的単純な画像表示を基本としている。しかしながら今後、物体自体の処理性能や、情報処理装置における物体の認識技術が高度化していくにつれ、得られる情報を利用して実空間とのさらなる融合や協調性をいかに表現するかが大きな課題となってくる。また同様の処理体系であっても、ニーズに合った態様を臨機応変に実現できることが望ましい。

本発明はこのような課題に鑑みてなされたものであり、その目的は、実世界の物体の動きと画像表示とを協調させた新規な技術を提供することにある。

本発明のある態様は情報処理装置に関する。この情報処理装置は、実世界に存在する実物体を動かすユーザ操作と、接続された入力装置を用いたユーザ操作の少なくともいずれかに応じて情報処理を行う情報処理部と、情報処理の結果として仮想オブジェクトが存在する仮想空間を描画し表示装置に表示させる表示処理部と、を備え、情報処理部は、入力装置を用いたユーザ操作により仮想オブジェクトが動かされたとき、実物体を連動させるための制御信号を生成して当該実物体に送信する実物体制御処理と、実物体を動かすユーザ操作がなされたとき、仮想オブジェクトを連動させるための仮想空間に対する操作処理、の少なくともいずれかにより、実物体と仮想オブジェクトを連動させるとともに、あらかじめ設定された、連動が困難な状況に該当する状況が検知された際、当該状況に応じて選択した対応処理を実行することにより、以後の情報処理を継続することを特徴とする。

本発明の別の態様も情報処理装置に関する。この情報処理装置は、実世界に存在する実物体を動かすユーザ操作に応じて情報処理を行う情報処理部と、情報処理の結果として仮想オブジェクトが存在する仮想空間を描画し表示装置に表示させる表示処理部と、を備え、情報処理部は、実物体を動かすユーザ操作がなされたとき、仮想オブジェクトを連動させるための仮想空間に対する操作処理により、実物体と仮想オブジェクトを連動させるとともに、仮想世界の状況上、実世界において前記実物体を置くことのできない禁止領域を決定し、表示処理部はさらに、実世界において実物体が置かれた平面における当該禁止領域の位置を図形で表した画像を生成し、プロジェクタによって前記平面に投影させるか、前記平面を構成するタブレット型コンピュータの画面に表示させることを特徴とする。

本発明のさらに別の態様も情報処理装置に関する。この情報処理装置は、実世界に存在する実物体を動かすユーザ操作と、接続された入力装置を用いたユーザ操作と、に応じて情報処理を行う情報処理部と、情報処理の結果として、少なくとも仮想オブジェクトが存在する仮想空間を描画し表示装置に表示させる表示処理部と、を備え、情報処理部は、実物体を動かすユーザ操作がなされたとき、仮想オブジェクトをそれに連動させるための仮想空間に対する操作処理を行い、入力装置を用いたユーザ操作がなされたとき、当該仮想空間に対する操作処理とは異なる情報処理を行い、表示処理部は、仮想空間に対する操作処理の結果生成した画像と、当該操作処理とは異なる情報処理の結果生成した画像とを、ユーザが用いる操作手段に応じて表示装置に切り替えて表示させることを特徴とする。

本発明のさらに別の態様は情報処理システムに関する。この情報処理システムは、情報処理装置と、ユーザが動かすか前記情報処理装置からの制御信号によって動かされるか、の少なくともいずれかが可能な実物体と、を含む情報処理システムであって、情報処理装置は、実物体を動かすユーザ操作と、接続された入力装置を用いたユーザ操作の少なくともいずれかに応じて情報処理を行う情報処理部と、情報処理の結果として仮想オブジェクトが存在する仮想空間を描画し表示装置に表示させる表示処理部と、を備え、情報処理部は、入力装置を用いたユーザ操作により仮想オブジェクトが動かされたとき、実物体を連動させるための制御信号を生成して当該実物体に送信する実物体制御処理と、実物体を動かすユーザ操作がなされたとき、仮想オブジェクトを連動させるための仮想空間に対する操作処理、の少なくともいずれかにより、実物体と仮想オブジェクトを連動させるとともに、あらかじめ設定された、連動が困難な状況に該当する状況が検知された際、当該状況に応じて選択した対応処理を実行することにより、以後の情報処理を継続することを特徴とする。

本発明のさらに別の態様は情報処理方法に関する。この情報処理方法は、情報処理装置が、実世界に存在する実物体を動かすユーザ操作と、接続された入力装置を用いたユーザ操作の少なくともいずれかに応じて情報処理を行うステップと、情報処理の結果として仮想オブジェクトが存在する仮想空間を描画し表示装置に表示させるステップと、を含み、情報処理を行うステップは、入力装置を用いたユーザ操作により仮想オブジェクトが動かされたとき、実物体を連動させるための制御信号を生成して当該実物体に送信する実物体制御処理と、実物体を動かすユーザ操作がなされたとき、仮想オブジェクトを連動させるための仮想空間に対する操作処理、の少なくともいずれかにより、実物体と仮想オブジェクトを連動させるステップと、あらかじめ設定された、連動が困難な状況に該当する状況が検知された際、当該状況に応じて選択した対応処理を実行することにより、以後の情報処理を継続するステップと、を含むことを特徴とする。

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、コンピュータプログラムを記録した記録媒体などの間で変換したものもまた、本発明の態様として有効である。

本発明によると、実世界の物体を利用した多様な情報処理技術を提供できる。

本実施の形態を適用できる情報処理システムの構成例を示す図である。本実施の形態における実物体と情報処理装置の構成を詳細に示す図である。本実施の形態において実物体と画面内のオブジェクトを連動させる手法の例を説明するための図である。本実施の形態における実物体情報記憶部に格納する実物体に係る情報のデータ構造例を示す図である。本実施の形態における情報伝達の体系を模式的に示す図である。本実施の形態の第１のパターンにおける表示画面と実物体の関係を例示する図である。本実施の形態において入力装置を用いて画面内のオブジェクトを移動させる場合に実物体を連動させる処理手順を示すフローチャートである。本実施の形態の第２のパターンにおける表示画面と実物体の関係を例示する図である。本実施の形態においてユーザが実物体を移動させる場合に、禁止領域を考慮しつつ画面内のオブジェクトを連動させる処理手順を示すフローチャートである。本実施の形態においてネットワークを介して接続した２つの情報処理装置を利用して対戦ゲームを行う態様における情報伝達の体系を模式的に示す図である。本実施の形態においてネットワークを介した対戦ゲームにおける表示画像と実物体の関係を例示する図である。本実施の形態において相手の駒に対応する実物体も実世界のゲーム盤に配置するときの表示画像と実物体の関係を例示する図である。本実施の形態において仮想世界のオブジェクトが消滅する状況における表示画像と実物体の関係を例示する図である。本実施の形態のうち操作手段によってシーンを分ける態様における情報処理装置の構成と表示画面例を模式的に示す図である。本実施の形態において同一のオブジェクトを、場面ごとに分けて表現した場合の表示画像と実物体の関係を例示する図である。

本実施の形態では、実空間に存在する物（以後、「実物体」と呼ぶ）をユーザが動かす行為をユーザ操作として取り込み情報処理を行う場合と、情報処理の結果として情報処理装置が実物体を動かす場合がある。いずれの場合も、実物体と表示画面上のオブジェクトを連動させることにより、ユーザ操作や情報処理の把握が直感的かつ容易になる。図１は本実施の形態を適用できる情報処理システムの構成例を示す。情報処理システム１は、プレイフィールド１９上に置かれた実物体１２０ａ、１２０ｂ、実物体１２０ａ、１２０ｂを撮像するカメラ１２２、所定の情報処理を行う情報処理装置１０、一般的な操作手段としてユーザ操作を受け付ける入力装置１４、情報処理装置１０が出力したデータを画像として表示する表示装置１６を含む。

情報処理装置１０は、たとえばゲーム装置やパーソナルコンピュータであってよく、必要なアプリケーションプログラムをロードすることで情報処理機能を実現してもよい。情報処理装置１０は必要に応じてネットワーク１８を介し別の情報処理装置やサーバと通信を確立し、必要な情報を送受してよい。表示装置１６は液晶ディスプレイ、プラズマディスプレイ、有機ＥＬディスプレイなど一般的なディスプレイでよい。またそれらのディスプレイとスピーカを備えたテレビであってもよい。さらに表示装置１６は、画像を投影するプロジェクタであってもよい。このとき後述するように、投影面をプレイフィールド１９としてもよい。もしくはタブレットＰＣなどを表示装置１６としてもよい。ここでタブレットＰＣを水平に載置することで、その画面をプレイフィールド１９として利用してもよい。表示装置１６は、一般的なディスプレイ、プロジェクタ、タブレットＰＣのいずれか複数の組み合わせとしてもよい。なお表示装置１６をスピーカを備えたテレビとせず、別途、所定の音声を出力するための音声再生装置（図示せず）を設けてもよい。

カメラ１２２は、ＣＣＤ（Charge Coupled Device）またはＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の撮像素子を備えたデジタルビデオカメラであり、少なくともプレイフィールド１９およびその上の実物体１２０ａ、１２０ｂを含む空間の動画像を撮影する。入力装置１４は、ゲームコントローラ、キーボード、マウス、ジョイスティック、表示装置１６の画面上に設けたタッチパッドなど、一般的な入力装置のいずれか、またはいずれかの組み合わせでよい。情報処理装置１０と、カメラ１２２、入力装置１４、表示装置１６との接続は、有線、無線を問わず、また種々のネットワークを介していてもよい。あるいはカメラ１２２、情報処理装置１０、入力装置１４、表示装置１６のうちいずれか２つ以上、または全てが組み合わされて一体的に装備されていてもよい。また、カメラ１２２は必ずしも表示装置１６の上に搭載されていなくてもよい。

プレイフィールド１９は、その上に実物体１２０ａ、１２０ｂが置かれることにより、情報処理装置１０がそれらを処理対象として認識し、その位置座標を定義するための領域を規定する平面であり、例えば板、布、机の天板、ゲーム盤などのいずれでもよい。実物体１２０ａ、１２０ｂは図示するような単純な形状の物でもよいし、人形やミニカーなど現実世界にある物のミニチュアやその部品、ゲームの駒など、より複雑な形状の物でもよい。また実物体１２０ａ、１２０ｂのサイズ、材質、色、使用する個数は限定されない。さらに、ユーザによって組み立てられる構造としてもよいし、完成物であってもよい。

実物体１２０ａ、１２０ｂは、必要に応じて情報処理装置１０と通信を確立する。Bluetooth（ブルートゥース）（登録商標）やIEEE802.11等の無線インターフェースを用いた接続としてもよいし、ケーブルを介して接続してもよい。ただしカメラ１２２による撮影画像から必要十分な情報が得られる場合や、情報処理装置１０が実物体１２０ａ、１２０ｂを動作させる必要がない場合などは、実物体１２０ａ、１２０ｂに通信機能を設けなくてもよい。

情報処理装置１０が実物体１２０ａ、１２０ｂを動作させる必要がある場合、実物体１２０ａ、１２０ｂには上記の通信機能に加え、情報処理装置１０からの制御信号に従い動作する機構を設ける。図１の例では、実物体１２０ａ、１２０ｂはそれぞれ、情報処理装置１０からの要求に応じて移動するための車輪１２３ａ、１２３ｂを備えている。ただし動作の種類や機構はこれに限らず、関節角の変化、振動、発光、音声出力などでもよく、複数種類の動作を組み合わせてもよい。また移動手段として車輪以外の機構を導入してもよい。なお以後の説明では実物体１２０ａ、１２０ｂ等を実物体１２０と総称する場合がある。

本実施の形態では、あらかじめ対応づけられた実物体１２０と表示画面内のオブジェクトとを連動させることを基本とする。図１の場合、例えば、実物体１２０ａが画面内の第１のキャラクタ２０２ａと、実物体１２０ｂが画面内の第２のキャラクタ２０２ｂと対応づけられている。画面内の第１のキャラクタ２０２ａが右に動いたら、実物体１２０ａもプレイフィールド１９上を右に動く。逆に実物体１２０ａが前進したら、画面内の第１のキャラクタ２０２ａも前進する。どちらの動きを他方の動きに反映させるかは、情報処理の内容や機能に応じてプログラム作成者などが決定する。

図２は実物体１２０と情報処理装置１０の構成を詳細に示している。図２において、さまざまな処理を行う機能ブロックとして記載される各要素は、ハードウェア的には、ＣＰＵ（Central Processing Unit）、メモリ、マイクロプロセッサ、その他のＬＳＩ、アクチュエータ、センサ等で構成することができ、ソフトウェア的には、メモリにロードされたプログラムなどによって実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。

実物体１２０は、実物体内部で取得できる自身の状態情報を取得する状態情報取得部１４３、情報処理装置１０からの制御信号に従い動作する駆動部１４６、情報処理装置１０と間で必要な情報を送受信する通信部１４８を含む。ただし上述のように、実物体１２０の位置を、カメラ１２２による撮影画像のみから得る場合や、情報処理装置１０が実物体１２０を動作させる必要がない態様においては、内部にこれらの機能ブロックを備えなくてもよい。この場合、実物体１２０は、平板なカードや、内部構造を持たない人形、ゲームの駒、ブロックのような物でよい。この場合であっても、色、模様、形状を異ならせたり、２次元バーコードを印刷したり、といった外装上の変化をつけることにより、撮影画像から実物体の像を高精度に識別することができる。

状態情報取得部１４３は、実物体１２０自身の状態を内部で計測するセンサであり、実物体１２０の形態や、実物体１２０のどのような動きを画面内のオブジェクトに反映させるか、といった観点から、必要な情報が得られるセンサを適宜選択する。例えば図１のように、車輪の回転を伴う実物体１２０の移動を画面内のキャラクタの移動に反映させたい場合は、車輪にロータリーエンコーダおよび舵角センサを設けることにより、その移動量や移動方向を特定する。状態情報取得部１４３はそのほか、実物体１２０の絶対位置を取得する位置センサや、加速度センサ、ジャイロセンサ、地磁気センサなどのモーションセンサでもよい。

実物体１２０に、ユーザによって屈伸可能な関節を設け、その角度変化を画面内のオブジェクトの姿勢の変化などに反映させる場合は、関節角を特定するポテンショメータを導入してもよい。このように本実施の形態では、多様なセンサを導入するほど、実物体１２０の細かい動きや形状の変化をも取り込み、画面内のオブジェクトに反映させることができるが、以下では、実物体１２０の移動と画面内のオブジェクトの移動を連動させる態様に着目して説明する。この場合、実物体１２０に状態情報取得部１４３を設けず、カメラ１２２による撮影画像を解析することにより、実物体１２０の位置を逐次特定することも可能である。したがって、要求される位置検出精度や製造コストなどに鑑み、状態情報取得部１４３の要、不要を決定すればよい。

駆動部１４６は、情報処理装置１０からの制御信号により実物体１２０を移動させるアクチュエータを含む。図１に示したように、実物体１２０を車輪の回転によって移動させる場合、当該アクチュエータによって車軸を回転させたり操舵角を変化させたりする。これにより、情報処理装置１０からの制御信号に従った方向および距離で実物体１２０が移動することになる。駆動部１４６はそのほか、移動以外の動きを発生させるアクチュエータ、実物体１２０を振動させる振動子、電球などの発光体、画像を表示するための画像データとディスプレイ、音声を出力するための音声データとスピーカなどを含んでもよい。それらの機構も、情報処理装置１０からの制御信号によって動作する。

通信部１４８は、実物体１２０の状態情報を状態情報取得部１４３から取得して、情報処理部３０に逐次送信する。また、情報処理装置１０から送信された、実物体１２０を動作させるための制御信号を受信し、駆動部１４６に通知する。通信部１４８は、自身の実物体１２０の個体識別情報を内部のメモリに保持する。そして情報処理装置１０への情報送信時は、当該個体識別情報を付加することにより、情報処理装置１０が当該情報の送信元を判別できるようにする。また情報処理装置１０から送信された制御信号が自身の実物体１２０に宛てて送信されたものか否かを、制御信号とともに送信された個体識別情報に基づき判断する。

情報処理装置１０は、実物体１２０との間で必要な情報を送受信する通信部２０、カメラ１２２が撮影した画像や実物体１２０から送信された情報に基づき実物体１２０の状態を特定する実物体状態特定部２２、実物体１２０や入力装置１４に対するユーザ操作に応じて所定の情報処理を行う情報処理部３０、情報処理の結果、表示すべき画像を生成し表示装置１６に出力する表示処理部３２を含む。情報処理装置１０はさらに、個々の実物体１２０に係る情報を格納する実物体情報記憶部２４、実物体と画面内のオブジェクトの連動を実現するためのシナリオを格納する連動シナリオ記憶部２６を含む。

実物体１２０から状態情報を送信する態様とした場合、通信部２０は当該状態情報を受信して実物体状態特定部２２に供給する。また、情報処理装置１０からの制御信号により実物体１２０を動作させる態様とした場合、通信部２０はそのための制御信号を情報処理部３０から取得し、実物体１２０に送信する。実物体状態特定部２２は、カメラ１２２から撮影画像の画像フレームをリアルタイムで取得し、それを解析することによって実物体１２０の位置を所定の時間間隔で特定する。

例えばカメラ１２２をステレオカメラとすることにより、カメラ１２２に対する奥行き方向とカメラの視野平面で構成される３次元空間における実物体の絶対位置を取得できる。ステレオカメラが左右の異なる視点から撮影した画像における視差を利用して、三角測量の原理によって対象物の３次元空間での位置を取得する技術は広く知られている。ステレオカメラに代えて、両眼立体視以外の、奥行きや３次元情報取得手段を利用してもよい。例えば視点移動カメラを用いてもよいし、赤外線照射機構とその反射光を検出する赤外線センサを用い、ＴＯＦ（Time Of Flight）の手法によって実物体の位置を特定してもよい。あるいはカメラ１２２に代えて、実物体１２０を置く台の上面にタッチパネルを設け、それにより置かれた位置を検出してもよい。そのほか既存の視覚追跡技術を用いて、時間発展的に実物体１２０を追跡してもよい。

さらに上述のように、実物体１２０から送信された状態情報を用いて、動き、位置、形状、姿勢などを詳細に特定してもよい。実物体１２０が複数、存在する場合などは、撮影画像中の像と送信された状態情報との対応づけが必要となる。そのため実物体情報記憶部２４には、実物体１２０の外観上の特性と個体識別情報とを対応づけた情報を格納しておく。ここで外観上の特性とは、実物体１２０の色、形状、模様、サイズなどである。上述のように２次元バーコードを利用したり特定色で発光するマーカーを装着してもよい。そして実物体１２０から送信された情報に付加された個体識別情報と、撮影画像中で検出された像の外観上の特性に対応する個体識別情報とを照合することにより、撮影画像中の像と送信された状態情報とを対応づける。

情報処理部３０は、ユーザが移動させた実物体１２０の動き、あるいは入力装置１４を介したユーザ操作に応じ、なすべき処理を実行する。以後の説明では様々なゲームを例示するが、情報処理部３０が行う処理を限定する趣旨ではない。いずれにしろ情報処理部３０は、実物体１２０と画面内のオブジェクトとの連動を伴う処理を実行する。そのため、連動する実物体１２０と画面内のオブジェクトとの対応関係も実物体情報記憶部２４に格納しておく。ここで画面内のオブジェクトは、情報処理部３０が実行するゲームで登場するキャラクタなどであるため、オブジェクトごとのモデルデータやゲーム内での役割などは一般的なコンピュータゲームと同様、別途、設定しておく。

連動シナリオ記憶部２６には、実物体１２０と画面内のオブジェクトを連動させるのに必要なシナリオを格納する。ここでシナリオとは、物理的あるいは設定上、両者の連動が困難な状況が発生した場合に、連動しているように見せる解決手段を規定する。情報処理部３０は、ゲームの設定、進捗、実物体１２０の位置など、その時点での状況に応じて連動シナリオ記憶部２６から適切なシナリオを選択し、実行する。具体例は後述する。情報処理装置１０が実物体１２０を動作させる態様においては、情報処理部３０は必要な制御信号を生成し通信部２０を介して実物体１２０に送信する。

このとき、送信先の実物体１２０の個体識別情報を制御信号に付加しておくことにより、複数の実物体１２０が存在する場合に無線通信を行っても、送信先の実物体１２０が自身宛ての制御信号を判別できる。具体的に送信する信号は制御方式によって様々であり、ロボット工学の分野などで一般的に用いられる技術を適宜採用してよい。

表示処理部３２は、実物体１２０と連動するオブジェクトを含むゲーム画面、ゲームに必要な設定画面、メニュー画面などの画像データを所定のレートで作成し、表示装置１６にビデオ信号として出力する。ゲーム画面の一部として、カメラ１２２による撮影画像を利用してもよい。表示処理部３２はさらに、プレイフィールド１９に投影すべき画像を生成し、表示装置１６に含まれるプロジェクタに当該データを出力してもよい。あるいは、プレイフィールド１９をタブレットＰＣの画面で構成し、それに表示すべき画像を生成して出力してもよい。これらにより、実際には起こり得ない爆発や存在しない自然の風景などを、実物体１２０が存在する実世界においても表現したり、後述する禁止領域を示したりすることができる。

図３は情報処理部３０において実物体１２０と画面内のオブジェクトを連動させる手法の例を説明するための図である。同図上段は情報処理部３０が構築する仮想空間３であり、下段は実物体１２０ａ、１２０ｂが存在する実空間５である。情報処理部３０はまず、実空間５の所定の位置を原点として実空間の３次元座標系を定義する。同図の例では、プレイフィールド１９の１つの角を原点としプレイフィールド１９の面をｘｙ面、垂直上向きをｚ軸としている。そしてそれに対応するように、画面内で表現する仮想空間のワールド座標系（ＸＹＺ座標）を設定する。

プレイフィールド１９とカメラ１２２の位置関係を既知とすれば、撮影画像における像の位置に基づき、実空間５の座標系における実物体１２０ａ、１２０ｂの位置座標が判明する。そして仮想空間のワールド座標系における、実物体１２０ａ、１２０ｂの位置座標に対応する位置に、第１のキャラクタ２０２ａのオブジェクト、第２のキャラクタ２０２ｂのオブジェクトを配置する。さらに必要に応じて、周囲に存在させるべきオブジェクトも配置する。そしてそのように構築した仮想空間３に対し仮想的な視点を設定し、そこから見た各オブジェクトを所定の面に投影することにより、実物体１２０ａ、１２０ｂの位置に対応する位置に第１のキャラクタ２０２ａ、第２のキャラクタ２０２ｂが配置された画面を表示できる。

その後、入力装置１４を介したユーザ操作などによって第１のキャラクタ２０２ａが仮想空間３を移動した場合、ワールド座標系における移動速度ベクトルを、実空間５の３次元座標系における速度ベクトルに変換することにより、実物体１２０ａの移動すべき方向および移動すべき量が逐次求められる。それに応じて実物体１２０ａを移動させることにより、第１のキャラクタ２０２ａの移動を実物体１２０ａの移動に反映させることができる。

逆に実物体１２０ａをユーザが移動させた場合は、実空間５の３次元座標系におけるその移動速度ベクトルを、仮想空間３のワールド座標系における速度ベクトルに変換することにより、第１のキャラクタ２０２ａの移動すべき方向および移動すべき量が逐次求められる。それに応じて第１のキャラクタ２０２ａを移動させ、その様子を表示画面として描画することにより、実物体１２０ａの移動を画面内の第１のキャラクタ２０２ａの移動に反映させることができる。なお実空間５の３次元座標系と、仮想空間３のワールド座標系のスケール比や向きの関係は、プレイフィールド１９の面積と画面内に表現したい仮想世界の面積との比率や、仮想世界を実空間と同じ向きで表示させるか左右を反転させて表示させるかなど、表現上の観点から適宜決定する。

図３で示した手法は、３次元グラフィックスを用いて画面内に完全な仮想世界を構築することを想定していたが、撮影画像を表示画像の背景に利用すれば、処理はよりシンプルになる。すなわち、撮影画像における実物体１２０の輪郭を視覚追跡処理などによって画像フレームごとに特定し、当該輪郭の位置に、連動すべきオブジェクトを重畳して表示すればよい。この場合も、周囲に存在させるべきオブジェクトをさらに重畳表示してもよい。

図４は実物体情報記憶部２４に格納する実物体に係る情報のデータ構造例を示している。実物体情報５０は、固体識別情報欄５２、形状欄５４、色欄５６、サイズ欄５８、対応オブジェクト欄６０を含む。固体識別情報欄５２には、実物体１２０ごとに与えられる識別情報を格納する。この識別情報は各実物体１２０が内部で保持する識別情報と共通する。形状欄５４、色欄５６、サイズ欄５８には、個々の実物体１２０の形状、色、サイズを所定のフォーマットで格納する。実物体状態特定部２２は、撮影画像における像をこれらの情報と照合することにより、各実物体１２０の個体識別情報を特定したり、撮影画像からでは判明しづらい詳細な特徴を特定したりする。個体識別情報と形状、色、サイズとの対応は、実物体に個体識別情報を付与した時点で判明するため、ハードウェア製造時やゲームのソフトウェア作成時などに設定しておく。

対応オブジェクト欄６０には、実物体１２０と連動させるべき画面内のオブジェクトの識別情報を格納する。同図ではオブジェクト名が格納されており、例えば個体識別情報「０００１」の実物体は「王子」のキャラクタのオブジェクト、「０００２」の実物体は「モンスター１」のキャラクタのオブジェクトに対応づけられている。上述の通り各オブジェクトは別途、オブジェクトモデルと対応づけられ、ゲームプログラムに組み込まれている。実物体の個体識別情報とオブジェクトとの対応は、オブジェクトごとに専用の実物体を製造する場合は固定的であるため、ハードウェア製造時やゲームのソフトウェア作成時などに設定しておく。

また専用の実物体として製造されずともゲームの設定上で固定とする場合はゲームのソフトウェア作成時に設定しておく。あるいはユーザがゲーム開始時などに対応を設定してもよい。この場合、例えばユーザは、設定対象の実物体１２０をプレイフィールド１９上に置いてカメラ１２２に撮影させることにより情報処理装置１０に認識させるとともに、表示装置１６に表示させたキャラクタ（オブジェクト）選択画面から、連動させたいキャラクタを選択する。これに応じて情報処理部３０が、それらを対応づけて実物体情報記憶部２４に図示するように格納する。

図５は本実施の形態における情報伝達の体系を模式的に示している。まず第１のパターンとして、ユーザは、入力装置１４を介して情報処理装置１０で実行中のゲームに対する操作を行う（矢印Ａ、Ｂ）。その結果としてゲームが進捗し、表示装置１６にはそれに応じた変化を伴うゲーム画面が表示される（矢印Ｃ）。これと同時に本実施の形態では、情報処理装置１０が実物体１２０を、ゲーム画面内のオブジェクトと同じように動かす（矢印Ｄ）。

第２のパターンとして、ユーザが実物体１２０を動かすと、情報処理装置１０はその動きを認識する（矢印Ｅ、Ｆ）。すると情報処理装置１０は、表示装置１６に表示させているゲーム画面のうち対応するオブジェクトを、実物体１２０の動きと同様に動かす（矢印Ｃ）。どちらのパターンも、実物体と画面内のオブジェクトを連動させる、という独特の態様であるが故、一般的なコンピュータゲームや玩具遊びでは発生し得ない不都合が生じることがある。

図６は第１のパターンにおける表示画面と実物体の関係を例示している。この例は戦闘ゲームを想定しており、画面２００において、第１のキャラクタ２０２ａと第２のキャラクタ２０２ｂが対戦中であるとする。図１と同様、第１のキャラクタ２０２ａ、第２のキャラクタ２０２ｂは、実物体１２０ａ、実物体１２０ｂにそれぞれ対応づけられている。例えば第１のキャラクタ２０２ａは入力装置１４によってユーザが操作し、第２のキャラクタ２０２ｂは敵キャラクタとして情報処理装置１０がプログラムに則り動かす。あるいは２つの入力装置１４を用いて、２人のユーザがそれぞれのキャラクタを動かしてもよい。

いずれにしろ入力装置１４を用いたユーザ操作により、第１のキャラクタ２０２ａが矢印ａのように動いた場合、情報処理装置１０は、実物体１２０ａも同様に動かす必要がある。このとき、入力装置１４の方向指示キーやジョイスティックなどによって、第１のキャラクタ２０２ａが画面内で徐々に動かされた場合は、上述のように速度ベクトルを座標変換することにより、実世界での移動方向および移動量を逐次算出すればよい。情報処理装置１０は、その算出結果に基づき実物体１２０ａに制御信号を継続して送信することにより、実物体１２０ａが矢印ｂのように動き、第１のキャラクタ２０２ａと連動することになる。

一方、第１のキャラクタ２０２ａをワープさせる操作、すなわち仮想世界で到達点を指定して瞬時に移動させる操作がなされた場合、実物体１２０ａを同じようにワープさせることは物理的に不可能となる。そこで次のようなシナリオを準備する。
（１）実物体を、仮想世界の到達点に対応する位置までの最短経路で移動させる
（２）実物体の移動中、所定の画像を表示する

上記（１）は、例え仮想世界において障害物があったり道がなかったりしても、実世界においてそのような障害がない限り、実物体１２０ａを最短経路で移動させることを意味する。図６の画面２００で、第１のキャラクタ２０２ａを第２のキャラクタ２０２ｂ近傍を到達点として移動させる場合を考えると、画面内の仮想世界では、第１のキャラクタ２０２ａと第２のキャラクタ２０２ｂの間に岩のような障害物が存在する。一方、実世界ではそのような障害物が存在しないため、第１のキャラクタ２０２ａを第２のキャラクタ２０２ｂに向けて直線移動させる。実際に障害物が存在する場合であっても、既存の最短経路探索手法により到達点までの最短経路を導出する。これにより、実物体の移動に伴うゲームの停滞時間を削減することができる。

上記（２）は、ゲーム画面を暗転させる、移動中であることを示す動画を表示させる、霧を発生させるなどのエフェクト処理を施すなど、実物体の移動期間に特有の変化を表示画面に生じさせることを意味する。このようにすることで、実物体の移動完了を待機するためにゲーム画面がフリーズしたような状態を解消し、ユーザのストレスを軽減できる。上記（１）と（２）は排他的な処理ではないため同時に行ってもよいし、場合によってはどちらか一方のみを行ってもよい。

またこのようなユーザによるワープ操作に起因するものでなく、シーンの切り替わりや、ボードゲームにおける新たな対戦開始時など、設定上、画面内のオブジェクトを所定の配置にする必要があるときなどは、実物体の側で何らかの演出を行ってもよい。例えば戦隊など比較的多くの実物体を所定の配置にする場合は、画面内では瞬時に当該配置にできたとしても、実物体は隊列を組んでプレイフィールド内を行進したりして、最終的に配置につくようにしてもよい。このように実物体の移動自体が興味を引くものとすることにより、待ち時間を利用してゲームとは別の楽しみをユーザに提供できる。

次に第１のパターンにおける情報処理装置１０の動作を説明する。図７は入力装置１４を用いて画面内のオブジェクトを移動させる場合に実物体を連動させる処理手順を示すフローチャートである。このフローチャートは、情報処理装置１０がゲームを実行している状況において随時開始される。まずユーザが入力装置１４を用いてオブジェクトを移動させる操作を行ったら（Ｓ１０）、情報処理部３０は、到達点を指定するワープ操作か否かを確認する（Ｓ１２）。ワープ操作でない、すなわち徐々に移動させる操作である場合は（Ｓ１２のＮ）、微少時間ごとに画面内のオブジェクトを移動させる（Ｓ１４）。それと同時に、対応する移動方向および移動量で実物体を移動させる（Ｓ１６）。この微少時間ごとの連動処理を、移動操作が停止するまで繰り返し（Ｓ１８のＮ）、移動操作が停止したら処理を抜ける（Ｓ１８のＹ）。

到達点を指定するワープ操作の場合（Ｓ１２のＹ）、情報処理部３０は画面内のオブジェクトを到達点まで瞬時に移動させる（Ｓ２０）。この際、ワープしたことを示すエフェクト処理を施してもよい。それと同時に情報処理部３０は、仮想世界における到達点に対応する実世界の位置を特定し、その位置までの最短経路を探索することにより、実物体１２０の移動経路を決定する（Ｓ２２）。そして実物体１２０を当該経路で移動させながら、所定の動画を表示させたり画面にエフェクト処理を施したりし、移動が完了したら処理を抜ける（Ｓ２４）。上述のように設定上、実物体を配置し直す場合は、Ｓ１２のＹから処理を開始する。あるいは上述のように実物体の動き自体に何らかの規則性を設けるなどの演出を施す。情報処理部３０は、連動シナリオ記憶部２６に格納しておいた具体的なシナリオのうち、実際の状況に応じて選択した処理をＳ２２やＳ２４で実行する。

図８は、図５を参照して説明した第２のパターンにおける表示画像と実物体の関係を例示している。この例は、図６と同様の戦闘ゲームを想定しており、画面２０４において、第１のキャラクタ２０２ａと第２のキャラクタ２０２ｂが対戦中である。一方、実世界においては、第１のキャラクタ２０２ａに対応づけられた実物体１２０ａが存在するのに対し、第２のキャラクタ２０２ｂに対応する実物体が存在しない点が図６と異なっている。すなわちキャラクタ２０２ｂは敵キャラクタとして画面内のみに存在し、情報処理装置１０がプログラムに則り動かす。

このような状況において、ユーザが実物体１２０ａを矢印ｃのように動かしたとする。このとき情報処理装置１０は、画面内の第１のキャラクタ２０２ａを同様に矢印ｄのように動かす必要がある。しかし実物体１２０ａの移動が、第２のキャラクタ２０２ｂに対応する場所２０６に及んだ場合に不都合が生じる。すなわち、実世界では第２のキャラクタ２０２ｂに対応する実物体が存在しないため、実物体１２０ａが場所２０６に存在することは物理的には可能である。一方、画面内で第１のキャラクタ２０２ａを同様に移動させた場合、第２のキャラクタ２０２ｂと重なってしまい描画できないことになる。このことは、敵キャラクタのみならず、山、水面、建造物など、そのままではキャラクタが存在し得ない場所に対応する領域（以下、禁止領域と呼ぶ）に実物体が置かれてしまい、実世界の状態をゲーム画面に反映させられない場合がある。

そこでユーザが動かした実物体が禁止領域に到達した場合、あるいは禁止領域周辺の所定範囲内に入ったときに対応させて、次のようなシナリオを準備する。
（１）エラーメッセージを出力する
（２）情報処理装置によって実物体を禁止領域外に移動させる
（３）禁止領域でないように仮想世界を変化させる
（４）予備の実物体を移動させて禁止領域に配置する

上記（１）は、画面上や音声で、実物体１２０ａが禁止領域に入ったことをユーザに通知することで、実物体１２０ａを禁止領域から移動させるように促す。ユーザが実物体１２０ａに触れている状況であることから、実物体１２０ａに内蔵した振動子を振動させてユーザに気づかせてもよい。あるいは実物体１２０ａに内蔵した発光体を発光させたり、搭載したディスプレイに所定の画像を表示させたり、スピーカから所定の音声を発生させたりして警告してもよい。また、表示装置１６にメッセージなど所定の画像を表示させたり、表示装置１６に内蔵させたスピーカなどから所定の音声を発生させたりしてもよい。それらの警告手段の２つ以上を組み合わせて用いてもよい。これを受けて、ユーザは画面２０４を見ながら実物体１２０ａを移動させることにより、容易に禁止領域外に出すことができる。上記（２）は、情報処理装置１０からの制御信号によって、実物体１２０ａを強制的に禁止領域の外に移動させることを意味する。

上記（３）は、禁止領域が、図示するように敵キャラクタ２０２ｂの存在に起因するのであれば、当該敵キャラクタ２０２ｂを移動させることにより禁止領域自体を移動させる。敵キャラクタ以外でも、動くオブジェクトであれば同様に移動させることができる。山や建造物のように動く物でなければ、それらが崩れたり高さが低くなったりして、その上にキャラクタが立てるようにすることにより禁止領域を解除する。上記（４）は、プレイフィールド１９の周辺に、禁止領域を表す予備の実物体を準備しておくことをルールとし、ユーザが動かす実物体１２０ａが禁止領域の所定範囲内に入ったとき、情報処理装置１０からの制御信号によって当該予備の実物体を移動させ禁止領域に配置する。これにより実物体１２０ａが禁止領域に入るのを物理的に防止する。

なお第１のパターンでゲームなどを進行中、ユーザが実物体を自分の手で移動させるなど第２のパターンと混同するような状況が発生した場合、上記（１）によりユーザに警告してもよい。例えば図６で示したようなゲームにおいて、入力装置１４を介したユーザ操作により情報処理装置１０が徐々に動かすべき実物体１２０ａなどを、ユーザが直接、手で移動させてしまう可能性がある。これにより、ワープを想定しないゲームなどでは特に、表示画面と実物体に不整合が生じてしまう。このような実物体の不正な動きを実物体状態特定部２２が検出することにより、上述したような手段でユーザに違反を警告する。あるいは不正行為としてゲーム上で減点するなどのペナルティを課してもよい。これによりユーザにルールを順守させ、第１のパターンと第２のパターンの混同による不整合を防止することができる。

次に第２のパターンにおける情報処理装置１０の動作を説明する。図９はユーザが実物体を移動させる場合に、禁止領域を考慮しつつ画面内のオブジェクトを連動させる処理手順を示すフローチャートである。このフローチャートは、情報処理装置１０がゲームを実行している状況において随時開始される。まずユーザが実物体を移動させたら（Ｓ３０）、情報処理部３０は当該実物体が禁止領域に入るか否かを監視する（Ｓ３２）。なお情報処理部３０は禁止領域の位置や大きさを、仮想世界における周囲のオブジェクトや敵キャラクタの動きなどに応じて随時決定する。

実物体が禁止領域に入らないうちは（Ｓ３２のＮ）、微少時間ごとに、実物体と対応する移動方向と移動量で画面内のオブジェクトを移動させる（Ｓ３４）。この微少時間ごとの連動処理を、実物体の移動操作が停止するまで繰り返す（Ｓ３８のＮ）。そのような移動処理の途中などで実物体が禁止領域に入ったら（Ｓ３２のＹ）、上記（１）〜（４）の処理のいずれかまたは組み合わせで、実物体を制御したり仮想世界を変化させたりする（Ｓ３６）。以後、実物体が禁止領域外にあるうちはオブジェクトを連動させ、禁止領域に入ったら選択したシナリオに従った処理を行うことを繰り返し（Ｓ３２〜Ｓ３６）、実物体の移動が終了したら処理を抜ける（Ｓ３８のＹ）。情報処理部３０は、連動シナリオ記憶部２６に格納しておいた具体的なシナリオのうち、実際の状況に応じて選択した処理をＳ３６で実行する。

上記のシナリオはいずれも、実物体が禁止領域に到達した際、あるいは禁止領域周辺の所定範囲内に入った際に行う処理であったが、実物体の位置や動きに関わらず、禁止領域を実世界で示すようにしてもよい。具体的には、表示装置１６としてプロジェクタもしくはタブレットＰＣを別途導入し、プレイフィールド１９上に画像を投影または表示する。当該画像は、例えば図８の場所２０６のように、禁止領域が所定の色で塗りつぶされた画像でもよいし、山や建造物などをその形状通りに表した画像でもよい。このような画像を実世界に投影することで禁止領域が明確になり、ユーザが実物体を移動させる際、禁止領域を容易に避けることができる。このことは、禁止領域が複数存在したり、頻繁に移動したりするような態様において特に有効である。

そのような態様の代表的な例として、ネットワークを介した対戦ゲームについて説明する。図１０はネットワークを介して接続した２つの情報処理装置１０を利用して対戦ゲームを行う態様における情報伝達の体系を模式的に示している。図示するように第１ユーザが使用する情報処理装置１０ａと、第２ユーザが使用する情報処理装置１０ｂが、ネットワーク１８を介して接続している。各ユーザは、図５と同様に入力装置１４ａ、１４ｂや実物体１２０ａ、１２０ｂを操作することにより、情報処理装置１０ａ、１０ｂに情報処理を行わせ、それに応じて表示装置１６ａ、１６ｂの表示を変化させたり実物体１２０ａ、１２０ｂを動作させたりする。ただしここでは第２のパターン、すなわち実物体１２０ａ、１２０ｂをユーザが動かすことにより対戦ゲームを進捗させることを想定するため、第１のパターンのみで用いる情報伝達経路は破線で示している。

このとき第１ユーザの表示装置１６ａに表示されるのは、第１ユーザが動かす実物体１２０ａに対応するオブジェクトに加え、第２ユーザが動かす実物体１２０ｂに対応するオブジェクトを含む。同様に、第２ユーザの表示装置１６ｂに表示されるのは、第２ユーザが動かす実物体１２０ｂに対応するオブジェクトに加え、第１ユーザが動かす実物体１２０ａに対応するオブジェクトを含む。そのため各情報処理装置１０ａ、１０ｂは、相手の情報処理装置１０ｂ、１０ａの実物体状態特定部２２が特定した、相手の実物体の位置情報を、ネットワーク１８を介して逐次、取得する。そして各情報処理装置１０ａ、１０ｂの情報処理部３０が、双方の実物体の動きに応じて同じプログラムを処理することにより、対戦ゲームが双方で同様に進捗する。

図１１はネットワークを介した対戦ゲームにおける表示画像と実物体の関係を例示している。この例はチェスのようなボードゲームを想定しており、画面２０７において、自分の駒２０８ａ、２０８ｂ、２０８ｃと、相手の駒２１０ａ、２１０ｂ、２１０ｃが、仮想世界のゲーム盤２１２上に置かれている。なお相手ユーザの画面には、ゲーム盤２１２を逆側から見た画像が表示される。画面内の駒のうち自分の駒２０８ａ、２０８ｂ、２０８ｃは、実世界のゲーム盤２１４上に置いた実物体１２０ａ、１２０ｂ、１２０ｃを動かすことにより操作する。一方、相手の駒２１０ａ、２１０ｂ、２１０ｃに対応する実物体は存在しない。

そのため、実世界のゲーム盤２１４のマス目のうち、相手の駒が置かれたマス目に対応するマス目に塗りつぶしの図形２１６ａ、２１６ｂ、２１６ｃが表示されるように、プロジェクタを用いてゲーム盤２１４上に画像を投影する。あるいはゲーム盤２１４を構成するタブレットＰＣの画面に当該画像を表示する。これにより、相手の駒の実物がなくても、自分の駒の実物体を置けないマス目を容易に認識できる。なお図１１の場合は実物体１２０ａ、１２０ｂ、１２０ｃや、仮想世界における駒２０８ａ、２０８ｂ、２０８ｃなどが全て同じ形状であるが、チェスのように駒の役割が異なる場合は、実物体や仮想世界の駒もそれを反映するように形状を異ならせてよい。このとき、プロジェクタで投影したりタブレットＰＣに表示させたりする図形も、置かれた駒の種類に応じて変化させてよい。

これにより、該当するマス目が禁止領域であることに加え、実際のボードゲームと同様に、どの種類の駒がどの位置に置かれているのかを、実世界のゲーム盤２１４のみを見て認識できる。プロジェクタによる画像投影の代わりに、光透過型のヘッドマウントディスプレイによって、実世界のゲーム盤２１４上に実際に相手の駒が存在するように表現してもよい。これらの態様のように、実世界のゲーム盤２１４上でゲームの状況を全て表現できる場合は、ディスプレイによる画面２０７の表示を省略してもよい。

マス目や駒の数が増えるほど、相手の駒の位置や自分の駒との関係が画面２０７のみでは把握しづらくなるため、実世界のゲーム盤２１４上に画像を投影することの効果がより発揮される。また、このような対戦ゲームを観戦する第３のユーザの情報処理装置（図示せず）をさらに接続し、当該第３のユーザの前に置かれたゲーム盤に、第１ユーザ、第２ユーザの双方の駒をプロジェクタで投影してもよい。この場合、この第３のユーザの情報処理装置１０には、第１ユーザ、第２ユーザの情報処理装置１０ａ、１０ｂの実物体状態特定部２２が特定した、双方の実物体の位置情報を、ネットワーク１８を介して逐次、送信する。これに応じて第３のユーザの情報処理装置１０は、双方の駒の区別が分かるような図形で各駒の位置を表した画像を逐次生成し、実世界のゲーム盤に投影あるいは表示する。

ネットワークを用いた対戦ゲームは図示したようなボードゲームに限らず、戦闘ゲーム、カーレースゲーム、各種スポーツゲームなどでも同様に適用できる。また、参戦するユーザの数は２人に限らない。なおこのような態様においてもプロジェクタを用いず、実物体が禁止領域に到達した場合、あるいは禁止領域周辺の所定範囲内に入ったときに、上述した（１）〜（４）のシナリオのいずれかを実行してもよい。

図１２は図１１で説明した態様の変形例として、相手の駒に対応する実物体も実世界のゲーム盤に配置するときの表示画像と実物体の関係を例示している。すなわち画面２０７で表示されている駒のうち、自分の駒２０８ａ、２０８ｂ、２０８ｃに対応する実物体１２０ａ、１２０ｂ、１２０ｃ以外に、相手の駒２１０ａ、２１０ｂ、２１０ｃに対応する実物体２１８ａ、２１８ｂ、２１８ｃも、実世界のゲーム盤２１４上に配置する。この場合、相手が遠隔地で駒を移動させると、画面２０７内の相手の駒２１０ａ、２１０ｂ、２１０ｃが連動して移動するのと並行して、それに対応する実物体２１８ａ、２１８ｂ、２１８ｃも自動で動く態様となる。

このため各情報処理装置１０ａ、１０ｂは、ネットワーク１８を介して相手の実物体の動きを取得したら、それを面前の実物体２１８ａ、２１８ｂ、２１８ｃに反映させるべく制御信号をそれらの実物体に送信する。この場合、自分の面前の実物体であっても、相手の駒に対応する実物体２１８ａ、２１８ｂ、２１８ｃについては、ユーザが勝手に動かせないようにする必要がある。例えば外力によって移動されること、あるいは触れられたことを検知する機構を実物体２１８ａ、２１８ｂ、２１８ｃに設け、そのような状況が検知されたら内蔵した振動子を振動させたり、発光体を発光させたりしてユーザに警告する。あるいは実物体または表示装置１６の画面やそれらからの出力音声でエラーメッセージを出力したり、動かされても元の位置に戻るように情報処理装置１０が制御してもよい。

ユーザが入力装置１４を操作するか実物体を動かすかによらず、画面上の仮想世界と実世界で不整合が発生する状況はほかにも考えられる。その一例が、仮想世界におけるオブジェクトの消滅や出現である。図１３は、仮想世界のオブジェクトが消滅する状況における表示画像と実物体の関係を例示している。この例は図６や図８で例示した戦闘ゲームを想定しており、画面２２０において、第１のキャラクタ２０２ａの攻撃により第２のキャラクタ２０２ｂが消滅する様子（図では破片となっている）が表されている。

この場合、第２のキャラクタ２０２ｂに対応する実物体１２０ｂを同様に消滅させることはできないため、仮想世界では何もない場所に実物体１２０ｂが存在することになり、仮想世界と実世界で不整合が生じる。そのため、実物体１２０ｂと対応する画面中のオブジェクトが消滅したり破壊されたりした場合に対応させて、次のようなシナリオを準備する。
（１）ユーザに対するメッセージを出力する
（２）情報処理装置によって該当オブジェクトに対応する実物体をプレイフィールド外に移動させる
（３）仮想世界で残骸が残るように表現する

上記（１）は、オブジェクトが消滅したり破壊されたりした時点で、対応する実物体１２０ｂをプレイフィールド１９外に移動させるようにユーザに促すメッセージを、画面表示、音声、実物体１２０ｂの発光などの手段で通知することを意味する。上記（２）は、情報処理装置１０が実物体１２０ｂに対し制御信号を送信することにより、当該実物体１２０ｂをプレイフィールド１９外に移動させることを意味する。図１３の例では矢印ｆの方向へ移動させることによりプレイフィールド１９から退場させる。（１）、（２）いずれの場合も、その後のゲームプレイにおいて実物体１２０ｂが実物体１２０ａの動きの妨げになることがなくなる。結果として、仮想世界において残った第１のキャラクタ２０２ａの可動範囲と、実世界における実物体１２０ａの可動範囲に整合性をとることができる。仮想世界で新たなオブジェクトを出現させる場合は、プレイフィールド周辺に準備しておいた予備の実物体をユーザに移動させるよう促すか、情報処理装置１０が矢印ｆと逆方向に移動させることにより、プレイフィールド１９上に実物体を追加する。

上記（３）は、実物体１２０ｂをそのままとし、仮想世界において該当キャラクタ２０２ｂの残骸を残すように表現することを意味する。この場合、実物体１２０ｂは、残った第１のキャラクタ２０２ａに対応する実物体１２０ａの動きの妨げになるが、仮想世界でも残骸として第１のキャラクタ２０２ａの動きの妨げになるため、結果として両者の可動範囲の整合性はとれていることになる。この場合、残骸となったことを表す画像をプロジェクタにより実物体１２０ｂ上に投影すると、当該実物体１２０ｂがもはや動かしたり動いたりする物ではないことが直感的に理解できる。

ボードゲームの駒のように消滅するオブジェクトの数が比較的多かったり、残骸を残すことが不適切なゲームの場合は（１）または（２）を選択し、ロールプレイングゲームのように仮想世界での表現に自由度が高いゲームの場合は（３）を選択するなど、ゲームの内容や状況に応じて適宜シナリオを選択する。

これまで述べた例は、実物体１２０を用いて変化する実世界と、入力装置１４を用いて変化する仮想世界という、本来は独立した２つの世界を常時連動させるために、情報処理装置１０の仲介によってそれらの整合性をとっている、という側面をもつ。一方、そのような２つの世界を相補完的に利用することで、両者の整合性に係る上述したような不都合の発生自体をなくすことも考えられる。つまり、実物体１２０の操作の影響が及ぶ範囲と、入力装置１４の操作の影響が及ぶ範囲を分離し、必要な情報のみを統合する。例えば実物体１２０の操作によって画面内のオブジェクトが動くシーンと、入力装置１４による操作を受け付けるシーンとを分けるとともに、後者は実物体１２０の連動を伴わないシーンとする。

図１４は、操作手段によってシーンを分ける態様における情報処理装置の構成と表示画面例を模式的に示している。この態様において情報処理装置１０は、実物体１２０の動きに応じて情報処理を行い、表示画像を生成する実物体対応処理部２３０と、入力装置１４のユーザ操作に応じて情報処理を行い、表示画像を生成する入力装置対応処理部２３２を含む。実物体対応処理部２３０は、図２で示した情報処理装置１０の構成のうち通信部２０、実物体状態特定部２２、情報処理部３０、表示処理部３２、実物体情報記憶部２４で構成する。入力装置対応処理部２３２は、情報処理部３０、表示処理部３２で構成する。ただし情報処理部３０は、実物体を動作させるための制御信号を生成する必要がない。

実物体対応処理部２３０は、ユーザが実物体１２０を動かすことにより動くオブジェクトが登場する仮想世界の画面２３４を生成する。入力装置対応処理部２３２は、入力装置１４によるユーザ操作を受け付ける画面２３６を生成する。同図の例では、画面２３４は図６などでも示した戦闘ゲームの戦闘中の画面、画面２３６は戦闘に際し自キャラクタが用いる武器を選択する画面である。ゲームプレイ中、通常は画面２３４のような仮想世界を表示し、入力装置１４を用いるなどしてユーザが武器選択画面を呼び出したときのみ画面２３６が表示される、といったように画面を切り替える。あるいは、両画面を同時に表示させておき、アクティブとなる画面を、入力装置１４を用いて選択できるようにしてもよい。

いずれにしろ、入力装置１４を用いて画面２３４内のキャラクタが動くことがなければ、それに合わせて実物体１２０を動かす必要がなくなるため、結果的には実世界と仮想世界の整合性が常時、保たれることになる。なお入力装置１４は、図示するような選択画面に対する選択操作や画面切り替え操作以外でも、キャラクタの動きに直接影響しない操作であれば用いることができる。

また、同じオブジェクトであっても、実物体１２０の動きに応じて動く場面と、入力装置１４や情報処理装置１０の情報処理に応じて動く場面とを分離することにより、後者の場面では整合性を勘案する必要がなくなる。図１５は同一のオブジェクトを、場面ごとに分けて表現した場合の表示画像と実物体の関係を例示している。

この例はサッカーゲームを想定しており、画面２４０全体に表示されるメイン画面２４４において、選手達のオブジェクト２４２ａ、２４２ｂ、２４２ｃ、・・・がサッカーフィールドでプレイしている。この画像は入力装置１４を用いてユーザが自チームの選手を動かしたり、プログラムに応じて情報処理装置１０が敵チームの選手を動かしたりしたものであり、入力装置対応処理部２３２によって生成される。一方、画面２４０の右下には初期のフォーメーションを表すサブ画面２４６が表示されている。サブ画面２４６は、試合が開始される時点での各選手の配置を、サッカーフィールドを俯瞰した図面として示しており、白丸、黒丸がそれぞれ、自チーム、敵チームの個々の選手を表す。

このサブ画面２４６における自チームの選手の配置は、実世界における実物体１２０ｃ、１２０ｄ、１２０ｅ、・・・の位置を反映したものである。したがってサブ画面２４６の画像は実物体対応処理部２３０が生成する。この場合、敵チームの選手の配置は実物体対応処理部２３０がプログラムに則り決定する。あるいは図１０を参照して説明したように、離れた場所にいる別のユーザが配置した実物体の位置を、ネットワーク１８を介して取得し、敵チームの配置に反映させてもよい。ユーザは、サブ画面２４６を見ながら実物体１２０ｃ、１２０ｄ、１２０ｅ、・・・を動かすことにより自チームの選手のフォーメーションを調整したり、実物体１２０ｄに対応する選手が敵陣に近づく動きに合わせて実物体１２０ｅに対応する選手が実物体１２０ｄに対応する選手の位置に移動するなど互いの位置関係や動きの流れを決定したりしたあと、メイン画面２４４においてゲームを開始、進捗させる。なおサブ画面２４６は、メイン画面２４４と同時に表示させなくてもよく、画面を切り替えたり、ユーザが呼び出したときのみ表示されるようにしたりしてもよい。

ここで、メイン画面２４４における試合中の選手達のオブジェクト２４２ａ、２４２ｂ、２４２ｃ、・・・の動きは、実物体１２０ｃ、１２０ｄ、１２０ｅ、・・・には反映させない。つまり上述のように、同じ選手であっても初期のフォーメーションの設定には実物体１２０ｃ、１２０ｄ、１２０ｅ、・・・を利用し、試合中の動きは仮想世界のみで表現する。特にサッカーゲームのようにスピード感が重要なゲームでは、ユーザは画面に注視しながら入力装置１４のみで操作した方が都合がよいことが多い。一方、初期フォーメーションを決定する場面など、スピードは重要でないが移動を容易にしたい場合や、複数の実物体の位置関係やその移動軌跡自身に意味のある操作を行う場合、あるいは配置を大きく変化させたい場合などは、実物体を用いた操作が有効である。したがってこのような特性の違いに応じて場面ごとに操作手段を切り替えることにより、常に適切な状態での操作が可能となる。

以上述べた本実施の形態によれば、実物体と画面内のオブジェクトとを対応づけ、一方の動きに合わせて他方も動くような態様を実現する。このとき、物理的に、あるいは設定上で、同じ動きが実現できない状況の発生を監視し、あらかじめ準備したシナリオから状況に応じたものを選択して実行することにより、より自然なかたちで両者の整合性を得る。具体的には、仮想世界に対し到達点を指定することによりキャラクタを移動させるユーザ操作がなされた場合は、情報処理装置は実世界での最短経路を探索して経路を決定することにより実物体の移動時間を最小限に抑えつつ、移動時間中も楽しめるような演出を画像上や実世界で行うことにより、ユーザのストレスを軽減する。

あるいはユーザが、仮想世界で存在し実世界には存在しない相手キャラクタや障害物の存在する禁止領域に実物体を移動させた際は、情報処理装置がエラーメッセージを出力したり当該実物体を別の場所に移動させたりする。または仮想世界において相手キャラクタを移動させたり障害物を変形させたりして実物体に対応する位置に自キャラクタが居られるようにする。そのほか、実世界における禁止領域に、それとわかるような図形が表示されるよう、プロジェクタやタブレットＰＣを用いて画像を投影したり表示したりする。

また仮想世界においてオブジェクトが途中で消滅したり出現したりした場合は、情報処理装置が、それに対応する実物体をプレイフィールド外に移動させたり予備の実物体をプレイフィールド内の対応する位置に移動させたりする。あるいは仮想世界でオブジェクトの残骸を残すことにより禁止領域を発生させる。これらのシナリオにより、ユーザが入力装置を用いて操作するとき、実物体を動かすとき、の双方において、ユーザに違和感を与えたりシステムエラーを発生させたりすることなくその後のゲームの進捗に繋げることができる。

さらにネットワークを利用して相手ユーザの操作情報を取り込み、それに応じて実物体、あるいはプレイフィールドに投影する画像の動きに反映させれば、ネットワークゲームでありながら実物体が動いたり動かしたりできる、臨場感のあるゲームを楽しむことができる。この構成は、勝敗を決定するゲームばかりでなく、複数のユーザの共同作業で１つの作品を作り上げるような新規な遊びや芸術にも応用できる。

以上、本発明を実施の形態をもとに説明した。上記実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

１情報処理システム、１０情報処理装置、１４入力装置、１６表示装置、１８ネットワーク、１９プレイフィールド、２０通信部、２２実物体状態特定部、２４実物体情報記憶部、２６連動シナリオ記憶部、３０情報処理部、３２表示処理部、５０実物体情報、１２０実物体、１２２カメラ、１４３状態情報取得部、１４６駆動部、１４８通信部。

以上のように本発明はコンピュータ、ゲーム装置、コンテンツ表示装置などの情報処理装置や玩具、それらを含むシステムなどに利用可能である。

Claims

実世界に存在する実物体を動かすユーザ操作と、接続された入力装置を用いたユーザ操作の少なくともいずれかに応じて情報処理を行う情報処理部と、
前記情報処理の結果として、前記実物体に対応づけた仮想オブジェクトが存在する仮想空間を描画し表示装置に表示させる表示処理部と、
を備え、
前記情報処理部は、前記入力装置を用いたユーザ操作により、前記仮想空間において前記仮想オブジェクトが動かされたとき、実世界における前記実物体に、対応する動きを生じせしめる制御信号を生成して当該実物体に送信する実物体制御処理と、前記実物体を動かすユーザ操作がなされたとき、前記仮想空間における前記仮想オブジェクトに、対応する動きを生じせしめるための仮想空間に対する操作処理、の少なくともいずれかにより、前記実物体を含む実世界と前記仮想オブジェクトを含む前記仮想空間とが、対応した状態を保つようにするとともに、前記仮想空間における前記仮想オブジェクトが存在し得ない領域と対応する、実世界における領域を、前記実物体を置くことのできない禁止領域として決定し、当該禁止領域またはその周囲の所定領域に前記実物体が入ったことを検知したら、前記実物体を別の領域へ移動させるための制御信号を生成し、当該実物体に送信することにより、以後の情報処理を継続することを特徴とする情報処理装置。
実世界に存在する実物体を動かすユーザ操作と、接続された入力装置を用いたユーザ操作の少なくともいずれかに応じて情報処理を行う情報処理部と、
前記情報処理の結果として、前記実物体に対応づけた仮想オブジェクトが存在する仮想空間を描画し表示装置に表示させる表示処理部と、
を備え、
前記情報処理部は、前記入力装置を用いたユーザ操作により、前記仮想空間において前記仮想オブジェクトが動かされたとき、実世界における前記実物体に、対応する動きを生じせしめる制御信号を生成して当該実物体に送信する実物体制御処理と、前記実物体を動かすユーザ操作がなされたとき、前記仮想空間における前記仮想オブジェクトに、対応する動きを生じせしめるための仮想空間に対する操作処理、の少なくともいずれかにより、前記実物体を含む実世界と前記仮想オブジェクトを含む前記仮想空間とが、対応した状態を保つようにするとともに、前記仮想空間における前記仮想オブジェクトが存在し得ない領域と対応する、実世界における領域を、前記実物体を置くことのできない禁止領域として決定し、当該禁止領域またはその周囲の所定領域に前記実物体が入ったことを検知したら、前記実物体の振動、画像表示、音声出力の少なくともいずれかによりユーザに警告するための制御信号を生成し、当該実物体に送信することにより、以後の情報処理を継続することを特徴とする情報処理装置。
実世界に存在する実物体を動かすユーザ操作と、接続された入力装置を用いたユーザ操作の少なくともいずれかに応じて情報処理を行う情報処理部と、
前記情報処理の結果として、前記実物体に対応づけた仮想オブジェクトが存在する仮想空間を描画し表示装置に表示させる表示処理部と、
を備え、
前記情報処理部は、前記入力装置を用いたユーザ操作により、前記仮想空間において前記仮想オブジェクトが動かされたとき、実世界における前記実物体に、対応する動きを生じせしめる制御信号を生成して当該実物体に送信する実物体制御処理と、前記実物体を動かすユーザ操作がなされたとき、前記仮想空間における前記仮想オブジェクトに、対応する動きを生じせしめるための仮想空間に対する操作処理、の少なくともいずれかにより、前記実物体を含む実世界と前記仮想オブジェクトを含む前記仮想空間とが、対応した状態を保つようにするとともに、前記入力装置を用いたユーザ操作により、到達点を指定して前記仮想オブジェクトを前記仮想空間において即時に移動させる操作がなされたとき、当該到達点に対応する実世界での到達点を決定したうえ、それに至る最短経路を探索することにより、前記実物体を当該最短経路で移動させるための制御信号を生成し、当該実物体に送信することにより、以後の情報処理を継続することを特徴とする情報処理装置。
実世界に存在する実物体を動かすユーザ操作と、接続された入力装置を用いたユーザ操作の少なくともいずれかに応じて情報処理を行う情報処理部と、
前記情報処理の結果として、前記実物体に対応づけた仮想オブジェクトが存在する仮想空間を描画し表示装置に表示させる表示処理部と、
を備え、
前記情報処理部は、前記入力装置を用いたユーザ操作により、前記仮想空間において前記仮想オブジェクトが動かされたとき、実世界における前記実物体に、対応する動きを生じせしめる制御信号を生成して当該実物体に送信する実物体制御処理と、前記実物体を動かすユーザ操作がなされたとき、前記仮想空間における前記仮想オブジェクトに、対応する動きを生じせしめるための仮想空間に対する操作処理、の少なくともいずれかにより、前記実物体を含む実世界と前記仮想オブジェクトを含む前記仮想空間とが、対応した状態を保つようにするとともに、前記入力装置を用いたユーザ操作により、到達点を指定して前記仮想オブジェクトを前記仮想空間において即時に移動させる操作がなされたとき、当該到達点に対応する実世界での到達点へ、あらかじめ定めた規則に従った経路で移動させるための制御信号を生成し、当該実物体に送信することにより、以後の情報処理を継続することを特徴とする情報処理装置。
実世界に存在する実物体を動かすユーザ操作と、接続された入力装置を用いたユーザ操作の少なくともいずれかに応じて情報処理を行う情報処理部と、
前記情報処理の結果として、前記実物体に対応づけた仮想オブジェクトが存在する仮想空間を描画し表示装置に表示させる表示処理部と、
を備え、
前記情報処理部は、前記入力装置を用いたユーザ操作により、前記仮想空間において前記仮想オブジェクトが動かされたとき、実世界における前記実物体に、対応する動きを生じせしめる制御信号を生成して当該実物体に送信する実物体制御処理と、前記実物体を動かすユーザ操作がなされたとき、前記仮想空間における前記仮想オブジェクトに、対応する動きを生じせしめるための仮想空間に対する操作処理、の少なくともいずれかにより、前記実物体を含む実世界と前記仮想オブジェクトを含む前記仮想空間とが、対応した状態を保つようにするとともに、前記仮想空間における前記仮想オブジェクトが存在し得ない領域と対応する、実世界における領域を、前記実物体を置くことのできない禁止領域として決定し、当該禁止領域の周囲の所定領域に前記実物体が入ったことを検知したら、禁止領域を示すための予備の実物体を移動させて当該禁止領域へ移動させるための制御信号を生成し、当該予備の実物体に送信することにより、以後の情報処理を継続することを特徴とする情報処理装置。
実世界に存在する実物体を動かすユーザ操作と、接続された入力装置を用いたユーザ操作の少なくともいずれかに応じて情報処理を行う情報処理部と、
前記情報処理の結果として、前記実物体に対応づけた仮想オブジェクトが存在する仮想空間を描画し表示装置に表示させる表示処理部と、
を備え、
前記情報処理部は、前記入力装置を用いたユーザ操作により、前記仮想空間において前記仮想オブジェクトが動かされたとき、実世界における前記実物体に、対応する動きを生じせしめる制御信号を生成して当該実物体に送信する実物体制御処理と、前記実物体を動かすユーザ操作がなされたとき、前記仮想空間における前記仮想オブジェクトに、対応する動きを生じせしめるための仮想空間に対する操作処理、の少なくともいずれかにより、前記実物体を含む実世界と前記仮想オブジェクトを含む前記仮想空間とが、対応した状態を保つようにするとともに、前記仮想空間において前記仮想オブジェクトが消滅したとき、当該仮想オブジェクトに対応する前記実物体を実世界の所定の領域外へ移動させるための制御信号を生成し、前記仮想空間において前記仮想オブジェクトが出現したとき、当該仮想オブジェクトに対応させるべき予備の実物体を実世界の対応する位置へ移動させるための制御信号を生成し、それぞれ対象の実物体に送信することにより、以後の情報処理を継続することを特徴とする情報処理装置。
実世界に存在する実物体を動かすユーザ操作と、接続された入力装置を用いたユーザ操作の少なくともいずれかに応じて情報処理を行う情報処理部と、
前記情報処理の結果として、前記実物体に対応づけた仮想オブジェクトが存在する仮想空間を描画し表示装置に表示させる表示処理部と、
を備え、
前記情報処理部は、前記入力装置を用いたユーザ操作により、前記仮想空間において前記仮想オブジェクトが動かされたとき、実世界における前記実物体に、対応する動きを生じせしめる制御信号を生成して当該実物体に送信する実物体制御処理と、前記実物体を動かすユーザ操作がなされたとき、前記仮想空間における前記仮想オブジェクトに、対応する動きを生じせしめるための仮想空間に対する操作処理、の少なくともいずれかにより、前記実物体を含む実世界と前記仮想オブジェクトを含む前記仮想空間とが、対応した状態を保つようにするとともに、前記仮想空間における前記仮想オブジェクトが存在し得ない領域と対応する、実世界における領域を、前記実物体を置くことのできない禁止領域として決定し、当該禁止領域またはその周囲の所定領域に前記実物体が入ったことを検知したら、前記仮想空間を操作することにより、前記禁止領域に対応する領域を、前記仮想オブジェクトが存在し得る領域に変化させることにより、以後の情報処理を継続することを特徴とする情報処理装置。
実世界に存在する実物体を動かすユーザ操作と、接続された入力装置を用いたユーザ操作の少なくともいずれかに応じて情報処理を行う情報処理部と、
前記情報処理の結果として、前記実物体に対応づけた仮想オブジェクトが存在する仮想空間を描画し表示装置に表示させる表示処理部と、
を備え、
前記情報処理部は、前記入力装置を用いたユーザ操作により、前記仮想空間において前記仮想オブジェクトが動かされたとき、実世界における前記実物体に、対応する動きを生じせしめる制御信号を生成して当該実物体に送信する実物体制御処理と、前記実物体を動かすユーザ操作がなされたとき、前記仮想空間における前記仮想オブジェクトに、対応する動きを生じせしめるための仮想空間に対する操作処理、の少なくともいずれかにより、前記実物体を含む実世界と前記仮想オブジェクトを含む前記仮想空間とが、対応した状態を保つようにするとともに、前記仮想空間において前記仮想オブジェクトが消滅したとき、その残骸を同じ場所に残すことにより、実世界における前記実物体の存在との整合性をとることで、対応した状態を保つことを特徴とする情報処理装置。
実世界に存在する実物体を動かすユーザ操作に応じて情報処理を行う情報処理部と、
前記情報処理の結果として、前記実物体に対応づけた仮想オブジェクトが存在する仮想空間を描画し表示装置に表示させる表示処理部と、
を備え、
前記情報処理部は、前記実物体を動かすユーザ操作がなされたとき、前記仮想空間における前記仮想オブジェクトに、対応する動きを生じせしめるための仮想空間に対する操作処理により、前記実物体を含む実世界と前記仮想オブジェクトを含む前記仮想空間とが、対応した状態を保つようにするとともに、前記仮想空間における前記仮想オブジェクトが存在し得ない領域と対応する、実世界における領域を、前記実物体を置くことのできない禁止領域として決定し、
前記表示処理部はさらに、実世界における前記禁止領域を示す画像を生成し、プロジェクタによって、前記実物体が置かれた平面に投影させるか、前記平面を構成するタブレット型コンピュータの画面に表示させることを特徴とする情報処理装置。
情報処理装置と、ユーザが動かすか前記情報処理装置からの制御信号によって動かされるか、の少なくともいずれかが可能な実物体と、を含む情報処理システムであって、
前記情報処理装置は、
前記実物体を動かすユーザ操作と、接続された入力装置を用いたユーザ操作の少なくともいずれかに応じて情報処理を行う情報処理部と、
前記情報処理の結果として、前記実物体に対応づけた仮想オブジェクトが存在する仮想空間を描画し表示装置に表示させる表示処理部と、
を備え、
前記情報処理部は、前記入力装置を用いたユーザ操作により、前記仮想空間において前記仮想オブジェクトが動かされたとき、実世界における前記実物体に、対応する動きを生じせしめる制御信号を生成して当該実物体に送信する実物体制御処理と、前記実物体を動かすユーザ操作がなされたとき、前記仮想空間における前記仮想オブジェクトに、対応する動きを生じせしめるための仮想空間に対する操作処理、の少なくともいずれかにより、前記実物体を含む実世界と前記仮想オブジェクトを含む前記仮想空間とが、対応した状態を保つようにするとともに、
前記仮想空間における前記仮想オブジェクトが存在し得ない領域と対応する、実世界における領域を、前記実物体を置くことのできない禁止領域として決定し、当該禁止領域を含む所定領域に前記実物体が入ったことを検知したとき、前記実物体を別の領域へ移動させるための制御信号を生成し当該実物体に送信する処理、前記実物体の振動、画像表示、音声出力の少なくともいずれかによりユーザに警告するための制御信号を生成し当該実物体に送信する処理、前記仮想空間を操作することにより、前記禁止領域に対応する領域を、前記仮想オブジェクトが存在し得る領域に変化させる処理、禁止領域を示すための予備の実物体を移動させて当該禁止領域へ移動させるための制御信号を生成し、当該予備の実物体に送信する処理、のいずれかを実施することにより、以後の情報処理を継続することを特徴とする情報処理システム。
情報処理装置と、ユーザが動かすか前記情報処理装置からの制御信号によって動かされるか、の少なくともいずれかが可能な実物体と、を含む情報処理システムであって、
前記情報処理装置は、
前記実物体を動かすユーザ操作と、接続された入力装置を用いたユーザ操作の少なくともいずれかに応じて情報処理を行う情報処理部と、
前記情報処理の結果として、前記実物体に対応づけた仮想オブジェクトが存在する仮想空間を描画し表示装置に表示させる表示処理部と、
を備え、
前記情報処理部は、前記入力装置を用いたユーザ操作により、前記仮想空間において前記仮想オブジェクトが動かされたとき、実世界における前記実物体に、対応する動きを生じせしめる制御信号を生成して当該実物体に送信する実物体制御処理と、前記実物体を動かすユーザ操作がなされたとき、前記仮想空間における前記仮想オブジェクトに、対応する動きを生じせしめるための仮想空間に対する操作処理、の少なくともいずれかにより、前記実物体を含む実世界と前記仮想オブジェクトを含む前記仮想空間とが、対応した状態を保つようにするとともに、
前記入力装置を用いたユーザ操作により、到達点を指定して前記仮想オブジェクトを前記仮想空間において即時に移動させる操作がなされたとき、当該到達点に対応する実世界での到達点を決定したうえ、それに至る最短経路を探索することにより、前記実物体を当該最短経路で移動させるための制御信号を生成し、当該実物体に送信する処理、または、当該到達点に対応する実世界での到達点へ、あらかじめ定めた規則に従った経路で移動させるための制御信号を生成し、当該実物体に送信する処理、を実施し、
前記仮想空間において前記仮想オブジェクトが消滅したとき、当該仮想オブジェクトに対応する前記実物体を実世界の所定の領域外へ移動させるための制御信号を生成し、対象の実物体に送信する処理、または、その残骸を同じ場所に残すことにより、実世界における前記実物体の存在との整合性をとる処理、を実施し、
前記仮想空間において前記仮想オブジェクトが出現したとき、当該仮想オブジェクトに対応させるべき予備の実物体を実世界の対応する位置へ移動させるための制御信号を生成し、対象の実物体に送信する処理、を実施することにより、以後の情報処理を継続することを特徴とする情報処理システム。
実世界に存在する実物体を動かすユーザ操作と、接続された入力装置を用いたユーザ操作の少なくともいずれかに応じて情報処理を行うステップと、
前記情報処理の結果として、前記実物体に対応づけた仮想オブジェクトが存在する仮想空間を描画し表示装置に表示させるステップと、
を含み、
前記情報処理を行うステップは、
前記入力装置を用いたユーザ操作により、前記仮想空間において前記仮想オブジェクトが動かされたとき、実世界における前記実物体に、対応する動きを生じせしめる制御信号を生成して当該実物体に送信する実物体制御処理と、前記実物体を動かすユーザ操作がなされたとき、前記仮想空間における前記仮想オブジェクトに、対応する動きを生じせしめるための仮想空間に対する操作処理、の少なくともいずれかにより、前記実物体を含む実世界と前記仮想オブジェクトを含む前記仮想空間とが、対応した状態を保つようにするステップと、
前記仮想空間における前記仮想オブジェクトが存在し得ない領域と対応する、実世界における領域を、前記実物体を置くことのできない禁止領域として決定し、当該禁止領域を含む所定領域に前記実物体が入ったことを検知したとき、前記実物体を別の領域へ移動させるための制御信号を生成し当該実物体に送信する処理、前記実物体の振動、画像表示、音声出力の少なくともいずれかによりユーザに警告するための制御信号を生成し当該実物体に送信する処理、前記仮想空間を操作することにより、前記禁止領域に対応する領域を、前記仮想オブジェクトが存在し得る領域に変化させる処理、禁止領域を示すための予備の実物体を移動させて当該禁止領域へ移動させるための制御信号を生成し、当該予備の実物体に送信する処理、のいずれかを実施することにより、以後の情報処理を継続するステップと、
を含むことを特徴とする、情報処理装置による情報処理方法。
実世界に存在する実物体を動かすユーザ操作と、接続された入力装置を用いたユーザ操作の少なくともいずれかに応じて情報処理を行うステップと、
前記情報処理の結果として、前記実物体に対応づけた仮想オブジェクトが存在する仮想空間を描画し表示装置に表示させるステップと、
を含み、
前記情報処理を行うステップは、
前記入力装置を用いたユーザ操作により、前記仮想空間において前記仮想オブジェクトが動かされたとき、実世界における前記実物体に、対応する動きを生じせしめる制御信号を生成して当該実物体に送信する実物体制御処理と、前記実物体を動かすユーザ操作がなされたとき、前記仮想空間における前記仮想オブジェクトに、対応する動きを生じせしめるための仮想空間に対する操作処理、の少なくともいずれかにより、前記実物体を含む実世界と前記仮想オブジェクトを含む前記仮想空間とが、対応した状態を保つようにするステップと、
前記入力装置を用いたユーザ操作により、到達点を指定して前記仮想オブジェクトを前記仮想空間において即時に移動させる操作がなされたとき、当該到達点に対応する実世界での到達点を決定したうえ、それに至る最短経路を探索することにより、前記実物体を当該最短経路で移動させるための制御信号を生成し、当該実物体に送信する処理、または、当該到達点に対応する実世界での到達点へ、あらかじめ定めた規則に従った経路で移動させるための制御信号を生成し、当該実物体に送信する処理、を実施し、
前記仮想空間において前記仮想オブジェクトが消滅したとき、当該仮想オブジェクトに対応する前記実物体を実世界の所定の領域外へ移動させるための制御信号を生成し、対象の実物体に送信する処理、または、その残骸を同じ場所に残すことにより、実世界における前記実物体の存在との整合性をとる処理、を実施し、
前記仮想空間において前記仮想オブジェクトが出現したとき、当該仮想オブジェクトに対応させるべき予備の実物体を実世界の対応する位置へ移動させるための制御信号を生成し、対象の実物体に送信する処理、を実施することにより、以後の情報処理を継続するステップと、
を含むことを特徴とする、情報処理装置による情報処理方法。
実世界に存在する実物体を動かすユーザ操作と、接続された入力装置を用いたユーザ操作の少なくともいずれかに応じて情報処理を行う機能と、
前記情報処理の結果として、前記実物体に対応づけた仮想オブジェクトが存在する仮想空間を描画し表示装置に表示させる機能と、
をコンピュータに実現させるコンピュータプログラムであって、
前記情報処理を行う機能は、
前記入力装置を用いたユーザ操作により、前記仮想空間において前記仮想オブジェクトが動かされたとき、実世界における前記実物体に、対応する動きを生じせしめる制御信号を生成して当該実物体に送信する実物体制御処理と、前記実物体を動かすユーザ操作がなされたとき、前記仮想空間における前記仮想オブジェクトに、対応する動きを生じせしめるための仮想空間に対する操作処理、の少なくともいずれかにより、前記実物体を含む実世界と前記仮想オブジェクトを含む前記仮想空間とが、対応した状態を保つようにする機能と、
前記仮想空間における前記仮想オブジェクトが存在し得ない領域と対応する、実世界における領域を、前記実物体を置くことのできない禁止領域として決定し、当該禁止領域を含む所定領域に前記実物体が入ったことを検知したとき、前記実物体を別の領域へ移動させるための制御信号を生成し当該実物体に送信する処理、前記実物体の振動、画像表示、音声出力の少なくともいずれかによりユーザに警告するための制御信号を生成し当該実物体に送信する処理、前記仮想空間を操作することにより、前記禁止領域に対応する領域を、前記仮想オブジェクトが存在し得る領域に変化させる処理、禁止領域を示すための予備の実物体を移動させて当該禁止領域へ移動させるための制御信号を生成し、当該予備の実物体に送信する処理、のいずれかを実施することにより、以後の情報処理を継続する機能と、
を含むことを特徴とするコンピュータプログラム。
実世界に存在する実物体を動かすユーザ操作と、接続された入力装置を用いたユーザ操作の少なくともいずれかに応じて情報処理を行う機能と、
前記情報処理の結果として、前記実物体に対応づけた仮想オブジェクトが存在する仮想空間を描画し表示装置に表示させる機能と、
をコンピュータに実現させるコンピュータプログラムであって、
前記情報処理を行う機能は、
前記入力装置を用いたユーザ操作により、前記仮想空間において前記仮想オブジェクトが動かされたとき、実世界における前記実物体に、対応する動きを生じせしめる制御信号を生成して当該実物体に送信する実物体制御処理と、前記実物体を動かすユーザ操作がなされたとき、前記仮想空間における前記仮想オブジェクトに、対応する動きを生じせしめるための仮想空間に対する操作処理、の少なくともいずれかにより、前記実物体を含む実世界と前記仮想オブジェクトを含む前記仮想空間とが、対応した状態を保つようにする機能と、
前記入力装置を用いたユーザ操作により、到達点を指定して前記仮想オブジェクトを前記仮想空間において即時に移動させる操作がなされたとき、当該到達点に対応する実世界での到達点を決定したうえ、それに至る最短経路を探索することにより、前記実物体を当該最短経路で移動させるための制御信号を生成し、当該実物体に送信する処理、または、当該到達点に対応する実世界での到達点へ、あらかじめ定めた規則に従った経路で移動させるための制御信号を生成し、当該実物体に送信する処理、を実施し、
前記仮想空間において前記仮想オブジェクトが消滅したとき、当該仮想オブジェクトに対応する前記実物体を実世界の所定の領域外へ移動させるための制御信号を生成し、対象の実物体に送信する処理、または、その残骸を同じ場所に残すことにより、実世界における前記実物体の存在との整合性をとる処理、を実施し、
前記仮想空間において前記仮想オブジェクトが出現したとき、当該仮想オブジェクトに対応させるべき予備の実物体を実世界の対応する位置へ移動させるための制御信号を生成し、対象の実物体に送信する処理、を実施することにより、以後の情報処理を継続する機能と、
を含むことを特徴とするコンピュータプログラム。