JP6396070B2

JP6396070B2 - 画像融合システム、情報処理装置、情報端末、および情報処理方法

Info

Publication number: JP6396070B2
Application number: JP2014091795A
Authority: JP
Inventors: 山岸　建; 建山岸; 圭司外川; 岡　正昭; 正昭岡; 伸次高嶋; 洋一西牧
Original assignee: Sony Interactive Entertainment Inc
Current assignee: Sony Interactive Entertainment Inc
Priority date: 2014-04-25
Filing date: 2014-04-25
Publication date: 2018-09-26
Anticipated expiration: 2034-04-25
Also published as: JP2015210379A; WO2015162991A1

Description

本発明は、情報処理による画像表示を利用した画像融合システム、当該情報処理を行う情報処理装置、情報端末、およびその情報処理方法に関する。

携帯型のゲーム機やＰＤＡ（Personal Digital Assistant）等の情報処理装置が普及している。近年では、多くの情報処理装置が通信機能を搭載し、またスマートフォンのように、携帯電話やＰＤＡ等の機能を一つにまとめた多機能型の情報処理装置も登場している。このような情報処理装置は大容量のメモリおよび高速プロセッサを搭載しており、ユーザは、アプリケーションプログラムを情報処理装置にインストールすることで、様々なアプリケーションを楽しめるようになっている。

例えば情報処理装置に備えたカメラによって実写した画像に３次元グラフィックスにより描画したオブジェクトを重畳させて表示画像とすることにより、現実世界と仮想世界を融合させた拡張現実（ＡＲ：Augmented Reality）の技術も提案されている（例えば特許文献１参照）。

特開２０１３−９２９６４号公報

ＡＲの技術の利用は、ユーザの動き認識に基づく仮想世界の構築とは異なるアプローチによって現実世界と仮想世界を融合させているといえる。これらの技術は、単に見た目の楽しさを提供するばかりでなく、直感的かつ容易に装置を操作したり出力結果を理解したりするのに有益と考えられる。しかしながら一般的なＡＲは、表示装置の画面という限られた領域における２次元画像であるため、臨場感や迫力といった観点では物足りなさを感じることもあった。

本発明はこのような課題に鑑みてなされたものであり、その目的は、表示画像を利用してより臨場感のある世界を構築できる技術を提供することにある。

上記課題を解決するために、本発明のある態様は画像融合システムに関する。この画像融合システムは、表示装置に画像を表示させる情報処理装置と、表示装置に表示された画像を反射させるとともに背後に存在する実物体の像を透過させる半透過鏡と、半透過鏡の反射面と表示装置の画面とを所定の角度に保つ支持機構と、を備え、情報処理装置は、半透過鏡において反射する画像と、透過する実物体の像とが融合して見えるように、実物体の状態に応じた画像を表示装置に表示させる表示画像生成部を備えることを特徴とする特徴とする。

本発明の別の態様は情報処理装置に関する。この情報処理装置は、接続した表示装置に画像を表示させる情報処理装置であって、表示装置が支持機構によって支持された状態において、当該表示装置の画面と所定の角度をなすように位置する半透過鏡の背後に存在する実物体の状態を検出する状態認識部と、半透過鏡に表示画像が反射した際、当該半透過鏡を透過する実物体の像と融合して見えるように、実物体の状態に応じた前記表示画像を生成する表示画像生成部と、を備えることを特徴とする。

本発明のさらに別の態様は情報処理方法に関する。この情報処理方法は、情報処理装置が、接続された表示装置に画像を表示させる情報処理方法であって、表示装置が支持機構によって支持された状態において、当該表示装置の画面と所定の角度をなすように位置する半透過鏡の背後に存在する実物体の状態を検出するステップと、半透過鏡に表示画像が反射した際、当該半透過鏡を透過する前記実物体の像と融合して見えるように、実物体の状態に応じた前記表示画像を生成するステップと、を含むことを特徴とする。

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。

本発明によると、表示画像を用いてより臨場感のある世界を構築することができる。

本実施の形態のシステム構成例を示す図である。図１で示したシステム構成をより詳細に説明するための図である。（ａ）は情報処理装置の前面を示す図であり、（ｂ）は情報処理装置の背面を示す図である。（ａ）は情報処理装置の上面を示す図であり、（ｂ）は情報処理装置の下面を示す図であり、（ｃ）は情報処理装置の左側面を示す図である。情報処理装置の回路構成を示す図である。本実施の形態における情報処理装置の機能ブロックを示す図である。本実施の形態において凸部分を設けた場合の支持機構の構造例を示す図である。本実施の形態においてコンテンツデータ記憶部に格納される、実世界の状況に合わせて表示画像を決定するためのデータの構造例を示す図である。本実施の形態における表示形態の一例を示す図である。本実施の形態における表示形態の別の例を示す図である。本実施の形態における実物体に動作機能を設けたうえで表示画像と連動させる態様における実物体の機能ブロックを示す図である。本実施の形態において動作パターン記憶部に格納するデータの構造例を示す図である。本実施の形態の表示画像と実物体を連動させる態様において、投影器の前方から見た状態の変化例を示す図である。図１３の上段および下段の状態において表示される画像を示す図である。本実施の形態において実物体室を内部に設けない構造の投影器の構成例を示す図である。図１５で示した態様をより詳細に説明するための図である。本実施の形態の変形例において、情報処理装置と実物体室との間に別のレンズを導入する場合の投影器の構造を示す図である。

本実施の形態では入射光の一部を反射し一部を透過させるハーフミラー（半透過鏡）を利用して、人形、ロボット、フィギュア、立体造形物など実世界に存在する物と、ディスプレイに表示させた画像とを実世界において融合する。表示画像と融合させる実世界の対象物の形状、種類、大きさは特に限定されないが、以後の説明では「実物体」と総称する。図１は本実施の形態のシステム構成例を示している。画像融合システム２は、情報処理装置１０と投影器１１２を含む。投影器１１２は、実物体（同図では猫のフィギュア）１１４を置く空間を構成する実物体室３と、画面が実物体室３に対し所定の角度を維持するように情報処理装置１０を支持する支持機構１１６を含む。

図１の場合、投影器１１２は机などの水平面に置かれた略箱形の形状を有するため、支持機構１１６は、情報処理装置１０の画面を下向きに置くことのできる天板で構成している。ただし実物体室３や支持機構１１６の形状はこれに限らない。またそれらの形状や実現する機能に応じて情報処理装置１０に傾斜が求められる場合、支持機構１１６には情報処理装置１０を固定する器具を設けるなどしてもよい。また同図において情報処理装置１０は、表示装置と一体的に構成される携帯端末である。一方、情報処理装置１０本体を表示装置と無線または有線で接続した別の個体としてもよい。この場合、支持機構１１６は表示装置を支持することになる。

図１の例において投影器１１２の前面は、情報処理装置１０が表示する画像を前方に反射させると同時に、実物体室３の内部を視認できるハーフミラー１１８で構成する。すなわち支持機構１１６である天板と鋭角をなすようにハーフミラー１１８を設置することにより、情報処理装置１０の画面に表示された画像が投影器１１２の前方から見えるようにする。そして、ハーフミラー１１８の背後にある実物体室３内部に置かれた実物体１１４とハーフミラー１１８に映る画像とが重畳されて見えるようにすることにより、実物体１１４と表示画像とを実世界で融合させる。

図１の例では、実物体１１４であるフィギュアの頭部近傍に「こんにちは！」と記載された吹き出し１２０ａ、フィギュアの胸にマーク１２０ｂが表示されている。これらは、情報処理装置１０が表示している画像である。図示するように支持機構１１６を天板とする場合、当該天板を透明度の高い樹脂やガラスなどで構成することにより、情報処理装置１０からの光をハーフミラー１１８に少ない損失で透過させることが望ましい。ただし支持機構１１６を、情報処理装置１０の両端で支持する構造とした場合などは、必ずしも画面とハーフミラー１１８の間に板等を設けなくてもよい。

ハーフミラー１１８で反射した像は、前方から見ると、実物体室３内の物の表面に重畳して見えるため、背景や別のキャラクタなどをフィギュアの背後にあるように表示する場合は、投影器１１２の背面１２２は、透過性の低い素材や不透明な素材で構成する。投影器１１２の側面は、樹脂板などで構成し密閉空間を形成してもよいし、開口部としてユーザが実物体１１４を自由に動かせるようにしてもよい。

投影器１１２の底面１２４は、透明、不透明に関わらず一般的な板としてもよいし、情報処理装置１０と接続したタッチパッドとしてもよい。後者の場合、当該タッチパッドに対する接触部分を検知することにより、実物体室３における実物体１１４の位置を取得できる。あるいは底面１２４を、情報処理装置１０と接続した別の表示装置としてもよい。この場合、実物体１１４の底面に光学センサを設ければ、情報処理装置１０から実物体１１４への信号を輝度変化などを利用して伝達することができる。または底面１２４を、透明なタッチパッドとその下に設けた表示装置からなるタッチパネルとし、上記の機能を同時に実現できるようにしてもよい。

図２は、図１で示した態様をより詳細に説明するための図である。まず同図左側は、投影器１１２を右側面から見た状態を示している。上述したように、投影器１１２のハーフミラー１１８と背面１２２の間の実物体室３に、実物体１１４が置かれる。また支持機構１１６である天板上に情報処理装置１０が画面を下向きにして載置される。すると情報処理装置１０で表示された画像は太線矢印で示すように、ハーフミラー１１８で反射して前方にあるユーザの視点１２６に到達する。

このときハーフミラー１１８を介して実物体１１４も同時に見えるため、図１に示すように、ユーザには実物体１１４に吹き出しやマークが付されているように見える。表示画像がハーフミラー１１８に反射することにより見える画像１２７は、図２の右下に示すように、吹き出し１２０ａおよびマーク１２０ｂで構成される。なおこれらの画像と実物体１１４との位置関係から、吹き出し１２０ａは投影器１１２の背面１２２に、マーク１２０ｂは実物体１１４に、それぞれ重畳して見えることになる。このような画像１２７を視認させるため、情報処理装置１０は画面１２９を生成する。

すなわち情報処理装置１０の画面とハーフミラー１１８前面のなす角度をθ、ハーフミラー１１８を正面から見たときの視野座標系の原点を、図示するようにハーフミラー１１８の左上端とすると、座標（ｘ，ｙ）の位置に見える点は、情報処理装置１０の画面１２９上の位置座標（Ｘ，Ｙ）＝（ｘ，ｙ／ｔａｎθ）の位置に表示すればよい。なお情報処理装置１０の画面１２９上の位置座標は、図示するように、投影器１１２に載置した状態の情報処理装置１０において後側に位置する辺の左端を原点としている。例えば角度θが４５°であれば、反射させて見せるべき画像を上下反転した画像を表示すればよいことになる。

次に情報処理装置１０の外観構成例および回路構成例を説明する。ただしここで示す情報処理装置は一例であり、他の種類の電子機器、端末装置であってもよい。図３（ａ）は、情報処理装置１０の前面を示す。情報処理装置１０は、横長の筐体により形成され、ユーザが把持する左右の領域は、円弧状の外郭を有している。情報処理装置１０の前面には、矩形のタッチパネル５０が設けられる。タッチパネル５０は、表示装置２０と、表示装置２０の表面を覆う透明な前面タッチパッド２１から構成される。表示装置２０は有機ＥＬ（Electro-Liminescence）パネルであり、画像を表示する。なお表示装置２０は液晶パネルなどの表示手段であってもよい。前面タッチパッド２１は、同時にタッチされた複数ポイントの検出機能をもつマルチタッチパッドであって、タッチパネル５０はマルチタッチスクリーンとして構成される。

タッチパネル５０の右側には、菱形の頂点にそれぞれ位置する△ボタン２２ａ、○ボタン２２ｂ、×ボタン２２ｃ、□ボタン２２ｄ（以下、総称する場合には「操作ボタン２２」とよぶ）が設けられ、タッチパネル５０の左側には、上キー２３ａ、左キー２３ｂ、下キー２３ｃ、右キー２３ｄ（以下、総称する場合には「方向キー２３」とよぶ）が設けられる。ユーザは方向キー２３を操作して、上下左右および斜方の８方向を入力できる。

方向キー２３の下側には左スティック２４ａが設けられ、また操作ボタン２２の下側には右スティック２４ｂが設けられる。ユーザは左スティック２４ａまたは右スティック２４ｂ（以下、総称する場合には「アナログスティック２４」とよぶ）を傾動して、方向および傾動量を入力する。筐体の左右頂部には、Ｌボタン２６ａ、Ｒボタン２６ｂが設けられる。操作ボタン２２、方向キー２３、アナログスティック２４、Ｌボタン２６ａ、Ｒボタン２６ｂは、ユーザが操作する操作手段を構成する。

操作ボタン２２の近傍に、前面カメラ３０が設けられる。左スティック２４ａの左側および右スティック２４ｂの右側には、それぞれ音声を出力する左スピーカ２５ａおよび右スピーカ２５ｂ（以下、総称する場合には「スピーカ２５」とよぶ）が設けられる。また左スティック２４ａの下側にＨＯＭＥボタン２７が設けられ、右スティック２４ｂの下側にＳＴＡＲＴボタン２８およびＳＥＬＥＣＴボタン２９が設けられる。

図３（ｂ）は、情報処理装置１０の背面を示す。情報処理装置１０の背面には、背面カメラ３１および背面タッチパッド３２が設けられる。背面タッチパッド３２は、前面タッチパッド２１と同様に、マルチタッチパッドとして構成される。情報処理装置１０は、前面および背面において、２つのカメラおよびタッチパッドを搭載している。

図４（ａ）は、情報処理装置１０の上面を示す。既述したように、情報処理装置１０の上面の左右端側に、Ｌボタン２６ａ、Ｒボタン２６ｂがそれぞれ設けられる。Ｌボタン２６ａの右側には電源ボタン３３が設けられ、ユーザは、電源ボタン３３を押下することで、電源をオンまたはオフする。なお情報処理装置１０は、操作手段が操作されない時間（無操作時間）が所定時間続くと、サスペンド状態に遷移する電力制御機能を有している。情報処理装置１０がサスペンド状態に入ると、ユーザは電源ボタン３３を押下することで、情報処理装置１０をサスペンド状態からアウェイク状態に復帰させることができる。

ゲームカードスロット３４は、ゲームカードを差し込むための差込口であり、この図では、ゲームカードスロット３４がスロットカバーにより覆われている状態が示される。なおゲームカードスロット３４の近傍に、ゲームカードがアクセスされているときに点滅するＬＥＤランプが設けられてもよい。アクセサリ端子３５は、周辺機器（アクセサリ）を接続するための端子であり、この図ではアクセサリ端子３５が端子カバーにより覆われている状態が示される。アクセサリ端子３５とＲボタン２６ｂの間には、ボリュームを調整するための−ボタン３６ａと＋ボタン３６ｂが設けられている。

図４（ｂ）は、情報処理装置１０の下面を示す。メモリカードスロット３７は、メモリカードを差し込むための差込口であり、この図では、メモリカードスロット３７が、スロットカバーにより覆われている状態が示される。情報処理装置１０の下面において、音声入出力端子３８、マイク３９およびマルチユース端子４０が設けられる。マルチユース端子４０はＵＳＢ（Universal Serial Bus）に対応し、ＵＳＢケーブルを介して他の機器と接続できる。

図４（ｃ）は、情報処理装置１０の左側面を示す。情報処理装置１０の左側面には、ＳＩＭカードの差込口であるＳＩＭカードスロット４１が設けられる。

図５は、情報処理装置１０の回路構成を示す。各構成はバス９２によって互いに接続されている。無線通信モジュール７１はＩＥＥＥ８０２．１１ｂ／ｇ等の通信規格に準拠した無線ＬＡＮモジュールによって構成され、無線アクセスポイントなどを介してインターネットなどの外部ネットワークに接続する。なお無線通信モジュール７１は、ブルートゥース（登録商標）プロトコルの通信機能を有してもよい。携帯電話モジュール７２は、ＩＴＵ（International Telecommunication Union；国際電気通信連合）によって定められたＩＭＴ−２０００（International Mobile Telecommunication 2000）規格に準拠した第３世代（3rd Generation）デジタル携帯電話方式に対応し、携帯電話網４に接続する。ＳＩＭカードスロット４１には、携帯電話の電話番号を特定するための固有のＩＤ番号が記録されたＳＩＭカード７４が挿入される。ＳＩＭカード７４がＳＩＭカードスロット４１に挿入されることで、携帯電話モジュール７２は、携帯電話網４との間で通信可能となる。

ＣＰＵ（Central Processing Unit）６０は、メインメモリ６４にロードされたプログラムなどを実行する。ＧＰＵ（Graphics Processing Unit）６２は、画像処理に必要な計算を実行する。メインメモリ６４は、ＲＡＭ（Random Access Memory）などにより構成され、ＣＰＵ６０が使用するプログラムやデータなどを記憶する。ストレージ６６は、ＮＡＮＤ型フラッシュメモリ（NAND-type flash memory）などにより構成され、内蔵型の補助記憶装置として利用される。

モーションセンサ６７は、情報処理装置１０の動きを検出し、地磁気センサ６８は、３軸方向の地磁気を検出する。ＧＰＳ制御部６９は、ＧＰＳ衛星からの信号を受信し、現在位置を算出する。前面カメラ３０および背面カメラ３１は、画像を撮像し、画像データを入力する。前面カメラ３０および背面カメラ３１は、ＣＭＯＳイメージセンサ（Complementary Metal Oxide Semiconductor Image Sensor）によって構成される。表示装置２０は、有機ＥＬ表示装置であり、陰極および陽極に電圧を印加することで発光する発光素子を有する。なお表示装置２０はバックライトを備えた液晶パネル表示装置であってもよい。

インタフェース９０において、操作部７０は、情報処理装置１０における各種操作手段を含み、具体的には、操作ボタン２２、方向キー２３、アナログスティック２４、Ｌボタン２６ａ、Ｒボタン２６ｂ、ＨＯＭＥボタン２７、ＳＴＡＲＴボタン２８、ＳＥＬＥＣＴボタン２９、電源ボタン３３、−ボタン３６ａ、＋ボタン３６ｂを含む。前面タッチパッド２１および背面タッチパッド３２は、マルチタッチパッドであり、前面タッチパッド２１は、表示装置２０の表面に重ね合わせて配置される。スピーカ２５は、情報処理装置１０の各機能により生成される音声を出力し、マイク３９は、情報処理装置１０の周辺の音声を入力する。音声入出力端子３８は、外部のマイクからステレオ音声を入力し、外部のヘッドホンなどへステレオ音声を出力する。

ゲームカードスロット３４には、ゲームファイルを記録したゲームカード７６が差し込まれる。ゲームカード７６は、データの書込可能な記録領域を有しており、ゲームカードスロット３４に装着されると、メディアドライブにより、データの書込み／読出しが行われる。メモリカードスロット３７には、メモリカード７８が差し込まれる。メモリカード７８は、メモリカードスロット３７に装着されると、外付け型の補助記憶装置として利用される。マルチユース端子４０は、ＵＳＢ端子として利用でき、ＵＳＢケーブル８０を接続されて、他のＵＳＢ機器とデータの送受信を行う。アクセサリ端子３５には、周辺機器が接続される。

図６は、情報処理装置１０の機能ブロックを示す。この図では特に、図５のＣＰＵ６０、ＧＰＵ６２、メインメモリ６４、ストレージ６６によって実現される機能を制御部１３０として示している。制御部１３０に含まれる各機能ブロックは、ハードウェア的には、上記のとおりＣＰＵ６０、ＧＰＵ６２、メインメモリ６４などで構成することができ、ソフトウェア的には、情報処理装置１０内の各種記憶装置や装着された記録媒体からメインメモリ６４にロードしたプログラムなどによって実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。

制御部１３０は、情報処理装置１０に対するユーザ操作を受け付けるユーザ操作受付部１３２、実物体を含む実世界の状態を認識する状態認識部１３４、表示装置２０に表示する画像を生成する表示画像生成部１３８、表示画像の生成に用いる各種データを格納するコンテンツデータ記憶部１３６を含む。後述するように実物体を動作可能に構成する場合、制御部１３０はさらに、実物体と表示画像との動きの同期処理を行う実物体同期処理部１４０を含む。

ユーザ操作受付部１３２は、図５に示した操作部７０、前面タッチパッド２１、および背面タッチパッド３２の少なくともいずれかを介したユーザ操作を受け付ける。例えば情報処理装置１０が投影器１１２に置かれる前に、表示すべき画像やコンテンツを選択するユーザ操作を、操作部７０もしくは前面タッチパッド２１を介して受け付ける。選択された画像やコンテンツに係る情報は表示画像生成部１３８に通知される。あるいは、投影器１１２に置かれた状態で画像を表示している段階で、背面タッチパッド３２に対するタッチ操作を受け付ける。この場合もユーザ操作受付部１３２が、当該操作がなされたことを表示画像生成部１３８に通知することにより、タッチ操作に応じた変化を表示中の画像に与える。

ここでタッチ操作として、タッチされたか否かのほか、タッチされた位置、タッチされた領域の形状（タッチが指先でなされたか手のひらでなされたかなどに依存）、タッチポイントの個数、タッチ時間、タッチポイントの移動先、タッチポイントの移動速度、などを判別し、その判別結果によって表示画像生成部１３８の処理を変化させてもよい。

状態認識部１３４は、図５に示した前面カメラ３０、前面タッチパッド２１、モーションセンサ６７、地磁気センサ６８の少なくともいずれかから、実世界の状態、あるいは状態変化を取得する。例えば情報処理装置１０が投影器１１２に置かれた状態で、前面カメラ３０が実物体室３を撮影した画像から、実物体の種類、置かれている位置、ポーズなどを特定する。具体的には、前面カメラ３０の撮影画像中の像と、あらかじめ登録された実物体の形状とを比較することにより、一致度の高い像を検出してその位置を特定するとともに、登録情報からその実物体の種類やポーズを特定する。特定した情報は表示画像生成部１３８に通知する。

このような構成により、実物体の位置、種類、ポーズ等によって表示画像に変化を与えることができる。結果として、表示画像を限定したり、ユーザがあらかじめ選択したりせずとも、実物体の種類やポーズなどに応じて臨機応変に画像を変化させることができる。実物体の種類や位置を高精度に特定するため、上面など前面カメラ３０のレンズに向く実物体の面にバーコードなどのマーカーを装着しておき、撮影画像から検出し登録情報と照合してもよい。あるいは支持機構１１６の天板上面に、情報処理装置１０の前面タッチパッド２１への部分的な接触を発生させる凸部分を設け、その位置によって表示する画像やコンテンツを変化させてもよい。

図７はその場合の支持機構１１６の構造例を示している。支持機構１１６のうち領域１５０は、情報処理装置１０を載置した際、前面タッチパッド２１が対向する領域である。当該領域１５０における所定の位置に、支持機構１１６である天板の上面から部分的に突出した凸部分１５２を設ける。これにより、情報処理装置１０が置かれた状態において、状態認識部１３４は前面タッチパッド２１を介して当該凸部分１５２の位置を特定し、表示画像生成部１３８に通知する。

凸部分１５２の位置と表示すべき画像やコンテンツをあらかじめ対応づけておくことにより、表示画像生成部１３８は、実際の凸部分１５２の位置に応じた画像やコンテンツを表示する。なお凸部分１５２は、ハーフミラー１１８への画像投影の妨げにならないよう、領域１５０の縁近傍に設けることが望ましいが、その形状やサイズは特に限定されない。形状やサイズによって表示すべき画像やコンテンツを区別してもよい。

このように凸部分１５２を設けることにより表示画像を切り替える場合、凸部分１５２の位置が異なる天板を複数用意し、表示させたい画像によって天板ごと取り替えられるようにしてもよいし、凸部分１５２の部品を１枚の天板の複数の位置に取り付け可能に構成してもよい。例えば凸部分１５２をネジの頭部とし、天板に複数のネジ穴を設けてもよい。凸部分１５２の裏面を接着部材で構成し、天板表面に接着できるようにしてもよい。

図６に戻り、状態認識部１３４はさらに、モーションセンサ６７や地磁気センサ６８から、情報処理装置１０の動きや傾きを特定し、表示画像生成部１３８に通知する。例えば支持機構１１６により情報処理装置１０を投影器１１２に固定する構造とした場合、情報処理装置１０の動きや傾きは、投影器１１２自体の動きや傾きを表している。したがってユーザが投影器１１２を傾けて置いたり、画像表示中に傾けたり振ったりした場合、その状態や動きをモーションセンサ６７や地磁気センサ６を介して検出し、それに応じて画像を変化させる。

モーションセンサ６７や地磁気センサ６８のほか、情報処理装置１０には温度センサ、照度センサ、時計など何らかの物理量を検出するセンサのいずれかを設け、それらの検出値に応じて表示を変化させてもよい。情報処理装置１０のマイク３９が取得した周囲の音声に基づき表示を変化させてもよい。また上述のように投影器１１２の底面をタッチパッドで構成した場合、状態認識部１３４は、実物体の置かれた位置を当該タッチパッドを介して取得する。これにより、前面カメラ３０による撮影画像以外の手段で実物体の位置を特定できることになる。また実物体の底面の形状や接地点の位置関係を、実物体の種類やポーズによって独特なものとすれば、底面のタッチパッドへの接触形状に基づき、実物体の種類やポーズも特定できる。

表示画像生成部１３８は、ユーザ操作受付部１３２および状態認識部１３４から通知された情報に従い、表示すべき画像、例えば図２の画面１２９のような画像のデータを生成し、表示装置２０に出力する。ここで生成する画像は、静止画像でも動画像でもよいし、それらが画面内で混在していてもよい。コンテンツデータ記憶部１３６には、通知された情報に応じて表示すべき画像やコンテンツ、表示すべき位置、画像の変化のさせ方などに係る規則を格納しておく。例えば上述のように、実物体の種類、ポーズ、凸部分１５２の位置などによって表示画像を異ならせる場合、それらの識別情報と表示すべき画像とを対応づけたテーブルを格納しておく。

また前面カメラ３０の撮影画像から実物体の種類やポーズを特定する場合は、パターンマッチングに用いる基準画像やマーカーなどの情報も、実物体の種類やポーズに対応させて格納しておく。画像を表示中に背面タッチパッド３２のタッチ操作がなされた場合や、モーションセンサ６７による検出値が変化した場合などに応じて画像に与える変化の内容についても格納しておく。さらに、表示すべき画像のデータ自体も格納しておく。

実物体同期処理部１４０は、実物体を動くように構成した場合に、画像と実物体とを同期させる処理を行う。ここで実物体は、情報処理装置１０からの要求に従い動いてもよいし、情報処理装置１０とは独立した要因により動いてもよい。後者の例として、ユーザが実物体に触れて移動させたりポーズを変化させたりしてもよいし、実物体を、別途用意したリモートコントローラにより動くロボットとしてもよい。あるいはネジ巻き人形のようにユーザの初期操作によって自動で動くようにしてもよい。情報処理装置１０が投影器１１２に置かれたこと自体を初期操作として実物体が自動で動くようにしてもよい。この場合、投影器１１２に荷重センサを設けたり光学センサを設けたりして、投影器にかかる重さの変化や画面から発する光に基づき、情報処理装置１０が置かれたことを検知する。

情報処理装置１０からの要求に従い実物体を動かす場合とは、あらかじめ組まれたプログラム通りに表示画像と実物体を動かす場合や、情報処理装置１０へのユーザ操作によって表示画像と実物体を動かす場合などである。このとき実物体同期処理部１４０は、表示画像生成部１３８が生成する画像と連動するような動きを実物体に与えるための制御信号を、無線通信モジュール７１を介して送信する。情報処理装置１０とは独立した要因により実物体を動かす場合、実物体同期処理部１４０は、無線通信モジュール７１を介して実物体からその動きに係る情報を受信し、表示画像生成部１３８に通知する。いずれにしろこれらの態様においては、情報処理装置１０と実物体とは無線により通信を確立する。あるいは有線によって通信を確立してもよい。

ただし情報処理装置１０／実物体間の情報の送受は、このような通信回線を利用したものに限らない。例えば上述のように、投影器１１２の底面に別途表示装置を設けるとともに、実物体の底面に光学センサを設ければ、当該表示装置における輝度変化を、情報処理装置１０から実物体への信号として利用することができる。あるいは実物体に、情報処理装置１０の画面の所定の領域を撮影するカメラを設ければ、当該領域に情報に応じたバーコードなどのマーカーを表示することで、情報を伝達することができる。これらの態様において実物体同期処理部１４０は、投影器１１２の底面の表示装置に輝度変化を与えたり、情報処理装置１０の画面の所定領域に所定のマーカーを表示するよう、表示画像生成部１３８に要求する。

一方、通信回線を用いずに実物体から情報処理装置１０へ動きの情報を伝達する手法としては次のようなものが考えられる。すなわち、上述のように前面カメラ３０が実物体を含む空間を撮影することにより、一般的なパターンマッチングや視覚追跡の技術を用いてポーズの変化や移動を追跡する。あるいは投影器１１２の底面を上述のようにタッチパッドで構成することにより、実物体のポーズの変化や移動を、接触点の変化によって特定することもできる。これらの態様においては、状態認識部１３４が実物体同期処理部１４０を兼ねることになる。

なお本実施の形態において表示装置と連動させる実物体の「動き」とは、実物体がポーズや向きを変化させたり移動したりしている最中の連続的な変化であってもよいし、そのような経過時間の前後における離散的な時点でのポーズ、向き、位置などの変化であってもよい。すなわち実物体が動いている最中に、表示画像を微少時間ごとに、それに合わせて変化させてもよいし、実物体が動き終わった時点で、そのときの状態に合わせて表示画像を一気に変化させてもよい。

図８は、コンテンツデータ記憶部１３６に格納される、実世界の状況に合わせて表示画像を決定するためのデータの構造例を示している。表示画像設定テーブル３００は、凸部分欄３０２、実物体欄３０４、ポーズ欄３０６、表示画像欄３０８、表示位置欄３１０を含む。この例では、図７で示した天板の凸部分１５２の位置、実物体の種類、ポーズによって、表示する画像を決定する。そのため凸部分欄３０２には天板における凸部分の位置座標を、実物体欄３０４およびポーズ欄３０６には、撮影画像などから取得できる実物体の種類やポーズの識別情報をそれぞれ格納し、それらの組み合わせに従い表示すべき画像の識別情報と表示位置を、表示画像欄３０８、表示位置欄３１０に格納する。

例えば表示画像設定テーブル３００の２行目、３行目は、凸部分が位置座標（Ｘ１，Ｙ１）にあり、実物体が「猫」のフィギュアの「直立」したポーズであったとき、「こんにちは」なる吹き出しをフィギュアの頭部近傍に表示し、「マーク」をフィギュアの「胸」に表示することが設定されている。これにより図１で示したような表示形態を実現できる。４〜６行目の、凸部分が位置座標（Ｘ２，Ｙ２）にある場合は、「猫」のフィギュアに対しては「マーク」をフィギュアの「胸」に、「テレビ」のミニチュアに対しては、「テレビ番組Ａ」なる動画をミニチュアの「画面」に表示する。さらに実物体室の背面には、その「全面」に「壁紙Ａ」の画像を表示する。このように、実物体室内の実物体ごとに表示すべき画像を設定することもできる。

なお表示位置欄３１０の記載は、同図では平易な表現としているが、実際には上述のとおり、実物体の各部位の位置を実世界で特定し、その位置にあるように見せるための画面上での位置を決定するため、同欄には、当該処理に必要な情報を格納する。その他の欄の記載形式も図示するものに限らない。また、表示画像を決定づける要素は図示する組み合わせに限らず、凸部分の位置を除いたり、温度や季節など別の要因を加えたりしてもよい。コンテンツデータ記憶部１３６にはさらに、上述のように画像表示中の状態変化やユーザ操作に応じた表示画像の変化についても、同様に対応づけて格納しておく。

図９は上記構成による表示形態の一例を示しており、上段は情報処理装置１０の画面に表示される画像、下段は図１で示した形状の投影器１１２の前方から見た状態である。なお下段において投影器１１２の支持機構およびその上面に置かれている情報処理装置１０は図示を省略している。この例では実物体として猫のフィギュア１６０に加え、ミニチュアのテレビ１６２が投影器１１２内の実物体室に置かれているとする。

そして情報処理装置１０の画面には、猫のフィギュア１６０の胸部分に対応する位置にマーク１６４、ミニチュアのテレビ１６２の画面に対応する位置にテレビ画像１６６、背面に壁紙の模様１６８を表示する。この形態は、図８に示した表示画像設定テーブル３００の４〜６行目の記載に対応する。テレビ画像１６６を動画とすることにより、ミニチュアのテレビ１６２で実際にテレビ番組を見ているような状況を作り出せる。また壁紙の模様１６８は、猫のフィギュア１６０やミニチュアのテレビ１６２の背後にあるため、図９上段に示すように、マーク１６４やテレビ画像１６６を表示する領域を含む、猫のフィギュア１６０およびミニチュアのテレビ１６２に対応する領域には表示しない。

これにより、本来は見えない壁紙の模様が猫の体やテレビの枠部分に映り込み、それらの位置関係が混沌とするのを防止する。猫のフィギュア１６０およびミニチュアのテレビの１６２を固定とした場合、コンテンツデータ記憶部１３６には、あらかじめ、それらに対応する領域をマスクした壁紙の画像データを格納しておけばよい。実物体をユーザが自由に配置できる形態とした場合は、上述のように、前面カメラ３０の撮影画像などに基づきその位置を特定し、表示画像生成部１３８がマスク領域を決定する。

マスク領域を正確に決定するため、および実物体に対し適切な位置およびサイズでマーク１６４やテレビ画像１６６などの画像を表示するため、コンテンツデータ記憶部１３６には、各実物体の詳細な形状およびサイズを登録しておくことが望ましい。これにより、パターンマッチングなどにより特定された実物体の位置に基づき、前方からの見かけ上のサイズおよび形状を精度よく導出できる。なお図９では背景全面に貼られた壁紙を例示したが、実物体の背後に別の生き物や物を表す場合も同様に、実物体の背後にある部分をマスクする。

なお実物体を固定とした場合であっても、投影器１１２の支持機構１１６を単なる天板とするような場合は特に、前面カメラ３０の撮影画像などを用いて、情報処理装置１０に対する実物体の位置を正確に取得してもよい。これにより、情報処理装置１０を無造作に天板に置くなどして、情報処理装置１０の画面と実物体室の位置関係がその都度ずれても、実物体に対し正確な位置に画像を表示できる。また、情報処理装置１０の上下のどちらが天板の手前側に置かれたかが判明するため、置かれた向きに応じて画面上の表示画像の天地を適切に切り替えることができる。

ただし情報処理装置１０がどのように置かれたかを特定する手段はこれに限らず、図７で示した、支持機構１１６の凸部分１５２を利用してもよい。すなわち情報処理装置１０の前面タッチパッド２１に対する凸部分１５２の位置を取得することにより、情報処理装置１０の画面と投影器１１２の実物体室の位置関係を特定でき、ひいては情報処理装置１０の置かれた位置や向きによらず画像を適切に表示できる。なおどのような位置にあっても情報処理装置１０の筐体を構成する画面の縁部分がハーフミラー１１８に映り込まないよう、当該縁部分は黒色とすることが望ましい。

図１０は、同様の形状を有する投影器１１２による別の表示形態例を示している。この例では、ハーフミラー１１８背後の実物体室３を密閉空間として水１７０を封入する。すなわち水１７０が実物体である。そして情報処理装置１０は、水１７０上に浮かぶアヒル１７２ａ、１７２ｂ、１７２ｃを表示する。この状態でユーザが投影器１１２を傾けると、水面は投影器１１２の底面と平行でなくなる。水面は基本的に水平を維持し、投影器１１２の底面の傾きは情報処理装置１０の傾きと一致するため、底面に対する水面の角度はモーションセンサ６７あるいは地磁気センサ６８からの出力値により判明する。

したがって状態認識部１３４は、当該角度をセンサの出力値に基づき逐次取得し、表示画像生成部１３８に通知する。表示画像生成部１３８は、どのような傾きであっても水１７０の水面に対応する平面上にアヒル１７２ａ、１７２ｂ、１７２ｃが存在するよう、画像を変化させる。例えば表示画像生成部１３８は、ワールド座標系の水平面に配置させたアヒル１７２ａ、１７２ｂ、１７２ｃのオブジェクトに対するカメラ座標系を、情報処理装置１０の傾きに応じて傾斜させたうえでオブジェクトを描画する。

投影器１１２を傾けたときの水面の揺らぎを想定し、情報処理装置１０を傾ける速度などをセンサ出力値から取得して、それに応じてアヒル１７２ａ、１７２ｂ、１７２ｃも所定の規則で揺らぐように表示してもよい。外部の圧力変化や空気の流れを検知できるセンサを用いれば、投影器１１２の傾きがなくとも、実際の水面の揺れを検知して、アヒル１７２ａ、１７２ｂ、１７２ｃの揺れをより厳密に表現できる。さらに、実物体室３の側壁に当たったアヒルが跳ね返る様子を表示させたりすることにより、より臨場感のある表示を実現できる。これらの処理には、既存の３次元グラフィックスの技術を適宜利用できる。

さらにこの表示形態では、情報処理装置１０の背面をユーザがタップすることにより、新たなアヒル１７２ｄが上から落ちてくるように表示する。この場合、情報処理装置１０のユーザ操作受付部１３２が、背面タッチパッド３２がタップされたことを検知し、表示画像生成部１３８に通知する。これにより表示画像生成部１３８は、新たなアヒル１７２ｄを表示対象に加え、実物体室３の上端から落下する様子を動画で表現する。

なお図示するように投影器１１２が傾いている場合は、鉛直方向に落下するように見せるため、情報処理装置１０における画面上では、アヒル１７２ｄが斜めに移動するように表示する。上記では実物体として、投影器１１２に水１７０を封入したが、投影器１１２の傾きによって変化が生じる物であれば水に限らず、砂、球体、車などでもよい。表示する画像も、封入する物によって様々なバリエーションが考えられる。また画像表示中に情報処理装置１０の背面を操作することで画像に変化を与える態様は、実物体を封入する場合でなくても適用できる。例えば図９で示した表示形態において、ミニチュアのテレビ１６２の画面にスノーノイズの動画を表示させておき、情報処理装置１０の背面がタップされたらテレビ番組の動画表示へ切り替える。この態様により、調子の悪いテレビが、叩くことで回復したような状況を演出できる。

図１０で示した形態は、実物体である水の状態変化に応じて表示画像を変化させる態様であったが、上述のように情報処理装置１０と実物体との情報伝達によって、さらに細かい動きでも連動させることが可能である。図１１は、実物体に動作機能を設けたうえで表示画像と連動させる態様における実物体の機能ブロックを示している。実物体１８０は、情報処理装置１０の表示画像との動きの同期処理を行う画像同期処理部１８２、実物体１８０を実際に動かす動作部１８４、状況に応じた動作のパターンを格納する動作パターン記憶部１８６を含む。

この態様において実物体１８０は、上述のとおり、情報処理装置１０からの要求に従い動く場合と、情報処理装置１０とは独立した要因により動く場合とが考えられる。実物体１８０は双方の態様を実現可能に構成してもよいし、いずれか一方の態様のみを実現できるようにしてもよい。実現させる態様によって、以下に述べる実物体１８０の機能の一部は適宜省略できる。

まず実物体１８０を情報処理装置１０からの要求に従い動かす場合、画像同期処理部１８２は、情報処理装置１０の無線通信モジュール７１と通信を確立する通信機構を含む。そして実物体同期処理部１４０から、実物体１８０がなすべき動きを規定する制御信号を受信する。あるいは画像同期処理部１８２に、情報処理装置１０の画面の所定の領域に表示されたマーカーを撮影するカメラを含めてもよい。または、投影器１１２の底面を表示装置で構成した場合は、当該底面と接触する面に設けた光学センサとしてもよい。

カメラを利用する場合、情報処理装置１０は画面中、当該カメラの視野内にある所定の領域に、実物体がなすべき動きを規定するマーカーを表示する。光学センサを利用する場合、情報処理装置１０は、投影器１１２の底面を構成する表示装置の画面のうち、光学センサが接する領域の輝度を、実物体がなすべき動きに対応づけられたパターンで変化させる。なお光学センサを実物体１８０の上面に設け、情報処理装置１０の画面における輝度変化で動きを要求してもよい。投影器１１２の底面を表示装置とする場合は、画面上にタッチパッドを設け、実物体１８０の接地領域を特定したうえでその領域の輝度を変化させることにより、光学センサが確実に輝度変化を捉えるようにすることができる。

実物体１８０を情報処理装置１０とは独立した要因により動かす場合、画像同期処理部１８２は、情報処理装置１０の無線通信モジュール７１と通信を確立する通信機構を含み、動きに係る情報を送信する。例えば回転、右から左への移動、腕を挙げる、といった、複数の動きのパターンに対し識別情報を付与しておき、ユーザの初期操作やリモコン操作などにより発生した、実際の動きのパターンを表す識別情報を情報処理装置１０に送信する。ただし上述のように、情報処理装置１０の前面カメラ３０による撮影画像中の像から動きを特定したり、投影器１１２の底面をタッチパッドで構成し、情報処理装置１０が当該タッチパッドに対する接触位置から動きを特定したりする場合は、画像同期処理部１８２の機能を省略できる。

実物体１８０であるフィギュアの腕を左右に開く、足を広げる、といった単純なポーズの変化は、撮影画像のパターンマッチングによって認識が可能である。足を広げる変化はタッチパッドによっても識別可能である。それらの手段では認識が困難な細かい動きについては、通信回線によって動きのパターンに係る情報を送信することが望ましい。したがって、実物体１８０に許容する動作の粒度、実物体の形状、許容されるコストなどに応じて、情報処理装置１０に実物体１８０の動きを認識させる手段を適宜選択する。

動作部１８４は、実物体１８０に設けた関節の角度を変化させたり、車輪を設ける場合は車軸を回転させたりするアクチュエータで構成する。アクチュエータによって動かせる箇所や動かす手法については、動くおもちゃや産業用ロボットなどの既存技術を利用でき、デザインや許容されるコストなどに応じて適宜選択する。動作部１８４としてはこのほか、振動子、発光体、ディスプレイ、音声再生機構、ブザーなどを含め、動作とともに音声や振動の発生、発光、所定の画像表示などを実施してもよい。なお実物体１８０の動きを、ユーザの手によるものに限定する場合は、動作部１８４の機能を省略できる。

動作パターン記憶部１８６には、情報処理装置１０から要求された動きを識別したり、独立した要因による動きを情報処理装置１０に伝えるためのデータを格納する。図１２は、動作パターン記憶部１８６に格納するデータの構造例を示している。動き情報テーブル４００は、識別番号欄４０２、動き欄４０４、マーカー欄４０６、輝度変化パターン欄４０８を含む。この例では動き欄４０４に記載されるように、「回転」、「横方向移動」、「右腕を挙げる」、といった表現で各動きを表しているが、実際には変化させる部位、速度、移動量、角度の変化量などを詳細に規定してもよい。

識別番号欄４０２には、各動きに付与した識別番号を記載する。通信回線を用いて、情報処理装置１０から実物体１８０へ動きを要求する場合や、実物体１８０から実際の動きを情報処理装置１０に伝達する場合、この識別番号を用いて動きを指定する。マーカー欄４０６には、情報処理装置１０がマーカーを画面に表示することにより、実物体１８０のカメラを介して対応する動きを要求する際の、当該マーカーの識別情報を記載する。同図では「Ａ」、「Ｂ」、「Ｃ」といった形式で識別情報を示しているが、フォーマットはマーカーの種類によって異なってよい。

輝度変化パターン欄４０８には、情報処理装置１０が投影器１１２の底面などの表示装置の輝度を変化させることにより、実物体１８０の光学センサを介して対応する動きを要求する際の、当該輝度変化のパターンを記載する。同図では「ＯＮ／ＯＦＦ／ＯＦＦ／ＯＮ」・・・などの形式でパターンを表現している。これは、輝度をＯＮ／ＯＦＦの２階調とし、微少の単位時間ｔを設定したとき、４単位時間（４ｔ）の期間における輝度の変化で１つの動きを表した場合である。ただしこの場合も、表現する動きのバリエーションや用いる輝度の階調などによって、フォーマットは様々考えられる。

なお動きの要求や伝達に用いる手段によって、動き情報テーブル４００のうち、識別番号欄４０２、マーカー欄４０６、輝度変化パターン欄４０８のいずれかを選択的に有効とし、その他は設定を省略してもよい。いずれにしろ動き情報テーブル４００に記載する情報は、情報処理装置１０でもコンテンツデータ記憶部１３６などに共通に保持しておく。このような構成により、実物体１８０の動きを発生させる主体によらず、実物体１８０と表示画像とを矛盾なく連動させることができる。

図１３は、表示画像と実物体を連動させる態様において、投影器１１２の前方から見た状態の変化例を示している。なお同図において投影器１１２の支持機構およびその上面に置かれている情報処理装置は図示を省略している。この例では実物体として猫のロボット１９０が投影器１１２内の実物体室に置かれている。まず同図上段に示すように、ある時刻において猫のロボット１９０が右手と左足を挙げている。その後、ロボット１９０が徐々に動き、最終的に、同図下段のように、右手を前に出し、左足の代わりに右足を挙げた状態になったとする。

このような動作は例えば、投影器１１２の支持機構に情報処理装置１０を置いたり、別途用意したリモートコントローラの所定の操作ボタンを押下したり、といった、ユーザの初期操作によって発生させる。この場合、上述のような手段によって情報処理装置１０が当該動きを認識する。そして表示画像生成部１３８は、ロボット１９０の右手の先に対応する位置にボール１９２、ボール１９２の回りに発光エフェクト１９４（同図では星マークで表現）などを表示する。このとき、必要に応じて前面カメラ３０の撮影画像などからロボット１９０の位置などの情報を補う。

また背景として、山や雲などの風景画像を、ロボット１９０に対応する領域をマスクしたうえで表示する。その後、ロボット１９０の手の動きに合わせてボール１９２を動かし、最終的には同図下段に示すように、ボール１９２が飛んでいくような画像を表示する。風景画像のマスク領域も、ロボット１９０の動きに合わせて変化させる。このように実物体と表示画像が連動することにより、猫のロボット１９０が光るボールを投げる様子を実世界で表現できる。

図１４は、図１３の上段および下段の状態において表示される画像を示している。上述のように背景として表示する画像がロボット１９０に映り込まないように、ロボット１９０の輪郭内部は黒くマスクする。またロボット１９０の右手に対応する位置にボール１９２の画像を表示する。そしてそれらの画像をロボット１９０の動きに応じて徐々に変化させていくことにより、図１３で示したような表示形態を実現できる。

なおロボット１９０を動かすためのユーザの初期操作は、上記のように情報処理装置１０と独立に行うことにより、ロボット１９０側から情報処理装置１０にその旨を通知する場合のほか、情報処理装置１０の背面をタップするなど、情報処理装置１０を介してなされる場合もある。この場合は、情報処理装置１０からの要求によってロボット１９０が動くことになる。このような画像と実物体との連動は、図示したようなオブジェとしての用途以外にも、様々な場面で利用できる。例えば実物体である自分のキャラクタのロボットが、表示により発生させた敵と戦ったり、ロボットのポーズによって、保持する武器や技の表示が変化したりする戦闘ゲームなどに用いることもできる。

これまで述べた例では、投影器１１２の内部に実物体室を設けたが、表示画像を融合させる対象とする空間を、投影器１１２と分離することで、実世界にある様々な物を実物体として選択できるようにしてもよい。図１５は実物体室を内部に設けない構造の投影器の構成例を示している。投影器２００は、一般的な鏡である反射鏡２０４と、ハーフミラー２０６とを平行に設置し、情報処理装置１０の表示画像を２回、反射させる構造を有する。ユーザは、ハーフミラー２０６越しに実物体２１０を見るように投影器２００を手に持って移動させ、矢印の方向からのぞき込む。

ハーフミラー２０６には、そのようにして見える実物体２１０と、反射鏡２０４に反射した、情報処理装置１０の表示画像が同時に見えるようにする。このため、反射鏡２０４の下部には、当該反射鏡２０４の反射面と画面とが鋭角をなすように情報処理装置１０を支持するための支持機構２０２を設ける。投影器２００の底面および上面は開口部とし、反射鏡２０４とハーフミラー２０６は両側面の板で支持する。ただし底面、上面および側面の構造はこれによらず、例えば底面および上面を透明な樹脂板等で構成してもよい。

同図の例では、実物体２１０はアクリル樹脂など透明性を有する箱である。そして情報処理装置１０の画面に魚を表示することにより、実物体２１０である箱内に魚がいるように見せることができる。例えば魚が泳ぐときの動きを表示画像に与えれば、水槽の中で泳いでいる魚を観察しているような状況を作り出すことができる。

図１６は、図１５で示した態様をより詳細に説明するための図であり、投影器２００と実物体２１０を右側面から見た状態を示している。上述したように、情報処理装置１０は、画面を上にして支持機構に支持された状態で画像を表示する。この画像は、まず反射鏡２０４によりハーフミラー２０６の方向へ反射する（矢印ａ、ｂ）。そしてハーフミラー２０６で再び反射して、ユーザの視点２２０に到達する（矢印ｂ、ｃ）。このときハーフミラー２０６を介して実物体２１０も同時に見えるため、図１５に示すように、ユーザには実物体２１０の箱の中で表示画像である魚が泳いでいるように見える。

投影器２００を動かして、実物体２１０の別の面を見ても、同様の表示画像が見えるため、実際に水槽を観察している臨場感を与えることができる。なおこの態様では、投影器２００と実物体２１０との距離を自由に変化させることができるため、当該距離に応じて表示画像の大きさも変化させることが望ましい。つまり投影器２００が実物体２１０に近づくほど魚などの表示画像を大きくすることで、より臨場感が増す。そのため実物体には、所定の図形やバーコードを表したマーカーを取り付けてもよい。

この場合、情報処理装置１０の背面カメラ３１または前面カメラ３０が当該マーカーを撮影することにより、その像の大きさから、投影器２００と実物体２１０との距離を特定する。そして当該距離に反比例するように表示画像のサイズを変化させればよい。撮影画像におけるマーカーの見え方によって、実物体２１０に対する投影器２００の角度を特定し、それに応じて表示している対象物の角度を変化させてもよい。図１５の例では、実物体２１０である箱を正面から見たときと、斜め前から見たときとで、表示する魚の角度を変化させることで、実在する魚を様々な方向から見るのと同様の状態を作り出せる。

さらに当該マーカーの図形を、実物体により異ならせることにより、表示画像を実物体に応じて切り替えてもよい。例えば上述のように透明な箱を実物体としたときは魚を、花のオブジェを実物体としたときは蝶を表示させるなどの規則を設定する。そして各実物体に取り付けたマーカの情報と当該規則をコンテンツデータ記憶部１３６に格納しておけば、投影器２００を実物体に向けるのみで、適切な画像を表示し、当該実物体に融合させることができる。

以上述べた本実施の形態によれば、情報処理装置が表示した画像と実物体とを、ハーフミラーを用いて実世界で融合させる。具体的には、ハーフミラーから透過して見える実物体に合致する位置で、適切な表示画像が反射して見えるように、情報処理装置からハーフミラーへ画像を投影する。これにより、実物体では表現が困難な、物の浮遊や発生／消滅、微細な動きや色の変化などの事象を実物体と組み合わせることができ、実物体をより魅力的に見せることができるとともに、実物体の存在によって表示画像にも臨場感を与えることができる、という相乗効果を得ることができる。

また、実物体の種類、ポーズ、位置、動きなどを情報処理装置に備えたカメラ、通信機構、または接続したタッチパッドなどを利用して特定し、それに合致するように表示画像を変化させる。あるいは、情報処理装置の背面タッチパッドなどを利用したユーザ操作や、あらかじめ組まれたシナリオなどに応じて、情報処理装置が表示画像を変化させつつ実物体を連動させる。このような構成により、表示画像のみならず実物体にも様々な変化を与えることができる。結果として、上記の相乗効果をより発揮できるとともに、単に見せるだけでなく動かしてみる楽しみをユーザに与えることができる。また実物体の状態を選択する自由度が格段に増す。

また反射鏡を利用して表示画像を多段階に反射させることにより、投影器の外部にあるあらゆる物を、画像と融合させることができる。このときマーカーなどを利用して、投影器と実物体との距離や角度を特定し、それに応じて表示する対象物のサイズや向きを変化させることにより、実物体の見た目の変化と整合性のある画像を表示できる。結果として、投影器を持って動かしている、という状況に合致した臨場感のある画像表現を実現できる。

以上、本発明を実施例をもとに説明した。この実施例は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

例えば本実施の形態では、ハーフミラーを平板としていたが、凹面形状を有する凹面ハーフミラーとしてもよい。凹面ハーフミラーと情報処理装置の画面との距離を、焦点距離に応じて調整することにより、一般的な凹面鏡と同様、反射によって形成された実像が鏡面より前にあるように見せることができる。その結果、実物体室内の実物体より前にある物を、表示画像で表現することができる。

ただしこの場合、画像として表示する対象物のサイズが大きくなるほど、実像の上下左右の歪みが視認されやすくなる。またこの歪みは、観察者の位置や角度に依存して変化する。この歪みを補正するため、次のような処理を行ってもよい。
（１）表示すべき対象物を、ハーフミラーの凹面形状による歪みを相殺するような形状を有する仮想的な曲面にテクスチャマッピングしてなる画像を表示する。
（２）別途導入したカメラにより観察者の位置を検出し、それに応じて画像の表示位置や形状を変化させる。
（３）キャリブレーションとして、情報処理装置から格子模様の画像を凹面ハーフミラーに投影し、その反射画像を前面カメラなどのカメラで撮影することにより、凹面の詳細な形状や情報処理装置との位置関係を取得し、画像の補正に用いる。

上記処理を適宜組み合わせることにより、手前側に存在する物を違和感なく表示することができる。また（２）の処理において観察者の位置に応じて画像の表示位置や形状を最適化することにより、表示画像に、より立体感を与えることができる。別の変形例として、平板のハーフミラーと凹面ハーフミラーを組み合わせてもよい。例えばハーフミラーの中央部分のみ凹面とすることにより、当該領域に反射させた画像は飛び出して見え、それ以外の領域に反射させた画像は実物体や背面に重畳して見えるようになる。結果として、実物体の前にある表示画像、実物体、実物体上の表示画像、実物体の後にある表示画像、を同時に見せることができ、表現の幅を格段に広げることができる。

さらに、情報処理装置と実物体室との間に別のレンズを導入することにより表示画像を立体視できるようにしてもよい。図１７はその場合の投影器の構造を、右側面から見た状態で示している。同図において投影器２５０は、図２などで示した投影器１１２のうち、情報処理装置１０の支持機構１１６とハーフミラー１１８の間に、レンズ２５２を加えた構成を有する。なおレンズ２５２は、情報処理装置１０の画面と平行になるように設置する。例えばレンズ２５２を凸レンズとすることにより、凹面ハーフミラーと同様に、視点１２６側に表示画像が飛び出して見えるようにできる。

またレンズ２５２を、画素の発光方向を左右に振り分けることで１つの表示画像から両眼視差を作り出し立体視させるレンチキュラーレンズのようなマイクロレンズアレイとしてもよい。この場合、当該レンズ自体がハーフミラー１１８に映り込むため、部分的に用いるなどの工夫により、それ以外の領域から実物体１１４も自然に見えるようにすることが望ましい。

さらに本実施の形態では、ハーフミラーを用いて画像を融合させた実物体を観察する投影器としての機能に主眼を置いて説明したが、この機能を、それ以外の機能と組み合わせてもよい。例えば図１で示したような形状を有する充電器などのクレードルとして実現しもよい。これにより、情報処理装置を載置して充電など他の作業をしながら、実物体と表示画像との融合も同時に楽しめるようになる。当該他の作業の進捗状況に応じて表示画像を変化させるなど、さらなる要素の融合を図ってもよい。

２画像融合システム、１０情報処理装置、２０表示装置、２１前面タッチパッド、３２背面タッチパッド、６０ＣＰＵ、６４メインメモリ、６７モーションセンサ、６８地磁気センサ、７０操作部、７１無線通信モジュール、１１２投影器、１１４実物体、１１６支持機構、１１８ハーフミラー、１３０制御部、１３２ユーザ操作受付部、１３４状態認識部、１３６コンテンツデータ記憶部、１３８表示画像生成部、１４０実物体同期処理部、１８０実物体、１８２画像同期処理部、１８４動作部、１８６動作パターン記憶部、２００投影器、２０４反射鏡、２０６ハーフミラー、２５０投影器、２５２レンズ。

Claims

表示装置に画像を表示させる情報処理装置と、
前記表示装置に表示された画像を反射させるとともに背後に存在する実物体の像を透過させる半透過鏡と、
前記半透過鏡の反射面と前記表示装置の画面とを所定の角度に保つ支持機構と、
を備え、
前記情報処理装置は、
前記半透過鏡において反射する画像と、透過する実物体の像とが融合して見えるように、前記実物体の状態に応じた画像を前記表示装置に表示させる表示画像生成部と、
表示画像に合わせて前記実物体を動作させるために、当該動作に対応するマーカーを前記表示装置に表示させることにより動作の要求情報を出力する実物体同期処理部を備え、
前記実物体は、
前記マーカーをカメラで撮影することにより、前記要求情報を取得する画像同期処理部と、
前記要求情報に従う動きで当該実物体を動かす動作部と、
を備えることを特徴とする画像融合システム。
表示装置に画像を表示させる情報処理装置と、
前記表示装置に表示された画像を反射させるとともに背後に存在する実物体の像を透過させる半透過鏡と、
前記半透過鏡の反射面と前記表示装置の画面とを所定の角度に保つ支持機構と、
を備え、
前記情報処理装置は、
前記半透過鏡において反射する画像と、透過する実物体の像とが融合して見えるように、前記実物体の状態に応じた画像を前記表示装置に表示させる表示画像生成部と、
表示画像に合わせて前記実物体を動作させるために、前記実物体が接地する面を構成する表示装置の接地領域の輝度を、当該動作に対応するパターンで変化させることにより、動作の要求情報を出力する実物体同期処理部を備え、
前記実物体は、
前記輝度の変化のパターンを光学センサで特定することにより、前記要求情報を取得する画像同期処理部と、
前記要求情報に従う動きで当該実物体を動かす動作部と、
を備えることを特徴とする画像融合システム。
表示装置に画像を表示させる情報処理装置と、
前記表示装置に表示された画像を反射させるとともに背後に存在する実物体の像を透過させる半透過鏡と、
前記半透過鏡の反射面と前記表示装置の画面とを所定の角度に保つとともに、前記表示装置を支持した際、当該表示装置の画面に接触する凸部分を備えた支持機構と、
を備え、
前記情報処理装置は、
前記表示装置の画面表面に設けたタッチパッドから、前記支持機構における前記凸部分の位置を取得し、前記半透過鏡において反射する画像と、透過する実物体の像とが融合して見えるように、前記凸部分の位置に応じて前記表示装置に表示させる画像を変化させる表示画像生成部を備えることを特徴とする画像融合システム。
表示装置に画像を表示させる情報処理装置と、
前記表示装置に表示された画像を反射させるとともに背後に存在する実物体の像を透過させる半透過鏡と、
前記半透過鏡の反射面と前記表示装置の画面とを所定の角度に保つ支持機構と、
を備え、
前記情報処理装置は、
前記実物体が接地する面を構成するタッチパッドからの接触点に係る情報に基づき、前記実物体の位置を特定し、前記半透過鏡において反射する画像と、透過する前記実物体の像とが融合して見えるように、前記実物体の位置に応じて前記表示装置に表示させる画像を変化させる表示画像生成部を備えることを特徴とする画像融合システム。
前記情報処理装置は、前記実物体の動きと対応するように変化する動画像を前記表示装置に表示させることを特徴とする請求項１から４のいずれかに記載の画像融合システム。
前記情報処理装置は、前記半透過鏡の背後の空間をカメラが撮影した画像を取得し、当該撮影画像を解析することにより、前記実物体の状態を特定する状態認識部をさらに備え、
前記表示画像生成部は、前記状態認識部が特定した実物体の状態に応じて、表示画像を生成することを特徴とする請求項１から５のいずれかに記載の画像融合システム。
前記情報処理装置は、前記半透過鏡の背後の空間に関する所定の物理量を検出するセンサの出力値から、表示画像を変化させるべき状況の発生を検知して、その旨を前記表示画像生成部に通知する状態認識部をさらに備え、
前記表示画像生成部は、前記状態認識部からの通知に応じて、表示画像を変化させることを特徴とする請求項１から５のいずれかに記載の画像融合システム。
前記表示画像生成部は、前記実物体の背後に存在すべき表示画像の、前記半透過鏡における反射画像が、当該半透過鏡において透過する実物体の像と重なる場合、当該表示画像のうち前記実物体の像と重なる領域をマスクしたうえで前記表示装置に表示させることを特徴とする請求項１から７のいずれかに記載の画像融合システム。
前記半透過鏡の少なくとも一部の領域は視点に対し凹面の形状を有することを特徴とする請求項１から８のいずれかに記載の画像融合システム。