JP7469723B2

JP7469723B2 - 情報処理装置及びプログラム

Info

Publication number: JP7469723B2
Application number: JP2023051891A
Authority: JP
Inventors: 一希小林
Original assignee: Mixi Inc
Current assignee: Mixi Inc
Priority date: 2019-03-26
Filing date: 2023-03-28
Publication date: 2024-04-17
Anticipated expiration: 2039-03-26
Also published as: JP2023093475A; JP7260763B2; JP2020160796A

Description

本発明は、情報処理装置及びプログラムに関する。

従来、仮想的な空間（仮想空間）を、例えばスマートフォンに代表される携帯情報端末に表示しユーザに呈示する仮想現実（ＶｉｒｔｕａｌＲｅａｌｉｔｙ、ＶＲ）技術が実用化されている。近年、例えば携帯情報端末を特定の場所に向けると、人工的なキャラクタ若しくは構造物、又は、撮像等によって取り込んだ動植物若しくは構造物を携帯情報端末に表示しユーザに呈示する拡張現実（ＡｕｇｍｅｎｔｅｄＲｅａｌｉｔｙ、ＡＲ）技術が注目されている。以下では、人工的なキャラクタ若しくは構造物、又は、撮像画像を纏めてオブジェクトと記す。

例えば、特許文献１には、ユーザのタッチ操作による入力操作で仮想空間内に配置されたオブジェクトを操作する技術に関する情報処理装置、及びプログラムが開示されている。

特開２０１７－１７６７６４号公報

本発明の課題の一つは、仮想空間内に配置されたオブジェクトの問い合わせに対し、端末の動きに基づいて応答可能にすることにある。

プログラムであって、オブジェクトが配置された仮想空間の少なくとも一部を端末に含まれる表示部に表示することと、所定の処理に関する問い合わせを出力することと、表示部に前記オブジェクトの少なくとも一部が表示されているとき、端末の動きに基づいて問い合わせに対する入力を受け付けることと、問い合わせに対する入力に基づいて所定の処理を実行することと、をコンピュータに実行させる。

オブジェクトに複数の動作モードのいずれかが設定されることと、オブジェクトに所定のモードが設定され、オブジェクトから問い合わせが出力されるとき、所定の処理が実行されることと、をコンピュータに実行させてもよい。

仮想空間には、複数のオブジェクトが配置されることと、複数の前記オブジェクトの各々に対応して複数の動作モードのいずれかが設定されることと、端末の動きに基づいて問い合わせに対する入力を受け付けることと、問い合わせに対する入力に基づいて所定の処理を実行することと、をコンピュータに実行させてもよい。

端末の動きは、オブジェクトが配置された仮想空間の少なくとも一部と、撮像部で撮像された画像とを合成した画像から決定されてもよい。

端末の動きに基づいて、所定の処理を実行させる場合、撮像部で撮影された画像は固定されること、をコンピュータに実行させてもよい。

所定の処理は、端末の動きを示すパラメータの変化量が所定の範囲にある場合、端末の動きに基づいて実行されること、をコンピュータに実行させてもよい。

情報処理装置であって、オブジェクトが配置された仮想空間の少なくとも一部を端末に表示させる表示制御部と、所定の処理に関する問い合わせを出力する問い合わせ出力部と、端末に表示されているオブジェクトの少なくとも一部が表示されているとき、端末の動きに基づいて問い合わせに対する入力を受け付け、問い合わせに対する入力に基づいて所定の処理を実行させる実行部と、を備える。

本発明の一実施形態によれば、仮想空間内に配置されたオブジェクトの問い合わせに対し、端末の動きに基づいて応答可能である。

本発明の一実施形態に係る情報処理システムを示すブロック図である。（Ａ）は本発明の一実施形態に係る情報処理装置のハードウェア構成を示すブロック図である。（Ｂ）は本発明の一実施形態に係る情報処理装置が有する機能構成を示すブロック図である。本発明の一実施形態に係るオブジェクトが配置された仮想空間を示す図である。（Ａ）、（Ｂ）、（Ｃ）及び（Ｄ）は本発明の一実施形態に係る情報処理装置の構成を示す平面図である。（Ａ）、（Ｂ）、（Ｃ）及び（Ｄ）は本発明の一実施形態に係る情報処理装置の動きを示す斜視図である。本発明の一実施形態に係る処理方法を示すフローチャートである。本発明の一実施形態に係る処理方法を示すフローチャートである。本発明の一実施形態に係る複数のオブジェクトが配置された仮想空間を示す図である。本発明の一実施形態に係る処理方法を示すフローチャートである。（Ａ）は本発明の一実施形態に係るオブジェクトが配置された仮想空間を示す平面図である。（Ｂ）は本発明の一実施形態に係る撮像された画像を示す平面図である。（Ｃ）は本発明の一実施形態に係る仮想空間と撮像された画像とを重ねた図を示す平面図である。

以下、本発明の実施形態を、図面等を参照しながら説明する。但し、本発明は多くの異なる態様で実施することが可能であり、以下に例示する実施の形態の記載内容に限定して解釈されるものではない。また、本明細書と各図において、既出の図に関して前述したものと同様の要素には、同一の符号（または数字の後にＡ、Ｂ、－１、－２などを付した符号）を付して、詳細な説明を適宜省略することがある。なお、各要素に対する「第１」、「第２」と付記された文字は、各要素を区別するために用いられる便宜的な標識であり、特段の説明がない限りそれ以上の意味を有さない。１．第１実施形態１－１．情報処理システム

図１は、本発明の一実施形態に係る情報処理システム１を示すブロック図である。情報処理システム１は、サーバ２０、複数の情報処理装置１０、及び通信回線などのネットワーク４０、を備える。

本発明の一実施形態に係る情報処理システム１は、一例として、ユーザが部屋に入室するとき、仮想空間に配置されたオブジェクトの問い合わせによって、部屋の電気を点灯するか否かを制御することができる。上記一例の概要を説明する。仮想空間に配置されたオブジェクトは待機モードと問い合わせモードとが設定されている。オブジェクトは通常は待機モードに設定されている。ユーザがオブジェクトの問い合わせに対して情報処理装置１０を動かすことによって、情報処理装置１０又はオブジェクトは電気を点灯するか否かを実行する。

本発明の一実施形態において、動作モードとは、例えば、待機モード、問い合わせモードなど、情報処理装置１０又はオブジェクトの状態を示す。ここで、待機モードは、情報処理装置１０又はオブジェクトが、ユーザ又はサーバ２０からの指示（入力）を待っているモードであり、また、通話、ネットワーク接続などの通信、又は撮像などのように、ユーザが情報処理装置１０を通常使用するモードのことである。また、問い合わせモードは、例えば、オブジェクトがユーザに問い合わせ、質問、又は対話などを行うモードである。

本発明の一実施形態において、所定の処理とは、例えば、上記の電気を点灯するための一連の処理のことである。以降において、所定の処理は、部屋の電気を点灯するか否かを制御することを一例に、説明される。

図１において、サーバ２０は、ネットワーク４０を介して、情報処理装置１０にプログラムを提供するコンピュータである。また、サーバ２０は、ネットワーク４０を介して、情報処理装置１０に各種のサービスを提供するコンピュータである。各種のサービスには、例えば、ＳＮＳ（ＳｏｃｉａｌＮｅｔｗｏｒｋｉｎｇＳｅｒｖｉｃｅ）、及び各種アプリケーションのインストールファイルの提供が含まれていてもよい。例えば、情報処理装置１０からサーバ２０にアプリケーション又はプログラムの提供に関する問い合わせがあった場合、サーバ２０はアプリケーションのインストールファイル又はプログラムを情報処理装置１０に提供してもよい。ユーザは、情報処理装置１０にアプリケーションをインストールし、情報処理装置１０にインストールされたアプリケーションを利用することで、ネットワーク４０を経由しサーバ２０に接続することができる。また、情報処理装置１０は、提供されたプログラムに基づいて、所定の処理を実行する。なお、図１において、サーバ２０は１つの装置として図示されているが、サーバ２０は複数の装置で構成されていてもよい。また、サーバ２０は、オブジェクト、仮想空間、撮像、問い合わせ出力
（よいですか？、はい又はいいえ）などの画像情報又は映像情報、プログラム、及びプログラムの動作において必要となるパラメータなどの情報を格納する記憶装置を有してもよい。

情報処理装置１０は、例えば、スマートフォンやタブレットなどの携帯情報端末、携帯型ゲーム機、又はパーソナルコンピュータである。なお、複数の情報処理装置１０は、互いに通信が可能である。１－２．情報処理装置１０のハードウェア構成１００

図２（Ａ）は、本発明の一実施形態に係る情報処理装置１０のハードウェア構成１００を示す図である。ハードウェア構成１００は、携帯情報端末に含まれる。ハードウェア構成１００は、通信部１０１、操作部１０３、表示部１０５、撮像部１０７、制御部１０９、記憶部１１１及び検出部１１３を備える。

通信部１０１は、情報処理装置１０に含まれる通信インターフェースである。本発明の一実施形態では、情報処理装置１０は通信部１０１を介することで、ネットワーク４０を経由してサーバ２０と接続される。そして、情報処理装置１０はサーバ２０との間で情報の送受信を行う。また、情報処理装置１０はネットワーク４０を経由して、他の情報処理装置１０と接続されてもよい。本発明の一実施形態において、情報はデータと置き換えてもよい。

操作部１０３は、例えば、ボタン、又はタッチセンサ等のユーザインタフェースである。操作部１０３は、インターフェースに対してユーザの操作が入力されたことを検出すると、ユーザの操作の入力に対応する各種制御信号を制御部１０９に出力する。本発明の一実施形態では、操作部１０３は、例えば、タッチセンサである。

表示部１０５は、情報処理装置１０を構成する筐体内に一体となって備えられる。表示部１０５は、例えば、液晶表示パネル又はＥＬ（Ｅｌｅｃｔｒｏｌｕｍｉｎｅｓｃｅｎｃｅ）表示パネルである。表示部１０５は、オブジェクトが配置された仮想空間のうちの一部領域を表示する。詳細は後述されるが、仮想空間には、一つのオブジェクトが配置されてもよいし、複数のオブジェクトが配置されてもよい。例えば、図３に示されるように、仮想空間３０５のうちの一部領域３１０Ａには、オブジェクト３００が配置される。また、仮想空間３０５のうちの一部領域３１０Ｂには、オブジェクト３００が配置されていない。

撮像部１０７は、光を電気信号に変換する撮像素子を有し、例えば、ＣＭＯＳ（ＣｏｍｐｌｅｍｅｎｔａｒｙＭｅｔａｌＯｘｉｄｅＳｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサ、ＣＣＤ（ＣｈａｒｇｅＣｏｕｐｌｅｄＤｅｖｉｃｅ）イメージセンサを含む。撮像部１０７は、例えば、カメラである。撮像部１０７は、制御部１０９から出力される撮像制御信号に基づいて、駆動される。撮像部１０７は、撮像した画像情報や映像情報を、制御部１０９、記憶部１１１又はサーバ２０に出力する。

制御部１０９は、演算処理回路を有し、演算処理回路を用いてプログラムを実行する。なお、本明細書等において、演算処理回路は、例えば、プロセッサ、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）、ＧＰＵ（ＧｒａｐｈｉｃｓＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）などの演算処理可能な回路である。なお、制御部１０９は、サーバ２０に格納されているプログラムを、通信部１０１を介して受信してもよい。

記憶部１１１は、情報の恒久的な保持及び情報の書き換えが可能な記憶装置である。記憶部１１１は、例えば、不揮発性メモリである。記憶部１１１は、オブジェクト、仮想空間、撮像、問い合わせ出力（よいですか？、はい又はいいえ）などの画像情報又は映像情報、オブジェクトに設定された動作モードに関する情報、プログラム、及びプログラムの動作において必要となるパラメータなどの情報を格納する。記憶部１１１は、情報の一時的な保持に用いられる書き換え可能な記憶装置を有してもよい。書き換え可能な記憶装置は、例えば、揮発性メモリ、ＳＲＡＭ（ＳｔａｔｉｃＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）又はＤＲＡＭ（ＤｙｎａｍｉｃｃＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）である。記憶部１１１は、記憶部１１１に格納されているプログラムの展開領域、及びプログラムの動作において出力された情報などの中間データ等を記憶する格納領域として用いられてもよい。

検出部１１３は、情報処理装置１０の動きを検出し、問い合わせに対する入力を受け付ける。具体的には、検出部１１３は、問い合わせ出力部２０５から問い合わせ出力信号が出力されると、ユーザが情報処理装置１０に入力した指示を検出する。検出部１１３が、ユーザにより情報処理装置１０に入力された指示を検出することは、ユーザの応答を検出すること、又は、ユーザが情報処理装置１０に与える動きを検出することと言い換えてもよい。検出部１１３は、例えば、角速度センサ（ジャイロセンサ）、地磁気センサ、又は加速度センサなど、ユーザが情報処理装置１０に与える動きを検出可能なセンサを有する。例えば、検出部１１３が角速度センサを有する場合、検出部１１３は、問い合わせ出力部２０５から問い合わせ出力信号が出力されると、ユーザが情報処理装置１０を上下に動かした動きを角速度センサで検出する。１－３．情報処理装置１０が有する機能構成２００

図２（Ｂ）は、本発明の一実施形態に係るプログラムを実行した情報処理装置１０が有する機能構成２００を示す図である。機能構成２００は、制御部１０９に含まれる。機能構成２００は、表示制御部２０１、設定部２０３、問い合わせ出力部２０５、及び実行部２０９を備える。

設定部２０３は、オブジェクトに複数の動作モードのいずれかを設定する機能を有する。設定部２０３は、ユーザによる操作部１０３でのタッチ操作によって、操作部１０３から動作モードを設定する指示（設定制御信号）を受付ける。設定部２０３は、設定制御信号を受付けると、待機モード及び問い合わせモードをオブジェクトに設定する。また、設定部２０３は、問い合わせ出力部２０５から問い合わせ出力信号を受付けると、オブジェクトの状態を待機モードから問い合わせモードに遷移させる。設定部２０３は、オブジェクトを問い合わせモードに遷移させると、遷移信号を問い合わせ出力部２０５に出力する。

問い合わせ出力部２０５は、表示部１０５に所定の処理に関する問い合わせを出力する機能を有する。問い合わせ出力部２０５は、問い合わせ出力信号を、表示制御部２０１、設定部２０３及び動作判定部２０７に出力する。例えば、ユーザが部屋に入室すると、部屋に設けられた人感センサが反応し、人感センサがサーバにセンサ信号を出力する。サーバはセンサ信号を受付けると、問い合わせ出力部２０５に検知信号を出力する。問い合わせ出力部２０５は、サーバから検知信号を受付ける。また、問い合わせ出力部２０５は、サーバから検知信号を受付けると、問い合わせ出力信号（電気を点灯するか否かの信号）を表示制御部２０１、設定部２０３及び動作判定部２０７に出力する。

動作判定部２０７は、検出部１１３による情報処理装置１０の動きの検出結果から、問い合わせに対する入力を判定する機能を有する。具体的には、動作判定部２０７は、検出部１１３による情報処理装置１０の動きから、問い合わせに対する入力が行われたのか否かを判定し、判定した結果を実行部２０９に出力する。例えば、動作判定部２０７は、検出部１１３による情報処理装置１０の動きから、問い合わせに対する入力が行われたと判定する場合、入力検出信号を実行部２０９に出力する。例えば、動作判定部２０７は、検出部１１３による情報処理装置１０の動きから、問い合わせに対する入力が行われないと判定する場合、入力未検出信号を実行部２０９に出力する。例えば、情報処理装置１０の上下左右の動きから問い合わせに対する入力を判定する入力検出信号又は入力未検出信号は情報処理装置１０で処理され、情報処理装置１０の傾きから問い合わせに対する入力を判定する入力検出信号又は入力未検出信号は、サーバ２０で処理されてもよい。

実行部２０９は、動作判定部２０７から出力される入力検出信号又は入力未検出信号を受付け、所定の処理を実行する機能を有する。実行部２０９は、動作判定部２０７から入力検出信号又は入力未検出信号を出力受付けると、所定の処理を実行する信号（実行制御信号）を出力する。例えば、実行部２０９が、動作判定部２０７から電気を点灯する信号
（入力検出信号）を受付けると、実行制御信号を部屋の電気を点灯させるスイッチに出力する。そして、部屋の電気が点灯される。実行部２０９は、実行制御信号をサーバ２０に出力してもよい。そして、サーバ２０は、実行制御信号を受付けると、部屋の電気を制御する信号を部屋の電気を点灯させるスイッチに出力し、部屋の電気が点灯されてもよい。

表示制御部２０１は、表示部１０５に画像情報又は映像情報を表示するための機能を有する。具体的には、表示制御部２０１は、表示部１０５に表示する画像情報又は映像情報を制御する。例えば、表示制御部２０１は、操作部１０３から表示制御信号を受付けると、オブジェクトが配置された仮想空間のうちの一部領域に関係する画像情報、撮像部１０７によって撮像された画像情報又は映像情報を表示部１０５に出力する。また、例えば、表示制御部２０１は、問い合わせ出力部２０５から電気を点灯するか否かの信号を出力されると、問い合わせ出力（よいですか？、はい又はいいえなど）を表示部１０５に出力する。

ここで、サーバ２０が、機能構成２００のうちの一部を備えており、機能構成２００のうちの一部の機能を実行してもよい。１－４．問い合わせの出力

図４を参照し、本発明の一実施形態に係る問い合わせの出力について説明する。図４（Ａ）、図４（Ｂ）、図４（Ｃ）及び図４（Ｄ）は、本発明の一実施形態に係る情報処理装置１０の構成を示す平面図である。図１乃至図３と同一、又は類似する構成については説明を省略することがある。

図４（Ａ）、図４（Ｂ）、図４（Ｃ）及び図４（Ｄ）に示されるように、情報処理装置１０は、表示部１０５及び撮像部１０７を有する。図４（Ａ）、図４（Ｂ）、図４（Ｃ）及び図４（Ｄ）において、表示部１０５及び撮像部１０７以外のハードウェア構成の記載は省略される。

図４（Ａ）に示されるように、表示部１０５は、オブジェクト３００が配置された仮想空間のうちの一部領域３１０Ａを表示する。表示部１０５は、仮想空間のうちの一部領域３１０におけるオブジェクト３００の一部を表示してもよい。例えば、オブジェクト３００の腰よりも上を表示してもよいし、オブジェクト３００の顔を表示してもよい。

また、図４（Ａ）は、表示制御部２０１が、操作部１０３から表示制御信号を出力されるとき、オブジェクト３００が配置される仮想空間３０５のうちの一部領域に関係する画像情報を表示部１０５に出力した図である。また、図４（Ａ）は、オブジェクト３００は問い合わせモードに遷移された状態であるが、問い合わせを出力していない状態を示す図でもある。

図４（Ｂ）に示されるように、表示部１０５は、オブジェクト３００が配置されていない仮想空間のうちの一部領域３２０Ｂを表示することもある。

図４（Ｃ）に示されるように、表示部１０５は、図４（Ａ）の画像に加え、問い合わせ出力３３０を表示する。図４（Ｃ）は、表示制御部２０１が、問い合わせ出力部２０５から問い合わせ出力信号を出力されるとき、問い合わせ出力（よいですか？）を表示部１０５に出力した図である。

図４（Ｄ）に示されるように、表示部１０５は、問い合わせ出力３３０－１に対して、さらに問い合わせ出力３３０－２をずらして重ねて表示することもある。図４（Ｄ）は、表示制御部２０１が、問い合わせ出力部２０５から問い合わせ出力信号を２回出力されるとき、問い合わせ出力（よいですか？）を表示部１０５に出力した図である。１－５．問い合わせに対する入力

図５（Ａ）、図５（Ｂ）、図５（Ｃ）及び図５（Ｄ）を参照し、本発明の一実施形態に係る問い合わせに対する入力について説明する。図５（Ａ）、図５（Ｂ）、図５（Ｃ）及び図５（Ｄ）は、本発明の一実施形態に係るプログラムを実行する情報処理装置の動きを示す斜視図である。図１乃至図４と同一、又は類似する構成については説明を省略することがある。本明細書等において、問い合わせに対する入力は端末の動きと呼ばれることもある。図５（Ａ）、図５（Ｂ）、図５（Ｃ）及び図５（Ｄ）において、情報処理装置１０の表示部１０５の表示面１０５Ａを、単に表示面１０５Ａと呼ぶ。

図５（Ａ）は、表示面１０５Ａの左右方向（ＡＢ方向）に略垂直な法線Ｅに対して略平行な方向（上下方向）に、情報処理装置１０を動かすことによって、問い合わせに対する入力が行われる場合を示す図である。図５（Ｂ）は、表示面１０５Ａの上下方向（ＣＤ方向）に略垂直な法線Ｆに対して略平行な方向（左右方向）に、情報処理装置１０を動かすことによって、問い合わせに対する入力が行われる場合を示す図である。図５（Ｃ）は、情報処理装置１０を、表示面１０５ＡのＡＢ方向に略垂直な法線Ｇに対して傾くように動かすことによって、問い合わせに対する入力が行われる場合を示す図である。図５（Ｄ）は、情報処理装置１０を、表示面１０５ＡのＣＤ方向に略垂直な法線Ｈに対して傾くように動かすことによって、問い合わせに対する入力が行われる場合を示す図である。本明細書等において、左右方向をＡとＢに沿った方向で示し、上下方向をＣとＤに沿った方向で示す。図１乃至図４と同一、又は類似する構成については説明を省略することがある。

図５（Ａ）に示されるように、ユーザが情報処理装置１０を、所定の第１条件を満たす範囲の移動量ｄ１で上下に動かした場合、検出部１１３（図２（Ａ））はユーザが情報処理装置１０を上下に動かした動きを検出する。検出部１１３が情報処理装置１０の動きを検出すると、動作判定部２０７（図２（Ｂ））は入力検出信号を実行部２０９に出力する。一方、ユーザが情報処理装置１０を、所定の第１条件を満たさない範囲の移動量ｄ１で上下に動かした場合、検出部１１３が情報処理装置１０の動きを検出すると、動作判定部２０７は入力未検出信号を実行部２０９に出力する。実行部２０９は、再度、問い合わせに対する入力を促す。これによって、例えば、表示部１０５は、図４（Ｃ）に示された問い合わせ出力と同様の画像を表示する。また、図４（Ｄ）に示されるように、表示部１０５は、問い合わせ出力３３０－１に対して、さらに問い合わせ出力３３０－２をずらして重ねて表示してもよい。

図５（Ｂ）に示されるように、ユーザが情報処理装置１０を、所定の第２条件を満たす範囲の移動量ｄ２で左右に動かした場合、検出部１１３が情報処理装置１０の動きを検出すると、動作判定部２０７は入力検出信号を実行部２０９に出力する。一方、ユーザが情報処理装置１０を、所定の第２条件を満たさない範囲の移動量ｄ２で左右に動かした場合、検出部１１３が情報処理装置１０の動きを検出すると、動作判定部２０７は入力未検出信号を実行部２０９に出力する。実行部２０９は、再度、問い合わせに対する入力を促す。

図５（Ｃ）に示されるように、ユーザが情報処理装置１０を、角度θｘが所定の第３条件を満たす範囲で傾けた場合、検出部１１３が情報処理装置１０の動きを検出すると、動作判定部２０７は入力検出信号を実行部２０９に出力する。一方、ユーザが情報処理装置１０を、角度θｘが所定の第３条件を満たさない範囲で傾けた場合、検出部１１３が情報処理装置１０の動きを検出すると、動作判定部２０７は入力未検出信号を実行部２０９に出力する。実行部２０９は、再度、問い合わせに対する入力を促す。

図５（Ｄ）に示されるように、ユーザが情報処理装置１０を、角度θｙが所定の第４条件を満たす範囲で傾けた場合、検出部１１３が情報処理装置１０の動きを検出すると、動作判定部２０７は入力検出信号を実行部２０９に出力する。一方、ユーザが情報処理装置１０を、角度θｙが所定の第４条件を満たさない範囲で傾けた場合、検出部１１３が情報処理装置１０の動きを検出すると、動作判定部２０７は入力未検出信号を実行部２０９に出力する。実行部２０９は、再度、問い合わせに対する入力を促す。

例えば、問い合わせに対する入力が実行される場合、撮像部１０７の駆動は停止される。また、問い合わせに対する入力が実行される場合、表示部１０５に表示される撮像部１０７によって撮像された画像は固定されてもよいし、撮像部１０７が撮像する画像は表示部１０５に表示されなくなってもよい。これによって、ユーザが情報処理装置１０を通常使用する動きと、ユーザが情報処理装置１０を動かすことで、ユーザがオブジェクトの問い合わせに対する入力を行うことと、を区別することができる。したがって、ユーザがオブジェクトの問い合わせに対する入力するときの誤動作が抑制される。１－６．プログラムを実行するための処理方法

図１、図２、図４、図５、図６及び図７を参照し、本発明の一実施形態に係る処理方法について説明する。図６及び図７は、本発明の一実施形態に係る処理方法を示すフローチャートである。図１乃至図５と同一、又は類似する構成については説明を省略することがある。

情報処理装置１０は、プログラムを実行すると、所定の処理を開始する。例えば、情報処理装置１０は、ユーザの指示によってアプリケーションを起動する。初めに、設定部２０３（図２（Ｂ））において、オブジェクトに待機モード及び問い合わせモードが設定される（ステップ５０１（Ｓ５０１））。

ステップ５０３（Ｓ５０３）において、例えば、ユーザが操作部１０３をタッチ操作することによって、情報処理装置１０は、サーバ２０から表示制御部２０１（図２（Ｂ））に、複数の動作モードのいずれかを設定されたオブジェクト及び仮想空間の画像データを読み出す。表示制御部２０１は、読み出したオブジェクト及び仮想空間の画像データに基づき仮想空間にオブジェクトを配置する。オブジェクトは、ユーザ又はサーバ２０からの指示（入力）を待っている状態（待機モード）である。以上がステップ５０３（Ｓ５０３）である。

ステップ５０５（Ｓ５０５）において、ユーザ又はサーバ２０からの入力がある場合（はい）、設定部２０３（図２（Ｂ））は、オブジェクトを待機モードから問い合わせモードに遷移させる。ユーザ又はサーバ２０からの入力がない場合（いいえ）、ステップ５０５（Ｓ５０５）を繰り返し、オブジェクトは待機モードのままである。例えば、問い合わせ出力部２０５は、ユーザが部屋に入室すると、サーバから出力される信号によって、問い合わせ出力信号を設定部２０３に出力する。設定部２０３は、問い合わせ出力信号を受付けると、オブジェクトを待機モードから問い合わせモードに遷移させる。設定部２０３は、オブジェクトを問い合わせモードに遷移させると、遷移信号を問い合わせ出力部２０５に出力する。以上がステップ５０５（Ｓ５０５）である。

すでに、ステップ５０５（Ｓ５０５）が実行されている場合、ステップ５０１（Ｓ５０１）及びステップ５０３（Ｓ５０３）は省略されてもよい。

ステップ５０７（Ｓ５０７）において、問い合わせ出力部２０５は、設定部２０３から遷移信号を受付けると所定の処理に関する問い合わせ出力信号を出力する。例えば、問い合わせ出力部２０５は、部屋の電気を点灯するか否かの信号を表示制御部２０１、設定部２０３、及び動作判定部２０７に出力する。以上がステップ５０７（Ｓ５０７）である。

ステップ５０９（Ｓ５０９）において、表示制御部２０１が部屋の電気を点灯するか否かの信号を受付けると、仮想空間のうちの一部領域のデータを表示部１０５（図２（Ａ））に出力する。仮想空間のうちの一部領域が表示部１０５に表示される。このとき、図４
（Ｃ）に示されるように、オブジェクト３００が配置された仮想空間のうちの一部領域３１０Ａ及び問い合わせ出力３３０－１が、表示部１０５に表示されている場合（はい）、情報処理装置１０は、ステップ５１３（Ｓ５１３）を実行する。すなわち、オブジェクト３００がユーザに対して問い合わせ出力３３０－１を行う場合、情報処理装置１０は、ステップ５１３（Ｓ５１３）を実行する。図４（Ｂ）又は図４（Ｃ）に示されるように、オブジェクトが配置されていない仮想空間のうちの一部領域が、表示部１０５に表示されている場合（いいえ）、情報処理装置１０は、ステップ５０５（Ｓ５０５）に戻る。すなわち、オブジェクト３００がユーザに対して問い合わせ出力３３０－１行っていない場合、又は、オブジェクトが表示されていない場合、情報処理装置１０は、ステップ５０５（Ｓ５０５）に戻る。以上がステップ５０９（Ｓ５０９）である。なお、オブジェクトが配置された仮想空間のうちの一部領域が、表示部１０５に表示されるように、ユーザは情報処理装置１０を動かしてもよい。

続いて、ユーザは情報処理装置１０を動かすことによって、オブジェクトの問い合わせに対する入力を行う。例えば、表示制御部２０１によって、電気を点灯するか否かの問い合わせ出力が表示部１０５に表示される場合、ユーザによる情報処理装置１０の動きを検出部１１３（図２（Ａ））が検出する。以上がステップ５１３（Ｓ５１３）である。

情報処理装置１０の動きが、第１の動きの場合、動作判定部２０７から実行部２０９に入力検出信号が出力されると、実行部２０９によって第１の所定の処理が実行される（ステップ５２１（Ｓ５２１））。また、情報処理装置１０の動きが、第２の動きの場合、動作判定部２０７から実行部２０９に入力未検出信号が出力されると、実行部２０９によって第２の所定の処理が実行される（ステップ５３１（Ｓ５３１））。

例えば、オブジェクト３００がユーザに対して、電気を点灯するか否かの問い合わせを出力している場合、ユーザが情報処理装置１０を図５（Ａ）に示されるように上下に動かすことで、「はい」（第１の動き）を入力することができる。動作判定部２０７は、電気を点灯するか否かの問い合わせに対して、「はい」が入力されたと判定し、電気を点灯する信号を実行部２０９に出力する。さらに、実行部２０９が、実行制御信号をサーバ２０に出力することによって、部屋の電気が点灯される。また、オブジェクト３００がユーザに対して、電気を点灯するか否かの問い合わせを出力している場合、ユーザが情報処理装置１０を図５（Ｂ）に示されるように左右に動かすことで、「いいえ」（第２の動き）を入力することができる。動作判定部２０７は、電気を点灯するか否かの問い合わせに対して、「いいえ」が入力されたと判定し、電気を点灯しない信号を実行部２０９に出力する。さらに、実行部２０９は、実行制御信号をサーバ２０に出力することによって、部屋の電気は点灯されない。以上がステップ５２１（Ｓ５２１）及びステップ５３１（Ｓ５３１）である。そして、情報処理装置１０の動作は完了する。

情報処理装置１０は動作が完了した場合、ステップ５０７（Ｓ５０７）に示される待機モードに戻り、ステップ５０９（Ｓ５０９）を実行してもよい。

本発明の一実施形態に係る問い合わせに対する入力は、一例として、「はい」及び「いいえ」の二択の入力を示したが、この例に限定されない。例えば、「はい」、「いいえ」及び「迷っている」の三択としてもよいし、四択以上の入力であってもよい。本発明の一実施形態に係る問い合わせに対する入力は、選択肢を増やすことによって、複雑な所定の処理に対応することも可能となる。また、本発明の一実施形態に係る問い合わせに対する入力は、「はい」及び「いいえ」を、図５（Ａ）及び図５（Ｂ）に対応させる例を示したが、この例に限定されない。例えば、「はい」及び「いいえ」を、図５（Ｂ）及び５（Ａ）に対応させてもよい。

本発明の一実施形態に係る所定の処理の一例として、オブジェクトの電気を点灯するか否かの問い合わせに対する、ユーザの情報処理装置の動きによる応答が行われる例を示した。所定の処理は、この例に限定されない。例えば、オブジェクトの動きに関係する問い合わせに対して、ユーザの情報処理装置の動きによる応答が行われてもよい。

以上説明されたように、本発明の一実施形態に係る情報処理装置及びプログラムを用いることによって、ユーザは、仮想空間に配置されたオブジェクトの問い合わせに対して、情報処理装置の簡単な動きによって応答を入力することができる。

また、本発明の一実施形態に係る情報処理装置及びプログラムを用いることによって、ユーザは情報処理装置の動きによって応答を入力することができるため、タッチ操作の場合に生じる操作の断絶、及び、指運び煩雑さが改善される。２．第２実施形態

図８を参照し、仮想空間に複数のオブジェクトが配置される場合の処理方法について説明する。

図８は、本発明の一実施形態に係る複数のオブジェクトが配置された仮想空間を示す図である。図１乃至図７と同一、又は類似する構成については説明を省略することがある。

図８は、図３に示された図に対して、複数のオブジェクト（オブジェクト３００Ａ、オブジェクト３００Ｂ、オブジェクト３００Ｃ）が仮想空間３０５に配置されている点が異なる。また、図８は、オブジェクトに問い合わせモードが設定される例を示している。

図８に示されるように、仮想空間３０５のうちの一部領域３１０Ａには、オブジェクト３００Ａ及び問い合わせ出力３３０Ａが配置されている。仮想空間３０５のうちの一部領域３１０Ｂには、オブジェクト３００Ｂ及び問い合わせ出力３３０Ｂが配置されている。仮想空間３０５のうちの一部領域３１０Ｃには、オブジェクト３００Ｃが配置されている。仮想空間３０５のうちの一部領域３１０Ｄには、オブジェクトが配置されていない。

複数のオブジェクト（オブジェクト３００Ａ、オブジェクト３００Ｂ）が仮想空間３０５に配置されている場合においても、図６及び図７のフローチャートを用いることができる。

例えば、本発明の仮想空間に複数のオブジェクトが配置される場合の処理方法について、図６及び図７のフローチャートに基づいて、ステップ５０１（Ｓ５０１）からステップ５０７が実行された後、ステップ５０９（Ｓ５０９）が実行される。

オブジェクト３００Ａが配置される仮想空間３０５のうちの一部領域３１０Ａ又はオブジェクト３００Ｂが配置される仮想空間３０５のうちの一部領域３１０Ｂが報処理端末の表示部１０５に表示される場合（はい）、ステップ５１３（Ｓ５３１）において、ユーザは情報処理装置１０によって問い合わせに対する入力を行うことができる。一方、オブジェクト３００Ｃが配置される仮想空間３０５のうちの一部領域３１０Ｃが表示部１０５に表示される場合、オブジェクト３００Ｃは問い合わせモードであるが問い合わせを出力していないため（いいえ）、情報処理装置１０は、ステップ５０５（Ｓ５０５）に戻る。また、オブジェクトが配置されていない仮想空間３０５のうちの一部領域３１０Ｃが表示部１０５に表示される場合（いいえ）、ユーザは問い合わせに対する入力を行うことなく、情報処理装置１０は、ステップ５０５（Ｓ５０５）に戻る。

問い合わせモードのオブジェクトは３体であるが、問い合わせを出力し、かつ、表示部１０５に表示さるオブジェクトに対して、ユーザは情報処理装置１０によって問い合わせに対する入力を行うことができる。

例えば、仮想空間３０５のうちの一部領域３１０Ａ及び仮想空間３０５のうちの一部領域３１０Ｂの両方が表示部１０５に表示される場合、オブジェクト３００Ａ又はオブジェクト３００Ｂの一方に対して、ユーザは情報処理装置１０によって問い合わせに対する入力を行ったあと、オブジェクト３００Ａ又はオブジェクト３００Ｂのもう一方に対して、ユーザは情報処理装置１０によって問い合わせに対する入力を行う。また、例えば、情報処理装置１０は、問い合わせモードの際に、複数のオブジェクトに対して同時に問い合わせに対する入力を行うことが可能な機能を有していてもよい。

例えば、複数のオブジェクトの各々は、異なるユーザによって操作されてもよいし、同一のユーザによって操作されてもよい。表示されるオブジェクトの数は、図３及び図８に示される数に限定されない。オブジェクトの操作、表示されるオブジェクトの数等は、ユーザが適宜決定すればよい。

以上説明されたように、本発明の一実施形態に係る情報処理装置及びプログラムを用いることによって、ユーザは、複数のオブジェクトの問い合わせに対しても、情報処理装置の簡単な動きによって応答を入力することができる。３．第３実施形態

図９及び図１０を参照し、本発明の一実施形態に係る処理方法について説明する。本発明の一実施形態に係るプログラムは、情報処理装置１０に含まれる撮像部１０７によって撮像された画像と、仮想空間に配置されたオブジェクトとを重ねて表示し、オブジェクトの問い合わせに対して、情報処理装置１０の動きで応答することを含む。

図９は、本発明の一実施形態に係る処理方法を示すフローチャートである。図１０（Ａ）は本発明の一実施形態に係るオブジェクトが配置された仮想空間を示す平面図である。図１０（Ｂ）は本発明の一実施形態に係る撮像された画像を示す平面図である。図１０（Ｃ）は本発明の一実施形態に係る仮想空間と撮像された画像とを重ねた図を示す平面図である。図１乃至図８と同一、又は類似する構成については説明を省略することがある。

ステップ５０１（Ｓ５０１）は、図６に示されたフローチャートを用いて既に説明されているため、ここでの説明は省略される。図６に示されたフローチャートを用いて説明されたことと同様に、すでに、ステップ５０５（Ｓ５０５）が実行されている場合、ステップ５０１（Ｓ５０１）及びステップ５０３（Ｓ５０３）は省略されてもよい。

ステップ５０４（Ｓ５０４）において、例えば、ユーザは、サーバ２０から、複数の動作モードのいずれかを設定されたオブジェクト３００及び仮想空間３０５の画像データ、及び、撮像された画像４１０の画像データを読み出す。読み出したオブジェクト３００及び仮想空間３０５の画像データ、及び、撮像された画像４２０の画像データを、ネットワーク４０を経由して、表示制御部２０１（図２（Ｂ））に入力する。続いて、表示制御部２０１は、オブジェクト３００が配置された仮想空間３０５のうちの一部領域３１０の画像データと、撮像された画像４１０の画像データとを重ねた合成画像５００の合成画像データを生成する。表示制御部２０１は、オブジェクト３００が配置された仮想空間３０５のうちの一部領域３１０の画像と撮像された画像４１０を重ねた合成画像５００を、表示部１０５に表示する。以上がステップ５０４（Ｓ５０４）である。ここで、ステップ５０３（Ｓ５０３）と同様に、オブジェクトは、ユーザ又はサーバ２０からの指示（入力）を待っている状態（待機モード）である。

ステップ５０５（Ｓ５０５）以後のステップは、図６及び図７に示されたフローチャートを用いて既に説明されているため、ここでの説明は省略される。

以上説明されたように、本発明の一実施形態に係る情報処理装置及びプログラムを用いることによって、オブジェクトが配置された仮想空間のうちの一部領域の画像と撮像された画像を重ねて表示される場合においても、ユーザは、オブジェクトの問い合わせに対して、情報処理装置の簡単な動きによって応答を入力することができる。すなわち、情報処理装置の簡単な動きは、オブジェクトが配置された仮想空間のうちの一部領域の画像と撮像された画像とを合成した画像から決定される。したがって、本発明の一実施形態に係る情報処理装置及びプログラムを用いることによって、撮像された画像を含むオブジェクトの問い合わせに対しても、情報処理装置の簡単な動きによって応答を入力することができるため、タッチ操作の場合に生じる操作の断絶、及び、指運び煩雑さが改善される。

本発明の実施形態として上述した各実施形態において実行された処理を全体として、所定の処理であればよい。

本発明の実施形態として上述した各実施形態は、相互に矛盾しない限りにおいて、適宜組み合わせて実施することができる。

上述した各実施形態の態様によりもたらされる作用効果とは異なる別の作用効果であっても、本明細書の記載から明らかなもの、又は、当業者において容易に予測し得るものについては、当然に本発明によりもたらされるものと解される。

１：情報処理システム、１０：情報処理装置、２０：サーバ、４０：ネットワーク、１００：ハードウェア構成、１０１：通信部、１０３：操作部、１０５：表示部、１０５Ａ：表示面、１０７：撮像部、１０９：制御部、１１１：記憶部、１１３：検出部、２００：機能構成、２０１：表示制御部、２０３：設定部、２０５：出力部、２０７：動作判定部、２０９：実行部、３００：オブジェクト、３００Ａ：オブジェクト、３００Ｂ：オブジェクト、３００Ｃ：オブジェクト、３０５：仮想空間、３１０：一部領域、３１０Ａ：一部領域、３１０Ｂ：一部領域、３１０Ｃ：一部領域、３１０Ｄ：一部領域、３２０Ｂ：一部領域、３３０：出力、３３０－１：出力、３３０－２：出力、３３０Ａ：出力、３３０Ｂ：出力、４１０：画像、４２０：画像、５００：合成画像

Claims

プロセッサを備え、前記プロセッサは、
ユーザによる端末に対するタッチ操作に基づいて、仮想空間に配置されるオブジェクトを前記端末の表示部に表示させ、
前記端末とは異なる第１機器のセンサの反応により出力された信号を受け付けた場合に、前記ユーザに対する問い合わせを、前記オブジェクトに関連付けて前記表示部に表示させ、
所定条件を満たす場合に、前記端末の動きに基づいて、前記問い合わせに対応する処理を実行する、
情報処理装置。
前記プロセッサは、
前記問い合わせに対応する処理として、前記第１機器と同じ部屋に設置された第２機器を動作させるための信号を出力する、
請求項１に記載の情報処理装置。
前記第１機器は、設置される部屋への人の入室を人感センサにより検知するものであり、
前記プロセッサは、前記問い合わせに対応する処理として、前記部屋の電気の点灯を制御するための信号を出力する、
請求項１に記載の情報処理装置。
プロセッサが、ユーザによる端末に対するタッチ操作に基づいて、仮想空間に配置されるオブジェクトを前記端末の表示部に表示させ、
プロセッサが、前記端末とは異なる第１機器のセンサの反応により出力された信号を受け付けた場合に、前記ユーザに対する問い合わせを、前記オブジェクトに関連付けて前記表示部に表示させ、
プロセッサが、所定条件を満たす場合に、前記端末の動きに基づいて、前記問い合わせに対応する処理を実行する、
情報処理方法。
プロセッサに、
ユーザによる端末に対するタッチ操作に基づいて、仮想空間に配置されるオブジェクトを前記端末の表示部に表示させる機能と、
前記端末とは異なる第１機器のセンサの反応により出力された信号を受け付けた場合に、前記ユーザに対する問い合わせを、前記オブジェクトに関連付けて前記表示部に表示させる機能と、
所定条件を満たす場合に、前記端末の動きに基づいて、前記問い合わせに対応する処理を実行する機能と、
を実行させるプログラム。