JPWO2015159547A1 - 情報処理システム、制御方法、及びプログラム記録媒体 - Google Patents

Abstract

ユーザにとって扱いやすい画像を投影する。情報処理システム２０００は、実対象物検出部２０２０、投影部２０６０、及び状態決定部２０８０を有する。実対象物検出部２０２０は、実対象物を検出する。投影部２０６０は、投影面に第１画像を投影する。状態決定部２０８０は、検出した実対象物の向き及び位置の少なくとも一つに基づいて、第１画像の向き及び投影面内における位置の少なくとも一つを決定する。投影部２０６０は、状態決定部２０８０によって決定された位置又は向きで第１画像を投影する。

Description

本発明は、情報処理システム、制御方法、及びプログラム記録媒体に関する。

ディスプレイやプロジェクタなどによって映像や情報を表示する広告媒体であるデジタルサイネージが知られている。そして、デジタルサイネージの中には、ユーザ操作に応じて表示内容等が変化するインタラクティブなものがある。例えば特許文献１の案内情報提供システムは、パンフレットのマーカに対してユーザが指差しを行うと、そのマーカに応じたコンテンツを床面等に表示する。

ディスプレイやプロジェクタなどによって画像等を表示する技術の一つが、特許文献２によって開示されている。特許文献２の家電制御システムは、操作者の位置の近傍に仮想的なスイッチとしての可視像を投影する。

特開２０１２−０１４６０６号公報 特開２００９−２２３４９０号公報

画像を投影して情報を提示するデジタルサイネージにおいて、ユーザにとって扱いやすい状態で画像を投影することは重要である。ここで、ユーザにとって扱いやすい画像の状態は、画像を投影する投影面やその周辺の状況（例：ユーザの状況）に依存する。例えば、ユーザから遠い位置に表示される画像や、ユーザにとって見にくい角度で表示される画像は、ユーザにとって扱いにくい。特許文献１は、投影面が複数存在する場合に、ユーザの位置に応じて投影面を選択する技術を開示している。特許文献２は、操作者の位置に応じて投影位置を選択する技術を開示している。しかし、特許文献１及び特許文献２は、投影面やその周辺の状況に応じて投影する画像の状態を決定する方法は開示していない。

本発明は、以上の課題に鑑みてなされたものである。本発明の目的の１つは、ユーザにとって扱いやすい画像を投影する技術を提供することである。

本発明の一態様に係る第１の情報処理システムは、実対象物を検出する実対象物検出手段と、第１画像を取得する画像取得手段と、投影面に第１画像を投影する投影手段と、検出した実対象物の向き及び位置の少なくとも一方に基づいて、前記第１画像の向き及び投影面内における位置の少なくとも一方を決定する状態決定手段と、を有する。また、前記投影手段は、前記状態決定手段によって決定された位置又は向きで前記第１画像を投影する。

本発明の一態様に係る第２の情報処理システムは、第１画像を取得する画像取得手段と、投影面に第１画像を投影する投影手段と、ユーザ操作を検出し、検出したユーザ操作に応じて前記第１画像の投影面上の位置を変更する位置変更手段と、前記第１画像の移動方向に基づいて、投影する前記第１画像の向きを決定する方向決定手段と、を有する。また、前記投影手段は、前記第１画像の向きを、前記方向決定手段によって決定された向きに変更する。

本発明の一態様に係る第１の制御方法は、情報処理システムを制御するコンピュータによって実行される。当該制御方法は、実対象物を検出する実対象物検出ステップと、第１画像を取得する画像取得ステップと、投影面に第１画像を投影する投影ステップと、検出した実対象物の向き及び位置の少なくとも一方に基づいて、前記第１画像の向き及び投影面内における位置の少なくとも一方を決定する状態決定ステップと、を有する。また、前記投影ステップは、前記状態決定ステップによって決定された位置又は向きで前記第１画像を投影する。

本発明の一態様に係る第２の制御方法は、情報処理システムを制御するコンピュータによって実行される。当該制御方法は、第１画像を取得する画像取得ステップと、投影面に第１画像を投影する投影ステップと、ユーザ操作を検出し、検出したユーザ操作に応じて前記第１画像の投影面上の位置を変更する位置変更ステップと、前記第１画像の移動方向に基づいて、投影する前記第１画像の向きを決定する方向決定ステップと、を有する。また、前記投影ステップは、前記第１画像の向きを、前記方向決定ステップによって決定された向きに変更する。

本発明の一態様に係る記憶媒体は第１のプログラムを記憶する。第１のプログラムは、コンピュータに、情報処理システムを制御する機能を持たせる。当該プログラムは、前記コンピュータに、実対象物を検出する実対象物検出機能と、第１画像を取得する画像取得機能と、投影面に第１画像を投影する投影機能と、検出した実対象物の向き及び位置の少なくとも一方に基づいて、前記第１画像の向き及び投影面内における位置の少なくとも一方を決定する状態決定機能と、を持たせる。また、前記投影機能は、前記状態決定機能によって決定された位置又は向きで前記第１画像を投影する。本発明は、上述の記録媒体に記憶されている第１のプログラムによっても実現できる。

本発明の一態様に係る記憶媒体は、第２のプログラムを記憶する。第２のプログラムは、コンピュータに、情報処理システムを制御する機能を持たせる。当該プログラムは、前記コンピュータに、第１画像を取得する画像取得機能と、投影面に第１画像を投影する投影機能と、ユーザ操作を検出し、検出したユーザ操作に応じて前記第１画像の投影面上の位置を変更する位置変更機能と、前記第１画像の移動方向に基づいて、投影する前記第１画像の向きを決定する方向決定機能と、を持たせる。また、前記投影機能は、前記第１画像の向きを、前記方向決定機能によって決定された向きに変更する。本発明は、上述の記録媒体に記憶されている第２のプログラムによっても実現できる。

本発明によれば、ユーザにとって扱いやすい画像を投影する技術が提供される。

図１は、本発明の第１の実施形態に係る情報処理システム２０００を示すブロック図である。 図２は、情報処理システム２０００のハードウエア構成を例示するブロック図である。 図３は、投影装置１００及び監視装置２００を組み合わせた装置を例示する図である。 図４は、本発明の第１の実施形態の情報処理システム２０００によって実行される処理の流れを例示するフローチャートである。 図５は、第１の適用例の情報処理システム２０００の使用環境を例示する図である。 図６Ａは、ユーザの正面方向にあるテーブルの様子を例示する平面図である。 図６Ｂは、ユーザの正面方向にあるテーブルの様子を例示する平面図である。 図７は、画像取得部を有する情報処理システム２０００Ａを例示するブロック図である。 図８Ａは、コンテンツ画像の向きを説明するための図である。 図８Ｂは、コンテンツ画像の向きを説明するための図である。 図９は、コンテンツ画像の向きをユーザの胴体の長径方向に基づいて決定する方法を概念的に例示する図である。 図１０は、基準点を用いて第１画像の向きを決定する方法を概念的に例示する図である。 図１１は、ユーザの指の延伸方向に合わせてコンテンツ画像を投影する様子を例示する図である。 図１２は、本発明の第２及び第３の実施形態に係る情報処理システム２０００Ｂを例示するブロック図である。 図１３は、辺検出部２１００によって検出される辺を例示する図である。 図１４は、マークを有するトレーにおける各辺を例示する図である。 図１５は、テーブル上におけるトレーの位置と各辺との関係を例示する図である。 図１６は、本発明の第２の実施形態の情報処理システム２０００Ｂによって実行される処理の流れを例示するフローチャートである。 図１７Ａは、第２の適用例におけるテーブル上の様子を例示する図である。 図１７Ｂは、第２の適用例におけるテーブル上の様子を例示する図である。 図１８は、本発明の第３の実施形態の状態決定部２０８０が行う処理を概念的に例示する図である。 図１９は、本発明の第４の実施形態に係る情報処理システム２０００Ｃを示すブロック図である。 図２０は、方向決定部が実行する処理を概念的に例示する図である。 図２１は、コンテンツ画像の移動方向とその移動方向におけるコンテンツ画像の向きとの関係を例示する図である。 図２２は、平均移動速度を用いてコンテンツ画像の向きを決定する方法を概念的に例示する図である。 図２３は、本発明の第４の実施形態の情報処理システムによって実行される処理の流れを例示するフローチャートである。 図２４は、情報処理システム２０００Ｃのハードウエア構成を例示するブロック図である。

以下、本発明の実施の形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。

［第１の実施形態］
図１は、本発明の第１の実施形態に係る情報処理システム２０００を示すブロック図である。図１において、実線の矢印は情報の流れを表す。さらに、図１において、各ブロックは、ハードウエア単位の構成ではなく、機能単位の構成を表している。

情報処理システム２０００は、実対象物検出部２０２０、投影部２０６０、及び状態決定部２０８０を有する。後述されるように、情報処理システム２０００は、さらに、第１画像を取得する画像取得部２０４０（図１において図示されない）を有していてもよい。実対象物検出部２０２０は、実対象物を検出する。実対象物は、実物体の全体であってもよいし、実物体の一部分であってもよい。投影部２０６０は、投影面に第１画像を投影する。投影部２０６０が投影する第１画像は、１つであってもよいし、複数であってもよい。状態決定部２０８０は、検出した実対象物の向き及び位置の少なくとも一つに基づいて、第１画像の向き及び投影面内における位置の少なくとも一つを決定する。そして、投影部２０６０は、状態決定部２０８０によって決定された位置又は向きで第１画像を投影する。

＜ハードウエア構成＞
情報処理システム２０００の各機能構成部は、各機能構成部を実現するハードウエア構成要素（例：ハードワイヤードされた電子回路など）で実現されてもよい。情報処理システム２０００の各機能構成部は、ハードウエア構成要素とソフトウエア構成要素との組み合わせ（例：電子回路とそれを制御するプログラムの組み合わせなど）で実現されてもよい。

図２は、情報処理システム２０００のハードウエア構成を例示するブロック図である。図２において、情報処理システム２０００は、投影装置１００、監視装置２００、バス３００、及び計算機１０００によって実現されている。投影装置１００は、画像を投影する機能を有する装置であり、例えばプロジェクタなどである。監視装置２００は、周囲を監視する機能を有する装置であり、例えばカメラなどである。計算機１０００は、サーバや PC (Personal Computer）など、種々の計算機である。バス３００は、投影装置１００、監視装置２００、及び計算機１０００の間で互いにデータを送受信するためのデータ伝送路である。ただし、投影装置１００、監視装置２００、及び計算機１０００の間を接続する方法は、バス接続に限定されない。

なお、バス３００にはさらに、外部入力機器が接続されていてもよい。外部入力機器は、例えば、無線マウス、リモコン、RF（Radio Frequency）タグを読み取るリーダ、又は NFC（Near Field Communication） の IC （Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）チップ等を読み取るリーダなどである。

＜＜計算機１０００の詳細＞＞
計算機１０００は、バス１０２０、プロセッサ１０４０、メモリ１０６０、ストレージ１０８０、及び入出力インタフェース１１００を有する。バス１０２０は、プロセッサ１０４０、メモリ１０６０、ストレージ１０８０、及び入出力インタフェース１１００が、相互にデータを送受信するためのデータ伝送路である。図２において、入出力インタフェース１１００は、「入出力Ｉ／Ｆ１１００」（ＩｎｔｅｒＦａｃｅ）と表記される。ただし、プロセッサ１０４０などを互いに接続する方法は、バス接続に限定されない。プロセッサ１０４０は、例えば CPU (Central Processing Unit) や GPU (Graphics Processing Unit) などの演算処理装置である。メモリ１０６０は、例えば RAM (Random Access Memory) や ROM (Read Only Memory) などのメモリである。ストレージ１０８０は、例えばハードディスク、SSD (Solid State Drive)、又はメモリカードなどの記憶装置である。また、ストレージ１０８０は、RAM や ROM 等のメモリであってもよい。入出力インタフェース１１００は、バス３００を介して投影装置１００や監視装置２００との間でデータを送受信するための入出力インタフェースである。なお、入出力インタフェース１１００は、ネットワークに接続するためのネットワークインタフェースを有してもよい。ネットワークは有線回線で実現されてもよいし、無線回線で実現されてもよいし、有線回線と無線回線の組み合わせで実現されてもよい。

ストレージ１０８０は、情報処理システム２０００の機能を実現するためのプログラムとして、実対象物検出モジュール１２２０、投影モジュール１２６０、及び状態決定モジュール１２８０を記憶している。ストレージ１０８０は、さらに、プロセッサ１０４０が実行することによって画像取得部２０４０の機能を実現する画像取得モジュール（図示されない）を記憶していてもよい。

実対象物検出部２０２０は、監視装置２００及び実対象物検出モジュール１２２０の組み合わせによって実現される。例えば、実対象物検出モジュール１２２０は、監視装置２００によって撮像された画像を取得して解析することで、実対象物を検出する。実対象物検出モジュール１２２０は、プロセッサ１０４０によって実行される。

投影部２０６０は、投影装置１００及び投影モジュール１２６０の組み合わせによって実現される。例えば投影モジュール１２６０は、「投影する画像、その画像を投影する投影位置」の組み合わせを示す情報を投影装置１００へ送信する。投影装置１００は、この情報に従って画像を投影する。投影モジュール１２６０は、プロセッサ１０４０によって実行される。

プロセッサ１０４０は、状態決定モジュール１２８０を実行することで、状態決定部２０８０の機能を実現する。

例えばプロセッサ１０４０は、上記各モジュールを実行する際、これらのモジュールをメモリ１０６０上に読み出してから実行してもよいし、メモリ１０６０上に読み出さずに実行してもよい。

計算機１０００のハードウエア構成は図２に示した構成に限定されない。例えば、各モジュールはメモリ１０６０に格納されてもよい。この場合、計算機１０００は、ストレージ１０８０を備えていなくてもよい。

＜＜投影装置１００及び監視装置２００の詳細＞＞
図３は、投影装置１００及び監視装置２００を組み合わせた装置４００を例示する図である。図３の装置４００は、投影装置１００、監視装置２００、及び投影方向調整部４１０を有する。なお、投影方向調整部４１０は、投影方向調整部４１０−１、２、及び３の組み合わせによって実装されている。ここで、投影装置１００の投影方向と監視装置２００は一致していてもよいし、異なっていてもよい。同様に、投影装置１００の投影範囲と監視装置２００の監視範囲は一致していてもよいし、異なっていてもよい。

投影装置１００は、例えば、可視光プロジェクション装置や赤外光プロジェクション装置である。投影装置１００は、予め決まったパターンや文字、または自由なパターンや文字を表す光を投射部から照射することで、投影面上にさまざまな画像を投影する。

監視装置２００は、例えば、可視光カメラ、赤外線カメラ、距離センサ、距離認識処理装置、及びパターン認識処理装置の中の１つ、又は複数個の組み合わせによって実装される。監視装置２００は、例えば、空間情報を単純に２次元画像で撮影するカメラと、これらの画像より対象物の情報を選択的に抽出する画像処理装置との組み合わせであってもよい。また、監視装置２００は、赤外線パターン投射装置と赤外線カメラとの組み合わせによって実装されていてもよい。監視装置２００は、赤外線パターン投射装置と赤外線カメラとを用いて、パターンの乱れや３角測量の原理に基づいて空間の情報を取得してもよい。また、監視装置２００は、複数の異なる方向から同時に撮影することにより、平面情報と共にその奥行き方向の情報を取得してもよい。監視装置２００は、さらに非常に短い光パルスを対象物に照射し、その光が対象物で反射され戻るまでの時間を計測することによって、対象物の空間情報を取得してもよい。

投影方向調整部４１０は、投影装置１００による画像投影位置を調整できるように設計されている。例えば、投影方向調整部４１０は、装置４００が含む装置の全体または一部を回転させるまたは移動させる機構を持つ。そして、投影方向調整部４１０は、当該機構を用いて投影装置１００から投影される光の向きや位置を変えることによって、画像を投影する位置を調整する（すなわち移動させる）。

ただし、投影方向調整部４１０は、図３に示される構成に限定されない。例えば投影方向調整部４１０は、投影装置１００から出た光を可動型ミラーによって反射させたり、特殊な光学系によって光の向きを変えたりするように設計されてもよい。ここで、上記可動型ミラーは、装置４００に組み込まれる形で設けられていてもよいし、装置４００とは独立して設置されていてもよい。また、投影方向調整部４１０は、投影装置１００そのものを移動できるように設計されていてもよい。

投影装置１００は、例えば、内部レンズを稼動させることによる、投影面に応じて投影画像のサイズを変える機能、及び投影面との距離に応じて焦点位置を調整する機能を持っていても良い。投影面の投影位置中心と投影装置１００の中心を結ぶ直線（すなわち光軸）と、投影面の垂直方向に伸ばした直線の向きが異なる場合、投影範囲内において投影距離が異なる。投影装置１００は、投影範囲内における投影距離の変化に対処できるよう特別に設計された、深い焦点作動距離を持つ光学系を有するように設計されても良い。

投影方向調整部４１０は、投影装置１００の本来の投射範囲が広い場合、投影装置１００から出る光の一部をマスクすることによって、所望の位置に画像を表示してもよい。また、投影装置１００の本来の投射角度が大きい場合、必要な箇所にのみ光が投射されるように画像信号を加工し、投影装置１００にその加工された画像信号が表す画像データを引き渡してもよい。

投影方向調整部４１０は、投影装置１００に加えて、監視装置２００も回転または移動してもよい。例えば図３に例示する構造では、投影方向調整部４１０が投影装置１００の投影方向を変更すると、それに伴い監視装置２００の監視方向も変わる（監視範囲が変わる）。この場合、投影方向調整部４１０には、監視装置２００の監視範囲が所定領域からずれる事を防ぐため、高精度の回転情報取得装置（図示されない）または位置情報取得装置（図示されない）などが含まれる。ただし、投影装置１００の投影範囲と監視装置２００の監視範囲は、別々に変更可能であってもよい。

なお、第１画像の向きの変更は、計算機１０００が第１画像に対して画像処理を施すことによって実現されてもよい。この場合、投影装置１００は、投影方向調整部４１０によって第１画像を回転させる必要はない。投影装置１００は、計算機１０００から受信した第１画像をそのまま投影すればよい。

装置４００は、例えば天井や壁面などに固定された状態で設置される。ここで、設置された装置４００は天井や壁面から全て露出していてもよいし、一部または全体が天井や壁面の内部に埋没していてもよい。なお、投影装置１００が可動型ミラーを用いて投影方向を調整する場合、この可動型ミラーは、装置４００とは別に天井や壁面に設置されてもよい。

なお、上述の例では投影装置１００と監視装置２００とが同じ装置４００に組み込まれているが、投影装置１００と監視装置２００とは独立に設置されていてもよい。

また、実対象物の検出に用いられる監視装置２００とユーザ操作の検出に用いられる監視装置２００は、同じ監視装置２００であってもよいし、それぞれ別々に設けられた監視装置２００であってもよい。

＜処理の流れ＞
図４は、第１の実施形態の情報処理システム２０００によって実行される処理の流れを例示するフローチャートである。ステップＳ１０２において、実対象物検出部２０２０は、実対象物を検出する。ステップＳ１０４において、情報処理システム２０００は、第１画像を取得する。ステップＳ１０６において、状態決定部２０８０は、検出された実対象物の向き及び位置の少なくとも一つに基づいて、第１画像の向き及び投影面内における位置の少なくとも一つを決定する。ステップＳ１０８において、投影部２０６０は、状態決定部２０８０によって決定された位置又は向きで第１画像を投影する。

＜作用・効果＞
本実施形態によれば、検出した実対象物の向き及び位置の少なくとも一つに基づいて、投影面に投影する画像の向き及び投影面内における位置の少なくとも一つが決定される。そのため、投影面、投影面上の物、又は投影面の周辺の物を実対象物として検出するように情報処理システム２０００を構成することにより、これらの物の向き又は位置に基づいて、投影される画像の向き又は投影面内における位置が決定される。例えば後述するように、ユーザの顔の向き等に応じた向きで画像を投影することが可能となる。その結果、ユーザにとって扱いやすい状態で第１画像を投影することができる。そのため、情報処理システム２０００をユーザにとって使いやすいシステムにすることができる。

＜第１の適用例＞
本実施形態の情報処理システム２０００をより理解しやすくするため、本実施形態の情報処理システム２０００の適用例を示す。なお、以下に示す情報処理システム２０００の使用環境や使用方法はあくまで例示であり、情報処理システム２０００の使用環境や使用方法を限定するものではない。なお、本適用例の情報処理システム２０００のハードウエア構成は、図２において表される構成であるとする。

図５は、本適用例の情報処理システム２０００の使用環境を例示する図である。本適用例の情報処理システム２０００は、喫茶店やレストラン等において利用されるシステムである。情報処理システム２０００は、天井に設置された装置４００からテーブル１０上に画像を投影することによってデジタルサイネージを実現する。ユーザは、テーブル１０上に投影されたコンテンツを閲覧したりしながら、食事をしたり、食事が届くのを待つことができる。図５から分かるように、本適用例ではテーブル１０が投影面となっている。なお、装置４００は天井以外の場所（例：壁面）に設置されていてもよい。

図６Ａ及び図６Ｂは、ユーザの正面方向にあるテーブル１０の様子を例示する平面図である。図６Ａ及び図６Ｂにおいて、コンテンツ画像４０は、電子ブックの表紙を示している。ただし、コンテンツ画像４０が表すコンテンツは、電子ブックのようなデジタルコンテンツだけでなく、実物体（アナログコンテンツ）でもよい。またコンテンツはサービスであってもよい。トレー２０及びマーク３０については、後で説明する。

本適用例における実対象物はユーザである。例えば情報処理システム２０００は、ユーザの向きに応じ、ユーザの見やすい向きでコンテンツ画像４０を投影する。図６Ａは、コンテンツ画像４０が好ましくない向きで投影されている様子を例示する図である。ユーザから見るとコンテンツ画像４０が右に傾いている状態であり、コンテンツ画像４０の向きはユーザにとって見にくい向きであると言える。

一方、図６Ｂは、情報処理システム２０００が、ユーザの向きに応じた適切な向きでコンテンツ画像４０を投影している様子を例示する図である。コンテンツ画像４０が正面方向を向いているため、コンテンツ画像４０の向きがユーザにとって見やすい向きになっている。

図６Ｂの様にユーザの向きに応じてコンテンツ画像４０を投影する具体的な方法や、情報処理システム２０００がコンテンツ画像４０の位置や向きを決定するその他の方法などについては、以降で詳しく述べる。

以下、本実施形態の情報処理システム２０００について、さらに詳細に説明する。

＜第１画像の取得方法＞
情報処理システム２０００は、例えば図７に示す情報処理システム２０００Ａのように、第１画像を取得する画像取得部２０４０をさらに有していてもよい。図７は、画像取得部２０４０を有する情報処理システム２０００Ａを例示するブロック図である。画像取得部２０４０が第１画像を取得する方法は様々である。画像取得部２０４０は、例えば、外部の装置から入力される第１画像を取得してもよい。画像取得部２０４０は、例えば、手動で入力される第１画像を取得してもよい。さらに画像取得部２０４０は、外部の装置にアクセスすることによって、第１画像を取得してもよい。

１つのコンテンツに対して、複数の第１画像があってもよい。前述したようにコンテンツが電子ブックである場合、１つの電子ブックに対する第１画像は、例えば、表紙の画像や、各ページを表す画像である。また、コンテンツが実物体である場合、第１画像は、例えば、その実物体を様々な角度から撮影した画像である。なお、前述した通り、第１画像が表すコンテンツは商品に限定されず、サービスであってもよい。

＜投影部２０６０の詳細＞
投影部２０６０は、前述のように、例えばプロジェクタ等の画像を投影する投影装置１００を有する。投影部２０６０は、画像取得部２０４０によって取得された第１画像を取得し、取得した第１画像を投影面へ投影する。

投影部２０６０が画像を投影する投影面は様々である。投影面は、例えば前述の適用例におけるテーブル１０である。投影面は、例えば壁や床などである。また、投影面は人の身体の少なくとも一部（例：手のひら）であってもよい。また投影面は実対象物の一部または全体であってもよい。

＜実対象物検出部２０２０の詳細＞
実対象物検出部２０２０は、上述した監視装置２００を有する。ここで、実対象物検出部２０２０には、「何を実対象物として検出するか」を設定できるように設計されているとする。そして、実対象物検出部２０２０は、監視装置２００の監視範囲の中に、設定された条件を満たす物が含まれているか否かを判定する。そして、設定された条件を満たす物が含まれている場合、その物を実対象物とする。実対象物は、投影面、投影面上にある物、又は投影面の周辺にある物などである。投影面は、例えば図５におけるテーブル１０である。また投影面上にある物とは、例えば図６Ａ及び図６Ｂにおけるトレー２０などである。また投影面の周辺にある物とは、例えば図５におけるユーザである。

例えば監視装置２００が撮像装置である場合、実対象物検出部２０２０は、監視装置２００によって生成された撮像画像に対してオブジェクト認識を行うことによって、実対象物を検出する。ここで、オブジェクト認識は既知の技術であるため、詳細な説明は省略する。

また例えば、監視装置２００が可視光以外の波長域（例えば赤外光や紫外光など）においても撮影できる撮像装置である場合、実対象物には撮影装置が撮影できる不可視の印刷がされていてもよい。ここで、監視装置２００によって生成された不可視の撮像画像に対する処理は同様のため、説明は省略する。

また例えば、実対象物検出部２０２０は距離センサを用いて実現される。この場合、監視装置２００は、例えばレーザ式距離センサを用いて実現される。実対象物検出部２０２０は、このレーザ距離センサを用いて第１画像の投影面やその周辺の高さ変化を測定することによって、実対象物の形状と、時間に対する形状変化（すなわち変形）を検出する。形状と変形を読み取る技術は既知の技術であるため、詳細な説明は省略する。

＜第１画像の向きの決定方法＞
第１画像の向きは、例えば第１画像の垂直方向又は水平方向を指標として表される。図８Ａ及び図８Ｂは、コンテンツ画像４０の向きを説明するための図である。図８Ａが示すコンテンツ画像４０の向きを、基準状態における向きとする。これに対し、図８Ｂは、コンテンツ画像４０の向きが、基準状態から変更されている。図８Ｂにおけるコンテンツ画像４０の向きは、「水平方向の向きが基準状態から＋３０°変更された」とも表現できるし、「垂直方向の向きが基準状態から＋３０°変更された」とも表現できる。なお、第１画像の向きは、垂直方向や水平方向以外を用いて定められてもよい。

＜＜ユーザの顔の向き＞＞
例えば状態決定部２０８０は、ユーザの顔の向きを割り出し、割り出したユーザの顔の向きに合わせて第１画像の向きを決定する。この場合、実対象物検出部２０２０がユーザの顔を検出する。状態決定部２０８０は検出された顔から、顔の向きを決定する。そして状態決定部２０８０は、第１画像の垂直方向の向きを、ユーザの顔が向いている向きと同じ向きにする。

＜＜ユーザの視線方向＞＞
また例えば、状態決定部２０８０は、ユーザの視線方向を割り出し、割り出したユーザの視線方向に合わせて第１画像の向きを決定してもよい。例えばユーザの白目と黒目の位置関係などをもとに、ユーザの視線方向を割り出すことができる。この場合、実対象物検出部２０２０は、ユーザの白目及び黒目の位置を検出する。状態決定部２０８０は、第１画像の垂直方向の向きを、例えばユーザの視線方向と同じ向きにする。

＜＜ユーザの胴体の向き＞＞
また状態決定部２０８０は、例えば、ユーザの胴体の向きを割り出し、割り出したユーザの胴体の向きに合わせて第１画像の向きを決定してもよい。この場合、実対象物検出部２０２０がユーザの胴体を検出する。状態決定部２０８０は、検出された胴体から、胴体の向きを割り出す。そして、状態決定部２０８０は、第１画像の水平方向の向きを、ユーザの胴体の向きに基づいて決定する。ここで一般に、胴体を楕円形と見立てた場合、第１画像の水平方向の向きを胴体の長径方向にすることによって、正面を向いているユーザにとって第１画像が見やすくなる。そこで状態決定部２０８０は、例えば、ユーザの胴体の長径方向を割り出し、第１画像の水平方向の向きを、割り出した長径方向と同じ向きにする。

ここで、ユーザの胴体の長径方向として２通りの向きが考えられる。この２通りの向きのどちらが適切な向きであるのかを、例えばユーザとテーブル１０（投影面）との位置関係によって決定できる。図９を用いて具体的に説明する。図９は、コンテンツ画像４０の向きをユーザ５０の胴体の長径方向に基づいて決定する方法を概念的に例示する図である。図９において、ユーザ５０の胴体の長径方向のみに基づいてコンテンツ画像４０の向きを考えると、コンテンツ画像４０の水平方向の向きとして (i) と (ii) の２通りの向きが考えられる。しかしこの場合、状態決定部２０８０は、人と投影面との位置関係から、(i) が適切であることを割り出し、テーブル１０上にコンテンツ画像４０−１に示す向きでコンテンツ画像を投影する。

なお、状態決定部２０８０は、「第１画像の垂直方向の向きをユーザの胴体の短径方向に合わせる」という方法を用いてもよい。この場合も同様にユーザの胴体の短径方向は２通り考えられるものの、状態決定部２０８０は、ユーザと投影面との位置関係により、適切な短径方向を決定できる。

例えばユーザの胴体の長径方向、及びユーザと投影面の位置関係の算出は、ユーザの視線や顔の向きの算出が難しい状況において有効である。例えば、実対象物検出部２０２０を低解像度のカメラで実現する場合などが考えられる。

＜＜ユーザの腕の向き＞＞
また例えば、状態決定部２０８０は、ユーザの腕の向きを割り出し、割り出したユーザの腕の向きに合わせて第１画像の向きを決定してもよい。この場合、実対象物検出部２０２０がユーザの腕を検出し、状態決定部２０８０は、検出された腕をもとに、腕の向きを割り出す。そして、状態決定部２０８０は、第１画像の水平方向の向きを、ユーザの腕の向きに基づいて決定する。

ここで、ユーザの２本の腕の向きが異なる場合が考えられる。この２本の腕のどちらが適切であるのかを、例えばユーザとテーブル１０（投影面）との位置関係などによって決定できる。第１の選択基準では、２本の腕のうち、テーブル１０での動きが大きい腕が基準として選択される。ユーザはどちらか片方（多くの場合は利き手）を操作に利用するからである。両方の腕がほぼ同様に動く場合は、第２の選択基準として、テーブル１０に載っている物体（例えばトレー２０など）が少ない側の腕を基準として選択する。投影面とする箇所には余計な物が有ると見にくいためである。さらに第２の選択基準でも判定が難しい場合、第３の判定基準として右腕側を基準として選択する。統計的に右腕側が利き手である場合が多いからである。

ユーザの腕の向きを基準として使用して第１画像の向きを決定する場合は、ユーザの腕の動きが最小になり、操作が簡単になるように第１画像の向きを決定することができる。そのため、そのように第１画像の向きを決定する方法は、アンケートフォームやゲームなど入力が多いコンテンツに有効である。また、ユーザの腕の向きを基準として使用して第１画像の向きを決定する場合、どのタイミングで第１画像の向きを決定するかが重要である。入力の際はユーザの腕の位置と向きとが頻繁に変わる。そのため、状態決定部２０８０は、コンテンツに応じて、一定時間内の腕の平均の向きに基づいて第１画像の向きを決定しても良いし、ある瞬間の腕の向きを基準として使用して第１画像の向きを決定しても良い。

＜＜基準点の利用＞＞
第１画像の向きを決定するその他の方法として、第１画像が基準点を向くようにする方法がある。図１０は、基準点７０を用いて第１画像の向きを決定する方法を概念的に例示する図である。点線は、コンテンツ画像４０の中心と基準点７０とを結ぶ直線を示している。図１０に示す例の場合、状態決定部２０８０は、コンテンツ画像４０と基準点７０とを結ぶ直線の延伸方向に合わせるように、コンテンツ画像４０の垂直方向の向きを決定する。その結果、図１０において、各コンテンツ画像４０は、垂直方向の向きが基準点７０を向くように投影されている。

例えば基準点は、投影面上に予め付されているマークである。ただし、状態決定部２０８０は、投影面上に予め付されている物以外の物を基準点として用いてもよい。例えば状態決定部２０８０は、図６Ａ及び図６Ｂにおけるトレー２０やマーク３０などを基準点としてもよい。
また、基準点は、投影面の周辺にある物であってもよい。さらに、状態決定部２０８０は、定められた規則に従って基準点を算出し、算出した基準点を用いてもよい。例えば状態決定部２０８０は、投影面の中心点を算出し、その中心点を基準点として扱ってもよい。また、状態決定部２０８０は、投影面やその周辺における予め定められた座標を基準点として扱ってもよい。

ここで、「何を基準点とするか」を示す情報を示す情報は、情報処理システム２０００が有する格納部（図示されない）に格納しておく。例えば状態決定部２０８０がオブジェクト認識を用いて基準点を特定する場合、この格納部には、基準点とする物の特徴量等を格納しておく。また、予め定めた座標を基準点とする場合、この座標を格納部に格納しておく。

＜＜操作体の向き＞＞
さらに、第１画像の向きを決定するその他の方法として、ユーザの操作体の向きに合わせる方法がある。ここで、ユーザの操作体とは、ユーザの腕、手、若しくは指、又はユーザが操作に用いるタッチペンなどである。例えばこの場合、実対象物検出部２０２０はユーザの操作体を検出する。状態決定部２０８０は、検出された操作体の延伸方向を割り出し、その延伸方向に基づいて第１画像の向きを決定する。

図１１は、ユーザの指８０の延伸方向に合わせてコンテンツ画像４０を投影する様子を例示する図である。点線は、指８０の延伸方向を示している。図１１の場合、実対象物検出部２０２０は、指８０、又は指８０を含むユーザの手などを実対象物として検出する。状態決定部２０８０は、実対象物に含まれる指８０から、指８０の延伸方向（すなわち図１１における点線方向）を割り出す。そして、状態決定部２０８０は、コンテンツ画像４０の垂直方向の向きを、指８０の延伸方向の向きとする。

第１画像の向きを決定する方法のその他の例については、後述の実施形態でさらに述べる。

＜第１画像の位置の決定＞
状態決定部２０８０は、例えば、投影面内であり、かつ実対象物の付近の位置を、第１画像の投影位置とする。状態決定部２０８０は、例えば、図６Ａ及び図６Ｂにおけるトレー２０やマーク３０、図９におけるユーザ５０、又は図１１におけるユーザの指８０や手などの付近を、第１画像の投影位置とする。

ここで、「実対象物の付近」の定義は様々である。例えば「実対象物の付近」は、実対象物から所定距離離れた位置である。なお、この所定距離は０であってもよく、その場合、実対象物に接する位置や実対象物と重なる位置に第１画像が投影される。また「実対象物の付近」は、実対象物の大きさに基づいて決定されてもよい。例えば、状態決定部２０８０は、実対象物の大きさが n である場合に、この実対象物から n/x 離れた位置に第１画像を投影する（n、x は正の実数）。この場合、x の値は、情報処理システム２０００が有する格納部に予め格納しておく。

また、実対象物が投影面上にある場合、状態決定部２０８０は、実対象物上の位置を第１画像の投影位置としてもよい。例えば図６Ａ及び図６Ｂにおけるトレー２０やマーク３０、図１１におけるユーザの指８０や手の上に、第１画像を投影することが考えられる。

第１画像の位置を決定する方法のその他の例については、後述の実施形態でさらに述べる。

なお、状態決定部２０８０は、第１画像の位置の決定と向きの決定に、異なる実対象物を用いてもよい。状態決定部２０８０は、例えば、第１画像の位置を投影面上の物（例：図６におけるトレー２０）の付近とし、第１画像の向きをユーザの顔の向きに合わせてもよい。

状態決定部２０８０は、第１画像の向き又は投影面内の位置を決定するために、投影されている第１画像に関連する情報を取得する。状態決定部２０８０は、例えば、第１画像そのものや第１画像の各種属性などを取得する。

状態決定部２０８０は、投影する第１画像に関連する情報を、例えば、画像取得部２０４０又は投影部２０６０から取得する。また、状態決定部２０８０は、投影する第１画像を特定する情報（例：第１画像のＩＤ（Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ））を画像取得部２０４０又は投影部２０６０から取得し、特定された第１画像に関連するその他の情報を情報処理システム２０００の外部から取得してもよい。

[第２の実施形態]
図１２は、第２の実施形態に係る情報処理システム２０００Ｂを例示するブロック図である。図１２において、矢印は情報の流れを表している。さらに、図１２において、各ブロックは、ハードウエア単位の構成ではなく、機能単位の構成を表している。

第２の実施形態において、実対象物は、投影面上の物体である。そして、第２の実施形態の情報処理システム２０００Ｂは、実対象物の周に含まれる辺（例：テーブルの縁）の向き及び位置の少なくとも一方に基づいて、第１画像の向き及び投影面内の位置の少なくとも一方を決定する。そのために、第２の実施形態の情報処理システム２０００Ｂは、辺検出部２１００を有する。

辺検出部２１００は、実対象物の周に含まれる辺を検出する。そして、第２の実施形態の状態決定部２０８０は、検出された辺の向き及び位置の少なくとも一方に基づいて、第１画像の向き及び投影面内における位置の少なくとも一方を決定する。

図１３を用いて具体的に説明する。図１３は、辺検出部２１００によって検出される辺を例示する図である。図１３において、実対象物はトレー２０である。この場合、辺検出部２１００は、トレー２０の周に含まれる辺である辺６０を検出する。そして、状態決定部２０８０は、辺６０の延伸方向に合わせてコンテンツ画像４０の向きを決定する。また、状態決定部２０８０は、辺６０の付近をコンテンツ画像４０の投影位置とする。ここで、「辺６０の付近」は、第１の実施形態で説明した「実対象物の付近」と同様に定められる。

ここで一般に、実対象物は複数の辺を有する。この場合、状態決定部２０８０は、何らかの基準に従って、第１画像の向きや位置を決定するために用いる辺を特定する。例えば１つの方法として、実対象物に予め基準となるマーク等を付しておく方法がある。この場合、状態決定部２０８０は、実対象物に含まれる辺の内、マーク付近の辺を用いる。図１４は、マーク３０を有するトレー２０における各辺を例示する図である。図１４において、トレー２０は４つの辺６０−１から６０−４を有する。状態決定部２０８０は、この４つの辺の内、マーク３０付近の辺である辺６０−２を用いる。

また、実対象物にマーク等を付さず、どの辺を用いるかを予め情報処理システム２０００Ｂにおいて定められていてもよい。例えば実対象物としてトレー２０を用いることが決まっている場合に、例えば情報処理システム２０００Ｂの管理者などが「トレー２０の右辺を用いる」などの辺を選択する条件を予め定めておく。なお、トレー２０のどの辺が右辺になるかは、トレー２０が置かれている投影面上の位置によって割り出すことができる。図１５は、テーブル１０上におけるトレー２０の位置と各辺との関係を例示する図である。図１５において、トレー２０−１から２０−４のそれぞれについて、トレーの位置によってそのトレーの各辺が上下左右のどの辺なのかが定まっている。また、「トレー２０の辺の内、テーブル１０の中心に最も近い辺を上辺とする」という方法でも、トレー２０の各辺がどの辺なのかを割り出せる。

なお、本実施形態における「辺」は、実対象物の周の一部（言い換えると縁の一部）を意味しており、必ずしも実対象物が持つ頂点を端とする線分に限定されない。例えば実対象物が球体や円盤状の物である場合には、周の一部である円弧が辺となる。このように辺が曲線である場合、例えば状態決定部２０８０は、辺の接線方向を、辺の向きとして扱う。

実対象物が、球体や円盤状の物などのように、頂点や頂点と見なせるような角を持たない場合、例えば辺検出部２１００は、実対象物の周を、定められた方法によって辺に分割することによって、辺を検出する。ここで、周を辺に分割する方法は様々である。辺検出部２１００は、例えば予め定められた大きさで、周を辺に分割する。その場合、周を辺に分割する方法は、例えば、「周を 20cm （ｃｅｎｔｉｍｅｔｅｒ）ごとの辺に分割する」といった方法である。その場合、辺検出部２１００は、あらかじめ定められた大きさに満たない周の一部が残った場合、その周の一部も辺にしてもよい。また、辺検出部２１００は、例えば周を予め決められた数の辺に分割してもよい。その場合、周を辺に分割する方法は、例えば、「周を５等分に分割する」といった方法である。

なお、このように周を辺に分割する方法を用いて、図１４のように頂点や頂点と見なせる角を持つ周の各辺を、さらに細かく辺に分けてもよい。例えば図１４において、４つの辺をそれぞれ４等分し、１６個の辺に分割することなどが考えられる。

＜処理の流れ＞
図１６は、第２の実施形態の情報処理システム２０００Ｂによって実行される処理の流れを例示するフローチャートである。図１６のステップＳ１０２、Ｓ１０４、Ｓ１０８はそれぞれ、図４における同符号のステップと同様の処理である。そのため、これらの処理については説明を省略する。

ステップＳ２０２において、辺検出部２１００は、実対象物の周に含まれる辺を検出する。ステップＳ２０４において、状態決定部２０８０は、検出された辺の向き及び位置の少なくとも一つに基づいて、第１画像の向き及び投影面内の位置の少なくとも一つを決定する。

＜作用・効果＞
本実施形態によれば、投影面上の実対象物の周に含まれる辺の向き及び位置の少なくとも一つに基づいて、第１画像の向き及び投影面内における位置の少なくとも一つが決定される。ここで、投影面上にある実対象物は、ユーザによって扱いやすい状態で置かれている可能性が高い。例えばユーザがテーブルなどの上に置くトレー、携帯端末、又は筆記具などは、ユーザにとって扱いやすい向きや位置で置かれている可能性が高い。また、ユーザのために予めテーブルなどの上に実対象物（例：レストランにおけるメニューなど）を置いておく場合にも、その実対象物はユーザにとって扱いやすい向きや位置で置かれることが一般的である。そのため、投影面上に置かれている実対象物の周に含まれる辺は、ユーザにとって見やすい向きや位置を表すと見なすことができる。したがって、本実施形態によれば、ユーザにとって見やすい向きや位置に第１画像が投影される確率が高くなる。また、辺の向きを算出する処理は、ユーザの顔の向きや視線方向などを検出する処理と比較して、単純であるため、第１画像の向きや位置の決定に要する計算時間や計算機資源を削減できる。その結果、情報処理システム２０００Ｂによる第１画像の投影処理を高速にできる。

＜第２の適用例＞
本実施形態の情報処理システム２０００Ｂについてより理解をしやすくするため、第１の適用例と同様の環境を想定した第２の適用例について説明する。図１７Ａ及び図１７Ｂは、第２の適用例におけるテーブル上の様子を例示する図である。本適用例において、トレー２０上に付されているマーク３０は、買い物かごを表すマークである。そして、情報処理システム２０００Ｂは、コンテンツ画像４０をマーク３０へドラッグすることにより、そのコンテンツ画像４０によって表されるコンテンツをユーザの買い物かごに入れることができる機能を提供する。

ユーザは、買い物かごに入れたコンテンツの決済を、店のレジで行うか、又はオンラインで行うかを選択できる。情報処理システム２０００Ｂは、この選択を行う方法として、「レジでの支払い」を選択するためのコンテンツ画像４１（Pay HERE）と、「オンライン決済」を選択するための画像であるコンテンツ画像４２（Pay ONLINE）を表示する。コンテンツ画像４１とコンテンツ画像４２における「コンテンツ」は、情報処理システム２０００Ｂによって提供される決済サービスを意味する。

図１７Ａ及び図１７Ｂに示すように、この２つの画像は吹き出しの形をしている。状態決定部２０８０は、コンテンツ画像４１とコンテンツ画像４２のそれぞれについて、吹き出しがマーク３０から出ているように見えるように、コンテンツ画像４１とコンテンツ画像４２の表示位置を決定する。そのために、状態決定部２０８０は、コンテンツ画像４１とコンテンツ画像４２の投影位置を決定するのに使用する実対象物として、マーク３０を用いる。

さらに状態決定部２０８０は、トレー２０の辺に沿うように、コンテンツ画像４１とコンテンツ画像４２を表示する。そのために、辺検出部２１００は、トレー２０の辺であり、かつマーク３０の付近の辺である辺６０を検出する。状態決定部２０８０は、辺６０の延伸方向に合わせてコンテンツ画像４１とコンテンツ画像４２の垂直方向の向きを決定する。

なお、辺検出部２１００は、「コンテンツ画像４１とコンテンツ画像４２の水平方向の向きを、辺６０に対して垂直な方向に合わせる」という方法で、コンテンツ画像４１とコンテンツ画像４２の向きを決定してもよい。

情報処理システム２０００Ｂは、例えばトレー２０の向きが変更された場合、その変更に追従してコンテンツ画像４１やコンテンツ画像４２の位置や向きを変更してもよい。当初図１７Ａに示すように置かれていたトレー２０の向き及び位置が、図１７Ｂに示す向き及び位置に変更されたとする。この場合、情報処理システム２０００Ｂは、図１７Ｂに示すように、変更後のトレー２０の位置及び向きに合わせて、コンテンツ画像４１とコンテンツ画像４２の位置及び向きも変更する。

[第３の実施形態]
第３の実施形態に係る情報処理システム２０００Ｂの構成は、第２の実施形態と同様に図１２で表される。

第３の実施形態において、実対象物検出部２０２０が検出する実対象物は、投影面に近接しているユーザである。第３の実施形態の辺検出部２１００は、投影面の周に含まれかつユーザに近接している辺を検出する。そして、第３の実施形態の状態決定部２０８０は、その辺の向き及び位置の少なくとも一方に基づいて、第１画像の向き及び投影面内における位置の少なくとも一方を決定する。

第３の実施形態の実対象物検出部２０２０は、投影面に近接しているユーザを検出する。そして、第３の実施形態の辺検出部２１００は、投影面の周に含まれる辺であり、かつ実対象物検出部２０２０によって検出されたユーザに近接している辺を検出する。

なお、投影面の周囲に複数のユーザが存在し、全てのユーザが第１画像を共有する場合もある。この場合、例えば辺検出部２１００は、複数のユーザの位置の重心位置に近接している辺を検出する。また、辺検出部２１００は、例えば複数のユーザの中から基準とするユーザを決定し、そのユーザに近接している辺を検出する。実対象物検出部２０２０が、例えば、ユーザだけでなく椅子等の周囲の物体も検出してもよい。この場合、辺検出部２１００は、椅子に座っているユーザを検出し、椅子に座っているユーザを基準のユーザとみなしてもよい。また、投影面上に物が置かれている場合（例：テーブル１０上におけるトレー２０）、辺検出部２１００は、投影面上に置かれている物に最も近いユーザを基準のユーザとしてもよい。

＜第１画像の向きの決定＞
辺検出部２１００によって検出された辺が直線である場合、状態決定部２０８０は、第１画像の水平方向の向きが検出された辺の延伸方向に合うように、第１画像の向きを決定する。また、辺検出部２１００によって検出された辺が曲線である場合、状態決定部２０８０は、例えば、検出された辺の接線を割り出し、第１画像の水平方向の向きがその割り出された接線の方向に合うように、第１画像の向きを決定する。

＜第１画像の位置の決定＞
状態決定部２０８０は、辺検出部２１００によって検出された辺の付近を、第１画像を投影する位置とする。「辺の付近」は、第１の実施形態で説明した「実対象物の付近」と同様の方法で定められる。

図１８は、第３の実施形態の状態決定部２０８０が行う処理を概念的に例示する図である。辺検出部２１００は、投影面であるテーブル１０の周に含まれる辺のうち、ユーザ５０−１に近接している辺を検出し、検出した辺の接線６１−１を算出する。そして、状態決定部２０８０は、ユーザ５０に見せるコンテンツ画像４０−１の向き及び位置を、接線６１−１に基づいて決定する。具体的には、状態決定部２０８０は、ユーザ５０−１の付近をコンテンツ画像４０−１の投影位置とする。また、状態決定部２０８０は、コンテンツ画像４０−１の水平方向の向きが接線６１−１の延伸方向に合うように、コンテンツ画像４０−１の向きを決定する。その結果、コンテンツ画像４０−１の向き及び位置は、図１８に示す向き及び位置となる。情報処理システム２０００Ｂは、ユーザ５０−２に見せるコンテンツ画像４０−２についても同様の処理を行って投影する。

＜作用・効果＞
本実施形態によれば、投影面の周に含まれかつユーザに近接している辺の向き及び位置の少なくとも一方に基づいて、第１画像の向き及び投影面内の位置の少なくとも一方が決定される。情報処理システム２０００Ｂによって投影される画像は、投影面に近接しているユーザによって閲覧される確率が高い。また一般に、ユーザは、テーブルの縁など、投影面の周に含まれる辺に応じた向きで投影面を見る確率が高い。そのため、本実施形態によれば、ユーザにとって見やすい状態で画像を投影することができる。また、辺の向きを算出する処理は、ユーザの顔の向きや視線方向などを検出する処理と比較して、単純であるため、第１画像の向きや位置の決定に要する計算時間や計算機資源を削減できる。その結果、情報処理システム２０００Ｂによる第１画像の投影処理を高速にできる。

[第４の実施形態]
図１９は、第４の実施形態に係る情報処理システム２０００Ｃを示すブロック図である。図１９において、実線の矢印は情報の流れを表している。さらに、図１９において、各ブロックは、ハードウエア単位の構成ではなく、機能単位の構成を表している。

第４の実施形態の情報処理システム２０００Ｃは、投影部２０６０、位置変更部２１２０、及び方向決定部２１４０を有する。

位置変更部２１２０は、ユーザ操作を検出し、検出したユーザ操作に応じて第１画像の投影面上の位置を変更する。方向決定部２１４０は、第１画像の移動方向に基づいて、投影する第１画像の向きを決定する。投影部２０６０は、方向決定部２１４０によって決定された向きに従って第１画像の向きを変更する。また、投影部２０６０は、位置変更部２１２０によって変更された位置に第１画像を投影する。

第４の実施形態の情報処理システム２０００Ｃは、例えば第１の実施形態の情報処理システム２０００と同様に、第１画像を取得する画像取得部２０４０を有する。第４の実施形態の画像取得部２０４０が有する機能は、第１の実施形態の画像取得部２０４０が有する機能と同様である。

＜位置変更部２１２０の詳細＞
位置変更部２１２０が検出するユーザ操作は様々である。位置変更部２１２０が検出するユーザ操作は、例えば、ユーザが操作体によって第１画像をドラッグする操作である。また、位置変更部２１２０が検出するユーザ操作は、投影面のうち、第１画像が投影されていない場所を、操作体によって示す操作でもよい。操作体によって示す操作は、操作体によって押す又は叩く操作であってもよい。例えばこの場合、位置変更部２１２０は、操作体によって示された場所へ第１画像が移動していくように、第１画像の位置を変更する。この場合、一度のユーザ操作によって位置変更部２１２０が第１画像を移動させる距離は、所定距離であってもよいし、条件によって異なってもよい。距離を決める条件は、例えば操作に使われる操作体（例：指）の数や、操作体の動きの大きさなどである。

上述のように操作体を用いて行われるユーザ操作は、情報処理システム２０００Ｃと通信可能に接続された、第１の実施形態の監視装置２００と同様の監視装置２００を用いて検出される。監視装置２００を用いてこのようなユーザ操作を検出する技術は既知の技術であるため、このようなユーザ操作を検出する方法の詳細な説明は省略する。一例を挙げると、位置変更部２１２０が撮像装置を用いてユーザ操作を検出する場合、撮像画像内に写っている上記操作体の動きを解析することで、ユーザ操作を検出することができる。

その他の例として、位置変更部２１２０が検出するユーザ操作は、例えば、無線マウスなどの外部入力装置を用いて第１画像を移動させる操作でもよい。

なお、位置変更部２１２０によってユーザ操作が検出されるタイミングと、投影部２０６０が第１画像の投影状態（位置又は向き）を変更するタイミングとの間には、タイムラグがあってよい。このタイムラグが小さいと、ユーザ操作に素早く追従するように第１画像が投影される。一方、このタイムラグが大きいと、ユーザ操作にゆっくり追従するように第１画像が投影される。

＜方向決定部２１４０の詳細＞
方向決定部２１４０は、第１画像の移動方向に基づいて、投影する第１画像の向きを決定する。図２０は、方向決定部２１４０が実行する処理を概念的に例示する図である。矢印９０は、指８０によってコンテンツ画像４０が移動されている方向を示す。この場合、方向決定部２１４０は、コンテンツ画像４０の垂直方向又は水平方向の向きを、コンテンツ画像４０の移動方向に合わせるように、コンテンツ画像４０の向きを決定する。

ここで、コンテンツ画像４０の水平方向の向きと垂直方向の向きのどちらをコンテンツ画像４０の移動方向に合わせるかは、予め決定されていてもよいし、状況によってどちらかが選択されてもよい。状況によって選択する方法について、図２１を用いて説明する。
図２１は、コンテンツ画像４０の移動方向とその移動方向におけるコンテンツ画像４０の向きとの関係を例示する図である。コンテンツ画像４０−０は、投影面に投影されたコンテンツ画像４０の初期状態である。方向決定部２１４０は、初期状態におけるコンテンツ画像の方向とコンテンツ画像４０の移動方向との関係によって、コンテンツ画像４０の移動方向を複数のグループのいずれかに分類する。図２１に示す例では、方向決定部２１４０は、コンテンツ画像４０の移動方向を４つのグループのいずれかに分類する。以下の説明において、コンテンツ画像４０の移動方向は、初期状態におけるコンテンツ画像４０の水平方向（ +0°を表す）と、コンテンツ画像４０の移動方向とがなす、反時計回りの角度によって表される。第１のグループ（グループ（i））は、コンテンツ画像４０の移動方向が-45°から +45°までの範囲に含まれるグループである。第２のグループ（グループ（ii））は、コンテンツ画像４０の移動方向が+45°から +135°までの範囲に含まれるグループである。第３のグループ（グループ（iii））は、コンテンツ画像４０の移動方向が+135°から+225°までの範囲に含まれるグループである。第４のグループ（グループ（iv））は、コンテンツ画像４０の移動方向が+225°から +315°までの範囲に含まれるグループである。そして、コンテンツ画像４０の移動方向が（i）と（iii）のグループに含まれる場合、方向決定部２１４０は、コンテンツ画像４０の水平方向の向きを、コンテンツ画像４０の移動方向に合わせる。一方、コンテンツ画像４０の移動方向が（ii）と（iv）のグループに含まれる場合、方向決定部２１４０は、コンテンツ画像４０の垂直方向の向きを、コンテンツ画像４０の移動方向に合わせる。

なお、初期状態であるコンテンツ画像４０−０の向きは、第１の実施形態から第３の実施形態のいずれかで説明したいずれかの方法で決定されていてもよい。こうすることで、コンテンツ画像４０−０の向きは、ユーザにとって見やすい向きとなっていると考えられる。この状況下において、図２１を用いてグループ分けに基づいてコンテンツ画像４０の向きを決定することにより、移動するコンテンツ画像４０の向きを、ユーザにとって見やすい向きにできると考えられる。なお、図２１を用いて説明したグループ分けに用いる角度は、前述の例に限定されない。また、グループの数は４つでなくてもよい。

方向決定部２１４０は、第１画像の向きを決定するために、第１の実施形態の状態決定部２０８０と同様の方法で、第１画像に関連する情報を取得する。

＜＜移動方向の算出＞＞
第１画像の移動方向は、第１画像の投影位置の変化に基づいて算出できる。なお、方向決定部２１４０が算出する第１画像の移動方向は、第１画像が移動してきた方向であってもよいし、これから第１画像が移動する方向であってもよい。例えば、「第１画像の現在の投影位置、第１画像の１つ前の投影位置」の組み合わせを用いることによって、第１画像が移動してきた方向を算出することができる。また、「第１画像の次の投影位置、第１画像の現在の投影位置」の組み合わせを用いることによって、これから第１画像が移動する方向を算出できる。

方向決定部２１４０が第１画像の移動方向を算出する頻度は、様々な方法のいずれかによって決められる。例えば方向決定部２１４０は、第１画像の移動方向を所定時間（例えば１秒）毎に算出してもよい。また、方向決定部２１４０は、第１画像の移動方向を間欠的に算出してもよい。

方向決定部２１４０が第１画像の向きを変更する頻度は、様々な方法のいずれかによって決められる。例えば方向決定部２１４０は、第１画像の向きを算出する度に、算出した向きに合わせて第１画像の向きを変更してもよい。また、方向決定部２１４０は、第１画像の移動方向が所定の条件を満たした場合のみ、第１画像の向きを変更してもよい。例えば、方向決定部２１４０は、前回第１画像の向きを変更した際の第１画像の移動方向を記憶しておき、今回の移動速度が記憶している移動方向と比較して所定角度以上変化している場合のみ、第１画像の向きを変更してもよい。

また、方向決定部２１４０は、第１画像の移動速度の時間平均を算出し、算出された平均移動速度によって表される方向に基づいて、投影する第１画像の向きを決定してもよい。この場合の方向決定部２１４０の処理を、図２２を用いて説明する。図２２は、平均移動速度を用いてコンテンツ画像４０の向きを決定する方法を概念的に例示する図である。図２２に示す矢印９０−１から９０−４は、それぞれ、期間 p1、p2、p3、p4 における第１画像の速度を表す。この場合、方向決定部２１４０は、上記４つの移動速度の平均移動速度を算出する。矢印９１は、算出された平均移動速度を表す。この場合、方向決定部２１４０は、期間 p1 から p4 の間は第１画像の向きを変更せず、期間 p4 の経過後に、平均移動速度である矢印９１の向きに合わせて、第１画像の向きを変更する。なお、情報処理システム２０００Ｃは、方向決定部２１４０が平均速度を算出する時間間隔を、任意に設定可能であるように設計されていればよい。

このように平均移動速度を用いる方法は、例えば第１画像の移動方向が短時間の間に頻繁に変更される場合に有効である。例えば、短い時間で図２２に示すようにジグザグ方向にコンテンツ画像４０を移動する場合に、移動方向が変わる度にコンテンツ画像４０の向きを変えると、コンテンツ画像４０の向きが不安定になる。そのため、ユーザにとってコンテンツ画像４０が見にくくなる恐れがある。これに対し、平均移動速度を用いてある程度の時間間隔でコンテンツ画像４０の向きを変えることによって、コンテンツ画像４０の向きが安定する。そのため、ユーザにとってコンテンツ画像４０は見やすくなる。

＜ハードウエア構成＞
図２４は、情報処理システム２０００Ｃのハードウエア構成を例示するブロック図である。

第４の実施形態の情報処理システム２０００Ｃのハードウエア構成は、以下を除いて、図２に示す第１の実施形態の情報処理システム２０００のハードウエア構成と同様である。本実施形態では、ストレージ１０８０に格納されているプログラムが第１の実施形態の場合と異なる。具体的には、第４の実施形態におけるストレージ１０８０は、投影モジュール１２６０、位置変更モジュール１３２０、及び方向決定モジュール１３４０を有する。

＜処理の流れ＞
図２３は、第４の実施形態の情報処理システム２０００Ｃによって実行される処理の流れを例示するフローチャートである。ステップＳ３０２において、画像取得部２０４０は、第１画像を取得する。ステップＳ３０４において、投影部２０６０は、第１画像を投影する。ステップＳ３０６において、位置変更部２１２０は、ユーザ操作を検出し、検出したユーザ操作に基づいて第１画像の位置を変更する。ステップＳ３０８において、方向決定部２１４０は、第１画像の移動方向に基づいて、第１画像の向きを決定する。ステップＳ３１０において、投影部２０６０は、投影している第１画像の向きを、方向決定部２１４０によって決定された向きに変更する。

＜作用・効果＞
本実施形態によれば、第１画像の移動方向に基づいて、投影されている第１画像の向きが変更される。こうすることで、第１画像の移動方向に追従して、投影されている第１画像の向きが決定されるため、ユーザにとって見やすい向きで第１画像を表示することができる。

また、上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。

（付記１）
実対象物を検出する実対象物検出手段と、
投影面に第１画像を投影する投影手段と、
検出した実対象物の向き及び位置の少なくとも一方に基づいて、前記第１画像の向き及び投影面内における位置の少なくとも一方を決定する状態決定手段と、を有し、
前記投影手段は、前記状態決定手段によって決定された位置又は向きで前記第１画像を投影する情報処理システム。

（付記２）
前記実対象物検出手段は、前記実対象物の周に含まれる辺を検出する辺検出手段を有し、
前記状態決定手段は、検出された前記辺の向き及び位置の少なくとも一方に基づいて、前記第１画像の向き及び投影面内における位置の少なくとも一方を決定する付記１に記載の情報処理システム。

（付記３）
前記実対象物は、前記投影面に近接するユーザであり、
前記投影面の周に含まれる辺であり、前記ユーザが近接している辺を検出する辺検出手段を有し、
前記状態決定手段は、検出された前記辺の向き及び位置の少なくとも一方に基づいて、前記第１画像の向き又は投影面内における位置を決定する付記１に記載の情報処理システム。

（付記４）
前記状態決定手段は、投影されている前記第１画像の位置と前記投影面上の基準点とを結ぶ直線の延伸方向に基づいて、前記第１画像を投影する向きを決定する付記１乃至３いずれか一つに記載の情報処理システム。

（付記５）
前記実対象物はユーザの操作体であり、
前記状態決定手段は、前記操作体の延伸方向に基づいて、投影する前記第１画像の向きを決定する付記１に記載の情報処理システム。

（付記６）
投影面に第１画像を投影する投影手段と、
ユーザ操作を検出し、検出したユーザ操作に応じて前記第１画像の投影面上の位置を変更する位置変更手段と、
前記第１画像の移動方向に基づいて、投影する前記第１画像の向きを決定する方向決定手段と、を有し、
前記投影手段は、前記第１画像の向きを、前記方向決定手段によって決定された向きに変更する情報処理システム。

（付記７）
前記方向決定手段は、前記第１画像の移動速度の時間平均を算出し、算出された平均移動速度で表される方向に基づいて、投影する前記第１画像の向きを決定する付記６に記載の情報処理システム。

（付記８）
情報処理システムを制御するコンピュータによって実行される制御方法であって、 実対象物を検出する実対象物検出ステップと、
投影面に第１画像を投影する投影ステップと、
検出した実対象物の向き及び位置の少なくとも一方に基づいて、前記第１画像の向き及び投影面内における位置の少なくとも一方を決定する状態決定ステップと、を有し、
前記投影ステップは、前記状態決定ステップによって決定された位置又は向きで前記第１画像を投影する制御方法。

（付記９）
前記実対象物検出ステップは、前記実対象物の周に含まれる辺を検出する辺検出ステップを有し、
前記状態決定ステップは、検出された前記辺の向き及び位置の少なくとも一方に基づいて、前記第１画像の向き及び投影面内における位置の少なくとも一方を決定する付記８に記載の制御方法。

（付記１０）
前記実対象物は、前記投影面に近接するユーザであり、
前記実対象物検出ステップは、前記ユーザの向きを検出し、
前記投影面の周に含まれる辺であり、前記ユーザが近接している辺を検出する辺検出ステップを有し、
前記状態決定ステップは、検出された前記辺の向き及び位置の少なくとも一方に基づいて、前記第１画像の向き又は投影面内における位置を決定する付記８に記載の制御方法。

（付記１１）
前記状態決定ステップは、投影されている前記第１画像の位置と前記投影面上の基準点とを結ぶ直線の延伸方向に基づいて、前記第１画像を投影する向きを決定する付記８乃至１０いずれか一つに記載の制御方法。

（付記１２）
前記実対象物はユーザの操作体であり、
前記状態決定ステップは、前記操作体の延伸方向に基づいて、投影する前記第１画像の向きを決定する付記８に記載の制御方法。

（付記１３）
コンピュータによって実行される制御方法であって、
投影面に第１画像を投影する投影ステップと、
ユーザ操作を検出し、検出したユーザ操作に応じて前記第１画像の投影面上の位置を変更する位置変更ステップと、
前記第１画像の移動方向に基づいて、投影する前記第１画像の向きを決定する方向決定ステップと、を有し、
前記投影ステップは、前記第１画像の向きを、前記方向決定ステップによって決定された向きに変更する制御方法。

（付記１４）
前記方向決定ステップは、前記第１画像の移動速度の時間平均を算出し、算出された平均移動速度で表される方向に基づいて、投影する前記第１画像の向きを決定する付記１３に記載の制御方法。

（付記１５）
コンピュータに情報処理システムを制御する機能を持たせるプログラムであって、前記コンピュータに、
実対象物を検出する実対象物検出機能と、
投影面に第１画像を投影する投影機能と、
検出した実対象物の向き及び位置の少なくとも一方に基づいて、前記第１画像の向き及び投影面内における位置の少なくとも一方を決定する状態決定機能と、を持たせ、
前記投影機能は、前記状態決定機能によって決定された位置又は向きで前記第１画像を投影するプログラム。

（付記１６）
前記実対象物検出機能は、前記実対象物の周に含まれる辺を検出する辺検出機能を有し、
前記状態決定機能は、検出された前記辺の向き及び位置の少なくとも一方に基づいて、前記第１画像の向き及び投影面内における位置の少なくとも一方を決定する付記１５に記載のプログラム。

（付記１７）
前記実対象物は、前記投影面に近接するユーザであり、
前記コンピュータに、前記投影面の周に含まれる辺であり、前記ユーザが近接している辺を検出する辺検出機能を持たせ、
前記状態決定機能は、検出された前記辺の向き及び位置の少なくとも一方に基づいて、前記第１画像の向き又は投影面内における位置を決定する付記１５に記載のプログラム。

（付記１８）
前記状態決定機能は、投影されている前記第１画像の位置と前記投影面上の基準点とを結ぶ直線の延伸方向に基づいて、前記第１画像を投影する向きを決定する付記１５乃至１７いずれか一つに記載のプログラム。

（付記１９）
前記実対象物はユーザの操作体であり、
前記状態決定機能は、前記操作体の延伸方向に基づいて、投影する前記第１画像の向きを決定する付記１５に記載のプログラム。

（付記２０）
コンピュータに情報処理システムを制御する機能を持たせるプログラムであって、前記コンピュータに、
投影面に第１画像を投影する投影機能と、
ユーザ操作を検出し、検出したユーザ操作に応じて前記第１画像の投影面上の位置を変更する位置変更機能と、
前記第１画像の移動方向に基づいて、投影する前記第１画像の向きを決定する方向決定機能と、を持たせ、
前記投影機能は、前記第１画像の向きを、前記方向決定機能によって決定された向きに変更するプログラム。

（付記２１）
前記方向決定機能は、前記第１画像の移動速度の時間平均を算出し、算出された平均移動速度で表される方向に基づいて、投影する前記第１画像の向きを決定する付記２０に記載のプログラム。

以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

この出願は、２０１４年４月１８日に出願された日本出願特願２０１４−０８６５１０を基礎とする優先権を主張し、その開示の全てをここに取り込む。

１０ テーブル
２０ トレー
２０−１ トレー
２０−２ トレー
２０−３ トレー
２０−４ トレー
３０ マーク
４０ コンテンツ画像
４０−０ コンテンツ画像
４０−１ コンテンツ画像
４０−２ コンテンツ画像
４０−３ コンテンツ画像
４０−４ コンテンツ画像
４１ コンテンツ画像
４２ コンテンツ画像
５０ ユーザ
５０−１ ユーザ
５０−２ ユーザ
６０ 辺
６０−１ 辺
６０−２ 辺
６０−３ 辺
６０−４ 辺
６１−１ 接線
６１−２ 接線
７０ 基準点
８０ 指
９０ 矢印
９０−１ 矢印
９０−２ 矢印
９０−３ 矢印
９０−４ 矢印
９１ 矢印
１００ 投影装置
２００ 監視装置
３００ バス
４００ 装置
４１０ 投影方向調整部
４１０−１ 投影方向調整部
４１０−２ 投影方向調整部
４１０−３ 投影方向調整部
１０００ 計算機
１０２０ バス
１０４０ プロセッサ
１０６０ メモリ
１０８０ ストレージ
１１００ 入出力インタフェース
１２２０ 実対象物検出モジュール
１２６０ 投影モジュール
１２８０ 状態決定モジュール
２０００ 情報処理システム
２０００Ａ 情報処理システム
２０００Ｂ 情報処理システム
２０００Ｃ 情報処理システム
２０２０ 実対象物検出部
２０４０ 画像取得部
２０６０ 投影部
２０８０ 状態決定部
２１００ 辺検出部
２１２０ 位置変更部
２１４０ 方向決定部

Claims (11)

1. 実対象物を検出する実対象物検出手段と、
   投影面に第１画像を投影する投影手段と、
   検出した実対象物の向き及び位置の少なくとも一方に基づいて、前記第１画像の向き及び投影面内における位置の少なくとも一方を決定する状態決定手段と、を備え、
   前記投影手段は、前記状態決定手段によって決定された位置又は向きで前記第１画像を投影する
   情報処理システム。
2. 前記実対象物検出手段は、前記実対象物の周に含まれる辺を検出する辺検出手段を有し、
   前記状態決定手段は、検出された前記辺の向き及び位置の少なくとも一方に基づいて、前記第１画像の向き及び投影面内における位置の少なくとも一方を決定する
   請求項１に記載の情報処理システム。
3. 前記実対象物は、前記投影面に近接するユーザであり、
   前記投影面の周に含まれる辺であり、前記ユーザが近接している辺を検出する辺検出手段を有し、
   前記状態決定手段は、検出された前記辺の向き及び位置の少なくとも一方に基づいて、前記第１画像の向き又は投影面内における位置を決定する
   請求項１に記載の情報処理システム。
4. 前記状態決定手段は、投影されている前記第１画像の位置と前記投影面上の基準点とを結ぶ直線の延伸方向に基づいて、前記第１画像を投影する向きを決定する
   請求項１乃至３いずれか一項に記載の情報処理システム。
5. 前記実対象物はユーザの操作体であり、
   前記状態決定手段は、前記操作体の延伸方向に基づいて、投影する前記第１画像の向きを決定する
   請求項１に記載の情報処理システム。
6. 投影面に第１画像を投影する投影手段と、
   ユーザ操作を検出し、検出したユーザ操作に応じて前記第１画像の投影面上の位置を変更する位置変更手段と、
   前記第１画像の移動方向に基づいて、投影する前記第１画像の向きを決定する方向決定手段と、を有し、
   前記投影手段は、前記第１画像の向きを、前記方向決定手段によって決定された向きに変更する
   情報処理システム。
7. 前記方向決定手段は、前記第１画像の移動速度の時間平均を算出し、算出された平均移動速度で表される方向に基づいて、投影する前記第１画像の向きを決定する
   請求項６に記載の情報処理システム。
8. 情報処理システムを制御するコンピュータによって実行される制御方法であって、
   実対象物を検出し、
   検出した実対象物の向き及び位置の少なくとも一方に基づいて、投影面に投影される第１画像の向き及び投影面内における位置の少なくとも一方を決定し、
   決定された位置又は向きで前記投影面に前記第１画像を投影する
   制御方法。
9. 情報処理システムを制御するコンピュータによって実行される制御方法であって、
   投影面に第１画像を投影し、
   ユーザ操作を検出し、検出したユーザ操作に応じて、投影面に投影される第１画像の前記投影面上の位置を変更し、
   前記第１画像の移動方向に基づいて、投影する前記第１画像の向きを決定し、
   前記第１画像の向きを、前記方向決定ステップによって決定された向きに変更し、向きが変更された前記第１画像を前記投影面に投影する
   制御方法。
10. コンピュータに、情報処理システムを制御する機能を持たせるプログラムであって、前記コンピュータに、
    実対象物を検出する実対象物検出機能と、
    投影面に第１画像を投影する投影機能と、
    検出した実対象物の向き及び位置の少なくとも一方に基づいて、前記第１画像の向き及び投影面内における位置の少なくとも一方を決定する状態決定機能と、を持たせ、
    前記投影機能は、前記状態決定機能によって決定された位置又は向きで前記第１画像を投影する
    プログラムを記憶するコンピュータ読み取り可能な記録媒体。
11. コンピュータに情報処理システムを制御する機能を持たせるプログラムであって、前記コンピュータに、
    投影面に第１画像を投影する投影機能と、
    ユーザ操作を検出し、検出したユーザ操作に応じて前記第１画像の投影面上の位置を変更する位置変更機能と、
    前記第１画像の移動方向に基づいて、投影する前記第１画像の向きを決定する方向決定機能と、を持たせ、
    前記投影機能は、前記第１画像の向きを、前記方向決定機能によって決定された向きに変更する
    プログラムを記憶するコンピュータ読み取り可能な記録媒体。

Images