JP7424309B2 - 情報処理装置、情報処理方法、およびプログラム - Google Patents

Description

本開示は、情報処理装置、情報処理方法、およびプログラムに関する。

近年、テレビ受像機、壁面ディスプレイ（大型ディスプレイ）、およびプロジェクタ等の固定型表示機器、ならびにスマートフォン、タブレット端末、およびノートＰＣ（Personal Computer）等のモバイル型表示機器といった多様な表示機器が開発されている。

例えば下記特許文献１では、プロジェクタによりテーブル面に映像を投影し、テーブル面に対するタッチ操作を検出して映像に反映させるシステムについて開示されている。

国際公開第２０１５／０９８１８９号

しかしながら、ユーザが映像と共に写真を撮ろうとする際、ユーザの立ち位置によっては、映像に含まれる各オブジェクトの配置が好ましくない場合がある。

本開示によれば、オブジェクトを提示する提示画面の近傍に存在するユーザの認識結果と、前記ユーザの撮影準備動作の検出結果に応じて、前記ユーザの認識領域に所定のオブジェクトが重ならないよう提示する制御を行う制御部を備える、情報処理装置を提案する。

本開示によれば、プロセッサが、オブジェクトを提示する提示画面の近傍に存在するユーザの認識結果と、前記ユーザの撮影準備動作の検出結果に応じて、前記ユーザの認識領域に所定のオブジェクトが重ならないよう提示する制御を行うことを含む、情報処理方法を提案する。

本開示によれば、コンピュータを、オブジェクトを提示する提示画面の近傍に存在するユーザの認識結果と、前記ユーザの撮影準備動作の検出結果に応じて、前記ユーザの認識領域に所定のオブジェクトが重ならないよう提示する制御を行う制御部として機能させるための、プログラムを提案する。

本開示の一実施形態による情報処理システムの概要について説明する図である。 本実施形態による情報処理装置の構成の一例を示すブロック図である。 本実施形態による描き込み画像の送信処理の流れの一例を示すフローチャートである。 本実施形態による描き込み画像の提示処理の流れの一例を示すフローチャートである。 本実施形態によるユーザの顔位置に応じたオブジェクトの配置変更について説明する図である。 本実施形態によるイベントロゴオブジェクトの配置について説明する図である。 本実施形態による複数のユーザグループを認識した場合のイベントロゴオブジェクトの提示について説明する図である。 本実施形態の第１の変形例による撮影したいオブジェクトの選択について説明する図である。 本実施形態の第２の変形例による描き込み中ユーザの撮影と表示について説明する図である。 本実施形態の第５の変形例による特定のロゴを予め表示した手書き入力画面の一例を示す図である。 本実施形態の第６の変形例による投影領域Ｓにおけるフォトエリアの設定について説明する図である。 本実施形態の第７の変形例による踏み台を用いたユーザ位置認識の一例について説明する図である。 本実施形態の第８の変形例による描き込み場所に応じた描き込み画像の配置について説明する図である。 本実施形態の第９の変形例による撮影最適エリアの設置について説明する図である。 本実施形態の第１０の変形例による透明ディスプレイを用いた場合のオブジェクトの配置制御について説明する図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

また、説明は以下の順序で行うものとする。
１．本開示の一実施形態による情報処理システムの概要
２．情報処理装置１０の構成
３．動作処理
３－１．描き込み画像の送信処理
３－２．描き込み画像の提示処理
４．変形例
４－１．撮影したいオブジェクトの選択
４－２．描き込み者の顔画像を併せて表示
４－３．描き込み画像のコピー
４－４．描き込み画像の人気度を算出
４－５．手書き入力画面に特定のロゴを予め表示
４－６．フォトエリアの設定
４－７．センサ付き台によるユーザ位置の認識
４－８．描き込み場所に応じた描き込み画像の配置
４－９．撮影最適エリアの設置
４－１０．透明ディスプレイの利用
４－１１．その他
５．まとめ

＜＜１．本開示の一実施形態による情報処理システムの概要＞＞
図１は、本開示の一実施形態による情報処理システムの概要について説明する図である。図１に示すように、本実施形態による情報処理システムは、壁面を投影領域Ｓとして画像を投影するプロジェクタ２０と、投影領域Ｓを含む領域を撮影するカメラ３０（カメラ３０の画角（認識領域）は、投影領域Ｓと同じか、投影領域Ｓより少し大きい範囲とする）と、プロジェクタ２０による画像の投影を制御する情報処理装置１０と、ユーザによる壁面やテーブル面での手書き入力画像を取得するスマートプロジェクタ４０と、を含む。

プロジェクタ２０、カメラ３０、およびスマートプロジェクタ４０は、ネットワーク３（３Ａ、３Ｂ）を介して情報処理装置１０と接続し、データの送受信を行い得る。また、プロジェクタ２０、カメラ３０、およびスマートプロジェクタ４０は、例えば有線／無線ＬＡＮ（Local Area Network）、またはＷｉ－Ｆｉ（Wireless Fidelity、登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）等により、ネットワーク３と通信接続する。

プロジェクタ２０は、空間の任意の場所に画像を投影する投影装置である。プロジェクタ２０は、例えば固定型の広角プロジェクタであってもよいし、Ｐａｎ／Ｔｉｌｔ駆動型等の投影方向を変更可能な可動部を備えるいわゆるムービングプロジェクタであってもよい。投影面は平面に限定されず、曲面であってもよいし、複数の面に分かれていてもよい。また、プロジェクタ２０は、複数台により実現されてもよい。

カメラ３０は、投影領域Ｓと、投影領域Ｓ近傍に居るユーザを含めて撮像し、ユーザ位置の認識に用いられる撮像画像を取得し、情報処理装置１０に出力する。カメラ３０は、例えばＲＧＢカメラにより実現され得る。また、カメラ３０は、投影領域Ｓの略正面に設けられ、投影領域Ｓにおける、投影領域Ｓの前面に居るユーザの領域（輪郭）を認識し得る。また、カメラ３０は、複数台により実現されてもよい。

スマートプロジェクタ４０は、図１に示すように、テーブル面に映像を投影し、投影面に対するタッチ操作をセンサ（カメラやデプスセンサ等）により検出し、例えばユーザが指等の操作体で描いた軌跡を表示することが可能な、インタラクティブなポータブル超短焦点プロジェクタである。ユーザは、例えばテーブル面に表示された手書き入力画面４１０に手書きで落書きを行い、「ＳＥＮＤ」ボタン４２０をタップする。これにより、手書き入力したオブジェクト（画像）４１１が、情報処理装置１０に送信される。図１に示す例では、テーブルにスマートプロジェクタ４０を載置し、テーブル面に手書き入力画面４１０を投影してテーブル面で手書き入力を行っているが、本実施形態はこれに限定されず、例えば壁面にスマートプロジェクタ４０を載置し、壁面に手書き入力画面を投影して壁面で手書き入力を行ってもよい。

本システムは、スマートプロジェクタ４０を複数含んでいてもよいし、複数のスマートプロジェクタ４０が離れた場所（投影領域Ｓと同一空間に限られない）に設置されていてもよい。また、ここでは一例としてスマートプロジェクタ４０を用いて手書きオブジェクトを取得しているが、本実施形態はこれに限定されず、例えばスマートフォンやタブレット端末等のタッチパネルディスプレイで行われるタッチ操作入力により手書きオブジェクトを取得してもよい。また、例えばスキャナーにより手書きオブジェクトを取得してもよい。さらに、本システムは、手書きオブジェクトに限られず、ユーザがＰＣ等を用いて作成した画像や、カメラで撮影した撮影画像（静止画、動画）等をオブジェクトとして取得するようにしてもよい。

情報処理装置１０は、ネットワーク３Ａを介してスマートプロジェクタ４０と接続し、データの送受信を行い得る。また、情報処理装置１０は、ネットワーク３Ｂを介して、プロジェクタ２０やカメラ３０と接続し、データの送受信を行い得る。情報処理装置１０は、スマートプロジェクタ４０、又は、プロジェクタ２０およびカメラ３０と同一空間にあってもよいし、クラウド上のサーバであってもよい。本実施形態では、一例として、情報処理装置１０がクラウド上のサーバである場合について説明する。

情報処理装置１０は、スマートプロジェクタ４０から受信したオブジェクトをプロジェクタ２０により投影領域Ｓに投影する制御を行う。情報処理装置１０は、例えば多数のオブジェクトをランダムに配置した画像を生成し、投影領域Ｓに投影する制御を行う。投影領域Ｓには、多数のユーザが描き込んだオブジェクト２１０（２１０－１～２１０－８）がランダムに表示され（ユーザが描き込んだ落書きオブジェクト４１１も、スマートプロジェクタ４０から情報処理装置１０に送られ、オブジェクト２１０ｅとして投影され得る。）、沢山の落書きを見て楽しむことができる。情報処理装置１０は、落書きオブジェクトを重ねて表示するようにしてもよい。

（背景）
ここで、投影領域Ｓに投影された沢山の落書きを見て楽しむだけではなく、ユーザは、例えば自分が描き込んだ落書きや、気に入った落書き、投影領域Ｓにランダムに表示された多数の落書きと共に写真を撮って楽しむことも想定される。

この場合、ユーザの立ち位置によっては、投影領域Ｓに投影（提示）される映像（提示画面）に含まれる各オブジェクトの配置が好ましくない場合がある。すなわち、プロジェクタ２０により投影領域Ｓに画像を投影しているシステム構成の場合、投影領域Ｓとプロジェクタ２０の間にユーザが位置すると、ユーザの顔に画像が投射されてしまい、例えばユーザがスマートフォン５０で自撮りしようとする際、投影画像が邪魔となって自身の顔が綺麗に映らないといったことが生じる。

そこで、本開示による情報処理システムでは、提示画面近傍に居るユーザの位置を認識し、ユーザが撮影を行おうとしていることを検出した際に、ユーザの認識領域にはオブジェクトが重ならないよう、提示するオブジェクトの配置を自動的に変更することで、より好ましい状況での写真撮影を実現することができる。

具体的には、例えば、情報処理装置１０は、投影領域Ｓと投影領域Ｓ近傍に居るユーザを撮影するカメラ３０により取得した撮像画像に基づいて、ユーザの位置を認識し、ユーザ認識領域にオブジェクトが重ならないよう、配置制御を行う。より具体的には、情報処理装置１０は、既にユーザの認識領域に提示されている落書きオブジェクトを、ユーザから離れるよう移動させる。この場合、落書きオブジェクトが、投影領域Ｓ前に位置するユーザに押し出されているように見える。これにより、ユーザの顔にオブジェクトが重なって投影されることなく、綺麗に写真を撮ることができる。

また、撮影する際、特定のオブジェクト、例えば本システムを提供している企業やイベントのロゴを示すオブジェクトも画角に含めることが好ましい（需要がある）場合もある。情報処理装置１０は、ユーザの位置を認識した際、ユーザの近くに、イベントロゴオブジェクト２２０を提示する制御を行ってもよい。

以上、本開示の一実施形態による情報処理システムの概要について説明した。なお、投影領域Ｓに提示されるオブジェクトは、ユーザが落書きした画像に限定されず、予めシステム側で用意した画像であってもよいし、静止画に限定されず、動画であってもよいし、また、カメラで撮影した画像であってもよい。

＜＜２．情報処理装置１０の構成＞＞
図２は、本実施形態による情報処理装置１０の構成の一例を示すブロック図である。図２に示すように、情報処理装置１０は、制御部１００、通信部１１０、および記憶部１２０を有する。

制御部１００は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置１０内の動作全般を制御する。制御部１００は、例えばＣＰＵ（Central Processing Unit）、マイクロプロセッサ等の電子回路によって実現される。また、制御部１００は、使用するプログラムや演算パラメータ等を記憶するＲＯＭ（Read Only Memory）、及び適宜変化するパラメータ等を一時記憶するＲＡＭ（Random Access Memory）を含んでいてもよい。

また、本実施形態による制御部１００は、描き込み画像管理部１０１、提示画像生成部１０２、提示制御部１０３、顔位置認識部１０４、および状況認識部１０５として機能する。

描き込み画像管理部１０１は、ユーザによる描き込み画像（例えば上記落書き画像であって、オブジェクトの一例である）を、通信部１１０を介してスマートプロジェクタ４０等から取得し、記憶部１２０に蓄積する。描き込み画像には、描き込み時間の情報や書き込み場所の情報、および、書き込み者の情報（ユーザ情報）や、当該書き込み画像を識別する識別情報等の属性情報が付与され得る。

提示画像生成部１０２は、描き込み画像を配置した提示画像を生成する。この際、提示画像生成部１０２は、多数の描き込み画像をランダムに配置してもよいし、属性情報に応じて配置してもよい。生成された提示画像は、提示制御部１０３により、通信部１１０からプロジェクタ２０に送信され、投影領域Ｓに投影される。

また、提示画像生成部１０２は、顔位置認識部１０４による顔位置の認識結果や、状況認識部１０５による状況認識結果に応じて、描き込み画像の配置を決定／変更してもよい。

顔位置認識部１０４は、カメラ３０もより撮像された撮像画像に基づいて、投影領域Ｓの前に居るユーザの顔位置を認識する。例えば顔位置認識部１０４は、撮像画像から、目、鼻、口等の顔の特徴的なパーツの特徴量を抽出し、顔を検出する。顔検出のアルゴリズムは特に限定しない。また、顔位置認識部１０４は、さらに撮像画像に基づいて、ユーザの視線や顔向きを認識することも可能である。

また、顔位置認識部１０４は、撮像画像に基づくボーン推定等により、頭部の位置を推定して顔位置とみなしてもよいし、撮像画像に基づいて、帽子やメガネなど頭部の装飾物を抽出して顔位置を認識してもよい。また、イベントにて所定のＱＲコード（登録商標）やＩＲ光発光部等が設けられた頭部装飾物を配布し、ユーザがそれを頭部につけている場合、顔位置認識部１０４は、カメラ３０（ＩＲ光を検出する場合はＩＲカメラなど）によりＱＲコードやＩＲ光を検知し、ユーザの顔位置を認識することも可能である。また、ここでは一例としてユーザの「顔」の位置を認識する機能について説明したが、本実施形態はこれに限定されず、制御部１００は、カメラ３０の撮像画像に基づいて、ユーザの全身を認識する機能を有していてもよい。

状況認識部１０５は、カメラ３０の撮像画像に基づいて、周辺状況を認識する。具体的には、状況認識部１０５は、撮像画像に基づいて、ユーザの撮影準備動作を検出する。ユーザの撮影準備動作の検出とは、ユーザが被写体となる撮影が行われることの検出であって、例えば、画像認識によりユーザがスマートフォン等のカメラを用いて自撮りしようとしていることをユーザの動き等から検出し得る。また、状況認識部１０５は、撮像画像から検出された顔の向きが、投影領域Ｓと正対する方向（正面方向）に向いている場合を、撮影準備動作として検出するようにしてもよい。また、ユーザは自撮りに限られず他撮りされる場合もあるため、状況認識部１０５は、ユーザに向けて他ユーザがカメラを構えている様子を撮像画像から認識し、撮影準備動作として検出するようにしてもよい。

提示画像生成部１０２は、ユーザの撮影準備動作が検出された際、ユーザの顔領域に重ならないよう、投影領域Ｓに提示するオブジェクトの配置を変更、決定する。これにより、投影領域Ｓの前でユーザが写真を撮影する際に、投影領域Ｓへの投影画像がユーザの顔に重複せず綺麗に撮影することができる。なおユーザの顔領域からはオブジェクトを退避するため、ユーザの顔には透明の光が投射されることとなるが、ユーザの顔が明るく照らされる分には、撮影上何ら問題はなく、むしろ効果的な場合もある。若しくは、ユーザの顔領域には投射自体を行わないようにすることも可能である。

提示画像におけるユーザの顔領域の判断は、上述したように、カメラ３０により投影領域Ｓを撮像した撮像画像に基づいて認識したユーザの顔位置に対応する領域となる。カメラ３０は、例えば投影領域Ｓの略正面から投影領域Ｓを撮影することが望ましいが、本実施形態はこれに限定されない。例えば顔位置認識部１０４は、カメラ３０の撮像画像に基づいて、投影領域Ｓにおいてユーザの影となっている領域をユーザ領域（顔領域を含む）として認識してもよい。

（通信部１１０）
通信部１１０は、有線または無線によりネットワーク３（３Ａ、３Ｂ）と接続し、ネットワーク３を介して外部装置とデータの送受信を行う。通信部１１０は、例えば有線／無線ＬＡＮ（Local Area Network）、またはＷｉ－Ｆｉ（Wireless Fidelity、登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）等によりネットワーク３と通信接続する。

（記憶部１２０）
記憶部１２０は、制御部１００の処理に用いられるプログラムや演算パラメータ等を記憶するＲＯＭ（Read Only Memory）、および適宜変化するパラメータ等を一時記憶するＲＡＭ（Random Access Memory）により実現される。

例えば記憶部１２０は、描き込み画像管理部１０１により管理される描き込み画像（オブジェクト）や、予め用意されたタイトルロゴを示すオブジェクト（画像）を蓄積する。

以上、本実施形態による情報処理装置１０の構成について具体的に説明した。なお図２に示す情報処理装置１０の構成は一例であって、本実施形態はこれに限定されない。例えば情報処理装置１０が複数の装置で構成されていてもよいし、少なくとも一部の構成が外部装置（例えば情報処理装置１０がサーバの場合、クライアント端末やエッジサーバ、プロジェクタ２０、カメラ３０、スマートプロジェクタ４０等）にあってもよい。

＜＜３．動作処理＞＞
＜３－１．描き込み画像の送信処理＞
図３は、本実施形態による描き込み画像の送信処理の流れの一例を示すフローチャートである。

図３に示すように、まず、スマートプロジェクタ４０は、待機状態の画面を表示し（ステップＳ１０３）、画像作成開始のボタンが選択された場合（ステップＳ１０６／Ｙｅｓ）、描画画面を表示（テーブル面に投影）する（ステップＳ１０９）。描画動作は、テーブル面に表示された投影画面に対するタッチ操作により（手書きで）行われ得る。

次いで、画像完成のボタンが選択された場合（ステップＳ１１２／Ｙｅｓ）、画像を保存し（ステップＳ１１５）、送信画面を表示する（ステップＳ１１８）。送信画面には、例えば「この内容で送信してよろしいですか？」といった表示が提示される。ユーザは、図１に示すようなテーブル面に投影された「ＳＥＮＤ」ボタン４２０をタップする。複数の投影領域Ｓが存在する場合等は、送信画面において送信場所（画像の出力場所）を選択することも可能である。

そして、スマートプロジェクタ４０は、情報処理装置１０に画像を送信する（ステップＳ１２１）。スマートプロジェクタ４０は、送信した後、送信完了の旨と、どこに送信されたか（投影領域Ｓの場所）を示す案内画面を表示してもよい。

以上、本実施形態による描き込み画像の送信処理について説明した。なお、ここでは一例としてスマートプロジェクタ４０を用いているが、本実施形態はこれに限定されず、例えばタッチパネルディスプレイを用いて書き込み画像を生成し、送信してもよい。

＜３－２．描き込み画像の提示処理＞
次に、描き込み画像の提示処理について図４を参照して説明する。図４は、本実施形態による描き込み画像の提示処理の流れの一例を示すフローチャートである。

図４にしめすように、まず、情報処理装置１０は、スマートプロジェクタ４０から画像を受信すると、記憶部１２０に保存する（ステップＳ２０３）。

次に、情報処理装置１０は、受信した画像を初期位置に配置し、プロジェクタ２０から投影する（ステップＳ２０６）。初期位置とは、例えばランダムに表示する場合にはランダムに決定した位置、新しい描き込み程左側に表示するといったルールの場合は、投影領域Ｓの左側に配置する。また、情報処理装置１０は、投影領域Ｓに提示する描き込み画像の個数の上限値を予め設定し、上限値を越える場合には、描き込み時間が古い画像から削除するようにしてもよい。また、提示する描き込み画像の提示時間の閾値を予め設定し、提示時間の閾値を越えた場合には、その描き込み画像を削除するようにしてもよい。

一方、情報処理装置１０は、カメラ３０で撮像された撮像画像に基づいて、提示画面周辺の状況や、投影領域Ｓ近傍に居るユーザの顔位置を継続的に認識する（ステップＳ２０９）。

次いで、情報処理装置１０は、ユーザの顔位置認識結果や、状況認識結果に応じて、提示画面近傍で撮影しようとしているユーザの顔周辺を避けるよう、各画像（オブジェクト）の配置を変更する制御を行う（ステップＳ２１２）。オブジェクトの配置変更について、図５を参照して説明する。

図５は、本実施形態によるユーザの顔位置に応じたオブジェクトの配置変更について説明する図である。図５左上の図に示すように、プロジェクタ２０により、投影領域Ｓに多数の描き込み画像（オブジェクト）が投影されている場合に、図５右上の図に示すように、ユーザＵ１、Ｕ２が投影領域Ｓの前に立って自撮りをしようとカメラを構えると、カメラ３０の撮像画像に基づいて、当該自撮り動作が検出される（少なくとも顔の向きが正面を向いている検出される）。

この場合、情報処理装置１０は、図５の右下の図に示すように、カメラ３０の撮像画像に基づいて、少なくともユーザの顔を含むユーザの認識領域３１０を特定し、かかる認識領域３１０を回避するため、周辺のオブジェクト２１０－１０～２１０－１３を、認識領域３１０から離れるよう（認識領域３１０に重ならないよう）（提示位置を）移動させる。これにより、撮影時にユーザの顔にオブジェクトが重ならず、綺麗に撮影することができる。ユーザは、自分が描き込んだ画像と一緒に写真を撮りたい場合、自らその書き込み画像に近付けて自撮り等を行うことが想定されるが、この際、他の描き込み画像がユーザの顔に投射されてしまう場合がある。本実施形態では、このようにユーザの顔と重なるオブジェクトをユーザから離れるよう移動させる制御を行う。オブジェクトを移動させるアニメーションは、ユーザがユーザ領域から描き込み画像を押し出している（描き込み画像がユーザを避けていく）ように見える。なお、図５の右下に示す図では、顔以外の部分にも重複しないよう提示制御され得るが、本実施形態はこれに限定されず、顔位置に対応する顔認識領域だけにオブジェクトが重複しないよう提示制御してもよい。

また、情報処理装置１０は、特定の画像を、当該認識したユーザの顔付近に配置するよう制御してもよい（ステップＳ２１５）。特定の画像とは、例えば優先度の高いオブジェクトであって、より具体的には、予め生成されたイベントロゴや企業ロゴを示すオブジェクト（宣伝オブジェクト）、ユーザが指定したオブジェクト、または、人気度の高いオブジェクト等が想定される。また、情報処理装置１０は、特定の画像以外の画像（オブジェクト）はユーザの領域から離れるよう提示制御してもよい。ここで図６に、イベントロゴオブジェクト２２０の配置について説明する図を示す。例えば情報処理装置１０は、図６に示すように、撮影しようとしているユーザを認識した際、ユーザの顔付近に、イベントロゴオブジェクト２２０を表示する。また、情報処理装置１０は、イベントロゴオブジェクト２２０の大きさを、ユーザの顔の大きさに合わせて可変してもよい。また、情報処理装置１０は、ユーザが撮影するカメラの画角を想定してイベントロゴオブジェクト２２０の配置や大きさを調整してもよい。具体的には、例えば、少なくともユーザの顔が３分の１の領域を占める正方形の画角３５０を想定し、イベントロゴオブジェクト２２０と描き込み画像が見える部分もそれぞれ３分の１の領域となるよう、イベントロゴオブジェクト２２０の大きさや配置を調整してもよい。また、情報処理装置１０は、ユーザを撮影するカメラ（例えばユーザが把持するカメラ）とユーザまたは投影領域Ｓとの距離（焦点距離）が、カメラ３０やその他設置されたセンサ装置により測れる場合、かかる距離に応じて（画角が想定され）、イベントロゴオブジェクト２２０の大きさや配置を調整してもよい。カメラ（例えばユーザが把持するカメラ）とユーザまたは投影領域Ｓとの距離（焦点距離）は、当該カメラにより検知し、取得してもよい。

また、情報処理装置１０は、認識したユーザが投影領域Ｓ前で移動した場合（例えば自撮りするカメラでの写りを確認しつつ、正面を向きながら立ち位置を移動すること等が想定される）、当該ユーザを追跡し、上記特定の画像をユーザに追従させてもよい。

なお、投影領域Ｓが大画面の場合、多数のユーザが各々同時に自撮り等を行う場合も想定される。この場合、情報処理装置１０は、複数のユーザグループが認識できた場合、各グループに１つイベントロゴオブジェクト２２０を提示するよう制御してもよい。以下、図７を参照して説明する。

図７は、本実施形態による複数のユーザグループを認識した場合のイベントロゴオブジェクトの提示について説明する図である。図７上段の図に示すように、カメラ３０の撮像画像から複数のユーザＵ１～Ｕ３の顔位置を認識した場合、情報処理装置１０は、各顔位置間の距離に応じて、同一グループか否かを判断し得る。例えば、ユーザ間の距離ｄが５０ｃｍ以下の場合、同一グループと判断し、ユーザ間の距離が５０ｃｍを越える場合は、異なるグループと判断してもよい。数値は一例であって、本実施形態はこれに限定されない。

ユーザ間の距離に基づいて、ユーザＵ１とユーザＵ２が同一グループと判断した場合、情報処理装置１０は、図７上段の図に示すように、イベントロゴオブジェクト２２０－１を提示する。また、異なるグループと判断されたユーザＵ３の付近にも、イベントロゴオブジェクト２２０－２を提示する。これにより、イベントロゴオブジェクト２２０の取り合いにならず、各グループがイベントロゴオブジェクト２２０と一緒に写真撮影を行うことができる。

なおこの場合も、例えばユーザＵ３が移動した場合、情報処理装置１０は、イベントロゴオブジェクト２２０－２がユーザＵ３に追従するよう提示位置を移動させる。

また、ユーザＵ３が投影領域Ｓから離れた場合、情報処理装置１０は、イベントロゴオブジェクト２２０－２を非表示にし、また別のユーザが投影領域Ｓの前で写真を撮影しようとした場合に、イベントロゴオブジェクト２２０－２を表示するようにしてもよい。

以上、本実施形態による動作処理について説明した。なお、情報処理装置１０は、認識したユーザ領域の周辺が明るくなるよう、ユーザ領域には白投影（透明の光の照射）を行うようにしてもよい。

＜＜４．変形例＞＞
続いて、本実施形態の変形例について説明する。

＜４－１．撮影したいオブジェクトの選択＞
ユーザは、投影領域Ｓに提示されている多数のオブジェクトから、撮影したいオブジェクトを選択することが可能である。情報処理装置１０は、選択されたオブジェクトをユーザの顔付近に近づけたり一時的に大きく表示したりすることで、撮影し易いようにすることができる。

図８は、本実施形態の第１の変形例による撮影したいオブジェクトの選択について説明する図である。図８の上段に示すように、例えばユーザがマーカー入りのステッキや指差しによりオブジェクト２１０－２０、２１０－２１を選択し、図８の下段に示すように、選択状態で撮影準備動作を行うと、情報処理装置１０は、選ばれたオブジェクト２１０－２０、２１０－２１を、ユーザの近くに寄せたり、大きく表示したりする制御を行う。ユーザにより選択された際、フィードバックとしてオブジェクトを揺らす等のアニメーションを加えてもよい。

マーカー入りのステッキとは、例えばステッキの先端にＱＲコード（登録商標）を添付した指示体であって、カメラ３０の撮像画像からマーカーを検出し、ユーザによる指し位置を認識する。ここでは一例としてマーカー入りのステッキを用いる場合について説明したが、本実施形態はこれに限定されず、ＩＲ発光部を設けたステッキを用いてもよいし、指差し等のジェスチャにより指示するようにしてもよい。

＜４－２．描き込み者の顔画像を併せて表示＞
本システムは、描き込み中のユーザの顔をスマートプロジェクタ４０により取得し、これを描き込み画像（オブジェクト）と共に投影領域Ｓに提示することも可能である。以下、図９を参照して説明する。

図９は、本実施形態の第２の変形例による描き込み中ユーザの撮影と表示について説明する図である。図９に示すように、ユーザがテーブル面に投影された描き込み画面に描き込んでいる様子（顔画像）を、スマートプロジェクタ４０により撮影し、撮影画像（静止画または動画）を、投影領域Ｓに、描き込み画像（オブジェクト２１０－３０）と共に提示してもよい。これにより、どのような人物により描き込まれたのか、また、有名人による描き込み等を、直感的に判別することが可能となる。また、情報処理装置１０は、有名人による描き込み画像には識別フラグを立てて保存するようにしてもよい。また、情報処理装置１０は、有名人の識別フラグがある場合、描き込み中に撮影したユーザ画像ではなく、所定の公式アーティスト画像を、当該描き込み画像を表示するようにしてもよい。

＜４－３．描き込み画像のコピー＞
情報処理装置１０は、有名人と認識された者により生成された（有名人の識別フラグがある）描き込み画像が、図８を参照して上述したようにマーカー入りのステッキ等により選択された場合は、当該描き込み画像のコピーを生成し、生成したコピーをユーザの近くに移動させるようにしてもよい。有名人の描き込み画像は人気が高いと想定されるためである。これにより、複数の利用者が同時に有名人の描き込み画像とそれぞれ撮影することが可能となる。

＜４－４．描き込み画像の人気度を算出＞
情報処理装置１０は、投影領域Ｓに提示した各描き込み画像の人気度を算出し、人気度の高さに応じた提示制御を行うことも可能である。

例えば情報処理装置１０は、各描き込み画像にＩＲマーカー等の肉眼では見えないマーカーを付与した状態で投影領域Ｓに投影し、カメラ３０により各描き込み画像の提示位置とユーザの位置を認識できるようにしておく。次いで、情報処理装置１０は、図８を参照して上述したようにマーカー入りのステッキ等により選択された回数や、その描き込み画像に注目して（顔を向けて）集まっている人の多さ、また、その描き込み画像の前で撮影したユーザの人数等に応じて、描き込み画像の人気度を算出することが可能である。

そして、情報処理装置１０は、人気度が所定値より高い描き込み画像は大きく表示したり、予め設定された提示時間の閾値を越えても消さずに表示し続けたり（提示時間の閾値を上げる）、描き込み時間が古い画像から削除する場合でも、人気度が所定値より高い描き込み画像は残すよう制御してもよい。

また、図８を参照して上述したようにマーカー入りのステッキ等により人気が所定値より高い描き込み画像が選択された場合は、当該描き込み画像のコピーを生成し、生成したコピーをユーザの近くに移動させるようにしてもよい。また、人気度が所定値より高い描き込み画像の付近にイベントロゴオブジェクト２２０（宣伝ロゴ）を表示するようにしてもよい。

＜４－５．手書き入力画面４１０に特定のロゴを予め表示＞
また、投影領域Ｓを、スポーツの試合前に登場直前の選手に向けたメッセージボードにしたり、フェスのライブ時に登場直前のアーティストに向けたメッセージボードにしたりすることも可能である。この場合、情報処理装置１０は、登場する選手やアーティストに向けたメッセージをスマートプロジェクタ４０から収集する。

この場合、スマートプロジェクタ４０は、手書き入力画面に、登場する選手やチーム、アーティストに対応した公式のロゴや顔画像等を予め表示するようにしてもよい。このようなロゴが含まれた手書き入力画面は、情報処理装置１０から取得し得る。図１０に、本変形例による特定のロゴを予め表示した手書き入力画面の一例を示す。図１０にしめすように、スマートプロジェクタ４０は、特定のロゴ画像４１６を予め表示した手書き入力画面４１５をテーブル面等に投影し、ユーザによる描画動作を検出する。ユーザは、予め特定のロゴ画像４１６が表示されているため、応援メッセージ等が描きやすくなる。

＜４－６．フォトエリアの設定＞
本システムでは、投影領域Ｓが大画面の場合に、ユーザが描き込んで送った画像がすぐに表示されて撮影ができるフォトエリアの領域と、撮影が終わった描き込み画像をプールする領域とに分けて提示制御を行ってもよい。以下、図１１を参照して説明する。

図１１は、本変形例による投影領域Ｓにおけるフォトエリアの設定について説明する図である。図１１の上段に示すように、例えば情報処理装置１０は、投影領域Ｓの所定の領域をフォトエリアに設定し、イベントロゴオブジェクト２２０を表示すると共に、スマートプロジェクタ４０から取得した描き込み画像（オブジェクト２１０－４０）をリアルタイムで表示する。

これによりユーザは、図１１中段に示すように、周辺の描き込み画像に邪魔されずに、自身が描き込んだ描き込み画像（オブジェクト２１０－４０）と、イベントロゴオブジェクト２２０を含めて撮影を行うことが可能となる。この際も、情報処理装置１０は、ユーザの顔位置を認識し、描き込み画像（オブジェクト２１０－４０）が顔領域に重ならないように配置制御してもよい。

次いで、撮影が終わると（例えば所定時間が経過すると）、図１１下段に示すように、情報処理装置１０は、描き込み画像（オブジェクト２１０－４０）を、フォトエリアから移動させて、多数の過去の描き込み画像（オブジェクト２１０）をプールするエリアに表示させる。情報処理装置１０は、時間経過に応じて所定の方向に描き込み画像（オブジェクト２１０）が流れるよう表示制御してもよい。若しくは、情報処理装置１０は、過去の描き込み画像（オブジェクト２１０）をプールする領域においてランダムに表示し、表示個数は所定値を越えた場合に、古い描き込み画像から順に削除するようにしてもよい。

＜４－７．センサ付き台によるユーザ位置の認識＞
ユーザの領域認識は、カメラ３０による撮像画像に基づいて行う旨を説明したが、本実施形態はこれに限定されず、例えば投影領域Ｓの手前に踏み台を用意し、重さ等からユーザの立ち位置を認識し、ユーザの領域を推定することも可能である。以下、図１２を参照して説明する。

図１２は、本変形例による踏み台６０を用いたユーザ位置認識の一例について説明する図である。図１２に示すように、例えば投影領域Ｓの手前に踏み台６０を用意し、ユーザが乗った際にその重さ等からユーザの立ち位置を判定し、立ち位置に基づいた投影領域Ｓにおけるユーザ領域３６０を推定する。情報処理装置１０は、推定したユーザ領域３６０を避けるよう描き込み画像の配置を制御したり、イベントロゴオブジェクト２２０を近くに寄せたりする制御を行い得る。これにより、カメラ３０を設置せずともユーザ位置の認識が可能となる。

なお、ユーザ領域３６０の大きさや高さは、予め概ねの値を設定しておくようにしてもよいし、重さに応じて可変してもよい。

＜４－８．描き込み場所に応じた描き込み画像の配置＞
本システムでは、スマートプロジェクタ４０が離れた場所に多数設置されている場合に、描き込み場所に応じて、描き込み画像の配置を制御することも可能である。これにより、どこで描き込みが行われた画像であるかを直感的に把握でき、より楽しむことができる。以下、図１２を参照して説明する。

図１３は、本変形例による描き込み場所に応じた描き込み画像の配置について説明する図である。図１３に示すように、例えば投影領域Ｓに地図を表示し、各スマートプロジェクタ４０ａ～４０ｃが設置されている場所に応じた位置に、当該スマートプロジェクタ４０取得した各描き込み画像４１１ａ～４１１ｃを表示するようにしてもよい。

また、描き込み場所に応じた描き込み画像の配置に限らず、描き込み場所に応じて描き込み画像の色（背景色や枠色）を区別させてもよい。

＜４－９．撮影最適エリアの設置＞
本システムでは、投影領域Ｓの前面に、撮影最適エリアを設置するようにしてもよい。図１４は、本変形例による撮影最適エリアの設置について説明する図である。

図１４に示すように、例えば壁面に設置されたスマートプロジェクタ４０によりユーザＵ１が描き込みを行い、「ＳＥＮＤ」ボタンをタップすると、投影領域Ｓに設けられた撮影最適エリアの壁面に、描き込み画像（オブジェクト２１０－６０）が表示される。撮影最適エリアの壁面には、イベントロゴオブジェクト２２０も表示される。

撮影最適エリアは、例えば柵やブースで囲んで撮影者以外が入れないようにする。そして、カメラ台７０にユーザＵ１のスマートフォン５０等のカメラを設置し、例えばスマートフォン５０のタイマー撮影により撮影する。撮影が終わった場合（所定時間経過した場合）、描き込み画像（オブジェクト２１０－６０）は、隣のプールエリアに例えばランダムで表示される。

なお、撮影は、自前のカメラに限定されず、例えばカメラ台７０に専用カメラを設置して専用カメラにより撮影するようにしてもよい。この場合、情報処理装置１０は、撮影後に所定のＱＲコード等を壁面に表示し、ユーザがスマートフォンでこれを読み取らせる。ユーザは、ＱＲコードから読み取ったＵＲＬにアクセスし（または所定のアプリケーションを立ち上げて）、当該専用カメラで撮影された画像を取得する。

＜４－１０．透明ディスプレイの利用＞
本システムは、図１に示すシステム構成に限定されず、例えば、図１５に示すように、ユーザの前面に透明ディスプレイを設置してオブジェクトを表示する例も想定される。

図１５は、本変形例による透明ディスプレイを用いた場合のオブジェクトの配置制御について説明する図である。

図１５に示すように、例えばユーザの背面と前面にディスプレイを設置する場合を想定する。ユーザの背面に設置される背面ディスプレイ８１は、液晶表示装置であってもよいし、上述したプロジェクタ２０により投影領域Ｓであってもよい。

また、ユーザの前面には、透明ディスプレイ８０が位置し、様々なオブジェクトが表示されたり、動いたり、流れたりする。

ユーザＵ１１が、透明ディスプレイ８０の後ろに立って、ユーザＵ１０が撮影を行う際、ユーザＵ１１の顔に、透明ディスプレイ８０に表示されたオブジェクトが重なると、ユーザの顔が綺麗に映らないといった問題が生じる。そこで、本システムにおいても、上述した実施形態と同様に、カメラ３０により取得した撮像画像に基づいてユーザＵ１１の顔位置を認識し、顔位置に対応する顔領域３５７（又はユーザＵ１１の全身の領域であってもよい）を避けてオブジェクトを表示するよう制御する。また、背面ディスプレイ８１においても同様にユーザ領域３５５を認識し、背面ディスプレイ８１に表示するオブジェクトがユーザ領域３５５を避けるよう表示制御してもよい。

＜４－１１．その他＞
スマートプロジェクタ４０と投影領域Ｓが同イベント会場にある場合、スマートプロジェクタ４０から描き込み画像を（情報処理装置１０に）送信した際、イベント会場に設置されているプロジェクタや壁や床のディスプレイにより、描き込み画像がスマートプロジェクタ４０から投影領域Ｓまで移動している様子を実際に表示（投影）するよう制御してもよい。

投影領域Ｓに表示された描き込み画像に対するタップ操作等をセンサにより検出し、所定のスタンプ画像を付与できるようにしてもよい。

また、投影領域Ｓに表示された描き込み画像に対するタップ操作等をセンサにより検出し、当該描き込み画像に対する支持をカウントし、カウント値を表示したり、カウント値に応じて人気度を算出したり、カウント値に応じて大きく表示したり、長い時間表示したりするようにしてもよい。

スマートプロジェクタ４０で描き込みを行う際、指の圧力を検出し、指の圧力に応じて描画する線の色の濃淡を表現するようにしてもよい。

＜＜５．まとめ＞＞
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本技術はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

例えば、上述した情報処理装置１０に内蔵されるＣＰＵ、ＲＯＭ、およびＲＡＭ等のハードウェアに、情報処理装置１０の機能を発揮させるためのコンピュータプログラムも作成可能である。また、当該コンピュータプログラムを記憶させたコンピュータ読み取り可能な記憶媒体も提供される。

また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

なお、本技術は以下のような構成も取ることができる。
（１）
オブジェクトを提示する提示画面の近傍に存在するユーザの認識結果と、前記ユーザの撮影準備動作の検出結果に応じて、前記ユーザの認識領域に所定のオブジェクトが重ならないよう提示する制御を行う制御部を備える、情報処理装置。
（２）
前記制御部は、
前記ユーザの顔の位置を認識し、
前記ユーザの撮影準備動作として、前記ユーザが被写体となる撮影が行われることが検出された際に、前記ユーザの顔の領域に前記所定のオブジェクトが重ならないよう各オブジェクトの配置を変更した画像を生成する、前記（１）に記載の情報処理装置。
（３）
前記制御部は、
前記提示画面を撮像した撮像画像に基づいて、前記提示画面の近傍に存在する前記ユーザを認識する、前記（１）または（２）に記載の情報処理装置。
（４）
前記制御部は、
前記ユーザの顔領域を少なくとも含む認識領域に少なくとも一部が重複して提示されている１以上のオブジェクトを、当該認識領域から押し出すよう制御する、前記（１）～（３）のいずれか１項に記載の情報処理装置。
（５）
前記制御部は、
特定のオブジェクトを前記ユーザの認識領域に近付け、他のオブジェクトは前記ユーザの認識領域から離れるよう制御する、前記（１）～（４）のいずれか１項に記載の情報処理装置。
（６）
前記特定のオブジェクトは、優先度の高いオブジェクトである、前記（５）に記載の情報処理装置。
（７）
前記優先度の高いオブジェクトは、予め生成された所定のロゴを示すオブジェクト、前記ユーザが指定したオブジェクト、または、人気度の高いオブジェクトである、前記（６）に記載の情報処理装置。
（８）
前記制御部は、
前記ユーザの顔領域の近くに提示した、所定のロゴを示すオブジェクトの提示位置を、前記ユーザの顔領域の移動に追従させる提示制御を行う、前記（７）に記載の情報処理装置。
（９）
前記制御部は、
前記提示画面の近傍に複数のユーザを認識した場合、グループ毎に１つの前記特定のロゴを示すオブジェクトを提示するよう制御する、前記（７）または（８）に記載の情報処理装置。
（１０）
前記制御部は、
前記複数のユーザ間の距離に応じて、同一グループか否かを判断する、前記（９）に記載の情報処理装置。
（１１）
前記制御部は、
前記ユーザの撮影準備動作として、前記ユーザによる自撮り動作を検出する、前記（１）～（１０）のいずれか１項に記載の情報処理装置。
（１２）
前記制御部は、
前記ユーザの顔の向きを認識し、
前記ユーザの撮影準備動作として、前記ユーザが前記提示画面と正対する方向を向いたことを検出する、前記（１）～（１１）のいずれか１項に記載の情報処理装置。
（１３）
前記制御部は、
前記ユーザの撮影準備動作として、前記ユーザを被写体として撮影しようとする他ユーザを検出する、前記（１）～（１２）のいずれか１項に記載の情報処理装置。
（１４）
前記提示画面は、投影画像であって、
前記制御部は、前記ユーザの認識領域に所定のオブジェクトが重ならないよう配置した画像を生成する、前記（１）～（１３）のいずれか１項に記載の情報処理装置。
（１５）
前記制御部は、
１以上の前記オブジェクトを、時間、または場所に基づいて配置した画像を生成する、前記（１）～（１４）のいずれか１項に記載の情報処理装置。
（１６）
前記制御部は、１以上の前記オブジェクトを、ランダムに、または、描き込み時間、若しくは描き込み位置情報に応じて配置した画像を生成する、前記（１）～（１５）のいずれか１項に記載の情報処理装置。
（１７）
プロセッサが、
オブジェクトを提示する提示画面の近傍に存在するユーザの認識結果と、前記ユーザの撮影準備動作の検出結果に応じて、前記ユーザの認識領域に所定のオブジェクトが重ならないよう提示する制御を行うことを含む、情報処理方法。
（１８）
コンピュータを、
オブジェクトを提示する提示画面の近傍に存在するユーザの認識結果と、前記ユーザの撮影準備動作の検出結果に応じて、前記ユーザの認識領域に所定のオブジェクトが重ならないよう提示する制御を行う制御部として機能させるための、プログラム。

３ ネットワーク
１０ 情報処理装置
２０ プロジェクタ
３０ カメラ
４０ スマートプロジェクタ
５０ スマートフォン
１００ 制御部
１０１ 描き込み画像管理部
１０２ 提示画像生成部
１０３ 提示制御部
１０４ 顔位置認識部
１０５ 状況認識部
１１０ 通信部
１２０ 記憶部

Claims (8)

1. プロジェクタがオブジェクトを投影する投影領域を含む領域を撮影するカメラにより取得した撮影画像に基づく、
   前記プロジェクタから見て、前記投影領域の一部と重なるように存在するユーザの位置の認識結果と、
   前記ユーザが被写体となる撮影のための前記ユーザの撮影準備動作の検出結果と、
   に応じて、
   前記プロジェクタが
   優先度の高い特定のオブジェクトを、前記ユーザに重ならず、且つ、他のオブジェクトに比べて前記ユーザの近くに投影するように、制御を行う制御部を備え、
   前記制御部は、
   前記投影領域の一部と重なる複数の前記ユーザの存在を認識した場合、
   前記複数のユーザ間の距離に応じて、同一グループか否かを判断し、
   グループ毎に１つの前記特定のオブジェクトを投影するよう制御する、
   情報処理装置。
2. 前記制御部は、
   前記ユーザの顔の位置を認識し、
   前記ユーザの顔の領域に前記特定のオブジェクトが重ならないよう前記特定のオブジェクトの配置を変更した画像を生成する、
   請求項１に記載の情報処理装置。
3. 前記制御部は、
   前記ユーザの顔領域の近くに提示した、前記特定のオブジェクトの投影位置を、前記ユーザの顔領域の移動に追従させる制御を行う、請求項２に記載の情報処理装置。
4. 前記制御部は、
   前記ユーザの撮影準備動作として、前記ユーザによる自撮り動作を検出する、請求項１～３のいずれか１項に記載の情報処理装置。
5. 前記制御部は、
   前記撮影画像に基づき、前記ユーザの顔の向きを認識し、
   前記ユーザの撮影準備動作として、前記ユーザが前記投影領域と正対する方向を向いたことを検出する、請求項１～４のいずれか１項に記載の情報処理装置。
6. 前記制御部は、
   前記ユーザの撮影準備動作として、前記撮影画像から、第１のユーザを被写体として撮影しようとする第２のユーザを検出する、請求項１～５のいずれか１項に記載の情報処理装置。
7. プロセッサが、
   プロジェクタがオブジェクトを投影する投影領域を含む領域を撮影するカメラにより取得した撮影画像に基づく、
   前記プロジェクタから見て、前記投影領域の一部と重なるように存在するユーザの位置の認識結果と、
   前記ユーザが被写体となる撮影のための前記ユーザの撮影準備動作の検出結果と、
   に応じて、
   前記プロジェクタが
   優先度の高い特定のオブジェクトを、前記ユーザに重ならず、且つ、他のオブジェクトに比べて前記ユーザの近くに投影するように、制御を行うことを含み、
   前記投影領域の一部と重なる複数の前記ユーザの存在を認識した場合、
   前記複数のユーザ間の距離に応じて、同一グループか否かを判断し、
   グループ毎に１つの前記特定のオブジェクトを投影するよう制御する、
   情報処理方法。
8. コンピュータを、
   プロジェクタがオブジェクトを投影する投影領域を含む領域を撮影するカメラにより取得した撮影画像に基づく、
   前記プロジェクタから見て、前記投影領域の一部と重なるように存在するユーザの位置の認識結果と、
   前記ユーザが被写体となる撮影のための前記ユーザの撮影準備動作の検出結果と、
   に応じて、
   前記プロジェクタが
   優先度の高い特定のオブジェクトを、前記ユーザに重ならず、且つ、他のオブジェクトに比べて前記ユーザの近くに投影するように、制御を行う制御部として機能させるための、プログラムであって、
   前記制御部は、
   前記投影領域の一部と重なる複数の前記ユーザの存在を認識した場合、
   前記複数のユーザ間の距離に応じて、同一グループか否かを判断し、
   グループ毎に１つの前記特定のオブジェクトを投影するよう制御する、
   プログラム。

Images