JP6260673B2 - 情報処理装置、情報処理方法およびプログラム - Google Patents

Description

本発明は、情報処理装置、情報処理方法およびプログラムに関する。

従来、カメラ撮影における照明は、一般的にフラッシュなどを用いている。しかし、フラッシュ以外の特殊な証明をフラッシュのみを用いて行うことは困難であった。また、カメラで撮影した画像に画像処理によって所望の模様やテクスチャなどを画像に付与することができるが、それらを付与した結果をカメラの撮影者が視認することができても、第三者や被写体は付与した結果を確認することができなかった。

そこで、撮影対象となる被写体に、プロジェクタを用いてグラフィックを投影する技術が開示されている（例えば、特許文献１および特許文献２）。また、机などにグラフィックを投影し、指の方向や手の形状を検出して情報処理装置に所定の処理をさせる技術も開示されている（例えば、特許文献３および特許文献４）。

特表２００６−５２３０６７号公報 特開２００９−７６９８３号公報 特開２００８−１５２６２２号公報 特開２００９−７０２４５号公報

しかし、指の方向や手の形状に応じた処理だけでなく、投影されたグラフィックに対する被写体の何らかの動きを検出して、その動きに連動した処理を実行させることが望まれていた。
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、投影イメージに対する被写体のインタラクションに応じた処理を実行することが可能な、新規かつ改良された情報処理装置、情報処理方法およびプログラムを提供することにある。

上記課題を解決するために、本発明のある観点によれば、ユーザに操作させるための投影イメージの照射を制御する第１の処理と、前記投影イメージに対する、前記ユーザの操作体の操作を認識する第２の処理と、前記認識の結果に基いて、前記投影イメージを前記操作体の移動に追従させる第３の処理と、を行う制御部、を備える、情報処理装置が提供される。

また、上記課題を解決するために、本発明の別の観点によれば、ユーザに操作させるための投影イメージの照射を制御する第１の処理と、前記投影イメージに対する、前記ユーザの操作体の操作を認識する第２の処理と、前記認識の結果に基いて、前記投影イメージを前記操作体の移動に追従させる第３の処理と、をプロセッサが行うこと、を含む、情報処理方法が提供される。

また、上記課題を解決するために、本発明の別の観点によれば、コンピュータを、ユーザに操作させるための投影イメージの照射を制御する第１の処理と、前記投影イメージに対する、前記ユーザの操作体の操作を認識する第２の処理と、前記認識の結果に基いて、前記投影イメージを前記操作体の移動に追従させる第３の処理と、を行う制御部、として機能させるための、プログラムが提供される。

以上説明したように本発明によれば、投影イメージに対する被写体のインタラクションに応じた処理を実行することができる。

本発明の実施形態の概要について説明する説明図である。 本発明の実施形態の概要について説明する説明図である。 本発明の第１の実施形態にかかる情報処理装置のハードウェア構成を示すブロック図である。 同実施形態にかかる制御部の機能構成を示すブロック図である。 同実施形態にかかる照射される投影イメージの例について説明する説明図である。 同実施形態にかかる照射される投影イメージの例について説明する説明図である。 同実施形態にかかる照射される投影イメージの例について説明する説明図である。 同実施形態にかかる照射される投影イメージの例について説明する説明図である。 同実施形態にかかる照射される投影イメージの例について説明する説明図である。 同実施形態にかかる照射される投影イメージの例について説明する説明図である。 同実施形態にかかる照射される投影イメージの例について説明する説明図である。 同実施形態にかかる照射される投影イメージの例について説明する説明図である。 同実施形態にかかる照射される投影イメージの例について説明する説明図である。 同実施形態にかかる照射される投影イメージの例について説明する説明図である。 同実施形態にかかる照射される投影イメージの例について説明する説明図である。 同実施形態にかかる照射される投影イメージの例について説明する説明図である。 同実施形態にかかる情報処理装置の動作の詳細を示すフローチャートである。 同実施形態にかかる情報処理装置の動作の詳細を示すフローチャートである。 本発明の第２の実施形態にかかる情報処理装置のハードウェア構成を示すブロック図である。 同実施形態にかかる制御部の機能構成を示すブロック図である。 同実施形態にかかる照射される投影イメージの例について説明する説明図である。 同実施形態にかかる照射される投影イメージの例について説明する説明図である。 同実施形態にかかる照射される投影イメージの例について説明する説明図である。 同実施形態にかかる照射される投影イメージの例について説明する説明図である。 同実施形態にかかる照射される投影イメージの例について説明する説明図である。 同実施形態にかかる照射される投影イメージの例について説明する説明図である。 同実施形態にかかる照射される投影イメージの例について説明する説明図である。 同実施形態にかかる照射される投影イメージの例について説明する説明図である。 同実施形態にかかる照射される投影イメージの例について説明する説明図である。 同実施形態にかかる照射される投影イメージの例について説明する説明図である。 同実施形態にかかる照射される投影イメージの例について説明する説明図である。 同実施形態にかかる情報処理装置の動作の詳細を示すフローチャートである。 同実施形態にかかる情報処理装置の動作の詳細を示すフローチャートである。 同実施形態にかかる情報処理装置の動作の詳細を示すフローチャートである。 本発明の第３の実施形態の概要を説明する説明図である。 同実施形態にかかる概要を説明する説明図である。 同実施形態にかかる制御部の機能構成を示すブロック図である。 同実施形態にかかる照射される投影イメージの例について説明する説明図である。 同実施形態にかかる照射される投影イメージの例について説明する説明図である。 同実施形態にかかる照射される投影イメージの例について説明する説明図である。 同実施形態にかかる照射される投影イメージの例について説明する説明図である。 同実施形態にかかる照射される投影イメージの例について説明する説明図である。 同実施形態にかかる照射される投影イメージの例について説明する説明図である。 同実施形態にかかる照射される投影イメージの例について説明する説明図である。 同実施形態にかかる照射される投影イメージの例について説明する説明図である。 同実施形態にかかる照射される投影イメージの例について説明する説明図である。 同実施形態にかかる照射される投影イメージの例について説明する説明図である。 同実施形態にかかる照射される投影イメージの例について説明する説明図である。 同実施形態にかかる照射される投影イメージの例について説明する説明図である。 同実施形態にかかる情報処理装置の動作の詳細を示すフローチャートである。

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

＜１．本実施形態の概要＞
＜２．第１実施形態＞
＜２−１．情報処理装置のハードウェア構成＞
＜２−２．情報処理装置の機能構成＞
＜２−３．情報処理装置の動作の詳細＞
＜３．第２実施形態＞
＜３−１．情報処理装置のハードウェア構成＞
＜３−２．情報処理装置の機能構成＞
＜３−３．情報処理装置の動作の詳細＞
＜４．第３実施形態＞
＜４−１．情報処理装置のハードウェア構成＞
＜４−２．情報処理装置の機能構成＞
＜４−３．情報処理装置の動作の詳細＞

＜１．本実施形態の概要＞
まず、図１および図２を参照して、本実施形態の概要について説明する。本実施形態にかかる情報処理装置１０は、主に、被写体を撮像する撮像装置（カメラ）と、映像を被写体に照射する照射装置（プロジェクタ）と、カメラにより撮像された撮像画像を表示する表示装置（ディスプレイ）などを備える。図１に示したように、情報処理装置１０の一の面（表面）には、ディスプレイ１１が備えられている。また、情報処理装置１０の他の面（裏面）には、カメラ用レンズ１２とプロジェクタ用レンズ１３が備えられている。以下では、カメラ用レンズ１２を含むカメラを撮像装置１２またはカメラ１２と称し、プロジェクタ用レンズ１３を含むプロジェクタを照射装置１３またはプロジェクタ１３と称する。

情報処理装置１０では、カメラ１２とプロジェクタ１３が情報処理装置１０の筐体の固定の位置に備えられている。カメラ１２で撮像された被写体の画像は、ディスプレイ１１に表示される。また、プロジェクタ１３から被写体に投影イメージが照射される。そして、投影イメージが照射された被写体がディスプレイ１１に表示される。

また、図２に示したように、撮像領域５１は、カメラにより撮像可能な領域であり、照射領域５２は、プロジェクタにより照射可能な領域である。以下の実施形態では、撮像領域５１と照射領域５２とは同期しているとして説明する。ここで、同期しているとは、カメラ用レンズ１２により撮像される撮像領域５１、すなわちディスプレイ１１に表示されている表示領域と、プロジェクタ用レンズ１３により照射される照射領域５２とが同一の範囲を示すことを意味する。また、撮像領域５１と照射領域５２とが同期していない場合には、ディスプレイ１１に照射領域を示してもよい。以上、本実施形態の概要について説明した。

＜２．第１実施形態＞
次に、第１実施形態について説明する。従来、カメラ撮影における照明は、一般的にフラッシュなどを用いている。しかし、フラッシュ以外の特殊な証明をフラッシュのみを用いて行うことは困難であった。また、カメラで撮影した画像に画像処理によって所望の模様やテクスチャなどを画像に付与することができるが、それらを付与した結果をカメラの撮影者が視認することができても、第三者や被写体は付与した結果を確認することができなかった。

そこで、撮影対象となる被写体に、プロジェクタを用いてグラフィックを投影する技術が開示されている。これらの技術では、グラフィックを投影する位置を予めマーカ等により認識して、マーカ上にグラフィックが投影される。しかし、上記技術では、マーカ等により予め認識された位置にグラフィックが投影されるため、撮影対象全体にグラフィックの投影を照明として用いたり、指定した位置のみにグラフィックを投影したりするなど、自由度の高い照明表現を可能にするグラフィックの投影をすることができないという問題があった。

そこで、上記のような事情を一着眼点として、本実施形態にかかる情報処理装置１０が創作されるに至った。本実施形態にかかる情報処理装置１０によれば、撮影された画像に適したグラフィックの投影を行うことが可能となる。

＜２−１．情報処理装置のハードウェア構成＞
次に、図３を参照して、情報処理装置１０のハードウェア構成について説明する。図３は、情報処理装置１０のハードウェア構成を示すブロック図である。図３に示したように、情報処理装置１０は、表示装置（ディスプレイ）１１と、撮像装置（カメラ）１２と、照射装置（プロジェクタ）１３と、ＣＰＵ１４と、入力装置１５と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１６と、不揮発性メモリ１７などを備える。

ＣＰＵ１４は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置１０内の動作全般を制御する。また、ＣＰＵ１４は、マイクロプロセッサであってもよい。ＲＡＭ１６は、ＣＰＵ１４の実行において使用するプログラムや、その実行において適宜変換するパラメータ等を一時記憶する。これらはＣＰＵバスなどから構成されるホストバスにより相互に接続されている。不揮発性メモリ１７は、ＣＰＵ１４が使用するプログラムや演算パラメータ等を記憶する。不揮発性メモリ１７は、例えばＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）やフラッシュメモリ等を用いることができる。

表示装置１１は、情報を出力する出力装置の一例である。表示装置１１として、例えば液晶ディスプレイ（ＬＣＤ）装置、ＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）装置などを用いることができる。

撮像装置１２は、撮像レンズを介して通過した光をＣＣＤで電気信号に変換し、アナログ信号をデジタル変換することにより被写体を撮像する機能を有する。撮像装置１２により撮像された画像は、表示装置１１に表示される。

照射装置１３は、照射レンズを介して被写体に光を照射する機能を有する。照射装置１３は、ＣＰＵ１４の制御のもと、所定の投影イメージを被写体に照射する。上記したように、撮像装置１２と照射装置１３とは、情報処理装置１０の固定の位置に配置されている。また、撮像装置１２により撮像される撮像領域と、照射装置１３により照射される照射領域とは同期している、すなわち、同じ領域であるとして以下説明する。

入力装置１５は、例えば、タッチパネル、ボタン、スイッチおよびレバーなどユーザが情報を入力するための入力手段と、ユーザによる入力に基づいて入力信号を生成し、ＣＰＵ１４に出力する入力制御回路などから構成されている。

＜２−２．情報処理装置の機能構成＞
以上、情報処理装置１０のハードウェア構成について説明した。次に、図４を参照して、情報処理装置１０の制御部（ＣＰＵ１４）の機能構成について説明する。図４の機能構成を説明するに際し、適宜図５〜図１６を参照する。図５〜図１６は、照射される投影イメージの例について説明する説明図である。図４は、情報処理装置１０の制御部の機能構成を示したブロック図である。

図４に示したように、情報処理装置１０の制御部は、解析部１０２、照射部１０４、生成部１０６、記憶部１０８などを備える。解析部１０２は、撮像装置１２により撮像された被写体の画像を解析する機能を有する。解析部１０２は、被写体の画像を解析して、被写体に含まれる物体の画像を認識する。また、解析部１０２は、被写体の画像を解析して被写体に含まれる人の画像を検出したり、顔の画像を検出したりする。また、解析部１０２は、被写体の画像を解析して被写体の色を検出する。解析部１０２により解析された被写体の画像の解析結果は、照射部１０４および生成部１０６に提供される。

照射部１０４は、解析部１０２により解析された被写体の画像の解析結果に応じて投影イメージを、照射装置１３を用いて照射する機能を有する。記憶部１０８には、被写体の画像の解析結果に対応する投影イメージが記憶されている。照射部１０４は、解析部１０２により提供された画像の解析結果に対応する投影イメージを記憶部１０８から取得して、該投影イメージを、照射装置１３を用いて被写体に照射する。

例えば、図５に示したように、被写体４０１を撮像装置１２により撮像して、被写体の画像４０２を認識する。そして、認識された被写体の画像４０２に応じた投影イメージ４０３を選択して、照射装置１３により被写体に照射する。図５では、被写体に含まれる顔が認識され、顔部分を明るくする投影イメージが選択されている。そして、投影イメージ４０３が投影された被写体４０５が撮像装置１２により撮像されて、表示装置１１に表示画像４０４が表示される。

図４に戻り説明を続ける。例えば、解析部１０２により被写体に含まれる物体の画像が認識された場合には、当該物体の画像に応じた投影イメージを記憶部１０８から取得して被写体に照射させる。また、被写体に含まれる人の画像を検出したり、顔の画像を検出したりした場合には、人の画像や顔の画像に応じた投影イメージを記憶部１０８から取得して被写体に照射させる。また、被写体の画像を解析して被写体に含まれる特定の色を検出した場合には、当該特定の色に応じた投影イメージを記憶部１０８から取得して被写体に照射する。

生成部１０６は、記憶部１０８に、投影イメージが照射された場合の画像を予め予測した予測画像が記憶されている場合に、当該予測画像と、照射部１０４により投影イメージが照射された照射画像との比較結果に応じて、投影イメージを生成する機能を有する。生成部１０６により生成された投影イメージは照射部１０４により照射され、照射部１０４により生成された投影イメージが被写体に照射される。

記憶部１０８には、上記したように、被写体の画像の解析結果と投影イメージとが対応付けて記憶されている。また、記憶部１０８には、記憶されている投影イメージを照射した場合の画像を予め予測した予測画像が記憶されている。

以下、図６〜図１６を参照して、照射装置１３により照射される投影イメージの例について説明する。図６は、特定の色を有する物体に対して、特定の色とは異なる色を付与する投影イメージを照射する場合の例である。図６では、例えば、被写体に複数の白い花が含まれている。まず、解析部１０２により、被写体４０５に含まれる特定の色を有する物体４０６が検出される。説明図４０６に示したように、白い領域を一定以上有する複数の「白い花」が検出される。そして、物体４０６の位置と物体の形状に応じた投影イメージが生成され、生成された投影イメージが被写体に照射される。説明図４０８に示したように、「白い花」の領域にピンクなどの白とは異なる色の投影イメージが生成されて照射される。これにより、被写体に、元の色とは異なる色を照射して、照射された被写体を撮像することが可能となる。

また、図７に示したように、表示画面がタッチパネルの場合には、被写体の照射対象となる物体をユーザ入力に応じて選択するようにしてもよい。説明図４１２に示したように、ユーザ入力により「白い花」が選択された場合には、一定以上の白い領域を有する物体が選択されたこととなる。また、ユーザ入力により選択された物体と同形状の物体や同色の物体も同時に選択されるようにしてもよい。そして、物体４１２の位置と物体の形状に応じた投影イメージが生成され、生成された投影イメージが被写体に照射される。説明図４１３に示したように、ユーザにより選択された「白い花」の領域にピンクなどの白とは異なる色の投影イメージが生成されて照射される。

図８は、図６および図７に示した投影イメージを投影する際の内部的な処理について説明する説明図である。図８に示したように、まず、撮像装置１２により被写体が撮像されて、撮像された画像に含まれる物体や色などの領域が解析される。そして、解析結果をもとに、投影イメージが生成される。図８に示した例では、撮像された画像のうち、一定領域以上の白色の領域を有する物体を検出し、当該物体を構成するピクセルにのみ効果が表れる投影色を配置し、当該物体以外を構成するピクセルには黒色ピクセルを配置した投影イメージが生成される。そして、生成された投影イメージが照射された結果、被写体におけるある一定領域以上の白色の領域を有する部分に投影色が照射される。

また、図９は、特定の領域を検出して、検出した領域に柄やテクスチャの投影イメージを照射する例である。図９に示したように、撮像装置１２により撮像された画像４１７を解析して、被写体に含まれる顔を検出する。そして、説明図４１７に示したように、顔の大きさと被写体の大きさとの位置関係から、胴体や服の位置を検出する。そして、説明図４１８に示したように、胴体や服の位置の領域に照射する投影イメージが生成される。説明図４１８では、服の領域に花の模様が照射される投影イメージが生成される。そして、説明図４２０に示したように、被写体の服の領域に花の模様が照射される。

ここで、図１０を参照して、図９に示した投影イメージを照射する際の内部的な処理について説明する。図１０の説明図４２１に示したように、まず、撮像装置１２により撮像された画像から、被写体に含まれる顔を認識する。そして、説明図４２２に示したように、顔の認識結果から、胴体を推定する。さらに、説明図４２３に示したように、推定した胴体の領域から、投影可能領域を推定する。ここでは、胴体のうち、白色の領域を投影可能領域としている。そして、説明図４２３において推定された投影可能領域に所定の柄が投影されるように投影イメージを生成する。そして、説明図４２５に示したように、被写体に生成された投影イメージが照射される。

次に、図１１を参照して、特定の物体を検出し、検出した物体を避けて投影イメージを照射する例について説明する。図１１の説明図４２６に示したように、まず、撮像装置１２により撮像された画像から、被写体に含まれる顔を認識する。そして、認識した顔の領域以外の領域に所定の柄が投影されるように、説明図４２７に示した投影イメージを生成する。そして、説明図４２８に示したように、被写体に生成された投影イメージが照射される。

次に、図１２を参照して、予測画像を用いて投影イメージを生成する場合について説明する。上記したように、記憶部１０８に予測画像が記憶されている場合には、予測画像と投影イメージが照射された照射画像との比較結果に応じて、投影イメージ生成することができる。図１２の説明図４３０に示したように、まず、撮像装置１２により被写体を撮像して被写体の画像を解析する。そして、説明図４３１に示したように、所定の色が設定された投影イメージを被写体に照射する。

そして、記憶部１０８に記憶されている予測画像と、説明図４３１に示した照射画像とを比較して差分を検出し、差分に応じて説明図４３２に示した投影イメージを生成する。例えば、説明図４３１では黄色の色効果を出力可能な投影イメージが被写体に照射されたとする。予測画像の黄色の色効果と照射画像の黄色の色効果とを比較して、照射画像に対する黄色の色効果が濃い場合には、より薄い黄色の色効果となる投影イメージを生成する。そして、説明図４３３に示したように、生成された投影イメージが被写体に照射される。

次に、図１３を参照して、被写体が顔の場合の投影イメージの照射について説明する。図１３に示したように、まず、撮像装置１２により撮像された画像（説明図４３５）を解析して、説明図４３６に示したように、顔の口や目の位置を検出する。そして、顔に照射するための投影イメージを記憶部１０８から取得して、説明図４３７に示した投影イメージを生成する。説明図４３７では、顔の口や目の位置から顔の頬の位置を特定して、顔の頬の位置にピンクなどの頬紅のカラーが照射される投影イメージを生成する。そして、説明図４３８に示したように、生成された投影イメージが被写体に照射される。

次に、図１４を参照して、撮像画像の輝度に応じた投影イメージの照射について説明する。図１４に示したように、撮像装置１２により撮像された画像（説明図４４０）を解析して、説明図４４１に示したように、輝度の高い領域を検出する。そして、一定以上の輝度の高い領域が検出された場合には、輝度の高さに応じた投影イメージを生成する。説明図４４１では、ケーキのろうそくの周囲の領域が他の領域よりも輝度が高い領域として検出されている。そして、説明図４４２に示したように、生成された投影イメージが被写体に照射される。説明図４４２ででは、輝度が高い領域として検出されたケーキのろうそくの周囲に星型の模様が照射されている。

次に、図１５を参照して、撮影対象の動きに応じた投影イメージの照射について説明する。図１５に示したように、撮像装置１２により撮像された動画から取得される被写体の動きを検出する。被写体の動きは、例えば画素値の変化を検出することにより物体の動きを検出してもよい。そして、検出された物体の動きに応じた投影イメージを生成する。説明図４４５に示したように、被写体が左方向に走っていることが検出されて、走っている方向に星型の模様が照射されている。物体の動きに応じた投影イメージは、被写体の走る方向とともに移動しながら照射される。

また、図１６に示したように、撮像装置１２により撮像された画像が解析部１０２により解析された結果、被写体に投影可能な領域が存在しない場合には、投影可能領域がない旨の情報を提示してもよい。被写体に投影可能な領域が存在しない場合とは、例えば、背景が黒色等であり、投影イメージを照射しても投影イメージを被写体に反映することができない場合である。例えば、説明図４５０に示したように、撮像された画像の背景が黒色である場合には、説明図４５１に示したように「投影可能領域がありません」のダイアログが表示される。

＜２−３．情報処理装置の動作の詳細＞
以上、情報処理装置１０の制御部の機能について説明した。次に、図１７および図１８を参照して、情報処理装置１０の動作の詳細について説明する。図１７および図１８は、情報処理装置１０の動作の詳細を示すフローチャートである。

図１７に示したように、まず、情報処理装置１０において、撮影モードが投影イメージを照射可能な投影撮影モードか否かを判定する（Ｓ１０２）。ステップＳ１０２において、撮影モードが投影撮影モードであると判定された場合には、撮像装置１２により撮像された画像を取得する（Ｓ１０４）。

そして、解析部１０２は、ステップＳ１０４において取得した画像に含まれる物体を認識する（Ｓ１０６）。そして、ステップＳ１０６において認識した物体のうち、投影イメージを照射可能な対象物があるか否かを判定する（Ｓ１０８）。ステップＳ１０８においては、ステップＳ１０６において認識された物体に対応する投影イメージが記憶部１０８に記憶されているか否かにより判定可能である。また、画像の背景色を検出して、投影イメージを照射できるか否かを判定してもよい。

ステップＳ１０８において、投影イメージを照射可能な対象物があると判定された場合には、対象物に応じた投影イメージを記憶部１０８から取得して、投影用グラフィックを生成する（Ｓ１１０）。そして、ステップＳ１１０において生成された投影用のグラフィックを被写体に照射する（Ｓ１１２）。ステップＳ１０８において、投影イメージを照射可能な対象物がないと判定された場合には、表示画面に投影対象がないことを示すダイアログを表示する（Ｓ１１４）。

そして、撮影が行われたか否かを判定する（Ｓ１１６）。ステップＳ１１６において、撮影が行われたと判定された場合には、撮影された画像を保存する（Ｓ１１８）。ステップＳ１１６において、撮影が行われていないと判定された場合には、ステップＳ１０２以降の処理を繰り返す。以上、図１７のフローチャートに示した処理について説明した。次に、図１８のフローチャートに示した処理について説明する。

図１８は、記憶部１０８に予測画像が記憶されている場合の情報処理装置１０の動作の詳細を示すフローチャートである。図１８に示したように、まず、情報処理装置１０において、撮影モードが投影イメージを照射可能な投影撮影モードか否かを判定する（Ｓ１２２）。ステップＳ１２２において、撮影モードが投影撮影モードであると判定された場合には、撮像装置１２により撮像された画像を取得する（Ｓ１２４）。

そして、解析部１０２は、ステップＳ１０４において取得した画像に含まれる物体を認識する（Ｓ１２６）。そして、ステップＳ１２６において認識した物体のうち、投影イメージを照射可能な対象物があるか否かを判定する（Ｓ１２８）。ステップＳ１２８において、投影イメージを照射可能な対象物があると判定された場合には、対象物に応じた投影イメージを記憶部１０８から取得して、投影用グラフィックを生成する（Ｓ１３０）。そして、ステップＳ１３０において生成された投影用のグラフィックを被写体に照射する（Ｓ１３２）。ここで、ステップＳ１３６においては、ステップＳ１２６において認識された物体に対して、所望の投影イメージが照射された場合の画像が予測画像として記憶部１０８に記憶されているものとする。

そして、ステップＳ１３２において、グラフィックが照射された被写体の画像を取得する（Ｓ１３４）。そして、ステップＳ１３４において取得された照射画像が、記憶部１０８に記憶されている予測画像に近づいたか否かを判定する（Ｓ１３６）。ステップＳ１３６において、照射画像と予測画像とが近づいたと判定された場合には、ステップＳ１４０の処理を実行する。ステップＳ１３６において、照射画像と予測画像とが近づいていないと判定された場合には、ステップＳ１３０以降の処理を繰り返す。

また、ステップＳ１２８において、投影イメージを照射可能な対象物がないと判定された場合には、表示画面に投影対象がないことを示すダイアログを表示する（Ｓ１３８）。

そして、撮影が行われたか否かを判定する（Ｓ１４０）。ステップＳ１４０において、撮影が行われたと判定された場合には、撮影された画像を保存する（Ｓ１４２）。ステップＳ１４０において、撮影が行われていないと判定された場合には、ステップＳ１２２以降の処理を繰り返す。以上、図１８のフローチャートに示した処理について説明した。

上記したように、第１実施形態によれば、撮像装置１２により撮像された被写体の画像を解析して、画像の解析結果に応じた投影イメージを照射装置１３により被写体に照射することができる。これにより、撮影された画像に適したグラフィックの投影を行うことが可能となる。以上、第１実施形態について説明した。

＜３．第２実施形態＞
次に、第２実施形態について説明する。上記したように、従来の技術では、マーカ等により予め認識された位置にグラフィックが投影される。このため、撮影画像が表示されている表示画面上でユーザが直接指定した位置にグラフィックを投影することができないという問題があった。そこで、上記のような事情を一着眼点として、本実施形態にかかる情報処理装置２０が創作されるに至った。本実施形態にかかる情報処理装置２０によれば、ユーザによる直感的な操作で所望のグラフィック投影を行うことが可能となる。

＜３−１．情報処理装置のハードウェア構成＞
図１９を参照して、情報処理装置２０のハードウェア構成について説明する。図１９は、情報処理装置２０のハードウェア構成を示すブロック図である。図１０に示したように、情報処理装置２０は、表示装置（ディスプレイ）１１と、撮像装置（カメラ）１２と、照射装置（プロジェクタ）１３と、ＣＰＵ２１と、入力装置１５と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１６と、不揮発性メモリ１７と、タッチパネル２２とモーションセンサ２３などを備える。本実施形態においても、カメラ１２とプロジェクタ１３は情報処理装置２０の筐体の固定の位置に備えられている。

以下では、第１実施形態と同様の構成についての詳細な説明は省略し、第１実施形態と異なる構成について特に詳細に説明する。タッチパネル２２は、表示と入力の２つの機能を備えている。本実施形態にかかるタッチパネル２２は、タッチパネル上のユーザの指等による入力を検出して、指定された位置などを取得することができる。検出方法としては、透明電極を構成する金属薄膜を利用した抵抗膜方式、指先と導電膜との間での静電容量の変化を捉えて位置を検出する静電容量方式や、赤外線遮光方式、電磁誘導方式など、ディスプレイにおける操作体の位置情報を検出できる方法であればよい。

以下では、特に、例えば、静電式タッチパネルを用いて操作体の操作を検出する方法について説明する。静電式タッチパネルは、格子状に配置された静電センサを備えており、静電容量の変化によってその値を常時変化させる。静電センサに操作体である指が近付いたり触れたりした場合に、静電センサにより検知される静電容量が増加する。各静電センサの静電容量は同時に取得することが可能である。すべての静電センサの静電容量の変化を同時に検出し、補間することによって近接または接触している指による操作などを検出することが可能である。タッチパネル２２は、検出した静電容量の値を、ＣＰＵ２１へ出力する。

ＣＰＵ２１は、タッチパネル２２から入力された各種情報と表示装置１１に表示された表示内容の表示位置との対応付けを行い、操作体の動きを解析する。そして、ＣＰＵ２１は、解析された操作体の動きから、情報処理装置１０へ入力された入力情報を認識して、入力情報に対応する処理を実行する。このように、ユーザは、表示画面に表示された内容を操作して、入力情報を入力することができる。

モーションセンサ２３は、情報処理装置２０本体の回転角度や傾きなどを検出する機能を有し、例えば、加速度センサやジャイロセンサなどを例示できる。モーションセンサ２３により検出された情報処理装置２０の回転角度や傾きに関する情報はＣＰＵ２１に出力される。ＣＰＵ２１は、モーションセンサ２３から出力された回転角度や傾きを基に、情報処理装置２０本体の動きを検出する。

＜３−２．情報処理装置の機能構成＞
以上、情報処理装置２０のハードウェア構成について説明した。次に、図２０を参照して、情報処理装置２０の制御部（ＣＰＵ２１）の機能構成について説明する。図２０の機能構成を説明するに際し、適宜図２１〜図３１を参照する。図２０は、情報処理装置２０の制御部の機能構成を示すブロック図である。

図２０に示したように、情報処理装置２０の制御部は、撮像部２０２、検出部２０４、照射部２０６、解析部２０８、記憶部２１０、取得部２１２などを備える。撮像部２０２は、撮像装置１２により被写体を撮像する機能を有する。また、照射部２０６により投影イメージが照射された被写体を撮像する機能を有する。撮像部２０２により撮像された画像は、照射部２０６および解析部２０８に提供される。

照射部２０６は、ユーザ入力に基づく投影イメージを照射装置１３により被写体に照射する機能を有する。ユーザ入力に基づく投影イメージとは、ユーザによりタッチパネル２２などを介して指定されたり選択されたりした投影イメージである。投影イメージは、ユーザ入力に基づいて記憶部１０８に記憶されている投影イメージを取得して被写体に照射されてもよい。

本実施形態では、上記したように、撮像装置１２により撮像可能な撮像領域と照射装置１３により照射可能な照射領域とが同期しているとしている。また、図２１に示したように、撮像領域５３と照射領域５４とが同期していない場合には、情報処理装置２０のディスプレイ１１に照射領域を示す表示をしてもよい。例えば、図２１に示したように、ディスプレイ１１に照射領域を示す枠を表示して、ユーザに照射可能領域を提示してもよい。図２１では、撮影可能領域は領域５３であり、照射可能領域は領域５４であるため、表示画面に照射可能領域を示す枠を表示している。

図２０に戻り、取得部２１２は、被写体が表示されている表示画面上でユーザ入力に応じて指定された指定位置を取得する機能を有する。上記したように、タッチパネル２２を介してユーザ入力がなされ、表示画面上におけるユーザ入力が取得部２１２により取得される。また、取得部２１２は、被写体が表示されている表示画面上でユーザ操作により描写された投影イメージを取得したり、表示画面に表示された投影イメージから所望の投影イメージを選択したりしてもよい。

例えば、図２２に示したように、被写体５０１が撮像部２０２により撮像されて、表示画像５０２が表示画面に表示される。ユーザは、表示画面（タッチパネル２２）に接触することにより、表示画像５０２内の所望の位置を指定する。本実施形態では、タッチパネル２２により表示画像５０２内の所望の位置を指定するようにしたが、かかる例に限定されず、表示画像５０２内の所望の位置を指定可能なボタンやレバーなどの入力装置により指定してもよい。

そして、取得部２１２によりユーザにより指定された指定位置が取得されて、説明図５０３に示したように、指定位置に照射するための投影イメージが生成される。説明図５０３に示したように、ユーザにより指定された位置に所定の色を照射する投影イメージを生成してもよい。そして、説明図５０５に示したように被写体に投影イメージが照射される。また、説明図５０４に示したように、投影イメージが照射された被写体が撮像装置１２により撮像される。上記したように、照射される投影イメージが記憶部１０８に記憶されている場合には、ユーザ指示に基づいて記憶部１０８から取得される。

また、図２３に示したように、ユーザにより指定された指定位置に照明効果が表れる投影イメージを照射してもよい。例えば、説明図５１６に示したように、被写体５１５が撮像装置１２により撮像されて、表示画面に表示される。そして、ユーザにより被写体の顔部分が指定されると、説明図５１７に示したように、指定された部分に照明効果が表れる投影イメージが生成される。そして、説明図５１９に示したように、被写体に投影イメージが照射されて、説明図５１８に示したように、投影イメージが照射された被写体が撮像装置１２により撮像される。説明図５１８では、被写体の顔が明るくなる投影イメージが照射される。

また、図２４に示したように、被写体が表示されている表示画面上でユーザ操作により描写された投影イメージを被写体に照射してもよい。例えば、説明図５２１に示したように、ユーザが、表示画面上（タッチパネル）に「ともだち」の文字を描写すると、被写体に「ともだち」と照射される投影イメージが生成される。そして、説明図５２２に示したように、ユーザにより描写された「ともだち」の文字の投影イメージが被写体に照射される。

また、図２５に示したように、表示画面に表示された複数の投影イメージからユーザ入力に応じて所望の投影イメージを選択してもよい。例えば、説明図５２５に示したように、表示画面に複数種類の投影イメージのグラフィックを表示する。ユーザは、表示画面上（タッチパネル）で所望のグラフィックを選択する。ここで、ユーザは、表示画面を接触することにより所望のグラフィックを選択してもよいし、ボタンやレバーなどの入力装置により所望のグラフィックを選択してもよい。

さらに、説明図５２６に示したように、ユーザ入力により、選択されたグラフィックを照射する位置が指定される。そして、説明図５２７に示したように、指定された位置に選択されたグラフィックを照射するための投影イメージが生成されて、被写体に照射される。このように、ユーザは、表示画面上で直接グラフィックを描写したり選択したりという直感的な操作で被写体に投影イメージを照射させることが可能となる。

図２０に戻り、情報処理装置２０の機能構成の説明を続ける。解析部２０８は、撮像部２０２により撮像された被写体の画像を解析する機能を有する。解析部２０８は、撮像された被写体の画像の特徴点を抽出して、抽出した画像の特徴点に関する情報を照射部２０６に提供する。照射部２０６は、解析部２０８により抽出された被写体の特徴点に応じて投影イメージを被写体に照射する。

ここで、図２６を参照して、被写体の特徴点の抽出について説明する。例えば、図２６の説明図５０５では、被写体に含まれる人物が動く前に画像の特徴点が抽出されて、人物の位置に応じて投影イメージが照射されている。説明図５０５では、例えば、人物の頭付近に投影イメージが照射される。このとき、説明図５０７に示したように、特徴点と投影イメージの相対位置が記録される。そして、説明図５０６に示したように、被写体に含まれる人物が動いた後の画像の特徴点を抽出して、当該画像の特徴点に応じて投影イメージが照射される。すなわち、画像内の人物が動いても、人物の特徴点と投影イメージとの相対位置から、人物の頭付近に投影イメージが照射されるように、照射位置が補正される。

図２０に戻り、情報処理装置２０の機能構成の説明を続ける。検出部２０４は、モーションセンサ２３を介して、情報処理装置２０本体の動きを検出する機能を有する。上記したように、モーションセンサ２３により、情報処理装置２０本体の回転速度や傾きなどを検出することができる。したがって、検出部２０４は、モーションセンサ２３から出力された回転角度や傾きを基に、情報処理装置２０本体の動きを検出する。そして、照射部２０６は、検出部２０４により検出された情報処理装置２０本体の動きに応じて投影イメージを被写体に照射する。

ここで、図２７を参照して、情報処理装置２０の動きに応じて照射される投影イメージについて説明する。図２７の説明図５１０は、情報処理装置２０が動く前に撮像された画像である。例えば、説明図５１０に示した画像が撮像された後に、説明図５１１に示したように、情報処理装置２０が左方向に移動したとする。検出部２０４は、モーションセンサ２３により情報処理装置２０本体が左方向に移動したことを検出し、検出結果を照射部２０６に提供する。

照射部２０６は、説明図５１２に示したように、情報処理装置２０本体の動きに応じて照射するグラフィックの位置を補正する。すなわち、左方向に移動する情報処理装置２０の移動距離に合わせて、照射するグラフィックの位置を左方向にずらした投影イメージを生成する。そして、説明図５１３に示したように、情報処理装置２０が左右のいずれに移動しても、画像の特定の位置にグラフィックが照射される。

また、図２８に示したように、複数台の情報処理装置２０により一つの被写体に対して異なる投影イメージを照射してもよい。例えば、図２８に示したように、ユーザＡが所持する情報処理装置２０ＡとユーザＢが所持する情報処理装置２０Ｂにより、被写体５２７にそれぞれ投影イメージが照射される。まず、情報処理装置２０Ａにより説明図５３１に示した投影イメージが照射され、次に、情報処理装置２０Ｂにより説明図５３２に示した投影イメージが照射されたとする。この場合、被写体には情報処理装置２０Ａにより照射された投影イメージと、情報処理装置２０Ｂにより照射された投影イメージのいずれもが照射されて、両装置で説明図５３０に示した投影イメージが撮像される。

ここで、一つの被写体に対して異なる投影イメージを次々に照射して撮像するためには、各装置における撮像領域と照射領域とが同期（一致）している必要がある。そこで、図２６に示した画像処理により被写体の特徴点を抽出したり、装置本体の動きを検出したりして、撮像領域と照射領域とが同期するように照射領域の位置補正を行う。また、異なる装置で投影イメージを照射する場合には、照射装置から投影イメージを照射する照射周期を一致させておく必要がある。例えば、両装置を、ネットワークを介して接続して、照射周期の情報を共有させてもよい。また、投影イメージに照射周期に関する情報を埋め込み、当該投影イメージを撮像することにより、照射周期の情報を取得するようにしてもよい。

また、複数の装置間で照射周期を異なる周期とすることにより、周期ごとに異なる投影イメージを撮像させるようにしてもよい。例えば、情報処理装置２０Ａと情報処理装置２０Ｂの照射周期を異なる周期とする。情報処理装置２０Ａにより投影イメージが照射された照射周期と同じ周期で撮像したり、情報処理装置２０Ｂにより投影イメージが照射された照射周期と同じ周期で撮像したりすることにより、周期毎に異なる投影イメージを撮像することが可能となる。

また、このように周期を変えることにより、どの装置により照射された投影イメージかを識別することが可能となる。また、投影イメージに所定のパターンを埋め込み、当該投影イメージを撮像して所定のパターンを画像処理により解析することによりどの装置により照射された投影イメージかを識別してもよい。また、投影イメージに時系列の情報を含むパターンを埋め込み、当該イメージを撮像することにより、複数の投影イメージの投影順序などの時系列情報を解析するようにしてもよい。

また、図２９に示したように、時間に応じて変化する投影イメージを被写体に照射してもよい。例えば、説明図５３６に示したように、ユーザの指などによりタッチパネル上で投影イメージを照射する位置が指定される。そして、説明図５３５に示したように、被写体に円形状の投影イメージが照射される。投影イメージは、説明図５３７に示したように、時間に応じて円形状の投影イメージが変化する。例えば、円形状の投影イメージを説明図５３７に示したように変化させることにより、シャッタがオンされるまでの時間を被写体に示すことができる。

また、図３０に示したように、情報処理装置３０をテレビ受像機とリモコンに適応して、リモコンのタッチパネル上で指定された投影イメージをテレビ受像機の表示画面に表示させてもよい。例えば、説明図５４１に示したように、テレビ受像機に撮像装置と照射装置とを備えて、テレビ受像機を視聴しているユーザを撮像したり照射したりする。ユーザはリモコンを所持し、説明図５４０に示したように、リモコンの表示画面にテレビ受像機の撮像装置により撮像された画像が表示される。そして、説明図５４２に示したように、ユーザがリモコンのタッチパネル上に所定の文字等が描写されると、説明図５４３に示したように、ユーザにより描写された投影イメージが被写体に照射される。そして、投影イメージが照射された被写体がテレビ受像機に備わる撮像装置により撮像されて、テレビ受像機の表示画面に表示される。

また、図３１に示したように、被写体に投影イメージを照射して撮像した後に、画像処理により照射された投影イメージを補正したり再合成したりするようにしてもよい。例えば、説明図５４５に示したように、被写体に投影イメージが照射され、投影イメージが照射された被写体が撮像される。そして、説明図５４６に示したように、投影イメージが照射された被写体の画像を加工して、投影イメージの色補正を行う。これにより、被写体のどこにどのようなグラフィックが出力されるかを撮影者だけでなく被写体も確認することができ、所望のグラフィック合成を行うことが可能となる。

＜３−３．情報処理装置の動作の詳細＞
以上、情報処理装置２０の制御部の機能について説明した。次に、図３２〜図３４を参照して、情報処理装置２０の動作の詳細について説明する。図３２〜図３４は、情報処理装置２０の動作の詳細を示すフローチャートである。

図３２に示したように、まず、情報処理装置１０において、プロジェクタ（照射装置１３）がＯＮか否かを判定する（Ｓ２０２）。ステップＳ２０２において、プロジェクタがＯＮになっていると判定された場合には、撮像装置１２により撮像された画像を取得する（Ｓ２０４）。ステップＳ２０４において取得された画像をタッチパネル上に表示する（Ｓ２０６）。そして、画像が表示されたタッチパネル上においてユーザからの位置指定行為があるか否かを判定する（Ｓ２０８）。ステップＳ２０８において、タッチパネル上においてユーザからの位置指定行為があるか否かを判定しているが、かかる例に限定されない。例えば、情報処理装置２０に備わる操作ボタンや操作レバーからの入力に応じて、位置指定行為があるか否かを判定してもよい。

ステップＳ２０８において、位置指定行為があったと判定された場合には、ユーザにより指定された位置に応じたグラフィックを生成する（Ｓ２１０）。また、ステップＳ２０８において、ユーザからの位置指定行為がないと判定された場合には、位置指定行為以外のグラフィックに関する操作があるか否かを判定する（Ｓ２１２）。位置指定行為以外の操作とは、例えば、複数のグラフィックから所望のグラフィックを選択する行為などである。ステップＳ２１２において、グラフィックに関するその他の操作があると判定された場合には、該操作に応じてグラフィックを生成する（Ｓ２１４）。

そして、ステップＳ２１０またはステップＳ２１４において生成されたグラフィックを含む投影イメージを被写体に照射する（Ｓ２１６）。そして、投影イメージが照射された被写体が撮像されたか否かを判定する（Ｓ２１８）。ステップＳ２１８において、撮影が行われたと判定された場合には、撮影された画像を保存する（Ｓ２２０）。

次に、図３３を参照して、照射された投影イメージの位置を画像処理により固定化する処理について説明する、以下では、図３２の処理に従って、既にグラフィックが生成されて被写体に投影イメージが照射されているものとして説明する。図３３に示したように、まず。プロジェクタがＯＮか否かを判定する（Ｓ３０２）。ステップＳ３０２において、プロジェクタがＯＮになっていると判定された場合には、撮像装置１２により撮像された画像を取得する（Ｓ３０４）。ステップ３２０４において取得された画像は、投影イメージが照射された被写体の画像である。

次に、ステップＳ３０４において取得した画像の特徴点を検出する（Ｓ３０６）。そして、ステップＳ３０６において検出した特徴点と投影されているグラフィック位置との相対関係を記録する（Ｓ３０８）。そして、前フレームにおける特徴点とのマッチングを行う（Ｓ３１０）。そして、ステップＳ３１０においてマッチングされた特徴点を用いて、すでに描画されているグラフィクの描画位置を補正する（Ｓ３１２）。ステップＳ３０６以降の処理は、被写体に含まれる物体や人が移動する都度繰り返してもよい。これにより、被写体に含まれる物体や人に対して、常に固定された位置に投影イメージを照射することが可能となる。

次に、図３４を参照して、照射された投影イメージの位置を装置の動きを検出することにより固定化する処理について説明する。以下では、図３２の処理に従って、既にグラフィックが生成されて被写体に投影イメージが照射されているものとして説明する。図３４に示したように、まず、プロジェクタがＯＮか否かを判定する（Ｓ３２２）。ステップＳ３２２において、プロジェクタがＯＮになっていると判定された場合には、撮像装置１２により撮像された画像を取得する（Ｓ３２４）。そして、モーションセンサ（ジャイロセンサ）により出力された出力値を取得する（Ｓ３２６）。

そして、ステップＳ３２６において取得された出力値から、情報処理装置２０本体の動きを推定する（Ｓ３２８）。そして、ステップＳ３０８において推定された情報処理装置２０本体の動きから、被写体に照射された投影イメージの位置を補正する（Ｓ３２０）。たとえば、ステップＳ３２８において、情報処理装置２０本体が左右に動いたと判定された場合には、投影イメージの照射位置を左右に移動する。また、情報処理装置２０本体が回転した場合には、装置本体の回転に合わせて照射される投影イメージを回転させる。これにより、被写体に含まれる物体や人の固定された位置に投影イメージを照射することが可能となる。以上、情報処理装置２０の動作の詳細について説明した。

上記したように、第２実施形態によれば、ユーザ入力に基づく投影イメージが被写体に照射されて、撮像装置１２により投影イメージが照射された被写体が撮像される。ユーザは、例えば、タッチパネル２２を操作することにより、投影イメージを照射する位置を指定したり、照射する投影イメージを選択したりする。これにより、ユーザによる直観的な操作で撮影対象となる被写体に所望のグラフィック投影を行うことが可能となる。以上、第２実施形態について説明した。

＜４．第３実施形態＞
次に、第３実施形態について説明する。上記しように、従来から、撮影対象となる被写体に、プロジェクタを用いてグラフィックを投影する技術が開示されている。また、机などにグラフィックを投影し、指の方向や手の形状を検出して情報処理装置に所定の処理をさせる技術も開示されている。しかし、指の方向や手の形状に応じた処理だけでなく、投影されたグラフィックに対する被写体の何らかの動きを検出して、その動きに連動した処理を実行させることが望まれていた。

そこで、上記のような事情を一着眼点として、本実施形態にかかる情報処理装置３０が創作されるに至った。本実施形態にかかる情報処理装置３０によれば、投影イメージに対する被写体のインタラクションに応じた処理を実行することが可能となる。

図３５および図３６を参照して、本実施形態の概要を説明する。例えば、図３５および図３６は、本実施形態の概要を説明する説明図である。第１実施形態と同様に、情報処理装置３０の照射装置１３により被写体に投影イメージが照射されて、撮像装置１２により投影イメージが照射された被写体が撮像される。図３５に示したように、本実施形態においても、撮像領域５５と照射領域５６とは同期している。照射領域５６に被写体に所定の操作をさせるためのグラフィックを含む投影イメージ６０が照射される。そして、投影イメージ６０が照射された撮像領域５５が撮像される。

また、図３６の説明図６２に示したように、照射領域に「Ｙｅｓ」「Ｎｏ」のグラフィックを含む投影イメージ６１が照射される。そして、被写体に含まれる人が、照射された投影イメージの「Ｙｅｓ」を指さすジェスチャを行う。そして、「Ｙｅｓ」を指さすジェスチャを行っている被写体の画像が認識されて、「Ｙｅｓ」を指さしたことが検出される。図３６では、撮像装置１２のフラッシュをオンにするか否かを選択させるための投影イメージであるため、「Ｙｅｓ」を指さしたことが検出されて、フラッシュがオンされて撮像処理が実行される。

このように、本実施形態にかかる情報処理装置３０によれば、照射装置（プロジェクタ）１３により照射された投影イメージに対しての被写体のインタラクションによって、情報処理装置３０本体の操作を実行させることが可能となる。

＜４−１．情報処理装置のハードウェア構成＞
本実施形態にかかるハードウェア構成は、図３に示した第１実施形態と同様のハードウェア構成であるため、詳細な説明は省略する。

＜４−２．情報処理装置の機能構成＞
次に、図３７を参照して、情報処理装置３０の機能構成について説明する。図３７では、特に、情報処理装置３０の制御部（ＣＰＵ３４）の機能構成について説明する。図３７の機能構成を説明するに際し、適宜図３８〜図４９を参照する。図３７に示したように、情報処理装置３０の制御部は、認識部３０２、照射部３０４、実行部３０６、記憶部３０８などを備える。認識部３０２は、撮像対象となる被写体の操作を認識する機能を有する。

認識部３０２は、撮像装置１２により撮像された被写体の画像を基に、被写体の操作を認識する。以下では、撮像装置１２により撮像された被写体の画像を解析して、被写体のジェスチャによる操作を認識する場合について説明するが、かかる例に限定されない。例えば、被写体に赤外線を照射して、赤外線の反射結果を用いて被写体のジェスチャなどを認識してもよい。

照射部３０４は、撮像対象となる被写体に所定の操作をさせるための投影イメージを被写体に照射する機能を有する。また、照射部３０４は、被写体に何らかの選択操作をさせるための投影イメージを照射してもよい。また、認識部３０２により認識された被写体の操作に応じた投影イメージを照射してもよい。照射部３０４は、記憶部３０８から投影イメージを取得して被写体に照射する。照射部３０４は、ユーザ操作に応じて記憶部３０８から投影イメージを取得してもよいし、被写体に含まれる物体や人に応じた投影イメージを記憶部３０８から取得してもよい。

また、認識部３０２により被写体に含まれる物体や人が認識された場合には、照射部３０４は、被写体に含まれる物体や人の領域に投影イメージを照射したり、物体や人の領域以外に投影イメージを照射したりしてもよい。さらに、認識部３０２により被写体に含まれる特定の人の顔が認識された場合には、特定の人の付近の領域に投影イメージを照射してもよい。

例えば、図３８の説明図６０１に示したように、被写体に含まれる人物の顔が検出された場合には、人物の顔の領域以外の領域に投影イメージを照射するようにしてもよい。また、説明図６０２に示したように、人物の顔のうち、情報処理装置３０を所有する所有者の顔を検出可能な場合には、所有者の顔付近に投影イメージを照射してもよい。これにより、被写体に含まれる人が投影イメージに対して容易に操作することが可能となる。

図３７に戻り、実行部３０６は、認識部３０２により認識された被写体の操作に応じて所定の処理を実行する機能を有する。実行部３０６は、認識部３０２により認識された被写体のジェスチャに応じた処理を実行する。例えば、上記したように、フラッシュをオンするジェスチャが認識された場合には、情報処理装置３０に備わるフラッシュをオンにして撮像処理を実行する。また、認識部３０２が、照射部３０４により照射された範囲内の被写体の動きを認識する場合には、照射された範囲内の被写体の動きに対応する処理を実行するようにしてもよい。

例えば、図３９に示したように、説明図６０６の投影イメージを被写体に照射するとする。この場合、説明図６０５に示したように、被写体に説明図６０６の投影イメージが照射される。そして、説明図６０７に示したように、撮像装置１２により、投影イメージが照射された被写体が撮像される。このとき、認識部３０２は、投影イメージが照射された領域のみを認識することにより、被写体によるジェスチャの認識を堅牢にすることが可能となる。すなわち、認識部３０２は、撮像された画像のすべてから所定の操作を認識する必要はなく、領域６０８に含まれる所定の操作のみを認識すればよい。これにより、処理負荷を軽減することが可能となる。

次に、図３９〜図４８を参照して、照射された投影イメージに対する被写体の操作（インタラクション）の例について説明する。例えば、図４０に示したように、認識部３０２により一定の動きが検知された場合に、投影イメージに対する操作があったと認識するようにしてもよい。例えば、説明図６１０では、カメラのグラフィックのアイコンが照射され、アイコンの投影イメージ上での手の動きを検出した場合に、投影イメージに対して操作があったと認識する。アイコンの投影イメージ上で手の動きが検出された場合には、説明図６１１に示したように、アイコンの投影イメージの色を濃くしたり、色を変えたりする。

また、図４１に示したように、アイコンが照射されている照射領域内に手が入ったことが検出された場合に、投影イメージに対する操作があったと認識するようにしてもよい。照射領域内に手が入った否かは、例えば、領域内に肌色近傍の物体が入ったか否かにより判定することができる。例えば、説明図６１５では、カメラのグラフィックのアイコンが被写体に照射され、アイコンの投影イメージの照射領域内に手が入り、一定期間が経過したか否かを判定する。例えば、説明図６１６に示したように、アイコンの投影イメージの照射領域内に手が入ったことを認識した後、経過時間に応じて投影イメージの色を段階的に濃くしたり、色を変えたりする。

また、図４２に、被写体に二択操作をさせるための投影イメージを照射する場合を示した。例えば、説明図６２０に示したように、アイコンが照射されている照射領域内に手が入ったことが検出された場合に、被写体に二択操作をさせるための投影イメージを照射する。例えば、説明図６２１に示したように、アイコンの左側に「ＹＥＳ」、右側に「Ｎｏ」の投影イメージを照射する。そして、説明図６２２に示したように、手がアイコンが投影されている領域から右側に動いたことが検出された場合には、「Ｙｅｓ」が選択されたと認識することができる。実行部３０６は、当該選択に応じた処理を実行する。例えば、フラッシュをオンにするか否かを選択させる場合には、フラッシュをオンにして撮像処理を実行する。

また、図４３に、被写体に複数選択操作をさせるための投影イメージを照射する場合を示した。例えば、説明図６２５に示したように、円形状のアイコンが照射されている照射領域内に手が入ったことが検出された場合に、被写体に複数選択操作をさせるための投影イメージを照射する。例えば、説明図６２６に示したように、円形状のアイコンの周囲に放射状に選択肢を示す投影イメージを照射する。そして、説明図６２７に示したように、手がアイコンが投影されている領域から選択肢のいずれかの領域に動いたことが検出された場合には、手が位置する領域の選択肢を選択されたと認識することができる。実行部３０６は、当該選択に応じた処理を実行する。例えば、撮影時のホワイトバランスやシャッタースピードなどの撮影モードを段階的に選択させる場合には、選択された撮影モードで撮像処理を実行する。

また、図４４に、被写体の動きに応じて投影イメージを変化させる場合を示した。例えば、説明図６３０に示したように、四角形状のアイコンが照射されている照射領域内に手が入ったことが検出された後に、説明図６３１に示したように手を握った状態が検出されたとする。認識部３０２は、手を広げた状態から手を握った状態の動きが検出された場合には、「つかむ」動作がなされたと認識する。そして、説明図６３２に示したように、「つかむ」動作がなされたまま手が動かされた場合には、投影イメージを追従させる。そして、説明図６３４に示したように、手を握った状態から手を広げた状態に戻ったことが検出された場合に投影イメージの追従を終了させる。

また、図４５に、被写体の手を検出して、検出された手に投影イメージを照射する場合を示した。例えば、説明図６４０に示したように、被写体の手のひらを検出する。そして、説明図６４１に示したように、検出された手のひらの領域に円形状の投影イメージを照射する。ここで、認識部３０２は、手のひらの領域を常に検出して、照射部３０４は投影イメージを手のひらの動きに追従するように照射する。

そして、説明図６４２に示したように、手のひらが早く動いて、円形状の投影イメージが照射されている領域から大きく外れた場合には、投影イメージに対して何らかの処理をキャンセルする操作であると認識してもよい。また、説明図６４３に示したように、手のひらを握る動きを検出した場合には、投影イメージに対して何らかの処理を決定する操作であると認識してもよい。

また、図４６に二つの手のひらを検出して、検出された二つの手に投影イメージを照射する場合を示した。例えば、説明図６４５に示したように、被写体の二つの手のひらを検出する。そして、説明図６４６に示したように、二つの手のひらにそれぞれ異なる選択肢を示す投影イメージを照射する。そして、説明図６４７に示したように、いずれかの手を握る動きを検出した場合には、選択肢のいずれかを選択する操作であると認識する。

また、図４７に被写体の大局的な動きに応じて投影イメージを変更する場合を示した。例えば、説明図６５０に示したように、被写体の両手の位置や体の向きなどを検出して、被写体の大局的な動きを検出する。説明図６５０では、左側の手を伸ばし、右側の手を曲げていることが検出される。例えば、被写体の動きに応じて照明光を変更する処理を実行する場合には、説明図６５１に示したように、検出された手の位置に応じて照明光を表現するフィルタを移動させてもよい。

また、図４８に被写体の対極的な動きに応じて撮影画角を変更する場合を示した。例えば、説明図６５５に示したように、被写体の両手の位置および手の動きを検出して、撮影画角を表現する投影イメージを照射する。そして、上記したように、手のひらの動きを検出して、照射された撮影画角を「つまむ」動作や撮影画角を「離す」操作を検出する。そして、説明図６５６に示したように、投影イメージの撮影画角をつかんで動かす操作を行った場合には、撮影される範囲を移動させる。

これにより、撮像する際のズームインやズームアウトを被写体の操作に応じて実行することが可能となる。また、図４８に示したような大局的な被写体の操作だけでなく、手を前後させる操作により撮像時のズームインやズームアウトの処理を実行してもよい。また、ズームインやズームアウトした結果の画像を被写体が位置する領域とは別の領域に投影してもよい。

また、図４９に撮影者による操作に応じて、被写体に所定の操作をさせるための投影イメージを照射する場合を示した。例えば、情報処理装置３０に第２実施形態と同様にタッチパネルが備えられている場合には、撮影者によるタッチパネル上の入力に応じて投影イメージを照射してもよい。図４９の説明図６７０に示したように、撮影者が情報処理装置３０のタッチパネルを接触して投影イメージを照射する位置を指定する。そして、説明図６７１に示したように、撮影者に指定された位置に投影イメージが照射される。

＜４−３．情報処理装置の動作の詳細＞
以上、情報処理装置３０の制御部の機能について説明した。次に、図５０を参照して、情報処理装置３０の動作の詳細について説明する。図５０は、情報処理装置３０の動作の詳細を示すフローチャートである。

図５０に示したように、まず、プロジェクタ（照射装置１３）がＯＮか否かを判定する（Ｓ４０２）。ステップＳ３０２において、プロジェクタがＯＮになっていると判定された場合には、プロジェクタからＧＵＩが照射されているか否かを判定する（Ｓ４０４）。ステップＳ３０４において、照射されるＧＵＩは、撮像対象となる被写体に所定の操作をさせるための投影イメージである。

ステップＳ４０４において、プロジェクタからＧＵＩが照射されていると判定された場合にはカメラ（撮像装置１２）により撮像された画像を取得する（Ｓ４０６）。そして、ステップＳ４０４において照射されているＧＵＩが表示されている領域のみ、ジェスチャ認識を行う（Ｓ４０８）。上記したように、プロジェクタから被写体に所定の操作をさせるための投影イメージであるＧＵＩが照射されている場合には、照射されたＧＵＩに対して何らかの操作が行われる。したがって、ＧＵＩが照射されている領域での被写体の操作を認識すればよいこととなる。

ステップＳ４０４において、プロジェクタからＧＵＩが照射されていないと判定された場合には、カメラ（撮像装置１２）により撮像された画像を取得する（Ｓ４１０）。そして、ジェスチャ認識を行う（Ｓ４１２）。ステップＳ４１２においては、ステップＳ４１０において取得された画像全体における被写体の操作を認識する。

そして、ステップＳ４０８またはステップＳ４１２においてジェスチャが認識されたか否かを判定する（Ｓ４１４）。ステップＳ４１４において、ジェスチャ認識が行われたと判定された場合には、認識されたジェスチャの内容と、ジェスチャが行われた位置に応じた操作を実行する（Ｓ４１６）。ジェスチャの内容とは、例えば、開いた手のひらを閉じたり、手の指を一定の方向に向けたりすることである。例えば、「Ｙｅｓ」「Ｎｏ」の文字を含む投影イメージが照射され、被写体の手が「Ｙｅｓ」の領域に動いた場合には、フラッシュをオンにするなどの「Ｙｅｓ」に応じた操作を実行する。

そして、ステップＳ４１６において実行された操作の結果を反映して、ＧＵＩを変更したり、新たなＧＵＩを投影したりする（Ｓ４１８）。そして、撮影が行われるか否かを判定する（Ｓ４２０）。ステップＳ４２０において、撮影が行われると判定された場合には、撮影が実行される前に、被写体に操作させるための投影イメージ（ＧＵＩ）を消す（Ｓ４２２）。ステップＳ４２２において、ＧＵＩを消すとは、照射装置１３から投影イメージを照射しない状態であることを示す。そして、ステップＳ４２２においてＧＵＩが消された後に撮影を実行する（Ｓ４２４）。以上、情報処理装置３０の動作の詳細について説明した。

上記したように、第３実施形態によれば、撮像対象となる被写体に所定の操作をさせるための投影イメージが照射されて、照射された投影イメージに対する被写体の操作が認識される。そして、認識された被写体の操作に応じた所定の処理が実行される。これにより、投影イメージに対する被写体のインタラクションに応じて、撮像処理等の情報処理装置３０本体の操作を実行させることが可能となる。

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

例えば、本明細書の情報処理装置１０、２０、３０の処理における各ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はない。例えば、の処理における各ステップは、フローチャートとして記載した順序と異なる順序で処理されても、並列的に処理されてもよい。

また、情報処理装置１０、２０、３０の情報処理装置に内蔵されるＣＰＵ、ＲＯＭおよびＲＡＭなどのハードウェアを、上述した情報処理装置１０、２０、３０の各構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、該コンピュータプログラムを記憶させた記憶媒体も提供される。

１０、２０、３０ 情報処理装置
１１ 表示装置
１２ 撮像装置
１３ 照射装置
１４、２１、３１ ＣＰＵ
１５ 入力装置
１６ ＲＡＭ
１７ 不揮発性メモリ
１０２ 解析部
１０４ 照射部
１０６ 生成部
１０８ 記憶部
２０２ 撮像部
２０４ 検出部
２０６ 照射部
２０８ 解析部
２１０ 記憶部
２１２ 取得部
３０２ 認識部
３０４ 照射部
３０６ 実行部
３０８ 記憶部

Claims (7)

1. ユーザに操作させるための操作オブジェクトを含む投影イメージの照射を制御する処理と、
   前記操作オブジェクトの照射領域内に前記ユーザの操作体が入ったことが検出された後の前記操作体の動作が第１の動作であるか否かを認識する処理と、
   前記操作体の動作として前記第１の動作が継続して認識されている間に前記操作オブジェクトを前記操作体の移動に追従させ、かつ、前記第１の動作が認識されなくなった場合、前記操作オブジェクトの追従を終了する処理と、を行う制御部、
   を備える、情報処理装置。
2. 前記操作オブジェクトの照射領域内に前記操作体が入ったことが検出された後の前記操作体の動作が、前記第１の動作とは異なる第２の動作であると認識した場合には、前記制御部は、前記操作オブジェクトの追従とは異なる、前記操作オブジェクトに関する所定の処理を行う、請求項１に記載の情報処理装置。
3. 前記第１の動作は、前記照射領域内に前記操作体が入ったことが検出された際の前記操作体の状態である第１の状態とは異なる第２の状態のままで前記操作体が移動することを含み、
   前記第２の動作は、前記第１の状態のままで前記操作体が移動することを含む、請求項２に記載の情報処理装置。
4. 前記操作オブジェクトに関する所定の処理は、前記操作オブジェクトを選択する処理を含む、請求項３に記載の情報処理装置。
5. 前記操作体は、前記ユーザの片手である、請求項３または４に記載の情報処理装置。
6. ユーザに操作させるための操作オブジェクトを含む投影イメージの照射を制御する処理と、
   前記操作オブジェクトの照射領域内に前記ユーザの操作体が入ったことが検出された後の前記操作体の動作が第１の動作であるか否かを認識する処理と、
   前記操作体の動作として前記第１の動作が継続して認識されている間に前記操作オブジェクトを前記操作体の移動に追従させ、かつ、前記第１の動作が認識されなくなった場合、前記操作オブジェクトの追従を終了する処理と、をプロセッサが行うこと、
   を含む、情報処理方法。
7. コンピュータを、
   ユーザに操作させるための操作オブジェクトを含む投影イメージの照射を制御する処理と、
   前記操作オブジェクトの照射領域内に前記ユーザの操作体が入ったことが検出された後の前記操作体の動作が第１の動作であるか否かを認識する処理と、
   前記操作体の動作として前記第１の動作が継続して認識されている間に前記操作オブジェクトを前記操作体の移動に追従させ、かつ、前記第１の動作が認識されなくなった場合、前記操作オブジェクトの追従を終了する処理と、を行う制御部、
   として機能させるための、プログラム。
   

Images