JP6085951B2 - 画像処理装置及び画像選択方法 - Google Patents

Description

本発明は、画像処理装置及び画像選択方法に関する。

従来、スクリーンに投影装置によって人物等の投影対象物の映像を投影して商品等の説明を行うことが行われている。

また、近年、お客や鑑賞者に対しての印象を高めるために、人型に成型された投影スクリーンに、そのスクリーンの外形に合わせた形状のコンテンツ映像などを投影する、所謂「バーチャルマネキン」が提案されている（例えば、特許文献１参照）。バーチャルマネキンは、あたかもそこに人間が立っているかのような存在感のある投影像が得られ、展示会等における斬新で効果的な展示の演出等に利用されている。

特開２０１１−１５０２２１号公報

しかしながら、スクリーンに投影される投影対象物は、お客や鑑賞者等の聴衆がどこにいるかにかかわらず正面方向を向いて説明する。そのため、平面的な感じを与え、説得力に欠け、効果的な演出効果が得られていなかった。

本発明は、上記のような問題を鑑みてなされたもので、その目的とするところは、聴衆の立ち位置を考慮した投影を行うことで、演出効果を向上させることである。

上記課題を解決するため、請求項１に記載の発明の画像処理装置は、
スクリーンに投影される投影対象物の向きが異なる複数の投影画像を記憶する記憶手段と、
複数の人感センサと、
前記複数の人感センサの検知結果に基づいて、前記スクリーンを見る聴衆の方向を検出する検出手段と、
前記検出手段によって検出された前記聴衆の方向に基づいて、前記スクリーンに投影される投影対象物が前記聴衆の方向を向くような投影画像を前記記憶手段に記憶された複数の投影画像から選択する画像選択手段と、
を備え、
前記検出手段は、前記人感センサのうち複数が反応した場合、前記反応した人感センサのうち、検知した値が大きい方から予め定められた個数の人感センサの検知範囲の方向を前記聴衆の方向として検出し、
前記画像選択手段は、前記スクリーンに投影される投影対象物が順次前記検出された複数の聴衆の方向を向くように順次前記投影画像の選択を行うことを特徴とする。

本発明によれば、聴衆の立ち位置を考慮した投影を行うので、演出効果を向上させることができる。

本実施形態におけるコンテンツ再生システムの全体構成例を示す図である。 （ａ）は、映像の投影前のコンテンツ再生システムの正面図、（ｂ）は映像の投影時のコンテンツ再生システムの正面図である。 図１の画像処理装置の機能的構成を示すブロック図である。 人感センサの設置例を示す図である。 遮光フィルムの機能を説明するための図である。 第１の実施形態において図３の制御部において実行される再生制御処理を示すフローチャートである。 第２の実施形態において図３の制御部において実行される再生制御処理Ｂを示すフローチャートである。

以下、添付図面を参照して本発明に係る好適な実施形態を詳細に説明する。なお、本発明は、図示例に限定されるものではない。

［第１の実施形態］
＜コンテンツ再生システム１００の構成＞
本実施形態に係るコンテンツ再生システム１００は、映像コンテンツに含まれる投影対象物の形状に成型されたスクリーン５に映像コンテンツを投影するシステムである。本実施形態において、映像コンテンツは、例えば、人物、キャラクタ、動物等の投影対象物が商品等の説明を行う映像である。

図１、図２は、本実施形態のコンテンツ再生システム１００の概略構成を示す図である。図１は、コンテンツ再生システム１００の側面図、図２は、コンテンツ再生システム１００の正面図である。図２（ａ）は、映像の投影前、図２（ｂ）は映像の投影時の正面図である。なお、図１においては、コンテンツ再生システム１００の各構成要素と映像コンテンツの聴衆Ａとの位置関係を示すため、併せて聴衆Ａを図示している。

図１に示すように、コンテンツ再生システム１００は、画像処理装置１、プロジェクタ２、スピーカ４、人感センサＳＥ（ＳＥ１〜ＳＥｎ（ｎは正の整数））が設置されたスクリーン５等を備えて構成されている。プロジェクタ２、スピーカ４、及び人感センサＳＥ１〜ＳＥｎは、画像処理装置１に接続されている。

画像処理装置１は、映像コンテンツの各フレームの投影画像をプロジェクタ２に送信するに際し、投影対象物の向きが異なる複数の投影画像の中から、スクリーン５に投影される投影対象物が聴衆Ａの方向を向くような投影画像を選択する装置である。画像処理装置１としては、例えば、ＰＣ（Personal Computer）、端末装置等が適用可能である。
なお、聴衆Ａは、一人の場合もあるし、複数人の場合もある。

図３に、画像処理装置１の機能構成例を示す。図３に示すように、画像処理装置１は、制御部１０、操作部１１、表示部１２、記憶部１３、Ｉ／Ｆ１４、Ｉ／Ｆ１５、音声出力部１６等を備えて構成されている。

制御部１０は、図示は省略するが、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）等を備えて構成される。制御部１０のＣＰＵは、記憶部１３のプログラム記憶部１３１に記憶されているプログラムを読み出し、ＲＡＭのワークエリアに展開し、展開したプログラムに従って、後述する再生制御処理を始めとする各種処理を実行する。制御部１０のＲＡＭは、揮発性のメモリであり、ＣＰＵにより実行される各種プログラムやこれら各種プログラムに係るデータ等を記憶するワークエリアを有する。
制御部１０は、再生制御処理を実行することにより、検出手段、画像選択手段として機能する。

操作部１１は、各種機能キーやカーソルキー等を有し、ユーザによるキー入力を受け付けてその操作情報を制御部１０に出力する。

表示部１２は、ＬＣＤ（Liquid Crystal Display）等により構成され、制御部１０からの表示制御信号に従って、各種表示を行う。

記憶部１３は、ＨＤＤ（Hard Disk Drive）や半導体の不揮発性メモリ等により構成される。記憶部１３には、図３に示すように、プログラム記憶部１３１、映像データ記憶部１３２が設けられている。

プログラム記憶部１３１には、制御部１０で実行されるシステムプログラムや各種処理プログラム、これらのプログラムの実行に必要なデータ等が記憶されている。プログラムは、コンピュータ読み取り可能なプログラムコードの形態でプログラム記憶部１３１に格納されている。制御部１０は、当該プログラムコードに従った動作を逐次実行する。

映像データ記憶部１３２は、映像コンテンツの映像データを記憶する。映像データは、動画データを構成する各フレームの投影画像（フレーム画像）及び各フレームに対応する音声データにより構成されている。映像データ記憶部１３２は、映像コンテンツを構成する各フレーム毎に、投影対象物の向きが異なる複数の投影画像を記憶している。具体的には、各フレームについて、スクリーン５への投影時に投影対象物の向きが人感センサＳＥ１の検知範囲の方向を向く投影画像、人感センサＳＥ２の検知範囲の方向を向く投影画像、人感センサＳＥ３の検知範囲の方向を向く投影画像、・・・、人感センサＳＥｎの検知範囲の方向を向く投影画像、がそれぞれ記憶されている。例えば、各フレーム毎に、正面方向を向いた基準となる映像コンテンツの各投影画像に対して投影対象物の視線（目線）の方向のみを各人感センサＳＥの検知範囲の方向に応じて変えた複数の投影画像が記憶されている。各投影画像は、投影対象物の視線の向きに対応する人感センサＳＥの識別番号（センサ番号１〜ｎ）に対応付けて記憶されている。また、正面方向の投影画像については、その旨を示すフラグが対応付けられている。

Ｉ／Ｆ１４は、プロジェクタ２と接続し、データ送受信を行うためのインターフェースである。
Ｉ／Ｆ１５は、人感センサＳＥ１〜ＳＥｎと接続し、データ送受信を行うためのインターフェースである。人感センサＳＥ１〜ＳＥｎとの通信は、有線によるものであっても、無線によるものであってもよい。

音声出力部１６は、スピーカ４が接続され、制御部１０により指示された音声データを音声信号に変換してスピーカ４から出力させる。

プロジェクタ２は、画像処理装置１から送信された投影画像に基づいてスクリーン５の背面から映像コンテンツを投影する背面投射型の投影装置である。プロジェクタ２は、例えば、投影画像に基づいて、アレイ状に配列された複数個（ＸＧＡの場合、横１０２４画素×縦７６８画素）の微小ミラーの各傾斜角度を個々に高速でオン／オフ動作して表示動作することでその反射光により光像を形成する表示素子であるＤＭＤ（デジタルマイクロミラーデバイス）を利用したＤＬＰ（Digital Light Processing）(登録商標)プロジェクタが適用可能である。投影画像における投影対象物の領域に対応する位置の微小ミラーをオンし、その他の領域をオフすることで、投影対象物のみをスクリーン５に投影することが可能となる。

スクリーン５は、支持台６により床面に垂直になるように支持され、プロジェクタ２の出力光照射方向に配置されたスクリーンである。スクリーン５は、図１に示すように、投影対象物の形状に成型された透明アクリル板等の基材５１の前面上側に背面投影用のスクリーンフィルム５２が貼付され、下側に投影対象物の下半身が印刷されたフィルム５３が貼付されて構成されている。このスクリーンフィルムは市販されている高輝度、高コントラストを有するものを用いることにより、日中の明るさであっても、また、明るい居室内であっても、スクリーン５に投影された投影像を視認することができる。

また、図４に模式的に示すように、スクリーン５の映像投影部の下側（フィルム５３の領域）には、複数の人感センサＳＥ１〜ＳＥｎが設置されている。人感センサＳＥ１〜ＳＥｎは、例えば、赤外線等を利用して周囲温度の温度変化を検知することにより検知範囲における人の存在を検知するセンサ等を適用することができる。本実施形態においては、人感センサＳＥ１〜ＳＥｎは、人が存在するか否かのＯＮ／ＯＦＦではなく、検知した値（例えば、温度変化等の値）を制御部１０に出力するものとする。人感センサＳＥ１〜ＳＥｎは、そのセンサ番号１〜ｎの順に並んで配置され、それぞれ異なる検知範囲Ｒ１〜Ｒｎ内に存在する人物を検知することが可能である。

各人感センサＳＥ１〜ＳＥｎの設置部分近傍には、遮光フィルムＦ１とフィルタＦ２とが設けられている。
遮光フィルムＦ１は、光を透過させないフィルムであり、人感センサＳＥ１〜ＳＥｎの本来の検知範囲より狭い範囲に制限するためのものである。図５（ａ）、（ｂ）は、一例として、図４に示す人感センサＳＥ３近傍に設けられた遮光フィルムＦ１の機能を説明するための図である。図５（ａ）は、遮光フィルムＦ１を設けない場合の人感センサＳＥ３の検知範囲を示しており、図５（ｂ）は、遮光フィルムＦ１を設けた場合の人感センサＳＥ３の検知範囲を示している。遮光フィルムＦ１により、図５（ｂ）に示す点線部分の範囲を人感センサＳＥ３の検知範囲から除くことができる。人感センサＳＥ１〜ＳＥｎは、検知範囲が極力重ならないよう、遮光フィルムＦ１により検知範囲が調整されている。
フィルタＦ２は、人感センサＳＥ１〜ＳＥｎを聴衆Ａから見えにくくする（隠す）ための光学窓である。可視光は通過させず、赤外線等の不可視光を通過させる。
なお、図４は、３つの人感センサＳＥ１〜ＳＥ３を配置した例を示しているが、人感センサＳＥの数は、これに限定されない。

なお、本実施形態においては、コンテンツ再生システム１００は投影対象物の上半身の映像コンテンツをスクリーン５に投影する構成としているが、スクリーン５の基材５１の全面に背面投影用のスクリーンフィルム５２を貼付した構成とし、投影対象物の全身の映像コンテンツをスクリーン５に投影することとしてもよい。
＜画像処理装置１の動作＞
次に、本実施形態における動作について説明する。

図６に、画像処理装置１によって実行される再生制御処理のフローチャートを示す。再生制御処理は、制御部１０のＣＰＵとプログラム記憶部１３１に記憶されているプログラムとの協働により実行される。なお、制御部１０は、映像コンテンツの先頭のフレームから順に投影対象として投影していくことで、映像コンテンツを再生する。

再生制御処理において、制御部１０は、まず、Ｉ／Ｆ１５を介して、人感センサＳＥ１〜ＳＥｎの検知結果を取得する（ステップＳ１）。

次いで、制御部１０は、取得した検知結果に基づいて、人感センサＳＥ１〜ＳＥｎの少なくとも１つにおいて反応があったか否かを判断する（ステップＳ２）。人感センサＳＥ１〜ＳＥｎの何れにおいても反応がなかったと判断した場合（ステップＳ２；ＮＯ）、制御部１０は、投影対象のフレームの複数の投影画像（投影対象物の向きが異なる）のうち、投影対象物が正面方向を向いた投影画像を選択して記憶部１３の映像データ記憶部１３２から読み出し（ステップＳ３）、ステップＳ８の処理に移行する。

人感センサＳＥ１〜ＳＥｎの少なくとも１つにおいて反応があったと判断した場合（ステップＳ２；ＹＥＳ）、制御部１０は、１つのみが反応したか否かを判断する（ステップＳ４）。１つのみが反応したと判断した場合（ステップＳ４；ＹＥＳ）、制御部１０は、反応した人感センサＳＥの検知範囲の方向を聴衆Ａの方向として検出し（ステップＳ５）、ステップＳ７の処理に移行する。

一方、人感センサＳＥ１〜ＳＥｎのうち複数が反応したと判断したと判断した場合（ステップＳ４；ＮＯ）、制御部１０は、反応した人感センサＳＥのうち検知した値が最も大きいセンサの検知範囲の方向を聴衆Ａの方向として検出し（ステップＳ６）、ステップＳ７の処理に移行する。

ステップＳ７において、制御部１０は、投影対象のフレームの複数の投影画像のうち、スクリーン５への投影時に投影対象物が上記検出された聴衆Ａの方向を向くような投影画像を選択して記憶部１３の映像データ記憶部１３２から読み出し（ステップＳ７）、ステップＳ８の処理に移行する。
例えば、人感センサＳＥ１の検知範囲の方向Ｒ１が聴衆Ａの方向であると検出された場合、次に投影するフレームの複数の投影画像（投影対象物の向きが異なる）のうち、センサ番号１に対応付けて記憶されている投影画像を映像データ記憶部１３２から読み出す。

ステップＳ８において、制御部１０は、読み出された投影画像をＩ／Ｆ１４を介してプロジェクタ２に送信し、投影画像に基づいて、映像コンテンツをスクリーン５に投影させるとともに、投影画像に対応する音声データを音声出力部１６により音声信号に変換させ、スピーカ４より音声出力させる（ステップＳ８）。ここで、制御部１０は、投影画像から投影対象物の領域を抽出し、抽出された投影対象物の位置情報を投影画像と併せてＩ／Ｆ１４によりプロジェクタ２に送信する。これにより、プロジェクタ２は、投影対象物のみをスクリーン５に投影することができる。なお、投影対象物の抽出は、プロジェクタ２により行うこととしてもよい。

次いで、制御部１０は、映像コンテンツに次のフレームが存在するか否かを判断する（ステップＳ９）。次のフレームが存在すると判断した場合（ステップＳ９；ＹＥＳ）、制御部１０は、ステップＳ１の処理に戻り、次のフレームについて、ステップＳ１〜ステップＳ８の処理を繰り返し実行する。次のフレームが存在しないと判断した場合（ステップＳ９；ＮＯ）、制御部１０は、再生制御処理を終了する。

このように、第１の実施形態においては、聴衆Ａの立ち位置によってスクリーン５に投影される投影対象物の向きをリアルタイムに変化させることができるので、聴衆Ａには、あたかも投影対象物（人物等）が聴衆Ａに語りかけているように感じられる。よって、聴衆Ａに投影対象物に対する親近感を抱かせることができ、映像コンテンツによる説得力が増すなど、効果的な演出を行うことが可能となる。
なお、上記第１の実施形態においては、複数の人感センサＳＥの反応があった場合、検知した値が最も大きい人感センサの方向を向いた投影画像を選択したが、これに限らない。例えば、映像データ記憶部１３２に投影対象物が全体を見渡すような投影画像を更に記憶しておき、所定の数以上の人感センサＳＥの反応があった場合、制御部１０は、スクリーン５を見る聴衆の方向が複数方向であることを検出し、投影対象物が全体を見渡す投影画像を選択するようにしても良い。

［第２の実施形態］
次に、本発明の第２の実施形態について説明する。
第１の実施形態においては、人感センサＳＥ１〜ＳＥｎのうち複数の人感センサＳＥが反応した場合は、反応があった複数の人感センサＳＥのうち検知した値が最も大きい人感センサＳＥの検知範囲を聴衆Ａの方向として検出することとして説明した。第２の実施形態においては、反応があった複数の人感センサＳＥの検知範囲の方向を順番に聴衆Ａの方向として検出し、映像コンテンツの投影対象物が複数の方向にいる聴衆Ａを順に見ながら説明等が行えるようにする。

第２の実施形態において、画像処理装置１の制御部１０には、タイマー（図示せず）が接続されている。第２の実施形態におけるその他のコンテンツ再生システム１００及びこれを構成する各装置の構成は、第１の実施形態で説明したものと同様であるので説明を援用し、以下、第２の実施形態の動作について説明する。

図７に、第２の実施形態において実行される再生制御処理Ｂのフローチャートを示す。再生制御処理Ｂは、制御部１０のＣＰＵとプログラム記憶部１３１に記憶されているプログラムとの協働により実行される。制御部１０は、再生制御処理Ｂを実行することにより、検出手段、画像選択手段として機能する。なお、制御部１０は、映像コンテンツの先頭のフレームから順に投影対象として投影していくことで、映像コンテンツを再生する。

再生制御処理Ｂにおいて、制御部１０は、まず、Ｉ／Ｆ１５を介して、人感センサＳＥ１〜ＳＥｎの検知結果を取得する（ステップＳ２１）。

次いで、制御部１０は、取得した検知結果に基づいて、人感センサＳＥ１〜ＳＥｎの少なくとも１つにおいて反応があったか否かを判断する（ステップＳ２２）。人感センサＳＥ１〜ＳＥｎの何れにおいても反応がなかったと判断した場合（ステップＳ２２；ＮＯ）、制御部１０は、投影対象のフレームの複数の投影画像（投影対象物の向きが異なる）のうち、投影対象物が正面方向を向いた投影画像を選択して記憶部１３の映像データ記憶部１３２から読み出し（ステップＳ２３）、ステップＳ２７の処理に移行する。

人感センサＳＥ１〜ＳＥｎの少なくとも１つにおいて反応があったと判断した場合（ステップＳ２２；ＹＥＳ）、制御部１０は、１つのみが反応したか否かを判断する（ステップＳ２４）。１つのみが反応したと判断した場合（ステップＳ２４；ＹＥＳ）、制御部１０は、反応した人感センサＳＥの検知範囲の方向を聴衆Ａの方向として検出する（ステップＳ２５）。そして、制御部１０は、投影対象のフレームの複数の投影画像のうち、スクリーン５への投影時に投影対象物が上記検出された聴衆Ａの方向を向くような投影画像を選択して記憶部１３の映像データ記憶部１３２から読み出し（ステップＳ２６）、ステップＳ２７の処理に移行する。
例えば、人感センサＳＥ１の検知範囲の方向Ｒ１が聴衆Ａの方向であると検知された場合、投影対象の映像コンテンツにおいて投影対象のフレームの複数の投影画像のうち、センサ番号１に対応付けて記憶されている投影画像を映像データ記憶部１３２から読み出す。

ステップＳ２７において、制御部１０は、読み出された投影画像をＩ／Ｆ１４を介してプロジェクタ２に送信し、投影画像に基づいて、映像コンテンツをスクリーン５に投影させるとともに、投影画像に対応する音声データを音声出力部１６により音声信号に変換させ、スピーカ４より音声出力させる（ステップＳ２７）。スクリーン５への投影方法は、図６のステップＳ８において説明したものと同様であるので説明を援用する。

次いで、制御部１０は、映像コンテンツに次のフレームの投影画像が存在するか否かを判断する（ステップＳ２８）。次のフレームの投影画像が存在すると判断した場合（ステップＳ２８；ＹＥＳ）、制御部１０は、ステップＳ２１の処理に戻る。次のフレームの投影画像が存在しないと判断した場合（ステップＳ２８；ＮＯ）、制御部１０は、再生制御処理Ｂを終了する。

一方、ステップＳ２４において、人感センサＳＥ１〜ＳＥｎのうち複数が反応したと判断したと判断した場合（ステップＳ２４；ＮＯ）、制御部１０は、変数Ｎに１を格納し（ステップＳ２９）、反応した複数の人感センサＳＥの検知範囲の方向を聴衆の方向として検出し（ステップＳ３０）、反応した人感センサＳＥの検知した値の大きい順に、センサ番号を並べる（ステップＳ３１）。

次いで、制御部１０は、変数ｘに順番Ｎのセンサ番号を格納し（ステップＳ３２）、投影対象のフレームの複数の投影画像のうち、センサ番号ｘに対応付けて記憶されている投影画像を映像データ記憶部１３２から読み出す（ステップＳ３３）。

次いで、制御部１０は、読み出された投影画像をＩ／Ｆ１４を介してプロジェクタ２に送信し、投影画像に基づいて、映像コンテンツをスクリーン５に投影させるとともに、投影画像に対応する音声データを音声出力部１６により音声信号に変換させ、スピーカ４より音声出力させる（ステップＳ３４）。スクリーン５への投影方法は、図６のステップＳ８において説明したものと同様であるので説明を援用する。

次いで、制御部１０は、映像コンテンツに次のフレームの投影画像が存在するか否かを判断する（ステップＳ３５）。次のフレームの投影画像が存在しないと判断した場合（ステップＳ３５；ＮＯ）、制御部１０は、再生制御処理Ｂを終了する。

次のフレームの投影画像が存在すると判断した場合（ステップＳ３５；ＹＥＳ）、制御部１０は、タイマーに指定時間Ｔ（秒）をセットし、指定時間Ｔ秒の経過が検知されたか否かを判断する（ステップＳ３６）。指定時間Ｔが経過していないと判断した場合（ステップＳ３６；ＮＯ）、制御部１０は、ステップＳ３３の処理に戻り、次のフレーム画像について、ステップＳ３３〜ステップＳ３５の処理を繰り返し実行する。即ち、指定時間Ｔの間、投影対象物は、センサ番号ｘの人感センサＳＥｘの検出範囲Ｒｘの方向にいる聴衆Ａの方向を向くこととなり、指定時間Ｔが経過した場合、次の聴衆Ａの方向を向くこととなる。

指定時間Ｔが経過したと判断した場合（ステップＳ３６；ＹＥＳ）、制御部１０は、Ｎ＋１＞反応した人感センサ数であるか否かを判断する（ステップＳ３７）。Ｎ＋１＞反応した人感センサ数であると判断した場合（ステップＳ３７；ＹＥＳ）、制御部１０は、ステップＳ２１の処理に戻る。即ち、新たに人感センサＳＥ１〜ＳＥｎの値を取得し直して、ステップＳ２１以降の処理を実行する。

Ｎ＋１＞反応した人感センサ数でないと判断した場合（ステップＳ３７；ＮＯ）、制御部１０は、順番Ｎ＋１の人感センサＳＥのセンサ番号と変数ｘ（順番Ｎの人感センサＳＥのセンサ番号）の差分を算出して変数ｍに格納し（ステップＳ３８）、変数ｍが正であるか否かを判断する（ステップＳ３９）。変数ｍの値が正であると判断した場合（ステップＳ３９；ＹＥＳ）、制御部１０は、変数ｘを１インクリメントし（ステップＳ４０）、ステップＳ４２の処理に移行する。変数ｍの値が負であると判断した場合（ステップＳ３９；ＮＯ）、制御部１０は、変数ｘを１デクリメントし（ステップＳ４１）、ステップＳ４２の処理に移行する。

ステップＳ４２において、制御部１０は、変数ｘが順番Ｎ＋１のセンサ番号であるか否かを判断する（ステップＳ４２）。変数ｘが順番Ｎ＋１のセンサ番号ではないと判断した場合（ステップＳ４２；ＮＯ）、制御部１０は、投影対象のフレームの複数の投影画像のうち、センサ番号ｘに対応する投影画像を選択し、記憶部１３の映像データ記憶部１３２から選択した投影画像を読み出す（ステップＳ４３）。そして、読み出された投影画像をＩ／Ｆ１４を介してプロジェクタ２に送信し、投影画像に基づいて、映像コンテンツをスクリーン５に投影させるとともに、投影画像に対応する音声データを音声出力部１６により音声信号に変換させ、スピーカ４より音声出力させる（ステップＳ４４）。スクリーン５への投影方法は、図６のステップＳ８で説明したものと同様であるので説明を援用する。

次いで、制御部１０は、映像コンテンツに次のフレームがあるか否かを判断する（ステップＳ４６）。次のフレームがあると判断した場合（ステップＳ４６；ＹＥＳ）、制御部１０は、ステップＳ３９に戻る。即ち、次の順番Ｎ＋１の人感センサＳＥに到達するまで、ステップＳ３９〜ステップＳ４６を繰り返し、１フレーム毎に、順番Ｎの人感センサＳＥと順番Ｎ＋１の方向の間にある人感センサＳＥを１つずつずらしながら、その人感センサＳＥに対応する投影画像を順次投影していく。即ち、順番Ｎの人感センサＳＥの検知範囲の方向と順番Ｎ＋１の人感センサＳＥの検知範囲の方向の間を向く投影画像が存在する場合、順番Ｎの人感センサＳＥの検知範囲の方向に近い方向を向く投影画像から順に投影されるので、投影対象物の向きをゆるやかに変化させることができ、違和感のない投影を行うことが可能となる。

一方、ステップＳ４２において、変数ｘが順番Ｎ＋１のセンサ番号であると判断した倍（ステップＳ４２；ＹＥＳ）、制御部１０は、変数Ｎをインクリメントし（ステップＳ４５）、ステップＳ３２の処理に戻る。即ち、次の順番Ｎ＋１の人感センサＳＥに到達すると、Ｎ←Ｎ＋１として、順番Ｎの人感センサＳＥの検知範囲の方向を向くような投影画像を選択して投影が行われる。
以降、反応があった全ての人感センサＳＥの検知範囲の方向に対応する投影画像が選択されるまで、制御部１０は、ステップＳ３２以降の処理を繰り返し実行する。全ての人感センサＳＥの検知範囲の方向に対応する投影画像が選択されると、制御部１０は、ステップＳ３７の判断によって、ステップＳ２１の処理に戻り、新たに人感センサＳＥ１〜ＳＥｎの値を取得し直して、ステップＳ２１以降の処理を実行する。

ステップＳ４６において、映像コンテンツに次のフレームがないと判断した場合（ステップＳ４６；ＮＯ）、制御部１０は、再生制御処理Ｂを終了する。

このように、第２の実施形態によれば、映像コンテンツの投影対象物が一箇所だけでなく、聴衆Ａが存在する複数の方向を順に向きながら説明等を行うことが可能となる。従って、聴衆Ａを構成するより多くの人々に投影像に対する親近感を抱かせることができ、投影像による説明の説得力を向上させることができる。即ち、投影用映像コンテンツのより効果的な投影が可能となる。
また、投影対象物が向く聴衆Ａの方向を変える場合は、方向を変える前の聴衆Ａの方向と次の聴衆Ａの方向の間を向く投影画像が映像データ記憶部１３２に記憶されている場合は、それらの投影画像を方向を変える前の聴衆Ａの方向に近い方向を向く投影画像から順次選択して投影するので、投影対象物の向きをゆるやかに変化させることができ、違和感のない投影を行うことが可能となる。

以上説明したように、コンテンツ再生システム１００において、画像処理装置１の制御部１０は、人感センサＳＥ１〜ＳＥｎの検知結果に基づいて、スクリーン５を見る聴衆Ａの方向を検出する。そして、検出された聴衆Ａの方向に基づいて、スクリーン５に投影される投影対象物が聴衆Ａの方向を向くような投影画像を記憶部１３の映像データ記憶部１３２に記憶された複数の投影画像から選択し、プロジェクタ２に送信して投影させる。
従って、聴衆Ａの立ち位置によってスクリーン５に投影される投影像の向きをリアルタイムに変化させることができるので、聴衆Ａにはあたかも投影対象物（人物等）が聴衆Ａに語りかけているように感じられ、投影対象物に対する親近感を抱かせることができる。その結果、映像コンテンツによる説得力が増すなど、効果的な演出を行うことが可能となる。

また、制御部１０は、人感センサＳＥ１〜ＳＥｎのうち複数が反応した場合、反応した複数の人感センサＳＥを聴衆Ａの方向とし、スクリーン５に投影される投影対象物が順次検出された複数の聴衆Ａの方向を向くように順次投影画像の選択を行う。
従って、映像コンテンツの投影対象物が一箇所だけでなく、聴衆Ａが存在する複数の方向を順に向きながら説明等を行うことが可能となるので、聴衆Ａを構成するより多くの人々に投影対象物に対する親近感を抱かせることができ、映像コンテンツによる説明の説得力を向上させることができる。

また、制御部１０は、スクリーン５に投影される投影対象物が、予め定められた個数の人感センサＳＥのうち検知した値が大きい人感センサＳＥの検出範囲に対応する聴衆の方向のほうから順番に向くように順次前記投影画像の選択を行うので、より多くの聴衆Ａが存在する方向から順に投影対象物が向くようにすることができる。

また、制御部１０は、スクリーン５に投影される投影対象物が一の聴衆の方向を向いてから予め定められた指定時間が経過した場合に次の聴衆の方向を向くように、投影画像の選択を行うので、複数の方向に聴衆Ａが存在する場合は、投影対象物の向きを固定せずに、指定時間Ｔが経過したら他の方向に投影対象物の向きを変化させることができる。

また、制御部１０は、投影対象物が一の聴衆の方向を向く投影画像を選択してから次の聴衆の方向を向く投影画像を選択する場合、一の聴衆の方向と次の聴衆の方向の間を向く投影画像が映像データ記憶部１３２に記憶されている場合は、一の聴衆の方向と次の聴衆の方向の間を向く投影画像を一の聴衆の方向に近い方向を向く投影画像から順次選択した後に次の投影画像を選択するので、緩やかに投影対象物の方向を変化させることができ、違和感のない投影を行うことが可能となる。

また、人感センサＳＥ１〜ＳＥｎのうち複数が反応した場合、反応した複数の人感センサＳＥのうち検知した値が最も大きい人感センサＳＥの検知範囲の方向を聴衆Ａの方向として検出し、投影対象物がその方向を向く投影画像を選択するようにしてもよい。これにより、より多くの聴衆Ａが存在する方向に投影対象物を向けることができ、多くの聴衆Ａに投影対象物に対する親近感を抱かせることができ、効果的な投影が可能となる。
る。

また、制御部１０は、人感センサＳＥ１〜ＳＥｎのうち１つのみが複数が反応した場合、反応した人感センサＳＥの検知範囲の方向を聴衆の方向として検出し、投影対象物がその方向を向く投影画像を選択するので、聴衆Ａの方向を向いた投影対象物を投影することができる。これにより、聴衆Ａに投影対象物に対する親近感を抱かせることができ、効果的な投影が可能となる。

また、複数の投影画像は、互いに投影対象物の視線の方向が異なるものとすることで、人物等を撮影した映像の視線のみを変えることにより容易に投影画像を準備することができる。

また、スクリーン５を映像コンテンツの投影対象物の形状に成型されたものとすることで、あたかも人物等の投影対象物がそこに存在しているかのような存在感のある投影像を得ることができる。

なお、上記実施形態における記述内容は、本発明に係るコンテンツ再生システムの好適な一例であり、これに限定されるものではない。

例えば、上記実施形態においては、画像処理装置１とプロジェクタ２とは別体であることとして説明したが、一体的に構成されたものであってもよい。即ち、プロジェクタ２に画像処理装置１が含まれる構成とし、プロジェクタ２において、映像コンテンツの各フレームについて投影対象物の向きが異なる複数の投影画像を記憶し、人感センサＳＥ１〜ＳＥｎの検知結果に基づいて聴衆Ａの方向の検出を行い、スクリーン５に投影される投影対象物が検出した聴衆Ａの方向を向くような投影画像を選択して投影することとしてもよい。

また、上記実施形態においては、プロジェクタ２の出力光がスクリーン５の背面に直接照射される構成を例にとり説明したが、プロジェクタ２の出力光を反射するミラーを設け、ミラーの反射光をプロジェクタ２の背面に投影することとしてもよい。

また、上記実施形態においては、スクリーン５が投影対象物の形状に成型されている例について説明したが、これに限定されず、例えば、一般的な矩形等のスクリーンに映像コンテンツを投影する場合にも本発明を適用することができる。

また、上記実施形態においては、映像コンテンツの各フレームについて、投影対象物の視線が異なる複数の投影画像を記憶しておき、聴衆Ａの方向に応じて投影対象物の視線の方向を変化させることとしたが、投影対象物の顔全体の向きや体全体の向きを変化させた複数の投影画像を記憶しておき、聴衆Ａの方向に応じて投影対象物の顔の向きや体の向きを変化させることとしてもよい。

また、上記第２の実施形態においては、複数の人感センサＳＥの反応があった場合、反応のあった全ての人感センサＳＥの検知範囲の方向を聴衆Ａの方向として検出し、スクリーン５に投影される投影対象物が順次検出された方向を向くように投影画像の選択を行うこととしたが、これに限らず、例えば、検出した値の大きい順に２つや３つ等、予め定められた個数の人感センサＳＥの検知範囲の方向のみを聴衆Ａの方向として検出してもよい。
また、上記実施形態においては、投影画像を投影対象物全体の画像としたが、これに限らず、例えば、投影画像は、投影対象物の目の部分が所定の方向を向く部分画像と投影対象物の目の部分を除いた全体画像とからなることとしてもよい。そして、映像データ記憶部１３２には、映像コンテンツの各フレームの複数の投影画像として、目の部分の方向が異なる複数の部分画像と、全体画像とを記憶しておき、制御部１０が、目の部分が聴衆Ａの方向に応じた方向を向く部分画像を選択することで、スクリーン５に投影される投影対象物の向きを変化させるようにしてもよい。このようにすることで、映像を記憶する容量の削減ができる。

また、上記実施形態においては、映像コンテンツの映像データは記憶部１３に記憶されていることとして説明したが、画像処理装置１に通信ネットワークを介して接続されるサーバから配信される構成としてもよい。また、ＵＳＢメモリや各種の記録媒体から映像データを取り込む構成としてもよい。

また、上記の各処理を実行するためのプログラムを格納したコンピュータ読み取り可能な媒体として、ＲＯＭやハードディスク等の他、フラッシュメモリ等の不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬型記録媒体を適用することも可能である。また、プログラムのデータを所定の通信回線を介して提供する媒体としては、キャリアウェーブ（搬送波）も適用される。

その他、コンテンツ再生システムを構成する各装置の細部構成及び細部動作に関しても、発明の趣旨を逸脱することのない範囲で適宜変更可能である。

(付記)
本発明のいくつかの実施形態を説明したが、本発明の範囲は、上述の実施形態に限定するものではなく、特許請求の範囲に記載された発明の範囲とその均等の範囲を含む。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
＜請求項１＞
スクリーンに投影される投影対象物の向きが異なる複数の投影画像を記憶する記憶手段と、
複数の人感センサと、
前記複数の人感センサの検知結果に基づいて、前記スクリーンを見る聴衆の方向を検出する検出手段と、
前記検出手段によって検出された前記聴衆の方向に基づいて、前記スクリーンに投影される投影対象物が前記聴衆の方向を向くような投影画像を前記記憶手段に記憶された複数の投影画像から選択する画像選択手段と、
を備える画像処理装置。
＜請求項２＞
前記検出手段は、前記人感センサのうち複数が反応した場合、前記反応した人感センサのうち、検知した値が大きい方から予め定められた個数の人感センサの検知範囲の方向を前記聴衆の方向として検出し、
前記画像選択手段は、前記スクリーンに投影される投影対象物が順次前記検出された複数の聴衆の方向を向くように順次前記投影画像の選択を行う請求項１に記載の画像処理装置。
＜請求項３＞
前記画像選択手段は、前記スクリーンに投影される投影対象物が、前記予め定められた個数の人感センサのうち検知した値が大きい人感センサの検出範囲に対応する聴衆の方向のほうから順番に向くように順次前記投影画像の選択を行う請求項２に記載の画像処理装置。
＜請求項４＞
前記画像選択手段は、前記スクリーンに投影される投影対象物が一の聴衆の方向を向いてから予め定められた指定時間が経過した場合に次の聴衆の方向を向くように、前記投影画像の選択を行う請求項２又は３に記載の画像処理装置。
＜請求項５＞
前記画像選択手段は、前記投影対象物が一の聴衆の方向を向く投影画像を選択してから次の聴衆の方向を向く投影画像を選択する場合に、前記一の聴衆の方向と前記次の聴衆の方向の間を向く投影画像が前記記憶手段に記憶されている場合は、前記一の聴衆の方向と前記次の聴衆の方向の間を向く投影画像を前記一の聴衆の方向に近い方向を向く投影画像から順次選択した後に前記次の投影画像を選択する請求項２〜４の何れか一項に記載の画像処理装置。
＜請求項６＞
前記検出手段は、前記人感センサのうち複数が反応した場合、前記反応した複数の人感センサのうち検知した値が最も大きい人感センサの検知範囲の方向を前記聴衆の方向として検出する請求項１に記載の画像処理装置。
＜請求項７＞
前記検出手段は、前記複数の人感センサのうち１つのみが反応した場合、前記反応した人感センサの検知範囲の方向を前記聴衆の方向として検出する請求項１に記載の画像処理装置。
＜請求項８＞
前記投影対象物は、少なくとも顔を含み、前記投影対象物の向きが異なる複数の投影画像は、前記投影対象物の視線の方向が異なる複数の投影画像である請求項１〜７の何れか一項に記載の画像処理装置。
＜請求項９＞
前記スクリーンは、前記投影対象物の形状に成型されたスクリーンである請求項１〜８の何れか一項に記載の画像処理装置。
＜請求項１０＞
前記投影画像は、前記投影対象物の所定部分が所定の方向を向く部分画像と前記投影対象物の前記所定部分を除いた全体画像とからなり、
前記記憶手段は、前記複数の投影画像として、前記所定の方向が異なる複数の部分画像と、前記全体画像とを記憶し、
前記画像選択手段は、前記検出手段によって検出された前記聴衆の方向に基づいて、前記スクリーンに投影される投影対象物が前記聴衆の方向を向くような部分画像を前記記憶手段に記憶された複数の投影画像から選択する請求項１〜９の何れか一項に記載の画像処理装置。
＜請求項１１＞
前記記憶手段は、前記投影対象物が全体を見渡す画像を更に記憶し、
前記検出手段は、前記人感センサのうち複数が反応した場合、前記スクリーンを見る聴衆の方向が複数方向であることを検出し、
前記画像選択手段は、前記投影対象物が全体を見渡す画像を選択する請求項１に記載の画像処理装置。
＜請求項１２＞
スクリーンに投影される投影対象物の向きが異なる複数の投影画像を記憶する記憶手段と、
複数の人感センサと、
前記複数の人感センサの検知結果に基づいて、前記スクリーンを見る聴衆の方向を検出する検出手段と、
前記検出手段によって検出された前記聴衆の方向に基づいて、前記スクリーンに投影される投影対象物が前記聴衆の方向を向くような投影画像を前記記憶手段に記憶された複数の投影画像から選択する画像選択手段と、
前記選択された投影画像に基づいて前記スクリーンに前記投影対象物を投影する投影手段と、
を備える投影装置。
＜請求項１３＞
スクリーンに投影される投影対象物の向きが異なる複数の投影画像を記憶する記憶手段を備える画像処理装置における画像選択方法であって、
複数の人感センサの検知結果に基づいて、前記スクリーンを見る聴衆の方向を検出する工程と、
前記検出手段によって検出された前記聴衆の方向に基づいて、前記スクリーンに投影される投影対象物が前記聴衆の方向を向くような投影画像を前記記憶手段に記憶された複数の投影画像から選択する工程と、
を備える画像選択方法。
＜請求項１４＞
コンピュータを、
スクリーンに投影される投影対象物の向きが異なる複数の投影画像を記憶する記憶手段、
複数の人感センサの検知結果に基づいて、前記スクリーンを見る聴衆の方向を検出する検出手段、
前記検出手段によって検出された前記聴衆の方向に基づいて、前記スクリーンに投影される投影対象物が前記聴衆の方向を向くような投影画像を前記記憶手段に記憶された複数の投影画像から選択する画像選択手段、
として機能させるためのプログラム。

１００ コンテンツ再生システム
１ 画像処理装置
１０ 制御部
１１ 操作部
１２ 表示部
１３ 記憶部
１３１ プログラム記憶部
１３２ 映像データ記憶部
１４ Ｉ／Ｆ
１５ Ｉ／Ｆ
１６ 音声出力部
２ プロジェクタ
４ スピーカ
５ スクリーン
５１ 基材
５２ スクリーンフィルム
５３ フィルム
６ 支持台

Claims (14)

1. スクリーンに投影される投影対象物の向きが異なる複数の投影画像を記憶する記憶手段と、
   複数の人感センサと、
   前記複数の人感センサの検知結果に基づいて、前記スクリーンを見る聴衆の方向を検出する検出手段と、
   前記検出手段によって検出された前記聴衆の方向に基づいて、前記スクリーンに投影される投影対象物が前記聴衆の方向を向くような投影画像を前記記憶手段に記憶された複数の投影画像から選択する画像選択手段と、
   を備え、
   前記検出手段は、前記人感センサのうち複数が反応した場合、前記反応した人感センサのうち、検知した値が大きい方から予め定められた個数の人感センサの検知範囲の方向を前記聴衆の方向として検出し、
   前記画像選択手段は、前記スクリーンに投影される投影対象物が順次前記検出された複数の聴衆の方向を向くように順次前記投影画像の選択を行う画像処理装置。
2. 前記画像選択手段は、前記スクリーンに投影される投影対象物が、前記予め定められた個数の人感センサのうち検知した値が大きい人感センサの検出範囲に対応する聴衆の方向のほうから順番に向くように順次前記投影画像の選択を行う請求項１に記載の画像処理装置。
3. 前記画像選択手段は、前記スクリーンに投影される投影対象物が一の聴衆の方向を向いてから予め定められた指定時間が経過した場合に次の聴衆の方向を向くように、前記投影画像の選択を行う請求項１又は２に記載の画像処理装置。
4. 前記画像選択手段は、前記投影対象物が一の聴衆の方向を向く投影画像を選択してから次の聴衆の方向を向く投影画像を選択する場合に、前記一の聴衆の方向と前記次の聴衆の方向の間を向く投影画像が前記記憶手段に記憶されている場合は、前記一の聴衆の方向と前記次の聴衆の方向の間を向く投影画像を前記一の聴衆の方向に近い方向を向く投影画像から順次選択した後に前記次の投影画像を選択する請求項１〜３の何れか一項に記載の画像処理装置。
5. スクリーンに投影される投影対象物の向きが異なる複数の投影画像を記憶する記憶手段と、
   複数の人感センサと、
   前記複数の人感センサの検知結果に基づいて、前記スクリーンを見る聴衆の方向を検出する検出手段と、
   前記検出手段によって検出された前記聴衆の方向に基づいて、前記スクリーンに投影される投影対象物が前記聴衆の方向を向くような投影画像を前記記憶手段に記憶された複数の投影画像から選択する画像選択手段と、
   を備え、
   前記検出手段は、前記人感センサのうち複数が反応した場合、前記反応した複数の人感センサのうち検知した値が最も大きい人感センサの検知範囲の方向を前記聴衆の方向として検出する画像処理装置。
6. スクリーンに投影される投影対象物の向きが異なる複数の投影画像を記憶する記憶手段と、
   複数の人感センサと、
   前記複数の人感センサの検知結果に基づいて、前記スクリーンを見る聴衆の方向を検出する検出手段と、
   前記検出手段によって検出された前記聴衆の方向に基づいて、前記スクリーンに投影される投影対象物が前記聴衆の方向を向くような投影画像を前記記憶手段に記憶された複数の投影画像から選択する画像選択手段と、
   を備え、
   前記検出手段は、前記複数の人感センサのうち１つのみが反応した場合、前記反応した人感センサの検知範囲の方向を前記聴衆の方向として検出する画像処理装置。
7. 前記投影対象物は、少なくとも顔を含み、前記投影対象物の向きが異なる複数の投影画像は、前記投影対象物の視線の方向が異なる複数の投影画像である請求項１〜６の何れか一項に記載の画像処理装置。
8. 前記スクリーンは、前記投影対象物の形状に成型されたスクリーンである請求項１〜７の何れか一項に記載の画像処理装置。
9. 前記投影画像は、前記投影対象物の所定部分が所定の方向を向く部分画像と前記投影対象物の前記所定部分を除いた全体画像とからなり、
   前記記憶手段は、前記複数の投影画像として、前記所定の方向が異なる複数の部分画像と、前記全体画像とを記憶し、
   前記画像選択手段は、前記検出手段によって検出された前記聴衆の方向に基づいて、前記スクリーンに投影される投影対象物が前記聴衆の方向を向くような部分画像を前記記憶手段に記憶された複数の投影画像から選択する請求項１〜８の何れか一項に記載の画像処理装置。
10. スクリーンに投影される投影対象物の向きが異なる複数の投影画像を記憶する記憶手段と、
    複数の人感センサと、
    前記複数の人感センサの検知結果に基づいて、前記スクリーンを見る聴衆の方向を検出する検出手段と、
    前記検出手段によって検出された前記聴衆の方向に基づいて、前記スクリーンに投影される投影対象物が前記聴衆の方向を向くような投影画像を前記記憶手段に記憶された複数の投影画像から選択する画像選択手段と、
    を備え、
    前記記憶手段は、前記投影対象物が全体を見渡す画像を更に記憶し、
    前記検出手段は、前記人感センサのうち複数が反応した場合、前記スクリーンを見る聴衆の方向が複数方向であることを検出し、
    前記画像選択手段は、前記投影対象物が全体を見渡す画像を選択する画像処理装置。
11. スクリーンに投影される投影対象物の向きが異なる複数の投影画像を記憶する記憶手段を備える画像処理装置における画像選択方法であって、
    複数の人感センサのうち複数が反応した場合、前記反応した人感センサのうち、検知した値が大きい方から予め定められた個数の人感センサの検知範囲の方向を、前記スクリーンを見る複数の聴衆の方向として検出する検出工程と、
    前記検出工程によって検出された前記聴衆の方向に基づいて、前記スクリーンに投影される投影対象物が前記検出された複数の前記聴衆の方向を順次向くような投影画像を前記記憶手段に記憶された複数の投影画像から選択する画像選択工程と、
    を含む画像選択方法。
12. 複数の人感センサと、スクリーンに投影される投影対象物の向きが異なる複数の投影画像を記憶する記憶手段を備える画像処理装置における画像選択方法であって、
    前記人感センサのうち複数が反応した場合、前記反応した複数の人感センサのうち検知した値が最も大きい人感センサの検知範囲の方向を、前記スクリーンを見る聴衆の方向として検出する検出工程と、
    前記検出工程によって検出された前記聴衆の方向に基づいて、前記スクリーンに投影される投影対象物が前記聴衆の方向を向くような投影画像を前記記憶手段に記憶された複数の投影画像から選択する画像選択工程と、
    を含む画像選択方法。
13. 複数の人感センサと、スクリーンに投影される投影対象物の向きが異なる複数の投影画像を記憶する記憶手段を備える画像処理装置における画像選択方法であって、
    前記複数の人感センサのうち１つのみが反応した場合、前記反応した人感センサの検知範囲の方向を前記スクリーンを見る聴衆の方向として検出する検出工程と、
    前記検出工程によって検出された前記聴衆の方向に基づいて、前記スクリーンに投影される投影対象物が前記聴衆の方向を向くような投影画像を前記記憶手段に記憶された複数の投影画像から選択する画像選択工程と、
    を含む画像選択方法。
14. 複数の人感センサと、スクリーンに投影される投影対象物が全体を見渡す画像を記憶する記憶手段を備える画像処理装置における画像選択方法であって、
    前記人感センサのうち複数が反応した場合、前記スクリーンを見る聴衆の方向が複数方向であることを検出する検出工程と、
    前記検出工程によって検出された前記聴衆の方向に基づいて、前記投影対象物が全体を見渡す画像を選択する画像選択工程と、
    を含む画像選択方法。

Images