JP5631700B2 - 影画像表示システム、影画像表示方法、及び影画像表示プログラム - Google Patents

Description

本発明は、動物の影の画像を利用して各種の制御を行うための影画像表示システム、影画像表示方法、及び影画像表示プログラムに関する。

従来、人をカメラにて撮像し、当該撮像された画像に基づいて、所定装置の制御を行ったり、特定の領域を監視するシステムが提案されている。

例えば、所定装置の制御を行うものとしては、カメラにて撮像された画像に基づいて、人の動作を検出し、所定動作が検出された場合には、当該動作に予め割り当てられた所定の制御を行うシステムが提案されている。このようなシステムによれば、人の動作を装置制御用のインターフェースとして利用することができる。

あるいは、特定の領域を監視するものとしては、敷地内に設けられたカメラからの映像信号に基づいて監視対象を特定し、当該特定した監視対象の位置や軌跡を表示装置に表示するシステムが提案されている（例えば、特許文献１参照）。このようなシステムによれば、人の位置や軌跡をセキュリティー情報として利用することができる。

特開２００６−２０２０６２号公報

しかしながら、このようなシステムでは、人自体の動作や位置等を直接的にインターフェースやセキュリティー情報として利用しており、人という物理的な存在を単にそのまま利用していたので、インターフェースとしての面白みに欠けたり、監視される人に対して不快感を与えるという問題があった。

本発明は、上記に鑑みてなされたものであって、人を含む動物の動作や位置等をインターフェースやセキュリティー情報として利用する場合において、インターフェースとしての面白みを向上させたり、セキュリティー情報として利用される人に対して不快感を取り除くことが可能となる、影画像表示システム、影画像表示方法、及び影画像表示プログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、請求項１に記載の影画像表示システムは、動物を撮像する撮像手段と、前記撮像手段により撮像された前記動物の画像に基づいて、前記動物の位置を検出する位置検出手段と、前記撮像手段により撮像された前記動物の画像に基づいて、前記動物の輪郭を抽出する輪郭抽出手段と、前記輪郭抽出手段にて抽出された輪郭に基づいて、前記動物の影画像を生成する影生成手段と、前記影生成手段にて生成された影画像を出力する画像出力手段であって、前記撮像手段にて撮像された動物を挟んで当該撮像手段とは反対側に位置する投影面に対して前記影画像を投影出力する画像出力手段と、前記位置検出手段にて検出された前記動物の位置に応じた制御を行う制御手段と、を備える。

また、請求項２に記載の影画像表示システムは、請求項１に記載の影画像表示システムにおいて、前記位置検出手段にて検出された前記動物の位置に基づいて、前記動物の動作を検出する動作検出手段を備え、前記制御手段は、前記動作検出手段にて検出された前記動物の動作に応じた制御を行う。

また、請求項３に記載の影画像表示システムは、請求項１又は２に記載の影画像表示システムにおいて、前記画像出力手段は、前記影画像の出力領域内に、操作用インターフェースを出力し、前記制御手段は、前記影画像の出力領域内に出力された前記操作用インターフェースと、前記位置検出手段にて検出された前記動物の位置との相対的な位置関係に応じた制御を行う。

また、請求項４に記載の影画像表示システムは、請求項１から３のいずれか一項に記載の影画像表示システムにおいて、前記影画像に重畳して表示する重畳画像を格納する重畳画像格納手段を備え、前記制御手段は、前記位置検出手段にて検出された前記動物の位置に応じて、前記影画像に重畳して表示すべき重畳画像を前記重畳画像格納手段から取得すると共に、当該取得した重畳画像の表示位置を決定し、当該取得した重畳画像を当該決定した位置に基づいて前記影画像に重畳して表示する。

また、請求項５に記載の影画像表示方法は、動物を撮像手段にて撮像する撮像ステップと、前記撮像ステップにより撮像された前記動物の画像に基づいて、前記動物の位置を検出する位置検出ステップと、前記撮像ステップにより撮像された前記動物の画像に基づいて、前記動物の輪郭を抽出する輪郭抽出ステップと、前記輪郭抽出ステップにて抽出された輪郭に基づいて、前記動物の影画像を生成する影生成ステップと、前記影生成ステップにて生成された影画像を出力する画像出力ステップであって、前記撮像手段にて撮像された動物を挟んで当該撮像手段とは反対側に位置する投影面に対して前記影画像を投影出力する画像出力ステップと、前記位置検出ステップにて検出された前記動物の位置に応じた制御を行う制御ステップと、を含む。

また、請求項６に記載の影画像表示プログラムは、請求項５に記載の方法をコンピュータに実行させる。

請求項１に記載の影画像表示システム、請求項５に記載の影画像表示方法、及び請求項６に記載の影画像表示プログラムによれば、動物の画像に基づいて輪郭が抽出され、この輪郭に基づいて影画像が生成されて出力され、さらに、動物の位置に応じた制御が行われるので、動物という物理的な存在ではなく、動物の影画像という仮想的な画像を利用して様々な制御を行うことができるので、影画像をインターフェースとして利用した場合には、仮想的な面白みのあるインターフェースを構築することができ、あるいは、影画像をセキュリティー情報として利用した場合には、仮想的な情報による緩やかな監視を行うことで、監視される人の不快感を和らげることができる。

また、請求項２に記載の影画像表示システムによれば、動物の動作に応じた制御を行うので、動作に応じた直観的で迅速な制御を行うことが可能になる。

また、請求項３に記載の影画像表示システムによれば、操作用インターフェースと動物の位置との相対的な位置関係に応じた制御を行うので、様々な形状や位置の操作用インターフェースを利用した多様性のある制御を行うことが可能になる。

また、請求項４に記載の影画像表示システムによれば、重畳画像を影画像に重畳して表示するので、出力する画像の仮想性をさらに高めることで、インターフェースやセキュリティー情報の面白みや多様性を向上させることができる。

本発明の実施形態１に係る影画像表示システムを適用した空間の斜視図である。 実施形態１に係る影画像表示システムを機能概念的に例示するブロック図である。 操作内容定義情報の構成例を示す図である。 輪郭履歴情報の構成例を示す図である。 位置履歴情報の構成例を示す図である。 影画像表示処理のフローチャートである。 実施形態２に係る影画像表示システムを機能概念的に例示するブロック図である。 操作内容定義情報の構成例を示す図である。 商品情報の構成例を示す図である。 影画像表示処理のフローチャートである。 影画像の出力例を示す図である。 実施形態３に係る影画像表示システムを機能概念的に例示するブロック図である。 操作内容定義情報の構成例を示す図である。 セキュリティ情報の構成例を示す図である。 影画像表示処理のフローチャートである。 影画像の出力例を示す図である。

以下に添付図面を参照して、この発明に係る影画像表示システム、影画像表示方法、及び影画像表示プログラムの各実施の形態を詳細に説明する。まず、〔Ｉ〕各実施の形態に共通の基本的概念を説明した後、〔II〕各実施の形態の具体的内容について説明し、〔III〕最後に、各実施の形態に対する変形例について説明する。ただし、各実施の形態によって本発明が限定されるものではない。

〔Ｉ〕各実施の形態に共通の基本的概念
まず、各実施の形態に共通の基本的概念について説明する。各実施の形態に係る影画像表示システム、影画像表示方法、及び影画像表示プログラムは、商業施設、オフィス、及びアミューズメント施設を含む任意の空間において、動物の影の画像を利用して各種の制御を行うためのものである。

動物とは、人の他にも、犬や猫の如き任意の生物を含む概念である。例えば、犬の如き動物が所定動作を行ったことを、当該動物の影の画像（以下、影画像）を利用して検出し、各種の制御を行うことができる。この場合において、動物自身に、当該制御を行う意思があったか否かに関わらず、当該制御を行うことができる。以下では、人の影画像を利用する場合について説明する。

影とは、動物が光を遮った際に、当該動物を挟んで当該光と反対側にできる、当該動物の形の像を意味するが、ここでは、このような像以外に、後述する投影手段によって人為的に投影された動物の形の像を含む。また、光を遮った動物の外形を完全に反映した黒い像以外にも、人為的に外形や色が修正された像を含む。

各種の制御の具体的内容は任意であり、動物の影画像を利用して行うことができる限りにおいて、あらゆる制御が対象になるが、以下では、影画像を装置制御のインターフェースとして利用する場合（実施の形態１及び実施の形態２）と、影画像を用いてセキュリティ制御を行う場合（実施の形態３）とについて説明する。

各実施の形態に係る影画像表示システム、影画像表示方法、及び影画像表示プログラムの特徴の一つは、撮像手段により撮像された動物の画像に基づいて、動物の影画像を生成して出力し、動物の位置に応じた制御を行う点にある。このように、人為的に生成した影画像を利用することで、人という物理的な存在を単にそのまま利用する場合に比べて、インターフェースとしての面白みを向上させたり、セキュリティー情報として利用される人に対して不快感を与えることを回避することができる。

〔II〕各実施の形態の具体的内容
次に、各実施の形態の具体的内容について説明する。

〔実施の形態１〕
最初に、実施の形態１について説明する。この形態は、影画像を装置制御のインターフェースとして利用する形態である。

（構成）
図１は、実施の形態１に係る影画像表示システム１を適用した空間の斜視図である。図１に示すように、この空間には、床と壁が配置されており、その内部又は外部近傍に影画像表示システム１が配置されている。ここでは、床に人が立ち、この人の影画像が壁に投影されるものとする。従って、壁の表面は、影画像を投影する投影面として機能する。

図２は、影画像表示システム１を機能概念的に例示するブロック図である。図２に示すように、この影画像表示システム１は、カメラ１０、プロジェクタ２０、及び影画像表示装置３０を備えて構成されている。

（構成−カメラ）
カメラ１０は、人を撮像する撮像手段であり、撮像した画像を影画像表示装置３０に出力する。例えば、カメラ１０は、床に人が立つと想定される領域に向けて設置されている。このカメラ１０は、例えば、赤外線サーモグラフィカメラとして構成され、撮像領域における赤外線を検出し、当該赤外線の波長分布に基づいて、撮像領域の温度分布画像を出力する。このようにサーモグラフィカメラを使用することで、照度が不足している場合や背景が雑多な場合であっても、撮像された画像に基づいて人の輪郭を正確に検出することが可能になる。ただし、このような必要性がない場合には、光学式カメラを使用してもよい。

（構成−プロジェクタ）
プロジェクタ２０は、後述する影生成部３４ｃにて生成された影画像を出力する画像出力手段である。例えば、プロジェクタ２０は、壁に画像を投影可能な位置であって、床に人が立つと想定される領域と投影光線とが相互に干渉しない位置に設置されている。例えば、プロジェクタ２０は、液晶プロジェクタやＤＬＰプロジェクタの如き任意構造の公知のプロジェクタとして構成される。

（構成−影画像表示装置）
影画像表示装置３０は、影画像表示に関する制御を行う制御装置であり、入力部３１、出力部３２、記憶部３３、及び制御部３４を備えて構成される。この影画像表示装置３０には、上述のカメラ１０及びプロジェクタ２０が有線又は無線にて接続されている。

入力部３１は、影画像表示装置３０が実行する各種処理に必要な情報を当該影画像表示装置３０に入力する入力手段であり、ここでは、キーボード及びマウスとして構成されている。

出力部３２は、影画像表示装置３０からの情報を外部装置に出力する出力手段であり、ここでは、モニタ、スピーカ、及び外部装置制御用のインターフェースとして構成されている。外部装置制御用のインターフェースとは、後述する操作制御部３４ｆが所定の外部装置に対して制御を行う際に、当該所定の外部装置に対して制御信号を送信等するためのインターフェースである。

記憶部３３は、影画像表示装置３０の動作に必要なプログラム及び各種のデータを記憶する記憶手段であり、例えば、外部記憶装置としてのハードディスク（図示省略）を用いて構成されている。ただし、ハードディスクに代えてあるいはハードディスクと共に、磁気ディスクの如き磁気的記録媒体、又はＤＶＤやブルーレイディスクの如き光学的記録媒体を含む、その他の任意の記録媒体を用いることができる。

この記憶部３３は、操作内容定義情報データベース（以下、データベースをＤＢと表記する）３３ａ、輪郭履歴情報ＤＢ３３ｂ、及び位置履歴情報ＤＢ３３ｃを備える。

操作内容定義情報ＤＢ３３ａは、所定装置の操作内容を定義するための操作内容定義情報を格納する操作内容定義情報格納手段である。この操作内容定義情報は、図３の構成例に示すように、項目「動作」及び項目「操作内容」と、これら各項目に対応する情報を関連付けて構成されている。項目「動作」に対応する情報は、人の動作を特定するための情報であり、ここでは、「右腕上げ」、「右腕下げ」、「左腕上げ」、「左腕下げ」の４種類の情報である。例えば、「右腕上げ」とは、人が右腕を所定基準位置よりも下方から上方に上げる動作を示している。項目「操作内容」に対応する情報は、所定装置の操作内容を特定するための情報であり、ここでは、「空調機ＯＮ」、「空調機ＯＦＦ」、「照明ＯＮ」、「照明ＯＦＦ」の４種類の情報である。すなわち、ここでは、所定装置として空調機又は照明（いずれも図示省略）を制御することを想定しており、例えば、「空調機ＯＮ」とは、空調機の電源をＯＮすることを意味している。この操作内容定義情報ＤＢ３３ａは、影画像表示システム１の管理者等により任意に設定され、後述する影画像表示処理に先だって予め記憶部３３に格納される。

図２の輪郭履歴情報ＤＢ３３ｂは、人の輪郭の履歴を特定するための輪郭履歴情報を格納する輪郭履歴情報格納手段である。この輪郭履歴情報は、図４の構成例に示すように、項目「時刻」及び項目「輪郭」と、これら各項目に対応する情報を関連付けて構成されている。項目「時刻」に対応する情報は、人の輪郭が検出された時刻を特定するための情報であり、例えば、「１３：１５：２５」とある場合には、１３時１５分２５秒に人の輪郭が検出されたことを示す。項目「輪郭」は、記録された輪郭を特定するための情報であり、ここでは、輪郭抽出部３４ｂにて抽出された画像データが記録されている。

図２の位置履歴情報ＤＢ３３ｃは、人の位置の履歴を特定するための位置履歴情報を格納する位置履歴情報格納手段である。この位置履歴情報は、図５の構成例に示すように、項目「時刻」及び項目「位置」と、これら各項目に対応する情報を関連付けて構成されている。項目「時刻」に対応する情報は、図４の同一項目名に対応する情報と同じである。項目「位置」は、さらに項目「中心」、項目「右腕」、及び項目「左腕」を含んでおり、項目「中心」に対応する情報は、人の中心の位置（ここでは、所定基準位置に対する上下方向（ｙ方向）と左右方向（ｘ方向）の距離（座標））を示し、項目「右腕」に対応する情報は、人の右腕の位置（ここでは、所定基準位置よりも上にあるか下にあるか）を示し、項目「右腕」に対応する情報は、人の左腕の位置（ここでは、所定基準位置よりも上にあるか下にあるか）を示している。例えば、項目「右腕」に対応する情報として「上」とある場合には、右腕が所定基準位置よりも上にあることを示す。この位置履歴情報は、後述する影画像表示処理において記憶部３３に格納される。

図２の制御部３４は、影画像表示装置３０に関する計算処理を行う処理手段であり、具体的には、ＣＰＵ、当該ＣＰＵ上で解釈実行される各種のプログラム（ＯＳなどの基本制御プログラムや、ＯＳ上で起動され特定機能を実現するアプリケーションプログラムを含む）、及び影画像表示プログラムを含む各種のプログラムや各種のデータを格納するためのＲＡＭの如き内部メモリを備えて構成されるコンピュータである。プログラムは、磁気的記録媒体や光学的記録媒体を含む任意の記録媒体に記録され、記憶部３３にインストールされる。

この制御部３４は、機能概念的に、位置検出部３４ａ、輪郭抽出部３４ｂ、影生成部３４ｃ、画像出力部３４ｄ、動作検出部３４ｅ、及び操作制御部３４ｆを備える。位置検出部３４ａは、カメラ１０により撮像された人の画像に基づいて、人の位置を検出する位置検出手段である。輪郭抽出部３４ｂは、カメラ１０により撮像された人の画像に基づいて、人の輪郭を抽出する輪郭抽出手段である。影生成部３４ｃは、輪郭抽出部３４ｂにて抽出された輪郭に基づいて、人の影画像を生成する影生成手段である。画像出力部３４ｄは、影生成部３４ｃにて生成された影画像を出力する画像出力手段である。動作検出部３４ｅは、位置検出部３４ａにて検出された人の位置に基づいて、人の動作を検出する動作検出手段である。操作制御部３４ｆは、位置検出部３４ａにて検出された人の位置に応じた制御を行う制御手段である。これら各部によって実行される処理の詳細については後述する。

（処理）
次に、このように構成される影画像表示システム１によって実行される影画像表示処理について説明する。図６は影画像表示処理のフローチャートである（以下の各処理の説明ではステップを「Ｓ」と略記する）。

この影画像表示処理は、例えば、影画像表示装置３０の電源投入後に自動的に起動され、あるいは影画像表示装置３０に対して入力部３１を介して起動指示が入力された場合に起動される。影画像表示処理が起動されると、輪郭抽出部３４ｂは、カメラ１０から入力された画像を解析することにより、人の輪郭を抽出し、当該抽出した輪郭の画像データを公知の方法で取得した当該輪郭の検出時の時刻に関連付けて輪郭履歴情報ＤＢ３３ｂに格納する（ＳＡ１）。この抽出は、公知のアルゴリズムで行うことができ、例えば、画像を所定閾値で２値化し、２値化した画像に対してラベリング処理を行うことで領域のグループ化を行い、グループ化された領域の中で最大の領域を人の領域として特定し、当該特定した領域の外形を人の輪郭として抽出する。

また、位置検出部３４ａは、カメラ１０により撮像された人の画像に基づいて、人の位置を検出し、当該検出した人の位置を、公知の方法で取得した当該位置の検出時の時刻に関連付けて、位置履歴情報ＤＢ３３ｃに格納する（ＳＡ２）。ここで、「位置」とは、少なくとも、人が所定の制御用動作を行ったか否かを認識できるように検出されるものであり、人全体の位置を検出する場合のみならず、人の所定部位（例えば腕や足等）の位置を検出する場合も含む。また、緯度及び経度に基づく絶対座標上の位置に限らず、所定基準に対する相対座標上の位置を検出してもよい。

ここでは、床に人が立つと想定される領域内に設定された所定基準に対する人の中心の相対的な位置と左右の腕の相対的な位置を検出するものとする。また、このＳＡ３における人の位置の検出は、公知のアルゴリズムで行うことができ、例えば、ＳＡ１と同様に人の輪郭を抽出し、さらに、当該人の輪郭の中から、人の上下左右の中心位置を抽出したり、人の腕の輪郭が有する特徴的な位置や形状に合致する部分的輪郭を抽出することで腕の輪郭を抽出することができる。また、カメラ１０と床との位置関係を予め位置検出部３４ａに登録しておくことで、所定基準に対する人の中心の位置や腕の相対的な位置を特定することができる。なお、人の位置の検出と位置履歴情報ＤＢ３３ｃへの記録は、所定間隔（例えば、５秒間隔）で行ったり、人の位置が前回検出時の位置から変化したと判定された場合のみに行うようにしてもよい。

次いで、動作検出部３４ｅは、位置検出部３４ａにて検出された人の位置に基づいて、人の動作を検出する（ＳＡ３）。この動作の検出は、位置履歴情報ＤＢ３３ｃに格納された位置履歴情報に基づいて行う。すなわち、動作検出部３４ｅは、位置履歴情報として相互に関連付けて格納されている時刻と位置に基づいて、人の軌跡を特定し、この軌跡に基づいて、人の動作を特定する。例えば、位置履歴情報に、「時刻」＝「１３：１５：２５」と「位置」＝「右腕」＝「下」が関連付けて記録されており、「時刻」＝「１３：１５：３０」と「位置」＝「右腕」＝「上」が関連付けて記録されている場合には、「１３：１５：２５」から「１３：１５：３０」に至る間（この例では５秒間）の右腕の軌跡として、当該右腕が下から上に移動したことが特定できるので、「人の動作」＝「右腕上げ」であるものと特定する。

そして、操作制御部３４ｆは、動作検出部３４ｅにて検出された人の動作に基づいて、所定装置の制御を行う（ＳＡ４）。具体的には、操作制御部３４ｆは、動作検出部３４ｅにて検出された人の動作に対応する操作内容があるか否かを操作内容定義情報ＤＢ３３ａを参照することにより特定し、当該操作内容がある場合には、当該操作内容に基づいて、所定装置の制御を行う。例えば、「人の動作」＝「右腕上げ」である場合には、「操作内容」＝「空調機ＯＮ」を特定し、空調機をＯＮするための制御信号を、出力部３２の外部装置制御用のインターフェースを介して、無線又は有線にて空調機に出力する。このような処理を行うことで、人の動作に基づいて、所定装置を制御することができるため、人の動作を、所定装置の制御のためのインターフェースとして利用することが可能になる。

次いで、影生成部３４ｃは、ＳＡ１において輪郭抽出部３４ｂにて抽出された輪郭に基づいて、人の影画像を生成する（ＳＡ５）。この影画像の生成は、輪郭抽出部３４ｂにて抽出された輪郭によって囲まれる領域を、黒又はその他の所定の色で埋めることにより生成される。

ここで、影生成部３４ｃは、人の影画像として、現在の時点における人の位置に対応する影画像と、所定の過去の１つ以上の時点（ここでは、２つの時点）における人の位置に対応する影画像とを、相互に異なる色で生成し、これら複数の影画像を重畳させることで、最終的に投影する影画像を生成する。すなわち、影生成部３４ｃは、現在の時点における人の位置に対応する影画像としては、輪郭履歴情報ＤＢ３３ｂに記録されている輪郭履歴情報の中から、最新の時刻に対応する輪郭の画像データを取得し、この輪郭によって囲まれる領域を、所定の第１色（ここでは、赤色）で埋めることにより生成する。また、影生成部３４ｃは、過去の時点における人の位置に対応する影画像としては、輪郭履歴情報ＤＢ３３ｂに記録されている輪郭履歴情報の中から、最新より１つ前の時刻に対応する輪郭の画像データ及び最新より２つ前の時刻に対応する輪郭の画像データを取得し、１つ前の時刻に対応する輪郭によって囲まれる領域を、所定の第２色（ここでは、緑色）で埋めることにより生成し、さらに、２つ前の時刻に対応する輪郭によって囲まれる領域を、所定の第３色（ここでは、青色）で埋めることにより生成する。

そして、影生成部３４ｃは、このように生成した複数（ここでは、合計３つ）の影画像を、各影画像の中心の位置が、位置履歴情報ＤＢ３３ｃに格納されている人の中心の位置であって、各影画像の生成に使用した画像データに対応する人の中心の位置にそれぞれ対応する位置となるように、重畳させる。なお、このように生成する影画像の数は任意であり、最低１つあればよいが、このように複数の影画像を用いることで、人の動作の軌跡を視覚的に把握できる影画像を生成できる。また、影画像の色は任意であり、全ての影画像を同一色としてもよいが、このように赤、緑、青の光の３原色を使用することで、全ての影画像が重畳した領域は白になる等、視覚的な効果を高めることができる。

次いで、画像出力部３４ｄは、影生成部３４ｃにて生成された影画像をプロジェクタ２０を介して出力する（ＳＡ６）。すなわち、影生成部３４ｃにて生成された影画像のデータをプロジェクタ２０に出力することで、このプロジェクタ２０から影画像が壁に投影される。この際、プロジェクタ２０と壁との位置関係を予め画像出力部３４ｄに登録しておくことで、影画像がプロジェクタ２０から壁に投影された場合の投影倍率を算定し、この投影倍率に基づいて、壁に投影された影画像の位置及び大きさを制御してもよい。例えば、影画像を、その下端位置が壁の下端位置に合致するように投影してもよい。また、位置検出部３４ａにて人の位置を検出し、当該検出した人の位置に最も近接する壁の表面に、影画像を投影してもよい。このような制御を行う場合、必要に応じて、プロジェクタ２０には投影倍率調整用のズーム機構や投影位置調整用の移動機構を設けておき、画像出力部３４ｄからの制御信号によりこれらの機構を制御するようにしてもよい。

これらＳＡ１からＳＡ６の処理は、影画像表示処理の起動後に継続して繰り返し行われる。このため、床に人が立っている場合には、当該人の影画像が壁にほぼリアルタイムで投影され続け、人が動作を行う毎に、この動作に応じた影画像が壁にほぼリアルタイムで投影され続ける。その後、影画像表示装置３０に対して入力部３１を介して終了指示が入力された場合に（ＳＡ７、Ｙｅｓ）、影画像表示処理が終了する。

（実施の形態１の効果）
この実施の形態１によれば、人の画像に基づいて輪郭が抽出され、この輪郭に基づいて影画像が生成されて出力され、さらに、人の位置に応じた制御が行われるため、人という物理的な存在ではなく、人の影画像という仮想的な画像を利用して様々な制御を行うことができ、影画像をインターフェースとして利用した場合には、仮想的な面白みのあるインターフェースを構築することができる。

また、人の動作に応じた制御を行うので、動作に応じた直観的で迅速な制御を行うことが可能になる。

〔実施の形態２〕
次に、実施の形態２について説明する。この形態は、影画像を装置制御のインターフェースとして利用する形態であり、特に、影画像に他の画像を重畳して表示する形態である。ただし、実施の形態１の構成及び方法と同様の構成及び方法については、実施の形態１で使用したものと同一の符号を付して説明を省略し、あるいは単に説明を省略する。

（構成）
図７は、実施の形態２に係る影画像表示システム２を機能概念的に例示するブロック図である。この図７に示すように、この影画像表示システム２は、カメラ１０、プロジェクタ２０、及び影画像表示装置４０を備えて構成されている。

影画像表示装置４０は、実施の形態１の影画像表示装置３０とほぼ同様に構成されているが、ここでは、記憶部３３の操作内容定義情報ＤＢ３３ａに、実施の形態１とは異なる操作内容定義情報が格納されており、また、記憶部３３に商品情報ＤＢ３３ｄが設けられている。

操作内容定義情報ＤＢ３３ａの操作内容定義情報は、図８の構成例に示すように、項目「動作」及び項目「操作内容」と、これら各項目に対応する情報を関連付けて構成されている。項目「動作」に対応する情報は、人の動作を特定するための情報であり、ここでは、「右腕上げ」、「左腕上げ」の２種類の情報に加えて、「操作用インターフェースにタッチ」の情報が格納されている。「操作用インターフェースにタッチ」とは、人が（正確には、人の輪郭に基づいて壁に投影された影画像が）、壁に投影された操作用インターフェースに触れる動作を示している。項目「操作内容」に対応する情報は、所定装置の操作内容を特定するための情報であり、ここでは、「シャツ変更」、「帽子変更」、「クリア」の３種類の情報である。すなわち、ここでは、所定装置として当該影画像表示装置４０を制御することを想定しており、具体的には、当該影画像表示装置４０において影画像に重合表示される商品（ここでは洋服）の画像データを切り替えることを想定している。例えば、「シャツ変更」とは、影画像に重合表示されるシャツを変更することを意味しており、「クリア」とは、影画像に重合表示される洋服をクリアすること（重合させないこと）を意味している。

図７の商品情報ＤＢ３３ｄは、商品に関する商品情報（ここでは、影画像に重畳して表示する重畳画像）を格納する重畳画像格納手段である。この商品情報は、図９の構成例に示すように、項目「種類」及び項目「画像データ」と、これら各項目に対応する情報を関連付けて構成されている。項目「種類」に対応する情報は、商品の種類を特定するための情報であり、ここでは、「シャツ」、「帽子」である。項目「画像データ」に対応する情報は、各商品の画像データであり、「シャツ」と「帽子」のそれぞれに対応する複数の画像データが格納されている。

（処理）
次に、このように構成される影画像表示システム２によって実行される影画像表示処理について説明する。図１０は影画像表示処理のフローチャートである。ただし、ＳＢ１、ＳＢ２は、図６のＳＡ１、ＳＡ２とそれぞれ同じであるため、その説明を省略する。

ＳＢ３において、動作検出部３４ｅは、位置検出部３４ａにて検出された人の位置に基づいて、人の動作を検出する（ＳＢ３）。この動作の検出は、図６のＳＡ３と同様に、位置履歴情報ＤＢ３３ｃに格納された位置履歴情報に基づいて行う。さらに、動作検出部３４ｅは、壁に投影された人の影が、壁に投影された操作用インターフェースに触れたか否かを検出する。すなわち、動作検出部３４ｅは、影生成部３４ｃで生成された最新の影画像の位置と、床に人が立つと想定される領域内に設定された操作用インターフェースの所定投影位置とに基づいて、人の位置が所定投影位置を通過したか否かを判定し、通過した場合には、人が、壁に投影された操作用インターフェースに触れたものと判定する。

そして、操作制御部３４ｆは、動作検出部３４ｅにて検出された人の動作に基づいて、所定装置の制御を行う（ＳＢ４）。具体的には、操作制御部３４ｆは、動作検出部３４ｅにて検出された人の動作に対応する操作内容があるか否かを操作内容定義情報ＤＢ３３ａを参照することにより特定し、当該操作内容がある場合には、当該操作内容に基づいて、所定装置の制御を行う。例えば、「人の動作」＝「右腕上げ」である場合には、「操作内容」＝「シャツ変更」を特定し、後述するＳＢ５で影画像に重畳されるシャツの画像を、商品情報ＤＢ３３ｄに格納されているシャツの画像における所定順序の画像（ここでは、現在重畳されているシャツの画像に対する次順のシャツの画像）に変更する。あるいは、「人の動作」＝「操作用インターフェースにタッチ」である場合には、「操作内容」＝「クリア」を特定し、後述するＳＢ５で影画像に重畳されるシャツ及び帽子の画像をクリアする（重畳させるべき画像をなくす）。このような処理を行うことで、人の動作に基づいて、所定装置を制御することができるため、人の動作を、所定装置の制御のためのインターフェースとして利用することが可能になる。

次いで、影生成部３４ｃは、ＳＢ１において輪郭抽出部３４ｂにて抽出された輪郭に基づいて、人の影画像を生成する（ＳＢ５）。ここでは、ＳＡ５と同様に影画像を生成した上で、最新の時刻に対応する輪郭の画像データに対して、ＳＢ４で特定された洋服の画像を重合する。具体的には、ＳＢ４で特定された洋服の画像データを商品情報ＤＢ３３ｄを参照して取得する。また、位置履歴情報ＤＢ３３ｃに格納された最新の位置履歴情報における人の中心の位置を参照して、当該人の輪郭における重合位置（シャツの場合には人の上半身の位置、帽子の場合には人の頭部の位置）を特定する。そして、当該特定した位置に画像データを重合する。

また、影生成部３４ｃは、影画像に対して、操作用インターフェースを付加する。すなわち、所定形状（ここでは円形）の画像データが壁の所定位置に投影されるように、影画像に対して付加する。この操作用インターフェースの位置及び形状は、床に立った人が認識して触れることができるように決定される。なお、ここでは、影画像に対して、操作用インターフェースを付加しているが、操作用インターフェースのみを投影するようにしてもよく、このためには、例えば、プロジェクタ２０に加えて別のプロジェクタを影画像表示システム２に同時に接続し、当該別のプロジェクタによって操作用インターフェースのみを投影する。

そして、画像出力部３４ｄは、影生成部３４ｃにて生成された影画像をプロジェクタ２０を介して出力する（ＳＢ６）。図１１には、このような影画像の出力例を図示する。この出力例では人の胴部にシャツが重合されている例を示している。この出力例では、３つの影画像の左腕以外の部分が重合しており、この重合している部分にシャツの画像がさらに重合されている。

これらＳＢ１からＳＢ６の処理は、影画像表示処理の起動後に継続して繰り返し行われる。このため、壁には、ＳＢ４で検出された動作に応じて異なる洋服が重合された影画像が投影されるので、床に立った人からすれば、自分の動作に応じて、自分の最新の影画像にシャツや帽子が切り替えて重合表示されるので、様々な洋服を仮想的に試着しているような感覚を与えることができる。また、影画像には、操作用インターフェースが付加されているので、この操作用インターフェースに触れることによって、自分の影画像に重合されていた洋服をクリアすることができる。その後、影画像表示装置４０に対して入力部３１を介して終了指示が入力された場合に（ＳＢ７、Ｙｅｓ）、影画像表示処理が終了する。

（実施の形態２の効果）
実施の形態２によれば、実施の形態１と同様の効果に加えて、操作用インターフェースと人の位置との相対的な位置関係に応じた制御を行うので、様々な形状や位置の操作用インターフェースを利用した多様性のある制御を行うことが可能になる。

また、重畳画像を影画像に重畳して表示するので、出力する画像の仮想性をさらに高めることで、インターフェースやセキュリティー情報の面白みや多様性を向上させることができる。

〔実施の形態３〕
次に、実施の形態３について説明する。この形態は、影画像をセキュリティに利用する形態である。ただし、実施の形態１の構成及び方法と同様の構成及び方法については、実施の形態１で使用したものと同一の符号を付して説明を省略し、あるいは単に説明を省略する。

（構成）
図１２は、実施の形態３に係る影画像表示システム３を機能概念的に例示するブロック図である。この図１２に示すように、この影画像表示システム３は、カメラ１０、プロジェクタ２０、カードリーダ５０、及び影画像表示装置６０を備えて構成されている。

カードリーダ５０は、床を通過する人が保持するＲＦＩＤカードに記録された個人ＩＤを非接触で読み取る非接触カード読み取り装置である。

影画像表示装置６０は、実施の形態１の影画像表示装置３０とほぼ同様に構成されているが、ここでは、記憶部３３の輪郭履歴情報ＤＢ３３ｂ及び位置履歴情報ＤＢ３３ｃは省略されており、記憶部３３の操作内容定義情報ＤＢ３３ａには、実施の形態１とは異なる操作内容定義情報が格納されており、記憶部３３にはセキュリティ情報ＤＢ３３ｅが設けられている。また、制御部３４には認証部３４ｇが設けられている。

操作内容定義情報ＤＢ３３ａの操作内容定義情報は、図１３の構成例に示すように、項目「認証結果」及び項目「操作内容」と、これら各項目に対応する情報を関連付けて構成されている。項目「認証結果」に対応する情報は、後述する認証部３４ｇによる認証結果を特定するための情報であり、ここでは、「警戒レベル＝ゼロ」、「警戒レベル＝小」、「警戒レベル＝中」、「警戒レベル＝大」の４種類の情報が格納されている。例えば、「警戒レベル＝ゼロ」とは、認証部３４ｇにおいて認証を行った結果、認証対象となった人の警戒を行う必要性が全くないことを意味し、「警戒レベル＝小」とは、認証部３４ｇにおいて認証を行った結果、認証対象となった人の警戒を最小のレベルで行う必要があることを意味する。項目「操作内容」に対応する情報は、所定装置の操作内容を特定するための情報であり、ここでは、「影画像＝なし」、「影画像＝青」、「影画像＝緑」、「影画像＝赤」の４種類の情報である。すなわち、ここでは、所定装置として当該影画像表示装置６０を制御することを想定しており、具体的には、当該影画像表示装置６０において生成及び出力する影画像の有無や色を切り替えることを想定している。例えば、「影画像＝なし」とは、影画像を出力しないことを意味しており、「影画像＝青」とは、青色の影画像を生成して出力することを意味している。

図１２のセキュリティ情報ＤＢ３３ｅは、セキュリティに関するセキュリティ情報を格納するセキュリティ情報格納手段である。このセキュリティ情報は、図１４の構成例に示すように、項目「個人ＩＤ」及び項目「認証結果」と、これら各項目に対応する情報を関連付けて構成されている。項目「個人ＩＤ」に対応する情報は、床を通過する人が保持するＲＦＩＤカードに記録された個人ＩＤである。なお、「個人ＩＤ」＝「なし」とは、床を通過する人がＲＦＩＤカードを保持していない場合や、ＲＦＩＤカードを保持している場合であっても当該ＲＦＩＤカードから何らかの理由により個人ＩＤが読み取れなかった場合を意味する。項目「認証結果」に対応する情報は、図１３の操作内容定義情報の同一項目名に対応する情報と同じである。

また、図１２の制御部３４の認証部３４ｇは、人の認証を行う認証手段である。この認証部３４ｇによって実行される処理の詳細については後述する。

（処理）
次に、このように構成される影画像表示システム３によって実行される影画像表示処理について説明する。図１５は影画像表示処理のフローチャートである。ただし、ＳＣ１は、図６のＳＡ１と同じであるため、その説明を省略する。

ＳＣ２において、位置検出部３４ａは、図６のＳＡ２と同様に人の位置を検出する。ただし、ここでは、位置履歴情報ＤＢ３３ｃへの情報の格納は行わない（ＳＣ２）。

次に、認証部３４ｇは、ＳＡ１で輪郭が抽出された人を対象に、個人ＩＤに対応する認証を行う（ＳＣ３）。具体的には、認証部３４ｇは、ＳＡ１で人の輪郭が抽出された際におけるカードリーダ５０からの出力を取り込み、当該出力から個人ＩＤを取得し、当該個人ＩＤに対応する認証結果をセキュリティ情報ＤＢ３３ｅから取得する。

そして、操作制御部３４ｆは、認証部３４ｇの認証結果に基づいて、所定装置の制御を行う（ＳＣ４）。具体的には、操作制御部３４ｆは、認証部３４ｇの認証結果に対応する操作内容を操作内容定義情報ＤＢ３３ａから取得し、後述するＳＣ５で生成される影画像の有無や色を、当該取得した操作内容に応じて切り替える。

次いで、影生成部３４ｃは、ＳＣ１において輪郭抽出部３４ｂにて抽出された輪郭に基づいて、人の影画像を生成する（ＳＣ５）。ここでは、ＳＣ４で取得された操作内容に基づいて、影画像を生成する。すなわち、操作内容が「影画像＝なし」である場合には、影画像の生成は行わず、操作内容が「影画像＝青」である場合には、青色の影画像のみを、図６のＳＡ５と同様に生成する。

そして、画像出力部３４ｄは、影生成部３４ｃにて生成された影画像をプロジェクタ２０を介して出力する（ＳＣ６）。図１６には、このような影画像の出力例を図示する。この出力例では、図示右側の人に対しては、警戒レベル＝ゼロであるために影画像が出力されておらず、図示左側の人に対しては、警戒レベル＝中であるために緑の影画像が出力されている例を示している。

これらＳＣ１からＳＣ６の処理は、影画像表示処理の起動後に継続して繰り返し行われる。このため、壁には、床に立った人のセキュリティレベルに応じて影画像が表示されるので、当該人のセキュリティレベルを第三者に対して容易にかつ緩やかな形態（警告ランプや警報ブザーで警報等を行う場合に比べて、刺激が少ない形態）で報知することができる。その後、影画像表示装置６０に対して入力部３１を介して終了指示が入力された場合に（ＳＣ７、Ｙｅｓ）、影画像表示処理が終了する。

（実施の形態３の効果）
実施の形態３によれば、実施の形態１と同様の効果に加えて、人の画像に基づいて輪郭が抽出され、この輪郭に基づいて影画像が生成されて出力され、さらに、人の位置に応じた制御が行われるので、人という物理的な存在ではなく、人の影画像という仮想的な画像を利用して様々な制御を行うことができるので、影画像をセキュリティー情報として利用した場合には、仮想的な情報による緩やかな監視を行うことで、監視される人の不快感を和らげることができる。

〔III〕各実施の形態に対する変形例
以上、各実施の形態について説明したが、本発明の具体的な構成及び手段は、特許請求の範囲に記載した各発明の技術的思想の範囲内において、任意に改変及び改良することができる。以下、このような変形例について説明する。

（解決しようとする課題や発明の効果について）
まず、発明が解決しようとする課題や発明の効果は、前記した内容に限定されるものではなく、発明の実施環境や構成の細部に応じて異なる可能性があり、上述した課題の一部のみを解決したり、上述した効果の一部のみを奏することがある。さらに、本発明によって、上述していない課題を解決したり、上述していない効果を奏することもある。

（分散や統合について）
また、上述した各電気的構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各部の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成できる。例えば、影画像表示装置３０、４０、６０の機能を、複数のサーバやパーソナルコンピュータに分散してもよい。

（各実施の形態の相互の関係について）
各実施の形態の構成や処理は、相互に混在したり、入れ替えることができる。例えば、実施の形態２においては、操作用インターフェースを壁に投影し、この操作用インターフェースに人が触れた場合に所定制御を行うこととしているが、この機能を実施の形態１に適用してもよい。

（制御の基準について）
実施の形態１、２では、人の動作に基づいて制御を行っているが、人の状態（例えば、所定位置に所定時間以上停止している状態）や軌跡（例えば、右腕の先端がＳ字カーブに沿って移動した）に基づいて、制御を行ってもよい。また、実施の形態２では、操作用インターフェースに人が触れた場合に所定制御を行うこととしているが、操作用インターフェースに対する所定範囲に人の体の一部が入った場合に所定制御を行う等、制御の基準となる操作用インターフェースとの関係性についても変更することができる。

１、２、３ 影画像表示システム
１０ カメラ
２０ プロジェクタ
３０、４０、６０ 影画像表示装置
３１ 入力部
３２ 出力部
３３ 記憶部
３３ａ 操作内容定義情報ＤＢ
３３ｂ 輪郭履歴情報ＤＢ
３３ｃ 位置履歴情報ＤＢ
３３ｄ 商品情報ＤＢ
３３ｅ セキュリティ情報ＤＢ
３４ 制御部
３４ａ 位置検出部
３４ｂ 輪郭抽出部
３４ｃ 影生成部
３４ｄ 画像出力部
３４ｅ 動作検出部
３４ｆ 操作制御部
５０ カードリーダ

Claims (6)

1. 動物を撮像する撮像手段と、
   前記撮像手段により撮像された前記動物の画像に基づいて、前記動物の位置を検出する位置検出手段と、
   前記撮像手段により撮像された前記動物の画像に基づいて、前記動物の輪郭を抽出する輪郭抽出手段と、
   前記輪郭抽出手段にて抽出された輪郭に基づいて、前記動物の影画像を生成する影生成手段と、
   前記影生成手段にて生成された影画像を出力する画像出力手段であって、前記撮像手段にて撮像された動物を挟んで当該撮像手段とは反対側に位置する投影面に対して前記影画像を投影出力する画像出力手段と、
   前記位置検出手段にて検出された前記動物の位置に応じた制御を行う制御手段と、
   を備える影画像表示システム。
2. 前記位置検出手段にて検出された前記動物の位置に基づいて、前記動物の動作を検出する動作検出手段を備え、
   前記制御手段は、前記動作検出手段にて検出された前記動物の動作に応じた制御を行う、
   請求項１に記載の影画像表示システム。
3. 前記画像出力手段は、前記影画像の出力領域内に、操作用インターフェースを出力し、
   前記制御手段は、前記影画像の出力領域内に出力された前記操作用インターフェースと、前記位置検出手段にて検出された前記動物の位置との相対的な位置関係に応じた制御を行う、
   請求項１又は２に記載の影画像表示システム。
4. 前記影画像に重畳して表示する重畳画像を格納する重畳画像格納手段を備え、
   前記制御手段は、前記位置検出手段にて検出された前記動物の位置に応じて、前記影画像に重畳して表示すべき重畳画像を前記重畳画像格納手段から取得すると共に、当該取得した重畳画像の表示位置を決定し、当該取得した重畳画像を当該決定した位置に基づいて前記影画像に重畳して表示する、
   請求項１から３のいずれか一項に記載の影画像表示システム。
5. 動物を撮像手段にて撮像する撮像ステップと、
   前記撮像ステップにより撮像された前記動物の画像に基づいて、前記動物の位置を検出する位置検出ステップと、
   前記撮像ステップにより撮像された前記動物の画像に基づいて、前記動物の輪郭を抽出する輪郭抽出ステップと、
   前記輪郭抽出ステップにて抽出された輪郭に基づいて、前記動物の影画像を生成する影生成ステップと、
   前記影生成ステップにて生成された影画像を出力する画像出力ステップであって、前記撮像手段にて撮像された動物を挟んで当該撮像手段とは反対側に位置する投影面に対して前記影画像を投影出力する画像出力ステップと、
   前記位置検出ステップにて検出された前記動物の位置に応じた制御を行う制御ステップと、
   を含む影画像表示方法。
6. 請求項５に記載の方法をコンピュータに実行させる影画像表示プログラム。

Images