JP2024032042A - 検出方法、検出装置及びプログラム - Google Patents

Abstract

【課題】より適切に検出対象を検出することができる検出方法、検出装置及びプログラムを提供する。【解決手段】検出方法は、コンピュータが実行する検出方法であって、画像が表示されている画像表示領域の少なくとも一部と、対象物の少なくとも一部と、を含む撮影画像を取得し、撮影画像のうち画像表示領域を除いた外部領域で抽出された対象物の少なくとも一部を検出対象として検出する。これにより、より適切に検出対象を検出することができる。【選択図】図３

Description

本発明は、検出方法、検出装置及びプログラムに関する。

従来、操作者のジェスチャーを検出し、検出されたジェスチャーに応じて機器の動作を制御する技術がある。この技術では、操作者を撮影して得られた撮影画像において、操作者の体のうちジェスチャーを行う特定の一部（例えば、手）を検出対象として検出する。特許文献１には、予め撮影された背景画像と、操作者を撮影した撮影画像との差分に基づいて、ジェスチャーを行う検出対象を検出する方法が開示されている。

特開２０１５－２２６２４号公報

しかしながら、物を保持している手や、画像表示面に画像として表示されている手などの、ジェスチャーを行っていない手が撮影画像に写っている場合には、この手が検出対象として誤検出されると、ジェスチャーの誤検出が生じて機器が意図しない動作を行ってしまうという課題がある。

この発明の目的は、より適切に検出対象を検出することができる検出方法、検出装置及びプログラムを提供することにある。

上記課題を解決するため、本発明に係る検出方法は、
コンピュータが実行する検出方法であって、
画像が表示されている画像表示領域の少なくとも一部と、対象物の少なくとも一部と、を含む撮影画像を取得し、
前記撮影画像のうち前記画像表示領域を除いた外部領域で抽出された前記対象物の少なくとも一部を検出対象として検出する。

上記課題を解決するため、本発明に係る検出装置は、
画像が表示されている画像表示領域の少なくとも一部と、対象物の少なくとも一部と、を含む撮影画像を取得し、
前記撮影画像のうち前記画像表示領域を除いた外部領域で抽出された前記対象物の少なくとも一部を検出対象として検出する、
処理部を備える。

上記課題を解決するため、本発明に係るプログラムは、
コンピュータに、
画像が表示されている画像表示領域の少なくとも一部と、対象物の少なくとも一部と、を含む撮影画像を取得する処理、
前記撮影画像のうち前記画像表示領域を除いた外部領域で抽出された前記対象物の少なくとも一部を検出対象として検出する処理、
を実行させる。

本発明によれば、より適切に検出対象を検出することができる。

情報処理システムの構成を示す模式図である。 検出装置の機能構成を示すブロック図である。 人の手を含む投影画像が写っている撮影画像の例を示す図である。 機器制御処理の制御手順を示すフローチャートである。 手検出処理の制御手順を示すフローチャートである。 撮影画像の他の例を示す図である。 変形例に係る手検出処理の制御手順を示すフローチャートである。

以下、本発明の実施の形態を図面に基づいて説明する。

＜情報処理システムの概要＞
図１は、本実施形態の情報処理システム１の構成を示す模式図である。
情報処理システム１は、検出装置１０と、撮影装置２０と、プロジェクタ３０とを備える。検出装置１０は、無線又は有線により撮影装置２０及びプロジェクタ３０と通信接続されており、撮影装置２０及びプロジェクタ３０との間で、制御信号や画像データ等のデータの送受信を行うことが可能となっている。

情報処理システム１の検出装置１０は、操作者８０（被写体、人）が手８１（対象物、検出対象）によって行うジェスチャーを検出し、検出したジェスチャーに応じてプロジェクタ３０の動作（投影画像Ｉｍの投影動作や、各種設定を変更する動作等）を制御する情報処理装置である。本明細書では、操作者８０の右手８１Ｒ及び左手８１Ｌのうち任意の一方を指す場合には「手８１」と記す。

詳しくは、撮影装置２０は、撮影装置２０の正面に位置する操作者８０及び操作者８０の手８１を撮影して、撮影画像５０（図３参照）の画像データを検出装置１０に送信する。検出装置１０は、撮影装置２０から受信した撮影画像５０を解析して、操作者８０の手８１及び指を検出し、操作者８０が手８１によって所定のジェスチャーを行ったか否かを判別する。本実施形態において、操作者８０が手８１によって行うジェスチャーは、手８１の指の向き又は動きによって行うジェスチャーであるものとする。検出装置１０は、操作者８０が、手８１によって所定のジェスチャーを行ったと判別すると、制御信号をプロジェクタ３０に送信し、検出したジェスチャーに応じた動作を行うようにプロジェクタ３０を制御する。これにより、例えば、操作者８０が、撮影装置２０から見て右方向に一本の指（例えば、人差し指）を向けるジェスチャーを行うことで、プロジェクタ３０が投影している投影画像Ｉｍを次の投影画像Ｉｍに切り替え、一本の指を左方向に向けるジェスチャーを行うことで、投影画像Ｉｍを１つ前の投影画像Ｉｍに切り替える、といった直感的な操作が可能となる。

本実施形態では、スクリーン４０が壁に掛けられており、このスクリーン４０の画像表示面４１に対して撮影装置２０により投影画像Ｉｍが投影（表示）されるものとする。画像表示面４１は、スクリーン４０の表裏面のうち撮影装置２０に向いている側の面である。本実施形態では、画像表示面４１が占める領域により、投影画像Ｉｍが投影（表示）される画像表示領域ＲＤが構成される。また、スクリーン４０は、「画像表示領域を構成する部材」に相当する。以下では、操作者８０が立っている床面に垂直、かつ鉛直方向上向きの方向をＺ方向とし、床面に平行、かつ、Ｚ方向から見てプロジェクタ３０による投影方向に平行な方向をＹ方向とし、Ｙ方向及びＺ方向に垂直な方向をＸ方向とする。Ｙ方向は、プロジェクタ３０から操作者８０に向かう向きを正方向とし、Ｘ方向は、プロジェクタ３０から操作者８０に向かって右方向を正方向とする。

本実施形態では、操作者８０は、スクリーン４０に対向する位置（スクリーン４０の画像表示面４１側（－Ｙ方向側）の位置）に立って、スクリーン４０に投影されている投影画像Ｉｍを見ているものとする。また、操作者８０は、左手８１Ｌで、プロジェクタ３０を操作するためのジェスチャーを行っているものとする。撮影装置２０による撮影範囲Ｒは、操作者８０のうちの少なくとも上半身と、スクリーン４０の画像表示面４１とを含む。

＜情報処理システムの構成＞
図２は、検出装置１０の機能構成を示すブロック図である。
検出装置１０は、ＣＰＵ１１（Central Processing Unit）と、ＲＡＭ１２（Random Access Memory）と、記憶部１３と、操作部１４と、表示部１５と、通信部１６と、バス１７などを備える。検出装置１０の各部は、バス１７を介して接続されている。検出装置１０は、本実施形態ではノートＰＣであるが、これに限られず、例えば据置型のＰＣ、スマートフォン、又はタブレット型端末などであってもよい。

ＣＰＵ１１は、記憶部１３に記憶されているプログラム１３１を読み出して実行し、各種演算処理を行うことで、検出装置１０の動作を制御するプロセッサである。ＣＰＵ１１は、「処理部」に相当する。なお、検出装置１０は、複数のプロセッサ（複数のＣＰＵ等）を有していてもよく、本実施形態のＣＰＵ１１が実行する複数の処理を、当該複数のプロセッサが実行してもよい。この場合には、複数のプロセッサが「処理部」に相当する。また、この場合において、複数のプロセッサが共通の処理に関与してもよいし、あるいは、複数のプロセッサが独立に異なる処理を並列に実行してもよい。

ＲＡＭ１２は、ＣＰＵ１１に作業用のメモリ空間を提供し、一時データを記憶する。

記憶部１３は、コンピュータとしてのＣＰＵ１１により読み取り可能な非一時的な記録媒体であり、プログラム１３１及び各種データを記憶する。記憶部１３は、例えばＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）等の不揮発性メモリを含む。プログラム１３１は、コンピュータが読み取り可能なプログラムコードの形態で記憶部１３に格納されている。記憶部１３に記憶されるデータとしては、撮影装置２０から受信したカラー画像及び深度画像に係る撮影画像データ１３２などがある。

操作部１４は、表示部１５の表示画面に重ねられて設けられたタッチパネル、物理ボタン、マウスなどのポインティングデバイス、及びキーボードなどの入力装置のうち少なくとも１つを有し、入力装置に対する入力操作に応じた操作情報をＣＰＵ１１に出力する。

表示部１５は、液晶ディスプレイなどの表示装置を備え、ＣＰＵ１１からの表示制御信号に従って表示装置において各種表示を行う。

通信部１６は、ネットワークカード又は通信モジュール等により構成され、撮影装置２０及びプロジェクタ３０との間で所定の通信規格に従ってデータの送受信を行う。

図１に示す撮影装置２０は、カラーカメラを備える。
カラーカメラは、スクリーン４０の画像表示領域ＲＤ、操作者８０、及びこれらの背景を含む撮影範囲Ｒを撮影して、撮影範囲Ｒの二次元のカラー画像に係るカラー画像データを生成する。カラー画像データの各画素は、Ｒ（赤）、Ｇ（緑）、及びＢ（青）等の色情報を含む。撮影装置２０のカラーカメラは、撮影装置２０の正面に位置する操作者８０及びスクリーン４０を所定のフレームレートで連続して撮影する。
カラーカメラにより生成されたカラー画像データは、撮影画像データ１３２（図２参照）として検出装置１０の記憶部１３に記録される。
本実施形態では、上記のカラー画像が、「撮影範囲を撮影して得られた撮影画像」に相当する。

図１に示すプロジェクタ３０は、投影画像Ｉｍの画像データに応じた強度分布の投影光を高指向性で照射することにより、スクリーン４０の画像表示面４１（すなわち、画像表示領域ＲＤ）に投影画像Ｉｍを投影する。詳しくは、プロジェクタ３０は、光源と、当該光源から出力された光の強度分布を調整して光像を形成するデジタルマイクロミラー素子（ＤＭＤ）等の表示素子と、表示素子が形成した光像を集光して投影画像Ｉｍとして投影する投影レンズ群などを備える。プロジェクタ３０は、検出装置１０から送信される制御信号に従って、投影する投影画像Ｉｍを変更したり、投影態様に係る設定（明るさ、色合い等）を変更したりする。

＜情報処理システムの動作＞
次に、情報処理システム１の動作について説明する。
検出装置１０のＣＰＵ１１は、撮影装置２０が撮影した１又は２以上の撮影画像５０を解析して、撮影画像５０に写っている操作者８０が、手８１によって所定のジェスチャーを行ったか否かを判別する。ＣＰＵ１１は、手８１によってジェスチャーが行われたと判別すると、検出したジェスチャーに応じた動作をプロジェクタ３０に行わせるための制御信号をプロジェクタ３０に送信する。

ここで、手８１によるジェスチャーは、例えば、撮影装置２０から見て指を或る方向（右方向、左方向、下方向、及び上方向等）に動かしたり、所定の形状（円形等）の軌跡を描くように指の先端を動かしたり、２以上の指の先端同士の距離を変動させたり、指の曲げ伸ばしを行ったりする動作などである。これらの各ジェスチャーには、プロジェクタ３０の１つの動作が予め対応付けられている。例えば、指を右方向に向けるジェスチャーに、投影されている投影画像Ｉｍを次の投影画像Ｉｍに切り替える動作を対応付け、指を左方向に向けるジェスチャーに、投影されている投影画像Ｉｍを１つ前の投影画像Ｉｍに切り替える動作を対応付けてもよい。この場合には、指を右方向／左方向に向けるジェスチャーを行うことで、投影画像Ｉｍを次の画像／前の画像に切り替えることができる。また、親指の先端と人差し指の先端との距離を増大／減少させるジェスチャーに、それぞれ投影画像Ｉｍを拡大／縮小させる動作を対応付けてもよい。これらはジェスチャーとプロジェクタ３０の動作との対応付けの一例であり、任意のジェスチャーに、プロジェクタ３０の任意の動作を対応付けることができる。また、操作部１４に対するユーザ操作に応じて、ジェスチャーとプロジェクタ３０の動作との対応付けを変更したり、新たな対応付けを生成したりすることが可能であってもよい。

このように、操作者８０の手８１のジェスチャーによりプロジェクタ３０を操作する場合には、撮影装置２０が撮影した画像において手８１（及び指）を正確に検出することが重要となる。手８１を正しく検出できなければ、ジェスチャーを正しく認識することができず、操作性が激しく低下するためである。

しかしながら、撮影装置２０による撮影範囲Ｒに、スクリーン４０の画像表示領域ＲＤが含まれている場合には、画像表示領域ＲＤにおいて、人の手８１Ｉを含む投影画像Ｉｍが投影される場合がある。

図３は、人の手８１Ｉを含む投影画像Ｉｍが写っている撮影画像５０の例を示す図である。
図３に示すｘ軸及びｙ軸は、撮影画像５０内の画素の位置を表す直交座標系の座標軸である。
図３に示すように、撮影画像５０に投影画像Ｉｍが写っており、かつ、この投影画像Ｉｍに人の手８１Ｉが含まれる場合には、投影画像Ｉｍ内の手８１が検出対象として誤検出されてしまうことがある。投影画像Ｉｍ内の手８１が誤検出されると、ジェスチャーの誤検出が生じて、プロジェクタ３０が意図しない動作を行ってしまう。

そこで、本実施形態では、操作者８０の手８１と、スクリーン４０の画像表示領域ＲＤとの位置関係に基づいて、投影画像Ｉｍ内の、ジェスチャーを行っていない手８１を検出対象から除外し、ジェスチャーを行っている操作者８０の手８１を適切に検出対象として検出する。

以下、図４及び図５を参照して、検出装置１０のＣＰＵ１１が、操作者８０の手８１を検出する動作、及び、手８１によるジェスチャーを検出してプロジェクタ３０の動作を制御する動作について説明する。ＣＰＵ１１は、上記動作を実現するために、図４に示す機器制御処理、及び図５に示す手検出処理を実行する。

図４は、機器制御処理の制御手順を示すフローチャートである。
機器制御処理は、例えば、検出装置１０、撮影装置２０及びプロジェクタ３０の電源が投入され、プロジェクタ３０を操作するためのジェスチャーの受け付けが開始された場合に実行される。

機器制御処理が開始されると、ＣＰＵ１１は、撮影装置２０に制御信号を送信して、カラーカメラによる撮影を開始させる（ステップＳ１０１）。撮影が開始されると、ＣＰＵ１１は、手検出処理を実行する（ステップＳ１０２）。

図５は、手検出処理の制御手順を示すフローチャートである。
手検出処理が呼び出されると、ＣＰＵ１１は、操作者８０及び手８１を撮影した撮影画像５０（撮影画像データ１３２）を取得する（ステップＳ２０１）。また、ＣＰＵ１１は、取得した撮影画像５０において、手８１に対応する手領域の候補（以下では、単に「手８１の候補」と記す）を抽出する（ステップＳ２０２）。撮影画像５０において手８１の候補を抽出する処理は、撮影画像５０において対象物を抽出する処理に相当する。

図３に示す撮影画像５０においては、スクリーン４０の前方に立っている操作者８０が、左手８１Ｌの人差し指を左方（－ｘ方向）に向けるジェスチャーを行っている。また、投影画像Ｉｍ内に写っている人が、手８１Ｉの人差し指を上方（－ｙ方向）に向けている。このため、図３に示す撮影画像５０が取得された場合には、ＣＰＵ１１は、ステップＳ２０２において、操作者８０の左手８１Ｌと、投影画像Ｉｍ内の手８１Ｉとを、手８１の候補として抽出することとなる。

ステップＳ２０２において撮影画像５０から手８１の候補を抽出する方法は、特には限られないが、例えば以下のような方法を用いることができる。まず、カラー画像の色情報に基づいて、色に係る閾値処理を行うことで、カラー画像のうち肌の色（手８１の色）に相当する領域を抽出する。次に、抽出された各領域について、指に相当する突出部が含まれるか否かを判別する。抽出された各領域のうち、指に相当する突出部が含まれると判別された領域を、手８１に対応する手領域の候補として抽出する。

なお、ＣＰＵ１１は、抽出した手８１に相当する手領域を表すマスク画像を生成し、そのマスク画像データを以降の処理に用いてもよい。マスク画像データは、例えば、手領域に対応する画素の画素値を「１」とし、手領域以外の領域に対応する画素の画素値を「０」とした画像である。

ＣＰＵ１１は、ステップＳ２０２において手８１の候補が抽出されたか否かを判別する（ステップＳ２０３）。手８１の候補が抽出されたと判別された場合には（ステップＳ２０３で“ＹＥＳ”）、ＣＰＵ１１は、撮影画像５０において、スクリーン４０の画像表示領域ＲＤを検出（特定）する（ステップＳ２０４）。

図３に示すように、本実施形態のスクリーン４０は、画像表示面４１の四隅に、スクリーン４０の４つの角部を表す直角二等辺三角形の標識６０が、各角部に設けられている。このように、スクリーン４０における予め定められた位置に標識６０が設けられている場合には、ＣＰＵ１１は、撮影画像５０における標識６０の位置に基づいて画像表示領域ＲＤを検出することができる。図３に示す例では、ＣＰＵ１１は、標識６０のうち直角となっている頂点の位置を特定し、少なくとも３つの標識６０の頂点の位置に基づいて、画像表示領域ＲＤを表す矩形領域を特定する。標識６０の形状、及びスクリーン４０における標識６０の位置は、図３に示したものに限られない。

なお、撮影画像５０から画像表示領域ＲＤを特定する方法は、スクリーン４０に設けられた標識６０を用いる方法に限られない。
例えば、図６に示すように、予め定められた位置（例えば、四隅）に標識６０を含む投影画像Ｉｍを画像表示領域ＲＤに投影させ、撮影画像５０における標識６０の位置に基づいて画像表示領域ＲＤを検出してもよい。これにより、標識６０の位置から、投影画像Ｉｍの範囲を正確に検出し、また、画像表示領域ＲＤを検出することができる。また、この方法では、投影画像Ｉｍの範囲を正確に検出できるので、スクリーン４０の画像表示面４１に代えて、当該投影画像Ｉｍの範囲を画像表示領域ＲＤとしてもよい。投影画像Ｉｍに標識６０を設けるためには、標識６０のデータを含む投影画像Ｉｍの画像データを用いて投影画像Ｉｍを投影してもよいし、検出装置１０からプロジェクタ３０に投影画像Ｉｍの画像データを送信する際に、当該画像データに標識６０のデータを付加し、標識６０のデータが付加された画像データを用いて投影画像Ｉｍを投影してもよい。
また、撮影画像５０に含まれる物体同士の境界線を抽出し、矩形をなしている境界線がある場合に、当該矩形の頂点の位置に基づいて画像表示領域ＲＤを特定してもよい。
また、撮影装置２０とスクリーン４０との位置関係が決まっている場合には、当該位置関係に基づいて、撮影画像５０における画像表示領域ＲＤの範囲を予め特定しておいてもよい。すなわち、予め画像表示領域ＲＤの範囲を特定するためのキャリブレーションを行ってもよい。

ＣＰＵ１１は、画像表示領域ＲＤが検出されたか否かを判別し（ステップＳ２０５）、画像表示領域ＲＤが検出されたと判別された場合には（ステップＳ２０５で“ＹＥＳ”）、画像表示領域ＲＤの内部に手８１の候補があるか否かを判別する（ステップＳ２０６）。ここでは、ＣＰＵ１１は、手８１の領域の全体が画像表示領域ＲＤの内部に入っているものを、画像表示領域ＲＤの内部にある手８１の候補とする。また、図６に示す操作者８０の右手８１Ｒのように、手８１の領域が、撮影画像５０において画像表示領域ＲＤの内部から外部にわたって（画像表示領域ＲＤの境界線をまたいで）延在している場合には、ＣＰＵ１１は、当該手８１が画像表示領域ＲＤの外部にあると判別する。手８１が画像表示領域ＲＤの内部から外部にわたって延在している場合には、当該手８１が、画像表示領域ＲＤに表示されている手８１Ｉであることはあり得ず、ジェスチャーを行っている操作者８０の手８１である可能性があるためである。

画像表示領域ＲＤの内部に手８１の候補があると判別された場合には（ステップＳ２０６で“ＹＥＳ”）、ＣＰＵ１１は、画像表示領域ＲＤの内部にある手８１の候補を、検出対象の候補から除外する（ステップＳ２０７）。

ＣＰＵ１１は、撮影画像５０のうち画像表示領域ＲＤを除いた外部領域ＲＥに手８１の候補があるか否かを判別する（ステップＳ２０８）。外部領域ＲＥに手８１の候補があると判別された場合には（ステップＳ２０８で“ＹＥＳ”）、ＣＰＵ１１は、外部領域ＲＥにある手８１の候補のうち、面積が最大である手８１の候補を、ジェスチャー判別用の手８１（検出対象）として検出する（ステップＳ２０９）。

また、ステップＳ２０５において、画像表示領域ＲＤが検出されなかったと判別された場合（ステップＳ２０５で“ＮＯ”）、又は、ステップＳ２０６において、画像表示領域ＲＤの内部に手８１の候補がないと判別された場合には（ステップＳ２０６）、外部領域ＲＥに手８１の候補があることとなる。このため、ＣＰＵ１１は、処理をステップＳ２０９に移行させ、外部領域ＲＥにある手８１の候補のうち、面積が最大である手８１の候補を、ジェスチャー判別用の手８１（検出対象）として検出する。なお、撮影画像５０に画像表示領域ＲＤが検出されなかった場合には、撮影画像５０の全体が外部領域ＲＥに相当するものとする。

ステップＳ２０９が終了すると、ＣＰＵ１１は、手検出処理を終了させて、処理を図４の機器制御処理に戻す。
また、ステップＳ２０３において、手８１の候補が抽出されていないと判別された場合（ステップＳ２０３で“ＮＯ”）、又は、ステップＳ２０８において、外部領域ＲＥに手８１の候補がないと判別された場合には（ステップＳ２０８で“ＮＯ”）、ＣＰＵ１１は、ジェスチャー判別用の手８１を検出せずに手検出処理を終了させて、処理を図４の機器制御処理に戻す。

なお、ステップＳ２０９において、面積が最大であるものをジェスチャー判別用の手８１として検出したが、これ以外の方法で１つのジェスチャー判別用の手８１を決定してもよい。例えば、手８１の指の形状などに基づいて、手８１である可能性の高さの指標値を導出し、最も指標値が大きい手８１を、ジェスチャー判別用の手８１として検出してもよい。
また、図５のフローチャートでは、まず手８１の候補を抽出した後に（ステップＳ２０２）、画像表示領域ＲＤを検出したが（ステップＳ２０４）、この順序に限定されず、先に画像表示領域ＲＤを検出し、その後に手８１の候補を抽出してもよい。

図４の手検出処理（ステップＳ１０２）が終了すると、ＣＰＵ１１は、手検出処理において、ジェスチャー判別用の手８１が検出されたか否かを判別する（ステップＳ１０３）。手８１が検出されたと判別された場合には（ステップＳ１０３で“ＹＥＳ”）、ＣＰＵ１１は、手８１における指の向き、又は、複数フレームの撮影画像５０にわたる指の先端の位置の動きから、操作者８０の手８１によるジェスチャーを検出したか否かを判別する（ステップＳ１０４）。ジェスチャーを検出したと判別された場合には（ステップＳ１０４で“ＹＥＳ”）、ＣＰＵ１１は、検出したジェスチャーに応じた動作を行わせるための制御信号を、プロジェクタ３０に送信する（ステップＳ１０５）。当該制御信号を受信したプロジェクタ３０は、制御信号に応じた動作を行う。

ステップＳ１０５が終了した場合、ステップＳ１０３において手８１が検出されていないと判別された場合（ステップＳ１０３で“ＮＯ”）、又は、ステップＳ１０４においてジェスチャーが検出されないと判別された場合には（ステップＳ１０４で“ＮＯ”）、ＣＰＵ１１は、情報処理システム１におけるジェスチャーの受け付けを終了するか否かを判別する（ステップＳ１０６）。ここでは、ＣＰＵ１１は、例えば、検出装置１０、撮影装置２０又はプロジェクタ３０の電源をオフする操作がなされている場合に、ジェスチャーの受け付けを終了すると判別する。

ジェスチャーの受け付けを終了しないと判別された場合には（ステップＳ１０６で“ＮＯ”）、ＣＰＵ１１は、処理をステップＳ１０２に戻し、次のフレーム期間に撮影された撮影画像に基づいて手８１を検出するための手検出処理を実行する。ステップＳ１０２～Ｓ１０６のループ処理は、例えば、撮影装置２０による撮影のフレームレートで（すなわち、撮影画像５０が生成されるたびに）繰り返し実行される。
ジェスチャーの受け付けを終了すると判別された場合には（ステップＳ１０６で“ＹＥＳ”）、ＣＰＵ１１は、機器制御処理を終了させる。

＜変形例＞
続いて、上記実施形態の変形例について説明する。本変形例は、手検出処理の制御手順が上記実施形態と異なる。以下では、上記実施形態との相違点について説明し、上記実施形態と共通する構成については説明を省略する。

図７は、変形例に係る手検出処理の制御手順を示すフローチャートである。
本変形例に係る手検出処理では、まず画像表示領域ＲＤを検出（特定）し、次いで、画像表示領域ＲＤの外部領域ＲＥにおいて手８１の候補を抽出する。このような手順とすることで、最終的に候補から除外されることとなる、画像表示領域ＲＤの内部の手８１を、初めから抽出しないようにすることができる。

本変形例に係る手検出処理が呼び出されると、ＣＰＵ１１は、操作者８０及び手８１を撮影した撮影画像５０（撮影画像データ１３２）を取得する（ステップＳ３０１）。

ＣＰＵ１１は、撮影画像５０において、スクリーン４０の画像表示領域ＲＤを検出（特定）する（ステップＳ３０２）。ステップＳ３０２の処理内容は、図５のステップＳ２０４と同一である。

ＣＰＵ１１は、画像表示領域ＲＤが検出されたか否かを判別し（ステップＳ３０３）、画像表示領域ＲＤが検出されたと判別された場合には（ステップＳ３０３で“ＹＥＳ”）、画像表示領域ＲＤの外部領域ＲＥにおいて手８１の候補を抽出する（ステップＳ３０４）。ステップＳ３０４の処理内容は、抽出する対象範囲が外部領域ＲＥである点を除いて、図５のステップＳ２０２と同一である。

一方、画像表示領域ＲＤが検出されなかったと判別された場合には（ステップＳ３０３で“ＮＯ”）、ＣＰＵ１１は、撮影画像５０の全体において手８１の候補を抽出する（ステップＳ３０５）。ステップＳ３０５の処理内容は、図５のステップＳ２０２と同一である。

ステップＳ３０４又はステップＳ３０５が終了すると、ＣＰＵ１１は、手８１の候補が抽出されたか否かを判別する（ステップＳ３０６）。手８１の候補が抽出されたと判別された場合には（ステップＳ３０６で“ＹＥＳ”）、ＣＰＵ１１は、抽出された手８１の候補のうち、面積が最大である手８１の候補を、ジェスチャー判別用の手８１（検出対象）として検出する（ステップＳ３０７）。よって、ステップＳ３０４において、外部領域ＲＥにある手８１の候補が抽出されている場合には、外部領域ＲＥにおいて抽出された手８１の候補の中からジェスチャー判別用の手８１が検出される。

ステップＳ３０７が終了すると、ＣＰＵ１１は、手検出処理を終了させて、処理を図４の機器制御処理に戻す。
また、ステップＳ３０６において、手８１の候補が抽出されていないと判別された場合には（ステップＳ３０６で“ＮＯ”）、ＣＰＵ１１は、ジェスチャー判別用の手８１を検出せずに手検出処理を終了させて、処理を図４の機器制御処理に戻す。

＜効果＞
以上のように、本実施形態に係る検出方法は、コンピュータとしてのＣＰＵ１１が実行する検出方法であって、投影画像Ｉｍが表示されている画像表示領域ＲＤの少なくとも一部と、操作者８０の手８１（対象物）の少なくとも一部と、を含む撮影画像５０を取得し、撮影画像５０のうち画像表示領域ＲＤを除いた外部領域ＲＥで抽出された手８１の少なくとも一部を検出対象として検出する。これにより、撮影画像５０に写っている画像表示領域ＲＤに、人の手８１Ｉを含む投影画像Ｉｍが表示されている場合であっても、当該手８１Ｉを検出対象から除外し、ジェスチャーを行っている操作者８０の手８１を検出対象として適切に検出することができる。

また、撮影画像５０における画像表示領域ＲＤを特定し、撮影画像５０のうち、特定された画像表示領域ＲＤを除いた外部領域ＲＥで抽出された手８１の少なくとも一部を検出対象として検出することで、画像表示領域ＲＤに写っている手８１を検出対象から除外することができる。

また、撮影画像５０における画像表示領域ＲＤを特定し、撮影画像５０において手８１を抽出し、抽出された手８１が、撮影画像５０における画像表示領域ＲＤを除いた外部領域ＲＥにあるか否かを判別し、外部領域ＲＥにあると判別された手８１の少なくとも一部を検出対象として検出する。このように、一旦撮影画像５０の全体において手８１の候補を抽出してから、手８１が外部領域ＲＥにあるか否かを判別することにより、ジェスチャーを行っている操作者８０の手８１の検出漏れを生じにくくすることができる。

また、変形例に係る検出方法は、撮影画像５０における画像表示領域ＲＤを特定し、撮影画像５０のうち、特定された画像表示領域ＲＤを除いた外部領域ＲＥにおいて手８１を抽出し、抽出された手８１の少なくとも一部を検出対象として検出する。これにより、撮影画像５０に写っている画像表示領域ＲＤに、人の手８１Ｉを含む投影画像Ｉｍが表示されている場合であっても、当該手８１Ｉを検出対象から除外し、ジェスチャーを行っている操作者８０の手８１を検出対象として適切に検出することができる。また、最終的に候補から除外されることとなる、画像表示領域ＲＤの内部の手８１を、始めから抽出しないようにすることができる。よって、画像表示領域ＲＤの内部における手８１の抽出処理、及び、画像表示領域ＲＤの内部において抽出された手８１を候補から除外する処理を省略できるため、ＣＰＵ１１の処理負荷を軽減することができる。

また、複数の手８１が抽出された場合には、複数の手８１のうち面積が最大である手８１を検出対象として検出する。これにより、複数の手８１のうち、ジェスチャーを行っている操作者８０の手８１である可能性の高い手８１を検出対象として適切に検出することができる。

また、抽出された手８１が、撮影画像５０において画像表示領域ＲＤの内部から外部にわたって延在している場合には、当該手８１が、画像表示領域ＲＤの外部にあると判別する。手８１が画像表示領域ＲＤの内部から外部にわたって延在している場合には、当該手８１が、画像表示領域ＲＤに表示されている手８１Ｉであることはあり得ず、ジェスチャーを行っている操作者８０の手８１である可能性がある。よって、このような手８１について、画像表示領域ＲＤの外にあると判別することで、当該手８１を適切に検出対象として検出することができる。

また、画像表示領域ＲＤを構成するスクリーン４０には、予め定められた位置に標識６０が設けられており、撮影画像５０における標識６０の位置に基づいて画像表示領域ＲＤを特定する。これにより、深度情報を含まない撮影画像５０に基づいて、簡易に画像表示領域ＲＤを特定することができる。

また、画像表示領域ＲＤに表示される投影画像Ｉｍは、予め定められた位置に標識６０を含んでいてもよく、撮影画像５０における標識６０の位置に基づいて画像表示領域ＲＤを特定してもよい。これにより、深度情報を含まない撮影画像５０に基づいて、簡易に画像表示領域ＲＤを検出することができる。また、標識６０の位置から、投影画像Ｉｍの範囲を正確に検出することができるので、当該範囲を画像表示領域ＲＤとみなすこともできる。よって、スクリーン４０に対して投影画像Ｉｍが小さい場合に、スクリーン４０のうち投影画像Ｉｍが投影されていない範囲を画像表示領域ＲＤの外部領域ＲＥとして扱うことができ、当該範囲に操作者８０の手８１が写っている場合に、当該手８１を検出対象として適切に検出することができる。

また、本実施形態に係る検出装置１０は、ＣＰＵ１１を備え、ＣＰＵ１１は、投影画像Ｉｍが表示されている画像表示領域ＲＤの少なくとも一部と、操作者８０の手８１（対象物）の少なくとも一部と、を含む撮影画像５０を取得し、撮影画像５０のうち画像表示領域ＲＤを除いた外部領域ＲＥで抽出された手８１の少なくとも一部を検出対象として検出する。これにより、撮影画像５０に写っている画像表示領域ＲＤに、人の手８１Ｉを含む投影画像Ｉｍが表示されている場合であっても、当該手８１Ｉを検出対象から除外し、ジェスチャーを行っている操作者８０の手８１を検出対象として適切に検出することができる。

また、本実施形態に係るプログラム１３１は、コンピュータとしてのＣＰＵ１１に、投影画像Ｉｍが表示されている画像表示領域ＲＤの少なくとも一部と、操作者８０の手８１（対象物）の少なくとも一部と、を含む撮影画像５０を取得する処理、撮影画像５０のうち画像表示領域ＲＤを除いた外部領域ＲＥで抽出された手８１の少なくとも一部を検出対象として検出する処理、を実行させる。これにより、撮影画像５０に写っている画像表示領域ＲＤに、人の手８１Ｉを含む投影画像Ｉｍが表示されている場合であっても、当該手８１Ｉを検出対象から除外し、ジェスチャーを行っている操作者８０の手８１を検出対象として適切に検出することができる。

＜その他＞
なお、上記実施形態における記述は、本発明に係る検出方法、検出装置及びプログラムの一例であり、これに限定されるものではない。
例えば、上記実施形態では、検出装置１０、撮影装置２０、及びプロジェクタ３０（ジェスチャーによる操作対象機器）が別個となっている例を用いて説明したが、この態様に限られない。
例えば、検出装置１０と撮影装置２０とが一体となっていてもよい。一例を挙げると、検出装置１０の表示部１５のベゼルに、撮影装置２０のカラーカメラが組み込まれていてもよい。
また、検出装置１０と操作対象機器とが一体となっていてもよい。例えば、上記実施形態におけるプロジェクタ３０に検出装置１０の機能を組み込み、検出装置１０が実行していた処理をプロジェクタ３０の図示しないＣＰＵが実行してもよい。この場合には、プロジェクタ３０が「検出装置」に相当し、プロジェクタ３０のＣＰＵが「処理部」に相当する。
また、撮影装置２０と操作対象機器とが一体となっていてもよい。例えば、上記実施形態におけるプロジェクタ３０の筐体に、撮影装置２０のカラーカメラが組み込まれていてもよい。
また、検出装置１０、撮影装置２０及び操作対象機器が全て一体となっていてもよい。例えば、操作対象機器としての検出装置１０の表示部１５のベゼルにカラーカメラが組み込まれた態様において、操作者８０の手８１（指）のジェスチャーにより検出装置１０の動作を制御してもよい。

また、操作者８０は人に限られず、ロボットや動物等であってもよい。

また、上記実施形態では、操作者８０が手８１によって行うジェスチャーは、手８１の指の向き又は動きによって行うジェスチャーであるものとしたが、これに限られず、例えば手８１の全体の動きによって行うジェスチャー等であってもよい。また、画像表示面４１を指先でタッチするジェスチャーであってもよい。

また、撮影装置２０は、カラーカメラに加えて深度カメラを有していてもよい。深度カメラは、スクリーン４０の画像表示領域ＲＤ、操作者８０、及びこれらの背景を含む撮影範囲Ｒを撮影して、撮影範囲Ｒの深度情報を含む深度画像に係る深度画像データを生成する。深度画像は、各画素が、画像表示領域ＲＤ、操作者８０、及びこれらの背景の構造物（以下、「測距対象物」と記す）の奥行き（深度カメラから測距対象物までの距離）に係る深度情報を含む。撮影装置２０がカラーカメラ及び深度カメラを有する場合には、深度画像の深度情報に基づいて画像表示面４１、すなわち画像表示領域ＲＤを特定してもよい。例えば、深度画像において深度が連続している平面状の矩形領域を画像表示領域ＲＤとして特定してもよい。
深度カメラとしては、例えば、ＴＯＦ（Time Of Flight）方式で距離を検出するもの、又はステレオ方式で距離を検出するものなどを用いることができる。また、カラーカメラ及び深度カメラは、撮影範囲Ｒを少なくとも含む範囲を撮影可能であればよく、カラーカメラにより撮影される画角と、深度カメラにより撮影される画角とが異なっていてもよい。また、カラーカメラにより撮影される画角と、深度カメラにより撮影される画角とが重複する撮影範囲Ｒにおいては、カラー画像の画素と、深度画像の画素との対応付けがなされていることが好ましい。これにより、カラー画像における任意の画素を指定した場合に、深度画像において当該画素に対応する画素を特定することができる。よって、カラー画像における任意の画素について、深度情報を取得することができる。

また、上記実施形態では、撮影範囲Ｒにスクリーン４０の画像表示領域ＲＤの全体が含まれている場合を例に挙げて説明したが、これに限られず、画像表示領域ＲＤの一部のみが撮影範囲Ｒに含まれる態様、すなわち、撮影画像５０に画像表示領域ＲＤの一部のみが写る態様であってもよい。

また、以上の説明では、本発明に係るプログラムのコンピュータ読み取り可能な媒体として記憶部１３のＨＤＤ、ＳＳＤを使用した例を開示したが、この例に限定されない。その他のコンピュータ読み取り可能な媒体として、フラッシュメモリ、ＣＤ－ＲＯＭ等の情報記録媒体を適用することが可能である。また、本発明に係るプログラムのデータを通信回線を介して提供する媒体として、キャリアウエーブ（搬送波）も本発明に適用される。

また、上記実施形態における検出装置１０、撮影装置２０及びプロジェクタ３０の各構成要素の細部構成及び細部動作に関しては、本発明の趣旨を逸脱することのない範囲で適宜変更可能であることは勿論である。

本発明の実施の形態を説明したが、本発明の範囲は、上述の実施の形態に限定するものではなく、特許請求の範囲に記載された発明の範囲とその均等の範囲を含む。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
〔付記〕
＜請求項１＞
コンピュータが実行する検出方法であって、
画像が表示されている画像表示領域の少なくとも一部と、対象物の少なくとも一部と、を含む撮影画像を取得し、
前記撮影画像のうち前記画像表示領域を除いた外部領域で抽出された前記対象物の少なくとも一部を検出対象として検出する、
検出方法。
＜請求項２＞
前記撮影画像における前記画像表示領域を特定し、
前記撮影画像のうち、特定された前記画像表示領域を除いた前記外部領域で抽出された前記対象物の少なくとも一部を前記検出対象として検出する、
請求項１に記載の検出方法。
＜請求項３＞
前記撮影画像における前記画像表示領域を特定し、
前記撮影画像において前記対象物を抽出し、
抽出された前記対象物が、前記撮影画像のうち前記画像表示領域を除いた前記外部領域にあるか否かを判別し、
前記外部領域にあると判別された前記対象物の少なくとも一部を前記検出対象として検出する、
請求項１に記載の検出方法。
＜請求項４＞
前記撮影画像における前記画像表示領域を特定し、
前記撮影画像のうち、特定された前記画像表示領域を除いた外部領域において、前記対象物を抽出し、
抽出された前記対象物の少なくとも一部を前記検出対象として検出する、
請求項１に記載の検出方法。
＜請求項５＞
複数の前記対象物が抽出された場合には、前記複数の対象物のうち面積が最大である対象物を前記検出対象として検出する、
請求項１に記載の検出方法。
＜請求項６＞
抽出された前記対象物が、前記撮影画像において前記画像表示領域の内部から外部にわたって延在している場合には、当該対象物が、前記画像表示領域の外部にあると判別する、
請求項１に記載の検出方法。
＜請求項７＞
前記画像表示領域を構成する部材には、予め定められた位置に標識が設けられており、
前記撮影画像における前記標識の位置に基づいて前記画像表示領域を特定する、
請求項２～４のいずれか一項に記載の検出方法。
＜請求項８＞
前記画像表示領域に表示される画像は、予め定められた位置に標識を含み、
前記撮影画像における前記標識の位置に基づいて前記画像表示領域を特定する、
請求項２～４のいずれか一項に記載の検出方法。
＜請求項９＞
画像が表示されている画像表示領域の少なくとも一部と、対象物の少なくとも一部と、を含む撮影画像を取得し、
前記撮影画像のうち前記画像表示領域を除いた外部領域で抽出された前記対象物の少なくとも一部を検出対象として検出する、
処理部を備える検出装置。
＜請求項１０＞
コンピュータに、
画像が表示されている画像表示領域の少なくとも一部と、対象物の少なくとも一部と、を含む撮影画像を取得する処理、
前記撮影画像のうち前記画像表示領域を除いた外部領域で抽出された前記対象物の少なくとも一部を検出対象として検出する処理、
を実行させるプログラム。

１ 情報処理システム
１０ 検出装置
１１ ＣＰＵ（処理部）
１２ ＲＡＭ
１３ 記憶部
１３１ プログラム
１３２ 撮影画像データ
１４ 操作部
１５ 表示部
１６ 通信部
１７ バス
２０ 撮影装置
３０ プロジェクタ
４０ スクリーン
４１ 画像表示面
５０ 撮影画像
６０ 標識
８０ 操作者（被写体）
８１、８１Ｌ、８１Ｒ、８１Ｉ 手（対象物、検出対象の候補、検出対象）
Ｉｍ 投影画像（画像）
Ｒ 撮影範囲
ＲＤ 画像表示領域
ＲＥ 外部領域

Claims (10)

1. コンピュータが実行する検出方法であって、
   画像が表示されている画像表示領域の少なくとも一部と、対象物の少なくとも一部と、を含む撮影画像を取得し、
   前記撮影画像のうち前記画像表示領域を除いた外部領域で抽出された前記対象物の少なくとも一部を検出対象として検出する、
   検出方法。
2. 前記撮影画像における前記画像表示領域を特定し、
   前記撮影画像のうち、特定された前記画像表示領域を除いた前記外部領域で抽出された前記対象物の少なくとも一部を前記検出対象として検出する、
   請求項１に記載の検出方法。
3. 前記撮影画像における前記画像表示領域を特定し、
   前記撮影画像において前記対象物を抽出し、
   抽出された前記対象物が、前記撮影画像のうち前記画像表示領域を除いた前記外部領域にあるか否かを判別し、
   前記外部領域にあると判別された前記対象物の少なくとも一部を前記検出対象として検出する、
   請求項１に記載の検出方法。
4. 前記撮影画像における前記画像表示領域を特定し、
   前記撮影画像のうち、特定された前記画像表示領域を除いた外部領域において、前記対象物を抽出し、
   抽出された前記対象物の少なくとも一部を前記検出対象として検出する、
   請求項１に記載の検出方法。
5. 複数の前記対象物が抽出された場合には、前記複数の対象物のうち面積が最大である対象物を前記検出対象として検出する、
   請求項１に記載の検出方法。
6. 抽出された前記対象物が、前記撮影画像において前記画像表示領域の内部から外部にわたって延在している場合には、当該対象物が、前記画像表示領域の外部にあると判別する、
   請求項１に記載の検出方法。
7. 前記画像表示領域を構成する部材には、予め定められた位置に標識が設けられており、
   前記撮影画像における前記標識の位置に基づいて前記画像表示領域を特定する、
   請求項２～４のいずれか一項に記載の検出方法。
8. 前記画像表示領域に表示される画像は、予め定められた位置に標識を含み、
   前記撮影画像における前記標識の位置に基づいて前記画像表示領域を特定する、
   請求項２～４のいずれか一項に記載の検出方法。
9. 画像が表示されている画像表示領域の少なくとも一部と、対象物の少なくとも一部と、を含む撮影画像を取得し、
   前記撮影画像のうち前記画像表示領域を除いた外部領域で抽出された前記対象物の少なくとも一部を検出対象として検出する、
   処理部を備える検出装置。
10. コンピュータに、
    画像が表示されている画像表示領域の少なくとも一部と、対象物の少なくとも一部と、を含む撮影画像を取得する処理、
    前記撮影画像のうち前記画像表示領域を除いた外部領域で抽出された前記対象物の少なくとも一部を検出対象として検出する処理、
    を実行させるプログラム。

Images