JP6194777B2 - 動作判定方法、動作判定装置および動作判定プログラム - Google Patents

Description

本発明は、動作判定方法、動作判定装置および動作判定プログラムに関する。

近年、撮像装置で撮像した画像等を基に人物の動作を検知する技術が開発されている。このような技術には、例えば、撮像装置により人物が映った画像を撮像し、その画像のデータに基づいて人物が物体を手に取ったか判定する技術が挙げられる。

また、画像のデータに基づいて人物が物体を手に取ったことを判定する技術には次のようなものがある。例えば、撮像された画像から手の出入りを検出するのに適した領域を抽出し、それぞれの領域内で手の三次元位置を参照し、手を含む領域の先端の幅の変化に基づいて物体の取り出しの有無を判別する技術が提案されている。また、例えば、商品の陳列棚を映した画像のフレーム間の差分から、商品が陳列棚から取り上げられたことを判断する技術が用いられている。

特開２００１−１２８８１４号公報 特開２０１１−２５３３４４号公報

しかし、上記の技術では、人物が物体を手に取ったことを正確に判定できない場合がある。例えば、画像のフレーム間の差分から商品が陳列棚から取り上げられたことを判断する技術では、顧客の体の一部の接触により商品が棚から落ちた場合等、実際には人物により商品が取り上げられていないときも、商品が取り上げられたと誤判定される場合がある。

１つの側面では、本発明は、画像に映る人物が物体を手に取ったことを精度良く判定する動作判定方法、動作判定装置および動作判定プログラムを提供することを目的とする。

また、１つの案では、情報処理装置が行う動作判定方法が提供される。動作判定方法では、撮像装置によって撮像された画像のデータと、画像に映った被写体と撮像装置との間の画素ごとの距離と、画像に映った人物の手首についての当該画像における座標および撮像装置との距離とを取得する。画像から、座標が手首の座標を含む所定座標範囲に含まれ、かつ、距離が手首の位置を含む所定距離範囲に含まれる画素群を抽出する。抽出された画素群における特定の色彩特徴量を有する画素の割合に基づいて、人物が物体を手に取ったかを判定する。

また、１つの案では、上記動作判定方法と同様の機能を実現する動作判定装置が提供される。
さらに、１つの案では、上記動作判定方法と同様の処理を実行させる動作判定プログラムが提供される。

一側面では、画像に映る人物が物体を手に取ったことを精度良く判定できる。

第１の実施の形態の情報処理装置の処理例を示す図である。 第２の実施の形態の動作判定システムの例を示す図である。 センサデバイスの配置例を示す図である。 センサデバイスのハードウェア構成例を示すブロック図である。 動作判定装置のハードウェア構成例を示すブロック図である。 画像の判定例を示す図である。 画像の判定例を示す図（続き）である。 画像の判定例を示す図（続き２）である。 センサデバイスおよび動作判定装置の機能例を示すブロック図である。 骨格情報の例を示す図である。 商品情報テーブルの例を示す図である。 手領域情報テーブルの例を示す図である。 手領域を抽出する例を示す図である。 顧客が商品を手に取っていないときの手領域の画像の例を示す図である。 顧客が商品を手に取っているときの手領域の画像の例を示す図である。 顧客が商品を手に取っているか判定する処理の例を示すフローチャートである。 顧客が商品を手に取っているか判定する処理の例を示すフローチャート（続き）である。 第３の実施の形態の顧客が商品を手に取っているか判定する処理の例を示すフローチャートである。

以下、本実施の形態を図面を参照して説明する。
［第１の実施の形態］
図１は、第１の実施の形態の情報処理装置の処理例を示す図である。撮像装置１は、所定の領域の画像を撮像する装置である。情報処理装置２は、撮像装置１によって撮像された画像に映った人物が物体を手に取ったかを判定する装置である。情報処理装置２は、例えば、コンピュータ等により実現される。

情報処理装置２は、撮像装置１によって撮像された画像のデータと、画像に映った被写体と撮像装置１との間の画素ごとの距離と、画像に映った人物の手首についての画像における座標および撮像装置１との距離とを取得する。情報処理装置２は、これらの情報を、撮像装置１から直接取得してもよいし、記録媒体を介して取得してもよい。また、これらの情報のうち、画像に映った被写体と撮像装置１との間の画素ごとの距離と、画像に映った人物の手首についての画像における座標および撮像装置１との距離とを、撮像装置１が計測して情報処理装置２へ送信してもよいし、撮像装置１とは別のセンサを有する装置が計測して情報処理装置２へ送信してもよい。

以下、画像に映った人物の手首についての画像における座標を“手首の座標”と記載する場合がある。また、画像に映った人物の手首についての撮像装置１との距離を“手首の距離”と記載する場合がある。

情報処理装置２は、撮像された画像から、座標が手首の座標を含む所定座標範囲に含まれ、かつ、距離が手首の距離を含む所定距離範囲に含まれる画素群を抽出する。そして、情報処理装置２は、抽出された画素群における特定の色彩特徴量を有する画素の割合に基づいて、人物が物体を手に取ったかを判定する。

ここで、図１を用いて情報処理装置２の処理の具体例を説明する。まず、情報処理装置２は、撮像装置１が撮像した画像１０のデータと、画像１０に映った被写体と撮像装置１との間の画素ごとの距離と、手首１１ａについての画像１０における座標および撮像装置１との距離とを取得したとする。

図１上段に示すように、画像１０の被写体には、人物１１、物体１２および背景１３が含まれる。人物１１の身体のうち、少なくとも手の周辺領域の部位は、画像１０のうち、手首１１ａの座標を含む所定座標範囲１４に含まれる。所定座標範囲１４とは、例えば、手首１１ａの座標を中心とした縦方向および横方向に一定画素数の範囲である。また、人物１１が物体１２を手に取った場合、物体１２も所定座標範囲１４に含まれる可能性が高い。

また、人物１１の身体のうち、少なくとも手の周辺領域の部位は、撮像装置１から見て、手首１１ａの位置を含む所定距離範囲に含まれる。所定距離範囲とは、例えば、手首１１ａの位置を中心とした前後の一定距離範囲である。また、人物１１が物体１２を手に取った場合、物体１２も上記の所定距離範囲に含まれる。一方、背景１３と撮像装置１との距離は、通常、手首１１ａの位置を含む所定距離範囲に含まれない。

情報処理装置２は、画像１０の領域から、座標が所定座標範囲１４に含まれ、かつ、距離が所定距離範囲に含まれる画素群を抽出する（Ｓ１）。すると、所定座標範囲１４から、所定距離範囲に含まれない背景１３に対応する画素群が除かれた画素群１５が抽出される。

また、人物１１の肌の部分が映った画素群は、肌色等の特定の色彩特徴量を有し、物体１２が映った画素群は、これと同じ特定の色彩特徴量を有しない。そこで、情報処理装置２は、抽出された画素群１５のうち、特定の色彩特徴量を有する画素の占める割合を算出する。これにより、画素群１５のうち、人物１１の肌の部分が映った画素の割合が算出される。

そして、情報処理装置２は、画素群１５における特定の色彩特徴量を有する画素の割合に基づいて、人物１１が物体１２を手に取ったかを判定する（Ｓ２）。人物１１が物体１２を手に取っていない場合より、手に取っている場合の方が、特定の色彩特徴量を有する画素の割合は小さくなる。このため、情報処理装置２は、例えば、算出された割合が予め設定された閾値より小さい場合に、人物１１が物体１２を手に取ったと判定することができる。

また、情報処理装置２は、例えば、人物１１の手が、物体１２が配置された所定領域に入ったタイミングと、手がこの所定領域から出たタイミングとで、上記の手順で画素群１５における特定の色彩特徴量を有する画素の割合を算出してもよい。この場合、情報処理装置２は、算出された２つの割合の比較結果に基づいて、人物１１が物体１２を手に取ったかを判定することができる。

ここで、撮像装置１が撮像した画像のフレーム間の差分がある場合に人物が物体を手に取ったと判定する技術では、人物の体の一部の接触により物体がフレーム外となったとき等、人物が商品を手に取ったと誤判定される場合がある。

これに対し、第１の実施の形態の情報処理装置２によれば、画像１０から抽出した画素群１５における、特定の色彩特徴量を有する画素の占める割合に基づき、人物１１が物体を手に取ったか判定する。これにより、人物１１の体の一部の接触により物体１２がフレーム外となったり、物体１２が決められた位置から移動したりした場合でも、所定座標範囲１４に物体１２の画素群は含まれないため、人物１１が物体１２を手に取ったと誤判定されない。よって、情報処理装置２は、人物１１が物体１２を手に取ったことを精度良く判定することができる。

また、情報処理装置２は、手首１１ａについての画像１０上の座標および撮像装置１との距離を取得し、画像１０における所定座標範囲１４から、距離が所定距離範囲内である画素群１５のみを抽出する。これにより、特定の色彩特徴量を有するか否かを判定する画素群を、手が存在すると考えられる画素群１５内に限定できるため、その判定処理の負担を軽減できる。また、判定する範囲を画素群１５に限定することで、特定の色彩特徴量を有する画素の割合が増え、物体１２を手に取ったかを精度良く判定できる。

さらに、特定の色彩特徴量の数ではなく、特定の色彩特徴量を有する画素の占める割合に基づき物体１２を手に取ったか判定することで、画像１０に映った手首１１ａの角度に関わらず、物体１２を手に取ったか精度良く判定できる。

［第２の実施の形態］
図２は、第２の実施の形態の動作判定システムの例を示す図である。動作判定システム３は、センサデバイス１００および動作判定装置２００を有する。センサデバイス１００および動作判定装置２００は、商品が販売される店舗の中に配置される。あるいは、センサデバイス１００のみが店舗の中に配置され、動作判定装置２００が店舗の外部に配置されてもよい。なお、センサデバイス１００の機能の一部は、第１の実施の形態の撮像装置１の機能の一例である。動作判定装置２００は、第１の実施の形態の情報処理装置２の一例である。

センサデバイス１００は、画像の撮像機能を有する。センサデバイス１００は、店舗内の領域のうち、少なくとも商品が配置された領域を撮像する。例えば、センサデバイス１００は、商品が配置される商品棚の領域を撮像する。

また、センサデバイス１００は、撮像した画像に含まれる各画素について、深度を計測し、計測した深度を示す深度情報を生成する。深度とは、センサデバイス１００から被写体までの画素ごとの距離を意味する。

さらに、センサデバイス１００は、画像に映った人物（ここでは顧客）の骨格情報を検出する。本実施の形態では、センサデバイス１００は、顧客の骨格として、少なくとも手首と肘を検出する。また、骨格情報には、対応する骨格の位置情報が含まれる。位置情報には、骨格の画像における座標と深度とが含まれる。

センサデバイス１００は、撮像した画像のデータと、計測した画素ごとの深度情報と、検出した骨格情報とを動作判定装置２００へ送信する。センサデバイス１００は、これらの情報を動作判定装置２００へ所定時間間隔で送信する。

動作判定装置２００は、顧客の行動を判定するコンピュータである。動作判定装置２００は、センサデバイス１００から画像のデータ等を受信する度に、受信した骨格情報や画像のデータ等を解析し、画像に映る顧客が商品を手に取ったか判定する。また、動作判定装置２００は、手に取った商品に関する情報を、ログファイルへの書き込みやディスプレイへの表示等により出力する。

なお、動作判定装置２００は、顧客が商品を手に取ったことの判定の他、単に商品の前を通過したことや、商品に注目したことや、商品に興味を持ったこと等の顧客の行動の有無を判定してもよい。

図３は、センサデバイスの配置例を示す図である。図３の例では、商品棚３１の上面に商品３２が配置される。また、図３の右側が、顧客３０が移動する領域となっている。センサデバイス１００は、商品棚３１に対して、顧客３０の移動領域とは反対側の位置に配置される。この場合、センサデバイス１００は、顧客３０、商品棚３１および商品３２が被写体として映った画像を撮像し、撮像した画像のデータと、画像の各画素の深度情報と、顧客３０の骨格情報とを動作判定装置２００へ送信することとなる。

図４は、センサデバイスのハードウェア構成例を示すブロック図である。センサデバイス１００は、プロセッサ１０１、ＲＡＭ（Random Access Memory）１０２、フラッシュメモリ１０３、撮像カメラ１０４、深度センサ１０５および通信インタフェース１０６を有する。これらのユニットは、センサデバイス１００内でバス１０７に接続されている。

プロセッサ１０１は、プログラムの命令を実行する演算器を含み、例えばＣＰＵ（Central Processing Unit）である。プロセッサ１０１は、フラッシュメモリ１０３に記憶されているプログラムやデータの少なくとも一部をＲＡＭ１０２にロードしてプログラムを実行する。

なお、プロセッサ１０１は複数のプロセッサコアを備えてもよい。また、センサデバイス１００は、複数のプロセッサを備えてもよい。また、センサデバイス１００は、複数のプロセッサまたは複数のプロセッサコアを用いて並列処理を行ってもよい。また、２以上のプロセッサの集合、ＦＰＧＡ（Field Programmable Gate Array）やＡＳＩＣ（Application Specific Integrated Circuit）等の専用回路、２以上の専用回路の集合、プロセッサと専用回路の組み合わせ等を「プロセッサ」と呼んでもよい。

ＲＡＭ１０２は、プロセッサ１０１が実行するプログラムやプログラムから参照されるデータを一時的に記憶する揮発性メモリである。なお、センサデバイス１００は、ＲＡＭ以外の種類のメモリを備えてもよく、複数個の揮発性メモリを備えてもよい。

フラッシュメモリ１０３は、ファームウェアやアプリケーションソフトウェア等のプログラムおよびデータを記憶する不揮発性の記憶装置である。なお、センサデバイス１００は、ＨＤＤ（Hard Disk Drive）等の他の種類の記憶装置を備えてもよく、複数個の不揮発性の記憶装置を備えてもよい。

撮像カメラ１０４は、画像を撮像し、撮像した画像のデータをプロセッサ１０１へ出力する。
深度センサ１０５は、撮像カメラ１０４で撮像された画像の各画素について深度を計測し、プロセッサ１０１に通知する。深度の計測方式には、例えば、レーザ光線の往復時間により深度を計測するＴＯＦ（Time Of Flight）方式や、反射する光線（例えば、赤外線等）のパターンのひずみで深度を計測するパターン照射方式等様々な計測方式があり、何れの方式を採用してもよい。ＴＯＦ方式およびパターン照射方式が採用される場合、深度センサ１０５は、レーザ光線や赤外線等の光線照射装置と、照射された光線の反射成分を検出するセンサとを有する。

通信インタフェース１０６は、他の動作判定装置（例えば、動作判定装置２００）と通信を行う。
なお、プロセッサ１０１に実行させるプログラムは、フラッシュメモリ１０３に他の記憶装置からコピーするようにしてもよい。

また、センサデバイス１００としては、例えば、マイクロソフト社のＫｉｎｅｃｔ（登録商標）センサを用いることができる。
図５は、動作判定装置のハードウェア構成例を示すブロック図である。動作判定装置２００は、プロセッサ２０１、ＲＡＭ２０２、ＨＤＤ２０３、画像信号処理部２０４、入力信号処理部２０５、ディスクドライブ２０６および通信インタフェース２０７を有する。これらのユニットは、動作判定装置２００内でバス２０８に接続されている。

プロセッサ２０１は、前述のプロセッサ１０１と同様に、プログラムの命令を実行する演算器を含む。ＲＡＭ２０２は、前述のＲＡＭ１０２と同様に、プロセッサ２０１が実行するプログラムやデータを一時的に記憶する揮発性メモリである。

ＨＤＤ２０３は、ＯＳ（Operating System）やファームウェアやアプリケーションソフトウェア等のソフトウェアのプログラムおよびデータを記憶する不揮発性の記憶装置である。なお、動作判定装置２００は、フラッシュメモリ等の他の種類の記憶装置を備えてもよく、複数個の不揮発性の記憶装置を備えてもよい。

画像信号処理部２０４は、プロセッサ２０１からの命令に従って、動作判定装置２００に接続されたディスプレイ２１に画像を出力する。ディスプレイ２１としては、ＣＲＴ（Cathode Ray Tube）ディスプレイや液晶ディスプレイ等を用いることができる。

入力信号処理部２０５は、動作判定装置２００に接続された入力デバイス２２から入力信号を取得し、プロセッサ２０１に通知する。入力デバイス２２としては、マウスやタッチパネル等のポインティングデバイス、キーボード等を用いることができる。

ディスクドライブ２０６は、記録媒体２３に記録されたプログラムやデータを読み取る駆動装置である。記録媒体２３として、例えば、フレキシブルディスク（ＦＤ：Flexible Disk）やＨＤＤ等の磁気ディスク、ＣＤ（Compact Disc）やＤＶＤ（Digital Versatile Disc）等の光ディスク、光磁気ディスク（ＭＯ：Magneto-Optical disk）を使用できる。ディスクドライブ２０６は、プロセッサ２０１からの命令に従って、記録媒体２３から読み取ったプログラムやデータをＲＡＭ２０２またはＨＤＤ２０３に格納する。

通信インタフェース２０７は、他の動作判定装置（例えば、センサデバイス１００）と通信を行う。
なお、動作判定装置２００はディスクドライブ２０６を備えていなくてもよく、専ら他の端末装置から制御される場合には、画像信号処理部２０４や入力信号処理部２０５を備えていなくてもよい。また、ディスプレイ２１や入力デバイス２２は、動作判定装置２００の筐体と一体に形成されていてもよい。

次に、図６〜８を用いて、顧客が商品を手に取ったかを判定する判定方法の参考例を示し、この参考例の問題点について説明する。ここで説明する判定方法の参考例では、まず、撮像装置が、手の位置がある領域の範囲外から範囲内に移動したときと、ある領域の範囲内から範囲外へ移動したときの画像を撮像する。そして、参考例の動作判定装置が、撮像された各画像を比較し、商品の位置に変化があった場合に顧客が商品を手に取ったと判定する。

図６は、画像の判定例を示す図である。領域３１ａ，３１ｂは、商品棚上の領域である。領域３１ａ，３１ｂにはそれぞれ、異なる商品が配置される。図６の例では、商品３２は、領域３１ｂに配置されている。

図６の画像４は、顧客３０の左手の位置が領域３１ｂの範囲外から範囲内に移動したときに、撮像装置により撮像された画像である。参考例の動作判定装置は、撮像された画像４のデータを撮像装置から受信する。

図７は、画像の判定例を示す図（続き）である。画像５は、参考例の動作判定装置が画像４のデータを受信した後、商品３２を手に取った顧客３０の左手の位置が領域３１ｂの範囲内から範囲外へ移動したときに、撮像装置により撮像された画像である。参考例の動作判定装置は、撮像された画像５のデータを撮像装置から受信する。

このとき、参考例の動作判定装置は、受信した画像４，５を互いに比較した結果、領域３１ｂに商品３２が存在しなくなったため、顧客３０が商品３２を手に取ったと判定する。

図８は、画像の判定例を示す図（続き２）である。画像６は、画像４のデータが送信された後、商品３２を手に取っていない状態の顧客３０の左手の位置が領域３１ｂから出たときに撮像装置により撮像された画像である。このとき、図７の画像５の場合とは異なり、商品３２は、顧客３０の荷物あるいは体の一部があたったことで、領域３１ａに転がったものとする。参考例の動作判定装置は、撮像された画像６のデータを撮像装置から受信する。このとき、参考例の動作判定装置は、画像４，６を互いに比較した結果、領域３１ｂに商品３２が存在しなくなったため、実際には、顧客３０が商品３２を手に取っていないにもかかわらず、顧客３０が商品３２を手に取ったと判定する。

図６〜８で説明したように、複数の画像の差分により顧客が商品を手に取ったか判定する方法では、顧客が商品を取らずに、手首が領域の範囲内から範囲外になった場合にもかかわらず、顧客が商品を手に取ったと判定する場合があり、その判定の精度に改善の余地がある。

本実施の形態の動作判定システム３は、このような誤判定の発生確率を低減するものである。図９以降では、動作判定システム３により、顧客が商品を手に取ったと判定する方法について説明する。

図９は、センサデバイスおよび動作判定装置の機能例を示すブロック図である。センサデバイス１００は、画像取得部１１０、深度算出部１２０、骨格検出部１３０および送信部１４０を有する。

画像取得部１１０は、撮像カメラ１０４によって撮像された画像のデータを所定時間間隔で取得する。
深度算出部１２０は、深度センサ１０５による検出データに基づいて、撮像された画像に含まれる画素ごとの深度を算出する。深度算出部１２０は、画像取得部１１０が画像データを取得する度に深度の算出を行い、画像内の各画素の深度を含む深度情報を生成する。

骨格検出部１３０は、画像のデータと深度情報とに基づき、画像に映る人物の手首、肘、頭および肩等、予め決められた骨格の部位の位置を検出する。骨格検出部１３０は、画像取得部１１０が画像データを取得する度に骨格の部位の位置を検出し、各部位の位置情報を含む骨格情報を生成する。各部位の位置情報には、画像上の座標を示す情報と、センサデバイス１００から各部位までの距離（深度）を示す情報とを含む。なお、画像に複数の人物が映っている場合、骨格検出部１３０は、人物ごとに骨格情報を生成することもできる。

送信部１４０は、撮像された画像のデータ、画像に対応する深度情報および画像に映る人物の骨格情報を動作判定装置２００へ送信する。
なお、画像取得部１１０、深度算出部１２０、骨格検出部１３０および送信部１４０は、例えば、プロセッサ１０１が所定のプログラムを実行することで実現される。

動作判定装置２００は、商品情報記憶部２１０、手領域情報記憶部２１５、動作判定部２２０および出力部２３０を有する。
商品情報記憶部２１０は、動作判定システム３を用いる店舗で扱われる商品に関する情報を格納した商品情報テーブルを記憶する。商品情報記憶部２１０は、例えば、ＨＤＤ２０３等に確保された不揮発性の記憶領域として実現される。

手領域情報記憶部２１５は、顧客の手領域に関する手領域情報を格納した手領域情報テーブルを記憶する。手領域とは、手首の座標を含む画像上の所定領域内の画素のうち、手首の位置を含む所定の深度範囲内の深度を有する画素からなる領域である。手領域情報には、手領域に含まれる画素のうち、特定の色彩特徴量（例えば、肌色の色彩特徴量）の範囲内である画素の数を示す情報や、特定の色彩特徴量の範囲外である画素の数を示す情報が含まれる。

手領域情報テーブルは、動作判定部２２０の処理時に一時的に生成される情報である。手領域情報記憶部２１５は、例えば、ＲＡＭ２０２に確保された記憶領域として実現される。

動作判定部２２０は、センサデバイス１００から受信した情報に基づき、顧客が商品を手に取ったかを判定する。動作判定部２２０は、手首位置判定部２２１、手領域情報生成部２２２および手領域情報比較部２２３を有する。

手首位置判定部２２１は、センサデバイス１００から受信した画像のデータおよび骨格情報に基づいて、画像上において、商品が配置された領域に顧客の手首が出入りしたかを判定する。

手領域情報生成部２２２は、商品が配置された領域を顧客の手首が出入りしたとき、その出入りしたときにおける、画像のデータ、深度情報および骨格情報に基づいて手領域情報を生成し、手領域情報テーブルに格納する。

手領域情報比較部２２３は、商品が配置された領域に顧客の手首が入ったときの手領域情報と、その後に手首がその領域から出たときの手領域情報とを比較し、その比較結果に基づいて顧客が商品を手に取ったか判定する。

出力部２３０は、手領域情報比較部２２３により顧客が商品を手に取ったと判定された場合、その商品に関する情報を出力する。
なお、手首位置判定部２２１、手領域情報生成部２２２、手領域情報比較部２２３および出力部２３０は、例えば、プロセッサ２０１が所定のプログラムを実行することで実現される。

次に、図１０〜１２を用いて、動作判定システム３で用いる情報やテーブルについて説明する。
図１０は、骨格情報の例を示す図である。骨格情報１３１は、顧客の肘や手首の関節等の骨格上の所定部位それぞれの位置を示す情報である。骨格情報１３１は、骨格検出部１３０により生成される。骨格情報１３１は、顧客ＩＤ（Identification）、部位および位置情報の項目を有する。

顧客ＩＤの項目には、画像に映る顧客を識別するための識別子が設定される。部位の項目には、部位の種別を示す情報が設定される。位置情報の項目には、部位の位置情報が設定される。動作判定システム３において、位置情報は、“（Ｘ軸方向の位置，Ｙ軸方向の位置，Ｚ軸方向の位置）”で表される。Ｘ軸は、撮像カメラ１０４の光軸と直交する横方向の軸であり、撮像カメラ１０４から見て左方向を正とする。Ｙ軸は、撮像カメラ１０４の光軸と直交する縦方向の軸であり、撮像カメラ１０４から見て上方向を正とする。Ｚ軸は、撮像カメラ１０４の光軸の方向の軸であり、撮像カメラ１０４が向いている方向を正とする。すなわち、Ｘ軸およびＹ軸の座標により部位の画像上の座標が示され、Ｚ軸の座標により部位の深度が示される。

例えば、図１０に示すように、骨格の部位として、右手首、左手首、右肘、左肘等が検出される。顧客３０の右手首の画像上の座標が“（６０，５０）”であり、深度が“３０”であるとすると、骨格情報１３１における顧客３０の“右手首”に対応する位置情報の項目には、“（６０，５０，３０）”が設定される。

なお、骨格の位置情報は、上記の表現方法の他、緯度・経度・高さ等別の方法により表されてもよい。
図１１は、商品情報テーブルの例を示す図である。商品情報テーブル２１１には、店舗において商品が配置される領域に対応する画像上の領域が、商品ごとに設定される。設定される商品ごとの画像上の領域は、その領域に対する顧客の手首の出入りを判定するために利用されるものである。商品情報テーブル２１１は、商品情報記憶部２１０に記憶されている。商品情報テーブル２１１は、商品ＩＤおよび領域情報の項目を有する。

商品ＩＤの項目には、商品を識別するための識別子が設定される。領域情報の項目には、商品が配置される画像上の領域の範囲を示す位置情報が設定される。以下、位置情報が示す画像上の領域を“商品配置領域”と記載する場合がある。

動作判定システム３において、商品配置領域は、四角形であるとする。また、位置情報は、商品配置領域の四隅の座標により表される。四隅の各座標は、“（Ｘ軸方向の位置，Ｙ軸方向の位置）”により表される。商品ＩＤとそれに対応する領域情報とは、ユーザによって任意に設定可能である。

なお、商品配置領域は、四角形の他、円や楕円形であってもよい。また、商品配置領域が長方形である場合、例えば、その領域を右上と左下の座標のみで表してもよい。
また、商品情報テーブル２１１には、上記項目の他、商品名や、商品が手に取られた回数を示す情報等が含まれていてもよい。

図１２は、手領域情報テーブルの例を示す図である。手領域情報テーブル２１５ａは、顧客の手領域に関する手領域情報を格納する。手領域情報テーブル２１５ａは、手領域情報記憶部２１５に一時的に記憶されている。手領域情報テーブル２１５ａは、手領域ＩＤ、状態、特定色画素数および非特定色画素数の項目を有する。

手領域ＩＤは、商品配置領域を出入りした手首に対応する手領域を識別するための識別子が設定される。手領域は、後述するように、画像上の手首の周辺領域に含まれる画素群から、手首の位置を含む所定の深度範囲内の深度を有する画素群を抽出した領域である。

状態の項目には、顧客の手首の状態を示す情報が設定される。顧客の手首が商品配置領域の範囲外から範囲内に移動したことを示す場合、状態の項目には、“ＩＮ”が設定される。顧客の手首が商品配置領域の範囲内から範囲外に移動したことを示す場合、状態の項目には、“ＯＵＴ”が設定される。

特定色画素数の項目には、手領域内における特定の色の画素の数を示す情報が設定される。非特定色画素数の項目には、手領域内における特定の色以外の画素の数を示す情報が設定される。

画素の色が特定の色か否かは、画素の色彩特徴量が、特定の色を示す色彩特徴量の閾値範囲に含まれるか否かによって判定される。以下、特定の色の画素を“特定色画素”と記載し、それ以外の色の画素を“非特定色画素”と記載する場合がある。また、特定の色の画素の数を“特定色画素数”と記載し、それ以外の色の画素の数を“非特定色画素数”と記載する場合がある。

なお、色彩特徴量としては、色を表す各種の情報を用いることができる。例えば、色彩特徴量の表現には、ＲＧＢ（Red Green Blue）を用いてもよいし、ＣＭＹ（Cyan Magenta Yellow）を用いてもよい。また、色彩特徴量は色差情報として表現されてもよい。

なお、特定の色を示す閾値範囲の数は、複数であってもよい。その場合、例えば、画素の色彩特徴量が複数のうちの何れかの閾値範囲内である場合、その画素は特定の色の画素と判断される。動作判定システム３において、特定の色としては肌色が用いられるが、肌色以外の色が用いられてもよい。

次に、図１３〜１５を用いて、商品を手に取ったかの判定について説明する。図１３〜１５では、顧客３０の左手首４１ａが商品配置領域の範囲内から範囲外へ移動したときについて説明する。

図１３は、手領域を抽出する例を示す図である。図１３に示す領域３１ｂは、ある商品が配置される商品配置領域であり、画像上の矩形領域として商品情報テーブル２１１に設定されているものである。

手首位置判定部２２１は、画像上の手首の位置（すなわち、骨格情報に含まれる手首のＸ軸方向およびＹ軸方向の位置情報が示す位置）が、領域３１ｂ等の商品配置領域に含まれるか否かを監視する。そして、手首位置判定部２２１は、手首の位置が商品配置領域の範囲外から範囲内に移動したことと、その後に手首の位置がその商品配置領域の範囲内から範囲外に移動したことを判定する。

手領域情報生成部２２２は、顧客の手首の位置がある商品配置領域の範囲外から範囲内に移動したときと、手首の位置がその商品配置領域の範囲内から範囲外に移動したときに、次のような手順で手領域を抽出する。

なお、図１３の例では、左手首４１ａは顧客３０の左手首であり、左肘４１ｂは顧客３０の左肘である。そして、ここでは左手首４１ａに対応する手領域の抽出手順を示す。
図１３上段に示すように、まず、手領域情報生成部２２２は、左手首４１ａの周辺領域４１を画像から切り出す。周辺領域４１は、所定の大きさの矩形領域であるとする。このとき、手領域情報生成部２２２は、左手首４１ａ、およびその手首と同じ側の左肘４１ｂの画像上での位置関係に基づき、手が全て含まれるように周辺領域４１の中心の位置を算出する。例えば、図１３上段では、周辺領域４１の中心点４１ｃの画像上の座標は、左手首４１ａと左肘４１ｂとを結んだ直線上であって、左手首４１ａを起点として左肘４１ｂとは反対方向へ所定の距離移動した座標となる。

なお、動作判定部２２０は、手首の位置とその手首と同じ側の手の位置に基づいて中心点４１ｃの位置を算出してもよい。また、動作判定部２２０は、周辺領域４１の大きさを、左手首４１ａと左肘４１ｂとの距離に基づいて変化させてもよい。

次に、手領域情報生成部２２２は、画像から切り出した周辺領域４１から、左手首４１ａの深度に基づき、手領域を規定する深度の範囲を算出する。以下、手領域を規定する深度の範囲を“手領域の深度範囲”と記載する場合がある。例えば、手首の深度をαとすれば、手領域の深度範囲は、“α−β”〜“α＋β”の範囲と算出される。

そして、手領域情報生成部２２２は、算出した手領域の深度範囲外の深度を有する画素を周辺領域４１から削除し、削除後の画素からなる領域を手領域として抽出する。例えば、図１３上段に示すように、周辺領域４１には、背景が映った領域４１ｄと、手が映った領域４１ｅが含まれる。領域４１ｄ内の各画素の深度は、左手首４１ａの深度に基づいて算出された手領域の深度範囲外であり、領域４１ｅ内の各画素の深度は、左手首４１ａの深度に基づいて算出された手領域の深度範囲内である。このとき、周辺領域４１から、手領域の深度範囲外である深度の画素を削除すると、図１３下段に示すように、残りの領域４１ｅが手領域として抽出される。

図１４は、顧客が商品を手に取っていないときの手領域の画像の例を示す図である。また、図１５は、顧客が商品を手に取っているときの手領域の画像の例を示す図である。
図１４〜１５において、顧客の手首が商品配置領域の範囲内から範囲外に移動したときに撮像された画像から手領域が抽出されているものとする。そして、その手領域に含まれる画素群に対する特定色画素の割合は、１００％とする。また、図１４〜１５では、顧客の手首が商品配置領域の範囲を出入りしたときの各手領域について、特定色画素の割合の差が２０％以上の場合、商品を手に取ったと判定されるものとする。

図１４に示す手領域４２は、顧客３０が手に何も持っていない状態で、左手首４１ａが領域３１ｂの範囲内から範囲外へ移動したときに、撮像された画像に基づき抽出された手領域である。図１４に示すように、手領域４２には、特定色画素のみが含まれ、非特定色画素は含まれていない。そのため、手領域４２内の全体の画素における、特定色画素の割合は１００％となり、手首が領域３１ｂの範囲内に移動したときの手領域との特定色画素の割合（１００％）の差がないため（すなわち２０％未満であるため）、顧客３０は、商品を手に取っていないと判定される。

一方、図１５に示す手領域４３は、顧客３０が手に商品を持った状態で、左手首４１ａが領域３１ｂの範囲内から範囲外へ移動したときに、撮像された画像に基づき抽出された手領域である。手領域４３の画像は、特定色画素からなる領域４３ａと、非特定色画素からなる領域４３ｂとを含む。例えば、領域４３ａ，４３ｂそれぞれの画素数が同じであるとすると、手領域４３内の全体の画素における特定色画素の割合は５０％となる。そのため、手首が領域３１ｂの範囲内に移動したときの手領域との特定色画素の割合（１００％）の差が２０％以上となり、顧客３０は、商品を手に取っていると判定される。

図１３〜１５で説明したように、手領域情報生成部２２２は、顧客３０の手首が商品配置領域を出入りしたとき、画像上での手首の周辺の領域から、手首の位置を含む所定の深度範囲内の深度を有する画素群を手領域として抽出する。

また、手領域情報生成部２２２は、顧客３０の手首が商品配置領域を出入りしたときの、各手領域における特定色画素の割合の差分に基づき、顧客３０が商品を手に取ったかを判定する。

ここで、手領域情報生成部２２２は、例えば、手首が商品配置領域を出入りしたときの各手領域における特定色画素の数に基づいて、商品を手に取ったか判定するようにしてもよい。ただし、この方法では、商品配置領域を出入りするときの手首の角度により特定色画素の数が変わり、商品を手に取ったかを精度良く判定できない場合がある。そこで、上記のように、特定色画素の割合に基づき、商品を手に取ったか判定することで、商品配置領域を出入りするときの手首の角度が変わったときも、商品を手に取ったかを精度良く判定できる。

また、手領域情報生成部２２２は、例えば、手首が商品配置領域の範囲内から範囲外へ移動した場合に抽出された手領域の情報のみに基づいて、商品を手に取ったか判定するようにしてもよい。この場合、手領域情報生成部２２２は、例えば、手領域における特定色画素の割合が所定の閾値以上である場合に、商品を手に取ったと判定する。ただし、この方法では、顧客が長袖の服を着ている等により、手領域に特定の色彩特徴量を有さない画素群が常時一定割合以上含まれる場合も、商品を手に取ったと誤判定される場合がある。そこで、商品配置領域を出入りしたときの各手領域の情報を比較することで、手領域に特定の色以外の色の画素が常時含まれる場合も、商品を手に取ったかを精度良く判定できる。

図１６は、顧客が商品を手に取っているか判定する処理の例を示すフローチャートである。図１６〜１７の処理の開始時は、画像上において、顧客の手首の位置は、商品配置領域の範囲外であるものとする。以下、図１６〜１７に示す処理をステップ番号に沿って説明する。

（Ｓ１１）手首位置判定部２２１は、画像のデータ、その画像に対応する深度情報および画像に映る顧客の骨格情報を、センサデバイス１００から受信する。
（Ｓ１２）手首位置判定部２２１は、受信した画像に映る顧客の手首の位置が、何れかの商品配置領域の範囲外から範囲内へ移動したか判定する。画像上の手首の位置は、受信した骨格情報の右手首または左手首に対応する位置情報の項目から取得される。商品配置領域は、商品情報テーブル２１１の領域情報の項目から取得される。具体的には、手首位置判定部２２１は、受信した骨格情報に含まれる右手首または左手首の位置が、商品情報テーブル２１１の何れかの領域情報が示す商品配置領域の範囲内へ移動したか判定する。

手首の位置が商品配置領域の範囲内に移動した場合、処理をステップＳ１３へ進める。手首の位置が商品配置領域の範囲外のままである場合、処理をステップＳ１１へ進める。
すなわち、手首位置判定部２２１は、顧客の手首の位置が何れかの商品配置領域の範囲内へ移動したときの画像を受信するまで、ステップＳ１１〜Ｓ１２を繰り返す。

（Ｓ１３）手領域情報生成部２２２は、受信した画像から手首の周辺領域を切り出す。すなわち、手領域情報生成部２２２は、図１３上段で説明したように、画像上における、商品配置領域の範囲内に移動した手首の位置と、その手首と同じ側の肘の位置とに基づき、手首の周辺領域を算出する。

手首の位置は、商品配置領域の範囲内に移動した手首を示す情報を含むレコードを骨格情報から検索し、検索したレコードから位置情報の項目の値を読み出すことで得られる。肘の位置は、商品配置領域の範囲内に移動した手首と同じ側の肘を示す情報を含むレコードを骨格情報から検索し、検索したレコードから位置情報の項目の値を読み出すことで得られる。

（Ｓ１４）手領域情報生成部２２２は、算出された手首の周辺領域から、その手首の深度に基づき、手首の位置を含む深度範囲内の深度を有する画素群を手領域として抽出する。手首の位置を含む深度範囲は、例えば、図１３で説明したように、手首の深度を中心としたＺ軸方向の一定範囲として算出される。

（Ｓ１５）手領域情報生成部２２２は、特定色画素の数および非特定色画素の数を、抽出した手領域からカウントする。特定色画素であるかは、特定の色を示す色彩特徴量の閾値範囲が予め設定され、各画素の色彩特徴量が予め設定された閾値範囲内であるかにより判定される。

次に、手領域情報生成部２２２は、手領域情報を生成する。手領域情報において、手領域ＩＤの項目には、手領域の識別子が設定され、状態の項目には、“ＩＮ”が設定される。また、特定色画素数の項目には、カウントした特定色画素の数を示す情報が設定され、非特定色画素数の項目には、カウントした非特定色画素の数を示す情報が設定される。

そして、手領域情報生成部２２２は、生成した手領域情報を手領域情報テーブル２１５ａへ登録する。
（Ｓ１６）手首位置判定部２２１は、画像のデータ、その画像に対応する深度情報および画像に映る顧客の骨格情報を、センサデバイス１００から受信する。

（Ｓ１７）手首位置判定部２２１は、受信した画像において、ステップＳ１２で商品配置領域の範囲内に移動したと判定された手首の位置が、同じ商品配置領域の範囲外へ移動したか判定する。手首の位置および肘の位置は、ステップＳ１２と同様の方法で取得される。

手首の位置が商品配置領域の範囲外になった場合、処理をステップＳ１８へ進める。手首の位置が商品配置領域の範囲内のままである場合、処理をステップＳ１６へ進める。
すなわち、手首位置判定部２２１は、顧客の手首の位置が商品配置領域の範囲内から範囲外へ移動したときの画像を受信するまで、ステップＳ１６〜Ｓ１７を繰り返す。

（Ｓ１８）手領域情報生成部２２２は、ステップＳ１３と同様の方法で、受信した画像から手首の周辺領域を切り出す。
（Ｓ１９）手領域情報生成部２２２は、ステップＳ１４と同様の方法で、切り出した手首の周辺領域の各画素の深度と、手首の深度とに基づいて、手領域を抽出する。

（Ｓ２０）手領域情報生成部２２２は、ステップＳ１５と同様の方法で、特定色画素の数および非特定色画素の数を、抽出した手領域からカウントする。
次に、手領域情報生成部２２２は、手領域情報を生成する。手領域情報において、手領域ＩＤの項目には、ステップＳ１５で設定された手領域の識別子と同じ識別子が設定され、状態の項目には、“ＯＵＴ”が設定される。また、特定色画素数の項目には、カウントした手領域内の特定色画素の数を示す情報が設定され、非特定色画素数の項目には、カウントした非特定色画素の数を示す情報が設定される。

そして、手領域情報生成部２２２は、生成した手領域情報を手領域情報テーブル２１５ａへ登録する。
図１７は、顧客が商品を手に取っているか判定する処理の例を示すフローチャート（続き）である。

（Ｓ２１）手領域情報比較部２２３は、ステップＳ１５で登録した手領域における特定色画素の割合と、ステップＳ２０で登録した手領域における特定色画素の割合とを算出する。それぞれの手領域における特定色画素の割合は、“特定色画素数／（特定色画素数＋非特定色画素数）”により算出される。

手領域情報比較部２２３は、算出した特定色画素の割合同士の差が閾値未満か判定する。特定色画素の割合同士の差が閾値未満である場合、すなわち、画像に映る顧客が商品を手に取っていないと判定した場合、処理を終了する。特定色画素の割合同士の差が閾値以上、すなわち、商品を手に取ったと判定した場合、処理をステップＳ２２へ進める。

（Ｓ２２）出力部２３０は、顧客が手に取った商品に関する情報を出力する。顧客が手に取った商品は、手首が出入りした商品配置領域に対応するレコードを商品情報テーブル２１１から検索することで特定される。出力部２３０は、例えば、顧客が手に取った商品の識別情報やその時点での時刻情報等を、ログファイルに書き出す。あるいは、出力部２３０は、顧客が手に取った商品に関する何らかの情報をディスプレイ２１に表示させる。また、出力部２３０は、例えば、顧客がその商品の比較や検討を行ったこと等、顧客の購買行動を示す所定のステータス情報を出力してもよい。

第２の実施の形態の動作判定システム３によれば、画像に映る顧客の手首の位置が商品配置領域を出入りしたときのそれぞれについて、その画像から手領域を抽出し、その画像に含まれる特定色画素の割合に基づき、顧客がその領域に配置されている商品を手に取ったか判定する。これにより、顧客が商品を手に取ったかを精度良く判定できる。

また、顧客の手首の深度に基づいて、手領域に含まれる画素群の深度範囲を算出し、画像上の手首の周辺領域のうち、算出した深度範囲内の深度を有する画素群を手領域として抽出する。そして、抽出された手領域の画素について特定色画素または非特定色画素の何れかに分類する。これにより、手領域を精度良く取得できるため、顧客が商品を手に取ったか精度良く判定できる。また、特定色画素か非特定色画素かを分類する画素の範囲を手領域の範囲に限定できるため、その分類する処理の負担を軽減できる。また、分類する範囲を手領域に限定することで、特定色画素の割合が上がり、商品を手に取ったかを精度良く判定できる。

また、特定色画素の割合に基づいて商品を手に取ったか判定することで、商品配置領域を出入りしたときの手首の角度の変化に関わらず、商品を手に取ったか精度良く判定できる。

また、顧客の手首の位置が商品配置領域を出入りしたときのそれぞれについて生成した手領域の画像に基づいて判定することで、手領域に特定色以外の画素が一定割合以上常時含まれている場合でも、商品を手に取ったか精度良く判定できる。

さらに、顧客の手首の画像上の位置と、手首と同じ側の肘の画像上の位置との関係に基づいて手首の周辺領域を算出することで、手首の角度や手の開き方等により手の一部が手首の周辺領域に収まらなくなることを防止できるため、商品を手に取ったか精度良く判定できる。

店舗において、顧客が商品と手に取ったか否かは、重要な情報である。というのは、商品と手に取ったということは、顧客が、その商品に少なくとも何らかの関心を持ったことを意味する。すなわち、実際にはその商品は購入されるに至らなかったとしても、顧客が商品を購入しようか否かを検討したであろうと推定できるからである。商品が手に取られたことと、実際に購入されたこととの関係を分析すれば、商品自体の改善や、商品を陳列する商品棚の配置の改善等を検討する際の材料とすることができる。

［第３の実施の形態］
次に、第３の実施の形態の動作判定システムについて説明する。第３の実施の形態の動作判定システムは、第２の実施の形態の動作判定システム３を、手領域に含まれる画素を分類する基準となる、特定の色を示す色彩特徴量の閾値範囲を、手領域に含まれる各画素の色彩特徴量に基づいて決定するように変形したものである。

例えば、顧客が肌色以外の色の手袋をしていた場合、色彩特徴量の閾値範囲を肌色を示すように設定すると特定色画素の数が“０”となり、顧客が商品を手に取ったかを精度良く判定できない可能性がある。

そこで、図１８では、顧客の手首の位置が商品配置領域の範囲外から範囲内へ移動する度に、手領域に含まれる各画素の色彩特徴量に基づいて、色彩特徴量の閾値範囲を設定する例について説明する。図１８において、第２の実施の形態と差異のある点を説明し、第２の実施の形態と同じ構成や処理については説明を省略する。

図１８は、第３の実施の形態の顧客が商品を手に取っているか判定する処理の例を示すフローチャートである。第２の実施の形態との違いは、ステップＳ１４とステップＳ１５の間にステップＳ１４ａが追加される点である。図１８では、色彩特徴量をＲＧＢで表現するものとする。以下、ステップＳ１４ａについて説明する。

（Ｓ１４ａ）手領域情報生成部２２２は、画像から抽出した手領域に含まれる各画素の色彩特徴量に基づいて、特定色を示す色彩特徴量の閾値範囲を設定する。
例えば、手領域情報生成部２２２は、手領域内の全画素について色彩特徴量を構成する色成分ごとに平均値を算出し、算出した平均値を基準とした一定の閾値範囲を色成分ごとに算出する。そして、手領域情報生成部２２２は、算出した色成分ごとの閾値範囲を、ステップＳ１５，Ｓ２０で特定色画素を分類する際に用いる閾値範囲に設定する。

なお、閾値範囲は、このような色成分の平均値の他、例えば、手領域に含まれる全画素についての色彩特徴量の統計情報に基づいて算出されてもよい。
第３の実施の形態の動作判定システムによれば、画像上における顧客の手首の位置が商品配置領域の範囲外から範囲内に移動する度に、手領域に含まれる各画素の色彩特徴量に基づいて、特定色画素を分類するための色彩特徴量の閾値範囲が設定される。これにより、顧客の肌の色や、手に身につけているものにかかわらず、顧客が商品を手に取ったかを精度良く判定できる。

なお、前述のように、第１の実施の形態の情報処理は、情報処理装置２にプログラムを実行させることで実現でき、第２の実施の形態の情報処理は、センサデバイス１００や動作判定装置２００にプログラムを実行させることで実現できる。このようなプログラムは、コンピュータ読み取り可能な記録媒体（例えば、記録媒体２３）に記録しておくことができる。記録媒体としては、例えば、磁気ディスク、光ディスク、光磁気ディスク、半導体メモリ等を使用できる。磁気ディスクには、ＦＤおよびＨＤＤが含まれる。光ディスクには、ＣＤ、ＣＤ−Ｒ（Recordable）／ＲＷ（Rewritable）、ＤＶＤおよびＤＶＤ−Ｒ／ＲＷが含まれる。

プログラムを流通させる場合、例えば、当該プログラムを記録した可搬記録媒体が提供される。コンピュータは、例えば、可搬記録媒体に記録されたプログラムまたは他のコンピュータから受信したプログラムを、記憶装置（例えば、ＨＤＤ２０３）に格納し、当該記憶装置からプログラムを読み込んで実行する。ただし、可搬記録媒体から読み込んだプログラムを直接実行してもよい。また、上記の情報処理の少なくとも一部を、ＤＳＰ（Digital Signal Processing）、ＡＳＩＣ、ＰＬＤ（Programmable Logic Device）等の電子回路で実現することも可能である。

以上の第１〜３の実施の形態を含む実施の形態に関し、さらに以下の付記を開示する。
（付記１） 情報処理装置が、
撮像装置によって撮像された画像のデータと、前記画像に映った被写体と前記撮像装置との間の画素ごとの距離と、前記画像に映った人物の手首についての当該画像における座標および前記撮像装置との距離とを取得して、前記画像から、座標が前記手首の座標を含む所定座標範囲に含まれ、かつ、距離が前記手首の位置を含む所定距離範囲に含まれる画素群を抽出し、
抽出された前記画素群における特定の色彩特徴量を有する画素の割合に基づいて、前記人物が物体を手に取ったかを判定する、
ことを特徴とする動作判定方法。

（付記２） 前記手首が被写体空間上の所定領域の内部から外部へ移動したことを検知したときに、前記画素群の抽出および前記人物が物体を手に取ったかの判定を行うことを特徴とする付記１記載の動作判定方法。

（付記３） 前記手首が被写体空間上の前記所定領域の外部から内部へ移動した第１のタイミングと、前記手首が当該所定領域の内部から外部へ移動した第２のタイミングとで、それぞれ、撮像された画像のデータと画素ごとの距離と前記手首の座標および距離とを取得して前記画素群の抽出を行い、
前記第１のタイミングで抽出された前記画素群における特定の色彩特徴量を有する画素の割合と、前記第２のタイミングで抽出された前記画素群における特定の色彩特徴量を有する画素の割合との比較結果に基づいて、前記人物が物体を手に取ったかを判定する、
ことを特徴とする付記１または２に記載の動作判定方法。

（付記４） 前記特定の色彩特徴量は、前記第１のタイミングで抽出された前記画素群における各画素の色彩特徴量に基づいて算出されることを特徴とする付記３記載の動作判定方法。

（付記５） 前記手首が被写体空間上の前記所定領域の内部にあるか否かは、画像に予め設定された設定領域に、前記手首の座標が含まれるか否かによって検知されることを特徴とする付記２乃至４の何れか１つに記載の動作判定方法。

（付記６） 前記所定座標範囲は、前記手首の座標と、前記人物の肩から指先までの間の前記手首を除く他の箇所の座標との位置関係に基づいて算出されることを特徴とする付記１乃至５の何れか１つに記載の動作判定方法。

（付記７） 前記特定の色彩特徴量は、肌色を示す色彩特徴量であることを特徴とする付記１乃至６の何れか１つに記載の動作判定方法。
（付記８） 撮像装置によって撮像された画像のデータと、前記画像に映った被写体と前記撮像装置との間の画素ごとの距離と、前記画像に映った人物の手首についての当該画像における座標および前記撮像装置との距離とを取得して、前記画像から、座標が前記手首の座標を含む所定座標範囲に含まれ、かつ、距離が前記手首の位置を含む所定距離範囲に含まれる画素群を抽出する領域抽出部と、
抽出された前記画素群における特定の色彩特徴量を有する画素の割合に基づいて、前記人物が物体を手に取ったかを判定する判定部と、
を有することを特徴とする動作判定装置。

（付記９） 前記領域抽出部は、前記手首が被写体空間上の所定領域の内部から外部へ移動したことを検知したときに、前記画素群を抽出し、
前記判定部は、抽出された前記画素群に基づき、前記人物が物体を手に取ったかの判定を行うことを特徴とする付記８記載の動作判定装置。

（付記１０） 前記領域抽出部は、前記手首が被写体空間上の前記所定領域の外部から内部へ移動した第１のタイミングと、前記手首が当該所定領域の内部から外部へ移動した第２のタイミングとで、それぞれ、撮像された画像のデータと画素ごとの距離と前記手首の座標および距離とを取得して前記画素群の抽出を行い、
前記判定部は、前記第１のタイミングで抽出された前記画素群における特定の色彩特徴量を有する画素の割合と、前記第２のタイミングで抽出された前記画素群における特定の色彩特徴量を有する画素の割合との比較結果に基づいて、前記人物が物体を手に取ったかを判定する、
ことを特徴とする付記８または９に記載の動作判定装置。

（付記１１） 前記領域抽出部は、前記第１のタイミングで抽出された前記画素群における各画素の色彩特徴量に基づいて、前記特定の色彩特徴量を算出することを特徴とする付記１０記載の動作判定装置。

（付記１２） 前記領域抽出部は、画像に予め設定された設定領域に、前記手首の座標が含まれるか否かによって、前記手首が被写体空間上の前記所定領域の内部にあるか否かを検知することを特徴とする付記９乃至１１の何れか１つに記載の動作判定装置。

（付記１３） 前記領域抽出部は、前記手首の座標と、前記人物の肩から指先までの間の前記手首を除く他の箇所の座標との位置関係に基づいて前記所定座標範囲を算出することを特徴とする付記８乃至１２の何れか１つに記載の動作判定装置。

（付記１４） 前記特定の色彩特徴量は、肌色を示す色彩特徴量であることを特徴とする付記８乃至１３の何れか１つに記載の動作判定装置。
（付記１５） コンピュータが、
撮像装置によって撮像された画像のデータと、前記画像に映った被写体と前記撮像装置との間の画素ごとの距離と、前記画像に映った人物の手首についての当該画像における座標および前記撮像装置との距離とを取得して、前記画像から、座標が前記手首の座標を含む所定座標範囲に含まれ、かつ、距離が前記手首の位置を含む所定距離範囲に含まれる画素群を抽出し、
抽出された前記画素群における特定の色彩特徴量を有する画素の割合に基づいて、前記人物が物体を手に取ったかを判定する、
処理を実行させることを特徴とする動作判定プログラム。

１ 撮像装置
２ 情報処理装置
１０ 画像
１１ 人物
１１ａ 手首
１２ 物体
１３ 背景
１４ 所定座標範囲
１５ 画素群
Ｓ１，Ｓ２ ステップ

Claims (9)

1. 情報処理装置が、
   撮像装置によって撮像された画像のデータと、前記画像に映った被写体と前記撮像装置との間の画素ごとの距離と、前記画像に映った人物の手首についての当該画像における座標および前記撮像装置との距離とを取得して、前記画像から、座標が前記手首の座標を含む所定座標範囲に含まれ、かつ、距離が前記手首の位置を含む所定距離範囲に含まれる画素群を抽出し、
   抽出された前記画素群における特定の色彩特徴量を有する画素の割合に基づいて、前記人物が物体を手に取ったかを判定する、
   ことを特徴とする動作判定方法。
2. 前記手首が被写体空間上の所定領域の内部から外部へ移動したことを検知したときに、前記画素群の抽出および前記人物が物体を手に取ったかの判定を行うことを特徴とする請求項１記載の動作判定方法。
3. 前記手首が被写体空間上の前記所定領域の外部から内部へ移動した第１のタイミングと、前記手首が当該所定領域の内部から外部へ移動した第２のタイミングとで、それぞれ、撮像された画像のデータと画素ごとの距離と前記手首の座標および距離とを取得して前記画素群の抽出を行い、
   前記第１のタイミングで抽出された前記画素群における特定の色彩特徴量を有する画素の割合と、前記第２のタイミングで抽出された前記画素群における特定の色彩特徴量を有する画素の割合との比較結果に基づいて、前記人物が物体を手に取ったかを判定する、
   ことを特徴とする請求項１または２に記載の動作判定方法。
4. 前記特定の色彩特徴量は、前記第１のタイミングで抽出された前記画素群における各画素の色彩特徴量に基づいて算出されることを特徴とする請求項３記載の動作判定方法。
5. 前記手首が被写体空間上の前記所定領域の内部にあるか否かは、画像に予め設定された設定領域に、前記手首の座標が含まれるか否かによって検知されることを特徴とする請求項２乃至４の何れか１項に記載の動作判定方法。
6. 前記所定座標範囲は、前記手首の座標と、前記人物の肩から指先までの間の前記手首を除く他の箇所の座標との位置関係に基づいて算出されることを特徴とする請求項１乃至５の何れか１項に記載の動作判定方法。
7. 前記特定の色彩特徴量は、肌色を示す色彩特徴量であることを特徴とする請求項１乃至６の何れか１項に記載の動作判定方法。
8. 撮像装置によって撮像された画像のデータと、前記画像に映った被写体と前記撮像装置との間の画素ごとの距離と、前記画像に映った人物の手首についての当該画像における座標および前記撮像装置との距離とを取得して、前記画像から、座標が前記手首の座標を含む所定座標範囲に含まれ、かつ、距離が前記手首の位置を含む所定距離範囲に含まれる画素群を抽出する領域抽出部と、
   抽出された前記画素群における特定の色彩特徴量を有する画素の割合に基づいて、前記人物が物体を手に取ったかを判定する判定部と、
   を有することを特徴とする動作判定装置。
9. コンピュータが、
   撮像装置によって撮像された画像のデータと、前記画像に映った被写体と前記撮像装置との間の画素ごとの距離と、前記画像に映った人物の手首についての当該画像における座標および前記撮像装置との距離とを取得して、前記画像から、座標が前記手首の座標を含む所定座標範囲に含まれ、かつ、距離が前記手首の位置を含む所定距離範囲に含まれる画素群を抽出し、
   抽出された前記画素群における特定の色彩特徴量を有する画素の割合に基づいて、前記人物が物体を手に取ったかを判定する、
   処理を実行させることを特徴とする動作判定プログラム。

Images