JP6217373B2 - 動作判定方法、動作判定装置および動作判定プログラム - Google Patents

Description

本発明は、動作判定方法、動作判定装置および動作判定プログラムに関する。

近年、撮像装置で撮像した画像等を基に人物の動作を判定する技術が開発されている。このような技術としては、人物の向きを判定する技術が挙げられる。例えば、一人の被験者に対応する３Ｄスキャンデータから抽出した肩の層のデータに主成分分析を施し、その第２主成分を“体の方向”とする技術が提案されている。

また、商品棚等の特定の領域を人物が注目しているかを判定する技術もある。例えば、画像および人物位置計測データに基づいて検出された移動体の領域中から顔の検出を行い、検出された顔画像から視線方向を計算し、人物の注目位置を判定する技術が提案されている。

特開２０１２−２１５５５５号公報 特開２００７−２８６９９５号公報

ところで、上記のように計算された視線方向に基づいて、人物の向きを判定する方法が考えられる。しかし、この方法では、例えば人物がメガネやサングラスを装着している場合には視線を捉えることができないので、人物の向きを判定可能なシーンが限られるという問題がある。

１つの側面では、本発明は、多くのシーンで人物の向きを判定可能な動作判定方法、動作判定装置および動作判定プログラムを提供することを目的とする。

１つの案では、情報処理装置が行う動作判定方法が提供される。動作判定方法では、まず、情報処理装置は、人物の頭部と基準位置との間の第１の距離、および、人物の首と基準位置との間の第２の距離を取得する。そして、情報処理装置は、第１の距離と第２の距離との比較結果に基づいて人物の向きを判定する。

また、１つの案では、上記動作判定方法と同様の機能を実現する動作判定装置が提供される。
さらに、１つの案では、上記動作判定方法と同様の処理を実行させる動作判定プログラムが提供される。

一側面では、多くのシーンで人物の向きを判定できる。

第１の実施の形態の情報処理装置の処理例を示す図である。 第２の実施の形態の動作判定システムの例を示す図である。 センサデバイスの配置例を示す図である。 センサデバイスのハードウェア構成例を示すブロック図である。 動作判定装置のハードウェア構成例を示すブロック図である。 商品配置領域に手が進入したかの判定例を示す図である。 商品配置領域に手が進入したかの判定例を示す図（続き）である。 センサデバイスおよび動作判定装置の機能例を示すブロック図である。 骨格情報の例を示す図である。 商品情報テーブルの例を示す図である。 顧客の向きが手前方向であるときの対象領域の限定例を示す図である。 顧客の向きが奥方向であるときの対象領域の限定例を示す図である。 顧客が商品を手に取ったか判定する処理の例を示すフローチャートである。 顧客の向きを判定する処理の例を示すフローチャートである。 購入レベルの判定処理の例を示すフローチャートである。 第３の実施の形態のセンサデバイスと骨格との距離への変換例を示す図である。 第３の実施の形態の顧客の向きを判定する処理の例を示すフローチャートである。

以下、本実施の形態を図面を参照して説明する。
［第１の実施の形態］
図１は、第１の実施の形態の情報処理装置の処理例を示す図である。情報処理装置２は、所定の基準位置と人物１１の頭部との距離Ｄ１（第１の距離）と、この基準位置と人物１１の首との距離Ｄ２（第２の距離）とを取得可能となっている。距離Ｄ１，Ｄ２は、例えば、撮像装置によって撮像された画像や、所定のセンサによって計測されたものである。なお、距離Ｄ１，Ｄ２の測定方法は、特に限定されるものではない。

図１では例として、基準位置に撮像装置１が配置されているものとする。そして、情報処理装置２は、撮像装置１により撮像された画像１０に映っている人物１１について計測された距離Ｄ１，Ｄ２を取得する。この場合、距離Ｄ１，Ｄ２の計測機能は、撮像装置１が備えていてもよいし、撮像装置１とは別のセンサが備えていてもよい。なお、図１の下段に示す線分Ｌは、撮像装置１の撮像面の位置を示し、これは距離を計測するための基準位置に対応する。

情報処理装置２は、距離Ｄ１と距離Ｄ２との比較結果に基づいて、人物１１の向きを判定する。例えば、図１下段に示すように、距離Ｄ１が距離Ｄ２以上の場合、人物１１の向きは、撮像装置１とは反対方向と判定される。また、例えば、図示していないが、距離Ｄ１が距離Ｄ２未満の場合、人物１１の向きは、撮像装置１の方向と判定される。

このような人物の向きの判定方法によれば、多くのシーンにおいて人物の向きを判定可能となる。例えば、視線方向に基づいて人物の向きを判定する方法では、人物がメガネやサングラスを装着している場合には、視線を捉えることができず、人物の向きを判定することもできない。距離Ｄ１，Ｄ２の比較結果を基に人物の向きを判定する方法では、このようなシーンでも向きを判定できる。

また、距離Ｄ１，Ｄ２は市販の装置によって計測可能であるので、情報処理装置２は、距離Ｄ１と距離Ｄ２とを比較するという簡易な処理によって人物の向きを判定することができる。このため、情報処理装置２の処理負荷を低減でき、また、情報処理装置２の導入コストを抑制することもできる。

［第２の実施の形態］
図２は、第２の実施の形態の動作判定システムの例を示す図である。動作判定システム３は、センサデバイス１００および動作判定装置２００を有する。センサデバイス１００および動作判定装置２００は、商品が販売される店舗の中に配置される。あるいは、センサデバイス１００のみが店舗の中に配置され、動作判定装置２００が店舗の外部に配置されてもよい。なお、センサデバイス１００の機能の一部は、第１の実施の形態の撮像装置１の機能の一例である。動作判定装置２００は、第１の実施の形態の情報処理装置２の一例である。

センサデバイス１００は、画像の撮像機能を有する。センサデバイス１００は、店舗内の領域のうち、少なくとも商品が配置された領域を撮像する。例えば、センサデバイス１００は、商品が配置される商品棚の領域を撮像する。

また、センサデバイス１００は、画像に映った人物（ここでは顧客）の骨格情報を検出する。本実施の形態では、センサデバイス１００は、顧客の骨格の部位として、少なくとも手首、首および頭を検出する。また、骨格情報には、対応する部位の位置情報が含まれる。位置情報には、骨格の部位についての、画像における座標と深度とが含まれる。深度とは、センサデバイス１００から被写体までの画素ごとの距離を意味する。

センサデバイス１００は、撮像した画像のデータと、計測した画素ごとの深度情報と、検出した骨格情報とを動作判定装置２００へ送信する。センサデバイス１００は、これらの情報を動作判定装置２００へ周期的に送信する。なお、センサデバイス１００は、画像のデータ等と共に、画像の画素ごとの深度を示す情報を動作判定装置２００へ送信してもよい。

動作判定装置２００は、顧客の動作を判定するコンピュータである。動作判定装置２００は、センサデバイス１００から画像のデータや骨格情報を受信する度に、受信した骨格情報や画像のデータ等を解析し、画像に映る顧客が商品を手に取ったか判定する。

このとき、まず、動作判定装置２００は、受信した骨格情報に基づいて、画像に映る顧客の向きを判定する。そして、動作判定装置２００は、判定した向きに基づき、画像に映る顧客が商品を手に取ったか判定する際に用いる画像上の領域を限定する。

なお、動作判定装置２００は、顧客が商品を手に取ったことの判定の他、単に商品の前を通過したことや、商品を注目したことや、商品に興味を持ったこと等の顧客の行動の有無を判定してもよい。

図３は、センサデバイスの配置例を示す図である。図３の例では、商品棚３１の上面に商品３３が配置される。また、図３の右側にも商品棚３２が配置され、商品棚３２の上面に商品３４が配置される。そして、商品棚３１と商品棚３２の間の領域が、顧客３０が移動する領域となっている。センサデバイス１００は、商品棚３１に対して、顧客３０の移動領域とは反対側の位置に配置される。

この場合、センサデバイス１００は、顧客３０、商品棚３１，３２および商品３３，３４を被写体とした画像のデータと、顧客３０の骨格情報とを動作判定装置２００へ送信することとなる。

図４は、センサデバイスのハードウェア構成例を示すブロック図である。センサデバイス１００は、プロセッサ１０１、ＲＡＭ（Random Access Memory）１０２、フラッシュメモリ１０３、撮像カメラ１０４、深度センサ１０５および通信インタフェース１０６を有する。これらのユニットは、センサデバイス１００内でバス１０７に接続されている。

プロセッサ１０１は、プログラムの命令を実行する演算器を含み、例えばＣＰＵ（Central Processing Unit）である。プロセッサ１０１は、フラッシュメモリ１０３に記憶されているプログラムやデータの少なくとも一部をＲＡＭ１０２にロードしてプログラムを実行する。なお、プロセッサ１０１は複数のプロセッサコアを備えてもよい。また、センサデバイス１００は、複数のプロセッサを備えてもよい。また、センサデバイス１００は、複数のプロセッサまたは複数のプロセッサコアを用いて並列処理を行ってもよい。また、２以上のプロセッサの集合、ＦＰＧＡ（Field Programmable Gate Array）やＡＳＩＣ（Application Specific Integrated Circuit）等の専用回路、２以上の専用回路の集合、プロセッサと専用回路の組み合わせ等を「プロセッサ」と呼んでもよい。

ＲＡＭ１０２は、プロセッサ１０１が実行するプログラムやプログラムから参照されるデータを一時的に記憶する揮発性メモリである。なお、センサデバイス１００は、ＲＡＭ以外の種類のメモリを備えてもよく、複数個の揮発性メモリを備えてもよい。

フラッシュメモリ１０３は、ファームウェアやアプリケーションソフトウェア等のプログラムおよびデータを記憶する不揮発性の記憶装置である。なお、センサデバイス１００は、ＨＤＤ（Hard Disk Drive）等の他の種類の記憶装置を備えてもよく、複数個の不揮発性の記憶装置を備えてもよい。

撮像カメラ１０４は、画像を撮像し、撮像した画像のデータをプロセッサ１０１へ出力する。
深度センサ１０５は、撮像カメラ１０４で撮像された画像の各画素について深度を計測し、プロセッサ１０１に出力する。深度の計測方式には、例えば、レーザ光線の往復時間により深度を計測するＴＯＦ（Time Of Flight）方式や、反射する光線（例えば、赤外線等）のパターンのひずみで深度を計測するパターン照射方式等様々な計測方式があり、何れの方式を採用してもよい。ＴＯＦ方式およびパターン照射方式が採用される場合、深度センサ１０５は、レーザ光線や赤外線等の光線照射装置と、照射された光線の反射成分を検出するセンサとを有する。

通信インタフェース１０６は、他の情報処理装置（例えば、動作判定装置２００）と通信を行う。
なお、プロセッサ１０１に実行させるプログラムは、フラッシュメモリ１０３に他の記憶装置からコピーするようにしてもよい。

また、センサデバイス１００としては、例えば、マイクロソフト社のＫｉｎｅｃｔ（登録商標）センサを用いることができる。
図５は、動作判定装置のハードウェア構成例を示すブロック図である。動作判定装置２００は、プロセッサ２０１、ＲＡＭ２０２、ＨＤＤ２０３、画像信号処理部２０４、入力信号処理部２０５、ディスクドライブ２０６および通信インタフェース２０７を有する。これらのユニットは、動作判定装置２００内でバス２０８に接続されている。

プロセッサ２０１は、前述のプロセッサ１０１と同様に、プログラムの命令を実行する演算器を含む。ＲＡＭ２０２は、前述のＲＡＭ１０２と同様に、プロセッサ２０１が実行するプログラムやデータを一時的に記憶する揮発性メモリである。

ＨＤＤ２０３は、ＯＳ（Operating System）やファームウェアやアプリケーションソフトウェア等のソフトウェアのプログラムおよびデータを記憶する不揮発性の記憶装置である。なお、動作判定装置２００は、フラッシュメモリ等の他の種類の記憶装置を備えてもよく、複数個の不揮発性の記憶装置を備えてもよい。

画像信号処理部２０４は、プロセッサ２０１からの命令に従って、動作判定装置２００に接続されたディスプレイ２１に画像を出力する。ディスプレイ２１としては、ＣＲＴ（Cathode Ray Tube）ディスプレイや液晶ディスプレイ等を用いることができる。

入力信号処理部２０５は、動作判定装置２００に接続された入力デバイス２２から入力信号を取得し、プロセッサ２０１に通知する。入力デバイス２２としては、マウスやタッチパネル等のポインティングデバイス、キーボード等を用いることができる。

ディスクドライブ２０６は、記録媒体２３に記録されたプログラムやデータを読み取る駆動装置である。記録媒体２３として、例えば、フレキシブルディスク（ＦＤ：Flexible Disk）やＨＤＤ等の磁気ディスク、ＣＤ（Compact Disc）やＤＶＤ（Digital Versatile Disc）等の光ディスク、光磁気ディスク（ＭＯ：Magneto-Optical disk）を使用できる。ディスクドライブ２０６は、プロセッサ２０１からの命令に従って、記録媒体２３から読み取ったプログラムやデータをＲＡＭ２０２またはＨＤＤ２０３に格納する。

通信インタフェース２０７は、他の情報処理装置（例えば、センサデバイス１００）と通信を行う。
なお、動作判定装置２００はディスクドライブ２０６を備えていなくてもよく、専ら他の端末装置から制御される場合には、画像信号処理部２０４や入力信号処理部２０５を備えていなくてもよい。また、ディスプレイ２１や入力デバイス２２は、動作判定装置２００の筐体と一体に形成されていてもよい。

次に、図６〜７を用いて、動作判定装置２００における、顧客の手が商品配置領域に進入したかを判定する判定方法について説明する。商品配置領域とは、所定の商品が配置される一定空間を指し、例えば、顧客がその商品を手に取ったかの判定に用いられる。例えば、商品配置領域は、商品棚の上面における所定の商品が配置される領域から、その上側の一定の高さまでの領域である。

ただし、このような３次元空間に対する手の進入を判定すると、処理が複雑になる。このため、動作判定装置２００は、画像上に商品配置領域に対応する２次元領域を設定し、設定された２次元領域に顧客の手（例えば手首の代表位置）が含まれているかにより、商品配置領域に手が進入したか判定する。以下、画像上に設定される、商品配置領域に対応する２次元領域を、“設定領域”と記載する場合がある。

図６は、商品配置領域に手が進入したかの判定例を示す図である。画像４は、センサデバイス１００により撮像された画像である。画像４の被写体には、顧客３０、商品棚３１および商品３３が含まれる。商品棚３１は、センサデバイス１００の正面に設置されている。領域３１ａ，３１ｂは、それぞれ個別の商品が配置される商品棚３１上の商品配置領域に対応する設定領域であり、ユーザによって画像上に任意に設定される。例えば、商品３３は、領域３１ｂに対応する商品配置領域に配置されている。顧客３０は、センサデバイス１００から見て商品棚３１の奥側に存在する。顧客３０の手首３０ａは、商品配置領域である領域３１ａ，３１ｂの何れにも含まれていない。

ここで、動作判定装置２００は、画像４のデータをセンサデバイス１００から受信したとする。このとき、受信した画像４に映る顧客３０の手首３０ａの位置は、領域３１ａに含まれていないため、動作判定装置２００は、顧客３０の手が領域３１ｂに対応する商品配置領域に進入していないと判定する。

図７は、商品配置領域に手が進入したかの判定例を示す図（続き）である。図７は、図６と同じ内容については説明を省略する。画像５は、図３のように設置された商品棚３１，３２等がセンサデバイス１００により撮像された画像である。画像５の被写体には、画像４に加えて商品棚３２および商品３４が含まれる。

商品棚３２は、センサデバイス１００の正面、かつ、センサデバイス１００から見て商品棚３１の奥に設置されている。領域３２ａ，３２ｂは、それぞれ個別の商品が配置される商品棚３２上の商品配置領域に対応する設定領域であり、ユーザによって画像上に任意に設定される。例えば、商品３３は、領域３１ｂに対応する商品配置領域に配置され、商品３４は、領域３２ｂに対応する商品配置領域に配置されている。顧客３０は、センサデバイス１００から見て商品棚３１の奥側、かつ、商品棚３２の手前側に存在する。顧客３０の手首３０ａは、領域３２ｂに含まれている。なお、ここでは顧客３０の向きは不明であるとする。

ここで、動作判定装置２００は、画像５のデータをセンサデバイス１００から受信したとする。このとき、顧客３０の状態としては、例えば、センサデバイス１００と反対方向に向いた状態で、商品３４を手に取ろうとして領域３２ｂに手を進入させた場合と、センサデバイス１００の方向に向いた状態で、単に手を挙げた場合とが考えられる。後者の場合、顧客３０の手は実際には領域３２ｂに対応する商品配置領域に進入していないことになる。しかし、動作判定装置２００は、画像５に映る手首３０ａの位置が領域３２ｂに含まれているため、顧客３０の手が領域３２ｂに対応する商品配置領域に進入したと誤判定することとなる。

この図７の例のように、商品配置領域が顧客３０よりセンサデバイス１００から見て奥側の被写体上に存在するとき、顧客３０の手がその商品配置領域に進入したかを正確に判定できない場合がある。そこで、動作判定装置２００は、画像に映った顧客３０の向きを判定し、判定した顧客３０に向きに基づいて、顧客３０の手が進入したかの判定対象とする設定領域を限定することで、誤判定を防止する。

図８以降では、対象領域と顧客の手首との位置関係に基づき、顧客の手が所定の商品配置領域に進入したか判定する方法について説明する。“対象領域”は、商品配置領域に対応する設定領域のうち、顧客の向きに基づいて限定された領域であって、顧客の手首との位置関係が判定される領域を意味する。

図８は、センサデバイスおよび動作判定装置の機能例を示すブロック図である。センサデバイス１００は、画像取得部１１０、骨格検出部１２０および送信部１３０を有する。
画像取得部１１０は、撮像カメラ１０４によって撮像された画像のデータを所定時間間隔で取得する。

骨格検出部１２０は、画像のデータと深度センサ１０５による深度情報とに基づき、画像に映る人物の手首、肘、頭および肩等、予め決められた骨格の部位の位置を検出する。骨格検出部１２０は、画像取得部１１０が画像データを取得する度に骨格の部位の位置を検出し、各部位の位置情報を含む骨格情報を生成する。各部位の位置情報には、画像上の位置を示す情報と、センサデバイス１００から各部位までの距離（深度）を示す情報とを含む。なお、画像に複数の人物が映っている場合、骨格検出部１２０は、人物ごとに骨格情報を生成することもできる。センサデバイス１００から各部位までの距離（深度）を、“骨格（例えば、頭）の深度”と記載する場合がある。

送信部１３０は、撮像された画像のデータ、および画像に映る顧客の骨格情報を動作判定装置２００へ送信する。
なお、画像取得部１１０、骨格検出部１２０および送信部１３０は、例えば、プロセッサ１０１が所定のプログラムを実行することで実現される。

動作判定装置２００は、商品情報記憶部２１０および動作判定部２２０を有する。
商品情報記憶部２１０は、動作判定システム３を用いる店舗で扱われる商品に関する情報を格納した商品情報テーブルを記憶する。商品に関する情報には、商品に対応する商品が配置される画像上の領域の範囲を示す位置情報が含まれる。商品情報記憶部２１０は、例えば、ＨＤＤ２０３等に確保された不揮発性の記憶領域として実現される。

動作判定部２２０は、センサデバイス１００から受信した情報に基づき、顧客の手が所定の商品配置領域に進入したかを判定する。動作判定部２２０は、対象領域判定部２２１、手首位置判定部２２２および購入レベル判定部２２３を有する。

対象領域判定部２２１は、センサデバイス１００から受信した顧客の骨格情報を参照し、顧客の向きを判定する。また、対象領域判定部２２１は、商品情報テーブルに設定されている設定領域から、顧客の手首との位置関係を判定する対象領域を、判定した顧客の向きに基づいて限定する。

手首位置判定部２２２は、画像上の顧客の手首の位置が、限定された対象領域に含まれるかにより、顧客の手がその対象領域に対応する商品配置領域に進入したか判定する。
購入レベル判定部２２３は、対象領域判定部２２１による顧客の向きの判定結果や、手首位置判定部２２２による判定結果に基づいて、顧客の購入動作を分類した購入レベルを判定する。

なお、商品情報記憶部２１０は、例えば、ＲＡＭ２０２またはＨＤＤ２０３に確保した記憶領域として実現できる。また、対象領域判定部２２１、手首位置判定部２２２および購入レベル判定部２２３は、例えば、プロセッサ２０１が所定のプログラムを実行することで実現される。

次に、図９〜１０を用いて、動作判定システム３で用いる情報やテーブルについて説明する。
図９は、骨格情報の例を示す図である。骨格情報１３１は、顧客の頭や手首の関節等の各骨格の位置を示す情報である。骨格情報１３１は、骨格検出部１２０により生成される。骨格情報１３１は、顧客ＩＤ（Identification）、部位および位置情報の項目を有する。

顧客ＩＤの項目には、画像に映る顧客を識別するための識別子が設定される。部位の項目には、部位の種別を示す情報が設定される。位置情報の項目には、部位の位置情報が設定される。動作判定システム３において、位置情報は、“（Ｘ軸方向の位置，Ｙ軸方向の位置，Ｚ軸方向の位置）”で表される。Ｘ軸は、撮像カメラ１０４の光軸と直交する横方向の軸であり、撮像カメラ１０４から見て左方向を正とする。Ｙ軸は、撮像カメラ１０４の光軸と直交する縦方向の軸であり、撮像カメラ１０４から見て上方向を正とする。Ｚ軸は、撮像カメラ１０４の光軸の方向の軸であり、撮像カメラ１０４が向いている方向を正とする。すなわち、Ｘ軸およびＹ軸の座標により骨格の画像上の座標が示され、Ｚ軸の座標により骨格の深度が示される。

例えば、図９に示すように、骨格の部位として、頭、首、右肩、左肩、右手首、左手首等が検出される。顧客３０の頭の画像上の座標が“（３５，６０）”であり、深度が“２０”であるとすると、骨格情報１３１における顧客３０の“頭”に対応する位置情報の項目には、“（３５，６０，２０）”が設定される。

なお、骨格の位置情報は、上記の表現方法の他、緯度・経度・高さ等別の方法により表されてもよい。
図１０は、商品情報テーブルの例を示す図である。商品情報テーブル２１１には、店舗において商品が配置される領域に対応する画像上の設定領域が、商品ごとに設定される。設定される商品ごとの画像上の設定領域は、例えば、その設定領域に対する顧客の手首の出入りを判定するために利用されるものである。商品情報テーブル２１１は、商品情報記憶部２１０に記憶されている。商品情報テーブル２１１は、商品ＩＤ、領域情報および種別の項目を有する。

商品ＩＤの項目には、店舗で扱う商品を識別するための識別子が設定される。
領域情報の項目には、商品が配置される商品配置領域に対応する設定領域を示す情報が設定される。動作判定システム３において、設定領域は、四角形であるとする。また、設定領域を示す情報は、設定領域の四隅の座標により表される。四隅の各座標は、“（Ｘ軸方向の位置，Ｙ軸方向の位置）”により表される。Ｘ軸は、撮像カメラ１０４により撮像された画像において、横方向の軸であり、左方向を正とする。Ｙ軸は、撮像カメラ１０４により撮像された画像において、縦方向の軸であり、上方向を正とする。なお、設定領域は、四角形に限定されず、円や楕円形であってもよい。また、設定領域が長方形である場合、例えば、設定領域を示す情報は、例えば、右上と左下の座標のみで表されてもよい。

種別の項目には、設定領域に対応する商品配置領域と顧客との位置関係の種別を示す情報が設定される。例えば、センサデバイス１００から見て、商品配置領域が顧客より手前側である場合、種別の項目には、“手前”が設定される。センサデバイス１００から見て、商品配置領域が顧客より奥側である場合、種別の項目には、“奥”が設定される。

なお、商品情報テーブル２１１には、上記項目の他、商品名や、商品が手に取られた回数を示す情報等が含まれていてもよい。
次に、図１１〜１２を用いて、顧客の向きを判定する方法について説明する。図１１〜１２における商品棚３１，３２の配置は、図３や図７と同様である。すなわち、図１１，１２において、商品に対応する各商品配置領域（例えば、領域３１ａ）は、図７における画像５と同様に設定される。

図１１は、顧客の向きが手前方向であるときの対象領域の限定例を示す図である。図１１において、図３と同じ内容については説明を省略する。図１１中の領域３１ａ，３１ｂは、商品棚３１の上面に、図７のように画像上に設定された領域３１ａ，３１ｂに対応する領域を表したものである。同様に、図１１中の領域３２ａ，３２ｂは、商品棚３２の上面に、図７のように画像上に設定された領域３２ａ，３２ｂに対応する領域を表したものである。顧客３０は、センサデバイス１００の方向に向いている。

深度Ｄ１１は、顧客３０の頭の深度を示し、深度Ｄ１２は、顧客３０の首の深度を示す。センサデバイス１００は、深度Ｄ１１および深度Ｄ１２を計測して動作判定装置２００へ送信する。動作判定装置２００は、深度Ｄ１１と深度Ｄ１２とを比較して、顧客３０の向きを判定する。

ここで、図１１に示すように、人（例えば、顧客３０等）の頭は、人の骨格の構造上、首より前に位置する。そのため、深度Ｄ１１が深度Ｄ１２より小さい場合、顧客３０の向きがセンサデバイス１００の方向であると判定することができる。以下、顧客３０の向きがセンサデバイス１００の方向であることを、“顧客３０の向きが手前方向である”と記載する場合がある。

動作判定装置２００は、顧客３０の向きが手前方向であると判定した場合、センサデバイス１００から見て、顧客３０の手前に存在する商品配置領域に対応する領域３１ａ，３１ｂに、対象領域を限定する。すなわち、領域３２ａ，３２ｂは、対象領域から除外される。

したがって、この状態で、図７に示すように、顧客３０の手首の位置が領域３２ｂに含まれた場合、動作判定装置２００は、顧客３０の手が領域３２ｂに対応する商品配置領域に進入したと判定しない。これにより、手が進入したかの誤判定を防止できる。

図１２は、顧客の向きが奥方向であるときの対象領域の限定例を示す図である。図１２において、図１１と同じ内容については説明を省略する。顧客３０は、センサデバイス１００と反対方向に向いている。

センサデバイス１００は、深度Ｄ１１および深度Ｄ１２を計測して動作判定装置２００へ送信する。動作判定装置２００は、深度Ｄ１１と深度Ｄ１２とを比較して、顧客３０の向きを判定する。

ここで、図１１で説明したように人の頭は首より前に位置するため、図１２に示すように、深度Ｄ１１が深度Ｄ１２より大きい場合、顧客３０の向きがセンサデバイス１００と反対方向であると判定することができる。以下、顧客３０の向きがセンサデバイス１００の反対方向であることを、“顧客３０の向きが奥方向である”と記載する場合がある。

動作判定装置２００は、顧客３０の向きが奥方向であると判定した場合、少なくとも、センサデバイス１００から見て、顧客３０の奥側に存在する商品配置領域に対応する領域３２ａ，３２ｂを対象領域に含める。

したがって、この状態で、図７に示すように、顧客３０の手の位置が領域３２ｂに含まれた場合、動作判定装置２００は、顧客３０の手が領域３２ｂに対応する商品配置領域に進入したと判定する。顧客３０が領域３２ｂに対応する商品配置領域の方を向いていると推定されるので、手が進入したと誤判定される可能性は低い。

なお、図１２の例では、動作判定装置２００は、対象領域を領域３２ａ，３２ｂに限定し、領域３１ａ，３１ｂを対象領域から除外してもよい。これにより、領域３１ａ，３１ｂへの手の進入を監視する処理を実行しなくてよくなり、処理負荷が低減されることがあり得る。

図１１〜１２で説明したように、動作判定装置２００は、顧客３０の頭の深度（深度Ｄ１１）および首の深度（深度Ｄ１２）に基づいて、顧客３０の向きを判定する。これらの深度Ｄ１１，Ｄ１２はセンサデバイス１００で計測されるので、動作判定装置２００は深度Ｄ１１，Ｄ１２の大小を比較するという簡易な処理で、顧客３０の向きを判定することができる。また、深度Ｄ１１，Ｄ１２を計測するセンサデバイスとしては既存のものを使用できるため、システム全体の導入が容易になる。

さらに、例えば、顧客３０の視線方向を基に顧客３０の向きを判定する方法と比較した場合、顧客３０がメガネやサングラスを装着していて視線を捉えられないといった状況でも、顧客３０の向きを判定できるという利点がある。

また、視線方向を検出して顧客３０の向きを判定するためには、眼球の位置変化を検出可能なように高解像度で、かつ、顔だけでなく顧客３０の他の部位も映るような高精度の撮像装置が必要となる。このような撮像装置は外形が大きくなる可能性があり、その場合には大きな設置スペースが必要となる。さらに、撮像装置が大型化した場合には、店舗内で撮像の対象となる顧客に対する心理的負担が大きくなることも考えられる。深度Ｄ１１，Ｄ１２を計測するためには、そのような高精度の撮像装置は必要とならず、センサデバイスの設置スペースを抑制することができる。

また、動作判定装置２００は、顧客３０の向きに基づいて、複数の設定領域の中から対象領域を限定する。これにより、図７で説明したような、商品配置領域に手が進入したかの判定の誤りを防止でき、その判定精度を向上させることができる。また、顧客３０の手首との位置関係を判定する対象領域を限定できるため、顧客３０の手が進入したか判定する処理を効率よく実行でき、処理時間を短縮できる。

次に、図１３〜１４を用いて、動作判定装置２００が実行する処理について説明する。
図１３は、顧客が商品を手に取ったか判定する処理の例を示すフローチャートである。図１３の処理は、センサデバイス１００から画像に関する情報の受信を契機に実行される。以下、図１３に示す処理をステップ番号に沿って説明する。画像に関する情報は、所定時間間隔で受信される。

（Ｓ１１）対象領域判定部２２１は、センサデバイス１００からセンサデータを受信する。受信データには、少なくとも、撮像された画像のデータ、画像に映る顧客（顧客３０とする）の骨格情報１３１が含まれる。

（Ｓ１２）対象領域判定部２２１は、顧客３０の向きを判定する。詳細は、図１４で後述する。
（Ｓ１３）対象領域判定部２２１は、顧客３０の向きが“横”であるか判定する。顧客３０の向きが“横”である場合、処理を終了する。顧客３０の向きが“横”以外（すなわち、“手前”または“奥”）である場合、処理をステップＳ１４へ進める。

なお、顧客３０の向きが“横”である場合、何れの設定領域も対象領域に含められず、商品配置領域に手が進入したかの判定処理は行われない。ただし、例えば、センサデバイス１００から見て、商品棚３１と商品棚３２との間の領域の左右にも商品配置領域が存在し、それらの商品配置領域に対応する設定領域が設定されている場合には、これらの設定領域が対象領域に限定されてもよい。

（Ｓ１４）対象領域判定部２２１は、顧客３０の向きが“手前”であるか判定する。向きが“手前”である場合、処理をステップＳ１５へ進める。向きが“手前”以外（すなわち“奥”）である場合、処理をステップＳ１６へ進める。

（Ｓ１５）対象領域判定部２２１は、設定領域の中から、顧客３０の手前側に存在する商品配置領域に対応する設定領域に対象領域を限定する。具体的には、対象領域判定部２２１は、種別が“手前”であるレコードを商品情報テーブル２１１から検索し、検索した各レコードの領域情報の項目に設定されている領域に対象領域を限定する。

（Ｓ１６）対象領域判定部２２１は、設定領域の中から、顧客３０の奥側に存在する商品配置領域に対応する設定領域に対象領域を限定する。具体的には、対象領域判定部２２１は、種別が“奥”であるレコードを商品情報テーブル２１１から検索し、検索した各レコードの領域情報の項目に設定されている領域に対象領域を限定する。

なお、ステップＳ１６では、対象領域判定部２２１は、顧客２０の手前側および奥側の両方の商品配置領域に対応する設定領域を、対象領域としてもよい。
（Ｓ１７）手首位置判定部２２２は、顧客３０の手首の位置が、ステップＳ１５，Ｓ１６の何れかの処理で限定された何れかの対象領域に含まれるか判定する。顧客３０の手首の位置は、顧客３０の顧客ＩＤと一致し、かつ、部位が“右手首”または“左手首”であるレコードを骨格情報１３１から検索し、検索した各レコードの位置情報を読み出すことで取得できる。以下、“手首の位置”には、右手首の位置および左手首の位置が含まれるものとする。

手首の位置が何れかの対象領域に含まれている場合、処理をステップＳ１８へ進める。手首の位置が全ての対象領域に含まれていない場合、処理を終了する。
（Ｓ１８）手首位置判定部２２２は、顧客３０の手首が位置する対象領域に対応する商品配置領域に、顧客３０の手が進入したと判定する。

なお、手首位置判定部２２２は、例えば、顧客３０の手が進入したことを、進入した商品配置領域に対応する商品の情報に関連付けて、ログファイルに出力したり、ディスプレイ２１へ出力したりしてもよい。

図１４は、顧客の向きを判定する処理の例を示すフローチャートである。図１４は、図１３のステップＳ１２で実行される。以下、図１４に示す処理をステップ番号に沿って説明する。

（Ｓ１２１）対象領域判定部２２１は、図１３のステップＳ１１で受信した骨格情報１３１から、画像上での両肩（すなわち、右肩および左肩）の位置情報を読み出す。具体的には、対象領域判定部２２１は、顧客３０の顧客ＩＤと一致し、かつ、部位が“右肩”または“左肩”であるレコードを骨格情報１３１から検索し、検索された各レコードの位置情報のうち、Ｘ軸方向およびＹ軸方向の位置情報を読み出す。

（Ｓ１２２）対象領域判定部２２１は、読み出した位置情報に基づき、画像上での両肩（すなわち、右肩と左肩）の間の距離を肩幅Ｗとして算出する。例えば、右肩の位置を（Ｘ１，Ｙ１）とし、左肩の位置を（Ｘ２，Ｙ２）とすると、肩幅Ｗは、“Ｗ＝（（Ｘ２−Ｘ１）²＋（Ｙ２−Ｙ１）²）^1/2”により算出できる。

（Ｓ１２３）対象領域判定部２２１は、算出した肩幅Ｗが閾値未満か判定する。肩幅Ｗが閾値未満である場合、処理をステップＳ１２５へ進める。肩幅Ｗが閾値以上である場合、処理をステップＳ１２４へ進める。

（Ｓ１２４）対象領域判定部２２１は、図１３のステップＳ１１で受信した骨格情報１３１から頭の位置情報および首の位置情報を読み出す。具体的には、対象領域判定部２２１は、顧客３０の顧客ＩＤと一致し、かつ、部位が“頭”または“首”であるレコードを骨格情報１３１から検索し、検索したレコードの位置情報を読み出す。顧客３０は、図１３のステップＳ１１で受信した画像に映る顧客である。

（Ｓ１２５）対象領域判定部２２１は、顧客３０の向きを“横”と判定する。
（Ｓ１２６）対象領域判定部２２１は、顧客３０について、頭の深度が首の深度未満か判定する。頭および首の深度は、ステップＳ１２４で読み出した位置情報におけるＺ軸方向の位置から取得される。

頭の深度が首の深度未満である場合、処理をステップＳ１２７へ進める。頭の深度が首の深度以上である場合、処理をステップＳ１２８へ進める。
（Ｓ１２７）対象領域判定部２２１は、顧客３０の向きを“手前”と判定する。

（Ｓ１２８）対象領域判定部２２１は、顧客３０の向きを“奥”と判定する。
以上の図１３〜１４の処理によれば、対象領域判定部２２１は、顧客３０の頭の深度および首の深度に基づいて、顧客３０の向きを判定する。これにより、顧客３０の向きを簡易に判定することができる。

また、対象領域判定部２２１は、設定領域の中から、顧客３０の向きに基づいて対象領域を限定する。これにより、商品配置領域に手が進入したかの判定の誤りを防止でき、その判定精度を向上させることができる。また、対象領域が限定されることで、顧客３０の手首との位置関係を判定する処理の負荷が軽減されるため、処理時間が短縮され、処理負担が軽減される。

また、対象領域判定部２２１は、顧客３０の両肩の幅に基づいて、顧客３０の向きが横向きかを判定する。向きが横向きである場合は、少なくとも、センサデバイス１００から見て顧客３０の奥側に存在する商品配置領域に対応する設定領域と、顧客３０の手前側に存在する商品配置領域に対応する設定領域とを、対象領域に含めないようにする。これは、センサデバイス１００から見て手前側の商品配置領域と奥側の商品配置領域のどちらに対応する設定領域を対象領域とすべきか、明確に判断できないからである。向きが横向きである場合は、上記処理により、これらの設定領域に対する手の進入の誤判定を防止できる。例えば、図７の画像５のように商品棚が配置されているとき、顧客３０の向きが横向きの場合に、顧客３０の向きが手前側または奥側であると誤判定されることを防止できる。

なお、対象領域判定部２２１は、両肩の間の距離が閾値未満か判定する代わりに、顧客３０の頭の深度と首の深度との差分が一定の範囲内（例えば、−α〜＋α）であるかで、顧客３０の向きが“横”であると判定してもよい。

図１５は、購入レベルの判定処理の例を示すフローチャートである。以下、図１５に示す処理をステップ番号に沿って説明する。
（Ｓ２１）購入レベル判定部２２３は、対象領域判定部２２１による判定結果に基づき、撮像された画像上に映った顧客の向きが、手前側または奥側であるかを判定する。顧客の向きが手前側または奥側である場合、処理をステップＳ２２へ進める。顧客の向きが手前側でも奥側でもない場合（例えば、横向きの場合）、処理が終了される。

なお、購入レベル判定部２２３は、例えば、画像上の顧客の移動速度が所定速度閾値以下となり、かつ、その顧客の向きが手前側または奥側である場合に、処理をステップＳ２２に進めてもよい。

（Ｓ２２）購入レベル判定部２２３は、顧客の購入レベルを“注目”レベルと判定する。購入レベル判定部２２３は、例えば、購入レベルが“注目”レベルとなったことを、その顧客が向いている方向に存在する商品棚に設定された設定領域の識別情報、および、その顧客の識別情報と共に出力する。

なお、顧客が向いている方向に存在する商品棚に設定された設定領域は、この時点で図１３のステップＳ１５またはステップＳ１６で対象領域とされている設定領域とすることができる。ただし、この場合、ステップＳ１６では、図１３に記載の通り、顧客３０の奥側に存在する商品配置領域に対応する設定領域にのみ、対象領域が限定される必要がある。

（Ｓ２３）購入レベル判定部２２３は、図１３のステップＳ１８の判定結果に基づき、顧客が向いている方向に存在する商品配置領域に対応する設定領域（すなわち、対象領域とされた設定領域）の何れかに、顧客の手が進入したかを判定する。何れかの対象領域に顧客の手が進入した場合、処理をステップＳ２５に進める。顧客の手が何れの対象領域にも進入していない場合、処理をステップＳ２４に進める。

（Ｓ２４）購入レベル判定部２２３は、顧客が移動したかを判定する。例えば、顧客が撮像された画像上から検知されなくなった場合に、顧客が移動したと判定される。あるいは、顧客の移動速度が、ステップＳ２１で用いられた速度閾値を超えた場合に、顧客が移動したと判定されてもよい。

顧客が移動した場合、処理が終了される。顧客が移動していない場合、処理をステップＳ２３に進める。
（Ｓ２５）購入レベル判定部２２３は、図１３のステップＳ１８の判定結果に基づき、ステップＳ２３で手が進入したと判定された対象領域から、その外部へ手が出たかを判定する。対象領域から手が出たと判定されるまで、ステップＳ２５の処理は一定時間間隔で繰り返される。そして、対象領域から手が出たと判定した場合、処理をステップＳ２６に進める。

（Ｓ２６）購入レベル判定部２２３は、顧客の購入レベルを“検討・比較”レベルと判定する。購入レベル判定部２２３は、例えば、購入レベルが“検討・比較”レベルとなったことを、手が出たと判定された設定領域に対応する商品の識別情報、および、その顧客の識別情報と共に出力する。この後、処理をステップＳ２３に進める。

以上の図１５の処理によれば、顧客の向きと、顧客の手が商品配置領域に進入したかの判定結果とを基に、顧客の購入動作を分類した購入レベルを判定することができる。例えば、顧客の向きの判定結果に基づいて、顧客が何れかの商品棚に注目したことを判定できる。また、上記の図１３〜１４に示したように、顧客の向きに基づいて設定領域の中から対象領域が限定されることで、顧客が“比較・検討”したと推定される商品を正確に判定することができる。

なお、図１５に示した購入レベルの判定処理はあくまで一例であり、顧客の向きや、顧客の手が商品配置領域に進入したかの判定結果を用いて、顧客の購入動作を様々な分類方法で分類することが可能である。例えば、購入レベル判定部２２３は、図１５のステップＳ２５で手が出たと判定された場合に、顧客が対応する商品を手に取ったと判定してもよい。

また、以上の第２の実施の形態では、顧客の向きの判定結果に応じて、手の進入を判定対象とする設定領域を特定する例を示した。しかしながら、このような例に限らず、顧客の向きの判定結果に応じて、様々な処理の対象とする設定領域が特定されてもよい。例えば、顧客が商品を手に取ったかの判定対象とする設定領域が特定されてもよいし、商品の有無の判定や、商品が好ましい状態で（例えば、好ましい向きで）配置されているかの判定の対象とする設定領域が特定されてもよい。

［第３の実施の形態］
次に、第３の実施の形態の動作判定システムについて説明する。
第２の実施の形態の動作判定システム３では、顧客３０の首および頭の深度を比較し、首より頭が前にあるかを判定することで顧客３０の向きを判定していた。ただし、このような向きの判定方法は、首および頭の深度がほぼ水平方向に対して計測されていることを想定したものである。このため、顧客の上半身がほぼ垂直であると仮定すると、センサデバイス１００の光軸の垂直方向に対する傾きが大きくなるほど、判定に使用する深度（すなわち、センサデバイス１００からの距離）に誤差が生じて、判定精度が悪化する。

そこで、第３の実施の形態の動作判定システムでは、第２の実施の形態の動作判定装置２００を次のように変形する。第３の実施の形態において、動作判定装置２００は、センサデバイス１００から受信した首および頭の深度を、各深度の水平方向の成分（すなわち、センサデバイス１００から各部位への水平方向の距離）を示すように補正する。そして、補正後の首および頭の深度に基づいて顧客の向きを判定する。

以下、図１６〜１７を用いて第３の実施の形態の動作判定装置２００について説明する。図１６〜１７において、第２の実施の形態と差異のある点を説明し、第２の実施の形態と同じ構成や処理については説明を省略する。

図１６は、第３の実施の形態のセンサデバイスと骨格との距離への変換例を示す図である。
線分ＡＰ０は、顧客３０の頭とセンサデバイス１００とを結ぶ線分である。線分ＡＰ０の距離は、顧客３０の頭の深度で表されるものとする。線分ＢＰ０は、顧客３０の首とセンサデバイス１００とを結ぶ線分である。線分ＢＰ０の距離は、顧客３０の首の深度で表されるものとする。

線分ＡＰ１は、点Ａから、点Ｐ０から地面への垂線Ｌ１におろした垂線であり、線分ＢＰ２は、点Ｂから、点Ｐ０から地面への垂線Ｌ１におろした垂線である。すなわち、線分ＡＰ１は、顧客３０の頭の深度の水平成分であり、線分ＢＰ２は、首の深度の水平成分である。

角度θ０は、水平面Ｈに対する、撮像カメラ１０４のレンズの光軸（センサデバイス１００の光軸Ｌ０）の角度であり、センサデバイス１００の俯角を示す。角度θ１は、線分ＡＰ０とセンサデバイス１００の光軸Ｌ０との間の垂直方向の角度である。角度θ２は、線分ＢＰ０とセンサデバイス１００の光軸Ｌ０との間の垂直方向の角度である。

画像６は、図１６上段のように配置されているセンサデバイス１００により撮像された画像である。点Ａ１は、画像６に映る顧客３０の頭の位置であり、点Ｂ１は、顧客３０の首の位置である。点Ｍ１は、画像６の中心である。すなわち、点Ｍ１は、センサデバイス１００の光軸Ｌ０上の点である。点Ｏ１は、画像６の上端の中点である。すなわち、点Ｏ１は、センサデバイス１００の上方向における視野の限界となる点である。

対象領域判定部２２１は、以下のように、顧客３０の頭や首の深度を、その深度の水平成分を示すように補正する。まず、対象領域判定部２２１は、顧客３０の頭のＹ座標を角度θ１に変換し、顧客３０の首のＹ座標を角度θ２に変換する。

上記角度の変換は、画像６の中心点である点Ｍ１からの画素数と光軸Ｌ０に対する角度との対応関係に基づいて実行されてもよい。画素数と角度との対応関係は、角度θ０や画像の解像度に応じて予め決まる。また、上記角度の変換は、例えば、“（センサデバイス１００の視野角／２）×（距離Ａ１Ｍ１／距離Ｍ１Ｏ１）＝角度θ１”や、“（センサデバイス１００の視野角／２）×（距離Ｂ１Ｍ１／距離Ｍ１Ｏ１）＝角度θ２”により光軸Ｌ０に対する角度を計算することで実現してもよい。“距離Ａ１Ｍ１”は、点Ａ１と点Ｍ１との間の垂直方向の距離を意味する。“距離Ｂ１Ｍ１”は、点Ｂ１と点Ｍ１との間の垂直方向の距離を意味する。“距離Ｍ１Ｏ１”は、点Ｍ１と点Ｏ１との間の垂直方向の距離を意味する。

次に、対象領域判定部２２１は、角度θ０，θ１、および顧客３０の頭の深度に基づいて、頭の深度の水平成分（ＡＰ１間の距離）を算出する。具体的には、対象領域判定部２２１は、“ＡＰ０×ｃｏｓ（θ０−θ１）＝ＡＰ１”により、ＡＰ１間の距離を算出する。また、対象領域判定部２２１は、角度θ０，θ２、および顧客３０の首の深度（ＢＰ０間の距離）に基づいて、首の深度の水平成分（ＢＰ２間の距離）を算出する。具体的には、対象領域判定部２２１は、“ＢＰ０×ｃｏｓ（θ０＋θ２）＝ＢＰ２”により、ＢＰ２間の距離を算出する。

なお、例えば、ＡＰ０間の距離をＡＰ１間の距離に換算するための補正係数と、ＢＰ０間の距離をＢＰ２間の距離に換算するための補正係数とが、記憶装置に予め用意され、対象領域判定部２２１は、これらの補正係数を用いて深度の補正を行ってもよい。これらの補正係数は、頭と首とで共通のものを用いることができ、例えば、センサデバイス１００の俯角（角度θ０）ごと、および、頭または首の画像上の垂直方向の離散的な位置ごとに用意されればよい。また、補正係数は、センサデバイス１００の俯角（角度θ０）ごと、および、頭と首の画像上の垂直方向の座標の差分値ごとに用意されてもよい。

また、顧客の向きの判定は、頭の深度と首の深度との大小関係で判定される。このことから、各深度の値が水平成分の絶対的な値に補正されるのではなく、各深度の値の比が各深度の水平成分の比と同じになるように補正が行われてもよい。この場合、対象領域判定部２２１は、例えば、センサデバイス１００から受信した頭の深度または首の深度の少なくとも一方を、センサデバイス１００の俯角（角度θ０）と、頭と首の画像上の垂直方向の座標の差分値とに対応する補正係数を用いて補正してもよい。

図１７は、第３の実施の形態の顧客の向きを判定する処理の例を示すフローチャートである。第２の実施の形態との違いは、ステップＳ１２４とステップＳ１２６の間にステップＳ１２４ａが追加される点である。図１７では、第３の実施の形態の動作判定システムにおいて、動作判定装置２００には、ユーザの入力操作によりセンサデバイス１００の俯角が予め記憶されているものとする。以下、ステップＳ１２４ａについて説明する。

（Ｓ１２４ａ）対象領域判定部２２１は、図１６で説明したように、顧客３０の頭の位置および俯角θ０に基づき、顧客３０の頭の深度（Ｚ軸方向の位置）を、水平成分を示すように補正する。また、対象領域判定部２２１は、図１６で説明したように、顧客３０の首の位置および俯角θ０に基づき、顧客３０の首の深度（Ｚ軸方向の位置）を、水平成分を示すように補正する。

この後のステップＳ１２６では、対象領域判定部２２１は、補正後の頭の深度と補正後の首の深度とを比較することになる。
第３の実施の形態の動作判定システムによれば、センサデバイス１００の俯角（角度θ０）や顧客３０の頭および首の位置情報に基づき、頭および首の深度を、その深度の水平成分を示すように補正する。これにより、センサデバイス１００の設置場所の高さにかかわらず、顧客３０についての頭の距離と首の距離とを正確に比較できるため、顧客３０の向きを精度良く比較できる。よって、顧客の手が商品配置領域に進入したかを精度良く判定できる。

なお、前述のように、第１の実施の形態の情報処理は、情報処理装置２にプログラムを実行させることで実現でき、第２，第３の実施の形態の情報処理は、センサデバイス１００や動作判定装置２００にプログラムを実行させることで実現できる。このようなプログラムは、コンピュータ読み取り可能な記録媒体（例えば、記録媒体２３）に記録しておくことができる。記録媒体としては、例えば、磁気ディスク、光ディスク、光磁気ディスク、半導体メモリ等を使用できる。磁気ディスクには、ＦＤおよびＨＤＤが含まれる。光ディスクには、ＣＤ、ＣＤ−Ｒ（Recordable）／ＲＷ（Rewritable）、ＤＶＤおよびＤＶＤ−Ｒ／ＲＷが含まれる。

プログラムを流通させる場合、例えば、当該プログラムを記録した可搬記録媒体が提供される。コンピュータは、例えば、可搬記録媒体に記録されたプログラムまたは他のコンピュータから受信したプログラムを、記憶装置（例えば、ＨＤＤ２０３）に格納し、当該記憶装置からプログラムを読み込んで実行する。ただし、可搬記録媒体から読み込んだプログラムを直接実行してもよい。また、上記の情報処理の少なくとも一部を、ＤＳＰ（Digital Signal Processing）、ＡＳＩＣ、ＰＬＤ（Programmable Logic Device）等の電子回路で実現することも可能である。

以上の第１〜３の実施の形態を含む実施の形態に関し、さらに以下の付記を開示する。
（付記１） 情報処理装置が、
人物の頭部と基準位置との間の第１の距離、および、前記人物の首と前記基準位置との間の第２の距離を取得し、
前記第１の距離と前記第２の距離との比較結果に基づいて前記人物の向きを判定する、
ことを特徴とする動作判定方法。

（付記２） 前記人物の向きの判定では、前記基準位置に配置された撮像装置によって撮像された画像に映った前記人物の向きを判定し、
前記情報処理装置が、
判定された前記人物の向きに基づいて、前記画像上に設定された複数の設定領域から所定の処理の対象とする１つ以上の設定領域を特定する、
処理をさらに含むことを特徴とする付記１記載の動作判定方法。

（付記３） 前記情報処理装置が、
前記画像における前記人物の手の座標に基づいて、前記特定された設定領域に前記手が含まれるかを判定する、
処理をさらに含むことを特徴とする付記２記載の動作判定方法。

（付記４） 前記複数の設定領域の少なくとも１つは、前記撮像装置から見て前記人物の背後に存在する被写体上に設定されており、
前記設定領域の特定では、前記人物が前記撮像装置とは反対の方向を向いていないと判定された場合、前記複数の設定領域のうち、少なくとも前記人物の背後に存在する被写体上に設定された設定領域を、前記所定の処理の対象として特定する設定領域から除外する、
ことを特徴とする付記３記載の動作判定方法。

（付記５） 前記人物の向きの判定では、取得した前記第１の距離または前記第２の距離の少なくとも一方を、前記撮像装置の撮像方向と水平面との角度に応じて補正した値を用いて、前記人物の向きを判定することを特徴とする付記２乃至４の何れか１つに記載の動作判定方法。

（付記６） 前記人物の向きの判定では、前記第１の距離と前記第２の距離との比較結果に基づき、前記人物が前記基準位置の方向と当該基準位置とは反対の方向のどちらを向いているかを判定することを特徴とする付記１乃至５の何れか１つに記載の動作判定方法。

（付記７） 人物の頭部と基準位置との間の第１の距離、および、前記人物の首と前記基準位置との間の第２の距離を取得する取得部と、
前記第１の距離と前記第２の距離との比較結果に基づいて前記人物の向きを判定する判定部と、
を有することを特徴とする動作判定装置。

（付記８） 前記判定部は、
前記基準位置に配置された撮像装置によって撮像された画像に映った前記人物の向きを判定し、
判定された前記人物の向きに基づいて、前記画像上に設定された複数の設定領域から所定の処理の対象とする１つ以上の設定領域を特定する、
ことを特徴とする付記７記載の動作判定装置。

（付記９） 前記判定部は、前記画像における前記人物の手の座標に基づいて、前記特定された設定領域に前記手が含まれるかを判定することを特徴とする付記８記載の動作判定装置。

（付記１０） 前記複数の設定領域の少なくとも１つは、前記撮像装置から見て前記人物の背後に存在する被写体上に設定されており、
前記判定部は、前記人物が前記撮像装置とは反対の方向を向いていないと判定された場合、前記複数の設定領域のうち、少なくとも前記人物の背後に存在する被写体上に設定された設定領域を、前記所定の処理の対象として特定する設定領域から除外する、
ことを特徴とする付記９記載の動作判定装置。

（付記１１） 前記判定部は、取得された前記第１の距離または前記第２の距離の少なくとも一方を、前記撮像装置の撮像方向と水平面との角度に応じて補正した値を用いて、前記人物の向きを判定することを特徴とする付記８乃至１０の何れか１つに記載の動作判定装置。

（付記１２） 前記判定部は、前記第１の距離と前記第２の距離との比較結果に基づき、前記人物が前記基準位置の方向と当該基準位置とは反対の方向のどちらを向いているかを判定することを特徴とする付記７乃至１１の何れか１つに記載の動作判定装置。

（付記１３） コンピュータに、
人物の頭部と基準位置との間の第１の距離、および、前記人物の首と前記基準位置との間の第２の距離を取得し、
前記第１の距離と前記第２の距離との比較結果に基づいて前記人物の向きを判定する、
処理を実行させることを特徴とする動作判定プログラム。

１ 撮像装置
２ 情報処理装置
１０ 画像
１１ 人物
Ｄ１，Ｄ２ 距離
Ｌ 線分

Claims (8)

1. 情報処理装置が、
   人物の頭部と基準位置との間の第１の距離、および、前記人物の首と前記基準位置との間の第２の距離を取得し、
   前記第１の距離と前記第２の距離との比較結果に基づいて前記人物の向きを判定する、
   ことを特徴とする動作判定方法。
2. 前記人物の向きの判定では、前記基準位置に配置された撮像装置によって撮像された画像に映った前記人物の向きを判定し、
   前記情報処理装置が、
   判定された前記人物の向きに基づいて、前記画像上に設定された複数の設定領域から所定の処理の対象とする１つ以上の設定領域を特定する、
   処理をさらに含むことを特徴とする請求項１記載の動作判定方法。
3. 前記情報処理装置が、
   前記画像における前記人物の手の座標に基づいて、前記特定された設定領域に前記手が含まれるかを判定する、
   処理をさらに含むことを特徴とする請求項２記載の動作判定方法。
4. 前記複数の設定領域の少なくとも１つは、前記撮像装置から見て前記人物の背後に存在する被写体上に設定されており、
   前記設定領域の特定では、前記人物が前記撮像装置とは反対の方向を向いていないと判定された場合、前記複数の設定領域のうち、少なくとも前記人物の背後に存在する被写体上に設定された設定領域を、前記所定の処理の対象として特定する設定領域から除外する、
   ことを特徴とする請求項３記載の動作判定方法。
5. 前記人物の向きの判定では、取得した前記第１の距離または前記第２の距離の少なくとも一方を、前記撮像装置の撮像方向と水平面との角度に応じて補正した値を用いて、前記人物の向きを判定することを特徴とする請求項２乃至４の何れか１つに記載の動作判定方法。
6. 前記人物の向きの判定では、前記第１の距離と前記第２の距離との比較結果に基づき、前記人物が前記基準位置の方向と当該基準位置とは反対の方向のどちらを向いているかを判定することを特徴とする請求項１乃至５の何れか１つに記載の動作判定方法。
7. 人物の頭部と基準位置との間の第１の距離、および、前記人物の首と前記基準位置との間の第２の距離を取得する取得部と、
   前記第１の距離と前記第２の距離との比較結果に基づいて前記人物の向きを判定する判定部と、
   を有することを特徴とする動作判定装置。
8. コンピュータに、
   人物の頭部と基準位置との間の第１の距離、および、前記人物の首と前記基準位置との間の第２の距離を取得し、
   前記第１の距離と前記第２の距離との比較結果に基づいて前記人物の向きを判定する、
   処理を実行させることを特徴とする動作判定プログラム。

Images