JP6900766B2

JP6900766B2 - 接客要否判定装置、接客要否判定方法、及びプログラム

Info

Publication number: JP6900766B2
Application number: JP2017089272A
Authority: JP
Inventors: 靖寿松葉
Original assignee: Dai Nippon Printing Co Ltd
Current assignee: Dai Nippon Printing Co Ltd
Priority date: 2017-04-28
Filing date: 2017-04-28
Publication date: 2021-07-07
Anticipated expiration: 2037-04-28
Also published as: JP2018190012A

Description

本発明は、接客要否判定装置、接客要否判定方法、及びプログラムに関し、詳細には、情報端末操作者に対する接客対応を支援するための技術に関する。

金融機関等において、ＡＴＭ（自動取引装置）やタブレット等の情報端末が利用されている。顧客はこれらの情報端末を自分で操作して所望の取引きを行うが、操作に不慣れな顧客が操作に戸惑いを感じている場合は、スタッフが顧客の元に向かい対応している。このような接客対応を実施するスタッフは、フロアにいる複数の顧客の様子を目視にて確認し、操作に戸惑っている顧客がいるか否か、常に気を配っている。

一方、例えば特許文献１には、ＡＴＭ操作において取引入力操作段階毎の入力状況を周囲の映像により監視し、顧客の動作が不慣れだと判断した場合に、誘導画面表示を行う自動取引装置が提案されている。動作の判断については、例えば１秒毎に動画データを取り込み、予めプログラムされた動作データとの比較を行い、「顧客は外的要因で一時的に操作ができない状態であるか否か」を検出すると記載されている。

特開平９−１９８５４５号公報

しかしながら、上述の特許文献１の自動取引装置に開示された動作の認識の方法では画像全体の画素毎に予め用意されたプログラムとの比較がなされるため処理が重く、必要とされるリソースが大きくなってしまう。

本発明は、このような課題に鑑みてなされたもので、情報端末の操作者の戸惑いを検知し、円滑な接客対応を支援することが可能な接客要否判定装置、接客要否判定方法、及びプログラムを提供することを目的とする。

前述した課題を解決するため第１の発明は、情報端末に対する操作情報を取得する操作情報取得手段と、前記情報端末の操作者を撮影した画像を取得する画像取得手段と、前記画像から身体の骨格を推定し、予め記憶されている骨格の姿勢モデルとの類似度に基づいて操作が困難であるか否かを判定する骨格判定手段と、前記操作情報及び前記画像に基づいて接客対応が必要か否かを判定する判定手段と、を備えることを特徴とする接客要否判定装置である。

第１の発明によれば、接客要否判定装置は、情報端末に対する操作情報と、情報端末の操作者を撮影した画像から推定される操作者の姿勢とに基づいて操作が困難であるか否かを判定し、接客対応が必要か否かを判定する。これにより情報端末の操作者の戸惑いを検知し、円滑な接客対応を支援することが可能となる。また、情報端末の操作者の戸惑いを検知するために骨格判定を用いることで、従来の動作認識と比較して処理負荷を低減できる。

第１の発明において、前記判定手段による判定の結果、接客対応が必要な場合にその旨を通知する通知手段を備えることが望ましい。スタッフは、通知を受けることにより、情報端末の操作に戸惑っている操作者がいることを素早く知ることができるため、より円滑に接客対応を行うことが可能となる。また、判定手段は、前記操作情報に基づいて操作が困難であるか否かを判定する第１の処理、前記画像に基づいて顔及び身体の動きから操作が困難であるか否かを判定する第２の処理、及び前記画像に基づいて操作者の姿勢を推定し操作が困難であるか否かを判定する第３の処理を実行し、前記第１乃至第３の処理の結果を統合して接客対応が必要か否かを判定することが望ましい。操作情報と、操作者の顔・体の動き、及び姿勢によって接客対応が必要か否かを判定するため、的確な判定結果を得ることが可能となる。

更に、判定手段は、前記第１乃至第３の処理の結果に基づいて接客対応の優先度を決定することが望ましい。また、通知手段は、優先度に従った通知を行うことが望ましい。これによりスタッフは接客対応の優先度を知ることができ、より緊急性の高い操作者の対応を先に行う等、適切な行動を行えるようになる。

上述の第１の処理は、情報端末の操作部に対する入力ミス及び画面戻り操作の回数のうち少なくともいずれか一方に基づいて操作が困難であるか否かを判定するものとすることが望ましい。また、第２の処理は、画像に含まれる操作者の顔器官毎または身体部位毎の動きを追跡し、動きの大きさが所定の閾値よりも大きくなった場合に操作が困難であると判定することが望ましい。これにより、操作困難の判定の精度を向上させることが可能となる。

第２の発明は、コンピュータが、情報端末に対する操作情報を取得するステップと、前記情報端末の操作者を撮影した画像を取得するステップと、前記画像から身体の骨格を推定し、予め記憶されている骨格の姿勢モデルとの類似度に基づいて操作が困難であるか否かを判定するステップと、前記操作情報及び前記画像に基づいて接客対応が必要か否かを判定するステップと、を含むことを特徴とする接客要否判定方法である。

第２の発明によれば、情報端末に対する操作情報と、情報端末の操作者を撮影した画像から推定される操作者の姿勢とに基づいて操作が困難であるか否かを判定し、接客対応が必要か否かを判定する。これにより情報端末の操作者の戸惑いを検知し、円滑な接客対応を支援することが可能となる。また、情報端末の操作者の戸惑いを検知するために骨格判定を用いることで、従来の動作認識と比較して処理負荷を低減できる。

第３の発明は、コンピュータを、情報端末に対する操作情報を取得する操作情報取得手段と、前記情報端末の操作者を撮影した画像を取得する画像取得手段と、前記画像から身体の骨格を推定し、予め記憶されている骨格の姿勢モデルとの類似度に基づいて操作が困難であるか否かを判定する骨格判定手段と、前記操作情報及び前記画像に基づいて接客対応が必要か否かを判定する判定手段、として機能させるためのプログラムである。

第３の発明により、コンピュータを第１の発明の接客要否判定装置として機能させることが可能となる。

本発明により、情報端末の操作者の戸惑いを検知し、円滑な接客対応を支援することが可能な接客要否判定装置、接客要否判定方法、及びプログラムを提供できる。

接客要否判定装置１を備える情報端末１０の外観図接客要否判定装置１の機能構成図接客要否判定装置１として機能するコンピュータの内部構成図接客要否判定装置１が実行する処理の全体の流れを示す図顔・体トラッキング処理における顔器官３２の抽出について説明する図姿勢推定処理について説明する図姿勢モデル６ａ、６ｂ、…と画像から推定された骨格３４との形状マッチング処理の概念図接客要否判定装置１の全体構成の別の例を示す図

以下、図面に基づいて本発明の好適な実施形態について詳細に説明する。

図１は、本発明に係る接客要否判定装置１を備える情報端末１０の一例としてＡＴＭ１０ａの外観を示す図であり、図２は接客要否判定装置１の機能構成を示すブロック図、図３は、接客要否判定装置１として機能するコンピュータの内部構成の例を示す図である。

図１に示すように、ＡＴＭ１０ａは、操作部２５、及びカメラ２０の他、自動取引装置としての各種処理部として、通帳の挿入・排出及び記帳等の処理を行う通帳処理部２１、カードの挿入・排出及びカード情報の読み取り等の処理を行うカード処理部２２、紙幣の出し入れ等を行う紙幣処理部２３、硬貨の出入れを行う硬貨処理部２４等を備える。また、ＡＴＭ１０ａの筐体内部に、本発明に係る接客要否判定装置１が備えられる。

カメラ２０は、操作者７を撮影するビデオカメラであり、操作者７の顔や体を撮影できるよう操作者７に対面する位置に取り付けられる。カメラ２０により撮影された映像（画像）は、接客要否判定装置１に送出される。カメラ２０による撮影の開始や停止は、接客要否判定装置１の制御部１１からの指示に従って行われる。

操作部２５は、タッチパネルや各種操作ボタン等を備え、操作者７による操作に応じた信号を接客要否判定装置１に入力する。

接客要否判定装置１は、図２に示すように、操作情報取得部２、画像取得部３、判定部４、通知部５、及び記憶部１２を備える。

操作情報取得部２は、情報端末１０の操作部２５に対する操作情報を取得し、判定部４に入力する。操作情報とは、操作部２５のタッチパネルへの指示操作ボタンの押下操作、操作タイミング等に関する情報である。

画像取得部３は、カメラ２０によって撮影された画像（映像）を取得し、判定部４に入力する。

判定部４は、操作情報取得部２により取得した操作情報及び画像取得部３により取得した画像（映像）に基づいて接客対応が必要か否かを判定する。判定部４は、操作困難判定部４０及び接客要否判定部４４を備える。

操作困難判定部４０は、操作情報及び画像に基づいて、操作者７が操作が困難であると感じているか否か（戸惑っているか否か）を判定する。具体的には、操作困難判定部４０は、操作イベント判定部（第１の処理部）４１、顔・体トラッキング部（第２の処理部）４２、姿勢推定部（第３の処理部）４３を備え、これらの各処理部４１、４２、４３による処理の結果に基づき、操作が困難であるか否かを判定する。具体的な処理内容については後述する。

接客要否判定部４４は、操作イベント判定部（第１の処理部）４１、顔・体トラッキング部（第２の処理部）４２、及び姿勢推定部（第３の処理部）４３の結果を統合して、接客対応が必要であるか否かを判定する。判定部４（操作困難判定部４０及び接客要否判定部４４）による判定処理の詳細については後述する。

通知部５は、判定部４による判定の結果、接客対応が必要な場合にその旨を通知する。通知は、例えば、スタッフが所持している携帯端末（不図示）のアラーム音を鳴動させたり、接客対応が必要な情報端末１０の場所の情報を送信し、携帯端末の表示部に表示させたりすることにより行う。なお、通知の方法はこれらに限定されず、どのような方法でスタッフへの通知を行ってもよいものとする。

記憶部１２は、予め作成された姿勢モデルデータ６を記憶する。姿勢モデルデータ６とは、操作者が操作困難を感じている場合（操作に戸惑っている場合）にとられる代表的な姿勢を定義したモデルであり、本実施の形態では、姿勢モデルデータを骨格データで表したものを用いるものとする。姿勢は、例えば、腕を組む姿勢、首を傾ける姿勢等、操作に戸惑いを感じているときに見られる典型的な姿勢である。それらの複数パターンの姿勢をそれぞれ骨格データで表したデータを姿勢モデル６ａ、６ｂ、…と呼ぶ。姿勢モデル６ａ、６ｂ、…を総称して姿勢モデルデータ６と呼ぶものとする。

ネットワーク８は、ＬＡＮ（Local Area Network）や、より広域に通信接続されたＷＡＮ（Wide Area Network）、またはインターネット等の公衆の通信回線、基地局等を含む。ネットワーク８は有線、無線を問わない。接客要否判定装置１はネットワーク８を介してサーバ（不図示）にアクセスし、各種のプログラムやデータを送受信可能である。

図３は、接客要否判定装置１として機能させるコンピュータの構成例を示す図である。図３に示すように、接客要否判定装置１は、制御部１１、記憶部１２、メディア入出力部１３、周辺機器Ｉ／Ｆ部１４、入力部１５、表示部１６、通信制御部１７等がバス１８を介して接続されて構成される。周辺機器Ｉ／Ｆ部１４には、カメラ２０やＡＴＭ１０ａの操作部２５等が接続される。コンピュータを接客要否判定装置１として機能させる場合、コンピュータの制御部１１は、図４に示す処理を記述したプログラムを実行することにより実現する。

制御部１１は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等により構成される。ＣＰＵは、記憶部１２、ＲＯＭ、記録媒体等に格納されるプログラムをＲＡＭ上のワークメモリ領域に呼び出して実行し、バス１８を介して接続された各部を駆動制御する。ＲＯＭは、コンピュータのブートプログラムやＢＩＯＳ等のプログラム、データ等を恒久的に保持する。ＲＡＭは、ロードしたプログラムやデータを一時的に保持するとともに、制御部１１が各種処理を行うために使用するワークエリアを備える。制御部１１は、上記プログラムを読み出して実行することにより、接客要否判定装置１の各手段として機能する。

記憶部１２は、例えば、ハードディスクドライブ等の記憶装置である。記憶部１２には制御部１１が実行するプログラムや、プログラム実行に必要なデータ、オペレーティングシステム等が格納されている。これらのプログラムコードは、制御部１１により必要に応じて読み出されてＲＡＭに移され、ＣＰＵに読み出されて実行される。

メディア入出力部１３は、例えば、ＣＤ、ＤＶＤ、ＭＯ等の各種記録媒体（メディア）のドライブ装置であり、メディアに対してデータの入出力（書込み／読み出し）を行う。

周辺機器Ｉ／Ｆ（インタフェース）部１４は、周辺機器を接続させるためのポートであり、周辺機器Ｉ／Ｆ部１４を介して周辺機器とのデータの送受信を行う。周辺機器Ｉ／Ｆ部１４は、ＵＳＢ等で構成されており、通常複数の周辺機器Ｉ／Ｆを有する。周辺機器との接続形態は有線、無線を問わない。

入力部１５は、例えば、タッチパネル、キーボード、マウス等のポインティング・デバイス、テンキー等の入力装置であり、入力されたデータを制御部１１へ出力する。
表示部１６は、例えば液晶パネル、ＣＲＴモニタ等のディスプレイ装置と、ディスプレイ装置と連携して表示処理を実行するための論理回路（ビデオアダプタ等）で構成され、制御部１１の制御により入力された表示情報をディスプレイ装置上に表示させる。なお、入力部１５及び表示部１６は、表示画面にタッチパネル等の入力装置を一体的に設けたタッチパネルディスプレイ（操作部２５）としてもよい。

通信制御部１７は、通信制御装置、通信ポート等を有し、ネットワーク８等との通信を制御する。
バス１８は、各装置間の制御信号、データ信号等の授受を媒介する経路である。

次に、図４を参照して、接客要否判定装置１が実行する処理全体の流れについて説明する。接客要否判定装置１の制御部１１は記憶部１２から図４に示す処理に関するプログラム及びデータを読み出し、このプログラム及びデータに基づいて処理を実行する。

接客要否判定装置１の制御部１１（操作情報取得部２）は、ＡＴＭ１０ａの操作部２５に対して操作が行われると、実行された操作情報を取得する（ステップＳ１０１）。操作情報とは、操作の内容（操作イベント）と操作時刻とを紐づけた情報である。例えば、操作部２５のどのボタンを操作したか、或いは操作の指示、中断、取り消しといった情報が操作情報取得部２により収集され、判定部４に通知される。

また、制御部１１（画像取得部３）は、操作者７を検知すると、カメラ２０に対し撮影の開始指示を送信する。制御部１１は、カメラ２０により撮影された画像（映像）を取得する（ステップＳ１０２）。カメラ２０は、操作者７の顔及び体を含む範囲を撮影する。画像（映像）は、順次判定部４に送られ、操作困難の判定に使用される。制御部１１は、ＡＴＭ１０ａの前から操作者が退出するとカメラ２０の撮影を停止する。

制御部１１（判定部４）は、ステップＳ１０１において取得した操作情報、及びステップＳ１０２において取得した画像（映像）に基づいて、操作者７が接客対応を必要としているか否かを判定する。具体的には、制御部１１は、操作情報に基づく操作イベント判定処理（ステップＳ１０３）、画像情報に基づく顔器官判定及び顔・体トラッキング処理（ステップＳ１０５〜ステップＳ１０６）、画像情報に基づく姿勢推定及びボーンモデルフィッティング処理（ステップＳ１０８〜ステップＳ１０９）を実行し、各処理により操作者７が操作に戸惑っているか否かを判定する（ステップＳ１０４、ステップＳ１０７、ステップＳ１１０）。

ステップＳ１０３の操作イベント判定処理において、制御部１１は、所定の時間長毎に操作部２５に対する入力ミス及び画面戻り操作の回数の少なくともいずれか一方または両方を計数する。入力ミスとは、例えば操作の取り消しや訂正ボタンの操作、或いは不正な操作等である。また、画面戻り回数とは、前の画面やメニュー画面へ戻る操作の回数である。ステップＳ１０４の操作困難判定処理では、ステップＳ１０３で計数した入力ミスや画面戻り操作の回数が閾値を超えた場合に、「戸惑い有り」と判定する。なお、入力ミスや画面戻り操作の回数に限らず、例えば操作が所定時間中断している場合や操作の速度等から操作困難（戸惑いがあるか否か）を判定するようにしてもよい。

ステップＳ１０５〜ステップＳ１０６の顔器官判定及び顔・体トラッキング処理において、制御部１１は、ステップＳ１０２で取得した画像に含まれる操作者７の顔器官３２毎または身体部位毎の動きを追跡（トラッキング）する。ステップＳ１０７の操作困難判定処理では、顔器官３２または身体部位の動きの大きさが所定の閾値よりも大きくなった場合に操作が困難であると判定する。

図５は、画像３１から顔器官３２を抽出する処理について説明する図である。制御部１１は、カメラ２０から取得した画像（映像）の各フレーム３１から顔を認識し、更に顔器官３２を抽出する。顔器官３２とは、右眉３２ａ、左眉３２ｂ、右目３２ｃ、左目３２ｄ、鼻３２ｅ、口３２ｆ、顎３２ｇ等である。図５（ａ）に示すように、顔器官３２ａ〜３２ｇがそれぞれ抽出される。制御部１１は、抽出した各顔器官３２ａ〜３２ｇに複数の追跡点を設定し、フレーム間での追跡点の移動量から各顔器官３２ａ〜３２ｇの動きを追跡（トラッキング)する。追跡点の動き量が所定の閾値以上であれば、戸惑っていると判定する。動き量の閾値は、顔器官３２ａ〜３２ｇ毎に適切な値を予め設定しておくものとする。顔器官を推定する処理は、例えば非特許文献１に示すような公知のアルゴリズムを用いればよい（非特許文献１：Vahid Kazemi、他１名、"One Millisecond Face Alignment with an Ensemble of Regression
Trees"、[online]、Royal Institute of Technology、Computer Vision and Active Perception Lab 、[平成２９年３月３０日検索]、インターネット、<URL:http://www.cv-foundation.org/openaccess/content_cvpr_2014/papers/Kazemi_One_Millisecond_Face_2014_CVPR_paper.pdf>）

また、ステップＳ１０６の顔・体トラッキング処理では、身体の各部位の動きについても追跡し、操作困難の有無を判定する。身体の各部位の動きの認識は、例えば、ステップＳ１０８の姿勢推定処理における骨格（ボーン）推定の結果を用いる。推定した骨格３４から、例えば腕等の特定の身体部位の動きをトラッキングする。

図６は、姿勢推定処理における骨格推定について説明する図である。図６に示すように、制御部１１は、映像の各フレームの画像３３から人物の骨格３４を推定する。以下の説明では、画像３３から推定した骨格情報を推定骨格３４と呼ぶ。推定骨格３４は、図６（ｂ）の例では、腕の関節や顔の左右両端部、肩等、解剖学的な情報から決定される特徴点３５ａ、３５ｂ、３５ｃ、３５ｄ、３５ｅ、３５ｆ、３５ｇ、３５ｈと、これらの特徴点３５ａ〜３５ｈの配置から決定される線３４ａ、３４ｂ、３４ｃ、３４ｄ、３４ｅ、３４ｆ、３４ｇ、３４ｈ、３４ｉ、３４ｊとからなる。制御部１１は、映像の各フレームの画像３３から推定した骨格３４の動きを追跡（トラッキング）する。骨格推定及びトラッキングのアルゴリズムは、例えば非特許文献２に示すような公知の技術を用いればよい（非特許文献２：Zhe Cao、他３名、“Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields”、[online]、24 Nov 2016、The Robotics
Institute, Carnegie Mellon University, [平成２９年３月３０日検索]、インターネット<URL:https://arxiv.org/pdf/1611.08050v1.pdf、https://github.com/ZheC/Realtime_Multi-Person_Pose_Estimation>）

制御部１１は、推定骨格３４の動きパターンが予め定義されている動きパターンと一致または類似しているか否かを判定し、一致または類似していれば、操作者７が戸惑っている（操作困難である）と判定する。

なお、ステップＳ１０５〜ステップＳ１０６の処理において、カメラ２０の設置位置により顔を正面でとらえることができない場合には、その画像については顔器官の判定、トラッキングを行わず、操作困難の判定対象から除外するものとする。これにより、判定ミスを減らすことができる。

また、ステップＳ１０８〜ステップＳ１１０の処理では、制御部１１は、カメラ２０から取得した画像に基づいて姿勢推定及びボーンモデルフィッティング処理を実行し、操作者７の姿勢（推定骨格３４）と姿勢モデルデータ６とが一致（または類似）しているか否かを判定する。これにより、操作者７が操作に戸惑っているか否かを判定する。姿勢モデルデータ６（６ａ、６ｂ、…）は、図７に示すように、戸惑いを表す姿勢について予め複数パターン作成され、記憶部１２に記憶されているものとする。なお、ボーンモデルフィッティング処理では、制御部１１は、回転、拡大、縮小等を行って、画像３３から推定した骨格（推定骨格３４）と各姿勢モデル６ａ、６ｂ、…との位置合わせを行う。そして、各特徴点３５ａ〜３５ｈについてそれぞれ、姿勢モデル６ａ、６ｂ、…上の対応する点との距離を求める。各点について求めた距離の和が事前に設定した閾値よりも小さければ類似していると判定し、戸惑っている（操作困難）と判定する。

図４の説明に戻る。制御部１１（接客要否判定部４４）は、ステップＳ１０４、ステップＳ１０７、ステップＳ１１０で得た結果を統合して、接客対応が必要であるか否かを判定する（ステップＳ１１１）。具体的には、ステップＳ１０４の操作情報に基づく判定結果が「操作困難（戸惑い）あり」で、ステップＳ１０７またはステップＳ１１０のカメラ画像に基づく判定結果のいずれか一方が「操作困難（戸惑い）なし」である場合は、「接客の緊急性：低」と判定する。また、ステップＳ１０４の操作情報に基づく判定結果が「操作困難（戸惑い）なし」で、ステップＳ１０７またはステップＳ１１０のカメラ画像に基づく判定結果のいずれか一方が「操作困難（戸惑い）あり」である場合は、「接客の緊急性：中」と判定する。また、ステップＳ１０４の操作情報に基づく判定結果が「操作困難（戸惑い）あり」で、ステップＳ１０７またはステップＳ１１０のカメラ画像に基づく判定結果のいずれか一方が「操作困難（戸惑い）あり」である場合は、「接客の緊急性：高」と判定する。このように、接客の要否とともに、緊急性のレベルも判定すれば、スタッフは接客対応の優先度を把握しやすくなる。

制御部１１は、ステップＳ１１１における判定結果を通知する（ステップＳ１１２）。通知は、例えば、接客要否判定装置１の通信制御部１７を介してスタッフが所持している携帯端末（不図示）のアラーム音を鳴動させたり、接客対応が必要な情報端末１０の場所の情報を送信し、表示部に表示させたりすることで行う。或いは、ネットワーク８を介して接続されている管理センタ（サーバ）に対して、接客対応が必要な情報端末１０の設置場所等の情報を通知し、管理センタ（サーバ）からスタッフへ連絡を行ってもよい。また、制御部１１は、ステップＳ１１１で判定した緊急性のレベルに応じた優先度とともに通知を行うことが望ましい。緊急性のレベルに応じた優先度を通知することで、スタッフは接客対応の要否や優先度に従って適切な接客対応を行うことが可能となる。

以上説明したように、本実施の形態に係る接客要否判定装置１は、情報端末１０に対する操作情報を取得するとともに、情報端末１０の操作者７を撮影した画像を取得し、操作情報及び画像に基づいて接客対応が必要か否かを判定し、判定の結果、接客対応が必要な場合にその旨を通知する。これにより、スタッフ等は、情報端末１０の操作者７の戸惑い（操作が困難か否か）を早く的確に気付くことができ、適切な接客対応を円滑に行うことが可能となる。

なお、上述の実施の形態では、本発明に係る接客要否判定装置１が、操作対象である情報端末１０（ＡＴＭ１０ａ）内に設けられる装置構成について説明したが、本発明はこれに限定されるものではない。例えば、図８に示すように、接客要否判定装置１は、情報端末１０及びカメラ２０と別体に設け、ネットワーク８を介して通信接続するものとしてもよい。図８の例では、操作対象である情報端末１０はタブレット１０ｂとしている。また、カメラ２０は、タブレット１０ｂを操作者７が操作している様子を撮影可能な位置に設置される。または、カメラ２０はタブレット１０ｂのタッチパネルディスプレイ側に設けられたカメラ（インカメラ）を用いてもよい。

図８に示す装置構成の場合、接客要否判定装置１の操作情報取得部２及び画像取得部３は、タブレット１０ｂの操作情報やカメラ２０の映像をネットワーク８を介して取得する。接客要否判定装置１の判定部４、通知部５、及び記憶部１２については、図１の場合と同様である。このように、本発明に係る接客要否判定装置１は、情報端末１０と一体または別体に設けることができるため、様々な利用形態に適用可能である。

以上、添付図面を参照して、本発明に係る接客要否判定装置等の好適な実施形態について説明したが、本発明は係る例に限定されない。当業者であれば、本願で開示した技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。

１………………接客要否判定装置
２………………操作情報取得部
３………………画像取得部
４………………判定部
５………………通知部
６………………姿勢モデルデータ
７………………操作者
８………………ネットワーク
１０……………情報端末
１０ａ…………ＡＴＭ
１０ｂ…………タブレット
１１……………制御部
１２……………記憶部
１３……………メディア入出力部
１４……………周辺機器Ｉ／Ｆ部
１５……………入力部
１６……………表示部
１７……………通信制御部
１８……………バス
２０……………カメラ
２５……………操作部
３１、３３……画像
３２……………顔器官
３４……………推定骨格
３５……………特徴点
４０……………操作困難判定部
４１……………操作イベント判定部（第１の処理部）
４２……………顔・体トラッキング部（第２の処理部）
４３……………姿勢推定部（第３の処理部）
４４……………接客要否判定部

Claims

情報端末に対する操作情報を取得する操作情報取得手段と、
前記情報端末の操作者を撮影した画像を取得する画像取得手段と、
前記画像から身体の骨格を推定し、予め記憶されている骨格の姿勢モデルとの類似度に基づいて操作が困難であるか否かを判定する骨格判定手段と、
前記操作情報及び前記画像に基づいて接客対応が必要か否かを判定する判定手段と、
を備えることを特徴とする接客要否判定装置。
前記判定手段による判定の結果、接客対応が必要な場合にその旨を通知する通知手段と、
を備えることを特徴とする請求項１に記載の接客要否判定装置。
前記判定手段は、前記操作情報に基づいて操作が困難であるか否かを判定する第１の処理、前記画像に基づいて顔及び身体の動きから操作が困難であるか否かを判定する第２の処理、及び前記画像に基づいて操作者の姿勢を推定し操作が困難であるか否かを判定する第３の処理を実行し、前記第１乃至第３の処理の結果を統合して接客対応が必要か否かを判定することを特徴とする請求項１または請求項２に記載の接客要否判定装置。
前記判定手段は、前記第１乃至第３の処理の結果に基づいて接客対応の優先度を決定することを特徴とする請求項３に記載の接客要否判定装置。
前記通知手段は、前記優先度に従った通知を行うことを特徴とする、請求項３が請求項２に従属する場合における請求項４に記載の接客要否判定装置。
前記第１の処理は、前記情報端末の操作部に対する入力ミス及び画面戻り操作の回数のうち少なくともいずれか一方に基づいて操作が困難であるか否かを判定することを特徴とする請求項３に記載の接客要否判定装置。
前記第２の処理は、前記画像に含まれる操作者の顔器官毎または身体部位毎の動きを追跡し、前記動きの大きさが所定の閾値よりも大きくなった場合に操作が困難であると判定することを特徴とする請求項３に記載の接客要否判定装置。
コンピュータが、
情報端末に対する操作情報を取得するステップと、
前記情報端末の操作者を撮影した画像を取得するステップと、
前記画像から身体の骨格を推定し、予め記憶されている骨格の姿勢モデルとの類似度に基づいて操作が困難であるか否かを判定するステップと、
前記操作情報及び前記画像に基づいて接客対応が必要か否かを判定するステップと、
を含むことを特徴とする接客要否判定方法。
コンピュータを、
情報端末に対する操作情報を取得する操作情報取得手段と、
前記情報端末の操作者を撮影した画像を取得する画像取得手段と、
前記画像から身体の骨格を推定し、予め記憶されている骨格の姿勢モデルとの類似度に基づいて操作が困難であるか否かを判定する骨格判定手段と、
前記操作情報及び前記画像に基づいて接客対応が必要か否かを判定する判定手段、
として機能させるためのプログラム。