JP7366547B2 - 情報処理装置及び情報処理プログラム - Google Patents

Description

本発明の実施形態は、情報処理装置及びコンピュータを当該情報処理装置として機能させるための情報処理プログラムに関する。

ホームセンタ、家電量販店等のように売場面積が広い店舗では、接客担当の店員が売場に配置されており、客からの問合せ等に応対するようにしている。しかしながら、店員の人数が不足していたり、商品又は商品棚等によって店員の姿が隠れてしまっていたりして、客が店員を直ぐには呼び出せないことがしばしばある。

また最近では、コンビニエンスストア等の業態を中心に無人店舗の導入が検討されている。無人店舗を導入するにあたっては、店舗内で客がトラブルに見舞われた場合、いかに迅速にスタッフがその場に駆けつけて応対できるかが課題の一つとなっている。

特開２０１８－１４７１７６号公報

本発明の実施形態は、このような事情に基づいてなされたものであり、その目的とするところは、客等の第１の物体が店員等の第２の物体の応対を求めていることを認識できる情報処理装置を提供しようとするものである。

一実施形態において、情報処理装置は、認識手段と、判定手段と、決定手段と、報知手段とを備える。認識手段は、配列された商品棚の間の複数の設定位置の中で任意の位置に居る第１の物体が認知する予め設定された形態で、且つ予め定めた高さを超えた動きのジェスチャを認識する。判定手段は、第１の物体が正対している方向を判定する。決定手段は、第１の物体が前記商品棚に向かう方向以外の正対している方向と、第１の物体の前記ジェスチャの認識と、から第２の物体の応対行動を決定する。第１の報知手段は、決定された前記応対行動を前記第２の物体へ報知する。第２の報知手段は、第１の物体が認識された前記任意の位置に居る前記第１の物体に対して前記応対行動が決定したことを報知する。

一実施形態に係る店舗のレイアウト例を示す模式図。 図１に示されるサーバの要部回路構成を示すブロック図。 同サーバが有する主要なデータテーブルのデータ構造を示す模式図。 同サーバのプロセッサが情報処理プログラムに従って実行する処理の要部手順を示す流れ図。

以下、第１の物体が第２の物体の応対を求めていることを認識できる情報処理装置の実施形態について、図面を用いて説明する。
なお、本実施形態では、店舗の売場に居る客が店員の応対を求めることを認識できる情報処理装置について例示する。すなわち第１の物体は客（人物）であり、第２の物体は店員（人物）である。そして、店員の応対を求める客は、予め決められたジェスチャとして３秒間以上挙手することを店舗の規則とする。挙手は、左右どちらの手で行ってもよい。

図１は、本実施形態に係る店舗１０のレイアウト例を示す模式図である。店舗１０は、売場１１とそれ以外のバックヤード１２とからなる。売場１１には、複数の商品棚１３が配置されており、商品棚１３の間及び商品棚１３と壁との間が客の通路となっている。入店した客は、売場１１の通路を回り、商品棚１３から購入したい商品を取ってショッピングカート等に入れる。そして、買物を終えた客は、売場１１の一部に設けられた会計場で会計を行う。

さて、かかる構成の店舗１０では、売場１１に居る客が店員の応対を求めたならば、店員が速やかに客の下へ出向いて応対できるようにするために、監視システム２０と、インターカムのシステム３０と、情報処理装置としてのサーバ４０と、が備えられている。

監視システム２０は、複数台のカメラ２１と、各カメラ２１を制御するカメラコントローラ２２とを含む。カメラ２１は、売場１１の通路全域を撮影領域としてカバーできるように、通路毎に設置されている。カメラ２１は、スピーカ付きの監視カメラである。カメラ２１の台数及び取付場所は、特に制限されるものではない。要は、通路全域を撮影領域とし、通路に居る客の行動を撮影できればよい。本実施形態では、説明の都合上、図１に示すように１つの通路に１台のカメラ２１が設置されているものとする。

カメラコントローラ２２は、有線通信又は無線通信を介して各カメラ２１を接続し、各カメラ２１の撮影動作を制御する。そしてカメラコントローラ２２は、各カメラ２１で撮影された画像信号を受信する。またカメラコントローラ２２は、サーバ４０によって指定された１台のカメラ２１に音声信号を送信する。この音声信号を受信したカメラ２１においては、当該カメラ２１に設けられたスピーカから音声が発せられるようになっている。

インターカムのシステム３０は、親機３１と、複数台の子機３２とを含む。親機３１は、売場１１及びバックヤード１２を含む店舗１０の全域を無線通信領域とし、その無線通信領域内に存在する子機３２と無線通信を可能とする。子機３２は、例えばヘッドセット付のトランシーバであり、接客担当の複数の店員が１台ずつ装着する。接客担当の店員は、子機３２を装着した状態で、売場１１又はバックヤード１２に居る。そして店員は、親機３１からの指令を子機３２で受けると、その指令に応じた行動をとる。

サーバ４０は、客のジェスチャを認識する認識手段、客が正対している方向を判定する判定手段、客が正対している方向と当該客のジェスチャとから店員の応対行動を決定する決定手段、及び、店員の応対行動を報知する報知手段、としての機能を有する。またサーバ４０は、ジェスチャの継続時間を測定する測定手段、ジェスチャが認識された客が居る位置を検出する検出手段、応対行動が決定されたことを客に通知する通知手段、としての機能をも有する。サーバ４０は、これらの機能を実現するために、カメラコントローラ２２と親機３１とを電気的に接続する。またサーバ４０は、後述する情報処理プログラムを実装している。

なお、図１では、カメラコントローラ２２、親機３１及びサーバ４０がいずれもバックヤード１２に設けられているものとして図示されている。しかしこれらの機器は、必ずしもバックヤード１２に設けられていなくてもよい。例えばカメラコントローラ２２は、各カメラ２１との間で信号を送受信できるのであれば、売場１１に設けられていてもよい。親機３１は、店舗１０内に居る店員が装着している子機３２と無線通信できるのであれば、売場１１に設けられていてもよい。サーバ４０は、インターネット等のネットワークを介してコンピュータ資源を提供するクラウドコンピューティングの環境下に置かれていてもよい。

図２は、サーバ４０の要部回路構成を示すブロック図である。サーバ４０は、プロセッサ４１、メインメモリ４２、補助記憶デバイス４３、タイマ４４、音声合成部４５、第１のＩ／Ｏ（Input / Output）インターフェース４６、第２のＩ／Ｏインターフェース４７及びシステム伝送路４８を備える。システム伝送路４８は、アドレスバス、データバス、制御信号線等を含む。サーバ４０は、システム伝送路４８に、プロセッサ４１、メインメモリ４２、補助記憶デバイス４３、タイマ４４、音声合成部４５及び第１，第２のＩ／Ｏインターフェース４６、４７を接続する。サーバ４０では、プロセッサ４１、メインメモリ４２及び補助記憶デバイス４３と、これらを接続するシステム伝送路４８とによってコンピュータが構成される。

プロセッサ４１は、上記コンピュータの中枢部分に相当する。プロセッサ４１は、オペレーティングシステム又はアプリケーションプログラムに従って、サーバ４０としての各種の機能を実現するべく各部を制御する。プロセッサ４１は、例えばＣＰＵ（Central Processing Unit）である。

メインメモリ４２は、上記コンピュータの主記憶部分に相当する。メインメモリ４２は、不揮発性のメモリ領域と揮発性のメモリ領域とを含む。メインメモリ４２は、不揮発性のメモリ領域ではオペレーティングシステム又はアプリケーションプログラムを記憶する。アプリケーションプログラムは、後述する情報処理プログラムを含む。メインメモリ４２は、プロセッサ４１が各部を制御するための処理を実行する上で必要なデータを不揮発性又は揮発性のメモリ領域で記憶する場合もある。メインメモリ４２は、揮発性のメモリ領域を、プロセッサ４１によってデータが適宜書き換えられるワークエリアとして使用する。不揮発性のメモリ領域は、例えばＲＯＭ（Read Only Memory）である。揮発性のメモリ領域は、例えばＲＡＭ（Random Access Memory）である。

補助記憶デバイス４３は、上記コンピュータの補助記憶部分に相当する。例えばＥＥＰＲＯＭ（Electric Erasable Programmable Read-Only Memory）、ＨＤＤ（Hard Disc Drive）、あるいはＳＳＤ（Solid State Drive）等が補助記憶デバイス４３となり得る。補助記憶デバイス４３は、プロセッサ４１が各種の処理を行う上で使用するデータ、あるいはプロセッサ４１での処理によって作成されたデータ等を保存する。補助記憶デバイス４３は、後述する情報処理プログラムを含むアプリケーションプログラムを記憶する場合もある。

タイマ４４は、プロセッサ４１からの指令により計時動作を行う。タイマ４４は、予め設定されたタイムアウト時間を計時すると、計時動作を停止する。

音声合成部４５は、監視システム２０のカメラ２１に付されたスピーカから発せられる第１音声データを合成する機能、及び、インターカムの子機３２から発せられる第２音声データを合成する機能を有する。

第１のＩ／Ｏインターフェース４６は、カメラコントローラ２２との間でデータ信号の送信および受信を行う。第２のＩ／Ｏインターフェース４７は、親機３１との間でデータ信号の送信および受信を行う。

かかる構成のサーバ４０は、メインメモリ４２又は補助記憶デバイス４３において、図３に示すデータ構造のデータテーブル５０を記憶している。図３に示すようにデータテーブル５０は、複数のカメラＩＤとそれぞれ関連付けて通路名を記録したものである。

カメラＩＤは、売場１１に配置された各カメラ２１に対して個々に割り当てられた一意のコードである。各カメラ２１で撮影され、カメラコントローラ２２へと送信される画像データには、当該カメラ２１に設定されたカメラＩＤが付与される。

通路名は、対応するカメラＩＤで特定されるカメラ２１がカバーする撮影領域の通路に対して設定された固有名称である。売場１１の各通路には、予め異なる通路名、例えば「１番通路」、「２番通路」等が設定されている。店員は、通路名を聞くだけで、その通路が売場１１のどの場所であるかを認識することができる。

図４は、サーバ４０のプロセッサ４１が情報処理プログラムに従って実行する主要な処理の手順を示す流れ図である。以下、図４を用いて、サーバ４０が有する機能について具体的に説明する。なお、以下に説明する内容は一例である。同様な機能を得ることが可能であればその手順及び内容は特に限定されるものではない。

プロセッサ４１は、Ａｃｔ１としてカメラ画像の取り込みを行う。すなわちプロセッサ４１は、第１のＩ／Ｏインターフェース４６を介してカメラコントローラ２２から各カメラ２１で撮影されている画像データを時分割で順次取り込む。そしてプロセッサ４１は、画像データを取り込む毎に、Ａｃｔ２としてその画像データを解析して、物体である人物が撮像されているか否かを判定する。人物が撮像されていない場合、プロセッサ４１は、Ａｃｔ２においてＮＯと判定し、Ａｃｔ１へと戻る。プロセッサ４１は、Ａｃｔ１としてカメラコントローラ２２から次の画像データを取り込む。

カメラ２１で人物が撮影されている場合、プロセッサ４１は、Ａｃｔ２においてＹＥＳと判定し、Ａｃｔ３へと進む。プロセッサ４１は、Ａｃｔ３としてそのカメラ２１の画像データから当該人物のジェスチャを認識する。ここでプロセッサ４１は、Ａｃｔ４として予め客の応対要求として設定されたジェスチャ、つまり本実施形態では、客が挙手するジェスチャを認識できたか否かを判定する。例えばプロセッサ４１は、いずれか一方の手の指先が頭部よりも上に挙がっていることを画像データから検出した場合に、応対要求として設定されたジェスチャを認識できたと判定する。応対要求として設定されたジェスチャを認識できない場合、プロセッサ４１は、Ａｃｔ４においてＮＯと判定し、Ａｃｔ１へと戻る。プロセッサ４１は、Ａｃｔ１としてカメラコントローラ２２から次の画像データを取り込む。

応対要求として設定されたジェスチャを認識できた場合には、プロセッサ４１は、Ａｃｔ４においてＹＥＳと判定し、Ａｃｔ５へと進む。プロセッサ４１は、Ａｃｔ５としてその画像データから当該客が商品棚１３と正対しているか否かを判定する。当該客が商品棚１３と正対している場合、プロセッサ４１は、Ａｃｔ５においてＹＥＳと判定し、Ａｃｔ１へと戻る。プロセッサ４１は、Ａｃｔ１としてカメラコントローラ２２から次の画像データを取り込む。

当該客が商品棚１３と正対していない場合には、プロセッサ４１は、Ａｃｔ５においてＮＯと判定し、Ａｃｔ６へと進む。プロセッサ４１は、Ａｃｔ６として応対要求に対する店員の応対行動を決定してよいか否かを判定する。具体的にはプロセッサ４１は、タイマ４４を起動して、応対要求として設定されたジェスチャを行った人物が撮影されているカメラ２１の画像データを継続して取り込む。そしてプロセッサ４１は、タイマ４４がタイムアウトするまでそのジェスチャが継続されているか否かを確認する。本実施形態では、タイマ４４のタイムアウト時間として３秒が設定されている。この３秒間、商品棚１３と正対していない人物が応対要求として設定されたジェスチャを続けた場合、プロセッサ４１は、応対要求に対する店員の応対行動を決定してよいと判定する。応対要求として設定されたジェスチャが３秒間継続されなかった場合、プロセッサ４１は、Ａｃｔ６においてＮＯと判定し、Ａｃｔ１へと戻る。プロセッサ４１は、Ａｃｔ１としてカメラコントローラ２２から次の画像データを取り込む。

タイマ４４がタイムアウトするまでの間、継続して取り込んだ画像データから応対要求として設定されたジェスチャが認識され続けた場合には、プロセッサ４１は、Ａｃｔ６においてＹＥＳと判定し、Ａｃｔ７へと進む。プロセッサ４１は、Ａｃｔ７としてその画像データの送信元であるカメラ２１のカメラＩＤを取得する。カメラＩＤは、画像データに付与されている。

カメラＩＤを取得したプロセッサ４１は、Ａｃｔ８として音声合成部４５に対して第１音声データの合成を指令する。第１音声データは、応対要求を行った人物、つまりは客に対して店舗側から回答する内容の音声である。例えば「少しお待ちください」、「承知しました」、「ただいま店員がうかがいます」等の音声のデータが第１音声データとなる。

音声合成部４５で第１音声データが合成されると、プロセッサ４１は、Ａｃｔ９として、Ａｃｔ７において取得したカメラＩＤで識別されるカメラ２１に対し、その第１音声データを出力するように、カメラコントローラ２２を制御する。この制御により、当該カメラ２１のスピーカから第１音声データの音声が発せられる。

また、カメラＩＤを取得したプロセッサ４１は、Ａｃｔ１０として、そのカメラＩＤでデータテーブル５０を検索して、当該カメラＩＤに対応付けられた通路名を取得する。そしてプロセッサ４１は、Ａｃｔ１１として音声合成部４５に対し、その通路名を含む第２音声データの合成を指令する。第２音声データは、通路名の通路に居る客が応対を要求しているので応対行動をとることを店員に通知する内容の音声である。例えば「１番通路でお客様がお呼びです」、「２番通路に向かってください」等の音声のデータが第２音声データとなる。

音声合成部４５で第２音声データが合成されると、プロセッサ４１は、Ａｃｔ１２として各店員がそれぞれ装着している子機３２にその第２音声データを出力するように、親機３１を制御する。この制御により、各子機３２から一斉に第２音声データの音声が発せられる。

こうして、Ａｃｔ７乃至Ａｃｔ１２の処理を終えると、プロセッサ４１は、Ａｃｔ１へと戻る。以後、プロセッサ４１は、Ａｃｔ１乃至Ａｃｔ１２の処理を繰り返し実行する。

ここにサーバ４０においては、プロセッサ４１が、Ａｃｔ３及びＡｃｔ４の処理を実行することにより、認識手段としての機能が実現される。プロセッサ４１が、Ａｃｔ５の処理を実行することにより、判定手段としての機能が実現される。プロセッサ４１が、タイマ４４と協働してＡｃｔ６の処理を実行することにより、測定手段及び決定手段としての機能が実現される。プロセッサ４１が、Ａｃｔ７及びＡｃｔ１０の処理を実行することにより、検出手段としての機能が実現される。プロセッサ４１が、Ａｃｔ１１及びＡｃｔ１２の処理を実行することにより、報知手段としての機能が実現される。プロセッサ４１が、Ａｃｔ８及びＡｃｔ９の処理を実行することにより、通知手段としての機能が実現される。

このような機能を有するサーバ４０を備えた店舗１０においては、例えば売場１１の一番通路に居る客が商品棚１３に正対しない方向を向いて３秒間挙手すると、各店員がそれぞれ装着している子機３２から、「１番通路でお客様がお呼びです」という音声が一斉に発せられる。したがって店員は、一番通路で客が応対を求めていることを知り得る。このとき、一番通路の近くにいる店員が客の下に駆けつけることにより、客からの問い合わせ又はトラブルに迅速に対処することができる。その結果、店舗１０のサービス品質が向上するので、来客数の増加、ひいては売上げの増加が期待できる。

また、例えば売場１１の一番通路に居る客が商品棚１３に正対しない方向を向いて３秒間挙手すると、この一番通路を監視するカメラ２１のスピーカから、例えば「少しお待ちください」というような音声が発せられる。したがって、応対要求のためのジェスチャを行った客は、その応対要求が店舗１０側に伝わったことを知り得る。その結果、応対要求のためのジェスチャが正しかったかどうか客が不安に感じることはないので、客に好印象を与えることができる。

ところでサーバ４０は、客が商品棚１３に正対して挙手した場合には応対要求ではないと判定している。客は、商品棚１３の上段の棚に陳列されている商品を手に取る際、通常は商品棚１３に正対して片手を挙げる。サーバ４０は、このような客の行為を応対要求から除外するので、精度よく応対要求を認識することができる。

またサーバ４０は、ジェスチャの継続時間を考慮して応対行動をするか否かを決定するようにしている。例えば、客が商品棚１３に正対しない方向を向いて手を挙げるシーンとして、友人等を呼び留めるシーンが考えられる。しかし、このようなシーンでは、客はジェスチャの継続時間を意識しない。したがって、例えば手を３秒以上挙げなければ応対要求ではないと判定されるので、この点からも応対要求の認識精度を高めることができる。

本実施形態では、インターカムを利用して店員に客から応対要求があることを報知している。インターカムのシステム３０は、周知のシステムであり、既に導入している店舗も多い。したがって、このような店舗では、既存のシステムを利用して本機能を導入できるので、コストを抑制できるメリットがある。

以上、第１の物体が第２の物体の応対を求めていることを認識できる情報処理装置の実施形態について説明したが、かかる実施形態はこれに限定されるものではない。
前記実施形態では、サーバ４０は、ジェスチャが認識された客が居る位置を検出する検出手段を備えている。検出手段は、ホームセンタ、家電量販店等のように売場面積が広い店舗で本実施形態を適用する場合には有効である。しかし、無人化されたコンビニエンスストア等のように売場面積が狭い店舗に導入する場合には、必ずしも客が居る位置を検出する必要はない。サーバ４０は、客が商品棚と正対しないで応対要求のためのジェスチャを行っていることを認識できればよい。したがって、サーバ４０から検出手段を除外することができる。

前記実施形態では、報知手段として、インターカムの子機３２を利用して複数の店員に応対行動を一斉報知する場合を例示した。報知手段は、これに限定されるものではない。例えば各店員が所持するスマートフォン等の携帯通信端末に応対行動を報知してもよい。あるいは、売場１１又はバックヤード１２の所定の場所に表示デバイスを設置し、店員に応対行動を知らせる画像を表示させることで、応対行動を報知することも可能である。この場合、表示デバイスとしては、店内広告用として売場１１等に設置されているデジタルサイネージ端末を使用することも可能である。

前記実施形態では、店舗の売場に居る客が店員の応対を求めることを認識できる場合について例示した。実施形態はこれに限定されるものではない。例えば工場において、作業場を離れられない工員が責任者の応対を求める場合にも、本実施形態の情報処理装置を適用することができる。この場合、第１の物体は工員（人物）であり、第２の物体は責任者（人物）である。
物体は、必ずしも人物に限定されるものではない。物体は、例えばロボット、動物等であってもよい。また、例えば第１の物体が人物であり、第２の物体がロボット等の人物以外であってもよい。また、その逆であってもよい。

前記実施形態では、情報処理装置の一態様であるサーバ４０のメインメモリ４２又は補助記憶デバイス４３に情報処理プログラムが予め記憶されている場合を例示した。他の実施形態としては、情報処理プログラムを記憶していないコンピュータに、当該情報処理プログラムをインストールすることによって、当該コンピュータを情報処理装置として機能させることも可能である。この場合、情報処理装置が備える書き込み可能な記憶デバイスに、この情報処理装置とは個別に譲渡された情報処理プログラムがユーザの操作等に応じて書き込まれることとなる。情報処理プログラムの書込みは、リムーバブルな記録媒体に記録して、あるいはネットワークを介した通信により行うことができる。記録媒体は、ＣＤ－ＲＯＭ、メモリカード等のようにプログラムを記憶でき、かつ装置が読み取り可能であれば、その形態は問わない。

この他、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態及びその変形は、発明の範囲に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１０…店舗、１１…売場、１２…バックヤード、１３…商品棚、２０…監視システム、２１…カメラ、２２…カメラコントローラ、３０…インターカムのシステム、３１…親機、３２…子機、４０…サーバ、４１…プロセッサ、４２…メインメモリ、４３…補助記憶デバイス、４４…タイマ、４５…音声合成部、４６，４７…Ｉ／Ｏインターフェース、５０…データテーブル。

Claims (6)

1. 配列された商品棚の間の複数の設定位置の中で任意の位置に居る第１の物体が認知する予め設定された形態で、且つ予め定めた高さを超えた動きのジェスチャを認識する認識手段と、
   前記第１の物体が正対している方向を判定する判定手段と、
   前記第１の物体が前記商品棚に向かう方向以外の正対している方向と、前記第１の物体の前記ジェスチャの認識と、から第２の物体の応対行動を決定する決定手段と、
   決定された前記応対行動を前記第２の物体へ報知する第１の報知手段と、
   前記第１の物体が認識された前記任意の位置に居る前記第１の物体に対して前記応対行動が決定したことを報知する第２の報知手段と、
   を具備する情報処理装置。
2. 前記ジェスチャの継続時間を測定する測定手段、
   をさらに具備し、
   前記決定手段は、前記第１の物体が正対している方向と、前記第１の物体の前記ジェスチャの認識に加えて、前記ジェスチャの継続時間とから第２の物体の応対行動を決定する、請求項１記載の情報処理装置。
3. 前記ジェスチャが認識された前記第１の物体が居る位置を検出する検出手段、
   をさらに具備し、
   前記第１の報知手段は、前記検出手段で検出された前記第１の物体が居る位置の情報を含めて前記第２の物体の応対行動を報知する、請求項１又は２記載の情報処理装置。
4. 前記第１の報知手段及び前記第２の報知手段が通知する前記応対行動を音声データとして生成する音声合成手段、
   をさらに具備する請求項１乃至３のうちいずれか１に記載の情報処理装置。
5. 前記第２の報知手段は、インターカムを利用して複数の前記第２の物体に応対行動を報知する、請求項１乃至４のうちいずれか１に記載の情報処理装置。
6. コンピュータを、
   配列された商品棚の間の複数の設定位置の中で任意の位置に居る第１の物体が認知する予め設定された形態で、且つ予め定めた高さを超えた動きのジェスチャを認識する認識手段、
   前記第１の物体が正対している方向を判定する判定手段、
   前記第１の物体が正対している方向と当該第１の物体のジェスチャとから第２の物体の応対行動を決定する決定手段、及び、
   前記第１の物体が前記商品棚に向かう方向以外の正対している方向と、前記第１の物体の前記ジェスチャの認識とから第２の物体の応対行動を決定する決定手段と、
   決定された前記応対行動を前記第２の物体へ報知する第１の報知手段と、
   前記任意の位置にいる前記第１の物体に対して、前記応対行動を前記第２の物体が実施することを報知する第２の報知手段と、
   として機能させるための情報処理プログラム。