JP5673888B1 - 情報通知プログラム及び情報処理装置 - Google Patents

Abstract

【課題】撮影画像から棚に陳列された商品の状態を監視して、商品整理が必要か否かを判定するための基準状態を抽出する情報通知プログラム及び情報処理装置を提供する。【解決手段】情報処理装置１は、カメラ１３で撮影した画像から店員が棚の商品整理をしたか否か判定する店員行動判定手段１０３と、店員行動判定手段１０３が商品整理をしたと判定した場合、棚の状態を基準状態情報１１２として抽出する基準状態抽出手段１０４と、基準状態情報１１２に基づいて棚の変化を検出する棚変化検出手段１０６と、棚変化検出手段１０６が変化を検出した場合、当該変化を通知する通知手段１０７とを有する。【選択図】図２

Description

本発明は、情報通知プログラム及び情報処理装置に関する。

従来の技術として、商品陳列棚に重量センサを設置して重量計測値の時間変化の大きさから万引き行為を特定する情報処理装置が提案されている（例えば、特許文献１参照）。

特許文献１に開示された情報処理装置は、小売店舗における商品陳列棚に重量センサを設置し、棚上商品の重量をリアルタイムに監視して、商品が棚から取り上げられたことによる重量変化を計測し、予め定めた時間内の重量計測値の変化分の大きさから万引き行為を特定する。

特開２００９−７２３９１号公報

本発明の目的は、撮影画像から棚に陳列された商品の状態を監視して、商品整理が必要か否かを判定するための基準状態を抽出する情報通知プログラム及び情報処理装置を提供することにある。

本発明の一態様は、上記目的を達成するため、以下の情報通知プログラム及び情報処理装置を提供する。

［１］コンピュータを、
カメラで撮影した画像から店員が棚の商品整理をしたか否か判定する店員行動判定手段と、
前記店員行動判定手段が商品整理をしたと判定した場合、商品整理後の画像から前記棚の状態を基準状態として抽出する基準状態抽出手段と、
前記基準状態を抽出した後の前記棚の状態と前記基準状態とに基づいて前記棚の変化を検出する検出手段と、
前記検出手段が変化を検出した場合、当該変化を通知する通知手段として機能させるための情報通知プログラム。
［２］カメラで撮影した画像から客の行動が棚に対するものか否か判定する客行動判定手段として機能させ、
前記検出手段は、前記客行動判定手段が棚に対するものと判定した場合、前記棚の状態を抽出し、前記基準状態と比較して変化を検出する前記［１］に記載の情報通知プログラム。
［３］カメラで撮影した画像から店員が棚の商品整理をしたか否か判定する店員行動判定手段と、
前記店員行動判定手段が商品整理をしたと判定した場合、商品整理後の画像から前記棚の状態を基準状態として抽出する基準状態抽出手段と、
前記基準状態を抽出した後の前記棚の状態と前記基準状態とに基づいて前記棚の変化を検出する検出手段と、
前記検出手段が変化を検出した場合、当該変化を通知する通知手段とを有する情報処理装置。

請求項１又は３に係る発明によれば、撮像画像から棚に陳列された商品の状態を監視して、商品整理が必要か否かを判定するための基準状態を抽出することができる。
請求項２に係る発明によれば、客が棚に対して行動した場合に棚の状態変化を検出することができる。

図１は、実店舗の構成例を示す概略図である。 図２は、実施の形態に係る情報処理装置の構成例を示すブロック図である。 図３は、店員行動情報の構成の一例を示す概略図である。 図４は、基準状態情報の構成の一例を示す概略図である。 図５は、客行動情報の構成の一例を示す概略図である。 図６は、棚状態情報の構成の一例を示す概略図である。 図７（ａ）−（ｃ）は、基準状態抽出動作を説明するための図である。 図８（ａ）−（ｃ）は、棚変化検出動作を説明するための図である。

［実施の形態］
（実店舗の構成）
図１は、実店舗の構成例を示す概略図である。

実店舗２は、例えば、衣服店、雑貨店、食品店、コンビニエンスストア等の小売店であって、棚２０ａ−２０ｄに設置された複数の商品２００、店舗の入口２１、レジ２２等の実店舗２に配置されたもの（以下、「対象物」という。）を有する。なお、商品２００は商品単体であってもよいし、商品カテゴリを示すものであってもよい。また、対象物には上記した例の他、トイレ、コピー機、キャッシュディスペンサー、自動販売機等であってもよい。また、据え置き型であってもよいし、実店舗２内を移動するものであってもよい。

実店舗２において、入口２１から入ってきた客３ａ、３ｂは、棚２０ａ−２０ｄの商品２００を見たり探したりしながら、所望のものがあった場合には手に取ってレジ２２において店員４ｂの操作によって会計を済ます。レジ２２において会計がなされると、ＰＯＳシステム（Ｐｏｉｎｔ ｏｆ ｓａｌｅ ｓｙｓｔｅｍ）等の売り上げデータが保存される。

また、図示する例では、店員４ａは客３ａ、３ｂの接客をし、店員４ｃは棚２０ｃの整理をしている。また、店員４ａ−４ｃは、接客、商品整理、会計の他、見回り、呼び込み等の行動をする。

実店舗２にはカメラ１３が設置されており、後述する情報処理装置１はカメラ１３で撮像された動画から人物として店員４ａ−４ｃ及び客３ａ、３ｂの位置を認識するとともに、当該位置を時系列で記録することで店員４ａ−４ｃ及び客３ａ、３ｂの行動を認識する。また、情報処理装置１は、カメラ１３で撮像された動画から対象物の位置、特に棚２０ａ−２０ｄ及び商品２００の位置を認識し、商品２００の位置が店員４ａ−４ｃによって整理された後に、客３ａ、３ｂによって、商品の位置が変更された場合に、商品の位置が変更された旨を店員４ａ−４ｃに通知するものである。なお、商品２００を例に説明するが、商品２００に限らず、他の対象物の位置が変更された場合に通知するようにしてもよい。

なお、カメラ１３は図中において単体を示しているが、複数台用意してもよく、通常のカメラの他、全方位カメラを用いることもできる。また、カメラ１３は動画を撮像するものであってもよいし、予め定めた間隔で静止画を撮像するものであってもよい。また、カメラ１３の設置位置は予め登録されているものとし、撮影した動画の画像中の座標と実店舗２内の位置座標とが対応付けられているものとする。

なお、ここで「動画」とは、時系列に沿って撮像された複数フレーム（静止画）の集合であり、当該複数フレームは時系列に沿って再生される。

（情報処理装置の構成）
図２は、実施の形態に係る情報処理装置の構成例を示すブロック図である。

情報処理装置１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等から構成され、各部を制御するとともに、各種のプログラムを実行する制御部１０と、フラッシュメモリ等の記憶媒体から構成され情報を記憶する記憶部１１と、ネットワークを介して外部と通信する通信部１２と、動画又は静止画を撮像可能なカメラ１３とを備える。

制御部１０は、後述する情報通知プログラム１１０を実行することで、動画受付手段１００、人物抽出手段１０１、棚抽出手段１０２、店員行動判定手段１０３、基準状態抽出手段１０４、客行動判定手段１０５、棚変化検出手段１０６及び通知手段１０７等として機能する。

動画受付手段１００は、カメラ１３で撮像されて生成された動画情報を受信する。

人物抽出手段１０１は、動画受付手段１００が受信した動画のすべて又は一部のフレームに人物の画像が含まれている場合に当該人物を抽出する。なお、人物抽出手段１０１は、当該人物が複数いる場合はそれぞれを識別するものとし、予め登録された人物（店員等）については、予め登録された画像に基づいて識別するものとしてもよい。予め登録された画像を特徴量に変換しておいてもよい。特徴量は、一例として、画像中からDifference of Gaussians演算により特徴点を抽出し、特徴点からSIFT特徴量を抽出して得られる。また、特徴量の他の例として、抽出された特徴点とその上位スケールの点との勾配情報から生成されるFIT（Fast Invariant Transform）特徴量を用いてもよい。

棚抽出手段１０２は、動画受付手段１００が受信した動画のすべて又は一部のフレームに棚の画像が含まれている場合に当該棚及び棚に置かれた商品を抽出する。

店員行動判定手段１０３は、人物抽出手段１０１が抽出した人物のうち店員を時間経過とともに監視し、当該店員の行動内容が棚の商品整理か否か判定する。判定方法は、一例として、店員が棚から予め定めた範囲内に予め定めた時間以上いた場合に棚の商品整理をしたとして判定する。判定結果は店員行動情報１１１として記憶部１１に格納される。また、カメラ１３で撮像した画像を用いて、店員の行動内容を特定してもよい。店員の行動内容の特定方法としては、予め定め登録した行動内容（店員の商品整理に関する動作等）とのマッチングを行う、店員のオプティカルフロー等の手法を用いることができる。なお、棚にある商品を整理する行動内容と、棚にある商品を乱す行動内容と、を識別することが困難な場合がある。そのため、人物抽出手段１０１が抽出した人物が、客でなく店員である場合は、店員の行動内容が商品整理であると判定してもよい。

基準状態抽出手段１０４は、店員行動判定手段１０３が、店員が商品整理をしたと判定した場合に、店員が商品整理をした後の棚の商品の状態を基準状態として抽出する。基準状態は基準状態情報１１２として記憶部１１に格納される。たとえば、店員が、商品単位で商品を整理したと判定した場合には、それぞれの商品単体の状態を基準状態としてもよい。また、棚単位で商品を整理したと判定した場合には、棚単位で複数の商品の状態を基準状態としてもよい。また、棚を複数のエリアに分割して、当該エリア単位で複数の商品の状態を基準状態としてもよい。

客行動判定手段１０５は、人物抽出手段１０１が抽出した人物のうち客を時間経過とともに監視し、当該客の行動内容が棚の商品に対するものか否か判定する。判定方法は、一例として、客が棚から予め定めた範囲内に予め定めた時間以上いた場合に棚の商品に対する行動として判定する。判定結果は客行動情報１１３として記憶部１１に格納される。また、他の例として、カメラ１３で撮像した画像を用いて、客の行動内容を特定してもよい。客の行動内容の特定方法としては、予め定め登録した行動内容とのマッチングを行う、店員のオプティカルフロー等の手法を用いることができる。なお、客が棚にある商品を整理する場合もある。客行動判定手段１０５は、客が棚にある商品を整理したと判定した場合には、商品を整理した旨の情報を客行動情報１１３として記憶部１１に格納する。
しかしながら、商品を整理する行動内容と、商品を乱す行動内容と、を識別することが困難な場合がある。そのため、人物抽出手段１０１が抽出した人物が客である場合は、客が商品に対して行動をした（又は商品を乱した）旨を客行動情報１１３として記憶部１１に格納する。

棚変化検出手段１０６は、客行動判定手段１０５が、客が商品に対して行動をしたと判定した場合に、客が立ち去った後の棚の商品の状態を棚状態情報１１４として抽出し、基準状態情報１１２と比較することで変化を検出する。

通知手段１０７は、棚変化検出手段１０６が変化を検出した場合、当該変化を検出した棚に商品整理の必要があるとして店員に通知する。通知の手段としては、店員が携帯する端末に情報を通知したり、店内のモニタに情報を通知したり、警告灯を点灯させる方法、店内アナウンスで通知する方法等が挙げられる。

記憶部１１は、制御部１０を上述した各手段１００−１０７として動作させる情報通知プログラム１１０、店員行動情報１１１、基準状態情報１１２、客行動情報１１３及び棚状態情報１１４等を記憶する。

（情報処理装置の動作）
次に、本実施の形態の作用を、（１）基準状態抽出動作、（２）棚変化検出動作、（３）通知動作に分けて説明する。

（１）基準状態抽出動作

まず、カメラ１３は実店舗２内において、棚２０ａ−２０ｄを撮影する。以下においては説明のため、棚２０ａを撮影した場合について説明する。

図７（ａ）−（ｃ）は、基準状態抽出動作を説明するための図である。

図７（ａ）に示すように、棚２０ａは商品２００ａ−２００ｅが陳列されている。

次に、図７（ｂ）に示すように、店員４ｃが棚２０ａに近づいて商品２００ａ−２００ｅの配置を整理し、図７（ｃ）に示す状態とする。

上記した図７（ａ）−（ｃ）に示す棚２０ａの商品２００ａ−２００ｅの陳列の状態はカメラ１３により撮影され、カメラ１３は動画情報を生成する。

次に、情報処理装置１の動画受付手段１００は、カメラ１３で撮像されて生成された動画情報を受信する。

次に、人物抽出手段１０１は、動画受付手段１００が受信した動画のすべて又は一部のフレームに人物の画像が含まれている場合に当該人物を抽出する。ここでは店員４ｃを抽出する。店員の抽出方法としては、予め登録した店員の顔画像とのマッチング、ユニフォームやネームプレートとのマッチングによるものが挙げられる。また、棚毎にＲＦＩＤを設置し、店員が携帯する読取装置でＲＦＩＤの情報を読み取り、読み取った時間と棚を特定してもよいし、上記した方法と併用してもよい。

次に、棚抽出手段１０２は、動画受付手段１００が受信した動画のすべて又は一部のフレームに棚の画像が含まれている場合に当該棚及び棚に置かれた商品を抽出する。ここでは、棚２０ａ及び商品２００ａ−２００ｅを抽出する。

次に、店員行動判定手段１０３は、人物抽出手段１０１が抽出した店員４ｃを時間経過とともに監視し、当該店員４ｃの行動内容が棚の商品整理か否か判定する。判定方法は、一例として、店員４ｃが棚２０ａから予め定めた範囲内に予め定めた時間以上いた場合に棚２０ａの商品整理をしたとして判定する。判定結果は店員行動情報１１１として記憶部１１に格納される。

図３は、店員行動情報１１１の構成の一例を示す概略図である。

店員行動情報１１１は、各行動を識別するナンバーと、商品整理をした店員を識別する店員ＩＤと、商品整理をした棚を識別する棚ＩＤと、商品整理をした時間とを有する。なお、これらの情報の他、棚の前に滞留した時間、棚との距離、商品に触れたか否か、商品をつかんだか否か、これらの情報を総合的に判断して商品整理したか否か等の情報を有してもよい。

次に、基準状態抽出手段１０４は、店員行動判定手段１０３が、店員４ｃが商品整理をしたと判定した場合に、店員４ｃが商品整理をした後の棚２０ａの商品２００ａ−２００ｅの状態を基準状態として抽出する。基準状態は基準状態情報１１２として記憶部１１に格納される。

図４は、基準状態情報１１２の構成の一例を示す概略図である。

基準状態情報１１２は、棚及び棚の位置（段数）を識別する棚ＩＤと、棚に陳列された商品を識別する商品ＩＤとを有する。例えば、棚ＩＤ「１−１ｓｔ」とは棚「１」の上から「１ｓｔ」の段を示し、商品ＩＤ「ＡＡＢ」とは商品「Ａ」、「Ａ」、「Ｂ」が右から順に並べられていることを示しており、図７（ｃ）又は図８（ａ）の棚２０ａの最上段の状態に対応したものである。なお、この例では、店員が棚及び棚の位置（段数）単位で商品整理したと判定している。これに限らず、店員が商品単位で商品整理したと判定した場合には、判定した商品単位で基準情報１１２の作成や更新を行うことができる。また、同様に棚単位で基準情報１１２の作成や更新を行ってもよい。

（２）棚変化検出動作
図８（ａ）−（ｃ）は、棚変化検出動作を説明するための図である。

「（１）基準状態抽出動作」と同様に、カメラ１３は実店舗２内において、棚２０ａを撮影する。

図８（ａ）に示すように、棚２０ａは店員４ｃによって整理された商品２００ａ−２００ｅが陳列されている。

次に、図８（ｂ）に示すように、客３ａが棚２０ａに近づいて商品２００ｃを手に取ったり、他の商品を手に取って棚２０ａに戻したりし、図８（ｃ）に示す状態とする。

上記した図８（ａ）−（ｃ）に示す棚２０ａの商品２００ａ−２００ｅの陳列の状態はカメラ１３により撮影され、カメラ１３は動画情報を生成する。

次に、情報処理装置１の動画受付手段１００は、カメラ１３で撮像されて生成された動画情報を受信する。

次に、人物抽出手段１０１は、動画受付手段１００が受信した動画のすべて又は一部のフレームに人物の画像が含まれている場合に当該人物を抽出する。ここでは客３ａを抽出する。客の抽出方法としては、再来店の場合は前回の来店時に登録した顔画像とのマッチングによるものが挙げられる。

次に、客行動判定手段１０５は、人物抽出手段１０１が抽出した客３ａを時間経過とともに監視し、当該客３ａの行動内容が棚２０ａの商品２００ａ−２００ｅに対するものか否か判定する。判定結果は客行動情報１１３として記憶部１１に格納される。また、棚毎にＲＦＩＤを設置し、客が携帯する読取装置でＲＦＩＤの情報を読み取り、読み取った時間と棚を特定してもよいし、上記した方法と併用してもよい。また、客が携帯する電話等の端末と実店舗２内の通信端末との通信機能を用いてｉＢｅａｃｏｎ（登録商標）等の技術を利用し、客が棚に近づいたことを判定してもよい。

図５は、客行動情報１１３の構成の一例を示す概略図である。

客行動情報１１３は、各行動を識別するナンバーと、棚の商品を手にとったりして行動した客を識別する客ＩＤと、棚を識別する棚ＩＤと、行動をした時間とを有する。なお、これらの情報の他、棚の前に滞留した時間、棚との距離、商品に触れたか否か、商品をつかんだか否か、これらの情報を総合的に判断して、客が商品を乱したか否かの情報を有してもよい。なお、これらの情報を総合的に判断して、客が商品を整理したか否か等の情報を有してもよい。

次に、棚変化検出手段１０６は、客行動判定手段１０５が、客が商品に対して行動をしたと判定した場合に、客が立ち去った後の棚の商品の状態を棚状態情報１１４として抽出し、基準状態情報１１２と比較することで変化を検出する。変化の検出方法としては、基準状態の棚の画像とその後の棚の画像とを比較して、乱れ度算出方法（特許第３９０８０４７号、特許第４４７３６７６号）等を利用してもよい。なお、棚変化検出手段１０６は、客行動判定手段１０５が、客が商品に対して整理行動をしたと判定した場合（又は客が商品を乱さなかった場合）には、棚の状態は変化していないと判断し、棚の商品の状態変化を検出しなくてもよい。

図６は、棚状態情報１１４の構成の一例を示す概略図である。

棚状態情報１１４は、棚及び棚の位置（段数）を識別する棚ＩＤと、棚に陳列された商品を識別する商品ＩＤとを有する。例えば、棚ＩＤ「１−１ｓｔ」とは棚「１」の上から「１ｓｔ」の段を示し、商品ＩＤ「ＡＣＢ」とは商品「Ａ」、「Ｃ」、「Ｂ」が右から順に並べられていることを示しており、図８（ｃ）の棚２０ａの最上段の状態に対応したものである。

上記した例では、棚ＩＤ「１−１ｓｔ」の左から2つ目の商品「Ａ」が「Ｃ」に入れ替わっており、棚ＩＤ「１−２ｎｄ」の左から２つ目の商品「Ｃ」が無くなっており、棚ＩＤ「１−３ｒｄ」の「ＤＤＥ」が「Ｅ−Ｄ」となっている。つまり、９つの位置のうち５つの位置において商品が異なっている又は無くなっている。実際には上記乱れ度算出方法を用いるが説明を簡略化するために、９つの位置のうち３つ以上の位置において商品が異なっている又は無くなっている場合に変化を検出するとすれば、棚変化検出手段１０６は上記した棚２０ａに変化を検出する。

（３）通知動作
通知手段１０７は、棚変化検出手段１０６が変化を検出した場合、当該変化を検出した棚に商品整理の必要があるとして店員に通知する。通知の手段としては、店員が携帯する端末に情報を通知したり、店内のモニタに情報を通知したり、警告灯を点灯させる方法、店内アナウンスで通知する方法等が挙げられる。

（実施の形態の効果）
上記した実施の形態によれば、店員が商品整理した後の棚の状態を基準状態情報１１２として記憶し、客が棚に対して行動した後の棚の状態と基準状態とを比較して変化を検出するようにしたため、棚に陳列された商品の状態を監視して、棚の商品整理が必要となった旨を通知することができる。

［他の実施の形態］
なお、本発明は、上記実施の形態に限定されず、本発明の趣旨を逸脱しない範囲で種々な変形が可能である。

上記した本実施の形態においては、実店舗２における、店員及び客の行動並びに棚の商品整理の要、不要を通知するものであったが、実店舗２に限られるものではなく、構造物内における店員及び客の行動並びに対象物の整理の要、不要を通知するものであってもよい。たとえば、構造物としては、飲食店、ショッピングモール、ビル、空港、駅、病院、学校、レジャー施設などが挙げられる。また、飛行機や船舶等のように移動するものであってもよい。たとえば、飲食店の場合は、客により席やテーブルが移動され、席やテーブルの整理が必要である場合は店員に通知してもよい。

上記実施の形態では制御部１０の各手段１００〜１０７の機能をプログラムで実現したが、各手段の全て又は一部をＡＳＩＣ等のハードウエアによって実現してもよい。また、上記実施の形態で用いたプログラムをＣＤ−ＲＯＭ等の記録媒体に記憶して提供することもできる。また、上記実施の形態で説明した上記ステップの入れ替え、削除、追加等は本発明の要旨を変更しない範囲内で可能である。

１ 情報処理装置
２ 実店舗
３ａ、３ｂ 客
４ａ−４ｃ 店員
１０ 制御部
１１ 記憶部
１２ 通信部
１３ カメラ
２０ａ−２０ｄ 棚
２１ 入口
２２ レジ
１００ 動画受付手段
１０１ 人物抽出手段
１０２ 棚抽出手段
１０３ 店員行動判定手段
１０４ 基準状態抽出手段
１０５ 客行動判定手段
１０６ 棚変化検出手段
１０７ 通知手段
１１０ 情報通知プログラム
１１１ 店員行動情報
１１２ 基準状態情報
１１３ 客行動情報
１１４ 棚状態情報
２００ａ−２００ｅ 商品

Claims (3)

1. コンピュータを、
   カメラで撮影した画像から店員が棚の商品整理をしたか否か判定する店員行動判定手段と、
   前記店員行動判定手段が商品整理をしたと判定した場合、商品整理後の画像から前記棚の状態を基準状態として抽出する基準状態抽出手段と、
   前記基準状態を抽出した後の前記棚の状態と前記基準状態とに基づいて前記棚の変化を検出する検出手段と、
   前記検出手段が変化を検出した場合、当該変化を通知する通知手段として機能させるための情報通知プログラム。
2. カメラで撮影した画像から客の行動が棚に対するものか否か判定する客行動判定手段として機能させ、
   前記検出手段は、前記客行動判定手段が棚に対するものと判定した場合、前記棚の状態を抽出し、前記基準状態と比較して変化を検出する請求項１に記載の情報通知プログラム。
3. カメラで撮影した画像から店員が棚の商品整理をしたか否か判定する店員行動判定手段と、
   前記店員行動判定手段が商品整理をしたと判定した場合、商品整理後の画像から前記棚の状態を基準状態として抽出する基準状態抽出手段と、
   前記基準状態を抽出した後の前記棚の状態と前記基準状態とに基づいて前記棚の変化を検出する検出手段と、
   前記検出手段が変化を検出した場合、当該変化を通知する通知手段とを有する情報処理装置。
   

Images