WO2017038035A1

WO2017038035A1 - 行動履歴情報生成装置、システム、及び方法

Info

Publication number: WO2017038035A1
Application number: PCT/JP2016/003795
Authority: WO
Inventors: 新貝　安浩
Original assignee: 富士フイルム株式会社
Priority date: 2015-08-31
Filing date: 2016-08-22
Publication date: 2017-03-09

Abstract

【課題】行動履歴情報生成装置、システム、及び方法において、個人が特定することができない態様で撮影を実施しつつ、人物を識別して行動履歴情報を生成する。【解決手段】カメラ（ＣＡ）は、監視対象領域を撮像する。人物抽出手段（１２）は、カメラ（ＣＡ）により撮像された赤外線画像から人物を抽出する。温度計測手段（１３）は、赤外線画像に基づいて、抽出された人物の温度を計測する。人物識別手段（１６）は、計測された温度に基づいて人物を識別する。人物追跡手段（１７）は、抽出された人物の動きを追跡する。行動履歴情報生成手段は、追跡された人物の動きに基づいて行動履歴情報を生成する。

Description

行動履歴情報生成装置、システム、及び方法

　本発明は、行動履歴情報生成装置、システム、及び方法に関し、更に詳しくは、監視対象領域を撮像した画像から人物を抽出し、その人物の行動履歴情報を生成する行動履歴情報生成装置、システム、及び方法に関する。

　コンビニエンスストアやスーパーマーケットなどの店舗内を移動する客の行動を追跡するシステムとして、人物動線追跡システム（行動履歴情報生成システム）が知られている（例えば特許文献１）。特許文献１では、店舗内に設置されたカメラにより撮影された映像から人物を抽出し、抽出した人物を追跡して人物の座標位置を記録する。各人物が店舗内をどのような経路で移動したかを分析することで、店舗内で客がどのような商品に興味があるか、どのような商品陳列であれば客をスムーズに移動させることができるかなどを解析することが可能である。

特開２００６－３５０７５１号公報

　ところで、人物動線追跡システムにおいて、人物を追跡するためにはある人物と別の人物とを識別する必要がある。特許文献１では、カメラに通常の可視光カメラが用いられており、撮影画像における外形や、上下の服の色などで人物を識別している。しかしながら、可視光カメラを店舗内に設置して撮影を行うと、顔などが撮影されることから、人物が個人が特定できる態様で撮影されることになる。近年、プライバシーに関する意識が高まり、個人が特定できる態様で撮影されることを好まない人も多い。店舗において顔などが撮影されることに対する抵抗感から、客が店舗に入ることを躊躇する場面も考えられる。したがって、個人が特定できない態様で人物の撮影が実施される人物動線追跡システムが要望される。

　本発明は、上記事情に鑑み、個人が特定できない態様で撮影を実施しつつ、人物を識別して行動履歴情報を生成することができる行動履歴情報生成装置、システム、及び方法を提供することを目的とする。

　上記目的を達成するために、本発明は、監視対象領域を撮像する赤外線撮像装置を用いて撮像された赤外線画像から人物を抽出する人物抽出手段と、赤外線画像に基づいて、抽出された人物の温度を計測する温度計測手段と、温度計測手段が計測した温度に基づいて人物を識別する人物識別手段と、抽出された人物の動きを追跡する人物追跡手段と、追跡された人物の動きに基づいて行動履歴情報を生成する行動履歴情報生成手段とを備えた行動履歴情報生成装置を提供する。

　本発明の行動履歴情報生成装置は、人物の識別子とその人物の計測された温度とを対応付けて記憶する人物特定情報データベースを更に有することが好ましく、人物識別手段は、人物特定情報データベースを参照して人物を識別することが好ましい。

　本発明において、人物識別手段は、人物が追跡されている間に計測された温度が変化した場合は、変化後の温度で人物特定情報データベースに記憶された温度を更新することが好ましい。

　本発明の行動履歴情報生成装置は、人物が初めて抽出された場合に、その初めて抽出された人物に識別子を割り当て、割り当てた識別子と人物の計測された温度とを対応付けて人物特定情報データベースに登録するデータベース登録手段を更に有していてもよい。

　人物抽出手段は、赤外線画像から人物の顔に対応する領域を抽出してもよい。その場合、温度計測手段は、赤外線画像における抽出された人物の顔に対応する領域の部分画像に基づいて人物の温度を計測してもよい。

　人物抽出手段は、赤外線画像から人物の腕の露出部分及び足の露出部分の少なくとも一方に対応する領域を更に抽出してもよい。その場合、温度計測手段は、赤外線画像における抽出された人物の腕の露出部分及び足の露出部分の少なくとも一方に対応する領域の部分画像に基づいて人物の温度を計測してもよい。

　上記において、人物識別手段は、顔に対応する領域の部分画像に基づいて計測された温度と、腕の露出部分及び足の露出部分の少なくとも一方に対応する領域の部分画像に基づいて計測された温度とに基づいて人物を識別してもよい。

　本発明の行動履歴情報生成装置は、赤外線画像から、人物に付随する付随物を抽出する付随物抽出手段を更に有していてもよい。その場合、温度計測手段は、赤外線画像における抽出された付随物の領域に対応する領域の部分画像に基づいて付随物の温度を更に計測してもよい。

　上記において、人物識別手段は、顔に対応する領域の部分画像に基づいて計測された温度と、計測された付随物の温度とに基づいて人物を識別してもよい。

　本発明は、また、監視対象領域を撮像し赤外線画像を生成する赤外線撮像装置と、赤外線画像から人物を抽出する人物抽出手段と、赤外線画像に基づいて、抽出された人物の温度を計測する温度計測手段と、温度計測手段が計測した温度に基づいて人物を識別する人物識別手段と、抽出された人物の動きを追跡する人物追跡手段と、追跡された人物の動きに基づいて、行動履歴情報を生成する行動履歴情報生成手段とを備えた行動履歴情報生成システムを提供する。

　本発明の行動履歴情報生成システムは、赤外線撮像装置を１つ有するものであってもよく、その赤外線撮像装置は監視対象領域の全体を撮像するものであってもよい。この場合において、赤外線撮像装置は３６０°の撮影画角を有するものであることが好ましい。

　本発明の行動履歴情報生成システムは、赤外線撮像装置を複数有していてもよい。その場合、それら複数の赤外線撮像装置は相互に異なる複数の位置に設置されることが好ましい。

　さらに、本発明は、コンピュータが、赤外線撮像装置により監視対象領域を撮像することにより得られた赤外線画像から人物を抽出するステップと、コンピュータが、赤外線画像に基づいて、抽出された人物の温度を計測するステップと、コンピュータが、計測した温度に基づいて人物を識別するステップと、コンピュータが、抽出された人物の動きを追跡するステップと、コンピュータが、追跡された人物の動きに基づいて行動履歴情報を生成するステップとを有する行動履歴情報生成方法を提供する。

　本発明の行動履歴情報生成装置、システム、及び方法では、赤外線撮像装置を用いて監視対象領域を撮像する。赤外線撮像装置により撮像された赤外線画像から人物を抽出する。本発明では、撮像される画像は赤外線画像であるため、可視光カメラを用いた場合とは異なり、人物の顔や服装などが鮮明に画像化されることはない。人物の識別は、赤外線画像に基づいて計測された温度に基づいて実施される。人物の温度は人物間で異なることが多く、従って温度に基づいて人物の識別が可能である。このように、本発明では、個人が特定できない態様で撮影を実施しつつ、人物を識別して行動履歴情報を生成することができる。

本発明の第１実施形態に係る行動履歴情報生成システムを示すブロック図。店舗内売り場領域を示す図。（ａ）は可視光カメラにより撮像された人物の画像を示す図、（ｂ）は赤外線カメラ（遠赤外線カメラ）により撮像された人物の画像を示す図。人物特定情報データベースのデータ構造を示す図。時間経過に伴う人物の温度の変化を示す図。人物特定情報データベースの更新を示す図。行動履歴情報生成システムにおける動作手順を示すフローチャート。ある時刻での売り場領域内における人物の位置を示す図。図８の時刻よりも後の時刻での売り場領域内における人物の位置を示す図。本発明の第２実施形態に係る行動履歴情報生成システムを示すブロック図。（ａ）は可視光カメラにより撮像された人物の画像を示す図、（ｂ）は赤外線カメラ（遠赤外線カメラ）により撮像された人物の画像を示す図。第２実施形態における人物特定情報データベースのデータ構造を示す図。図２に示す売り場領域をサブエリアに分割した例を示す図。

　以下、図面を参照し、本発明の実施の形態を詳細に説明する。図１は、本発明の第１実施形態に係る行動履歴情報生成システムを示す。行動履歴情報生成システム１００は、行動履歴情報生成装置１０と、カメラＣＡ１～ＣＡ４と、カメラコントローラ３０とを備える。行動履歴情報生成装置１０は、映像データベース（ＤＢ：Data Base）１１、人物抽出手段１２、温度計測手段１３、データベース登録手段１４、人物特定情報データベース１５、人物識別手段１６、人物追跡手段１７、行動履歴情報生成手段１８、行動履歴情報データベース１９及びデータ解析手段２０を備える。以下では、主にコンビニエンスストアなどの店舗の店内売場領域を監視領域とし、この監視領域を移動する客の軌跡、すなわち人物動線を行動履歴情報として生成する例について説明する。

　カメラＣＡ１～ＣＡ４（以下、特に４台のカメラを区別しない場合はカメラＣＡと称する）は、赤外線カメラ（赤外線撮像装置）であり、監視対象領域を撮像し、赤外線画像を生成する。各カメラＣＡは、例えば監視対象領域である店舗などの空間の天井に設置される。各カメラＣＡは、典型的には、１以上のレンズを含む結像光学系と、結像光学系により形成された光学像を撮像して電気信号に変換する赤外線撮像素子（赤外センサ）とを有する。赤外センサは、例えば波長０．８３μｍから１０００μｍの範囲の赤外線を検出する。赤外センサは、特に、波長６μｍから１０００μｍの範囲の遠赤外線を検出するものであることが好ましい。赤外センサには、マイクロボロメータ又はＳＯＩ（Silicon on Insulator）ダイオード型などの熱型の赤外線センサを用いることができる。

　図２は、店舗内売り場領域を示す。売り場領域は、複数の店舗棚Ｒと、チェックアウトカウンタＣＣと、ＰＯＳ（Point Of Sales）端末ＰＯＳ１、ＰＯＳ２とを有する。カメラＣＡ１～ＣＡ４は、例えば図２に示すように、売り場領域内の相互に異なる複数の位置に設置される。カメラＣＡは、視体積交差法により売場領域を移動する客の軌跡、すなわち人物動線を追跡するために用いられる。視体積交差法は、例えば客の頭部を複数の方向から撮影し、各画像の頭部の位置から頭部の店内空間に適宜設置された３次元座標系内の座標値を算出する方法である。４台のカメラＣＡのうちの少なくとも１つ（図２の例ではカメラＣＡ４）は、売り場領域の出入り口ＩＮ／ＯＵＴを撮像範囲に含むことが好ましい。

　各カメラＣＡの配置位置は、店舗図面を参照したり、実際に店舗内に仮設置したりして、店舗内の什器などの遮蔽の影響も考慮し、店舗全域がカメラＣＡで撮影されるように適宜決定される。各カメラＣＡは、魚眼レンズを用いたカメラや全方位ミラー付のカメラ等の広角レンズカメラであることが好ましい。カメラＣＡの台数は必ずしも複数でなくてもよい。カメラＣＡは、監視対象領域の全体を撮像するものであってもよい。その場合、カメラＣＡには３６０°の撮影画角を有するものを用いればよい。そのようなカメラＣＡを売り場領域の中央に１台設置し、売り場領域全体を撮像することで、カメラの設置台数を１台にすることができる。その場合、使用するカメラＣＡの台数を１台にすることでコストを低減させることができることに加えて、客の警戒感を抑制する効果も期待できる。

　図１に戻り、カメラコントローラ３０は、各カメラＣＡの制御を行う。カメラコントローラ３０は、タイマ機能を内蔵しており、例えば１秒間に１０枚の赤外線画像を撮像させるように、各カメラＣＡの撮像タイミングを同期をとって制御する。カメラコントローラ３０は、各カメラＣＡが撮像した赤外線画像（その画像データ）と、撮像日時を示すデータとを、映像データベース１１に格納する。カメラＣＡ及びカメラコントローラ３０と映像データベース１１とは、必ずしも同一の場所に設置されている必要はなく、離れた場所に設置されていてもよい。その場合、カメラコントローラ３０は、インターネットなどのネットワークを通じて赤外線画像と撮像日時を示すデータとを映像データベース１１に送信してもよい。

　人物抽出手段１２は、映像データベース１１から赤外線画像を読み出し、読み出した赤外線画像から人物が存在する領域を抽出する。赤外線画像、特に遠赤外線画像では、人物の肌が露出している部分が画像化される。人物抽出手段１２は、赤外線画像から人物の顔に対応した領域を抽出する。人物抽出手段１２は、例えば人の平均体温（例えば３６．５℃）に近い温度の部分がある面積以上含まれる領域を、人物の顔に対応した領域として抽出する。人物抽出手段１２は、赤外線画像から、顔に対応した領域に加えて人物の腕の露出部分及び足の露出部分の少なくとも一方に対応する領域を更に抽出してもよい。

　温度計測手段１３は、赤外線画像に基づいて、抽出された人物の温度を計測する。温度計測手段１３は、例えば赤外線画像における、人物抽出手段１２にて抽出された人物の顔に対応する領域の部分画像に基づいて温度を計測する。温度計測手段１３は、人物抽出手段１２にて人物の腕の露出部分及び足の露出部分の少なくとも一方に対応する領域が抽出されていた場合は、赤外線画像におけるそれら領域の部分画像に基づいて人物の温度を計測してもよい。

　人物特定情報データベース１５は、人物の識別子（ＩＤ：Identifier）と、その人物について計測された温度とを対応付けて記憶する。データベース登録手段１４は、人物抽出手段１２にて人物が初めて抽出された場合に、その初めて抽出された人物に識別子を割り当て、割り当てた識別子と、その人物について温度計測手段１３にて計測された温度とを対応付けて人物特定情報データベース１５に登録する。ここで、人物が初めて抽出されるとは、その時点よりも前の時点において赤外線画像に存在していない人物が抽出されることをいう。例えば後述する人物追跡手段１７において人物を追跡する場合に、それ以前には対応する人物が存在しない場合などを指す。あるいは、監視対象領域の入り口が決まっているような場合は、その入り口において抽出された場合などを指す。

　人物識別手段１６は、温度計測手段１３にて計測された温度に基づいて人物を識別する。人物識別手段１６は、例えば人物特定情報データベースを参照して、赤外線画像から抽出された人物を識別する。人物識別手段１６は、例えば、顔に対応する領域の部分画像に基づいて計測された温度に基づいて人物を識別する。人物識別手段１６は、温度計測手段１３にて人物の腕の露出部分及び足の露出部分の少なくとも一方に対応する領域の部分画像に基づいて温度が計測されている場合には、顔に対応する領域の部分画像に基づいて計測された温度と、腕の露出部分及び足の露出部分の少なくとも一方に対応する領域の部分画像に基づいて計測された温度と、に基づいて人物を識別してもよい。人物識別手段１６は、例えば、複数の人物間で顔に対応する領域の部分画像に基づいて計測された温度が同じ場合は、人物の腕の露出部分及び足の露出部分の少なくとも一方に対応する領域の部分画像に基づいて計測された温度に基づいて人物を識別してもよい。

　ここで、計測された温度が同じとは、完全同一だけでなく、温度差がある場合でも、その差がしきい値以内である場合も含む。例えばＴ１及びＴ２をそれぞれ０より大きな実数（Ｔ１＞０、Ｔ２＞０）とした場合、温度差が－Ｔ１[℃]から＋Ｔ２[℃]の範囲であるとき、温度が同じであるとみなしてもよい。Ｔ１とＴ２とは同じ値であってもよいし、異なる値であってもよい。具体的に、例えば、赤外線画像に基づいて計測される温度の分解能が０．１℃であるとすれば、温度差が－０．２℃から＋０．２℃の範囲にある場合は、温度が同じであるとみなしてもよい。

　人物追跡手段１７は、赤外線画像から抽出された人物を追跡する。行動履歴情報生成手段１８は、人物追跡手段１７により追跡された人物の動きに基づいて行動履歴情報を生成する。行動履歴情報生成手段１８は、例えば人物追跡手段１７により追跡された人物の軌跡情報を行動履歴情報として生成する。行動履歴情報生成手段１８は、生成した行動履歴情報を、行動履歴情報データベース１９に格納する。行動履歴情報データベース１９は、例えば人物の軌跡情報と、入店時刻と、出店時刻とを、人物の識別子に対応付けて記憶する。ＰＯＳ端末ＰＯＳ１又はＰＯＳ２（図２を参照）により商品の購入が記録されたときは、行動履歴情報データベース１９又は図示しない他のデータベースに、人物（その識別子）と購入した商品の情報とを対応付けて記憶してもよい。どの人物が商品を購入したかは、ＰＯＳ端末ＰＯＳ１又はＰＯＳ２による購入が記録された時刻と、その時刻における各人物の位置とを照合することにより推定することができる。

　データ解析手段２０は、行動履歴情報データベース１９を参照し、入力部４０を介して入力される操作に応じて、表示部５０に、動線解析画面などを表示させる。入力部４０は、例えばキーボードやポインティングデバイスであり、表示部５０は、液晶ディスプレイなどである。動線解析画面は、例えば、売り場領域のマップ図に人物の軌跡情報を重ねて表示する動線表示領域と、カメラＣＡ１～ＣＡ４で撮像された赤外線画像を表示するカメラ画像表示領域とを含む。

　ここで、行動履歴情報生成装置１０は、例えばプロセッサ、メモリ、バス、及び補助記憶装置などを備えたコンピュータ装置として構成される。行動履歴情報生成装置１０内の各手段の機能の少なくとも一部は、プロセッサがプログラムに従って処理を実行することにより実現されてもよい。図１では、行動履歴情報生成装置１０が映像データベース１１、人物特定情報データベース１５、及び行動履歴情報データベース１９を有しているが、これらデータベースは行動履歴情報生成装置１０の外部にあってもよい。例えば行動履歴情報生成装置１０と映像データベース１１とが離れた場所にあってもよく、その場合、行動履歴情報生成装置１０はインターネットなどのネットワークを通じて映像データベースから赤外線画像を取得してもよい。

　以下、赤外線画像を用いた人物の識別について詳細に説明する。図３（ａ）は可視光カメラにより撮像された人物の画像を示し、（ｂ）は赤外線カメラ（遠赤外線カメラ）により撮像された人物の画像を示す。同図（ａ）に示すように、人物６０を可視光カメラで撮像すると、人物の顔や、着用している服などが鮮明に画像化される。一方、遠赤外線カメラで同じ人物６０を撮像すると、同図（ｂ）に示すように、主に顔６１や腕６２、足６３などの肌の露出部分が画像化される。遠赤外線画像では、顔の中の目や鼻、口といったパーツは鮮明に画像化されないため、プライバシーを保護することはできる。しかし、一方で、遠赤外線画像において顔の特徴を用いて人物を識別することは困難である。また、着用している服の模様や色などを用いて人物を識別することも困難である。

　そこで、本実施形態では、遠赤外線画像により人物の温度を計測することが可能なこと、及び人物の温度（体温）は個人間で異なることが多いことに着目し、遠赤外線画像により計測される温度を用いて人物を識別する。ここでいう人物の識別とは、その人物が誰であるかを識別するということではなく、複数の人物が存在する場合に、ある人物と別の人物とを区別して認識することを指す。人物抽出手段１２は、例えば遠赤外線画像において人の平均体温（例えば３６．５℃）に近い温度の部分が、ある面積以上含まれる領域を、顔６１の領域として抽出する。また、人物抽出手段１２は、遠赤外線画像から腕６２及び足６３を抽出する。腕６２及び足６３は、顔６１との位置関係に基づいて抽出できる。

　遠赤外線画像における画素値は、あらかじめ校正された物体の放射温度と遠赤外線画像における画素値との関係に基づいて温度に変換できる。温度計測手段１３は、例えば顔６１を構成する画素の画素値の平均値を温度に変換することで、顔６１の温度を計測する。腕６２及び足６３についても同様に、それらを構成する画素の画素値の平均値を温度に変換することで、腕６２及び足６３の温度を計測する。人物の腕や足が着衣から露出していない場合は、人物抽出手段１２により腕及び足が抽出されない。その場合、温度計測手段１３は腕及び足の温度を計測しなくてよい。

　図４は、人物特定情報データベース１５のデータ構造を示す。人物特定情報データベース１５は、各人物に対して、人物の識別子（人物ＩＤ）、顔温度、及び手足温度を記憶する。人物ＩＤは、各人物を一意に識別するための識別子が格納される。顔温度には、温度計測手段１３により計測された顔６１の温度が格納される。手足温度には、温度計測手段１３により計測された腕６２及び足６３の温度が格納される。手足温度には、腕６２及び足６３の温度が個別に格納されてもよいし、それらの平均値が格納されてもよい。

　図４に示す人物特定情報データベースを参照することで、人物識別手段１６は、温度計測手段１３にて計測された顔の温度が３５．８℃の人物は識別子Ａの人物(人物Ａ)であると特定できる。また、人物識別手段１６は、温度計測手段１３にて計測された顔の温度が３７．２℃の人物は識別子Ｂの人物(人物Ｂ)であると特定でき、温度計測手段１３にて計測された顔の温度が３６．７℃の人物は識別子Ｃの人物(人物Ｃ)であると特定できる。仮に人物Ｂと人物Ｃとで顔の温度が同じであったとした場合には、手足温度が３５．６℃か３４．２℃かを判断することで、人物Ｂと人物Ｃとを識別することができる。

　ここで、例えば夏の暑い時期や冬の寒い時期など、店舗の内外で温度差が大きい場合、人物が店舗内の冷房や暖房などに冷やされ又は暖められ、時間が経過するに連れて人物の温度が変化することがある。そのような場合に対処するため、人物識別手段１６は、人物が追跡されている間に温度計測手段１３によって計測された温度が変化した場合は、変化後の温度で人物特定情報データベース１５に記憶された温度を更新してもよい。人物の温度が変化したことは、例えば人物追跡手段１７において温度計測手段１３により計測された温度と人物の位置とに基づいて人物を追跡した結果を、人物識別手段１６にフィードバックすることで認識できる。

　図５は、時間経過に伴う人物の温度の変化を示す。ある時刻ｔ１において、人物Ａの温度（顔温度）は３５．８℃であり、人物Ｂの温度は３７．２℃であり、人物Ｃの温度は３６．７℃である。時刻ｔ１よりも後の時刻ｔ２においても、人物Ａの温度は３５．８℃であり、人物Ｂの温度は３７．２℃であり、人物Ｃの温度は３６．７℃である。時刻ｔ２よりもさらに後の時刻である時刻ｔ３では、人物Ｂ及び人物Ｃの温度が低下し、人物Ｂの温度は３６．９℃に変化し、人物Ｃの温度は３６．３℃に変化する。温度変化時に人物Ｂ及び人物Ｃの位置が大きく変化していないとすれば、位置に基づく人物追跡の結果から、人物Ｂの温度が３７．２℃から３６．９℃に変化し、人物Ｃの温度が３６．７℃から３６．３℃に変化したことを認識できる。

　図６は、人物特定情報データベース１５の更新を示す。時刻ｔ１における人物特定情報データベース１５に格納される各データは、図４に示すデータと同じである。時刻ｔ２では、人物Ａから人物Ｃの顔の温度は時刻ｔ１から不変であるが（図５を参照）、人物Ｂ及び人物Ｃの手足温度がそれぞれ３５．４℃及び３４．０℃に下がったとする。その場合、時刻ｔ２において、人物特定情報データベース１５に格納される人物Ｂの手足温度及び人物Ｃの手足温度は、それぞれ３５．４℃及び３４．０℃に更新される。

　時刻ｔ３において、人物Ｂの顔の温度が３７．２℃から３６．９℃に変化し、人物Ｃの顔の温度が３６．７℃から３６．３℃に変化すると、人物特定情報データベース１５に格納される人物Ｂの顔の温度が３６．９℃に更新され、人物Ｃの顔の温度が３６．３℃に更新される。また、人物Ｂの手足の温度が３５．４℃から３５．２℃に変化し、人物Ｃの手足の温度が３４．０℃から３３．７℃に変化すると、人物特定情報データベース１５に格納される人物Ｂの手足温度が３５．２℃に更新され、人物Ｃの手足温度が３３．７℃に更新される。人物Ａの顔の温度は３５．８℃で時刻ｔ１から不変であるので更新されない。変化後の温度で人物特定情報データベース１５を更新することで、時刻ｔ３以後も、人物Ｂ及び人物Ｃの識別が可能である。

　続いて処理手順について説明する。図７は、行動履歴情報生成システムにおける動作手順を示す。行動履歴情報生成装置１０は、映像データベース１１に、カメラＣＡにより撮像された赤外線画像がある程度蓄積された状態で、行動履歴情報生成処理を実施する。行動履歴情報生成装置１０は、例えば店舗に客がいない場合、又は店舗の営業時間外に、行動履歴情報生成処理を実施してもよい。あるいは新たな映像が映像データベース１１に格納されるのと並行して、行動履歴情報生成処理を実施してもよい。

　人物抽出手段１２は、映像データベース１１から赤外線画像を読み出し、読み出した赤外線画像から人物が存在する領域を抽出する(ステップＳ１)。人物抽出手段１２は、ステップＳ１では時系列に沿って赤外線画像を読み出し、読み出した赤外線画像から人物の顔６１（図３（ｂ）を参照）を抽出する。また、赤外線画像から人物の腕６２及び足６３を抽出する。温度計測手段１３は、ステップＳ１で抽出された人物の温度を計測する（ステップＳ２）。温度計測手段１３は、例えば赤外線画像における顔６１、腕６２、及び足６３の領域の画素値をそれぞれ温度に変換することで、それらの温度を計測する。温度計測手段１３は、ステップＳ１で複数の人物が抽出されている場合は、複数の人物のそれぞれについて温度を計測する。

　人物抽出手段１２は、抽出した人物が、新規に抽出されたものであるか否かを判断する（ステップＳ３）。人物抽出手段１２は、例えば店舗の出入り口ＩＮ／ＯＵＴ（図２を参照）において人物を抽出した場合は、その人物は新規に抽出されたと判断する。人物抽出手段１２は、新規に抽出したと判断すると、データベース登録手段１４に、ステップＳ２で計測された温度の人物特定情報データベース１５への登録を指示する。データベース登録手段１４は、新規に抽出された人物に新たな識別子を割り当て、その識別子とステップＳ２で計測された温度とを対応付けて人物特定情報データベース１５に格納する（ステップＳ４）。また、データベース登録手段１４は、人物の入店時刻を行動履歴情報データベース１９に格納してもよい。

　ステップＳ３で人物が新規に抽出されたものではないと判断された場合、人物識別手段１６は、ステップＳ２で計測された温度に基づいて人物を識別する（ステップＳ５）。人物識別手段１６は、ステップＳ５では、例えばステップＳ２で計測された温度と、人物特定情報データベース１５に格納された温度とを照合することで、ステップＳ１で抽出された人物の識別子を同定する。

　人物追跡手段１７は、ステップＳ５で識別された人物を時系列に沿って追跡する（ステップＳ６）。人物追跡手段１７は、ステップＳ６では複数時刻の赤外線画像間で人物を追跡し、ステップＳ１で読み出された赤外線画像の時刻における人物の座標位置を特定する。ステップＳ５において対応する温度の人物が存在しない場合、及び／又はステップＳ６で過去の赤外線画像に追跡対象の人物が存在しない場合は、ステップＳ４と同様な動作により、データベース登録手段１４が、ステップＳ２で計測された人物の温度を、新たに割り当てた人物の識別子と対応付けて人物特定情報データベース１５に登録してもよい。

　行動履歴情報生成手段１８は、ステップＳ６で追跡された人物の動きに基づいて行動履歴情報を生成する（ステップＳ７）。行動履歴情報生成手段１８は、ステップＳ７では、ステップＳ６で特定された人物の座標位置を、行動履歴情報データベース１９に格納された、ステップＳ５で識別された人物の識別子の軌跡情報に追記することで、行動履歴情報を生成する。行動履歴情報生成手段１８は、人物追跡手段１７において追跡されていた人物が店舗の出入り口付近まで追跡された後にステップＳ１で抽出されなくなった場合は、行動履歴情報データベース１９に出店時刻を記録してもよい。

　本実施形態における人物の追跡について説明する。図８に、ある時刻での売り場領域内における人物の位置を示す。また、図９に、図８の時刻よりも後の時刻での売り場領域内における人物の位置を示す。図８及び図９には、人物Ａ、人物Ｂ、及び人物Ｃの３人の人物が描かれている。人物Ａの温度は３５．８℃、人物Ｂの温度は３７．２℃、人物Ｃの温度は３６．７℃であったとする。このように人物間に温度差があることにより、人物Ａ～Ｃを識別することが可能である。

　図８において、人物Ａの位置はカメラＣＡ１の撮像範囲に含まれ、人物Ｂの位置はカメラＣＡ２の撮像範囲に含まれ、人物Ｃの位置はカメラＣＡ３の撮像範囲に含まれている。各人物が移動し、図９に示す配置になったとする。図８における時刻から図９における時刻までの間に、人物Ａと人物Ｂとが交差し、人物ＡはカメラＣＡ２の撮像範囲に移動し、人物ＢはカメラＣＡ１の撮像範囲に移動している。この場合でも、人物識別手段１６が、温度が３５．８℃の人物を人物Ａと識別し、温度が３７．２℃の人物を人物Ｂと識別することで、人物Ａと人物Ｂとを取り違えることなく追跡することができる。

　人物Ｃについては、図８における時刻から図９における時刻までの間に、店舗棚Ｒの前からＰＯＳ端末ＰＯＳ２の前まで移動している。人物Ｃも、人物識別手段１６が温度が３６．７℃の人物を人物Ｃと識別することで、正しく追跡できる。図９に示す時刻の前後において、ＰＯＳ端末ＰＯＳ２において商品の購入が記録されている場合、商品を購入した人物はＰＯＳ端末ＰＯＳ２の前にいる人物Ｃであると認識できる。この場合は、図示しない購入情報データベースにおいて、ＰＯＳ端末ＰＯＳ２により記録された商品の購入情報を、人物Ｃの識別子と対応付けてもよい。

　本実施形態では、カメラＣＡは監視対象領域の赤外線画像を撮像する。人物抽出手段１２は赤外線画像から人物を抽出し、温度計測手段１３は赤外線画像に基づいて抽出された人物の温度を計測する。人物識別手段１６は、計測された温度に基づいて、人物を識別する。人物追跡手段１７は抽出された人物を追跡し、行動履歴情報生成手段１８は追跡された人物の行動履歴情報を生成する。本実施形態では、撮像される画像は赤外線画像であるため、可視光カメラを用いた場合とは異なり、人物の顔や複数などが鮮明に画像化されることはない。このため、赤外線画像から個人を特定することは困難である。本実施形態では、人物の温度は人物間で異なることが多いことに着目し、温度に基づいて人物を識別する。したがって、本実施形態では、個人が特定できない態様で撮影を実施しつつも、人物を識別して行動履歴情報を生成することができる。

　次いで、本発明の第２実施形態を説明する。図１０は、本発明の第２実施形態に係る行動履歴情報生成システムを示す。本実施形態の行動履歴情報生成システム１００ａは、行動履歴情報生成装置１０ａ内に付随物抽出手段２１を更に有する点で、図１に示す第１実施形態で説明した行動履歴情報生成システム１００と相違する。その他の点は、第１実施形態と同様でよい。

　付随物抽出手段２１は、赤外線画像から人物に付随する付随物を抽出する。客は、店舗において、買い物かごなどに暖められた缶コーヒーなどの暖かい飲み物や、冷やされたペットボトル入りのジュースなどの冷たい飲み物など、温度が人物とも周辺環境とも異なる温度の商品を買い物かごに入れるか、又は手で直接もって移動することがある。付随物抽出手段２１は、そのような温度が周辺温度とは異なる物体を付随物として抽出する。

　本実施形態では、温度計測手段１３は、付随物抽出手段２１により抽出された付随物の領域に対応する領域の部分画像に基づいて付随物の温度を計測する。人物識別手段１６は、温度計測手段１３にて計測された顔の温度と、付随物の温度とに基づいて人物を識別する。人物識別手段１６は、例えば複数の人物間で温度計測手段１３にて計測された顔の温度が同じ場合は、付随物の温度に基づいて人物を識別してもよい。本実施形態においても、第１実施形態と同様に、腕及び足の少なくとも一方の温度を計測してもよい。その場合、人物識別手段１６は、複数の人物間で顔の温度が同じであり、かつ腕及び足の少なくとも一方の温度が同一であるか又は腕及び足の少なくとも一方の温度が計測されていない場合に、温度計測手段１３にて計測された付随物の温度に基づいて人物を識別してもよい。

　図１１（ａ）は可視光カメラにより撮像された人物の画像を示し、（ｂ）は赤外線カメラ（遠赤外線カメラ）により撮像された人物の画像を示す。同図（ａ）に示すように、買い物かごを持っている人物７０を可視光カメラで撮像すると、人物の顔や、着用している服などが鮮明に画像化される。また、買い物かごやその中身も画像化される。一方、遠赤外線カメラで同じ人物７０を撮像すると、同図（ｂ）に示すように、主に顔７１や手７２などの肌の露出部分が画像化される。また、買い物かごに中にある放熱体８０が画像化される。付随物抽出手段２１は、人物の手７２の近くにある放熱体８０を付随物として抽出する。

　温度計測手段１３は、遠赤外線画像における、付随物抽出手段２１により抽出された放熱体８０の領域の画素の画素値を温度に変換することで、放熱体８０の温度を計測する。放熱体８０の温度は、客が暖かい商品を買い物かごに入れたか、冷たい商品を買い物かごに入れたかに依存して変化する。買い物かごに入れる商品の温度は複数の人物間で異なることがあるため、その温度も人物の識別に利用することができる。計測された付随物の温度は、人物特定情報データベース１５に格納される。人物を追跡している間に付随物の温度が変化する場合には、変化後の温度で付随物の温度を更新するとよい。

　図１２は、本実施形態における人物特定情報データベース１５のデータ構造を示す。人物特定情報データベース１５は、各人物に対して、人物の識別子（人物ＩＤ）、顔温度、手足温度、及び付随物温度を記憶する。顔温度及び手足温度は、第１実施形態で説明したものと同様である（図４及び図６を参照）。手足温度は省略してもよい。付随物温度には、温度計測手段１３により計測された付随物の温度が格納される。

　図１２を参照すると、時刻ｔ１において、人物Ａ～人物Ｃは商品などを買い物かごなどに入れていない場合、付随物は存在せず、付随物温度は空欄となっている。時刻ｔ２において、人物Ａが例えば冷たい飲み物を買い物かごに入れると、人物Ａの付随物温度には、温度計測手段１３によって計測された付随物の温度５．０℃が格納される。また、人物Ｃが例えばホットコーヒーを買い物かごに入れると、人物Ｃの付随物温度には、温度計測手段１３によって計測された付随物の温度８０．２℃が格納される。その後、時刻ｔ３において、人物Ａが持ち運ぶ冷たい飲み物の温度が５．２℃に変化すると、人物Ａの付随物温度は５．２℃に更新される。また、人物Ｃが持ち運ぶホットコーヒーの温度が７９．３℃に変化すると、人物Ｃの付随物温度は７９．３℃に更新される。

　本実施形態では、付随物抽出手段２１は赤外線画像から付随物を抽出する。温度計測手段１３は、人物に加えて、付随物の温度を計測する。人物識別手段１６は、人物の温度と付随物の温度とに基づいて人物を識別する。本実施形態では、人物の温度で人物が識別できない場合でも、買い物かごに入れた商品などの付随物の温度の相違により、人物の識別が可能である。したがって、人物の識別の精度を向上できる。その他の効果は第１実施形態と同様である。

　なお、上記各実施形態では、人物の軌跡情報を行動履歴情報とする例について説明したが、行動履歴情報は人物の動きがわかる情報であればよく、軌跡情報には限定されない。軌跡情報に代えて又は加えて、監視対象領域を複数のサブエリアに分割し、人物が滞在したサブエリアとそのサブエリアの滞在時間とを示す情報を行動履歴情報として生成してもよい。図１３は、図２に示す売り場領域をサブエリアに分割した例を示す。この例では、売り場領域は、領域Ａ８１、領域Ｂ８２、領域Ｃ８３、領域Ｄ８４、領域Ｅ８５、及び領域Ｆ８６の６つの領域に分割されている。行動履歴情報生成手段１８は、人物追跡手段１７によって追跡された人物が、領域Ａ８１～領域Ｆ８６のどの領域に人物が滞在したか、及びその滞在時間を、行動履歴情報として生成することができる。行動履歴情報生成手段１８は、更に各領域間をどのような経路で移動したかを行動履歴情報として生成してもよい。

　以上、本発明をその好適な実施形態に基づいて説明したが、本発明の行動履歴情報生成装置、システム、及び方法は、上記実施形態にのみ限定されるものではなく、上記実施形態の構成から種々の修正及び変更を施したものも、本発明の範囲に含まれる。

１０：行動履歴情報生成装置
１１：映像データベース
１２：人物抽出手段
１３：温度計測手段
１４：データベース登録手段
１５：人物特定情報データベース
１６：人物識別手段
１７：人物追跡手段
１８：行動履歴情報生成手段
１９：行動履歴情報データベース
２０：データ解析手段
２１：付随物抽出手段
３０：カメラコントローラ
４０：入力部
５０：表示部
６０、７０：人物
６１、７１：顔
６２：腕
６３：足
７２：手
８０：放熱体
８１～８６：領域
Ａ～Ｃ：人物
ＣＡ：カメラ
Ｒ：店舗棚
ＣＣ：チェックアウトカウンタ
ＰＯＳ１、ＰＯＳ２：ＰＯＳ端末

Claims

　監視対象領域を撮像する赤外線撮像装置を用いて撮像された赤外線画像から人物を抽出する人物抽出手段と、
　前記赤外線画像に基づいて、前記抽出された人物の温度を計測する温度計測手段と、
　前記温度計測手段が計測した温度に基づいて前記人物を識別する人物識別手段と、
　前記抽出された人物の動きを追跡する人物追跡手段と、
　前記追跡された人物の動きに基づいて行動履歴情報を生成する行動履歴情報生成手段とを備えた行動履歴情報生成装置。
　前記人物の識別子と該人物の前記計測された温度とを対応付けて記憶する人物特定情報データベースを更に有し、前記人物識別手段は、前記人物特定情報データベースを参照して前記人物を識別する請求項１に記載の行動履歴情報生成装置。
　前記人物識別手段は、前記人物が追跡されている間に前記計測された温度が変化した場合は、変化後の温度で前記人物特定情報データベースに記憶された温度を更新する請求項２に記載の行動履歴情報生成装置。
　前記人物が初めて抽出された場合に、該初めて抽出された人物に前記識別子を割り当て、該割り当てた識別子と当該人物の前記計測された温度とを対応付けて前記人物特定情報データベースに登録するデータベース登録手段を更に有する請求項２又は３に記載の行動履歴情報生成装置。
　前記人物抽出手段は、前記赤外線画像から人物の顔に対応する領域を抽出し、前記温度計測手段は、前記赤外線画像における前記抽出された人物の顔に対応する領域の部分画像に基づいて人物の温度を計測する請求項１から４何れか１項に記載の行動履歴情報生成装置。
　前記人物抽出手段は、前記赤外線画像から人物の腕の露出部分及び足の露出部分の少なくとも一方に対応する領域を更に抽出し、前記温度計測手段は、前記赤外線画像における前記抽出された人物の腕の露出部分及び足の露出部分の少なくとも一方に対応する領域の部分画像に基づいて人物の温度を計測する請求項５に記載の行動履歴情報生成装置。
　前記人物識別手段は、前記顔に対応する領域の部分画像に基づいて計測された温度と、前記腕の露出部分及び足の露出部分の少なくとも一方に対応する領域の部分画像に基づいて計測された温度とに基づいて前記人物を識別する請求項６に記載の行動履歴情報生成装置。
　前記赤外線画像から、人物に付随する付随物を抽出する付随物抽出手段を更に有し、
　前記温度計測手段は、更に、前記赤外線画像における前記抽出された付随物の領域に対応する領域の部分画像に基づいて前記付随物の温度を計測する請求項５又は６に記載の行動履歴情報生成装置。
　前記人物識別手段は、前記顔に対応する領域の部分画像に基づいて計測された温度と、前記計測された付随物の温度に基づいて前記人物を識別する請求項８に記載の行動履歴情報生成装置。
　監視対象領域を撮像し赤外線画像を生成する赤外線撮像装置と、
　前記赤外線画像から人物を抽出する人物抽出手段と、
　前記赤外線画像に基づいて、前記抽出された人物の温度を計測する温度計測手段と、
　前記温度計測手段が計測した温度に基づいて前記人物を識別する人物識別手段と、
　前記抽出された人物の動きを追跡する人物追跡手段と、
　前記追跡された人物の動きに基づいて、行動履歴情報を生成する行動履歴情報生成手段とを備えた行動履歴情報生成システム。
　前記赤外線撮像装置を１つ有しており、該赤外線撮像装置は監視対象領域の全体を撮像するものである請求項１０に記載の行動履歴情報生成システム。
　前記赤外線撮像装置は３６０°の撮影画角を有する請求項１１に記載の行動履歴情報生成システム。
　前記赤外線撮像装置を複数有しており、該複数の赤外線撮像装置は相互に異なる複数の位置に設置される請求項１０に記載の行動履歴情報生成システム。
　コンピュータが、赤外線撮像装置により監視対象領域を撮像することにより得られた赤外線画像から人物を抽出するステップと、
　前記コンピュータが、前記赤外線画像に基づいて、前記抽出された人物の温度を計測するステップと、
　前記コンピュータが、計測した温度に基づいて前記人物を識別するステップと、
　前記コンピュータが、前記抽出された人物の動きを追跡するステップと、
　前記コンピュータが、前記追跡された人物の動きに基づいて行動履歴情報を生成するステップとを有する行動履歴情報生成方法。