JP5042135B2 - 行動管理システム - Google Patents

Description

この発明は、金融機関の店舗などにおいて人物の行動を管理記録する行動管理システムに関するものである。

従来から、金融機関などの店舗において、デジタルビデオレコーダなどの複数の撮影機器を店舗内に設けて顧客等の人物の行動を映像として記録する行動管理装置が知られている。
また、この種の行動管理装置として、映像に基づいて複数の通行人の位置座標を求め、この位置座標に基づいて通行人毎の通行軌跡を記録表示させるものがある（例えば、特許文献１参照）。
特開２００５−３４６６１７号公報

ところで、上述の行動管理装置においては、前者の場合は、特定の顧客の行動を検索する際に、人物が映っていないものを含む全ての映像の中から所望の映像を探さなければならず、検索に非常に時間がかかるという課題がある。また、デジタルビデオレコーダなどにより撮像された映像を長期間保存しようとすると、データ量が膨大になるため、映像を長期間保存することが困難であるという課題がある。
さらに、前者の行動管理装置の場合、個人が特定された人物の映像を確認後に消去することでデータ量の削減を図ることも可能であるが、個人が特定されない人物の映像については記憶装置に残存して時間とともに蓄積されることから、例えば、この残存した映像データを、頻繁に他の記憶装置に移動したり、不必要なものを選択的に削除する作業が必要となり、映像データの管理が煩雑になるという課題がある。

一方、後者の行動管理装置の場合には、顧客の一人一人を特定することができず、また、全ての通行軌跡の中から所定の行動を推定して抽出する必要があるため、顧客を特定してその行動を検出すること自体が困難であるという課題がある。

この発明は、上記事情に鑑みてなされたもので、人物の行動を少ないデータ量で記録可能とし、特定の人物に関する行動を容易に検索することができるとともに、人物の認証可能な機会を増加させることで記憶装置に蓄積される映像データを削減することが可能な行動管理装置を提供するものである。

上記の課題を解決するために、請求項１に記載した発明は、所定エリア内の人物の行動を管理する行動管理システムにおいて、前記所定エリア内の映像を撮像する撮像手段（例えば、実施の形態におけるビデオカメラＶ１〜Ｖｎ）と、前記撮像手段によって撮像された映像から人物を特定する人物特定手段（例えば、実施の形態における人物特定部３１）と、前記人物特定手段によって特定された人物の認証を行う認証手段（例えば、実施の形態における認証部３４）と、前記認証手段によって認証が行われた人物による所定の行動を検出する行動検出手段（例えば、実施の形態における行動検出部３８）と、前記行動検出手段によって特定された所定の行動を文字データに変換する文字データ変換手段（例えば、実施の形態における文字データ変換部３９）と、前記文字データ変換手段によって変換された文字データを前記認証手段により認証された人物の識別情報と関連付けて記憶する記憶手段（例えば、実施の形態における記憶部３５）と、を有した行動管理装置（例えば、実施の形態における行動管理装置１００）と、前記エリア内に設置され各種取引に関する処理を行う取引処理装置（例えば、実施の形態におけるＮｏ．１〜Ｎｏ．３ＡＴＭ５２および、Ｎｏ．１〜Ｎｏ．３窓口操作機５８）と、該取引処理装置と前記行動管理装置とを接続する接続手段（例えば、実施の形態における接続部４５）と、前記人物特定手段によって特定された人物が、前記認証手段により認証できない場合に、この認証できない人物を特定するための識別情報を付与する識別情報付与手段（例えば、実施の形態における識別情報付与部３６）を備え、該識別情報付与手段により識別情報を付与された個人非特定識別済み人物が、前記認証手段により認証された際に、この個人非特定識別済み人物が取引を行っている前記取引処理装置を検出する装置検出手段（例えば、実施の形態における装置検出部４６）と、該装置検出手段により、検出された取引処理装置から取引中の情報を収集情報として収集する収集手段（例えば、実施の形態における収集部４７）と、該収集手段によって収集された収集情報を、当該個人非特定識別済み人物に対する、個人関連情報として前記記憶手段に記憶させる関連情報記録手段（例えば、実施の形態における関連情報記録部４８）と、を備えることを特徴とする。

請求項２に記載した発明は、請求項１に記載の発明において、前記人物特定手段によって特定された人物が、前記認証手段により認証できない場合に、この認証できない人物を特定するための識別情報を付与する識別情報付与手段（例えば、実施の形態における識別情報付与部３６）を備え、該識別情報付与手段により識別情報を付与された非特定識別済み人物が、前記認証手段により認証された際に、この個人非特定識別済み人物が取引を行っている前記取引処理装置を検出する装置検出手段（例えば、実施の形態における装置検出部４６）と、該装置検出手段により、検出された取引処理装置から取引中の情報を収集情報として収集する収集手段（例えば、実施の形態における収集部４７）と、該収集手段によって収集された収集情報を、当該個人非特定識別済み人物に対する、個人関連情報として前記記憶手段に記憶させる関連情報記録手段（例えば、実施の形態における関連情報記録部４８）とを備えることを特徴とする。

請求項２に記載した発明は、請求項１に記載の発明において、前記撮像手段によって撮像された映像より検出される個人非特定識別済み人物の特徴情報および前記収集手段により収集された収集情報を比較照合して、明らかに一致し得ない組合せとなる収集情報については、関係者参考情報として前記個人非特定識別済み人物の識別情報に関連付けて前記記憶手段に記憶させる関係者参考情報記録手段（例えば、実施の形態における関係者参考情報記録部４９）を備えることを特徴とする。

請求項３に記載した発明は、請求項１又は２に記載の発明において、前記収集情報と前記関係者情報とを比較照合する際に、前記収集情報のさらに基本となる個人特定情報を前記収集手段より呼び出すことを特徴とする。

請求項４に記載した発明は、請求項２又は３の何れか一項に記載の発明において、前記個人非特定識別済み人物の識別情報に関連付けて記憶された個人関連情報および関係者参考情報のうち少なくとも何れか一方が予め設定された所定数に到達した場合に、個人が特定された一の個人特定済み人物の認証情報として登録可能に構成されることを特徴とする。

請求項１に記載の発明によれば、行動検出手段によって特定された所定の行動を文字データに変換し、この文字データを認証された人物の識別情報と関連付けて記憶することで、行動を記録しておくために映像データを全て残しておく場合と比較して、文字データとして所定の行動を記憶させる分だけ遙かにデータ量を低減することができるとともに、例えば、識別情報に基づいて、特定の人物の所定の行動を容易に検索することができる効果がある。
また、エリア内に設置され各種取引に関する処理を行う取引処理装置と行動管理装置とを接続手段により接続することで、例えば、取引処理装置により取得される各種情報を行動管理装置に出力可能となるため、取引処理装置により取得される情報に基づいて、個人が特定される機会を増加させることができる効果がある。

さらに、識別情報付与手段によって認証手段により認証できない人物を特定するための識別情報が付与された個人非特定識別済み人物が認証手段によって認証された場合に、非特定識別済み人物が取引を行っている取引処理装置を装置検出手段によって検出しさらに、この検出された取引処理装置から収集手段により収集情報を収集してこの収集情報を関連情報記憶手段により個人関連情報として記憶手段に記憶させることで、非特定識別済み人物の個人を特定するための情報を自動的に蓄積することができる。したがって、非特定識別済み人物の個人の特定に利用できる情報量を増加することができるため、非特定識別済み人物に関する情報の削減に寄与することができる効果がある。

請求項２に記載の発明によれば、請求項１の効果に加え、収集手段によって収集した収集情報と映像より検出される例えば、性別、年齢などの非特定識別済み人物の特徴情報とを比較照合して、明らかに一致し得ない組合せとなる収集情報については、関係者参考情報として当該個人非特定識別済み人物の識別情報に関連付けて記憶することができるので、例えば、取引処理装置から収集された収集情報と非特定識別済み人物の特徴情報との内容が一の個人の情報として一致しない場合つまり、取引をしているのが代理の人物である場合などである場合であっても、一の個人に関係する者であることを推定し、その行動を含む関係者参考情報を非特定識別済み人物の認識情報に関連付けて記憶することができる。したがって、本人のみならずその関係者に関する情報を記憶して、非特定識別済み人物の個人の特定に利用することができる効果がある。

請求項３に記載の発明によれば、請求項２の効果に加え、収集情報と関係者情報とを比較照合する際に、収集情報のさらに基本となる個人特定情報を前記収集手段より呼び出すことで、例えば、収集情報により特定される個人と、映像により特定される人物とが相違することをより確実に検出することができるため、より多くの関係者参考情報を認識情報に関連付けて記憶させることが可能となる。したがって、非特定識別済み人物の個人が特定される機会を更に増加させることができる効果がある。

請求項４に記載の発明によれば、請求項２又は３の効果に加え、個人非特定識別済み人物の識別情報に関連付けて記憶された個人関連情報および関係者参考情報のうち少なくとも何れか一方が予め設定された所定数に到達した場合すなわち、個人を特定するために十分な数量の情報が蓄積された場合に、個人非特定識別済み人物の認証情報を、個人が特定された一の個人特定済み人物の認証情報として登録可能となるため、非特定識別済み人物に関する情報を削減することができる効果がある。

次に、この発明の実施の形態の行動管理システムについて図面を参照しながら説明する。
図１は、この実施の形態における行動管理システム１０の概略構成を示したものである。この実施の形態の行動管理システム１０は、複数のビデオカメラＶ１〜Ｖｎと、制御装置３０、表示部６０、操作入力部６１とを備えて構成された行動管理装置１００が、金融機関などの店舗に設置されて人物の行動を監視および記録を行う。

複数のビデオカメラＶ１〜Ｖｎは、金融機関の店舗内の各箇所にいる人物を撮像するためのものであり、これら複数のビデオカメラＶ１〜Ｖｎで撮像された各映像は制御装置３０に送信される。図２は店舗におけるレイアウト及びカメラ配置の一例を示したものであり、ビデオカメラＶ１〜Ｖｎ（図２中、符号Ｖで示す）は、正面口５０、ＡＴＭコーナ５１、各ＡＴＭ（Automatic Teller Machine）５２、店内ロビー５３、窓口カウンター５４、コピー機５５、貸金庫５６、および、受付発券機５７などの映像を撮像可能な箇所にそれぞれ配置されている。なお、窓口カウンターには複数の窓口が設けられ、各窓口には各種取引に関する処理を行う窓口操作機（図１参照）が設置され、窓口担当者により顧客情報などの情報が入力可能なっている。なお、図示都合上、図２において窓口操作機を省略する。

制御装置３０は、店舗の窓口カウンター５４内に配置されたサーバなどのコンピュータにより構成されており、映像バッファＢ１〜Ｂｎ、人物特定部３１、人物映像メモリ群３３、認証部３４、記憶部３５、識別情報付与部３６、物品検出部３７、行動検出部３８、文字データ変換部３９、静止画抽出部４０、検索部４１、接続部４５、装置検出部４６、収集部４７、関連情報記録部４８、および、関係者参考情報記録部４９を備えて構成されている。また制御装置３０には、液晶等の表示部６０と、キーボードやマウスなどからなる操作入力部６１とがそれぞれ接続されている。

人物特定部３１は、各ビデオカメラＶ１〜Ｖｎで撮像された映像に基づいて、それぞれの映像に映っている人物を特定（換言すれば、映像中の人間を検出）する。また、人物特定部３１は人物が特定された映像のみを抽出して人物映像メモリＭ１〜Ｍｎにそれぞれ記憶する。
ここで、人物の特定方法としては、各ビデオカメラＶ１〜Ｖｎで撮像された映像の中から人物の顔を検出する方法などを用いることができる。

そして、人物特定部３１は、各ビデオカメラＶ１〜Ｖｎで映し出される画像の中から人物の画像を切り出し、さらに、後述する認証部３４で認証しやすいように、人物特定部３１によって、例えば、顔の正面画像などを切り出して抽出情報として認証部３４へ出力する。

人物映像メモリ群３３は、各ビデオカメラＶ１〜Ｖｎに対応した個別の人物映像メモリＭ１〜Ｍｎを備えている。これら人物映像メモリＭ１〜Ｍｎは、人物特定部３１により抽出され各対応したビデオカメラで撮像された映像データを記憶するものである。この人物映像メモリＭ１〜Ｍｎに記憶された映像データはそれぞれ物品検出部３７、行動検出部３８、および静止画抽出部４０に適宜出力される。

認証部３４は、人物特定部３１により特定された人物の認証すなわち、人物が誰であるのかを認証するものであり、例えば、人物特定部３１により抽出された人物の特徴としての顔の正面画像から顔の特徴を抽出し、この顔の特徴と略同一の顔の特徴を、記憶部３５に予め記憶されている人物リストの中で探し、該当する顔の特徴を有した個人が存在する場合に、この個人を人物特定部３１により抽出された人物として認証する。

さらに認証部３４は、認証された人物が店舗の店員か顧客かを記憶部３５に予め記憶された情報に基づいて判別する。ここで、認証された人物は、その人物を識別するための識別情報が割り当てられており、この識別情報に人物が店員又は顧客であることを示す情報が関連付けられて記憶部３５に記憶されている。

また認証部３４は、識別情報付与部３６により仮の識別情報が付与されている人物（以下、非特定識別済み人物と称す）が認証された場合に、この認証が行われたこと示す情報をトリガ情報として装置検出部４６へ出力する。

記憶部３５は、顧客の識別情報（例えば、識別番号など）、店員又は顧客、個人名、顧客の行動や用件の履歴、顔の静止画像、顔の特徴などの情報を人物リストとして記憶する。記憶部３５は、認証部３４からの要求に応じて、人物の認証に必要となる例えば、顔の特徴などの情報を認証部３４へ出力する。さらに記憶部３５は、識別情報付与部３６によって新たな識別情報（以下、単に仮の識別情報と称す）が付与された場合に、この仮の識別情報に対して、静止画抽出部４０により抽出される静止画像や、人物特定部３１により抽出される顔の特徴情報等の情報をそれぞれ関連付けてそれぞれ記憶する。

さらに記憶部３５は、後述する文字データ変換部３９で変換される所定の行動の文字データを、認証された人物の識別情報に関連付けて記憶するとともに、文字データ変換部３９で変換された所定の行動の文字データを、識別情報付与部３６により付与される仮の識別情報に関連付けて記憶する。また記憶部３５は、識別情報および仮の識別情報に対して、後述の静止画抽出部４０で抽出した静止画像を関連付けて記憶する。

識別情報付与部３６は、上述した認証部３４により認証できなかった人物、すなわち、口座を開設していない顧客など誰であるか分からない人物に対して、仮の識別情報を付与するものである。ここで、仮の識別情報としては、例えば、「Ｕｎｋｎｏｗｎ１」、「Ｕｎｋｎｏｗｎ２」・・・「ＵｎｋｎｏｗｎＮ」等のような識別情報が付与される。
物品検出部３７は、人物映像メモリ群３３に記憶された映像データすなわち、ビデオカメラＶ１〜Ｖｎでそれぞれ撮像された映像に映っている所定の物品を検出して、その検出情報を行動検出部３８へ出力する。所定の物品としては、例えば、「通帳」や「印鑑」等がある。

行動検出部３８は、人物特定部３１で特定された人物の所定の行動を検出するものであり、記憶部３５に予め記憶されている店舗内部のレイアウト情報（図２参照）、ビデオカメラＶ１〜Ｖｎにより撮像された映像および、物品検出部３７の検出情報に基づいて人物特定部３１で特定された人物の所定の行動を検出するとともに、認証部３４で店舗の店員であると判別された人物と、認証部３４で顧客であると認証された人物との位置関係と、店舗内部のレイアウト情報とに基づいて人物が行っている所定の行動を検出して、これら検出情報を文字データ変換部３９へ出力する。

文字データ変換部３９は、行動検出部３８によって検出された所定の行動を文字データに変換し、この変換された所定の行動の文字データを記憶部３５へ出力する。
静止画抽出部４０は、行動検出部３８が所定の行動を検出する際に、当該行動を行った人物の静止画像を映像データから抽出し、この抽出した静止画像のデータを記憶部３５へ出力する。

検索部４１は、操作入力部６１を介して入力された所定のキーワードと一致する情報および、キーワードと関連する語句を少なくとも含む情報を記憶部３５に記憶されている情報（例えば、人物リスト）から検索し、この検索された情報の中から必要な情報を表示部６０に出力する。さらに、検索部４１は、操作入力部６１を介して所定の入力操作として撮像された時間帯や場所などの指定操作が行われると、指定された条件に合致する映像データを人物映像メモリ群３３に記憶されている映像データから検索し、当該映像を表示部６０へ出力する。
表示部６０は、液晶などのディスプレイであり、検索部４１から入力された情報を画面上に表示するとともに、検索された映像データの再生を画面上で行う。

装置検出部４６は、認証部３４よりトリガ情報が入力されると、仮の識別情報が付与されている人物が取引を行っている装置を、接続部４５を介して制御装置３０に接続された店舗内の取引処理装置例えば、Ｎｏ．１〜Ｎｏ．３ＡＴＭ５２や、Ｎｏ．１〜Ｎｏ．３窓口操作機５８の中から検出して、この検出情報を収集部４７へ出力する。ここで、装置検出部４６による取引処理装置の検出方法としては、人物を撮像したビデオカメラＶ１〜Ｖｎの配置から特定する方法や、店舗内部のレイアウト情報から特定する方法などがある。

収集部４７は、装置検出部４６より検出情報が入力されると、検出された取引処理装置から取引中の情報を収集情報として収集し、この収集情報を関連情報記録部４８、関係者参考情報記録部４９へそれぞれ出力する。ここで、上記取引中の情報としては、Ｎｏ．１〜Ｎｏ．３ＡＴＭ５２の場合には、顧客の操作による例えば、キャッシュカードから得られる情報や、振込み操作時などに得られる情報などであり、Ｎｏ．１〜Ｎｏ．３窓口操作機５８の場合には、テラーなどの操作者により入力される情報である。

関連情報記録部４８は、収集部４７より収集情報が入力されると、この収集情報を認証部３４により認証された仮の識別情報に関連付けて個人関連情報として記憶部３５に記憶する。すなわち、この収集情報は、来店した顧客本人の個人名を特定できる顧客情報である場合もあれば、顧客本人の家族名を特定できる顧客情報である場合があり、これらを個人関連情報として記憶部３５に記憶するものである。
さらに関連情報記録部４８は、一の仮の識別情報に対して関連付けられた個人関連情報の数量が、人物を特定する材料として十分な所定の数量に到達した場合に、一の仮の識別情報を、個人が特定された識別情報として記憶部３５に登録可能にする。なお、仮の識別情報を識別情報として登録する方法としては、個人が特定された識別情報をユーザが確認操作を行った後に付与して登録する方法や、個人が特定された識別情報を自動的に付与して登録する方法など、適宜の方法を用いることができる。

関係者参考情報記録部４９は、収集部４７によって収集された収集情報と、ビデオカメラＶ１〜Ｖｎの映像から特定された人物の特徴情報と比較し、明らかに一致し得ない組合せとなる収集情報については、認証部３４により認証された仮の識別情報に関連付けて関係者参考情報として記憶部３５に記憶する。すなわち、収集情報の一情報として、当該顧客の性別が男性として記録されているものに対して、ビデオカメラＶ１〜Ｖｎの映像から特定された人物が明らかに女性であると識別されるとき、収集情報の一情報として、当該顧客の年齢情報が未成年であるとして記録されているものに対して、ビデオカメラＶ１〜Ｖｎの映像から特定された人物が明らかに成年であると識別されるとき、あるいは、収集情報の一情報として、顧客本人が勤務すると思われる会社等の個別名称が収集されたなどのときには、収集情報から特定され得る一の個人では無いという意味の関係者参考情報として記憶部３５に記憶するものである。
ここで、例えば、キャッシュカードから一義的に得られる収集情報は顧客の口座番号情報であるが、収集部４７は、図示せぬ本部サーバーから関連する個人特定情報を収集して、上記したように、例えば性別情報、生年月日情報あるいは会社情報などを収集して比較判断することになる。
さらには、収集部４７によって、例えば、家族構成情報などを収集できた場合には、ビデオカメラＶ１〜Ｖｎの映像から特定された人物の特徴情報と比較し、その類似度を判断して、例えば、親子関係を示す類似情報として、記憶部３５に記憶させることもできる。

さらに関係者参考情報記録部４９は、一の仮の識別情報に対して関連付けられた関係者参考情報の数量が、人物を特定する材料として十分な所定の数量に到達した場合に、この一の仮の識別情報を、個人が特定された識別情報として記憶部３５に登録可能にする。なお、仮の識別情報を識別情報として登録する方法としては、個人が特定された識別情報をユーザが確認操作を行った後に付与して登録する方法や、個人が特定された識別情報を自動的に付与して登録する方法など、適宜の方法を用いることができる。

この実施の形態に係る行動管理システム１０は上記構成を備えており、次に、この行動管理システム１０の動作を説明する。なお、この行動管理システム１０の動作は、金融機関の店舗に設置されるとともに、３台のＮｏ．１〜Ｎｏ．３ＡＴＭ５２と、３台のＮｏ．１〜Ｎｏ．３窓口操作機５８とがそれぞれ制御装置３０に対して接続されている場合を一例に説明する。
まず、行動管理装置１００の電源を立ち上げると、ビデオカメラＶ１〜Ｖｎによる撮像が開始される。そして、ビデオカメラＶ１で撮像された映像データを映像バッファＢ１に、ビデオカメラＶ２で撮像された映像データを映像バッファＢ２に、ビデオカメラＶ３で撮像された映像データを映像バッファＢ３に、同様に、ビデオカメラＶｎで撮像された映像データを映像バッファＢｎに一時的に保存する。

次いで、映像バッファＢ１〜Ｂｎにより一時的に保存した各映像データを、順次人物特定部３１へ出力して、この出力した映像データを映像バッファＢ１〜Ｂｎから削除する。そして、人物特定部３１で映像データの中に人物が含まれるか（人物が特定されるか）否かを判定し、この判定の結果、映像に人物が含まれる場合は、その人物を特定するための顔の特徴などの情報を認証部３４へ出力する。また、人物特定部３１で人物が特定された映像データのみを抽出して人物映像メモリＭ１〜Ｍｎへ出力し記憶させる。ここで、人物特定部３１により人物が含まれないと判定された映像データは削除される。

人物特定部３１により人物の特定がなされると、認証部３４において特定した人物の認証処理を行う。この認証処理は、記憶部３５に記憶されている人物リストの特徴情報（例えば、顔の特徴など）に、人物特定部３１で特定された人物の特徴（例えば、顔の特徴など）と一致する特徴情報があるか否かを判定し、この判定の結果、人物特定部３１で特定された人物の特徴と一致する人物の特徴情報が記憶部３５に含まれている場合に、記憶部３５の人物の特徴に関連付けられた識別情報を特定する。

さらに、他の認証処理として、記憶部３５の識別情報に関連付けられた店員又は顧客を示す情報に基づいて、認証された人物が顧客か店員かの判別を行う。ここで、認証部３４の認証処理に際しては、過去において認証できず、認証処理において仮の識別情報が与えられている人物の認証も行う。例えば、過去に記憶部３５に記憶された仮の識別情報「Ｕｎｋｎｏｗｎ３２５」を有する人物の特徴情報と一致した場合に、この仮の識別情報「Ｕｎｋｎｏｗｎ３２５」を特定する。

一方、人物特定部３１で特定された人物の特徴と一致する人物の特徴情報が記憶部３５に記憶されていないと判定された場合は、識別情報付与部３６において、認証できなかった顧客に対して認証部３４で認証できなかった顧客用の仮の識別情報を新たに付与する。そして、この認証できなかった顧客用の仮の識別情報を記憶部３５へ出力する。記憶部３５においては、識別情報付与部３６から仮の識別情報が入力されると、この仮の識別情報を新たな登録情報として記憶する。

認証部３４により認証処理が行われると、装置検出部４６において、認証処理の対象となる人物が取引を行っている取引処理装置を検出する。ここで、装置検出部４６において、該当する取引処理装置として例えばＮｏ．２ＡＴＭ５２が検出された場合には、このＮｏ．２ＡＴＭ５２に入力されるキャッシュカード情報や振込み元情報などを収集部４７により収集する。なお、装置検出部４６において該当する取引処理装置が検出されない場合には次の認証が開始されるまで取引処理装置の検出処理を継続する。

収集部４７により収集された収集情報を関連情報記録部４８および関係者参考情報記録部４９へ出力する。収集情報が入力された関連情報記録部４８においては、認証部３４により特定された仮の識別情報に関連付けて個人関連情報として記憶部３５に記憶する。次いで、個々の仮の識別情報に対して関連付けられた関係者情報の各数量が、人物を特定する材料として十分な所定の数量に到達した場合に、この仮の識別情報を、個人が特定された識別情報として記憶部３５への登録が可能な状態に設定する。

関係者参考情報記録部４９は、収集情報と、ビデオカメラＶ１〜Ｖｎの映像から特定された人物の特徴情報と比較し、明らかに一致し得ない組合せとなる収集情報については、認証部３４により認証された仮の識別情報に関連付けて関係者参考情報として記憶部３５に記憶する。この際、収集部４７によって、収集情報の更に基本となる個人特定情報が収集された場合には、ビデオカメラＶ１〜Ｖｎの映像から特定された人物の特徴情報と比較し、その類似度を判断して、類似情報として、記憶部３５に記憶させる。

また、認証部３４による認証処理と並行して、物品検出部３７において、新たに人物映像メモリＭ１〜Ｍｎに記憶された映像データの中から、予め登録されている所定の物品を検出し、この検出された物品の情報を行動検出部３８へ出力する。

行動検出部３８においては、識別情報又は識別情報付与部３６から受信した仮の識別情報に対応付けられた顧客の映像、記憶部３５に記憶されているレイアウト、および、映像を撮像したビデオカメラＶ１〜Ｖｎの配置などに基づいて、顧客の所定の行動を検出する。例えば、顧客が正面口５０から入店した場合には、「正面口から来店」を検出し、顧客がＡＴＭコーナ５１に配置されているビデオカメラＶｎにより撮像された場合には、直接的な行動として、「Ｎ号機のＡＴＭを操作」などを検出する。あるいは、類推できる所定の行動として、「入金」、「出金」、「振込み」、「通帳記帳」、および、「両替」などを検出する。また、受付発券機（図示略）の近傍を撮像するカメラの映像から顧客が検出された場合には、所定の行動として「受付」を検出する。

行動検出部３８においては、さらに撮像した映像から顧客と店員との位置関係を検出して、この位置関係に基づいて所定の行動を検出する。例えば、顧客が、所定の業務を行う窓口の担当である店員の近くに移動したことが検出されると、直接的な行動として、「Ｎ番の窓口で取引」などを検出する。あるいは、その店員の担当する業務内容が口座開設や解約などである場合には、類推できる所定の行動として「口座開設」や「解約」等を検出する。

行動検出部３８においては、さらに物品検出部３７により検出された物品の種類に基づいて顧客の所定の行動を検出する。例えば、顧客が、ＡＴＭコーナ５１でカードや通帳を取り出したことが検出された場合には、直接的な行動として、「カードを財布類から取り出す」、「カードをＡＴＭに挿入」、「通帳をバッグ類から取り出す」などを検出する。また、類推できる所定の行動として「入金」、「出金」および「通帳記帳」などを検出する。そして、顧客が所定の業務を行う窓口にいることが検出され、さらに印鑑が検出された場合には、直接的な行動として、「印鑑をバッグ類から取り出す」などを検出する。あるいは、所定の業務の中から印鑑を使用する業務すなわち印鑑を使用する行動に限定されるため、この限定された行動を顧客の所定の行動として検出する。

次に、行動検出部３８により検出された所定の行動を文字データ変換部３９により文字データに変換して記憶部３５へ出力する。静止画抽出部４０においては、行動検出部３８が所定の行動を検出する際の人物を含む静止画像を、当該人物を撮像した映像（動画）から抽出して記憶部３５へ出力する。
記憶部３５においては、文字データに変換した所定の行動と、静止画抽出部４０で抽出された静止画像とをそれぞれ関連情報として識別情報および仮の識別情報に関連付けて記憶する。

ここで、上述した記憶部３５の記憶情報の一例を以下の表に示す。なお、表中の画像における「ｊｐｇ」とは、ファイル拡張子の一例を示している。なお、この表においては、都合上、人物を特定するための顔の特徴等のデータ（以下、単に抽出情報と称す）を省略している。また、日時情報についても、一つ一つの記憶情報に関連付けて記憶されるが、この表においては省略している。さらには、この表においては、一の識別情報または一の仮の識別情報に対して、一の行動に関わる記憶情報しか示していないが、これに限るものではなく、一人の人物に対して、来店から退店までの間、記録すべき行動が行動検出部３８によって検出、確認された分だけ、記録されるものである。

店舗の責任者などにより操作入力部６１を介して記憶部３５内の関連情報を検索するためのキーワード（例えば、「０１」や「入金」など、あるいは顧客名など）が入力されると、検索部４１において、記憶部３５に記憶されている関連情報の中から、当該キーワードと一致する識別情報およびキーワードと関連する語句を含む識別情報が検索され、この検索結果のうち必要とする関連情報を表示部６０に表示する。

また、操作入力部６１に対して、人物映像メモリＭ１〜Ｍｎに記憶されている映像データの確認を行うための所定の操作入力が行われると、検索部４１において、人物映像メモリＭ１〜Ｍｎに記憶されている映像データの中から入力条件に合致する映像データを検索し、表示部６０により再生表示される。さらに店舗の責任者などにより操作入力部６１を介して、選択的に映像データを削除する所定の入力操作が行われた場合には、該当する映像データの削除を行う。

したがって、上述の実施の形態によれば、ビデオカメラＶ１〜Ｖｎによって撮像された店舗内部の映像から、人物特定部３１により人物を特定し、認証部３４により特定された人物の認証を行い、行動検出部３８により認証部３４により特定された人物の所定の行動を検出するとともに、行動検出部３８で検出された所定の行動を文字データ変換部３９により文字データに変換し、特定された人物の識別情報に関連付けて記憶部３５に記憶させることができるため、撮像した映像を全て記憶させる従来よりも文字データとして記憶できる分だけデータ量を遙かに低減することができ、さらに、識別情報に基づいて、特定の人物の行動を容易に検索することができる。

また、店舗内に設置され各種取引に関する処理を行う取引処理装置であるＮｏ．１〜Ｎｏ．３ＡＴＭ５２や、Ｎｏ．１〜Ｎｏ．３窓口操作機５８と制御装置３０とを接続部４５により接続することで、Ｎｏ．１〜Ｎｏ．３ＡＴＭ５２や、Ｎｏ．１〜Ｎｏ．３窓口操作機５８により取得される各種情報を制御装置３０に出力可能となるため、Ｎｏ．１〜Ｎｏ．３ＡＴＭ５２や、Ｎｏ．１〜Ｎｏ．３窓口操作機５８により取得される情報に基づいて、仮の識別情報が付与されている人物において個人が特定される機会を増加させることができる。

さらに、識別情報付与部３６によって仮の識別情報が付与された個人非特定識別済み人物が認証部３４によって認証された場合に、Ｎｏ．１〜Ｎｏ．３ＡＴＭ５２および、Ｎｏ．１〜Ｎｏ．３窓口操作機５８の中からその人物が取引を行っている取引処理装置を装置検出部４６によって検出し、さらに、この検出された取引処理装置から収集部４７により収集情報を収集してこの収集情報を関連情報記録部４８により個人関連情報として記憶部３５に記憶させることで、非特定識別済み人物の個人を特定するための情報を自動的に記憶部３５に蓄積することができ、この結果、非特定識別済み人物の個人の特定に利用できる情報量を増加することができるため、非特定識別済み人物に関する情報の削減に寄与することができる。

また、収集手段によって収集した収集情報と、映像より検出される性別、年齢などの非特定識別済み人物の特徴情報とを比較照合して、明らかに一致し得ない組合せとなる収集情報については、関係者参考情報として当該個人非特定識別済み人物の識別情報に関連付けて記憶することができる。例えば、取引処理装置から収集された収集情報と非特定識別済み人物の特徴情報との内容が一の個人の情報として一致しない場合つまり、取引をしているのが代理の人物である場合でも、一の個人に関係する者であることを推定して、その行動を含む関係者参考情報として仮の認識情報に関連付けて記憶することができため、本人のみならずその関係者に関する情報を記憶して、非特定識別済み人物の個人の特定に利用することができる。

さらに、収集情報と関係者情報とを比較照合する際に、収集情報のさらに基本となる個人特定情報を収集部４７より呼び出すことで、例えば、収集情報により特定される個人と、映像により特定される人物とが相違することをより確実に検出することができるため、より多くの関係者参考情報を認識情報に関連付けて記憶させることが可能となり、この結果、非特定識別済み人物の個人が特定される機会を更に増加させることができる。

そして、個人非特定識別済み人物の識別情報に関連付けて記憶された個人関連情報および関係者参考情報のうち少なくとも何れか一方が予め設定された所定数に到達した場合すなわち、個人を特定するために十分な数量の情報が蓄積された場合に、仮の認証情報を、個人が特定された一の個人特定済み人物の認証情報として記憶部３５に登録可能となるため、非特定識別済み人物に関する情報を削減することができる。

なお、上述した実施の形態では、複数の人物映像メモリＭ１〜Ｍｎを設けた場合について説明したが、映像データを撮像したビデオカメラＶ１〜Ｖｎが区別できれば人物映像メモリＭ１〜Ｍｎは物理的に離別している必要はなく、１つの記憶媒体で構成しても良い。

また、上述の実施の形態では、顧客の行動を識別情報に関連付けて記憶させる場合について説明したが、店員の行動を同様に記憶させるようにしても良い。また、行動管理装置１００を銀行などの金融機関の店舗に設ける一例について説明したが、この構成に限られず、例えば、金融機関以外の店舗や店舗以外の場所に設けるようにしても良い。

さらに、上述の実施の形態では、映像バッファＢ１〜Ｂｎと人物映像メモリＭ１〜Ｍｎとを個別に設けた場合について説明したが、映像バッファＢ１〜Ｂｎに人物映像メモリＭ１〜Ｍｎの機能すなわち、個人を特定できない人物の映像データを記憶する機能を持たせるようにしても良い。
そして、上述の実施の形態では、ＡＴＭと窓口操作機が接続される場合の一例について説明したが、個人非特定識別済み人物の情報が入力される装置であればこれらに限られるものではない。

本発明の実施の形態における行動管理システムの概略構成図である。 本発明の実施の形態における店舗のレイアウトの一例を示す図である。

符号の説明

３１ 人物特定部（人物特定手段）
３４ 認証部（認証手段）
３５ 記憶部
３６ 識別情報付与部（識別情報付与手段）
３８ 行動検出部（行動検出手段）
３９ 文字データ変換部（文字データ変換手段）
４６ 装置検出部（装置検出手段）
４７ 収集部（収集手段）
４８ 関連情報記録部（関連情報記録手段）
４９ 関係者参考情報記録部（関係者参考情報記録手段）
１００ 行動管理装置
Ｖ１〜Ｖｎ ビデオカメラ（撮像手段）
Ｂ１〜Ｂｎ 映像バッファ（映像記憶手段）

Claims (4)

1. 所定エリア内の人物の行動を管理する行動管理システムにおいて、
   前記所定エリア内の映像を撮像する撮像手段と、
   前記撮像手段によって撮像された映像から人物を特定する人物特定手段と、
   前記人物特定手段によって特定された人物の認証を行う認証手段と、
   前記認証手段によって認証が行われた人物による所定の行動を検出する行動検出手段と、
   前記行動検出手段によって特定された所定の行動を文字データに変換する文字データ変換手段と、
   前記文字データ変換手段によって変換された文字データを前記認証手段により認証された人物の識別情報と関連付けて記憶する記憶手段と、
   を有した行動管理装置と、
   前記エリア内に設置され各種取引に関する処理を行う取引処理装置と、
   該取引処理装置と前記行動管理装置とを接続する接続手段と、
   前記人物特定手段によって特定された人物が、前記認証手段により認証できない場合に、この認証できない人物を特定するための識別情報を付与する識別情報付与手段を備え、該識別情報付与手段により識別情報を付与された個人非特定識別済み人物が、前記認証手段により認証された際に、この個人非特定識別済み人物が取引を行っている前記取引処理装置を検出する装置検出手段と、
   該装置検出手段により、検出された取引処理装置から取引中の情報を収集情報として収集する収集手段と、
   該収集手段によって収集された収集情報を、当該個人非特定識別済み人物に対する、個人関連情報として前記記憶手段に記憶させる関連情報記録手段と、
   を備えることを特徴とする行動管理システム。
2. 前記撮像手段によって撮像された映像より検出される個人非特定識別済み人物の特徴情報および前記収集手段により収集された収集情報を比較照合して、明らかに一致し得ない組合せとなる収集情報については、関係者参考情報として前記個人非特定識別済み人物の識別情報に関連付けて前記記憶手段に記憶させる関係者参考情報記録手段を備えることを特徴とする請求項１に記載の行動管理システム。
3. 前記収集情報と前記関係者情報とを比較照合する際に、前記収集情報のさらに基本となる個人特定情報を前記収集手段より呼び出すことを特徴とする請求項２に記載の行動管理システム。
4. 前記個人非特定識別済み人物の識別情報に関連付けて記憶された個人関連情報および関係者参考情報のうち少なくとも何れか一方が予め設定された所定数に到達した場合に、個人が特定された一の個人特定済み人物の認証情報として登録可能に構成されることを特徴とする請求項２又は３に記載の行動管理システム。

Images