JP5950484B2 - 防犯システム - Google Patents

防犯システム Download PDF

Info

Publication number
JP5950484B2
JP5950484B2 JP2015092958A JP2015092958A JP5950484B2 JP 5950484 B2 JP5950484 B2 JP 5950484B2 JP 2015092958 A JP2015092958 A JP 2015092958A JP 2015092958 A JP2015092958 A JP 2015092958A JP 5950484 B2 JP5950484 B2 JP 5950484B2
Authority
JP
Japan
Prior art keywords
store
image
information
visitor
face authentication
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015092958A
Other languages
English (en)
Other versions
JP2015187869A (ja
Inventor
壮志 河村
壮志 河村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LYKAON
Original Assignee
LYKAON
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2013248885 external-priority
Application filed by LYKAON filed Critical LYKAON
Priority to JP2015092958A priority Critical patent/JP5950484B2/ja
Publication of JP2015187869A publication Critical patent/JP2015187869A/ja
Application granted granted Critical
Publication of JP5950484B2 publication Critical patent/JP5950484B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、防犯システムに関し、例えば、顔認証照合処理を利用して注意対象者を検知し、検知した注意対象者に関する情報を提供することにより万引き等の犯罪を防止する防犯システムに関する。
物品販売小売業者は、万引き被害に悩まされており、万引きを防止するために各種対策が採られている。例えば、特許文献1には、顧客が入店したときに撮影された画像を入店顧客画像ファイル部より読み出し、万引き犯データベースに登録された常習者画像と順次リアルタイムに顔認証照合し、一致した場合該当人物を万引き常習者と特定し、アラームにより店員に知らせる「顔認証応用万引き検知システム」が開示されている。
特開2008−257487号公報
しかしながら、上述した従来技術(特許文献1に記載の発明)は、以下に示す技術的課題を有している。
具体的には、上述した「顔認証応用万引き検知システム」は、顔認証照合処理により、万引き犯データベースに登録された常習者が来店したと判定された際に、アラームにより店員に知らせるようになっているが、店員が認証された常習者の顔や特徴を覚えていないと、対応することができないという技術的課題を有している。特に、大型店舗などでは、来店者の数も多いため、店員は、常習者が来店していることを知らされただけでは、来店者のうちでどの人物を監視対象にするのか判断することは難しく、十分な防犯対策が取れない虞がある。また、従来技術では、経験の浅い店員等が、どのような対応をとればよいのかを判断できない虞がある。
本発明は、上記技術的課題に鑑みてなされたものであり、その目的は、万引き常習者等の注意対象者を検知し、検知した注意対象者に関する情報を携帯端末に提供することにより効果的な防犯対策を可能にする防犯システムを提供することにある。
上記課題を解決するためになされた本発明は、店舗に設置されたカメラが撮像した来店者の画像と予め記憶している万引き常習者の画像とを照合する顔認証照合処理を行う顔認証照合装置と、前記顔認証照合装置とネットワークを介して接続されているサーバ装置とを備える防犯システムに適用される。
そして、前記顔認証照合装置は、前記顔認証照合処理により、前記撮像した来店者の画像が前記万引き常習者の画像と一致した場合、前記サーバ装置に、前記撮像した来店者の画像、自身が設置されている店舗を識別する店舗IDを送信し、前記サーバ装置は、店員を特定するユーザIDと、店員の保持している携帯端末を識別する端末識別情報と、その店員の所属する店舗を識別する店舗IDと、万引き常習者に対する対応を指示する対応指示情報とを対応付けて記憶した端末データベースと、前記携帯端末に該ネットワークを介して万引き常習者に関する情報を提供する情報提供部とを有し、前記対応指示情報は、ユーザIDにより特定される店員毎に定めた内容になっており、前記情報提供部は、前記顔認証照合装置が送信した前記来店者の画像及び店舗IDを受信すると、前記端末データベースを参照し、前記店舗IDに対応付けられた携帯端末を特定すると共に、該店舗IDに対応付けられた対応指示情報を読み出し、特定した携帯端末に対して、万引き常習者が来店している旨を通知すると共に、万引き常習者が来店している旨を通知した携帯端末毎に、前記顔認証照合装置から送信された来店者の画像と前記読み出した店員毎に定めた対応指示情報を含む万引き常習者に関する情報を提供することを特徴とする。
このように、本発明では、顔認証照合処理により、カメラで撮像した人物の画像が万引き常習者の画像と一致した場合、予めサーバに登録しておいた携帯端末に、万引き常習者が検知された旨が通知されると共に、万引き常習者の撮像画像(実際にカメラで撮像した画像)と万引き常習者に対する対応を指示する対応指示情報とを含む万引き常習者に関する情報が提供される。
したがって、本発明によれば、店員は、万引き常習者が来店してきたときに、万引き常習者の画像(来店してきたときの画像)を手元で見ることができるため、どの顧客を監視すればよいのかを容易に把握することができる(万引き常習者の特徴を把握するために、例えば、管理事務所などに戻る必要がない)。特に、来店者の数が多い大型店舗等では、複数の店員が、一斉に、万引き常習者の画像を見て把握することができるため、万引き発生を効果的に防止することができる。
また、本発明では、店員の持つ携帯端末に「万引き常習者に対する対応を指示する対応指示情報」が提示される。そのため、例えば、対応指示情報として「声かけをして下さい」等の情報を提示すれば、店員に、万引き行為を思い留まらせる対応を促すことができる。その結果、本発明によれば、万引きによる深刻な損害の発生を防止でき、導入した店舗の経営を安定させることできるという作用効果が期待される。また、本発明によれば、万引き常習者に対して、万引き犯罪を繰り返させないという作用効果も期待できる。
また、本発明では、万引き常習者に対する対応指示情報が、ユーザIDにより特定される店員毎に定めた内容になっているため、例えば、店員の性別及び年齢、経験や能力等に応じて、「注意対象者への対応内容を示す情報」を登録しておくことができ、店員の安全に配慮した防犯活動を促すことができる。
また、前記顔認証照合装置は、前記万引き常習者の画像毎に、その万引き常習者の氏名、年齢、性別及び身体的特徴、犯歴、店舗への訪問履歴を含む詳細情報を対応付けて記憶した人物データベースを有し、前記撮像した来店者の画像が前記万引き常習者の画像と一致した場合、前記サーバ装置に、前記来店者の画像及び店舗IDと共に、一致した万引き常習者の画像に対応付けられた詳細情報を送信し、前記情報提供部は、前記顔認証照合装置から送信された前記来店者の画像及び店舗IDと共に前記詳細情報を受信し、前記携帯端末に提供する万引き常習者に関する情報に、前記詳細情報を含めることが望ましい。
上記の構成によれば、万引き常習者が検知された場合に、店員の持つ携帯端末に、その万引き常習者の氏名、年齢、性別及び身体的特徴、犯歴、店舗への訪問履歴を含む詳細情報が提供されるようになる。そのため、本発明によれば、店員が、万引き常習者に「名前を呼んでの声がけ(「○○さん、こんにちは」等の声がけ)を行うことも可能になり、万引き行為を思い留まらせることが期待できる。また、犯歴により、過去の万引きした商品の傾向などが判れば、店員は、その商品の置いてあるエリアの前を集中的に監視すれば、実際に万引きが行われることが防止される。
また、前記携帯端末に提供する万引き常習者に関する情報には、万引き常習者に対する対応の完了を受け付ける受け付けボタンが設けられており、該携帯端末を保持している店員により該受け付けボタンが操作されると、該携帯端末から前記サーバ装置を介して前記顔認証照合装置に、対応完了情報が送信されるようになっていることが望ましい。

上記の構成によれば、顔認証装置を管理責任者等がいる管理室等に設置しておくことで、管理責任者等に、発見した万引き常習者に対する対応が完了したことを知らせることができる。
本発明によれば、万引き常習者等の注意対象者を検知し、検知した注意対象者に関する情報を携帯端末に提供することにより効果的な防犯対策を可能にする防犯システムを提供することができる。
本発明の第1実施形態の防犯システムの全体構成を示した模式図である。 本発明の第1実施形態の防犯システムに用いられる人物データベースを示した模式図である。 本発明の第1実施形態の防犯システムに用いられる端末データベースを示した模式図である。 本発明の第1実施形態の防犯システムで用いられるスマートフォンの設定処理の手順を示したフローチャートである。 本発明の第1実施形態の防犯システムを構成する顔認証照合装置が行う顔認証照合処理に手順を示したフローチャートである。 本発明の第1実施形態の防犯システムを構成するサーバ装置が、スマートフォンに注意対象者に関する情報を提供する処理の工程を示した模式図である。 本発明の第1実施形態で用いられるスマートフォンのログイン画面を示した模式図である。 本発明の第1実施形態の防犯システムがスマートフォンに提供する注意対象に関する情報を表示する画面を示した模式図である。 本発明の第2実施形態の防犯システムの全体構成を示した模式図である。 本発明の第2実施形態の防犯システムを設置する店舗を格子状に区分けした店舗平面に、カメラを配置した状態を示した模式図である。 本発明の第2実施形態の防犯システムで用いられる要注意人物データベースの模式図である。 本発明の第2実施形態の防犯システムで用いられる来店者一時記憶データベースの模式図である。 本発明の第2実施形態の防犯システムで用いられる来店管理データベースの模式図である。 本発明の第2実施形態の防犯システムで用いられる検知履歴データベースの模式図である。 本発明の第2実施形態の防犯システムで用いられる犯行動作データベースの模式図である。 本発明の第2実施形態の防犯システムで用いられるエリア推定テーブルの模式図である。 本発明の第2実施形態の防犯システムで用いられる端末データベースの模式図である。 本発明の第2実施形態の防犯システムが行う来店者仮登録処理の手順を示したフローチャートである。 本発明の第2実施形態の防犯システムが行う退店者仮登録抹消処理の手順を示したフローチャートである。 本発明の第2実施形態の防犯システムが行う要注意人物検知処理の手順を示したフローチャートである。 本発明の第2実施形態の防犯システムが行う来店者監視処理の手順を示したフローチャートである。 本発明の第2実施形態の防犯システムを構成するサーバ装置が、スマートフォンに要注意人物に関する情報を提供する処理の工程を示した模式図である。 本発明の第2実施形態の防犯システムを構成するサーバ装置が、スマートフォンに不審な行動とる来店者に関する情報を提供する処理の工程を示した模式図である。 本発明の第2実施形態の防犯システムがスマートフォンに提供する要注意人物に関する情報を表示する画面を示した模式図である。 本発明の第2実施形態の防犯システムがスマートフォンに提供する不審な行動をとる来店者に関する情報を表示する画面を示した模式図である。
以下、本発明の実施形態について図面を用いて説明する。先ず、本発明の第1実施形態の防犯システムの構成について図1〜図3を用いて説明する。
尚、以下の説明は、第1実施形態の防犯システムが、店舗における万引き防止対策に用いられる場合の例を示している。
図1に示すように、第1実施形態の防犯システムは、店舗に設置されたカメラ(例えば、CCDカメラ)Cと、カメラCが撮像した来店者の画像と予め記憶している注意対象者(万引き常習者等の注意対象者)の画像とを照合する顔認証照合処理を行う顔認証照合装置1と、顔認証照合装置1とネットワークNW(インターネット)を介して接続されているサーバ装置3とを備えている。
なお、カメラCは、来店者の顔を撮像できるように、店舗の入口などに設置されている。
また、顔認証照合装置1には、回転灯L及びブザーBが接続されている。回転灯Lは、顔認証照合装置1に制御されており、顔認証照合装置1からの信号により点灯したり消灯したりする。また、ブザーBは、顔認証照合装置1に制御されており、顔認証照合装置1からの信号により所定時間アラーム音を鳴らす。
また、顔認証照合装置1は、パーソナルコンピュータで構成される管理端末Pに接続されており、この管理端末Pにより各種設定を受け付ける。
また、顔認証照合装置1は、店舗内に設置した無線LANに接続されている。そして、店員が保持するタブレット端末(携帯端末)TBは、無線LANを介して顔認証照合装置1にアクセスできるようになっている。また、店員が保持するスマートフォン(携帯端末)SPは、無線LANを介して顔認証照合装置1にアクセスできるようになっている。
また、スマートフォンSP及びタブレット端末TBには、防犯システム連携アプリ(アプリケ−ションプログラム)20がインストールされている。そして、スマートフォンSP及びタブレット端末TBは、防犯システム連携アプリにより、ネットワークNWを介して(或いは無線LANを経由のネットワークNWを介して)、サーバ3から送信される注意対象者(万引き常習者等の注意対象者)が来店している旨の通知する画像を表示部に表示したり、万引き常習者等を含む注意対象者に関する情報を表示部に表示するように構成されている。
なお、カメラC、回転灯L、ブザーB、タブレット端末TB、スマートフォンSP及び管理端末Pはいずれも公知なものが用いられるため、詳細な説明を省略する。
また、本実施形態の防犯システムでは、スマートフォンSP及びタブレット端末TBに対して、注意対象者が来店した旨を通知すると共に、注意対象者の撮像画像を含む注意対象者の詳細情報を提供できるが、説明の便宜上、スマートフォンSPに対する処理だけを説明し、タブレット端末TBに対する処理は省略する。
また、ネットワークNWには、スマートフォンSPにプッシュ通知を行うためのプッシュ通知サーバ(図示せず)が接続されている。
そして、上記の顔認証照合装置1は、顔認証照合処理により、カメラCで撮像した来店者の画像が人物データベース15に記憶された注意対象者の画像と一致した場合、サーバ装置3に、撮像した来店者の画像及び自身が設置されている店舗を識別する店舗IDを送信する。
また、サーバ装置3は、顔認証照合装置1が送信した画像及び店舗IDを受信すると、予め登録された端末データベース36を参照して、受信した店舗IDの店舗の店員のスマートフォンSPを特定し、特定したスマートフォンSPに対して、ネットワークNWを介して、注意対象者が検知された旨を通知すると共に、顔認証照合装置1から送信された人物の撮像画像を含む注意対象者に関する情報を提供する(図8参照)。
このように、第1実施形態によれば、店舗の各店員に、注意対象者が来店したことをリアルタイムで知らせることができると共に、各店員に、注意対象者の画像(来店してきたときの画像)を提供することができる。すなわち、第1実施形態によれば、店員は、注意対象者が来店してきたときに、注意対象者の画像(来店してきたときの画像)を手元で見ることができるため、来店している顧客のうちどの顧客を監視すればよいのかを容易に把握することができる。
以下、第1実施形態の防犯システムを構成する各装置について説明する。
先ず、顔認証照合装置1の構成を説明する。
顔認証照合装置1は、制御部10と、画像処理部11と、通信処理部12と、顔認証照合部13と、警報発信部14と、人物データベース15とを有している。
尚、顔認証照合装置1のハードウェア構成は、特に限定されるものではないが、例えば、中央処理装置(CPU)、主記憶装置、補助記憶装置、入出力I/F及び通信I/Fを備えるコンピュータ(1台或いは複数台のコンピュータ)により構成される。
また、上記補助記憶装置には、各部(制御部10、画像処理部11、通信処理部12、顔認証照合部13、警報発信部14)の機能を実現するためのプログラムが格納されている。また、前記補助記憶装置の所定領域には、人物データベース15が格納されている。そして、各部(制御部10、画像処理部11、通信処理部12、顔認証照合部13、警報発信部14)の機能は、中央処理装置(CPU)が補助記憶装置に格納された前記プログラムを主記憶装置にロードして実行することにより実現される。
次に顔認証照合装置1の各構成部を順に説明する。
人物データベース15は、注意対象者の画像データ(顔が写った画像データ)を登録しておくものであり、注意対象者の「性別」及び「年齢」に対応付けて、その注意対象者の顔を写した画像データを記憶している。第1実施形態では、注意対象者が、万引き常習者である場合を示している。
具体的には、図2に示すように、人物データベース15は、性別を登録するフィールド15aと、年齢を登録するフィールド15bと、注意対象者の顔を写した画像データ(例えば、jpeg形式の画像データ)を登録するフィールド15cと、注意対象者の付加情報を登録するフィールド15dとを有するレコードで構成されている(複数のレコードにより構成されている)。
なお、付加情報とは、注意対象者の特徴(長身、肥っている等の身体的特徴)や、氏名などの情報をいう。また、付加情報が無い注意対象者のレコードのフィールド15dには、「NULL」が格納されている。
また、図1に示す制御部11は、顔認証照合装置1全体の動作を制御すると共に、管理端末Pを介して、顔認証照合装置1に対する各種設定を受け付ける。
また、画像処理部11は、カメラCが撮像した来店者の画像を取得して、色調整などの画像処理を行う。また、通信処理部12は、ネットワークNWを介して、サーバ装置3の情報提供部31との間で各種情報の授受を行う。
また、顔認証照合部13は、画像処理部11により画像処理が施された来店者を撮像した画像を取得し、取得した来店者を撮像した画像と、人物データベース15に登録されている画像データとを顔認証照合する処理を行う。また、顔認証照合部13は、顔認証照合処理の結果、来店者を撮像した画像と、人物データベース15に登録されている画像データとが一致した場合、その旨を示すデータを警報発信部14に出力すると共に、通信処理部14を介して、サーバ装置3の情報提供部31に、来店者を撮像した画像(一致した来店者の画像)及び顔認証照合装置が設置されている店舗を識別する店舗IDを送信する。
また、警報発信部14は、顔認証照合部13が送信する「来店者を撮像した画像と、人物データベース15に登録されている画像データとが一致した旨を示すデータ」を受信すると、回転灯Lに対して点灯を指示する信号を送信して回転灯Lを点灯させると共に、ブザーBにアラーム出力を指示する信号を送信して、ブザーBからアラーム音を鳴らす。
次に、サーバ装置3の構成を説明する。
サーバ装置3は、制御部30と、情報提供部31と、人物データベース15と、端末データベース36とを有している。
尚、サーバ装置3のハードウェア構成は、特に限定されるものではないが、例えば、中央処理装置(CPU)、主記憶装置、補助記憶装置、入出力I/F及び通信I/Fを備えるコンピュータ(1台或いは複数台のコンピュータ)により構成される。
また、上記補助記憶装置には、各部(制御部30、情報提供部31)の機能を実現するためのプログラムが格納されている。また、前記補助記憶装置の所定領域には、人物データベース15及び端末データベース36が格納されている。そして、各部(制御部30、情報提供部31)の機能は、中央処理装置が補助記憶装置に格納された前記プログラムを主記憶装置にロードして実行することにより実現される。
次に、サーバ装置3の各構成部を順に説明する。
人物データベース15は、顔認証照合装置1の人物データベース15と同様に構成されており、同様のデータが登録されている。すなわち、注意対象者の「性別」及び「年齢」に対応付けて、その注意対象者の顔を写した画像データを記憶している。
なお、第1実施形態の人物データベース15は、以下のように生成される。すなわち、複数の店舗(図示せず)の各顔認証照合装置1で注意対象者の画像データ(注意対象者の「性別」及び「年齢」に対応付けて、その注意対象者の顔を写した画像データ)を登録し、その画像データをサーバ装置3に送信する。サーバ装置3は、各店舗の顔認証照合装置1から送信された画像データを集計することにより人物データベース15を生成し、生成した人物データベース15を、各店舗の顔認証照合装置1に送信して記憶させる。
このように人物データベース15を作成することにより、他の店舗で問題を起こした人物が来店してきた場合においても監視を行うことができるため、効果的な防犯対策が実現される。
また、端末データベース36は、店員の保持しているスマートフォンSPを識別するデバイストークン(端末識別情報)と、その店員の所属する店舗を識別する店舗識別情報(店舗ID)とを対応付けて記憶したものである。すなわち、端末データベース36は、スマートフォンSPを保持する店員のユーザID毎に、そのユーザのログインパスワード、デバイストークン(端末識別情報)及び店舗IDを対応付けて記憶させたものである。
より具体的には、端末データベース36は、図3に示すように、ユーザIDを登録するフィールド36aと、パスワードを登録するフィールド36bと、デバイストークンを登録するフィールド36cと、店舗IDを登録するフィールド36dとを有する
レコードにより構成されている(複数のレコードにより構成されている)。
また、図1に示す制御部30は、サーバ装置3全体の動作を制御する。
また、情報提供部31は、顔認証照合装置1が送信した来店者の画像及び店舗IDを受信すると、端末データベース36を参照し、店舗IDに対応付けられたスマートフォンSPを特定し、特定したスマートフォンSPに、注意対象者が来店している旨を通知すると共に、スマートフォンSPに、顔認証照合装置1から送信された来店者の画像を含む注意対象者に関する情報を提供する(図8(b)に示す、注意対象者詳細サイト120を提供する)。
次に、第1実施形態の防犯システムが行う処理内容について説明する。
先ず、防犯システムを利用するためのスマートフォンSPの設定処理について、図4、図7を用いて説明する。
なお、図4は、第1実施形態の防犯システムで用いられるスマートフォンの設定処理の手順を示したフローチャートである。また、図7は、第1実施形態で用いられるスマートフォンのログイン画面を示した模式図である。
第1実施形態の防犯システムを利用するためには、店舗の店員が持つスマートフォンSPに、専用のアプリケ−ションプログラム(防犯システム連携アプリ20)をインストールし、スマートフォンSPを防犯システムと連携して機能できるように設定する必要がある。
この防犯システム連携アプリ20を起動させた状態にすると、スマートフォンSPは、サーバ装置3からのプッシュ通知が受信されるようになると共に、サーバ措置3が提供する注意対象者の画像を示したサイト(図8(b)に示す「注意対象者詳細サイト」)にアクセスし、スマートフォンSPの表示部に前記サイト表示できるようになる。
具体的には、先ず、スマートフォンSPのユーザ(店員)は、図示しないアプリケーションサーバ(例えば、米国アップル社のアプリケーションサーバ)から防犯システム連携アプリ20をスマートフォンSPにインストールして、初期設定をする(S1)。
ここで初期設定について説明する。店員が、スマートフォンSPにインストールした防犯システム連携アプリ20を最初に起動させると、スマートフォンSPのOS(Operating System)を介して、プッシュ通知サーバ(図示せず)に登録要求が送信される。この登録要求に対し、プッシュ通知サーバは、登録要求をしたスマートフォンSPのデバイストークンを生成し、スマートフォンSPにデバイストークンを送信する。スマートフォンSPは、プッシュ通知サーバからのデバイストークンを受信すると、防犯システム連携アプリ20により提供される初期設定画面(図示せず)を表示させ、ユーザID(英数字などで構成される一意のデータ)、パスワード及び店員が所属する店舗の店舗IDを入力させる。スマートフォンSPは、ユーザID、パスワード及び店舗IDの入力を受け付けると、「ユーザID、パスワード及び店舗ID」を情報提供サーバ3の端末データベース36に登録する(サーバ装置3がスマートフォンSPからの情報(ユーザID、パスワード及び店舗ID)を端末データベース36に登録する)。また、スマートフォンSPは、内蔵のメモリに、プッシュ通知サーバ7からのデバイストークンを記憶させる。
なお、スマートフォンSPのユーザは、この初期設定に先だって、本実施形態の防犯システムを提供する事業者から、初期設定で入力する必要がある店舗IDを取得しているものとする。
S1の初期設定を終了してから、店員が防犯システム連携アプリ20を起動すると、スマートフォンSPは、図7に示すログイン画面100を表示する(S2)。店員は、ログイン画面100上で、ユーザID及びパスワードを入力してログイン処理をする(S3、S4)。
具体的には、スマートフォンSPは、店員から「ユーザID及びパスワード」の入力を受け付けると、サーバ装置3の情報提供部31に「ユーザID及びパスワード」を送信する。情報提供部31は、スマートフォンSPから送信された「ユーザID及びパスワード」と、端末データベース36を照合して「ユーザID及びパスワード」が正しければ、スマートフォンSPに図7に示すログイン成功画面101を送信し、スマートフォンSPにログイン成功画面101を表示して、S5の処理に進む。
一方、情報提供部31は、照合の結果、受信した「ユーザID及びパスワード」が端末データベース35に登録されているものと一致しなければ、スマートフォンSPに図7に示すログイン失敗画面102を送信して、スマートフォンSPにログイン失敗画面102を表示して、S3の処理に戻り、店員に、「ユーザID及びパスワード」の再入力を促す。
S5では、スマートフォンSPは、サーバ装置2の情報処理部31に、自身のデバイストークンを送信する。
また、サーバ装置3の情報処理部31は、スマートフォンSPから送信されたデバイストークンを受信すると、端末データベース36のなかの、S3で入力された「ユーザID及びパスワード」を登録したレコードに、受信したデバイストークンを登録する(S6)。
S6の処理が終わると、スマートフォンSPは、防犯システム連携アプリ20により、防犯システムと連携して機能する。すなわち、S6の処理が終わると、スマートフォンSPは、入店する注意対象者が検知される度に、注意対象者が来店したことを示す情報がプッシュ通知されると共に、注意対象者の画像(来店してきたときの画像)を示すサイトにアクセスできるようになる。
次に、第1実施形態の防犯システムによる、注意対象者の入店を検知する処理と、注意対象者が検知された際に、店員のスマートフォンに注意対象者に関する情報を提供する処理とについて、図5〜6、8を用いて説明する。
なお、図5は、第1実施形態の防犯システムを構成する顔認証照合装置が行う顔認証照合処理に手順を示したフローチャートである。また、図6は、第1実施形態の防犯システムを構成するサーバ装置が、スマートフォンに注意対象者に関する情報を提供する処理の工程を示した模式図である。また、図8は、第1実施形態の防犯システムがスマートフォンに提供する注意対象者に関する情報を表示する画面を示した模式図である。
先ず、顔認証照合装置1が行う注意対象者の入店を検知する処理を説明する。
図5に示すように、顔認証照合装置1の画像処理部11は、カメラCが撮像した来店者の画像を取得し(S10)、取得した来店者の画像に色調整などの画像処理を施す(S11)。
次に、顔認証照合部13は、画像処理部11が画像処理を施した「来店者を撮像した画像」を取得し、取得した画像から来店者の性別及び年齢を推定する(S12)。例えば、顔認証照合部13は、取得した画像から、来店者が「男性」で「20〜35歳位の年齢」であると推定する。
なお、S12で行う推定処理は、公知技術を用いるため、詳細な説明を省略する。
次に、顔認証照合部12は、人物データベース15にアクセスして、推定した性別及び年齢に対応付けられている画像データが登録されているレコードを抽出し、抽出したレコードの画像データと、画像処理部11から取得したカメラCが撮像した来店者の画像とを照合していく(S13、14)。
なお、S13で行う顔認証照合処理は、公知技術を用いるため、詳細な説明を省略する。
そして、S13、14の顔認証照合処理の結果、来店者を撮像した画像と、人物データベース15に登録されている画像データとが一致しなければ、S10の処理に戻る。
一方、S13、14の顔認証照合処理の結果、来店者を撮像した画像と、人物データベース15に登録されている画像データとが一致した場合、その旨を示すデータを警報発信部14に出力すると共に、通信処理部12を介して、サーバ装置3の情報提供部31に、来店者を撮像した画像(一致した来店者(すなわち注意対象者)の画像)、一致した来店者の付加情報(来店者の特徴(長身、肥っている等の身体的特徴)や、氏名などの情報)、及び顔認証照合装置1が設置されている店舗を識別する店舗IDを送信する(S15)。
なお、店舗IDは、顔認証照合装置1に予め記憶されている。
そして、来店者を撮像した画像と、人物データベース15に登録されている画像データとが一致した旨を示すデータを受信した警報発信部14は、上述したように、回転灯Lを点灯させると共に、ブザーBにアラームを鳴らす。
また、顔認証照合装置1から、来店者を撮像した画像(一致した来店者の画像)、来店者の付加情報及び店舗IDを送信されたサーバ装置3は、図6に示す処理手順により、登録されたスマートフォンSPに対して注意対象者に関する情報を提供する。
図6に示すように、サーバ装置3の情報提供部31は、顔認証照合装置1から送信された「来店者(注意対象者)を撮像した画像、その来店者(注意対象者)の付加情報及び店舗ID」を受信すると(S20)、その受信した情報と、端末データベース36とを用いて、受信した店舗IDに対応付けられたスマートフォンSPを特定し、特定したスマートフォンSPに対して、プッシュ通知サーバ(図示せず)を介して、「注意対象者が来店している旨を示す情報」及び「注意対象者の詳細情報を示した注意対象者詳細サイトへのアクセス情報」をプッシュ通知する(S21)。
すなわち、S21では、サーバ装置情報提供部31は、端末データベース36を参照し、受信した店舗IDが登録されているレコードを抽出し、そのレコードのデバイストークンのスマートフォンSPに、「注意対象者が来店している旨を示す情報」及び「注意対象者詳細サイトのアクセス情報」を送信する(プッシュ通知する)。
具体的には、S21では、情報提供部31は、S20で受信した情報を用いて、「カメラCが撮像した注意対象者の撮像画像」、「注意対象者が来店している旨を示す情報」、「来店者(注意対象者)の付加情報」が含まれる注意対象者詳細サイトを生成する。
また、情報提供部31は、端末データベース36を参照し、受信した「店舗ID」が登録されているレコードを全て選択し、選択したレコードに登録されたデバイストークンを抽出する。また、情報提供部31は、「注意対象者情報」を用いて、プッシュ通知で提示するプッシュ通知情報(「注意対象者が来店している旨を示す情報」及び「注意対象者詳細サイトへのアクセス情報」)と、デバイストークンとが含まれる通知パッケージを生成し、その通知パッケージを図示しないプッシュ通知サーバに送信する。
前記プッシュ通知サーバは、上記の通知パッケージを受信すると、通知パッケージに含まれるデバイストークンにより特定されるスマートフォンSPに対して、(「注意対象者が来店している旨」及び「注意対象者詳細サイトへのアクセス情報」を送信する。
また、サーバ装置3から「注意対象者が来店している旨を示す情報」及び「注意対象者詳細サイトのアクセス情報」が送られたスマートフォンSPは以下の処理を行う。
具体的には、スマートフォンSPは、防犯システム連携アプリ20により、受信した「注意対象者が来店している旨を示す情報」及び「注意対象者詳細サイトのアクセス情報」を受信するとスマートフォンSPの表示部に、図8(a)に示す注意対象人物通知画面110を表示する(S30)。なお、スマートフォンSPは、サーバ装置3からの情報を受信すると、振動(バイブレート)したり或いはサウンドを鳴らすようになっている。
スマートフォンSPに表示された注意対象人物通知画面110を見た店員により、注意対象人物通知画面110上に設けられたViewボタン112が押されると、スマートフォンSPは、サーバ装置3の情報提供部31にアクセスし、情報提供部31に、注意対象者詳細サイトの提供を要求する(S31)。
サーバ装置3の情報提供部31は、スマートフォンSPからの詳細サイト提供の要求を受けると、当該要求してきたスマートフォンSPに対して、S21で生成した注意対象者詳細サイトを送信する(S22)。
そして、スマートフォンSPは、S22の処理により情報提供部31から送信された「注意対象者詳細サイト」を受信して、スマートフォンSPの表示部に、図8(b)に示す注意対象者詳細サイト111を表示する(S33)。
図示する例では、注意対象者詳細サイト111には、カメラCが撮像した注意対象者の画像を表示する領域121が設けられていると共に、注意対象者の氏名や特徴を提示する領域122が設けられている。また、注意対象者詳細画面111には、対応完了を受け付けるボタン121と、店舗に電話をかけるボタン124とが設けられている。
このように、第1実施形態によれば、各店員に、注意対象者が来店したことをリアルタイムで知らせることができると共に、各店員に、注意対象者の画像(来店してきたときの画像)を提供することができる。すなわち、本実施形態によれば、店員は、注意対象者が来店してきたときに、注意対象者の画像(店舗で撮像した画像)を手元で見ることができるため、どの顧客を監視すればよいのかを容易に把握することができる。
そのため、例えば、来店者の数が多い大型店舗に本実施形態の防犯システムを適用することにより、複数の店員が、一斉に、注意対象者の画像を見て把握することができるため、万引き発生を効果的に防止することができる。
次に、本発明の第2実施形態について説明する。
本発明の第2実施形態は、上述した第1実施形態の防犯システムの機能(予め登録した注意対象者が来店した場合、注意対象者が来店したことを検知して、そのことを店員にリアルタイムで知らせる機能)に、さらに、来店者が不審な行動をとった場合に、それを検知して店員に知らせる機能と、各店員に注意対象者への対応を指示する機能とを加えたものである。
尚、第2実施形態の説明では、上述した第1実施形態と同じ構成や相当する構成には同じ符号を付けている。また、第2実施形態では、第1実施形態と異なる構成を中心に説明し、同じ構成の説明は省略(或は簡略化)する。また、第2実施形態においても、第1実施形態と同様、注意対象者が万引き常習者である場合を例にする。
先ず、第2実施形態の構成について、図9及び図10を用いて説明する。
ここで、図9は、本発明の第2実施形態の防犯システムの全体構成を示した模式図である。また、図10は、本発明の第2実施形態の防犯システムを設置する店舗を格子状に区分けした店舗平面に、カメラを配置した状態を示した模式図である。
図9に示すように、第2実施形態の防犯システムは、店舗の出入口の近傍に設置されたカメラCE1、CE2と、店舗内に設置されたカメラCn(図示する例では、n=1〜17)と、カメラCnが撮像した来店者の画像と予め記憶している注意対象者の画像とを照合する顔認証照合処理を行う顔認証照合装置1と、顔認証照合装置1とネットワークNW(インターネット)を介して接続されているサーバ装置3とを備えている。
また、第2実施形態では、図10に示すように、店舗が格子状に区分けされ、複数のエリア(A1〜A5、B1〜B5、C1〜C5、D1〜D5、E1〜E5)に分割されている。
また、出入口撮像用として、入店者撮像用カメラCE1と、退店者撮像用カメラCE2とが設けられている。ここで、カメラCE1は、出入口から入店してくる人物の顔が撮像できる位置に設置され、カメラCE2は、出入口から退店していく人物の顔が撮像できる位置に設置されている。また、カメラCnは、それぞれ、店舗の異なる位置に設置され、担当する店舗のエリア(所定数のエリア)を撮像できる位置に設置されている。例えば、図示する例では、カメラC1及びカメラC15は、エリアA5、B5、C5、D5、E5を通る人物を撮像できる位置に設置されている。また、例えば、カメラC6及びカメラC17は、エリアA1、A2、A3、A4、A5を通る人物を撮像できる位置に設置されている。
尚、図10では、出入口が1つの店舗を例にしているため、出入口撮影用として、2台のカメラCE1、CE2が設けられているが、出入口が複数ある店舗の場合、出入口毎に、2台の出入口撮像用カメラを設けておく。
そして、第2実施形態の防犯システムは、各カメラC1・・・C17が撮像した画像から、来店者が店舗内でどのエリアを通過したかを特定して、来店者の動線(行動パターン)を把握して、予め登録された行動パターン(例えば、過去に万引きしたと判断される人物の行動パターン等)と類似する行動パターンの来店者がいる場合、サーバ装置3を介して、不審行動をとる来店者がいる旨を店員のスマートフォンSPに通知する機能(来店者監視機能)が追加されている。
また、第2実施形態では、サーバ装置3の端末データベース70に、スマートフォンSPのユーザ毎に定めた、注意対象者への対応を指示する情報が登録されるようになっている。そして、第2実施形態では、注意対象者(予め登録した要注意人物や不審な行動をとる来店者)が店舗にいると認定した場合、サーバ装置3を介して、スマートフォンSPに対して、スマートフォンSPのユーザ毎に定めた、注意対象者への対応内容が提供されるようになっている。
以下、第2実施形態の防犯システムの各構成を説明していく。
先ず、顔認証照合装置1の構成を説明する。
顔認証照合装置1は、制御部10と、画像処理部11と、通信処理部12と、顔認証照合部13と、警報発信部14と、行動監視部50と、要注意人物データベース60と、来店者一時記憶データベース61と、来店管理データベース62と、検知履歴データベース63と、犯行動作データベース64と、エリア推定テーブル65とを有している。
尚、顔認証照合装置1のハードウェア構成は、特に限定されるものではないが、第1実施形態と同様、中央処理装置(CPU)、主記憶装置、補助記憶装置、入出力I/F及び通信I/Fを備えるコンピュータ(1台或いは複数台のコンピュータ)により構成される。
また、上記補助記憶装置には、各部(制御部10、画像処理部11、通信処理部12、顔認証照合部13、警報発信部14、行動監視部50)の機能を実現するためのプログラムが格納されている。また、前記補助記憶装置の所定領域には、上記各データベース(要注意人物データベース60、来店者一時記憶データベース61、来店管理データベース62、検知履歴データベース63、犯行動作データベース64、エリア推定テーブル65)が格納されている。そして、各部(制御部10、画像処理部11、通信処理部12、顔認証照合部13、警報発信部14、行動監視部50)の機能は、中央処理装置(CPU)が補助記憶装置に格納された前記プログラムを主記憶装置にロードして実行することにより実現される。
次に、第2実施形態の顔認証照合装置1の各構成部を説明する。
第2実施形態の顔認証照合装置1は、第1実施形態の顔認証照合装置1に対して、顔認証照合部13が行う機能を一部変更し追加し、且つ行動監視部50を追加している。また、第2実施形態では、第1実施形態の人物データベース15の代わりに、人物データベース15の内容を変形した要注意人物データベース60を設けた構成になっている。また、第2実施形態では、新たに、来店者一時記憶データベース61、来店管理データベース62、検知履歴データベース63、犯行動作データベース64、エリア推定テーブル65を設けている。
具体的には、顔認証照合部13は、カメラC1・・・C17が撮像した来店者を撮像した画像を取得し、取得した来店者を撮像した画像と、要注意人物データベース60に登録されている画像データとを顔認証照合する処理を行う。そして、顔認証照合部13は、顔認証照合処理の結果、来店者を撮像した画像と、要注意人物データベース60に登録されている画像データとが一致した場合、その旨を示すデータを警報発信部14に出力すると共に、サーバ装置3を介して、要注意人物が来店している旨を店員のスマートフォンSPに通知するようになっている。
また、行動監視部50は、カメラC1・・・C17が撮像した画像から抽出した来店者の顔画像のピクセル数と、後述するエリア推定TB65とを用いて、来店者が店舗のどのエリア(A1〜A5、B1〜B5、C1〜C5、D1〜D5、E1〜E5)を通過したかを特定し、後述する来店管理データベース62に特定したエリアを登録して来店者の行動パターンを更新していく。そして、行動監視部50は、来店管理データベース62に登録された来店者の行動パターンと、後述する犯行動作データベース64に登録された行動パターンとを比較して、類似する行動パターンの来店者がいる場合、不審な行動をとる来店者がいると判定し、その旨示す情報を顔認証照合部13に送信する。顔認証照合部13は、不審な行動をとる来店者がいる旨を示す情報を受けると、サーバ装置3を介して、不審行動をとる来店者がいる旨を店員のスマートフォンSPに通知するようになっている。
尚、第2実施形態の顔認証照合部13及び行動監視部50が行う処理は、後段で詳細に説明する。
次に、要注意人物データベース60について、図11を参照しながら説明する。
尚、図11は、本発明の第2実施形態の防犯システムで用いられる要注意人物データベースの模式図である。
要注意人物データベース60は、第1実施形態の人物データベース15と同様の役割を果たすものであり、人物データベース15と比べて、より詳細な情報が登録できるように構成されている。
図示するように、要注意人物データベース60は、注意対象者を識別する注意対象者IDに対応付けて、注意対象者の画像データ(顔が写った画像データ)と、注意対象者の氏名、年齢、身体的特徴等の属性情報と、犯行履歴と、来店回数及び来店履歴とを記憶するデータベースである。
具体的には、要注意人物データベース60は、注意対象者IDを登録するためのフィールド60aと、注意対象者の顔を写した画像データ(例えば、jpeg形式の画像データ)を登録するフィールド60bと、注意対象者の氏名を登録するフィールド60cと、注意対象者の性別を登録するフィールド60dと、注意対象者の年齢を登録するフィールド60eと、注意対象者の連絡先を登録するフィールド60fと、注意対象者の身体的特徴を登録するフィールド60gと、注意対象者の犯行履歴(犯歴)を登録するフィールド60hと、注意対象者の来店回数を登録するフィールド60iと、注意対象者の来店履歴を登録するフィールド60jとを有するレコードで構成されている(複数のレコードにより構成されている)。
ここで、注意対象者IDとは、要注意人物データベース60に登録される注意対象者毎に割り当てた一意のデータであり、英数字等で構成される。また、フィールド60hには、犯行履歴として、犯罪行為(万引き等)と、犯罪行為の内容(万引きした製品(書籍、洋服等))が登録される。また、フィールド60iの来店回数は、注意対象者の来店が検知されるたびに、顔認証照合部13により更新され、フィールド60jの来店履歴は、注意対象者の来店が検知されるたびに、顔認証照合部13により追加される。
次に、来店者一時記憶データベース61について、図12を参照しながら説明する。
尚、図12は、本発明の第2実施形態の防犯システムで用いられる来店者一時記憶データベースの模式図である。
来店者一時記憶データベース61は、店舗に来店した人物の顔画像を、その人物が退店するまで一時的に記憶しておくためのデータベースであり、来店者を識別する来店者IDに対応付けて、その来店者を撮像した画像(顔画像)、入店日時、推定性別及び推定年齢を記憶している。この来店者一時記憶データベース61は、来店者の店舗における行動パターンを把握するために用いられる。
具体的には、来店者一時記憶データベース61は、来店者IDを登録するフィールド61aと、来店者の顔を写した画像データ(例えば、jpeg形式の画像データ)を登録するフィールド61bと、来店者の入店日時を登録するフィールド61cと、来店者の推定性別を登録するフィールド61dと、来店者の推定年齢を登録するフィールド61eとを有するレコードで構成されている(複数のレコードにより構成されている)。
尚、個人を特定しないために、フィールド61bに、「来店者の顔を写した画像データ」の代わりに、顔の特徴値をスコア化した数例を登録するようにしてもよい。
ここで、来店者IDとは、来店者データベース61に登録される来店者毎に割り当てた一意のデータであり、英数字等で構成される。また、フィールド61bに登録される来店者の顔画像は、来店者が出入口を通り入店してきた際に、カメラ(入店者撮像用カメラ)CE1で撮像された画像から抽出したものである。フィールド61d、61eに登録される推定性別、推定年齢とは、顔認証照合部13が、カメラCE1で撮像された画像を用いて推定した性別及び年齢である。
次に、来店管理データベース62について、図13を参照しながら説明する。
尚、図13は、本発明の第2実施形態の防犯システムで用いられる来店管理データベースの模式図である。
来店管理データベース62は、店舗に来店した人物の店舗内における行動パターン(店舗内での通過エリアを時系列で並べた行動パターン)を登録するためのデータベースであり、来店者IDに対応付けて、その来店者の店舗での行動パターン、店舗における滞在時間、その来店者の推定性別、その来店者の推定年齢及び注意人物フラグを記憶している。この来店管理データベース62は、後述する犯行動作データベース64と共に、来店者が不審な行動をとっているか否かの判定に用いられる。
具体的には、来店管理データベース62は、来店者IDを登録するフィールド62aと、来店者の行動パターンを登録するフィールド62bと、来店者の滞在時間を登録するフィールド62cと、来店者の推定性別を登録するフィールド62dと、来店者の推定年齢を登録するフィールド62eと、注意人物フラグを登録するフィールド62fとを有するレコードで構成されている(複数のレコードにより構成されている)。
フィールド62bに登録される行動パターンとは、来店者が店舗内で通過したエリア及びそのエリアの通過時間を時系列に並べて登録したものである。図示する最上段のレコードのフィールド62bには、「2014年5月2日、11:00にエリアE5を通過し、11:01にエリアE4を通り、11:03に再びエリアE5を通過し、11:05にエリアD5を通過したことを示す行動パターン」が登録されている。このように、第2実施形態では、来店者が、いつ(何時何分)、店舗のどのエリアを通過したのか時系列で登録しておくことで、来店者の店舗内における行動パターン(動線)を把握できるようにしている。
尚、フィールド62bに登録される行動パターンは、行動監視部50により、来店者の通過エリアを特定する度に、そのエリア及び時間情報が追加登録され更新されていく。
また、フィールド62fには、通常「NULL」が登録されており、行動監視部50により、フィールド62bに登録されている行動パターンが不審であると認定された場合に、フラグとして「1」が登録されるようになっている。
次に、検知履歴データベース63について、図14を参照しながら説明する。
尚、図14は、本発明の第2実施形態の防犯システムで用いられる検知履歴データベースの模式図である。
検知履歴データベース63は、要注意人物データベース60に登録された注意対象者の検知履歴を登録するためのデータベースであり、注意対象者IDに対応付けて、登録した顔画像、撮像した顔画像、認証精度及び検知日時を記憶している。
具体的には、検知履歴データベース63は、注意対象者IDを登録するためのフィールド63aと、要注意人物データベース60に登録された注意対象者の顔画像を登録するフィールド63bと、カメラCnにより実際に撮像された注意対象者の顔画像を登録するフィールド63cと、顔認証照合部13が行う顔認証照合処理の認証精度を登録するフィールド63dと、検知日時を登録するフィールド63eとを有するレコードで構成されている(複数のレコードにより構成されている)。
次に、犯行動作データベース64について、図15を参照しながら説明する。
尚、図15は、本発明の第2実施形態の防犯システムで用いられる犯行動作データベースの模式図である。
犯行動作データベース64は、不審であると考えられる店舗における「行動パターン(店舗内での通過エリアを時系列で並べた行動パターン)」を登録しておくためのデータベースであり、不審と考えられる行動パターンを識別するパターンIDに対応付けて、不審な行動パターン、推定性別、推定年齢及び犯行内容を記憶している。第2実施形態では、犯行動作データベース64に登録された行動パターンと、来店管理データベース62に登録された行動パターンとを比較し、所定以上類似しているか否か(例えば、一致点が所定以上あるか否か)により、来店者の行動が不審であるか否かを判定するようになっている。
具体的には、犯行動作データベース64は、パターンIDを登録するフィールド64aと、パターンIDにより特定される行動パターンを登録するフィールド64bと、滞在時間を登録するフィールド64cと、推定性別を登録するフィールド64dと、推定年齢を登録するフィールド64eと、犯行内容を登録するフィールド64fとを有するレコードで構成されている(複数のレコードにより構成されている)。
パターンIDとは、犯行動作データベース64に登録される行動パターン毎に割り当てた一意のデータであり、英数字等で構成される。また、フィールド64b〜64fには、本システムの管理者が、過去の店舗における万引き常習者の行動等を元に作成したデータが登録される。また、フィールド64b〜64fには、システム管理者が、来店者管理データベース62に登録されたデータ及びカメラCnが撮像したデータを分析して、万引きが行われたと推定される人物の「行動パターン、推定性別、推定年齢、犯行内容」を来店者管理データベース62から抽出して登録するようにしてもよい。
尚、システム管理者が、過去の店舗における万引き常習者の行動等を元に作成したデータを登録する場合、滞在時間、推定性別、推定年齢、犯行内容については、具体的な内容を登録せずに「NULL」を登録するようにしてもよい。
次に、エリア推定テーブル65について、図16を参照しながら説明する。
尚、図16は、本発明の第2実施形態の防犯システムで用いられるエリア推定テーブルの模式図である。
エリア推定テーブル65は、カメラCnが撮像した来店者の顔画像から、来店者が撮像された(通過した)店舗のエリア(A1〜A5、B1〜B5、C1〜C5、D1〜D5、E1〜E5)を特定するために用いられるものであり、カメラCnを識別する各カメラIDに、顔画像の画素数範囲毎に対応する店舗のエリアを示す情報を関連付けて記憶している。
エリア推定テーブル65は、カメラIDを登録するフィールド65aと、第1画素数範囲の顔画像に対応するエリアを登録するフィールド65bと、第2画素数範囲の顔画像に対応するエリアを登録するフィールド65cと、第3画素数範囲の顔画像に対応するエリアを登録するフィールド65dと、第4画素数範囲の顔画像に対応するエリアを登録するフィールド65eと、第5画素数範囲の顔画像に対応する店舗のエリアを登録するフィールド65fとを有するレコードで構成されている(複数のレコードにより構成されている)。
ここで、カメラIDとは、第2実施形態で用いられるカメラC1〜Cn、CE1、CE2毎に割り当てた一意のデータであり、英数字等で構成される。
尚、第1画素数範囲が第2画素数範囲より小さく(第1画素数範囲<第2画素数範囲)、
第2画素数範囲が第3画素数範囲より小さく(第2画素数範囲<第3画素数範囲)、第3画素数範囲が第4画素数範囲より小さく(第3画素数範囲<第4画素数範囲)、第4画素数範囲が第5画素数範囲より小さい(第4画素数範囲<第5画素数範囲)ものとする。
次に、エリア推定テーブル65の役割を説明する。
第2実施形態では、カメラC1〜Cn、CE1、CE2は、それぞれ、店舗における撮像できるエリアが定められている(図10参照)。そのため、カメラC1〜Cn、CE1、CE2で撮像した来店者の画像から抽出した顔画像の大きさ(画素数)により、来店者がいたエリア(撮像されたエリア)を推定できるようになっている。
例えば、カメラC1は、店舗内のエリアA5、B5、C5、D5、E5を撮像できる位置に設置され、レンズや設置角度が調節されている。したがって、カメラC1で撮像された来店者は、エリアA5、B5、C5、D5、E5のいずれかの位置にいたことになる。
そして、カメラC1により、エリアA5で撮像された来店者の画像から抽出された顔画像の画素数は、エリアB5で撮像された来店者の画像から抽出された顔画像の画素数よりも大きくなる。また、カメラC1により、エリアB5で撮像された来店者の画像から抽出された顔画像の画素数は、エリアC5で撮像された来店者の画像から抽出された顔画像の画素数よりも大きくなる。また、カメラC1により、エリアC5(又はD5)で撮像された来店者の画像から抽出された顔画像の画素数は、エリアD5(又はE5)で撮像された来店者の画像から抽出された顔画像の画素数よりも大きくなる。
尚、カメラCE1は、出入口から入店してくる人物の顔を撮像するように設定されているため、カメラCE1で撮像された人物の通過エリアは出入口があるエリアE5になる。同様に、カメラCE2は、出入口から退店していく人物の顔を撮像するように設定されているため、カメラCE2で撮像された人物の通過エリアは出入口があるエリアE5になる。
そして、各カメラIDに、顔画像の画素数範囲毎に対応する店舗のエリアを示す情報を関連付けたエリア推定テーブル65を設けることで、カメラCnが撮像した画像及びエリア推定テーブル65から、来店者がどのエリアを通過したか推定できるようになる。
例えば、カメラC1で撮像した来店者の画像から抽出した顔画像の大きさ(画素数)が、第1画素数範囲であれば、来店者は、エリアE5にいたところを撮像されたと推定される。又、例えば、カメラC2で撮像した来店者の画像から抽出した顔画像の大きさ(画素数)が、第5画素数範囲であれば、来店者は、エリアA4にいたところを撮像されたと推定される。
次に、第2実施形態のサーバ装置3の構成について、第1実施形態から変更された部分を中心に説明する。
第2実施形態のサーバ装置3は、第1実施形態のサーバ装置3に対して、情報提供部31が行う機能を一部変更して、スマートフォンSPに対して、スマートフォンSPのユーザ毎に定めた、注意対象者への対応内容を提供できるようにしている。尚、第2実施形態の情報提供部31が行う処理については、後述するため、ここでの説明は省略する。
また、第2実施形態では、第1実施形態の人物データベース15の代わりに、人物データベース15の内容を変形した要注意人物データベース60を設けた構成になっている。また、第2実施形態では、端末データベース36の内容を変形した端末データベース70を設けている。尚、サーバ装置3のハードウェア構成は、第1実施形態と同じである。
次に、端末データベース70について、図17を参照しながら説明する。
尚、図17は、本発明の第2実施形態の防犯システムで用いられる端末データベースの模式図である。
端末データベース70は、第1実施形態の端末データベース36に、さらに、スマートフォンSPを保持する店員(ユーザ)の性別及び年齢と、注意対象者への対応内容を示す情報とが登録される構成になっており、スマートフォンSPを保持する店員の「ユーザID毎」に、そのユーザの「ログインパスワード」、「デバイストークン(端末識別情報)」、「店舗ID」、「性別及び年齢」及び「注意対象者への対応を指示する対応指示情報」を対応付けて記憶させたものである。
具体的には、端末データベース70は、ユーザIDを登録するフィールド70aと、パスワードを登録するフィールド70bと、デバイストークンを登録するフィールド70cと、店舗IDを登録するフィールド70dと、性別及び年齢を登録するフィールド70eと、注意対象者への対応内容を示す情報を登録するフィールド70fとを有するレコードにより構成されている(複数のレコードにより構成されている)。
尚、フィールド70a、70b、70c、70dに登録される情報は、第1実施形態の端末データベース36と同じである。
また、フィールド70eには、スマートフォンSPを保持する店員(ユーザ)の性別及び年齢が登録され、フィールド70fには、フィールド70eに登録された性別及び年齢に対応する「注意対象者への対応内容を示す情報」が登録される。
このように、スマートフォンSPを保持する店員(ユーザ)の性別及び年齢に応じて、「注意対象者への対応内容を示す情報」を登録しておくことにより、店員(ユーザ)の安全に配慮した防犯活動を促すことができる。
次に、第2実施形態の防犯システムが行う処理内容について説明する。
〈スマートフォンSPの設定処理〉
先ず、第2実施形態の防犯システムを利用するためのスマートフォンSPの設定処理について、第1実施形態と異なる部分のみを説明する。
第2実施形態では、スマートフォンSPにインストールした防犯システム連携アプリ20を初期設定する際に、ユーザID、パスワード及び店舗IDに加えて、さらに、店員の性別及び年齢を入力するようになっている。そして、スマートフォンSPは、ユーザID、パスワード、店舗ID、性別及び年齢の入力を受け付けると、「ユーザID、パスワード、店舗ID、性別及び年齢」を情報提供サーバ3の端末データベース70に登録する(サーバ装置3の情報提供部31がスマートフォンSPからの情報(ユーザID、パスワード、店舗ID及び性別及び年齢)を受け付けて、端末データベース70に登録する)。このとき、サーバ装置3の情報提供部31は、受け付けた情報を登録するレコードに、「性別及び年齢」毎に対応付けられた「注意対象者への対応内容を指示する情報(対応指示情報)」を登録する。
例えば、情報提供部31は、受け付けた「年齢が30代以上」であれば、男女ともに「声かけを促す旨を示す情報」を登録し、「年齢が10代」であれば、男女ともに「監視を促す旨を示す情報」を登録する。また、例えば、「年齢が20代で、女性」であれば、「監視を促す旨を示す情報」を登録し、「年齢が20代で、男性」であれば、「監視を促す旨を示す情報」を登録する。
〈来店者仮登録処理〉
次に、第2実施形態の防犯システムが行う来店者仮登録処理について、図18を用いて説明する。図18は、本発明の第2実施形態の防犯システムが行う来店者仮登録処理の手順を示したフローチャートである。
第2実施形態では、要注意人物データベース60に登録された注意対象者が来店したか否かを監視するだけでなく、全ての来店者に対して、不審な行動をしているか否かを監視するようにしている。そのため、来店者が店舗にいる間は、その来店者の顔画像を仮登録(一時記憶)しておいて、顔認証照合処理により、来店者が店舗のどのエリアにいるかを追跡して来店者の行動パターン(動線)を把握するようにしている。
具体的には、店舗の出入口から入店してくる来店者は、カメラ(入店者撮像用カメラ)CE1により撮像されるようになっており、カメラCE1は、入店してくる来店者を撮像すると、その来店者を撮像した日時を示す撮像日時情報、自身を識別するカメラID及び撮像画像を顔認証照合装置1に送信する。
そして、顔認証照合装置1の画像処理部11は、カメラCE1からの「撮像日時情報」、「カメラID」及び「撮像画像」を取得し(S40)、取得した「撮像画像」に色調整などの画像処理を施し、顔認証照合部13に、「撮像日時情報」、「カメラID」及び「画像処理を施した撮像画像」を送信する。
次に、顔認証照合部13は、画像処理部11から送信される「撮像日時情報」、「カメラID」及び「画像処理を施した撮像画像」を受信すると、「カメラID」によりカメラCE1から送信された画像であると判定できるため、「来店者仮登録処理」を行うものと認識する。
また、顔認証照合部13は、画像処理部11から取得した撮像画像の中から顔画像を検知して抽出する顔画像の検知処理を実行し(S41、S42)、顔画像が検知できればS43に進み、検知できなければS40に戻る
尚、撮像画像の中から顔画像を検知して抽出する顔画像の検知処理は、公知技術を用いるため詳細な説明を省略する。
S43では、顔認証照合部13は、S41で検知して抽出した顔画像から来店者の年齢及び性別を推定する。
尚、来店者の年齢及び性別を推定する処理は、第1実施形態と同様、公知技術が用いられる。
次に、顔認証照合部13は、S41で検知して抽出した顔画像を識別する来店者IDを付与する(S44)。
その後、顔認証照合部13は、来店者一時記憶データベース61(図12)に、S44で付与した来店者ID、S41で検知した顔画像、S41で受信した「撮像日時(入店日時)」、S43で推定した「推定年齢及び推定性別」を記憶させる(S45)。
具体的には、顔認証照合部13は、フィールド61aにS44で付与した来店者IDが登録され、フィールド61bにS41で検知した顔画像が登録され、フィールド61cにS41で受信した撮像日時(入店日時)が登録され、フィールド61c、61dに、S43で推定した推定年齢及び推定性別が登録されたレコードを作成し、来店者一時記憶データベース61に、作成したレコードを登録する。
また、S45では、顔認証照合部13は、来店管理データベース62(図13)にアクセスして、S44で付与した来店者ID、S41で受信した「撮像日時(入店日時)」、S43で推定した「推定年齢及び推定性別」を記憶させる処理も行う。
具体的には、顔認証照合部13は、フィールド62aにS44で付与した来店者IDが登録され、フィールド62bの行動パターンに、出入口のエリアを示すE5及び撮像日時情報(入店日時)が登録され、フィールド61d、61fに、S43で推定した推定年齢及び推定性別が登録され、フィールド62c、62fに「NULL」が登録されたレコードを作成し、来店者一時記憶データベース61に、そのレコードを記憶させる。
〈退店者仮登録抹消処理〉
次に、第2実施形態の防犯システムが行う退店者仮登録抹消処理について、図19を用いて説明する。図19は、本発明の第2実施形態の防犯システムが行う退店者仮登録抹消処理の手順を示したフローチャートである。
第2実施形態は、店舗に来た全ての来店者に対して、不審な行動をとるか否かを監視する目的で来店者が店舗にいる間は、その来店者の顔画像を仮登録(一時記憶)しているため、来店者が退店したときには、仮登録(一時記憶)している顔画像を抹消する必要がある。
具体的には、店舗の出入口から出て行く来店者は、出入口撮像用のカメラ(退店者撮像用カメラ)CE2により撮像されるようになっており、カメラCE2は、退店していく人物を撮像すると、撮像日時情報、自身を識別するカメラID及び撮像画像を顔認証照合装置1に送信する。
そして、顔認証照合装置1の画像処理部11は、カメラCE2からの「撮像日時情報、カメラID及び撮像画像」を取得し(S40)、取得した「撮像画像」に色調整などの画像処理を施し、顔認証照合部13に、「撮像日時情報」、「カメラID」及び「画像処理を施した撮像画像」を送信する。
次に、顔認証照合部13は、画像処理部11から送信される「撮像日時情報」、「カメラID」及び「画像処理を施した撮像画像」を受信すると、「カメラID」により、退店者を撮像するカメラCE2から送信された画像である判定できるため、「来店者仮登録抹消処理」を行うものと認識する。
そして、顔認証照合部13は、画像処理部11から取得した撮像画像の中から顔画像を検知して抽出する顔画像の検知処理を実行し(S51、S52)、顔画像が検知できればS53に進み、検知できなければS50に戻る。尚、S51、52の処理は、上述した図18のS41、S42と同じである。
次に、顔画像照合部13は、S51で検知し抽出した退店者の顔画像と、来店者一時記憶データベース61(図12)の各レコードのフィールド61bに登録された顔画像とを顔認証照合処理により照合していく(S53、S54)。
S53、S54の顔認証照合処理の結果、S51で検知して抽出した退店者の顔画像と、来店者一時記憶データベース15に登録されている画像データとが一致しなければ、S50の処理に戻る。
一方、S53、54の顔認証照合処理の結果、退店者の顔画像と、来店者一時記憶データベース15に登録されている画像データとが一致した場合(即ち、来店者一時記憶データベース15に、退店者の顔画像と一致する顔画像が登録されたレコードがあれば)、S55の処理に進む。
S55では、顔認証照合部13は、来店者一時記憶データベース15から、退店者の顔画像と一致する顔画像が登録されたレコードを消去する処理を行い、退店者仮登録抹消処理を終了する。
尚、顔認証照合部13は、来店者一時記憶データベース15から、退店者の顔画像と一致する顔画像が登録されたレコードを消去する前に、退店者の情報を来店管理データベース62(図13)に登録する処理を行う。具体的には、顔認証照合部13は、来店者一時記憶データベース15にアクセスし、退店者の顔画像と一致する顔画像が登録されたレコードから来店者IDを読み出す。また、顔認証照合部13は、来店管理データベース62にアクセスして、読み出した来店者IDが登録されたレコードのフィールド62bの行動パターンに、出入口のエリアを示すE5及び撮像日時情報(退店日時)を登録する。また、フィールド62bの行動パターンに登録された情報から滞在時間を算出して、フィールド62cに算出した滞在時間を登録する。
〈要注意人物検知処理〉
次に、第2実施形態の防犯システムが行う要注意人物検知処理について、図20、図22、図24を用いて説明する。
尚、図20は、本発明の第2実施形態の防犯システムが行う要注意人物検知処理の手順を示したフローチャートである。また、図22は、本発明の第2実施形態の防犯システムを構成するサーバ装置が、スマートフォンに要注意人物に関する情報を提供する処理の工程を示した模式図である。図24は、本発明の第2実施形態の防犯システムがスマートフォンに提供する要注意人物に関する情報を表示する画面を示した模式図である。
図20に示すように、顔認証照合装置1は、カメラCnから送信される店舗内部にいる来店者の撮像画像を取得する(S60)。
具体的には、カメラCnは、店舗内部にいる来店者を撮像すると、その来店者を撮像した日時を示す撮像日時情報、自身を識別するカメラID及び撮像画像を顔認証照合装置1に送信する。そして、顔認証照合装置1の画像処理部11は、カメラCnから送信される「撮像日時情報、カメラID及び撮像画像」を受信し、受信した「撮像画像」に色調整などの画像処理を施し、顔認証照合部13に、撮像日時情報、カメラID、色調整などを施した撮像画像を送信する。
次に、顔認証照合部13は、画像処理部11から送信される「撮像日時情報」、「撮像画像」、「カメラID」を受信すると、「カメラID」によりカメラCnから送信された画像であると判定し、「要注意人物検知処理及び来店者監視処理」を行うことを認識する。
そして、顔認証照合部13は、画像処理部11から取得した撮像画像の中から顔画像を検知して抽出する顔画像の検知処理を実行し(S61、S62)、顔画像が検知できればS63に進み、検知できなければS60に戻る。尚、S61、62の処理は、上述した図18のS41、S42と同じである。
次に、顔画像照合部13は、S61で検知した来店者の顔画像と、要注意人物データベース60(図11)の各レコードのフィールド60bに登録された顔画像とを顔認証照合処理により照合していく(S63、S64)。
そして、S63、S64の顔認証照合処理の結果、S61で検知し抽出した来店者の顔画像と、要注意人物データベース60に登録されている顔画像とが一致しなければ、後述する図21に示す来店者監視処理に移行する。
一方、S63、64の顔認証照合処理の結果、来店者の顔画像と、要注意人物データベース60に登録されている顔画像とが一致した場合(即ち、要注意人物データベース60に、来店者の顔画像と一致する顔画像が登録されたレコードがあれば)、S65の処理に進む。
S65では、顔認証照合部13は、通信処理部12を介して、サーバ装置3の情報提供部31に、「カメラCnが撮像した来店者の顔画像(S61で検知し抽出した来店者(即ち、注意対象者)の顔画像、一致した来店者(注意対象者)の詳細情報(来店者の氏名、性別、年齢、連絡先、身体的特徴、犯行履歴、訪問回数、訪問履歴等の情報)、及び顔認証照合装置1が設置されている店舗を識別する店舗ID」を送信し、S66の処理に進む。
尚、上記の来店者の詳細情報は、S61で検知し抽出した来店者の顔画像と一致する顔画像が登録された要注意人物データベース60のレコードから抽出したものである。また、店舗IDは、顔認証照合装置1に予め記憶されている。
さらに、S65では、顔認証照合部13は、検知履歴データベース63(図14)に検知履歴を登録する処理も行う。具体的には、顔認証照合部13は、来店者の顔画像と一致する顔画像が登録されたレコード60のフィールド60a、60bから「注意対象者ID」及び「顔画像」を抽出する。そして、顔認証照合部13は、検知履歴データベース63に、「注意対象者ID」、「顔画像」、「S61で検知し抽出した来店者の顔画像」、「顔認証照合処理の認証精度」「検知日時」を登録する。
次に、顔認証照合部13は、警報発信部14に警報発信指示情報を送信する。警報発信部14は、警報発信指示情報を受信すると、サーバ装置3から後述する対応完了信号を受信するまで、警報発信部14に回転灯Lを点灯させると共に、ブザーBにアラーム音を出力させる(S66、S67)。
また、S65の処理により、顔認証照合装置1から、「カメラCnが撮像した来店者の顔画像」、「一致した来店者の詳細情報」及び「店舗ID」を送信されたサーバ装置3は、図22に示す処理手順により、店員が持つスマートフォンSPに対して注意対象者(要注意人物)に関する情報を提供する。
以下、図22を参照しながら、店員が持つスマートフォンSPに注意対象者に関する情報を提供する処理について説明する。
図22に示すように、サーバ装置3の情報提供部31は、顔認証照合装置1から送信された「カメラCnが撮像した来店者の顔画像」、「一致した来店者の詳細情報」及び「店舗ID」を受信すると(S80)、その受信した情報と、端末データベース70とを用いて、受信した店舗IDに対応付けられたスマートフォンSPを特定し、特定したスマートフォンSPに対して、プッシュ通知サーバ(図示せず)を介して、「注意対象者が来店している旨を示す情報」及び「注意対象者の詳細情報を示した注意対象者詳細サイトへのアクセス情報」をプッシュ通知する(S81)。
S81では、サーバ装置3の情報提供部31は、端末データベース70を参照し、受信した店舗IDが登録されているレコードを抽出し、そのレコードのデバイストークンのスマートフォンSPに、「注意対象者が来店している旨を示す情報」及び「注意対象者詳細サイトのアクセス情報」を送信する(プッシュ通知する)。
具体的には、S81では、情報提供部31は、端末データベース70を参照し、受信した「店舗ID」が登録されているレコードを全て選択し、選択したレコードに登録された「デバイストークン」及び「注意対象者への対応を指示する対応指示情報」を抽出する。
そして、情報提供部31は、S80で受信した情報及び抽出した「注意対象者への対応を指示する対応指示情報」を用いて、「カメラCnが撮像した注意対象者の撮像画像」、「来店者(注意対象者)の詳細情報」、「注意対象者への対応を指示する対応指示情報」が含まれる注意対象者詳細サイトを生成する。尚、第2実施形態では、「注意対象者への対応を指示する対応指示情報」が、スマートフォンを保持する店員により異なっているため、対応指示情報が異なる、複数通りの注意対象者詳細サイト(Webページ)が生成される。
また、情報提供部31は、S80で受信した情報を用いて、プッシュ通知で提示するプッシュ通知情報(「注意対象者が来店している旨を示す情報」及び「注意対象者詳細サイトへのアクセス情報」)と、抽出したデバイストークンとが含まれる通知パッケージを生成し、その通知パッケージを図示しないプッシュ通知サーバに送信する。尚、通知パッケージは、注意対象者詳細サイト毎に作成される。
前記プッシュ通知サーバは、上記の通知パッケージを受信すると、通知パッケージに含まれるデバイストークンにより特定されるスマートフォンSPに対して、(「注意対象者が来店している旨」及び「注意対象者詳細サイトへのアクセス情報」を送信する。
また、サーバ装置3から「注意対象者が来店している旨を示す情報」及び「注意対象者詳細サイトのアクセス情報」が送られたスマートフォンSPは以下の処理を行う。
具体的には、スマートフォンSPは、防犯システム連携アプリ20により、受信した「注意対象者が来店している旨を示す情報」及び「注意対象者詳細サイトのアクセス情報」を受信するとスマートフォンSPの表示部に、図24(a)に示す注意対象人物通知画面210を表示する(S90)。尚、スマートフォンSPは、サーバ装置3からの情報を受信すると、振動(バイブレート)したり或いはサウンドを鳴らすようになっている。
図示するように、注意対象人物通知画面210には、店舗に注意対象者が来店している旨を示す情報が提供される領域211と、注意対象者の詳細情報を要求するためのViewボタン212が設けられている。
スマートフォンSPに表示された注意対象人物通知画面210を見た店員により、Viewボタン212が押されると、スマートフォンSPは、サーバ装置3の情報提供部31にアクセスし、情報提供部31に、注意対象者詳細サイトの提供を要求する(S91)。
サーバ装置3の情報提供部31は、スマートフォンSPからの詳細サイト提供の要求を受けると、当該要求してきたスマートフォンSPに対して、S81で生成した注意対象者詳細サイトを送信する(S82)。
そして、スマートフォンSPは、情報提供部31から送信された「注意対象者詳細サイト」を受信して、スマートフォンSPの表示部に、図24(b)に示す注意対象者詳細サイト220を表示する(S92)。
図示する例では、注意対象者詳細サイト220には、カメラCnが撮像した注意対象者の画像を表示する領域221と、注意対象者への対応を指示する情報を表示する領域222と、注意対象者の詳細情報(氏名、年齢、性別、連絡先、身体的特徴、犯行履歴、訪問回数、訪問履歴等の情報)を表示する領域223とが設けられている。
また、注意対象者詳細画面220には、対応完了を受け付けるボタン224が設けられている。
このように、第2実施形態によれば、各店員に、注意対象者が来店したことをリアルタイムで知らせることができると共に、各店員に、注意対象者の画像(店舗で撮像された画像)を提供することができる。また、注意対象者の詳細情報(氏名、年齢、性別、連絡先、身体的特徴、犯行履歴、訪問回数、訪問履歴等の情報)を提示すると共に、どのように対応するのかを指示する情報が提示される。
したがって、第2実施形態によれば、店員は、注意対象者が来店してきたときに、注意対象者の画像(店舗で撮像した画像)を手元で見て、どの顧客を監視すればよいのかを容易に把握することができる。また、店員に具体的な対応内容を指示でき、注意対象者に対応するように促すことができるため、注意対象者が万引きなどの犯罪行為を行うことを効果的に防止することができる。
例えば、図24では、注意対象者への対応内容を提示する領域222に、「声かけをして下さい」と提示され(声かけを促す情報が提示され)、領域223に氏名等が提示されている。
そのため、注意対象者詳細サイト220を見た店員は、注意対象者の名前を呼んだ声かけ(「○○さん、こんにちは」等の声がけ)を行うことで、注意対象者が万引きなどを行うことを躊躇させることができる。その結果、第2実施形態では、万引きによる深刻な損害の発生を未然に防止でき、導入した店舗の経営を安定させることできる。また、第2実施形態によれば、万引き常習者に対して、万引き犯罪を繰り返させないという作用効果が期待される。
また、注意対象者への声かけ等の対応した店員が、注意対象者詳細サイト220のボタン224を押すと、スマートフォンSPからサーバ装置3に、「対応が完了した旨を示す情報」が送信される(S93、S94)。
サーバ装置3は、スマートフォンSPからの「対応が完了した旨を示す情報」を受信すると、S80において情報を送信してきた顔認証照合装置1に対して、「対応が完了した旨を示す情報」を送信する(S83)。
その後、図20のS67に示すように、顔認証照合装置1は、サーバ装置3から「対応が完了した旨を示す情報」を受信し、ブザーBから出力しているアラーム音を停止して、回転灯を消灯させてS60に戻る。
〈来店者監視処理〉
次に、第2実施形態の防犯システムが行う来店者監視処理について、図21、図23、図25を用いて説明する。
尚、図21は、本発明の第2実施形態の防犯システムが行う来店者監視処理の手順を示したフローチャートである。また、図23は、本発明の第2実施形態の防犯システムを構成するサーバ装置が、スマートフォンに不審行動者に関する情報を提供する処理の工程を示した模式図である。図25は、本発明の第2実施形態の防犯システムがスマートフォンに提供する不審行動者に関する情報を表示する画面を示した模式図である。
第2実施形態の来店者監視処理は、上述した要注意人物検出処理のS63、S64において、来店者の顔画像と、要注意人物データベース60に登録されている顔画像とが一致しない場合に開始される。
具体的には、先ず、顔認証照合部13は、図20のS61で検出し抽出した来店者の顔画像と、来店者一時記憶データベース61(図11)の各レコードのフィールド61bに登録された顔画像とを顔認証照合処理により照合していく(S70、S71)。
そして、S70、S71の顔認証照合処理の結果、S61で検知し抽出した来店者の顔画像と、来店者一時記憶データベース61に登録されている顔画像とが一致しなければ、図20のS60に戻る。
一方、S70、71の顔認証照合処理の結果、来店者の顔画像と、来店者一時記憶データベース61に登録されている顔画像とが一致した場合(即ち、来店者一時記憶物データベース61に、来店者の顔画像と一致する顔画像が登録されたレコードがあれば)、顔認証照合部13は、一致する顔画像が登録されたレコードから来店者IDを読み出して、来店者IDを行動監視部50に送信して、S72の処理に進む。
S72では、行動監視部50は、S61で取得した「カメラID」、S61で検知した来店者の「顔画像」と、エリア推定テーブル65(図16)とを用いて、来店者が通過した(撮像され)たエリア(図10に示す店舗内におけるエリア)を特定する。
具体的には、行動監視部50は、顔認証照合部から「S61で検知した来店者の「顔画像」及び「S61で取得した撮像日時情報」を取得する。そして、行動監視部50は、取得した顔画像の画素数を算出し、エリア推定テーブル65(図16)にアクセスして、取得したカメラIDが登録されたレコードから、算出した画素数に対応付けられたエリアを特定する。
例えば、カメラIDが「C1」であり、算出した画素数が第1画素数範囲の値であれば、来店者が撮像されたエリアが「E5」であると特定する。また、例えば、カメラIDが「C2」であり、算出した画素数が第5画素数範囲の値であれば、来店者が撮像されたエリアが「A4」であると特定する。
次に、行動監視部50は、来店者管理データベース62(図13)にアクセスして、S70、S71で読み出された来店者IDが登録されたレコードのフィールド62bの行動パターンを更新する(S73)。
具体的には、行動監視部50は、来店者管理データベース62にアクセスし、S70、S71の処理において読み出した来店者IDが登録されたレコードを読み出す。また、行動監視部50は、読み出したレコードのフィールド62bに、S72で特定したエリア情報に、S61で取得した撮像日時情報を関連付けて追加登録する。
例えば、読み出したレコードのフィールド62bに「E5(11:00)→E4(11:01)→E5(11:03)→D5(11:05)」と登録されており、S72でエリアとして「C4」が特定され、取得した撮像情報が「11:08」だったとする。この場合、行動監視部50は、読み出したレコードのフィールド62bの「D5(11:05)」の後に「C4(11:08)」を追加して、フィールド62bを「E5(11:00)→E4(11:01)→E5(11:03)→D5(11:05)→C4(11:08)」に更新する。
次に、行動監視部50は、S73で更新した行動パターンと、犯行動作データベース64に登録された行動パターンとを比較して、来店者の行動が不審であるか否かを判定する(S74、S75)。
具体的には、行動監視部50は、犯行動作データベース64に登録された行動パターンのなかに、S73で更新した行動パターンに類似しているものがあれば、来店者の行動が不審であると判定し、類似しているものがなければ、来店者の行動が不審ではないと判定する。また、行動監視部50は、来店者の行動が不審であると判定した場合、犯行動作データベース64の類似した行動パターンが登録されたレコードから犯行内容を抽出する。
尚、行動パターンが類似しているか否かの判定は、適宜設定されるものであるが、例えば、以下に示すように、来店者の行動パターンの中に、犯行動作データベース64に登録されている不自然な行動パターンと一致する部分があれば、来店者の行動が不審であると判定されるようになっていても良い。
具体的には、犯行動作データベース64に「・・・→C4(11:03)→C3(11:05)→C4(11:08)→C3(11:08)→C4(11:10)→C3(11:12)→C4(11:14)→C3(11:16)・・・」のようじ同じエリアC3、C4を何度も繰り返して移動する動作を含む行動パターンが登録されていたとする。そして、S73で更新した行動パターンに「・・・→C4(15:03)→C3(15:06)→C4(15:09)→C3(15:10)→C4(15:13)→C3(15:15)」のように同じエリアC3、C4を繰り返して移動する動作が含まれていたとする、この場合、行動監視部50は、不自然な動作が類似しているため、来店者の行動が不審であると判定される。
そして、S74、S75において、来店者の行動が不審ではないと判定された場合、図20のS60に戻る。また、S74、S75において、来店者の行動が不審であると判定された場合、行動監視部50は、顔認証照合部13に、その旨を示す情報及び類似する行動パターンの犯行内容情報(万引き、単行本等)を送信して、S76の処理に進む。
S76では、顔認証照合部13は、行動監視部50からの「不審な行動の来店者がいる旨を示す情報」及び「犯行内容情報」を受信する。そして、顔認証照合部13は、通信処理部12を介して、サーバ装置3の情報提供部31に、「不審な行動の来店者がいる旨を示す情報」、「犯行内容情報」、「カメラCnが撮像した来店者の顔画像(S61で検知し抽出した来店者の顔画像))」、及び顔認証照合装置1が設置されている店舗を識別する店舗ID」を送信し、S77の処理に進む。
尚、S77、S78、S79の処理は、図20のS66、S67、S68と同じであるため、説明を省略する。
尚、S76処理により、「不審な行動の来店者がいる旨を示す情報」、「犯行内容情報」、「来店者の顔画像」及び「店舗ID」を送信されたサーバ装置3は、図23に示す処理手順により、店員が持つスマートフォンSPに対して不審行動をとる来店者に関する情報を提供する。
以下、図23を参照しながら、店員が持つスマートフォンSPに不審行動をとる来店者に関する情報を提供する処理について説明する。
図示するように、サーバ装置3の情報提供部31は、顔認証照合装置1から送信された「不審な行動の来店者がいる旨を示す情報」、「来店者の顔画像」及び「店舗ID」を受信すると(S100)、その受信した情報と、端末データベース70とを用いて、受信した店舗IDに対応付けられたスマートフォンSPを特定し、特定したスマートフォンSPに対して、プッシュ通知サーバ(図示せず)を介して、「不審な行動の来店者がいる旨を示す情報」及び「不審な来店者の詳細情報を示した注意対象者詳細サイトへのアクセス情報」をプッシュ通知する(S101)。
具体的には、S101では、情報提供部31は、端末データベース70を参照し、受信した「店舗ID」が登録されているレコードを全て選択し、選択したレコードに登録された「デバイストークン」及び「注意対象者への対応を指示する対応指示情報」を抽出する。
そして、情報提供部31は、S100で受信した情報及び抽出した「対応指示情報」を用いて、「カメラCnが撮像した注意対象者(不審な行動をとる来店者)」、「対応指示情報」、「犯行内容説明情報(例えば、不審な行動と判定した行動パターンの犯罪内容と似ている行動パターンをとっている旨の説明等)」が含まれる注意対象者詳細サイトを生成する。尚、第2実施形態では、「注意対象者への対応を指示する対応指示情報」が、スマートフォンを保持する店員により異なっているため、対応指示情報が異なる、複数通りの注意対象者詳細サイト情報が生成される。
また、情報提供部31は、S100で受信した情報を用いて、プッシュ通知で提示するプッシュ通知情報(「不審な行動の来店者がいる旨を示す情報」及び「注意対象者詳細サイトへのアクセス情報」)と、抽出したデバイストークンとが含まれる通知パッケージを生成し、その通知パッケージを図示しないプッシュ通知サーバに送信する。
前記プッシュ通知サーバは、上記の通知パッケージを受信すると、通知パッケージに含まれるデバイストークンにより特定されるスマートフォンSPに対して、(「不審な行動の来店者がいる旨」及び「注意対象者詳細サイトへのアクセス情報」を送信する
また、サーバ装置3からの「不審な行動の来店者がいる旨」及び「注意対象者詳細サイトへのアクセス情報」が送られたスマートフォンSPは以下の処理を行う。
具体的には、スマートフォンSPは、防犯システム連携アプリ20により、受信した「不審な行動の来店者がいる旨」及び「注意対象者詳細サイトへのアクセス情報」を受信するとスマートフォンSPの表示部に、図25(a)に示す注意対象人物通知画面310を表示する(S110)。
図示するように、注意対象人物通知画面310には、店舗に不審な行動をとる人物(注意対象者)がいる旨を示す情報が提供される領域311と、注意対象者の詳細情報を要求するためのViewボタン312が設けられている。
スマートフォンSPに表示された注意対象人物通知画面310を見た店員により、Viewボタン312が押されると、スマートフォンSPは、サーバ装置3の情報提供部31にアクセスし、情報提供部31に、注意対象者詳細サイトの提供を要求する(S111)。
サーバ装置3の情報提供部31は、スマートフォンSPからの詳細サイト提供の要求を受けると、当該要求してきたスマートフォンSPに対して、S101で生成した注意対象者詳細サイトを送信する(S102)。
そして、スマートフォンSPは、情報提供部31から送信された「注意対象者詳細サイト」を受信して、スマートフォンSPの表示部に、図25(b)に示す注意対象者詳細サイト320を表示する(S112)。
図示する例では、注意対象者詳細サイト320には、カメラCnが撮像した注意対象者(不審な行動をとる来店者)の画像を表示する領域321と、注意対象者への対応内容を提示する領域322と、不審な行動と判定した行動パターンの犯罪内容と似ている行動パターンをとっている旨の説明を表示する領域323とが設けられている。
また、注意対象者詳細画面320には、対応完了を受け付けるボタン324が設けられている。
尚、S113、S114、S103の処理の内容は、図22に示すS93、S94、S83と同じであるため、説明を省略する。
このように第2実施形態の防犯システムは、要注意人物として登録されていない来店者に対しても、不審な行動をとっているかどうかを監視して、不審な行動をとる来店者がいると判定した場合に、各店員に、不審な行動をとる来店者の画像を提供することができる。また、不審な行動をとる来店者に対して、どのように対応するのかを指示することができる。
したがって、第2実施形態によれば、店員は、不審な行動をとる来店者がいるときに、その人物の画像(店舗で撮像した画像)を手元で見て、どの顧客を監視すればよいのかを容易に把握することができる。また、店員に具体的な対応内容を指示できるため、不審な行動をとる来店者の万引きなどの犯罪行為を効果的に防止することができる。
尚、本発明は、上述した実施形態(第1、第2実施形態)に限定されるものではなく、その要旨の範囲内において種々の変更が可能である。例えば、上述した実施形態では、スマートフォンSPに専用の防犯システム連携アプリ20をインストールしておいて、サーバ装置3に、各スマートフォンSPのデバイストークンを予め登録しておくことにより、サーバ装置3からスマートフォンに、注意対象者が来店したことをプッシュ通知しているが特にこれに限定されるものではない。
例えば、サーバ装置3の端末データベース36に、各スマートフォンSPのメールアドレスを登録しておいて、サーバ装置3から、スマートフォンSPに、電子メールで注意対象者が来店したことを通知するようにしてもよい。この場合、電子メールに、来店者を撮像した画像へのアクセス情報」を記載しておけば、上述した実施形態と同様の効果が得られる。
また、上述した実施形態では、人物データベース15(或いは、要注意人物データベース60)に、万引き常習者を撮像した画像を登録する例を示しているが、特にこれに限定されるものではない。例えば、人物データベース15(或いは、要注意人物データベース60)に、注意対象者として迷子になった児童の画像情報を登録し、且つカメラCを大型店舗、遊園地、海水浴場、プールなどの施設に設置すると共に、施設従業員のスマートフォンSPの情報(デバイストークンやメールアドレス)をサーバ装置3に登録しておくようにしても良い。この構成によれば、施設の従業員に、迷子が見つかったことを知らせることができると共に、注意対象者(迷子)の画像を提供することができ、迷子の早期保護が期待され、事故や事件が起きる可能性が低減される。
また、上述した実施形態のサーバ装置3の構成は、一例に過ぎない。サーバ装置3の機能がクラウドで提供されるようになっていてもよい。
また、上述した実施形態(第1実施形態、第2実施形態)では、予め登録した注意対象者や不審な行動をとる来店者を検知した場合に、ブザーBからアラーム音を出力し、回転灯Lを点灯させているが、これらの警告手段は一例に過ぎない。例えば、顔認証装置1にライトやフラッシュを接続しておき、警報発信部14で、注意対象者や不審な行動をとる来店者が検知された場合に、ライトやフラッシュを点灯さるようにしてもよい。また、例えば、顔認証装置1にスピーカを接続しておき、警報発信部14で、注意対象者や不審な行動をとる来店者が検知された場合に、スピーカから「注意対象者(或いは、不審な行動をとる来店者)が来店している旨の音声信号」を出力させるようにしてもよい。この場合の音声信号は、店員にだけ判る内容の表現(業務連絡○○番です等の表現)にしても良い。
また、上述した通り、犯行動作データベース64に登録される行動パターンは適宜設定されるものであるが、例えば、以下のような行動パターンを登録し、不審な行動をとる人物を検知できるようにしても良い。
具体的には、犯行動作データベース64に、店舗内での通過エリアを時系列で並べた行動パターンだけではなく、「同じエリアから所定時間移動しない」という行動内容で示した行動パターンや「トイレに長時間(所定時間)篭もる」という行動内容で示した行動パターンを登録しておく。この構成によれば、行動監視部50は、同じエリアから所定時間移動しない来店者や、トイレに長時間(所定時間)篭もる来店者を不審な行動をとる人物として検知でき、店員に対して、その人物に声かけなどの対応をするように促すことができる。
また、犯行動作データベース64に、「レジを通過せずに退店する」という行動内容で示した行動パターンを登録しておいても良い。この構成によれば、行動監視部50は、レジを通過せずに退店する人物を不審な行動をとる人物として認定でき、店員に対して、その人物を注意深く監視する等の対応を促すことができる。
B…ブザー
C…カメラ
CE1、CE2…カメラ(出入口撮像用カメラ)
Cn(n=1〜17)…カメラ
L…回転灯
SP…スマートフォン
TB…タブレット端末
1…顔認証照合装置
10…制御部
11…画像処理部
12…通信処理部
13…顔認証照合部
14…警報発信部
15…人物データベース
20…防犯システム連携アプリ
3…サーバ装置
30…制御部
31…情報提供部
36…端末データベース
50…行動監視部
60…要注意人物データベース
61…来店者一時記憶データベース
62…来店管理データベース
63…検知履歴データベース
64…犯行行動パターンデータベース
65…エリア推定テーブル

Claims (3)

  1. 店舗に設置されたカメラが撮像した来店者の画像と予め記憶している万引き常習者の画像とを照合する顔認証照合処理を行う顔認証照合装置と、前記顔認証照合装置とネットワークを介して接続されているサーバ装置とを備える防犯システムであって、
    前記顔認証照合装置は、前記顔認証照合処理により、前記撮像した来店者の画像が前記万引き常習者の画像と一致した場合、前記サーバ装置に、前記撮像した来店者の画像、自身が設置されている店舗を識別する店舗IDを送信し、
    前記サーバ装置は、
    店員を特定するユーザIDと、店員の保持している携帯端末を識別する端末識別情報と、その店員の所属する店舗を識別する店舗IDと、万引き常習者に対する対応を指示する対応指示情報とを対応付けて記憶した端末データベースと、
    前記携帯端末に該ネットワークを介して万引き常習者に関する情報を提供する情報提供部とを有し、
    前記対応指示情報は、ユーザIDにより特定される店員毎に定めた内容になっており、
    前記情報提供部は、前記顔認証照合装置が送信した前記来店者の画像及び店舗IDを受信すると、前記端末データベースを参照し、前記店舗IDに対応付けられた携帯端末を特定すると共に、該店舗IDに対応付けられた対応指示情報を読み出し、特定した携帯端末に対して、万引き常習者が来店している旨を通知すると共に、万引き常習者が来店している旨を通知した携帯端末毎に、前記顔認証照合装置から送信された来店者の画像と前記読み出した店員毎に定めた対応指示情報を含む万引き常習者に関する情報を提供することを特徴とする防犯システム。
  2. 前記顔認証照合装置は、前記万引き常習者の画像毎に、その万引き常習者の氏名、年齢、性別及び身体的特徴、犯歴、店舗への訪問履歴を含む詳細情報を対応付けて記憶した人物データベースを有し、前記撮像した来店者の画像が前記万引き常習者の画像と一致した場合、前記サーバ装置に、前記来店者の画像及び店舗IDと共に、一致した万引き常習者の画像に対応付けられた詳細情報を送信し、
    前記情報提供部は、前記顔認証照合装置から送信された前記来店者の画像及び店舗IDと共に前記詳細情報を受信し、前記携帯端末に提供する万引き常習者に関する情報に、前記詳細情報を含めることを特徴とする請求項1記載の防犯システム。
  3. 前記携帯端末に提供する万引き常習者に関する情報には、万引き常習者に対する対応の完了を受け付ける受け付けボタンが設けられており、該携帯端末を保持している店員により該受け付けボタンが操作されると、該携帯端末から前記サーバ装置を介して前記顔認証照合装置に、対応完了情報が送信されるようになっていることを特徴とする請求項1又は2に記載の防犯システム。
JP2015092958A 2013-12-02 2015-04-30 防犯システム Active JP5950484B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015092958A JP5950484B2 (ja) 2013-12-02 2015-04-30 防犯システム

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013248885 2013-12-02
JP2013248885 2013-12-02
JP2015092958A JP5950484B2 (ja) 2013-12-02 2015-04-30 防犯システム

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2014243293A Division JP5747116B1 (ja) 2013-12-02 2014-12-01 防犯システム

Publications (2)

Publication Number Publication Date
JP2015187869A JP2015187869A (ja) 2015-10-29
JP5950484B2 true JP5950484B2 (ja) 2016-07-13

Family

ID=53537884

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2014243293A Active JP5747116B1 (ja) 2013-12-02 2014-12-01 防犯システム
JP2015092958A Active JP5950484B2 (ja) 2013-12-02 2015-04-30 防犯システム

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2014243293A Active JP5747116B1 (ja) 2013-12-02 2014-12-01 防犯システム

Country Status (1)

Country Link
JP (2) JP5747116B1 (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6440327B2 (ja) * 2016-07-25 2018-12-19 ユニボット株式会社 防犯システム、防犯方法、及びロボット
JP6836173B2 (ja) * 2017-03-31 2021-02-24 日本電気株式会社 万引き防止システム及びそれに使用される店舗側装置並びにセンタ側装置
JP6402219B1 (ja) * 2017-04-19 2018-10-10 ユニティガードシステム株式会社 防犯システム、防犯方法、及びロボット
WO2018198250A1 (ja) * 2017-04-26 2018-11-01 株式会社 テクノミライ デジタルスマートアーニング・セキュリティシステム、方法及びプログラム
JP2019204300A (ja) * 2018-05-24 2019-11-28 京セラドキュメントソリューションズ株式会社 監視システム
US20220036359A1 (en) * 2018-09-26 2022-02-03 Nec Corporation Customer information registration apparatus
CN109447053A (zh) * 2019-01-09 2019-03-08 江苏星云网格信息技术有限公司 一种基于双重限制注意力神经网络模型的人脸识别方法
JP2020136714A (ja) * 2019-02-13 2020-08-31 パナソニックi−PROセンシングソリューションズ株式会社 情報処理装置および監視方法
JP6879336B2 (ja) * 2019-07-04 2021-06-02 日本電気株式会社 迷惑行為者推定システム、迷惑行為者推定システムの制御方法及び制御プログラム
WO2022030558A1 (ja) * 2020-08-07 2022-02-10 エヌ・ティ・ティ・コミュニケーションズ株式会社 人物を検出または追跡する装置、システム、方法及びプログラム
JP7054075B2 (ja) * 2021-01-26 2022-04-13 日本電気株式会社 情報処理システム、情報処理方法、及びプログラム
WO2022190701A1 (ja) * 2021-03-08 2022-09-15 パナソニックi-PROセンシングソリューションズ株式会社 不審者アラーム通知システム、不審者アラーム通知方法および不審者アラーム通知プログラム

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4631187B2 (ja) * 2001-03-16 2011-02-23 日本ビクター株式会社 画像監視システム及びネットワークを用いた画像監視システム
JP4401767B2 (ja) * 2003-12-26 2010-01-20 京セラ株式会社 無線通信システムおよび携帯端末装置
JP2005196716A (ja) * 2004-01-08 2005-07-21 Spacecom Ltd 小売店における万引き防止システム
JP2008257487A (ja) * 2007-04-05 2008-10-23 Multi Solution:Kk 顔認証応用万引き検知システム
JP2010157097A (ja) * 2008-12-26 2010-07-15 Sogo Keibi Hosho Co Ltd 情報生成装置および情報生成方法
JP2009187583A (ja) * 2009-05-21 2009-08-20 Nec Corp バイオメトリクス認証技術を用いた防犯システム
JP2011233133A (ja) * 2010-04-09 2011-11-17 Miyake Inc 万引き防止システム
JP5435740B2 (ja) * 2010-11-12 2014-03-05 オムロン株式会社 監視システム、および監視サーバ
JP2013196043A (ja) * 2012-03-15 2013-09-30 Glory Ltd 特定人物監視システム

Also Published As

Publication number Publication date
JP5747116B1 (ja) 2015-07-08
JP2015130155A (ja) 2015-07-16
JP2015187869A (ja) 2015-10-29

Similar Documents

Publication Publication Date Title
JP5950484B2 (ja) 防犯システム
JP5871296B1 (ja) スマートセキュリティ・デジタルシステム、方法及びプログラム
JP6624368B2 (ja) 接客モニタリングシステム及び接客モニタリング方法
KR101812115B1 (ko) 2차원 코드에 기초하여 피후견인을 찾는 방법 및 시스템
WO2016088401A1 (ja) 防犯システム
JP4115329B2 (ja) 顧客管理システム、該システムの機能を実現するプログラム及び記録媒体
JP5826422B2 (ja) 防犯システム
JP6440327B2 (ja) 防犯システム、防犯方法、及びロボット
US8669870B2 (en) Location dependent monitoring for stolen devices
JP6402219B1 (ja) 防犯システム、防犯方法、及びロボット
JP5780569B1 (ja) デジタルロス・デフェンスセキュリティシステム、方法及びプログラム
JP2007060528A (ja) 施設における利用者管理システムおよび利用者管理方法
US20140233855A1 (en) Verifying vendor identification and organization affiliation of an individual arriving at a threshold location
JP5813829B1 (ja) 防犯システム
JP4032908B2 (ja) 入場者管理システムおよびプログラム
WO2018198250A1 (ja) デジタルスマートアーニング・セキュリティシステム、方法及びプログラム
JP2014016969A (ja) 顔照合システム
JP6795667B1 (ja) ネットワークシステム、不審者検知装置、および不審者検知方法
JP2016045555A (ja) 接客管理システム、顧客端末、サーバー装置、接客管理方法、及び接客方法
JP6624340B2 (ja) 入場管理システムおよび入場管理方法
KR101958417B1 (ko) 횡령 사고 방지를 위해 pos 단말기의 조작을 감시하는 pos 보안시스템
JP4025100B2 (ja) 映像利用遠隔認識配信方法及びその実施システム並びにその処理プログラム
JP2005196716A (ja) 小売店における万引き防止システム
CN109754345A (zh) 用于进行基于安全计算机的考生评估的系统和方法
JP5960664B2 (ja) 侵入警報装置およびそのプログラム

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160412

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160420

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160428

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160601

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160606

R150 Certificate of patent or registration of utility model

Ref document number: 5950484

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250