JP7218778B2 - 情報処理システム、方法およびプログラム - Google Patents
情報処理システム、方法およびプログラム Download PDFInfo
- Publication number
- JP7218778B2 JP7218778B2 JP2021123890A JP2021123890A JP7218778B2 JP 7218778 B2 JP7218778 B2 JP 7218778B2 JP 2021123890 A JP2021123890 A JP 2021123890A JP 2021123890 A JP2021123890 A JP 2021123890A JP 7218778 B2 JP7218778 B2 JP 7218778B2
- Authority
- JP
- Japan
- Prior art keywords
- person
- time
- travel time
- image
- face
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000010365 information processing Effects 0.000 title claims description 13
- 238000000034 method Methods 0.000 title claims description 13
- 238000003384 imaging method Methods 0.000 claims description 40
- 238000013500 data storage Methods 0.000 description 27
- 238000004364 calculation method Methods 0.000 description 17
- 238000010586 diagram Methods 0.000 description 13
- 238000000605 extraction Methods 0.000 description 13
- 239000000284 extract Substances 0.000 description 7
- 238000005259 measurement Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 230000001815 facial effect Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000014509 gene expression Effects 0.000 description 3
- 230000032683 aging Effects 0.000 description 2
- 230000000737 periodic effect Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Description
本発明の一態様における方法は、カメラにより撮像された少なくとも1人の人物について、前記人物が含まれる画像から、前記人物の外見的特徴を示す種別を抽出し、前記カメラによる撮像時刻に基づいて、前記人物の種別と、所定の範囲における前記人物が存在した時間とを対応付けた情報を記憶することを含む。
本発明の一態様におけるプログラムは、カメラにより撮像された少なくとも1人の人物について、前記人物が含まれる画像から、前記人物の外見的特徴を示す種別を抽出することと、前記カメラによる撮像時刻に基づいて、前記人物の種別と、所定の範囲における前記人物が存在した時間とを対応付けた情報を記憶することとをコンピュータに実行させる。
図1は、本発明の第1の実施の形態における移動時間記憶システム1の構成を示すブロック図である。
特徴抽出手段11は、複数のカメラにより撮像された、各々に少なくとも1人の人物が含まれる、複数の画像を受信する。特徴抽出手段11は、受信した画像に基づいて、人物の顔データと、人物の種別と、画像の撮像地点と、画像の撮像時刻とを抽出する。
移動時間計算手段12は、特徴抽出手段11が登録済みの人物と同一人物の顔データを新しく抽出した場合、新しい顔データが抽出された画像の撮像時刻と、その人物の直近に記憶された画像の撮像時刻との差分を計算する。ここで計算された時間は、撮像時刻の差分を計算した2つの画像の撮像地点間の移動時間である。
記憶手段13は、人物が移動した区間を示す情報(区間IDなど)と、移動時間計算手段12で計算されたその区間の移動時間と、特徴抽出手段11が抽出したその人物の種別とを対応付けて記憶する。記憶手段13は、さらに、人物を特定する人物IDを対応付けて記憶してもよい。
図3は、本発明の第2の実施の形態における移動時間記憶システム2の構成を示すブロック図である。
登録データ記憶手段221は、人物IDと、特徴抽出手段11が抽出した顔データとを対応付けて記憶する。このとき、登録データ記憶手段221は、さらに人物の種別を対応付けて記憶してもよい。
人物存在データ記憶部222は、人物IDと、特徴抽出手段11が抽出した画像の撮像地点と、画像の撮像時刻とを対応づけて記憶する。ここで、人物IDと、特徴抽出手段11が抽出した画像の撮像地点と、画像の撮像時刻とは、まとめて人物存在情報と呼ばれる。
顔照合手段212は、特徴抽出手段11で抽出された顔データを登録データ記憶手段221が記憶する顔データと照合する。顔照合手段212は、抽出された顔データと登録済みの人物の顔データとの類似度合いを表す顔認識スコアを計算する。
同一人物判定手段213は、顔照合手段212が計算した顔認識スコアと所定の閾値とを比較し、抽出された人物が登録済みの人物と同一人物であるかを判定する。顔認識スコアtが非常に高い閾値Tを超える場合、同一人物判定手段213は、抽出された人物が登録済みの人物と同一人物であると判定する。
次に、本発明の第3の実施の形態について説明する。
同一人物判定手段213は、顔照合手段212が計算した顔認識スコアと所定の閾値とを比較し、抽出された人物が登録済みの人物と同一人物であるかを判定する。顔認識スコアtが非常に高い閾値Tを超えるか、または所定の閾値Y(<T)以上である場合、かつ、抽出された人物の撮像地点と登録済みの人物の撮像地点との間の移動時間が、記憶手段23に記憶された最短移動時間Sを超えている場合、同一人物判定手段313は、抽出された人物が登録済みの人物と同一人物であると判定する。
次に、本発明の第4の実施の形態について説明する。
同一人物判定手段413は、式(1)および式(2)だけでなく、移動時間の出現頻度qを用いて登録済みの人物と同一人物であるか判定する。出現頻度qがある閾値Q以上である場合、その場所にその移動時間で該当人物が存在する尤度は高い。図9は、移動時間とその出現頻度ヒストグラムの模式図である。この模式図の例では、人物の移動経路・手段が2種類(たとえば、電車と徒歩)ある場合を想定しており、過去のたいていの人物は2つのピークの移動時間のどちらかに近い移動時間だったことがわかる。このため、本実施の形態において、同一人物判定手段413は、同一人物判定の条件に下記の式(3)を用いる。具体的には、式(1)、式(2)、または式(3)を満たした場合に、同一人物判定手段413は、抽出された人物を登録済みの人物と同一人物であると判定する。
次に、本発明の第2の形態の第1の実施例ついて、図10を参照して説明する。本実施例は、各地点のカメラの処理と、複数の地点にまたがる処理との2種類に分けられる。このため、図10のように各地点の処理にはPC510を、複数の地点にまたがる処理にはサーバ520を割り当てて構成すればよい。各地点の処理には、顔照合手段212、同一人物判定手段213、特徴抽出手段11が含まれ、これらはソフトウェアとして構成される。一方、複数の地点にまたがる処理には、登録データ記憶手段221、人物存在データ記憶手段222、移動時間計算手段12、記憶手段13が含まれ、これらはメモリ上のデータとソフトウェアとして構成される。なお、各記憶手段については、PC510側に記憶手段を用意して一時的にデータを記憶してから、サーバ520側に送信して記憶してもよい。本実施例の場合、PC510では1台または複数台のカメラ画像を常時処理し、サーバ520側では、移動時間計算手段が移動時間を計算したタイミングで記憶手段を更新すればよい。また、移動時間の計算は、定期的に実行してもよい。
次に、本発明の第3の形態の第2の実施例ついて図11を参照して説明する。本実施例は、最短移動時間を計算した上で、特定の人物の移動経路を特定する例である。図5との差異は、移動経路特定手段600を備えることであり、指定された人物IDの移動経路を特定する。具体的には、人物存在データ記憶手段222から、該当する人物IDのデータを参照し、抽出する。本発明を用いれば、人物データ記憶部222には、顔認識結果と最短移動時間に関して妥当なデータが記憶されていくため、人物の存在地点の遷移を把握できる。
複数のカメラにより撮像された少なくとも1人の人物が含まれる複数の画像の撮像地点と前記画像の撮像時刻と前記人物の顔データと前記人物の種別とを抽出する特徴抽出手段と、
前記撮像地点、前記撮像時刻、及び前記顔データに基づいて、前記人物の移動時間を計算する移動時間計算手段と、
前記移動時間と前記種別とを対応付けて記憶する記憶手段と、から構成される、移動時間記憶システム。
前記移動時間計算手段は、2地点間の前記移動時間と、他の人物が存在した他の地点を経由した前記2地点間の移動時間との総和のうち、最短の移動時間である最短移動時間を計算する、付記1に記載の移動時間記憶システム。
前記最短移動時間は、直近の一定時間の前記撮像地点と前記撮像時刻とに基づいて計算される、付記2に記載の移動時間記憶システム。
前記最短移動時間は、過去の定期的な前記撮像地点と前記撮像時刻とに基づいて計算される、付記2に記載の移動時間記憶システム。
本発明によれば、人物の移動経路をより高精度に特定して行動を解析する用途に適用できる。例えば、大規模店舗における来店客の行動解析に利用できる。
11 特徴抽出手段
12、32 移動時間計算手段
13、43 記憶手段
210 データ処理装置
212 顔照合手段
213、313、413 同一人物判定手段
220 記憶装置
221 登録データ記憶手段
222 人物存在データ記憶手段
323 最短移動時間記憶手段
510 PC
520 サーバ
600 移動経路特定手段
Claims (13)
- カメラにより撮像された少なくとも1人の人物について、前記人物が含まれる画像から、前記人物の外見的特徴を示す種別を抽出する特徴抽出手段と、
前記カメラによる撮像時刻に基づいて、前記人物と、前記人物の種別と、所定の範囲における前記人物が存在した時間とを対応付けた情報を記憶する記憶手段と、
を備えた情報処理システム。 - 前記記憶手段は、前記カメラによる撮像時刻に基づいて、前記人物の種別と、前記人物が第1の地点、第2の地点、及び第3の地点との間に存在した時間とを対応付けて記憶する、
請求項1に記載の情報処理システム。 - 前記人物の顔と登録済みの人物の顔との類似度合いを表す顔認識スコアを計算する顔照合手段と、
前記顔認識スコアと閾値とを比較して、前記画像から抽出した人物が前記登録済みの人物と同一人物かを判定する同一人物判定手段と、をさらに備える、
請求項1又は2に記載の情報処理システム。 - 前記画像から抽出した人物が前記登録済みの人物と同一人物であると判定された場合に、前記記憶手段は、前記種別と、前記所定の範囲における前記人物が存在した時間とを対応付けた情報を記憶する、
請求項3に記載の情報処理システム。 - 前記閾値は、前記所定の範囲における前記人物が存在した時間に基づいて決定される、
請求項3または4に記載の情報処理システム。 - 前記閾値は、前記所定の範囲における前記人物が存在した時間から算出される頻度に基づいて決定される
請求項3または4に記載の情報処理システム。 - 前記画像から抽出した人物が前記登録済みの人物と同一人物でないと判定された場合、前記記憶手段は、当該同一人物ではないと判定した人物の種別と、前記所定の範囲における前記人物が存在した時間とを対応付けた情報を記憶する、
請求項3乃至6のいずれか1項に記載の情報処理システム。 - 前記同一人物判定手段は、前記人物の顔と、前記登録済みの人物の顔と、前記所定の範囲における前記人物が存在した時間と、過去に計算された前記所定の範囲における前記人物が存在した時間とに基づいて、前記画像から抽出した人物が前記登録済みの人物と同一人物かを判定する、
請求項3乃至7のいずれか1項に記載の情報処理システム。 - 前記類似度合いが第1の閾値を超えるか、あるいは
前記類似度合いが第1の閾値よりも低い第2の閾値を超え、かつ、前記所定の範囲における前記人物が存在した時間が、過去に計算された前記所定の範囲における前記人物が存在した時間のうちの最短時間よりも長い場合、
前記同一人物判定手段は、前記画像から抽出した人物が前記登録済みの人物と同一人物であると判定する、
請求項3乃至8のいずれか1項に記載の情報処理システム。 - 過去に計算された前記所定の範囲における前記人物が存在した時間は、一定期間内に記録された人物存在情報によって計算される
請求項1乃至9のいずれか1項に記載の情報処理システム。 - 過去に計算された前記所定の範囲における前記人物が存在した時間は、日時、曜日、季節のいずれか一つ又はその組み合わせによって絞り込まれた人物存在情報によって計算される
請求項1乃至10のいずれか1項に記載の情報処理システム。 - カメラにより撮像された少なくとも1人の人物について、前記人物が含まれる画像から、前記人物の外見的特徴を示す種別を抽出し、
前記カメラによる撮像時刻に基づいて、前記人物と、前記人物の種別と、所定の範囲における前記人物が存在した時間とを対応付けた情報を記憶することを含む
方法。 - カメラにより撮像された少なくとも1人の人物について、前記人物が含まれる画像から、前記人物の外見的特徴を示す種別を抽出することと、
前記カメラによる撮像時刻に基づいて、前記人物と、前記人物の種別と、所定の範囲における前記人物が存在した時間とを対応付けた情報を記憶することとを
コンピュータに実行させるためのプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021123890A JP7218778B2 (ja) | 2020-01-09 | 2021-07-29 | 情報処理システム、方法およびプログラム |
JP2023008571A JP2023052590A (ja) | 2020-01-09 | 2023-01-24 | 情報処理システム、方法およびプログラム |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020002208A JP6923011B2 (ja) | 2015-12-16 | 2020-01-09 | 移動時間記憶システム、移動時間記憶方法および移動時間記憶プログラム |
JP2021123890A JP7218778B2 (ja) | 2020-01-09 | 2021-07-29 | 情報処理システム、方法およびプログラム |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020002208A Division JP6923011B2 (ja) | 2015-12-16 | 2020-01-09 | 移動時間記憶システム、移動時間記憶方法および移動時間記憶プログラム |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023008571A Division JP2023052590A (ja) | 2020-01-09 | 2023-01-24 | 情報処理システム、方法およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021168216A JP2021168216A (ja) | 2021-10-21 |
JP7218778B2 true JP7218778B2 (ja) | 2023-02-07 |
Family
ID=78079931
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021123890A Active JP7218778B2 (ja) | 2020-01-09 | 2021-07-29 | 情報処理システム、方法およびプログラム |
JP2023008571A Pending JP2023052590A (ja) | 2020-01-09 | 2023-01-24 | 情報処理システム、方法およびプログラム |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023008571A Pending JP2023052590A (ja) | 2020-01-09 | 2023-01-24 | 情報処理システム、方法およびプログラム |
Country Status (1)
Country | Link |
---|---|
JP (2) | JP7218778B2 (ja) |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000200357A (ja) | 1998-10-27 | 2000-07-18 | Toshiba Tec Corp | 人物動線情報の収集方法及び収集装置 |
JP2003279364A (ja) | 2002-03-25 | 2003-10-02 | Ricoh Co Ltd | 情報収集・情報更新・目的地までの所要時間予測方法、装置及びネットワークシステム |
JP2006221355A (ja) | 2005-02-09 | 2006-08-24 | Hitachi Ltd | 監視装置及び監視システム |
JP2008040738A (ja) | 2006-08-04 | 2008-02-21 | Nikon Corp | 施設監視システム |
JP2010113692A (ja) | 2008-11-10 | 2010-05-20 | Nec Corp | 顧客行動記録装置及び顧客行動記録方法並びにプログラム |
WO2014125882A1 (ja) | 2013-02-15 | 2014-08-21 | 日本電気株式会社 | 情報処理システム、情報処理方法及びプログラム |
US20150127662A1 (en) | 2013-11-07 | 2015-05-07 | Yahoo! Inc. | Dwell-time based generation of a user interest profile |
JP2015095037A (ja) | 2013-11-11 | 2015-05-18 | 富士通株式会社 | 移動情報処理方法、移動情報処理プログラム及び移動情報処理装置 |
JP2015133131A (ja) | 2015-02-27 | 2015-07-23 | 株式会社野村総合研究所 | 販売機会損失分析用データ出力システム及び方法 |
-
2021
- 2021-07-29 JP JP2021123890A patent/JP7218778B2/ja active Active
-
2023
- 2023-01-24 JP JP2023008571A patent/JP2023052590A/ja active Pending
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000200357A (ja) | 1998-10-27 | 2000-07-18 | Toshiba Tec Corp | 人物動線情報の収集方法及び収集装置 |
JP2003279364A (ja) | 2002-03-25 | 2003-10-02 | Ricoh Co Ltd | 情報収集・情報更新・目的地までの所要時間予測方法、装置及びネットワークシステム |
JP2006221355A (ja) | 2005-02-09 | 2006-08-24 | Hitachi Ltd | 監視装置及び監視システム |
JP2008040738A (ja) | 2006-08-04 | 2008-02-21 | Nikon Corp | 施設監視システム |
JP2010113692A (ja) | 2008-11-10 | 2010-05-20 | Nec Corp | 顧客行動記録装置及び顧客行動記録方法並びにプログラム |
WO2014125882A1 (ja) | 2013-02-15 | 2014-08-21 | 日本電気株式会社 | 情報処理システム、情報処理方法及びプログラム |
US20150127662A1 (en) | 2013-11-07 | 2015-05-07 | Yahoo! Inc. | Dwell-time based generation of a user interest profile |
JP2015095037A (ja) | 2013-11-11 | 2015-05-18 | 富士通株式会社 | 移動情報処理方法、移動情報処理プログラム及び移動情報処理装置 |
JP2015133131A (ja) | 2015-02-27 | 2015-07-23 | 株式会社野村総合研究所 | 販売機会損失分析用データ出力システム及び方法 |
Also Published As
Publication number | Publication date |
---|---|
JP2021168216A (ja) | 2021-10-21 |
JP2023052590A (ja) | 2023-04-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6854881B2 (ja) | 顔画像照合システムおよび顔画像検索システム | |
US9858474B2 (en) | Object tracking and best shot detection system | |
JP4753193B2 (ja) | 動線管理システムおよびプログラム | |
US20180096209A1 (en) | Non-transitory computer-readable storage medium, event detection apparatus, and event detection method | |
US9471982B2 (en) | Information processing apparatus and information processing method for associating an image with related information | |
JP7405200B2 (ja) | 人物検出システム | |
CN104239386B (zh) | 用于对面部识别匹配区分优先级的方法和系统 | |
US10664523B2 (en) | Information processing apparatus, information processing method, and storage medium | |
KR20170077366A (ko) | 얼굴 인식 시스템 및 방법 | |
JP6503079B2 (ja) | 特定人物検知システム、特定人物検知方法および検知装置 | |
JP2019020777A (ja) | 情報処理装置、及び、情報処理装置の制御方法、コンピュータプログラム、記憶媒体 | |
CN111383246B (zh) | 条幅检测方法、装置及设备 | |
JP2015090579A (ja) | 行動分析システム | |
JP7218778B2 (ja) | 情報処理システム、方法およびプログラム | |
JP7327645B2 (ja) | 画像処理装置、画像処理システム、画像処理方法、および画像処理プログラム | |
CN110598551B (zh) | 一种提高行人身份识别效率的方法、装置、设备及介质 | |
JP6923011B2 (ja) | 移動時間記憶システム、移動時間記憶方法および移動時間記憶プログラム | |
US20230131717A1 (en) | Search processing device, search processing method, and computer program product | |
JP6645166B2 (ja) | 移動時間記憶システム、移動時間記憶方法および移動時間記憶プログラム | |
JP7264283B2 (ja) | 画像処理装置、人検索システム、画像処理方法、及び画像処理プログラム | |
US20220245855A1 (en) | Trajectory linking apparatus, trajectory linking method, and non-transitory computer readable medium storing program | |
WO2022079841A1 (ja) | グループ特定装置、グループ特定方法、及びコンピュータ読み取り可能な記録媒体 | |
JP2018195872A (ja) | 情報処理装置、情報処理システム、情報処理方法及びプログラム | |
JP7424940B2 (ja) | 人物追跡装置、人物追跡システム、人物追跡方法及び人物追跡プログラム | |
CN115082958A (zh) | 店员识别方法、系统和终端 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210729 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20211112 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220823 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221021 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221227 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230109 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7218778 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |