JP7803115B2 - 情報処理システム、情報処理方法、及びプログラム - Google Patents

情報処理システム、情報処理方法、及びプログラム

Info

Publication number
JP7803115B2
JP7803115B2 JP2021208768A JP2021208768A JP7803115B2 JP 7803115 B2 JP7803115 B2 JP 7803115B2 JP 2021208768 A JP2021208768 A JP 2021208768A JP 2021208768 A JP2021208768 A JP 2021208768A JP 7803115 B2 JP7803115 B2 JP 7803115B2
Authority
JP
Japan
Prior art keywords
person
information processing
unspecified
time
recognition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021208768A
Other languages
English (en)
Other versions
JP2023093246A (ja
Inventor
允俊 諏訪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2021208768A priority Critical patent/JP7803115B2/ja
Priority to CN202211655197.3A priority patent/CN116342471B/zh
Priority to US18/069,475 priority patent/US12437575B2/en
Publication of JP2023093246A publication Critical patent/JP2023093246A/ja
Application granted granted Critical
Publication of JP7803115B2 publication Critical patent/JP7803115B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867Combination of radar systems with cameras
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/003Transmission of data between radar, sonar or lidar systems and remote stations
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/415Identification of targets based on measurements of movement associated with the target
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Radar Systems Or Details Thereof (AREA)

Description

本開示は、情報処理システム、情報処理方法、及びプログラムに関する。
従来、レーダー等の検出装置を用いた物体の検出に関する技術が知られている。例えば、特許文献1には、レーダーを用いたセンサにより物体を検出し、検出した情報を基に運転を支援する技術が開示されている。
国際公開第2019/239471号公報
しかし、検出装置を用いた人物の検出に関する技術には改善の余地があった。
本開示の目的は、検出装置を用いた人物の検出に関する技術を改善することである。
本開示の一実施形態に係る情報処理システムは、
所定位置に存在する人物を特定人物として特定する特定装置と、
それぞれ自機に対応する地理的範囲に存在する人物を不特定人物として認識する少なくとも一つの認識装置と、
前記特定装置及び前記少なくとも一つの認識装置と通信する情報処理装置と、
を備える情報処理システムであって、
前記情報処理装置は、
前記少なくとも一つの認識装置による認識の結果を解析することにより、第1不特定人物の位置の時間的変化を示す移動履歴を取得し、
前記特定装置が前記特定人物を特定した時刻及び前記所定位置と、前記第1不特定人物の前記移動履歴とに基づいて、前記特定人物と前記第1不特定人物とが同一であるか否かを判定し、
前記特定人物と前記第1不特定人物とが同一であると判定された場合、前記第1不特定人物の前記移動履歴を前記特定人物に対応付けて記憶装置に記憶させる。
本開示の一実施形態に係る情報処理方法は、
所定位置に存在する人物を特定人物として特定する特定装置と、
それぞれ自機に対応する地理的範囲に存在する人物を不特定人物として認識する少なくとも一つの認識装置と、
前記特定装置及び前記少なくとも一つの認識装置と通信する情報処理装置と、
を備える情報処理システムの情報処理方法であって、
前記情報処理装置が、
前記少なくとも一つの認識装置による認識の結果を解析することにより、第1不特定人物の位置の時間的変化を示す移動履歴を取得する工程と、
前記特定装置が前記特定人物を特定した時刻及び前記所定位置と、前記第1不特定人物の前記移動履歴とに基づいて、前記特定人物と前記第1不特定人物とが同一であるか否かを判定する工程と、
前記特定人物と前記第1不特定人物とが同一であると判定された場合、前記第1不特定人物の前記移動履歴を前記特定人物に対応付けて記憶装置に記憶させる工程と、
を含む。
本開示の一実施形態に係るプログラムは、
コンピュータを、
所定位置に存在する人物を特定人物として特定する特定装置、及び、それぞれ自機に対応する地理的範囲に存在する人物を不特定人物として認識する少なくとも一つの認識装置との間で通信する情報処理装置であって、
前記少なくとも一つの認識装置による認識の結果を解析することにより、第1不特定人物の位置の時間的変化を示す移動履歴を取得し、
前記特定装置が前記特定人物を特定した時刻及び前記所定位置と、前記第1不特定人物の前記移動履歴とに基づいて、前記特定人物と前記第1不特定人物とが同一であるか否かを判定し、
前記特定人物と前記第1不特定人物とが同一であると判定された場合、前記第1不特定人物の前記移動履歴を前記特定人物に対応付けて記憶装置に記憶させる、
情報処理装置として動作させる。
本開示の一実施形態によれば、検出装置を用いた人物の検出に関する技術が改善される。
本開示の一実施形態に係る情報処理システムの概略構成を示すブロック図である。 情報処理装置の概略構成を示すブロック図である。 特定装置の概略構成を示すブロック図である。 認識装置の概略構成を示すブロック図である。 撮影装置の概略構成を示すブロック図である。 情報処理システムが適用された市街地の一例を示す地図である。 情報処理装置の動作を示すフローチャートである。 移動履歴取得処理の手順を示すフローチャートである。 同一性判定処理の手順を示すフローチャートである。 第1記憶装置に記憶された第1データのサンプルの一例を示す図である。 第2記憶装置に記憶された第2データのサンプルの一例を示す図である。 第2データに基づき決定された速度ベクトルの一例を示す図である。 認識装置による認識の結果から抽出された移動履歴の一例を示す図である。
以下、本開示の実施形態について説明する。
(実施形態の概要)
図1を参照して、本開示の実施形態に係る情報処理システム1の概要について説明する。情報処理システム1は、情報処理装置10、特定装置20、少なくとも一つの認識装置30、撮影装置40、第1記憶装置50、及び、第2記憶装置60を備える。情報処理装置10、特定装置20、少なくとも一つの認識装置30、撮影装置40、第1記憶装置50、及び、第2記憶装置60は、例えばインターネット及び移動体通信網等を含むネットワーク70と通信可能に接続される。以下、情報処理システム1における、情報処理装置10、特定装置20、撮影装置40、第1記憶装置50、及び、第2記憶装置60の個数はいずれも一つである例を説明するが、これらの装置の少なくともいずれかの個数が二つ以上であってもよい。特定装置20及び少なくとも一つの撮影装置40は、例えば、街、特定の敷地内、又は建物内等の一定の地理的エリア内に設置される。以下、特定装置20及び少なくとも一つの撮影装置40が街に設けられる例を説明するが、これらの装置は所望の地理的エリア内に設置されてもよい。
情報処理装置10は、例えばサーバ装置等のコンピュータである。情報処理装置10は、ネットワーク70を介して、撮影装置40、第1記憶装置50、及び、第2記憶装置60と通信可能である。
特定装置20は、所定位置に存在する人物を特定人物として特定し、その人物を識別する識別情報を取得する装置である。特定装置20は、例えば、人物が所持する端末からユーザID(Identity)等のデータを受信したり、その人物の生体情報を読み取ったりすることで、その人物を特定してもよい。
認識装置30は、それぞれ自機に対応する地理的範囲に存在する人物を不特定人物として認識する装置である。認識装置30は、自機に対応する地理的範囲に存在する人物の位置を認識することができる。認識装置30は、例えば、ミリ波レーダー又は赤外線センサにより、人物を認識してもよい。後述するように、認識装置30による不特定人物の認識結果は、その不特定人物の移動履歴を抽出するために用いられてもよい。
撮影装置40は、人物を撮影し、撮影画像を取得する装置である。撮影装置40により取得された撮影画像は、認識装置30により人物として認識されたものの、特定装置20により特定されなかった不特定人物の移動履歴と対応付けて記憶されてもよい。
特定装置20は、特定の一つの場所のみに設置されるのに対し、少なくとも一つの認識装置30は、街全体の少なくとも一つの場所に設置されてもよい。あるいは、特定装置20は、公共の場所のみに設置されるのに対し、認識装置30は、公共の場所だけでなくプライベート空間にも設置されてもよい。例えば、特定装置20は、居住棟のエントランスに設置され、居住棟に入る住人又は来訪者等の人物を特定してもよい。認識装置30は、その人物が居住棟に入った後、その行動を追跡してもよい。
第1記憶装置50は、特定装置20が特定した人物の識別情報、人物特定を行った時刻及び位置を含む情報を、第1データとして記憶する装置である。第2記憶装置60は、認識装置30が認識した人物の位置、人物認識を行った時刻及び速度ベクトルを含む情報を、第2データとして記憶する装置である。速度ベクトルは、例えば、情報処理装置10が認識装置30による認識の結果を解析することにより決定されてもよい。第1記憶装置50及び第2記憶装置60は、例えば、ネットワークストレージにより実現されてもよい。あるいは、第1記憶装置50又は第2記憶装置60は、情報処理装置10に内蔵又は外付けされるストレージにより実現されてもよい。または、第1記憶装置50は、特定装置20に内蔵又は外付けされる、情報処理装置10からアクセス可能なストレージにより実現されてもよい。第2記憶装置60は、少なくとも一つの認識装置30の各々に内蔵又は外付けされる、情報処理装置10からアクセス可能な分散ストレージにより実現されてもよい。
まず、本実施形態の概要について説明し、詳細については後述する。上記のような構成において、情報処理装置10は、少なくとも一つの認識装置30による認識の結果を解析することにより、ある不特定人物である第1不特定人物の位置の時間的変化を示す移動履歴を取得する。情報処理装置10は、特定装置20が人物を特定人物として特定した時刻及び所定位置と、第1不特定人物の移動履歴とに基づいて、特定人物と第1不特定人物とが同一であるか否かを判定する。情報処理装置10は、特定人物と第1不特定人物とが同一であると判定された場合、第1不特定人物の移動履歴を特定人物に対応付けて記憶装置に記憶させる。
このように、本実施形態においては、特定装置20の特定の結果と、少なくとも一つの認識装置30の認識の結果に基づく不特定人物の移動履歴とに基づき、特定人物と移動履歴とを対応付ける。そのため、情報処理システム1は、認識装置30により認識された不特定人物を特定することが可能である。移動履歴の取得は人物を特定せずに行われるので、その人物のプライバシーを守ることができる。一方で、特定装置20が特定可能な人物(例えば、街の住民)については、その人物に対応付けて移動履歴が記憶され得る(すなわち、個人を特定可能な形式で移動履歴が記憶され得る)ので、例えば防犯又はセキュリティ等の観点から有用である。また、情報処理システム1は、少なくとも一つの認識装置30を用いることで広い地理的範囲の移動履歴を取得することができる。本実施形態によれば、高価な特定装置20の台数は少なくてもよいため、低コスト化が可能である。さらに、本実施形態によれば、認識装置30を用いて得られた認識結果だけでは個人を特定することができないため、仮に認識結果が漏洩したとしても、プライバシーを守ることができる。したがって、本実施形態によれば、システム構築の低コスト化及びプライバシー保護を実現するという点で、人物の検出に関する技術が改善される。
次に、情報処理システム1の各構成について詳細に説明する。
(情報処理装置の構成)
図2に示すように、情報処理装置10は、制御部11、記憶部12、及び、通信部13を備える。
制御部11は、1つ以上のプロセッサ、1つ以上のプログラマブル回路、1つ以上の専用回路、又はこれらの組合せを含む。プロセッサは、例えばCPU(Central Processing Unit)若しくはGPU(Graphics Processing Unit)等の汎用プロセッサ、又は特定の処理に特化した専用プロセッサであるがこれらに限られない。プログラマブル回路は、例えばFPGA(Field-Programmable Gate Array)であるがこれに限られない。専用回路は、例えばASIC(Application Specific Integrated Circuit)であるがこれに限られない。制御部11は、情報処理装置10全体の動作を制御する。
記憶部12は、一つ以上のメモリを含む。メモリは、例えば半導体メモリ、磁気メモリ、又は光メモリ等であるが、これらに限られない。記憶部12に含まれる各メモリは、例えば主記憶装置、補助記憶装置、又はキャッシュメモリとして機能してもよい。記憶部12は、情報処理装置10の動作に用いられる任意の情報を記憶する。例えば、記憶部12は、システムプログラム、アプリケーションプログラム、データベース、及び地図情報等を記憶してもよい。記憶部12に記憶された情報は、例えば通信部13を介してネットワーク70から取得される情報で更新可能であってもよい。
通信部13は、ネットワーク70に接続する一つ以上の通信インタフェースを含む。この通信インタフェースは、例えば4G(4th Generation)若しくは5G(5th Generation)等の移動体通信規格、有線LAN(Local Area Network)規格、又は無線LAN規格に対応するが、これらに限られず、任意の通信規格に対応してもよい。本実施形態において、情報処理装置10は、通信部13及びネットワーク70を介して、特定装置20、少なくとも一つの認識装置30、撮影装置40、第1記憶装置50、及び、第2記憶装置60と通信可能である。なお、情報処理装置10は、通信部13及びネットワーク70を介して、例えば人物が所持するスマートフォン等、特定装置20、少なくとも一つの認識装置30、撮影装置40、第1記憶装置50、及び、第2記憶装置60以外の装置と通信してもよい。
(特定装置の構成)
図3に示すように、特定装置20は、制御部21、識別情報取得部22、記憶部23、及び、通信部24を備える。
制御部21は、一つ以上のプロセッサ、一つ以上のプログラマブル回路、一つ以上の専用回路、又はこれらの組合せを含む。制御部21は、特定装置20全体の動作を制御する。
識別情報取得部22は、所定位置に存在する人物を特定し、その人物を識別する識別情報を取得する装置である。識別情報取得部22は、例えば、人物が保持する端末からユーザID等のデータを受信することで、その端末を保持する個人を特定してもよい。このような端末は例えばスマートフォンであるが、社員証又は入館カード等でもよい。保持する端末により人物を特定する場合、識別情報取得部22は、例えば、Bluetooth(登録商標)又はNFC(Near Field Communication)等を含む無線通信方式を用いて端末と通信してもよい。Bluetooth(登録商標)により通信する場合、識別情報取得部22は10cm単位で端末を識別可能であるため、複数の人物を同時に特定することができる。なお、識別情報取得部22は、例えば、人物の指紋、虹彩、又は顔等に関する生体情報を直接取得し、その生体情報そのもの又はその生体情報に対応する人物を特定する情報を識別情報として、人物を特定してもよい。すなわち、識別情報取得部22は、カメラ又は生体センサを含んでもよい。
記憶部23は、一つ以上のメモリを含む。記憶部23に含まれる各メモリは、例えば主記憶装置、補助記憶装置、又はキャッシュメモリとして機能してもよい。記憶部23は、特定装置20の動作に用いられる任意の情報を記憶する。例えば、記憶部23は、システムプログラム、アプリケーションプログラム、データベース、及び地図情報等を記憶してもよい。記憶部23に記憶された情報は、例えば通信部24を介してネットワーク70から取得される情報で更新可能であってもよい。
通信部24は、ネットワーク70に接続する一つ以上の通信インタフェースを含む。この通信インタフェースは、例えば移動体通信規格、有線LAN規格、又は無線LAN規格に対応するが、これらに限られず、任意の通信規格に対応してもよい。本実施形態において、特定装置20は、通信部24及びネットワーク70を介して、情報処理装置10、及び、第1記憶装置50と通信可能である。
特定装置20の制御部21は、識別情報取得部22が所定位置に存在する人物の識別情報を取得すると、その識別情報、その識別情報を取得した位置及び時刻を含む情報を、第1データとして第1記憶装置50に記憶させる。すなわち、制御部21は、通信部24からネットワーク70を介して第1記憶装置50へ第1データを送信し、第1記憶装置50に第1データを記憶させる。制御部21は、第1記憶装置50との間の通信を暗号化通信路等のセキュリティが施された通信路を介して行ってもよい。これにより、特定装置20により特定された人物の行動に関する情報が漏洩することを防ぎ、その人物のプライバシーを保護することができる。
(認識装置の構成)
図4に示すように、認識装置30は、制御部31、レーダー部32、記憶部33、及び、通信部34を備える。
制御部31は、一つ以上のプロセッサ、一つ以上のプログラマブル回路、一つ以上の専用回路、又はこれらの組合せを含む。制御部31は、認識装置30全体の動作を制御する。
レーダー部32は、その認識装置30に対応する地理的範囲に対してミリ波を送信し、反射波を受信する装置である。対応する地理的範囲に人物等の物体が存在する場合、物体はミリ波を反射する。認識装置30は、レーダー部32が受信した物体からの反射波に基づき、物体を認識する。本実施形態において、認識装置30は、移動する物体が認識された場合、その物体を不特定人物として認識する。レーダー部32は、例えば、数m×数m~数十m×数十mの地理的範囲において、50cm×50cm~数m×数mのグリッドで物体を認識してもよい。さらに、レーダー部32は、物体の3次元位置を認識可能としてもよい。例えば、認識装置30は、例えば、床上2.4mに設置した場合、対応する地理的範囲において、床から床上2.4mまでの範囲で物体の高さも認識することができてもよい。
なお、本実施形態では、認識装置30を、ミリ波レーダーにより実現する例を説明するが、認識装置30は、自機に対応する地理的範囲に存在する不特定人物を認識可能な装置であれば、ミリ波レーダーに基づく構成に限られない。例えば、認識装置30は、赤外線センサ等を用いて構成してもよい。認識装置30は、ミリ波レーダー又は赤外線センサ等を用いて構成することで、特定装置20と比べて、安価に提供することが可能である。
記憶部33は、一つ以上のメモリを含む。記憶部33に含まれる各メモリは、例えば主記憶装置、補助記憶装置、又はキャッシュメモリとして機能してもよい。記憶部33は、認識装置30の動作に用いられる任意の情報を記憶する。例えば、記憶部33は、システムプログラム、アプリケーションプログラム、データベース、及び地図情報等を記憶してもよい。記憶部33に記憶された情報は、例えば通信部34を介してネットワーク70から取得される情報で更新可能であってもよい。
通信部34は、ネットワーク70に接続する一つ以上の通信インタフェースを含む。この通信インタフェースは、例えば移動体通信規格、有線LAN規格、又は無線LAN規格に対応するが、これらに限られず、任意の通信規格に対応してもよい。本実施形態において、認識装置30は、通信部24及びネットワーク70を介して、情報処理装置10、及び、第2記憶装置60と通信可能である。
認識装置30の制御部31は、レーダー部32がその認識装置30に対応する地理的範囲に存在する不特定人物を認識すると、その不特定人物を認識した時刻及び位置を含む情報を、第2データとして第2記憶装置60に記憶させる。すなわち、制御部31は、通信部34からネットワーク70を介して第2記憶装置60へ第2データを送信し、第2記憶装置60に第2データを記憶させる。制御部31は、第2記憶装置60との間の通信を暗号化通信路等のセキュリティが施された通信路を介して行ってもよい。これにより、認識装置30により認識された不特定人物の行動に関する情報が漏洩することを防ぎ、その人物のプライバシーを保護することができる。
認識装置30の制御部31は、不特定人物について認識された位置及び時刻だけでなく、他の情報も取得できる場合は、その情報を第2データとして第2記憶装置60に記憶させてもよい。例えば、制御部31は、認識装置30に対応する地理的範囲に存在する不特定人物の位置の時間的変化に基づき、その不特定人物の速度ベクトルを求めてもよい。速度ベクトルを求めた場合、制御部31は、不特定人物を認識した時刻及び位置に加えて、速度ベクトルを含む情報を第2データとして第2記憶装置60に記憶させてもよい。また、制御部31は、近接するタイミングで近接する位置に不特定人物を認識した場合、その不特定人物は同一であると認識してもよい。例えば、制御部31は、一定のフレーム間隔(例えば、0.1秒)で物体を認識している場合において、あるフレームで認識された不特定人物の位置とそのフレームに隣接するフレームで認識された不特定人物の位置との間の距離が所定の閾値(例えば、1m)以下の場合、その不特定人物は同一であると認識してもよい。制御部31は、異なる時刻に異なる位置で認識された不特定人物を同一であると認識した場合、その不特定人物に物体IDを割り当てて、他の不特定人物と区別できるようにしてもよい。制御部31は、このような物体IDを第2データとして第2記憶装置60に記憶させてもよい。また、制御部31は、認識装置30を識別する識別情報を第2データとして第2記憶装置60に記憶させてもよい。
(撮影装置の構成)
図5に示すように、撮影装置40は、制御部41、撮影部42、記憶部43、及び、通信部44を備える。
制御部41は、一つ以上のプロセッサ、一つ以上のプログラマブル回路、一つ以上の専用回路、又はこれらの組合せを含む。制御部41は、撮影装置40全体の動作を制御する。
撮影部42は、その撮影装置40の撮影範囲に存在する撮影対象を撮影して、撮影画像を生成する装置である。撮影部42は、例えばカラー画像を生成するRGB(Red Green Blue)カメラであるが、これに代えて、グレースケール画像又は白黒画像を生成するカメラでもよい。
記憶部43は、一つ以上のメモリを含む。記憶部43に含まれる各メモリは、例えば主記憶装置、補助記憶装置、又はキャッシュメモリとして機能してもよい。記憶部43は、撮影装置40の動作に用いられる任意の情報を記憶する。例えば、記憶部43は、システムプログラム、アプリケーションプログラム、データベース、及び地図情報等を記憶してもよい。記憶部43に記憶された情報は、例えば通信部44を介してネットワーク70から取得される情報で更新可能であってもよい。
通信部44は、ネットワーク70に接続する一つ以上の通信インタフェースを含む。この通信インタフェースは、例えば移動体通信規格、有線LAN規格、又は無線LAN規格に対応するが、これらに限られず、任意の通信規格に対応してもよい。本実施形態において、撮影装置40は、通信部44及びネットワーク70を介して、情報処理装置10と通信可能である。
撮影装置40の制御部41は、撮影部42が撮影対象を撮影すると、その撮影画像、時刻及び位置を含む情報を、第3データとして記憶部43に記憶させる。制御部41は、第3データを、一定期間(例えば、一週間)、記憶部43に記憶させ、その後、消去する。制御部41は、情報処理装置10からの要求に応じて、撮影画像を通信部44からネットワーク70を介して情報処理装置10へ送信してもよい。撮影画像を送信する際、制御部41は、情報処理装置10との間の通信を暗号化通信路等のセキュリティが施された通信路を介して行ってもよい。これにより、撮影装置40により撮影された人物の行動に関する情報が漏洩することを防ぎ、その人物のプライバシーを保護することができる。なお、本実施形態では、撮影装置40は、撮影した撮影画像を含む第3データを記憶部43に記憶するが、ネットワーク70に接続されたネットワークストレージを含む記憶装置等に記憶してもよい。
(情報処理システムの適用例)
ここでは、情報処理システム1が図6のような市街地に適用された場合の例を説明する。図6は、情報処理システム1が適用された市街地の一例を示す地図である。図6の例では、一つの特定装置20、三つの認識装置30(30a,30b,30c)、及び一つの撮影装置40が市街地の路上付近に設けられている。
特定装置20は、所定位置25に存在する人物を特定人物として特定する。特定装置20は、人物を特定した場合、人物を特定した時刻、所定位置25、及び人物の識別情報を含む第1データを第1記憶装置50に記憶させる。
認識装置30(30a,30b,30c)は、それぞれ自機に対応する地理的範囲35(35a,35b,35c)に存在する人物を不特定人物として認識する。図6の例では、認識装置30cは、地理的範囲35cに存在する人物80を認識することができる。認識装置30cは、認識した人物80の位置及び時刻を取得し、これらの情報を含む第2データを第2記憶装置60に記憶させる。
撮影装置40は、自機の撮影範囲に存在する撮影対象を撮影して、撮影画像を生成する。図6の例では、撮影装置40は、認識装置30cの地理的範囲35cとほぼ同一の範囲を自機の撮影範囲として、常時、撮影を行う。
以下、図6に示す地図における任意の地点は、図6の左上を原点(基準点)とするXY座標系におけるXY座標(X,Y)により特定される例を説明する。ここでは、X座標の値は図6の右方向へ進むに従って増加する。Y座標の値は図6の下方向へ進むに従って増加する。例えば、図6において、所定位置25の位置は(60,60)である。人物80の位置は(120,120)である。以下、X座標及びY座標の値は、原点からの距離をメートル(m)単位で表した数値である場合の例を説明する。
(情報処理装置の動作フロー)
図7~図12を参照して、情報処理装置10の動作について説明する。図7~図9は、情報処理装置10の動作を示すフローチャートである。図7~図9を参照して説明する情報処理装置10の動作は、本実施形態に係る情報処理方法の一つに相当しうる。図7~図9の各ステップの動作は、制御部11の制御に基づき実行される。本実施形態に係る情報処理方法をコンピュータに実行させるためのプログラムは、図7~図9に示す各ステップを含みうる。以下、ある認識装置(例えば、認識装置30c)によりある時刻に認識された不特定人物80を特定する処理の例を説明する。
ステップS1:制御部11は、特定装置20による人物の特定の結果を取得する。
具体的には、制御部11は、第1記憶装置50にアクセスして、第1記憶装置50が記憶する第1データを参照してもよい。図10は、第1記憶装置50に記憶された第1データのサンプルの一例を示す図である。図10の例では、特定装置20が人物を特定する所定位置25の座標は(60,60)である。図10の例では、所定位置25において、時刻14:50:00に「ユーザA」が特定され、時刻15:35:00に「ユーザB」が特定されている。以下、制御部11は、時刻14:50:00、所定位置(60,60)、識別情報「ユーザA」を含む情報を特定の結果として取得した場合を説明する。なお、第1データが特定装置20の記憶部23に記憶されている場合、制御部11は、特定装置20にアクセスして、特定装置20による特定の結果を取得してもよい。
ステップS2:制御部11は、少なくとも一つの認識装置30(30a,30b,30c)の各々による不特定人物の認識の結果を取得する。
具体的には、制御部11は、第2記憶装置60にアクセスし、認識装置30(30a,30b,30c)による不特定人物の認識の結果として、第2記憶装置60が記憶する第2データを参照してもよい。図11は、第2記憶装置60に記憶された第2データのサンプルの一例を示す図である。図11の例では、全ての認識装置30(30a,30b,30c)による認識結果が、認識装置30a,30b,30cの識別情報と共に、時系列に記憶されている。例えば、図11では、認識装置30cの認識結果として、時刻14:51:59に位置(120,119)において、時刻14:52:00に位置(120,120)において、物体ID「c0001」で識別される不特定人物が認識されている。なお、第2データが各認識装置30(30a,30b,30c)の記憶部33に記憶されている場合、制御部11は、各認識装置30(30a,30b,30c)にアクセスして、認識装置30(30a,30b,30c)による認識の結果を取得してもよい。
なお、認識装置30(30a,30b,30c)は、一定のサンプリングレートでミリ波レーダーの送受信を行うことで、自機に対応する地理的範囲35(35a,35b,35c)における物体(人物を含む)を認識する。そのため、第2データには、認識された物体の位置を秒単位で特定する情報だけでなく、より細かい時間単位(例えば、1秒未満の時間単位)で、認識された物体の位置を特定する情報等が含まれてもよい。
ステップS3:制御部11は、認識装置30(30a,30b,30c)による認識の結果を解析することにより、ある不特定人物80の位置の時間的変化を示す移動履歴を取得する。
具体的には、制御部11は、ステップS1で取得した特定の結果に含まれる、特定装置20が人物を特定した時刻以後の時刻の第2データのサンプルについて、図8に示される移動履歴取得処理(ステップS11~S16)を実行する。
ステップS11:制御部11は、第2データを参照し、ある認識装置(第1認識装置。例えば、認識装置30c)による認識の結果を解析することにより、その第1認識装置30cによって不特定人物(第1不特定人物)80が認識されたある時刻(第1時刻)における第1不特定人物80の位置(第1位置)及び速度ベクトル(第1速度ベクトル)を決定する。
具体的には、制御部11は、同一人物のデータであると考えられる第2データの複数のサンプルを抽出し、抽出した第2データの単位時間当たりの位置の変化に基づき、第1速度ベクトルを決定してもよい。速度ベクトルは、対象となる人物が単位時間当たりにXY方向に移動する移動量及び向きを示すベクトルである。制御部11は、例えば、同一の認識装置30により同一の物体IDが割り振られた不特定人物の第2データを同一人物の第2データとして抽出してもよい。第2データに物体IDが含まれない場合、制御部11は、例えば、同一の認識装置30により認識された不特定人物の第2データであって、時刻及び位置の差分が予め定められた閾値以下である第2データの複数のサンプルを同一人物の第2データとして抽出してもよい。このような時刻及び位置の差分の閾値は、例えば、通常の歩行者の移動速度に基づき定められてもよい。具体的には、制御部11は、例えば、1秒未満の時間における移動距離が数m以内である第2データの複数のサンプルを同一人物の第2データとして抽出してもよい。制御部11は、抽出された複数の第2データが示す第1不特定人物80の位置及び時刻に基づき、その第1不特定人物の第1速度ベクトルを決定してもよい。
制御部31は、第2記憶装置60に記憶された第2データに、不特定人物について認識された位置及び時刻以外の情報が含まれる場合は、第1速度ベクトルを決定する際にこれらの情報を利用してもよい。例えば、前述のように、認識装置30の識別情報及び物体ID等の情報が第2データに含まれる場合、制御部11は、これらの情報を用いて不特定人物の同一性を判定して、第1速度ベクトルを決定してもよい。あるいは、例えば、第2データに認識装置30(30a,30b,30c)により求められた速度ベクトルが含まれる場合、制御部11は、その速度ベクトルを第1速度ベクトルとして決定してもよい。このように、第2データに、不特定人物について認識された位置及び時刻以外の情報が含まれる場合は、これらの情報を用いて第1速度ベクトルを決定することで、その不特定人物についての速度ベクトルをより正確に決定することができる。
なお、制御部11は、一定のサンプリングレートで取得された第2データのサンプルの各々について第1速度ベクトルを決定するのではなく、同一の認識装置30により認識された同一人物について連続して取得された第2データを代表するサンプルについて、第1速度ベクトルを求めてもよい。例えば、制御部11は、同一人物について連続して取得された第2データにおける一定の時間間隔(例えば、10秒)のサンプルの各々について、第1速度ベクトルを決定するようにしてもよい。
図12は、第2データに基づき決定された速度ベクトルの一例を示す図である。図12の例では、図11に例示された第2データの各サンプルの各々について、速度ベクトルが決定されている。速度ベクトルは、単位時間の間にX方向及びY方向に移動する量及び向きにより表されてもよい。移動の向きは正負によって示されてもよい。以下、単位時間を1分として、速度ベクトルを二次元ベクトルにより表す例を説明する。例えば、時刻14:50:00に位置(60,60)において認識された不特定人物の速度ベクトルは(60,0)である。この速度ベクトルは、1分の間にX正方向、すなわち、図6の右方向に60mだけ移動することを示す。例えば、時刻14:50:40に位置(120,140)において認識された不特定人物の速度ベクトルは(0,-70)である。この速度ベクトルは、1分の間にY負方向、すなわち、図6の上方向に70だけ移動することを示す。
ステップS12:制御部11は、ステップS11で決定された、第1時刻、第1位置及び第1速度ベクトルに基づいて、第1時刻よりも過去の時刻における第1不特定人物80の推定位置を決定する。
具体的には、制御部11は、第2データの第1ベクトルを決定したサンプルに含まれる時刻のうち、第1時刻よりも以前の、第1時刻から一定時間(例えば、1分)内の時刻の各々について、推定位置を決定してもよい。例えば、ステップS11において、第1時刻、第1位置及び第1速度ベクトルとして、時刻14:52:00、位置(120,120)、及び、速度ベクトル(0,60)が決定されたとする(図12参照)。この場合、第1不特定人物80は、1分の間にY正方向(図6の下方向)に60だけ移動すると推定される。そこで、制御部11は、時刻14:51:30の推定位置を(120,90)と決定し、時刻14:51:00の推定位置を(120,60)と決定する。このようにして、制御部11は、第1時刻から一定時間内の過去の時刻の各々について、推定位置を決定する。
ステップS13:制御部11は、第2データを参照し、ある認識装置(第2認識装置。例えば、認識装置30b)による認識の結果を解析することにより、その第2認識装置30bによって不特定人物(第2不特定人物)が認識された時刻(第2時刻)、及び、第2時刻における第2不特定人物の位置(第2位置)を決定する。
具体的には、制御部11は、第2データのサンプルに含まれる時刻のうち、ステップS12で過去の時刻として決定された時刻と同一の時刻の各々を第2時刻として、その時刻における不特定人物の位置を第2位置として決定してもよい。例えば、制御部11は、ステップS12で過去の時刻として決定された時刻14:51:30を第2時刻とした場合、その時刻における位置(50,60)を第2位置として決定する(図12参照)。また、時刻14:51:00を第2時刻とした場合、その時刻における位置(120,60)を第2位置として決定する。
ステップS14:制御部11は、ステップS12で決定した第1不特定人物80についての過去の時刻及び推定位置と、ステップS13で決定した第2不特定人物についての第2時刻及び第2位置との比較に基づいて、第1不特定人物80と第2不特定人物とが同一であるか否かを判定する。
具体的には、制御部11は、ステップS12で決定した過去の時刻と同一の第2時刻に対応する第2位置と、推定位置との間の距離が予め定められた閾値以内の場合、第1不特定人物80と第2不特定人物とが同一であると判定してもよい。例えば、不特定人物の同一性を判定するための閾値が3mであるとする。ステップS12において、制御部11が、第1時刻14:52:00の第1位置(120,120)及び第1速度ベクトル(0,60)に基づいて、第1不特定人物80についての過去の時刻14:51:30における推定位置(120,90)を決定したとする。例えば、ステップS13において、制御部11が、第2不特定人物について、第2時刻14:51:30の第2位置(50,60)(速度ベクトル(-90,0))を決定したとする。この場合、過去の時刻と同一の第2時刻に対応する第2位置(50,60)と、推定位置(120,90)との間の距離((120-50)2+(90-60)21/2= 76.16mは閾値3mを上回る。そこで、制御部11は、第1不特定人物80と第2不特定人物は同一でないと判定する。一方、ステップS12において、制御部11が、第1不特定人物80につき、過去の時刻14:51:00における推定位置(120,60)を決定したとする。例えば、ステップS13において、制御部11が、第2不特定人物として、第2時刻14:51:00の第2位置(120,60)(速度ベクトル(60,0))を決定したとする。この場合、過去の時刻と同一の第2時刻に対応する第2位置(120,60)と、推定位置(120,60)との間の距離は0(<閾値
3m)である。そこで、制御部11は、第1不特定人物80と第2不特定人物は同一であると判定する。このように、制御部11は、ステップS12で決定した過去の時刻の各々について、推定位置と、その過去の時刻と同一の第2時刻における第2位置とを比較して、第1不特定人物80と第2不特定人物とが同一であるか否かを判定してもよい。
ステップS15:制御部11は、ステップS14において、第1不特定人物80と第2不特定人物とが同一であると判定された場合(ステップS15でYES)はステップS16へ進み、そうでない場合(ステップS15でNO)は移動履歴処理を終了する。
具体的には、制御部11は、ステップS14において、複数の過去の時刻の少なくともいずれかについて、第1不特定人物80と第2不特定人物とが同一であると判定された場合、ステップS16へ進んでもよい。
ステップS16:制御部11は、第1不特定人物80の移動履歴に、その第1不特定人物80と同一であると判定された第2不特定人物の第2時刻及び第2位置を追加する。
具体的には、例えば、時刻14:52:00に位置(120,120)に存在した第1不特定人物80と、時刻14:51:00に位置(120,60)に存在した第2不特定人物とは同一であると判定される。そこで、制御部11は、第2時刻14:51:00及び第2位置(120,60)を第1不特定人物80の移動履歴に追加する。
制御部11は、ステップS11~S16の処理を、ステップS1で取得した特定装置20が人物を特定した時刻以後の時刻の第2データのサンプルの各々について、そのサンプルの時刻をステップS11の第1時刻として、基準となる時刻から遡って繰り返し実行することで、不特定人物80についての移動履歴を取得してもよい。基準となる時刻は、例えば、ユーザから処理開始の要求を受けた時刻、又は、人物の特定を行いたい不特定人物80がある認識装置(例えば、認識装置30c)により認識された時刻等としてもよい。上述した移動履歴作成処理により、第2データに含まれるサンプルを、同一の不特定人物80に対応付けて、不特定人物80の移動履歴を作成することができる。
なお、制御部11は、第2データに認識装置30の識別情報及び物体ID等の情報が含まれる場合は、これらの情報を利用して不特定人物80の移動履歴を作成してもよい。例えば、制御部11は、同一の認識装置30により認識された同一人物について連続して取得された第2データの一連のサンプルを、その人物の移動履歴として抽出してもよい。
図13は、上記のような手順により認識装置30による認識の結果から抽出された移動履歴の一例を示す図である。図13の例では、不特定人物80は、時刻14:50:00に位置(60,60)におり、時刻14:51:00に位置(120,60)を通過した後、時刻14:52:00に位置(120,120)へ到達している。移動履歴の作成後、制御部11は、移動履歴取得処理を終了し、図7のステップS4へ進む。
ステップS4:制御部11は、特定装置20が特定人物として特定した時刻及び所定位置25と、ステップS3で取得した第1不特定人物80の移動履歴とに基づいて、特定人物と第1不特定人物80とが同一であるか否かを判定する。
具体的には、制御部11は、図9に示される同一性判定処理(ステップS21~S23)を実行する。
ステップS21:制御部11は、人物の特定を行う第1不特定人物80の移動履歴に含まれる第1時刻及び第1位置を取得する。
具体的には、制御部11は、ステップS3で取得した不特定人物80の移動履歴に含まれる時刻及び位置の少なくとも一つの組を取得する。例えば、制御部11は、図13に例示した移動履歴に含まれる時刻及び位置の一つ以上の組を取得する。
ステップS22:制御部11は、特定装置20による特定の結果に基づき、特定人物が特定された時刻(特定時刻)及び所定位置25を取得する。
具体的には、例えば、制御部11は、図10に例示した人物特定の時刻及び位置の少なくとも一つの組を取得する。
ステップS23:制御部11は、ステップS21で取得した第1時刻及び第1位置と、ステップS22で取得した特定時刻及び所定位置25とを比較して、第1不特定人物80と特定人物との同一性を判定する。
具体的には、制御部11は、ステップS21で取得した移動履歴に含まれる時刻及び位置の少なくとも一つの組のいずれかと、ステップS22で取得した特定時刻及び所定位置25の少なくとも一つの組のいずれかと、で適合するものが存在するか否かを判定する。ここで、制御部11は、移動履歴に含まれる時刻及び位置と、特定時刻及び所定位置25とが完全に同一でなくても、両者の違いが予め定められた閾値(例えば、時刻については5秒、位置については距離5m等)以内であれば、両者は適合すると判定してもよい。制御部11は、両者の間で適合するものが存在する場合は、第1不特定人物80と、その移動履歴に適合する特定時刻及び所定位置25に係る特定人物とは同一であると判定する。制御部11は、両者の間で適合するものが存在しない場合、第1不特定人物80と特定人物とは同一でないと判定する。
図10及び図13の例では、図13の移動履歴に含まれる時刻14:50:00及び位置(60,60)と、図10の特定時刻14:50:00及び所定位置25(60,60)とは同一であるため、両者は適合する。そこで、制御部11は、図13の移動履歴を有する不特定人物80と、図10の「ユーザA」の特定人物とは同一であると判定する。ステップS23の処理を終えると、制御部11は、同一性判定処理を終了し、図7のステップS5へ進む。
ステップS5:制御部11は、ステップS4の同一判定処理の結果、第1不特定人物80と特定人物とは同一であると判定された場合(ステップS5でYES)はステップS6へ進み、そうでない場合(ステップS5でNO)はステップS7へ進む。
ステップS6:制御部11は、ステップS3で取得した第1不特定人物80の移動履歴をステップS4で同一であると判定された特定人物に対応付けて記憶装置に記憶する。
例えば、前述の例では、制御部11は、図13の移動履歴を「ユーザA」に対応付け、記憶部12等の記憶装置に記憶する。そして、制御部11は、フローチャートの処理を終了する。
ステップS7:制御部11は、第1不特定人物80の移動履歴をその第1不特定人物80の撮影画像に対応付けて、記憶装置に記憶する。
具体的には、制御部11は、第1不特定人物80が映りこんだ撮影画像を取得する。例えば、制御部11は、第1不特定人物80の移動履歴に含まれる時刻及び位置を撮影した撮影装置40の撮影画像を取得してもよい。あるいは、制御部11は、ユーザにより指定された特定の撮影画像を、第1不特定人物80が映りこんだ撮影画像として取得してもよい。制御部11は、このようにして取得した撮影画像と、第1不特定人物80の移動履歴とを対応付けて、記憶部12等の記憶装置に記憶する。そして、制御部11は、フローチャートの処理を終了する。
以上のように、本実施形態に係る情報処理システム1は、所定位置25に存在する人物を特定人物として特定する特定装置20と、それぞれ自機に対応する地理的範囲35に存在する人物を不特定人物として認識する少なくとも一つの認識装置30と、情報処理装置10と、を備える。情報処理装置10は、少なくとも一つの認識装置30による認識の結果を解析することにより、第1不特定人物80の位置の時間的変化を示す移動履歴を取得する。情報処理装置10は、特定装置20が特定人物を特定した時刻及び所定位置25と、第1不特定人物80の移動履歴とに基づいて、特定人物と第1不特定人物80とが同一であるか否かを判定する。情報処理装置10は、特定人物と第1不特定人物80とが同一であると判定された場合、第1不特定人物80の移動履歴を特定人物に対応付けて記憶部12等の記憶装置に記憶させる。
このような構成によれば、特定装置20の特定の結果と、少なくとも一つの認識装置30の認識の結果に基づく不特定人物80の移動履歴とに基づき、特定人物と移動履歴とを対応付けるため、認識装置30により認識された不特定人物80を特定することが可能である。また、少なくとも一つの認識装置30を用いることで広い地理的範囲の移動履歴を取得することができる。高価な特定装置20の台数は少なくてもよいため、低コスト化が可能である。さらに、認識装置30を用いて得られた認識結果だけでは個人を特定できないため、仮に認識結果が漏洩したとしても、認識装置30により認識された不特定人物80のプライバシーを守ることができる。また、認識装置30は、少なくとも不特定人物80の位置及び時刻の情報を取得することができればどのような構成により実現してもよいので、レーダー等の安価な装置により実現することが可能である。
情報処理システム1において、一つ以上の認識装置30は、第1認識装置(例えば、認識装置30c)を含んでもよい。そして、情報処理装置10は、第1認識装置30cによる認識の結果を解析することにより、第1認識装置30cによって第1不特定人物80が認識された第1時刻における第1不特定人物80の第1位置及び第1速度ベクトルを決定してもよい。情報処理装置10は、第1時刻、第1位置及び第1速度ベクトルに基づいて、第1時刻よりも過去の時刻における第1不特定人物80の推定位置を決定してもよい。
このような構成によれば、不特定人物80の時刻、位置及び速度ベクトルに基づき、その不特定人物80の過去の時刻における推定位置を取得することで、不特定人物80の移動履歴を高い精度で取得することができる。
情報処理システム1において、一つ以上の認識装置30は、第2認識装置(例えば、認識装置30b)を更に含んでもよい。そして、情報処理装置10は、第2認識装置30bによる認識の結果を解析することにより、第2認識装置30bによって第2不特定人物が認識された第2時刻及び第2時刻における第2不特定人物の第2位置を決定してもよい。情報処理装置10は、過去の時刻及び推定位置と、第2時刻及び第2位置との比較に基づいて、第1不特定人物80と第2不特定人物とが同一であるか否かを判定してもよい。
このような構成によれば、第1認識装置30cが認識した第1不特定人物80について過去の時刻及び推定位置と、第2認識装置30bが認識した第2不特定人物についての第2時刻及び第2位置とを比較して、第1不特定人物80と第2不特定人物との同一性を判定することで、移動履歴を高い精度で取得することができる。
情報処理システム1において、情報処理装置10は、特定装置20が特定人物を特定した時刻及び所定位置25と、過去の時刻及び推定位置との比較に基づいて、特定人物と第1不特定人物80とが同一であるか否かを判定してもよい。
このような構成によれば、特定装置20が特定人物を特定した時刻及び所定位置25と、第1不特定人物80についての過去の時刻及び推定位置とを比較して、特定人物と第1不特定人物80との同一性を判定することで、第1不特定人物80の特定を高精度に行うことが可能である。
情報処理システム1において、情報処理装置10は、特定人物と第1不特定人物80とが同一ではないと判定された場合、撮影装置40によって撮影されたその第1不特定人物80の撮影画像を取得し、その第1不特定人物80の移動履歴と、撮影画像とを対応付けて、記憶装置に記憶させてもよい。
このような構成によれば、特定人物と対応付けられなかった不特定人物80については、移動履歴と撮影画像とを対応付けることで、不特定人物80として不審人物が出現した場合、不審人物の外貌と対応付けてその行動を追跡することが可能である。
情報処理システム1において、少なくとも一つの認識装置30は、ミリ波レーダー又は赤外線センサを含んでもよい。
一般に、ミリ波レーダー又は赤外線センサは、人物を特定する特定装置20よりも安価に構成することができる。そのため、→少なくとも一つの認識装置30をミリ波レーダー又は赤外線センサにより実現することで、情報処理システム1を安価に構成することができる。
情報処理システム1において、少なくとも一つの認識装置30は、対応する地理的範囲35の少なくとも一部が互いに重複するように配置された二つ以上の認識装置30を含んでもよい。
例えば、図6では、認識装置30aの地理的範囲35aと、認識装置30bの地理的範囲35bとは、一部が重複している。このように、認識装置30の対応する地理的範囲35の少なくとも一部が重複していると、不特定人物80がその重複する範囲を通過して複数の地理的範囲35を移動する場合、二つ以上の認識装置30は、その不特定人物80の移動を切れ目なく追跡して認識することができる。したがって、このような構成によれば、複数の認識装置30に対応する地理的範囲35内をまたがって移動する不特定人物80の移動履歴を高い精度で追跡することが可能である。
本開示を諸図面及び実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形及び改変を行ってもよいことに注意されたい。したがって、これらの変形及び改変は本開示の範囲に含まれることに留意されたい。例えば、各構成部又は各ステップ等に含まれる機能等は論理的に矛盾しないように再配置可能であり、複数の構成部又はステップ等を1つに組み合わせたり、或いは分割したりすることが可能である。
例えば、上述した実施形態において、情報処理装置10の構成及び動作を、互いに通信可能な複数のコンピュータに分散させた実施形態も可能である。また例えば、特定装置20又は認識装置30の一部又は全部の構成要素を情報処理装置10に設けた実施形態も可能である。例えば、情報処理装置10は、特定装置20が備える人物の識別情報を取得するための構成要素を備えてもよい。
また、情報処理装置10は、ユーザにより不特定人物80が選択された上で、要求がなされたことに応じて、その不特定人物80の移動履歴を取得し、対応する特定人物を特定して、移動履歴をその特定人物に対応付けて記憶装置に記憶させてもよい。このような構成によれば、ユーザにより選択された不特定人物80の移動履歴を自動的に取得し、特定人物と対応付けることができる。
また、情報処理装置10は、不特定人物80の移動履歴と特定人物との対応関係をユーザに提示してもよい。例えば、情報処理装置10は、不特定人物80の移動履歴と特定人物の識別情報との対応関係を地図上に示した画像をディスプレイに表示してもよい。このような構成によれば、ユーザは、不特定人物80の移動履歴と特定人物との対応関係を容易に把握することができる。
また、情報処理装置10は、一定の時間範囲において一旦作成した移動履歴を記憶部12等に保存しておき、この時間範囲に隣接する時間範囲について移動履歴を作成する場合は、保存した移動履歴を再利用するようにしてもよい。このような構成によれば、一旦作成した移動履歴については、同一の移動履歴を作成する処理を繰り返す必要がなく、効率的に処理を進めることができる。
また、図6を参照した例では、特定装置20による人物特定が、認識装置30b,30cによる不特定人物80の認識に先立つ場合を示したが、特定装置20による人物特定は認識装置30値よる不特定人物80の認識に先立つ必要はない。例えば、認識装置30による不特定人物80の認識の後に特定装置20による人物特定が行われてもよい。
また、例えば汎用のコンピュータを、上述した実施形態に係る情報処理装置10として機能させる実施形態も可能である。具体的には、上述した実施形態に係る情報処理装置10の各機能を実現する処理内容を記述したプログラムを、汎用のコンピュータのメモリに格納し、プロセッサによって当該プログラムを読み出して実行させる。したがって、本開示は、プロセッサが実行可能なプログラム、又は当該プログラムを記憶する非一時的なコンピュータ可読媒体としても実現可能である。
1 情報処理システム
10 情報処理装置
11 制御部
12 記憶部
13 通信部
20 特定装置
21 制御部
22 識別情報取得部
23 記憶部
24 通信部
30 認識装置
31 制御部
32 レーダー部
33 記憶部
34 通信部
35 地理的範囲
40 撮影装置
41 制御部
42 撮影部
43 記憶部
44 通信部
50 第1記憶装置
60 第2記憶装置
70 ネットワーク

Claims (8)

  1. 所定位置に存在する人物を特定人物として特定する特定装置と、
    それぞれ自機に対応する地理的範囲に存在する人物を不特定人物として認識する少なくとも一つの認識装置と、
    情報処理装置と、
    を備える情報処理システムであって、
    前記情報処理装置は、
    前記少なくとも一つの認識装置による認識の結果を解析することにより、第1不特定人物の位置の時間的変化を示す移動履歴を取得し、
    前記特定装置が前記特定人物を特定した時刻及び前記所定位置と、前記第1不特定人物の前記移動履歴とに基づいて、前記特定人物と前記第1不特定人物とが同一であるか否かを判定し、
    前記特定人物と前記第1不特定人物とが同一であると判定された場合、前記第1不特定人物の前記移動履歴を前記特定人物に対応付けて記憶装置に記憶させ
    前記少なくとも一つの認識装置は、第1認識装置を含み、
    前記情報処理装置は、
    前記第1認識装置による認識の結果を解析することにより、前記第1認識装置によって前記第1不特定人物が認識された第1時刻における前記第1不特定人物の第1位置及び第1速度ベクトルを決定し、
    前記第1時刻、前記第1位置及び前記第1速度ベクトルに基づいて、前記第1時刻よりも過去の時刻における前記第1不特定人物の推定位置を決定する、
    情報処理システム。
  2. 請求項に記載の情報処理システムであって、
    前記少なくとも一つの認識装置は、第2認識装置を更に含み、
    前記情報処理装置は、
    前記第2認識装置による認識の結果を解析することにより、前記第2認識装置によって第2不特定人物が認識された第2時刻及び前記第2時刻における前記第2不特定人物の第2位置を決定し、
    前記過去の時刻及び前記推定位置と、前記第2時刻及び前記第2位置との比較に基づいて、前記第1不特定人物と前記第2不特定人物とが同一であるか否かを判定する、情報処理システム。
  3. 請求項又はに記載の情報処理システムであって、
    前記情報処理装置は、前記特定装置が前記特定人物を特定した前記時刻及び前記所定位置と、前記過去の時刻及び前記推定位置との比較に基づいて、前記特定人物と前記第1不特定人物とが同一であるか否かを判定する、情報処理システム。
  4. 請求項1からのいずれか一項に記載の情報処理システムであって、
    前記情報処理装置は、前記特定人物と前記第1不特定人物とが同一ではないと判定された場合、撮影装置によって撮影された当該第1不特定人物の撮影画像を取得し、当該第1不特定人物の前記移動履歴と、前記撮影画像とを対応付けて、前記記憶装置に記憶させる、情報処理システム。
  5. 請求項1からのいずれか一項に記載の情報処理システムであって、前記少なくとも一つの認識装置は、ミリ波レーダー又は赤外線センサを含む、情報処理システム。
  6. 請求項1からのいずれか一項に記載の情報処理システムであって、
    前記少なくとも一つの認識装置は、対応する地理的範囲の少なくとも一部が互いに重複するように配置された二つ以上の認識装置を含む、情報処理システム。
  7. 所定位置に存在する人物を特定人物として特定する特定装置と、
    それぞれ自機に対応する地理的範囲に存在する人物を不特定人物として認識する少なくとも一つの認識装置と、
    前記特定装置及び前記少なくとも一つの認識装置と通信する情報処理装置と、
    を備える情報処理システムの情報処理方法であって、
    前記情報処理装置が、
    前記少なくとも一つの認識装置による認識の結果を解析することにより、第1不特定人物の位置の時間的変化を示す移動履歴を取得する工程と、
    前記特定装置が前記特定人物を特定した時刻及び前記所定位置と、前記第1不特定人物の前記移動履歴とに基づいて、前記特定人物と前記第1不特定人物とが同一であるか否かを判定する工程と、
    前記特定人物と前記第1不特定人物とが同一であると判定された場合、前記第1不特定人物の前記移動履歴を前記特定人物に対応付けて記憶装置に記憶させる工程と、
    を含み、
    前記少なくとも一つの認識装置は、第1認識装置を含み、
    前記情報処理装置は、
    前記第1認識装置による認識の結果を解析することにより、前記第1認識装置によって前記第1不特定人物が認識された第1時刻における前記第1不特定人物の第1位置及び第1速度ベクトルを決定し、
    前記第1時刻、前記第1位置及び前記第1速度ベクトルに基づいて、前記第1時刻よりも過去の時刻における前記第1不特定人物の推定位置を決定する、
    情報処理システムの情報処理方法。
  8. コンピュータを、
    所定位置に存在する人物を特定人物として特定する特定装置、及び、それぞれ自機に対応する地理的範囲に存在する人物を不特定人物として認識する、第1認識装置を含む少なくとも一つの認識装置との間で通信する情報処理装置であって、
    前記少なくとも一つの認識装置による認識の結果を解析することにより、第1不特定人物の位置の時間的変化を示す移動履歴を取得し、
    前記特定装置が前記特定人物を特定した時刻及び前記所定位置と、前記第1不特定人物の前記移動履歴とに基づいて、前記特定人物と前記第1不特定人物とが同一であるか否かを判定し、
    前記特定人物と前記第1不特定人物とが同一であると判定された場合、前記第1不特定人物の前記移動履歴を前記特定人物に対応付けて記憶装置に記憶させ、
    前記第1認識装置による認識の結果を解析することにより、前記第1認識装置によって前記第1不特定人物が認識された第1時刻における前記第1不特定人物の第1位置及び第1速度ベクトルを決定し、
    前記第1時刻、前記第1位置及び前記第1速度ベクトルに基づいて、前記第1時刻よりも過去の時刻における前記第1不特定人物の推定位置を決定する、
    情報処理装置として機能させる、プログラム。
JP2021208768A 2021-12-22 2021-12-22 情報処理システム、情報処理方法、及びプログラム Active JP7803115B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2021208768A JP7803115B2 (ja) 2021-12-22 2021-12-22 情報処理システム、情報処理方法、及びプログラム
CN202211655197.3A CN116342471B (zh) 2021-12-22 2022-12-21 信息处理系统、信息处理方法以及非易失性的计算机可读取的介质
US18/069,475 US12437575B2 (en) 2021-12-22 2022-12-21 Information processing system, information processing method, and non-transitory computer readable medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021208768A JP7803115B2 (ja) 2021-12-22 2021-12-22 情報処理システム、情報処理方法、及びプログラム

Publications (2)

Publication Number Publication Date
JP2023093246A JP2023093246A (ja) 2023-07-04
JP7803115B2 true JP7803115B2 (ja) 2026-01-21

Family

ID=86768707

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021208768A Active JP7803115B2 (ja) 2021-12-22 2021-12-22 情報処理システム、情報処理方法、及びプログラム

Country Status (3)

Country Link
US (1) US12437575B2 (ja)
JP (1) JP7803115B2 (ja)
CN (1) CN116342471B (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7803116B2 (ja) 2021-12-22 2026-01-21 トヨタ自動車株式会社 情報処理システム、情報処理方法、及びプログラム

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003100471A (ja) 2001-09-26 2003-04-04 Toshiba Lighting & Technology Corp 照明制御システム
JP2003274389A (ja) 2002-03-15 2003-09-26 Ntt Advanced Technology Corp 移動体追跡装置及びその方法、並びに移動体追跡プログラム
JP2012073915A (ja) 2010-09-29 2012-04-12 Dainippon Printing Co Ltd 移動管理システム、情報処理装置、移動管理方法、プログラム
WO2013128852A1 (ja) 2012-02-29 2013-09-06 日本電気株式会社 動線情報生成システム、動線情報生成方法および動線情報生成プログラム
JP2015069452A (ja) 2013-09-30 2015-04-13 株式会社日立ソリューションズ 移動体情報管理方法及び装置並びにプログラム
JP2019144941A (ja) 2018-02-22 2019-08-29 Kddi株式会社 動線管理装置、動線管理システム及び動線管理方法
JP2020091174A (ja) 2018-12-05 2020-06-11 パナソニックIpマネジメント株式会社 推定識別装置および推定識別システム
JP6800509B1 (ja) 2020-09-30 2020-12-16 アースアイズ株式会社 撮影システム、及び、撮影方法

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002148349A (ja) 2000-11-14 2002-05-22 Matsushita Electric Ind Co Ltd 位置検知システム
JP2005346545A (ja) 2004-06-04 2005-12-15 Nippon Telegr & Teleph Corp <Ntt> 監視装置及びプログラム
CN101398890B (zh) * 2004-08-03 2010-12-08 松下电器产业株式会社 人物判定装置
WO2008134595A1 (en) 2007-04-27 2008-11-06 Pelago, Inc. Determining locations of interest based on user visits
JP2010108037A (ja) 2008-10-28 2010-05-13 Nec System Technologies Ltd 行動追跡システム、行動追跡方法および行動追跡プログラム
JP5642410B2 (ja) 2010-03-30 2014-12-17 パナソニック株式会社 顔認識装置及び顔認識方法
US8457354B1 (en) * 2010-07-09 2013-06-04 Target Brands, Inc. Movement timestamping and analytics
US9904846B2 (en) * 2011-09-20 2018-02-27 Toyota Jidosha Kabushiki Kaisha Pedestrian behavior predicting device and pedestrian behavior predicting method
JP6448223B2 (ja) * 2014-06-12 2019-01-09 キヤノン株式会社 画像認識システム、画像認識装置、画像認識方法、およびコンピュータプログラム
US11354683B1 (en) * 2015-12-30 2022-06-07 Videomining Corporation Method and system for creating anonymous shopper panel using multi-modal sensor fusion
JP6577424B2 (ja) * 2016-07-19 2019-09-18 日本電信電話株式会社 行動認識装置、および、行動認識方法
FR3055161B1 (fr) 2016-08-19 2023-04-07 Safran Identity & Security Procede de surveillance au moyen d’un systeme multi-capteur
JP2018136240A (ja) * 2017-02-23 2018-08-30 三菱電機株式会社 推定装置、推定方法、推定装置を備えた追尾装置、および推定方法を備えた追尾方法
SG11201909105TA (en) * 2017-03-30 2019-11-28 Nec Corp Information processing apparatus, control method, and program
JP6898165B2 (ja) 2017-07-18 2021-07-07 パナソニック株式会社 人流分析方法、人流分析装置及び人流分析システム
US10572740B2 (en) * 2018-05-16 2020-02-25 360Ai Solutions Llc Method and system for detecting a threat or other suspicious activity in the vicinity of a motor vehicle
WO2019239471A1 (ja) 2018-06-11 2019-12-19 三菱電機株式会社 運転支援装置、運転支援システムおよび運転支援方法
JP7151449B2 (ja) * 2018-12-14 2022-10-12 トヨタ自動車株式会社 情報処理システム、プログラム、及び情報処理方法
JP7803116B2 (ja) * 2021-12-22 2026-01-21 トヨタ自動車株式会社 情報処理システム、情報処理方法、及びプログラム

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003100471A (ja) 2001-09-26 2003-04-04 Toshiba Lighting & Technology Corp 照明制御システム
JP2003274389A (ja) 2002-03-15 2003-09-26 Ntt Advanced Technology Corp 移動体追跡装置及びその方法、並びに移動体追跡プログラム
JP2012073915A (ja) 2010-09-29 2012-04-12 Dainippon Printing Co Ltd 移動管理システム、情報処理装置、移動管理方法、プログラム
WO2013128852A1 (ja) 2012-02-29 2013-09-06 日本電気株式会社 動線情報生成システム、動線情報生成方法および動線情報生成プログラム
JP2015069452A (ja) 2013-09-30 2015-04-13 株式会社日立ソリューションズ 移動体情報管理方法及び装置並びにプログラム
JP2019144941A (ja) 2018-02-22 2019-08-29 Kddi株式会社 動線管理装置、動線管理システム及び動線管理方法
JP2020091174A (ja) 2018-12-05 2020-06-11 パナソニックIpマネジメント株式会社 推定識別装置および推定識別システム
JP6800509B1 (ja) 2020-09-30 2020-12-16 アースアイズ株式会社 撮影システム、及び、撮影方法

Also Published As

Publication number Publication date
CN116342471B (zh) 2026-03-06
JP2023093246A (ja) 2023-07-04
US12437575B2 (en) 2025-10-07
CN116342471A (zh) 2023-06-27
US20230196818A1 (en) 2023-06-22

Similar Documents

Publication Publication Date Title
KR102152318B1 (ko) 객체의 이동경로를 추적할 수 있는 추적시스템
CN110533553B (zh) 服务提供方法和装置
CN107093171B (zh) 一种图像处理方法及装置、系统
CN111954886B (zh) 对象追踪的系统和方法
US11232327B2 (en) Smart video surveillance system using a neural network engine
CA3160731A1 (en) Interactive behavior recognizing method, device, computer equipment and storage medium
US20160104037A1 (en) Method and device for generating motion signature on the basis of motion signature information
WO2018210047A1 (zh) 数据处理方法、数据处理装置、电子设备及存储介质
AU2024201525B2 (en) Gate system, gate apparatus, image processing method therefor, program, and arrangement method for gate apparatus
CN111382637A (zh) 行人检测跟踪方法、装置、终端设备及介质
Heya et al. Image processing based indoor localization system for assisting visually impaired people
RU2713876C1 (ru) Способ и система выявления тревожных событий при взаимодействии с устройством самообслуживания
KR102550673B1 (ko) 방문객 출입 통계 분석 방법 및 장치
JP2019029935A (ja) 画像処理装置およびその制御方法
JP7803115B2 (ja) 情報処理システム、情報処理方法、及びプログラム
JP7803116B2 (ja) 情報処理システム、情報処理方法、及びプログラム
JP6216353B2 (ja) 情報特定システム、情報特定方法及び、そのプログラム
CN111310524A (zh) 多视频关联方法及装置
US11256910B2 (en) Method and system for locating an occupant
KR102632212B1 (ko) 얼굴 인식을 이용하여 차량 정보를 관리하는 전자 장치 및 그 동작 방법
AU2022100065A4 (en) Data integrity management in a computer network
JP2005140754A (ja) 人物検知方法、監視システム、およびコンピュータプログラム
JP7175800B2 (ja) 分析支援装置、および、分析支援方法
JP2022137733A (ja) 画像処理装置、画像処理方法およびプログラム
JP7823875B2 (ja) 駐車管理システム、駐車管理方法及び駐車管理プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20241009

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20250616

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20250729

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20250910

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20251209

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20251222

R150 Certificate of patent or registration of utility model

Ref document number: 7803115

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150