JP6857829B2 - 不審者通報システム及び不審者通報方法 - Google Patents

不審者通報システム及び不審者通報方法 Download PDF

Info

Publication number
JP6857829B2
JP6857829B2 JP2017160069A JP2017160069A JP6857829B2 JP 6857829 B2 JP6857829 B2 JP 6857829B2 JP 2017160069 A JP2017160069 A JP 2017160069A JP 2017160069 A JP2017160069 A JP 2017160069A JP 6857829 B2 JP6857829 B2 JP 6857829B2
Authority
JP
Japan
Prior art keywords
person
suspicious person
image data
suspicious
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017160069A
Other languages
English (en)
Other versions
JP2018037075A (ja
Inventor
佐草 敦
敦 佐草
崇道 松迫
崇道 松迫
直美 富山
直美 富山
浅井 明
明 浅井
松尾 三紀子
三紀子 松尾
裕一 青木
裕一 青木
大森 基司
基司 大森
英一郎 奥田
英一郎 奥田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of JP2018037075A publication Critical patent/JP2018037075A/ja
Priority to JP2021033427A priority Critical patent/JP7065350B2/ja
Application granted granted Critical
Publication of JP6857829B2 publication Critical patent/JP6857829B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00Individual registration on entry or exit
    • G07C9/30Individual registration on entry or exit not involving the use of a pass
    • G07C9/32Individual registration on entry or exit not involving the use of a pass in combination with an identity check
    • G07C9/37Individual registration on entry or exit not involving the use of a pass in combination with an identity check using biometric data, e.g. fingerprints, iris scans or voice recognition
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19639Details of the system layout
    • G08B13/19645Multiple cameras, each having view on one of a plurality of scenes, e.g. multiple cameras for multi-room surveillance or for tracking an object by view hand-over
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B31/00Predictive alarm systems characterised by extrapolation or other computation using updated historic data
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Alarm Systems (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Image Analysis (AREA)
  • Emergency Alarm Devices (AREA)

Description

本開示は、例えば空港内で、不審者を通報する技術に関するものである。
近年、人物のバイタルデータを用いて人物の感情を推定する種々の技術が提案されている。例えば、特許文献1は、人物の顔面の熱画像データを使用して、人物の心理的状態を判定する技術を開示する。また、特許文献1では、この技術をテロリストや密輸者の摘発に利用することも提案されている。
特表2003−534864号公報
空港等において不審者を精度よく特定することが求められている。
本開示の限定的でないある例示的な実施形態によれば以下が提供される。
不審者を通報する不審者通報システムであって、第1領域において人物の生体データを検知する生体センサと、前記生体データからストレスの度合いを示すストレス指数を算出し、算出された前記ストレス指数が所定の基準値よりも高い場合、前記人物を不審者であると推定する推定部と、前記第1領域において前記人物の画像を含む第1画像データを取得する第1カメラと、前記人物が前記第1領域を通過した後、第3領域に進入するまでの経路である第2領域において前記人物の画像を含む第2画像データを取得する第2カメラと、不審者と推定された前記人物に対応する前記第1画像データと、前記第2画像データとを照合することにより、前記第2領域において、不審者と推定された前記人物を追跡し、不審者と推定された前記人物が前記第3領域に進入したか否かを判定する監視部と、前記監視部が、不審者と推定された前記人物が前記第3領域に進入したと判定した場合、警告を発する警告部と、を備える不審者通報システム。
本開示によれば、互いに離れて存在する領域であって、入国者が順番に通行することが定められた、複数の領域を有効に活用して、不審者を特定することができる。
本開示の実施の形態に係る不審者通報システムが適用された空港の模式図である。 実施の形態1に係る不審者通報システムの全体構成を示すブロック図である。 実施の形態1に係る不審者管理テーブルの一例を示す図である。 不審者通報システムの動作を示すシーケンス図である。 図4に続くシーケンス図である。 実施の形態2に係る不審者通報システムの全体構成を示すブロック図である。 実施の形態2に係る不審者管理テーブルの一例を示す図である。 実施の形態2に係る不審者通報システムの動作を示すシーケンス図である。 図8に続くシーケンス図である。 実施の形態3に係る不審者通報システムの全体構成を示すブロック図である。 実施の形態3に係る不審者管理テーブルを示す図である。 関連不審者を判定する処理を示すフローチャートである。 実施の形態3の変形例に係る不審者管理テーブルを示す図である。 本開示の別の実施の形態に係る不審者通報システムが適用された空港の模式図である。 実施の形態4に係る不審者通報システムの全体構成を示すブロック図である。 実施の形態4に係る不審者管理テーブルの一例を示す図である。 不審者通報システムの動作を示すシーケンス図である。 図17に続くシーケンス図である。 実施の形態5に係る不審者通報システムの全体構成を示すブロック図である。 実施の形態5に係る不審者管理テーブルの一例を示す図である。 実施の形態5に係る不審者通報システムの動作を示すシーケンス図である。 図21に続くシーケンス図である。 実施の形態6に係る不審者通報システムの全体構成を示すブロック図である。 実施の形態6に係る不審者管理テーブルの一例を示す図である。 実施の形態6に係る不審者通報システムの動作を示すシーケンス図である。 図25に続くシーケンス図である。
(本開示の一態様に至る経緯)
特許文献1は、人物の熱画像データから判断した人物の心理的状態を利用することで、国境警備地点における麻薬の密輸者及び外国施設におけるテロリスト等の不審者を検出できることを開示する。
空港、港等では、入国者は、まず、入国審査エリアで入国審査を受けた後、税関エリアで不審物を持ち込んでいないか否かの検査が行われるのが一般的である。
しかし、特許文献1では、例えば、入国審査エリアと税関エリアといった空港内において互いに離れて存在する領域であって、入国者が順番に通行することが定められた複数の領域については全く考慮されていない。よって、これらの複数の領域を有効に活用して不審者を特定することができない。
また、入国審査エリアにおいて特許文献1の技術を適用し、不審者の取り締まりを試みたとしても、入国審査エリアでは、大量の入国者を審査する必要があるので、入国係官が不審者の通行を許可してしまう虞がある。この場合、特許文献1は、不審者に関する情報をメモリに記録することが行われていないので、事後的に不審者を特定することはできない。
更に、入国審査エリアから税関エリアに至る経路上で、入国者が他者に不審物を渡すというような不審な振る舞いを行うことも考えられる。そのため、この経路上でも不審者を監視する必要がある。
しかし、特許文献1は、このようなことが全く考慮されていないので、かかる経路上における不審者による不審な振る舞いを確認することができないという問題がある。
そこで、本開示は、互いに離れて存在する領域であって、入国者が順番に通行することが定められた複数の領域を有効に活用して、不審者を特定することができる技術を提供する。さらに、経路上において、不審者の不審な振る舞いを確認できる技術を提供する。
本開示の一態様の概要は以下のとおりである。
[項目1]
不審者を通報する不審者通報システムであって、
第1領域において人物の生体データを検知する生体センサと、
前記生体データからストレスの度合いを示すストレス指数を算出し、算出された前記ストレス指数が所定の基準値よりも高い場合、前記人物を不審者であると推定する推定部と、
前記第1領域において前記人物の画像を含む第1画像データを取得する第1カメラと、
前記人物が前記第1領域を通過した後、第3領域に進入するまでの経路である第2領域において前記人物の画像を含む第2画像データを取得する第2カメラと、
不審者と推定された前記人物に対応する前記第1画像データと、前記第2画像データとを照合することにより、前記第2領域において、不審者と推定された前記人物を追跡し、不審者と推定された前記人物が前記第3領域に進入したか否かを判定する監視部と、
前記監視部が、不審者と推定された前記人物が前記第3領域に進入したと判定した場合、警告を発する警告部と、を備える不審者通報システム。
項目1の構成によれば、第1領域内に進入した人物の生体データ及び第1画像データが取得される。また、この生体データから得られるストレス指数が基準値よりも高ければ、その人物が不審者と推定される。
そして、第1領域通過後の第2領域に設置された第2カメラが撮影した第2画像データと、不審者と推定された人物に対応する第1画像データとを照合することで、第2領域においても不審者の行動を監視できる。そして、その不審者が第2領域を経て第3領域に進入した場合、警告が発報される。
そのため、第1領域において係官が不審者の通行を許可したとしても、不審者が第3領域に進入したときに警告が発報されるので、不審者を特定することができる。したがって、互いに離れて存在する領域であって、人が順番に通行することが定められた複数の領域を有効に活用して、不審者を特定することができる。
また、第1領域と第3領域との間の第2領域においても、不審者の行動を監視できるため、第2画像データを解析することで、第2領域における不審者による不審な行動を確認できる。
[項目2]
前記第3領域において前記人物の画像を含む第3画像データを取得する第3カメラを更に備え、
前記監視部は、不審者と推定された前記人物に対応する前記第1画像データと第3画像データとを照合し、前記第3画像データに不審者と推定された前記人物が含まれている場合、不審者と推定された前記人物が前記第3領域に進入したと判定する、項目1に記載の不審者通報システム。
項目2の構成によれば、第3領域に設置された第3カメラによっても第3領域に進入する人物が第3画像データとして撮影される。そして、不審者と推定された人物に対応する第1画像データが示す人物像が第3画像データに含まれていた場合、警告が発報される。そのため、第2領域から第3領域に不審者が進入する際にその不審者を見失ったとしても、その不審者を第3領域で確実に特定できる。
[項目3]
前記第1領域において前記人物のパスポート番号を取得する第1取得部と、
前記第3領域において前記人物のパスポート番号を取得する第2取得部と、
を更に備え、
前記監視部は、前記第2取得部が取得したパスポート番号が、不審者と推定された前記人物に対応する、前記第1取得部が取得したパスポート番号と一致した場合、不審者と推定された前記人物が前記第3領域に進入したと判定する、項目1に記載の不審者通報システム。
項目3によれば、第1領域において不審者の第1画像データに加えてパスポート番号も取得される。そのため、第3領域において取得されたパスポート番号と、不審者と推定された人物に対応するパスポート番号とを照合することで、第3領域において不審者を確実に特定できる。また、不審者と推定された人物に対応する第1画像データを用いて第2領域における不審者の行動を追跡できる。
[項目4]
前記第3領域において前記人物の画像を含む第3画像データを取得する第3カメラを更に備え、
前記監視部は、不審者と推定された前記人物に対し第1距離以内に近づいた人物を前記第2画像データにおいて検知した場合、近づいた前記人物を関連不審者であると推定し、関連不審者と推定された前記人物の画像を含む前記第2画像データと、前記第3画像データとを照合し、前記第3画像データに関連不審者と推定された前記人物が含まれている場合、関連不審者と推定された前記人物が前記第3領域に進入したと判定し、
前記警告部は、前記監視部が、関連不審者と判断された前記人物が前記第3領域に進入したと判定した場合、警告を発する、項目1に記載の不審者通報システム。
項目4の構成によれば、不審者に対して所定の第1距離内に進入した人物が第2画像データを用いて検知された場合、その人物が関連不審者と推定される。そのため、第2領域において、不審者が所持する不審物が関連不審者に渡ったとしても、関連不審者を特定でき、不審物を差し押さえることができる。
[項目5]
前記第3領域において前記人物の画像を含む第3画像データを取得する第3カメラを更に備え、
前記監視部は、不審者と推定された前記人物に対し第1距離以内に近づいた人物が所定の行動を行ったことを検知した場合、前記所定の行動を行った前記人物を関連不審者であると推定し、関連不審者と推定された前記人物の画像を含む前記第2画像データと、前記第3画像データとを照合し、前記第3画像データに関連不審者と推定された前記人物が含まれている場合、関連不審者と推定された前記人物が前記第3領域に進入したと判定し、
前記警告部は、前記監視部が、関連不審者と判断された前記人物が前記第3領域に進入したと判定した場合、警告を発する、項目1に記載の不審者通報システム。
項目5の構成によれば、第2画像データから不審者に対して所定の第2距離内の人物が所定の行動を行ったことが検知された場合、当該人物が関連不審者と推定される。そのため、第2領域において、不審者が所持する不審物が関連不審者に渡ったとしても、関連不審者を特定でき、不審物を差し押さえることができる。
[項目6]
前記第3領域において前記人物の画像を含む第3画像データを取得する第3カメラを更に備え、
前記監視部は、不審者と推定された前記人物の所持品が別の人物に渡ったこと前記第2画像データにおいて検知した場合、前記別の人物を関連不審者であると推定し、関連不審者と推定された前記人物の画像を含む前記第2画像データと、前記第3画像データとを照合し、前記第3画像データに関連不審者と推定された前記人物が含まれている場合、関連不審者と推定された前記人物が前記第3領域に進入したと判定し、
前記警告部は、前記監視部が、関連不審者と判断された前記人物が前記第3領域に進入したと判定した場合、警告を発する、項目1に記載の不審者通報システム。
項目6の構成によれば、不審者の所持品が別の人物に渡ったことが第2画像データを用いて検知された場合、別の人物が関連不審者として推定される。そのため、第2領域において、不審者の所持品である不審物が関連不審者に渡ったとしても、関連不審者を特定でき、不審物を差し押さえることができる。
[項目7]
前記第1画像データは、前記人物の顔画像を含み、
前記警告部は、不審者と推定された前記人物の前記顔画像を表示する、項目1に記載の不審者通報システム。
項目7の構成によれば、不審者の顔画像が表示装置に表示されることで、不審者の通報が行われるので、不審者の特定が容易になる。
[項目8]
不審者と推定された前記人物に対応する前記第1画像データを記録するメモリを更に備え、
前記監視部は、前記メモリに記録された前記第1画像データと、前記第2画像データとを照合することにより、前記第2領域において、不審者と推定された前記人物を追跡する、項目1に記載の不審者通報システム。
[項目9]
不審者と推定された前記人物に対応する前記第1画像データを記録するメモリを更に備え、
前記監視部は、前記メモリに記録された前記第1画像データと、前記第3画像データとを照合することにより、前記第3画像データに不審者と推定された前記人物が含まれている場合、不審者と推定された前記人物が前記第3領域に進入したと判定する、項目2に記載の不審者通報システム。
[項目10]
前記第1取得部により取得された、不審者と推定された前記人物に対応する前記パスポート番号を記録するメモリを更に備え、
前記監視部は、前記第2取得部が取得した前記パスポート番号が、前記メモリに記録された前記パスポート番号と一致した場合、不審者と推定された前記人物が前記第3領域に進入したと判定する、項目3に記載の不審者通報システム。
[項目11]
前記第1領域は、入国審査エリアであり、
前記第3領域は、税関エリアである、項目1〜10のいずれか1項に記載の不審者通報システム。
項目11の構成によれば、入国審査エリアで不審者と推定された人物が税関エリアに進入したときに警報を発報できる。
[項目12]
前記警告部は、前記税関エリアの職員に前記警告を発する、項目11に記載の不審者通報システム。
項目12の構成によれば、税関の職員に警告が発報されるので、不審者の国内への進入を確実に阻止できる。
[項目13]
不審者を通報する不審者通報システムであって、
第1領域において人物の生体データを検知する生体センサと、
前記生体データからストレスの度合いを示すストレス指数を算出し、算出された前記ストレス指数が所定の基準値よりも高い場合、対応する人物を不審者であると推定する推定部と、
前記第1領域において人物の第1識別情報を取得する第1取得部と、
前記第1領域を通過した人物が次に進む第2領域において、人物の第2識別情報を取得する第2取得部と、
前記第2識別情報が、不審者と推定された人物に対応する前記第1識別情報と一致するか否かを判定する監視部と、
前記監視部が一致すると判定した場合、警告を発する警告部と、
を備える不審者通報システム。
項目13の構成によれば、第1領域内に進入した人物の生体データが取得される。生体データから得られるストレス指数が基準値よりも高ければ、その人物を不審者であると推定し、その人物の第1識別情報が取得される。
また、第1領域を通過した人物が次に進む第2領域において、進入した人物の第2識別情報が取得される。
そして、不審者と推定された人物の識別情報である第1識別情報と、第2識別情報とが一致した場合、警告が発報される。
そのため、第1領域において係官が不審者の通行を許可したとしても、不審者が第2領域に進入したときに警告が発報されるので、不審者を特定することができる。
このように、本態様によれば、互いに離れて存在する領域であって、入国者が順番に通行することが定められた複数の領域を有効に活用して、不審者を特定することができる。
[項目14]
前記第1識別情報は、人物の画像を含む第1画像データを含み、
前記第2識別情報は、人物の画像を含む第2画像データを含み、
前記監視部は、前記第2画像データを、不審者と推定された人物に対応する前記第1画像データと照合し、不審者と推定された人物の画像が第2画像データに含まれている場合、一致すると判定する、項目13に記載の不審者通報システム。
項目14の構成によれば、第1領域において不審者の第1画像データが取得され、第2領域で取得された第2画像データに不審者が含まれていれば、第1、第2識別情報が一致すると判定され、警告が発報される。そのため、画像データを識別情報として利用して不審者を特定できる。
[項目15]
前記第1識別情報は、パスポート番号を含み、
前記第2識別情報は、パスポート番号を含み、
前記監視部は、前記第2取得部が取得したパスポート番号が、前記第1取得部が取得した、不審者と推定された人物に対応するパスポート番号と一致するか否かを判定する、項目13に記載の不審者通報システム。
項目15の構成によれば、第1領域において不審者の第1パスポート番号が取得され、この第1パスポート番号と第2領域で取得された第2パスポート番号とが一致すれば、警告が発報される。そのため、人物に対して一意的に割り付けられるパスポート番号を有効に活用して不審者を特定できる。
[項目16]
前記第1画像データ及び第2画像データはそれぞれ、人物の顔画像を含み、
前記警告部は、不審者と推定された人物の顔画像を表示する、項目14に記載の不審者通報システム。
項目16の構成によれば、不審者の顔画像が表示装置に表示されることで、不審者の通報が行われるので、不審者の特定が容易になる。
[項目17]
前記第1識別情報は、人物の画像を含む第1画像データを更に含み、
前記警告部は、不審者と推定された人物の画像を表示する、項目15に記載の不審者通報システム。
項目17の構成によれば、不審者の顔画像が表示装置に表示されることで、不審者の通報が行われるので、不審者の特定が容易になる。
[項目18]
不審者と推定された人物に対応する前記第1識別情報を記録するメモリを更に備え、
前記監視部は、前記第2識別情報が、前記メモリに記録された前記第1識別情報と一致するか否かを判定する、項目13に記載の不審者通報システム。
[項目19]
前記第1領域は、入国審査エリアであり、
前記第2領域は、税関エリアである、項目13〜18のいずれか1項に記載の不審者通報システム。
項目19の構成によれば、入国審査エリアで不審者と推定された人物が税関エリアに進入したときに警報を発報できる。
[項目20]
前記警告部は、前記税関エリアの職員に前記警告を発する、項目19に記載の不審者通報システム。
項目20の構成によれば、税関の職員に警告が発報されるので、不審者の国内への進入を阻止できる。
(実施の形態)
図1は、本開示の実施の形態に係る不審者通報システム1が適用された空港の模式図である。空港は、国際空港であり、到着ゲートG、入国審査エリアA1、税関エリアA3、及び入国審査エリアA1と税関エリアA3とを連絡する通路A2等を備える。ここで、入国審査エリアA1は第1領域の一例であり、税関エリアA3は第3領域の一例であり、通路A2は第2領域の一例である。到着ゲートGは、外国から到着した飛行機Fから降りた入国者200が最初に通る場所である。到着ゲートGを通過した入国者200(人物の一例)は、まず、入国審査エリアA1に進む。
入国審査エリアA1では、入国者200の入国審査が行われる。入国審査エリアA1には、1又は複数の入国係官100が配置された1又は複数の入国審査ゲートG1がある。入国係官100は、入国者200のパスポートをチェックしたり、入国の目的などを質問したりすることで、入国者200が不審者であるか否かをチェックする。入国係官100は、入国者200が不審者でないと判断すれば、入国者200に入国審査ゲートG1の通行を許可する。一方、入国係官100は、入国者200が不審者であると判断すれば、入国者200に入国審査ゲートG1の通行を許可しない。
入国審査ゲートG1の通過が許可された入国者200は、通路A2を通って税関エリアA3に向かう。税関エリアA3では、国内に持ち込むことが禁止されている物品を入国者200が持ち込もうとしているか否か等が検査される。
税関エリアA3には、1又は複数の税関係官400が配置された1又は複数の税関ゲートG2がある。税関係官400は、入国者200に対して種々の質問をすることで、入国者200が不審者であるか否かを判断する。税関係官400は、入国者200が不審者であると判断した場合には入国者200の所持品をチェックする。税関係官400は、入国者200が不審者でないと判断した場合には、入国者200に税関ゲートG2の通行を許可し、入国者が不審者であると判断した場合には、入国者200に税関ゲートG2の通行を許可しない。
入国審査エリアA1には、1又は複数の入国審査ゲートG1のそれぞれに対応して、1又は複数の生体センサ2、1又は複数の第1カメラ3、及び1又は複数の第1スキャナ61が配置されている。通路A2には、1又は複数の第2カメラ4が配置されている。税関エリアA3には、1又は複数の税関ゲートG2のそれぞれに対応して、1又は複数の第3カメラ5、1又は複数の第2スキャナ62、及び1又は複数の警告部9が配置されている。
監視部7は推定部6と通信可能に接続されている。推定部6及び監視部7はそれぞれコンピュータで構成されている。推定部6は、生体センサ2と通信可能に接続されている。監視部7は、第1カメラ3、第1スキャナ61、第2カメラ4、第3カメラ5、及び第2スキャナ62と通信可能に接続されている。図1の例では、推定部6及び監視部7はそれぞれ別のコンピュータで構成されており、LAN等の通信回線を介して相互に通信可能に接続されている。但し、これは一例であり、推定部6及び監視部7は一台のコンピュータで構成されてもよい。推定部6及び監視部7は空港内に設置されていてもよいし、空港外に設置されていてもよい。推定部6及び監視部7は、クラウド上にあるクラウドサーバであってもよい。
(実施の形態1)
図2は、実施の形態1に係る不審者通報システム1の全体構成を示すブロック図である。不審者通報システム1は、生体センサ2、第1カメラ3、第2カメラ4、第3カメラ5、推定部6、監視部7、メモリ8、及び警告部9を備えている。なお、実施の形態1では、第1スキャナ61及び第2スキャナ62は使用されないので、図2では図示が省略されている。
生体センサ2は、生体データを計測する計測部と、計測部が計測した計測データに対して所定の信号処理を行う処理部と、生体データを推定部6に送信する通信部等を含む。ここで、所定の信号処理とは、例えば、ノイズ除去処理である。生体センサ2は、入国審査エリアA1に進入した人物の生体データを検知する。生体データとしては、例えば、脳波、脳血流、脈波、血圧、呼吸数、体温、及び発汗量等のバイタルデータを採用できる。
生体データとして脳波及び脳血流が採用される場合、生体センサ2として脳波計及び脳血流計が採用され得る。生体データとして脈波及び血圧が採用される場合、生体センサ2として脈波計及び血圧計が採用され得る。生体データとして呼吸数が採用される場合、生体センサ2として、呼吸計が採用され得る。生体データとして、体温が採用される場合、生体センサ2として体温計が採用され得る。生体データとして発汗量が採用される場合、発汗状態計測計が採用され得る。生体データとして、熱画像が採用される場合、生体センサ2として赤外カメラが採用され得る。生体センサ2は、人物に対して非接触で生体データを検出する生体センサであってもよく、人物と接触して生体データを検出する生体センサであってもよい。
また、生体センサ2は、無線又は有線で推定部6と通信可能に接続されており、入国係官100の指示の下、生体データの計測が開始されると、一定のサンプリング間隔で生体データを計測し、ユーザIDと対応付けて計測値を推定部6に送信すればよい。ここで、ユーザIDは、個々の入国者200を識別するために一意的に付与される記号列である。
無線としては、Bluetooth(登録商標)や、IEEE802.11等の無線LAN等が採用できる。有線としては、イーサネット(登録商標)が採用できる。
推定部6は、生体センサ2が検出した生体データから入国者200のストレスの度合いを示すストレス指数を算出し、ストレス指数が所定の基準値よりも高い場合、入国者200を不審者と推定し、監視部7に不審者を検知したことを示す検知信号を送信する。検知信号には不審者の生体データに付与されたユーザIDが含まれる。
例えば、特許第5257525号公報には、脈波データから心拍間隔のゆらぎの周波数解析を行うことで、人物のストレスを検知する技術が開示されている。詳細には、心拍間隔を周波数解析することで、周波数0.3Hz前後に発生する高周波ピークのレベルHFと、0.1Hz前後に発生する低周波ピークのレベルLFとを検知し、LF/HFが増大するほど人物のストレスが高いと判断することが開示されている。
したがって、推定部6は、この公報に開示されたLF/HFを入国者200のストレス指数として採用し、ストレス指数が所定の閾値より大きい場合、入国者200を不審者と判定すればよい。
また、特許第5735592号公報には、心拍数、脈拍、及び体温等の生体データから利用者の快度を−5〜+5の10段階で評価することが開示されている。
したがって、推定部6は、この公報に開示された快度をストレス指数として採用し、ストレス指数が閾値より大きい場合、入国者200が不審者と判定すればよい。この場合、推定部6は、脳波、脳血流、脈波、血圧、呼吸数、体温、及び発汗量からストレス指数を算出すればよい。
また、特開2012−249797号公報には、心拍数、体温、血圧、及び発汗量を一次結合した値をストレス値として算出することが開示されている。
そこで、推定部6は、この公報に開示されたストレス値をストレス指数として採用し、ストレス指数が閾値より大きい場合、入国者200が不審者であると判定すればよい。
また、推定部6は、特許文献1に示すように熱画像データから入国者200のストレス指数を算出してもよい。
第1カメラ3は、入国審査エリアA1に設けられ、入国審査ゲートG1手前の所定の審査位置に一人ずつ進入する入国者200を撮影し、入国者200の画像を含む第1画像データを取得する。第1カメラ3は、審査位置に進入した入国者200の顔又は全身を撮影できるように、光軸及び画角が設定されている。第1カメラ3は、入国審査ゲートG1の審査位置に新たな入国者200が進入する度に入国者200を撮影し、得られた第1画像データを監視部7に出力する。
第2カメラ4は、通路A2に設けられ、所定のフレームレートで通路A2を通行する人物を撮影し、監視部7に送信する。ここで、通路A2の全長が長く、1台の第2カメラ4では通路A2の全域を撮影できない場合、通路A2の全域が撮影できるように複数台の第2カメラ4を設置してもよい。
第3カメラ5は、税関エリアA3に設けられ、税関ゲートG2手前の所定の審査位置に一人ずつ進入する入国者200を撮影し、入国者200の画像を含む第3画像データを取得する。第3カメラ5は、審査位置に進入した入国者200の顔又は全身を撮影できるように光軸及び画角が設定されている。第3カメラ5は、税関ゲートG2の審査位置に新たな入国者200が進入する度に入国者200を撮影し、得られた第3画像データを監視部7に出力する。
監視部7は、推定部6により推定された不審者の第1画像データをメモリ8に記録し、メモリ8に記録した第1画像データと、第2カメラ4が取得した第2画像データとを照合することで、通路A2内において不審者を追跡する。
詳細には、監視部7は、推定部6から送信された前記検知信号を受信したとき、第1カメラ3により撮影された第1画像データを検知信号に含まれるユーザIDと対応付けてメモリ8が備える不審者管理テーブルT1に記録する。
図3は、実施の形態1に係る不審者管理テーブルT1の一例を示す図である。不審者管理テーブルT1は、ユーザIDと画像データとを関連付けて記録する2次元のテーブルである。「ユーザID」のフィールドには、監視部7が発行したユーザIDが記録され、「画像データ」のフィールドには、ユーザIDに対応する第1画像データが記録される。
そして、監視部7は、第2カメラ4が撮影した第2画像データと不審者管理テーブルT1に記録された第1画像データとを照合することで、通路A2を通行する不審者を追跡する。ここで、監視部7は、第1画像データから抽出した不審者の特徴量と、第2画像データに含まれる1以上のオブジェクトの特徴量との類似度を算出し、規定値以上の類似度を持つオブジェクトが第2画像データに含まれていれば、第2画像データに不審者が含まれていると判定する。そして、監視部7は、通路A2の出口から不審者がフレームアウトするまで、第2画像データにおいて、不審者を示すオブジェクトをマーキングすることで、不審者を追跡する。
不審者の特徴量としては、不審者の顔の特徴量が採用されてもよいし、不審者が着用する衣服の特徴量が採用されてもよい。監視部7は、不審者管理テーブルT1に不審者の第1画像データを記録しているが、これは一例であり、第1画像データから抽出した不審者の特徴量を記録してもよい。このことは、後述の実施の形態でも同じである。
図2を再び参照する。監視部7は、第3カメラ5から第3画像データが送信される度に、不審者管理テーブルT1に記録した第1画像データと第3画像データとを照合し、第3画像データに不審者が含まれているか否かを判定する。そして、監視部7は、第3画像データに不審者が含まれている場合、税関エリアA3に不審者が進入したと判定する。詳細には、監視部7は、第1画像データから抽出した不審者の特徴量と、第3画像データから抽出した人物の特徴量との類似度を算出し、算出した類似度が規定値以上であれば、税関エリアA3に不審者が進入したと判定する。規定値としては、同一人物とみなせる所定の値が採用できる。
そして、監視部7は、税関エリアA3に不審者が進入したと判定した場合、警告部9に警告を発報させる。
警告部9は、税関エリアA3に設置された表示装置で構成されている。表示装置としては、液晶ディスプレイや有機ELディスプレイ等が採用できる。この表示装置は、表示面が税関係官400と対面しており、税関係官400にのみ画像が視認可能に配置されている。
警告部9は、例えば、不審者の顔画像や不審者の全身画像を表示することで、警告を発報すればよい。この場合、警告部9は、監視部7から不審者の画像データを受信し、不審者の画像データを表示すればよい。ここでは、警告部9による警告方法として、表示装置に不審者の顔画像や全身画像を表示する態様を示したが、これは一例である。例えば、警告部9は、LEDランプで構成され、LEDランプを点灯することで発報してもよい。或いは、警告部9は、スピーカで構成され、不審者が税関エリアA3に進入したことを知らせる音声メッセージをスピーカから出力することで発報してもよい。
メモリ8は、監視部7と通信可能に接続されたコンピュータに実装された、不揮発性の書き換え可能な記憶装置で構成され、不審者管理テーブルT1等を記憶する。メモリ8は、監視部7とLAN等の通信回線を介して接続されてもよいし、クラウド上に設けられていてもよい。また、メモリ8は、推定部6と通信可能に接続されていてもよい。また、メモリ8は、監視部7の記憶装置で構成されてもよい。
<シーケンス>
次に、不審者通報システム1の動作について説明する。図4は不審者通報システム1の動作を示すシーケンス図であり、図5は図4に続くシーケンス図である。
(S01)
生体センサ2は、入国審査エリアA1の審査位置に進入した入国者200の生体データを計測する。ここで、生体センサ2は、入国者200毎にユーザIDを付与し、生体データと対応付けて推定部6に送信する。なお、生体センサ2が接触式の生体センサで構成されている場合、生体センサ2は、入国係官100或いはその他の係官によって入国者200に装着される。また、生体センサ2は、例えば、入国係官100から計測開始指示が入力されたことをトリガーに生体データの計測を開始し、入国係官100から計測終了指示が入力されるまで一定のサンプリング間隔で生体データを計測し、計測された生体データをユーザIDと対応付けて推定部6に送信すればよい。
(S02)
S01の処理と並行して、第1カメラ3は、審査中の入国者200を撮影して第1画像データを取得し、監視部7に送信する。第1カメラ3は、例えば、入国係官100から撮影指示が入力されたことをトリガーに入国者を撮影し、取得された第1画像データを監視部7に送信すればよい。
(S03)
推定部6は、生体センサ2から受信した生体データから、ストレス指数を算出し、入国者200が不審者であるか否かを判定する。入国者200が不審者と判定した場合、推定部6は、不審者の生体データに対応付けられたユーザIDを含む検知信号を生成し、監視部7に送信する。一方、入国者200が不審者と判定しない場合、推定部6は、処理を終了する。
(S04)
監視部7は、検知信号を受信した場合、第1カメラ3から送信された第1画像データを、検知信号に含まれる不審者のユーザIDと対応付けて不審者管理テーブルT1に記録する。これにより、不審者の第1画像データが記録されることになる。ここで、監視部7は、検知信号の受信時刻から前後一定期間内に送信された第1画像データを不審者の第1画像データとして不審者管理テーブルT1に記録すればよい。一定期間としては、同一人物に対する、生体データの計測と第1画像データの撮影とに費やされる想定期間が採用される。
(S05)
第2カメラ4は、第2画像データを監視部7に送信する。なお、第2カメラ4は、常時、所定のフレームレートで通路A2を撮影しており、第2画像データを所定のフレームレートで監視部7に送信する。
(S06)
監視部7は、不審者管理テーブルT1に記録された不審者の第1画像データと、第2カメラ4が撮影した第2画像データとを照合し、第2画像データに不審者が含まれているか否かを判断する。第2画像データに不審者が含まれている場合、監視部7は、第2画像データにおいて不審者をマーキングし、通路A2の出口から不審者がフレームアウトするまで、不審者を追跡する。第2画像データに不審者が含まれていない場合、監視部7は処理を終了する。
(S07)
第3カメラ5は、税関エリアA3内の審査位置に進入した入国者200を撮影し、入国者200の第3画像データを取得し、監視部7に送信する。第3カメラ5は、例えば、税関係官400から撮影指示が入力されたことをトリガーに入国者200を撮影し、監視部7に送信すればよい。
(S08)
監視部7は、不審者管理テーブルT1に記録された不審者の第1画像データと、第3カメラ5が撮影した第3画像データとを照合し、第3画像データに不審者が含まれているか否かを判断する。
(S09)
監視部7により、第3画像データに不審者が含まれていると判断された場合、警告部9は、不審者の顔画像或いは全身画像を表示装置に表示する。これにより、税関係官400は、目の前の入国者200が不審者であることを認識でき、必要な措置をとることができる。必要な措置としては、例えば、不審者が所持する鞄を開けて不審者の所持品を詳細に検査する措置や、不審者を別の取調室に移動させて尋問する措置等が挙げられる。
このように、不審者通報システム1によれば、入国審査エリアA1に進入した入国者200の生体データ及び第1画像データが取得され、この生体データから得られるストレス指数が基準値よりも高ければ、その入国者200が不審者であると推定され、第1画像データがメモリ8に記録される。
そして、第2カメラ4が撮影した第2画像データとメモリ8に記録された第1画像データとを照合することで、通路A2において不審者の行動が監視される。
そして、税関エリアA3に進入した入国者200を第3カメラ5で撮影することで得られた第3画像データに、メモリ8に記録された第1画像データが示す不審者が含まれている場合、警告が発報される。
そのため、入国審査エリアA1で入国係官100が不審者の通行を許可したとしても、不審者が税関エリアA3に進入したときに警告が発報されるので、不審者を特定することができる。このように、不審者通報システム1は、空港内において互いに離れて設けられ、かつ入国者が順番に通行することが定められた、入国審査エリアA1と税関エリアA3とを有効に活用して不審者を特定することができる。
また、通路A2においても不審者の行動が監視されているので、通路A2において不審者が所持する不審物を他者に渡すというような行動を行ったとしても、第2画像データを解析することで、その事実を特定できる。
なお、通路A2と税関エリアA3とは連続しているので、第2カメラ4は入国者がどの税関ゲートG2に進入したかを追跡することが可能である場合もある。また、税関ゲートG2が1つしかないような空港では、通路A2の出口にフレームアウトした入国者200は次に税関ゲートG2に進入するとみなすことができる。
そこで、第2画像データを用いて不審者が進入した税関ゲートG2を特定できるのであれば、監視部7は、その税関ゲートG2の警告部9に警告を発報させてもよい。或いは、税関ゲートG2が1つしかない空港においては、監視部7は、第2画像データにおいて不審者が通路A2の出口からフレームアウトしたことを確認できた場合、警告部9に警告を発報させてもよい。この場合、監視部7は第3カメラ5を用いることなく警告を発報できるので、第3カメラ5は不要となる。
(実施の形態2)
図6は、実施の形態2に係る不審者通報システム1Aの全体構成を示すブロック図である。不審者通報システム1Aは、入国者200が所持するパスポートのパスポート番号を利用して不審者を通報することを特徴とする。図6において図2との相違点は、入国審査エリアA1において第1スキャナ61が追加されている点、税関エリアA3において第3カメラ5に代えて第2スキャナ62が設けられている点にある。なお、実施の形態2において、実施の形態1と同一の構成には同一の符号を付し、説明を省く。
第1スキャナ61は、入国審査エリアA1に設けられ、入国審査ゲートG1において入国者200に提示されるパスポートに記載されたパスポート番号を、入国係官100の指示にしたがって読み取り、監視部7に送信する。なお、パスポート番号を電子チップに記憶するパスポートにおいては、第1スキャナ61は、この電子チップと通信することでパスポート番号を取得すればよい。このことは、第2スキャナ62も同じである。
第2スキャナ62は、税関エリアA3に設けられ、税関ゲートG2において入国者200に提示されるパスポートに記載されたパスポート番号を税関係官400の指示にしたがって読み取り、監視部7に送信する。
監視部7は、推定部6から検知信号を受信したとき、同時期に第1カメラ3から送信された第1画像データと第1スキャナ61から送信されたパスポート番号とを対応付けてメモリ8が備える不審者管理テーブルT2(図7)に記録する。
また、監視部7は、不審者管理テーブルT2に記録された不審者のパスポート番号と、第2スキャナ62が読み取ったバスポート番号とが一致した場合、警告部9に警告を発報させる。
図7は、実施の形態2に係る不審者管理テーブルT2の一例を示す図である。不審者管理テーブルT2において、不審者管理テーブルT1との相違点は、ユーザIDに代えてパスポート番号が設けられている点にある。パスポート番号は、個々の入国者200に対して一意的に付与されるので、不審者を一意的に特定することが可能である。そこで、実施の形態2では、ユーザIDに代えてパスポート番号を採用した。なお、実施の形態2において、不審者管理テーブルT2に不審者の画像データを記録させるのは、第2画像データにおいて不審者を追跡するためである。
実施の形態2では、ユーザIDが用いられていないので、生体センサ2は、ユーザIDを発行する必要がない。そのため、生体センサ2の処理負担を軽減できる。
<シーケンス>
図8は、実施の形態2に係る不審者通報システム1Aの動作を示すシーケンス図であり、図9は図8に続くシーケンス図である。
なお、図8、図9において、図4、図5と同じ処理には同一の符号を付し説明を省略する。
(S81)
S81は、S01,S02と並行して行われる処理である。第1スキャナ61は、入国者200のパスポート番号を読み取り、監視部7に送信する。
(S82)
S82は、S03に続く処理である。監視部7は、検知信号を受信した場合、第1カメラ3から送信された第1画像データを、第1スキャナ61から送信されたパスポート番号と対応付けて不審者管理テーブルT2に記録する。これにより、不審者の第1画像データがパスポート番号と共に記録されることになる。ここで、監視部7は、検知信号の受信時刻から前後一定期間内に送信された第1画像データ及びパスポート番号を不審者の第1画像データ及びパスポート番号として不審者管理テーブルT2に記録すればよい。一定期間としては、同一人物に対する、生体データの計測と第1画像データの撮影とパスポート番号の取得とに費やされる想定期間が採用される。
(S83)
S83はS07に続く処理である。第2スキャナ62は、税関エリアA3の審査位置に進入した入国者200により提示されたパスポート番号を、税関係官400の指示にしたがって読み取り、監視部7に送信する。
(S84)
S84はS83に続く処理である。監視部7は、不審者管理テーブルT2に記録された不審者のパスポート番号と、第2スキャナ62が読み取ったパスポート番号との一致の有無を確認する。
監視部7により両パスポート番号が一致したと判定された場合、警告部9は警告を発報し(S09)、両パスポート番号が一致しない場合、処理は終了する。
このように、不審者通報システム1Aによれば、入国審査エリアA1において不審者の第1画像データに加えてパスポート番号も取得され、不審者管理テーブルT2に記録される。そのため、不審者通報システム1Aは、税関エリアA3において取得されたパスポート番号と不審者管理テーブルT2に記録されたパスポート番号とを照合することで、税関エリアA3において不審者を特定できる。また、不審者管理テーブルT2には不審者の第1画像データが記録されているので、不審者通報システム1Aは、第1画像データを用いて通路A2における不審者の行動を追跡できる。
(実施の形態3)
図10は、実施の形態3に係る不審者通報システム1Bの全体構成を示すブロック図である。不審者通報システム1Bは、通路A2において、不審者と共謀する関連不審者を特定することを特徴とする。図10において図6との相違点は、税関エリアA3において第3カメラ5が設けられている点にある。なお、実施の形態3において、実施の形態1、2と同一の構成には同一の符号を付し、説明を省く。
監視部7は、第2画像データにおいて追跡中の不審者に対して所定の第1距離内に進入した不審者とは別の入国者200を第2画像データから検知した場合、当該別の入国者を関連不審者と推定する。そして、監視部7は、推定した関連不審者を示す第4画像データを第2画像データから抽出してメモリ8が備える不審者管理テーブルT3に記録する。
図11は、実施の形態3に係る不審者管理テーブルT3を示す図である。不審者管理テーブルT3は、図3に示す不審者管理テーブルT1に対して更に、「関連不審者」のフィールドが設けられている。「関連不審者」のフィールドには、関連不審者を示す第4画像データが記録されている。ここで、第4画像データとしては、関連不審者の顔画像が採用されてもよいし、関連不審者の全身画像が採用されてもよい。また、第4画像データとしては、関連不審者の顔画像の特徴量或いは関連不審者の全身画像の特徴量が採用されてもよい。
図10を再び参照する。監視部7は、第3カメラ5が撮影した第3画像データと、不審者管理テーブルT3に記録されている第4画像データとを照合し、第3画像データに関連不審者が含まれているか否かを判定する。そして、監視部7は、第3画像データに関連不審者が含まれていると判定した場合、警告部9に警告を発報させる。なお、監視部7は、実施の形態1で示した、第3カメラ5が撮影した第3画像データに不審者が含まれている否かの判定も並行して行う。
図12は、関連不審者を判定する処理を示すフローチャートである。実施の形態3では、シーケンス図として、図4、図5に示す実施の形態1のシーケンス図が採用される。図12のフローチャートは、図5のS06において実行される。
まず、監視部7は、第2画像データと、不審者管理テーブルT3に記録されている第1画像データとを照合し、第2画像データに不審者が含まれているか否かを判定する。不審者が含まれていれば(S101でYES)、監視部7は、不審者の追跡を開始し、追跡中の不審者に対して第1距離以内に進入した人物の有無を第2画像データから判定する(S102)。一方、第2画像データに不審者が含まれていなければ(S101でNO)、処理を終了する。
第1距離の一例としては、例えば、不審者が手に握っている所持品を別の人物に手渡しするような行動をとったときに想定される不審者と別の人物との距離が挙げられる。なお、監視部7は、例えば、不審者を含む第2画像データ中に現れる各人物の動きを画像処理により抽出することで、S102の処理を実行すればよい。
不審者に対して第1距離以内に進入した人物がいれば(S102でYES)、監視部7は当該人物を関連不審者と判定する(S105)。そして、監視部7は、関連不審者を示す第4画像データを第2画像データから抽出し、該当する不審者のユーザIDと関連付けて不審者管理テーブルT3に記録する(S106)。
一方、不審者に対して第1距離以内に進入した人物がいなければ(S102でNO)、監視部7は、処理をS103に進める。
S103では、監視部7は、不審者に対して第2距離以内に進入した人物が所定のアクションをしたか否かを判定する。第2距離は、第1距離よりも大きい。第2距離の一例としては、不審者が所持品を別の人物に投げて渡すような行動を行ったときに想定される不審者と別の人物との距離が採用できる。
所定のアクションの一例としては、第2距離内に進入した人物が不審者から所持品を受け取るような動作や、第2距離内に進入した人物が、不審者が投げた所持品をキャッチするような動作が挙げられる。
不審者に対して第2距離内に進入した人物が所定のアクションをした場合(S103でYES)、処理はS105に進み、所定のアクションをしなかった場合(S103でNO)、処理はS104に進む。
S104では、監視部7は、不審者が所持していた所持品を別の人物が所持しているか否かを判定する。ここで、監視部7は、第2画像データにおいて、不審者の所持品を監視しておき、その所持品が不審者の手元からなくなり、別の人物が所持していることを検知した場合、不審者が所持していた所持品を別の人物が所持していると判定すればよい。これにより、他の人物や障害物の死角になって、不審者が所持品を関連不審者に渡すシーンを、第2カメラ4が捉えることができなかったとしても、関連不審者を検知できる。不審者の所持品の一例としては、例えば、不審者の鞄やスーツケースや不審者が手で握る物品が挙げられる。
S104において、監視部7は、不審者が所持していた所持品が別の人物に所持されていることを検知すると(S104でYES)、処理をS105に進める。一方、監視部7は、不審者が所持していた所持品が別の人物に所持されていることを検知しなければ(S104でNO)、処理を終了する。
このように、不審者通報システム1Bによれば、通路A2において不審者が所持品を別の人物に渡したとしても、その別の人物を示す第4画像データが不審者管理テーブルT3に記録される。そして、第3カメラ5で撮影した第3画像データに関連不審者が含まれていると、警告が発報される。そのため、不審者と共謀する関連不審者の存在を税関エリアA3の税関係官400に通報できる。その結果、不審者から関連不審者に渡った所持品を不審物として税関で差し押さえ、且つ、不審者及び関連不審者を特定することができる。
(実施の形態3の変形例)
なお、上記説明では、監視部7は、第3画像データと第1画像データを照合することで、第3画像データに不審者が含まれているか否かを判定していたが、これは一例である。監視部7は、実施の形態2で説明した手法を用いて、不審者を特定してもよい。
この場合、監視部7は、第1スキャナ61が読み取ったパスポート番号を不審者の第1画像データと関連付けて不審者管理テーブルT4に記録すればよい。図13は、実施の形態3の変形例に係る不審者管理テーブルT4を示す図である。不審者管理テーブルT4は、不審者管理テーブルT3に対して、ユーザIDのフィールドに代えてパスポート番号のフィールドを備えている。
監視部7は、第2スキャナ62で読み取られたパスポート番号が不審者管理テーブルT4に記録されているパスポート番号と一致する場合、税関エリアA3に不審者が進入したと判定する。
一方、監視部7は、第3カメラ5で撮影された第3画像データに第4画像データが示す関連不審者が含まれている場合、税関エリアA3に関連不審者が進入した判定する。関連不審者についてパスポート番号ではなく第4画像データが用いられているのは、関連不審者は通路A2を通行しているときに検知されるので、事前に関連不審者のパスポート番号を特定できないからである。
このように、実施の形態3の変形例では、パスポート番号を用いて不審者を特定する場合であっても、関連不審者を特定できる。
(その他の変形例)
図3、図7、図11、図13に示す不審者管理テーブルT1〜T4の例では、1つのレコードしか含まれていないが、これは一例である。同時並行的に複数の不審者が追跡される場合、不審者管理テーブルT1〜T4には複数の不審者に対応する複数のレコードが含まれることになる。この場合、監視部7は、複数のレコードに記録された複数の第1画像データのそれぞれを第3画像データと照合することで、不審者が税関エリアA3に進入したか否かを判定すればよい。或いは、監視部7は、複数のレコードに記録された複数のパスポート番号のそれぞれを第2スキャナ62で読み取られたパスポート番号と照合することで、不審者が税関エリアA3に進入したか否かを判定すればよい。
(別の実施の形態)
図14は、本開示の実施の形態に係る不審者通報システム2が適用された空港の模式図である。空港は、国際空港であり、到着ゲートG、入国審査エリアA1、税関エリアA3等を備える。ここで、入国審査エリアA1は第1領域の一例であり、税関エリアA3は第2領域の一例である。到着ゲートGは、外国から到着した飛行機Fから降りた入国者200が最初に通る場所である。到着ゲートGを通過した入国者200(人物の一例)は、まず、入国審査エリアA1に進む。
入国審査エリアA1では、入国者200の入国審査が行われる。入国審査エリアA1には、1又は複数の入国係官100が配置された1又は複数の入国審査ゲートG1がある。入国係官100は、入国者200のパスポートをチェックしたり、入国の目的などを質問したりすることで、入国者200が不審者であるか否かをチェックする。入国係官100は、入国者200が不審者でないと判断すれば、入国者200に入国審査ゲートG1への通行を許可する。一方、入国係官100は、入国者200が不審者であると判断すれば、入国者200に入国審査ゲートG1への通行を許可しない。
入国審査ゲートG1の通過が許可された入国者200は通路を通って税関エリアA3に向かう。税関エリアA3では、国内に持ち込むことが禁止されている物品を入国者200が持ち込もうとしているか否か等が検査される。
税関エリアA3には、1又は複数の税関係官400が配置された1又は複数の税関ゲートG2がある。税関係官400は、入国者200に対して種々の質問をすることで、入国者200が不審者であるか否かを判断する。税関係官400は、入国者200が不審者であると判断した場合には入国者200の所持品をチェックする。税関係官400は、入国者200が不審者でないと判断すれば、入国者200に税関ゲートG2の通行を許可し、入国者200が不審者であると判断した場合には、入国者200に税関ゲートG2の通行を許可しない。
入国審査エリアA1には、1又は複数の入国審査ゲートG1のそれぞれに対応して、1又は複数の生体センサ2、1又は複数の第1カメラ3、及び1又は複数の第1スキャナ61が配置されている。税関エリアA3には、1又は複数の税関ゲートG2のそれぞれに対応して、1又は複数の第2カメラ4、1又は複数の第2スキャナ62、及び1又は複数の警告部9が配置されている。ここで、第1カメラ3、第1スキャナ61の少なくとも一方は、第1取得部の一例である。第2カメラ4、第2スキャナ62の少なくとも一方は、第2取得部の一例である。
監視部7は推定部6と通信可能に接続されている。推定部6及び監視部7はそれぞれコンピュータで構成されている。推定部6は、生体センサ2と通信可能に接続されている。監視部7は、第1カメラ3、第1スキャナ61、第2カメラ4、及び第2スキャナ62と通信可能に接続されている。図14の例では、推定部6及び監視部7はそれぞれ別のコンピュータで構成されており、LAN等の通信回線を介して相互に通信可能に接続されている。但し、これは一例であり、推定部6及び監視部7は一台のコンピュータで構成されてもよい。推定部6及び監視部7は空港内に設置されていてもよいし、空港外に設置されていてもよい。推定部6及び監視部7は、クラウド上にあるクラウドサーバであってもよい。
(実施の形態4)
図15は、実施の形態4に係る不審者通報システム2の全体構成を示すブロック図である。不審者通報システム2は、生体センサ2、第1カメラ3、第2カメラ4、推定部6、監視部7、メモリ8、及び警告部9を備えている。なお、実施の形態1では、第1スキャナ61及び第2スキャナ62は使用されないので、図15では図示が省略されている。
生体センサ2は、生体データを計測する計測部と、計測部が計測した計測データに対して所定の信号処理を行う処理部と、生体データを推定部6に送信する通信部等を含む。ここで、所定の信号処理とは、例えば、ノイズ除去処理である。生体センサ2は、入国審査エリアA1に進入した人物の生体データを検知する。生体データとしては、例えば、脳波、脳血流、脈波、血圧、呼吸数、体温、及び発汗量等のバイタルデータを採用できる。
生体データとして脳波及び脳血流が採用される場合、生体センサ2として脳波計及び脳血流計が採用され得る。生体データとして脈波及び血圧が採用される場合、生体センサ2として脈波計及び血圧計が採用され得る。生体データとして呼吸数が採用される場合、生体センサ2として、呼吸計が採用され得る。生体データとして、体温が採用される場合、生体センサ2として体温計が採用され得る。生体データとして発汗量が採用される場合、発汗状態計測計が採用され得る。生体データとして、熱画像が採用される場合、生体センサ2として赤外カメラが採用され得る。生体センサ2は、人物に対して非接触で生体データを検出する生体センサであってもよく、人物と接触して生体データを検出する生体センサであってもよい。
また、生体センサ2は、無線又は有線で推定部6と通信可能に接続されており、入国係官100の指示の下、生体データの計測が開始されると、一定のサンプリング間隔で生体データを計測し、ユーザIDと対応付けて計測値を推定部6に送信すればよい。ここで、ユーザIDは、個々の入国者200を識別するために一意的に付与される記号列である。
無線としては、Bluetooth(登録商標)や、IEEE802.11等の無線LAN等が採用できる。有線としては、イーサネット(登録商標)が採用できる。
推定部6は、生体センサ2が検出した生体データから入国者200のストレスの度合いを示すストレス指数を算出し、ストレス指数が所定の基準値よりも高い場合、入国者200を不審者であると推定し、監視部7に不審者を検知したことを示す検知信号を送信する。検知信号には不審者の生体データに付与されたユーザIDが含まれる。
例えば、特許第5257525号公報には、脈波データから心拍間隔のゆらぎの周波数解析を行うことで、人物のストレスを検知する技術が開示されている。詳細には、心拍間隔を周波数解析することで、周波数0.3Hz前後に発生する高周波ピークのレベルHFと、0.1Hz前後に発生する低周波ピークのレベルLFとを検知し、LF/HFが増大するほど、人物のストレスが高いと判断することが開示されている。
したがって、推定部6は、この公報に開示されたLF/HFを入国者200のストレス指数として採用し、ストレス指数が所定の閾値より大きい場合、入国者200を不審者と判定すればよい。
また、特許第5735592号公報には、心拍数、脈拍、及び体温等の生体データから利用者の快度を−5〜+5の10段階で評価することが開示されている。
したがって、推定部6は、この公報に開示された快度をストレス指数として採用し、ストレス指数が閾値より大きい場合、入国者200が不審者と判定すればよい。この場合、推定部6は、脳波、脳血流、脈波、血圧、呼吸数、体温、及び発汗量からストレス指数を算出すればよい。
また、特開2012−249797号公報には、心拍数、体温、血圧、及び発汗量を一次結合した値をストレス値として算出することが開示されている。
そこで、推定部6は、この公報に開示されたストレス値をストレス指数として採用し、ストレス指数が閾値より大きい場合、入国者200が不審者であると判定すればよい。
また、推定部6は、特許文献1に示すように熱画像データから入国者200のストレス指数を算出してもよい。
第1カメラ3は、入国審査エリアA1に設けられる。第1カメラ3は、入国審査ゲートG1手前の所定の審査位置に一人ずつ進入する入国者200を撮影し、入国者200の画像を含む第1画像データを取得する。ここで、第1画像データは、第1識別情報の一例である。第1カメラ3は、審査位置に進入した入国者200の少なくとも顔又は全身を撮影できるように、光軸及び画角が設定されている。第1カメラ3は、入国審査ゲートG1の審査位置に新たな入国者200が進入する度に入国者200を撮影し、得られた第1画像データを監視部7に出力する。
第2カメラ4は、税関エリアA3に設けられる。第2カメラ4は、税関ゲートG2手前の所定の審査位置に一人ずつ進入する入国者200を撮影し、入国者200の第2画像データを取得する。ここで、第2画像データは、第2識別情報の一例である。第2カメラ4は、審査位置に進入した入国者200の少なくとも顔又は全身を撮影できるように光軸及び画角が設定されている。第2カメラ4は、税関ゲートG2の審査位置に新たな入国者200が進入する度に入国者200を撮影し、得られた第2画像データを監視部7に出力する。
監視部7は、推定部6により不審者であると推定された人物の第1画像データをメモリ8に記録する。
詳細には、監視部7は、推定部6から送信された前記検知信号を受信したとき、第1カメラ3により撮影された第1画像データを検知信号に含まれるユーザIDと対応付けてメモリ8が備える不審者管理テーブルT5に記録する。
図16は、実施の形態4に係る不審者管理テーブルT5の一例を示す図である。不審者管理テーブルT5は、ユーザIDと画像データとを関連付けて記録する2次元のテーブルである。「ユーザID」のフィールドには、監視部7が発行したユーザIDが記録され、「画像データ」のフィールドには、ユーザIDに対応する第1画像データが記録される。
図15を再び参照する。監視部7は、第2カメラ4から第2画像データが送信される度に、不審者管理テーブルT5に記録した第1画像データと第2画像データとを照合し、第2画像データに不審者が含まれているか否かを判定する。
詳細には、監視部7は、第1画像データから抽出した不審者の特徴量と、第2画像データから抽出した人物の特徴量との類似度を算出し、算出した類似度が規定値以上であれば、第2画像データに不審者が含まれていると判定する。規定値としては、同一人物とみなせる所定の値が採用できる。
不審者の特徴量としては、不審者の顔の特徴量が採用されてもよいし、不審者が着用する衣服の特徴量が採用されてもよい。監視部7は、不審者管理テーブルT5に不審者の第1画像データを記録しているが、これは一例であり、第1画像データから抽出した不審者の特徴量を記録してもよい。このことは、後述の実施の形態でも同じである。
そして、監視部7は、第2画像データに不審者が含まれていると判定した場合、警告部9に警告を発報させる。
警告部9は、税関エリアA3に設置された表示装置で構成されている。表示装置としては、液晶ディスプレイや有機ELディスプレイ等が採用できる。この表示装置は、表示面が税関係官400と対面しており、税関係官400にのみ画像が視認可能に配置されている。
警告部9は、例えば、不審者の顔画像や不審者の全身画像を表示することで、警告を発報すればよい。この場合、警告部9は、監視部7から不審者の画像データを受信し、不審者の画像データを表示すればよい。ここでは、警告部9による警告方法として、表示装置に不審者の顔画像や全身画像を表示する態様を示したが、これは一例である。例えば、警告部9は、LEDランプで構成され、LEDランプを点灯することで発報してもよい。或いは、警告部9は、スピーカで構成され、不審者が税関エリアA3に進入したことを知らせる音声メッセージをスピーカから出力することで発報してもよい。
メモリ8は、監視部7と通信可能に接続されたコンピュータに実装された、不揮発性の書き換え可能な記憶装置で構成され、不審者管理テーブルT5等を記憶する。メモリ8は、監視部7とLAN等の通信回線を介して接続されてもよいし、クラウド上に設けられていてもよい。また、メモリ8は、推定部6と通信可能に接続されていてもよい。また、メモリ8は、監視部7の記憶装置で構成されてもよい。
<シーケンス>
次に、不審者通報システム2の動作について説明する。図17は不審者通報システム2の動作を示すシーケンス図であり、図18は図17に続くシーケンス図である。
(S01)
生体センサ2は、入国審査エリアA1の審査位置に進入した入国者200の生体データを計測する。ここで、生体センサ2は、入国者200毎にユーザIDを付与し、生体データと対応付けて推定部6に送信する。なお、生体センサ2が接触式の生体センサで構成されている場合、生体センサ2は、入国係官100或いはその他の係官によって入国者200に装着される。また、生体センサ2は、例えば、入国係官100から計測開始指示が入力されたことをトリガーに生体データの計測を開始し、入国係官100から計測終了指示が入力されるまで、一定のサンプリング間隔で生体データを計測し、計測された生体データをユーザIDと対応付けて推定部6に送信すればよい。
(S02)
S01の処理と並行して、第1カメラ3は、審査中の入国者200を撮影して第1画像データを取得し、監視部7に送信する。第1カメラ3は、例えば、入国係官100から撮影指示が入力されたことをトリガーに入国者を撮影し、取得された第1画像データを監視部7に送信すればよい。
(S03)
推定部6は、生体センサ2から受信した生体データから、ストレス指数を算出し、入国者200が不審者であるか否かを判定する。入国者200が不審者であると判定した場合、推定部6は、不審者の生体データに対応付けられたユーザIDを含む検知信号を生成し、監視部7に送信する。一方、入国者200が不審者ではないと判定した場合、推定部6は、処理を終了する。
(S04)
監視部7は、検知信号を受信した場合、同時期に第1カメラ3から送信された第1画像データを、検知信号に含まれる不審者のユーザIDと対応付けて不審者管理テーブルT5に記録する。これにより、不審者の第1画像データが記録されることになる。ここで、監視部7は、検知信号の受信時刻から前後一定期間内に送信された第1画像データを不審者の第1画像データとして不審者管理テーブルT5に記録すればよい。一定期間としては、同一人物に対する、生体データの計測と第1画像データの撮影とに費やされる想定期間が採用される。
(S05)
第2カメラ4は、税関エリアA3内の審査位置に進入した入国者200を撮影し、入国者200の第2画像データを取得し、監視部7に送信する。第2カメラ4は、例えば、税関係官400から撮影指示が入力されたことをトリガーに入国者200を撮影し、監視部7に送信すればよい。
(S06)
監視部7は、不審者管理テーブルT5に記録された不審者の第1画像データと、第2カメラ4が撮影した第2画像データとを照合し、第2画像データに不審者が含まれているか否かを判断する。
(S07)
監視部7により、第2画像データに不審者が含まれていると判断された場合、警告部9は、不審者の顔画像或いは全身画像を表示装置に表示する。これにより、税関係官400は、目の前の入国者200が不審者であることを認識でき、必要な措置をとることができる。必要な措置としては、例えば、不審者が所持する鞄を開けて不審者の所持品を詳細に検査する措置や、不審者を別の取調室に移動させて尋問する措置等が挙げられる。
このように、不審者通報システム2によれば、入国審査エリアA1に進入した入国者200の生体データ及び第1画像データが取得され、この生体データから得られるストレス指数が基準値よりも高ければ、その入国者200が不審者と推定され、第1画像データがメモリ8に記録される。
そして、税関エリアA3に進入した入国者200が第2カメラ4で撮影されることで得られた第2画像データに、メモリ8に記録された第1画像データが示す不審者が含まれていると、警告が発報される。
そのため、入国審査エリアA1で入国係官100が不審者の通行を許可したとしても、不審者が税関エリアA3に進入したときに警告が発報されるので、不審者を特定することができる。
このように、不審者通報システム2によれば、空港等内において互いに離れて設けられ、入国者が順番に通行することが定められた入国審査エリアA1と税関エリアA3とを有効に活用して不審者を特定することができる。
(実施の形態5)
図19は、実施の形態5に係る不審者通報システム2Aの全体構成を示すブロック図である。不審者通報システム2Aは、入国者200が所持するパスポートのパスポート番号を利用して不審者を通報することを特徴とする。図19において図15との相違点は、入国審査エリアA1において第1カメラ3に代えて第1スキャナ61が設けられている点、税関エリアA3において第2カメラ4に代えて第2スキャナ62が設けられている点にある。なお、実施の形態5において、実施の形態4と同一の構成には同一の符号を付し、説明を省く。
第1スキャナ61は、入国審査エリアA1に設けられる。第1スキャナ61は、入国審査ゲートG1において入国者200に提示されるパスポートに記載されたパスポート番号を、入国係官100の指示にしたがって読み取り、監視部7に送信する。ここで、第1スキャナ61によって読み取られたパスポート番号は、第1パスポート番号の一例である。なお、パスポート番号を電子チップに記憶するパスポートにおいては、第1スキャナ61は、この電子チップと通信することでパスポート番号を取得すればよい。このことは、第2スキャナ62も同じである。
第2スキャナ62は、税関エリアA3に設けられる。第2スキャナ62は、税関ゲートG2において入国者200に提示されるパスポートに記載されたパスポート番号を税関係官400の指示にしたがって読み取り、監視部7に送信する。ここで、第2スキャナ62によって読み取られたパスポート番号は、第2パスポート番号の一例である。
監視部7は、推定部6から検知信号を受信したとき、同時期に第1スキャナ61から送信されたパスポート番号を不審者のパスポート番号として、メモリ8が備える不審者管理テーブルT6(図20)に記録する。
そして、監視部7は、不審者管理テーブルT6に記録された不審者のパスポート番号と、第2スキャナ62が読み取ったパスポート番号とが一致した場合、警告部9に警告を発報させる。
図20は、実施の形態5に係る不審者管理テーブルT6の一例を示す図である。不審者管理テーブルT6において、不審者管理テーブルT5との相違点は、ユーザIDに代えてパスポート番号が設けられている点、及び画像データが省かれている点にある。パスポート番号は、個々の入国者200に対して一意的に付与されるので、不審者を一意的に特定することが可能である。そこで、実施の形態5では、ユーザIDに代えてパスポート番号を採用した。
なお、実施の形態5では、ユーザIDが用いられていないので、生体センサ2は、ユーザIDを発行する必要がない。そのため、生体センサ2の処理負担を軽減できる。
<シーケンス>
図21は、実施の形態5に係る不審者通報システム2Aの動作を示すシーケンス図であり、図22は図21に続くシーケンス図である。
なお、図21、図22において、図17、図18と同じ処理には同一の符号を付し説明を省略する。
(S02a)
S02aは、S01と並行して行われる処理である。第1スキャナ61は、入国者200のパスポート番号を読み取り、監視部7に送信する。
(S04a)
S04aは、S03に続く処理である。監視部7は、検知信号を受信した場合、第1スキャナ61から送信されたパスポート番号を不審者管理テーブルT6に記録する。これにより、不審者のパスポート番号が記録されることになる。ここで、監視部7は、検知信号の受信時刻から前後一定期間内に送信されたパスポート番号を不審者のパスポート番号として不審者管理テーブルT6に記録すればよい。一定期間としては、同一人物に対する、生体データの計測とパスポート番号の取得とに費やされる想定期間が採用される。
(S05a)
S05aはS04aに続く処理である。第2スキャナ62は、税関エリアA3の審査位置に進入した入国者200により提示されたパスポート番号を税関係官400の指示にしたがって読み取り、監視部7に送信する。
(S06a)
S06aはS05aに続く処理である。監視部7は、不審者管理テーブルT6に記録された不審者のパスポート番号と、第2スキャナ62が読み取ったパスポート番号との一致の有無を確認する。
監視部7により両パスポート番号が一致したと判定された場合、警告部9は警告を発報し(S07a)、両パスポート番号が一致しない場合、処理は終了する。ここでは、不審者の画像データが取得されていないので、警告部9は不審者の画像データを表示できない。そこで、警告部9は、LEDランプを点灯することで警告を発報してもよいし、不審者が税関エリアA3に侵入したことを知らせる音声メッセージをスピーカから出力することで警告を発報してもよい。
このように、不審者通報システム2Aによれば、入国審査エリアA1において不審者のパスポート番号が取得され、不審者管理テーブルT6に記録される。そのため、不審者通報システム2Aは、税関エリアA3において取得されたパスポート番号と不審者管理テーブルT6に記録されたパスポート番号とを照合することで、税関エリアA3において不審者を特定できる。
(実施の形態6)
図23は、実施の形態6に係る不審者通報システム2Bの全体構成を示すブロック図である。不審者通報システム2Bは、実施の形態5の不審者通報システム2Aにおいて、不審者の顔画像を表示することで、警告を行うことを特徴とする。
図23において図19との相違点は、入国審査エリアA1において第1カメラ3が更に設けられている点、及び税関エリアA3において第2スキャナ62が更に設けられている点にある。なお、実施の形態6において、実施の形態5、6と同一の構成には同一の符号を付し、説明を省く。
監視部7は、推定部6から検知信号を受信したとき、同時期に第1スキャナ61から送信されたパスポート番号と、第1カメラ3により取得された第1画像データと対応付けてメモリ8が備える不審者管理テーブルT7(図24)に記録する。
図24は、実施の形態6に係る不審者管理テーブルT7の一例を示す図である。不審者管理テーブルT7において、不審者管理テーブルT6との相違点は、パスポート番号に対応付けて画像データのフィールドが設けられている点にある。例えば、警告部9はこの画像データを用いて警告を発報することが可能となる。
そして、監視部7は、不審者管理テーブルT7に記録された不審者のパスポート番号と、第2スキャナ62が読み取ったパスポート番号とが一致した場合、警告部9に警告を発報させる。
<シーケンス>
図25は、実施の形態6に係る不審者通報システム2Bの動作を示すシーケンス図であり、図26は図25に続くシーケンス図である。なお、図25、図26において、図21、図22と同じ処理には同一の符号を付し説明を省略する。
(S02、S02a)
S02は、図17で示した、第1カメラ3が審査中の入国者200を撮影して第1画像データを取得し、監視部7に送信する処理である。S02aは、図8で示した、第1スキャナ61が入国者200のパスポート番号を読み取り、監視部7に送信する処理である。S02,S02aはS01の処理と並行して行われる。
(S04b)
S04bは、S03に続く処理である。監視部7は、検知信号を受信した場合、第1カメラ3から送信された第1画像データと、第1スキャナ61から送信されたパスポート番号と対応付けて不審者管理テーブルT7に記録する。これにより、不審者の第1画像データがパスポート番号と共に記録されることになる。ここで、監視部7は、検知信号の受信時刻から前後一定期間内に送信された第1画像データ及びパスポート番号を不審者の第1画像データ及びパスポート番号として不審者管理テーブルT7に記録すればよい。一定期間としては、同一人物に対する、生体データの計測と第1画像データの撮影とパスポート番号の取得とに費やされる想定期間が採用される。
(S05、S05a)
S05は、図18で示した、第2カメラ4が税関エリアA3内の審査位置に進入した入国者200を撮影し、入国者200の第2画像データを取得し、監視部7に送信する処理である。S05aは図22で示した、第2スキャナ62が税関エリアA3の審査位置に進入した入国者200により提示されたパスポート番号を税関係官400の指示にしたがって読み取り、監視部7に送信する処理である。S05とS05aとは並行して行われる。
(S06a)
S06aはS05aに続く処理である。監視部7は、不審者管理テーブルT7に記録された不審者のパスポート番号と、第2スキャナ62が読み取ったパスポート番号との一致の有無を確認する。
(S07)
監視部7により、第2画像データに不審者が含まれていると判断された場合、警告部9は、不審者の顔画像を表示装置に表示する。この場合、警告部9は、S02において、メモリ8に記録された不審者の第1画像データを表示装置に表示してもよいし、S05において、第2カメラ4が撮影した不審者の第2画像データを表示装置に表示してもよい。
これにより、税関係官400は、目の前の入国者200が不審者であることを認識でき、必要な措置をとることができる。
このように、実施の形態6による不審者通報システム2Bによれば、不審者の顔画像が表示装置に表示されるので、税関係官400は不審者の特定を容易に行うことができる。
なお、実施の形態6では、監視部7は、第1スキャナ61で取得されたパスポート番号と第2スキャナで取得されたパスポート番号とを照合することで、不審者を特定したが、これは一例である。実施の形態4と同様、監視部7は、第1カメラ3で取得された第1画像データと第2カメラ4で取得された第2画像データとを照合することで不審者を特定してもよい。
また、警告部9が第1カメラ3で取得された第1画像データを用いて不審者の顔画像を表示装置に表示する態様を採用する場合、税関エリアA3において第2カメラ4は不要となる。
(変形例)
図16、図20、図24に示す不審者管理テーブルT5〜T7の例では、1つのレコードしか含まれていないが、これは一例である。同時並行的に複数の不審者が検出された場合、不審者管理テーブルT5〜T7には複数の不審者に対応する複数のレコードが含まれることになる。この場合、監視部7は、複数のレコードに記録された複数の第1画像データのそれぞれを第2画像データと照合することで、第2画像データに不審者が含まれるか否かを判定すればよい。或いは、監視部7は、複数のレコードに記録された複数のパスポート番号のそれぞれを第2スキャナ62で読み取られたパスポート番号と照合してもよい。
本開示の技術は、空港、港等におけるセキュリティ対策にとって有用である。
A1 入国審査エリア
A2 通路
A3 税関エリア
G1 入国審査ゲート
G2 税関ゲート
T1,T2,T3,T4,T5,T6,T7 不審者管理テーブル
1,1A,1B,2,2A,2B 不審者通報システム
2 生体センサ
3 第1カメラ
4 第2カメラ
5 第3カメラ
6 推定部
7 監視部
8 メモリ
9 警告部
61 第1スキャナ
62 第2スキャナ
100 入国係官
200 入国者
400 税関係官

Claims (13)

  1. 不審者を通報する不審者通報システムであって、
    第1領域において人物の生体データを検知する生体センサと、
    前記生体データからストレスの度合いを示すストレス指数を算出し、算出された前記ストレス指数が所定の基準値よりも高い場合、前記人物を不審者であると推定する推定部と、
    前記第1領域において前記人物の画像を含む第1画像データを取得する第1カメラと、
    前記人物が前記第1領域を通過した後、第3領域に進入するまでの経路である第2領域において前記人物の画像を含む第2画像データを取得する第2カメラと、
    不審者と推定された前記人物に対応する前記第1画像データと、前記第2画像データとを照合することにより、前記第2領域において、不審者と推定された前記人物を追跡し、不審者と推定された前記人物が前記第3領域に進入したか否かを判定する監視部と、
    前記監視部が、不審者と推定された前記人物が前記第3領域に進入したと判定した場合、警告を発する警告部と、を備える不審者通報システム。
  2. 前記第3領域において前記人物の画像を含む第3画像データを取得する第3カメラを更に備え、
    前記監視部は、前記第1画像データと第3画像データとを照合し、前記第3画像データに不審者と推定された前記人物が含まれている場合、不審者と推定された前記人物が前記第3領域に進入したと判定する、請求項1に記載の不審者通報システム。
  3. 前記第1領域において前記人物のパスポート番号を取得する第1取得部と、
    前記第3領域において前記人物のパスポート番号を取得する第2取得部と、
    を更に備え、
    前記監視部は、前記第2取得部が取得したパスポート番号が、不審者と推定された前記人物に対して前記第1取得部が取得したパスポート番号と一致した場合、不審者と推定された前記人物が前記第3領域に進入したと判定する、請求項1に記載の不審者通報システム。
  4. 前記第3領域において前記人物の画像を含む第3画像データを取得する第3カメラを更に備え、
    前記監視部は、不審者と推定された前記人物に対し第1距離以内に近づいた人物を前記第2画像データにおいて検知した場合、近づいた前記人物を関連不審者であると推定し、関連不審者と推定された前記人物の画像を含む前記第2画像データと、前記第3画像データとを照合し、前記第3画像データに関連不審者と推定された前記人物が含まれている場合、関連不審者と推定された前記人物が前記第3領域に進入したと判定し、
    前記警告部は、前記監視部が、関連不審者と判断された前記人物が前記第3領域に進入したと判定した場合、警告を発する、請求項1に記載の不審者通報システム。
  5. 前記第3領域において前記人物の画像を含む第3画像データを取得する第3カメラを更に備え、
    前記監視部は、不審者と推定された前記人物に対し第1距離以内に近づいた人物が所定の行動を行ったことを検知した場合、前記所定の行動を行った前記人物を関連不審者であると推定し、関連不審者と推定された前記人物の画像を含む前記第2画像データと、前記第3画像データとを照合し、前記第3画像データに関連不審者と推定された前記人物が含まれている場合、関連不審者と推定された前記人物が前記第3領域に進入したと判定し、
    前記警告部は、前記監視部が、関連不審者と判断された前記人物が前記第3領域に進入したと判定した場合、警告を発する、請求項1に記載の不審者通報システム。
  6. 前記第3領域において前記人物の画像を含む第3画像データを取得する第3カメラを更に備え、
    前記監視部は、不審者と推定された前記人物の所持品が別の人物に渡ったこと前記第2画像データにおいて検知した場合、前記別の人物を関連不審者であると推定し、関連不審者と推定された前記人物の画像を含む前記第2画像データと、前記第3画像データとを照合し、前記第3画像データに関連不審者と推定された前記人物が含まれている場合、関連不審者と推定された前記人物が前記第3領域に進入したと判定し、
    前記警告部は、前記監視部が、関連不審者と判断された前記人物が前記第3領域に進入したと判定した場合、警告を発する、請求項1に記載の不審者通報システム。
  7. 前記第1画像データは、前記人物の顔画像を含み、
    前記警告部は、不審者と推定された前記人物の前記顔画像を表示する、請求項1に記載の不審者通報システム。
  8. 不審者と推定された前記人物に対応する前記第1画像データを記録するメモリを更に備え、
    前記監視部は、前記メモリに記録された前記第1画像データと、前記第2画像データとを照合することにより、前記第2領域において、不審者と推定された前記人物を追跡する、請求項1に記載の不審者通報システム。
  9. 不審者と推定された前記人物に対応する前記第1画像データを記録するメモリを更に備え、
    前記監視部は、前記メモリに記録された前記第1画像データと、前記第3画像データとを照合することにより、前記第3画像データに不審者と推定された前記人物が含まれている場合、不審者と推定された前記人物が前記第3領域に進入したと判定する、請求項2に記載の不審者通報システム。
  10. 前記第1取得部により取得された、不審者と推定された前記人物に対応する前記パスポート番号を記録するメモリを更に備え、
    前記監視部は、前記第2取得部が取得した前記パスポート番号が、前記メモリに記録された前記パスポート番号と一致した場合、不審者と推定された前記人物が前記第3領域に進入したと判定する、請求項3に記載の不審者通報システム。
  11. 前記第1領域は、入国審査エリアであり、
    前記第3領域は、税関エリアである、請求項1〜10のいずれか1項に記載の不審者通報システム。
  12. 前記警告部は、前記税関エリアの職員に前記警告を発する、請求項11に記載の不審者通報システム。
  13. 不審者を通報する不審者通報方法であって、
    第1領域内において人物の生体データを生体センサで検知し、
    前記生体データからストレスの度合いを示すストレス指数を算出し、算出された前記ストレス指数が所定の基準値よりも高い場合、前記人物を不審者であると推定し、
    前記第1領域内において前記人物の画像を含む第1画像データを取得し、
    前記人物が前記第1領域を通過した後、第3領域に進入するまでの経路である第2領域内において前記人物の画像を含む第2画像データを取得し、
    不審者と推定された前記人物に対応する前記第1画像データと、前記第2画像データとを照合することにより、前記第2領域において、不審者と推定された前記人物を追跡し、不審者と推定された前記人物が前記第3領域に進入したか否かを判定し、
    不審者と推定された前記人物が前記第3領域に進入したと判定された場合、警告を発する、不審者通報方法。
JP2017160069A 2016-08-29 2017-08-23 不審者通報システム及び不審者通報方法 Active JP6857829B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2021033427A JP7065350B2 (ja) 2016-08-29 2021-03-03 システム及び方法

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2016166722 2016-08-29
JP2016166722 2016-08-29
JP2016167550 2016-08-30
JP2016167550 2016-08-30

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2021033427A Division JP7065350B2 (ja) 2016-08-29 2021-03-03 システム及び方法

Publications (2)

Publication Number Publication Date
JP2018037075A JP2018037075A (ja) 2018-03-08
JP6857829B2 true JP6857829B2 (ja) 2021-04-14

Family

ID=59745155

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2017160069A Active JP6857829B2 (ja) 2016-08-29 2017-08-23 不審者通報システム及び不審者通報方法
JP2021033427A Active JP7065350B2 (ja) 2016-08-29 2021-03-03 システム及び方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2021033427A Active JP7065350B2 (ja) 2016-08-29 2021-03-03 システム及び方法

Country Status (3)

Country Link
US (4) US10269198B2 (ja)
EP (1) EP3291191B1 (ja)
JP (2) JP6857829B2 (ja)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3291191B1 (en) * 2016-08-29 2019-10-09 Panasonic Intellectual Property Management Co., Ltd. Suspicious person report system and suspicious person report method
JP7103229B2 (ja) * 2017-01-05 2022-07-20 日本電気株式会社 不審度推定モデル生成装置
CA3020322A1 (en) * 2017-12-13 2019-06-13 Matthew Usi Systems and methods for threshold detection of a wireless device
US10432418B1 (en) * 2018-07-13 2019-10-01 International Business Machines Corporation Integrating cognitive technology with social networks to identify and authenticate users in smart device systems
CN109032054A (zh) * 2018-08-03 2018-12-18 深圳众厉电力科技有限公司 一种监控预警系统
EP3844666A1 (en) 2018-08-31 2021-07-07 OSRAM GmbH Tracking system, arrangement and method for tracking objects
WO2020148697A2 (en) * 2019-01-17 2020-07-23 Jungo Connectivity Ltd. Method and system for monitoring a person using infrared and visible light
US11870847B2 (en) * 2019-01-21 2024-01-09 EMC IP Holding Company LLC Decentralized data flow valuation and deployment
DE102019213037A1 (de) * 2019-08-29 2021-03-04 Robert Bosch Gmbh Überwachungsvorrichtung, Überwachungsanordnung, Verfahren, Computerprogramm und Speichermedium
CN110866692A (zh) * 2019-11-14 2020-03-06 北京明略软件系统有限公司 一种预警信息的生成方法、生成装置及可读存储介质
WO2021192228A1 (ja) * 2020-03-27 2021-09-30 日本電気株式会社 不審者検知装置、不審者検知方法及びコンピュータ読み取り可能な記録媒体
CN111552007A (zh) * 2020-05-26 2020-08-18 上海量卿科技有限公司 检查系统及方法
JP7500335B2 (ja) * 2020-08-07 2024-06-17 エヌ・ティ・ティ・コミュニケーションズ株式会社 人物追跡装置、人物追跡システム、人物追跡方法及び人物追跡プログラム
JP7424940B2 (ja) * 2020-08-07 2024-01-30 エヌ・ティ・ティ・コミュニケーションズ株式会社 人物追跡装置、人物追跡システム、人物追跡方法及び人物追跡プログラム
WO2022030558A1 (ja) * 2020-08-07 2022-02-10 エヌ・ティ・ティ・コミュニケーションズ株式会社 人物を検出または追跡する装置、システム、方法及びプログラム
EP3961352A1 (en) 2020-08-25 2022-03-02 Hitachi, Ltd. System and method for monitoring a surface
CN112150749A (zh) * 2020-09-08 2020-12-29 成都红云鼎科技有限公司 一种基于多防区的分层预警方法
JP6968248B1 (ja) * 2020-10-12 2021-11-17 セントラル警備保障株式会社 画像解析通報システム、画解析通報プログラム及び画像解析通報方法
WO2022107232A1 (ja) * 2020-11-18 2022-05-27 日本電気株式会社 サーバ装置、システム、サーバ装置の制御方法及び記憶媒体
CN114554137A (zh) * 2020-11-24 2022-05-27 京东方科技集团股份有限公司 区域管控方法、装置、设备及存储介质
CN112735015B (zh) * 2020-12-25 2023-04-25 重庆中科云从科技有限公司 一种社区管理方法、装置、机器可读介质及设备
CN112775983A (zh) * 2020-12-25 2021-05-11 张月崧 智能防卫保护方法及智能保镖机器人
JP7015901B1 (ja) 2020-12-28 2022-02-03 株式会社フジタ 入退場管理システム、ユニットパネル、およびユニットハウス
WO2023037552A1 (ja) * 2021-09-13 2023-03-16 日本電気株式会社 監視支援装置、システム及び方法、並びに、コンピュータ可読媒体
WO2023162041A1 (ja) * 2022-02-22 2023-08-31 日本電気株式会社 サーバ装置、システム、サーバ装置の制御方法及び記憶媒体
JP7416315B1 (ja) 2023-05-31 2024-01-17 三菱電機ビルソリューションズ株式会社 入退室管理システム、情報処理装置、入退室管理方法、及びコンピュータ読み取り可能な記録媒体

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3516883A1 (de) * 1984-05-28 1986-04-30 DEBEX (Proprietary) Ltd., Johannesburg, Transvaal Verfahren und vorrichtung zur erfassung von schuld- bzw. stresszustaenden
US6996256B2 (en) 2000-06-08 2006-02-07 Honeywell International Inc. Detection system and method using thermal image analysis
US6911907B2 (en) * 2003-09-26 2005-06-28 General Electric Company System and method of providing security for a site
US7127083B2 (en) * 2003-11-17 2006-10-24 Vidient Systems, Inc. Video surveillance system with object detection and probability scoring based on object class
JP4528262B2 (ja) 2003-12-03 2010-08-18 株式会社日立製作所 搭乗セキュリティチェックシステムおよび方法ならびにコンピュータプログラム。
WO2006040687A2 (en) * 2004-07-19 2006-04-20 Grandeye, Ltd. Automatically expanding the zoom capability of a wide-angle video camera
EP1619638A1 (en) * 2004-07-23 2006-01-25 Urmet Domus S.p.A. Airport surveillance system
US8289390B2 (en) * 2004-07-28 2012-10-16 Sri International Method and apparatus for total situational awareness and monitoring
US20060170769A1 (en) * 2005-01-31 2006-08-03 Jianpeng Zhou Human and object recognition in digital video
JP2007058763A (ja) * 2005-08-26 2007-03-08 Toshiba Corp 入場管理システムおよび入場管理方法
JP4409509B2 (ja) 2005-12-28 2010-02-03 株式会社日立製作所 出入国審査システム、出入国審査方法、および出入国審査プログラム
JP2007249819A (ja) 2006-03-17 2007-09-27 Toshiba Corp 入場管理システムおよび入場管理方法
US20080080748A1 (en) * 2006-09-28 2008-04-03 Kabushiki Kaisha Toshiba Person recognition apparatus and person recognition method
US8350908B2 (en) * 2007-05-22 2013-01-08 Vidsys, Inc. Tracking people and objects using multiple live and recorded surveillance camera video feeds
GB0810807D0 (en) * 2008-06-12 2008-07-23 Rue De Int Ltd Securing document security systems and method of controlling access
JP6029108B2 (ja) * 2011-02-25 2016-11-24 株式会社産学連携機構九州 生体情報検出システム
JP2012249797A (ja) 2011-06-02 2012-12-20 Konica Minolta Holdings Inc ストレス解析システム、ストレス解析プログラムおよびストレス解析方法
JP5257525B2 (ja) 2012-01-12 2013-08-07 ソニー株式会社 情報処理装置、撮像制御方法、プログラム
US9087386B2 (en) * 2012-11-30 2015-07-21 Vidsys, Inc. Tracking people and objects using multiple live and recorded surveillance camera video feeds
JPWO2014097699A1 (ja) * 2012-12-20 2017-01-12 日本電気株式会社 情報処理システム、情報処理方法及びプログラム
JP5506990B1 (ja) * 2013-07-11 2014-05-28 パナソニック株式会社 追跡支援装置、追跡支援システムおよび追跡支援方法
JP5735592B2 (ja) 2013-08-28 2015-06-17 ヤフー株式会社 情報処理装置、制御方法および制御プログラム
CN105518755A (zh) * 2013-09-06 2016-04-20 日本电气株式会社 安全系统、安全方法和非暂时性计算机可读介质
WO2015128939A1 (ja) * 2014-02-25 2015-09-03 株式会社日立製作所 安全性判定システム、安全性判定装置、及び安全性判定方法
JPWO2015136938A1 (ja) * 2014-03-14 2017-04-06 株式会社東芝 情報処理方法および情報処理システム
JP2016057908A (ja) * 2014-09-10 2016-04-21 宮田 清蔵 万引き予防システム及びソフトウエア
US10238345B2 (en) * 2014-10-16 2019-03-26 Panasonic Intellectual Property Management Co., Ltd. Biological information processing device and biological information processing method
KR102161210B1 (ko) * 2015-01-15 2020-09-29 한화테크윈 주식회사 다중 비디오써머리제공방법 및 장치
US9909774B2 (en) * 2015-03-04 2018-03-06 Elwha Llc Systems and methods for regulating an environmental variable within a target zone having multiple inhabitants
US9300925B1 (en) * 2015-05-04 2016-03-29 Jack Ke Zhang Managing multi-user access to controlled locations in a facility
JP2017033459A (ja) * 2015-08-05 2017-02-09 シャープ株式会社 監視装置、監視システム、及び監視方法
EP3291191B1 (en) * 2016-08-29 2019-10-09 Panasonic Intellectual Property Management Co., Ltd. Suspicious person report system and suspicious person report method
JP6399064B2 (ja) * 2016-09-07 2018-10-03 トヨタ自動車株式会社 ユーザ特定システム
JP6702506B2 (ja) * 2017-09-28 2020-06-03 京セラドキュメントソリューションズ株式会社 監視端末装置及び表示処理方法

Also Published As

Publication number Publication date
JP2018037075A (ja) 2018-03-08
EP3291191B1 (en) 2019-10-09
JP7065350B2 (ja) 2022-05-12
US20190325676A1 (en) 2019-10-24
JP2021106001A (ja) 2021-07-26
US10388093B2 (en) 2019-08-20
EP3291191A1 (en) 2018-03-07
US20180061159A1 (en) 2018-03-01
US10846966B2 (en) 2020-11-24
US20190206162A1 (en) 2019-07-04
US20200058179A1 (en) 2020-02-20
US10490002B2 (en) 2019-11-26
US10269198B2 (en) 2019-04-23

Similar Documents

Publication Publication Date Title
JP7065350B2 (ja) システム及び方法
KR102021999B1 (ko) 인체 감시 발열 경보 장치
KR101729327B1 (ko) 듀얼 카메라를 이용한 체온 추적 모니터링 시스템
US20210345885A1 (en) Biological information management apparatus, biological information management method, program, and recording medium
JP2017224356A (ja) データ管理システム及び方法
KR20210120785A (ko) 얼굴 감시 및 열화상 감시를 이용한 건강 이상 감지방법, 건강 이상 감지장치 및 컴퓨터 프로그램
JP2019518263A5 (ja)
US9655554B2 (en) Device and method for monitoring movement and orientation of the device
CA2930745A1 (en) System and method for asset authentication and management
JP2012235415A (ja) 画像処理システム、発熱者特定方法、画像処理装置およびその制御方法と制御プログラム
KR101654708B1 (ko) 웨어러블 센서 기반 사용자 안전 시스템 및 방법
CN108882853A (zh) 使用视觉情境来及时触发测量生理参数
US9218668B2 (en) Differentiating among a plurality of subjects in a field-of-view based on vital signs
Sikander et al. Predicting risk of suicide using resting state heart rate
Shahiduzzaman Fall detection by accelerometer and heart rate variability measurement
TWI626926B (zh) 體溫異常個體偵測系統與方法
KR20190074210A (ko) 로이터링 이벤트를 검출하는 방법, 장치 및 시스템
Chang et al. In-bed patient motion and pose analysis using depth videos for pressure ulcer prevention
Dubois et al. Automatic fall detection system with a RGB-D camera using a hidden Markov model
KR20130122306A (ko) 위험요소 예측 기반 스마트 보안시스템
US20220317280A1 (en) Radar detection and identification device
JP2006528474A (ja) 複合イメージングシステム
JP2008252706A (ja) 人物監視システムおよび人物監視方法
TH1901005413A (th) ระบบตรวจจับบุคคลสำหรับยานพาหนะปฏิบัติงานและยานพาหนะปฏิบัติงานที่ใช้ระบบนี้
JP2024138974A (ja) 監視装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200716

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210202

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210304

R151 Written notification of patent or utility model registration

Ref document number: 6857829

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151