JP7380889B2 - 方法、装置、及び、プログラム - Google Patents

方法、装置、及び、プログラム Download PDF

Info

Publication number
JP7380889B2
JP7380889B2 JP2022540778A JP2022540778A JP7380889B2 JP 7380889 B2 JP7380889 B2 JP 7380889B2 JP 2022540778 A JP2022540778 A JP 2022540778A JP 2022540778 A JP2022540778 A JP 2022540778A JP 7380889 B2 JP7380889 B2 JP 7380889B2
Authority
JP
Japan
Prior art keywords
event
disallowed
subject
events
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022540778A
Other languages
English (en)
Other versions
JP2023509059A (ja
Inventor
智史 山崎
フイ ラム オング
ホン イェン オング
シンライ ジャン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JP2023509059A publication Critical patent/JP2023509059A/ja
Priority to JP2023188143A priority Critical patent/JP2024023218A/ja
Application granted granted Critical
Publication of JP7380889B2 publication Critical patent/JP7380889B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification
    • G06V40/173Classification, e.g. identification face re-identification, e.g. recognising unknown faces across different face tracks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/55Clustering; Classification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/50Maintenance of biometric data or enrolment thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Collating Specific Patterns (AREA)
  • Image Analysis (AREA)

Description

本開示は、イベントが不許可対象に関連するか否かを判定するための方法及び装置に関する。
近年、対象(subject)の識別と認識のための映像分析は、ますます人気が高まっている。アルゴリズムを利用してハードウェアを処理することにより、映像フィルム長は、映像フィルム長の中の対象を識別するためのデータを取得するために処理され得る。顔認識は、対象識別に広く用いられる映像分析技術の一つである。現在、法執行機関の捜査を支援するための公共安全ソリューション、eコマーストランザクションの支払いのための認証方法、及び、物理的アクセス許可における非接触のアイデンティティ認識に適用されている。特に、映像フィルム長から取得される顔情報、又は、対象を識別するデータとしての画像に基づいて、対象出現のイベントを判定する顔認識ソリューションの大部分は、既知又は許可対象(authorized subject)を識別する顔情報を、対象を識別する顔情報に照合させ、両方の顔情報が高度に相関する場合、そのイベントが、既知又は許可対象に関連すると判定する。様々な実施形態において、許可対象は、構内に入る許可を有する、又は、既に構内に入っている人物であり得、脅威をもたらす可能性は低いと判定される。
不許可対象の検出システムは、不許可対象(unauthorized subject)を識別するデータと許可対象を識別するデータとを比較するという概念に基づいて、顔認識技術を通じて実装され得る。例えば、不許可対象を識別するデータが許可対象を識別するデータと一致しない場合、イベントは不許可対象に関連すると判定できる。このような不許可対象の検出システムは、例えば、侵入者又は不許可対象が構内に入る場合、潜在的な侵入者を検出するために利用可能である。
しかしながら、従来の映像分析技術の精度における制限と挑戦のいくつかは、増幅される可能性があり、そのような映像分析技術の不許可対象検出への適用を妨げる。特に、従来の映像分析技術は、変化する環境及びイメージング条件の下で検出された対象の検出に基づいて、一貫した結果を生成することができないだろう。そのような精度の限界の下で、ひとたび不許可対象を検出する可能性があれば、すぐにアラートは生成され、ユーザへ提供される。従来の技術は、許可対象、及び/又は、不許可対象に関連する別のイベントの判定に基づいて、アラートを生成するイベント(命令/信号)を保持せず、又は、不許可対象に関連するイベントを判定しない。要するに、従来技術には、生成されるはずのないアラートを最小化する技術がない。それ故、上記で議論したように、イベントが不許可対象に関連するか否かを判定するための既存の課題を大幅に克服することが本開示の目的である。
本開示の目的は、生成されるはずのないアラートを最小化するための方法及び装置を提供することである。
本開示の第1の態様によれば、イベントが不許可対象に関連するか否かを判定する方法が提供され、前記方法は、(i)前記不許可対象に関連するイベントのリストのうち少なくとも1つのイベント、及び、(ii)許可対象に関連するイベントのリストのうち少なくとも1つのうち、少なくとも1つに前記イベントがどのくらい類似しているかの可能性を判定し、イベントの前記リストの各イベントは、前記不許可対象を識別するデータを含み、前記可能性の判定は前記不許可対象を識別するデータに基づき、前記可能性の判定に応じて、前記不許可対象に関連するイベントを判定する。
本開示の第2の態様によれば、イベントが不許可対象に関連するか否かを判定する装置が提供され、前記装置は、プロセッサと通信するメモリを備え、前記メモリはその中に記録されたコンピュータプログラムを格納し、前記コンピュータプログラムは、前記装置を少なくとも(i)前記不許可対象に関連するイベントのリストのうち少なくとも1つのイベント、及び、(ii)許可対象に関連するイベントのリストのうち少なくとも1つのうち、少なくとも1つに前記イベントがどのくらい類似しているかの可能性を判定し、イベントの前記リストの各イベントは、前記不許可対象を識別するデータを含み、前記可能性の判定は前記不許可対象を識別するデータに基づき、前記可能性の判定に応じて、前記不許可対象に関連するイベントを判定する。
本開示のさらに別の態様によれば、イベントが不許可対象に関連するか否かを判定するシステムが提供され、前記システムは、前記第2の態様における装置と、少なくとも1つの画像撮影装置を備える。
本発明によれば、上記問題を克服又は少なくとも部分的に軽減する方法及び装置を提供することで達成できる。
添付の図は、参照番号や文字が個別の視点全体で同一または機能的に類似した要素を指し、以下の詳細な説明と共に、明細書に組み込まれ、明細書の一部を形成し、さまざまな実施形態を説明し、さまざまな原理と利点を説明するのに役立ち、本実施形態によれば以下の通りである。
図1は、実施形態にかかる、入力された画像に基づいてイベントが不許可対象に関連するか否かを判定するためのシステムを示す。 図2は、実施形態にかかる、イベントが不許可対象に関連するか否かを判定するための方法を説明するフローチャートを示す。 図3は、実施形態にかかる、イベントが不許可対象に関連するか否かを判定するためのシステムを説明するブロック図を示す。 図4は、実施形態にかかる図3のシステムを説明するブロック図を示す。 図5は、実施形態にかかる、非識別された対象検索の処理を説明するフローチャートを示す。 図6は、実施形態にかかる、対象識別子伝搬処理を説明するフローチャートを示す。 図7は、図6のフローチャートを説明する図を示す。 図8は、例の対象識別子伝搬処理を説明する図を示す。 図9は、画像撮影装置の入力に基づいて、イベントが不許可対象に関連するか否かを判定するシステム例を示す。 図10は、実施形態にかかるオンライン同一対象クラスタリング処理を説明するフローチャートを示す。 図11は、実施形態にかかる対象識別子リポジトリの更新処理を説明するフローチャートを示す。 図12は、別の実施形態にかかる対象識別子リポジトリの更新処理を説明するフローチャートを示す。 図13は、図3及び4に示すシステムを実装するための使用に適切なコンピュータシステムの回路図を示す。
(概要)
対象を識別するデータ-対象を識別するデータは、対象の属性又は特徴情報に基づく対象と関連付けられた情報、または、対象を識別するために用いられた情報を示す。属性又は特徴情報は、例えば、身長、体の大きさ、髪の色、肌の色、顔情報、衣服、持ち物、他の類似の特徴、もしくは、組合せのような対象の物理的特徴、又は、例えば、体の動き、手足の位置、移動方向、移動速度、対象の歩き方、立ち方、動き方、話し方、他の類似の特徴、もしくは、組合せのような対象の行動特徴、又は、他の属性もしくは特徴情報であり得る。以下のような実施形態において、対象を識別するデータは、例えば、画像撮影装置の画像のような入力から取得され得る。対象を識別するデータの一部は、対象が対象識別子に基づきコンピュータシステム又は類似の電子機器により識別され得るように、対象識別子(対象ID)として用いられる。例えば、対象識別子は、顔情報に基づき生成され得る。異なる顔情報は、コンピュータシステム又は類似の電子機器が2つの異なる対象の出現としてそれらを示すような、2つの異なる対象識別子を生成し、一方、類似の顔情報は、コンピュータシステム又は類似の電子機器が単一の対象の出現としてそれらを示すような、単一の対象識別子に割り当てられ得る。
イベント-イベントは、コンピュータシステム又は類似の電子機器により生成、始動(トリガー)、操作、又は、認識される、信号、指示、又は、行動を示す。
イベントは、特定の期間中の入力に基づき対象の出現の検出を示す。特定の期間中の入力から識別された各イベントは、入力から取得された対象を識別するデータ、及び、データベースから検索された許可対象を識別するデータに基づいて、許可対象又は不許可対象に関連するかが判定される。以下の様々な実施形態において、許可対象に関連すると判定されたイベントは、許可対象に関連するイベントのリストに集約され、一方、不許可対象に関連すると判定されたイベントは、不許可対象に関連するイベントのリストに集約されるだろう。
許可対象-許可対象は、構内に入る許可を有する、又は、既に構内に入っており、脅威をもたらす可能性は低いと判定される対象のリストの対象物を示す。以下の様々な実施形態において、許可対象を識別するデータは、(i)イベントが許可対象に関連するか否かを判定すること、及び、(ii)イベントのマッチングスコアを算出することについて、コンピュータシステム又は類似の電子機器のデータベースから検索される。
不許可対象-不許可対象は、許可対象ではなく、又は、許可対象のリスト内の任意の対象ではない対象である。以下の様々な実施形態において、特定の期間中の入力に基づき出現が識別される対象は、不許可対象として見なされ、対象出現に基づき識別される対応するイベントは、不許可対象に関連する場合に検出されるだろう。
マッチングスコア-マッチングスコアは、受信した入力から取得される不許可対象を識別するデータを、データベースから検索される許可対象を識別するデータと比較し、互いに対応する不許可対象を識別するデータと許可対象を識別するデータとの両方がどのくらい近いかを示すことにより算出される。マッチングスコアは、0%から100%までスケーリングできる、ここで、0%のマッチングスコアは、不許可対象を識別するデータと許可対象を識別するデータとの両方が共通して、相関関係がなく、特徴がない情報を有することを示し、一方、100%のマッチングスコアは、不許可対象を識別するデータと許可対象を識別するデータとの両方が互いに、完全に相関し、同一であることを示す。イベントが許可対象のリストと照合され、対応する複数のマッチングスコアが不許可対象を識別するデータを許可対象のリストのそれぞれを識別するデータと比較することにより算出される実施形態において、複数のマッチングスコアのうち最高のマッチングスコアは、そのイベントのマッチングスコアとして選択されるだろう。
第1のマッチング閾値-第1のマッチング閾値は、不許可対象に関連しているとして判定されるべきイベントにおける最大のマッチングスコアを設定する不許可対象マッチング閾値を示す。第1のマッチング閾値より低いマッチングスコアを備えるイベントは、不許可対象に関連すると判定され、不許可対象に対応する不許可対象識別子に割り当てられる。以下の様々な実施形態において、不許可対象識別子(不許可対象ID)を備えるイベントは、対象識別子伝搬処理を開始することを要求され、イベントに不許可対象識別子を割り当てるために用いられる。
第2のマッチング閾値-第2のマッチング閾値は、許可対象に関連しているとして判定されるべきイベントにおける最小のマッチングスコアを設定する許可対象マッチング閾値を示す。第2のマッチング閾値は、第1のマッチング閾値よりも高い。第2のマッチング閾値よりも高いマッチングスコアを備えるイベントは、許可対象に関連すると判定され、許可対象に対応する許可対象識別子(許可対象ID)に割り当てられる。以下の様々な実施形態において、許可対象識別子を備えるイベントは、対象識別子伝搬処理を開始することを要求され、イベントに許可対象識別子を割り当てるために用いられる。
非識別化イベント-非識別化イベントは、対象の出現を検出すると対象IDに割り当てられるが、不許可対象ID又は許可対象IDに割り当てられていないイベントである。具体的には、非識別化イベントは、不許可対象マッチング閾値より高く、許可対象マッチング閾値より低いマッチングスコアを有し、データベースから検索される、許可対象を識別するデータと中程度の相関関係がある入力に基づく不許可対象を識別するデータを示す。以下の様々な実施形態において、非識別化イベントは、許可対象又は不許可対象に関連するかが検索及び判定され、それに応じて、対象識別子伝搬処理を通じて許可対象ID又は不許可対象IDに割り当てられる。そして、新規に割り当てられたイベントは、許可対象又は不許可対象に関連するイベントの対応するリストに集約されるだろう。ある実施形態において、非識別化イベントは、ノイズとして判定され、写体識別子伝搬処理を通じて許可対象又は不許可対象に関連しない場合、許可対象ID又は不許可対象IDに割り当てられない。
(例示的な実施形態)
本開示の実施形態は、例のみ提供し、図面と併せて以下の書面による説明から当業者により良く理解され、容易に明らかになるであろう。
以下の説明の一部は、アルゴリズムの用語、及び、コンピュータメモリ内のデータ上の動作の機能的又は符号の表現で、明示的又は暗示的に提示される。これらのアルゴリズムの記載及び機能的又は符号の表現は、当該技術分野の他の当業者へこれらの研究の本質を最も効果的に伝えるために、データ処理技術の当業者により使用される手段である。アルゴリズムは、ここで、一般的に、望ましい結果へ導く自己矛盾のない一連のステップ群であると考えられる。そのステップ群は、格納され、転送され、組み合わされ、比較され、それ以外の場合に操作されることが可能な、例えば電気的、磁気的又は光の信号のような物理量の物理的な操作を必要とするものである。
特に明記されていない限り、以下から明らかなように、例えば「走査(scanning)」、「検索(retrieving)」、「判定(determining)」、「置換(replacing)」、「生成(generating)」、「初期化(initializing)」、「出力(outputting)」、「受信(receiving)」、「識別(identifying)」、「予測(predicting)」等のような用語を利用する議論は、コンピュータシステム内の物理量として表現されるデータを当該コンピュータシステム又は他の情報ストレージ、送信又は表示装置内の物理量として同様に表現される他のデータへ操作及び変換する、コンピュータシステム又は類似の電子機器の動作及び処理を示すことが、本明細書全体を通して理解されるだろう。
また、本明細書は、方法の操作を実行する装置も開示する。そのような装置は、必要な目的のために特別に構築され、または、コンピュータもしくはコンピュータに格納されたコンピュータプログラムにより選択的に活性化もしくは再構成された他の装置を備えることができる。ここに示されるアルゴリズム及び表示は、任意の特定のコンピュータ又は他の装置に本質的に関連するものではない。様々な機械は、ここでの教示に従ってプログラムを用いて使用され得る。あるいは、要求された方法のステップを実行するより専門的な装置の構築は、流用される場合がある。コンピュータの構造は、以下の説明から明らかにされるだろう。
加えて、ここに記載される方法の個々のステップがコンピュータコードによって有効になることについて、当業者には明らかであろうという点で、本明細書は、また、コンピュータプログラムを暗示的に開示する。コンピュータプログラムは、任意のプログラミング言語及びそれらの実装に限定されることを意図したものではない。様々なプログラミング言語及びそれらのコーディングは、本明細書に含まれる開示の教示を実装するために使用できることが理解されるだろう。さらに、コンピュータプログラムは、任意の特定の制御フローに限定されることを意図したものではない。コンピュータプログラムの他の多くの亜種が存在し、本発明の精神又は範囲から逸脱することなく、異なる制御フローを使用することができる。
さらに、コンピュータプログラムの1以上のステップは、順次ではなく並列に実行されてもよい。そのようなコンピュータプログラムは、任意のコンピュータ可読媒体に格納され得る。コンピュータ可読媒体は、例えば、磁気もしくは光ディスクのようなストレージ装置、メモリチップ、又は、コンピュータとのインタフェースに適したその他のストレージデバイスに含まれると良い。コンピュータ可読媒体は、インターネットシステムで例示されるようなハードワイヤードメディア、又は、GSM携帯電話システムで例示されているような無線媒体も含むことができる。例えばコンピュータにロードされ実行された場合のコンピュータプログラムは、効果的に、推奨される方法のステップで実装する装置になる。
以下の様々な実施形態によると、画像撮影装置は、対象を含む画像を撮影する(capture)ために用いられる。対象は、例えば、出現、顔情報、身長、髪の色、動作、もしくは、他の類似の特徴情報、又は、組合せのような特徴情報に基づいて画像に表示されていると識別される。画像入力に基づいて対象を特定すると、例えば特徴情報のような対象を識別するデータを含むイベントが検出される。続いて、マッチング処理は、対象を識別するデータを、イベントが許可対象に関連する場合に検出する許可対象のリストの各対象を識別するデータと照合することにより実行される。対象が許可対象のリスト内の任意の許可対象と一致しないことを示すマッチング処理の結果に基づいて、イベントが許可対象に関連しないことを判定される。結果として、不許可対象の検出を示すアラートが生成される。
図1は、実施形態にかかる、入力された画像に基づいてイベントが不許可対象に関連するか否かを判定するためのシステム100を示す。対象は、例えば、対象の顔情報を含む5つの対応するイベントが検出されるように、各画像内の対象の顔情報に基づいて、異なる条件の下で5つの画像101a-101eの中で検出される。各イベントは、イベントの対象の顔情報に基づいて、対象を許可対象のリスト102と照合することにより、イベントが許可対象に関連するか否かが判定される。この実施形態において、画像101eは、対象顔情報が鮮明及び完全(complete)である通常条件の下で撮影され得る。そのような条件で、画像101eから識別される対象は、許可対象のリスト102の許可対象102aと照合でき、結果として、104aで示されるように、イベントが許可対象102aに関連すると判定され、アラートが生成される(104)。
対照的に、画像101a、101dは、対象顔情報が部分的に検出される条件の下で撮影され得る。そのような条件で、画像101a、101dから識別される対象は、許可対象のリスト102の許可対象と照合できず、結果として、103a、103dに示されるように、イベントが許可対象に関連しないと判定され、イベント103a、103dは、アラートを生成するために用いられる(103)。同様に、画像101b、101cは、対象の顔が低照度及び低品質(bad quality)条件により不明確な条件の下で検出され得る。そのような条件で、画像101b、101cから識別される対象は、許可対象のリスト102内の許可対象と照合できず、結果として、103b、103cに示されるように、イベントが許可対象に関連しないと判定され、イベント103b、103cは、アラートを生成するために用いられる(103)。このようなアラートは、同じ対象の画像が撮られる変換する条件により誤って生成される。それ故、このようなイベントを管理し、アラートを生成する前にイベントが不許可対象に関連するか否かを判定することにより、生成されるはずのないアラートを最小化することを本開示の目的とする。
様々な実施形態は、イベントが不許可対象に関連するか否かを判定するための装置及び方法を提供する。図2は、実施形態にかかる、イベントが不許可対象に関連するか否かを判定するための方法200を説明するフローチャートを示す。ステップ202では、その方法は、(i)不許可対象に関連するイベントのリストのうち少なくとも1つのイベント、及び、(ii)許可対象に関連するイベントのリストのうち少なくとも1つのうち、少なくとも1つにイベントがどのくらい類似しているかの可能性を判定するステップを備える。ここで、イベントリストの各イベントは、不許可対象を識別するデータを含み、可能性の判定は不許可対象を識別するデータに基づく。ステップ204では、その方法は、可能性の判定に応じて、不許可対象に関連するイベントを判定するステップを備える。
一実施形態によれば、ステップ202で、その方法は、入力を受信するステップを備えると良い。その入力は、特定の期間中に少なくとも1つの画像撮影装置により撮影された少なくとも1つの画像であり、イベントの判定及び不許可対象を識別するデータを含むイベントリスト内の各イベントは、受信された入力に基づくものである。特に、特定の期間中に不許可対象の出願が入力から識別される場合に、受信された入力から取得される不許可対象を識別するデータを含むイベントが検出される。同様に、特定の期間中に受信された入力に基づき不許可対象の1以上の出現が判定された場合に、1以上のイベントは検出される。1以上のイベントのそれぞれは、受信された入力から取得される不許可対象を識別するデータのそれぞれを含む。
一実施形態によれば、ステップ202で、その方法は、不許可対象を識別するデータに基づくイベントのリストの各イベントのマッチングスコアを算出するステップをさらに備えるとよい。マッチングスコアは、不許可対象を識別するデータと許可対象を識別するデータの間の相関の程度を示す。その方法は、不許可対象が関連するイベントのリストのイベントが第1のマッチング閾値、すなわち、不許可対象マッチング閾値より低いマッチングスコアを有するか否かを判定するステップを備えるとよい。第1のマッチング閾値より低いマッチングスコアは、イベントのリストのイベントが不許可対象に関連することを示す。本開示によれば、不許可対象に関連するイベントのリストの少なくとも1つのイベントは、第1のマッチング閾値より低いマッチングスコアを有する。その方法は、少なくとも1つのイベントを不許可対象識別子(不許可対象ID)に割り当て、少なくとも1つのイベントに基づき、不許可対象に関連するイベントのリストを形成するステップを備えると良い。
一実施形態によれば、ステップ202で、その方法は、許可対象に関連するイベントのリストのイベントが第2のマッチング閾値すなわち許可対象マッチング閾値より高いマッチングスコアを有するか否かを判定するステップをさらに備えると良い。第2のマッチング閾値より高いマッチングスコアは、イベントのリストのイベントが許可対象に関連することを示す。本開示によれば、少なくとも1つのイベントは、第2のマッチング閾値より高いマッチングスコアを有する。その方法は、少なくとも1つのイベントを許可対象識別子(許可対象ID)に割り当て、少なくとも1つのイベントに基づき、許可対象に関連するイベントのリストを形成するステップを備えると良い。
一実施形態によれば、ステップ202で、その方法は、不許可対象を識別するデータに基づいてイベントのマッチングスコアを算出するステップ、及び、イベントのマッチングスコアが第1のマッチング閾値より高く、第2のマッチング閾値より低いことを判定するステップをさらに備えると良い。様々な実施形態において、第1のマッチング閾値より高く、第2のマッチング閾値より低いマッチングスコアを備えるイベントは、非識別化イベントを示し、ステップ202及び204を通じて、検索され、許可対象ID又は不許可対象IDに割り当てられる。特に、ステップ204では、その方法は、不許可対象に関連するイベントのリストの少なくとも1つのイベントに、非識別化イベントがどのくらい類似しているかの可能性よりも高い、不許可対象に関連するイベントのリストの少なくとも1つのイベントに非識別化イベントがどのくらい類似しているかの可能性を判定することに応じて、不許可対象に関連する非識別化イベントを判定するステップを備えると良い。そのように、その方法は、非識別化イベントを、不許可対象IDに割り当て、この新規に割り当てられたイベントを不許可対象に関連する不許可対象IDを有するイベントのリストに追加するステップをさらに備えると良い。
一実施形態によれば、ステップ204で、その方法は、不許可対象に関連するイベントのリストの少なくとも1つのイベントに、イベントがどのくらい類似しているかの可能性よりも高い、許可対象に関連するイベントのリストの少なくとも1つのイベントにそのイベントがどのくらい類似しているかの可能性を判定することに応じて、許可対象に関連する非識別化イベントを判定するステップを備えると良い。そのように、その方法は、非識別化イベントを、許可対象IDに割り当て、この新規に割り当てられたイベントを許可対象に関連する許可対象IDを有するイベントのリストに追加するステップをさらに備えると良い。
一実施形態によれば、ステップ204で、その方法は、許可対象に関連するイベントのリストの各イベントの不許可対象を識別するデータを含むために、許可対象を識別するデータを更新するステップをさらに備えると良い。許可対象を識別する更新データは、後続期間の入力に基づいて識別された後続イベントのマッチングスコアを算出し、後続イベントが不許可対象に関連するか否かを判定するために用いられると良い。
図3は、実施形態にかかる、イベントが不許可対象に関連するか否かを判定するためのシステム300を説明するブロック図を示す。一例において、入力の管理は、少なくとも画像撮影装置302により実行される。システム300は、装置304と通信する画像撮影装置302を備える。実施において、装置304は、少なくとも1つのプロセッサ306とコンピュータプログラムコードを含む少なくとも1つのメモリ308を備える物理デバイスとして一般的に記述される。少なくとも1つのメモリ308及びコンピュータプログラムコードは、少なくとも1つのプロセッサ306を用いて、物理デバイスに図2に記述される動作を実行させる。プロセッサ306は、画像撮影装置302から画像を受信し、又は、データベース310から画像を検索する。
画像撮影装置は、例えば、閉回路テレビ(closed-circuit television (CCTV))、ウェブカメラ、監視カメラ、又は、他の類似デバイスのようなデバイスであり、対象を識別し、対象を識別するデータを取得するシステムにより使用される特徴情報及び時間情報の様々な情報を提供する。実施において、対象を識別し、対象を識別するデータを取得する画像撮影装置302から導出される特徴情報は、例えば、身長、体の大きさ、髪の色、肌の色、顔情報、衣服、持ち物、他の類似の特徴、もしくは、組合せのような物理的特徴情報、又は、例えば、体の動き、手足の位置、移動方向、移動速度、対象の歩き方、立ち方、動き方、話し方、他の類似の特徴、もしくは、組合せのような行動特徴、又は、他の属性もしくは特徴情報を含むと良い。例えば、顔情報は、対象を識別するために用いられ、対象に関連付けられた他の特徴情報は、対象を識別するデータとして取得され、集約され、装置304のメモリ308又は装置304によりアクセス可能なデータベース310に格納される。実施において、画像撮影装置及び/又はセンサ302から導出される時間情報は、各画像又はデータが識別されるタイムスタンプを含むとよい。画像及びデータのタイムスタンプは、対象の出現を示すイベントを識別し、イベントが時間情報に基づき検索され、読み出されるように、対象の特徴情報を対象を識別するデータとして集約するために、装置304のメモリ308又は装置304によりアクセス可能なデータベース310に格納されるとよい。データベース310は、装置304の一部で良いことを理解されるべきである。
装置304は、画像撮影装置302及びデータベース310と通信できる。一例において、装置304は、入力としての画像を、画像撮影装置から受信し、又は、データベース310から読み出し、装置304のプロセッサ306による処理の後、不許可対象の出現及び不許可対象を識別するデータを識別し、例えば、イベントが不許可対象に関連するか否かを判定するために用いられる不許可対象を識別するデータを含むイベントのような出力を生成するとよい。特定の期間中に、画像撮影装置302から撮影された1以上の画像又はデータベース310の入力に基づいて、不許可対象の1以上の出現が識別される場合に、1以上のイベントが検出され、不許可対象を識別するそれぞれのデータを含む1以上のイベントのそれぞれが前記入力に基づき取得され、イベントが不許可対象に関連する場合に判定される。
以下の様々な実施形態において、画像撮影装置302から画像を受信し、又は、データベース310から画像を読み出した後、メモリ308及びそれに格納されたコンピュータプログラムコードは、プロセッサ306を用いて、(i)不許可対象に関連するイベントのリストのうち少なくとも1つのイベント、及び、(ii)許可対象に関連するイベントのリストのうち少なくとも1つのうち、少なくとも1つにイベントがどのくらい類似しているかの可能性を、装置304に判定させる。ここで、イベントリストの各イベントは、不許可対象を識別するデータを含み、可能性の判定は画像に基づくイベントの不許可対象を識別するデータに基づくものであり、可能性の判定に応じて、そのイベントが不許可対象に関連すると判定する。
装置304は、入力された画像から取得される不許可対象を識別するデータに基づくイベントリストの各イベントのマッチングスコアを算出し、不許可対象が関連するイベントのリストのイベントが第1のマッチング閾値、すなわち、不許可対象マッチング閾値より低いか否かを判定し、第1のマッチング閾値より低いマッチングスコアは、イベントリストのイベントが不許可対象に関連することを示す。本開示によれば、装置304は、第1のマッチング閾値より低いマッチングスコアを有する不許可対象が関連するイベントのリストの少なくとも1つのイベントを判定し、イベントのリストの少なくとも1つのイベントに不許可対象IDを割り当てることができる。不許可対象に関連する不許可対象IDを有するイベントのリストの各イベントはデータベース310に格納され、不許可対象検出及び対象識別子伝搬処理に対して検索される。
装置304は、許可対象に関連するイベントのリストのイベントが第2のマッチング閾値すなわち許可対象マッチング閾値より高いマッチングスコアを有するか否かを判定し、第2のマッチング閾値は第1のマッチング閾値より高く、第2のマッチング閾値より高いマッチングスコアは、許可対象に関連するイベントのリストのイベントを示す。本開示によれば、装置304は、第2のマッチング閾値より高いマッチングスコアを有する許可対象が関連するイベントのリストの少なくとも1つのイベントを判定し、イベントのリストの少なくとも1つのイベントに許可対象に対応する許可対象IDを割り当てることができる。許可対象に関連する許可対象IDを有するイベントのリストの各イベントはデータベース310に格納され、不許可対象検出及び対象識別子伝搬処理に対して検索される。
装置304は、不許可対象を識別するデータに基づくイベントのマッチングスコアを算出し、イベントのマッチングスコアが第1のマッチング閾値より高く、第2のマッチング閾値より低いことを判定するとよい。様々な実施形態において、このようなイベントは、データベース310から非識別化イベントとして検索され、装置304のプロセッサ306により処理され、非識別化イベントが不許可対象に関連するか否かを判定する。特に、装置304は、許可対象に関連するイベントのリストの少なくとも1つのイベントに、非識別化イベントがどのくらい類似しているかの可能性よりも高い、不許可対象に関連するイベントのリストの少なくとも1つのイベントに非識別化イベントがどのくらい類似しているかの可能性を判定することに応じて、不許可対象に関連する非識別化イベントを判定し、非識別化イベントを不許可対象IDに割り当て、この新規に割り当てられたイベントを不許可対象に関連するイベントのリストに追加する。
別の実施形態において、装置304は、不許可対象に関連するイベントのリストの少なくとも1つのイベントに、非識別化イベントがどのくらい類似しているかの可能性よりも高い、許可対象に関連するイベントのリストの少なくとも1つのイベントに非識別化イベントがどのくらい類似しているかの可能性を判定することに応じて、許可対象に関連する非識別化イベントを判定し、非識別化イベントを不許可対象IDに割り当て、この新規に割り当てられたイベントを許可対象に関連するイベントのリストに追加する。
装置304は、データベース310内の許可対象を識別するデータを、許可対象に関連するイベントのリストの各イベントの不許可対象を識別するデータを用いて更新する。装置304は、許可対象を識別するこのような更新データを検索し、後続期間の入力に基づいて識別された後続イベントのマッチングスコアを算出し、後続イベントが不許可対象に関連するか否かを判定する。
図4は、より詳細に図3のシステム300を示す。本実施形態において、装置304は、対象検出モジュール426、オンライン同一対象クラスタリングモジュール428、出現対象リポジトリ430、出現対象検索モジュール432、対象識別子割当モジュール434、対象識別子リポジトリ436、対象識別子伝搬モジュール438、及び、不許可対象検索モジュール440を備える。装置304の対象検出モジュール426は、不許可対象の出現を識別するための画像を受信し、特定の期間中の画像入力443に基づいて、不許可対象を識別するデータを含むイベントを検出する。オンライン同一対象クラスタリングモジュール428は、対象検出モジュール426からイベントを受信し、類似の出現、又は、入力に基づき検出され、かつ、対象識別子(対象ID)を類似の出現に割り当てられた不許可対象を識別するデータを有するイベントについて検索する。各出現は、対象IDに割り当てられ、出現対象リポジトリ430に格納され得る。オンライン同一対象クラスタリング処理についてより多くの情報は、図10で議論される。出現対象リポジトリ430の実装例は表1に示される。出現対象リポジトリ430は、図3に示されるような装置304内のメモリ308又はデータベース310の一部として実装され得ることが理解されるだろう。出現対象検索モジュール432は、例えば対象識別子伝搬のような追加の分析のために、出現対象リポジトリ430から対象IDが割り当てられた特定の期間のイベントを検索(取得)する。一実施形態では、検索要求444は、追加の分析のための特定の期間のイベントを検索するために、出現対象検索モジュール432に用いられる。別の実施形態では、検索要求により生成された出願へのシグナリングは、イベントの検索が追加の分析のための特定時間又は全ての特定期間の後に、実行されるようにスケジュールされ得る。
対象識別子割当モジュール434は、対象検出モジュール426からイベントを受信し、出現又は画像入力443から取得された不許可対象を識別するデータに基づいて、イベントが許可対象に関連するか否かを判定する。イベントが許可対象に関連すると判定したことに応じて、対象識別子割当モジュール434は、イベントを許可対象に対応する許可対象IDに割り当てる。一実施形態では、対象識別子割当モジュール434は、画像入力443から取得された不許可対象を識別するデータを、データベース310から検索された許可対象を識別するデータに照合することにより、マッチングスコアを算出し、第2のマッチング閾値すなわち許可対象マッチング閾値を超えるマッチングスコアに基づき許可対象に関連するイベントを判定し、許可対象IDを対応する許可対象に割り当てる。別の実施形態では、データベース310に許可対象リストが存在するところにおいて、対象識別子割当モジュール434は、不許可対象を識別するデータを、データベース310内の許可対象リストのそれぞれを識別するデータと比較することにより、対応する複数のマッチングスコアを算出し、1以上のマッチングスコアが第2のマッチング閾値を超える場合、対象識別子割当モジュール434は、複数のマッチングスコアのうち最高のマッチングスコアを提供する許可対象を選択し、許可対象IDを、イベントが最高のマッチングスコアの許可対象に関連するような対応する許可対象に割り当てる。対象識別子リポジトリ436の実装例は表2に示される。対象識別子リポジトリ436は、図3に示されるような装置304内のメモリ308又はデータベース310の一部として実装され得ることが理解されるだろう。
本開示によれば、対象識別子割当モジュール434は、出現又は画像入力443から取得された不許可対象を識別するデータに基づいて、イベントが不許可対象に関連するか否かを判定する。イベントが不許可対象に関連すると判定したことに応じて、対象識別子割当モジュール434は、イベントを許可対象に対応する許可対象IDに割り当てる。同様に、対象識別子割当モジュール434は、マッチングスコア、特に、第1のマッチング閾値すなわち不許可対象マッチング閾値を下回るものに基づき、不許可対象に関連するイベントを判定し、ここで、第2のマッチング閾値は、第1のマッチング閾値より高い。一実施形態では、2以上のイベントが第1のマッチング閾値を下回るマッチングスコアを有する場合、2以上のイベントは、同一の不許可対象識別子に割り当てられ、それらは、不許可対象に関連するイベントのリストに集約されるだろう。
対象識別子伝搬モジュール438は、許可対象IDを有するイベントの入力と、対象識別子リポジトリ436及び出現対象検索モジュール432のそれぞれから特定の期間中に検出された対象ID群を有するイベントの入力と、に基づいて、対象識別子伝搬処理を実行する。本開示によれば、対象識別子伝搬モジュール438は、非識別化イベントが識別化イベントにどのくらい類似しているかの可能性を判定することにより、対象ID群の各非識別化イベントを、許可対象ID又は不許可対象IDに割り当てる。不許可対象検索モジュール440は、不許可対象IDを有する不許可対象に関連するイベントと非識別化イベントを検索し、もしあれば、不許可対象の検出を示すアラート442を生成する。対象識別子伝搬モジュール438及び不許可対象検索モジュール440の実装例は、表3及び4のそれぞれに描かれる。
システム300の一実装例において、表1から4によれば、2つの画像撮影装置すなわちカメラ1及び2の画像入力443から顔情報を通して取得される対象の出現に基づいて、対象検出モジュール426によりイベントが検出される。8つの対象出現に対応する8つのイベントは、データID(顔ID)1から8のそれぞれとして示される。出現の類似性に基づいて、8つのイベントは、オンライン同一対象クラスタリングモジュール428により検出された2つの異なる対象に対応する2つの対象識別子(対象ID1及び2)に割り当てられ、出現対象リポジトリ430に格納される。表1は、出現対象リポジトリの実装例である。
Figure 0007380889000001
一方、各イベントは、対象を識別するデータに基づきイベントが許可対象に関連するか否かを判定する対象識別子割当モジュール434により処理される。この例では、対象ID2の下のデータID2及び6のイベントは、許可対象Yamazakiに関連することが判定され、それ故、許可対象に対応する許可対象IDに割り当てられる。イベントは、表2に示されるように、許可対象IDの情報を用いて対象識別子リポジトリ436に格納される。一実施形態では、許可対象に関連するイベントの判定は、画像入力443から取得される対象を識別するデータを、データベース310内で許可対象を識別するデータ、例えばYamazakiに照合することにより、イベントのマッチングスコアに基づいている。ここで、マッチングスコアは許可対象マッチング閾値を超えるものである。この例では、対象ID2つまりデータID5及び7の下の他の2つのイベントは、許可対象マッチング閾値を超えないマッチングスコアを有し、従って、データID5及び7のイベントは、Yamazakiの許可対象IDに割り当てられず、イベントは、対象識別子割当モジュール434の処理において非識別のままである。同様に、許可対象又は許可対象マッチング閾値を超えるマッチングスコアのいずれかを識別するデータと一致するデータを含む対象ID1の下のイベントはない。結果として、対象ID1の下のイベントは、許可対象IDに割り当てられず、対象識別子割当モジュール434の処理において非識別のままである。表2は、対象識別子リポジトリの実装例である。
Figure 0007380889000002
さらに、又は、代わりに、各イベントは、不許可対象マッチング閾値を下回るマッチングスコアに基づき、不許可対象に関連すると判定できる。この例では、対象ID2の下のデータID7のイベントは、不許可対象マッチング閾値を下回るマッチングスコアを有し、従って、データID7のイベントは不許可対象IDに割り当てられる。そのイベントは、(表2に示されない)不許可対象IDを用いて対象識別子リポジトリ436に格納されてもよい。
検索要求444によりトリガーされると、出現対象検索モジュール432は、対象IDの下のイベント、例えば対象IDの下のデータID2,5,6及び7のイベントを検索し、対象識別子伝搬モジュール438へ送信する。そして、対象識別子伝搬モジュール438は、許可対象IDを有するイベント、例えば許可対象Yamazakiに関連するデータID2及び6のイベント、及び/又は、不許可対象IDを有するイベント、例えばデータID7のイベントに、非識別化イベント、例えばデータID5のイベントがどのくらい類似しているかの可能性を判定することにより、出現対象検索モジュール432から検索されたイベントと、対象識別子リポジトリ436から取得された許可/不許可対象ID情報とに基づいて、対象識別子伝搬処理を実行する。この例では、不許可対象IDを有するイベントに非識別化イベントがどのくらい類似しているかの可能性よりも高い、許可対象IDを有するイベントに非識別化イベントがどのくらい類似しているかの可能性が判定され、結果としてデータID5のイベントが許可対象に関連すると判定され、表3に説明されるように許可対象IDが割り当てられる。一実施形態では、可能性の判定は、そのマッチングスコア、特に、非識別化イベントから識別化イベントの間のマッチングスコアがどれくらい近いかに基づくものである。この例では、データID5のイベントは、データID7のイベントよりもデータID2又は6のイベントの方が近いマッチングスコアを有し、それ故、データID2又は6のイベントの許可対象IDは、データID5のイベントに割り当てられる。様々な実施形態によれば、許可対象IDを有するイベントは、許可対象に関連するイベントのリストを形成するために集約されるだろう。同じく、不許可対象IDを有するイベントは、不許可対象に関連するイベントのリストを形成するために集約されるだろう。この例では、データID5が許可対象に関連すると判定され、許可対象IDに割り当てられた後、データID5のイベントは、データID2,5及び6を含む許可対象に関連するイベントのリストに追加されるだろう。表3は、対象識別子伝搬モジュールの実装例である。
Figure 0007380889000003
本開示によれば、対象識別子伝搬モジュール438が動作し、対象識別子伝搬処理を開始するために、システムは、許可対象IDに割り当てられていた少なくとも1つのイベントと不許可対象IDに割り当てられていた少なくとも1つのイベントとを持つために、対象IDの下で検索されるイベントを要求する。この点について、対象識別子割当モジュール434の処理において許可対象IDに割り当てられる対象ID1の下のイベントがないため、対象識別子伝搬モジュール438は、対象ID1の下のイベントにおける対象識別子伝搬処理を実行することができない。結果として、対象ID1の下でデータID1,3,4及び8のイベントは、対象識別子伝搬モジュール438の処理において非識別のままである。
対象識別子伝搬処理の後、非識別化イベント、及び、不許可対象IDを有するイベント、つまりデータID1,3,4,7及び8のイベントは、表4に示されるように、不許可対象検索モジュール440により検索される。非識別化イベント又は不許可対象IDを有するイベントのそれぞれは、不許可対象の検出を示すためにアラート442を生成できる。表4は、不許可対象検索モジュールの実装例である。
Figure 0007380889000004
図5は、実施形態にかかる、非識別された対象検索の処理を説明するフローチャート500を示す。不許可対象IDを有するイベントの検索の前に、ステップ502で、特定の期間中に全ての対象出現及び対象IDに対応する全てのイベントが検索される。ステップ504で、全てのイベントがチェックされたか否かが判定される。一実施形態では、イベントが対象IDに割り当てられていた場合、又は、例えばオンライン同一対象クラスタリングモジュール428により、イベントのマッチングスコアが第1のマッチング閾値及び/又は第2のマッチング閾値より高いか又は低いかが判定されていた場合、そのイベントがチェック済みとして判定され、出現対象リポジトリ430に格納される。全てのイベントがチェックされてはいない場合、ステップ506が実行される。ステップ506で、チェックされていないイベントが取り上げられ、オンライン同一対象クラスタリングモジュール428により処理される。ステップ508で、イベントが許可対象に関連するか否か、つまりそのマッチングが第2のマッチング閾値より高いか否かが判定される。イベントが許可対象に関連する場合、ステップ510が実行される。ステップ510で、そのイベントが許可対象に対応する許可対象IDに割り当てられる。そして、その処理は、対象識別子伝搬を、その対象つまり同一の対象IDの下に属する全てのイベントに適用することをさらに備える。一実施形態では、その対象に属する全てのイベントに対象識別子伝搬を適用する前に、その処理は、不許可対象に関連するこの対象に属する全てのイベントのうち少なくとも1つを判定すること、つまり第1のマッチング閾値より低いそのマッチングスコアを判定すること、及び、不許可対象IDを有するイベントに割り当てることを備えても良い。対象識別子伝搬処理では、対象に属する全てのイベントが許可対象ID又は不許可対象IDに割り当てられるだろう。対象識別子伝搬処理及び方法における多くの情報は、以下の図6、7及び8で議論される。
ステップ508に戻り、イベントが許可対象に関連しない場合、処理はステップ504へ向けられる。一実施形態では、対象識別子伝搬処理の結果として、許可対象IDを有するイベントは、許可対象に関連するイベントのリストに集約され、一方、不許可対象IDを有するイベントは、不許可対象に関連するイベントのリストに集約されるだろう。ステップ504に戻り、全ての対象IDを有する全てのイベントがチェックされていた場合、不許可対象IDを有するすべてのイベントを検索するために、非識別化対象検索処理がステップ512で実行される。続いて、不許可対象に関連する不許可対象IDの下で割り当てられた全てのイベントのリストについて、ステップ514でアラートが不許可対象の検出を示すために生成され、処理が終了する。
図6は、実施形態にかかる、対象識別子伝搬処理を説明するフローチャート600を示す。対象識別子伝搬を実行する前に、ステップ602で、対象を識別するデータ、つまり対象ID1を含む全てのイベントが検索される。ステップ604で、1以上のイベントが第1のマッチング閾値、つまり不許可対象マッチング閾値より低いマッチングスコアを有する場合、不許可対象IDが1以上のイベントに割り当てられる。ステップ606で、対象識別子伝搬アルゴリズムは、不許可対象ID又は許可対象IDを全非識別化イベントに割り当てるために実行される。非識別化イベントがノイズと判定された場合、イベントは、不許可対象ID又は許可対象IDに割り当てられず、非識別のままである。
図7は、対象識別子伝搬処理のフローチャート600を説明する図を示す。具体的には、図7(a)は、対象の出現に基づき特定の期間中に識別された、対象を識別するデータ、例えば対象ID1を含む合計12イベントを含むグラフを示す。グラフの軸は、マッチングスコアに関連し、対象を識別する類似するデータを有するイベントは、グラフ内で互いに近くにプロットされ、一方、対象を識別する非類似データ又は異なるマッチングスコアを有するイベントは、グラフ内で互いにさらに離れてプロットされ得る。一実施形態では、12イベントのうち、あるイベントが、例えば、それは第2のマッチング閾値より高いマッチングスコアを有し、対象を識別するデータと許可対象を識別するデータのマッチングの結果として、許可対象に関連すると判定される。イベント612のようなイベントは、図7(a)に示されるように許可対象IDに割り当てられる。一実施形態では、許可対象IDを有するイベント612は、グラフの中心点として用いられ、対象を識別し、イベント612のデータに類似するデータを含むイベントは、イベント612のより近くにプロットされ、一方、対象を識別する非類似のデータを含むイベントは、イベント612からさらに遠く、かつ、グラフの端のより近くにプロットされる。
図7(b)は、第1のマッチング閾値より低いマッチングスコアを有するイベントへ、不許可対象IDを割り当てるステップを説明する。本実施形態において、円614は、第1のマッチング閾値を示すために用いられ、円614の外にあるイベントは、第1のマッチング閾値(円614)より低いマッチングスコア、例えばイベント616及び618を有するとして特徴づけられる。結果として、イベント616及び618は、不許可対象IDに割り当てられる。
図7(c)は、対象識別子伝搬処理を説明する。対象識別子伝搬処理の間、例えばイベント612,616及び618のような各識別化イベントについて、近隣イベント検索が対象を識別する類似データを含む近隣イベントに対して検索するために行われる。近隣イベントが非識別化イベントである場合、非識別化イベントは、識別化イベントのIDに割り当てられ、結果として、IDが近隣イベントに伝搬される。特に、対象を識別するデータにおける類似性により、識別化イベントに隣接又は近接しているイベントは、識別化イベントに関連すると判定されるより大きな可能性を有し、対象識別子伝搬処理における識別化イベントのIDに割り当てられる。対象識別子伝搬処理は、対象IDの下の全てのイベントが許可対象ID又は不許可対象IDのいずれかに割り当てられるまで繰り返す。非識別化イベントがノイズと判定された場合、例えばイベントが識別化イベントの近隣イベント検索により到達されなかった場合(本開示には示されていない)、イベントは非識別のままである。
本実施形態において、対象識別子伝搬処理は、識別化イベント612、616及び618を用いて開始される。対象識別子伝搬処理の第1ラウンドでは、例えばイベント621のようなイベント612に隣接するイベントは、イベント612の近隣イベント検索により到達され、許可対象IDに割り当てられ、同様に、イベント622及び623は、イベント616及び618のそれぞれの近隣イベント検索により到達され、不許可対象IDに割り当てられる。そして、同一の割り当てられたIDを有するイベントは、イベントのリスト、例えば、イベント612及び621を含む許可対象に関連するイベントのリスト、イベント616、618、622及び623を備える不許可対象に関連するイベントのリストを形成するために集約される。続いて、対象識別子伝搬は、識別化イベント612、616、618、621、622、623を用いて継続する。
対象識別子伝搬処理の第2ラウンドでは、例えばイベント624、625及び626のような識別化イベント612、621、622に隣接するイベントは、検索により到達され、それぞれのIDに割り当てられ、識別化イベントを含むイベントのリストへ集約される。特に、イベント624及び625は、それぞれ、イベント621及び612に基づき許可対象IDに割り当てられ、許可対象に関連するイベントのリストへ追加される。一方、イベント626は、イベント621に基づき不許可対象IDに割り当てられ、不許可対象に関連するイベントのリストへ追加される。本実施形態において、イベント618及び623の近隣イベント検索において非識別化イベントが存在せず、そのため、対象識別子伝搬処理は、イベント618及び623に対してさらには実行されない。同様に、対象識別子伝搬の第3ラウンドでは、イベント627、628は、識別化イベント625に基づき許可対象に関連すると判定され、許可対象IDに割り当てられ、一方、イベント629は、識別化イベント626に基づき不許可対象に関連すると判定され、不許可対象IDに割り当てられる。一実施形態では、そのような対象識別子伝搬処理は、方程式2を繰り返し実行することにより到達され、これについては以下でさらに説明される。
対象IDの下の全てのイベントが許可又は不許可対象IDに割り当てられた場合に、対象識別子伝搬処理は、終了できる。対象識別子伝搬処理の最後において、イベント612、621、622、625、628及び629を含む許可対象に関連するイベントのリスト、並びに、イベント616、618、622、623、626及び629を含む不許可対象に関連するイベントのリストが生じる。様々な実施形態において、不許可対象に関連するイベントのリストは、不許可対象の検出を示すアラートを生成するために用いられる。
有利なことに、本開示は、許可対象(イベント612を除く全てのイベント)に一致しないイベント群を管理し、生成されるはずのないアラートが削減されるような対象識別子伝搬処理を用いて、イベント群を処理する。従来、あるイベントが、例えばイベント621、624、625、627及び628のような許可対象に関連しないと判定されると、そのイベントは、アラートを生成するために用いられる。対照的に、本開示によれば、例えばイベント621、624、625、627及び628のようなイベントが対象識別子伝搬処理を通じて許可対象に関連するか否かを判定することにより管理され、結果として、アラートが生成されない。
一実施形態では、ノイズのあるアプリケーションの密度ベースの空間クラスタリング(density-based spatial clustering of applications with noise (DBSCAN))は、図7(c)に記載される対象識別子伝搬を達成するためのアルゴリズムとして用いられるとよい。具体的には、近隣イベント検索の半径すなわちε(eps)及び検索エリア内の最小のイベントすなわちminPtsを設定することにより、アルゴリズムは、近隣イベント検索の半径に対してインデクス化されたデータベースを構築し、検索エリア内で近隣イベントを発見及び識別化イベントを識別し、全ての非識別化イベントを無視して識別化イベントの接続されたコンポーネントを発見し、クラスターが近隣イベントを含む場合、各非識別化イベントに近くのクラスター、例えば識別化イベントを割り当て、さもなければ、非識別化イベントをノイズに割り当てる。図8は、例の対象識別子伝搬処理630を説明する図を示す。最初はステップ631で、複数のイベントは、例えば、オンライン同一対象クラスタリングモジュールにより、同一の対象識別子(対象ID)を用いて、特定の期間中に入力された画像に基づき識別される。複数のイベントのそれぞれは、許可対象リストの各対象を識別するデータに対して照合するために用いられる。本実施形態において、イベント638は、許可対象のリストの許可対象636に関連すると判定され、許可対象IDに割り当てられる。円640は、第2のマッチング閾値、すなわち許可対象マッチング閾値を示すために用いられ、円640内に落ちる各イベントが許可対象マッチング閾値(円640)より高いマッチングスコアを有するとして判定され、同様に許可対象IDを割り当てられる。円内の全てのイベントが許可対象636に関連するイベントのリストを形成するために集約される。他方、第1のマッチング閾値を下回るマッチングスコアに基づき、イベント642及び644は、不許可対象に関連すると判定され、不許可対象IDに割り当てられる。
対象識別子伝搬は、ステップ632で説明され、識別化イベントに隣接するイベントが識別化イベントに関連すると判定される大きな可能性を有し、対象を識別するデータの類似性により、対象識別子伝搬処理において、識別化イベントのIDに割り当てられる。特に、イベント648は、許可対象636に関連すると判定され、したがって、それらは、許可対象IDに割り当てられ、許可対象636に関連するイベントのリストに追加される。同様に、対象識別子伝搬処理は、不許可対象を識別するデータの近接性により、不許可対象に関連するイベント652及び654を判定し、イベント652及び654を不許可対象IDに割り当て、イベント652及び654を不許可対象に関連するイベントのリストへ追加する。ステップ633で、不許可対象に関連するイベントのリストは、不許可対象の検出を示すアラートを生成するために用いられる。
様々な実施形態は、イベントが不許可対象に関連するか否かを判定するために、許可又は既知の不許可対象のリストに各対象を識別するデータが格納されるために用いられるデータベースの一部又は対象識別子リポジトリを有するシステムを提供する。図9は、画像撮影装置702の入力に基づいて、イベントが不許可対象に関連するか否かを判定するシステム700の例を示す。画像撮影装置702に基づいて識別された対象出現のイベントが許可対象に関連すると判定された後に、データベース又は対象識別子リポジトリ436は、各対象を識別するデータ、例えば既知の対象ID1から4を格納するために用いられる。特に、対象704、706の出現は、画像撮影装置702により識別され、対象704a、706aを識別するデータを含むイベントは、それぞれ、許可対象、つまり、データベース又は対象識別子リポジトリ436内の既知の対象ID1及び2に関連すると判定される。そして、後続の対象検出及び対象識別子伝搬処理に対して、許可対象を識別するデータを更新するために、対象704a、706aを識別するデータは、それぞれ、既知の対象ID1及び2、例えば436a及び436bに向けられたデータベースの一部又は対象識別子リポジトリに格納される。
一実施形態では、システム700は、対象検出及び対象識別子伝搬処理に対して、データベース又は対象識別子リポジトリ436に格納された既知の対象のリストに、既知の不許可対象(例えば既知の対象ID100000)を含むために実装されるとよい。既知の不許可対象は、捜査官720により識別される対象であり、防犯と捜査のためにメモリに格納されてもよい。本実施形態において、対象708は、画像撮影装置702により識別され、対象708aを識別するデータを含むイベントは、データベース又は対象識別子リポジトリ436に既知の対象ID100000の既知の許可対象に関連すると判定できる。また、対象708aを識別するデータを含むイベントは、システムにより検索され、対象識別子伝搬処理に用いられ、既知の不許可対象に関連する既知の不許可対象識別子を備えるイベント708bのリストは、既知の不許可対象の検出を捜査官720へ通知するアラートを生成するために判定され、用いられる。同様に、後続の対象検出及び対象識別子伝搬処理に対して、既知の不許可対象を識別するデータを更新するために、対象708aを識別するデータは、既知の対象ID100000、例えば436cに向けられたデータベースの一部又は対象識別子リポジトリに格納される。
図10は、実施形態にかかるオンライン同一対象クラスタリング処理を説明するフローチャートを示す。その処理は、対象の出現が入力に基づき検出される、ステップ802で開始する。イベントは、検出される対象の出現ごとに識別される。ステップ804で、処理は、例えば類似の検出された対象の出現又は対象を識別するデータに基づいて、類似スコアの下限よりも高い類似スコアを有する、類似イベントの検索を受ける。そして、ステップ806で、類似イベント数が類似イベント数の下限より高いか否かが判定される。類似イベント数が類似イベント数の下限より高くない場合、ステップ816が実行される。ステップ816で、類似イベントに関連する新しい対象情報、例えば対象識別子(対象ID)が出現対象リポジトリに生成される。ステップ806に戻り、類似イベント数が類似イベント数の下限より高い場合、ステップ808が実行される。ステップ808で、全ての類似イベントが同一の対象IDに割り当てられたか否かが判定される。全ての類似イベントが同一の対象IDに割り当てられた場合、ステップ810は同一の対象IDを有するイベントを出現対象リポジトリへ入力するために実行される。全ての類似イベントが同一の対象IDに割り当てはいない場合、ステップ814で、オンライン同一対象クラスタリング処理は、類似イベントが同一の対象IDに割り当てられるように既存の対象情報をマージする。例えば、類似イベントの1つが3の対象IDを有し、類似イベントの残りが1の対象IDを有する場合、類似イベントは、対象ID1又は新しい対象ID4に割り当てられる。このことは、全ての類似イベントが図6に示されるように後続の対象識別子伝搬処理に対して、まとめて検索されることを保証する。続いて、ステップ810で、対象情報は、出現対象リポジトリに追加される。ステップ812で、表1に示されるように、例えば位置及び時刻のような類似イベントに関連するデータが入力され、出現対象リポジトリに格納される。
別の実施形態では、対象識別子伝搬アルゴリズムは、制約付き最適化問題として以下の方程式に定式化される。
Figure 0007380889000005
‐‐‐方程式(1)
ここで、yiは学習データとして与えられた識別子スコア(1又は-1)であり、zi(0< i < N, Nは図6のステップ602で検索されたイベントの総数)は、このアルゴリズムにより判定されたソフト識別子スコアであり、Rijはイベントデータiとイベントデータjの間の類似スコアであり、λはラグランジュ乗数項であり、Lは図6のステップ604で判定された識別化イベントの総数である。「yi = 1」は「イベントデータiが許可対象」を表し、「yi = -1」は「イベントデータiが不許可対象」を表す。制約付き最適化問題はλ及びziに関する方程式1の偏微分を取ること、すなわち
Figure 0007380889000006
及び
Figure 0007380889000007
により方程式2を形成し、ziが収束するまで繰り返して(反復して)実行することにより解決され、最小化されると予想される目的関数を定義する。
Figure 0007380889000008
‐‐‐方程式(2)
Figure 0007380889000009
‐‐‐方程式(3)
「zi = yi」は識別化イベントの制約である。
各反復は、O(N2)の計算の複雑さを取り、Nは入力を表すために必要とされるビット単位の入力サイズである。Nを削減することにより、各反復を実行する時間の長さは、大幅に削減され得る。本開示によれば、オンライン同一対象クラスタリングは、Nひいては対象識別子伝搬アルゴリズムを実行する時間の長さを有利に削減できる。
図11は、実施形態にかかる対象識別子リポジトリの更新処理を説明するフローチャート900を示す。本実施形態において、顔情報は、許可対象のリスト内でイベントが任意の許可対象に関連するか否かを判定するために、入力画像から対象又は不許可対象を識別し、許可対象のリストと比較するデータとして使用される。ステップ902で、イベントは、入力から検出された対象903の顔に基づき識別される。ステップ904で、許可対象のリスト905上で類似する対象に対する検索が実行される。類似する対象に対する検索は、イベントの顔情報を許可対象のリスト905の各対象の顔情報と比較し、顔情報が互いにどのくらい一致するかの程度を示すマッチングスコアを算出することにより実行される。類似する対象は、マッチングスコアが第2のマッチング閾値、すなわち許可対象マッチング閾値より高い場合に検出される。ステップ906で、許可対象のリスト905内に任意の類似する対象が存在するか否かが判定される。類似する対象が存在する場合、対象903を識別する顔情報を含むイベントは、類似する(許可)対象に対応する許可対象IDに割り当てられる。続いて、図9で説明されたように、後続の対象検出及び対象識別子伝搬処理に対して、類似する対象905aの顔情報を更新するために、許可対象IDを有するイベントに含まれる顔情報は、対象識別子リポジトリに格納される。一実施形態では、許可対象のリスト内の1以上の類似する対象が識別されるところにおいて、処理は、全ての識別化された類似する対象の中で、最高のマッチングスコアを提供し、対象を識別する顔情報を含むイベントは、最高のマッチングスコアの類似する(許可)対象に対応する許可対象IDに割り当てられる。ステップ906に戻り、許可対象のリストに類似する対象が存在しない場合、処理は終了する。
図12は、別の実施形態にかかる対象識別子リポジトリの更新処理を説明するフローチャート910を示す。本実施形態において、対象913は、許可された衣服915に基づき許可対象に関連すると判定され、それ故、身体情報は、検出されたものが許可された衣服を含むか否かを判定するために画像入力から対象又は不許可対象を識別するデータとして使用される。ステップ912で、対象出現のイベントは、入力から対象の検出された身体に基づいて識別される。ステップ914で、マッチングスコアは、イベントの身体情報を許可された衣服と比較することにより、算出される。ステップ916で、マッチングスコアがマッチング閾値、例えば許可対象マッチング閾値より高いか否かが判定される。マッチングスコアがマッチング閾値より高い場合、ステップ918が実行される。ステップ918で、イベントは許可された衣服の識別子が割り当てられる。続いて、図9で説明されたように、後続の対象検出及び対象識別子伝搬処理に対して、許可された衣服又は許可対象の身体情報を更新するために、許可された衣服の識別子を有するイベントに含まれる身体情報は、対象識別子リポジトリに格納される。例えば衣服、持ち物のような他の身体情報、又は、例えば体の動きのような対象の行動特徴のいずれかは、本実施形態においてさらに、又は、代わりに、対象を識別する、または、イベントが許可対象に関連するか否かを判定するデータとして、追加されるとよい。
図13は、例示的なコンピュータ装置1000を示し、以下、コンピュータシステム1000又は装置1000として交換可能に呼ばれ、1以上のこのようなコンピュータ装置1000は、図4に示されるようなシステム300を実装するために用いられる。コンピュータ装置1000の次の説明は、例としてのみ提供され、限定することを意図するものではない。
図13に示されるように、例示的なコンピュータ装置1000は、ソフトウェアルーチンを実行するためのプロセッサ1004を含む。明確のために単一のプロセッサが示されるが、コンピュータ装置1000は、マルチプロセッサシステムをも含む。プロセッサ1004は、コンピュータ装置1000の他のコンポーネントとの通信用に通信インフラ1006に接続される。通信インフラ1006は、例えば、通信バス、クロスバ、又は、ネットワークを含むとよい。
コンピュータ装置1000は、プライマリメモリ1008、例えばランダムアクセスメモリ(random access memory (RAM))、及び、セカンダリメモリ1010をさらに含む。セカンダリメモリ1010は、例えば、ハードディスクドライブ、ソリッドステートドライブ、又は、ハイブリッドドライブであるストレージドライブ1012、及び/又は、磁気テープドライブ、光ディスクドライブ、ソリッドステートストレージドライブ(例えばUSBフラッシュドライブ、フラッシュメモリ装置、ソリッドステートドライブ、又は、メモリカード)等を含むリムーバブルストレージドライブ1014を含む。リムーバブルストレージドライブ1014は、よく知られた方法で、リムーバブルストレージメディア1018から読み込み、及び/又は、へ書き込む。リムーバブルストレージメディア1018は、リムーバブルストレージドライブ1014により読み込まれ、及び、書き込まれる、磁気テープ、光ディスク、不揮発性メモリ記憶媒体等を含む。関連技術の当業者が理解するように、リムーバブルストレージメディア1018は、コンピュータ実行可能プログラムコード命令、及び/又は、データがそこに可能されていたコンピュータ読取可能記憶媒体を含む。
別の実装では、セカンダリメモリ1010は、さらに、又は、代わりに、コンピュータプログラム又は他の命令がコンピュータ装置1000へロードされることを可能にするための他の類似の手段を含むと良い。そのような手段は、例えば、リムーバブルストレージユニット1022及びインタフェース1020を含むことができる。リムーバブルストレージユニット1022及びインタフェース1020の例は、プログラムカートリッジとカートリッジインタフェース(ビデオゲームコンソールデバイスに見られるような)、リムーバブルメモリチップ(EPROM又はPROMのような)及び関連するソケット、取り外し可能なソリッドステートストレージドライブ(USBフラッシュドライブ、フラッシュメモリデバイス、ソリッドステートドライブ又はメモリカード)、並びに、ソフトウェアおよびデータがリムーバブルストレージユニット1022からコンピュータ装置1000へ転送されることを可能にする他のリムーバブルストレージユニット1022及びインタフェース1020を含む。
コンピュータ装置1000は、また、少なくとも1つの通信インタフェース1024を含む。通信インタフェース1024は、通信経路1026を介して、ソフトウェアおよびデータがコンピュータ装置1000と外部装置の間で転送されることを可能にする。本発明の様々な実施形態において、通信インタフェース1024は、データがコンピュータ装置1000と例えば公共データ又は私的データ通信ネットワークのようなデータ通信ネットワークとの間で転送されることを可能にする。通信インタフェース1024は、コンピュータ装置1000が相互接続されたコンピュータネットワークの一部を形成するような、異なるコンピュータ装置1000の間でデータを交換するために用いられると良い。通信インタフェース1024の例は、モデム、ネットワークインタフェース(例えばイーサネットカード)、通信ポート(例えばシリアル、パラレル、プリンタ、GPIB, IEEE 1394, RJ45, USB)、関連する回路を備えたアンテナ等を含む。通信インタフェース1024は、有線又は無線の場合がある。通信インタフェース1024を介して転送されるソフトウェアおよびデータは、通信インタフェース1024により受信されることが可能な電子、電磁気、光またはその他の信号である信号の形式である。これらの信号は、通信インタフェース1024を介して通信インタフェースへ提供される。
図13に示されるように、コンピュータ装置1000は、関連付けられた画面1030への画像のレンダリングのための動作を実行する画面インタフェース1002、及び、関連付けられたスピーカ1034を介してオーディオコンテンツを再生するための動作を実行するオーディオインタフェース1032をさらに備える。
ここで使用されるように、用語「コンピュータプログラム製品」(又は非一時的なコンピュータ可読媒体であるコンピュータ可読媒体)は、リムーバブルストレージメディア1018、リムーバブルストレージユニット1022、ストレージドライブ1012に設置されたハードディスク、又は、通信経路1026(ワイヤレスリンクまたはケーブル)上でソフトウェアを通信インタフェース1024へ運ぶ搬送波を部分的に示すことができる。コンピュータ可読記憶媒体(又はコンピュータ可読媒体)は、実行及び/又は処理するために、記録された命令及び/又はデータを、コンピュータ装置1000へ提供する非一時的、不揮発性の有形の記憶媒体を示す。そのような記憶媒体の例は、磁気テープ、CD-ROM、DVD、Blu-ray(登録商標)ディスク、ハードディスクドライブ、ROM、又は、集積回路、ソリッドステートストレージドライブ(USBフラッシュドライブ、フラッシュメモリデバイス、ソリッドステートドライブ、メモリカードなど)、ハイブリッドドライブ、光磁気ディスク、または、コンピューティング装置1000の内部又は外部に存在する例えばPCMCIAカード等のようなコンピュータ可読カード、を含む。ソフトウェア、アプリケーションプログラム、命令、及び/又は、データをコンピュータ装置1000への提供にも関与する一時的または無形のコンピュータ可読伝送媒体の例は、別のコンピュータ又はネットワークデバイスへのネットワーク接続、及び、電子メール伝送、ウェブサイトに記録された情報等を含むインターネット又はイントラネットと同様に、無線又は赤外線伝送チャネルを含む。
コンピュータプログラム(コンピュータプログラムコードとも呼ばれる)は、プライマリメモリ1008及び/又はセカンダリメモリ1010に格納される。コンピュータプログラムは、また、通信インタフェース1024を介して受信されてもよい。このようなコンピュータプログラムは、実行された場合、コンピュータ装置1000に、本明細書で議論された実施形態の1以上の特徴を実行させる。様々な実施形態において、コンピュータプログラムは、実行された場合、プロセッサ1004に上述した実施形態の特徴を実行させる。それに応じて、このようなコンピュータプログラムは、コンピュータ装置1000のコントローラを示す。
ソフトウェアは、コンピュータプログラム製品に格納され、リムーバブルストレージドライブ1014、ストレージドライブ1012又はインタフェース1020を用いて、コンピュータ装置1000へロードされる。コンピュータプログラム製品は、非一時的なコンピュータ可読媒体であるとよい。あるいは、コンピュータプログラム製品は、通信経路1026上でコンピュータ装置1000へダウンロードされてもよい。ソフトウェアは、プロセッサ1004により実行された場合、コンピュータ装置1000に本明細書に記載の実施形態の機能を実行させる。
図13の実施形態は単なる例として示されると理解されるべきである。それ故、ある実施形態において、コンピュータ装置1000の1以上の特徴は省略される場合がある。また、ある実施形態において、コンピュータ装置1000の1以上の特徴は一緒に組み合わされる場合がある。さらに、ある実施形態において、コンピュータ装置1000の1以上の特徴は1以上の構成部品へ分割される場合がある。例えば、プライマリメモリ1008、及び/又は、セカンダリメモリ1010は、装置304に対してメモリ308として提供し、一方、プロセッサ1004は、装置304のプロセッサ306として提供するとよい。
多数のバリエーション及び/又は修正は、広く説明されているように本発明の精神又は範囲から逸脱することなく特定の実施形態に示されるように本発明が行われることが、当業者によって評価されるであろう。例えば、上記説明は、主に、ビジュアルインタフェース上でアラートを表示したが、サウンドアラートのような別のタイプのアラート表現が本手法を実装する代わりの実施形態に使用され得ることは評価されるであろう。いくつかの修正、例えばアクセスポイントの追加、ログインルーチンの変更等は、考慮され、組み込まれる。それ故、本実施形態は、全ての点で説明的であり、制限されずに考慮されるべきである。
このソフトウェアは、様々な形式の非一時的なコンピュータ可読媒体に格納され、それによってコンピュータへ供給される。非一時的なコンピュータ可読媒体は、様々な形式の実体的な記憶媒体を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体(例えば、フレキシブルディスク、磁気テープ、及び、ハードディスクドライブ)、光磁気記録媒体(例えば、光磁気ディスク)、CD-ROM(Read Only Memory)、CD-R、及び、CD-R/W、及び、半導体メモリ(例えば、マスクROM、PROM(Programmable ROM)、EPROM (Erasable PROM)、フラッシュROM、及び、RAM (Random Access Memory))を含む。さらに、プログラムは、様々な形式の一時的なコンピュータ可読媒体を用いることによりコンピュータに供給され得る。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び、電磁波を含む。一時的なコンピュータ可読媒体は、例えば、電線及び光ファイバー、又は、無線通信経路のような通信経路を介してコンピュータへプログラムを供給するために用いることができる。
前述の実施形態の全てまたは一部は、以下の付記のように説明することができるが、本発明はそれに限定されない。
(付記1)
イベントが不許可対象に関連するか否かを判定する方法であって、前記方法は、
(i)前記不許可対象に関連するイベントのリストのうち少なくとも1つのイベント、及び、(ii)許可対象に関連するイベントのリストのうち少なくとも1つのうち、少なくとも1つに前記イベントがどのくらい類似しているかの可能性を判定し、イベントの前記リストの各イベントは、前記不許可対象を識別するデータを含み、前記可能性の判定は前記不許可対象を識別するデータに基づき、
前記可能性の判定に応じて、前記不許可対象に関連するイベントを判定する。
(付記2)
前記不許可対象を識別するデータに基づくイベントの前記リストの各イベントのマッチングスコアを算出し、前記マッチングスコアは、前記不許可対象を識別するデータと前記許可対象を識別するデータの間の相関の程度を示し、
前記不許可対象が関連するイベントの前記リストのイベントが第1のマッチング閾値より低いマッチングスコアを有するか否かを判定し、前記第1のマッチング閾値は、前記不許可対象に関連するとして判定されるべきイベントにおける最大のマッチングスコアを示し、前記第1のマッチング閾値より低い前記マッチングスコアは、イベントの前記リストのイベントが前記不許可対象に関連することを示す
ことをさらに備える付記1に記載の方法。
(付記3)
前記許可対象に関連するイベントの前記リストのイベントが第2のマッチング閾値より高いマッチングスコアを有するか否かを判定し、前記第2のマッチング閾値は、前記許可対象に関連しているとして判定されるべきイベントにおける最小のマッチングスコアを示し、前記第2のマッチング閾値より高い前記マッチングスコアは、イベントの前記リストのイベントが前記許可対象に関連することを示し、前記第2のマッチング閾値は、前記第1のマッチング閾値よりも高い
ことをさらに備える付記2に記載の方法。
(付記4)
前記不許可対象を識別するデータに基づく前記イベントのマッチングスコアを算出し、
前記イベントのマッチングスコアが前記第1のマッチング閾値より高く、前記第2のマッチング閾値より低いことを判定し、前記第1のマッチング閾値より高く、前記第2のマッチング閾値より低い前記マッチングスコアは、前記不許可対象を識別するデータが前記許可対象を識別するデータと中程度の相関関係があることを示す
ことをさらに備える付記3に記載の方法。
(付記5)
前記不許可対象に関連する前記イベントを判定するステップは、
前記不許可対象に関連するイベントの前記リストの少なくとも1つのイベントに、前記イベントがどのくらい類似しているかの可能性よりも高い、前記許可対象に関連するイベントの前記リストの少なくとも1つのイベントに前記イベントがどのくらい類似しているかの可能性を判定することに応じて、前記許可対象に関連する前記イベントを判定する
ことをさらに備える付記1に記載の方法。
(付記6)
前記許可対象に関連するイベントの前記リストの各イベントの前記不許可対象を識別するデータを含むために、前記許可対象を識別するデータを更新する
ことをさらに備える付記2から5のいずれか1つに記載の方法。
(付記7)
入力を受信し、前記入力は、特定の期間中に少なくとも1つの画像撮影装置により撮影された少なくとも1つの画像であり、前記イベント及び前記不許可対象を識別するデータを含むイベントの前記リストの判定は、前記受信された入力に基づくものである
ことをさらに備える付記1から6のいずれか1つに記載の方法。
(付記8)
イベントが不許可対象に関連するか否かを判定する装置であって、前記装置は、
プロセッサと通信するメモリを備え、前記メモリはその中に記録されたコンピュータプログラムを格納し、前記コンピュータプログラムは、前記装置を少なくとも
前記不許可対象に関連するイベントのリストのうち少なくとも1つのイベントに前記イベントがどのくらい類似しているかの可能性を判定し、イベントの前記リストの各イベントは、前記不許可対象を識別するデータを含み、前記可能性の判定は前記不許可対象を識別するデータに基づき、
前記可能性の判定に応じて、前記不許可対象に関連するイベントを判定する
ように前記プロセッサにより実行可能である。
(付記9)
前記コンピュータプログラムは、前記装置をさらに、
(i)前記不許可対象に関連するイベントのリストのうち少なくとも1つのイベント、及び、(ii)許可対象に関連するイベントのリストのうち少なくとも1つのうち、少なくとも1つに前記イベントがどのくらい類似しているかの可能性を判定し、イベントの前記リストの各イベントは、前記不許可対象を識別するデータを含み、前記可能性の判定は前記不許可対象を識別するデータに基づく、
ように前記プロセッサにより実行可能である
付記8に記載の装置。
(付記10)
前記コンピュータプログラムは、前記装置をさらに、
前記許可対象に関連するイベントの前記リストのイベントが第2のマッチング閾値より高いマッチングスコアを有するか否かを判定し、前記第2のマッチング閾値は、前記許可対象に関連しているとして判定されるべきイベントにおける最小のマッチングスコアを示し、前記第2のマッチング閾値より高い前記マッチングスコアは、イベントの前記リストのイベントが前記許可対象に関連することを示し、前記第2のマッチング閾値は、前記第1のマッチング閾値よりも高い
ように前記プロセッサにより実行可能である
付記9に記載の装置。
(付記11)
前記コンピュータプログラムは、前記装置をさらに、
前記不許可対象を識別するデータに基づく前記イベントのマッチングスコアを算出し、
前記イベントのマッチングスコアが前記第1のマッチング閾値より高く、前記第2のマッチング閾値より低いことを判定し、前記第1のマッチング閾値より高く、前記第2のマッチング閾値より低い前記マッチングスコアは、前記不許可対象を識別するデータが前記許可対象を識別するデータと中程度の相関関係があることを示す
ように前記プロセッサにより実行可能である
付記10に記載の装置。
(付記12)
前記コンピュータプログラムは、前記装置をさらに、
前記不許可対象に関連するイベントの前記リストの少なくとも1つのイベントに、前記イベントがどのくらい類似しているかの可能性よりも高い、前記許可対象に関連するイベントの前記リストの少なくとも1つのイベントに前記イベントがどのくらい類似しているかの可能性を判定することに応じて、前記許可対象に関連する前記イベントを判定する
ように前記プロセッサにより実行可能である
付記8に記載の装置。
(付記13)
前記コンピュータプログラムは、前記装置をさらに、
前記許可対象に関連するイベントの前記リストの各イベントの前記不許可対象を識別するデータを含むために、前記許可対象を識別するデータを更新する
ように前記プロセッサにより実行可能である
付記9から12のいずれか1つに記載の装置。
(付記14)
前記コンピュータプログラムは、前記装置をさらに、
入力を受信し、前記入力は、特定の期間中に少なくとも1つの画像撮影装置により撮影された少なくとも1つの画像であり、前記イベント及び前記不許可対象を識別するデータを含むイベントの前記リストの判定は、前記受信された入力に基づくものである
ように前記プロセッサにより実行可能である
付記8から13のいずれか1つに記載の装置。
(付記15)
イベントが不許可対象に関連するか否かを判定するシステムであって、前記システムは、
付記8から14のいずれか1つに記載の装置と、少なくとも1つの画像撮影装置を備える。
(付記16)
(i)不許可対象に関連するイベントのリストのうち少なくとも1つのイベント、及び、(ii)許可対象に関連するイベントのリストのうち少なくとも1つのうち、少なくとも1つに前記イベントがどのくらい類似しているかの可能性を判定し、イベントの前記リストの各イベントは、前記不許可対象を識別するデータを含み、前記可能性の判定は前記不許可対象を識別するデータに基づき、
前記可能性の判定に応じて、前記不許可対象に関連するイベントを判定する
ことをコンピュータに実行させるプログラムが格納された非一時的なコンピュータ可読媒体。
広く記載されている本開示の精神または範囲から逸脱することなく、特定の実施形態に示されているように、本開示に対して多数の変形及び/又は変修正を行うことができることは、当業者には認められるであろう。したがって、本実施形態は、全ての点において例示的であり、限定的ではないと見なされるべきである。
本出願は、2020年1月7日に出願されたシンガポール特許出願10202000146Sに基づいており、優先権の利益を主張し、その開示は、参照によりその全体が本明細書に組み込まれる。
100 システム
101a - 101e 画像
102 許可対象のリスト
102a 許可対象
103 アラート
104 アラートなし
300 システム
302 画像撮影装置
304 装置
306 プロセッサ
308 メモリ
310 データベース
426 対象検出モジュール
428 オンライン同一対象クラスタリングモジュール
430 出現対象リポジトリ
432 出現対象検索モジュール
434 対象識別子割当モジュール
436 対象識別子リポジトリ
438 対象識別子伝搬モジュール
440 不許可対象検索モジュール
442 アラート
443 画像入力
444 検索要求
612, 616, 618 イベント
614 円
621 - 629 イベント
636 許可対象
638 イベント
640 円
642, 644, 648, 652, 654 イベント
700 システム
702 画像撮影装置
704, 704a, 706, 706a, 708, 708a 対象
708b イベント
720 捜査官
436a - 436c ID
903, 905, 905a 対象
913 対象
915 許可された衣服
1000 コンピュータ装置
1004 プロセッサ
1006 通信インフラ
1008 プライマリメモリ
1010 セカンダリメモリ
1012 ストレージドライブ
1014 リムーバブルストレージドライブ
1018 リムーバブルストレージメディア
1020 インタフェース
1022 リムーバブルストレージユニット
1024 通信インタフェース
1026 通信経路
1030 画面
1032 オーディオインタフェース
1034 スピーカ

Claims (9)

  1. (i)不許可対象を識別するデータを含み、前記不許可対象に関連するイベントの第1のリスト、及び、(ii)許可対象に関連するイベントの第2のリストのうち、少なくとも1つのイベントに判定対象のイベントがどのくらい類似しているかの可能性を、前記不許可対象を識別するデータに基づいて判定し、
    前記可能性の判定に応じて、前記不許可対象に関連するイベントを判定する
    装置。
  2. 前記第1のリストの各イベントのマッチングスコアを算出し、前記マッチングスコアは、前記不許可対象を識別するデータと前記許可対象を識別するデータの間の相関の程度を示し、
    前記第1のリストのイベントが第1のマッチング閾値より低いマッチングスコアを有するか否かを判定し、前記第1のマッチング閾値は、前記不許可対象に関連するとして判定されるべきイベントにおける最大のマッチングスコアを示し、前記第1のマッチング閾値より低い前記マッチングスコアは、前記第1のリストのイベントが前記不許可対象に関連することを示す
    請求項に記載の装置。
  3. 前記第2のリストのイベントが第2のマッチング閾値より高いマッチングスコアを有するか否かを判定し、前記第2のマッチング閾値は、前記許可対象に関連しているとして判定されるべきイベントにおける最小のマッチングスコアを示し、前記第2のマッチング閾値より高い前記マッチングスコアは、前記第2のリストのイベントが前記許可対象に関連することを示し、前記第2のマッチング閾値は、前記第1のマッチング閾値よりも高い
    請求項に記載の装置。
  4. 前記不許可対象を識別するデータに基づく前記イベントのマッチングスコアを算出し、
    前記イベントのマッチングスコアが前記第1のマッチング閾値より高く、前記第2のマッチング閾値より低いことを判定し、前記第1のマッチング閾値より高く、前記第2のマッチング閾値より低い前記マッチングスコアは、前記不許可対象を識別するデータが前記許可対象を識別するデータと所定の相関関係があることを示す
    請求項に記載の装置。
  5. 前記第2のリストの少なくとも1つのイベントに前記判定対象のイベントがどのくらい類似しているかの第1の可能性を判定することに応じて、前記許可対象に関連する前記イベントを判定し、
    前記第1の可能性は、前記第1のリストの少なくとも1つのイベントに、前記判定対象のイベントがどのくらい類似しているかの第2の可能性よりも高い、
    請求項に記載の装置。
  6. 前記第2のリストの各イベントに前記不許可対象を識別するデータを含めるために、前記許可対象を識別するデータを更新する
    請求項からのいずれか1つに記載の装置。
  7. 特定の期間中に少なくとも1つの画像撮影装置により撮影された少なくとも1つの画像を入力として受信し、
    前記受信された入力に基づいて、前記判定を行う
    請求項1からのいずれか1つに記載の装置。
  8. (i)不許可対象を識別するデータを含み、不許可対象に関連するイベントの第1のリスト、及び、(ii)許可対象に関連するイベントの第2のリストのうち、少なくとも1つのイベントに判定対象のイベントがどのくらい類似しているかの可能性を、前記不許可対象を識別するデータに基づいて判定し、
    前記可能性の判定に応じて、前記不許可対象に関連するイベントを判定する
    方法。
  9. (i)不許可対象を識別するデータを含み、不許可対象に関連するイベントの第1のリスト、及び、(ii)許可対象に関連するイベントの第2のリストのうち、少なくとも1つのイベントに判定対象のイベントがどのくらい類似しているかの可能性を、前記不許可対象を識別するデータに基づいて判定し、
    前記可能性の判定に応じて、前記不許可対象に関連するイベントを判定する
    ことをコンピュータに実行させるプログラム。
JP2022540778A 2020-01-07 2020-12-25 方法、装置、及び、プログラム Active JP7380889B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023188143A JP2024023218A (ja) 2020-01-07 2023-11-02 情報処理方法、プログラム、及び、情報処理装置

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
SG10202000146SA SG10202000146SA (en) 2020-01-07 2020-01-07 A method and an apparatus for determining if an event relates to an unauthorized subject
SG10202000146S 2020-01-07
PCT/JP2020/048800 WO2021140966A1 (en) 2020-01-07 2020-12-25 Method, apparatus and non-transitory computer readable medium

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2023188143A Division JP2024023218A (ja) 2020-01-07 2023-11-02 情報処理方法、プログラム、及び、情報処理装置

Publications (2)

Publication Number Publication Date
JP2023509059A JP2023509059A (ja) 2023-03-06
JP7380889B2 true JP7380889B2 (ja) 2023-11-15

Family

ID=76787949

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2022540778A Active JP7380889B2 (ja) 2020-01-07 2020-12-25 方法、装置、及び、プログラム
JP2023188143A Pending JP2024023218A (ja) 2020-01-07 2023-11-02 情報処理方法、プログラム、及び、情報処理装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2023188143A Pending JP2024023218A (ja) 2020-01-07 2023-11-02 情報処理方法、プログラム、及び、情報処理装置

Country Status (4)

Country Link
US (1) US20230037546A1 (ja)
JP (2) JP7380889B2 (ja)
SG (1) SG10202000146SA (ja)
WO (1) WO2021140966A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012181629A (ja) 2011-02-28 2012-09-20 Sogo Keibi Hosho Co Ltd 顔検出方法および顔検出装置、ならびに、プログラム
WO2015166612A1 (ja) 2014-04-28 2015-11-05 日本電気株式会社 映像解析システム、映像解析方法および映像解析プログラム
WO2017006749A1 (ja) 2015-07-03 2017-01-12 株式会社日立国際電気 画像処理装置および画像処理システム
WO2017029718A1 (ja) 2015-08-19 2017-02-23 株式会社 テクノミライ スマートセキュリティ・デジタルシステム、方法及びプログラム
US20180047274A1 (en) 2015-03-03 2018-02-15 Technomirai Co., Ltd. Digital future now security system, method, and program
JP2019153986A (ja) 2018-03-06 2019-09-12 キヤノン株式会社 監視システム、管理装置、監視方法、コンピュータプログラム、及び記憶媒体

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012181629A (ja) 2011-02-28 2012-09-20 Sogo Keibi Hosho Co Ltd 顔検出方法および顔検出装置、ならびに、プログラム
WO2015166612A1 (ja) 2014-04-28 2015-11-05 日本電気株式会社 映像解析システム、映像解析方法および映像解析プログラム
US20180047274A1 (en) 2015-03-03 2018-02-15 Technomirai Co., Ltd. Digital future now security system, method, and program
WO2017006749A1 (ja) 2015-07-03 2017-01-12 株式会社日立国際電気 画像処理装置および画像処理システム
WO2017029718A1 (ja) 2015-08-19 2017-02-23 株式会社 テクノミライ スマートセキュリティ・デジタルシステム、方法及びプログラム
JP2019153986A (ja) 2018-03-06 2019-09-12 キヤノン株式会社 監視システム、管理装置、監視方法、コンピュータプログラム、及び記憶媒体

Also Published As

Publication number Publication date
JP2024023218A (ja) 2024-02-21
SG10202000146SA (en) 2021-08-30
JP2023509059A (ja) 2023-03-06
US20230037546A1 (en) 2023-02-09
WO2021140966A1 (en) 2021-07-15

Similar Documents

Publication Publication Date Title
US10719712B2 (en) Classify actions in video segments using play state information
US8130285B2 (en) Automated searching for probable matches in a video surveillance system
CN105956520B (zh) 一种基于多模式生物识别信息的个人识别装置和方法
JP7047970B2 (ja) 事象を管理するための注目期間及び少なくとも1つの注目領域を決定する方法、装置及びプログラム
US10769415B1 (en) Detection of identity changes during facial recognition enrollment process
US10733279B2 (en) Multiple-tiered facial recognition
CN112307868B (zh) 图像识别方法、电子设备和计算机可读介质
JP6780803B2 (ja) 少なくとも1人の対象人物の潜在的な提携者を特定するための方法、身元特定装置及びプログラム
JP7196932B2 (ja) 情報処理装置、情報処理方法、およびプログラム
JP7380812B2 (ja) 識別方法、識別装置、識別システム及び識別プログラム
WO2017173640A1 (zh) 一种基于多模式生物识别信息的个人识别方法和装置
WO2022033068A1 (zh) 一种图像管理的方法、装置、终端设备和系统
JP7380889B2 (ja) 方法、装置、及び、プログラム
US10997398B2 (en) Information processing apparatus, authentication system, method of controlling same, and medium
JP7111188B2 (ja) 同一人物をグループ化するための方法、システム、およびプログラム
CN110866418B (zh) 图像底库生成方法、装置、设备、系统及存储介质
WO2020115910A1 (ja) 情報処理システム、情報処理装置、情報処理方法、およびプログラム
JP6438693B2 (ja) 認証装置、認証方法、およびプログラム
US20200125709A1 (en) Tagging system for similarity-based retriebal
JP7480841B2 (ja) イベントの管理方法、イベント管理装置、システム及びプログラム
CN111753756A (zh) 基于对象识别的布控报警方法、装置及存储介质
JP7494967B2 (ja) 映像処理プログラム、映像処理方法、及び映像処理装置
JP7371806B2 (ja) 情報処理装置、情報処理方法、およびプログラム
JP7276516B2 (ja) 方法、装置及びプログラム
US20230334908A1 (en) Inmate release verification

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220630

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220630

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230725

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230922

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231003

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231016

R151 Written notification of patent or utility model registration

Ref document number: 7380889

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151