JP7264283B2 - 画像処理装置、人検索システム、画像処理方法、及び画像処理プログラム - Google Patents
画像処理装置、人検索システム、画像処理方法、及び画像処理プログラム Download PDFInfo
- Publication number
- JP7264283B2 JP7264283B2 JP2021571803A JP2021571803A JP7264283B2 JP 7264283 B2 JP7264283 B2 JP 7264283B2 JP 2021571803 A JP2021571803 A JP 2021571803A JP 2021571803 A JP2021571803 A JP 2021571803A JP 7264283 B2 JP7264283 B2 JP 7264283B2
- Authority
- JP
- Japan
- Prior art keywords
- subject
- time
- image processing
- information
- matching
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/587—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using geographical or spatial information, e.g. location
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/178—Human faces, e.g. facial parts, sketches or expressions estimating age from face image; using age information for improving recognition
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20076—Probabilistic image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30232—Surveillance
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Library & Information Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Closed-Circuit Television Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
本開示は画像処理装置、人検索システム、画像処理方法及び画像処理プログラムに関する。
従来の人割当システムの例が特許文献１に記載されている。従来の人割当システムは空港のセキュリティチェックエリアでの乗客登録部及び画像取得部（監視カメラ）、並びに乗客管理部及び顔検索部を備える。従来の人割当システムは以下のように動作する。
乗客登録部は、乗客の搭乗券をスキャンすることで乗客の情報を登録し、監視カメラはセキュリティチェックエリアで乗客の画像を取得する。搭乗時間の後になっても搭乗していない乗客がいる場合、顔検索部は人々の監視画像内で、顔の特徴が搭乗していない乗客の顔の特徴と一致する乗客を探すことで乗客の現在位置を特定する。
特許文献１：国際公開第２０１４／１４８３９５号
特許文献１に記載の従来の人割当システムは対象者の外見と一致する最新の監視画像を使用する。しかし、対象者の外見と一致する画像を素早く取得するのは難しい。対象者の顔又は外見は、妨害、照明、頭部ポーズなどによりキャプチャできない場合があり、したがって、すべての監視カメラの監視画像をチェックしても、対象者を発見できない場合がある。こうしたチェックには、すべての監視カメラの大量の画像を処理するのに長い計算時間が必要となるので、緊急に人を検索するのには適していない。
本開示は上述した問題を解決するためになされたものであり、その目的は、対象者を素早く検索可能な画像処理装置、人検索システム、画像処理方法及び画像処理プログラムを提供することにある。
本開示の態様は、閉じられた空間に設けられた複数のカメラによりキャプチャされた監視画像データに基づいて対象者を検索する画像処理装置であって、
前記対象者の外見情報及び特性情報を含む人情報を取得するように構成された人情報取得部と、
様々な時間における監視画像データを取得するように構成された画像取得部と、
前記対象者の前記人情報に基づいて前記対象者が第１の時間に存在する確率が高い検索開始点を決定するように構成された検索開始点決定部と、
前記人情報に基づいて、前記対象者が前記第１の時間より前の第２の時間に様々な場所に存在する存在確率を推定し、前記対象者の前記存在確率が設計された閾値より高いエリアを決定するように構成された後方追跡部と、
前記対象者の前記取得された外見情報と前記後方追跡部により決定された前記エリア内の前記監視画像との間のマッチング度を算出し、前記マッチング度が設定された閾値より高い場所を決定するように構成された認識部と、
前記人情報及び前記認識部により決定された前記場所に基づいて、前記第２の時間より時間的に前方に、マッチング度が前記設定された閾値より高い前記対象者の候補を追跡するように構成された前方追跡部と、
前記前方追跡の結果に基づいて、前記対象者が前記第１の時間又は前記第２の時間より前記第１の時間に近い時間に存在する前記存在確率を推定するように構成された存在確率推定部と、
を備える。
前記対象者の外見情報及び特性情報を含む人情報を取得するように構成された人情報取得部と、
様々な時間における監視画像データを取得するように構成された画像取得部と、
前記対象者の前記人情報に基づいて前記対象者が第１の時間に存在する確率が高い検索開始点を決定するように構成された検索開始点決定部と、
前記人情報に基づいて、前記対象者が前記第１の時間より前の第２の時間に様々な場所に存在する存在確率を推定し、前記対象者の前記存在確率が設計された閾値より高いエリアを決定するように構成された後方追跡部と、
前記対象者の前記取得された外見情報と前記後方追跡部により決定された前記エリア内の前記監視画像との間のマッチング度を算出し、前記マッチング度が設定された閾値より高い場所を決定するように構成された認識部と、
前記人情報及び前記認識部により決定された前記場所に基づいて、前記第２の時間より時間的に前方に、マッチング度が前記設定された閾値より高い前記対象者の候補を追跡するように構成された前方追跡部と、
前記前方追跡の結果に基づいて、前記対象者が前記第１の時間又は前記第２の時間より前記第１の時間に近い時間に存在する前記存在確率を推定するように構成された存在確率推定部と、
を備える。
本開示の態様は、閉じられた空間に設けられた複数のカメラによってキャプチャされた監視画像データに基づいて対象者を検索する画像処理方法であって、
前記対象者の外見情報及び特性情報を含む人情報を取得し、
様々な時間における監視画像データを取得し、
前記対象者の前記人情報に基づいて、前記対象者が第１の時間において存在する確率が高い検索開始点を決定し、
前記人情報に基づいて、前記第１の時間より前の第２の時間において前記対象者が様々な場所に存在する存在確率を推定し、前記対象者の前記存在確率が設定された閾値より高いエリアを決定し、
前記取得された前記対象者の外見情報と前記決定されたエリア内の前記監視画像との間のマッチング度を算出し、前記マッチング度が設定された閾値より高い場所を決定し、
前記人情報及び前記認識部によって決定された前記場所に基づいて、前記第２の時間より時間的に前方に、マッチング度が前記設定された閾値より高い前記対象者の候補を追跡し、
前記前方追跡の結果に基づいて前記対象者が前記第１の時間に又は前記第２の時間より前記第１の時間に近い時間に存在する存在確率を推定することを含む。
前記対象者の外見情報及び特性情報を含む人情報を取得し、
様々な時間における監視画像データを取得し、
前記対象者の前記人情報に基づいて、前記対象者が第１の時間において存在する確率が高い検索開始点を決定し、
前記人情報に基づいて、前記第１の時間より前の第２の時間において前記対象者が様々な場所に存在する存在確率を推定し、前記対象者の前記存在確率が設定された閾値より高いエリアを決定し、
前記取得された前記対象者の外見情報と前記決定されたエリア内の前記監視画像との間のマッチング度を算出し、前記マッチング度が設定された閾値より高い場所を決定し、
前記人情報及び前記認識部によって決定された前記場所に基づいて、前記第２の時間より時間的に前方に、マッチング度が前記設定された閾値より高い前記対象者の候補を追跡し、
前記前方追跡の結果に基づいて前記対象者が前記第１の時間に又は前記第２の時間より前記第１の時間に近い時間に存在する存在確率を推定することを含む。
本開示の態様は、閉じられた空間に設けられた複数のカメラによってキャプチャされた監視画像データに基づいて、対象者を検索する画像処理方法をコンピュータに実行させる画像処理プログラムを格納する非一時的コンピュータ可読媒体であって、前記画像処理方法は、
前記対象者の外見情報及び特性情報を含む人情報を取得し、
様々な時間における監視画像データを取得し、
前記対象者の前記人情報に基づいて第１の時間において前記対象者が存在する確率が高い検索開始点を決定し、
前記人情報に基づいて、前記対象者が前記第１の時間より前の第２の時間において様々な場所に存在する存在確率を推定し、前記対象者の前記存在確率が設定された閾値より高いエリアを決定し、
前記対象者の前記取得された外見情報と、前記決定されたエリア内の前記監視画像との間のマッチング度を算出し、前記マッチングスコアが設定された閾値より高い場所を決定し、
前記人情報及び前記認識部によって決定された前記場所に基づいて、前記第２の時間より時間的に前方にマッチング度が前記設定された閾値よりも高い前記対象者の候補を追跡し、
前記前方追跡の結果に基づいて、前記対象者が前記第１の時間に又は前記第２の時間より前記第１の時間に近い時間に存在する存在確率を推定することを含む。
前記対象者の外見情報及び特性情報を含む人情報を取得し、
様々な時間における監視画像データを取得し、
前記対象者の前記人情報に基づいて第１の時間において前記対象者が存在する確率が高い検索開始点を決定し、
前記人情報に基づいて、前記対象者が前記第１の時間より前の第２の時間において様々な場所に存在する存在確率を推定し、前記対象者の前記存在確率が設定された閾値より高いエリアを決定し、
前記対象者の前記取得された外見情報と、前記決定されたエリア内の前記監視画像との間のマッチング度を算出し、前記マッチングスコアが設定された閾値より高い場所を決定し、
前記人情報及び前記認識部によって決定された前記場所に基づいて、前記第２の時間より時間的に前方にマッチング度が前記設定された閾値よりも高い前記対象者の候補を追跡し、
前記前方追跡の結果に基づいて、前記対象者が前記第１の時間に又は前記第２の時間より前記第１の時間に近い時間に存在する存在確率を推定することを含む。
本開示によれば、対象者を素早く検索することができる画像処理装置、人検索システム、画像処理方法及び画像処理プログラムを提供することができる。
以下、図面を参照して、本開示の例示的な実施形態を詳細に説明する。同一の構成要素は図面全体にわたって同一の符号を付し、説明の明瞭化のため、重複した説明は適宜省略する。
[第１の実施形態]
[第１の実施形態]
構造の説明
図１を参照して、本開示にかかる画像処理装置の構造の代表例を説明する。
図１を参照して、本開示にかかる画像処理装置の構造の代表例を説明する。
図１に示すように、画像処理装置１００は、空港及び遊園地など閉じられた空間内で人を検索するために使用される。画像処理装置１００は人情報取得部１１、画像取得部１２、検索開始点決定部１０３、後方追跡部１０４、認識部１０５及び前方追跡部１０６を含み得る。人情報取得部１１は、対象者の外見情報及び特性情報を含む人情報を取得する。外見情報は、衣服、ヘアスタイル、身長及び顔画像を含み得る。特性情報は年齢、性別及び国籍を含み得る。人情報取得部１１は、いくつかの画像認識技法（例えば、バイオメトリックス、光学文字認識、虹彩認識、顔認識など）を用いて空港のチェックインカウンターに設置されたカメラからこのような外見情報を取得することができる。また、人情報取得部１１は、チェックインカウンターにおける識別情報リーダ（例えば、パスポートリーダ）から、このような特性情報を取得することができる。なお、カメラ及び識別情報リーダは、他の施設の他の好ましい場所に設置することができる。
画像取得部１２は、様々な時間における監視画像データを取得する。画像取得部１２は、閉じられた空間に設けられた複数の監視カメラから、ネットワークを介して、監視画像データを取得することができる。監視カメラは、空港内の搭乗ゲート、免税店、ラウンジなど様々な位置に設置することができ、（対象者を含む）人々の画像をキャプチャすることができる。なお、監視カメラは、港湾施設、アミューズメント施設、ショッピングセンター、スタジアム内などの様々な位置に設置してもよい。
検索開始点決定部１０３は、第１の時間（例えば、現在時刻又は搭乗時間など将来の時間）において対象者が存在する確率が高い検索開始点を決定する。検索開始点決定部１０３は、対象者の人情報及び対象者の特性と同様の特性（例えば、年齢、性別及び国籍）を有する他の人々の統計に基づいて、複数の検索開始点を決定することができる。検索開始点は単に検索を開始し、対象者を割り当てるための仮点にすぎない。検索開始点の周りに監視カメラがない場合でも、又は対象者が、妨害、照明、頭部ポーズなどによりカメラによってキャプチャできない場合でも、本開示にかかる画像処理装置１００は、（下記に記載する）後方及び前方追跡を用いて対象者を追跡することができる。
後方追跡部１０４は、検索開始点から対象者を時間的に後方に追跡し、対象者の人情報（例えば、同年齢の人々の歩行速度）に基づいて、第１の時間より前の第２の時間において対象者が様々な場所に存在する存在確率を推定する。
おそらく、後方追跡部１０４は対象者が様々な場所で現在時刻より前の複数の時間に存在する存在確率を推定することができる。後方追跡部１０４は、その後、対象者の存在確率が設定された閾値より高いエリアを決定する。エリアは、互いに離間した複数のエリアであってもよい。後方追跡部１０４によれば、対象者が存在する確率が高いエリアを、人に一方向に移動することだけを想定せずに、推定することができる。
後方追跡部１０４によれば、対象者が存在する確率が高いエリアを推定することができるので、すべての監視カメラの画像をチェックするのではなく対象者を認識するために、これらのエリア内の監視カメラだけをチェックすることができ、ゆえに、計算リソースを節約することができる。
認識部１０５は、対象者の取得された外見情報と後方追跡部１０４によって決定されたエリア内でキャプチャされた監視画像との間のマッチング度を算出する。認識部１０５は、その後、マッチング度が設定された閾値より高い場所を決定する。認識部１０５は、顔認識だけではなく、一般的外見（衣服及びヘアスタイルを含む）を用いてマッチング度を算出することができ、したがって、対象者が存在する確率が高い場所を識別することができる。これにより、一時的妨害又は外見の変化（例えば、衣服，ヘアスタイル）により影響されない。例えば、認識部１０５により認識された対象者の監視画像は、対象者の歩行方向を示す場合がある。認識部１０５により認識された対象者の監視画像は対象者がベンチに座っているのを示す場合がある。
おそらく、認識部１０５は対象者の取得された外見情報とエリア内の様々な場所でキャプチャされた複数の監視画像（少なくとも２枚の監視画像）との間の複数のマッチング度を算出することができる。認識部１０５は、認識部１０５により決定されたエリア内で現在時刻より前の複数の時間における様々な場所に対応する複数の監視画像を用いて、マッチング度が設定された閾値より高いエリア内で複数の場所を決定することができる。したがって、認識部１０５は、最新画像のみではなく、現在時刻より前の複数の監視画像も用いて、対象者がどのように移動する傾向があるか、つまり、対象者の歩行速度及び歩行方向などを認識することができる。
前方追跡部１０６は、統計的に、認識部により決定された場所及び対象者の人情報（例えば、同年齢及び同じ性別の人々の平均歩行速度）に基づいて第２の時間より時間的に前方に対象者を追跡する。前方追跡部１０６は、マッチング度が設定された閾値より高い対象者のいくつかの候補を追跡する。前方追跡部１０６は、認識部１０５により認識された対象者の歩行方向に基づいて対象者の現在の場所を推定することができる。また、前方追跡部１０６は、対象者がベンチに座った画像を考慮することで対象者の現在の場所が認識部により認識された対象者の場所からそれほど遠くないことを推定することができる。前方追跡部１０６は、現在時刻の最も近い時間まで時間的に前方に、認識部１０５によって決定された場所を推定することができる。前方追跡部１０６は、認識部１０５の結果に基づいて前方追跡を実行し、現在時間における対象者を検索する。
存在確率推定部１７は、統計的に、前方追跡の結果に基づいて、第１の時間又は第２の時間より第１の時間に近い時間において対象者の存在確率を推定する。
ここで、後方追跡及び前方追跡の定義を説明する。後方追跡は対象者を過去に向かって時間的に後方に追跡することをいう。前方追跡は、現在時刻又は将来に向かって時間的に前方に対象者の追跡をいう。
後方追跡部１０４は認識部１０５と協働して、監視画像を用いて対象者が存在する確率が高い場所を識別する。つまり、最新監視画像が撮影された時間より前に対象者が存在する確率が高い場所を識別することができる。最新監視画像が撮影された時間より後に対象者が存在する確率が高い場所を識別することができる。したがって、前方追跡部１０６は、統計的に、現在時刻又は将来に向かって時間的に前方に対象者の場所を推定する。ゆえに、存在確率推定部１７は、第２の時間より第１の時間に近い時間（例えば、最新監視画像が撮影された時間より後の時間）に対象者が存在する存在確率を推定することができる。
以上説明したように、本開示にかかる画像処理装置１００は、すべての監視カメラの大量の画像を処理するために長い計算時間を要せずに対象者を容易に検索することができる。
[第２の実施形態]
[第２の実施形態]
構造の説明
まず、添付図面を参照して本発明の第２の実施形態を以下に説明する。図２を参照すると、第２の実施形態にかかる画像処理装置１００は、対象者の特性及び外見を格納するように構成された第１のストレージ部１０１と、様々な時間における監視生データを格納するように構成された第２のストレージ部１０２と、検索開始点決定部１０３と、後方追跡部１０４と、認識部１０５と、前方追跡部１０６と、存在確率マップ推定部１０７と、を備える、なお、第１のストレージ部１０１及び第２のストレージ部１０２は、画像処理装置１００の内部に設けられてもよいし、画像処理装置１００の外部に設けられてもよい。第１のストレージ部１０１及び第２のストレージ部１０２が画像処理装置１００の外部に設けられている場合、画像処理装置１００は、以上説明したような、人情報取得部１１及び画像取得部１２を含み、ネットワークを介して、第１のストレージ部１０１及び第２のストレージ部１０２にそれぞれ接続されている。
まず、添付図面を参照して本発明の第２の実施形態を以下に説明する。図２を参照すると、第２の実施形態にかかる画像処理装置１００は、対象者の特性及び外見を格納するように構成された第１のストレージ部１０１と、様々な時間における監視生データを格納するように構成された第２のストレージ部１０２と、検索開始点決定部１０３と、後方追跡部１０４と、認識部１０５と、前方追跡部１０６と、存在確率マップ推定部１０７と、を備える、なお、第１のストレージ部１０１及び第２のストレージ部１０２は、画像処理装置１００の内部に設けられてもよいし、画像処理装置１００の外部に設けられてもよい。第１のストレージ部１０１及び第２のストレージ部１０２が画像処理装置１００の外部に設けられている場合、画像処理装置１００は、以上説明したような、人情報取得部１１及び画像取得部１２を含み、ネットワークを介して、第１のストレージ部１０１及び第２のストレージ部１０２にそれぞれ接続されている。
これらの部は、一般に、次のように評価され、これらのアプリケーションは空港内で搭乗時間にまだ搭乗していない乗客（対象者）（未搭乗乗客とも呼ばれる場合がある）を探すためであると想定される。
第１のストレージ部１０１は、衣服，ヘアスタイル，身長，及び顔画像などの対象者の外見情報並びに年齢、性別及び国籍などの特性情報を含む人情報を格納する。当該情報はカメラ及び対象者が空港内のチェックインカウンターでチェックインする際の受付端末によって格納されてもよい。チェックインカウンターに設置されたカメラは対象者の外見情報を認識することができる。受付端末は対象者のパスポートから特性情報を読み込むことができる。
第２のストレージ部１０２は、様々な時間において、空港内に設置されたすべての監視カメラによってキャプチャされた監視生データを格納する。
検索開始点決定部１０３は、対象者を検索する開始点を決定し、それは、対象者が現在時刻（又は搭乗時間などの将来の時間）に存在する可能性が高い時点であり、その時点では、対象者はまだ搭乗しておらず、対象者の場所は未知である。この決定は、第１のストレージ部１０１に格納された対象者の情報及び対象者の特性と同様の特性（年齢、性別及び国籍など）を有する他の人々の統計に基づくものである。検索開始点決定部１０３は対象者が現在時刻において存在する可能性の高い複数の検索開始点を決定することができる。
後方追跡部１０４は、検索開始点決定部１０３によって決定された検索開始点、（同年齢の人々の歩行速度に基づいた）対象者の平均歩行速度及び（統計に基づいた）様々な方向から検索開始点まで歩く対象者の確率に基づいて、対象者が現在時刻（又は搭乗時間）の前のいくつかの時間に存在する可能性のある場所を推定する。
認識部１０５は、対象者が存在する確率が高いエリア内の（第２のストレージ部１０２から取得した）監視画像とチェックイン中に登録された対象者の外見画像との間の、顔及び外見（例えば、衣服など）のマッチングを行う。特に、認識部１０５は、監視画像と対象者の顔及び外見画像との間のマッチング度を算出する。認識部１０５は、マッチングスコアが設定された閾値より高いエリア内の複数の場所を識別することができる。
前方追跡部１０６は、対象者を監視画像内にこれ以上追跡できないので、対象者がマッチングされた（マッチングスコアが設定された閾値よりも高い）画像が撮影された時間の後の現在時刻に最も近い時間まで時間的に前方に対象者の場所を追跡する。
存在確率マップ推定部１０７は、前方追跡部１０６の結果にしたがって現在時刻（又は搭乗時間）における対象者の存在確率を示すマップを出力する。これらの部は、本開示が現在時刻（又は搭乗時間）において対象者が存在する確率が高いエリアを推定することができるように相互に動作する。
動作の説明
次に、図２及び図３のフローチャートを参照して、本実施形態の一般的な動作を説明する。
まず、乗客は、チェックインカウンターで自らの顔及び外見（例えば、ヘアスタイル、衣服）及び他の特性（例えば、年齢、性別、国籍）を登録する（図３のステップＳ２０１）。その後、乗客が搭乗時間にまだ搭乗していない場合には（ステップＳ２０２でＮＯ）、画像処理装置（人割当システムとも称される場合がある）１００は、まず、現在時刻ｔｎにおいて対象者を検索する開始点を決定することで、対象者（乗客）の割り当てを開始する（ステップＳ２０３）。
次に、図２及び図３のフローチャートを参照して、本実施形態の一般的な動作を説明する。
まず、乗客は、チェックインカウンターで自らの顔及び外見（例えば、ヘアスタイル、衣服）及び他の特性（例えば、年齢、性別、国籍）を登録する（図３のステップＳ２０１）。その後、乗客が搭乗時間にまだ搭乗していない場合には（ステップＳ２０２でＮＯ）、画像処理装置（人割当システムとも称される場合がある）１００は、まず、現在時刻ｔｎにおいて対象者を検索する開始点を決定することで、対象者（乗客）の割り当てを開始する（ステップＳ２０３）。
現在時刻ｔｎにおける対象者を検索する開始点が決定された後（ステップＳ２０３）、（同年齢の人々の平均歩行速度から推定された）対象者の歩行速度及び（同様の特性をもつ他の人々の統計に基づく）様々な方向から検索の開始点に向かう対象者の確率に基づいて、対象者が事前のいくつかの時間（ｔｎ－１，ｔｎ－２，…）に存在する存在確率が後方追跡によって推定される（ステップＳ２０４）。
（数式１）
ｆ（ｐ，ｔ）は時間＝ｔにおいて、場所ｐにいる確率である。
ｔｎは現在時刻であり、
ｔｎ－１は現在時刻ｔｎより前のある時間であり、
ｐｎは検索開始点（想定された現在の場所）であり、
ｐｎ－１は空港内の任意の場所であり、
ｖは対象者と同年齢の人々の平均歩行速度であり、
Ｄ（ｐｎ，ｐｎ－１）は場所ｐｎ－１と場所ｐｎとの距離であり、
Ｍ（ｐｎ－１→ｐｎ）は、他の人々の統計に基づいた、場所ｐｎ－１からｐｎに移動する確率である。
（数式１）
ｔｎは現在時刻であり、
ｔｎ－１は現在時刻ｔｎより前のある時間であり、
ｐｎは検索開始点（想定された現在の場所）であり、
ｐｎ－１は空港内の任意の場所であり、
ｖは対象者と同年齢の人々の平均歩行速度であり、
Ｄ（ｐｎ，ｐｎ－１）は場所ｐｎ－１と場所ｐｎとの距離であり、
Ｍ（ｐｎ－１→ｐｎ）は、他の人々の統計に基づいた、場所ｐｎ－１からｐｎに移動する確率である。
対象者がおそらく存在するエリアが得られると、これらの高い確率のエリア内の監視カメラから得られた画像内の顔又は外見のマッチングが行われる（ステップＳ２０５）。存在確率マップ推定及びマッチング（Ｓ２０４及びＳ２０５）が、一致した監視画像があるまでそれぞれ行われる（ステップＳ２０６でＮＯの場合）。いくつかの監視画像が（一定の確率で）時間ｔｉでマッチングされると（ステップＳ２０６内のＹＥＳ）、対象者が現在時刻（又は現在時刻に最も近いある時間）に様々な場所で存在する存在確率が前方追跡によって推定される（ステップＳ２０７）。
効果の説明
次に、本実施形態の効果を説明する。
本実施形態が後方及び前方追跡のいずれも使用されるように構成されているので、対象者が一方向にのみ移動する想定がなされなくても、対象者の場所を推定することができる。
次に、本実施形態の効果を説明する。
本実施形態が後方及び前方追跡のいずれも使用されるように構成されているので、対象者が一方向にのみ移動する想定がなされなくても、対象者の場所を推定することができる。
加えて、実施形態は、現在時刻(又は搭乗時間)における画像のみではなく、様々な時間での監視画像を用いて対象者の場所が推定されるように構成されているので、監視画像と登録された顔／外見画像とのマッチングは、一時的妨害、照明の変化などによって影響されない。
実施形態は、対象者の存在確率の高いエリア内の監視画像のみが登録された画像とマッチングされるように構成されている。これにより、計算時間及びリソースが節約される。
[第３の実施形態]
[第３の実施形態]
構造の説明
次に、添付図面を参照して本開示の第３の実施形態を説明する。
図２と同様の図４を参照すると、本開示の第３の実施形態にかかる画像処理装置はまた、対象者の特性及び外見のストレージ部３０１、様々な時間の監視生データのストレージ部３０２、検索開始点決定部３０３、後方追跡部３０４、認識部３０５、前方追跡部３０６、存在確率マップ推定部３０７及び第３のストレージ部３０８を備える。
次に、添付図面を参照して本開示の第３の実施形態を説明する。
図２と同様の図４を参照すると、本開示の第３の実施形態にかかる画像処理装置はまた、対象者の特性及び外見のストレージ部３０１、様々な時間の監視生データのストレージ部３０２、検索開始点決定部３０３、後方追跡部３０４、認識部３０５、前方追跡部３０６、存在確率マップ推定部３０７及び第３のストレージ部３０８を備える。
部３０１，３０２，３０３，３０４，３０５，３０６及び３０７の説明は、図２の部１０１，１０２，１０３，１０４，１０５，１０６及び１０７の説明と同様であるので、これらの部の説明は省略する。
第３のストレージ部３０８は前方追跡の結果にしたがって対象者が訪問したことがある確率が高い場所を格納する。訪問した場所の情報を用いることで、後方追跡部３０４は後方追跡を行うことができる。そして、前方追跡部３０６は、存在確率マップのより高精度のため、対象者が特定の場所（例えば、セキュリティチェックエリア、店、レストランなど）を２回以上訪問する可能性はないであろうことを想定することで、再び前方追跡を行うことができる。おそらく、後方追跡部３０４及び前方追跡部３０６はいずれも訪問場所の情報を使用する。なお、第３のストレージ部３０８は、画像処理装置３００の外部にあってもよい。画像処理装置３００は第３のストレージ部３０８にネットワークを介して接続されている訪問場所取得部を含むことができる。
動作の説明
次に、図５のフローチャートを参照して、本実施形態の第３の実施形態の一般的な動作を説明する。ステップＳ４０１，Ｓ４０２，Ｓ４０３，Ｓ４０４，Ｓ４０５，Ｓ４０６及びＳ４０７はそれぞれ図３のステップＳ２０１，Ｓ２０２，Ｓ２０３，Ｓ２０４，Ｓ２０５，Ｓ２０６及びＳ２０７と同様であるので、これらのステップの説明は省略する。
次に、図５のフローチャートを参照して、本実施形態の第３の実施形態の一般的な動作を説明する。ステップＳ４０１，Ｓ４０２，Ｓ４０３，Ｓ４０４，Ｓ４０５，Ｓ４０６及びＳ４０７はそれぞれ図３のステップＳ２０１，Ｓ２０２，Ｓ２０３，Ｓ２０４，Ｓ２０５，Ｓ２０６及びＳ２０７と同様であるので、これらのステップの説明は省略する。
対象者の存在確率マップが前方追跡によって推定されるステップＳ４０７の後、前方追跡中、対象者が訪問した場所を格納し、図４の後方追跡部３０４にフィードバックされる。対象者がいくつかの特定の場所（例えば、セキュリティチェックエリア、レストラン、店など）を２回以上訪問する可能性がないことを想定することで、後方追跡（ステップＳ４０４）、マッチング（ステップＳ４０５）及び前方追跡（ステップＳ４０７）が、ステップＳ４０８での存在確率マップ出力の高精度のため、再び行われ得る。
効果の説明
次に、本実施形態の効果を説明する。
ここでは、実施形態の第１の例と同じである効果の説明は省略する。
次に、本実施形態の効果を説明する。
ここでは、実施形態の第１の例と同じである効果の説明は省略する。
前方追跡中に対象者が訪問した場所が第３のストレージ部３０８に格納され、後方追跡にフィードバックされるので、いくつかの特定の場所（例えば、セキュリティチェックエリア、レストラン、店、ラウンジなど）を１回より多く訪問する可能性が低いことを想定し、数式（１）内のＭ（ｐｎ－１→ｐｎ）項は、前方追跡中に訪問した場所を除外するように修正することができるので、後方追跡で特定の場所から現在の場所に移動する確率項（Ｍ（ｐｎ－１→ｐｎ））を修正することができる。対象者が存在する可能性が低い場所を除外することで、後方追跡及び、ゆえに前方追跡はより精度が高くなり得る。
［例］
次に、本開示を行うためのモードの動作を、具体例により説明する。
図６に示すように、乗客の外見、年齢、性別、国籍などが第１のストレージ部５０１によりチェックイン中に登録される。搭乗時間が経過した後でも乗客が搭乗しておらず、手動検索によって特定できない場合、システムは対象者が特定のエリアにいる確率を推定し、ゆえに、スタッフが少ない人力かつ短時間で乗客を特定するのに有用である。
次に、本開示を行うためのモードの動作を、具体例により説明する。
図６に示すように、乗客の外見、年齢、性別、国籍などが第１のストレージ部５０１によりチェックイン中に登録される。搭乗時間が経過した後でも乗客が搭乗しておらず、手動検索によって特定できない場合、システムは対象者が特定のエリアにいる確率を推定し、ゆえに、スタッフが少ない人力かつ短時間で乗客を特定するのに有用である。
最初に、検索開始点決定部５０３は、乗客と同一の性別、年齢及び国籍など他の乗客の統計に基づいて、検索の開始点を決定する。例えば、検索の開始点の候補は、搭乗ゲート、手洗所の入口、店、レストラン、ラウンジなどであり得る。乗客が現在時刻ｔｎにおいて、これらの場所に存在すると想定することで、現在時刻より前のいくつかの時間（ｔｎ－１）において乗客の可能性のある場所が、乗客と同年齢の人々の平均歩行速度及び時間ｔｎ－１における様々な場所から時間ｔｎにおける現在の可能性のある場所に来る確率に基づいて、後方追跡部５０４により推定される。
乗客が存在する可能性のある一定の確率を有する（現在時刻ｔｎより前の時間ｔｉでの）場所において、マッチング（顔認識，外見認識）は認識部５０５により行われる。認識スコアが（乗客又は同様の外見をもつ他の人々が存在する可能性があることを示す）一定の閾値より高い場所から、前方追跡が前方追跡部５０６により行われる。ある時間ｔｉから現在時刻ｔｎに向かう前方追跡により、現在時刻ｔｎにおける乗客の存在確率マップが存在確率マップ推定部５０７により推定される。
上述の実施形態において、プログラム（単数及び複数）は、あらゆるタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、あらゆるタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブなど）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ－ＲＯＭ（Read Only Memory）、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、ＤＶＤ（Digital Versatile Disc）、ＢＤ（Blu-ray（登録商標） Disc）、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（Random Access Memory））を含む。また、プログラム（単数又は複数）は、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
本開示を例示的な実施形態を参照して上記に説明してきたが、本開示は上記例示的な実施形態に限定されない。本開示の構成及び詳細は、本発明の範囲内において当業者が理解することができる様々な方法で修正されてもよい。
上記の説明は現在時刻において対象者の場所を推定することにフォーカスしているが、画像処理装置は将来時間（例えば、搭乗時間)における対象者の場所を推定するのに使用される場合もあることを理解されたい。したがって、画像処理装置は、対象者が搭乗時間において搭乗ゲートに着くかどうかを予測することができる。
前述した例示的な実施形態の全部又は一部は、限定するものではないが、以下の付記として記載することができる。
（付記１）
閉じられた空間に設けられた複数のカメラによりキャプチャされた監視画像データに基づいて対象者を検索する画像処理装置であって、
前記対象者の外見情報及び特性情報を含む人情報を取得するように構成された人情報取得部と、
様々な時間における監視画像データを取得するように構成された画像取得部と、
前記対象者の前記人情報に基づいて前記対象者が第１の時間に存在する確率が高い検索開始点を決定するように構成された検索開始点決定部と、
前記人情報に基づいて、前記対象者が前記第１の時間より前の第２の時間に様々な場所に存在する存在確率を推定し、前記対象者の前記存在確率が設計された閾値より高いエリアを決定するように構成された後方追跡部と、
前記対象者の前記取得された外見情報と前記後方追跡部により決定された前記エリア内の前記監視画像との間のマッチング度を算出し、前記マッチング度が設定された閾値より高い場所を決定するように構成された認識部と、
前記人情報及び前記認識部により決定された前記場所に基づいて、前記第２の時間より時間的に前方に、マッチング度が前記設定された閾値より高い前記対象者の候補を追跡するように構成された前方追跡部と、
前記前方追跡の結果に基づいて、前記対象者が前記第１の時間又は前記第２の時間より前記第１の時間に近い時間に存在する前記存在確率を推定するように構成された存在確率推定部と、
を備える、画像処理装置。
（付記２）
前記後方追跡部は、前記対象者が他の場所から前記検索開始点に移動する確率に基づいて、前記対象者が前記第１の時間より前の前記第２の時間において様々な場所に存在する確率を推定するように構成されている、
付記１に記載の画像処理装置。
（付記３）
前記対象者が訪問した場所についての訪問場所情報を取得するように構成された訪問場所取得部を更に備え、
前記前方追跡部は、前記訪問場所情報を用いて場所が前記対象者により訪問される確率を推定するように構成されている、
付記１又は２に記載の画像処理装置。
（付記４）
前記後方追跡部は、前記前方追跡部によって推定された前記場所を前記訪問場所情報として取得し、前記訪問場所情報に基づいて後方追跡を実行するように構成されている、
付記３に記載の画像処理装置。
（付記５）
前記存在確率推定部は前記対象者が様々な場所に存在する存在確率を示すマップを出力するように構成されている、
付記１～付記４のいずれか一項に記載の画像処理装置。
（付記６）
前記外見情報は、衣服、ヘアスタイル、身長、及び顔画像を含む、付記１～付記５のいずれか一項に記載の画像処理装置。
（付記７）
前記特性情報は、年齢、性別及び国籍を含む、付記１～付記６のいずれか一項に記載の画像処理装置。
（付記８）
付記１～付記７のいずれか一項に記載の前記画像処理装置と、
閉じられた空間に設けられた複数の監視カメラと、を備える、人検索システム。
（付記９）
前記対象者の外見情報及び特性情報を含む人情報を格納するように構成された第１のストレージ部と、
様々な時間の前記監視生データを格納するように構成された第２のストレージ部と、を更に備える、付記８に記載の人検索システム。
（付記１０）
閉じられた空間に設けられた複数のカメラによってキャプチャされた監視画像データに基づいて対象者を検索する画像処理方法であって、
前記対象者の外見情報及び特性情報を含む人情報を取得し、
様々な時間における監視画像データを取得し、
前記対象者の前記人情報に基づいて、前記対象者が第１の時間において存在する確率が高い検索開始点を決定し、
前記人情報に基づいて、前記第１の時間より前の第２の時間において前記対象者が様々な場所に存在する存在確率を推定し、前記対象者の前記存在確率が設定された閾値より高いエリアを決定し、
前記取得された前記対象者の外見情報と前記決定されたエリア内の前記監視画像との間のマッチング度を算出し、前記マッチング度が設定された閾値より高い場所を決定し、
前記人情報及び前記認識部によって決定された前記場所に基づいて、前記第２の時間より時間的に前方に、マッチング度が前記設定された閾値より高い前記対象者の候補を追跡し、
前記前方追跡の結果に基づいて前記対象者が前記第１の時間に又は前記第２の時間より前記第１の時間に近い時間に存在する存在確率を推定することを含む、画像処理方法。
（付記１１）
閉じられた空間に設けられた複数のカメラによってキャプチャされた監視画像データに基づいて、対象者を検索する画像処理方法をコンピュータに実行させる画像処理プログラムを格納する非一時的コンピュータ可読媒体であって、前記画像処理方法は、
前記対象者の外見情報及び特性情報を含む人情報を取得し、
様々な時間における監視画像データを取得し、
前記対象者の前記人情報に基づいて第１の時間において前記対象者が存在する確率が高い検索開始点を決定し、
前記人情報に基づいて、前記対象者が前記第１の時間より前の第２の時間において様々な場所に存在する存在確率を推定し、前記対象者の前記存在確率が設定された閾値より高いエリアを決定し、
前記対象者の前記取得された外見情報と、前記決定されたエリア内の前記監視画像との間のマッチング度を算出し、前記マッチングスコアが設定された閾値より高い場所を決定し、
前記人情報及び前記認識部によって決定された前記場所に基づいて、前記第２の時間より時間的に前方にマッチング度が前記設定された閾値よりも高い前記対象者の候補を追跡し、
前記前方追跡の結果に基づいて、前記対象者が前記第１の時間に又は前記第２の時間より前記第１の時間に近い時間に存在する存在確率を推定することを含む、非一時的コンピュータ可読媒体。
（付記１）
閉じられた空間に設けられた複数のカメラによりキャプチャされた監視画像データに基づいて対象者を検索する画像処理装置であって、
前記対象者の外見情報及び特性情報を含む人情報を取得するように構成された人情報取得部と、
様々な時間における監視画像データを取得するように構成された画像取得部と、
前記対象者の前記人情報に基づいて前記対象者が第１の時間に存在する確率が高い検索開始点を決定するように構成された検索開始点決定部と、
前記人情報に基づいて、前記対象者が前記第１の時間より前の第２の時間に様々な場所に存在する存在確率を推定し、前記対象者の前記存在確率が設計された閾値より高いエリアを決定するように構成された後方追跡部と、
前記対象者の前記取得された外見情報と前記後方追跡部により決定された前記エリア内の前記監視画像との間のマッチング度を算出し、前記マッチング度が設定された閾値より高い場所を決定するように構成された認識部と、
前記人情報及び前記認識部により決定された前記場所に基づいて、前記第２の時間より時間的に前方に、マッチング度が前記設定された閾値より高い前記対象者の候補を追跡するように構成された前方追跡部と、
前記前方追跡の結果に基づいて、前記対象者が前記第１の時間又は前記第２の時間より前記第１の時間に近い時間に存在する前記存在確率を推定するように構成された存在確率推定部と、
を備える、画像処理装置。
（付記２）
前記後方追跡部は、前記対象者が他の場所から前記検索開始点に移動する確率に基づいて、前記対象者が前記第１の時間より前の前記第２の時間において様々な場所に存在する確率を推定するように構成されている、
付記１に記載の画像処理装置。
（付記３）
前記対象者が訪問した場所についての訪問場所情報を取得するように構成された訪問場所取得部を更に備え、
前記前方追跡部は、前記訪問場所情報を用いて場所が前記対象者により訪問される確率を推定するように構成されている、
付記１又は２に記載の画像処理装置。
（付記４）
前記後方追跡部は、前記前方追跡部によって推定された前記場所を前記訪問場所情報として取得し、前記訪問場所情報に基づいて後方追跡を実行するように構成されている、
付記３に記載の画像処理装置。
（付記５）
前記存在確率推定部は前記対象者が様々な場所に存在する存在確率を示すマップを出力するように構成されている、
付記１～付記４のいずれか一項に記載の画像処理装置。
（付記６）
前記外見情報は、衣服、ヘアスタイル、身長、及び顔画像を含む、付記１～付記５のいずれか一項に記載の画像処理装置。
（付記７）
前記特性情報は、年齢、性別及び国籍を含む、付記１～付記６のいずれか一項に記載の画像処理装置。
（付記８）
付記１～付記７のいずれか一項に記載の前記画像処理装置と、
閉じられた空間に設けられた複数の監視カメラと、を備える、人検索システム。
（付記９）
前記対象者の外見情報及び特性情報を含む人情報を格納するように構成された第１のストレージ部と、
様々な時間の前記監視生データを格納するように構成された第２のストレージ部と、を更に備える、付記８に記載の人検索システム。
（付記１０）
閉じられた空間に設けられた複数のカメラによってキャプチャされた監視画像データに基づいて対象者を検索する画像処理方法であって、
前記対象者の外見情報及び特性情報を含む人情報を取得し、
様々な時間における監視画像データを取得し、
前記対象者の前記人情報に基づいて、前記対象者が第１の時間において存在する確率が高い検索開始点を決定し、
前記人情報に基づいて、前記第１の時間より前の第２の時間において前記対象者が様々な場所に存在する存在確率を推定し、前記対象者の前記存在確率が設定された閾値より高いエリアを決定し、
前記取得された前記対象者の外見情報と前記決定されたエリア内の前記監視画像との間のマッチング度を算出し、前記マッチング度が設定された閾値より高い場所を決定し、
前記人情報及び前記認識部によって決定された前記場所に基づいて、前記第２の時間より時間的に前方に、マッチング度が前記設定された閾値より高い前記対象者の候補を追跡し、
前記前方追跡の結果に基づいて前記対象者が前記第１の時間に又は前記第２の時間より前記第１の時間に近い時間に存在する存在確率を推定することを含む、画像処理方法。
（付記１１）
閉じられた空間に設けられた複数のカメラによってキャプチャされた監視画像データに基づいて、対象者を検索する画像処理方法をコンピュータに実行させる画像処理プログラムを格納する非一時的コンピュータ可読媒体であって、前記画像処理方法は、
前記対象者の外見情報及び特性情報を含む人情報を取得し、
様々な時間における監視画像データを取得し、
前記対象者の前記人情報に基づいて第１の時間において前記対象者が存在する確率が高い検索開始点を決定し、
前記人情報に基づいて、前記対象者が前記第１の時間より前の第２の時間において様々な場所に存在する存在確率を推定し、前記対象者の前記存在確率が設定された閾値より高いエリアを決定し、
前記対象者の前記取得された外見情報と、前記決定されたエリア内の前記監視画像との間のマッチング度を算出し、前記マッチングスコアが設定された閾値より高い場所を決定し、
前記人情報及び前記認識部によって決定された前記場所に基づいて、前記第２の時間より時間的に前方にマッチング度が前記設定された閾値よりも高い前記対象者の候補を追跡し、
前記前方追跡の結果に基づいて、前記対象者が前記第１の時間に又は前記第２の時間より前記第１の時間に近い時間に存在する存在確率を推定することを含む、非一時的コンピュータ可読媒体。
本開示は搭乗時間が経過してもまだ搭乗していない乗客用の検索システムに適用可能である。本開示はまた、アミューズメントパーク又はショッピングモールで両親と離れた子供を探す検索システムにも適用可能である。
１１ 人情報取得部
１２ 画像取得部
１７ 存在確率推定部
１００ 画像処理装置
１０１ 第１のストレージ部
１０２ 第２のストレージ部
１０３ 検索開始点決定部
１０４ 後方追跡部
１０５ 認識部
１０６ 前方追跡部
１０７ 存在確率マップ推定部
３００ 人割当システム
３０１ 第１のストレージ部
３０２ 第２のストレージ部
３０３ 検索開始点決定部
３０４ 後方追跡部
３０５ 認識部
３０６ 前方追跡部
３０７ 存在確率マップ推定部
３０８ 第３のストレージ部
５００ 人割当システム
５０１ 第１のストレージ部
５０２ 第２のストレージ部
５０３ 検索開始点決定部
５０４ 後方追跡部
５０５ 認識部
５０６ 前方追跡部
５０７ 存在確率マップ推定部
１２ 画像取得部
１７ 存在確率推定部
１００ 画像処理装置
１０１ 第１のストレージ部
１０２ 第２のストレージ部
１０３ 検索開始点決定部
１０４ 後方追跡部
１０５ 認識部
１０６ 前方追跡部
１０７ 存在確率マップ推定部
３００ 人割当システム
３０１ 第１のストレージ部
３０２ 第２のストレージ部
３０３ 検索開始点決定部
３０４ 後方追跡部
３０５ 認識部
３０６ 前方追跡部
３０７ 存在確率マップ推定部
３０８ 第３のストレージ部
５００ 人割当システム
５０１ 第１のストレージ部
５０２ 第２のストレージ部
５０３ 検索開始点決定部
５０４ 後方追跡部
５０５ 認識部
５０６ 前方追跡部
５０７ 存在確率マップ推定部
Claims (10)
- 閉じられた空間に設けられた複数のカメラによりキャプチャされた監視画像データに基づいて対象者を検索する画像処理装置であって、
前記対象者の外見情報及び特性情報を含む人情報を取得するように構成された人情報取得部と、
様々な時間における監視画像データを取得するように構成された画像取得部と、
前記対象者の前記人情報に基づいて前記対象者が第１の時間に存在する確率が高い検索開始点を決定するように構成された検索開始点決定部と、
前記人情報に基づいて、前記対象者が前記第１の時間より前の第２の時間に様々な場所に存在する存在確率を推定し、前記対象者の前記存在確率が設計された閾値より高いエリアを決定するように構成された後方追跡部と、
前記対象者の前記取得された外見情報と前記後方追跡部により決定された前記エリア内の前記監視画像データとの間のマッチング度を算出し、前記マッチング度が設定された閾値より高い場所を決定するように構成された認識部と、
前記人情報及び前記認識部により決定された前記場所に基づいて、前記第２の時間より時間的に前方に、マッチング度が前記設定された閾値より高い前記対象者の候補を追跡するように構成された前方追跡部と、
前記前方追跡部の結果に基づいて、前記対象者が前記第１の時間又は前記第２の時間より前記第１の時間に近い時間に存在する前記存在確率を推定するように構成された存在確率推定部と、
を備える、画像処理装置。 - 前記後方追跡部は、前記対象者が他の場所から前記検索開始点に移動する確率に基づいて、前記対象者が前記第１の時間より前の前記第２の時間において様々な場所に存在する確率を推定するように構成されている、
請求項１に記載の画像処理装置。 - 前記対象者が訪問した場所についての訪問場所情報を取得するように構成された訪問場所取得部を更に備え、
前記前方追跡部は、前記訪問場所情報を用いて場所が前記対象者により訪問される確率を推定するように構成されている、
請求項１又は２に記載の画像処理装置。 - 前記後方追跡部は、前記前方追跡部によって推定された前記場所を前記訪問場所情報として取得し、前記訪問場所情報に基づいて後方追跡を実行するように構成されている、
請求項３に記載の画像処理装置。 - 前記存在確率推定部は前記対象者が様々な場所に存在する存在確率を示すマップを出力するように構成されている、
請求項１～請求項４のいずれか一項に記載の画像処理装置。 - 前記外見情報は、衣服、ヘアスタイル、身長、及び顔画像を含む、請求項１～請求項５のいずれか一項に記載の画像処理装置。
- 前記特性情報は、年齢、性別及び国籍を含む、請求項１～請求項６のいずれか一項に記載の画像処理装置。
- 請求項１～請求項７のいずれか一項に記載の前記画像処理装置と、
閉じられた空間に設けられた複数の監視カメラと、を備える、人検索システム。 - 閉じられた空間に設けられた複数のカメラによってキャプチャされた監視画像データに基づいて対象者を検索する画像処理方法であって、
前記対象者の外見情報及び特性情報を含む人情報を取得し、
様々な時間における監視画像データを取得し、
前記対象者の前記人情報に基づいて、前記対象者が第１の時間において存在する確率が高い検索開始点を決定し、
前記人情報に基づいて、前記第１の時間より前の第２の時間において前記対象者が様々な場所に存在する存在確率を推定し、前記対象者の前記存在確率が設定された閾値より高いエリアを決定し、
前記取得された前記対象者の外見情報と前記決定されたエリア内の前記監視画像データとの間のマッチング度を算出し、前記マッチング度が設定された閾値より高い場所を決定し、
前記人情報及び前記マッチング度が設定された閾値によって決定された前記場所に基づいて、前記第２の時間より時間的に前方に、マッチング度が前記設定された閾値より高い前記対象者の候補を追跡し、
前記追跡の結果に基づいて、前記対象者が前記第１の時間に又は前記第２の時間より前記第１の時間に近い時間に存在する存在確率を推定することを含む、画像処理方法。 - 閉じられた空間に設けられた複数のカメラによってキャプチャされた監視画像データに基づいて、対象者を検索する画像処理方法をコンピュータに実行させる画像処理プログラムであって、前記画像処理方法は、
前記対象者の外見情報及び特性情報を含む人情報を取得し、
様々な時間における監視画像データを取得し、
前記対象者の前記人情報に基づいて第１の時間において前記対象者が存在する確率が高い検索開始点を決定し、
前記人情報に基づいて、前記対象者が前記第１の時間より前の第２の時間において様々な場所に存在する存在確率を推定し、前記対象者の前記存在確率が設定された閾値より高いエリアを決定し、
前記対象者の前記取得された外見情報と、前記決定されたエリア内の前記監視画像データとの間のマッチング度を算出し、前記マッチング度が設定された閾値より高い場所を決定し、
前記人情報及び前記マッチング度が設定された閾値によって決定された前記場所に基づいて、前記第２の時間より時間的に前方にマッチング度が前記設定された閾値よりも高い前記対象者の候補を追跡し、
前記追跡の結果に基づいて、前記対象者が前記第１の時間に又は前記第２の時間より前記第１の時間に近い時間に存在する存在確率を推定することを含む、画像処理プログラム。
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/JP2019/025708 WO2020261508A1 (en) | 2019-06-27 | 2019-06-27 | Image processing device, person search system, image processing method, and non-transitory computer readable medium |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2022535540A JP2022535540A (ja) | 2022-08-09 |
| JP7264283B2 true JP7264283B2 (ja) | 2023-04-25 |
Family
ID=74060107
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021571803A Active JP7264283B2 (ja) | 2019-06-27 | 2019-06-27 | 画像処理装置、人検索システム、画像処理方法、及び画像処理プログラム |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US20220343653A1 (ja) |
| JP (1) | JP7264283B2 (ja) |
| WO (1) | WO2020261508A1 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020205981A1 (en) * | 2019-04-05 | 2020-10-08 | Realnetworks, Inc. | Adaptive learning and matching of face modalities |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013101431A (ja) | 2011-11-07 | 2013-05-23 | Hitachi Kokusai Electric Inc | 類似画像検索システム |
| WO2014050518A1 (ja) | 2012-09-28 | 2014-04-03 | 日本電気株式会社 | 情報処理装置、情報処理方法および情報処理プログラム |
| WO2014148395A1 (ja) | 2013-03-21 | 2014-09-25 | 株式会社日立国際電気 | 映像監視システム、映像監視方法、および映像監視装置 |
| JP2017194798A (ja) | 2016-04-19 | 2017-10-26 | キヤノン株式会社 | 情報処理装置、情報処理方法及びプログラム |
-
2019
- 2019-06-27 WO PCT/JP2019/025708 patent/WO2020261508A1/en active Application Filing
- 2019-06-27 JP JP2021571803A patent/JP7264283B2/ja active Active
- 2019-06-27 US US17/620,793 patent/US20220343653A1/en active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013101431A (ja) | 2011-11-07 | 2013-05-23 | Hitachi Kokusai Electric Inc | 類似画像検索システム |
| WO2014050518A1 (ja) | 2012-09-28 | 2014-04-03 | 日本電気株式会社 | 情報処理装置、情報処理方法および情報処理プログラム |
| WO2014148395A1 (ja) | 2013-03-21 | 2014-09-25 | 株式会社日立国際電気 | 映像監視システム、映像監視方法、および映像監視装置 |
| JP2017194798A (ja) | 2016-04-19 | 2017-10-26 | キヤノン株式会社 | 情報処理装置、情報処理方法及びプログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2022535540A (ja) | 2022-08-09 |
| US20220343653A1 (en) | 2022-10-27 |
| WO2020261508A1 (en) | 2020-12-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11210527B2 (en) | Target object identifying device, target object identifying method and target object identifying program | |
| US8116534B2 (en) | Face recognition apparatus and face recognition method | |
| JP6854881B2 (ja) | 顔画像照合システムおよび顔画像検索システム | |
| US9892325B2 (en) | Image management system | |
| JP5061382B2 (ja) | 時系列データの識別装置および動画像への人物メタ情報付与装置 | |
| CN112016353A (zh) | 一种基于视频的人脸图像进行身份识别方法及装置 | |
| Widhalm et al. | Top in the lab, flop in the field? Evaluation of a sensor-based travel activity classifier with the SHL dataset | |
| JPWO2011145239A1 (ja) | 位置推定装置、位置推定方法及びプログラム | |
| KR20190118965A (ko) | 시선 추적 시스템 및 방법 | |
| JP2019020777A (ja) | 情報処理装置、及び、情報処理装置の制御方法、コンピュータプログラム、記憶媒体 | |
| JP7264283B2 (ja) | 画像処理装置、人検索システム、画像処理方法、及び画像処理プログラム | |
| JP2018067755A (ja) | 検出データ管理装置 | |
| US11501568B2 (en) | Information processing apparatus, person search system, place estimation method, and non-transitory computer readable medium storing program | |
| CN113570644B (zh) | 一种机场旅客定位方法、装置、电子设备及介质 | |
| JP2021190051A (ja) | 行動体特定システム | |
| Menon et al. | Biometrics driven smart environments: Abstract framework and evaluation | |
| Hassen | A Pragmatic Evaluation of Face Smile Detection | |
| CN114359646A (zh) | 一种视频分析方法、装置、系统、电子设备和介质 | |
| RU2578806C1 (ru) | Способ сравнения лица человека с помощью цифрового двумерного изображения лица либо с помощью изображения лица от одной или нескольких стереокамер с двумерным изображением лица из базы данных | |
| CN115620379B (zh) | 一种基于计算机视觉的商场寻人方法 | |
| JP2018195872A (ja) | 情報処理装置、情報処理システム、情報処理方法及びプログラム | |
| US11494942B2 (en) | Information processing device, information processing method, program, recording medium, and camera system | |
| JP7328401B2 (ja) | 入出場マッチングシステムの概念 | |
| WO2022079841A1 (ja) | グループ特定装置、グループ特定方法、及びコンピュータ読み取り可能な記録媒体 | |
| JP7218778B2 (ja) | 情報処理システム、方法およびプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211202 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211202 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221004 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221128 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230314 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230327 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 7264283 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |