JP6807335B2 - 安全検査の方法、システム及び機器 - Google Patents

Description

本出願は、出願番号がＣＮ２０１５１１０２０９３９.５であって、出願日が２０１５年１２月２９日である中国特許出願に基づいて提出し、当該中国特許出願の優先権を主張し、当該中国特許出願のすべての内容を本出願に援用する。

本発明は、安全検査の分野に関し、具体的には、人と荷物が対応付ける安全検査方法、システム及び機器。

現在、道路や鉄道駅などの公共場所の安全検査において、安全検査人員は、主に身元証明書などをチェックすることを通じて、被検者の身元を確認する。一般に、被検者の荷物は、特定の機器（例えば、安全検査機）から生成される放射線（例えば、Ｘ線）のスキャンにより生成されるスキャン画像を用いて検査される。同時に、場所内のビデオ監視システムは、検査領域のビデオを撮影して記憶する。

乗客身元確認、荷物検査、ビデオ監視情報が互いに独立しており、互いに関連されない。安全事故が発生した後、単一の検査結果（例えば、現場に残ったパーセルまたはビデオ監視システムにおける不審者の顔）に基づいて、他の関連情報を自動的に検索することが困難である。

したがって、新たな安全検査の方法及びシステムが求められている。
前記背景技術部分に開示される前記情報は、本開示の背景をよりよく理解するためのものに過ぎないので、当業者に対する公知の先行技術を構成しない情報を含むことができる。

本開示は、人と荷物の対応付けが実現できる安全検査の方法、システム及び機器を開示し、安全検査の情報の関連性及び使い易さを向上させることができる。

本開示の他の特性及び利点は、以下の詳細な説明によって明らかになり、あるいは、本開示の実施によって部分的に習得する。

本開示の第１態様によれば、安全検査の方法を提供し、当該方法は、荷物が安全検査機に入る前及び／又は前記安全検査機から離れた後に、前記荷物の荷物情報及び被検者の情報を採集するステップと、前記荷物が前記安全検査機に入ってスキャンされる時に、前記荷物の荷物スキャン画像を取得するステップと、記憶システムにおいて、前記荷物情報と、前記荷物スキャン画像と、前記被検者の情報とを関連付けるステップと、を含み、前記荷物の荷物情報及び前記被検者の情報を採集するステップは、ビデオを解析するステップを含む。

本開示の一実施形態によれば、前記荷物の荷物情報を採集するステップは、荷物ビデオを採集するステップと、前記荷物ビデオを解析して前記荷物の入口側荷物情報を取得するステップと、を含む。

本開示の一実施形態によれば、前記被検者の情報を採集するステップは、荷物取出ビデオを採集するステップと、前記荷物取出ビデオを解析して前記荷物を取出する被検者の情報を取得するステップと、を含む。

本開示の一実施形態によれば、前記荷物取出ビデオを解析して前記被検者の情報を取得するステップは、前記荷物取出ビデオを解析して前記安全検査機の出口側荷物情報及び被検者の情報を取得するステップと、前記出口側荷物情報と前記入口側荷物情報をマッチングして、前記安全検査機から離れた前記荷物を認識するステップと、を含む。

本開示の一実施形態によれば、前記荷物取出ビデオを解析して前記被検者の情報を取得するステップは、前記荷物が前記安全検査機に入る時間と、前記荷物が前記安全検査機から離れた時間とをマッチングして、前記安全検査機から離れた前記荷物を認識するステップと、前記荷物取出ビデオを解析して、前記荷物を取出した被検者の情報を取得するステップと、を含む。

本開示の一実施形態によれば、前記荷物の荷物スキャン画像を取得するステップは、計算された前記荷物のスキャン画像生成時間と実際のスキャン画像生成時間とをマッチングして、前記荷物スキャン画像を取得するステップを含む。

本開示の一実施形態によれば、前記ビデオを解析するステップは、ビデオストリームに対してデコードして単一のフレームを抽出するステップと、前記フレームの画像に対して関心領域と関心線を区画するステップと、前記関心領域内の動的物品を検出するステップと、前景図を取得して開閉処理を行うステップと、前記安全検査機から離れた後の動的物品が前記関心線を通過したと検出した場合、前のフレームの状態と比較し、キーフレームであるか否かを確認するステップと、キーフレームである場合、キーフレーム内の動的物品の荷物情報を保存して抽出するステップと、キーフレームではない場合、次のフレームを抽出するステップと、を含む。

本開示の一実施形態によれば、前記ビデオを解析するステップは、リアルタイムのビデオデータストリームを時間セグメントの単位で複数の時間セグメントのデータに分割するステップと、前記複数の時間セグメントのデータに対して並列処理を行うステップと、を含む。

本開示の一実施形態によれば、前記荷物情報と、前記荷物スキャン画像と、前記取出者情報とをサーバシステムに記憶するステップをさらに含む。
本開示の一実施形態によれば、前記荷物情報は、画像、色、サイズのうちの少なくとも一つを含む。

本開示の一実施形態によれば、前記取出者情報は、顔画像、取出ビデオクリップのうちの少なくとも一つを含む。

本開示の一実施形態によれば、前記スキャン画像は、Ｘ線透視画像である。

本開示の他の態様によれば、安全検査のシステムを提供し、当該安全検査のシステムは、荷物が安全検査機に入る前及び／又は前記安全検査機から離れた後に、前記荷物の荷物情報を採集するための荷物情報採集モジュールと、前記荷物が前記安全検査機に入ってスキャンされる時に、前記荷物の荷物スキャン画像を取得するための荷物スキャン画像取得モジュールと、前記荷物が前記安全検査機に入る前及び／又は前記安全検査機から離れた後に、前記荷物に対応する被検者の情報を採集するための被検者情報採集モジュールと、記憶システムにおいて前記荷物情報と、前記荷物スキャン画像と、前記被検者の情報とを関連付けるための関連付けモジュールと、ビデオ解析モジュールと、を含み、前記荷物情報採集モジュールと前記被検者情報採集モジュールは、前記ビデオ解析モジュールを利用してビデオを解析する。

本開示の一実施形態によれば、前記荷物情報採集モジュールは、荷物ビデオを採集するための荷物ビデオ採集ユニットと、前記荷物ビデオを解析して前記荷物の入口側荷物情報を取得するための荷物解析ユニットと、を含む。

本開示の一実施形態によれば、前記被検者情報採集モジュールは、荷物取出ビデオを採集するための荷物取出ビデオ採集ユニットと、前記荷物取出ビデオを解析して前記被検者の情報を取得するための荷物取出解析ユニットと、を含む。

本開示の一実施形態によれば、前記荷物取出解析ユニットは、前記荷物取出ビデオを解析して出口側荷物情報を取得するための荷物解析サブユニットと、前記荷物取出ビデオを解析して前記荷物を取出した被検者の情報を取得するための取出者解析サブユニットと、前記出口側荷物情報と前記入口側荷物情報をマッチングして前記安全検査機から離れた前記荷物を認識するための荷物マッチングサブユニットと、を含む。

本開示の一実施形態によれば、前記荷物取出解析ユニットは、前記荷物が前記安全検査機に入る時間と前記安全検査機から離れた時間とをマッチングして前記安全検査機から離れた前記荷物を認識するための第１の時間マッチングサブユニットと、前記荷物取出ビデオを解析して前記荷物を取出した被検者の情報を取得するための取出者解析サブユニットと、を含む。

本開示の一実施形態によれば、前記荷物スキャン画像取得モジュールは、計算された前記荷物のスキャン画像生成時間と実際のスキャン画像生成時間をマッチングして前記荷物スキャン画像を取得するための第２の時間マッチングユニットを含む。

本開示の一実施形態によれば、前記ビデオ解析モジュールは、ビデオストリームに対してデコードして単一のフレームを抽出するためのフレーム抽出ユニットと、前記フレームの画像に対して関心領域と関心線を区画するための区画ユニットと、前記関心領域内の動的物品を検出するための検出ユニットと、前景図を取得し、開閉処理を行うための開閉処理ユニットと、前記安全検査機から離れた動的物品が前記関心線を通過したと検出した場合、前のフレームの状態と比較し、キーフレームであるか否かを確認するためのキーフレーム判断ユニットと、キーフレームである場合、キーフレーム内の動的物品の荷物情報を保存して抽出するための荷物情報抽出ユニットと、を含む。

本開示の一実施形態によれば、前記ビデオ解析モジュールは、リアルタイムのビデオデータストリームを時間セグメントの単位で複数の時間セグメントのデータに分割するための時間セグメント分割ユニットと、前記複数の時間セグメントのデータに対して並列処理を行うための処理ユニットと、を含む。

本開示の一実施形態によれば、前記荷物情報と、前記荷物スキャン画像と、前記取出者情報とをサーバシステムに記憶するための記憶モジュールをさらに含む。

本開示の一実施形態によれば、前記荷物情報は、画像、色、サイズのうちの少なくとも一つを含む。

本開示の一実施形態によれば、前記被検者の情報は、顔画像、取出ビデオクリップのうちの少なくとも一つを含む。

本開示の一実施形態によれば、前記スキャン画像は、Ｘ線透視画像である。

本開示のさらに他の態様によれば、安全検査の機器を提供し、当該安全検査の機器は、カメラと、安全検査機とを含み、前記カメラは、前記安全検査機の入口側及び／又は出口側に設置されており、荷物が前記安全検査機に入る前及び／又は前記安全検査機から離れた後に、荷物ビデオと被検者ビデオを採集し、前記安全検査機は、その中に入る荷物をスキャンして荷物スキャン画像を生成する。

本開示の一実施形態によれば、前記カメラは、前記安全検査機の入口側に設置されており、荷物が前記安全検査機に入る前に、前記入口荷物ビデオを採集する第１のカメラと、 前記安全検査機の出口側に設置されており、荷物が前記安全検査機から離れた後に、前記荷物を取出した被検者ビデオを採集する第２のカメラと、を含む。

本開示の一実施形態によれば、制御ユニットをさらに含み、前記制御ユニットは、上記のようにいずれが１項に記載のシステムを含む。

本開示の安全検査の方法、システム及び機器によれば、被検者、持ち運び荷物の画像情報及び荷物Ｘ線透視画像を対応付け又はバインドすることによって、乗客、持ち運び荷物及びその荷物安全検査画像を関連付け、「人と荷物の対応付け」を実現し、被検者及び持ち運び荷物の安全検査の効率を大幅に向上させる。安全事項が発生した後、現場に残ったパーセルまたはビデオ監視システムにおける不審者の情報に基づいて、他の関連情報を自動的に検索することができ、安全検査情報の関連性及び使い易さを向上させることができる。

また、いくつかの実施例によれば、本開示に係る安全検査の方法、システム及び機器は、ビデオから荷物を抽出して荷物の属性を解析することができる。

他のいくつかの実施例によれば、本開示に係る安全検査の方法、システム及び機器は、ビデオの解析アルゴリズムの実行効率を向上させ、荷物認識及び顔認識の速度を高め、認識精度を向上させることができる。

なお、以上の一般的な説明及び以下の詳細な説明は、例示的なものに過ぎない、本開示を限定するものではない。

図面を参照して例示的な実施形態を詳細に説明し、本開示の上述及び他の特徴及び利点は、より明らかになる。
本開示に係る例示的な実施形態による安全検査の方法を模式的に示すフローチャートである。 図１に示される安全検査の方法におけるビデオ解析方法に基づくフローチャートである。 図１に示される安全検査の方法におけるビデオ解析処理に基づくフローチャートである。 本開示に係る例示的な実施形態による安全検査のシステムを模式的に示す構成図である。 図４に示される安全検査のシステムにおけるビデオ解析モジュールに基づく構成図である。 本開示に係る例示的な実施形態による安全検査の機器を模式的に示す構成図である。

以下、図面を参照して、例示的な実施例をより完全に説明する。しかしながら、例示的な実施例は、様々な形態で実施され、本明細書に記載の実施例に限定されるものとして理解されるべきではない。逆に、これらの実施例の提供は、本開示をより全面的且つ完全させ、例示的な実施例の構想を全面的に当業者に伝える。図面において、同一の符号が同一又は類似の部分を表しているので、重複の説明を省略する。

なお、説明される特徴、構成又は特性は、任意の適切な方式で一つ又は複数の実施例に組み合わせることができる。以下の説明において、多くの具体的な細部を提供することにより、本開示に係る実施例に対する完全の理解を提供する。しかしながら、当業者が理解すべきのは、特定の細部のうちの一つ又は複数がなくても本開示に係る技術案を実現でき、あるいは、他の方法、要素、材料、装置、ステップなどを採用することができる。他の場合には、本開示の各形態をあいまいすることを避けるように、周知の構成、方法、装置、実現、材料又は操作を詳しく表示や説明しない。

図面に示されるブロック図は、機能エンティティに過ぎない、必ずしも物理的に独立しているエンティティに対応する必要がない。即ち、ソフトウエアの形式でこれらの機能エンティティを実現し、あるいは、一つ又は複数のソフトウエア硬化のモジュールにおいて、これらの機能エンティティ又は機能エンティティの一部を実現し、あるいは、異なるネットワーク及び／又はプロセッサー装置及び／又はマイクロコントローラ装置において、これらの機能エンティティを実現してもよい。

図１は、本開示に係る例示的な実施形態による安全検査の方法を模式的に示すフローチャートである。

図１に示すように、ステップＳ１１０において、荷物が安全検査機に入る前及び／又は前記安全検査機から離れた後に、前記荷物の荷物情報及び被検者の情報を採集する。

例示的な実施例によれば、荷物が安全検査機に入る前及び／又は前記安全検査機から離れた後に、前記荷物の荷物情報及び被検者の情報を採集するステップは、荷物が安全検査機に入る前に、前記安全検査機の入口側に設置されるカメラにより前記荷物の荷物情報及び前記被検者の情報を採集するステップを含んでもよい。一つのカメラを用いて前記荷物の荷物情報及び前記被検者の情報を同時に採集し、画像処理を行うことによって、前記荷物情報及び前記被検者の情報をそれぞれ抽出してもよい、前記安全検査機の入口側に二つのカメラを設置し、一つのカメラにより前記被検者の情報を採集し、他の一つのカメラにより前記荷物の荷物情報を採集してもよい。

例示的な実施例によれば、荷物が安全検査機に入る前及び／又は前記安全検査機から離れた後に、前記荷物の荷物情報及び被検者の情報を採集するステップは、荷物が前記安全検査機から離れた後に、前記安全検査機の出口側に設置されるカメラにより荷物取出ビデオを採集し、前記荷物取出ビデオに対して解析を行うことにより、前記荷物の荷物情報及び前記被検者の情報を取得するステップを含んでもよい。

例示的な実施例によれば、荷物が安全検査機に入る前及び／又は前記安全検査機から離れた後に、前記荷物の荷物情報及び被検者の情報を採集するステップは、荷物が安全検査機に入る前に、前記荷物の入口側荷物情報を採集するステップと、前記荷物が前記安全検査機から離れた後に、前記荷物取出ビデオを採集し、前記荷物取出ビデオに対して解析を行うことにより、前記荷物の出口側荷物情報及び前記被検者の情報を取得すると共に、アルゴリズムにより（例えば、時間及び／又は荷物属性により）、前記入口側荷物情報及び前記出口側荷物情報をマッチングして、前記荷物情報を取得するステップと、を含んでもよい。

例示的な実施例によれば、荷物が安全検査機に入る前及び／又は前記安全検査機から離れた後に、前記荷物の荷物情報及び被検者の情報を採集するステップは、荷物が安全検査機に入る前に、前記安全検査機の入口側に設置されるカメラにより前記荷物の入口側荷物情報及び入口側の被検者の情報を採集するステップと、前記荷物が前記安全検査機から離れた後に、前記荷物取出ビデオを採集し、前記荷物取出ビデオに対して解析を行うことにより、前記荷物の出口側荷物情報及び出口側の被検者の情報を取得し、アルゴリズムにより前記入口側荷物情報及び前記出口側荷物情報、前記入口側の被検者の情報及び前記出口側の被検者の情報をそれぞれマッチングして、前記荷物情報及び前記被検者の情報をそれぞれ取得するステップと、を含んでもよい。

例示的な実施例によれば、上記の前記荷物の荷物情報を採集するステップは、荷物ビデオを採集するステップと、前記荷物ビデオを解析して前記荷物の入口側荷物情報を取得するステップと、を含む。

例示的な実施例によれば、上記の前記被検者の情報を採集するステップは、荷物取出ビデオを採集するステップと、前記荷物取出ビデオを解析して前記荷物を取出する被検者の情報を取得するステップと、を含む。

ステップＳ１２０において、前記荷物が前記安全検査機に入ってスキャンされる時に、前記荷物の荷物スキャン画像を取得する。

ステップＳ１３０において、記憶システムにおいて、前記荷物情報と、前記荷物スキャン画像と、前記被検者の情報とを関連付ける。ここで、前記荷物の荷物情報及び前記被検者の情報を採集するステップとは、ビデオを解析するステップを含む。

例示的な実施例によれば、上記の前記荷物取出ビデオを解析して前記被検者の情報を取得するステップは、前記荷物取出ビデオを解析して前記安全検査機の出口側荷物情報及び被検者の情報を取得するステップと、前記出口側荷物情報と前記入口側荷物情報をマッチングして、前記安全検査機から離れた前記荷物を認識するステップと、を含む。

例示的な実施例によれば、上記の前記荷物取出ビデオを解析して前記被検者の情報を取得するステップは、前記荷物が前記安全検査機に入る時間と、前記荷物が前記安全検査機から離れた時間とをマッチングして、前記安全検査機から離れた前記荷物を認識するステップと、前記荷物取出ビデオを解析して、前記荷物を取出した被検者の情報を取得するステップと、を含む。

例示的な実施例によれば、上記の前記荷物の荷物スキャン画像を取得するステップは、計算された前記荷物のスキャン画像生成時間と実際のスキャン画像生成時間とをマッチングして、前記荷物スキャン画像を取得するステップを含む。

例示的な実施例によれば、前記荷物情報と、前記荷物スキャン画像と、前記取出者の情報とをサーバシステムに記憶するステップをさらに含む。

例示的な実施例によれば、前記荷物情報は、画像、色、サイズのうちの少なくとも一つを含む。

例示的な実施例によれば、前記取出者の情報は、顔画像、取出ビデオクリップのうちの少なくとも一つを含む。前記顔画像の取得は、既存の任意の顔処理アルゴリズムを採用してもよい、ここで限定しない。

例示的な実施例によれば、前記スキャン画像は、Ｘ線透視画像である。

例示的な実施例によれば、被検者（例えば、地下鉄や鉄道の乗客）は、荷物パーセル（単に、「荷物」と称する）を前記安全検査機のコンベアベルト上に置き、前記安全検査機の入口に設置される第１のカメラは、前記荷物のビデオを採集し、システムサーバは、前記荷物ビデオを取得し、ビデオ解析アルゴリズムにより前記荷物ビデオを分析して、荷物の属性、例えば、荷物の色、サイズ、ネームプレート、古さ、材質などを含む前記荷物情報を解析する。その後、前記荷物は、前記安全検査機のコンベアベルトに伴って前記安全検査機に等速的に入り、前記安全検査機は、前記荷物をスキャンして、例えば、Ｘ線透視画像のような荷物スキャン画像を生成し、前記システムサーバは、前記荷物の前記Ｘ線透視画像を取得する。続いて、前記荷物は、前記安全検査機のコンベアベルトに伴って前に移動し続いて、前記安全検査機の出口から出て来て、前記荷物の安全検査は、完了する。前記被検者は、前記安全検査機のコンベアベルト上から自分の前記荷物を取出し、この時、前記安全検査機の出口に取り付けられる第２のカメラは、前記荷物及び前記荷物に対応する被検者のビデオ、例えば、被検者の顔ビデオを採集し、前記システムサーバは、当該ビデオを取得し、顔認識アルゴリズムにより前記被検者の顔画像を抽出する。さらに、前記システムサーバは、前記荷物情報（前記入口側荷物情報及び前記出口側荷物情報を含み、この両方をマッチングし）と、前記被検者の顔画像情報と、前記荷物のＸ線透視画像情報とをバインドや関連付ける。

例示的な実施例によれば、安全検査人員は、顔又は荷物の属性に基づいて他の関連情報を検索することができる（人から荷物を検索し、又は、荷物から人を検索し）。安全検査人員は、不審者を発見する場合、当該不審者の顔を検索することができる。検索した場合、当該不審者の当時の荷物ビデオ、画像及びＸ線透視画像情報を取得することができる。安全検査人員は、不審荷物を発見する場合、荷物の属性に基づいて不審者を検索することができる。検索した場合、当該不審者の顔情報及び荷物のＸ線透視画像情報を取得することができる。

図２は、図１に示される安全検査の方法におけるビデオ解析方法に基づくフローチャートである。

図２に示すように、ステップＳ２１０において、ビデオストリームに対してデコードして、単一のフレームを抽出する。

ステップＳ２２０において、前記フレームの画像に対して関心領域及び関心線を区画する。

例示的な実施例によれば、前記荷物ビデオを解析し、入力されたビデオストリームに対してデコードして、現在のフレームとして単一のフレームを抽出し、前記荷物との関連性に応じて、前記現在のフレームの画像に対して関心領域を区画する。例えば、荷物が置かれる時に、カメラは、前記被検者の手及び前記荷物の画像を同時に採集し、あるいは、前記荷物が前記安全検査機のコンベアベルトに伴って前へ前記安全検査機のリードカーテンドアまで移動する直前に、リードカーテンドアがちょうど回っているので、カメラが前記リードカーテンドアと前記荷物との画像を同時に採集でき、このように、前記フレームの画像から前記手又は前記リードカーテンドアの部分を除く必要があり、前記荷物のみを含む前記関心領域を区画する。

ステップＳ２３０において、前記関心領域内の動的物品を検出する。

ステップＳ２４０において、前景図を取得すると共に、開閉処理を行う。

例示的な実施例によれば、前記前景図の概念は、後景図及び背景図に対するものである。この三者は、互いに遮る役割である。後景図は、一番下にあり、背景図は、その上にあり、前景図は、表面にある。

例示的な実施例によれば、前記開閉処理は、モルフォロジーを利用する基本演算であり、画像に対して観察と処理を行い、画像品質を改善させる目的に達する。画像の各種の幾何パラメータ及び特徴、例えば、面積、周囲長、接続性、粒状性、スケルトン及び方向性を記述し定義する。

例示的な実施例によれば、２値画像のモルフォロジー演算を採用してもよいし、階調画像のモルフォロジー演算を採用してもよい。ここで、２値画像の基本的なモルフォロジー演算は、エロージョンとダイラテーションであり、前記エロージョンは、物体のすべての境界点を除去するプロセスであり、その結果、残される物体をその外周に沿って元の物体よりも一つの画素の面積だけ小さくする。物体が丸いである場合、その直径は、エロージョンされる毎に二つの画素だけ減少し、物体のある点で任意の方向に接続される画素が三つ未満である場合、この物体が一回のエロージョンされた後、この点で二つの物体に分裂される。前記ダイラテーション演算は、ある物体と接触しているすべての背景点を当該物体に合併させるプロセスである。プロセスの結果は、物体の面積が対応する数の点を増大するようになることである。物体が丸いである場合、その直径は、ダイラテーションされる毎に二つの画素だけ増大する。二つの物体がある点の任意の方向に三つの画素未満離れている場合、両方は、この点で接続する。

エロージョンは、画像における小さなノイズ領域を除去することができ、ダイラテーションは、物体における空洞を埋めることができる。一つの画像に対して、最初にエロージョン演算を行ってからダイラテーションを行う操作プロセスは、開演算と呼ばれ、小さな物体を除去すること、スリムポイントで物体を分離すること、大きな物体の境界を滑らかにする場合、その面積を大きく変化させないことができる。１つの画像に対して、最初にダイラテーションを行ってからエロージョンを行う操作は、閉演算と呼ばれ、物体内の小さな空洞を埋め、隣接の物体を接続し、物体の面積を大きく変化させない場合、その境界を滑らかにする効果を奏する。

通常、ノイズがある画像が閾値により２値化された後、得られる境界は、非常に滑らかではなく、物体の領域にいくつかの誤判された穴があり、背景領域には小さなノイズ物体がいくつか散在している。連続的な開演算と閉演算によりこの状況を著しく改善することができる。エロージョンのイテレーションを連続的に数回行った後、同じ回数のダイラテーションをさらに加え、所望の効果を達成することができる。上述の処理によって、画像におけるノイズ点を除去すると共に、境界を滑らかにする効果も奏する。

ステップＳ２５０において、処理された前記動的物品が前期関心線を通過したか否かを判断する。通過したと判断する場合、次のステップに進む。そうでない場合、ステップＳ２３０に戻る。

ステップＳ２６０において、現在のフレームと前のフレームの状態を比較する。

ステップＳ２７０において、上記の比較結果に基づいて、前記現在のフレームがキーフレームであるか否かを判断する。キーフレームであると判断する場合、次のステップに進む。そうでない場合、ステップＳ２１０に戻って次のフレームを抽出する。

ステップＳ２８０において、キーフレーム内の前記動的物品の荷物情報を保存して抽出する。

例示的な実施例によれば、以下のステップをさらに含み、即ち、前記フレームの画像に対して関心線を区画し、前記関心領域内の動的物品を検出し、前景図を取得して開閉処理を行い、処理された前記動的物品が前記関心線を通過したと検出した場合、現在のフレームと予め記憶された前のフレームの状態を比較する。ここで、前のフレームの状態は、例えば、前のフレームが前記関心線を通過したか否かであってもよい。前記前のフレームの状態が前記関心線を通過したことである場合、前記荷物の荷物情報が既に保存されたことを意味し、前記現在のフレームに対して荷物情報を保存して抽出する操作を行わなくてもよい。前記前のフレームの状態が前記関心線を通過しなかった場合、前記荷物の荷物情報が保存されないことを意味し、前記現在のフレームは、前記関心線を通過した第１のフレームであり、前記現在のフレームをキーフレームとして保存すると共に、前記キーフレーム内の前記動的物品の荷物情報を抽出する。このように、システムの記憶スペースを減少させ、アルゴリズムの処理速度を向上させることができ、同じ荷物に対して記憶と抽出を繰り返す必要がない。

図３は、図１に示される安全検査の方法におけるビデオ解析処理に基づくフローチャートである。

図３に示すように、ステップＳ３１０において、リアルタイムのビデオデータストリームを時間セグメントの単位で複数の時間セグメントのデータに分割する。

ステップＳ３２０において、前記複数の時間セグメントのデータに対して並列処理を行う。

例示的な実施例によれば、アルゴリズムの性能を向上させるために、ビッグデータ技術を採用して構築され、Ａｐａｃｈｅ Ｓｐａｒｋアーキテクチャーに配置する。Ｓｐａｒｋ Ｓｔｒｅａｍｉｎｇ技術によって、アルゴリズムの実行効率を向上させ、荷物認識と顔認識との速度を高め、認識精度を向上させ、且つ、大量のビデオ及び画像情報の記憶を実現することができる。Ｓｐａｒｋ Ｓｔｒｅａｍｉｎｇは、Ｓｐａｒｋに構築されるリアルタイムストリームのコンピューティングフレームワークであり、Ｓｐａｒｋの大規模なストリームデータの処理能力を拡張する。Ｓｐａｒｋ Ｓｔｒｅａｍｉｎｇの基本原理は、入力されたデータストリームを時間セグメント（秒レベル）の単位で分割し、その後、バッチ処理と類似する並列処理の方法で各時間セグメントのデータを処理する。ここで、ビデオストリームをリアルタイムストリームとして入力し、Ｓｐａｒｋ Ｓｔｒｅａｍｉｎｇ技術を利用してビデオ処理アルゴリズムをロードし、効率的なアルゴリズムの実行を実現する。もちろん、画像並列処理を実現できるための他の技術を採用してもよい、ここで限定しない。

本開示の例示的な実施形態に係る安全検査の方法は、ビッグデータ技術を利用してビデオ解析アルゴリズムの実行効率を向上させ、荷物認識と顔認識との速度を大幅に向上させ、認識精度を向上させることができる。

図４は、本開示に係る例示的な実施形態による安全検査のシステムを模式的に示す構成図である。

図４に示すように、当該システム４００は、荷物が安全検査機に入る前及び／又は前記安全検査機から離れた後に、前記荷物の荷物情報を採集するための荷物情報採集モジュール４１０と、前記荷物が前記安全検査機に入ってスキャンされる時に、前記荷物の荷物スキャン画像を取得するための荷物スキャン画像取得モジュール４２０と、前記荷物が前記安全検査機に入る前及び／又は前記安全検査機から離れた後に、前記荷物に対応する被検者の情報を採集するための被検者情報採集モジュール４３０と、記憶システムにおいて前記荷物情報と、前記荷物スキャン画像と、前記被検者の情報とを関連付けるための関連付けモジュール４５０と、ビデオ解析モジュール４４０と、を含む。前記荷物情報採集モジュール４１０と前記被検者情報採集モジュール４３０は、前記ビデオ解析モジュールを利用してビデオを解析する。

例示的な実施例によれば、前記荷物情報採集モジュール４１０は、荷物ビデオを採集するための荷物ビデオ採集ユニットと、前記荷物ビデオを解析して前記荷物の入口側荷物情報を取得するための荷物解析ユニットとを含む。

例示的な実施例によれば、前記被検者情報採集モジュール４３０は、荷物取出ビデオを採集するための荷物取出ビデオ採集ユニットと、前記荷物取出ビデオを解析して前記被検者の情報を取得するための荷物取出解析ユニットとを含む。

例示的な実施例によれば、前記荷物取出解析ユニットは、前記荷物取出ビデオを解析して出口側荷物情報を取得するための荷物解析サブユニットと、前記荷物取出ビデオを解析して前記荷物を取出した被検者の情報を取得するための取出者解析サブユニットと、前記出口側荷物情報と前記入口側荷物情報とをマッチングして前記安全検査機から離れた前記荷物を認識するための荷物マッチングサブユニットと、を含む。

例示的な実施例によれば、前記荷物取出解析ユニットは、前記荷物が前記安全検査機に入る時間と前記安全検査機から離れた時間とをマッチングして前記安全検査機から離れた前記荷物を認識するための第１の時間マッチングサブユニットと、前記荷物取出ビデオを解析して前記荷物を取出した被検者の情報を取得するための取出者解析サブユニットとを含む。

例示的な実施例によれば、前記荷物スキャン画像取得モジュール４２０は、計算された前記荷物のスキャン画像生成時間と実際のスキャン画像生成時間とをマッチングして前記荷物スキャン画像を取得するための第２の時間マッチングユニットを含む。

例示的な実施例によれば、前記ビデオ解析モジュール４４０は、リアルタイムのビデオデータストリームを時間セグメントの単位で複数の時間セグメントのデータに分割するための時間セグメント分割ユニットと、前記複数の時間セグメントのデータに対して並列処理を行うための処理ユニットとを含む。

例示的な実施例によれば、前記荷物情報と、前記荷物スキャン画像と、前記取出者情報とをサーバシステムに記憶するための記憶モジュールをさらに含む。

例示的な実施例によれば、前記荷物情報は、画像、色、サイズのうちの少なくとも一つを含む。

例示的な実施例によれば、前記被検者の情報は、顔画像、取出ビデオクリップのうちの少なくとも一つを含む。

例示的な実施例によれば、前記スキャン画像は、Ｘ線透視画像である。

前記実施例における装置については、各モジュールの実行操作の具体的な手段が当該方法に関する実施例において詳細に説明したので、ここで詳細に説明しない。

図５は、図４に示される安全検査のシステムにおけるビデオ解析モジュール４４０に基づく構成図である。

図５に示すように、ビデオ解析モジュール４４０は、ビデオストリームに対してデコードして単一のフレームを抽出するためのフレーム抽出ユニット５１０と、前記フレームの画像に対して関心領域と関心線を区画するための区画ユニット５２０と、前記関心領域内の動的物品を検出するための検出ユニット５３０と、前景図を取得して開閉処理を行うための開閉処理ユニット５４０と、前記安全検査機から離れた動的物品が前記関心線を通過したと検出した場合、前のフレームの状態と比較し、キーフレームであるか否かを確認するためのキーフレーム判断ユニット５５０と、キーフレームである場合、キーフレーム内の動的物品の荷物情報を保存して抽出するための荷物情報抽出ユニット５６０と、を含む。

図６は、本開示に係る例示的な実施形態による安全検査の機器６００を模式的に示す構成図である。

図６に示すように、当該機器６００は、カメラ（６３０、６４０）と安全検査機６１０を含む。ここで、前記カメラ（６３０、６４０）は、前記安全検査機６１０の入口側及び／又は出口側に設置されており、荷物が前記安全検査機６１０に入る前及び／又は前記安全検査機６１０から離れた後に、荷物ビデオと、被検者ビデオとを採集する。前記安全検査機６１０は、その中に入る荷物をスキャンして荷物スキャン画像を生成する。

例示的な実施例によれば、前記カメラ６３０は、前記安全検査機の入口側に設置してもよい、荷物が安全検査機に入る前に、前記カメラにより前記荷物の荷物情報と前記被検者の情報を採集する。ここで、一つのカメラを用いて前記荷物の荷物情報と前記被検者の情報を同時に採集し、画像処理を行うことによって、前記荷物情報及び前記被検者の情報をそれぞれ抽出してもよいし、前記安全検査機の入口側に二つのカメラを設置し、一つのカメラにより前記被検者の情報を採集し、他の一つのカメラにより前記荷物の荷物情報を採集してもよい。

例示的な実施例によれば、前記カメラ６４０は、前記安全検査機の出口側に設置してもよい、荷物が前記安全検査機から離れた後に、前記安全検査機のカメラにより荷物取出ビデオを採集し、前記荷物取出ビデオに対して解析を行うことにより、前記荷物の荷物情報と前記被検者の情報を取得する。

例示的な実施例によれば、前記カメラは、第１のカメラ６３０と第２のカメラ６４０を含む。ここで、前記第１のカメラ６３０は、前記安全検査機６１０の入口側に設置されており、荷物が前記安全検査機６１０に入る前に、前記入口荷物ビデオを採集する。前記第２のカメラ６４０は、前記安全検査機６１０の出口側に設置されており、前記荷物が前記安全検査機６１０から離れた後に、前記荷物取出ビデオを採集し、前記荷物取出ビデオに対して解析を行うことによって、前記荷物の出口側荷物情報と前記被検者の情報を取得すると共に、アルゴリズムにより（例えば、時間及び／又は荷物属性により）、前記入口側荷物情報及び前記出口側荷物情報をマッチングして、前記荷物情報を取得する。

例示的な実施例によれば、荷物が前記安全検査機６１０に入る前に、前記安全検査機の入口側に設置される前記第１のカメラ６３０により、前記荷物の入口側荷物情報と入口側の被検者の情報を採集する。前記荷物が前記安全検査機６１０から離れた後に、前記安全検査機の出口側に設置される前記第２のカメラ６４０により、前記荷物取出ビデオを採集し、前記荷物取出ビデオに対して解析を行うことによって、前記荷物の出口側荷物情報と出口側の被検者の情報を取得し、アルゴリズムにより前記入口側荷物情報及び前記出口側荷物情報、前記入口側の被検者の情報及び前記出口側の被検者の情報をそれぞれマッチングして、前記荷物情報と前記被検者の情報をそれぞれ取得する。

例示的な実施例によれば、前記第１のカメラ６３０と前記第２のカメラ６４０は、数量を制限するものではない、前記第１のカメラ６３０は、一つのカメラでもよい、複数のカメラを含んでもよい。同様に、前記第２のカメラ６４０は、一つのカメラでもよい、複数のカメラを含んでもよい。図面における前記カメラは、前記安全検査機６１０の上に取り付けられているが、実際には、前記カメラは、前記安全検査機６１０の入口側及び／又は出口側の任意の位置、例えば、地下鉄又は鉄道駅のゲートの入口に取り付けられてもよい、監視領域内の人及び／又は物のビデオ又は画像情報を撮影できればよい、本発明は、限定しない。

例示的な実施例によれば、前記安全検査機６１０は、Ｘ線装置ヘッド６２０と、リードカーテンドア６５０と、コンベアベルト６６０とをさらに含む。

例示的な実施例によれば、前記荷物取出ビデオには、前記荷物６７０と被検者６８０が含まれる。

例示的な実施例によれば、前記被検者６８０は、前記荷物６７０を前記安全検査機６１０の前記コンベアベルト６６０に置き、前記第１のカメラ６３０は、前記荷物６７０のビデオを採集する。ビデオ解析アルゴリズムにより前記荷物６７０のビデオ画像を分析して、荷物属性を取得する。前記荷物６７０が前記コンベアベルト６６０に前記安全検査機６１０の入口側の前記リードカーテンドア６５０まで移動する場合、前記ビデオ解析アルゴリズムによりこの位置点を検出し、この時刻ｔ１を記録する。前記安全検査機６１０の前記リードカーテンドア６５０から前記安全検査機６１０の前記Ｘ線装置ヘッド６２０までの水平距離ｓ、及び前記安全検査機６１０の前記コンベアベルト６６０の移動速度ｖに基づいて、前記荷物６７０のＸ線透視画像の生成時間ｔ２（ｔ２＝ ｔ１＋ｓ／ｖ）を計算する。したがって、時刻ｔ２のＸ線透視画像は、当該荷物を示す。前記安全検査機６１０の出口側では、前記ビデオ解析アルゴリズムにより前記荷物６７０の画像と前記被検者６８０の顔情報を検出する。

例示的な実施例によれば、前記ビデオ解析アルゴリズムは、出入口の荷物画像に基づいてマッチングして、前記被検者６８０の顔画像を抽出する。

例示的な実施例によれば、前記安全検査機６１０の入口側の前記リードカーテンドア６５０から前記安全検査機６１０の前記Ｘ線装置ヘッド６２０までの水平距離Ｓ、及び前記安全検査機６１０の前記コンベアベルト６６０の移動速度ｖとに基づいて、前記荷物６７０が前記安全検査機６１０の出口側から出る時間ｔ３（ｔ３＝ ｔ１＋Ｓ／ｖ）を計算し、前記入口荷物と前記出口荷物をマッチングしてもよい。入口で採集された荷物画像と、時刻ｔ２の荷物Ｘ線透視画像と、出口の前記被検者６８０の顔画像とを対応付け又はバインドを行う。

例示的な実施例によれば、前記荷物６７０が前記安全検査機６１０の出口側の前記リードカーテンドア６５０に到着する時刻ｔ３を記録し、前記安全検査機６１０の出口側の前記リードカーテンドア６５０から前記安全検査機６１０の前記Ｘ線装置ヘッド６２０までの水平距離Ｓ１、及び前記安全検査機６１０の前記コンベアベルト６６０の移動速度ｖに基づいて、前記荷物６７０が前記安全検査機６１０の前記Ｘ線装置ヘッド６２０に到着する時間ｔ２（ｔ２＝ｔ３−Ｓ１／ｖ）を計算してもよい。出口で採集された荷物画像と、時刻ｔ２の荷物Ｘ線透視画像と、出口の前記被検者６８０の顔画像とを対応付け又はバインドを行う。

例示的な実施例によれば、制御ユニットをさらに含み、前記制御ユニットは、上記のようにいずれか一項に記載の前記システムを含む。

図１は、本開示に係る例示的な実施形態による安全検査の方法を示すフローチャートである。この方法は、例えば、図４、図５又は図６に示される安全検査のシステム及び機器を利用して実現できるが、本開示は、これに限定しない。なお、図１、図２及び図３は、本開示に係る例示的な実施形態の方法に含まれる処理を模式的に説明するものに過ぎない、目的を制限するものではない。図１、図２及び図３に示される処理がこれらの処理の時間順序を表示又は制限しないことを容易に理解するべきである。なお、これらの処理が例えば、複数のモジュール／プロセス／スレッドにおいて同期又は非同期に実行されることも容易に理解するべきである。

以上の実施形態の説明によって、当業者は、本明細書に記載される例示的な実施形態がソフトウエアにより実現してもよい、ソフトウエアと必要なハードウエアとを結合して実現してもよいことを容易に理解するべきである。したがって、本開示に係る実施形態に基づく技術案は、不揮発性記憶媒体（ＣＤ−ＲＯＭ、Ｕディスク、モバイルハードディスクなどであってもよい）又はネットワークに記憶されたソフトウエア製品で体現してもよい、本開示に係る実施形態による方法をコンピュータ（パーソナルパソコン、サーバ、モバイル端末、又はネットワーク機器などであってもよい）に実行させる複数の指令を含む。

当業者は、図面が例示的な実施形態の模式図に過ぎない、図面におけるモジュール又はフローが本開示の実施に必須ではないことを理解するべきであり、本開示の保護範囲を限定しない。

当業者は、上述の各モジュールが実施形態の説明に従って装置に分布されてもよい、対応的な変更を行って本実施形態と異なる一つ又は複数の装置に配置されてもよいことを理解するべきである。上述の実施形態のモジュールは、一つのモジュールに合併してもよい、複数のサブモジュールに分割してもよい。

以上、本開示に係る例示的な実施形態を具体的に説明した。本開示が開示される実施形態に限定されないことを理解するべきである。逆に、本開示は、添付される請求の範囲の主旨と範囲に含まれる様々な変更や同等の置換を含むことを意図する。

Claims (16)

1. 荷物が安全検査機に入る前及び前記安全検査機から離れた後に、前記荷物の荷物情報及び被検者の情報を採集するステップと、
   前記荷物が前記安全検査機に入ってスキャンされる時に、前記荷物の荷物スキャン画像を取得するステップと、
   記憶システムにおいて、前記荷物情報と、前記荷物スキャン画像と、前記被検者の情報とを関連付けるステップと、を含み、
   前記荷物の荷物情報及び前記被検者の情報を採集するステップは、ビデオを解析するステップを含み、
   前記荷物の荷物スキャン画像を取得するステップは、
   前記荷物の前記安全検査機の入口側に位置する時刻、該入口側の位置と前記荷物がスキャンされる時の位置との距離、及び前記荷物の前記安全検査機内で移動する速度に基づいて、前記荷物がスキャンされるスキャン画像生成時刻を計算するステップを含み、
   前記荷物の荷物情報を採集するステップは、
   荷物ビデオを採集するステップと、
   前記荷物ビデオを解析して前記荷物の入口側荷物情報を取得するステップと、を含み、
   前記被検者の情報を採集するステップは、
   荷物取出ビデオを採集するステップと、
   前記荷物取出ビデオを解析して前記荷物を取出する被検者の情報を取得するステップと、を含み、
   前記荷物取出ビデオを解析して前記被検者の情報を取得するステップは、
   前記荷物取出ビデオを解析して前記安全検査機の出口側荷物情報及び前記被検者の情報を取得するステップと、
   前記出口側荷物情報と前記入口側荷物情報をマッチングして、前記安全検査機から離れた前記荷物を認識するステップと、を含む
   ことを特徴とする安全検査の方法。
2. 前記荷物取出ビデオを解析して前記被検者の情報を取得するステップは、
   前記荷物が前記安全検査機に入る時間と、前記荷物が前記安全検査機から離れた時間とをマッチングして、前記安全検査機から離れた前記荷物を認識するステップと、
   前記荷物取出ビデオを解析して、前記荷物を取出した被検者の情報を取得するステップと、を含む
   請求項１に記載の安全検査の方法。
3. 前記ビデオを解析するステップは、
   ビデオストリームに対してデコードして単一のフレームを抽出するステップと、
   前記フレームの画像に対して注目領域と注目線を区画するステップと、
   前記注目領域内の動的物品を検出するステップと、
   正面図を取得して開閉処理を行うことで前記正面図の画像品質を改善するステップと、
   前記安全検査機から離れた後の動的物品が前記注目線を通過したと検出した場合、前のフレームの状態と比較し、キーフレームであるか否かを確認するステップと、
   キーフレームである場合、キーフレーム内の動的物品の荷物情報を保存して抽出するステップと、
   キーフレームではない場合、次のフレームを抽出するステップと、を含む
   請求項１に記載の安全検査の方法。
4. 前記ビデオを解析するステップは、
   リアルタイムのビデオデータストリームを時間セグメントの単位で複数の時間セグメントのデータに分割するステップと、
   前記複数の時間セグメントのデータに対して並列処理を行うステップと、を含む
   請求項１に記載の安全検査の方法。
5. 前記荷物情報と、前記荷物スキャン画像と、取出者情報とをサーバシステムに記憶するステップをさらに含む
   請求項１に記載の安全検査の方法。
6. 前記荷物情報は、画像、色、サイズのうちの少なくとも一つを含む
   請求項１に記載の安全検査の方法。
7. 前記取出者情報は、顔画像、取出ビデオクリップのうちの少なくとも一つを含む
   請求項１に記載の安全検査の方法。
8. 前記スキャン画像は、Ｘ線透視画像である請求項１に記載の安全検査の方法。
9. 荷物が安全検査機に入る前及び前記安全検査機から離れた後に、前記荷物の荷物情報を採集するための荷物情報採集モジュールと、
   前記荷物が前記安全検査機に入ってスキャンされる時に、前記荷物の荷物スキャン画像を取得するための荷物スキャン画像取得モジュールと、
   前記荷物が前記安全検査機に入る前及び前記安全検査機から離れた後に、前記荷物に対応する被検者の情報を採集するための被検者情報採集モジュールと、
   記憶システムにおいて前記荷物情報と、前記荷物スキャン画像と、前記被検者の情報とを関連付けるための関連付けモジュールと、
   ビデオ解析モジュールと、を含み、
   前記荷物情報採集モジュールと前記被検者情報採集モジュールは、前記ビデオ解析モジュールを利用してビデオを解析し、
   前記荷物スキャン画像取得モジュールは、前記荷物の前記安全検査機の入口側に位置する時刻、該入口側の位置と前記荷物がスキャンされる時の位置との距離、及び前記荷物の前記安全検査機内で移動する速度に基づいて、前記荷物がスキャンされるスキャン画像生成時刻を計算するための第２の時間マッチングユニットを含み、
   前記荷物情報採集モジュールは、
   荷物ビデオを採集するための荷物ビデオ採集ユニットと、
   前記荷物ビデオを解析して前記荷物の入口側荷物情報を取得するための荷物解析ユニットと、を含み、
   前記被検者情報採集モジュールは、
   荷物取出ビデオを採集するための荷物取出ビデオ採集ユニットと、
   前記荷物取出ビデオを解析して前記被検者の情報を取得するための荷物取出解析ユニットと、を含み、
   前記荷物取出解析ユニットは、
   前記荷物取出ビデオを解析して出口側荷物情報を取得するための荷物解析サブユニットと、
   前記荷物取出ビデオを解析して前記荷物を取出した被検者の情報を取得するための取出者解析サブユニットと、
   前記出口側荷物情報と前記入口側荷物情報をマッチングして前記安全検査機から離れた前記荷物を認識するための荷物マッチングサブユニットと、を含む
   ことを特徴とする安全検査のシステム。
10. 前記荷物取出解析ユニットは、
    前記荷物が前記安全検査機に入る時間と前記安全検査機から離れた時間とをマッチングして前記安全検査機から離れた前記荷物を認識するための第１の時間マッチングサブユニットと、
    前記荷物取出ビデオを解析して前記荷物を取出した被検者の情報を取得するための取出者解析サブユニットと、を含む
    請求項９に記載の安全検査のシステム。
11. 前記ビデオ解析モジュールは、
    ビデオストリームに対してデコードして単一のフレームを抽出するためのフレーム抽出ユニットと、
    前記フレームの画像に対して関心領域と関心線を区画するための区画ユニットと、
    前記関心領域内の動的物品を検出するための検出ユニットと、
    前景図を取得し、開閉処理を行うための開閉処理ユニットと、
    前記安全検査機から離れた動的物品が前記関心線を通過したと検出した場合、前のフレームの状態と比較し、キーフレームであるか否かを確認するためのキーフレーム判断ユニットと、
    キーフレームである場合、キーフレーム内の動的物品の荷物情報を保存して抽出するための荷物情報抽出ユニットと、を含む
    請求項９に記載の安全検査のシステム。
12. 前記ビデオ解析モジュールは、
    リアルタイムのビデオデータストリームを時間セグメントの単位で複数の時間セグメントのデータに分割するための時間セグメント分割ユニットと、
    前記複数の時間セグメントのデータに対して並列処理を行うための処理ユニットと、を含む
    請求項９に記載の安全検査のシステム。
13. 前記荷物情報と、前記荷物スキャン画像と、前記取出者情報とをサーバシステムに記憶するための記憶モジュールをさらに含む請求項９に記載の安全検査のシステム。
14. 前記荷物情報は、画像、色、サイズのうちの少なくとも一つを含む請求項９に記載の安全検査のシステム。
15. 前記被検者の情報は、顔画像、取出ビデオクリップのうちの少なくとも一つを含む請求項９に記載の安全検査のシステム。
16. 前記スキャン画像は、Ｘ線透視画像である請求項９に記載の安全検査のシステム。

Images