JP7034827B2

JP7034827B2 - Monitoring method

Info

Publication number: JP7034827B2
Application number: JP2018097137A
Authority: JP
Inventors: 佑典田副; 廣大齊藤; 俊雄佐藤
Original assignee: Toshiba Corp; Toshiba Infrastructure Systems and Solutions Corp
Current assignee: Toshiba Corp; Toshiba Infrastructure Systems and Solutions Corp
Priority date: 2018-05-21
Filing date: 2018-05-21
Publication date: 2022-03-14
Anticipated expiration: 2038-05-21
Also published as: JP2019205002A

Description

本発明の実施形態は、監視方法に関する。 Embodiments of the present invention relate to monitoring methods.

人物を撮像して得られる動画像から、人物の顔を検出し、検出した人物の顔を追跡し、その追跡結果から、人物の顔のベストショット画像を選択し、選択したベストショット画像を用いて人物の認証処理を実行する技術が開発されている。 The face of the person is detected from the moving image obtained by imaging the person, the face of the detected person is tracked, the best shot image of the face of the person is selected from the tracking result, and the selected best shot image is used. Technology has been developed to execute person authentication processing.

特開２０１７－３３１３２号公報Japanese Unexamined Patent Publication No. 2017-33132 特開２０１６－１５７１６５号公報Japanese Unexamined Patent Publication No. 2016-157165 特開２０１３－６５１１８号公報Japanese Unexamined Patent Publication No. 2013-65118

しかしながら、上記の技術では、人物の顔のベストショット画像の選択に際して、人物の認証処理に適した人物の顔が選択されない場合があり、人物の認証処理の分野において、人物の認証処理に最適な画像を選択することに対して有効な選択方法が確立されていない。 However, in the above technique, when selecting the best shot image of a person's face, a person's face suitable for the person's authentication process may not be selected, which is most suitable for the person's authentication process in the field of person's authentication process. No effective selection method has been established for selecting images.

実施形態の監視方法は、監視装置で実行され、撮像部により所定位置の人物を撮像して得られる動画像を取得し、動画像を構成するフレームに含まれる人物画像を検出し、連続するフレーム間で同一人物の人物画像を追跡し、同一人物の人物画像の中から、第１指標に基づいて、ベストショット画像を選択する第１選択処理を実行し、第１選択処理により選択されるベストショット画像の信頼度を算出し、第１選択処理により選択されるベストショット画像の信頼度が第１閾値より低い場合、同一人物の人物画像の中から、第２指標に従って、ベストショット画像を選択する第２選択処理を実行し、第１選択処理により選択されるベストショット画像の信頼度が第１閾値以上である場合、第１選択処理により選択されるベストショット画像と、予め登録される人物画像と、を用いて、人物の認証処理を実行し、第１選択処理により選択されるベストショット画像の信頼度が第１閾値より低い場合、第２選択処理により選択されるベストショット画像と、予め登録された人物画像と、を用いて、人物の認証処理を実行し、人物の認証処理の実行結果を表示する、ことを含む、第２指標は、深層学習を用いて算出される、認証処理に適した指標である。 The monitoring method of the embodiment is executed by a monitoring device, acquires a moving image obtained by imaging a person at a predetermined position by an imaging unit, detects a person image included in a frame constituting the moving image, and continuously frames. The best shot image selected by the first selection process is executed by tracking the person image of the same person among them and selecting the best shot image from the person images of the same person based on the first index. When the reliability of the shot image is calculated and the reliability of the best shot image selected by the first selection process is lower than the first threshold value, the best shot image is selected from the person images of the same person according to the second index. When the reliability of the best shot image selected by the first selection process is equal to or higher than the first threshold value, the best shot image selected by the first selection process and the person registered in advance are executed. When the reliability of the best shot image selected by the first selection process is lower than the first threshold value when the person authentication process is executed using the image, the best shot image selected by the second selection process and The second index, which includes executing a person authentication process using a pre-registered person image and displaying the execution result of the person authentication process, is calculated using deep learning, authentication. It is an index suitable for processing.

図１は、第１の実施形態にかかる監視システムの構成の一例を示す図である。FIG. 1 is a diagram showing an example of the configuration of the monitoring system according to the first embodiment. 図２は、第１の実施形態にかかる監視システムにおける人物の認証処理の流れの一例を示すフローチャートである。FIG. 2 is a flowchart showing an example of the flow of the person authentication process in the monitoring system according to the first embodiment. 図３は、第２の実施形態にかかる監視システムの構成の一例を示す図である。FIG. 3 is a diagram showing an example of the configuration of the monitoring system according to the second embodiment. 図４は、第２の実施形態にかかる監視システムにおける人物の認証処理の流れの一例を示すフローチャートである。FIG. 4 is a flowchart showing an example of the flow of the person authentication process in the monitoring system according to the second embodiment.

以下、添付の図面を用いて、本実施形態にかかる監視方法を適用した監視システムについて説明する。 Hereinafter, a monitoring system to which the monitoring method according to the present embodiment is applied will be described with reference to the attached drawings.

（第１の実施形態）
図１は、第１の実施形態にかかる監視システムの構成の一例を示す図である。本実施形態にかかる監視システムは、ＵＩ（User Interface）１１と、撮像部１２と、監視装置１３と、を備える。ＵＩ１１および撮像部１２は、バス２０１を介して、監視装置１３に接続されている。 (First Embodiment)
FIG. 1 is a diagram showing an example of the configuration of the monitoring system according to the first embodiment. The monitoring system according to the present embodiment includes a UI (User Interface) 11, an imaging unit 12, and a monitoring device 13. The UI 11 and the imaging unit 12 are connected to the monitoring device 13 via the bus 201.

ＵＩ１１は、表示装置１１１と、入力装置１１２と、を有する。表示装置１１１は、ＣＲＴ（Cathode Ray Tube）ディスプレイ、液晶ディスプレイ、有機ＥＬディスプレイ、プラズマディスプレイ等であり、各種画像を表示する。 The UI 11 has a display device 111 and an input device 112. The display device 111 is a CRT (Cathode Ray Tube) display, a liquid crystal display, an organic EL display, a plasma display, or the like, and displays various images.

入力装置１１２は、キーボード、マウス、スイッチ、マイク等であり、ユーザが各種操作指示を入力可能である。また、ＵＩ１１は、表示装置１１１および入力装置１１２の両方の機能を有するタッチパネルであっても良い。 The input device 112 is a keyboard, a mouse, a switch, a microphone, or the like, and the user can input various operation instructions. Further, the UI 11 may be a touch panel having the functions of both the display device 111 and the input device 112.

撮像部１１３は、デジタルカメラ等であり、所定位置（例えば、駅の通路）を通過する認証対象物（例えば、人物の顔）を撮像可能に設けられる。そして、撮像部１１３は、所定位置を撮像して得られる動画像（撮像画像）を監視装置１３に出力する。本実施形態では、撮像部１１３は、所定位置を通過する人物の顔を正面から撮像可能に設けられる監視カメラである。 The image pickup unit 113 is a digital camera or the like, and is provided so as to be able to take an image of an authentication target object (for example, a person's face) passing through a predetermined position (for example, a passage of a station). Then, the image pickup unit 113 outputs a moving image (captured image) obtained by imaging a predetermined position to the monitoring device 13. In the present embodiment, the imaging unit 113 is a surveillance camera provided so that the face of a person passing through a predetermined position can be imaged from the front.

監視装置１３は、撮像部１１３から出力される動画像を用いて、所定位置を通過する人物の認証処理を実行する。本実施形態では、監視装置１３は、第１処理部１３１、第２処理部１３２、記憶部１３３、および通信部１３４を有する。第１処理部１３１、第２処理部１３２、記憶部１３３、および通信部１３４は、バス２０１を介して、互いに接続されている。 The monitoring device 13 executes an authentication process for a person passing through a predetermined position using a moving image output from the imaging unit 113. In the present embodiment, the monitoring device 13 has a first processing unit 131, a second processing unit 132, a storage unit 133, and a communication unit 134. The first processing unit 131, the second processing unit 132, the storage unit 133, and the communication unit 134 are connected to each other via the bus 201.

記憶部１３３は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等であり、後述する第１処理部１３１および第２処理部１３２により実行されるプログラム等の各種情報を記憶する。また、記憶部１３３は、第１処理部１３１および第２処理部１３２の作業領域として機能する。記憶部１３３は、複数の記憶媒体によって構成されていても良い。 The storage unit 133 is an HDD (Hard Disk Drive), SSD (Solid State Drive), ROM (Read Only Memory), RAM (Random Access Memory), etc., and is described by the first processing unit 131 and the second processing unit 132, which will be described later. Stores various information such as the program to be executed. Further, the storage unit 133 functions as a work area of the first processing unit 131 and the second processing unit 132. The storage unit 133 may be composed of a plurality of storage media.

通信部１３４は、有線または無線で接続される外部装置と各種情報を送受信するためのインタフェースである。 The communication unit 134 is an interface for transmitting and receiving various information to and from an external device connected by wire or wirelessly.

第１処理部１３１は、ＣＰＵ（Central Processing Unit）等のプロセッサであり、記憶部１３３に記憶されるプログラムを実行することによって、画像取得部１３５、検出部１３６、追跡部１３７、第１計算部１３８、第１判定部１３９、および照合部１４０を実現する。第２処理部１３２は、ＧＰＵ（Graphics Processing Unit）等のプロセッサであり、記憶部１３３に記憶されるプログラムを実行することによって、第２計算部１４１を実現する。 The first processing unit 131 is a processor such as a CPU (Central Processing Unit), and by executing a program stored in the storage unit 133, the image acquisition unit 135, the detection unit 136, the tracking unit 137, and the first calculation unit 138, the first determination unit 139, and the collation unit 140 are realized. The second processing unit 132 is a processor such as a GPU (Graphics Processing Unit), and realizes the second calculation unit 141 by executing a program stored in the storage unit 133.

本実施形態では、画像取得部１３５、検出部１３６、追跡部１３７、第１計算部１３８、第１判定部１３９、照合部１４０、および第２計算部１４１は、異なるプロセッサにより実現されているが、１つのプロセッサにより実現されても良い。また、本実施形態では、画像取得部１３５、検出部１３６、追跡部１３７、第１計算部１３８、第１判定部１３９、照合部１４０、および第２計算部１４１は、回路基板に実装されるプロセッサがプログラムを実行することにより実現されているが、ＩＣ（Integrated Circuit）等のハードウェアにより実現しても良いし、ソフトウェアとハードウェアの協働により実現されても良い。 In the present embodiment, the image acquisition unit 135, the detection unit 136, the tracking unit 137, the first calculation unit 138, the first determination unit 139, the collation unit 140, and the second calculation unit 141 are realized by different processors. It may be realized by one processor. Further, in the present embodiment, the image acquisition unit 135, the detection unit 136, the tracking unit 137, the first calculation unit 138, the first determination unit 139, the collation unit 140, and the second calculation unit 141 are mounted on the circuit board. Although it is realized by the processor executing a program, it may be realized by hardware such as an IC (Integrated Circuit), or it may be realized by the cooperation of software and hardware.

画像取得部１３５は、撮像部１１３から出力される動画像を取得する。 The image acquisition unit 135 acquires a moving image output from the image pickup unit 113.

検出部１３６は、取得した動画像を構成するフレームから、人物の顔を検出する。本実施形態では、検出部１３６は、複数の顔の矩形領域を平均化した平均画像をテンプレート（以下、顔テンプレートと言う）として予め作成し、取得した動画像を構成するフレーム内において、顔テンプレートを平行移動、回転、拡大縮小等させながら走査する。そして、検出部１３６は、フレーム内において、顔テンプレートとの輝度値の差分が最も小さい位置を、人物の顔として検出する。 The detection unit 136 detects the face of a person from the frames constituting the acquired moving image. In the present embodiment, the detection unit 136 creates in advance an average image obtained by averaging rectangular areas of a plurality of faces as a template (hereinafter referred to as a face template), and in a frame constituting the acquired moving image, a face template. Is scanned while being translated, rotated, enlarged / reduced, etc. Then, the detection unit 136 detects the position in the frame where the difference in the luminance value from the face template is the smallest as the face of a person.

本実施形態では、検出部１３６は、顔テンプレートを用いて、人物画像を検出しているが、これに限定するものではない。例えば、検出部１３６は、動画像を構成するフレーム内において、人物が装着する服や装着物等の位置に基づいて、当該人物の胴体を検出し、検出した胴体の上方の領域を、人物の顔として検出しても良い。 In the present embodiment, the detection unit 136 detects a person image using a face template, but the present invention is not limited to this. For example, the detection unit 136 detects the torso of the person based on the position of the clothes, the torso, etc. worn by the person in the frame constituting the moving image, and the area above the detected torso is the area of the person. It may be detected as a face.

追跡部１３７は、連続するフレーム間において同一人物の人物画像を追跡する。そして、追跡部１３７は、連続するフレームに含まれる同一人物の人物画像を追跡結果（トラックレット）として取得する。本実施形態では、追跡部１３７は、連続するフレームにおいて検出される人物画像が重なる面積が所定値以上である場合、当該人物画像が、同一人物の人物画像と判断する。 The tracking unit 137 tracks a person image of the same person between consecutive frames. Then, the tracking unit 137 acquires a person image of the same person included in the continuous frames as a tracking result (tracklet). In the present embodiment, the tracking unit 137 determines that the person image is the person image of the same person when the overlapping area of the person images detected in the continuous frames is equal to or more than a predetermined value.

一方、追跡部１３７は、連続するフレームにおいて検出される人物画像が重なる面積が所定値より小さい場合、当該人物画像が、異なる人物の人物画像と判断する。そして、追跡部１３７は、連続するフレームにおいて検出される人物画像が、異なる人物の人物画像であると判断した場合、人物画像の追跡を終了する。 On the other hand, when the area where the person images detected in the continuous frames overlap is smaller than a predetermined value, the tracking unit 137 determines that the person image is a person image of a different person. Then, when the tracking unit 137 determines that the person image detected in the continuous frame is a person image of a different person, the tracking unit 137 ends the tracking of the person image.

本実施形態では、追跡部１３７は、連続するフレームにおいて検出される人物画像が、異なる人物の人物画像であると判断した場合、直ちに、人物画像の追跡を終了させているが、これに限定するものではない。例えば、追跡部１３７は、連続するフレームにおいて検出される人物画像が異なる人物の人物画像であると判断された後、予め設定された数のフレームまで、人物画像の追跡を継続し、その後、人物画像の追跡を終了させても良い。 In the present embodiment, when the tracking unit 137 determines that the person image detected in consecutive frames is a person image of a different person, the tracking unit 137 immediately ends the tracking of the person image, but the present invention is limited to this. It's not a thing. For example, the tracking unit 137 determines that the person image detected in consecutive frames is a person image of a different person, and then continues tracking the person image up to a preset number of frames, and then the person. Image tracking may be terminated.

第１計算部１３８は、同一人物の人物画像（同一人物の人物画像の追跡結果であるトラックレット）の中から、第１指標に基づいて、ベストショット画像を選択する第１選択処理を実行する。ここで、ベストショット画像は、人物画像を用いた人物の認証処理に適した画像である。また、第１指標は、ベストショット画像を選択するための指標であり、例えば、ベストショット画像として選択する画像に関わる画像情報（例えば、画像のサイズやブラー）である。 The first calculation unit 138 executes the first selection process of selecting the best shot image from the person images of the same person (tracklet which is the tracking result of the person image of the same person) based on the first index. .. Here, the best shot image is an image suitable for a person authentication process using a person image. The first index is an index for selecting the best shot image, and is, for example, image information (for example, image size or blur) related to the image selected as the best shot image.

また、第１計算部１３８は、ベストショット画像の属性（例えば、顔の隠蔽、顔の表情、顔に対する眼鏡等の装着物の有無、顔の向き、予め登録された人物画像との類似度）に基づいて、回帰式によって、第１指標を算出しても良い。また、第１計算部１３８は、ベストショット画像となる顔の隠蔽度（オクルージョン）を第１指標として予め学習しておき、当該学習した隠蔽度と、追跡部１３７により追跡した人物画像の隠蔽度とを比較して、第１ベストショット画像を選択しても良い。 In addition, the first calculation unit 138 has attributes of the best shot image (for example, concealment of the face, facial expression, presence / absence of wearing glasses or the like on the face, orientation of the face, similarity with a pre-registered person image). The first index may be calculated by a regression equation based on the above. Further, the first calculation unit 138 has learned in advance the concealment degree (occlusion) of the face, which is the best shot image, as the first index, and the concealment degree learned and the concealment degree of the person image tracked by the tracking unit 137. The first best shot image may be selected in comparison with.

本実施形態では、第１計算部１３８は、第１指標に基づいて、同一人物の人物画像に対して、ベストショット画像の度合い（以下、ベストショット度と言う）を算出する。例えば、第１計算部１３８は、浮動小数点の数値でベストショット度を算出する。そして、第１計算部１３８は、算出したベストショット度が予め設定された値以上の人物画像をベストショット画像として選択する。また、第１計算部１３８は、ランダムフォレストやブースティング等の回帰によって、ベストショット度を算出しても良い。 In the present embodiment, the first calculation unit 138 calculates the degree of the best shot image (hereinafter referred to as the best shot degree) with respect to the person image of the same person based on the first index. For example, the first calculation unit 138 calculates the best shot degree with a floating point numerical value. Then, the first calculation unit 138 selects a person image whose calculated best shot degree is equal to or higher than a preset value as the best shot image. Further, the first calculation unit 138 may calculate the best shot degree by regression such as random forest or boosting.

第１判定部１３９は、第１計算部１３８によって選択されるベストショット画像の信頼度を算出する。そして、第１判定部１３９は、算出した信頼度が第１閾値以上である場合、第１計算部１３８により選択されるベストショット画像を信頼すると判定する。一方、第１判定部１３９は、算出した信頼度が第１閾値より低い場合、第１計算部１３８により選択されるベストショット画像を信頼しないと判定する。ここで、第１閾値は、予め設定された閾値であり、第１計算部１３８により選択されるベストショット画像を信頼すると判定する信頼度の下限である。 The first determination unit 139 calculates the reliability of the best shot image selected by the first calculation unit 138. Then, the first determination unit 139 determines that the best shot image selected by the first calculation unit 138 is trusted when the calculated reliability is equal to or higher than the first threshold value. On the other hand, when the calculated reliability is lower than the first threshold value, the first determination unit 139 determines that the best shot image selected by the first calculation unit 138 is not trusted. Here, the first threshold value is a preset threshold value, and is a lower limit of the reliability for determining that the best shot image selected by the first calculation unit 138 is trusted.

本実施形態では、第１判定部１３９は、１つのトラックレットに含まれるベストショット画像のベストショット度の平均および分散に基づいて、第１計算部１３８により選択されるベストショット画像を、信頼するまたは信頼しないに分類する二項分類を行う。 In the present embodiment, the first determination unit 139 trusts the best shot image selected by the first calculation unit 138 based on the average and variance of the best shot degree of the best shot image contained in one tracklet. Or perform binary classification to classify as unreliable.

例えば、第１判定部１３９は、人物の認証に成功したベストショット画像のベストショット度（言い換えると、正解のベストショット度）を学習して得られるベストショット度の平均および分散を求める。そして、第１判定部１３９は、学習により得られるベストショット度の平均および分散と、１つのトラックレットに含まれるベストショット画像のベストショット度の平均および分散とを比較して、ベストショット画像を、信頼するまたは信頼しないに分類する二項分類を行う。 For example, the first determination unit 139 obtains the average and variance of the best shot degree obtained by learning the best shot degree (in other words, the best shot degree of the correct answer) of the best shot image that succeeded in authenticating the person. Then, the first determination unit 139 compares the average and variance of the best shot degree obtained by learning with the average and variance of the best shot degree of the best shot image contained in one tracklet, and obtains the best shot image. , Perform binomial classification to classify as trusted or unreliable.

第２計算部１４１は、第１計算部１３８により選択されるベストショット画像の信頼度が第１閾値より低い場合に、同一人物の人物画像の中から、第２指標に基づいて、ベストショット画像を選択する第２選択処理を実行する。ここで、第２指標は、ＣＮＮ（Convolution Neural Network）等の深層学習によって算出される、人物の認証処理（後述する照合部１４０により実行される認証処理）に適した指標である。これにより、人物の自動的な認証処理に適したベストショット画像を選択できるので、人物の認証処理の精度を向上させることができる。本実施形態では、第２指標は、第１指標とは異なる指標であるものとする。例えば、第２指標は、画像情報、顔の隠蔽度、ベストショット画像の属性等である。 When the reliability of the best shot image selected by the first calculation unit 138 is lower than the first threshold value, the second calculation unit 141 is the best shot image based on the second index from the person images of the same person. The second selection process for selecting is executed. Here, the second index is an index suitable for a person authentication process (authentication process executed by the collation unit 140 described later) calculated by deep learning such as CNN (Convolution Neural Network). As a result, the best shot image suitable for the automatic authentication process of the person can be selected, so that the accuracy of the authentication process of the person can be improved. In the present embodiment, the second index is an index different from the first index. For example, the second index is image information, face hiding degree, attributes of the best shot image, and the like.

照合部１４０は、第１計算部１３８により選択されるベストショット画像の信頼度が第１閾値以上である場合、第１計算部１３８により選択されるベストショット画像と、予め登録される人物画像と、を用いて、人物の認証処理を実行する。また、照合部１４０は、第１計算部１３８により選択されるベストショット画像の信頼度が第１閾値より低い場合、第２計算部１４１により選択されるベストショット画像と、予め登録される人物画像と、を用いて、人物の認証処理を実行する。 When the reliability of the best shot image selected by the first calculation unit 138 is equal to or higher than the first threshold value, the collation unit 140 includes the best shot image selected by the first calculation unit 138 and the person image registered in advance. , Is used to execute the person authentication process. Further, when the reliability of the best shot image selected by the first calculation unit 138 is lower than the first threshold value, the collation unit 140 has the best shot image selected by the second calculation unit 141 and a person image registered in advance. And, are used to execute the authentication process of the person.

本実施形態では、照合部１４０は、第１計算部１３８または第２計算部１４１により選択されるベストショット画像と、予め登録される人物画像と、の類似度を浮動小数点の数値で算出する。そして、照合部１４０は、算出した類似度と、予め設定される閾値との大小関係に基づいて、人物の認証処理を実行する。具体的には、照合部１４０は、算出した類似度が予め設定される閾値以上である場合、人物の認証処理に成功したと判断する。一方、照合部１４０は、算出した類似度が予め設定される閾値より小さい場合、人物の認証処理に失敗したと判断する。 In the present embodiment, the collation unit 140 calculates the similarity between the best shot image selected by the first calculation unit 138 or the second calculation unit 141 and the person image registered in advance as a floating-point numerical value. Then, the collation unit 140 executes the authentication process of the person based on the magnitude relationship between the calculated similarity and the preset threshold value. Specifically, when the calculated similarity is equal to or higher than a preset threshold value, the collation unit 140 determines that the person authentication process has succeeded. On the other hand, if the calculated similarity is smaller than the preset threshold value, the collation unit 140 determines that the person authentication process has failed.

そして、照合部１４０は、人物の認証処理の実行結果を、表示装置１１１に表示させる。本実施形態では、照合部１４０は、第１計算部１３８または第２計算部１４１により選択されるベストショット画像と、予め登録される人物画像と、人物の認証処理の実行結果と、を含む画面を表示装置１１１に表示させる。その際、人物の認証処理の実行結果は、人物の認証処理が成功したかまたは失敗したかを文章で示すものであっても良いし、〇や×等の記号や、絵、アニメーション等であっても良い。 Then, the collation unit 140 causes the display device 111 to display the execution result of the authentication process of the person. In the present embodiment, the collation unit 140 is a screen including a best shot image selected by the first calculation unit 138 or the second calculation unit 141, a person image registered in advance, and an execution result of a person authentication process. Is displayed on the display device 111. At that time, the execution result of the person authentication process may be a sentence indicating whether the person authentication process was successful or unsuccessful, or may be a symbol such as 〇 or ×, a picture, an animation, or the like. May be.

図２は、第１の実施形態にかかる監視システムにおける人物の認証処理の流れの一例を示すフローチャートである。画像取得部１３５は、撮像部１１３から出力される動画像を取得する（ステップＳ２１０）。 FIG. 2 is a flowchart showing an example of the flow of the person authentication process in the monitoring system according to the first embodiment. The image acquisition unit 135 acquires a moving image output from the image pickup unit 113 (step S210).

検出部１３６は、画像取得部１３５により取得される動画像を構成する各フレームから、人物画像の一例である顔を検出する（ステップＳ２１１）。その際、検出部１３６は、各フレームに含まれる全ての顔を検出しても良いし、各フレームの予め設定された位置（例えば、フレームの中央部）に位置する顔のみを検出しても良いし、または予め設定された顔のみを検出しても良い。 The detection unit 136 detects a face, which is an example of a person image, from each frame constituting the moving image acquired by the image acquisition unit 135 (step S211). At that time, the detection unit 136 may detect all the faces included in each frame, or may detect only the faces located at the preset position of each frame (for example, the center portion of the frame). It may be good, or it may detect only a preset face.

追跡部１３７は、連続するフレーム間において同一人物の顔を追跡する（ステップＳ２１２）。そして、追跡部１３７は、連続するフレームに含まれる同一人物の顔をトラックレットとして取得する。 The tracking unit 137 tracks the face of the same person between consecutive frames (step S212). Then, the tracking unit 137 acquires the face of the same person included in the continuous frames as a tracklet.

第１計算部１３８は、第１指標に基づいて、追跡部１３７により取得されるトラックレットに含まれる複数の顔それぞれのベストショット度を算出し、算出したベストショット度が最も高い顔をベストショット画像として選択する（ステップＳ２１３）。または、第１計算部１３８は、算出したベストショット度が高い顔から順に、予め設定された数Ｎ（Ｎ＞１）の顔をベストショット画像として選択しても良い。 The first calculation unit 138 calculates the best shot degree of each of the plurality of faces included in the tracklet acquired by the tracking unit 137 based on the first index, and the face with the highest calculated best shot degree is the best shot. Select as an image (step S213). Alternatively, the first calculation unit 138 may select a face having a preset number N (N> 1) as the best shot image in order from the face having the highest calculated best shot degree.

第１判定部１３９は、第１計算部１３８により選択されるベストショット画像の信頼度を算出する（ステップＳ２１４）。例えば、第１判定部１３９は、第１計算部１３８により選択されるベストショット画像のベストショット度の平均を、信頼度として算出する。そして、第１計算部１３８により選択されるベストショット画像の信頼度が第１閾値以上である場合（ステップＳ２１５：Ｙｅｓ）、照合部１４０は、第１計算部１３８により選択されるベストショット画像と、予め登録される顔と、を用いて、人物の認証処理を実行する（ステップＳ２１６）。その後、照合部１４０は、人物の認証処理の実行結果を、表示装置１１１に表示させる（ステップＳ２１７）。 The first determination unit 139 calculates the reliability of the best shot image selected by the first calculation unit 138 (step S214). For example, the first determination unit 139 calculates the average of the best shot degrees of the best shot images selected by the first calculation unit 138 as the reliability. When the reliability of the best shot image selected by the first calculation unit 138 is equal to or higher than the first threshold value (step S215: Yes), the collation unit 140 is the best shot image selected by the first calculation unit 138. , A person's authentication process is executed using the face registered in advance (step S216). After that, the collation unit 140 causes the display device 111 to display the execution result of the person authentication process (step S217).

一方、第１計算部１３８により選択されるベストショット画像の信頼度が第１閾値より低い場合（ステップＳ２１５：Ｎｏ）、第２計算部１４１は、第２指標に基づいて、追跡部１３７により取得されるトラックレットに含まれる複数の顔それぞれのベストショット度を算出し、算出したベストショット度が最も高い顔をベストショット画像として選択する（ステップＳ２１８）。または、第２計算部１４１は、算出したベストショット度が高い顔から順に、予め設定された数Ｎ（Ｎ＞１）の顔をベストショット画像として選択しても良い。 On the other hand, when the reliability of the best shot image selected by the first calculation unit 138 is lower than the first threshold value (step S215: No), the second calculation unit 141 is acquired by the tracking unit 137 based on the second index. The best shot degree of each of the plurality of faces included in the tracklet is calculated, and the face having the highest calculated best shot degree is selected as the best shot image (step S218). Alternatively, the second calculation unit 141 may select a face having a preset number N (N> 1) as the best shot image in order from the face having the highest calculated best shot degree.

この場合、照合部１４０は、第２計算部１４１により選択されるベストショット画像と、予め登録される顔と、を用いて、人物の認証処理を実行する（ステップＳ２１６）。そして、照合部１４０は、人物の認証処理の実行結果を、表示装置１１１に表示させる（ステップＳ２１７）。 In this case, the collation unit 140 executes a person authentication process using the best shot image selected by the second calculation unit 141 and the face registered in advance (step S216). Then, the collation unit 140 causes the display device 111 to display the execution result of the person authentication process (step S217).

照合部１４０は、第１計算部１３８または第２計算部１４１によってベストショット画像がＮ個（Ｎ＞１）選択された場合、Ｎ個のベストショット画像のそれぞれと、予め登録される顔と、の類似度を算出する。そして、照合部１４０は、Ｎ個のベストショット画像のうち、予め設定された類似度のベストショット画像を選択する。または、照合部１４０は、Ｎ個のベストショット画像の中から、深層学習（例えば、Max Out方式）により、人物の認証処理に適したベストショット画像を選択しても良い。その後、照合部１４０は、選択されたベストショット画像と、予め登録される顔と、を用いて、人物の認証処理を実行する。 When N best shot images (N> 1) are selected by the first calculation unit 138 or the second calculation unit 141, the collation unit 140 includes each of the N best shot images, a face registered in advance, and a face. Calculate the similarity of. Then, the collation unit 140 selects the best shot image having a preset degree of similarity from the N best shot images. Alternatively, the collation unit 140 may select the best shot image suitable for the authentication process of the person from the N best shot images by deep learning (for example, Max Out method). After that, the collation unit 140 executes a person authentication process using the selected best shot image and the face registered in advance.

このように、第１の実施形態にかかる監視システムによれば、人物の自動的な認証処理に適したベストショット画像を選択できるので、人物の認証処理の精度を向上させることができる。 As described above, according to the monitoring system according to the first embodiment, the best shot image suitable for the automatic authentication process of the person can be selected, so that the accuracy of the authentication process of the person can be improved.

（第２の実施形態）
本実施形態は、第２計算部により選択されるベストショット画像の信頼度が予め設定される閾値以下である場合、第１指標および第２指標を変更する例である。以下の説明では、第１の実施形態と同様の構成については説明を省略する。 (Second embodiment)
This embodiment is an example of changing the first index and the second index when the reliability of the best shot image selected by the second calculation unit is equal to or less than a preset threshold value. In the following description, the description of the same configuration as that of the first embodiment will be omitted.

図３は、第２の実施形態にかかる監視システムの構成の一例を示す図である。本実施形態にかかる監視システムは、ＵＩ１１と、撮像部１２と、監視装置３００と、指標保存部３０１と、を備える。ＵＩ１１、撮像部１２、および指標保存部３０１は、バス２０１を介して、監視装置３００に接続されている。指標保存部３０１は、監視装置３００の外部装置（例えば、サーバ）が有する記憶装置によって実現され、第１指標および第２指標として選択可能な指標の候補を記憶する。 FIG. 3 is a diagram showing an example of the configuration of the monitoring system according to the second embodiment. The monitoring system according to the present embodiment includes a UI 11, an imaging unit 12, a monitoring device 300, and an index storage unit 301. The UI 11, the imaging unit 12, and the index storage unit 301 are connected to the monitoring device 300 via the bus 201. The index storage unit 301 is realized by a storage device included in an external device (for example, a server) of the monitoring device 300, and stores index candidates that can be selected as the first index and the second index.

本実施形態では、監視装置３００の第１処理部３０２は、記憶部１３３に記憶されるプログラムを実行することによって、画像取得部１３５、検出部１３６、追跡部１３７、第１計算部１３８、第１判定部１３９、変更部３０３、照合部１４０、および適用部３０４を実現する。また、監視装置３００の第２処理部３０５は、記憶部１３３に記憶されるプログラムを実行することによって、第２計算部１４１、および第２判定部３０６を実現する。 In the present embodiment, the first processing unit 302 of the monitoring device 300 executes an image acquisition unit 135, a detection unit 136, a tracking unit 137, a first calculation unit 138, and a program stored in the storage unit 133. 1 The determination unit 139, the change unit 303, the collation unit 140, and the application unit 304 are realized. Further, the second processing unit 305 of the monitoring device 300 realizes the second calculation unit 141 and the second determination unit 306 by executing the program stored in the storage unit 133.

第２判定部３０６は、第２計算部１４１により選択されるベストショット画像の信頼度を算出する。本実施形態では、第２判定部３０６は、第１判定部１３９と同様にして、第２計算部１４１により選択されるベストショット画像の信頼度を算出するものとする。 The second determination unit 306 calculates the reliability of the best shot image selected by the second calculation unit 141. In the present embodiment, the second determination unit 306 calculates the reliability of the best shot image selected by the second calculation unit 141 in the same manner as the first determination unit 139.

変更部３０３は、第２計算部１４１により選択されるベストショット画像の信頼度が第２閾値以下である場合に、第１指標および第２指標を変更する。これにより、ベストショット画像の信頼度に応じて、ベストショット画像の選択に用いる指標を動的に変更できるので、監視システムの設置環境が変化した場合でも、当該設置環境に適した指標を用いて、ベストショット画像を選択することができる。ここで、第２閾値は、予め設定された閾値であり、第２計算部１４１により選択されるベストショット画像を信頼すると判定する信頼度の下限である。 The change unit 303 changes the first index and the second index when the reliability of the best shot image selected by the second calculation unit 141 is equal to or less than the second threshold value. As a result, the index used to select the best shot image can be dynamically changed according to the reliability of the best shot image, so even if the installation environment of the monitoring system changes, the index suitable for the installation environment can be used. , You can select the best shot image. Here, the second threshold value is a preset threshold value, and is a lower limit of the reliability for determining that the best shot image selected by the second calculation unit 141 is trusted.

本実施形態では、変更部３０３は、通信部１３４を介して、指標保存部３０１にアクセスして、指標保存部３０１に記憶されている指標の中から、第１指標および第２指標として用いる指標を読み出す。そして、変更部３０３は、読み出した指標によって、第１指標および第２指標を変更する。 In the present embodiment, the change unit 303 accesses the index storage unit 301 via the communication unit 134, and among the indexes stored in the index storage unit 301, the index used as the first index and the second index. Is read. Then, the change unit 303 changes the first index and the second index according to the read index.

本実施形態では、変更部３０３は、指標保存部３０１に記憶される指標の中から、ベストショット画像の信頼度が高くなる指標を読み出し、当該読み出した指標によって第１指標および第２指標を変更している。例えば、変更部３０３は、撮像部１２の画角に基づいて、ベストショット画像の信頼度が高くなる指標を特定し、当該特定した指標によって第１指標および第２指標を変更する。例えば、駅の監視カメラ等のように天井付近に撮像部１２が設置されて、当該撮像部１２の画角が人物を上方から見た画角なる場合と、人物の頭部の高さ付近でありかつ地面と平行に撮像部１２が設置されて、当該撮像部１２の画角が人物を正面から見た画角となる場合とでは、人物画像における人物の見え方が異なる。そのため、変更部３０３は、ベストショット画像の信頼度が高くなるように、それぞれの画角に適した指標を特定し、当該特定した指標によって第１指標および第２指標を変更する。 In the present embodiment, the change unit 303 reads out an index that increases the reliability of the best shot image from the indexes stored in the index storage unit 301, and changes the first index and the second index according to the read index. is doing. For example, the changing unit 303 identifies an index that increases the reliability of the best shot image based on the angle of view of the imaging unit 12, and changes the first index and the second index according to the specified index. For example, when the image pickup unit 12 is installed near the ceiling like a surveillance camera at a station and the angle of view of the image pickup unit 12 is the angle of view when the person is viewed from above, or near the height of the person's head. The appearance of the person in the person image is different from the case where the image pickup unit 12 is installed parallel to the ground and the angle of view of the image pickup unit 12 is the angle of view when the person is viewed from the front. Therefore, the changing unit 303 specifies an index suitable for each angle of view so that the reliability of the best shot image is high, and changes the first index and the second index according to the specified index.

適用部３０４は、照合部１４０による人物の認証処理の結果に基づいて、第１計算部１３８および第２計算部１４１によるベストショット画像の選択方法を変更する。これにより、第１計算部１３８または第２計算部１４１により選択されるベストショット画像と、照合部１４０による人物の認証処理に適した人物画像とに差異がある場合に、人物の認証処理に適したベストショット画像が選択されるように、第１計算部１３８および第２計算部１４１によるベストショット画像の選択方法を逐次変更できるので、人物の認証処理の精度を向上させることができる。 The application unit 304 changes the method of selecting the best shot image by the first calculation unit 138 and the second calculation unit 141 based on the result of the person authentication process by the collation unit 140. This is suitable for the person authentication process when there is a difference between the best shot image selected by the first calculation unit 138 or the second calculation unit 141 and the person image suitable for the person authentication process by the collation unit 140. Since the method of selecting the best shot image by the first calculation unit 138 and the second calculation unit 141 can be sequentially changed so that the best shot image is selected, the accuracy of the person authentication process can be improved.

本実施形態では、適用部３０４は、人物の認証処理に用いる各ベストショット画像（第１計算部１３８または第２計算部１４１により選択される各ベストショット画像）と、当予め登録される人物画像と、の類似度の順位（以下、本人類似度順位と言う）を求める。また、適用部３０４は、人物の認証処理に用いる各ベストショット画像のベストショット度の順位（以下、ベストショット順位と言う）を求める。 In the present embodiment, the application unit 304 includes each best shot image (each best shot image selected by the first calculation unit 138 or the second calculation unit 141) used for the authentication process of the person, and the person image registered in advance. And, the order of similarity (hereinafter referred to as the person's similarity order) is obtained. Further, the application unit 304 obtains the order of the best shot degree of each best shot image used for the authentication process of the person (hereinafter referred to as the best shot order).

そして、適用部３０４は、本人類似度およびベストショット順位に基づいて、第１計算部１３８および第２計算部１４１によるベストショット画像の選択方法を変更する。例えば、本人類似度が１位のベストショット画像のベストショット順位が、本人類似度が２位以下のベストショット画像のベストショット順位より低い場合、適用部３０４は、ベストショット順位が２位以下の人物画像をベストショット画像として選択する選択方法を、第１計算部１３８および第２計算部１４１に適用する。 Then, the application unit 304 changes the method of selecting the best shot image by the first calculation unit 138 and the second calculation unit 141 based on the personal similarity and the best shot ranking. For example, when the best shot ranking of the best shot image having the first personal similarity is lower than the best shot ranking of the best shot image having the second or lower personal similarity, the application unit 304 has the best shot ranking of the second or lower. The selection method for selecting a person image as the best shot image is applied to the first calculation unit 138 and the second calculation unit 141.

図４は、第２の実施形態にかかる監視システムにおける人物の認証処理の流れの一例を示すフローチャートである。本実施形態では、第２計算部１４１によってベストショット画像が選択されると（ステップＳ２１８）、第２判定部３０６は、第２計算部１４１により選択されるベストショット画像の信頼度を算出する。そして、第２判定部３０６は、算出した信頼度が第２閾値以上であるか否かを判断する（ステップＳ４０１）。 FIG. 4 is a flowchart showing an example of the flow of the person authentication process in the monitoring system according to the second embodiment. In the present embodiment, when the best shot image is selected by the second calculation unit 141 (step S218), the second determination unit 306 calculates the reliability of the best shot image selected by the second calculation unit 141. Then, the second determination unit 306 determines whether or not the calculated reliability is equal to or higher than the second threshold value (step S401).

第２計算部１４１により選択されるベストショット画像の信頼度が第２閾値より低い場合（ステップＳ４０１：Ｎｏ）、変更部３０３は、第１指標および第２指標を変更する（ステップＳ４０２）。監視装置３００は、第１計算部１３８により選択されるベストショット画像の信頼度が第１閾値以上となるまで、または第２計算部１４１により選択されるベストショット画像の信頼度が第２閾値以上となるまで、ステップＳ２１３～ステップＳ２１７、ステップＳ４０１、およびステップＳ４０２に示す処理を繰り返す。 When the reliability of the best shot image selected by the second calculation unit 141 is lower than the second threshold value (step S401: No), the change unit 303 changes the first index and the second index (step S402). In the monitoring device 300, the reliability of the best shot image selected by the first calculation unit 138 is equal to or higher than the first threshold value, or the reliability of the best shot image selected by the second calculation unit 141 is equal to or higher than the second threshold value. The process shown in steps S213 to S217, step S401, and step S402 is repeated until the result becomes.

そして、第１計算部１３８により選択されるベストショット画像の信頼度が第１閾値以上となった場合（ステップＳ２１５：Ｙｅｓ）、照合部１４０は、第１の実施形態と同様にして、第１計算部１３８により選択されるベストショット画像と、予め登録される顔と、を用いて、人物の認証処理を実行する（ステップＳ２１８）。また、第２計算部１４１により選択されるベストショット画像の信頼度が第２閾値以上となった場合（ステップＳ４０１：Ｙｅｓ）、照合部１４０は、第１の実施形態と同様にして、第２計算部１４１により選択されるベストショット画像と、予め登録される顔と、を用いて、人物の認証処理を実行する（ステップＳ２１８）。 Then, when the reliability of the best shot image selected by the first calculation unit 138 becomes equal to or higher than the first threshold value (step S215: Yes), the collation unit 140 uses the first embodiment in the same manner as in the first embodiment. A person authentication process is executed using the best shot image selected by the calculation unit 138 and the face registered in advance (step S218). Further, when the reliability of the best shot image selected by the second calculation unit 141 becomes equal to or higher than the second threshold value (step S401: Yes), the collation unit 140 has the same second embodiment as the first embodiment. A person authentication process is executed using the best shot image selected by the calculation unit 141 and the face registered in advance (step S218).

その後、適用部３０４は、照合部１４０による人物の認証処理の結果に基づいて、第１計算部１３８および第２計算部１４１によるベストショット画像の選択方法を変更する（ステップＳ４０３）。 After that, the application unit 304 changes the method of selecting the best shot image by the first calculation unit 138 and the second calculation unit 141 based on the result of the person authentication process by the collation unit 140 (step S403).

このように、第２の実施形態にかかる監視システムによれば、ベストショット画像の信頼度に応じて、ベストショット画像の選択に用いる指標を動的に変更できるので、監視システムの設置環境が変化した場合でも、当該設置環境に適した指標を用いて、ベストショット画像を選択することができる。 As described above, according to the monitoring system according to the second embodiment, the index used for selecting the best shot image can be dynamically changed according to the reliability of the best shot image, so that the installation environment of the monitoring system changes. Even if this is the case, the best shot image can be selected using an index suitable for the installation environment.

以上説明したとおり、第１，２の実施形態によれば、人物の自動的な認証処理に適したベストショット画像を選択できるので、人物の認証処理の精度を向上させることができる。 As described above, according to the first and second embodiments, the best shot image suitable for the automatic authentication process of the person can be selected, so that the accuracy of the authentication process of the person can be improved.

本実施形態の監視装置１３，３００で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ－ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ－Ｒ、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録されて提供される。 The program executed by the monitoring devices 13, 300 of the present embodiment is a file in an installable format or an executable format, such as a CD-ROM, a flexible disk (FD), a CD-R, or a DVD (Digital Versatile Disk). It is recorded and provided on a computer-readable recording medium.

また、本実施形態の監視装置１３，３００で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、本実施形態の監視装置１３，３００で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。また、本実施形態の監視装置１３，３００で実行されるプログラムを、ＲＯＭ等に予め組み込んで提供するように構成してもよい。 Further, the program executed by the monitoring devices 13 and 300 of the present embodiment may be stored on a computer connected to a network such as the Internet and provided by downloading via the network. Further, the program executed by the monitoring devices 13 and 300 of the present embodiment may be configured to be provided or distributed via a network such as the Internet. Further, the program executed by the monitoring devices 13 and 300 of the present embodiment may be configured to be provided by incorporating it into a ROM or the like in advance.

本実施形態の監視装置１３，３００で実行されるプログラムは、上述した各部（画像取得部１３５、検出部１３６、追跡部１３７、第１計算部１３８、第１判定部１３９、変更部３０３、照合部１４０、適用部３０４、第２計算部１４１、および第２判定部３０６）を含むモジュール構成となっており、実際のハードウェアとしてはプロセッサが上記記憶媒体から～プログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、画像取得部１３５、検出部１３６、追跡部１３７、第１計算部１３８、第１判定部１３９、変更部３０３、照合部１４０、適用部３０４、第２計算部１４１、および第２判定部３０６が主記憶装置上に生成されるようになっている。 The program executed by the monitoring devices 13 and 300 of the present embodiment includes the above-mentioned units (image acquisition unit 135, detection unit 136, tracking unit 137, first calculation unit 138, first determination unit 139, change unit 303, collation). It has a module configuration including a unit 140, an application unit 304, a second calculation unit 141, and a second determination unit 306), and as actual hardware, the processor reads a program from the storage medium and executes it. Each of the above units is loaded on the main storage device, and the image acquisition unit 135, the detection unit 136, the tracking unit 137, the first calculation unit 138, the first determination unit 139, the change unit 303, the collation unit 140, the application unit 304, and the second unit. The calculation unit 141 and the second determination unit 306 are generated on the main storage device.

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。 Although some embodiments of the present invention have been described, these embodiments are presented as examples and are not intended to limit the scope of the invention. These novel embodiments can be implemented in various other embodiments, and various omissions, replacements, and changes can be made without departing from the gist of the invention. These embodiments and modifications thereof are included in the scope and gist of the invention, and are also included in the scope of the invention described in the claims and the equivalent scope thereof.

１１ＵＩ
１２撮像部
１３，３００監視装置
１１１表示装置
１１２入力装置
１３１，３０２第１処理部
１３２，３０５第２処理部
１３３記憶部
１３４通信部
１３５画像取得部
１３６検出部
１３７追跡部
１３８第１計算部
１３９第１判定部
１４０照合部
１４１第２計算部
３０３変更部
３０４適用部
３０６第２判定部 11 UI
12 Imaging unit 13,300 Monitoring device 111 Display device 112 Input device 131, 302 First processing unit 132,305 Second processing unit 133 Storage unit 134 Communication unit 135 Image acquisition unit 136 Detection unit 137 Tracking unit 138 First calculation unit 139 1st judgment unit 140 collation unit 141 2nd calculation unit 303 change unit 304 application unit 306 2nd judgment unit

Claims

It is a monitoring method executed by the monitoring device.
A moving image obtained by imaging a person at a predetermined position by an imaging unit is acquired, and the image is acquired.
A person image included in a frame constituting the moving image is detected, and the person image is detected.
Tracking the person image of the same person between consecutive frames,
The first selection process of selecting the best shot image from the person images of the same person based on the first index is executed.
The reliability of the best shot image selected by the first selection process is calculated.
When the reliability of the best shot image selected by the first selection process is lower than the first threshold value, the second selection process of selecting the best shot image from the person images of the same person according to the second index is executed. death,
When the reliability of the best shot image selected by the first selection process is equal to or higher than the first threshold value, the best shot image selected by the first selection process and the person image registered in advance are used. , Execute the authentication process of the person,
When the reliability of the best shot image selected by the first selection process is lower than the first threshold value, the best shot image selected by the second selection process and the pre-registered person image are used. , Execute the authentication process of the person,
Including displaying the execution result of the authentication process of the person.
The second index is a monitoring method, which is an index suitable for the authentication process, which is calculated by using deep learning.

The monitoring method according to claim 1, wherein the second index is an index different from the first index.

The reliability of the best shot image selected by the second selection process is calculated.
When the reliability of the best shot image selected by the second selection process is lower than the second threshold value, the first index and the second index are changed.
The monitoring method according to claim 1 or 2, further comprising the above.

The monitoring method according to any one of claims 1 to 3, further comprising changing the method of selecting the best shot image in the first selection process and the second selection process based on the result of the authentication process of the person. ..

The degree of similarity between the best shot image used for the authentication process and the person image registered in advance is calculated, and the authentication process of the person is executed based on the degree of similarity.
The best in the first selection process and the second selection process based on the order of similarity calculated for each best shot image used in the authentication process and the order of the best shot degree of each best shot image. The monitoring method according to claim 4, wherein the method for selecting a shot image is changed.