JP7302329B2 - Image processing device, person discrimination method, and program - Google Patents

Image processing device, person discrimination method, and program Download PDF

Info

Publication number
JP7302329B2
JP7302329B2 JP2019118212A JP2019118212A JP7302329B2 JP 7302329 B2 JP7302329 B2 JP 7302329B2 JP 2019118212 A JP2019118212 A JP 2019118212A JP 2019118212 A JP2019118212 A JP 2019118212A JP 7302329 B2 JP7302329 B2 JP 7302329B2
Authority
JP
Japan
Prior art keywords
person
face
trigger
hairstyle
candidate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019118212A
Other languages
Japanese (ja)
Other versions
JP2021005197A (en
Inventor
利之 指原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2019118212A priority Critical patent/JP7302329B2/en
Publication of JP2021005197A publication Critical patent/JP2021005197A/en
Application granted granted Critical
Publication of JP7302329B2 publication Critical patent/JP7302329B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Collating Specific Patterns (AREA)
  • Image Analysis (AREA)

Description

画像処理装置、人物判別方法、およびプログラムに関し、特に、人物の特徴に基づいて、人物を照合する画像処理装置、人物判別方法、およびプログラムに関する。 BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an image processing device, a person identification method, and a program, and more particularly to an image processing device, a person identification method, and a program for verifying a person based on the characteristics of the person.

監視カメラを用いて人物を撮影し、撮影された画像から、人物の顔や虹彩などの特徴を抽出し、抽出した人物の特徴を用いて、人物を判別（照合）する関連技術がある。例えば、特許文献１には、人物を撮影した画像において、人物の目の位置などから、マスクによって隠された鼻や口などの部位の位置を推定することにより、人物を判別する精度を向上させることが記載されている。 2. Description of the Related Art There is a related technology for photographing a person using a surveillance camera, extracting features such as the face and iris of the person from the photographed image, and identifying (collating) the person using the extracted features of the person. For example, Japanese Patent Laid-Open No. 2002-200000 discloses a technique for improving the accuracy of identifying a person by estimating the positions of parts such as the nose and mouth hidden by a mask from the positions of the eyes of the person in an image of the person. is stated.

特開２０１０－０６１４６５号公報JP 2010-061465 A 特開２０１７－２０１５１６号公報JP 2017-201516 A 特開２０１９－００８４８０号公報JP 2019-008480 A

特許文献１に記載の関連技術では、サングラスおよびマスクなどによって、人物の顔がほとんど完全に隠れているとき、人物の顔を判別できない。また、人物が監視カメラに対して反対側に顔を向けている間、人物の顔を、監視カメラにより明瞭に撮影することができない。その結果、特許文献１に記載の関連技術は、画像から人物の顔を判別できない。 In the related technology described in Patent Document 1, when the person's face is almost completely hidden by sunglasses, a mask, or the like, the person's face cannot be determined. Also, the person's face cannot be clearly captured by the surveillance camera while the person is facing away from the surveillance camera. As a result, the related technology described in Patent Literature 1 cannot determine a person's face from an image.

本発明は、上記の課題に鑑みてなされたものであり、その目的は、人物の判別の精度を向上させることにある。 The present invention has been made in view of the above problems, and an object of the present invention is to improve the accuracy of human discrimination.

本発明の一態様に係わる画像処理装置は、画像から人物を検出する人物検出手段と、前記人物の特徴を抽出する特徴抽出手段と、前記人物の特徴に基づいて、前記人物を判別する人物判別手段と、トリガーを検出するトリガー検出手段とを備え、前記人物判別手段は、髪型判別手段を含み、前記トリガーが検出されたとき、前記髪型判別手段は、前記人物の髪型を判別する。 An image processing apparatus according to an aspect of the present invention includes person detection means for detecting a person from an image, feature extraction means for extracting a feature of the person, and person discrimination for discriminating the person based on the feature of the person. and trigger detection means for detecting a trigger, wherein the person determination means includes hairstyle determination means, and when the trigger is detected, the hairstyle determination means determines the hairstyle of the person.

本発明の一態様に係わる人物判別方法は、画像から人物を検出し、前記人物の特徴を抽出し、前記人物の特徴に基づいて、前記人物を判別する人物判別方法であって、トリガーが検出されたとき、前記人物の髪型を判別する。 A person determination method according to an aspect of the present invention is a person determination method for detecting a person from an image, extracting characteristics of the person, and determining the person based on the characteristics of the person, wherein a trigger is detected. When asked, determine the hairstyle of the person.

本発明の一態様に係わるプログラムは、画像から人物を検出することと、前記人物の特徴を抽出することと、前記人物の特徴に基づいて、前記人物を判別することを、コンピュータに実行させるためのプログラムであって、トリガーが検出されたとき、前記人物の髪型を判別することをコンピュータに実行させる。 A program according to an aspect of the present invention causes a computer to detect a person from an image, extract characteristics of the person, and determine the person based on the characteristics of the person. causing a computer to determine the hairstyle of the person when a trigger is detected.

本発明によれば、人物の判別の精度を向上させることができる。 According to the present invention, it is possible to improve the accuracy of person discrimination.

実施形態１に係わる画像処理装置の構成を示すブロック図である。1 is a block diagram showing the configuration of an image processing apparatus according to Embodiment 1; FIG. 実施形態１に係わる画像処理装置が実行する処理の流れを示すフローチャートである。4 is a flow chart showing the flow of processing executed by the image processing apparatus according to the first embodiment; 実施形態２に係わる画像処理装置の構成を示すブロック図である。FIG. 11 is a block diagram showing the configuration of an image processing apparatus according to a second embodiment; FIG. 監視カメラによる人物の撮影と、画像データの流れとを示す図である。FIG. 2 is a diagram showing a person photographed by a surveillance camera and the flow of image data; 実施形態２に係わる画像処理装置が実行する処理の流れを示すフローチャートである。9 is a flow chart showing the flow of processing executed by the image processing apparatus according to the second embodiment; 実施形態３に係わる画像処理装置が実行する処理の流れを示すフローチャートである。10 is a flow chart showing the flow of processing executed by an image processing apparatus according to Embodiment 3; 実施形態４に係わる情報処理装置のハードウェア構成を示す図である。FIG. 12 is a diagram showing a hardware configuration of an information processing apparatus according to a fourth embodiment; FIG.

〔実施形態１〕
（画像処理装置１）
図１を参照して、本実施形態１に係わる画像処理装置１の構成を説明する。図１は、画像処理装置１の構成を示すブロック図である。図１に示すように、画像処理装置１は、人物検出部１０、特徴抽出部２０、トリガー検出部３０、および人物判別部４０を備えている。 [Embodiment 1]
(Image processing device 1)
The configuration of an image processing apparatus 1 according to the first embodiment will be described with reference to FIG. FIG. 1 is a block diagram showing the configuration of the image processing apparatus 1. As shown in FIG. As shown in FIG. 1, the image processing apparatus 1 includes a person detection section 10, a feature extraction section 20, a trigger detection section 30, and a person determination section 40. FIG.

人物検出部１０は、画像から人物を検出する。人物検出部１０は、人物検出手段の一例である。 A person detection unit 10 detects a person from an image. The person detection unit 10 is an example of person detection means.

例えば、人物検出部１０は、図示しない監視カメラが撮影した１または複数の画像のデータ（以下、画像データと略称する場合がある）を、監視カメラまたは記録媒体から取得する。人物検出部１０は、１または複数の画像データから、背景および固定物を除く物体を検出し、検出した物体のうち、人物らしい特徴を有する物体を、人物として検出する。人物検出部１０は、人物らしさを学習したモデル（識別器とも呼ぶ）を用いて、人物を検出してもよい。人物検出部１０は、検出した人物を含む画像の領域（以下では、人物画像と呼ぶ場合がある）のデータを、特徴抽出部２０へ送信する。 For example, the person detection unit 10 acquires data of one or more images captured by a surveillance camera (not shown) (hereinafter sometimes referred to as image data) from the surveillance camera or a recording medium. The person detection unit 10 detects objects other than the background and fixed objects from one or a plurality of image data, and detects an object having human-like features among the detected objects as a person. The person detection unit 10 may detect a person using a model (also referred to as a discriminator) that has learned the likeness of a person. The person detection unit 10 transmits data of an image area including the detected person (hereinafter sometimes referred to as a person image) to the feature extraction unit 20 .

特徴抽出部２０は、人物の特徴を抽出する。特徴抽出部２０は、特徴抽出手段の一例である。具体的には、特徴抽出部２０は、人物検出部１０から、人物画像のデータを受信する。特徴抽出部２０は、人物画像から、人物の特徴を抽出する。以下では、人物の特徴は、人物特徴と呼ぶ場合がある。 The feature extraction unit 20 extracts features of a person. The feature extraction unit 20 is an example of feature extraction means. Specifically, the feature extraction unit 20 receives data of a person image from the person detection unit 10 . The feature extraction unit 20 extracts features of a person from the person image. Below, a person's feature may be called a person's feature.

例えば、特徴抽出部２０は、人物画像から、人物の顔または他の身体の一部の特徴を、前述した人物特徴として抽出する。特徴抽出部２０は、抽出した人物特徴を示す情報を含むデータ（以下では、特徴データと呼ぶ場合がある）を、人物判別部４０へ送信する。 For example, the feature extraction unit 20 extracts features of a person's face or other parts of the body from the person's image as the person's features described above. The feature extraction unit 20 transmits data including information indicating the extracted person feature (hereinafter sometimes referred to as feature data) to the person determination unit 40 .

トリガー検出部３０は、トリガーを検出する。トリガー検出部３０は、トリガー検出手段の一例である。本実施形態１において、トリガー検出部３０は、人物の髪型を判別することが、人物を精度よく判別するための有効な手段となり得るときに検出されるイベントを、トリガーとして検出する。 The trigger detection unit 30 detects triggers. The trigger detection unit 30 is an example of trigger detection means. In the first embodiment, the trigger detection unit 30 detects, as a trigger, an event detected when determining a person's hairstyle can be an effective means for accurately determining the person.

例えば、人物が監視カメラと反対側に顔を向けたとき、特徴抽出部２０は、人物の顔の特徴を抽出することが困難になる。したがって、一例に係わるトリガーは、特徴抽出部２０が人物の顔の特徴を抽出することに失敗したことであってもよい。なお、人物が監視カメラと反対側に顔を向けた場合であっても、特徴抽出部２０は、人物の頭髪に関する特徴、すなわち人物の髪型を抽出することはできる。 For example, when a person turns his/her face away from the surveillance camera, it becomes difficult for the feature extractor 20 to extract the facial features of the person. Therefore, an example trigger may be that the feature extractor 20 fails to extract the features of a person's face. It should be noted that even when the person faces the opposite side of the surveillance camera, the feature extraction unit 20 can extract the features related to the person's hair, that is, the person's hairstyle.

トリガー検出部３０は、トリガーを検出したとき、トリガー検出信号を人物判別部４０の髪型判別部４１へ送信する。 When the trigger detection section 30 detects the trigger, the trigger detection section 30 transmits a trigger detection signal to the hairstyle determination section 41 of the person determination section 40 .

人物判別部４０は、人物の特徴（人物特徴）に基づいて、人物を判別する。人物判別部４０は、髪型判別部４１を含む。人物判別部４０は、人物判別手段の一例である。 The person discrimination unit 40 discriminates a person based on the characteristics of the person (person characteristics). The person determining section 40 includes a hairstyle determining section 41 . The person determining unit 40 is an example of person determining means.

具体的には、人物判別部４０は、特徴抽出部２０から、判別対象である人物の特徴を示す情報（特徴データ）を受信する。特徴データは、例えば、人物の特徴を示す特徴ベクトルである。トリガー検出部３０からトリガー検出信号を受信するまで、人物判別部４０は、人物の髪型の特徴を人物の判別の処理に使わず、受信した特徴データのみを用いて、人物を判別する。 Specifically, the person determination unit 40 receives information (feature data) indicating characteristics of a person to be determined from the feature extraction unit 20 . Feature data is, for example, a feature vector that indicates the features of a person. Until the trigger detection signal is received from the trigger detection unit 30, the person identification unit 40 does not use the characteristics of the person's hairstyle for the processing of identifying the person, but uses only the received characteristic data to identify the person.

一例では、人物判別部４０は、図示しない人物データベースを参照して、特徴抽出部２０によって特徴が抽出された人物の特徴に一致または類似する特徴を備えた候補の人物を、人物データベースに登録された候補の人物（すでに判別された人物）の中から検索する。ここで、人物データベースには、候補の人物に関する情報が格納されている。例えば、人物データベースには、候補の人物のＩＤ（Identification）または名前、候補の人物の画像、候補の人物の特徴に関する特徴データ（例えば候補の人物の特徴を示す特徴ベクトル）、および、候補の人物の様々な属性を示す情報が格納されている。人物データベースは、候補の人物に関する情報として、候補の人物の髪型の特徴を示す情報も記憶している。 In one example, the person determination unit 40 refers to a person database (not shown), and selects candidates registered in the person database who have features that match or are similar to the features of the person whose features are extracted by the feature extraction unit 20. search among the candidates (persons who have already been identified). Here, the person database stores information about candidate persons. For example, the person database stores candidate person IDs (identification) or names, candidate person images, candidate person feature data (e.g., feature vectors indicating candidate person features), and candidate person information indicating various attributes of The person database also stores information indicating the characteristics of the candidate's hairstyle as information about the candidate.

人物判別部４０は、人物データベースを使用して、判別対象である人物（すなわち人物画像の人物）と特徴が類似する候補の人物を検索する。具体的には、人物判別部４０は、特徴抽出部２０から受信した特徴データと、人物データベース内の候補の人物の特徴に関する特徴データとを照合する。そして、人物判別部４０は、受信した特徴データと一致または類似する、候補の人物に関する特徴データを抽出する。人物判別部４０は、抽出した特徴データに対応する候補の人物を、前述の人物画像の人物であると判別する。 The person determination unit 40 uses the person database to search for candidate persons whose features are similar to those of the person to be determined (that is, the person in the person image). Specifically, the person determining unit 40 collates the feature data received from the feature extracting unit 20 with feature data relating to the features of the candidate person in the person database. Then, the person determination unit 40 extracts feature data related to the candidate person that matches or is similar to the received feature data. The person determination unit 40 determines that the candidate person corresponding to the extracted feature data is the person in the person image described above.

人物判別部４０は、人物の判別に成功した場合、すなわち、受信した特徴データと一致または類似する、候補の人物に関する特徴データを人物データベースから検索したのち、検索した特徴データに対応する候補の人物に関する情報を、人物データベースから取得する。取得した候補の人物に関する情報は、例えば、候補の人物に関する特徴データのほか、候補の人物の名前またはＩＤ、年齢、性別、および顔画像などを含む。 When the person identification unit 40 succeeds in identifying a person, that is, after searching the person database for feature data related to a candidate person that matches or is similar to the received feature data, the person identification unit 40 identifies a candidate person corresponding to the retrieved feature data. Get information about from the people database. The acquired information about the candidate includes, for example, feature data about the candidate, the name or ID of the candidate, age, sex, face image, and the like.

人物判別部４０は、このようにして得られた候補の人物に関する情報を、人物の判別結果として出力する。例えば、人物判別部４０は、判別結果として、前述したような、判別した人物に関する情報（判別した人物の特徴データ、ＩＤまたは名前、判別した人物の顔画像など）を出力する。 The person determination unit 40 outputs the information about the candidate person thus obtained as the person determination result. For example, the person determining unit 40 outputs information about the determined person (characteristic data, ID or name of the determined person, facial image of the determined person, etc.) as described above as the determination result.

髪型判別部４１は、トリガー検出部３０から、トリガーを検出したことを示すトリガー検出信号を受信する。トリガー検出信号を受信すると、人物判別部４０の髪型判別部４１は、人物の髪型を判別する。髪型判別部４１は、髪型判別手段の一例である。 Hairstyle discrimination section 41 receives a trigger detection signal indicating that a trigger has been detected from trigger detection section 30 . Upon receiving the trigger detection signal, the hairstyle determination unit 41 of the person determination unit 40 determines the hairstyle of the person. The hairstyle determining section 41 is an example of a hairstyle determining means.

人物の髪型を判別する処理において、例えば、髪型判別部４１は、人物検出部１０から、人物画像のデータを取得して、人物画像から人物の頭髪の領域を抽出する。そして、髪型判別部４１は、図示しない髪型データベースに格納されている多様な髪型のモデルの画像データを用いて、人物の頭髪と、髪型のモデルとをマッチングすることによって、人物の髪型を判別する。 In the process of determining a person's hairstyle, for example, the hairstyle determination unit 41 acquires data of a person's image from the person detection unit 10 and extracts a person's hair region from the person's image. Then, the hairstyle determination unit 41 uses image data of various hairstyle models stored in a hairstyle database (not shown) to match the person's hair with the hairstyle model, thereby determining the hairstyle of the person. .

あるいは、髪型判別部４１は、人物の頭髪の長さ、色、形状、質感、光沢、および毛髪の量など、人物の頭髪に係わる特徴を、人物画像から抽出し、人物の頭髪の特徴を予め学習したモデル（識別器）を用いて、人物の頭髪に係わる特徴に基づいて、人物の髪型を判別してもよい。 Alternatively, the hairstyle determination unit 41 extracts features related to the person's hair, such as the length, color, shape, texture, gloss, and amount of hair, from the person's image, and preliminarily identifies the features of the person's hair. A learned model (identifier) may be used to discriminate a person's hairstyle based on features related to the person's hair.

髪型判別部４１は、こうして判別した人物の髪型を示す情報を、判別した人物の名前を示す情報またはＩＤと紐付けて、前述した人物データベースに格納してもよい。髪型を示す情報は、髪型の名称であってもよいし、頭髪に係わる特徴を示す特徴ベクトルであってもよい。 The hairstyle determining unit 41 may associate the information indicating the hairstyle of the determined person with the information indicating the name of the determined person or the ID, and store the information in the person database described above. The information indicating the hairstyle may be the name of the hairstyle, or may be a feature vector indicating features related to the hair.

さらに、髪型判別部４１は、図示しない追跡部から、人物の動線の情報を取得してもよい。そして、髪型判別部４１は、人物の髪型を示す情報を、人物の動線の情報と紐付けて、人物データベースに格納してもよい。これにより、髪型判別部４１が後に人物の髪型を判別する際に、人物データベースに格納された人物の髪型を示す情報を参照することによって、現在の人物の髪型と、過去の人物の髪型とを照合することができる。 Furthermore, the hairstyle determination unit 41 may acquire information on the person's flow line from a tracking unit (not shown). Then, the hairstyle determining unit 41 may associate the information indicating the person's hairstyle with the information about the person's flow line and store the information in the person database. As a result, when the hairstyle determining unit 41 determines the hairstyle of a person later, the hairstyle of the current person and the hairstyle of the person in the past are referred to by referring to the information indicating the hairstyle of the person stored in the person database. can be matched.

（画像処理装置１の動作フロー）
図２を参照して、本実施形態１に係わる画像処理装置１の動作を説明する。図２は、画像処理装置１の動作の流れを示すフローチャートである。 (Operation flow of image processing apparatus 1)
The operation of the image processing apparatus 1 according to the first embodiment will be described with reference to FIG. FIG. 2 is a flowchart showing the operation flow of the image processing apparatus 1. As shown in FIG.

図２に示すように、人物検出部１０は、画像データを受信する。例えば、人物検出部１０は、任意の監視場所に設置された監視カメラから、画像データを受信する。人物検出部１０は、受信した画像データから人物を検出する（Ｓ１）。人物検出部１０は、検出した人物の領域を含む人物画像のデータを、特徴抽出部２０へ送信する。 As shown in FIG. 2, the person detection unit 10 receives image data. For example, the person detection unit 10 receives image data from a monitoring camera installed at an arbitrary monitoring location. The person detection unit 10 detects a person from the received image data (S1). The person detection unit 10 transmits data of a person image including the area of the detected person to the feature extraction unit 20 .

特徴抽出部２０は、人物検出部１０から、人物画像のデータを受信する。特徴抽出部２０は、人物画像のデータから、人物の特徴を抽出する（Ｓ２）。特徴抽出部２０は、抽出した人物の特徴（人物特徴）を示す情報（以下、特徴データと呼ぶ場合がある）を、人物判別部４０へ送信する。人物特徴は、人物の顔の特徴であってもよいが、これに限定されない。 The feature extraction unit 20 receives data of a person image from the person detection unit 10 . The feature extraction unit 20 extracts features of the person from the data of the person image (S2). The feature extraction unit 20 transmits information indicating the extracted features (person features) of a person (hereinafter sometimes referred to as feature data) to the person determination unit 40 . A person feature may be a person's facial feature, but is not limited to this.

人物判別部４０は、特徴抽出部２０から、人物特徴を示す特徴データを受信する。人物判別部４０は、受信した特徴データに基づいて、人物を判別する（Ｓ３）。そして、人物判別部４０は、人物の判別結果を出力する。 The person determination unit 40 receives feature data indicating person features from the feature extraction unit 20 . The person discriminating unit 40 discriminates a person based on the received feature data (S3). Then, the person determination unit 40 outputs the person determination result.

トリガー検出部３０は、トリガーを検出する。本実施形態１では、トリガー検出部３０は、人物の髪型を判別することが、人物を精度よく判別するための有効な手段となり得るときに検出されるイベントを、トリガーとして検出する。 The trigger detection unit 30 detects triggers. In the first embodiment, the trigger detection unit 30 detects, as a trigger, an event detected when identifying a person's hairstyle can be an effective means for accurately identifying a person.

例えば、トリガーは、特徴抽出部２０が人物の特徴を抽出することに失敗したことであってもよい。この場合、トリガー検出部３０は、特徴抽出部２０から、人物の特徴を抽出することに失敗したことを示すエラー検出情報を受信したことを、トリガーとして検出する。 For example, the trigger may be the failure of the feature extraction unit 20 to extract the features of a person. In this case, the trigger detection unit 30 detects, as a trigger, the reception of error detection information indicating that extraction of the person's features has failed from the feature extraction unit 20 .

トリガー検出部３０は、所定の期間内にトリガーを検出した場合（Ｓ４でＹＥＳ）、トリガー検出信号を、人物判別部４０の髪型判別部４１へ送信する。一方、トリガー検出部３０が所定の期間内にトリガーを検出しなかった場合（Ｓ４でＮＯ）、フローはステップＳ１へ戻る。 When the trigger detection unit 30 detects a trigger within a predetermined period (YES in S4), the trigger detection unit 30 transmits a trigger detection signal to the hairstyle determination unit 41 of the person determination unit 40 . On the other hand, if the trigger detection unit 30 has not detected a trigger within the predetermined period (NO in S4), the flow returns to step S1.

人物判別部４０の髪型判別部４１は、トリガー検出部３０から、トリガー検出信号を受信する。トリガー検出信号を受信したとき、すなわち、トリガーが検出されたとき（Ｓ４でＹＥＳ）、髪型判別部４１は、人物の髪型を判別する（Ｓ５）。 The hairstyle discrimination section 41 of the person discrimination section 40 receives the trigger detection signal from the trigger detection section 30 . When the trigger detection signal is received, that is, when the trigger is detected (YES in S4), the hairstyle determining section 41 determines the hairstyle of the person (S5).

髪型判別部４１は、人物の髪型の判別結果を出力する。例えば、髪型判別部４１は、判別した人物の髪型を示す情報を出力する。 The hairstyle determination unit 41 outputs the determination result of the person's hairstyle. For example, the hairstyle determination unit 41 outputs information indicating the hairstyle of the determined person.

以上で、画像処理装置１の動作は終了する。 With this, the operation of the image processing apparatus 1 ends.

（本実施形態の効果）
本実施形態の構成によれば、人物検出部１０は、画像から人物を検出する。特徴抽出部２０は、人物の特徴を抽出する。トリガー検出部３０は、トリガーを検出する。人物判別部４０は、人物の特徴を抽出する。人物判別部４０は、人物の特徴に基づいて、人物を判別する。トリガーが検出されたとき、人物判別部４０の髪型判別部４１は、人物の髪型を判別する。 (Effect of this embodiment)
According to the configuration of this embodiment, the person detection unit 10 detects a person from an image. The feature extraction unit 20 extracts features of a person. The trigger detection unit 30 detects triggers. The person discrimination unit 40 extracts the characteristics of a person. The person discriminating unit 40 discriminates a person based on the characteristics of the person. When the trigger is detected, the hairstyle discrimination section 41 of the person discrimination section 40 discriminates the hairstyle of the person.

このように、人物判別部４０は、トリガーが検出されたときに、人物の髪型を判別する髪型判別部４１を備えている。例えば、特徴抽出部２０が人物の顔の特徴を抽出できないため、人物判別部４０が人物の顔を判別できないことが、トリガーとして検出される。このように、トリガーの検出の有無に応じて、人物を判別する方法を変更することができるので、画像処理装置１は、人物の判別の精度を向上させることができる。 As described above, the person determination unit 40 includes the hairstyle determination unit 41 that determines the hairstyle of the person when the trigger is detected. For example, it is detected as a trigger that the person identification unit 40 cannot identify the person's face because the feature extraction unit 20 cannot extract the characteristics of the person's face. In this manner, the method of identifying a person can be changed depending on whether or not a trigger has been detected, so the image processing apparatus 1 can improve the accuracy of identifying a person.

〔実施形態２〕
図３～図５を参照して、実施形態２について説明する。 [Embodiment 2]
Embodiment 2 will be described with reference to FIGS. 3 to 5. FIG.

（画像処理装置２）
図３は、本実施形態２に係わる画像処理装置２の構成を示すブロック図である。図３に示すように、画像処理装置２は、人物検出部１０、特徴抽出部２０、トリガー検出部３０、および人物判別部２４０を備えている。人物判別部２４０は、髪型判別部４１および顔判別部４２を含む。 (Image processing device 2)
FIG. 3 is a block diagram showing the configuration of the image processing apparatus 2 according to the second embodiment. As shown in FIG. 3 , the image processing device 2 includes a person detection section 10 , a feature extraction section 20 , a trigger detection section 30 and a person determination section 240 . Person discrimination section 240 includes hairstyle discrimination section 41 and face discrimination section 42 .

すなわち、本実施形態２に係わる画像処理装置２は、前記実施形態１で説明した画像処理装置１の人物判別部４０の代わりに、人物判別部２４０を備えている。この点で、本実施形態２に係わる画像処理装置２は、前記実施形態１に係わる画像処理装置１と異なる。 That is, the image processing apparatus 2 according to the second embodiment includes a person discrimination section 240 instead of the person discrimination section 40 of the image processing apparatus 1 described in the first embodiment. In this respect, the image processing apparatus 2 according to the second embodiment differs from the image processing apparatus 1 according to the first embodiment.

（監視カメラ１００）
図４を参照して、人物を撮影する監視カメラ１００について説明する。図４では、固定された監視カメラ１００が監視エリア（すなわち監視カメラ１００の視野）内にいる人物を撮影している。監視カメラ１００は、動画を撮影する機能を有する。あるいは、監視カメラ１００は、所定時間ごとに、または、センサによって移動物体を感知するごとに、静止画を撮影してもよい。なお、図示しないが、監視カメラ１００は複数あってもよい。 (Monitoring camera 100)
A monitoring camera 100 for photographing a person will be described with reference to FIG. In FIG. 4, a fixed surveillance camera 100 is photographing a person within the surveillance area (that is, the field of view of the surveillance camera 100). The monitoring camera 100 has a function of capturing moving images. Alternatively, surveillance camera 100 may capture a still image at predetermined time intervals or each time a moving object is sensed by a sensor. Although not shown, a plurality of surveillance cameras 100 may be provided.

例えば、監視カメラ１００は、都市、街頭、大規模商業施設、空港、ターミナル駅、プラットフォーム、レジャー施設、スポーツ施設、スタジアム、または監視の必要があるその他の場所に設置される。 For example, the surveillance cameras 100 are installed in cities, streets, large commercial facilities, airports, terminal stations, platforms, leisure facilities, sports facilities, stadiums, or other places that need to be monitored.

監視カメラ１００は、撮影した人物の画像データを生成する。監視カメラ１００は、生成した画像データを、画像処理装置２の人物検出部１０（図３参照）へ送信する。このとき、監視カメラ１００は、有線または無線のネットワークを介して、画像データを画像処理装置２へ直接的に送信してもよい。あるいは、監視カメラ１００は、画像データを画像データベースに蓄積しておき、画像データベースに蓄積された画像データベースを参照するように、画像処理装置２に指示してもよい。 The surveillance camera 100 generates image data of a person who has been photographed. The surveillance camera 100 transmits the generated image data to the person detection section 10 (see FIG. 3) of the image processing device 2 . At this time, the monitoring camera 100 may directly transmit the image data to the image processing device 2 via a wired or wireless network. Alternatively, the monitoring camera 100 may accumulate image data in an image database and instruct the image processing device 2 to refer to the image database accumulated in the image database.

（人物判別部２４０）
前述したように、人物判別部２４０は、髪型判別部４１および顔判別部４２を備えている。 (Person discrimination unit 240)
As described above, the person discrimination section 240 includes the hairstyle discrimination section 41 and the face discrimination section 42 .

本実施形態２の髪型判別部４１は、前記実施形態１の髪型判別部４１と同様に、トリガーが検出されたとき、人物の髪型を判別する。髪型判別部４１は、髪型判別手段の一例である。 The hairstyle determination unit 41 of the second embodiment, like the hairstyle determination unit 41 of the first embodiment, determines the hairstyle of a person when a trigger is detected. The hairstyle determining section 41 is an example of a hairstyle determining means.

より詳細には、髪型判別部４１は、トリガー検出部３０から、トリガー検出信号を受信する。前記実施形態１で説明したように、トリガー検出信号は、トリガー検出部３０がトリガーを検出したことを示す。トリガー検出部３０は、トリガーを検出したとき、トリガー検出信号を髪型判別部４１へ送信する。 More specifically, the hairstyle determination section 41 receives a trigger detection signal from the trigger detection section 30 . As described in the first embodiment, the trigger detection signal indicates that the trigger detection section 30 has detected a trigger. The trigger detection unit 30 transmits a trigger detection signal to the hairstyle determination unit 41 when detecting the trigger.

髪型判別部４１は、トリガー検出部３０から、トリガー検出信号を受信したとき、人物の髪型を判別する。例えば、髪型判別部４１は、図示しない髪型データベースに格納されている多様な髪型のモデルを参照して、人物の髪型と、髪型のモデルとをマッチングする。あるいは、髪型判別部４１は、人物の髪型の特徴を学習したモデル（識別器）を用いて、人物の髪型を判別してもよい。 The hairstyle determination unit 41 determines the hairstyle of the person when receiving the trigger detection signal from the trigger detection unit 30 . For example, the hairstyle determination unit 41 refers to various hairstyle models stored in a hairstyle database (not shown), and matches the person's hairstyle with the hairstyle model. Alternatively, the hairstyle determining unit 41 may determine a person's hairstyle using a model (identifier) that has learned the characteristics of the person's hairstyle.

こうして、髪型判別部４１は、人物の髪型を判別した後、人物の髪型の判別結果を出力する。または、髪型判別部４１は、人物の髪型を示す情報（例えば、髪型の名称）を、図示しない髪型データベースに格納してもよい。 In this way, after determining the hairstyle of the person, the hairstyle determination unit 41 outputs the determination result of the hairstyle of the person. Alternatively, the hairstyle determination unit 41 may store information indicating a person's hairstyle (for example, the name of the hairstyle) in a hairstyle database (not shown).

顔判別部４２は、人物の顔と、候補の人物の顔とを照合することによって、人物の顔を判別する。顔判別部４２は、顔判別手段の一例である。具体的には、特徴抽出部２０から、人物の顔に関する特徴（以下では、顔特徴とも呼ばれる）を示す特徴データ（以下、顔特徴データとも呼ばれる）を受信する。 The face discriminating unit 42 discriminates a person's face by matching the person's face with the candidate person's face. The face discrimination section 42 is an example of face discrimination means. Specifically, it receives feature data (hereinafter also referred to as facial feature data) indicating features related to a person's face (hereinafter also referred to as facial features) from the feature extraction unit 20 .

顔判別部４２は、図示しない人物データベースを参照して、判別対象である人物と顔特徴が一致または類似する候補の人物を、人物データベースに登録された候補の人物の中から検索する。 The face discrimination unit 42 refers to a person database (not shown) and searches candidate persons registered in the person database for candidates whose facial features match or are similar to those of the person to be discriminated.

人物データベースには、候補の人物（すでに判別された人物）に関する様々な情報が格納されている。例えば、人物データベースには、候補の人物のＩＤ（Identification）、名前、候補の人物の顔の領域を含む顔画像、および候補の人物の顔の特徴（以下、顔特徴と呼ぶ場合がある）を示す特徴ベクトルのほか、候補の人物の属性を示す情報が格納されている。候補の人物の顔特徴を示す特徴ベクトルは、前述した顔特徴データの一例である。 The person database stores various information about candidate persons (persons who have already been identified). For example, in the person database, candidate person IDs (Identification), names, face images including candidate person face regions, and candidate person facial features (hereinafter sometimes referred to as facial features) are stored. In addition to the feature vectors shown, information indicating the attributes of the candidate person is stored. A feature vector indicating facial features of a candidate person is an example of the aforementioned facial feature data.

顔判別部４２は、判別対象である人物の顔特徴データと、人物データベースに格納された候補の人物の顔特徴データとの間の類似度を示すスコアを計算する。人物データベースに、複数の候補の人物の顔画像が格納されている場合、顔判別部４２は、候補の人物の各々と、判別対象である人物との間で、それぞれスコアを計算する。 The face discrimination unit 42 calculates a score indicating the degree of similarity between the facial feature data of the person to be discriminated and the facial feature data of the candidate person stored in the person database. When face images of a plurality of candidate persons are stored in the person database, the face determination unit 42 calculates a score between each of the candidate persons and the person to be determined.

例えば、顔判別部４２は、候補の人物の顔特徴を示す特徴ベクトルに基づいて、特徴ベクトル間の距離が短いほど大きく、特徴ベクトル間の距離が長いほど小さいスコアを計算する。例えば、スコアは、特徴ベクトル間の距離の逆数である。 For example, the face determination unit 42 calculates a score that increases as the distance between the feature vectors decreases and decreases as the distance between the feature vectors increases, based on the feature vectors indicating the facial features of the candidate person. For example, the score is the reciprocal of the distance between feature vectors.

顔判別部４２は、スコアが閾値を超える候補の人物のうち、スコアが最も高い候補の人物を、判別対象である人物と同一人物として判別する。 The face discrimination unit 42 discriminates the candidate person with the highest score among the candidate persons whose score exceeds the threshold value as the same person as the person to be discriminated.

より詳細には、スコアが閾値を超える候補の人物を少なくとも１人以上、人物データベースから発見した場合、顔判別部４２は、スコアが最も高い候補の人物を、判別対象である物であると判別する。顔判別部４２は、判別した人物に関する情報を、人物データベースから取得して、人物の判別結果として出力する。 More specifically, when at least one candidate person whose score exceeds the threshold is found from the person database, the face determination unit 42 determines that the candidate person with the highest score is the object to be determined. do. The face discrimination unit 42 acquires information about the discriminated person from the person database and outputs it as a person discrimination result.

一方、顔判別部４２は、スコアが閾値を超える候補の人物が存在しない場合、人物の顔の判別に失敗したと判断する。この場合、顔判別部４２は、人物の顔の判別に失敗したことを示すエラー検出信号を、トリガー検出部３０へ送信する。 On the other hand, if there is no candidate person whose score exceeds the threshold, the face determination unit 42 determines that the person's face determination has failed. In this case, the face discrimination section 42 transmits an error detection signal indicating that discrimination of the person's face has failed to the trigger detection section 30 .

また、スコアが閾値を超える候補の人物が２人以上存在する場合であって、かつ、スコアが最も高い候補の人物と、スコアが２番目に高い候補の人物との間で、スコアの差が所定の値以下である場合、顔判別部４２は、人物の顔の判別に失敗したと判断する。この場合も、顔判別部４２は、人物の顔の判別に失敗したことを示すエラー検出信号を、トリガー検出部３０へ送信する。 In addition, when there are two or more candidate persons whose score exceeds the threshold, and the score difference between the candidate person with the highest score and the candidate person with the second highest score is If it is equal to or less than the predetermined value, the face determination unit 42 determines that the person's face has failed to be determined. In this case as well, the face discrimination section 42 transmits to the trigger detection section 30 an error detection signal indicating that discrimination of the person's face has failed.

（画像処理装置２の動作）
図５を参照して、本実施形態２に係わる画像処理装置２の動作を説明する。図５は、画像処理装置２の動作の流れを示すフローチャートである。 (Operation of image processing device 2)
The operation of the image processing apparatus 2 according to the second embodiment will be described with reference to FIG. FIG. 5 is a flow chart showing the operation flow of the image processing apparatus 2. As shown in FIG.

図５に示すように、人物検出部１０は、監視カメラ１００（図４参照）から画像データを受信する。人物検出部１０は、受信した画像データから人物を検出する（Ｓ２０１）。人物検出部１０は、検出した人物の領域を含む人物画像のデータを、特徴抽出部２０へ送信する。 As shown in FIG. 5, the person detection unit 10 receives image data from the monitoring camera 100 (see FIG. 4). The person detection unit 10 detects a person from the received image data (S201). The person detection unit 10 transmits data of a person image including the area of the detected person to the feature extraction unit 20 .

特徴抽出部２０は、人物検出部１０から、人物画像のデータを受信する。特徴抽出部２０は、人物画像のデータから、人物の顔特徴を抽出する（Ｓ２０２）。 The feature extraction unit 20 receives data of a person image from the person detection unit 10 . The feature extraction unit 20 extracts the facial features of the person from the data of the person image (S202).

特徴抽出部２０は、人物画像のデータから、人物の顔特徴を抽出することに成功した場合（Ｓ２０３でＹＥＳ）、抽出した顔特徴（すなわち人物の顔特徴）を示す情報（以下、顔特徴データと呼ぶ場合がある）を、人物判別部２４０の顔判別部４２へ送信する。 If the feature extraction unit 20 succeeds in extracting the facial features of the person from the data of the person image (YES in S203), the feature extracting unit 20 extracts information (hereinafter referred to as facial feature data ) is sent to the face discrimination section 42 of the person discrimination section 240 .

一方、特徴抽出部２０が、人物画像のデータから、人物の顔特徴を抽出することに失敗した場合（Ｓ２０３でＮＯ）、特徴抽出部２０は、人物の顔特徴の抽出に失敗したことを示すエラー検出信号を、トリガー検出部３０へ送信する。この場合、動作フローは、後述するステップＳ２０６へ進む。 On the other hand, if the feature extraction unit 20 fails to extract the facial features of the person from the data of the person image (NO in S203), the feature extraction unit 20 indicates that the extraction of the facial features of the person has failed. An error detection signal is sent to the trigger detection section 30 . In this case, the operation flow proceeds to step S206, which will be described later.

顏判別部４２は、特徴抽出部２０から、顔特徴を示す情報（顔特徴データ）を受信する。顔判別部４２は、受信した顔特徴データに基づいて、人物の顔を判別する（Ｓ２０４）。 The face determination unit 42 receives information indicating facial features (facial feature data) from the feature extraction unit 20 . The face discrimination unit 42 discriminates a person's face based on the received facial feature data (S204).

具体的には、顔判別部４２は、図示しない人物データベースを参照して、判別対象である人物と顔特徴が一致または類似する候補の人物を、人物データベースに登録された人物の中から検索する。人物データベースには、候補の人物（すでに判別された人物）に関する情報が格納されている。例えば、人物データベースには、候補の人物のＩＤ（Identification）、名前、顔画像、および顔画像から抽出された顔特徴を示す情報のほか、候補の人物の様々な属性を示す情報が格納されている。 Specifically, the face discrimination unit 42 refers to a person database (not shown), and searches for a candidate person whose facial features match or are similar to those of the person to be discriminated from among the persons registered in the person database. . The person database stores information about candidate persons (already identified persons). For example, the person database stores ID (identification), name, face image, and information indicating facial features extracted from the face image of a candidate person, as well as information indicating various attributes of the candidate person. there is

顔判別部４２は、判別対象である人物の顔特徴データと、人物データベースに格納された候補の人物の顔特徴データとの間の類似度を示すスコアを計算する。人物データベースに、複数の候補の人物の顔画像が格納されている場合、顔判別部４２は、候補の人物の各々と、判別対象である人物との間で、それぞれスコアを計算する。 The face discrimination unit 42 calculates a score indicating the degree of similarity between the facial feature data of the person to be discriminated and the facial feature data of the candidate person stored in the person database. When face images of a plurality of candidate persons are stored in the person database, the face determination unit 42 calculates a score between each of the candidate persons and the person to be determined.

顏判別部４２は、計算したスコアに基づいて、人物の顔の判別に成功したかそれとも失敗したかを判断する（Ｓ２０５）。 The face determination unit 42 determines whether the person's face has been successfully determined based on the calculated score (S205).

具体的には、顔判別部４２は、スコアが閾値を超える候補の人物が存在しない場合、人物の顔の判別に失敗したと判断する（Ｓ２０５でＮＯ）。また、スコアが閾値を超える候補の人物が２人以上存在する場合であって、スコアが最も高い候補の人物と、スコアが２番目に高い候補の人物との間で、スコアの差が所定の値以下である場合も、顔判別部４２は、人物の顔の判別に失敗したと判断する（Ｓ２０５でＮＯ）。 Specifically, when there is no candidate person whose score exceeds the threshold, the face determination unit 42 determines that the person's face determination has failed (NO in S205). In addition, when there are two or more candidate persons whose score exceeds the threshold, the score difference between the candidate person with the highest score and the candidate person with the second highest score is a predetermined value. If the value is less than or equal to the value, the face discrimination unit 42 also determines that discrimination of the person's face has failed (NO in S205).

一方、上記の２つの失敗の場合のいずれかに該当しない場合、顔判別部４２は、人物の顔の判別に成功したと判断する（Ｓ２０５でＹＥＳ）。この場合、画像処理装置２の動作フローは終了する。顔判別部４２は、人物の判別結果の一つとして、判別した人物に関する情報を出力してもよい。 On the other hand, if neither of the above two cases of failure occurs, the face determination unit 42 determines that the person's face has been successfully determined (YES in S205). In this case, the operation flow of the image processing device 2 ends. The face discrimination unit 42 may output information about the discriminated person as one of the person discrimination results.

人物の顔の判別に失敗した場合（Ｓ２０５でＮＯ）、顔判別部４２は、人物の顔の判別に失敗したことを示すエラー検出信号を、トリガー検出部３０へ送信する。 If the person's face has not been determined (NO in S205), the face determination unit 42 transmits an error detection signal indicating that the person's face has been unsuccessfully determined to the trigger detection unit 30. FIG.

特徴抽出部２０が、人物画像のデータから、人物の顔特徴を抽出することに失敗した場合（Ｓ２０３でＮＯ）、トリガー検出部３０は、特徴抽出部２０から、人物の顔特徴の抽出に失敗したことを示すエラー検出信号を受信する。この場合、トリガー検出部３０は、特徴抽出部２０が人物の顔特徴の抽出に失敗したことを、トリガーとして検出する（Ｓ２０６）。 If the feature extraction unit 20 fails to extract the facial features of the person from the data of the person image (NO in S203), the trigger detection unit 30 fails to extract the facial features of the person from the feature extraction unit 20. receive an error detection signal indicating that In this case, the trigger detection unit 30 detects as a trigger that the feature extraction unit 20 has failed to extract the facial features of the person (S206).

また、顔判別部４２が、人物の顔の判別に失敗した場合（Ｓ２０５でＮＯ）、トリガー検出部３０は、顔判別部４２から、人物の顔の判別に失敗したことを示すエラー検出信号を受信する。この場合、トリガー検出部３０は、顔判別部４２が人物の顔の判別に失敗したことを、トリガーとして検出する（Ｓ２０６）。ステップＳ２０６において、トリガー検出部３０は、以下の（１）または（２）の場合に、トリガーを検出する。 Further, when the face discrimination section 42 fails to discriminate the person's face (NO in S205), the trigger detection section 30 outputs an error detection signal from the face discrimination section 42 indicating that the discrimination of the person's face has failed. receive. In this case, the trigger detection unit 30 detects as a trigger that the face determination unit 42 has failed to determine the person's face (S206). In step S206, the trigger detection unit 30 detects a trigger in the following cases (1) or (2).

（１）スコアが最も高い候補の人物と、スコアが２番目に高い候補の人物との間で、スコアの差が所定の値を超えない。 (1) The score difference between the candidate person with the highest score and the candidate person with the second highest score does not exceed a predetermined value.

（２）スコアが閾値を超える候補の人物が存在しない。 (2) There is no candidate person whose score exceeds the threshold.

ステップＳ２０６の後、トリガー検出部３０は、トリガー検出信号を、人物判別部２４０の髪型判別部４１へ送信する。 After step S<b>206 , the trigger detection section 30 transmits the trigger detection signal to the hairstyle determination section 41 of the person determination section 240 .

人物判別部４０の髪型判別部４１は、トリガー検出部３０から、トリガー検出信号を受信する。トリガー検出信号を受信したとき、すなわち、トリガーが検出されたとき（Ｓ４でＹＥＳ）、髪型判別部４１は、人物の髪型を判別する（Ｓ２０７）。 The hairstyle discrimination section 41 of the person discrimination section 40 receives the trigger detection signal from the trigger detection section 30 . When the trigger detection signal is received, that is, when the trigger is detected (YES in S4), the hairstyle determination section 41 determines the hairstyle of the person (S207).

髪型判別部４１は、人物の判別結果の一つとして、人物の髪型の判別結果を出力する。例えば、髪型判別部４１は、判別した人物の髪型に関する情報（髪型の名称など）を出力する。髪型判別部４１は、判別した人物の髪型に関する情報と対比するために、顔判別部４２によって計算されたスコアが最も高い候補の人物の髪型を示す情報を、さらに出力してもよい。 The hairstyle determination unit 41 outputs a determination result of a person's hairstyle as one of the determination results of the person. For example, the hairstyle determination unit 41 outputs information (name of hairstyle, etc.) related to the hairstyle of the determined person. The hairstyle determination unit 41 may further output information indicating the hairstyle of the candidate with the highest score calculated by the face determination unit 42, in order to compare it with the information about the hairstyle of the determined person.

以上で、画像処理装置２の動作は終了する。 With this, the operation of the image processing apparatus 2 is completed.

（変形例）
一変形例では、上記の（１）および（２）のいずれにも該当しない場合であっても、スコアが最も高い候補の人物のスコアが閾値プラスα（αは、適宜に決められる）を超えない場合、髪型判別部４１が人物の髪型を判別するとともに、顔判別部４２が人物の顔を判別してもよい。これにより、画像処理装置２は、人物の髪型の判別結果と、人物の顔の判別結果とを併用して、人物の判別の精度をより向上させることができる。 (Modification)
In one variation, even if none of the above (1) and (2) apply, the score of the candidate with the highest score exceeds the threshold plus α (α is determined as appropriate) If not, the hairstyle determining section 41 may determine the person's hairstyle and the face determining section 42 may determine the person's face. As a result, the image processing apparatus 2 can use both the determination result of the hairstyle of the person and the determination result of the face of the person to further improve the accuracy of the determination of the person.

（本実施形態の効果）
本実施形態の構成によれば、人物検出部１０は、画像から人物を検出する。特徴抽出部２０は、人物の特徴を抽出する。トリガー検出部３０は、トリガーを検出する。人物判別部４０は、人物の特徴を抽出する。 (Effect of this embodiment)
According to the configuration of this embodiment, the person detection unit 10 detects a person from an image. The feature extraction unit 20 extracts features of a person. The trigger detection unit 30 detects triggers. The person discrimination unit 40 extracts the characteristics of a person.

人物判別部４０の顔判別部４２は、人物の顔と、候補の人物の顔とを照合することによって、人物の顔を判別する。また顔判別部４２は、人物の顔と、候補の人物の顔とが同一であることの確からしさを表すスコアを計算する。 A face discrimination section 42 of the person discrimination section 40 discriminates a person's face by matching the face of the person with the face of a candidate person. The face discrimination unit 42 also calculates a score representing the probability that the face of the person and the face of the candidate person are the same.

トリガー検出部３０は、特徴抽出部２０が人物の顔特徴を抽出することに失敗したことを、トリガーとして検出する。またトリガー検出部３０は、顔判別部４２が人物の顔の判別に失敗したことを、トリガーとして検出する。 The trigger detection unit 30 detects as a trigger that the feature extraction unit 20 has failed to extract the facial features of a person. The trigger detection unit 30 also detects, as a trigger, that the face determination unit 42 has failed to determine a person's face.

人物判別部４０は、人物の特徴に基づいて、人物を判別する。トリガーが検出されたとき、人物判別部４０の髪型判別部４１は、人物の髪型を判別する。このように、トリガーの検出の有無に応じて、人物を判別する方法を変更する。例えば、人物の髪型の判別結果と、人物の顔の判別結果とを併用してもよい。これにより、画像処理装置２は、人物の判別の精度をより向上させることができる。 The person discriminating unit 40 discriminates a person based on the characteristics of the person. When the trigger is detected, the hairstyle discrimination section 41 of the person discrimination section 40 discriminates the hairstyle of the person. In this manner, the method for determining a person is changed depending on whether or not a trigger is detected. For example, the determination result of the person's hairstyle and the determination result of the person's face may be used together. As a result, the image processing device 2 can further improve the accuracy of person discrimination.

〔実施形態３〕
図６を参照して、実施形態３について説明する。前記実施形態１、２では、人物の髪型の判別を開始するトリガーについて説明した。本実施形態３では、人物の髪型の判別を終了するトリガー（以下では、終了トリガーと呼ぶ場合がある）について説明する。終了トリガーは、第２のトリガーの一例である。 [Embodiment 3]
Embodiment 3 will be described with reference to FIG. In the first and second embodiments, the trigger for starting to determine the hairstyle of a person has been described. In the third embodiment, a trigger for terminating discrimination of a person's hairstyle (hereinafter sometimes referred to as an end trigger) will be described. A termination trigger is an example of a second trigger.

（画像処理装置の構成）
本実施形態３に係わる画像処理装置の構成は、前記実施形態２において説明した画像処理装置１（図２参照）と同じである。 (Configuration of image processing device)
The configuration of the image processing apparatus according to the third embodiment is the same as that of the image processing apparatus 1 (see FIG. 2) described in the second embodiment.

（顔の判別処理の終了）
図６を参照して、本実施形態３に係わる画像処理装置の動作を説明する。図６は、本実施形態３に係わる画像処理装置が実行する顔の判別の終了処理の流れを示すフローチャートである。なお、以下で説明する処理が開始される前に、髪型判別部４１が、人物の髪型の判別を開始している。 (End of face discrimination processing)
The operation of the image processing apparatus according to the third embodiment will be described with reference to FIG. FIG. 6 is a flow chart showing the flow of face discrimination termination processing executed by the image processing apparatus according to the third embodiment. It should be noted that the hairstyle determining unit 41 has started to determine the hairstyle of the person before the processing described below is started.

図６に示すように、トリガー検出部３０は、終了トリガーを検出する（Ｓ３０１）。終了トリガーは、前記実施形態１および２で説明したトリガーと対で使用される。 As shown in FIG. 6, the trigger detection unit 30 detects an end trigger (S301). The termination trigger is used in pairs with the triggers described in the first and second embodiments.

前記実施形態１および２で説明したトリガーは、人物の髪型を判別することが、人物を精度よく判別するための有効な手段となり得るときに検出されるイベントである。一方、本実施形態３に係わる終了トリガーは、人物の髪型よりも人物の顔を判別することが、人物を精度よく判別するための有効な手段となり得るときに検出されるイベントである。 The trigger described in the first and second embodiments is an event detected when determining a person's hairstyle can be an effective means for accurately determining a person. On the other hand, the termination trigger according to the third embodiment is an event detected when identifying a person's face rather than his/her hairstyle can be an effective means for accurately identifying a person.

例えば、終了トリガーは、前記実施形態２において説明した動作フローのステップＳ２０２において、特徴抽出部２０が人物の特徴を抽出することに成功したことであってもよい。または、終了トリガーは、前記実施形態２において説明した動作フローのステップＳ２０４において、人物判別部４０の顔判別部４２が人物の顔を判別することに成功したことであってもよい。 For example, the end trigger may be that the feature extraction unit 20 succeeds in extracting the features of the person in step S202 of the operation flow described in the second embodiment. Alternatively, the termination trigger may be that the face discrimination section 42 of the person discrimination section 40 succeeds in discriminating a person's face in step S204 of the operation flow described in the second embodiment.

具体的には、トリガー検出部３０は、以下の（１）および（２）の条件の両方が満たされる場合に、顔判別部４２が人物の顔の判別に成功したことに基づく終了トリガーを検出する。 Specifically, the trigger detection unit 30 detects an end trigger based on the fact that the face determination unit 42 has successfully determined a person's face when both of the following conditions (1) and (2) are satisfied: do.

（１）スコアが閾値を超える候補の人物が少なくとも１人存在する。 (1) There is at least one candidate person whose score exceeds the threshold.

（２）スコアが最も高い候補の人物と、スコアが２番目に高い候補の人物との間で、スコアの差が所定の値以上である。 (2) The score difference between the candidate person with the highest score and the candidate person with the second highest score is equal to or greater than a predetermined value.

終了トリガーを検出したとき、トリガー検出部３０は、終了トリガー検出信号を、髪型判別部４１へ送信する。 When the end trigger is detected, the trigger detection section 30 transmits an end trigger detection signal to the hairstyle determination section 41 .

加えて、トリガー検出部３０は、終了トリガー検出信号を、顔判別部４２にも送信してもよい。顔判別部４２は、トリガー検出部３０から終了トリガー信号を検出したとき、人物の顔の判別を開始あるいは再開してもよい。 In addition, the trigger detection section 30 may also transmit the termination trigger detection signal to the face determination section 42 . The face discrimination section 42 may start or restart discrimination of a person's face when an end trigger signal is detected from the trigger detection section 30 .

髪型判別部４１は、トリガー検出部３０から、終了トリガー検出信号を受信したとき、人物の髪型を判別する処理を停止する（Ｓ３０２）。 When receiving the end trigger detection signal from the trigger detection unit 30, the hairstyle determination unit 41 stops the process of determining the person's hairstyle (S302).

以上で、本実施形態３に係わる画像処理装置の動作は終了する。 With this, the operation of the image processing apparatus according to the third embodiment is completed.

（変形例）
なお、上記の（１）の場合において、スコアが最も高い候補の人物のスコアが閾値プラスα（αは、適宜に決められる）を超えない場合、前記実施形態２の変形例のように、髪型判別部４１が人物の髪型を判別するとともに、顔判別部４２が人物の顔を判別してもよい。これにより、本実施形態３に係わる画像処理装置は、人物の髪型の判別結果と、人物の顔の判別結果とを併用できるので、人物の判別の精度をより向上させることができる。 (Modification)
In case (1) above, if the score of the candidate with the highest score does not exceed the threshold value plus α (where α is determined as appropriate), the hairstyle The determination unit 41 may determine the hairstyle of the person, and the face determination unit 42 may determine the face of the person. As a result, the image processing apparatus according to the third embodiment can use both the determination result of the person's hairstyle and the determination result of the person's face, so that the accuracy of person determination can be further improved.

本実施形態３において説明した構成は、前記実施形態１で説明した構成に適用することもできる。その場合、終了トリガーが検出されたとき、顔判別部４２によって人物の顔の判別が開始あるいは再開される代わりに、人物判別部４０によって人物の他の部位が判別されてもよい。 The configuration described in the third embodiment can also be applied to the configuration described in the first embodiment. In that case, when the end trigger is detected, instead of the face discrimination section 42 starting or resuming discrimination of the person's face, the person discrimination section 40 may discriminate another part of the person.

（本実施形態の効果）
本実施形態の構成によれば、トリガー検出部３０は、終了トリガーを検出する。終了トリガーは、人物の髪型よりも人物の顔を判別することが、人物を精度よく判別するための有効な手段となり得るときに検出されるイベントである。トリガー検出部３０が終了トリガーを検出したとき、髪型判別部４１は、人物の髪型を判別することを停止する。これにより、画像処理装置の省エネルギー化及び処理負担の軽減を図ることができる。また、人物の髪型を判別することを停止する一方で、人物の顔を判別することを開始または再開することによって、画像処理装置は、人物の判別の精度を向上させることができる。 (Effect of this embodiment)
According to the configuration of this embodiment, the trigger detection unit 30 detects an end trigger. The end trigger is an event detected when identifying a person's face rather than his or her hairstyle can be an effective means for accurately identifying a person. When the trigger detection unit 30 detects the end trigger, the hairstyle determination unit 41 stops determining the person's hairstyle. As a result, it is possible to save energy and reduce the processing load of the image processing apparatus. In addition, the image processing apparatus can improve the accuracy of person identification by starting or resuming the identification of the person's face while stopping the identification of the person's hairstyle.

〔実施形態４〕
図７を参照して、実施形態４について以下で説明する。 [Embodiment 4]
Embodiment 4 is described below with reference to FIG.

（ハードウェア構成について）
前記実施形態１～３で説明した画像処理装置の各構成要素は、機能単位のブロックを示している。これらの構成要素の一部又は全部は、例えば図７に示すような情報処理装置９００により実現される。図７は、情報処理装置９００のハードウェア構成の一例を示すブロック図である。 (About hardware configuration)
Each component of the image processing apparatus described in Embodiments 1 to 3 represents a functional unit block. Some or all of these components are realized by an information processing device 900 as shown in FIG. 7, for example. FIG. 7 is a block diagram showing an example of the hardware configuration of the information processing device 900. As shown in FIG.

図７に示すように、情報処理装置９００は、一例として、以下のような構成を含む。 As shown in FIG. 7, the information processing apparatus 900 includes, as an example, the following configuration.

・ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）９０１
・ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）９０２
・ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）９０３
・ＲＡＭ９０３にロードされるプログラム９０４
・プログラム９０４を格納する記憶装置９０５
・記録媒体９０６の読み書きを行うドライブ装置９０７
・通信ネットワーク９０９と接続する通信インタフェース９０８
・データの入出力を行う入出力インタフェース９１０
・各構成要素を接続するバス９１１
前記実施形態１～３で説明した画像処理装置の各構成要素は、これらの機能を実現するプログラム９０４をＣＰＵ９０１が読み込んで実行することで実現される。各構成要素の機能を実現するプログラム９０４は、例えば、予め記憶装置９０５やＲＯＭ９０２に格納されており、必要に応じてＣＰＵ９０１がＲＡＭ９０３にロードして実行される。なお、プログラム９０４は、通信ネットワーク９０９を介してＣＰＵ９０１に供給されてもよいし、予め記録媒体９０６に格納されており、ドライブ装置９０７が当該プログラムを読み出してＣＰＵ９０１に供給してもよい。 - CPU (Central Processing Unit) 901
・ROM (Read Only Memory) 902
・RAM (Random Access Memory) 903
・Program 904 loaded into RAM 903
- Storage device 905 for storing program 904
A drive device 907 that reads and writes the recording medium 906
- A communication interface 908 that connects to the communication network 909
- An input/output interface 910 for inputting/outputting data
A bus 911 connecting each component
Each component of the image processing apparatus described in Embodiments 1 to 3 is implemented by the CPU 901 reading and executing a program 904 that implements these functions. A program 904 that implements the function of each component is stored in advance in, for example, the storage device 905 or the ROM 902, and is loaded into the RAM 903 and executed by the CPU 901 as necessary. The program 904 may be supplied to the CPU 901 via the communication network 909 or may be stored in the recording medium 906 in advance, and the drive device 907 may read the program and supply it to the CPU 901 .

（本実施形態の効果）
本実施形態の構成によれば、前記実施形態において説明した画像処理装置が、ハードウェアとして実現される。したがって、前記実施形態において説明した効果と同様の効果を奏することができる。 (Effect of this embodiment)
According to the configuration of this embodiment, the image processing apparatus described in the above embodiments is implemented as hardware. Therefore, the same effects as those described in the above embodiment can be obtained.

〔変形例〕
前記実施形態１から３で説明した画像処理装置１～２が実行する処理の全部または一部を、インテリジェントカメラが代わりに実行してもよい。インテリジェントカメラは、内部に解析機能を備え、ＩＰ（Internet Protocol）アドレスを割り当てられる。インテリジェントカメラは、ＩＰカメラ、ネットワークカメラ、あるいはスマートカメラとも呼ばれる。 [Modification]
All or part of the processing executed by the image processing apparatuses 1 and 2 described in the first to third embodiments may be executed by the intelligent camera instead. The intelligent camera has an internal analysis function and is assigned an IP (Internet Protocol) address. Intelligent cameras are also called IP cameras, network cameras, or smart cameras.

以上、実施形態（及び実施例）を参照して本発明を説明したが、本発明は上記実施形態（及び実施例）に限定されるものではない。上記実施形態（及び実施例）の構成や詳細には、本発明のスコープ内で当業者が理解し得る様々な変更をすることができる。 Although the present invention has been described with reference to the embodiments (and examples), the present invention is not limited to the above-described embodiments (and examples). Various changes can be made to the configurations and details of the above-described embodiments (and examples) within the scope of the present invention that can be understood by those skilled in the art.

１ 画像処理装置
２ 画像処理装置
１０ 人物検出部
２０ 特徴抽出部
３０ トリガー検出部
４０ 人物判別部
４１ 髪型判別部
４２ 顏判別部
２４０ 人物判別部 1 image processing device 2 image processing device 10 person detection unit 20 feature extraction unit 30 trigger detection unit 40 person determination unit 41 hairstyle determination unit 42 face determination unit 240 person determination unit

Claims (7)

画像から人物を検出する人物検出手段と、
前記人物の特徴を抽出する特徴抽出手段と、
前記人物の特徴に基づいて、前記人物を判別する人物判別手段と、
トリガーを検出するトリガー検出手段とを備え、
前記人物判別手段は、髪型判別手段を含み、
前記トリガーが検出されたとき、前記髪型判別手段は、前記人物の髪型を判別し、
前記人物判別手段は、前記人物の顔と、候補の人物の顔とを照合することによって、前記人物の顔を判別する顔判別手段を含み、
前記顔判別手段は、前記人物の顔と、前記候補の人物の顔とが同一であることの確からしさを表すスコアを計算し、
前記トリガー検出手段は、第２のトリガーをさらに検出し、
前記第２のトリガーが検出されたとき、前記髪型判別手段は、前記人物の髪型を判別する処理を停止し、
前記第２のトリガーは、前記スコアが閾値を超える候補の人物が少なくとも１人存在し、かつ、前記スコアが最も高い候補の人物と、前記スコアが２番目に高い候補の人物との間で、前記スコアの差が所定の値以上である、という条件が満たされることである
画像処理装置。 person detection means for detecting a person from an image;
a feature extracting means for extracting features of the person;
a person discrimination means for discriminating the person based on the characteristics of the person;
and trigger detection means for detecting the trigger,
The person identification means includes hairstyle identification means,
When the trigger is detected, the hairstyle determination means determines the hairstyle of the person,
The person determination means includes face determination means for determining the face of the person by matching the face of the person with the face of the candidate person,
The face discrimination means calculates a score representing the probability that the face of the person and the face of the candidate person are the same,
the trigger detection means further detects a second trigger;
when the second trigger is detected, the hairstyle determination means stops the process of determining the hairstyle of the person;
The second trigger is that there is at least one candidate person whose score exceeds the threshold, and between the candidate person with the highest score and the candidate person with the second highest score, The condition that the score difference is greater than or equal to a predetermined value is satisfied.
Image processing device. 前記トリガー検出手段は、前記特徴抽出手段が前記人物の特徴を抽出することに失敗したことを、前記トリガーとして検出する
ことを特徴とする請求項１に記載の画像処理装置。 2. The image processing apparatus according to claim 1, wherein said trigger detection means detects, as said trigger, that said feature extraction means has failed to extract the features of said person. 前記顔判別手段は、前記スコアが閾値を超える前記候補の人物が存在しない場合、前記人物の顔の判別に失敗したと判断する
ことを特徴とする請求項１または２に記載の画像処理装置。 3. The image processing apparatus according to claim 1 , wherein the face discrimination means determines that discrimination of the face of the person has failed when the candidate person whose score exceeds a threshold value does not exist. 前記顔判別手段は、前記スコアが最も高い前記候補の人物と、前記スコアが２番目に高い前記候補の人物との間で、前記スコアの差が所定の値を超えない場合、前記人物の顔の判別に失敗したと判断する
ことを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。 If the difference in score between the candidate person with the highest score and the candidate person with the second highest score does not exceed a predetermined value, the face determination means determines whether the face of the person 4. The image processing apparatus according to any one of claims 1 to 3, wherein it is determined that the determination of is unsuccessful. 前記トリガー検出手段は、前記顔判別手段が前記人物の顔を判別することに失敗したことを、前記トリガーとして検出する
ことを特徴とする請求項１から４のいずれか１項に記載の画像処理装置。 5. The image processing according to any one of claims 1 to 4, wherein the trigger detection means detects, as the trigger, failure of the face determination means to determine the face of the person. Device. 画像から人物を検出し、
前記人物の特徴を抽出し、
前記人物の特徴に基づいて、前記人物を判別する人物判別方法であって、
トリガーが検出されたとき、前記人物の髪型を判別し、
前記人物を判別する際、前記人物の顔と、候補の人物の顔とを照合することによって、前記人物の顔を判別し、
前記人物の顔を判別する際、前記人物の顔と、前記候補の人物の顔とが同一であることの確からしさを表すスコアを計算し、
第２のトリガーをさらに検出し、
前記第２のトリガーが検出されたとき、前記人物の髪型を判別する処理を停止し、
前記第２のトリガーは、前記スコアが閾値を超える候補の人物が少なくとも１人存在し、かつ、前記スコアが最も高い候補の人物と、前記スコアが２番目に高い候補の人物との間で、前記スコアの差が所定の値以上である、という条件が満たされることである
人物判別方法。 Detect people from images,
extracting features of the person;
A person determination method for determining the person based on the characteristics of the person,
determining the hairstyle of the person when a trigger is detected ;
When determining the person, determining the face of the person by matching the face of the person with the face of a candidate person,
When determining the face of the person, calculating a score representing the likelihood that the face of the person and the face of the candidate person are the same,
further detecting a second trigger;
when the second trigger is detected, stopping the process of determining the hairstyle of the person;
The second trigger is that there is at least one candidate person whose score exceeds the threshold, and between the candidate person with the highest score and the candidate person with the second highest score, The condition that the score difference is greater than or equal to a predetermined value is satisfied.
person identification method. 画像から人物を検出することと、
前記人物の特徴を抽出することと、
前記人物の特徴に基づいて、前記人物を判別することを、コンピュータに実行させるためのプログラムであって、
トリガーが検出されたとき、前記人物の髪型を判別すること
をコンピュータに実行させ、
前記コンピュータは、
前記人物を判別する際、前記人物の顔と、候補の人物の顔とを照合することによって、前記人物の顔を判別し、
前記人物の顔を判別する際、前記人物の顔と、前記候補の人物の顔とが同一であることの確からしさを表すスコアを計算し、
第２のトリガーをさらに検出し、
前記第２のトリガーが検出されたとき、前記人物の髪型を判別する処理を停止し、
前記第２のトリガーは、前記スコアが閾値を超える候補の人物が少なくとも１人存在し、かつ、前記スコアが最も高い候補の人物と、前記スコアが２番目に高い候補の人物との間で、前記スコアの差が所定の値以上である、という条件が満たされることである
プログラム。 detecting a person from an image;
extracting features of the person;
A program for causing a computer to determine the person based on the characteristics of the person,
causing a computer to determine the hairstyle of the person when a trigger is detected ;
The computer is
When determining the person, determining the face of the person by matching the face of the person with the face of a candidate person,
When determining the face of the person, calculating a score representing the likelihood that the face of the person and the face of the candidate person are the same,
further detecting a second trigger;
when the second trigger is detected, stopping the process of determining the hairstyle of the person;
The second trigger is that there is at least one candidate person whose score exceeds the threshold, and between the candidate person with the highest score and the candidate person with the second highest score, The condition that the score difference is greater than or equal to a predetermined value is satisfied.
program.
JP2019118212A 2019-06-26 2019-06-26 Image processing device, person discrimination method, and program Active JP7302329B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019118212A JP7302329B2 (en) 2019-06-26 2019-06-26 Image processing device, person discrimination method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019118212A JP7302329B2 (en) 2019-06-26 2019-06-26 Image processing device, person discrimination method, and program

Publications (2)

Publication Number Publication Date
JP2021005197A JP2021005197A (en) 2021-01-14
JP7302329B2 true JP7302329B2 (en) 2023-07-04

Family

ID=74097209

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019118212A Active JP7302329B2 (en) 2019-06-26 2019-06-26 Image processing device, person discrimination method, and program

Country Status (1)

Country Link
JP (1) JP7302329B2 (en)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007257221A (en) 2006-03-23 2007-10-04 Oki Electric Ind Co Ltd Face recognition system
JP2009087209A (en) 2007-10-02 2009-04-23 Sony Corp Image processing apparatus, imaging apparatus, and processing methods for them and programs for them
JP2010014783A (en) 2008-07-01 2010-01-21 Panasonic Corp Photographing device
JP2010061465A (en) 2008-09-04 2010-03-18 Sony Corp Image processing apparatus, image pickup apparatus, image processing method and program
JP2011086202A (en) 2009-10-16 2011-04-28 Glory Ltd Collation device, collation method and collation program
JP2014059687A (en) 2012-09-18 2014-04-03 Nec Biglobe Ltd Dictionary update method, dictionary update system, and dictionary update program

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007257221A (en) 2006-03-23 2007-10-04 Oki Electric Ind Co Ltd Face recognition system
JP2009087209A (en) 2007-10-02 2009-04-23 Sony Corp Image processing apparatus, imaging apparatus, and processing methods for them and programs for them
JP2010014783A (en) 2008-07-01 2010-01-21 Panasonic Corp Photographing device
JP2010061465A (en) 2008-09-04 2010-03-18 Sony Corp Image processing apparatus, image pickup apparatus, image processing method and program
JP2011086202A (en) 2009-10-16 2011-04-28 Glory Ltd Collation device, collation method and collation program
JP2014059687A (en) 2012-09-18 2014-04-03 Nec Biglobe Ltd Dictionary update method, dictionary update system, and dictionary update program

Also Published As

Publication number Publication date
JP2021005197A (en) 2021-01-14

Similar Documents

Publication Publication Date Title
JP6268960B2 (en) Image recognition apparatus and data registration method for image recognition apparatus
JP6013241B2 (en) Person recognition apparatus and method
JP4594945B2 (en) Person search device and person search method
JP4241763B2 (en) Person recognition apparatus and method
KR101252843B1 (en) Method of Managing Image in a Mobile Communication Terminal
WO2020034645A1 (en) Facial recognition method, facial recognition system, and electronic device
JP2001292981A (en) Iris recognition apparatus
CN110211251A (en) Face recognition method, face recognition device, storage medium and face recognition terminal
JP4862518B2 (en) Face registration device, face authentication device, and face registration method
JP5791148B2 (en) Authentication system and reliability determination method
JP7302329B2 (en) Image processing device, person discrimination method, and program
WO2024074075A1 (en) Re-identification method, storage medium, database editing method and storage medium
KR20100041562A (en) Method and system for performing user authentication by face recognizing and fingerprint recognizing of user needing an authentication
JP6607092B2 (en) Guide robot control system, program, and guide robot
JP6610349B2 (en) Guide robot control system, program, and guide robot
JP4384366B2 (en) Image collation processing system and image collation method
JP2009064173A (en) Person identification system
JPWO2021199114A5 (en) Recommendation device, system, method and program
JP2002251614A (en) Device, system, method, and program for collating organism
JP6762754B2 (en) Information processing equipment, information processing methods and programs
JP6713153B1 (en) Information processing apparatus, information processing method, program, and camera system
JP6905653B2 (en) Face recognition system, face recognition server and face recognition method
JP7468626B2 (en) Authentication device, authentication method, and program
KR102435581B1 (en) Attendance check system using face recognition and attendance check method using same
JP7371806B2 (en) Information processing device, information processing method, and program

Legal Events

Date Code Title Description
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20211015

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220516

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230228

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230426

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230523

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230605

R151 Written notification of patent or utility model registration

Ref document number: 7302329

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151