KR19990050271A - Method and apparatus for automatic detection of criminal face using face recognition - Google Patents
Method and apparatus for automatic detection of criminal face using face recognition Download PDFInfo
- Publication number
- KR19990050271A KR19990050271A KR1019970069350A KR19970069350A KR19990050271A KR 19990050271 A KR19990050271 A KR 19990050271A KR 1019970069350 A KR1019970069350 A KR 1019970069350A KR 19970069350 A KR19970069350 A KR 19970069350A KR 19990050271 A KR19990050271 A KR 19990050271A
- Authority
- KR
- South Korea
- Prior art keywords
- information
- face
- person
- database
- similarity
- Prior art date
Links
Landscapes
- Collating Specific Patterns (AREA)
Abstract
본 발명은 얼굴 인식을 이용한 범죄자 얼굴 자동 검색 방법 및 장치에 관한 것으로 특히, 몽타쥬나 사진등 범죄 수사에 사용되는 얼굴 이미지가 주어졌을 때 사람의 얼굴 사진을 데이터베이스로 구축한 시스템내에서 얼굴 인식 방법을 사용하여 자동적으로 비숫한 사람을 찾아내 줌으로써 그 사람에 대한 정보를 빠르고 정확하게 검색하도록 함에 목적이 있다. 이러한 목적의 본 발명은 사진을 포함한 얼굴의 특징 정보를 데이터베이스화하여 저장한 인명 데이터베이스(201)와, 입력된 얼굴 이미지로부터 특징 정보를 추출하여 상기 인명 데이터베이스(201)의 정보와 비교함에 의해 유사도를 측정하고 그 유사도의 가중치순으로 인명 정보를 정렬하여 출력하는 얼굴 인식 검색기(202)로 구성하여 그때의 정렬된 인물순으로 확인하여 찾고자 하는 인물 정보를 얻도록 한다.The present invention relates to a method and apparatus for automatically detecting a criminal's face using face recognition. In particular, when a face image used for criminal investigation such as a montage or a photograph is given, the present invention relates to a face recognition method in a system in which a face photograph of a person is constructed as a database. The goal is to quickly and accurately retrieve information about a person by automatically finding a number of people. The present invention for this purpose is to extract the feature information from the human face database 201 stored in the database and the feature information of the face including a picture, and to compare the similarity by comparing the information with the information of the human name database 201 The face recognition searcher 202 that measures and sorts and outputs the personal information in the order of weight of similarity is configured to obtain the person information to be found by checking in the sorted person order at that time.
Description
본 발명은 얼굴 인식 시스템에 관한 것으로 특히, 얼굴 인식을 이용한 범죄자 얼굴 자동 검색 방법 및 장치에 관한 것이다.The present invention relates to a face recognition system, and more particularly, to a method and apparatus for automatically detecting a criminal face using face recognition.
최근 사람들에 대한 정보가 전산화되어 자동 관리되고 있지만 사람의 얼굴 모양 정보만으로 원하는 사람을 찾는 방법은 아직도 사람이 직접 눈으로 확인하는 방법을 사용하고 있다.Recently, information about people is computerized and managed automatically, but the method of finding the person who wants only with the shape of the person's face still uses the method of checking with the eyes.
그러나, 이러한 종래의 수동적인 방법은 범죄자의 수사등 빠른 시간내에 얼굴 모양이 비슷한 사람들을 찾아내야 하는 경우에는 매우 비효율적인 문제점이 있다.However, this conventional passive method is very inefficient when it is necessary to find people with similar face shapes in a short time such as criminal investigation.
현재 인명 데이터베이스는 사람에 대한 여러 정보를 포함하고 있으나 얼굴 사진을 포함하고 있는 경우는 매우 특수한 경우뿐이다.Currently, the life database contains a lot of information about people, but only a very special case includes a face photo.
그러나, 현재 어느 정도의 얼굴 인식 기술이 확보된 상태에서 얼굴 데이터베이스는 아직 구축되지 않은 상태이지만 우선적으로 전과자와 같은 범죄 수사에 사용되는 특수 집단에 한정하여 얼굴 데이터베이스가 구축되어 점차적으로 모든 사람들의 얼굴 데이터베이스가 구축될 것으로 예측된다.However, the face database has not yet been established with a certain amount of face recognition technology, but the face database has been established to be limited to special groups used for criminal investigations such as criminals. Is expected to be built.
따라서, 본 발명은 종래의 문제점을 개선하기 위하여 몽타쥬나 사진등 범죄 수사에 사용되는 얼굴 이미지가 주어졌을 때 사람의 얼굴 사진을 데이터베이스로 구축한 시스템내에서 얼굴 인식 방법을 사용하여 자동적으로 비숫한 사람을 찾아내 줌으로써 그 사람에 대한 정보를 빠르고 정확하게 검색하도록 창안한 얼굴 인식을 이용한 범죄자 얼굴 자동 검색 방법 및 장치를 제공함에 목적이 있다.Therefore, in order to improve the conventional problem, when the face image used for criminal investigation, such as montage or photo, is given, a person who is automatically numbered using a face recognition method in a system that constructs a face photo of the person as a database is provided. An object of the present invention is to provide a method and apparatus for automatically detecting a criminal's face using face recognition, which is designed to quickly and accurately search for information on a person by finding a.
즉, 본 발명은 상기와 같이 얼굴 정보를 포함된 데이터베이스가 구축된 경우를 전제 조건으로 하여 인물을 검색하기 위한 것이다.That is, the present invention is to search for a person on the precondition that a database including face information is constructed as described above.
도 1은 본 발명의 실시예를 보인 개략적인 블럭도.1 is a schematic block diagram illustrating an embodiment of the invention.
도 2는 본 발명의 실시를 위한 신호 흐름도.2 is a signal flow diagram for practicing the present invention.
* 도면의 주요부분에 대한 부호 설명 *Explanation of symbols on the main parts of the drawings
201 : 인명 데이터베이스 202 : 얼굴 인식 검색기201: name database 202: face recognition scanner
몽타쥬 또는 합성 사긴 등의 범죄 수사에 사용되는 얼굴 이미지는 눈, 코, 입 등 얼굴을 이루는 각 요소들의 부분적인 특징을 살려서 전체 얼굴 이미지를 구성하게 된다.Face images used in criminal investigations, such as montages or synthetic photos, make up the entire face image by utilizing the partial features of the elements that make up the face such as eyes, nose, and mouth.
따라서, 이미지를 바탕으로 얼굴 검색을 효과적으로 하기 위해서는 전체적인 얼굴 특징보다는 얼굴을 구성하는 각 요소들의 부분적인 특징별로 비교 분석한 후 전체적인 유사도를 측정할 수 있는 알고리즘이 효과적이다.Therefore, in order to effectively search for a face based on an image, an algorithm capable of measuring the overall similarity after comparing and analyzing the partial features of the elements constituting the face rather than the overall face feature is effective.
따라서, 본 발명은 이러한 특징을 살려서 얼굴 이미지의 각 요소별로 유사도를 측정하며 또한, 각 요소들의 중요도를 변경할 수 있도록 한다.Accordingly, the present invention makes use of these features to measure the similarity for each element of the face image, and to change the importance of each element.
본 발명은 상기의 목적을 달성하기 위하여 사진을 포함한 사람의 인물 정보를 데이터베이스화하여 인물을 검색하는 방법에 있어서, 사람의 얼굴 이미지를 입력하는 단계와, 상기에서 입력된 이미지로부터 특징 정보를 추출하는 단계와, 상기에서 추출된 정보를 미리 구축된 인명 데이터베이스의 정보와 비교하여 각각의 특징 정보의 유사도를 측정하는 단계와, 상기에서 측정한 각각의 유사도의 가중치를 비교하여 높은 유사도 순서대로 인명을 정렬하는 단계와, 상기에서 정렬된 인명순으로 상기에서 입력된 인물과 비교하여 해당 인물을 검색하는 단계를 수행함을 특징으로 방법과 장치를 제시한다.According to an aspect of the present invention, there is provided a method of searching for a person by using a database of person information including a picture to achieve the above object, the method comprising: inputting a face image of a person and extracting feature information from the input image; And comparing the extracted information with information of a pre-established name database to measure the similarity of each feature information, and comparing the weights of the similarities measured above to sort the names in order of high similarity. And searching for the corresponding person in comparison with the person inputted above in the sorted person order.
이하, 본 발명을 도면에 의거 상세히 설명하면 다음과 같다.Hereinafter, the present invention will be described in detail with reference to the drawings.
도1 은 본 발명의 실시예를 보인 블록도로서 이에 도시한 바와 같이, 사진을 포함한 얼굴의 특징 정보를 데이터베이스화하여 저장한 인명 데이터베이스(201)와, 입력된 얼굴 이미지로부터 특징 정보를 추출하여 상기 인명 데이터베이스(201)의 정보와 비교함에 의해 유사도를 측정하고 그 유사도의 가중치순으로 인명 정보를 정렬하여 출력하는 얼굴 인식 검색기(202)로 구성한다.FIG. 1 is a block diagram showing an embodiment of the present invention. As shown in FIG. 1, a human name database 201 storing a feature information of a face including a photograph as a database and extracting feature information from an input face image is shown. The face recognition searcher 202 is configured to measure similarity by comparing the information with the name database 201 and sort and output the personal information in order of weight of the similarity.
이와같이 구성한 본 발명의 실시예에 대한 동작 및 작용 효과를 설명하면 다음과 같다.Referring to the operation and effect of the embodiment of the present invention configured as described above are as follows.
얼굴 인식 검색기(202)는 찾고자 하는 사람의 몽타쥬나 사진 또는 합성 이미지등 얼굴 모습을 담고 있는 이미지 정보가 스캐너, 키 보드등과 같은 장치를 통해 입력되면 인명 데이터베이스(201)에 구축된 각각의 얼굴 사진 정보와 비교하여 가장 비슷한 순서로 인명 정보를 내보내 준다.The face recognition finder 202 is configured to input a face image of the person to be searched for, such as a montage, a photo, or a composite image. Compares the information and exports the name information in the most similar order.
상기 인명 데이터베이스(201)는 현재 구성된 인명 정보에 얼굴 사진 정보가 추가된 형태로서, 데이터베이스내에 얼굴 사진 정보는 이미지 자체뿐만 아니라 얼굴 검색을 위해 얼굴 인식 알고리즘에 사용되는 특징소들을 미리 추출, 저장하여 구축한다.The human name database 201 is a form in which face photo information is added to the currently configured human name information, and the face photo information in the database is constructed by extracting and storing features used in the face recognition algorithm for face searching as well as the image itself. do.
상기 얼굴 인식 검색기(202)는 단순히 전체적인 얼굴 이미지를 비교하는 방법과, 눈, 코 등과 같이 얼굴을 구성하는 부분적인 특정 부분을 비교하여 가중치를 부여하는 방법 그리고, 그러한 특정 부분을 한정적으로 가중치를 부여하여 비교하는 방법을 제공한다.The face recognition finder 202 simply compares the overall face image, compares and weights the specific parts of the face such as eyes, nose, and the like and limits the weight of the specific parts. It provides a way to compare.
본 발명의 실시예로서 얼굴 인식 검색기(202)는 입력된 이미지 정보중 특징 정보 예로, 눈, 코, 입 등의 특정 부분 정보를 추출하여 사진 정보를 포함하는 인명 데이터베이스(201)를 이루는 각각의 얼굴 정보의 특정 정보와 비교하고 그 비교에 따른 유사도를 측정하여 유사도가 높은 순서대로 인명을 출력하는 동작을 수행한다.According to an embodiment of the present invention, the face recognition searcher 202 extracts specific partial information such as eye, nose, and mouth from the input image information, and forms each face of the life database 201 including photo information. It compares the specific information of the information and measures the similarity according to the comparison and outputs the lives in the order of high similarity.
즉, 본 발명의 얼굴 인식 검색기(202)는 특징 추출 단계와 유사도 측정 비교 단계를 수행하는데 이를 설명하면 다음과 같다.That is, the face recognition searcher 202 of the present invention performs the feature extraction step and the similarity measurement comparison step.
먼저, 특징 추출 단계에서 아래와 같은 7가지 정보를 추출한다.First, in the feature extraction step, the following seven information is extracted.
1) 얼굴 영상에 있어서 명도가 같은 부분을 연결한 등밀도선1) Isodensity lines connecting parts of the same brightness in the face image
2) 코의 방향 성분2) the aromatic component of the nose
3) 얼굴 영역의 6*8 모자이크 정보3) 6 * 8 mosaic information of face area
4) 얼굴 영역의 에지 변환후의 모자이크 정보4) Mosaic information after edge transformation of face area
5) 등밀도선 영상에서 얼굴의 중심을 지나는 이등분선 상의 계조 분포5) Gradient distribution on bisectors passing through the center of the face in the isoline image
6) PCA(Principal Component Analysis)를 이용한 아이젠 얼굴 정보와 아이젠 코 정보6) Eisen face information and Eisenco information using Principal Component Analysis (PCA)
7) 눈의 위치와 눈, 코, 입의 상대적인 위치 정보7) Eye position and relative position of eyes, nose and mouth
이 후, 상기와 같은 7가지 정보를 이용하여 유사도 측정 비교 단계에서 상기에서 추출한 7가지 정보를 이용하여 각각 독립적인 유사도를 측정하고 각각의 유사도에 대해 가중치를 부여하여 비교한다.Subsequently, the independent similarity is measured using the seven pieces of information extracted in the similarity measurement comparison step using the above seven pieces of information, and weighted for each similarity to be compared.
상기에서 유사도 측정은 유클리디언 디스턴스 방법을 사용한다.The similarity measurement in the above uses the Euclidean distance method.
유클리디언 디스턴스는 다음 식과 같이 계산된다.Euclidean distance is calculated as
여기서, d 는 거리, Xi 는 이미지 데이터베이스에 있는 현재 검색 대상 얼굴 이미지의 i번째 특징소 값, Yi 는 입력 이미지의 i번째 특징소 값, n 은 전체 특징소의 갯수이다.Where d is the distance, Xi is the i-th feature value of the current searched face image in the image database, Yi is the i-th feature value of the input image, and n is the total number of features.
이에 따라, 얼굴 인식 검색기(202)는 가중치 비교 결과에 의해 높은 유사도를 가진 순서대로 인명을 정렬하여 출력한다.Accordingly, the face recognition searcher 202 sorts and outputs the names of people in the order of high similarity according to the weight comparison result.
따라서, 정렬된 인명의 얼굴 사진을 확인함으로써 찾고자 하는 인물 정보를 얻을 수 있다.Thus, by checking the face images of the sorted people, the person information to be found can be obtained.
한편, 본 발명은 사용자가 찾고자 하는 인물이 특히, 눈, 코 등의 특정 부위가 일반적인 사람들과 구별된다고 판단된 경우 그 부분만을 중점적으로 비교함으로써 시스템의 유용성을 높일 수 있다.On the other hand, the present invention can increase the usefulness of the system by focusing only on the part of the person that the user wants to find, in particular, when it is determined that a particular part of the eye, nose, etc. is distinguished from the general person.
상기에서 사용자가 특정 영역(눈, 코, 얼굴의 일부 영역)을 지정하면 유사도 측정시 얼굴 모자이크 정보에서 명시된 영역만을 측정하거나 그 부분에 대한 가중치를 높임으로써 특정 부분의 비교가 가능하다.When the user designates a specific area (part of the eyes, nose, and face), it is possible to compare the specific parts by measuring only the area specified in the face mosaic information or increasing the weight for the part when measuring the similarity.
예를 들어, 코나 눈이 중요할 경우 코의 방향 성분, 눈의 위치 등의 정보를 추출하여 이에 대한 가중치를 높게 하는 것이다.For example, if the nose or eyes are important, information such as the direction component of the nose and the position of the eyes is extracted to increase the weight thereof.
상기에서 상세히 설명한 바와 같이 본 발명은 찾고자 하는 얼굴 이미지를 입력하면 미리 구축된 인명 데이터베이스에 저장된 사진을 포함한 얼굴 정보와 비교하여 비슷한 순서로 인명을 출력하도록 함으로써 손쉽게 찾고자 하는 인물의 정보를 얻을 수 있는 효과가 있다.As described in detail above, when the face image to be searched is input, the present invention compares face information including a picture stored in a pre-built human life database to output the names in a similar order so that the information of the person to be easily found can be obtained. There is.
특히, 본 발명은 눈, 코, 입 등의 부분적인 요소별로 얼굴 이미지를 비교함으로 몽타쥬 등의 부분적인 특징으로 살려 합성된 이미지를 비교하는데 매우 효과적이다. 따라서, 범죄 수사에서 용의자를 조회하는데 특히 효과가 있다.In particular, the present invention is very effective in comparing the synthesized image utilizing partial features such as montage by comparing the face image by partial elements such as eyes, nose and mouth. Therefore, it is particularly effective for inquiring suspects in criminal investigations.
Claims (2)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1019970069350A KR19990050271A (en) | 1997-12-16 | 1997-12-16 | Method and apparatus for automatic detection of criminal face using face recognition |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1019970069350A KR19990050271A (en) | 1997-12-16 | 1997-12-16 | Method and apparatus for automatic detection of criminal face using face recognition |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR19990050271A true KR19990050271A (en) | 1999-07-05 |
Family
ID=66091126
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1019970069350A KR19990050271A (en) | 1997-12-16 | 1997-12-16 | Method and apparatus for automatic detection of criminal face using face recognition |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR19990050271A (en) |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20010044488A (en) * | 2001-02-27 | 2001-06-05 | 이순형 | Input equipment of an image read special features of the object:design,color,pattern,brand and than transfer to computer and the features were merged and were stored in one file. In detail,this is of the way that asertant weather some object is real object or not from merged-file. |
| KR20020031011A (en) * | 2000-10-21 | 2002-04-26 | 정경석 | Method for servicing personal informations by using the internet |
| KR20030046987A (en) * | 2001-12-07 | 2003-06-18 | 넥스콘 월드 주식회사 | A suspect data processing system via network system |
| KR100699575B1 (en) * | 2005-05-03 | 2007-03-23 | 에스케이 텔레콤주식회사 | System and Method for Inquiring into a Person's Back-ground Using by Multimedia Mobile Phone |
| WO2008066217A1 (en) * | 2006-11-30 | 2008-06-05 | Firstec Co., Ltd. | Face recognition method by image enhancement |
| KR100921572B1 (en) * | 2008-07-28 | 2009-10-13 | (주)올라웍스 | Method, system and computer-readable recording medium for providing information by recognizing face of person appearing in image data |
| KR101008877B1 (en) * | 2007-12-06 | 2011-01-17 | 한국전자통신연구원 | Methods for searching and presentation of the results in digital forensics and apparatus thereof |
| KR101150944B1 (en) * | 2010-11-09 | 2012-05-29 | 김양웅 | Apparatus and Method of searching for target based on matching possibility |
| KR101385599B1 (en) * | 2012-09-26 | 2014-04-16 | 한국과학기술연구원 | Method and apparatus for interfering montage |
| KR102103557B1 (en) | 2019-05-03 | 2020-04-22 | 주식회사 페이스테그 | Method for face recognition, apparatus for face recognition and computer program for the same |
| CN111382604A (en) * | 2018-12-27 | 2020-07-07 | 深圳光启空间技术有限公司 | Face recognition method and system |
| KR20210053535A (en) | 2019-11-04 | 2021-05-12 | 주식회사 넥스트케이 | Apparatus for Providing Image Service Based on Face and Driving Method Thereof |
| KR20210084739A (en) * | 2019-12-27 | 2021-07-08 | 동국대학교 산학협력단 | Criminal detection and operating method thereof |
-
1997
- 1997-12-16 KR KR1019970069350A patent/KR19990050271A/en not_active Application Discontinuation
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20020031011A (en) * | 2000-10-21 | 2002-04-26 | 정경석 | Method for servicing personal informations by using the internet |
| KR20010044488A (en) * | 2001-02-27 | 2001-06-05 | 이순형 | Input equipment of an image read special features of the object:design,color,pattern,brand and than transfer to computer and the features were merged and were stored in one file. In detail,this is of the way that asertant weather some object is real object or not from merged-file. |
| KR20030046987A (en) * | 2001-12-07 | 2003-06-18 | 넥스콘 월드 주식회사 | A suspect data processing system via network system |
| KR100699575B1 (en) * | 2005-05-03 | 2007-03-23 | 에스케이 텔레콤주식회사 | System and Method for Inquiring into a Person's Back-ground Using by Multimedia Mobile Phone |
| WO2008066217A1 (en) * | 2006-11-30 | 2008-06-05 | Firstec Co., Ltd. | Face recognition method by image enhancement |
| KR101008877B1 (en) * | 2007-12-06 | 2011-01-17 | 한국전자통신연구원 | Methods for searching and presentation of the results in digital forensics and apparatus thereof |
| KR100921572B1 (en) * | 2008-07-28 | 2009-10-13 | (주)올라웍스 | Method, system and computer-readable recording medium for providing information by recognizing face of person appearing in image data |
| KR101150944B1 (en) * | 2010-11-09 | 2012-05-29 | 김양웅 | Apparatus and Method of searching for target based on matching possibility |
| KR101385599B1 (en) * | 2012-09-26 | 2014-04-16 | 한국과학기술연구원 | Method and apparatus for interfering montage |
| US9691132B2 (en) | 2012-09-26 | 2017-06-27 | Korea Institute Of Science And Technology | Method and apparatus for inferring facial composite |
| CN111382604A (en) * | 2018-12-27 | 2020-07-07 | 深圳光启空间技术有限公司 | Face recognition method and system |
| KR102103557B1 (en) | 2019-05-03 | 2020-04-22 | 주식회사 페이스테그 | Method for face recognition, apparatus for face recognition and computer program for the same |
| KR20210053535A (en) | 2019-11-04 | 2021-05-12 | 주식회사 넥스트케이 | Apparatus for Providing Image Service Based on Face and Driving Method Thereof |
| KR20210084739A (en) * | 2019-12-27 | 2021-07-08 | 동국대학교 산학협력단 | Criminal detection and operating method thereof |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Wang et al. | Face search at scale | |
| KR100974293B1 (en) | METHOD AND SYSTEM FOR AUTOMATED FACE DETECTION and Recognition | |
| KR100808316B1 (en) | Person searching device, person searching method and access control system | |
| KR19990050271A (en) | Method and apparatus for automatic detection of criminal face using face recognition | |
| US20090016573A1 (en) | Bioindex mechanism for increasing the relative speed of biometric indentification against large population samples | |
| CN102804208A (en) | Automatically mining person models of celebrities for visual search applications | |
| Xue et al. | Clothing change aware person identification | |
| CN108171223A (en) | A kind of face identification method and system based on multi-model multichannel | |
| Seal et al. | Automated thermal face recognition based on minutiae extraction | |
| KR20070105074A (en) | Method of managing image in a mobile communication terminal | |
| Ravi et al. | A study on face recognition technique based on Eigenface | |
| Shelke et al. | Searchious: Locating missing people using an optimised face recognition algorithm | |
| KR20220117545A (en) | Apparatus and Method for Recommending Emotional Color Scheme based on Image Search | |
| Kakarwal et al. | Thermal Face Recognition using Artificial Neural Network | |
| WO2020118584A1 (en) | Automatically generating training data sets for object recognition | |
| EP1020811A2 (en) | Fast matching systems and methods for personal identification | |
| Lenka et al. | Realization of Security System Using Facial Recognition and Arduino Keypad Door Lock System | |
| Chen et al. | Similarity learning with listwise ranking for person re-identification | |
| Lenc et al. | A combined SIFT/SURF descriptor for automatic face recognition | |
| Seal et al. | Minutiae based thermal human face recognition using label connected component algorithm | |
| Ikizler et al. | Person search made easy | |
| Cruz et al. | Lip Biometric Authentication Using Viola-Jones and Appearance Based Model (AAM) System | |
| Bakker et al. | AI for Archives: Using Facial Recognition to Enhance Metadata | |
| Nguyen et al. | Description based person retrieval using outfit characteristics and human gender | |
| Xiao et al. | A new method for pornographic video detection with the integration of visual and textual information |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| N231 | Notification of change of applicant | ||
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E601 | Decision to refuse application |