KR102374225B1 - Criminal detection and operating method thereof - Google Patents
Criminal detection and operating method thereof Download PDFInfo
- Publication number
- KR102374225B1 KR102374225B1 KR1020190176229A KR20190176229A KR102374225B1 KR 102374225 B1 KR102374225 B1 KR 102374225B1 KR 1020190176229 A KR1020190176229 A KR 1020190176229A KR 20190176229 A KR20190176229 A KR 20190176229A KR 102374225 B1 KR102374225 B1 KR 102374225B1
- Authority
- KR
- South Korea
- Prior art keywords
- suspect
- convict
- image
- eye region
- matching score
- Prior art date
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 34
- 238000011017 operating method Methods 0.000 title abstract description 6
- 239000011159 matrix material Substances 0.000 claims description 56
- 238000000034 method Methods 0.000 claims description 14
- 210000004709 eyebrow Anatomy 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 5
- 239000000284 extract Substances 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000011835 investigation Methods 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 239000003086 colorant Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000005226 mechanical processes and functions Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000001454 recorded image Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
- G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G06K9/6201—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/26—Government or public services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Tourism & Hospitality (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Development Economics (AREA)
- Educational Administration (AREA)
- General Business, Economics & Management (AREA)
- Economics (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Ophthalmology & Optometry (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Alarm Systems (AREA)
Abstract
범죄자 탐지 장치 및 그 동작 방법이 개시된다. 본 발명에 따른 범죄자 탐지 장치 및 그 동작 방법은 미리 저장되어 있는 복수의 전과자들 각각에 대한 눈 영역 이미지와, 범죄 현장의 촬영 영상으로부터 추출된 용의자의 눈 영역에 대한 이미지 간의 일치도를 연산하고, 상기 일치도를 기초로 상기 용의자에 매칭되는 전과자의 개인 정보를 화면 상에 표시함으로써, 범죄자의 탐지를 지원할 수 있다.Disclosed are a criminal detection apparatus and an operating method thereof. A criminal detection apparatus and an operating method thereof according to the present invention calculate a degree of correspondence between an eye region image for each of a plurality of pre-stored criminals and an image for a suspect's eye region extracted from a photographed image of a crime scene, By displaying the personal information of the ex-convict matching the suspect based on the degree of matching on the screen, it is possible to support the detection of the criminal.
Description
본 발명은 눈 영역 이미지의 비교를 통해 범죄자를 탐지하는 범죄자 탐지 장치 및 그 동작 방법에 대한 것이다.The present invention relates to a criminal detection apparatus for detecting criminals through comparison of eye region images, and an operating method thereof.
4차 산업 혁명 시대에 접어들면서 다양한 지능 범죄들과 함께 인명피해를 수반하는 범죄가 끊이지 않고 있다.As we enter the era of the 4th industrial revolution, crimes involving human casualties along with various intelligent crimes are continuing.
그러나, 최근, 폐쇄회로 텔레비전(CCTV)을 지역 곳곳에 적극적으로 도입하면서, 범죄자 탐지를 위한 수사의 빠른 진행에 긍정적인 영향을 미치고 있다.However, recently, as closed circuit television (CCTV) has been actively introduced throughout the region, it has a positive effect on the rapid progress of investigations to detect criminals.
일반적으로, 범죄 현장을 촬영한 CCTV 녹화 영상이 입수되면, 녹화 영상으로부터 범인의 인상착의를 파악하여 범인 색출을 위한 몽타주를 제작하거나, 범죄 상황 또는 범인 관련 정보를 탐색하는 등의 방법으로 범죄자를 탐지하게 된다.In general, when CCTV recordings of crime scenes are obtained, criminals are detected by methods such as identifying the impression of the criminal from the recorded images and making a montage to find the criminal, or searching for information about the criminal situation or criminal. will do
다만, 대부분의 범죄자들은 모자나 마스크로 얼굴을 가린 상태로 범죄 현장에 나타나므로, 인상착의를 파악하는 것이 쉽지 않다. However, since most criminals appear at the crime scene with their face covered with a hat or mask, it is not easy to identify what they are wearing.
그러나, 모자나 마스크로 얼굴 대부분을 가리더라도 눈은 가릴 수 없으므로, CCTV 녹화 영상으로부터 범죄자의 눈 영역 이미지를 추출하여 전과자들에 대한 정보가 미리 저장된 데이터베이스로부터 전과자들 각각의 눈 영역 이미지와 비교할 수 있다면, 재범에 의한 범죄 발생률이 전체 범죄의 약 30%를 차지한다는 점을 미루어볼 때, 범죄자 탐지를 위한 수사에 도움이 될 것이다. However, even if most of the face is covered with a hat or mask, the eyes cannot be covered, so if it is possible to extract the eye area image of the criminal from the CCTV recorded video and compare it with the eye area image of each of the ex-convicts from the database in which information on the criminals is stored in advance , considering that the crime rate by recidivism accounts for about 30% of all crimes, it will be helpful in investigations to detect criminals.
따라서, 복수의 전과자들 각각의 눈 영역 이미지와, 범죄 현장의 촬영 영상으로부터 추출된 용의자의 눈 영역 이미지의 비교를 통해 범죄자를 탐지하는 기술에 대한 연구가 필요하다.Therefore, it is necessary to study a technique for detecting a criminal by comparing the eye area image of each of the plurality of criminals with the eye area image of the suspect extracted from the photographed image of the crime scene.
본 발명에 따른 범죄자 탐지 장치 및 그 동작 방법은 미리 저장되어 있는 복수의 전과자들 각각에 대한 눈 영역 이미지와, 범죄 현장의 촬영 영상으로부터 추출된 용의자의 눈 영역에 대한 이미지 간의 일치도를 연산하고, 상기 일치도를 기초로 상기 용의자에 매칭되는 전과자의 개인 정보를 화면 상에 표시함으로써, 범죄자의 탐지를 지원하고자 한다. A criminal detection apparatus and an operating method thereof according to the present invention calculate a degree of correspondence between an eye region image for each of a plurality of pre-stored criminals and an image for a suspect's eye region extracted from a photographed image of a crime scene, It is intended to support the detection of criminals by displaying the personal information of the ex-convict matching the suspect based on the degree of concordance on the screen.
본 발명의 일실시예에 따른 범죄자 탐지 장치는 복수의 전과자들 각각에 대한 개인 정보와 범죄자 탐지의 기준이 되는 상기 복수의 전과자들 각각에 대한 눈 영역 이미지 - 상기 눈 영역 이미지는 눈썹을 포함하지 않으면서, 양쪽 눈 사이의 가운데 지점이 상기 눈 영역 이미지의 중점에 위치하도록 생성된 이미지임 - 가 서로 대응되어 저장되어 있는 전과자 데이터베이스, 사용자에 의해 범죄 현장이 촬영된 영상을 구성하는 복수의 프레임들 중 어느 하나의 프레임으로부터 용의자의 눈 영역 - 상기 눈 영역은 눈썹을 포함하지 않으면서, 양쪽 눈 사이의 가운데 지점이 상기 눈 영역의 중점에 위치하도록 지정된 사각 영역임 - 이 지정됨에 따라, 상기 용의자의 눈 영역에 대한 제1 이미지를 획득하는 이미지 획득부, 상기 복수의 전과자들 각각에 대한 눈 영역 이미지와 상기 제1 이미지 각각에 대해, 각 이미지를 구성하는 화소들 중 피부색으로 미리 설정된 제1 색상 또는 상기 제1 색상과의 기설정된 유사 범위 내의 색상으로 구성된 화소들에 대해 0의 코드를 할당하고, 나머지 화소들에 대해 1의 코드를 할당함으로써, 상기 복수의 전과자들 각각에 대한 눈 영역 이미지에 대응하는 전과자 행렬과 상기 제1 이미지에 대한 용의자 행렬을 생성하는 행렬 생성부, 상기 복수의 전과자들 각각에 대한 전과자 행렬과 상기 용의자 행렬 간의 아다마르 곱(Hadamard product)을 연산함으로써, 복수의 연산 행렬들을 생성하는 연산 행렬 생성부, 상기 복수의 연산 행렬들에 포함된 1의 성분 값들의 개수를 카운트한 후, 상기 복수의 전과자들 중, 상기 복수의 연산 행렬들 각각에서 카운트된 1의 성분 값들의 개수가 최대인 연산 행렬에 대응되는 제1 전과자를 추출하는 추출부 및 상기 전과자 데이터베이스로부터 상기 제1 전과자에 대응되는 제1 개인 정보를 추출한 후, 상기 제1 개인 정보를 상기 용의자에 매칭되는 전과자의 개인 정보로 화면 상에 표시하는 표시부를 포함한다.The criminal detection apparatus according to an embodiment of the present invention provides personal information for each of a plurality of criminals and an eye region image for each of the plurality of former criminals, which is a criterion for criminal detection - If the eye region image does not include an eyebrow Here, the image generated so that the middle point between the eyes is located at the midpoint of the image of the eye area - is a database of ex-convicts stored in correspondence with each other, among a plurality of frames constituting an image of a crime scene taken by a user According to the designation of the suspect's eye area from any one frame, the eye area does not include the eyebrows, and is a rectangular area designated such that the middle point between the two eyes is located at the midpoint of the eye area. An image acquisition unit for acquiring a first image for a region, an eye region image for each of the plurality of criminals and each of the first image, a first color preset as a skin color among pixels constituting each image or the By allocating a code of 0 to pixels having a color within a preset similarity range with the first color and assigning a code of 1 to the remaining pixels, A matrix generator for generating an ex-convict matrix and a suspect matrix for the first image, by calculating a Hadamard product between an ex-convict matrix for each of the plurality of ex-convicts and the suspect matrix, a plurality of operation matrices are generated After counting the number of component values of 1 included in the plurality of calculation matrices, the number of component values of 1 counted in each of the plurality of calculation matrices among the plurality of criminals is After extracting the first personal information corresponding to the first ex-convict from the extraction unit for extracting the first ex-convict corresponding to the largest operation matrix and the ex-convict database, the first personal information is applied to the personal information of the ex-convict matching the suspect and a display unit for displaying on the screen.
또한, 본 발명의 일실시예에 따른 범죄자 탐지 장치의 동작 방법은 복수의 전과자들 각각에 대한 개인 정보와 범죄자 탐지의 기준이 되는 상기 복수의 전과자들 각각에 대한 눈 영역 이미지 - 상기 눈 영역 이미지는 눈썹을 포함하지 않으면서, 양쪽 눈 사이의 가운데 지점이 상기 눈 영역 이미지의 중점에 위치하도록 생성된 이미지임 - 가 서로 대응되어 저장되어 있는 전과자 데이터베이스를 유지하는 단계, 사용자에 의해 범죄 현장이 촬영된 영상을 구성하는 복수의 프레임들 중 어느 하나의 프레임으로부터 용의자의 눈 영역 - 상기 눈 영역은 눈썹을 포함하지 않으면서, 양쪽 눈 사이의 가운데 지점이 상기 눈 영역의 중점에 위치하도록 지정된 사각 영역임 - 이 지정됨에 따라, 상기 용의자의 눈 영역에 대한 제1 이미지를 획득하는 단계, 상기 복수의 전과자들 각각에 대한 눈 영역 이미지와 상기 제1 이미지 각각에 대해, 각 이미지를 구성하는 화소들 중 피부색으로 미리 설정된 제1 색상 또는 상기 제1 색상과의 기설정된 유사 범위 내의 색상으로 구성된 화소들에 대해 0의 코드를 할당하고, 나머지 화소들에 대해 1의 코드를 할당함으로써, 상기 복수의 전과자들 각각에 대한 눈 영역 이미지에 대응하는 전과자 행렬과 상기 제1 이미지에 대한 용의자 행렬을 생성하는 단계, 상기 복수의 전과자들 각각에 대한 전과자 행렬과 상기 용의자 행렬 간의 아다마르 곱을 연산함으로써, 복수의 연산 행렬들을 생성하는 단계, 상기 복수의 연산 행렬들에 포함된 1의 성분 값들의 개수를 카운트한 후, 상기 복수의 전과자들 중, 상기 복수의 연산 행렬들 각각에서 카운트된 1의 성분 값들의 개수가 최대인 연산 행렬에 대응되는 제1 전과자를 추출하는 단계 및 상기 전과자 데이터베이스로부터 상기 제1 전과자에 대응되는 제1 개인 정보를 추출한 후, 상기 제1 개인 정보를 상기 용의자에 매칭되는 전과자의 개인 정보로 화면 상에 표시하는 단계를 포함한다.In addition, the method of operating a criminal detection apparatus according to an embodiment of the present invention includes personal information on each of a plurality of criminals and an eye region image for each of the plurality of former criminals, which is a criterion for criminal detection - the eye region image includes: Maintaining an ex-convict database stored in correspondence with each other - the image generated so that the center point between the eyes is located at the center of the image of the eye area without including eyebrows; Eye area of the suspect from any one of a plurality of frames constituting the image - The eye area is a blind area designated so that the middle point between the eyes is located at the midpoint of the eye area without including the eyebrows - According to this designation, obtaining a first image for the eye area of the suspect, for each of the eye area image and the first image for each of the plurality of criminals, use the skin color among pixels constituting each image. By assigning a code of 0 to pixels having a preset first color or a color within a preset similarity range with the first color, and assigning a code of 1 to the remaining pixels, generating a suspect matrix for the first image and an ex-convict matrix corresponding to the eye region image for After counting the number of component values of 1 included in the plurality of operation matrices, the operation in which the number of component values of 1 counted in each of the plurality of operation matrices is the maximum among the plurality of criminals After extracting the first ex-convict corresponding to the matrix and extracting the first personal information corresponding to the first ex-convict from the ex-convict database, the first personal information is converted to the personal information of the ex-convict matching the suspect on the screen Including the step of displaying.
본 발명에 따른 범죄자 탐지 장치 및 그 동작 방법은 미리 저장되어 있는 복수의 전과자들 각각에 대한 눈 영역 이미지와, 범죄 현장의 촬영 영상으로부터 추출된 용의자의 눈 영역에 대한 이미지 간의 일치도를 연산하고, 상기 일치도를 기초로 상기 용의자에 매칭되는 전과자의 개인 정보를 화면 상에 표시함으로써, 범죄자의 탐지를 지원할 수 있다.A criminal detection apparatus and an operating method thereof according to the present invention calculate a degree of correspondence between an eye region image for each of a plurality of pre-stored criminals and an image for a suspect's eye region extracted from a photographed image of a crime scene, By displaying the personal information of the ex-convict matching the suspect based on the degree of matching on the screen, it is possible to support the detection of the criminal.
도 1은 본 발명의 일실시예에 따른 범죄자 탐지 장치의 구조를 도시한 도면이다.
도 2는 본 발명의 일실시예에 따른 범죄자 탐지 장치를 설명하기 위한 도면이다.
도 3은 본 발명의 일실시예에 따른 범죄자 탐지 장치의 동작 방법을 도시한 순서도이다. 1 is a diagram showing the structure of a criminal detection apparatus according to an embodiment of the present invention.
2 is a view for explaining an apparatus for detecting a criminal according to an embodiment of the present invention.
3 is a flowchart illustrating a method of operating a criminal detection apparatus according to an embodiment of the present invention.
이하에서는 본 발명에 따른 실시예들을 첨부된 도면을 참조하여 상세하게 설명하기로 한다. 이러한 설명은 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였으며, 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 본 명세서 상에서 사용되는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 사람에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다.Hereinafter, embodiments according to the present invention will be described in detail with reference to the accompanying drawings. These descriptions are not intended to limit the present invention to specific embodiments, and should be understood to include all modifications, equivalents, and substitutes included in the spirit and scope of the present invention. While describing each drawing, like reference numerals are used for similar components, and unless otherwise defined, all terms used in this specification, including technical or scientific terms, refer to those of ordinary skill in the art to which the present invention belongs. It has the same meaning as is commonly understood by those who have it.
본 문서에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다. 또한, 본 발명의 다양한 실시예들에 있어서, 각 구성요소들, 기능 블록들 또는 수단들은 하나 또는 그 이상의 하부 구성요소로 구성될 수 있고, 각 구성요소들이 수행하는 전기, 전자, 기계적 기능들은 전자회로, 집적회로, ASIC(Application Specific Integrated Circuit) 등 공지된 다양한 소자들 또는 기계적 요소들로 구현될 수 있으며, 각각 별개로 구현되거나 2 이상이 하나로 통합되어 구현될 수도 있다. In this document, when a part "includes" a certain component, it means that other components may be further included, rather than excluding other components, unless otherwise stated. In addition, in various embodiments of the present invention, each of the components, functional blocks or means may be composed of one or more sub-components, and the electrical, electronic, and mechanical functions performed by each component are electronic. A circuit, an integrated circuit, an ASIC (Application Specific Integrated Circuit), etc. may be implemented as various well-known devices or mechanical elements, and may be implemented separately or two or more may be integrated into one.
한편, 첨부된 블록도의 블록들이나 흐름도의 단계들은 범용 컴퓨터, 특수용 컴퓨터, 휴대용 노트북 컴퓨터, 네트워크 컴퓨터 등 데이터 프로세싱이 가능한 장비의 프로세서나 메모리에 탑재되어 지정된 기능들을 수행하는 컴퓨터 프로그램 명령들(instructions)을 의미하는 것으로 해석될 수 있다. 이들 컴퓨터 프로그램 명령들은 컴퓨터 장치에 구비된 메모리 또는 컴퓨터에서 판독 가능한 메모리에 저장될 수 있기 때문에, 블록도의 블록들 또는 흐름도의 단계들에서 설명된 기능들은 이를 수행하는 명령 수단을 내포하는 제조물로 생산될 수도 있다. 아울러, 각 블록 또는 각 단계는 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 명령들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 가능한 실시예들에서는 블록들 또는 단계들에서 언급된 기능들이 정해진 순서와 달리 실행되는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들 또는 단계들은 실질적으로 동시에 수행되거나, 역순으로 수행될 수 있으며, 경우에 따라 일부 블록들 또는 단계들이 생략된 채로 수행될 수도 있다.On the other hand, the blocks in the accompanying block diagram or steps in the flowchart are computer program instructions that are loaded in a processor or memory of equipment capable of data processing, such as a general-purpose computer, a special-purpose computer, a portable notebook computer, and a network computer, and perform specified functions. can be interpreted as meaning Since these computer program instructions may be stored in a memory provided in a computer device or in a memory readable by a computer, the functions described in the blocks of the block diagrams or the steps of the flowcharts are produced as articles of manufacture containing instruction means for performing the same. it might be In addition, each block or each step may represent a module, segment, or portion of code comprising one or more executable instructions for executing the specified logical function(s). It should also be noted that, in some alternative embodiments, it is also possible for the functions recited in blocks or steps to be executed out of the prescribed order. For example, two blocks or steps shown one after another may be performed substantially simultaneously or in the reverse order, and in some cases, some blocks or steps may be omitted.
도 1은 본 발명의 일실시예에 따른 범죄자 탐지 장치의 구조를 도시한 도면이다. 1 is a diagram showing the structure of a criminal detection apparatus according to an embodiment of the present invention.
도 1을 참조하면, 본 발명의 일실시예에 따른 범죄자 탐지 장치(110)는 전과자 데이터베이스(111), 이미지 획득부(112), 행렬 생성부(113), 연산 행렬 생성부(114), 추출부(115) 및 표시부(116)를 포함한다.Referring to FIG. 1 , a
전과자 데이터베이스(111)에는 복수의 전과자들 각각에 대한 개인 정보와 범죄자 탐지의 기준이 되는 상기 복수의 전과자들 각각에 대한 눈 영역 이미지가 서로 대응되어 저장되어 있다.In the ex-convict
여기서, 상기 눈 영역 이미지는 도 2의 도면부호 210과 같이, 눈썹을 포함하지 않으면서, 양쪽 눈 사이의 가운데 지점(211)이 상기 눈 영역 이미지의 중점에 위치하도록 생성된 이미지이다. Here, the eye region image is an image generated such that the
이미지 획득부(112)는 사용자에 의해 범죄 현장이 촬영된 영상을 구성하는 복수의 프레임들 중 어느 하나의 프레임으로부터 용의자의 눈 영역이 지정됨에 따라, 상기 용의자의 눈 영역에 대한 제1 이미지를 획득한다.The
여기서, 상기 눈 영역은 도면부호 210에 도시된 것과 동일하게, 눈썹을 포함하지 않으면서, 양쪽 눈 사이의 가운데 지점이 상기 눈 영역의 중점에 위치하도록 지정된 사각 영역이다. Here, the eye region is a rectangular region designated such that the middle point between both eyes is located at the midpoint of the eye region, without including eyebrows, as shown in
행렬 생성부(113)는 상기 복수의 전과자들 각각에 대한 눈 영역 이미지와 상기 제1 이미지 각각에 대해, 각 이미지를 구성하는 화소들 중 피부색으로 미리 설정된 제1 색상 또는 상기 제1 색상과의 기설정된 유사 범위 내의 색상으로 구성된 화소들에 대해 0의 코드를 할당하고, 나머지 화소들에 대해 1의 코드를 할당함으로써, 상기 복수의 전과자들 각각에 대한 눈 영역 이미지에 대응하는 전과자 행렬과 상기 제1 이미지에 대한 용의자 행렬을 생성한다.The
예컨대, 도 2의 도면부호 220과 같이, 간략히 24 x 6개의 화소들로 구성되는, 상기 복수의 전과자들 중 어느 하나인 '전과자 1'에 대한 눈 영역 이미지(220)가 존재한다고 가정하자.For example, as shown in
이때, 행렬 생성부(113)는 '전과자 1'에 대한 눈 영역 이미지(220)를 구성하는 24 x 6개의 화소들 중, 피부색으로 미리 설정된 제1 색상 또는 상기 제1 색상과의 기설정된 유사 범위 내의 색상으로 구성된 화소들에 대해 0의 코드를 할당하고, 나머지 화소들에 대해 1의 코드를 할당함으로써, 도면부호 230과 같이 '전과자 1'의 눈 영역 이미지(220)에 대응하는 전과자 행렬(230)을 생성할 수 있다.At this time, the
이러한 방식으로, 행렬 생성부(113)는 상기 복수의 전과자들 각각에 대한 눈 영역 이미지와 상기 제1 이미지 각각에 대해, 각 이미지를 구성하는 화소들 중 상기 제1 색상 또는 상기 제1 색상과의 기설정된 유사 범위 내의 색상으로 구성된 화소들에 대해 0의 코드를 할당하고, 나머지 화소들에 대해 1의 코드를 할당함으로써, 상기 복수의 전과자들 각각에 대한 눈 영역 이미지에 대응하는 전과자 행렬과 상기 제1 이미지에 대한 용의자 행렬을 생성할 수 있다.In this way, the
연산 행렬 생성부(114)는 상기 복수의 전과자들 각각에 대한 전과자 행렬과 상기 용의자 행렬 간의 아다마르 곱(Hadamard product)을 연산함으로써, 복수의 연산 행렬들을 생성한다.The
여기서, 아다마르 곱이란 같은 크기의 행렬 또는 벡터에서 각 성분을 곱하는 연산을 의미하는 것으로, 아다마르 곱의 연산을 나타내는 기호는 '○'와 같으며, '[a b c]'와 '[x y z]'라는 두 행렬이 있을 때, 상기 두 행렬 간의 아다마르 곱을 연산한 행렬은 '[ax by cz]'로 나타낼 수 있다.Here, the Hadamard product refers to an operation of multiplying each component in a matrix or vector of the same size. The symbol representing the operation of the Hadamard product is the same as '○', and '[abc]' When there are two matrices, the matrix obtained by calculating the Hadamard product between the two matrices may be expressed as '[ax by cz]'.
즉, 연산 행렬 생성부(114)는 상기 복수의 전과자들 각각에 대한 전과자 행렬과 상기 용의자 행렬 간의 아다마르 곱을 연산함으로써, 상기 복수의 전과자들 각각에 대한 눈 영역 이미지에서 피부색이 아닌 눈 영역이 차지하는 부분과 상기 제1 이미지에서 피부색이 아닌 눈 영역이 차지하는 부분이 일치하면 1의 성분이 할당되고, 일치하지 않으면 0의 성분이 할당되도록 상기 복수의 연산 행렬들을 생성할 수 있다.That is, the operation
추출부(115)는 상기 복수의 연산 행렬들에 포함된 1의 성분 값들의 개수를 카운트한 후, 상기 복수의 전과자들 중, 상기 복수의 연산 행렬들 각각에서 카운트된 1의 성분 값들의 개수가 최대인 연산 행렬에 대응되는 제1 전과자를 추출한다.After counting the number of component values of 1 included in the plurality of operation matrices, the
즉, 추출부(115)에 의해 연산된 상기 복수의 연산 행렬들 각각의 1의 성분 값들의 개수가 클수록 상기 복수의 전과자들 각각에 대한 눈 영역 이미지에서 피부색이 아닌 눈 영역이 차지하는 부분과 상기 제1 이미지에서 피부색이 아닌 눈 영역이 차지하는 부분이 일치함을 의미하므로, 상기 복수의 전과자들 중, 각 연산 행렬에서 카운트된 1의 성분 값들의 개수가 최대인 연산 행렬에 대응되는 제1 전과자가 상기 용의자에 일치할 확률이 가장 높은 것을 확인할 수 있다. That is, as the number of component values of 1 in each of the plurality of operation matrices calculated by the
표시부(116)는 전과자 데이터베이스(110)로부터 상기 제1 전과자에 대응되는 제1 개인 정보를 추출한 후, 상기 제1 개인 정보를 상기 용의자에 매칭되는 전과자의 개인 정보로 화면 상에 표시한다.After extracting the first personal information corresponding to the first ex-convict from the
이때, 본 발명의 일실시예에 따르면, 범죄자 탐지 장치(110)는 매칭 점수 테이블 유지부(117), 매칭 점수 확인부(118) 및 매칭 점수 표시부(119)를 더 포함할 수 있다.In this case, according to an embodiment of the present invention, the
매칭 점수 테이블 유지부(117)는 상기 복수의 연산 행렬들 각각에서 카운트된 1의 성분 값들의 개수에 대한 미리 지정된 복수의 범위 값들과 상기 복수의 범위 값들 각각에 대한 용의자 매칭 점수가 기록되어 있는 매칭 점수 테이블을 저장하여 유지한다.The matching score
여기서, 상기 용의자 매칭 점수는 상기 용의자가 상기 용의자에 매칭되는 전과자로 추출된 상기 제1 전과자와 동일한 사람에 해당할 확률을 의미한다. Here, the suspect matching score refers to a probability that the suspect corresponds to the same person as the first ex-convict extracted as an ex-convict matching the suspect.
예컨대, 상기 복수의 전과자들 각각에 대한 눈 영역 이미지와 상기 제1 이미지 각각이 '20,000,000(개)'의 화소들로 구성되어 있다고 가정하면, 상기 매칭 점수 테이블에는 하기의 표 1과 같이 정보가 기록되어 있을 수 있다.For example, assuming that each of the eye region image and the first image for each of the plurality of criminals consists of '20,000,000 (units)' pixels, information is recorded in the matching score table as shown in Table 1 below. may have been
매칭 점수 확인부(118)는 상기 제1 개인 정보가 상기 용의자에 매칭되는 전과자의 개인 정보로 화면 상에 표시된 이후, 상기 매칭 점수 테이블로부터, 상기 복수의 범위 값들 중 상기 제1 전과자에 대응되는 연산 행렬에서 카운트된 1의 개수가 속해있는 제1 범위 값을 추출하고, 상기 제1 범위 값에 대응되어 기록되어 있는 제1 용의자 매칭 점수를 확인한다.After the first personal information is displayed on the screen as the personal information of the ex-convict matching the suspect, the matching
매칭 점수 표시부(119)는 상기 제1 용의자 매칭 점수를 화면 상에 표시한다.The matching
예컨대, 상기 복수의 연산 행렬들 각각에서 카운트된 1의 성분 값들의 개수 중 최대 개수가 '2,500,000(개)'이고, 1의 성분 값들의 개수가 '2,500,000(개)'인 연산 행렬에 대응되는 상기 제1 전과자의 상기 제1 개인 정보가 '전과자 1'의 개인 정보라고 가정하자.For example, the maximum number among the number of component values of 1 counted in each of the plurality of operation matrices is '2,500,000 (pieces)' and the number of component values of 1 is '2,500,000 (pieces)' corresponding to the operation matrix Assume that the first personal information of the first ex-convict is personal information of 'ex-convict 1'.
'전과자 1'의 개인 정보가 상기 용의자에 매칭되는 전과자의 개인 정보로 화면 상에 표시되면, 매칭 점수 확인부(118)는 상기 표 1과 같은 매칭 점수 테이블로부터, '전과자 1'에 대응되는 연산 행렬에서 카운트된 1의 개수인 '2,500,000(개)'가 속해있는 제1 범위 값으로 '2,000,000 초과 3,000,000 이하'를 추출할 수 있고, '2,000,000 초과 3,000,000 이하'에 대응되어 기록되어 있는 제1 용의자 매칭 점수로 '30(점)'을 확인할 수 있다.When the personal information of 'ex-convict 1' is displayed on the screen as the personal information of the ex-convict matching the suspect, the matching
그러면, 매칭 점수 표시부(119)는 상기 제1 용의자 매칭 점수인 '30(점)'을 화면 상에 표시할 수 있다.Then, the matching
또한, 본 발명의 일실시예에 따르면, 범죄자 탐지 장치(110)는 안내 메시지 표시부(120)를 더 포함할 수 있다.Also, according to an embodiment of the present invention, the
안내 메시지 표시부(120)는 상기 제1 용의자 매칭 점수가 미리 설정된 기준치보다 작은 경우, 상기 용의자가 초범임을 지시하는 안내 메시지를 화면 상에 표시한다.When the first suspect matching score is less than a preset reference value, the guide
예컨대, 미리 설정된 기준치가 '40(점)'이고, 앞선 예와 같이 상기 제1 용의자 매칭 점수가 '30(점)'이라고 하면, 안내 메시지 표시부(120)는 상기 제1 용의자 매칭 점수인 '30(점)'이 상기 기준치인 '40(점)'보다 작으므로, 상기 용의자가 초범임을 지시하는 안내 메시지를 화면 상에 표시할 수 있다.For example, if the preset reference value is '40 (points)' and the first suspect matching score is '30 (points)' as in the previous example, the guidance
즉, 안내 메시지 표시부(120)는 상기 복수의 전과자들 중 상기 제1 전과자가 상기 용의자에 매칭되는 전과자로 표시되었더라도, 상기 제1 용의자 매칭 점수가 높지 않은 경우, 상기 제1 전과자와 상기 용의자를 서로 동일한 사람으로 보기 어려우므로, 상기 용의자는 전과자 데이터베이스(110)에 기록되어 있지 않은 초범이라는 안내 메시지의 표시를 지원할 수 있다.That is, the guidance
도 3은 본 발명의 일실시예에 따른 범죄자 탐지 장치의 동작 방법을 도시한 순서도이다.3 is a flowchart illustrating a method of operating a criminal detection apparatus according to an embodiment of the present invention.
단계(S310)에서는 복수의 전과자들 각각에 대한 개인 정보와 범죄자 탐지의 기준이 되는 상기 복수의 전과자들 각각에 대한 눈 영역 이미지(상기 눈 영역 이미지는 눈썹을 포함하지 않으면서, 양쪽 눈 사이의 가운데 지점이 상기 눈 영역 이미지의 중점에 위치하도록 생성된 이미지임)가 서로 대응되어 저장되어 있는 전과자 데이터베이스를 유지한다.In step S310, an eye area image for each of the plurality of ex-convicts, which is the standard for criminal detection and personal information for each of the plurality of ex-convicts (the eye area image does not include eyebrows, and is located between the eyes Maintains a database of criminals in which points are generated so that the points are located at the center of the image of the eye region) are stored in correspondence with each other.
단계(S320)에서는 사용자에 의해 범죄 현장이 촬영된 영상을 구성하는 복수의 프레임들 중 어느 하나의 프레임으로부터 용의자의 눈 영역(상기 눈 영역은 눈썹을 포함하지 않으면서, 양쪽 눈 사이의 가운데 지점이 상기 눈 영역의 중점에 위치하도록 지정된 사각 영역임)이 지정됨에 따라, 상기 용의자의 눈 영역에 대한 제1 이미지를 획득한다.In step S320, the suspect's eye area (the eye area does not include the eyebrows, the middle point between the eyes is As the blind area designated to be located at the midpoint of the eye area) is designated, a first image of the eye area of the suspect is obtained.
단계(S330)에서는 상기 복수의 전과자들 각각에 대한 눈 영역 이미지와 상기 제1 이미지 각각에 대해, 각 이미지를 구성하는 화소들 중 피부색으로 미리 설정된 제1 색상 또는 상기 제1 색상과의 기설정된 유사 범위 내의 색상으로 구성된 화소들에 대해 0의 코드를 할당하고, 나머지 화소들에 대해 1의 코드를 할당함으로써, 상기 복수의 전과자들 각각에 대한 눈 영역 이미지에 대응하는 전과자 행렬과 상기 제1 이미지에 대한 용의자 행렬을 생성한다.In step S330, for each of the eye region image and the first image for each of the plurality of criminals, a first color preset as a skin color among pixels constituting each image or a preset similarity to the first color By assigning a code of 0 to pixels composed of a color within the range and a code of 1 to the remaining pixels, the ex-convict matrix corresponding to the eye region image for each of the plurality of ex-convics and the first image Create a suspect matrix for
단계(S340)에서는 상기 복수의 전과자들 각각에 대한 전과자 행렬과 상기 용의자 행렬 간의 아다마르 곱을 연산함으로써, 복수의 연산 행렬들을 생성한다.In step S340, a plurality of operation matrices are generated by calculating the Hadamard product between the suspect matrix and the ex-convict matrix for each of the plurality of ex-convics.
단계(S350)에서는 상기 복수의 연산 행렬들에 포함된 1의 성분 값들의 개수를 카운트한 후, 상기 복수의 전과자들 중, 상기 복수의 연산 행렬들 각각에서 카운트된 1의 성분 값들의 개수가 최대인 연산 행렬에 대응되는 제1 전과자를 추출한다.In step S350, after counting the number of component values of 1 included in the plurality of operation matrices, the number of component values of 1 counted in each of the plurality of operation matrices among the plurality of criminals is the maximum Extracts the first ex-convict corresponding to the arithmetic operation matrix.
단계(S360)에서는 상기 전과자 데이터베이스로부터 상기 제1 전과자에 대응되는 제1 개인 정보를 추출한 후, 상기 제1 개인 정보를 상기 용의자에 매칭되는 전과자의 개인 정보로 화면 상에 표시한다.In step S360, after extracting the first personal information corresponding to the first ex-convict from the ex-convict database, the first personal information is displayed on the screen as personal information of the ex-convict matching the suspect.
이때, 본 발명의 일실시예에 따르면, 상기 범죄자 탐지 장치의 동작 방법은 상기 복수의 연산 행렬들 각각에서 카운트된 1의 성분 값들의 개수에 대한 미리 지정된 복수의 범위 값들과 상기 복수의 범위 값들 각각에 대한 용의자 매칭 점수(상기 용의자 매칭 점수는 상기 용의자가 상기 용의자에 매칭되는 전과자로 추출된 상기 제1 전과자와 동일한 사람에 해당할 확률을 의미함)가 기록되어 있는 매칭 점수 테이블을 저장하여 유지하는 단계, 상기 제1 개인 정보가 상기 용의자에 매칭되는 전과자의 개인 정보로 화면 상에 표시된 이후, 상기 매칭 점수 테이블로부터, 상기 복수의 범위 값들 중 상기 제1 전과자에 대응되는 연산 행렬에서 카운트된 1의 개수가 속해있는 제1 범위 값을 추출하고, 상기 제1 범위 값에 대응되어 기록되어 있는 제1 용의자 매칭 점수를 확인하는 단계 및 상기 제1 용의자 매칭 점수를 화면 상에 표시하는 단계를 더 포함할 수 있다.At this time, according to an embodiment of the present invention, in the method of operating the criminal detection apparatus, a plurality of predetermined range values for the number of component values of 1 counted in each of the plurality of operation matrices and each of the plurality of range values Storing and maintaining a matching score table in which the suspect matching score for Step, after the first personal information is displayed on the screen as the personal information of the ex-convict matching the suspect, from the matching score table, 1 counted in the operation matrix corresponding to the first ex-convict among the plurality of range values Extracting a first range value to which the number belongs, checking a first suspect matching score recorded corresponding to the first range value, and displaying the first suspect matching score on a screen can
또한, 본 발명의 일실시예에 따르면, 상기 범죄자 탐지 장치의 동작 방법은 상기 제1 용의자 매칭 점수가 미리 설정된 기준치보다 작은 경우, 상기 용의자가 초범임을 지시하는 안내 메시지를 화면 상에 표시하는 단계를 더 포함할 수 있다.In addition, according to an embodiment of the present invention, the method of operating the criminal detection apparatus includes: when the first suspect matching score is less than a preset reference value, displaying a guide message indicating that the suspect is a first offender on the screen may include more.
이상, 도 3을 참조하여 본 발명의 일실시예에 따른 범죄자 탐지 장치의 동작 방법에 대해 설명하였다. 여기서, 본 발명의 일실시예에 따른 범죄자 탐지 장치의 동작 방법은 도 1과 도 2를 이용하여 설명한 범죄자 탐지 장치(110)의 동작에 대한 구성과 대응될 수 있으므로, 이에 대한 보다 상세한 설명은 생략하기로 한다.The method of operation of the criminal detection apparatus according to an embodiment of the present invention has been described above with reference to FIG. 3 . Here, since the method of operating the criminal detection apparatus according to an embodiment of the present invention may correspond to the configuration of the operation of the
본 발명의 일실시예에 따른 범죄자 탐지 장치의 동작 방법은 컴퓨터와의 결합을 통해 실행시키기 위한 저장매체에 저장된 컴퓨터 프로그램으로 구현될 수 있다.The method of operating a criminal detection apparatus according to an embodiment of the present invention may be implemented as a computer program stored in a storage medium for execution through combination with a computer.
또한, 본 발명의 일실시예에 따른 범죄자 탐지 장치의 동작 방법은 컴퓨터와의 결합을 통해 실행시키기 위한 컴퓨터 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. In addition, the method of operating a criminal detection apparatus according to an embodiment of the present invention may be implemented in the form of computer program instructions for execution through combination with a computer and recorded in a computer readable medium. The computer-readable medium may include program instructions, data files, data structures, etc. alone or in combination. The program instructions recorded on the medium may be specially designed and configured for the present invention, or may be known and available to those skilled in the art of computer software. Examples of the computer-readable recording medium include magnetic media such as hard disks, floppy disks and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic such as floppy disks. - includes magneto-optical media, and hardware devices specially configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like. Examples of program instructions include not only machine language codes such as those generated by a compiler, but also high-level language codes that can be executed by a computer using an interpreter or the like.
이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. As described above, in the present invention, specific matters such as specific components, etc., and limited embodiments and drawings have been described, but these are only provided to help a more general understanding of the present invention, and the present invention is not limited to the above embodiments. , various modifications and variations are possible from these descriptions by those of ordinary skill in the art to which the present invention pertains.
따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.Therefore, the spirit of the present invention should not be limited to the described embodiments, and not only the claims described below, but also all of the claims and all equivalents or equivalent modifications to the claims will be said to belong to the scope of the spirit of the present invention. .
110: 범죄자 탐지 장치
111: 전과자 데이터베이스 112: 이미지 획득부
113: 행렬 생성부 114: 연산 행렬 생성부
115: 추출부 116: 표시부
117: 매칭 점수 테이블 유지부 118: 매칭 점수 확인부
119: 매칭 점수 표시부 120: 안내 메시지 표시부110: criminal detection device
111: ex-convict database 112: image acquisition unit
113: matrix generation unit 114: operation matrix generation unit
115: extraction unit 116: display unit
117: Matching score table maintenance unit 118: Matching score check unit
119: matching score display unit 120: information message display unit
Claims (8)
사용자에 의해 범죄 현장이 촬영된 영상을 구성하는 복수의 프레임들 중 어느 하나의 프레임으로부터 용의자의 눈 영역 - 상기 눈 영역은 눈썹을 포함하지 않으면서, 양쪽 눈 사이의 가운데 지점이 상기 눈 영역의 중점에 위치하도록 지정된 사각 영역임 - 이 지정됨에 따라, 상기 용의자의 눈 영역에 대한 제1 이미지를 획득하는 이미지 획득부;
상기 복수의 전과자들 각각에 대한 눈 영역 이미지와 상기 제1 이미지 각각에 대해, 각 이미지를 구성하는 화소들 중 피부색으로 미리 설정된 제1 색상 또는 상기 제1 색상과의 기설정된 유사 범위 내의 색상으로 구성된 화소들에 대해 0의 코드를 할당하고, 나머지 화소들에 대해 1의 코드를 할당함으로써, 상기 복수의 전과자들 각각에 대한 눈 영역 이미지에 대응하는 전과자 행렬과 상기 제1 이미지에 대한 용의자 행렬을 생성하는 행렬 생성부;
상기 복수의 전과자들 각각에 대한 전과자 행렬과 상기 용의자 행렬 간의 아다마르 곱(Hadamard product)을 연산함으로써, 복수의 연산 행렬들을 생성하는 연산 행렬 생성부;
상기 복수의 연산 행렬들에 포함된 1의 성분 값들의 개수를 카운트한 후, 상기 복수의 전과자들 중, 상기 복수의 연산 행렬들 각각에서 카운트된 1의 성분 값들의 개수가 최대인 연산 행렬에 대응되는 제1 전과자를 추출하는 추출부;
상기 전과자 데이터베이스로부터 상기 제1 전과자에 대응되는 제1 개인 정보를 추출한 후, 상기 제1 개인 정보를 상기 용의자에 매칭되는 전과자의 개인 정보로 화면 상에 표시하는 표시부;
상기 복수의 연산 행렬들 각각에서 카운트된 1의 성분 값들의 개수에 대한, 미리 지정된 복수의 범위 값들과 상기 복수의 범위 값들 각각에 대한 용의자 매칭 점수 - 상기 용의자 매칭 점수는 상기 용의자가 상기 용의자에 매칭되는 전과자로 추출된 상기 제1 전과자와 동일한 사람에 해당할 확률을 의미함 - 가 기록되어 있는 매칭 점수 테이블을 저장하여 유지하는 매칭 점수 테이블 유지부;
상기 제1 개인 정보가 상기 용의자에 매칭되는 전과자의 개인 정보로 화면 상에 표시된 이후, 상기 매칭 점수 테이블로부터, 상기 복수의 범위 값들 중 상기 제1 전과자에 대응되는 연산 행렬에서 카운트된 1의 개수가 속해있는 제1 범위 값을 추출하고, 상기 제1 범위 값에 대응되어 기록되어 있는 제1 용의자 매칭 점수를 확인하는 매칭 점수 확인부;
상기 제1 용의자 매칭 점수를 화면 상에 표시하는 매칭 점수 표시부; 및
상기 제1 용의자 매칭 점수가 미리 설정된 기준치보다 작은 경우, 상기 용의자가 초범임을 지시하는 안내 메시지를 화면 상에 표시하는 안내 메시지 표시부
를 포함하는 범죄자 탐지 장치.An eye region image for each of the plurality of criminals serving as personal information for each of a plurality of criminals and a criterion for criminal detection - The eye region image does not include an eyebrow, and the middle point between the eyes is the eye region The image is created to be located at the center of the image - a database of ex-convicts stored in correspondence with each other;
A suspect's eye region from any one of a plurality of frames constituting an image of a crime scene taken by a user - the eye region does not include an eyebrow, and the middle point between the eyes is the midpoint of the eye region a blind area designated to be located in - an image acquisition unit configured to acquire a first image of the suspect's eye area when the area is designated;
For each of the eye region image and the first image for each of the plurality of criminals, a first color preset as a skin color among pixels constituting each image or a color within a preset similarity range with the first color is configured. By assigning a code of 0 to pixels and a code of 1 to the remaining pixels, an ex-convict matrix corresponding to an eye region image for each of the plurality of ex-convicts and a suspect matrix for the first image are generated a matrix generating unit;
an arithmetic matrix generator generating a plurality of arithmetic matrixes by calculating a Hadamard product between an ex-convict matrix for each of the plurality of ex-convicts and the suspect matrix;
After counting the number of component values of 1 included in the plurality of operation matrices, it corresponds to the operation matrix in which the number of component values of 1 counted in each of the plurality of operation matrices is the largest among the plurality of criminals an extraction unit for extracting the first past confectionary;
a display unit that extracts first personal information corresponding to the first ex-convict from the ex-convict database and displays the first personal information as personal information of the ex-convict matching the suspect on a screen;
A plurality of predefined range values for the number of component values of 1 counted in each of the plurality of operation matrices, and a suspect matching score for each of the plurality of range values - The suspect matching score indicates that the suspect matches the suspect a matching score table maintaining unit that stores and maintains a matching score table in which - means a probability of being the same person as the first ex-convict extracted as an ex-convict;
After the first personal information is displayed on the screen as the personal information of the ex-convict matching the suspect, from the matching score table, the number of 1s counted in the operation matrix corresponding to the first ex-convict among the plurality of range values is a matching score checking unit that extracts a value of a first range to which it belongs, and checks a first suspect matching score recorded in correspondence to the first range value;
a matching score display unit for displaying the first suspect matching score on a screen; and
When the first suspect matching score is less than a preset reference value, a guide message display unit for displaying a guide message indicating that the suspect is a first offender on the screen
A criminal detection device comprising a.
사용자에 의해 범죄 현장이 촬영된 영상을 구성하는 복수의 프레임들 중 어느 하나의 프레임으로부터 용의자의 눈 영역 - 상기 눈 영역은 눈썹을 포함하지 않으면서, 양쪽 눈 사이의 가운데 지점이 상기 눈 영역의 중점에 위치하도록 지정된 사각 영역임 - 이 지정됨에 따라, 상기 용의자의 눈 영역에 대한 제1 이미지를 획득하는 단계;
상기 복수의 전과자들 각각에 대한 눈 영역 이미지와 상기 제1 이미지 각각에 대해, 각 이미지를 구성하는 화소들 중 피부색으로 미리 설정된 제1 색상 또는 상기 제1 색상과의 기설정된 유사 범위 내의 색상으로 구성된 화소들에 대해 0의 코드를 할당하고, 나머지 화소들에 대해 1의 코드를 할당함으로써, 상기 복수의 전과자들 각각에 대한 눈 영역 이미지에 대응하는 전과자 행렬과 상기 제1 이미지에 대한 용의자 행렬을 생성하는 단계;
상기 복수의 전과자들 각각에 대한 전과자 행렬과 상기 용의자 행렬 간의 아다마르 곱(Hadamard product)을 연산함으로써, 복수의 연산 행렬들을 생성하는 단계;
상기 복수의 연산 행렬들에 포함된 1의 성분 값들의 개수를 카운트한 후, 상기 복수의 전과자들 중, 상기 복수의 연산 행렬들 각각에서 카운트된 1의 성분 값들의 개수가 최대인 연산 행렬에 대응되는 제1 전과자를 추출하는 단계;
상기 전과자 데이터베이스로부터 상기 제1 전과자에 대응되는 제1 개인 정보를 추출한 후, 상기 제1 개인 정보를 상기 용의자에 매칭되는 전과자의 개인 정보로 화면 상에 표시하는 단계;
상기 제1 개인 정보가 상기 용의자에 매칭되는 전과자의 개인 정보로 화면 상에 표시된 이후, 매칭 점수 테이블 - 상기 매칭 점수 테이블은 상기 복수의 연산 행렬들 각각에서 카운트된 1의 성분 값들의 개수에 대한, 미리 지정된 복수의 범위 값들과 상기 복수의 범위 값들 각각에 대한 용의자 매칭 점수(상기 용의자 매칭 점수는 상기 용의자가 상기 용의자에 매칭되는 전과자로 추출된 상기 제1 전과자와 동일한 사람에 해당할 확률을 의미함)가 기록되어 있는 테이블임 - 로부터, 상기 복수의 범위 값들 중 상기 제1 전과자에 대응되는 연산 행렬에서 카운트된 1의 개수가 속해있는 제1 범위 값을 추출하고, 상기 제1 범위 값에 대응되어 기록되어 있는 제1 용의자 매칭 점수를 확인하는 단계;
상기 제1 용의자 매칭 점수를 화면 상에 표시하는 단계; 및
상기 제1 용의자 매칭 점수가 미리 설정된 기준치보다 작은 경우, 상기 용의자가 초범임을 지시하는 안내 메시지를 화면 상에 표시하는 단계
를 포함하는 범죄자 탐지 장치의 동작 방법.An eye region image for each of the plurality of criminals serving as personal information for each of a plurality of criminals and a criterion for criminal detection - The eye region image does not include an eyebrow, and the middle point between the eyes is the eye region maintaining an ex-convict database stored in correspondence with each other;
A suspect's eye region from any one of a plurality of frames constituting an image of a crime scene taken by a user - the eye region does not include an eyebrow, and the middle point between the eyes is the midpoint of the eye region is a blind area designated to be located in - according to the designation, obtaining a first image of the eye area of the suspect;
For each of the eye region image and the first image for each of the plurality of criminals, a first color preset as a skin color among pixels constituting each image or a color within a preset similarity range with the first color is configured. By assigning a code of 0 to pixels and a code of 1 to the remaining pixels, an ex-convict matrix corresponding to an eye region image for each of the plurality of ex-convicts and a suspect matrix for the first image are generated to do;
generating a plurality of operation matrices by calculating a Hadamard product between an ex-convict matrix for each of the plurality of ex-convicts and the suspect matrix;
After counting the number of component values of 1 included in the plurality of operation matrices, it corresponds to the operation matrix in which the number of component values of 1 counted in each of the plurality of operation matrices is the largest among the plurality of criminals extracting the first ex-cons to be;
extracting first personal information corresponding to the first ex-convict from the ex-convict database and displaying the first personal information as personal information of the ex-convict matching the suspect on a screen;
After the first personal information is displayed on the screen as the personal information of the ex-convict matching the suspect, the matching score table - the matching score table is for the number of component values of 1 counted in each of the plurality of operation matrices, A plurality of predefined range values and a suspect matching score for each of the plurality of range values (the suspect matching score means the probability that the suspect corresponds to the same person as the first ex-convict extracted as an ex-convict matching the suspect) ) is a table in which - from among the plurality of range values, extracts a first range value to which the number of 1s counted in the operation matrix corresponding to the first ex-convict belongs, and corresponds to the first range value checking the recorded first suspect matching score;
displaying the first suspect matching score on a screen; and
When the first suspect matching score is less than a preset reference value, displaying a guide message indicating that the suspect is a first offender on the screen;
A method of operating a criminal detection device comprising a.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190176229A KR102374225B1 (en) | 2019-12-27 | 2019-12-27 | Criminal detection and operating method thereof |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190176229A KR102374225B1 (en) | 2019-12-27 | 2019-12-27 | Criminal detection and operating method thereof |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| KR20210084739A KR20210084739A (en) | 2021-07-08 |
| KR102374225B1 true KR102374225B1 (en) | 2022-03-15 |
| KR102374225B9 KR102374225B9 (en) | 2022-07-06 |
Family
ID=76893246
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020190176229A KR102374225B1 (en) | 2019-12-27 | 2019-12-27 | Criminal detection and operating method thereof |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102374225B1 (en) |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5315201B2 (en) * | 2009-10-09 | 2013-10-16 | 綜合警備保障株式会社 | Suspicious person monitoring device and suspicious person monitoring method |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR19990050271A (en) * | 1997-12-16 | 1999-07-05 | 구자홍 | Method and apparatus for automatic detection of criminal face using face recognition |
| KR100693412B1 (en) * | 2005-05-16 | 2007-03-09 | 주식회사 아이디테크 | Method for eye detection from images |
-
2019
- 2019-12-27 KR KR1020190176229A patent/KR102374225B1/en active IP Right Grant
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5315201B2 (en) * | 2009-10-09 | 2013-10-16 | 綜合警備保障株式会社 | Suspicious person monitoring device and suspicious person monitoring method |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20210084739A (en) | 2021-07-08 |
| KR102374225B9 (en) | 2022-07-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Agarwal et al. | Protecting World Leaders Against Deep Fakes. | |
| CN108805047B (en) | Living body detection method and device, electronic equipment and computer readable medium | |
| KR100480781B1 (en) | Method of extracting teeth area from teeth image and personal identification method and apparatus using teeth image | |
| KR101984496B1 (en) | Apparatus for and method of processing image based on object region | |
| US9514225B2 (en) | Video recording apparatus supporting smart search and smart search method performed using video recording apparatus | |
| CN105518710B (en) | Video detecting method, video detection system and computer program product | |
| KR101781358B1 (en) | Personal Identification System And Method By Face Recognition In Digital Image | |
| CN111611873A (en) | Face replacement detection method and device, electronic equipment and computer storage medium | |
| KR20160057867A (en) | Display apparatus and image processing method thereby | |
| JP5163008B2 (en) | Image processing apparatus, image processing method, and image processing program | |
| JP7419080B2 (en) | computer systems and programs | |
| CN111640165A (en) | Method and device for acquiring AR group photo image, computer equipment and storage medium | |
| Guraya et al. | Predictive saliency maps for surveillance videos | |
| US9996743B2 (en) | Methods, systems, and media for detecting gaze locking | |
| Mittal et al. | Video manipulations beyond faces: A dataset with human-machine analysis | |
| CN113221767B (en) | Method for training living body face recognition model and recognizing living body face and related device | |
| CN113989531A (en) | Image processing method and device, computer equipment and storage medium | |
| KR102374225B1 (en) | Criminal detection and operating method thereof | |
| JP7438690B2 (en) | Information processing device, image recognition method, and learning model generation method | |
| Nakashima et al. | Automatically protecting privacy in consumer generated videos using intended human object detector | |
| Jost et al. | Contribution of depth to visual attention: comparison of a computer model and human behavior | |
| CN111260537A (en) | Image privacy protection method and device, storage medium and camera equipment | |
| KR102384983B1 (en) | Electronic terminal device which is able to create a composite image with the face image of a celebrity and the face image of a user and the operating method thereof | |
| CN114360015A (en) | Living body detection method, living body detection device, living body detection equipment and storage medium | |
| CN113011277A (en) | Data processing method, device, equipment and medium based on face recognition |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| G170 | Re-publication after modification of scope of protection [patent] |