KR20060121503A - Apparatus and method for tracking salient human face in robot surveillance - Google Patents
Apparatus and method for tracking salient human face in robot surveillance Download PDFInfo
- Publication number
- KR20060121503A KR20060121503A KR1020050043724A KR20050043724A KR20060121503A KR 20060121503 A KR20060121503 A KR 20060121503A KR 1020050043724 A KR1020050043724 A KR 1020050043724A KR 20050043724 A KR20050043724 A KR 20050043724A KR 20060121503 A KR20060121503 A KR 20060121503A
- Authority
- KR
- South Korea
- Prior art keywords
- face
- important
- map
- motion
- color
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 70
- 238000001514 detection method Methods 0.000 claims description 17
- 239000003086 colorant Substances 0.000 claims description 13
- 238000005070 sampling Methods 0.000 claims 4
- 230000005484 gravity Effects 0.000 claims 2
- 238000004364 calculation method Methods 0.000 abstract description 4
- 238000012544 monitoring process Methods 0.000 abstract 1
- 210000000887 face Anatomy 0.000 description 13
- 230000000007 visual effect Effects 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000001815 facial effect Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 241000282412 Homo Species 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000000691 measurement method Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 206010052804 Drug tolerance Diseases 0.000 description 1
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 208000029152 Small face Diseases 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009901 attention process Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000010339 dilation Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000003628 erosive effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000026781 habituation Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/223—Analysis of motion using block-matching
- G06T7/231—Analysis of motion using block-matching using full search
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
- G06T5/30—Erosion or dilatation, e.g. thinning
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
Description
도 1은 본 발명의 실시 예에 따른 중요 얼굴 추적 장치에 대한 블록 구성도1 is a block diagram of an important face tracking device according to an embodiment of the present invention
도 2는 본 발명의 실시 예에 따른 입력 영상에 대한 색상 대비 맵/모션 맵/얼굴 후보영역 검출 영상 일예도2 is a diagram illustrating an example of a color contrast map / motion map / face candidate region detection image of an input image according to an embodiment of the present invention.
도 3은 본 발명의 실시 예에 따른 중요 대비 맵 영상 일예도3 is an example of an important contrast map image according to an embodiment of the present invention
도 4는 본 발명의 실시 예에 따른 최종 중요 얼굴 선택화면 일예도4 is an example of the final important face selection screen according to an embodiment of the present invention
도 5는 본 발명의 실시 예에 따른 중요 얼굴 추적 장치의 동작 흐름도5 is an operation flowchart of an important face tracking device according to an exemplary embodiment of the present invention.
도 6은 본 발명의 실시 예에 따른 색상 대비 맵 생성 과정에 대한 흐름도6 is a flowchart illustrating a process of generating a color contrast map according to an embodiment of the present invention.
도 7은 본 발명의 실시 예에 따른 모션 맵 생성 과정에 대한 흐름도7 is a flowchart illustrating a process of generating a motion map according to an embodiment of the present invention.
도 8은 본 발명의 실시 예에 따른 얼굴 후보 영역 검출 과정에 대한 흐름도8 is a flowchart illustrating a process of detecting a face candidate region according to an embodiment of the present invention.
본 발명은 로봇에 관한 것으로, 특히 무인 감시 로봇 등과 같은 각종 로봇에 서 중요 얼굴 추적을 위한 장치 및 방법에 관한 것이다. The present invention relates to a robot, and more particularly, to an apparatus and a method for tracking an important face in various robots such as an unmanned surveillance robot.
최근 로봇에 대한 관심이 크게 증가하면서 로봇 비전에 대한 기술이 활발한 연구 대상이 되고 있으며, 로봇 비전 기술은 인공 지능과 연관되어 얼굴 검출 및 인식, 객체 추적, 표정 인식, 동작 인식 등으로 다양하게 연구되고 있다.Recently, as the interest in robots has increased greatly, the technology of robot vision has been actively studied, and robot vision technology has been studied in various ways such as face detection and recognition, object tracking, facial recognition, and motion recognition in connection with artificial intelligence. have.
그러나 상기한 바와 같은 로봇 비전 기술들은 기술의 현실적 응용의 어려움으로 인해 현재는 주로 얼굴 검출 및 추적 기술이 로봇에 제한적으로 적용되고 있는 실정이다.However, the robot vision technologies as described above are currently limited in the face detection and tracking technology to the robot due to the difficulty of the practical application of the technology.
종래 얼굴 검출 및 추적 기술은 대부분 입력 영상안에 한 개의 얼굴이 존재한다는 가정 하에 해당 얼굴을 추적한다. 따라서 입력 영상안에 여러개의 얼굴이 존재하는 경우 모든 얼굴들을 추적해야 한다. 그런데 한대의 감시 카메라를 통해 모든 얼굴을 다 추적할 수는 없으므로 이에 대한 대안이 필요하다.Conventional face detection and tracking techniques mostly track a face under the assumption that one face exists in the input image. Therefore, if multiple faces exist in the input image, all faces must be tracked. However, not all faces can be tracked through one surveillance camera, so we need an alternative.
최근 이에 대한 대안으로 입력 영상에서 인간의 시각적 특성을 이용하여 중요 객체만을 추출하고 중요 객체에서 사람의 얼굴 영역을 검출하는 방법들이 제안되고 있다.Recently, as an alternative to this, methods for extracting only an important object and detecting a human face region from the important image by using human visual characteristics have been proposed.
첫번째 방법은 휴머로이드 로봇(Humanoid Robot)에 적용하기 위한 목적으로 제안된 것으로, 입력 영상으로부터 피부 검출(skin detector), 색상 검출(color detector), 모션 검출(motion detector), 습관(habituation) 검출 각각에 의한 4가지 맵을 구성하고, 각 맵에 특정 가중치를 적용하여 하나의 맵으로 선형 조합한 뒤에 집충 처리(attention process)과정을 거쳐 맵에서 중요 얼굴에 해당하는 영역을 찾아내는 방법이다.The first method is proposed for the application to humanoid robots, and the skin detector, color detector, motion detector, and habituation detection, respectively, are detected from the input image. It consists of four maps, linearly combines them into a single map by applying specific weights to each map, and then finds the area of the important face in the map through an attention process.
또한 두번째 방법은 입력 영상에 대한 밝기 맵과 색상 맵을 생성하고, 밝기 맵과 색상 맵 중 대응되는 좌표의 성분값이 더 높은 영역을 취하여 새로운 맵(A)을 만든 후, 입력 영상에 대한 모션 맵을 생성하여 상기 A 맵과 비교하여 대응되는 좌표의 성분값이 더 높은 영역을 취하여 새로운 맵 B를 생성하며, 입력 영상에 대한 얼굴 맵 C를 생성하여 상기 B맵과 비교하여 대응 좌표값이 높은 영역을 취하여 최종 맵을 생성하는 방법으로, 최종 맵에는 중요 얼굴 영역들이 포함되게 된다.In addition, the second method generates a brightness map and a color map for the input image, creates a new map (A) by taking an area with higher component values of the corresponding coordinates among the brightness map and the color map, and then creates a motion map for the input image. To generate a new map B by taking an area with a higher component value of the corresponding coordinates in comparison with the A map, and generate a face map C for an input image and compare the B map with an area having a corresponding coordinate value. In this method, the final map includes important face regions.
그런데 상기한 첫번째 방법은 피부 맵, 색상 맵, 모션 맵, 습관 맵 등과 같은 모든 특징 맵을 사용하므로 정확한 성능을 보여줄 수는 있지만 많은 계산량으로 인해 중요 얼굴 검출 시간이 오래걸리는 문제점이 있다. 또한, 첫번째 방법은 각 맵들을 하나의 맵으로 선형 조합할 때 각 맵마다 가중치를 적용하므로 각 맵들의 가중치마다 성능이 크게 좌우될 수 있는 문제점이 있다.However, since the first method uses all the feature maps such as the skin map, the color map, the motion map, and the habit map, it can show accurate performance, but there is a problem that it takes a long time to detect important faces due to a large amount of computation. In addition, since the first method applies a weight to each map when linearly combining the maps into one map, the performance may greatly depend on the weight of each map.
그리고 두번째 방법은 각 단계마다 특징 맵을 만들고 최종 얼굴맵과 일치할 경우 중요 얼굴 영역으로 간주하여 중요 얼굴을 검출하긴 하지만 한 영상에 여러 얼굴이 존재할 경우 이들 중 가장 중요한 얼굴이 어떤 얼굴인지 구분할 수 없는 문제점이 있다.The second method detects important faces by creating feature maps at each stage and matching them to the final face map. However, if there are multiple faces in an image, it is impossible to distinguish which face is the most important of them. There is a problem.
따라서 본 발명의 목적은 적은 계산량으로 짧은 시간동안 중요 얼굴을 검출하여 추적하는 중요 얼굴 추적 장치 및 방법을 제공하는 데 있다.Accordingly, an object of the present invention is to provide an important face tracking apparatus and method for detecting and tracking an important face for a short time with a small amount of calculation.
또한 본 발명의 목적은 입력된 영상에 여러 얼굴이 존재할 경우 이들 중 어 떠한 얼굴이 중요한 얼굴인지 구분하여 중요 얼굴만 추적하는 중요 얼굴 추적 장치 및 방법을 제공하는 데 있다.It is also an object of the present invention to provide an important face tracking device and method that tracks only important faces by distinguishing which one among them is an important face when there are multiple faces in the input image.
상기의 목적을 달성하기 위한 본 발명은 무인 감시 로봇에서 중요 얼굴 추적 장치에 있어서, 소정 영상을 촬영하는 카메라와, 상기 촬영된 영상에 대한 색상 대비 맵과 모션 맵을 생성하고, 상기 색상 대비 맵과 모션 맵을 결합하여 중요 대비 맵을 생성하는 맵 생성부와, 상기 촬영된 영상 중 얼굴 영상과 유사한 얼굴 후보 영역을 검출하는 얼굴 후보 영역 검출부와, 상기 중요 대비 맵과 상기 얼굴 후보 영역을 결합하여 중요 얼굴 영역들을 검출하고, 상기 검출된 중요 얼굴 영역들 중 하나의 최종 중요 얼굴을 결정하는 중요 얼굴 검출부와, 상기 카메라를 제어하여 상기 결정된 최종 중요 얼굴을 추적하는 중요 얼굴 추적부를 포함한다.In order to achieve the above object, the present invention provides an apparatus for tracking an important face in an unmanned surveillance robot, comprising: a camera for photographing a predetermined image, a color contrast map and a motion map for the photographed image, and a color contrast map; A map generator for generating a significant contrast map by combining a motion map, a face candidate region detector for detecting a face candidate region similar to a face image among the photographed images, and a combination of the important contrast map and the face candidate region And an important face detection unit configured to detect face regions and determine a final important face of one of the detected important face regions, and an important face tracker configured to control the camera to track the determined final important face.
또한 본 발명은 무인 감시 로봇에서 중요 얼굴 추적 방법에 있어서, 카메라에 의해 촬영된 영상을 입력받는 과정과, 상기 입력된 영상에 대한 색상 대비 맵과 모션 맵을 생성하고, 상기 색상 대비 맵과 모션 맵을 결합하여 중요 대비 맵을 생성하는 과정과, 상기 입력된 영상에서 얼굴 영상과 유사한 얼굴 후보 영역을 검출하는 과정과, 상기 중요 대비 맵과 상기 얼굴 후보 영역을 결합하여 중요 얼굴 영역들을 검출하는 과정과, 상기 검출된 중요 얼굴 영역들 중 하나의 최종 중요 얼굴을 결정하는 과정과, 상기 카메라를 제어하여 상기 결정된 최종 중요 얼굴을 추적하는 과정을 포함한다.In another aspect, the present invention provides an important face tracking method in an unmanned surveillance robot, the process of receiving an image captured by the camera, generating a color contrast map and a motion map for the input image, the color contrast map and the motion map Generating a key contrast map by detecting a key, detecting a face candidate area similar to a face image from the input image, detecting a key face area by combining the key map with the face candidate area, and And determining a final important face of one of the detected important face areas, and controlling the camera to track the determined final important face.
이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명한다. 도면에서 동일한 구성 요소들에 대해서는 비록 다른 도면에 표시되더라도 가능한 동일한 참조번호 및 부호로 나타내고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어서 관련된 공지기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명은 생략한다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings. Note that the same components in the drawings are represented by the same reference numerals and symbols as much as possible even if shown in different drawings. In addition, in describing the present invention, when it is determined that a detailed description of a related known function or configuration may unnecessarily obscure the subject matter of the present invention, the detailed description thereof will be omitted.
우선 본 발명을 개략적으로 설명하면, 본 발명의 실시 예에 따른 중요 얼굴 추적 장치는 인간의 시각 체계의 특성을 이용하여 중요 인물을 추적한다. 본 발명의 실시 예에 따른 중요 얼굴 추적 장치에서 이용되는 인간 시각 체계의 특성은 다음과 같다.First, the present invention will be described in brief. An important face tracking apparatus according to an exemplary embodiment of the present invention tracks an important person by using characteristics of a human visual system. Characteristics of the human visual system used in the important face tracking apparatus according to the embodiment of the present invention are as follows.
1. 인간은 주변과 두드러지는 색상(대비가 큰 색상)을 가지는 영역에 시선을 집중한다. 예를 들어 파란 하늘에 빨강색 풍선이 있을 경우 사람은 시선을 다른 주변 영역보다 빨간색 풍선에 집중할 확률이 높다.Humans focus their attention on areas that have a distinctive color (high contrast color). For example, if you have a red balloon in a blue sky, you are more likely to focus your attention on the red balloon than on other surrounding areas.
2. 인간은 정지되어 있는 물체보다는 움직이는 물체에 시선을 집중한다. 예를 들어 주차장에 주차되어 있는 자동차들 중 한대의 차량이 움직일 경우 사람은 시선을 정지되어 있는 차보다 움직이는 차에 집중할 확률이 높다.2. Humans focus their eyes on moving objects rather than stationary objects. For example, if one of the cars parked in a parking lot moves, a person is more likely to focus on a moving car than on a stationary car.
3. 사람은 일반 사물보다는 사람의 얼굴에 시선을 집중한다. 예를 들어 물건이 가득 차 있는 공간에 사람이 존재할 경우 사람은 시선을 물건보다는 사람에게 먼저 집중할 확률이 높다.3. People focus their attention on people's faces rather than on ordinary objects. For example, if a person exists in a space full of things, he is more likely to focus his attention on people than on things.
즉, 본 발명의 실시 예에 따른 중요 얼굴 추적 장치는 상기한 바와 같은 세가지 시각적 특징에 따라 입력된 영상에 존재하는 다양한 주변 객체들 중 중요한 객체를 인식하고 그 객체 중 가장 중요한 사람을 검출하여 추적한다.That is, the important face tracking apparatus according to an embodiment of the present invention recognizes an important object among various surrounding objects existing in the input image according to the three visual features as described above, and detects and tracks the most important person among the objects. .
이러한 본 발명의 실시 예에 따른 중요 얼굴 추적 장치의 구성을 상세히 설명하면, 도 1은 본 발명의 실시 예에 따른 중요 얼굴 추적 장치에 대한 블록 구성도이다. 도 1을 참조하면, 본 발명의 실시 예에 따른 중요 얼굴 추적 장치는 카메라(110), 색상 대비 맵 생성부(120), 모션 맵 생성부(130), 얼굴 후보 영역 검출부(140), 중요 대비 맵 생성부(150), 중요 얼굴 검출부(160), 중요 얼굴 추적부(170)를 포함한다.Referring to the configuration of the critical face tracking device according to an embodiment of the present invention in detail, Figure 1 is a block diagram of a critical face tracking device according to an embodiment of the present invention. Referring to FIG. 1, an important face tracking apparatus according to an exemplary embodiment of the present invention may include a
카메라(110)는 은행 또는 상가 건물 등과 같은 건물에 장착되어 해당 장소를 촬영하는 무인 감시 카메라 또는 로봇에 장착되어 로봇의 주변을 촬영하는 카메라 등이 될 수 있으며, 촬영된 영상 신호를 출력한다. The
카메라에 의해 촬영된 영상 신호는 각각 색상 대비 맵 생성부(120), 모션 맵 생성부(130), 얼굴 후보 영역 검출부(140)로 제공된다.The image signals photographed by the camera are provided to the color
색상 대비 맵 생성부(120)는 색상 대비가 큰 영역에 시선을 집중하는 인간의 시각적 특징에 따라 카메라(110)에 의해 입력된 영상 신호를 이용하여 색상 대비 맵을 생성한다. 모션 맵 생성부(130)는 모션이 큰 영역에 시선을 집중하는 인간의 시각적 특징에 따라 카메라(110)에 의해 입력된 영상 신호를 이용하여 모션 맵을 생성한다. 얼굴 후보 영역 검출부(140)는 일반 사물보다는 사람의 얼굴에 시선을 집중하는 인간의 시각적 특징에 따라 카메라(110)에 의해 입력된 영상 신호를 이용하여 얼굴 후보 영역을 검출한다.The color
이러한 색상 대비 맵 생성부(120), 모션 맵 생성부(130), 얼굴 후보 영역 검 출부(140)의 각각에 의해 생성된 맵 및 검출 영상이 도 2에 도시되어 있다.A map and a detection image generated by each of the color
도 2는 본 발명의 실시 예에 따른 입력 영상에 대한 색상 대비 맵/모션 맵/얼굴 후보영역 검출 영상 일예도이다. 도 2의 (a)는 카메라(110)에 의한 입력 영상을 나타낸다. 도 2의 (b)는 색상 대비 맵 생성부(120)에 의해 생성된 색상 대비 맵 영상을 나타낸다. 도 2의 (c)는 모션 맵 생성부(130)에 의해 생성된 모션 맵 영상을 나타낸다. 도 2의 (d)는 얼굴 후보 영역 검출부(140)에 의해 검출된 얼굴 후보 영역 검출 영상을 나타낸다.2 is an example of a color contrast map / motion map / face candidate region detection image of an input image according to an embodiment of the present invention. 2A illustrates an input image by the
색상 대비 맵 생성부(120)는 카메라(110)로부터 도 2의 (a)와 같은 영상이 입력되면 입력된 영상의 컬러 공간을 RGB 형식의 컬러 공간에서 CIE-LAB 형식의 컬러 공간으로 변환한다. 그리고 색상 대비 맵 생성부(120)는 CIE-LAB 컬러 공간으로 변환된 영상에서 밝기 성분 L을 제외한 A성분과 B성분을 이용하여 도 2의 (b)에 도시된 바와 같은 색상 대비 맵을 생성한다. 이때 RGB 형식은 ..CIE-LAB 형식은When the image as shown in FIG. 2A is input from the
모션 맵 생성부(130)는 카메라(110)로부터 도 2의 (a)와 같은 영상이 입력되면 이전 영상 신호 프레임과 현재 영상 프레임을 비교하여 이전 영상 프레임과 현재 영상 프레임 간의 모션 벡터를 산출한다. 그리고 모션 맵 생성부(130)는 모션 벡터의 크기값을 이용하여 도 2의 (c)와 같은 모션 맵을 생성한다.When the image as shown in FIG. 2A is input from the
얼굴 후보 영역 검출부(140)는 입력 영상에서 얼굴 색과 유사한 색상을 가지는 영역을 얼굴 후보 영역으로 검출한다. 이때 얼굴 후보 영역 검출부(140)는 얼굴과 유사한 색상은 처리 속도가 빠르고 얼굴 정면 뿐만 아니라 얼굴의 기울어짐, 얼굴의 좌우 회전등에 덜 민감한 색상 성분을 이용한다. 예컨대 얼굴 후보 영역 검출 부(140)는 카메라(110)로부터 도 2의 (a)와 같은 영상이 입력되면 입력된 영상을 입력된 영상 신호에 대한 RGB 형식의 컬러 공간을 YCbCr 형식의 컬러 공간으로 변환하고, Cb 및 Cr이 미리 정해진 얼굴 색상에 대한 임계값을 만족하는 영역을 얼굴 후보 영역으로 검출한다. 그리고 얼굴 후보 영역 검출부(140)는 검출된 얼굴 후보 영역을 모폴로지 열림 기법 등을 이용하여 보정하여 최종적으로 도 2의 (d)와 같은 얼굴 후보 영역을 검출한다.The face
중요 대비 맵 생성부(150)는 색상 대비 맵 생성부(120)에 의해 생성된 색상 대비 맵과, 모션 맵 생성부(130)에 의해 생성된 모션 맵을 하나의 맵으로 결합하여 중요 대비 맵을 생성한다. The importance
중요 대비 맵 생성부(150)에 의해 생성된 중요 대비 맵에 대한 도면이 도 3에 도시되어 있다. 도 3은 본 발명의 실시 예에 따른 중요 대비 맵 영상 일예도이다. 도 3을 참조하면, 중요 대비 맵 생성부(150)는 도 2의 (b)에 도시된 바와 같은 색상 대비 맵과 도 2의 (c)에 도시된 바와 같은 모션 맵 각각에 가중치를 적용하고, 가중치 적용된 색상 대비 맵과 모션 맵을 선형 조합하여 도 3에 도시된 바와 같은 중요 대비 맵을 생성한다.3 is a diagram of the critical contrast map generated by the critical
중요 얼굴 검출부(160)는 중요 대비 맵 생성부(150)에 의해 생성된 중요 대비 맵과 얼굴 후보 영역 검출부(160)에 의해 검출된 최종 얼굴 후보 영역을 결합하여 중요 얼굴 영역을 검출하고, 중요 얼굴 영역들 중 최종 중요 얼굴을 선택한다. The
중요 얼굴 검출부(160)에 의해 검출된 중요 얼굴 영역 들중 최종 중요 얼굴을 선택하기 위한 화면이 도 4에 도시되어 있다.A screen for selecting a final important face among the important face areas detected by the
도 4는 본 발명의 실시 예에 따른 최종 중요 얼굴 선택화면 일예도이다. 도 4를 참조하면, 중요 얼굴 검출부(160)는 중요 대비 맵에서 미리 정해진 얼굴 후보 영역 임계값 이상인 영역에 대해서 최종 얼굴 후보 영역과 결합하여 중요 얼굴 영역들을 검출한다. 그리고 도 4에 도시된 바와 같이 검출된 중요 얼굴 영역들의 영역에 1, 2, 3과 같이 번호를 부여한다. 그리고 중요 얼굴 검출부(160)는 중요 얼굴 영역들 1,2, 3 중 미리 정해진 얼굴 조건을 만족하는 중요 얼굴 영역을 최종 얼굴 영역으로 판단한 후, 최종 얼굴 영역 중 중요 대비 맵값이 가장 큰 영역을 최종 중요 얼굴로 검출한다. 도 4에서는 1번 영역이 최종 중요 얼굴로 검출된 경우를 도시하고 있다.4 is an example of a final important face selection screen according to an embodiment of the present invention. Referring to FIG. 4, the important
중요 얼굴 추적부(170)는 상기 중요 얼굴 검출부(160)에 의해 검출된 최종 중요 얼굴에 대한 중심점과의 거리 측정을 통해 카메라(110)가 이동해야 할 이동거리를 측정하고, 그 이동 거리에 따라 카메라(110)가 이동하도록 제어하여 최종 중요 얼굴을 추적한다.The important
따라서 본 발명의 실시 예에 따른 중요 얼굴 추적 장치는 입력 영상 내의 여러 객체 중 가장 중요한 하나의 중요 얼굴을 검출하여 추적하므로, 로봇이나 무인감시 시스템에서 침입자 등과 같은 특정 사람을 검출 및 추적할 수 있다. Therefore, the critical face tracking apparatus according to an embodiment of the present invention detects and tracks the most important one of the various objects in the input image, and thus can detect and track a specific person such as an intruder in a robot or an unmanned surveillance system.
이하 전술한 바와 같이 구성된 중요 얼굴 추적 장치에서 중요 얼굴 추적 방법을 좀더 상세히 설명한다. 도 5는 본 발명의 실시 예에 따른 얼굴 추적 장치의 동작 흐름도이다. Hereinafter, an important face tracking method in the important face tracking device configured as described above will be described in more detail. 5 is an operation flowchart of a face tracking apparatus according to an exemplary embodiment of the present invention.
도 5를 참조하면, 도 5의 202단계에서 중요 얼굴 추적 장치는 카메라(110)를 통해 영상을 촬영하고, 촬영한 영상이 색상 대비 맵 생성부(120), 모션 맵 생성부(130), 얼굴 후보 영역 검출부(140)로 입력되도록 한다.Referring to FIG. 5, in
그리고 도 5의 210단계에서 중요 얼굴 추적 장치는 색상 대비 맵 생성부(120)를 통해 색상 대비 맵을 생성한다. 이러한 도 5의 210단계의 색상 대비 맵 생성 과정이 도 6에 상세히 도시되어 있다.In
도 6은 본 발명의 실시 예에 따른 색상 대비 맵 생성 과정에 대한 흐름도이다. 도 6을 참조하면, 중요 얼굴 추적 장치는 212단계에서 입력 영상의 컬러 공간을 RGB 형식의 컬러 공간에서 CIE-LAB 형식의 컬러 공간으로 변환한다. 이때 CIE-LAB 컬러 공간으로 변환된 영상은 밝기 성분 L과 푸른 색상 성분인 A성분과 붉은 색상 성분인 B성분으로 구성된다. 즉, CIE-LAB 컬러 공간에서 A성분과 B성분은 밝기 성분이 제외된 순수한 색상 성분이므로 CIE-LAB 컬러 공간을 이용하면 색상 대비 맵을 생성할 수 있다. 6 is a flowchart illustrating a process of generating a color contrast map according to an embodiment of the present invention. Referring to FIG. 6, in
상기한 바와 같이 입력 영상의 컬러 공간을 CIE-LAB 컬러 공간으로 변환한 후, 중요 얼굴 추적 장치는 213단계에서 CIE-LAB 컬러 공간으로 변환된 영상 중 A색상에 대한 영상을 1/4크기로 다운 샘플링한다. 이는 A색상에 대한 영상 처리량을 축소하여 색상 대비 맵 생성 시간을 단축시키기 위함이다.After converting the color space of the input image into the CIE-LAB color space as described above, the critical face tracking device downsizes the image of the A color to 1/4 size among the images converted to the CIE-LAB color space in
상기한 바와 같이 A 색상에 대한 영상을 다운 샘플링 한 후, 중요 얼굴 추적장치는 214단계에서 A색상에 대한 색상 대비 맵을 생성한다. 즉, 중요 얼굴 추적 장치는 1/4로 축소한 A 색상에 대한 영상에서 한 화소를 중심으로 N×N(예컨대 6×6, 7×7, 8×8 등) 크기의 필터들을 적용하여 A 색상에 대한 색상 대비 맵을 생성 한다. As described above, after downsampling an image for color A, the critical face tracking apparatus generates a color contrast map for color A in
이러한 색상 대비맵 생성을 위한 식은 하기 수학식 1과 같다.The equation for generating the color contrast map is shown in Equation 1 below.
여기서, N×N은 필터의 크기, c는 필터의 중심점, bi는 필터에 포함된 화소들, nc는 새로운 중심값이다.Here, N × N is the size of the filter, c is the center point of the filter, b i is the pixels included in the filter, and nc is the new center value.
상기 수학식 1을 참조하면, 중요 얼굴 추적 장치는 중심점 c를 중심으로 N×N 크기의 필터에 포함된 화소들(bi)과 차이를 구하고 그 차이의 합을 전체 화소의 합으로 나눈 값을 새로운 중심값 nc로 설정하는 과정을 각 화소마다 처리하여 A 색상에 대한 색상 대비맵을 생성한다.Referring to Equation 1, the important face tracking apparatus obtains a difference from pixels b i included in an N × N size filter based on a center point c, and divides the sum of the differences by the sum of all pixels. The process of setting the new center value nc is processed for each pixel to generate a color contrast map for A color.
이때 중요 얼굴 추적 장치는 여러 개의 다른 크기의 필터를 적용하여 A 색상에 대한 색상 대비맵을 다수개 생성할 수 있다. 본 발명의 실시 예에서는 6×6, 7×7, 8×8 과 같은 3개의 필터를 적용하여 A 색상에 대한 색상 대비맵을 3개 생성한다.In this case, the important face tracking apparatus may generate a plurality of color contrast maps for the A color by applying a filter of different sizes. In an embodiment of the present invention, three color contrast maps for color A are generated by applying three filters such as 6 × 6, 7 × 7, and 8 × 8.
상기한 바와 같이 여러 개의 다른 크기의 필터들을 적용하는 경우 중요 얼굴 추적 장치는 여러 개 생성된 A의 색상 대비맵을 합하여 A 색상에 대한 색상 대비 맵 Ai를 생성한다.As described above, when applying filters of different sizes, the important face tracking apparatus generates a color contrast map A i for the color A by combining the color contrast maps of several generated A.
또한 중요 얼굴 추적 장치는 215단계에서 CIE-LAB 컬러 공간으로 변환된 영 상 중 B 색상에 대한 영상을 1/4크기로 다운 샘플링한다. In addition, the critical face tracking device down-samples the B color image to 1/4 size of the image converted into the CIE-LAB color space in
그리고 나서 중요 얼굴 추적 장치는 216단계에서 상기 다운 샘플링된 B 색상 영상에 대한 색상 대비 맵을 생성한다. 본 발명이 실시 예에 따르면 B 색상에 대한 색상 대비 맵은 상기 A 색상에 대한 색상 대비맵 생성 방법과 유사하므로 간략히 설명한다. 즉, 중요 얼굴 추적 장치는 다운 샘플링된 B 색상에 대한 영상에 한 화소를 중심으로 N×N(예컨대 6×6, 7×7, 8×8 등) 크기의 필터들을 적용하여 B 색상에 대한 색상 대비 맵을 생성한다. 이때 중요 얼굴 추적 장치는 여러 개의 다른 크기의 필터를 적용하여 B 색상에 대한 색상 대비맵을 다수개 생성할 수 있다. 상기한 바와 같이 여러 개의 다른 크기의 필터들을 적용하는 경우 중요 얼굴 추적 장치는 여러 개 생성된 B의 색상 대비맵을 합하여 B 색상에 대한 색상 대비 맵 Bi를 생성한다.The critical face tracking device then generates a color contrast map for the downsampled B color image in
상기한 바와 같이 A 및 B 색상에 대한 색상 대비 맵을 생성한 후, 중요 얼굴 추적 장치는 217단계에서 A 및 B 색상에 대한 색상 대비 맵을 조합한다.After generating the color contrast maps for the A and B colors as described above, the critical face tracking device combines the color contrast maps for the A and B colors in
A 및 B 색상에 대한 색상 대비 맵을 조합하기 위한 식은 하기 수학식 2와 같다.The formula for combining the color contrast map for the A and B colors is shown in Equation 2 below.
여기서, Ai는 A 색상에 대한 색상 대비맵이다. Bi는 B 색상에 대한 색상 대 비맵이다. Cmap은 A 및 B 색상에 대한 색상 대비맵을 조합한 맵이다. 중요 얼굴 추적 장치는 상기 수학식 2와 같이 A 및 B 색상에 대한 색상 대비맵을 조합한 맵을 구한 후, 217단계에서 조합된 맵을 4배하여 원래 크기로 업 샘플링(up sampling)하여 최종 색상 대비맵(C map)을 생성한다.Here, A i is a color contrast map for A color. B i is the color to nonmap for the B color. C map is a combination of color contrast maps for A and B colors. The important face tracking device obtains a map combining color contrast maps for A and B colors as shown in Equation 2, and then, in
또한, 상기 도 5의 220단계에서 중요 얼굴 추적 장치는 모션 맵 생성부(130)를 통해 모션 맵을 생성한다. 중요 얼굴 추적 장치는 모션 맵을 생성하기 위해 이전 영상 프레임과 현재 영상 프레임을 이용한다. 이러한 도 5의 220단계의 모션 맵 생성 과정이 도 7에 상세히 도시되어 있다.Also, in
도 7은 본 발명의 실시 예에 따른 모션 맵 생성 과정에 대한 흐름도이다. 도 7을 참조하면, 중요 얼굴 추적 장치는 입력되는 영상으로부터 이전 영상 프레임과 현재 영상 프레임을 획득하고, 222단계에서 이전 영상 프레임과 현재 영상 프레임의 노이즈를 제거한다. 이때 노이즈 제거를 위해 가우시안(Gaussian)필터가 이용될 수 있다.7 is a flowchart illustrating a motion map generation process according to an embodiment of the present invention. Referring to FIG. 7, the important face tracking apparatus obtains a previous image frame and a current image frame from an input image, and removes noise of the previous image frame and the current image frame in
상기한 바와 같이 노이즈 제거 후, 중요 얼굴 추적 장치는 223단계에서 이전 영상 프레임과 현재 영상 프레임을 1/4 크기로 다운 샘플링한다. 이는 역시 연산 속도를 빠르게 하기 위함이다.As described above, after removing noise, the important face tracking apparatus down-samples the previous image frame and the current image frame to 1/4 size in
그리고 중요 얼굴 추적 장치는 224단계에서 상기 다운 샘플링된 이전 영상 프레임과 현재 영상 프레임간의 모션 벡터를 산출한다. 이때 이전 영상 프레임과 현재 영상 프레임간의 모션은 옵티컬 플로우(optical flow) 방식이나, 모션 벡터 방식을 이용하여 측정될 수 있다. 옵티컬 플로우 방식의 경우 비교적 정확한 모션을 측정할 수 있지만 빛의 변화나 노이즈에 민감한 특징이 있다. 모션 벡터 방식의 경우 및의 변화나 노이즈에 덜 민감하지만 옵티컬 플로우 방식보다 덜 정확한 특징이 있다. In
본 발명에서는 이전 영상 프레임과 현재 영상 프레임간의 모션을 측정함에 있어서 모션의 방향 보다는 크기(amplitude) 정보가 필요하므로 각 모션의 상대적 측정값이 필요하다. 따라서 기존으 모션 벡터 측정 방법을 이용하지 않고, 이를 변형한 모션 앰플리튜드(motion amplitude) 방법을 이용한다. 이를 위해 본 발명에서는 모션 벡터 측정 방법의 하나인 전역탐색법(full search)를 수행하여 모션 벡터를 측정한다. In the present invention, since the amplitude information rather than the direction of the motion is required to measure the motion between the previous video frame and the current video frame, a relative measurement value of each motion is required. Therefore, instead of using a conventional motion vector measurement method, a modified motion amplitude method is used. To this end, the present invention measures the motion vector by performing a full search, which is one of the motion vector measurement methods.
상기한 바와 같이 모션 벡터를 측정하고 나서, 중요 얼굴 추적 장치는 225단계서 모션 크기를 산출한다. 예컨대 중요 얼굴 추적 장티는 전역탐색법에 의해 측정된 모션 측정값의 크기를 전체 모션 크기의 합으로 나누어 각 모션의 크기값이 상대적인 값을 갖도록 한다.After measuring the motion vector as described above, the critical face tracking device calculates the motion magnitude in
본 발명의 실시 예에 따르면 모션 크기 산출식은 하기 수학식 3과 같다.According to an embodiment of the present invention, the motion magnitude calculation equation is shown in Equation 3 below.
여기서, Mx,y는 각 모션 크기값이고, Smotion는 전체 모션의 크기의 합니다. 그 리고 은 상대적인 모션 크기값이다.Where M x, y is the size of each motion and S motion is the size of the entire motion. And Is the relative motion magnitude value.
상기한 바와 같이 상대적인 모션 크기 산출 후, 중요 얼굴 추적 장치는 226단계에서 모션 크기를 정규화한다. 즉, 중요 얼굴 추적 장치는 상대적인 모션 크기의 최대값을 구하고, 그 최대값을 이용하여 상대적인 모션 크기를 0~225 값으로 정규화한다. After calculating the relative motion size as described above, the critical face tracking device normalizes the motion size in
본 발명의 실시 예에 따르면 상대적인 모션 크기를 정규화하는 식은 하기 수학식 4와 같다.According to an embodiment of the present invention, the equation for normalizing the relative motion magnitude is shown in Equation 4 below.
여기서, 는 상대적인 모션 크기값이고, max는 상대적인 모션 크기이 최대값이다. 225는 정규화를 위한 가중치이다. Mmap은 정규화된 모션 크기값이다.here, Is the relative motion magnitude value and max is the relative motion magnitude value. 225 is a weight for normalization. M map is the normalized motion magnitude value.
수학식 4를 참조하면, 중요 얼굴 추적 장치는 상대적인 모션 크기값을 상대적인 모션 크기의 최대값으로 나누고, 그 최대값에 정규화 가중치를 곱하여 정규화된 모션 크기값을 산출한다.Referring to Equation 4, the important face tracking apparatus divides the relative motion magnitude value by the maximum value of the relative motion magnitude, and multiplies the maximum value by the normalization weight to calculate a normalized motion magnitude value.
그리고 중요 얼굴 추적 장치는 227단계에서 정규화된 모션 크기값(Mmap)을 업 샘플링하여 모션 맵(M xap)을 생성한다.In
또한, 상기 도 5의 230단계에서 중요 얼굴 추적 장치는 얼굴 후보 영역 검출 부(140)를 통해 얼굴 후보 영역을 검출한다. 이러한 도 5의 230단계의 얼굴 후보 영역 검출 과정이 도 8에 상세히 도시되어 있다. In
도 8은 본 발명의 실시 예에 따른 얼굴 후보 영역 검출 과정에 대한 흐름도이다. 도 8을 참조하면, 중요 얼굴 추적 장치는 232단계에서 카메라(110)에 의해 입력된 영상을 YCbCr 형식으로 변환한다. 이는 YCbCr 형식이 얼굴 영상 처리 속도가 빠르고 얼굴 정면 뿐만 아니라 기울어짐, 좌우 회선 등에 덜 민감하기 때문이다.8 is a flowchart illustrating a process of detecting a face candidate region according to an embodiment of the present invention. Referring to FIG. 8, in
중요 얼굴 추적 장치는 입력 영상을 YCbCr 형식으로 변환 후, 234단계에서 Cb 및 Cr에 대해 미리 설정된 임계값을 이용하여 얼굴 후보 영역을 검출한다.The important face tracking apparatus detects the face candidate region using the threshold values preset for Cb and Cr in
본 발명의 실시 예에 따르면 얼굴 후보 영역 검출을 위한 식은 하기 수학식 5와 같다.According to an embodiment of the present invention, an equation for detecting a face candidate region is shown in Equation 5 below.
여기서, Cb 의 입계값은 105<Cb<135이고, Cr의 임계값은 140<Cr<165이다. Cf는 상기 Cb 의 입계값 및 Cr의 임계값에 따라 산출된 얼굴 후보 영역이다.Here, the grain boundary of Cb is 105 <Cb <135 and the threshold of Cr is 140 <Cr <165. Cf is a face candidate region calculated according to the threshold of Cb and the threshold of Cr.
상기 수학식 5를 참조하면, Cb 및 Cr 값이 상기 임계값내에 존재하는 경우 Cf는 225가 되고, Cb 및 Cr 값이 상기 임계값내에 존재하지 않는 경우 Cf는 0이 된 다. Cf가 225인 경우 그 영역은 얼굴 후보 영역으로 검출하고, Cf가 0인 경우 그 영역은 얼굴 후보 영역으로 검출하지 않는다.Referring to Equation 5, Cf is 225 when the Cb and Cr values are within the threshold, and Cf is 0 when the Cb and Cr values are not within the threshold. If Cf is 225, the area is detected as a face candidate area. If Cf is 0, the area is not detected as a face candidate area.
상기한 바와 같이 미리 정해진 임계값을 만족하는 얼굴 후보 영역을 검출한 후, 중요 얼굴 추적 장치는 236단계에서 상기 검출된 얼굴 후보 영역 중 잘못 검출된 얼굴 후보 영역을 제거하고, 검출된 얼굴 후보 영역을 보정하여 최종 얼굴 후보 영역을 결정한다. 예컨대 중요 얼굴 추적 장치는 상기 검출된 얼굴 후보 영역 중 노이즈로 인해 잘못 검출된 얼굴 후보 영역을 제거하고 모폴로지 열림(morphology opening)을 실시하여 얼굴 영역 안에 포함된 구멍 등을 메운다. 모폴로지 열림은 얼굴 이진 영상에 대해 침식(Erosin) 연산과 팽창(Dilation) 연산을 번갈아 실시하는 방식으로 수행될 수 있다.After detecting the face candidate area that satisfies the predetermined threshold value as described above, the critical face tracking apparatus removes the wrongly detected face candidate area among the detected face candidate areas in
한편, 도 5의 240단계에서 중요 얼굴 추적 장치는 상기 생성된 색상 대비맵과 모션 맵을 이용하여 중요 대비 맵을 생성한다. 즉, 중요 얼굴 추적 장치는 상기 생성된 색상 대비맵과 모션 맵 각각에 가중치를 적용하고, 각각 가중치 적용된 맵을 선형 조합하여 중요 대비 맵을 생성한다. Meanwhile, in
본 발명의 실시 예에 따르면 중요 대비맵 생성을 위한 식은 하기 수학식 6과 같다. According to an embodiment of the present invention, the equation for generating the important contrast map is shown in Equation 6 below.
여기서, a는 가중치 파라메터이고, C map은 색상 대비맵이고, M map은 모션 대비 맵이다. S map은 중요 대비맵이다.Here, a is a weight parameter, C map is a color contrast map, and M map is a motion contrast map. S map is an important contrast map.
수학식 6을 참조하면, 본 발명의 실시 예에서는 모션 대비와 색상 대비를 적절하게 유지하기 위해 a의 기본값을 0.5로 설정한다. a는 모션 대비와 색상 대비 중 원하는 대비를 부각시기키 위해 적절히 조절될 수 있다. a>0.5인 경우 모션 대비 보다 색상 대비가 강조되므로 움직임이 작더라도 두드러진 색상을 띈다면 색상 영역이 중요 대비 맵에서 큰 수치를 가지게 된다. 또한 a<0.5인 경우 색상 대비 보다 모션 대비가 강조되므로 모션이 두드러지게 크다면 모션 영역이 중요 대비맵에서 큰 수치를 가지게 된다.Referring to Equation 6, in the embodiment of the present invention, the default value of a is set to 0.5 to properly maintain the motion contrast and the color contrast. a can be adjusted appropriately to highlight the desired contrast between motion contrast and color contrast. In the case of a> 0.5, the color contrast is emphasized more than the motion contrast, so that even if the movement is small, the color gamut will have a large number in the important contrast map if the color is outstanding. In addition, if a <0.5, the motion contrast is emphasized rather than the color contrast, so if the motion is significantly larger, the motion area will have a large number on the important contrast map.
상기한 바와 같이 중요 대비맵을 생성한 후, 도 5의 242단계에서 중요 얼굴 추적 장치는 상기 생성된 중요 대비맵과 얼굴 후보 영역을 결합하여 중요 얼굴 영역군을 설정한다. After generating the important contrast map as described above, in
본 발명의 실시 예에 따르면 중요 얼굴 영역군 설정을 위한 식은 하기 수학식 7과 같다.According to an embodiment of the present invention, the equation for setting the important face area group is shown in Equation 7 below.
여기서, T는 미리 정해진 중요 대비맵의 크기 임계값이고, Cf는 얼굴 후보 영역이고, S map은 중요 대비맵이다. 그리고 Sf 중요 얼굴 영역군이다. Here, T is a predetermined threshold value of the critical contrast map, Cf is a face candidate area, and S map is an important contrast map. And Sf is an important facial area group.
상기 수학식 7을 참조하면, 중요 얼굴 추적 장치는 이때 중요 얼굴 추적 장 치는 중요 대비맵(S map)의 크기가 일정 임계값(T)이상인 영역에 대해서만 얼굴 후보 영역(Cf)과의 결합을 시도하고, 그렇지 않을 경우에는 제거하여 전체 후보 얼굴 영역들 중 중요한 중요 얼굴 영역(Sf )들만을 검출되도록 한다.Referring to Equation 7, the important face tracking device attempts to combine the face candidate area Cf only with respect to the area where the size of the important contrast map S map is greater than or equal to a predetermined threshold T. Otherwise, it is removed so that only important face areas Sf among the entire candidate face areas are detected.
그리고 얼굴 추적 장치는 244단계에서 상기한 바와 같이 중요 얼굴 영역(Sf )군에 포함된 각 중요 열굴 영역(Sf )들이 각 중요 얼굴 영역(Sf )들이 얼굴 조건을 만족하는지 판단한다. 이는 중요 얼굴 영역(Sf )군에 포함된 각 중요 얼굴 영역(Sf )들이 실제 얼굴 영역인지 여부를 판단하고, 실제 얼굴로 판단된 영역들 중 가장 중요한 얼굴 영역을 결정하기 위함이다.And face tracking apparatus determines in
본 발명의 실시 예에 따르면 얼굴 추적 장치는 우선 중요 얼굴 영역(Sf )군에 포함된 중요 얼굴 영역(Sf )들 각각에 라벨링(labeling)을 하고 즉, 번호를 부여하고, 번호가 부여된 각 영역들이 하기와 같은 조건을 만족할 경우 실제 얼굴 영역으로 판단한다.According to an embodiment of the invention the face tracking device is first important face region (Sf) the group the important face region (Sf) to each area of the label (labeling) each and that is, given a number, and the number is assigned contains the If they meet the following conditions, it is determined as the real face area.
예컨대 실제 얼굴 영역인지 여부 판단 조건은, For example, whether the condition is a real face area is
1. 얼굴 영역의 크기가 영상의 크기에 비례하여 0.2%이상인지 여부,1. Whether the size of the face area is 0.2% or more in proportion to the size of the image,
2. 얼굴 영역의 장축(세로)과 단축(가로)의 비가 1 이상 2.2 이하인지 여부, 2. The ratio of the long axis (length) and short axis (width) of the facial area is 1 or more and 2.2 or less,
3. 얼굴 영역에서 수평(X)방향과 수직(Y)방향에 대한 소벨 에지(Sobel Edge) 각각의 합의 비(X/Y)가 0.9이상인지의 여부 등이 될 수 있다.3. In the face region, the sum of the sums (X / Y) of the Sobel Edges with respect to the horizontal (X) direction and the vertical (Y) direction may be 0.9 or more.
상기 조건들 중 조건 1은 작은 얼굴 영역들을 무시하기 위한 조건이다. 얼굴 추적 장치는 각 중요 얼굴 영역(Sf )들이 조건 1을 만족하는지 판단하기 위해 각 중요 얼굴 영역(Sf )들의 화소값을 전체 영상의 화소 값으로 나누어 결과값이 0.2%이상인지 판단한다.Condition 1 of the above conditions is a condition for ignoring small face areas. Face tracking apparatus determines whether each of the important face region (Sf) are divided into a pixel value the result of the entire image, a pixel value of each of the important face region (Sf) to determine whether they meet the first condition at least 0.2%.
또한, 조건 2는 각 중요 얼굴 영역(Sf )들이 일반적인 사람 얼굴의 가로 세로 길이 비(ratio)를 만족하는지를 판단하기 위한 조건이다. 얼굴 추적 장치는 각 중요 얼굴 영역(Sf )들이 조건 2를 만족하는지 판단하기 위해 각 각 중요 얼굴 영역(Sf )들의 가로 세로 길이를 측정하고 세로 길이를 가로 길이로 나누어 결과값이 1 이상 2.2이하인지 판단한다.In addition, condition 2 is a condition for determining whether each of the important face areas Sf satisfy the aspect ratio of the general human face. Face tracking device that each significant face area (Sf) are more than the result by dividing the height and measuring the horizontal and vertical lengths of each important face region (Sf) to determine whether they satisfy the condition 2 to the width of value 1 2.2 or less To judge.
또한, 조건 3은 각 중요 얼굴 영역(Sf )들이 통상적인 얼굴과 같이 X방향 에지가 Y방향 에지보다 두드러진 특징을 가지는 지를 판단하기 위한 조건이다. 얼굴 추적 장치는 각 중요 얼굴 영역(Sf )들의 X방향 에지가 Y방향 에지보다 0.9이상 두드러지는지 여부를 판단한다.In addition, condition 3 is a condition for determining whether each of the important face areas Sf has a characteristic that the X-direction edge is more prominent than the Y-direction edge like a normal face. The face tracking apparatus determines whether the X-direction edge of each of the important face regions Sf is more than 0.9 than the Y-direction edge.
상기한 바와 같은 3가지 조건을 사용할 경우 본 발명의 실시 예에 따른 중요 얼굴 추적 장치는 기존의 방법처럼 형판(template)를 이용하거나 학습된 데이터와 매칭하는 과정을 거치지 않으므로 적은 처리 시간과 적은 메모리 용량으로 중요 얼굴을 결정할 수 있게 된다.In the case of using the above three conditions, the important face tracking apparatus according to the embodiment of the present invention does not go through the process of using a template or matching the learned data as in the conventional method, so that the processing time and the memory capacity are small. You will be able to determine your important face.
중요 얼굴 영역(Sf )이 상기한 바와 같은 3가지 조건을 모두 만족하지 않을 경우 중요 얼굴 추적 장치는 246단계에서 그 중요 얼굴 영역(Sf )을 상기 중요 얼굴 영역(Sf )군에서 제거한다. Important that the face region (Sf) are three important, if not satisfy the condition face tracking device as described above to remove the important face region (Sf) in
그리고 중요 얼굴 영역(Sf )이 상기한 바와 같은 3가지 조건을 모두 만족할 경우 중요 얼굴 추적 장치는 248단계에서 최종 중요 얼굴 영역을 결정한다. 이때 중요 얼굴 추적 장치는 중요 대비맵(S map)을 이용하여 상기한 바와 같은 3가지 조건을 모두 만족하는 중요 얼굴 영역(Sf )들 중 중요 대비맵(S map)값이 가장 큰 중요 얼굴 영역을 최종 중요 얼굴로 결정한다.If the important face area Sf satisfies all three conditions as described above, the important face tracking apparatus determines the final important face area in
그리고 최종 중요 얼굴이 결정되면 중요 얼굴 추적 장치는 250단계에서 최종 중요 얼굴을 추적하기 위한 카메라 이동거리를 추정한다. 즉, 중요 얼굴 추적 장치는 전체 영상의 가운데 중심점을 기준으로 상기 결정된 최종 중요 얼굴에 대한 영상의 중심점과의 거리를 이용하여 카메라 이동거리를 추정하고, 그에 따른 카메라 이동량을 설정한다. 이때 카메라 이동량은 '추정된 이동거리 × d'와 같이 설정될 수 있다. 이때 d는 카메라 사양에 따른 이동값으로 사용자에 의해 미리 설정될 수 있다. 카메라 이동거리 추정이 완료되면, 중요 얼굴 추적 장치는 252단계에서 상기 설정된 카메라 이동량에 따라 카메라(110)를 제어하여 중요 얼굴을 추적한다.When the final important face is determined, the important face tracking apparatus estimates a camera moving distance for tracking the final important face in
상술한 본 발명의 설명에서는 구체적인 실시 예에 관해 설명하였으나, 여러 가지 변형이 본 발명의 범위에서 벗어나지 않고 실시할 수 있다. 따라서 본 발명의 범위는 설명된 실시 예에 의하여 정할 것이 아니고 특허청구범위와 특허청구범위의 균등한 것에 의해 정해져야 한다. In the above description of the present invention, specific embodiments have been described, but various modifications may be made without departing from the scope of the present invention. Therefore, the scope of the present invention should not be defined by the described embodiments, but should be determined by the equivalent of claims and claims.
상술한 바와 같이 본 발명은 입력 영상에 여러 사람이 존재하여도 특정 한 사람을 중요한 사람으로 인식하여 그 중요한 사람만을 추적할 수 있도록 하는 효과 가 있다.As described above, the present invention has an effect of recognizing a particular person as an important person and tracking only the important person even if several people are present in the input image.
또한 본 발명은 많은 수의 특징 맵을 사용하지 않고 인간의 시각적 특징에 따른 소수의 맵을 사용하여 중요 얼굴을 검출 및 추적함으로써 적은 계산량이 요구되며, 시간이 적게 걸리는 효과가 있다.In addition, the present invention requires a small amount of calculation by using a small number of maps according to the visual characteristics of a human being, without using a large number of feature maps, and thus requires a small amount of computation and takes time.
또한 본 발명은 입력된 영상에 여러 얼굴이 존재할 경우 이들 중 어떠한 얼굴이 중요한 얼굴인지 구분하여 중요 얼굴만 추적하므로, 무인 감시 시스템 또는 로봇 시스템 등에 적용되어 여러 객체들 중 침입자 등과 같은 특정 사람을 쉽게 검출 및 추적할 수 있도록 한다.In addition, in the present invention, if there are multiple faces in the input image, only the important faces are tracked by distinguishing which of these faces are important faces, and thus, it is applied to an unmanned surveillance system or a robot system to easily detect a specific person such as an intruder among various objects. And to be traceable.
예컨대 현재 감시 시스템에서는 입력 영상에 움직임이 감지되면 움직이는 객체를 침입자로 간주하지만, 본 발명에서는 움직임이 감지될 경우 움직이는 객체들 중 사람의 얼굴을 찾고 사람의 얼굴이 있는지 여부에 따라 침입자를 판단하므로 침입자 판단을 더욱 정확하게 할 수 있는 효과가 있다.For example, in the current surveillance system, when a motion is detected in the input image, the moving object is regarded as an intruder. However, in the present invention, when the motion is detected, the intruder is determined by looking for the face of the moving object and determining the intruder according to whether there is a face of the person. It is effective to make judgment more accurately.
Claims (49)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020050043724A KR101146417B1 (en) | 2005-05-24 | 2005-05-24 | Apparatus and method for tracking salient human face in robot surveillance |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020050043724A KR101146417B1 (en) | 2005-05-24 | 2005-05-24 | Apparatus and method for tracking salient human face in robot surveillance |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20060121503A true KR20060121503A (en) | 2006-11-29 |
KR101146417B1 KR101146417B1 (en) | 2012-05-17 |
Family
ID=37707234
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020050043724A KR101146417B1 (en) | 2005-05-24 | 2005-05-24 | Apparatus and method for tracking salient human face in robot surveillance |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101146417B1 (en) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100883519B1 (en) * | 2007-08-27 | 2009-02-13 | 한국전자통신연구원 | Method and system for analyzing face recognition failure by using image analysis |
US8379984B2 (en) | 2007-10-12 | 2013-02-19 | Samsung Electronics Co., Ltd. | Method of controlling digital image processing apparatus for face detection, and digital image processing apparatus employing the method |
KR20160086623A (en) | 2015-01-12 | 2016-07-20 | 부산대학교 산학협력단 | Surveillance Robot System for abnormal behavior detection |
KR20160131848A (en) * | 2015-05-08 | 2016-11-16 | 삼성전자주식회사 | Recognition apparatus and method |
KR20190076188A (en) * | 2017-12-22 | 2019-07-02 | 에이스웨이브텍(주) | Fusion dual IR camera and image fusion algorithm using LWIR and SWIR |
KR102161686B1 (en) * | 2020-01-03 | 2020-10-05 | 주식회사 케이스랩 | Object recognition apparatus and method |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6404900B1 (en) | 1998-06-22 | 2002-06-11 | Sharp Laboratories Of America, Inc. | Method for robust human face tracking in presence of multiple persons |
KR100474848B1 (en) * | 2002-07-19 | 2005-03-10 | 삼성전자주식회사 | System and method for detecting and tracking a plurality of faces in real-time by integrating the visual ques |
-
2005
- 2005-05-24 KR KR1020050043724A patent/KR101146417B1/en not_active IP Right Cessation
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100883519B1 (en) * | 2007-08-27 | 2009-02-13 | 한국전자통신연구원 | Method and system for analyzing face recognition failure by using image analysis |
US8379984B2 (en) | 2007-10-12 | 2013-02-19 | Samsung Electronics Co., Ltd. | Method of controlling digital image processing apparatus for face detection, and digital image processing apparatus employing the method |
KR20160086623A (en) | 2015-01-12 | 2016-07-20 | 부산대학교 산학협력단 | Surveillance Robot System for abnormal behavior detection |
KR20160131848A (en) * | 2015-05-08 | 2016-11-16 | 삼성전자주식회사 | Recognition apparatus and method |
KR20190076188A (en) * | 2017-12-22 | 2019-07-02 | 에이스웨이브텍(주) | Fusion dual IR camera and image fusion algorithm using LWIR and SWIR |
KR102161686B1 (en) * | 2020-01-03 | 2020-10-05 | 주식회사 케이스랩 | Object recognition apparatus and method |
Also Published As
Publication number | Publication date |
---|---|
KR101146417B1 (en) | 2012-05-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102364993B1 (en) | Gesture recognition method, apparatus and device | |
EP2959454B1 (en) | Method, system and software module for foreground extraction | |
US7957560B2 (en) | Unusual action detector and abnormal action detecting method | |
EP1426898B1 (en) | Human detection through face detection and motion detection | |
JP4216668B2 (en) | Face detection / tracking system and method for detecting and tracking multiple faces in real time by combining video visual information | |
JP6494253B2 (en) | Object detection apparatus, object detection method, image recognition apparatus, and computer program | |
US8837773B2 (en) | Apparatus which detects moving object from image and method thereof | |
JP6007682B2 (en) | Image processing apparatus, image processing method, and program | |
CN114842397B (en) | Real-time old man falling detection method based on anomaly detection | |
JP5271227B2 (en) | Crowd monitoring device, method and program | |
EP2309454B1 (en) | Apparatus and method for detecting motion | |
CN101383005B (en) | Method for separating passenger target image and background by auxiliary regular veins | |
JP6157165B2 (en) | Gaze detection device and imaging device | |
KR20060018061A (en) | Method and apparatus for tracking human using robot | |
KR101146417B1 (en) | Apparatus and method for tracking salient human face in robot surveillance | |
JP4757598B2 (en) | Face detection method, apparatus, and program | |
US20220366570A1 (en) | Object tracking device and object tracking method | |
JP2019212148A (en) | Information processing device and information processing program | |
US20120189161A1 (en) | Visual attention apparatus and control method based on mind awareness and display apparatus using the visual attention apparatus | |
EP2299388A2 (en) | Apparatus and method for detecting face | |
KR100977259B1 (en) | Method for a human searching and tracking using a multifulscale histogram of oriented gradient | |
JP2004086417A (en) | Method and device for detecting pedestrian on zebra crossing | |
KR101290517B1 (en) | Photographing apparatus for tracking object and method thereof | |
JP5539565B2 (en) | Imaging apparatus and subject tracking method | |
US10140503B2 (en) | Subject tracking apparatus, control method, image processing apparatus, and image pickup apparatus |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20150429 Year of fee payment: 4 |
|
FPAY | Annual fee payment |
Payment date: 20160428 Year of fee payment: 5 |
|
LAPS | Lapse due to unpaid annual fee |