KR20120002723A - Device and method for recognizing person by using 3 dimensional image information - Google Patents

Device and method for recognizing person by using 3 dimensional image information Download PDF

Info

Publication number
KR20120002723A
KR20120002723A KR1020100063379A KR20100063379A KR20120002723A KR 20120002723 A KR20120002723 A KR 20120002723A KR 1020100063379 A KR1020100063379 A KR 1020100063379A KR 20100063379 A KR20100063379 A KR 20100063379A KR 20120002723 A KR20120002723 A KR 20120002723A
Authority
KR
South Korea
Prior art keywords
person
image
information
camera
stereo
Prior art date
Application number
KR1020100063379A
Other languages
Korean (ko)
Inventor
김중구
강전구
유재형
손미향
Original Assignee
(주) 비전에스티
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주) 비전에스티 filed Critical (주) 비전에스티
Priority to KR1020100063379A priority Critical patent/KR20120002723A/en
Priority to PCT/KR2010/004481 priority patent/WO2012002601A1/en
Publication of KR20120002723A publication Critical patent/KR20120002723A/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Abstract

PURPOSE: A method for recognizing a person using 3D image information and a device thereof are provided to use 3D image information and an image about an upper body with high resolution, thereby quickly and accurately recognizing a person without a recognition error. CONSTITUTION: An image input unit(330) receives a photographed image from a photographing unit(320). A stereo matching unit(340) analyzes the image to 3-dimensionally recognize a person. A zoom-in camera(350) photograph a subject by a zoom-in method to obtain an image of high resolution. A user system(360) receives information about the person. The photographing unit includes a first stereo camera(321a) and a second stereo camera(321b). The first stereo camera photographs a left-eye image of the subject. The second stereo camera photographs a right-eye image of the subject.

Description

3차원 영상 정보를 이용하는 사람 인식 방법 및 장치{DEVICE AND METHOD FOR RECOGNIZING PERSON BY USING 3 DIMENSIONAL IMAGE INFORMATION} Person recognition method and apparatus using 3D image information {DEVICE AND METHOD FOR RECOGNIZING PERSON BY USING 3 DIMENSIONAL IMAGE INFORMATION}

본 발명은 3차원 영상 정보를 이용한 사람 인식 방법 및 장치에 관한 것으로, 더욱 상세하게는 양안 스테레오 카메라에서 촬영한 사람의 영상을 이용해 3차원 디스패리티 맵(disparity map)을 생성하고, 3차원 인체모델과 비교 분석을 통해 사람 인식을 구현할 뿐 아니라, 줌 인 카메라로 고해상도의 사람의 얼굴을 포함하는 상반신 영상을 촬영, 전송하는 3차원 영상 정보를 이용 한 사람 인식 방법 및 장치에 관한 것이다. The present invention relates to a method and apparatus for recognizing a person using 3D image information, and more particularly, to generate a 3D disparity map using an image of a person photographed by a binocular stereo camera, and to generate a 3D human body model. The present invention relates to a method and apparatus for recognizing a person using three-dimensional image information that not only realizes human recognition through comparative analysis, but also captures and transmits a torso image including a high resolution human face with a zoom-in camera.

보안용 카메라는 특정한 공간 안에서 사람 및 사물을 감시하며 사건 발생 시 문제 해결을 위한 핵심 영상 정보를 제공하는 기기로서, 특히 특정 공간을 대상으로 감시하는 경우 사람의 이동 변화 및 사람 인식을 하는 수단으로 매우 중요한 역할을 수행해 왔다.Security camera is a device that monitors people and objects in a specific space and provides core video information for troubleshooting when an incident occurs. Especially, when monitoring a specific space, it is a means to change people's movement and recognize people. It has played an important role.

사람의 이동 변화를 추적하는 방법은 배경 영상과 획득 영상의 차이를 이용해서 변화된 부분에서 사람을 찾고, 사람의 이동 방향에 따라서 추적하는 방법으로 현재까지 많이 사용되어 왔다.A method of tracking a change in a person's movement has been widely used to find a person in a changed part using a difference between a background image and an acquired image, and to track a person according to a direction of movement of the person.

사람 인식 방법은 사람의 피부색을 바탕으로 사람을 찾거나 또는 사람의 얼굴 부분을 찾은 후 사람을 인식하는 방법을 사용하고 있다. The method of recognizing a person uses a method of recognizing a person after searching for a person based on a human skin color or finding a face part of a person.

하지만, 종래의 보안용 카메라는 밝은 주간의 환경에 맞춘 2차원 기반의 영상 분석 방법을 사용함으로 인해 아래와 같은 문제점이 있었다. However, the conventional security camera has the following problems due to using a two-dimensional image analysis method adapted to the bright daytime environment.

첫째, 종래의 보안용 카메라는 실제 보안이 매우 중요한 야간의 경우 사람의 피부색을 이용한 사람 인식이 불가능하며, 도둑이 얼굴을 가리고 침입하는 경우는 얼굴 인식을 제대로 수행할 수 없을 뿐 아니라, 주위 배경과 비슷한 형태와 색깔의 위장막을 사용하여 자신을 숨기는 경우 정확하게 사람을 인식할 수 없는 문제점이 있었다.First, the conventional security camera is not possible to recognize a person using the skin color at night when the actual security is very important, and if a thief covers and intrudes the face, it cannot perform the face recognition properly, If you hide yourself using a camouflage film of similar shape and color, there was a problem that you cannot correctly recognize people.

둘째, 종래의 보안용 카메라는 자동차 불빛 등에 의한 밝기의 변화 발생, 날파리 같은 곤충의 움직임, 개나 고양이 등의 출현과 같은 실제 사람의 출현이 아닌 경우에도 움직임 정보는 발생하게 되고, 결과적으로 사람만을 정확히 인식할 수 없는 문제점이 있었다.Second, in the conventional security camera, the motion information is generated even when it is not the appearance of a real person such as a change in brightness caused by a car light, a movement of an insect like a fly, or an appearance of a dog or a cat. There was an unrecognizable problem.

본 발명이 해결하고자 하는 기술적 과제는, 양안 스테레오 카메라에서 촬영한 영상을 이용해 3차원 디스패리티 맵(disparity map)을 생성하고, 3차원 인체모델과 비교 분석을 통해 사람 인식을 구현할 뿐 아니라, 줌 인 카메라로 고해상도의 사람의 상반신 영상을 촬영, 전송하는 3차원 영상 정보를 이용하는 사람 인식 방법 및 장치를 제공하는데 있다. The technical problem to be solved by the present invention is to create a three-dimensional disparity map by using the images taken by the binocular stereo camera, and to realize the human recognition through the comparative analysis with the three-dimensional human model, zoom in A method and apparatus for recognizing a person using three-dimensional image information for capturing and transmitting a high-resolution image of a human torso with a camera is provided.

상기 기술적 과제를 이루기 위한 본 발명에 따른 3차원 영상 정보를 이용하는 사람 인식 방법은, (a) 제1, 제2 스테레오 카메라에 의해 촬영된 영상을 입력 받는 단계(S110); (b) 상기 영상으로부터 디스패리티 맵(disparity map)을 생성하는 단계(S120); (c) 상기 디스패리티 맵(disparity map) 분석을 통해 공간 변화를 감지하는 단계(S130); (d) 3차원 인체 모델링 정보와 비교를 통해 사람 인식하는 단계(S140); (e) 인식된 사람에 대한 3차원 위치 값(x, y, z)을 확인하는 단계(S150); (f) 줌 인(zoom in) 카메라를 통해 상기 인식된 사람의 상반신 영상을 촬영하는 단계(S160) ; 및 (g) 획득된 사람 정보를 사용자 시스템에 전송하는 단계(S170)를 제공한다. According to an aspect of the present invention, there is provided a method of recognizing a person using 3D image information, comprising: (a) receiving an image photographed by a first and second stereo camera (S110); (b) generating a disparity map from the image (S120); (c) detecting a spatial change by analyzing the disparity map (S130); (d) recognizing a person through comparison with 3D human body modeling information (S140); (e) checking the three-dimensional position values (x, y, z) for the recognized person (S150); (f) photographing an upper body image of the recognized person through a zoom in camera (S160); And (g) transmitting the obtained person information to the user system (S170).

또한, 상기 기술적 과제를 이루기 위한 본 발명에 따른 3차원 영상 정보를 이용하는 사람 인식 장치는, 피사체를 촬영하는 촬상부(320); 상기 촬상부(320)에서 촬영된 영상을 입력받는 이미지 입력부(330); 상기 영상을 분석하여 3차원적으로 사람을 인식하는 작업을 수행하는 스테레오 정합 처리부(340); 상기 피사체를 줌인(zoom in) 하여 촬영하여, 고 해상도 영상을 획득하기 위한 줌인(zoom in) 카메라(350); 및 획득한 사람 정보를 전송 받기 위한 사용자 시스템(360)을 제공한다. In addition, the person recognition device using the three-dimensional image information according to the present invention for achieving the above technical problem, the imaging unit 320 for photographing the subject; An image input unit 330 which receives an image photographed by the imaging unit 320; A stereo matching processor 340 which analyzes the image and performs a task of recognizing a person in three dimensions; A zoom in camera 350 for photographing the subject by zooming in to obtain a high resolution image; And a user system 360 for receiving the obtained person information.

본 발명은 3차원 영상 정보 및 줌인 카메라에서 촬영된 고해상도의 사람의 상반신 영상을 사용함으로 종래의 2차원 영상 기반의 사람 인식 과정에서 발생할 수 있는 사람 인식 오류 없이 신속, 정확하게 사람 인식을 할 수 있는 장점이 있다. Advantageous Effects of the Invention The present invention uses the 3D image information and a high resolution image of a human torso captured by a zoom-in camera to quickly and accurately recognize a person without a person recognition error that may occur in a conventional 2D image recognition process. There is this.

도 1은 본 발명의 3차원 영상 정보를 이용 한 사람 인식 방법 및 줌 인 카메라를 이용한 사람의 상반신 영상획득, 전송 과정을 도시한 것이다.
도 2는 본 발명의 제1, 제2 스테레오 카메라에 의해 3차원적으로 거리 인식하는 원리를 설명하기 위해 도시한 것이다.
도 3은 본 발명의 3차원 영상 정보를 이용 한 사람 인식 및 줌 인 카메라를 이용한 상반신 영상획득, 전송을 구현하는 장치를 도시한 것이다.1 illustrates a method of recognizing a person using 3D image information and a process of acquiring and transmitting a torso image of a person using a zoom in camera.
2 is a diagram illustrating a principle of three-dimensional distance recognition by the first and second stereo cameras of the present invention.
FIG. 3 illustrates an apparatus for implementing upper body image acquisition and transmission using a person recognition and a zoom-in camera using 3D image information of the present invention.

이하에서는 본 발명의 구체적인 실시 예를 도면을 참조하여 상세히 설명하도록 한다. Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.

도 1은 본 발명의 3차원 영상 정보를 이용한 사람 인식 방법 및 줌 인 카메라를 이용한 사람의 상반신 영상획득, 전송 과정을 도시한 것이다.1 is a diagram illustrating a method of recognizing a person using 3D image information and a process of acquiring and transmitting an upper body image of a person using a zoom in camera.

도 1을 참조하면, 본 발명의 3차원 영상 정보를 이용 한 사람 인식 방법 및 줌 인 카메라를 이용한 사람의 상반신 영상획득, 전송 과정(100)은, 제1, 제2 스테레오 카메라로 촬영한 영상을 이미지 입력부에 입력하는 단계(S110), 입력받은 영상으로부터 디스패리티 맵(disparity map)을 생성하는 단계(S120), 3차원 영상 분석을 통한 공간 변화 감지하는 단계(S130), 3차원 인체 모델링 정보와 비교를 통해 사람 인식하는 단계(S140), 인식된 사람에 대한 3차원 위치 값(x, y, z)을 확인하는 단계(S150), 줌 인(zoom in) 카메라를 통해 사람의 상반신 영상을 촬영하는 단계(S160) 및 사람 정보를 외부 시스템에 전송하는 단계(S170)를 구비한다. Referring to FIG. 1, a method of recognizing a person using 3D image information of the present invention and obtaining and transmitting an upper body image of a person using a zoom-in camera 100 includes: capturing images captured by first and second stereo cameras; Inputting to the image input unit (S110), generating a disparity map from the input image (S120), detecting a spatial change through 3D image analysis (S130), and 3D human modeling information Recognizing a person through comparison (S140), checking a three-dimensional position value (x, y, z) for the recognized person (S150), and photographing the upper body of the person through a zoom in camera. In step S160 and the step of transmitting the person information to the external system (S170).

이하 도 1 및 도3을 참조하여 상기 S110 ~ S170 단계를 상세히 설명한다. Hereinafter, the steps S110 to S170 will be described in detail with reference to FIGS. 1 and 3.

제1, 제2 스테레오 카메라로 촬영한 영상을 이미지 입력부에 입력하는 단계(S110)는 촬상부(320)의 제1, 제2 스테레오 카메라(321a, 321b)로 사람(310)이 포함된 감시 영역을 촬영하고, 촬영 된 2차원 영상을 이미지 입력부(330)에 입력하는 작업을 수행한다. In operation S110, the first and second stereo cameras 321a and 321b of the image capturing unit 320 may be input to the image input image captured by the first and second stereo cameras. Photographing and inputting the photographed two-dimensional image to the image input unit 330.

제1, 제2 스테레오 카메라(321a, 321b)는 사람의 눈(eye)과 같이 두 대의 카메라를 수평 배치한 양안(two eyes) 스테레오 카메라로, 좌측에 위치한 제1 스테레오 카메라(321a)에 의해 사람이 포함된 감시 영역을 촬영하여 좌안 이미지(left-eye image)를 얻고, 우측에 위치한 제2 스테레오 카메라(321b)에 의해 사람이 포함된 감시 영역을 촬영하여 우안 이미지(right-eye image)를 얻는다. The first and second stereo cameras 321a and 321b are two eyes stereo cameras in which two cameras are horizontally arranged like a human eye. The included surveillance area is photographed to obtain a left-eye image, and the second stereo camera 321b located at the right is photographed to obtain a right-eye image. .

입력받은 영상으로부터 3차원 디스패리티 맵(disparity map)을 생성하는 단계(S120)는 획득된 2장의 영상 즉 좌안 이미지(left-eye image) 및 우안 이미지(right-eye image)를 사용하여 스테레오 정합(stereo matching) 과정을 통해 3차원의 거리 정보를 갖는 디스패리티 맵(disparity map)을 생성하는 작업을 수행한다.The step S120 of generating a 3D disparity map from the input image may include stereo matching using two acquired images, namely, a left-eye image and a right-eye image. A process of generating a disparity map having three-dimensional distance information is performed through a stereo matching process.

스테레오 정합(stereo matching)은 한쪽 카메라의 영상 상의 임의의 패턴을 삼차원 공간상의 같은 지점으로 매핑(mapping) 되는 다른 카메라 영상에서 찾아내는 작업을 의미한다. 즉 스테레오 정합(stereo matching)은 두 장의 사진에서 서로 대응하는 점들(correspondence points)을 찾아 서로 매칭(matching) 시키는 작업을 의미한다. Stereo matching refers to the task of finding an arbitrary pattern on an image of one camera in another camera image mapped to the same point in three-dimensional space. In other words, stereo matching refers to a task of finding matching points in two photographs and matching each other.

디스패리티 맵(disparity map)은 두 장의 사진에서 서로 대응하는 점들을 찾고 대응점 간의 길이를 숫자로 나타낸 지도를 의미하며, 디스패리티 맵(disparity map)의 분석을 통해 3차원적으로 거리 인식할 수 있다.A disparity map is a map that finds points corresponding to each other in two pictures and shows the length between the corresponding points in numbers, and can recognize distances in three dimensions by analyzing the disparity map. .

도 2는 본 발명의 제1, 제2 스테레오 카메라에 의해 3차원적으로 거리 인식하는 원리를 설명하기 위해 도시한 것이다. 2 is a diagram illustrating a principle of three-dimensional distance recognition by the first and second stereo cameras of the present invention.

도 2를 참조하면, 제1, 제2 스테레오 카메라(321a, 321b)는 거리 b를 갖는 베이스 라인(base line)을 통해 서로 배치된다. 제1, 제2 스테레오 카메라(321a, 321b)의 각각의 렌즈(220a, 220b)는 각각의 이미지 평면(230a, 230b) 상에 동일한 초점거리(f)를 갖는다.Referring to FIG. 2, the first and second stereo cameras 321a and 321b are disposed to each other through a base line having a distance b. Each lens 220a, 220b of the first and second stereo cameras 321a, 321b has the same focal length f on each image plane 230a, 230b.

이 경우 피사체(210)가 위치한 지점 P(x,y,z)로부터 제1, 제2 스테레오 카메라(321a, 321b)를 연결하는 베이스 라인(b)까지 거리(r)는 하기 [수학식1]로 표현된다.In this case, the distance r from the point P (x, y, z) where the subject 210 is located to the base line b connecting the first and second stereo cameras 321a and 321b is represented by Equation 1 below. It is expressed as

Figure pat00001
Figure pat00001

여기서, r은 피사체로부터 베이스라인까지 수직거리, b는 제1, 제2 스테레오 카메라(321a, 321b) 사이를 연결하는 베이스 라인(base line) 거리, f는 제1, 제2 스테레오 카메라(321a, 321b) 렌즈(220a, 220b)의 초점 거리이고, d는 디스패리티(disparity) 값을 나타낸다.Here, r is the vertical distance from the subject to the baseline, b is a base line distance connecting the first and second stereo cameras 321a and 321b, and f is the first and second stereo cameras 321a, 321b) focal lengths of the lenses 220a and 220b, and d denotes a disparity value.

d는 피사체(210)로부터 제1 스테레오 카메라(321a)를 통해 제1 이미지 평면(230a)에 투영된 지점으로부터 제1 이미지 평면(230a) 상의 초점 위치까지의 거리(dl)와 피사체(210)로부터 제2 스테레오 카메라(321b)를 통해 제2 이미지 평면(230b)에 투영된 지점으로부터 제2 이미지 평면(230b) 상의 초점 위치까지의 거리(dr) 간의 차이 dl-dr를 의미한다. d is a distance dl from the subject 210 projected onto the first image plane 230a through the first stereo camera 321a to the focal point on the first image plane 230a and from the subject 210. The difference dl-dr between the distance dr from the point projected on the second image plane 230b through the second stereo camera 321b to the focal position on the second image plane 230b.

상기 [수학식1]을 참조하면, 두 영상에서 매칭 되는 위치 dl, dr을 구하면 피사체(210)의 수직 거리(r)를 구할 수 있으며, 디스패리티(disparity) 값 d = dl-dr 는 피사체(210)의 수직 거리(r)와 서로 반비례 관계를 가지므로 디스패리티 맵(disparity map)의 영상은 카메라에서 가까울수록 밝게 표현되고, 멀수록 어둡게 표현됨을 알 수 있다. Referring to Equation 1, when the matching positions dl and dr in two images are obtained, the vertical distance r of the subject 210 may be obtained, and the disparity value d = dl-dr may correspond to the subject ( Since the image is in inverse relationship with the vertical distance r of 210, the image of the disparity map is brighter as it is closer to the camera, and darker as it is farther from the camera.

3차원 영상 분석을 통한 공간 변화 감지하는 단계(S130)는 디스패리티 맵(disparity map)의 3차원 영상 분석을 통해 사람이 있는 위치를 3차원 입체적으로 감지하고, 계산하는 작업을 수행한다. In the detecting of the spatial change through the 3D image analysis (S130), the position of the person is detected in three dimensions and three-dimensionally through the 3D image analysis of the disparity map.

3차원 인체 모델링 정보와 비교를 통해 사람 인식하는 단계(S140)는 미리 저장된 3차원 인체 모델링 정보와 실시간 입력되는 사람의 영상 정보를 비교하여 사람의 유 무를 판단한다. Recognizing a person through comparison with 3D human body modeling information (S140) compares pre-stored 3D human body modeling information with image information of a person input in real time to determine the presence of a person.

3차원 인체 모델링은 디스페리티 맵(disparity map)에서 노이즈를 제거하고, 대응 점 간의 길이를 거리로 환산하여 인체의 간략화 된 3차원 개체 모델을 의미하며, 이를테면 인체를 구성하는 얼굴, 몸통, 팔, 다리의 노멀 벡터(normal vector) 구성 정보를 인체 모델링 정보로 사용할 수 있다. Three-dimensional human modeling refers to a simplified three-dimensional object model of the human body that removes noise from a disparity map and converts the distance between corresponding points into distances, for example, the face, torso, and arms that make up the human body In addition, the normal vector configuration information of the leg may be used as human body modeling information.

즉, 디스페리티 맵(disparity map)으로부터 3차원 물체의 노멀 벡터(normal vector)를 계산하고, 인체를 구성하는 얼굴, 몸통, 팔, 다리의 노멀 벡터(normal vector) 및 구성 정보를 비교하여 인체를 판단할 수 있다. That is, the normal vector of the three-dimensional object is calculated from the disparity map, and the human body is compared by comparing the normal vector and the configuration information of the face, torso, arms, and legs that constitute the human body. Can be determined.

인식된 사람에 대한 3차원 위치 값(x, y, z)을 확인하는 단계(S150)는 상기S140 단계의 수행을 통해 얻은 사람의 3차원 위치 값(x, y, z)을 확인하는 작업을 수행한다.Checking the three-dimensional position values (x, y, z) for the recognized person (S150) is to check the three-dimensional position values (x, y, z) of the person obtained by performing the step S140. To perform.

줌 인(zoom in) 카메라를 통해 사람의 상반신 영상을 촬영하는 단계(S160)는 상기 S150 단계에서 얻은 대한 3차원 위치 값(x, y, z)에 근거하여 줌 인(zoom in) 카메라를 사용하여 해상도가 높은 사람의 얼굴을 포함하는 상반신 영상을 촬영하는 작업을수행한다.The step S160 of capturing an image of the upper body of a person through a zoom in camera is performed using a zoom in camera based on the three-dimensional position values (x, y, z) obtained in step S150. To photograph the torso image including the face of the person with high resolution.

사람 정보를 외부 시스템에 전송하는 단계(S170)는 상기 S150 단계에서 얻은 사람의 위치 정보 및 상기 S160 단계에서 얻은 고 해상도를 갖는 사람의 얼굴을 포함하는 상반신 영상을 사용자 시스템(350)에게 전송하는 작업을 실시한다. In the transmitting of the person information to the external system (S170), the upper body image including the location information of the person obtained in the step S150 and the face of the person having the high resolution obtained in the step S160 is transmitted to the user system 350. Is carried out.

도 3은 본 발명의 3차원 영상 정보를 이용 한 사람 인식 및 줌 인 카메라를 이용한 상반신 영상획득, 전송을 구현하는 장치를 도시한 것이다.FIG. 3 illustrates an apparatus for implementing upper body image acquisition and transmission using a person recognition and a zoom-in camera using 3D image information of the present invention.

도 3을 참조하면, 본 발명의 3차원 영상 정보를 이용 한 사람 인식 및 줌 인 카메라를 이용한 상반신 영상획득, 전송을 구현하는 장치(300)는 감시 영역을 촬영하는 촬상부(320), 이미지 입력부(330), 스테레오 정합 처리부(340), 줌인(zoom in) 카메라(350) 및 사용자 시스템(360)을 구비한다.Referring to FIG. 3, an apparatus for implementing upper body image acquisition and transmission using a 3D image information and a zoom-in camera according to an embodiment of the present invention includes an imaging unit 320 for capturing a surveillance area and an image input unit. 330, a stereo matching processor 340, a zoom in camera 350, and a user system 360.

촬상부(320)는 제1, 제2 스테레오 카메라(321a,321b)를 구비하며, 제1, 제2 스테레오 카메라(321a,321b) 사이의 간격은 측정하고자 하는 영역 넓이와 거리, 렌즈의 초점거리, 카메라의 픽셀(pixel) 해상도 및 픽셀 크기 등에 따라 달라지며, 가로 x 세로 약 10m x 20m 영역을 측정하는 경우는 대략 12~20cm 범위를 가진다. The imaging unit 320 includes first and second stereo cameras 321a and 321b, and the distance between the first and second stereo cameras 321a and 321b is the area width and distance to be measured and the focal length of the lens. It depends on the pixel resolution and pixel size of the camera, and it measures about 12m x 20m in the horizontal x vertical 10m x 20m area.

제1, 제2 스테레오 카메라(321a,321b)는 2개의 CCD(Charge Coupled Device) 카메라 또는 2개의 CMOS(Complementary Metal Oxide Semiconductor) 이미지 센서가 내장된 카메라를 스테레오(stereo)를 사용할 수 있다. 즉 제1, 제2 스테레오 카메라(321a,321b)는 서로 일정한 간격을 두고 사람의 양안(two eyes) 구조와 유사한 방식으로 설치된다. The first and second stereo cameras 321a and 321b may use stereo cameras in which two charge coupled device (CCD) cameras or two built-in complementary metal oxide semiconductor (CMOS) image sensors are used. That is, the first and second stereo cameras 321a and 321b are installed in a manner similar to the structure of two eyes of a person at regular intervals from each other.

이미지 입력부(330)는 제1, 제2 스테레오 카메라(321a,321b)에 의해 촬영된 좌안 이미지(left-eye image) 및 우안 이미지(right-eye image)를 입력 받아 스테레오 정합 처리부(340)에게 전송한다.The image input unit 330 receives a left-eye image and a right-eye image captured by the first and second stereo cameras 321a and 321b and transmits them to the stereo matching processor 340. do.

스테레오 정합 처리부(340)는 스테레오 정합(stereo matching)을 하기 위해 스테레오 정합부(340b) 만으로 구성 될 수 있지만, 보다 정교한 스테레오 정합(stereo matching)의 성능을 향상시키기 위해 스테레오 정합부(340b) 앞뒤에 전처리부(340a)와 후처리부(340c)를 각각 구비 하는 것이 바람직하다.The stereo matching processor 340 may be configured only with the stereo matching unit 340b to perform stereo matching, but before and after the stereo matching unit 340b to improve the performance of more precise stereo matching. It is preferable to have a preprocessor 340a and a post processor 340c, respectively.

전처리부(340a)는 카메라 캘리브레이션(calibration) 및 스테레오 카메라 교정(rectification) 기능 및 좌우 영상의 독립적인 밝기 조절 등의 기능을 통해 카메라의 왜곡(distortion)을 최소함으로써 스테레오 정합의 성능을 향상시킨다. 또한 전처리부(340a)는 좌우 카메라의 물리적인 특성 차이 즉, 한쪽 카메라에게만 센 빛이 입력되는 현상 등으로 인해 발생되는 좌우 영상의 밝기 차이를 보정하기 위한 밝기 보정(brightness control) 기능을 갖도록 구성할 수 있다.The preprocessor 340a improves stereo matching performance by minimizing camera distortion through functions such as camera calibration and stereo camera correction, and independent brightness adjustment of left and right images. Also, the preprocessor 340a may be configured to have a brightness control function for correcting a difference in brightness of left and right images generated due to a difference in physical characteristics of the left and right cameras, that is, a light input to only one camera. Can be.

스테레오 정합부(340b)는 전처리부(340a)에서 처리된 좌우의 영상 입력으로부터 상기 [수학식1]의 공식에 따라 디스패리티(disparity, d)를 계산하여 이를 밝기 정보를 갖는 디스패리티 맵(disparity map)을 생성한다. The stereo matching unit 340b calculates a disparity d from the left and right image inputs processed by the preprocessor 340a according to the formula [Equation 1], and disparity map having brightness information. map)

후처리부(340c)는 스테레오 정합부(340b)에서 형성한 디스패리티 맵(disparity map)에서 노이즈를 제거한다. The post processor 340c removes noise from a disparity map formed by the stereo matcher 340b.

줌 인(zoom in) 카메라(350)는 상기 3차원 인체 모델링 정보와 비교를 통해 인식한 사람의 3차원 위치(x, y, z) 상의 사람의 얼굴을 포함하는 상반신 영상을 줌 인(zoom in)하여 촬영하고, 촬영된 영상은 사용자 시스템(350)에게 전송된다.A zoom in camera 350 zooms in a torso image including a face of a person on a 3D position (x, y, z) of a person recognized through comparison with the 3D human body modeling information. ), And the captured image is transmitted to the user system 350.

사용자 시스템(350)은 스테레오 정합 처리부(340)를 통해 얻은 사람의 얼굴 인식 정보 및 상기 줌 인(zoom in) 카메라(350)에서 촬영된 고 해상도의 사람의 얼굴을 포함하는 상반신 영상을 전송받는다. The user system 350 receives an upper body image including face recognition information of a person obtained through the stereo matching processor 340 and a face of a high resolution person photographed by the zoom in camera 350.

사용자 시스템(350)은 촬영된 사람이 있는 상황실을 원격에서 감시하거나 제어할 수 있는 원격 제어 장치, 이를 테면 PC 등을 사용한다.The user system 350 uses a remote control device, such as a PC, that can remotely monitor or control a situation room where a person is photographed.

이상에서는 본 발명에 대한 기술사상을 첨부 도면과 함께 서술하였지만 이는 본 발명의 바람직한 실시 예를 예시적으로 설명한 것이지 본 발명을 한정하는 것은 아니다. 또한 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 이라면 누구나 본 발명의 기술적 사상의 범주를 이탈하지 않는 범위 내에서 다양한 변형 및 모방이 가능함은 명백한 사실이다. While the present invention has been described in connection with what is presently considered to be the most practical and preferred embodiment, it is to be understood that the invention is not limited to the disclosed embodiments. It will be apparent to those skilled in the art that various modifications and variations can be made in the present invention without departing from the scope of the present invention.

320 : 촬상부
321a, 321b : 제1, 제2 스테레오 카메라
330 : 이미지 입력부
340 : 스테레오 정합 처리부
340a : 전 처리부
340b : 스테레오 정합부
340c : 후 처리부
350 : 줌인(zoom in) 카메라
360 : 사용자 시스템320: imaging unit
321a, 321b: first and second stereo cameras
330: image input unit
340: stereo matching processing unit
340a: preprocessing unit
340b: stereo matching unit
340c: post-processing unit
350: zoom in camera
360: user system

Claims (10)

(a) 제1, 제2 스테레오 카메라에 의해 촬영된 영상을 입력 받는 단계(S110);
(b) 상기 영상으로부터 디스패리티 맵(disparity map)을 생성하는 단계(S120);
(c) 상기 디스패리티 맵(disparity map) 분석을 통해 공간 변화를 감지하는 단계(S130);
(d) 3차원 인체 모델링 정보와 비교를 통해 사람 인식하는 단계(S140);
(e) 인식된 사람에 대한 3차원 위치 값을 확인하는 단계(S150);
(f) 줌 인(zoom in) 카메라를 통해 상기 인식된 사람의 상반신 영상을 촬영하는 단계(S160) ; 및
(g) 획득된 사람 정보를 사용자 시스템에 전송하는 단계(S170)를 포함하는 것을 특징으로 하는 3차원 영상 정보를 이용하는 사람 인식 방법.(a) receiving an image photographed by the first and second stereo cameras (S110);
(b) generating a disparity map from the image (S120);
(c) detecting a spatial change by analyzing the disparity map (S130);
(d) recognizing a person through comparison with 3D human body modeling information (S140);
(e) checking a three-dimensional position value for the recognized person (S150);
(f) photographing an upper body image of the recognized person through a zoom in camera (S160); And
(g) transmitting the obtained person information to the user system (S170). 제 1항에 있어서, 상기 (b)단계의 디스패리티 맵(disparity map)은,
상기 제1, 제2 스테레오 카메라에 의해 각각 촬영된 좌안 이미지 및 우안 이미지를 입력받아 스테레오 정합(stereo matching) 과정을 통해 3차원의 거리 정보를 얻는 것을 특징으로 하는 3차원 영상 정보를 이용하는 사람 인식 방법.The method of claim 1, wherein the disparity map of step (b) is
A method of recognizing a person using three-dimensional image information, wherein the three-dimensional distance information is obtained through stereo matching process by receiving left and right eye images respectively captured by the first and second stereo cameras. . 제 1항에 있어서, 상기 (d)단계의 3차원 인체 모델링은,
3차원 물체상의 디스패리티 맵(disparity map)을 입력받아 노멀벡터 (normal vector)를 구하고, 데이터 베이스에 저장된 사람의 인체에 대한 노멀벡터 (normal vector)와 비교하여 사람을 인식하는 것을 특징으로 하는 3차원 영상 정보를 이용하는 사람 인식 방법.The method of claim 1, wherein the 3D human body modeling of (d),
3, characterized in that to obtain a normal vector by receiving a disparity map on a three-dimensional object, and to recognize a person by comparing it with a normal vector of a human body stored in a database. Person Recognition Method Using 3D Image Information. 제 3항에 있어서, 상기 노멀벡터 (normal vector)는,
사람의 머리, 몸통, 팔 다리에 관한 정보를 포함하는 것을 특징으로 하는 3차원 영상 정보를 이용하는 사람 인식 방법.The method of claim 3, wherein the normal vector (normal vector),
A method of recognizing a person using three-dimensional image information, comprising information about a person's head, torso and limbs. 제 1항에 있어서, 상기 (g) 단계의 획득된 사람 정보는,
상기 (e)단계에서 얻은 사람의 위치 정보 및 상기 (f)단계에서 얻은 사람의 얼굴을 포함하는 상반신 영상을 포함하는 것을 특징으로 하는 3차원 영상 정보를 이용하는 사람 인식 방법.The method of claim 1, wherein the obtained person information of the step (g) is
A method of recognizing a person using three-dimensional image information, characterized in that it comprises the upper body image including the position information of the person obtained in the step (e) and the face of the person obtained in the step (f). 피사체를 촬영하는 촬상부(320);
상기 촬상부(320)에서 촬영된 영상을 입력받는 이미지 입력부(330);
상기 영상을 분석하여 3차원적으로 사람을 인식하는 작업을 수행하는 스테레오 정합 처리부(340);
상기 피사체를 줌인(zoom in) 하여 촬영하여, 고 해상도 영상을 획득하기 위한 줌인(zoom in) 카메라(350); 및
획득한 사람 정보를 전송 받기 위한 사용자 시스템(360)을 구비한 것을 특징으로 하는 3차원 영상 정보를 이용하는 사람 인식 장치.An imaging unit 320 for photographing a subject;
An image input unit 330 which receives an image photographed by the imaging unit 320;
A stereo matching processor 340 which analyzes the image and performs a task of recognizing a person in three dimensions;
A zoom in camera 350 for photographing the subject by zooming in to obtain a high resolution image; And
And a user system (360) for receiving the acquired person information. 제 6항에 있어서, 상기 촬상부(320)는,
상기 피사체를 촬영하여 좌안 이미지(left-eye image)를 얻기 위한 제1 스테레오 카메라(321a) 및 상기 피사체를 촬영하여 우안 이미지(right-eye image)를 얻기 위한 제2 스테레오 카메라(321b)를 구비하는 것을 특징으로 하는 3차원 영상 정보를 이용하는 사람 인식 장치.The method of claim 6, wherein the imaging unit 320,
A first stereo camera 321a for photographing the subject to obtain a left-eye image, and a second stereo camera 321b for photographing the subject to obtain a right-eye image A person recognition device using three-dimensional image information, characterized in that. 제 6항에 있어서, 상기 스테레오 정합 처리부(340)는,
제1, 제2 스테레오 카메라(321a, 321b)의 캘리브레이션(calibration), 교정(rectification)을 수행하는 전처리부(340a);
상기 피사체의 영상에 대해 3차원 거리 정보를 갖는 디스패리티(disparity)를 계산하여 밝기 정보로 나타낸 디스패리티 맵(disparity map)을 생성하는 스테레오 정합부(340b); 및
상기 디스패리티 맵(disparity map)에서 노이즈를 제거하는 작업을 하는 후처리부(340c)를 포함하는 것을 특징으로 하는 3차원 영상 정보를 이용하는 사람 인식 장치. The stereo matching processor 340 of claim 6,
A preprocessing unit 340a which performs calibration and correction of the first and second stereo cameras 321a and 321b;
A stereo matching unit 340b for calculating a disparity having 3D distance information with respect to the image of the subject and generating a disparity map represented by brightness information; And
And a post-processing unit (340c) for removing noise from the disparity map. 제 6항에 있어서, 상기 줌인(zoom in) 카메라(350)는,
상기 피사체가 사람인 경우,
상기 스테레오 정합 처리부(340)의 분석을 통해 인식한 사람의 3차원 위치좌표(x, y, z)를 확인 한 후 사람의 얼굴을 포함하는 상반신 영상을 줌 인(zoom in)하여 촬영하는 것을 특징으로 하는 3차원 영상 정보를 이용하는 사람 인식 장치. The method of claim 6, wherein the zoom in (350) camera (350),
If the subject is a person,
After checking the three-dimensional position coordinates (x, y, z) of the recognized person through the analysis of the stereo matching processing unit 340, the image of the upper body including the face of the person (zoom in) to shoot (Zoom in) A person recognition device using three-dimensional image information. 제 6항에 있어서, 상기 사용자 시스템(360)은,
상기 스테레오 정합 처리부(340)의 분석을 통해 인식한 사람의 3차원 위치 정보 및 상기 줌인(zoom in) 카메라(350)로부터 얻은 사람의 얼굴을 포함하는 상반신 영상을 전송 받는 것을 특징으로 하는 3차원 영상 정보를 이용하는 사람 인식 장치. The system of claim 6, wherein the user system 360 includes:
3D image, characterized in that receiving the upper body image including the 3D position information of the person recognized through the analysis of the stereo matching processing unit 340 and the face of the person obtained from the zoom in camera 350. A person recognition device using information.
KR1020100063379A 2010-07-01 2010-07-01 Device and method for recognizing person by using 3 dimensional image information KR20120002723A (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020100063379A KR20120002723A (en) 2010-07-01 2010-07-01 Device and method for recognizing person by using 3 dimensional image information
PCT/KR2010/004481 WO2012002601A1 (en) 2010-07-01 2010-07-09 Method and apparatus for recognizing a person using 3d image information

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100063379A KR20120002723A (en) 2010-07-01 2010-07-01 Device and method for recognizing person by using 3 dimensional image information

Publications (1)

Publication Number Publication Date
KR20120002723A true KR20120002723A (en) 2012-01-09

Family

ID=45402291

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100063379A KR20120002723A (en) 2010-07-01 2010-07-01 Device and method for recognizing person by using 3 dimensional image information

Country Status (2)

Country Link
KR (1) KR20120002723A (en)
WO (1) WO2012002601A1 (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103231389A (en) * 2013-04-13 2013-08-07 李享 Object identification method based on robot binocular three-dimensional vision
KR20160090650A (en) * 2015-01-22 2016-08-01 한국과학기술연구원 Apparatus and method for estimation of user location over a configurable sensor network
KR20170066986A (en) * 2015-12-07 2017-06-15 한화테크윈 주식회사 Surveillance method
KR20220133073A (en) * 2021-03-24 2022-10-04 주식회사 메디트 A data processing apparatus, a data processing method

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108407720A (en) * 2018-03-26 2018-08-17 宁夏大学 Safe distance alarm for high capacity waggon and protective device
CN114758305A (en) * 2022-06-15 2022-07-15 成都西物信安智能系统有限公司 Method for constructing intrusion early warning monitoring database

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020022295A (en) * 2000-09-19 2002-03-27 장기화 Device And Method For Face Recognition Using 3 Dimensional Shape Information
KR100884678B1 (en) * 2007-02-20 2009-02-18 이시우 Moving picture change sense and screen extension and reduction camera and method thereof

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103231389A (en) * 2013-04-13 2013-08-07 李享 Object identification method based on robot binocular three-dimensional vision
KR20160090650A (en) * 2015-01-22 2016-08-01 한국과학기술연구원 Apparatus and method for estimation of user location over a configurable sensor network
KR20170066986A (en) * 2015-12-07 2017-06-15 한화테크윈 주식회사 Surveillance method
KR20220133073A (en) * 2021-03-24 2022-10-04 주식회사 메디트 A data processing apparatus, a data processing method

Also Published As

Publication number Publication date
WO2012002601A1 (en) 2012-01-05

Similar Documents

Publication Publication Date Title
KR101172747B1 (en) Camera tracking monitoring system and method using thermal image coordinates
CN108052878B (en) Face recognition device and method
WO2020189313A1 (en) Monitoring device, monitoring system, and monitoring method
CN107273846B (en) Human body shape parameter determination method and device
CN105574525B (en) A kind of complex scene multi-modal biological characteristic image acquiring method and its device
US7825948B2 (en) 3D video conferencing
CN106778713B (en) Iris recognition device and method for dynamic human eye tracking
JP6077655B2 (en) Shooting system
CN109429060B (en) Pupil distance measuring method, wearable eye equipment and storage medium
KR20170089260A (en) Apparatus and Method for Generating 3D Face Model using Mobile Device
EP1946567A2 (en) Device for generating three dimensional surface models of moving objects
WO2014006545A1 (en) 3-d scanning and positioning system
KR20120002723A (en) Device and method for recognizing person by using 3 dimensional image information
CN103827920A (en) Object distance determination from image
KR100904254B1 (en) Non-intrusive iris image acquisition system and method thereof
JP2012069133A (en) Solidity authenticating method, solidity authenticating apparatus, and solidity authenticating program
JP2018156408A (en) Image recognizing and capturing apparatus
KR100793077B1 (en) Method for deciding the position of an observer, and an observer tracking 3D display system and method using that
KR20140053647A (en) 3d face recognition system and method for face recognition of thterof
KR101053253B1 (en) Apparatus and method for face recognition using 3D information
CN115035546A (en) Three-dimensional human body posture detection method and device and electronic equipment
CN110910449A (en) Method and system for recognizing three-dimensional position of object
KR102274270B1 (en) System for acquisiting iris image for enlarging iris acquisition range
JPH07181024A (en) Method and apparatus for measuring three-dimensional profile
JP7300895B2 (en) Image processing device, image processing method, program, and storage medium

Legal Events

Date Code Title Description
A201 Request for examination
E601 Decision to refuse application