KR20110090623A - Home network terminal being capable of tracking face and method thereof - Google Patents

Home network terminal being capable of tracking face and method thereof Download PDF

Info

Publication number
KR20110090623A
KR20110090623A KR1020100010516A KR20100010516A KR20110090623A KR 20110090623 A KR20110090623 A KR 20110090623A KR 1020100010516 A KR1020100010516 A KR 1020100010516A KR 20100010516 A KR20100010516 A KR 20100010516A KR 20110090623 A KR20110090623 A KR 20110090623A
Authority
KR
South Korea
Prior art keywords
face
camera
user
image
center
Prior art date
Application number
KR1020100010516A
Other languages
Korean (ko)
Inventor
한충신
Original Assignee
서울통신기술 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 서울통신기술 주식회사 filed Critical 서울통신기술 주식회사
Priority to KR1020100010516A priority Critical patent/KR20110090623A/en
Publication of KR20110090623A publication Critical patent/KR20110090623A/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/162—Detection; Localisation; Normalisation using pixel segmentation or colour matching
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Telephonic Communication Services (AREA)

Abstract

PURPOSE: A home network terminal and face tracing method in a terminal are provided to automatically trace the face of a sure to located an face of a user in the center of an image. CONSTITUTION: A camera(100) zooms in/zooms out or rotates to up/down/right/left according to a driving control signal from a control unit. A control unit(200) recognizes a face area of a user in an image in which a camera is photographed. The control unit generates a driving control signal to locate in a predetermined size on a part of center of a picture of a camera. The control unit transmits the driving control signal to the camera.

Description

얼굴추적이 가능한 홈네트워크 단말 및 그 단말에서의 얼굴추적방법{Home network terminal being capable of tracking face and method thereof}Home network terminal capable of face tracking and face tracking method in the terminal

본 발명은 얼굴추적이 가능한 홈네트워크 단말기 및 그 단말에서의 얼굴추적방법에 관한 것이다. 좀 더 자세하게는 홈네트워크 단말기에서 수행되는 영상통화 또는 촬영에 있어서, 사용자의 얼굴을 추적하여 사용자의 얼굴이 카메라의 화상 중앙부위에 적절한 크기로 위치하도록 하는 장치 및 방법에 관한 것이다.The present invention relates to a home network terminal capable of face tracking and a face tracking method in the terminal. More particularly, the present invention relates to an apparatus and method for tracking a user's face so that the user's face is located at an appropriate size in the center of the image of the camera.

최근 신축되는 아파트 등에서는 홈 네트워크 단말들이 가정에 설치되어, 단지내 설치된 데이터 서버 및 게이트웨이를 통해 인터넷망과 연동함으로써, 원격지의 사용자 및 관리자가 홈 네트워크 단말을 제어 및 모니터링하는 홈네트워크 시스템이 있다.Recently, in a newly built apartment, home network terminals are installed in a home, and there is a home network system in which remote users and administrators control and monitor home network terminals by interworking with the Internet network through data servers and gateways installed in the complex.

이러한 홈 네트워크 단말은 여러 부수 기능을 수행할 수 있는데, 그 중에서도 설치된 카메라를 통한 타 단말과의 영상 통화는 물론, 자체 영상 촬영도 가능하다.Such a home network terminal may perform various subsidiary functions. Among them, the home network terminal may take a video call with another terminal through an installed camera, as well as photograph itself.

기존의 홈 네트워크 단말에서 수행되는 영상 통화 또는 자체 영상 촬영 기능은 고정식 카메라를 사용함으로 인해 사용자의 얼굴이 카메라의 화상 중앙부에 위치하지 못하거나 사용자의 얼굴이 지나치게 크거나 작아 사용자의 얼굴을 화면에서 관찰하기에 불편한 경우가 많았다.In the video call or self-recording function performed by the existing home network terminal, the user's face is not located in the center of the video of the camera due to the use of a fixed camera, or the user's face is too large or small to observe the user's face on the screen. In many cases, it was uncomfortable.

본 발명은 상기한 문제점을 해결하기 위한 것으로서, 본 발명은,The present invention is to solve the above problems, the present invention,

홈 네트워크 단말에서 영상 통화 또는 자체 영상 촬영시에 사용자의 얼굴이 영상의 중앙에 위치하도록 사용자의 얼굴을 자동으로 추적할 수 있는 장치 및 방법을 제시하는데 그 목적이 있다.An object of the present invention is to provide an apparatus and a method for automatically tracking a user's face so that the user's face is located at the center of the image during a video call or a self-image in the home network terminal.

상기한 목적을 달성하기 위한 기술적 사상으로서, 본 발명에서는,As a technical idea for achieving the above object, in the present invention,

제1 관점으로서,As a first aspect,

전방의 모습을 촬영하고, 제어부로부터의 구동 제어 신호에 따라 상하좌우로 회전하거나 줌인/줌아웃을 하는 카메라와; 상기 카메라가 촬상한 화상에서 사용자의 얼굴영역을 인식하고, 인식된 얼굴 영역이 카메라의 화상 중앙 부위에 일정 크기로 위치하도록 구동제어신호를 생성하여 상기 카메라로 전송하는 제어부를 포함하고, 상기 제어부는, 인식된 얼굴 영역의 중심이 화상의 중심 부위에 위치하도록 카메라를 상하좌우로 회전하도록 제어한 후에, 인식된 얼굴 영역의 크기가 일정 크기로 화상에 나타나도록 카메라를 줌인/줌아웃하도록 제어하는 것을 특징으로 하는 사용자의 얼굴을 추적하는 장치가 제시되고,A camera which photographs a front view and rotates up, down, left and right or zooms in and out according to a driving control signal from a controller; And a controller configured to recognize a face region of the user in the image captured by the camera, and to generate a driving control signal and transmit the driving control signal to the camera so that the recognized face region is located at a predetermined size in the center of the image of the camera. And controlling the camera to rotate up, down, left, and right so that the center of the recognized face area is located at the center of the image, and then controlling the camera to zoom in and out so that the size of the recognized face area appears in the image at a predetermined size. A device for tracking a user's face is presented.

또한, 상기 장치는, 카메라가 촬영한 영상을 디스플레이하는 디스플레이부를 더 포함하고, 상기 제어부는, 화상에서 얼굴 영역이 인식되지 않는 경우에는 카메라가 촬영한 전방 영상을 디스플레이하도록 제어하는 것을 특징으로 하고,The apparatus may further include a display unit configured to display an image captured by the camera, and the controller may control to display the front image captured by the camera when the face region is not recognized in the image.

또한, 상기 제어부는, 전방 영상이 디스플레이된 후 일정 시간 내에 사용자의 얼굴 영역이 카메라의 화상에서 인식되지 않는 경우에 사용자의 얼굴 영역이 인식될 때까지 카메라를 상하좌우로 회전시키도록 제어하는 것을 특징으로 하고,The controller may control to rotate the camera up, down, left, and right until the face region of the user is recognized when the face region of the user is not recognized in the image of the camera within a predetermined time after the front image is displayed. With

또한, 상기 장치는, 음성을 출력하는 수단을 더 포함하고, 상기 제어부는, 사용자로 하여금 카메라 전방에 위치할 것을 요청하는 음성을 출력하도록 제어하는 것을 특징으로 하고,The apparatus may further include means for outputting a voice, wherein the controller controls the user to output a voice requesting that the user be located in front of the camera.

또한, 상기 사용자의 얼굴을 추적하는 장치가 포함된 네트워크 단말이 제시된다.In addition, a network terminal including a device for tracking the face of the user is presented.

제2 관점으로서,As a second aspect,

사용자의 얼굴을 추적하는 방법에 있어서,In the method for tracking the face of the user,

(a) 카메라가 촬영한 화상에서 사용자의 얼굴영역을 인식하는 단계와; (b) 인식된 사용자의 얼굴영역의 중심을 계산하고, 계산된 사용자의 얼굴 영역의 중심이 화상의 중심부위에 위치하는지를 판단하는 단계와; (c) (b)단계의 판단결과, 얼굴 영역의 중심이 화상의 중심 부위에 위치하지 않는 경우에는 카메라를 상하좌우로 회전시켜 얼굴 영역의 중심이 화상의 중심부위에 위치시키는 단계와; (d) 얼굴영역의 크기가 화상 전체 면적에 비해 일정 크기를 만족하는지를 판단하는 단계와; (e) (d)단계의 판단결과, 일정 크기를 만족하지 않는 경우에는 카메라의 줌기능을 작동시켜 일정 크기를 만족하도록 줌인 또는 줌아웃하는 단계;를 포함하는 사용자의 얼굴을 추적하는 방법이 제시되고,(a) recognizing a face area of a user in an image captured by the camera; (b) calculating a center of the recognized user's face area and determining whether the calculated center of the user's face area is located above the center of the image; (c) if the result of step (b) determines that the center of the face area is not located at the center of the image, rotating the camera up, down, left, and right to position the center of the face area on the center of the image; (d) determining whether the size of the face area satisfies a predetermined size relative to the entire image area; and (e) if the predetermined size is not satisfied, operating the zoom function of the camera to zoom in or out to satisfy the predetermined size. ,

또한, 상기 (a) 단계는, 얼굴 영역이 인식되지 않는 경우에는, 카메라가 촬영한 전방 영상을 디스플레이하는 것을 특징으로 하고,Also, in the step (a), when the face region is not recognized, the front image captured by the camera is displayed.

또한, 전방 영상이 디스플레이된 후 일정 시간 내에 사용자의 얼굴 영역이 카메라의 화상에서 인식되지 않는 경우에는, 사용자의 얼굴 영역이 인식될 때까지 카메라를 상하좌우로 회전시키는 것을 특징으로 하고,In addition, when the face region of the user is not recognized in the image of the camera within a predetermined time after the front image is displayed, the camera is rotated up, down, left, and right until the face region of the user is recognized.

또한, 사용자로 하여금 카메라 전방에 위치할 것을 요청하는 음성을 출력하는 것을 특징으로 하고,In addition, it characterized in that for outputting a voice requesting the user to be located in front of the camera,

또한, 상기 사용자의 얼굴을 추적하는 방법은 홈 네트워크 단말기에서 수행되는 것을 특징으로 한다.In addition, the method for tracking the face of the user is characterized in that performed in the home network terminal.

본 발명에 따르면, 홈 네트워크 단말에서 영상 통화 또는 자체 영상 촬영시에 사용자의 얼굴이 영상의 중앙에 위치하도록 사용자의 얼굴을 자동으로 추적할 수 있어 사용자의 얼굴 부위의 표출이 더욱 선명하고 분명하게 하는 장점이 있다.According to the present invention, the user's face can be automatically tracked so that the user's face is located at the center of the image when the video call or the self-image is taken by the home network terminal. There is an advantage.

도 1은 본 발명의 실시예에 따라 사용자의 얼굴을 추적하면서 화상통화를 진행하는 홈 네트워크 단말기의 구성도이다.
도 2는 본 발명의 실시예에 따라 사용자의 얼굴을 추적하면서 진행하는 화상통화방법을 설명하기 위한 흐름도이다.
도 3은 본 발명의 실시예에 따른 얼굴 영역의 검출과정의 일예를 설명하는 흐름도이다.
도 4는 본 발명의 실시예에 따른 얼굴영역 추적 과정을 설명하는 도면이다.1 is a block diagram of a home network terminal for performing a video call while tracking a face of a user according to an exemplary embodiment of the present invention.
FIG. 2 is a flowchart illustrating a video call method which proceeds while tracking a face of a user according to an exemplary embodiment of the present invention.
3 is a flowchart illustrating an example of a process of detecting a face region according to an exemplary embodiment of the present invention.
4 is a diagram illustrating a face region tracking process according to an exemplary embodiment of the present invention.

이하에서는 첨부한 도면을 참조하면서 본 발명의 실시예에 대한 구성 및 작용을 상세하게 설명하기로 한다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, configurations and operations of embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 실시예에 따라 사용자의 얼굴을 추적하면서 화상통화를 진행하는 홈 네트워크 단말기의 구성도이다.1 is a block diagram of a home network terminal for performing a video call while tracking a face of a user according to an exemplary embodiment of the present invention.

도면에서 알 수 있듯이, 본 발명에 따른 홈 네트워크 단말기는 전방의 모습을 촬영하기 위한 카메라(100)와, 얼굴추적 화상통화를 제어할 제어부(200)와, 카메라에서 촬영된 전방 영상을 디스플레이할 디스플레이부(300)와, 단말기에 설정된 특정 기능을 선택하기 위한 기능선택부(400)를 포함한다.As can be seen in the drawing, the home network terminal according to the present invention is a camera 100 for photographing the front view, a control unit 200 for controlling the face tracking video call, and a display to display the front image captured by the camera The unit 300 and a function selection unit 400 for selecting a specific function set in the terminal.

상기 카메라(100)는 전방의 모습을 촬영한 화상을 제어부(200)로 전송하고, 제어부(200)로부터 카메라 구동 제어 신호를 전송받아 카메라 렌즈부를 상하좌우로 회전시키거나 줌인/줌아웃 기능을 수행한다. 즉, 카메라(100)는 팬(pan), 틸트(tilt), 줌(zoom) 기능을 갖는 PTZ 카메라로 구성될 수 있다.The camera 100 transmits an image photographing the front view to the control unit 200, and receives a camera driving control signal from the control unit 200 to rotate the camera lens unit up, down, left, and right or perform a zoom in / zoom out function. . That is, the camera 100 may be configured as a PTZ camera having a pan, tilt, and zoom function.

상기 제어부(200)는 본 발명에 따른 얼굴추적 화상통화의 전반적인 프로세스를 제어한다.The controller 200 controls the overall process of the face tracking video call according to the present invention.

얼굴영역인식부(210)는 카메라(100)가 촬영한 화상을 기반으로 사용자의 얼굴부분을 인식하고, 얼굴 영역의 중심 좌표 및 얼굴 영역의 면적을 계산한다.The face area recognition unit 210 recognizes a face part of the user based on the image photographed by the camera 100, and calculates a center coordinate of the face area and an area of the face area.

얼굴인식모듈(212)은 카메라가 촬영한 화상을 기반으로 화상에서 얼굴영역을 인식한다.The face recognition module 212 recognizes a face area in the image based on the image photographed by the camera.

도 3은 얼굴인식모듈(212)에서 진행되는 얼굴 영역의 검출과정의 일예를 설명하고 있다.3 illustrates an example of a process of detecting a face area that is performed by the face recognition module 212.

카메라(100)로부터 화상을 전송받고(S310), 전송받은 화상을 RGB 형태에서 YCbCr의 형태로 색 공간을 변환한 후(S320), Y,Cb,Cr 정보 중에서 Cb, Cr 성분에 대해 색상 영역 분할(color segmentation) 과정을 거쳐 살색 값을 갖는 영역만을 추출한다(S330).After receiving the image from the camera 100 (S310), converting the color space from RGB to YCbCr form (S320), and dividing the color gamut for the Cb and Cr components among the Y, Cb and Cr information. Only the region having the flesh color value is extracted through the color segmentation process (S330).

색상 영역 분할 과정을 거친 영상은 세밀한 잡음 형태가 존재하는데, 이런 잡음을 제거하기 위해 먼저 형태학적 필터(morphological filter) 중에서 열림(opening) 연산을 수행한다(S340). 그 이후 수평 스캔을 하게 되는데 수평 방향으로 0의 값을 갖는 화소의 수를 세고, 그 결과가 임계값 미만의 값을 갖는 영역은 모두 255로 화소 값을 조정한다. 조정된 화소 값을 이용하여 얼굴 영역을 검출하게 된다(S350).The image, which has undergone the color gamut segmentation, has a detailed noise form. In order to remove such noise, an opening operation is first performed among morphological filters (S340). After that, a horizontal scan is performed, and the number of pixels having a value of 0 in the horizontal direction is counted, and as a result, the region having a value below the threshold value is adjusted to 255. The face area is detected using the adjusted pixel value (S350).

얼굴중심계산모듈(214)은 화상의 얼굴영역의 중심점을 픽셀 단위로 계산하여 찾는다. 즉, 화상의 중심을 원점으로 하여 픽셀 단위로 xy평면 좌표로 얼굴 영역의 중심을 계산하게 된다.The face center calculation module 214 calculates and finds the center point of the face area of the image in units of pixels. That is, the center of the face area is calculated in xy plane coordinates in pixels by using the center of the image as the origin.

얼굴영역계산모듈(216)은 인식된 얼굴영역이 차지하는 면적의 화상 전체에 대한 비율을 계산한다. 즉, 얼굴영역이 화상 전체의 면적에서 차지하는 비율을 픽셀 수 단위로 계산하게 된다.The face area calculation module 216 calculates a ratio of the entire image of the area occupied by the recognized face area. That is, the ratio of the face area to the entire area of the image is calculated in units of pixels.

카메라구동제어명령부(220)는 얼굴중심계산모듈(214), 얼굴영역계산모듈(216)로부터 계산된 좌표값 또는 비율을 전송받아, 얼굴영역의 중심을 화상 중심에 위치시키도록 회전각을 계산하거나 얼굴 영역이 설정된 비율(예컨대, 화상 전체 면적의 40~80%)만큼 차지하도록 줌인/줌아웃 정도를 계산한 후, 계산된 값만큼 카메라의 렌즈부가 회전 또는 줌인/줌아웃되도록 카메라 구동 제어 신호를 생성하여 그 제어 신호를 카메라(100)에 전송한다.The camera drive control command unit 220 receives the coordinate values or the ratios calculated from the face center calculation module 214 and the face area calculation module 216, and calculates a rotation angle to position the center of the face area at the image center. After calculating the zoom-in / zoom out so that the face area occupies a set ratio (for example, 40 to 80% of the total area of the image), the camera driving control signal is generated so that the lens unit of the camera rotates or zooms in / out by the calculated value. The control signal is transmitted to the camera 100.

도 4는 얼굴영역 추적 과정을 설명하는 도면이다.4 is a diagram illustrating a face region tracking process.

(a)는 왼쪽 그림처럼 얼굴영역(420)이 화상(400)의 지정된 중심 영역(410) 밖에 위치할 경우, 오른쪽 그림처럼 카메라의 팬/틸트 기능을 구동시켜 얼굴영역중심(Of)이 화상의 중심(Oi)에 위치하도록 조정하는 모습을 나타낸다.(a) shows that when the face area 420 is located outside the designated center area 410 of the image 400 as shown in the left figure, the pan / tilt function of the camera is operated as shown in the right figure so that the face area center (Of) It shows how to adjust it to be located in the center Oi.

중심으로 이동하기 위한 회전각은 얼굴중심의 좌표에 따라 테이블화하여 저장되어 있다.The rotation angle for moving to the center is stored in a table according to the coordinates of the face center.

(b)는 왼쪽 그림처럼 얼굴영역(420)이 화상(400) 전체 면적의 일정 비율보다 작을 경우, 카메라의 줌 기능을 구동시켜 오른쪽 그림처럼 얼굴영역이 일정 비율을 차지하도록 줌인하여 조정하는 모습을 나타낸다.(b) shows that when the face area 420 is smaller than a certain ratio of the entire area of the image 400 as shown in the left figure, the camera zooms in and adjusts the face area to occupy a certain ratio as shown in the right figure. Indicates.

(c)는 왼쪽 그림처럼 얼굴영역(420)이 화상(400) 전체 면적의 일정 비율보다 클 경우, 카메라의 줌 기능을 구동시켜 오른쪽 그림처럼 얼굴영역이 일정 비율을 차지하도록 줌아웃하여 조정하는 모습을 나타낸다.(c) shows that when the face area 420 is larger than a certain ratio of the entire area of the image 400 as shown in the left figure, the camera zooms out and adjusts the face area to occupy a certain ratio as shown in the right figure. Indicates.

또한, 상기 제어부(200)는, 화상통화 개시 초기에 사용자의 얼굴 영역이 카메라의 화상에서 검출되지 않을 경우에, 카메라에서 촬영한 전방영상을 디스플레이부(300)에 디스플레이하도록 하여 사용자로 하여금 카메라 전방에 위치하여 카메라 화상에 사용자의 얼굴이 나타나도록 유도할 수도 있다.In addition, when the face region of the user is not detected from the camera image at the beginning of the video call, the controller 200 causes the user to display the front image captured by the camera on the display 300. The user's face may be induced to appear in the camera image.

이때, 제어부(200)는 단말기에 설치된 스피커(화면 미도시)를 통하여 사용자에게 "카메라 정면 쪽으로 이동하여 주세요"라는 음성을 출력함으로써 사용자의 이동을 유도할 수도 있다.In this case, the controller 200 may induce the movement of the user by outputting a voice "Please move toward the front of the camera" to the user through a speaker (not shown) installed in the terminal.

이러한 유도 과정이 일정 시간(예컨대, 3~10초) 지속 되었음에도 불구하고 카메라의 화상에서 사용자의 얼굴영역이 검출되지 않을 경우에는, 상기 카메라구동제어명령부(220)는 사용자의 얼굴이 화상에 나타날 때까지 카메라를 상하좌우로 회전시키도록 제어한다.If the face region of the user is not detected in the image of the camera even though the derivation process lasts for a predetermined time (for example, 3 to 10 seconds), the camera driving control command unit 220 displays the face of the user in the image. Until the camera is rotated up, down, left and right.

또한, 제어부(200)에서는 카메라에서 촬영된 영상을 신호 처리하여 타단말기로 전송함으로써 타단말기와 영상통화를 수행하게 된다.In addition, the control unit 200 performs a video call with the other terminal by signal processing the image taken by the camera to the other terminal.

디스플레이부(300)는 다른 단말기로부터 전송된 화상통화자의 영상을 디스플레이하고, 제어부(200)로부터 전송받은, 카메라(100)에 의해 촬영된 전방영상을 디스플레이한다.The display unit 300 displays an image of a video caller transmitted from another terminal, and displays a front image captured by the camera 100 received from the controller 200.

기능선택부(400)는 홈 네트워크 단말기가 제공하는 기능 중 사용자가 선택하고 싶은 기능을 키버튼 패드나 터치패드 등에 의하여 선택받고, 선택된 기능을 제어부에서 수행하게 된다. 본 발명의 실시예에 따르면 화상통화기능이 선택될 것이다.The function selection unit 400 receives a function that a user wants to select from among functions provided by the home network terminal by a key button pad or a touch pad, and performs the selected function in the controller. According to an embodiment of the present invention, the video call function will be selected.

도 2는 본 발명의 실시예에 따라 사용자의 얼굴을 추적하면서 진행하는 화상통화방법을 설명하기 위한 흐름도이다.FIG. 2 is a flowchart illustrating a video call method which proceeds while tracking a face of a user according to an exemplary embodiment of the present invention.

먼저, 사용자가 홈 네트워크 단말기의 기능 설정부를 통하여 화상통화기능을 선택하거나 다른 단말기로부터의 화상통화를 수락함으로써 화상통화가 개시된다(S210).First, a video call is started by the user selecting a video call function through the function setting unit of the home network terminal or accepting a video call from another terminal (S210).

다음으로, 제어부(200)의 얼굴영역인식부에서 카메라에 의해 촬상된 화상으로부터 사용자의 얼굴영역이 검출되는지를 판별한다(S220).Next, the face region recognition unit of the controller 200 determines whether the face region of the user is detected from the image photographed by the camera (S220).

다음으로, 위 S220단계에서의 판별결과, 얼굴영역이 검출되지 않을 경우에는, 디스플레이부에서 카메라가 촬영한 전방의 영상을 디스플레이한다(S230). 이때, 사용자에게 전방 영상에 얼굴이 나타나도록 카메라 정면 쪽으로 이동할 것을 요청하는 음성이나 문자가 스피커나 디스플레이부 화면에 출력될 수 있다.Next, when the face region is not detected as a result of the determination in step S220, the display unit displays an image of the front photographed by the camera (S230). In this case, a voice or a character requesting the user to move toward the front of the camera so that the face appears in the front image may be output on the speaker or the display unit screen.

전방영상의 디스플레이 개시 후 일정 시간(예컨대, 3~10초) 내에 전방 영상에서 얼굴영역인식부(210)에 의해 얼굴영역이 검출되지 않을 경우에는, 카메라 구동 제어 명령부(220)에 의해 카메라의 팬/틸트 구동부가 구동하여 카메라에 촬영된 전방영상에 사용자의 얼굴영역이 검출될 때까지 카메라의 렌즈부를 상하좌우로 회전함으로써 카메라의 팬/틸트를 조정한다(S240).When the face area is not detected by the face area recognition unit 210 in the front image within a predetermined time (for example, 3 to 10 seconds) after the display of the front image starts, the camera driving control command unit 220 controls the The pan / tilt driving unit is driven to adjust the pan / tilt of the camera by rotating the lens part of the camera up, down, left and right until the face region of the user is detected in the front image captured by the camera (S240).

팬/틸트 조정에 의해 전방영상에서 사용자의 얼굴영역이 검출된 경우에는, 전방영상의 디스플레이를 종료한다(S250). 이러한 전방 영상은 타방 영상통화자의 영상화면에 PIP(Picture in Picture)방식으로 디스플레이하거나 디스플레이 화면 전체에 디스플레이될 수 있다.When the face region of the user is detected in the front image by the pan / tilt adjustment, the display of the front image is terminated (S250). The front image may be displayed on a video screen of the other video caller in a picture in picture (PIP) manner or may be displayed on the entire display screen.

다음으로, 위 S220단계에서 카메라의 화상에서 사용자의 얼굴영역이 검출된 경우에는, 카메라에서 촬상한 화상 내의 사용자의 얼굴 위치를 추적한다. 즉, 얼굴영역인식부(210)에서 검출된 얼굴영역의 중심의 좌표를 계산한다(S260).Next, when the face region of the user is detected in the image of the camera in step S220, the position of the face of the user in the image captured by the camera is tracked. That is, the coordinates of the center of the face area detected by the face area recognition unit 210 are calculated (S260).

다음으로, 얼굴영역인식부에서 얼굴영역의 중심이 미리 설정된 화상의 중심 부근의 일정 영역 내(도 3의 410)에 위치하는 지를 판단한다(S270).Next, the face area recognition unit determines whether the center of the face area is located in a predetermined area (410 of FIG. 3) near the center of the preset image (S270).

위 S270 단계의 결과, 화상의 중심 부근의 일정 영역 내에 얼굴 영역의 중심이 위치하지 않는 경우에는, 카메라구동제어명령부(220)에서 얼굴 영역의 중심을 화상의 중심 쪽으로 이동시키기 위한 카메라의 회전각을 계산한 후, 카메라의 렌즈부를 상하좌우로 계산된 회전각만큼 회전하게 함으로써 얼굴 영역의 중심이 화상의 중심 부근에 위치하게 한다(S280).As a result of the above step S270, when the center of the face area is not located in a predetermined area near the center of the image, the camera driving control command unit 220 rotates the camera to move the center of the face area toward the center of the image. After the calculation, the lens unit of the camera is rotated by the rotation angle calculated up, down, left, and right so that the center of the face area is located near the center of the image (S280).

다음으로, 화상의 중심부에 위치한 사용자의 얼굴 영역이 전체 화상의 일정 부분(예컨대, 40~80%)을 차지하는지를 판단한다(S290).Next, it is determined whether the face area of the user located at the center of the image occupies a certain portion (for example, 40 to 80%) of the entire image (S290).

위 S290 단계의 결과, 사용자의 얼굴 영역이 전체 화상의 일정 부분에 미달하거나 초과하는 경우에는, 사용자의 얼굴 영역이 전체 화상의 일정 부분을 차지하도록 카메라를 줌인 또는 줌아웃한다(S2100).As a result of the above step S290, when the user's face area is less than or exceeds a certain portion of the entire image, the camera zooms in or out so that the user's face area occupies a certain portion of the entire image (S2100).

상기한 S220 단계 내지 S2100 단계는 화상 통화가 완료될 때까지 계속 반복되고, 화상 통화가 완료된 경우에는 카메라는 초기 위치(팬/틸트 회전각 0도, 줌 기능 최대 줌아웃)로 환원된다(S2110).Steps S220 to S2100 are repeated until the video call is completed, and when the video call is completed, the camera is returned to the initial position (pan / tilt rotation angle 0 degree, zoom function maximum zoom out) (S2110).

이상에서는 홈 네트워크 단말기를 대상으로 한 실시예에 대하여 설명하였다. 본 발명의 보호범위는 위 실시예에 한정되는 것이 아니며, 위에서 설명한 바에 의해 통상의 기술자가 용이하게 변형 가능한 것에도 미친다.In the above, the embodiment targeting the home network terminal has been described. The scope of protection of the present invention is not limited to the above embodiments, and extends to those skilled in the art as described above.

또한, 본 발명은 이동통신단말기, 화상전화기 등 화상통화를 제공하는 모든 기기에 적용될 수 있음은 당연하다.In addition, the present invention can be applied to any device that provides a video call, such as a mobile communication terminal, a video phone.

또한, 이상에서는 화상통화시 얼굴추적방법에 대하여 설명하였지만, 자체 촬영을 위하여도 그 방법을 이용할 수 있다.In addition, while the above has described the face tracking method in the video call, the method can be used for self-photography.

이 경우, 상기 S210 단계에서는 자체 촬영을 위한 기능이 선택되고, 자체 촬영이 종료될 때까지 상기한 S220 단계 내지 S2100 단계가 진행된다.In this case, in step S210, a function for self-photographing is selected, and steps S220 to S2100 are performed until self-taking is finished.

본 발명은 화상통화자의 얼굴을 추적하면서 화상통화를 수행하는 장치 및 방법에 관한 것으로서, 본 발명은 화상통화를 수행할 수 있는 각종 기기 분야의 산업에 유용하게 이용될 수 있다.The present invention relates to an apparatus and method for performing a video call while tracking a face of a video caller, and the present invention can be usefully used in the industry of various device fields capable of performing a video call.

100 : 카메라 200 : 제어부
210 : 얼굴영역인식부 220 : 카메라구동제어명령부
300 : 디스플레이부 400 : 기능선택부100: camera 200: control unit
210: face area recognition unit 220: camera drive control command unit
300: display unit 400: function selection unit

Claims (10)

전방의 모습을 촬영하고, 제어부로부터의 구동 제어 신호에 따라 상하좌우로 회전하거나 줌인/줌아웃을 하는 카메라와;
상기 카메라가 촬상한 화상에서 사용자의 얼굴영역을 인식하고, 인식된 얼굴 영역이 카메라의 화상 중앙 부위에 일정 크기로 위치하도록 구동제어신호를 생성하여 상기 카메라로 전송하는 제어부를 포함하고,
상기 제어부는,
인식된 얼굴 영역의 중심이 화상의 중심 부위에 위치하도록 카메라를 상하좌우로 회전하도록 제어한 후에, 인식된 얼굴 영역의 크기가 일정 크기로 화상에 나타나도록 카메라를 줌인/줌아웃하도록 제어하는 것을 특징으로 하는 사용자의 얼굴을 추적하는 장치.A camera which photographs a front view and rotates up, down, left and right or zooms in and out according to a driving control signal from a controller;
A control unit for recognizing a user's face region in the image captured by the camera and generating and transmitting a driving control signal to the camera so that the recognized face region is positioned at a predetermined size in the center of the image of the camera,
The control unit,
Controlling the camera to be rotated up, down, left and right so that the center of the recognized face region is located at the center of the image, and then controlling the camera to zoom in and out so that the size of the recognized face region appears in the image at a predetermined size. A device that tracks a user's face. 청구항 1에 있어서,
카메라가 촬영한 영상을 디스플레이하는 디스플레이부를 더 포함하고,
상기 제어부는,
화상에서 얼굴 영역이 인식되지 않는 경우에는, 카메라가 촬영한 전방 영상을 디스플레이하도록 제어하는 것을 특징으로 하는 사용자의 얼굴을 추적하는 장치.The method according to claim 1,
Further comprising a display unit for displaying an image taken by the camera,
The control unit,
And when the face area is not recognized in the image, controlling the camera to display the captured front image. 청구항 2에 있어서,
상기 제어부는,
전방 영상이 디스플레이된 후 일정 시간 내에 사용자의 얼굴 영역이 카메라의 화상에서 인식되지 않는 경우에는, 사용자의 얼굴 영역이 인식될 때까지 카메라를 상하좌우로 회전시키도록 제어하는 것을 특징으로 사용자의 얼굴을 추적하는 장치.The method according to claim 2,
The control unit,
If the face region of the user is not recognized in the camera image within a predetermined time after the front image is displayed, the user's face is controlled to be rotated up, down, left, and right until the face region of the user is recognized. Tracking device. 청구항 2에 있어서,
음성을 출력하는 수단을 더 포함하고,
상기 제어부는,
사용자로 하여금 카메라 전방에 위치할 것을 요청하는 음성을 출력하도록 제어하는 것을 특징으로 하는 사용자의 얼굴을 추적하는 장치.The method according to claim 2,
Means for outputting voice,
The control unit,
And control the user to output a voice requesting the user to be located in front of the camera. 청구항 1 내지 4 중 어느 하나의 사용자의 얼굴을 추적하는 장치가 포함된 홈 네트워크 단말.A home network terminal including an apparatus for tracking a face of any one of claims 1 to 4. 사용자의 얼굴을 추적하는 방법에 있어서,
(a) 카메라가 촬영한 화상에서 사용자의 얼굴영역을 인식하는 단계와;
(b) 인식된 사용자의 얼굴영역의 중심을 계산하고, 계산된 사용자의 얼굴 영역의 중심이 화상의 중심부위에 위치하는지를 판단하는 단계와;
(c) (b)단계의 판단결과, 얼굴 영역의 중심이 화상의 중심 부위에 위치하지 않는 경우에는 카메라를 상하좌우로 회전시켜 얼굴 영역의 중심을 화상의 중심부위에 위치시키는 단계와;
(d) 얼굴영역의 크기가 화상 전체 면적에 비해 일정 크기를 만족하는지를 판단하는 단계와;
(e) (d)단계의 판단결과, 일정 크기를 만족하지 않는 경우에는 카메라의 줌기능을 작동시켜 일정 크기를 만족하도록 줌인 또는 줌아웃하는 단계;
를 포함하는 사용자의 얼굴을 추적하는 방법.In the method for tracking the face of the user,
(a) recognizing a face area of a user in an image captured by the camera;
(b) calculating a center of the recognized user's face area and determining whether the calculated center of the user's face area is located above the center of the image;
(c) if the result of step (b) determines that the center of the face area is not located at the center of the image, rotating the camera up, down, left, and right to position the center of the face area on the center of the image;
(d) determining whether the size of the face area satisfies a predetermined size relative to the entire image area;
(e) zooming in or out to satisfy the predetermined size by operating the zoom function of the camera if the predetermined size is not satisfied as a result of the determination of step (d);
How to track the face of the user comprising a. 청구항 6에 있어서,
상기 (a) 단계는,
얼굴 영역이 인식되지 않는 경우에는, 카메라가 촬영한 전방 영상을 디스플레이하는 것을 특징으로 하는 사용자의 얼굴을 추적하는 방법.The method of claim 6,
In step (a),
If the face area is not recognized, the front face image captured by the camera, characterized in that for tracking the user's face. 청구항 7에 있어서,
전방 영상이 디스플레이된 후 일정 시간 내에 사용자의 얼굴 영역이 카메라의 화상에서 인식되지 않는 경우에는, 사용자의 얼굴 영역이 인식될 때까지 카메라를 상하좌우로 회전시키는 것을 특징으로 하는 사용자의 얼굴을 추적하는 방법.The method according to claim 7,
If the face area of the user is not recognized in the image of the camera within a predetermined time after the front image is displayed, the face of the user may be rotated up, down, left, and right until the face area of the user is recognized. Way. 청구항 7에 있어서,
사용자로 하여금 카메라 전방에 위치할 것을 요청하는 음성을 출력하는 것을 특징으로 하는 사용자의 얼굴을 추적하는 방법.The method according to claim 7,
Outputting a voice requesting the user to be located in front of the camera. 청구항 6 내지 9 중 어느 하나에 있어서,
상기 사용자의 얼굴을 추적하는 방법은 홈 네트워크 단말기에서 수행되는 것을 특징으로 하는 사용자의 얼굴을 추적하는 방법.The method according to any one of claims 6 to 9,
The method for tracking the face of the user is a method for tracking the face of the user, characterized in that performed in the home network terminal.
KR1020100010516A 2010-02-04 2010-02-04 Home network terminal being capable of tracking face and method thereof KR20110090623A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100010516A KR20110090623A (en) 2010-02-04 2010-02-04 Home network terminal being capable of tracking face and method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100010516A KR20110090623A (en) 2010-02-04 2010-02-04 Home network terminal being capable of tracking face and method thereof

Publications (1)

Publication Number Publication Date
KR20110090623A true KR20110090623A (en) 2011-08-10

Family

ID=44928371

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100010516A KR20110090623A (en) 2010-02-04 2010-02-04 Home network terminal being capable of tracking face and method thereof

Country Status (1)

Country Link
KR (1) KR20110090623A (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013048482A1 (en) * 2011-09-30 2013-04-04 Intel Corporation Mechanism for facilitating enhanced viewing perspective of video images at computing devices
WO2017124792A1 (en) * 2016-01-21 2017-07-27 惠州Tcl移动通信有限公司 Method and system for dynamically capturing photograph of face, and mobile terminal
CN109309866A (en) * 2017-07-27 2019-02-05 腾讯科技（深圳）有限公司 Image processing method and device, storage medium
KR102569505B1 (en) * 2023-02-16 2023-08-21 경복대학교 산학협력단 Artificial intelligence posture estimation system and method for mobile devices equipped with automatic real-time body recognition function

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013048482A1 (en) * 2011-09-30 2013-04-04 Intel Corporation Mechanism for facilitating enhanced viewing perspective of video images at computing devices
US9060093B2 (en) 2011-09-30 2015-06-16 Intel Corporation Mechanism for facilitating enhanced viewing perspective of video images at computing devices
WO2017124792A1 (en) * 2016-01-21 2017-07-27 惠州Tcl移动通信有限公司 Method and system for dynamically capturing photograph of face, and mobile terminal
CN109309866A (en) * 2017-07-27 2019-02-05 腾讯科技（深圳）有限公司 Image processing method and device, storage medium
CN109309866B (en) * 2017-07-27 2022-03-08 腾讯科技（深圳）有限公司 Image processing method and device, and storage medium
KR102569505B1 (en) * 2023-02-16 2023-08-21 경복대학교 산학협력단 Artificial intelligence posture estimation system and method for mobile devices equipped with automatic real-time body recognition function

Similar Documents

Publication Publication Date Title
US9674395B2 (en) Methods and apparatuses for generating photograph
EP3154270B1 (en) Method and device for adjusting and displaying an image
KR101373333B1 (en) Portable terminal having touch sensing based image photographing function and image photographing method therefor
WO2017016030A1 (en) Image processing method and terminal
US8670060B2 (en) Image capturing device with touch screen for adjusting camera settings
EP3174283B1 (en) Preview image display method and apparatus, computer program and recording medium
CN110602401A (en) Photographing method and terminal
EP3544286B1 (en) Focusing method, device and storage medium
CN105282441B (en) Photographing method and device
CN107948505B (en) Panoramic shooting method and mobile terminal
CN107015648B (en) Picture processing method and device
US11310443B2 (en) Video processing method, apparatus and storage medium
KR20110006243A (en) Apparatus and method for manual focusing in portable terminal
KR20040079499A (en) Communication terminal and method capable of displaying face image of user at the middle part of screen
CN106210495A (en) Image capturing method and device
CN105323491A (en) Image shooting method and device
KR20110090623A (en) Home network terminal being capable of tracking face and method thereof
CN115134505B (en) Preview picture generation method and device, electronic equipment and storage medium
CN110086998A (en) A kind of image pickup method and terminal
CN116188343B (en) Image fusion method and device, electronic equipment, chip and medium
CN114845038A (en) Shooting adjusting method and device of video shooting equipment and electronic equipment
CN112235510A (en) Shooting method, shooting device, electronic equipment and medium
CN113315903B (en) Image acquisition method and device, electronic equipment and storage medium
JP2013190791A (en) Apparatus and method for capturing image in mobile terminal
US9762891B2 (en) Terminal device, image shooting system and image shooting method

Legal Events

Date Code Title Description
A201 Request for examination
E601 Decision to refuse application