KR101478560B1 - A mobile terminal for photographing image by remote control and a method therefor - Google Patents

A mobile terminal for photographing image by remote control and a method therefor Download PDF

Info

Publication number
KR101478560B1
KR101478560B1 KR20070051606A KR20070051606A KR101478560B1 KR 101478560 B1 KR101478560 B1 KR 101478560B1 KR 20070051606 A KR20070051606 A KR 20070051606A KR 20070051606 A KR20070051606 A KR 20070051606A KR 101478560 B1 KR101478560 B1 KR 101478560B1
Authority
KR
South Korea
Prior art keywords
blinking
eye
unit
subject
camera
Prior art date
Application number
KR20070051606A
Other languages
Korean (ko)
Other versions
KR20080104610A (en
Inventor
강창택
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR20070051606A priority Critical patent/KR101478560B1/en
Publication of KR20080104610A publication Critical patent/KR20080104610A/en
Application granted granted Critical
Publication of KR101478560B1 publication Critical patent/KR101478560B1/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M2250/00Details of telephonic subscriber devices
    • H04M2250/52Details of telephonic subscriber devices including functional features of a camera

Abstract

본 발명은 휴대단말기에 관한 것으로, 카메라 기능을 탑재한 휴대단말기를 얼굴인식을 통한 눈 깜박임으로 원격 조작하여 영상을 촬영할 수 있도록 한 휴대단말기 및 그의 촬영 방법에 관한 것이다. 이를 위하여 본 발명은 피사체를 촬영하는 카메라부와; 상기 카메라부를 통하여 입력되는 상기 피사체를 디스플레이하는 표시부와; 피사체의 얼굴인식을 통해 눈을 트래킹하고 눈 깜박임을 감지하는 얼굴인식부와; 상기 눈 깜박임을 촬영 신호로 판단하여 상기 카메라부로 전달하여 카메라 기능이 수행되도록 제어하는 제어부를 구비한 원격 영상 촬영 휴대단말기임을 특징으로 한다.BACKGROUND OF THE INVENTION 1. Field of the Invention [0002] The present invention relates to a portable terminal, and more particularly, to a portable terminal capable of photographing a portable terminal equipped with a camera function by remotely operating a blinking eye through facial recognition. To this end, the present invention provides a camera system comprising: a camera unit for photographing a subject; A display unit for displaying the subject input through the camera unit; A face recognition unit for tracking the eyes through the face recognition of the subject and detecting blinking of the eyes; And a control unit for determining that the blinking of the eye is a photographing signal and transmitting the blinking signal to the camera unit to control the camera function to be performed.

얼굴인식, 원격, 촬영 Face Recognition, Remote, Shooting

Description

원격 영상 촬영 휴대단말기 및 그의 촬영 방법{A mobile terminal for photographing image by remote control and a method therefor}Technical Field [0001] The present invention relates to a mobile terminal and a method of photographing the same,

도1은 본 발명의 실시예에 따른 휴대단말기를 나타내는 구성도.1 is a block diagram of a portable terminal according to an embodiment of the present invention;

도2는 본 발명의 실시예에 따른 원격 영상 촬영 방법을 나타내는 흐름도.2 is a flowchart illustrating a remote imaging method according to an embodiment of the present invention.

도3은 본 발명의 실시예에 따른 휴대단말기의 화면 예시도.3 is a view illustrating a screen of a mobile terminal according to an exemplary embodiment of the present invention.

본 발명은 휴대단말기에 관한 것으로, 특히 카메라를 탑재한 휴대단말기를 원격으로 조작하여 이미지를 촬영할 수 있도록 한 카메라 기능을 가진 원격 영상 촬영 휴대단말기 및 그의 촬영 방법에 관한 것이다.The present invention relates to a portable terminal, and more particularly, to a portable terminal having a camera function for photographing an image by remotely operating a portable terminal equipped with a camera and a method of photographing the portable terminal.

일반적으로 휴대단말기는 이동통신단말기, PDA(personal digital assistance) 등과 같이 휴대가 간편하며 무선 통신으로 음성, 정지영상 및 동영상 등의 데이터를 송신 또는 수신하며 통화가 가능한 단말기를 말한다. 2. Description of the Related Art Generally, a portable terminal is a portable terminal such as a mobile communication terminal and a personal digital assistant (PDA), which is capable of transmitting and receiving data such as voice, still image, and moving picture through wireless communication.

휴대단말기는 멀티미디어 시대에 맞추어 디지털 카메라 기능을 탑재하여 어떠한 장면이나, 필요한 피사체를 촬영하여 내부에 저장할 수 있다.The portable terminal is equipped with a digital camera function in accordance with the multimedia age, so that any scene or a necessary subject can be photographed and stored therein.

그러나, 종래 휴대단말기는 촬영버튼을 누를 수 없는 원거리에서 사진을 찍 기 위한 방법이 단순히 수초 후에 촬영하는 방식밖에는 없었다. 이는 사용자가 촬영하고자 하는 피사체를 휴대단말기의 표시창을 통해 확인한 후 수초 후 촬영을 위한 키 조작을 수행해야 하는 번거로움과 사용자가 일정 시간 동안 포즈를 유지하고 있어야 하는 불편함이 있었다. However, in the conventional portable terminal, there has been only a method of taking a picture at a long distance where the photographing button can not be pressed. This is a disadvantage that the user has to perform a key operation for taking a picture after several seconds after confirming the subject to be photographed through the display window of the portable terminal, and the user has to keep a pause for a certain period of time.

따라서 본 발명은 상기와 같은 문제점을 해결하기 위하여 창안한 것으로, 카메라 기능을 탑재한 휴대단말기를 얼굴인식을 통한 눈 깜박임으로 원격 조작하여 영상을 촬영할 수 있도록 한 휴대단말기 및 그의 촬영 방법을 제공함에 목적이 있다.SUMMARY OF THE INVENTION Accordingly, the present invention has been made keeping in mind the above problems occurring in the prior art, and it is an object of the present invention to provide a portable terminal capable of photographing a portable terminal equipped with a camera function by remote- .

상기와 같은 목적을 달성하기 위한 본 발명은 휴대단말기에 있어서,According to an aspect of the present invention,

피사체를 촬영하는 카메라부와; 상기 카메라부를 통하여 입력되는 상기 피사체를 디스플레이하는 표시부와; 피사체의 얼굴인식을 통해 눈을 트래킹하고 눈 깜박임을 감지하는 얼굴인식부와; 상기 눈 깜박임을 촬영 신호로 판단하여 상기 카메라부로 전달하여 카메라 기능이 수행되도록 제어하는 제어부를 구비한 것을 특징으로 한다.A camera unit for photographing a subject; A display unit for displaying the subject input through the camera unit; A face recognition unit for tracking the eyes through the face recognition of the subject and detecting blinking of the eyes; And a control unit for determining that the blinking of the eye is a photographing signal and transmitting the blinking signal to the camera unit to control the camera function to be performed.

또한, 상기와 같은 목적을 달성하기 위한 본 발명은 휴대단말기를 이용한 원격 영상 촬영 방법에 있어서,According to another aspect of the present invention, there is provided a remote imaging method using a portable terminal,

카메라 모드 시, 원격 촬영 모드로 설정되었는가를 판단하는 과정과; 상기 판단결과, 원격 촬영 모드로 설정되어 있으면 피사체의 눈을 트래킹하여 눈 깜박임을 감지하는 과정과; 상기 피사체의 눈 깜박임이 있으면 피사체를 촬영하는 과정으 로 이루어진 것을 특징으로 한다.Determining whether the remote shooting mode is set in the camera mode; Detecting a blinking of the subject by tracking an eye of the subject when the remote shooting mode is set; And photographing the subject when the subject is blinking.

이하, 본 발명에 따른 실시예를 첨부한 도면을 참조하여 상세히 설명하면 다음과 같다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.

하기의 설명에서는 본 발명에 따른 동작 및 작용을 이해하는데 필요한 부분만이 설명되며, 그 이외 부분의 설명은 본 발명의 요지를 흩트리지 않도록 생략될 것이라는 것을 유의하여야 한다.In the following description, only parts necessary for understanding the operation and operation according to the present invention will be explained, and the description of the other parts will be omitted so as not to disturb the gist of the present invention.

하기의 설명에서 본 발명의 원격 영상 촬영 휴대단말기 및 그의 촬영 방법에 따른 특정 상세들이 본 발명의 보다 전반적인 이해를 제공하기 위해 나타나 있다. 이들 특정 상세들 없이 또한 이들의 변형에 의해서도 본 발명이 용이하게 실시될 수 있다는 것은 이 기술 분야에서 통상의 지식을 가진 자에게 자명한 것이다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS In the following description, specific details of a remote imaging radiotelephone of the present invention and a radiographic method thereof are shown in order to provide a more thorough understanding of the present invention. It will be apparent to those skilled in the art that the present invention can be readily practiced without these specific details and with modifications thereto.

도 1은 본 발명의 실시예에 따른 휴대단말기를 보인 구성도이다.1 is a block diagram illustrating a mobile terminal according to an embodiment of the present invention.

상기 도 1을 참조하면, 상기 휴대단말기는 무선통신부(101), 카메라부(103), 제어부(105), 메모리부(107), 얼굴인식부(109), 표시부(111), 키입력부(113)를 포함한다.1, the portable terminal includes a wireless communication unit 101, a camera unit 103, a control unit 105, a memory unit 107, a face recognition unit 109, a display unit 111, a key input unit 113 ).

무선통신부(101)는 휴대단말기와 이동통신망과의 통상적인 무선통신을 수행한다. 예를 들어, 무선통신부(101)는 이동통신망을 통한 음성데이터의 송/수신, 문자메시지의 송/수신 및 멀티미디어메시지의 송/수신 등을 수행한다.The wireless communication unit 101 performs normal wireless communication between the portable terminal and the mobile communication network. For example, the wireless communication unit 101 performs transmission / reception of voice data, transmission / reception of a text message, and transmission / reception of a multimedia message through a mobile communication network.

카메라부(103)는 피사체 촬영을 요구하는 신호 수신 시 피사체를 촬영한다. 여기서 상기 카메라부(103)는 영상데이터를 촬영하며, 촬영된 광신호를 전기적 신 호로 변환하는 카메라 센서(미도시)를 구비한 카메라와, 그 카메라로부터 출력되는 영상신호를 이미지 신호로 변환하는 신호처리부(미도시)와, 그 신호처리부에서 출력되는 영상신호를 표시하기 위한 화면 데이터를 발생하는 기능을 수행하는 영상처리부(미도시)를 포함한다. 특히, 본 명세서에서 상기 피사체는 얼굴인식이 가능한 인물이 피사체의 대상이 되는 것을 예를 들어 설명하도록 한다.The camera unit 103 photographs a subject when receiving a signal requesting the photographing of the subject. The camera unit 103 includes a camera having a camera sensor (not shown) for capturing image data and converting the photographed optical signal into an electrical signal, a signal converting a video signal output from the camera into an image signal And a video processing unit (not shown) that performs a function of generating screen data for displaying the video signal output from the signal processing unit. Particularly, in the present specification, the subject will be described by way of example in which a person capable of face recognition becomes the object of the subject.

제어부(105)는 휴대단말기의 내부 블록에시 이루어지는 전반적인 동작에 대한 제어를 담당한다. 그리고, 상기 제어부(105)는 무선통신부(101)에서 송신되는 신호를 부호화 및 변조하는 송신기 및 수신되는 신호를 복조 및 복호화하는 수신기를 구비하는 모뎀 및 코덱을 포함한다. 특히, 상기 제어부(105)는 휴대단말기의 설정에 따라 상기 카메라부(103) 및 얼굴인식부(109)를 동작시켜 본 발명인 원격 영상 촬영을 수행할 수 있도록 한다.The control unit 105 controls the overall operation of the internal block of the portable terminal. The control unit 105 includes a modem for encoding and modulating a signal transmitted from the wireless communication unit 101, and a receiver for demodulating and decoding the received signal. In particular, the control unit 105 operates the camera unit 103 and the face recognition unit 109 according to the setting of the portable terminal so as to perform the remote image capturing according to the present invention.

메모리부(107)는 프로그램 메모리 및 데이터 메모리들로 구성될 수 있다. 상기 프로그램 메모리에는 휴대단말기의 일반적인 동작을 제어하기 위한 프로그램들 및 본 발명의 실시예에 따라 촬영모드에 따른 프로그램들이 저장된다. 또한 상기 메모리부(107)에는 카메라부에서 복수의 얼굴이 검출될 경우 상기 복수의 얼굴 중 특정 얼굴의 눈을 트래킹 하기 위하여 상기 제어부(105)가 지정해 둔 인물이 저장된다. 또한 상기 데이터 메모리에는 상기 프로그램들을 수행하는 중에 발생되는 데이터들을 저장하는 기능 및 본 발명의 실시예에 따라 원격 영상 촬영 후의 화상이 저장된다.The memory unit 107 may be constituted by a program memory and data memories. Programs for controlling the general operation of the portable terminal and programs according to the photographing mode according to the embodiment of the present invention are stored in the program memory. Also, in the memory unit 107, when a plurality of faces are detected by the camera unit, a person designated by the control unit 105 for tracking an eye of a specific face among the plurality of faces is stored. In addition, the data memory stores the data generated during the execution of the programs and the image after the remote imaging according to the embodiment of the present invention.

그리고 상기 메모리부(107)는 본 발명의 실시예에 따라 얼굴인식부(109)가 상기 카메라부(101)를 통해 입력된 프레임에서 피사체의 눈 깜박임을 촬영을 위한 눈 깜박임으로 판단할 수 있는 눈 깜박임 횟수 또는 눈 깜박임 시간이 저장된다.In addition, the memory unit 107 may be configured such that the face recognizing unit 109 recognizes the blinking of the subject's eye in the frame inputted through the camera unit 101 as an eye blinking for photographing according to the embodiment of the present invention. The number of blinks or blink time is stored.

얼굴인식부(109)는 상기 카메라부(103)의 프리뷰(Preview) 상태에서 입력되는 피사체 프레임으로부터 얼굴 영역을 검출한다. 이때, 상기 얼굴인식부(109)가 얼굴 인식 기법을 이용해 상기 프레임으로부터 에지(Edge)정보를 추출하고, 추출된 에지 정보내의 영역으로부터 눈을 포함하는 특징 요소를 검출한다. 특히, 상기 얼굴인식부(109)는 본 발명의 실시예에 따라 눈을 트래킹 하여 깜박임을 검출한다. The face recognition unit 109 detects a face area from a subject frame input in a preview state of the camera unit 103. [ At this time, the face recognition unit 109 extracts edge information from the frame using the face recognition technique, and detects feature elements including eyes from the extracted edge information. Particularly, the face recognizing unit 109 detects the flicker by tracking the eyes according to the embodiment of the present invention.

또한, 상기 얼굴인식부(109)는 본 발명의 실시예에 따라 피사체 프레임으로부터 검출된 얼굴과 상기 메모리부(103)에 미리 설정된 얼굴과의 일치 여부를 판단한다.The face recognition unit 109 determines whether or not the face detected from the subject frame matches the face preset in the memory unit 103 according to the embodiment of the present invention.

상기 얼굴인식부(109)는 상기 제어부(105) 내에 포함될 수 있으며, 상기 얼굴인식부(109)의 얼굴인식 기법을 이용해 눈을 검출하는 기술에 관련해서는 이 출원 이전에 이미 다양하게 공지되어 시행되는 통상의 기술이므로 이에 대한 자세한 설명은 생략하기로 한다. The face recognition unit 109 may be included in the control unit 105 and is variously known and practiced prior to the present application for a technique of detecting eyes using the face recognition technique of the face recognition unit 109 And therefore, a detailed description thereof will be omitted.

표시부(111)는 제어부(105)의 제어를 받아 휴대단말기 내부 블록에서 이루어지는 일련의 동작상태와 동작결과 및 다수의 정보를 표시한다. 특히, 상기 표시부(111)는 카메라 모드 시 상기 카메라부(103)에서 출력되는 영상신호를 화면으로 표시한다. 이때, 표시부(111)는 LCD(Liquid Crystal Display), OLED(Organic Light Emitting Diodes) 등의 디스플레이 장치로 구성될 수 있다.Under the control of the control unit 105, the display unit 111 displays a series of operation states, operation results, and a plurality of pieces of information in the internal block of the portable terminal. In particular, the display unit 111 displays a video signal output from the camera unit 103 in a camera mode. The display unit 111 may be a display device such as an LCD (Liquid Crystal Display) or an OLED (Organic Light Emitting Diodes).

키입력부(113)는 숫자 또는 문자 정보를 입력받고 각종 기능들을 설정하기 위한 다수의 입력키들 및 기능키들을 포함한다. 상기 기능키들은 특정 기능을 수행하도록 설정된 방향키, 사이트 키 및 단축키 등을 포함할 수 있다. 또한 키입력부(113)는 사용자 설정 및 휴대단말기의 기능 제어와 관련하여 입력되는 키 신호를 제어부(105)로 전달한다. 특히, 본 발명의 실시예에 따른 상기 키입력부(113)는 사용자가 선택하는 촬영 모드에 해당하는 키 신호를 생성하여 상기 제어부(105)에 전달한다. The key input unit 113 includes a plurality of input keys and function keys for receiving numeric or character information and setting various functions. The function keys may include a direction key, a site key, and an accelerator key set to perform a specific function. The key input unit 113 also transmits a key signal to the control unit 105 in connection with user setting and function control of the portable terminal. In particular, the key input unit 113 according to the embodiment of the present invention generates a key signal corresponding to a photographing mode selected by the user, and transmits the generated key signal to the control unit 105.

도2는 본 발명의 실시예에 따른 원격 영상 촬영 방법을 나타내는 흐름도이고, 도3은 본 발명의 실시예에 따른 휴대단말기의 화면 예시도이다.FIG. 2 is a flowchart illustrating a remote imaging method according to an exemplary embodiment of the present invention, and FIG. 3 is a diagram illustrating a screen of a mobile terminal according to an exemplary embodiment of the present invention.

도2와 도3을 참조하면, 휴대단말기는 S200 단계에서 제어부(105)에 따라 카메라 모드로 동작하고, 표시부(111)에 프리뷰 화면을 디스플레이하고 S210 단계로 이동한다. Referring to FIGS. 2 and 3, the portable terminal operates in the camera mode according to the control unit 105 in step S200, displays a preview screen on the display unit 111, and moves to step S210.

S210 단계에서 상기 제어부(105)는 상기 휴대단말기가 원격 영상 촬영 모드인지 판단한다. 상기 S200 단계에서 상기 표시(111)부에 프리뷰 화면을 디스플레이 하는 도중 키 입력부(113)를 통해 전달되는 키 신호가 있다면 S210 단계로 이동하여 상기 제어부(105)는 상기 키 신호가 원격 영상 촬영을 위한 것인지 판단한다. 만약 S210 단계에서 상기 제어부(105)가 상기 키 신호를 원격 영상 촬영을 위한 신호로 판단하면 S220단계로 이동한다. 그러나, S210 단계에서 상기 제어부(105)가 상기 키 신호를 원격 영상 촬영을 위한 신호가 아니라고 판단하면, S250단계로 이동하여 일반적인 영상 촬영 모드로 동작한다.In step S210, the control unit 105 determines whether the portable terminal is in the remote image capturing mode. If there is a key signal transmitted through the key input unit 113 during the display of the preview screen on the display unit 111 in step S200, the control unit 105 proceeds to step S210, . If the control unit 105 determines that the key signal is a signal for remote imaging in step S210, the process proceeds to step S220. However, if the controller 105 determines in step S210 that the key signal is not a signal for remote image sensing, the controller 105 proceeds to step S250 and operates in a general image sensing mode.

S220 단계에서 상기 제어부(105)는 얼굴인식부(109)를 통해 프리뷰로 입력되 는 피사체의 눈을 트래킹하도록 한다. 상기 휴대단말기가 카메라 모드로 진입하면 프리뷰 상태가 되어 카메라에 의해 촬영되는 화면이 1초당 수 프레임씩 휴대단말기의 표시부에 디스플레이 된다. 이 때 원격 영상 촬영 모드일 경우 본 발명의 실시예에 따른 얼굴인식 기법을 이용하여 상기 얼굴인식부(109)는 상기 프리뷰 화면에 표시되는 피사체로부터 에지(Edge) 정보를 추출하고, 추출된 에지 정보내의 이미지 영역으로부터 눈을 검출한다. 그리고 상기 얼굴인식부(109)는 검출된 눈을 계속해서 트래킹 하도록 하여 S230단계에서 눈 깜박임을 검출할 수 있도록 한다.In step S220, the control unit 105 causes the face recognition unit 109 to track an eye of a subject input as a preview. When the portable terminal enters the camera mode, the previewed state is displayed and a screen shot by the camera is displayed on the display unit of the portable terminal several frames per second. At this time, in the remote image capturing mode, the face recognizing unit 109 extracts edge information from the subject displayed on the preview screen using the face recognition technique according to the embodiment of the present invention, As shown in FIG. Then, the face recognizing unit 109 causes the detected eyes to be continuously tracked so that the eye blinking can be detected in step S230.

상기 얼굴인식부(109)가 피사체의 눈을 트래킹 하는 것은 양쪽 눈 중 한쪽 눈을 트래킹 하는 것도 가능하다. 상기 휴대단말기가 피사체의 의도하지 않은 일반적인 생리적인 눈 깜박임에 있어서 영상 촬영이 되는 것을 막기 위하여 상기 얼굴인식부(109)는 한쪽 눈을 트래킹하여 눈 깜박임을 검출할 수 있도록 한다.When the face recognition unit 109 tracks the eyes of the subject, it is also possible to track one of the eyes of both eyes. In order to prevent the portable terminal from being photographed in an unintended general physiological eye blink of the subject, the face recognition unit 109 may track one eye to detect eye flicker.

또한, S220 단계에서 상기 얼굴인식부(109)는 상기 제어부(105)의 설정에 따라 특정 횟수 이상의 눈 깜박임 또는 특정 시간 이상의 눈 깜박임이 있어야 실제적인 눈 깜박임으로 판단한다. 예를 들어, 상기 제어부(105)가 1초 내에 3번의 눈 깜박임이 있을 경우 상기 눈 깜박임을 촬영 신호로 처리한다고 설정되어 있다면, 얼굴인식부(109)는 눈을 트래킹 하면서 1초 내에 눈 깜박임이 몇번 있었는지 체크하여 3번을 넘을 경우에 한해서만 눈이 깜박였다고 판단한다. 그리고 상기 제어부(105)가 눈 깜박임 시간이 2초 이상일 경우 상기 눈 깜박임을 촬영 신호로 처리한다고 설정되어 있다면, 상기 얼굴인식부(109)는 눈을 트래킹 하면서 눈이 감겨진 시간을 체크하여 2초를 넘을 경우에 한해서만 눈이 깜박였다고 판단할 수도 있다.In step S220, the face recognizing unit 109 determines whether the eye blinks more than a predetermined number of times or blinks more than a specific time according to the setting of the control unit 105 to determine whether the blinking is actually blinking. For example, if the control unit 105 is configured to process the blinking of the eyes as a photographing signal when there are three blinks within one second, the face recognizing unit 109 may blink within one second while tracking the eyes I checked how many times I was there and judged that my eyes were blinking only when I went over 3 times. If the control unit 105 is configured to process the blinking of the eyes as a photographing signal when the blinking time of the blinking time is 2 seconds or more, the face recognizing unit 109 checks the time of eye winding while tracking the eyes, It is possible to judge that the blinking of the snow only occurs.

만약 S220 단계에서 프리뷰로 입력되는 프레임에서 도3의 예시도에서와 같이 복수의 얼굴이 검출되면 상기 제어부(105)는 복수의 얼굴에 숫자를 부여하고 표시부(111)에 디스플레이한다. 이 때, 키입력부(113)로부터 선택된 숫자가 있으면 상기 얼굴인식부(109)는 숫자에 해당하는 얼굴의 눈만을 트래킹하도록 한다.If a plurality of faces are detected as shown in the example of FIG. 3 in a frame input as a preview in step S220, the control unit 105 assigns numbers to a plurality of faces and displays them on the display unit 111. FIG. At this time, if there is a number selected from the key input unit 113, the face recognition unit 109 allows only eyes of the face corresponding to the number to be tracked.

또한, S220 단계에서 프리뷰로 입력되는 프레임에서 복수의 얼굴이 검출되면 상기 얼굴인식부(109)는 복수의 얼굴 중 메모리부(107)에 미리 지정된 인물이 저장되어 있는지 판단한다. 만약 상기 복수의 얼굴 중 상기 메모리부(107)에 미리 지정된 인물이 저장되어 있다면 상기 제어부(105)는 얼굴인식부(109)가 상기 복수의 얼굴 중 상기 메모리부(107)에 미리 지정된 인물의 눈을 트래킹하도록 한다. If a plurality of faces are detected in the frame input in the preview in step S220, the face recognition unit 109 determines whether a predetermined person is stored in the memory unit 107 among the plurality of faces. If a predetermined person is stored in the memory unit 107 among the plurality of faces, the control unit 105 causes the face recognizing unit 109 to recognize the face of the person predetermined in the memory unit 107 among the plurality of faces .

상기 프리뷰로 입력되는 프레임에서 검출된 복수의 얼굴과 상기 메모리부(107)에 미리 지정된 인물을 비교하는 방법은 이 출원 이전에 이미 다양하게 공지되어 시행되는 통상의 기술로, 얼굴의 기하학적 특징점을 추출하여 일치 여부를 판단하는 기하학적 방법, 특징점 추출로 PCA(Principal Component Analysis)를 적용하고 유사도 측정으로 Euclidean 거리를 적용하는 Eigenfaces 방법, FLD(Fisher Linear Discriminant)를 분류 알고리즘으로 적용한 Fisherfaces 방법, PCA와 SVM(Support Vector Machine) 알고리즘을 사용한 SVM에 기초한 방법, 흑백의 정지영상에서 슬라이딩 윈도우를 이용해 학습된 얼굴모양을 검색하는 신경회로망 방법 등이 될 수 있다.A method for comparing a plurality of faces detected in a frame inputted with the preview to a person specified in advance in the memory unit 107 is an ordinary technique which has been variously known and practiced before this application. The geometric feature point of a face is extracted , Eigenfaces method applying Euclidean distance by similarity measure, Fisherfaces method applying FLD (Fisher Linear Discriminant) as classification algorithm, PCA and SVM Support Vector Machine (SVM) -based algorithms, and neural network methods to retrieve facial shapes learned from sliding windows in black and white.

S230 단계에서 상기 얼굴인식부(109)가 눈을 트래킹 하는 도중 눈 깜박임을 검출하면 상기 휴대단말기는 S240 단계로 이동하여 영상 촬영을 수행하고, 메모리 부(107)에 촬영된 영상을 저장한다. 만약 S230 단계에서 눈 깜박임이 없으면 S220 단계로 이동하여 계속해서 눈을 트래킹 하는 과정을 수행한다. 상기 얼굴인식부(109)가 눈 깜박임을 검출하면 상기 눈 깜박임을 상기 제어부(105)로 전달하고, 상기 제어부(105)는 상기 눈 깜박임을 촬영 신호로 처리하여 카메라부(101)로 전달하면 원격으로 영상을 촬영할 수 있다. 이때, 상기 제어부(105)는 상기 얼굴인식부(109)로부터 피사체의 눈 깜박임이 있었다는 것을 받고, 일정 시간이 지난 뒤 촬영 신호로 처리하여 카메라부(101)로 전달할 수도 있다. 피사체의 눈 깜박임이 있은 직후, 영상이 촬영되면 찡그린 표정의 얼굴이 될 수도 있고, 원하는 표정이 나오지 않을 경우가 발생할 수 있기 때문에 눈 깜박임 후 일정 시간이 지난 뒤 촬영할 수 있도록 하는 것도 가능하다. If the face recognizing unit 109 detects eye flicker during eye tracking in step S230, the portable terminal moves to step S240 to perform image capturing and stores the captured image in the memory unit 107. [ If there is no blinking in step S230, the process proceeds to step S220 to continuously track the eyes. When the face recognizing unit 109 detects eye flicker, the control unit 105 transmits the eye flicker to the control unit 105. The control unit 105 processes the eye flickering as a photographing signal, As shown in FIG. At this time, the controller 105 receives the fact that the face blinking of the subject has been blinked from the face recognizing unit 109, processes it as a photographing signal after a predetermined time, and transmits it to the camera unit 101. It is also possible to make it possible to take a picture after a certain period of time after the blinking of the eyes, since the face of the subject may become a grim facial expression when the image is photographed immediately after the blinking of the subject's eyes, or the desired facial expression may not be displayed.

상기한 바와 같이 본 발명에서 제안하는 원격 영상 촬영 방법 및 장치에 따르면, 카메라를 탑재한 휴대단말기에서 피사체의 얼굴인식을 통한 눈 깜박임으로 원격으로 피사체를 촬영함으로써, 사용자의 편의성을 증대시키는 효과가 있다.As described above, according to the remote imaging method and apparatus proposed in the present invention, the convenience of the user is increased by photographing the object remotely by eye flicker through face recognition of the object in the portable terminal equipped with the camera .

Claims (15)

휴대 단말기의 원격 영상 촬영 방법에 있어서,A remote imaging method of a portable terminal, 카메라 모드 시, 원격 촬영 모드로 설정되었는가를 판단하는 과정과, Determining whether the remote shooting mode is set in the camera mode, 상기 판단 결과, 원격 촬영 모드로 설정되어 있으면, 상기 카메라로부터 수신된 프리뷰 영상에서 얼굴인식을 수행하는 과정과, Performing face recognition on a preview image received from the camera when the remote shooting mode is set as a result of the determination; 상기 얼굴 인식 결과 프리뷰 영상에서 복수의 얼굴이 검출되면, 상기 프리뷰 영상에서 검출된 복수의 얼굴 영역마다 숫자를 표시하는 과정과, Displaying a number for each of a plurality of face regions detected in the preview image when a plurality of faces are detected in the face recognition result preview image; 상기 표시된 숫자 중 하나에 해당하는 선택 입력이 있는 경우, 선택된 숫자에 대응하는 특정 얼굴의 눈을 트래킹하는 과정과, 및 Tracking an eye of a specific face corresponding to the selected number when there is a selection input corresponding to one of the displayed numbers; and 상기 특정 얼굴의 눈 깜빡임이 있으면, 피사체를 촬영하는 과정으로 이루어진 것을 특징으로 하는 휴대 단말기의 원격 영상 촬영 방법. And if the blinking of the eye of the specific face is detected, photographing the subject. 제1항에 있어서, 상기 눈 깜박임이 있으면 피사체를 촬영하는 과정은,The method according to claim 1, wherein, when the subject is blinking, 양쪽 눈 중 한쪽 눈을 깜박인 경우에 피사체를 촬영하는 것을 특징으로 하는 휴대단말기의 원격 영상 촬영 방법.And the subject is photographed when one of the eyes is blinking. 제1항 내지 제2항 중 어느 한 항에 있어서, 상기 눈 깜박임이 있으면 피사체를 촬영하는 과정은,The method according to any one of claims 1 to 2, wherein the step of photographing the subject, 눈 깜박임 후 일정 시간이 지난 뒤 상기 피사체를 촬영하는 것을 특징으로 하는 원격 영상 촬영 방법.Wherein the subject is photographed after a predetermined time elapses after blinking. 제1항 내지 제2항 중 어느 한 항에 있어서, 상기 눈 깜박임을 감지하는 과정은,The method according to any one of claims 1 to 5, wherein the step of detecting the blinking of the eyes comprises: 눈 깜박임 횟수 및 눈 깜박임 시간 중 적어도 하나를 이용하여 판단하는 과정을 포함하는 것을 특징으로 하는 휴대단말기의 원격 영상 촬영 방법.And a blinking time of at least one of the number of blinks of the eyes and the blinking time of the blinks. 제4항에 있어서, 상기 눈 깜박임이 있으면 피사체를 촬영하는 과정은,The method according to claim 4, wherein, when the blinking of the eye is detected, 상기 눈 깜박임이 일정 횟수 이상 또는 상기 눈 깜박임 시간이 일정 시간 이상이면 촬영하는 것을 특징으로 하는 휴대단말기의 원격 영상 촬영 방법.Wherein the photographing is performed when the blinking of the eye is more than a predetermined number of times or when the blinking time of the blinking is longer than a predetermined time. 삭제delete 삭제delete 삭제delete 피사체를 촬영하는 카메라부와;A camera unit for photographing a subject; 상기 카메라부를 통하여 입력되는 상기 피사체를 디스플레이하는 표시부와;A display unit for displaying the subject input through the camera unit; 상기 카메라로부터 수집된 프리뷰 영상에서 얼굴인식을 수행하고, 상기 얼굴인식 결과 상기 프리뷰 영상에서 복수의 얼굴이 검출되면, 상기 프리뷰 영상에서 검출된 복수의 얼굴 영역마다 숫자를 표시하고, 상기 표시된 숫자 중 하나에 해당하는 선택 입력이 있는 경우, 선택된 숫자에 대응하는 특정 얼굴의 눈을 트래킹하고, 상기 특정 얼굴의 눈 깜박임을 감지하는 얼굴인식부와; 및Wherein when a plurality of faces are detected in the preview image as a result of the face recognition, a number is displayed for each of a plurality of face regions detected in the preview image, and one of the displayed numbers A face recognition unit for tracking an eye of a specific face corresponding to the selected number and detecting blinking of the specific face; And 상기 눈 깜박임을 촬영 신호로 판단하여 상기 카메라부로 전달하여 카메라 기능이 수행되도록 제어하는 제어부를 구비한 원격 영상 촬영 휴대단말기.And a control unit for determining that the blinking of the eye is a photographing signal and transmitting the blinking signal to the camera unit to control the camera function to be performed. 제9항에 있어서, 10. The method of claim 9, 상기 제어부는 원격 촬영 모드로 설정되어 있는지의 여부에 따라 얼굴인식부를 구동하도록 하는 것을 특징으로 하는 원격 영상 촬영 휴대단말기.Wherein the control unit drives the face recognition unit according to whether the remote shooting mode is set or not. 제9항에 있어서, 10. The method of claim 9, 상기 제어부는 한쪽 눈을 깜박인 경우에 촬영 신호로 판단하는 것을 특징으로 하는 원격 영상 촬영 휴대단말기.Wherein the control unit determines that the camera is a photographing signal when one eye blinks. 제9항 내지 제11항 중 어느 한 항에 있어서, 12. The method according to any one of claims 9 to 11, 상기 제어부는 상기 얼굴인식부가 눈 깜박임을 감지하면 눈 깜박임 후 일정 시간이 지난 뒤 촬영 신호로 판단하는 것을 특징으로 하는 원격 영상 촬영 휴대단말기.Wherein the control unit determines that the image signal is a signal after a predetermined time elapses after the blinking of the eyes when the face recognizing unit detects blinking of the eyes. 제9항에 있어서,10. The method of claim 9, 상기 제어부는 상기 얼굴인식부가 감지한 눈 깜박임의 횟수 및 눈 깜박임 시간 중 어느 하나를 추가로 판단하는 것을 특징으로 하는 원격 영상 촬영 휴대단말기.Wherein the control unit further determines one of a number of eye blinking times and a blinking time of eyes sensed by the face recognizing unit. 제12항에 있어서,13. The method of claim 12, 상기 제어부는 눈 깜박임이 일정 횟수 이상 또는 상기 눈 깜박임 시간이 일정 시간 이상이면 촬영 신호로 판단하는 것을 특징으로 하는 원격 영상 촬영 휴대단말기.Wherein the control unit determines that the image signal is a photographing signal when the blinking of the eye is equal to or more than a predetermined number of times or the blinking time of the eye is equal to or longer than a predetermined time. 삭제delete
KR20070051606A 2007-05-28 2007-05-28 A mobile terminal for photographing image by remote control and a method therefor KR101478560B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR20070051606A KR101478560B1 (en) 2007-05-28 2007-05-28 A mobile terminal for photographing image by remote control and a method therefor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR20070051606A KR101478560B1 (en) 2007-05-28 2007-05-28 A mobile terminal for photographing image by remote control and a method therefor

Publications (2)

Publication Number Publication Date
KR20080104610A KR20080104610A (en) 2008-12-03
KR101478560B1 true KR101478560B1 (en) 2015-01-02

Family

ID=40366200

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20070051606A KR101478560B1 (en) 2007-05-28 2007-05-28 A mobile terminal for photographing image by remote control and a method therefor

Country Status (1)

Country Link
KR (1) KR101478560B1 (en)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101369752B1 (en) * 2007-07-06 2014-03-06 삼성전자주식회사 Digital image processing apparatus and method for controlling the same
KR101351487B1 (en) * 2009-08-13 2014-01-14 엘지전자 주식회사 Mobile terminal and control method thereof
KR102127926B1 (en) * 2013-05-31 2020-06-29 엘지전자 주식회사 Image display device and control method thereof
CN106791447A (en) * 2017-02-25 2017-05-31 深圳市赛亿科技开发有限公司 One kind blink image pickup method and system

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07313459A (en) * 1994-05-20 1995-12-05 Toyota Central Res & Dev Lab Inc Detecting device for opening extent of eyelid
JP2000347277A (en) * 1999-06-03 2000-12-15 Fuji Photo Film Co Ltd Camera and method of pick up
JP2004320285A (en) * 2003-04-15 2004-11-11 Nikon Gijutsu Kobo:Kk Digital camera
JP2005086516A (en) * 2003-09-09 2005-03-31 Canon Inc Imaging device, printer, image processor and program

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07313459A (en) * 1994-05-20 1995-12-05 Toyota Central Res & Dev Lab Inc Detecting device for opening extent of eyelid
JP2000347277A (en) * 1999-06-03 2000-12-15 Fuji Photo Film Co Ltd Camera and method of pick up
JP2004320285A (en) * 2003-04-15 2004-11-11 Nikon Gijutsu Kobo:Kk Digital camera
JP2005086516A (en) * 2003-09-09 2005-03-31 Canon Inc Imaging device, printer, image processor and program

Also Published As

Publication number Publication date
KR20080104610A (en) 2008-12-03

Similar Documents

Publication Publication Date Title
WO2021017561A1 (en) Face recognition method and apparatus, electronic device, and storage medium
US10565763B2 (en) Method and camera device for processing image
KR101001060B1 (en) Tracking device, tracking method, tracking device control program, and comuter readable recording medium
KR101537948B1 (en) Photographing method and apparatus using pose estimation of face
US9924090B2 (en) Method and device for acquiring iris image
CN103916592A (en) Apparatus and method for photographing portrait in portable terminal having camera
CN103914150A (en) Camera control method and device
CN105611373A (en) Video picture processing method and device
CN104679250B (en) The method and device of control electronics working condition
EP3761627B1 (en) Image processing method and apparatus
CN108363939B (en) Characteristic image acquisition method and device and user authentication method
CN104460185A (en) Automatic focusing method and device
CN106357934A (en) Screen-locking control method and device
WO2021047069A1 (en) Face recognition method and electronic terminal device
CN104408399A (en) Face image processing method and apparatus
KR101478560B1 (en) A mobile terminal for photographing image by remote control and a method therefor
KR101782086B1 (en) Apparatus and method for controlling mobile terminal
US20170244891A1 (en) Method for automatically capturing photograph, electronic device and medium
KR101000130B1 (en) Mobile terminal capable face recognition and method for face recognition thereof
CN108921178B (en) Method and device for obtaining image blur degree classification and electronic equipment
CN110969067A (en) User registration and authentication method and device
CN111079108A (en) Fingerprint identification method and device, electronic equipment and storage medium
CN114449212A (en) Object tracking method and device, electronic equipment and storage medium
JP5703120B2 (en) Television viewing support device
CN109492365B (en) Fingerprint information identification method and device

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E90F Notification of reason for final refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
J201 Request for trial against refusal decision
E90F Notification of reason for final refusal
B701 Decision to grant
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20171129

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20181025

Year of fee payment: 5