KR101264797B1 - Method for searching photo by facial recognition in mobile terminal - Google Patents

Method for searching photo by facial recognition in mobile terminal Download PDF

Info

Publication number
KR101264797B1
KR101264797B1 KR1020060100224A KR20060100224A KR101264797B1 KR 101264797 B1 KR101264797 B1 KR 101264797B1 KR 1020060100224 A KR1020060100224 A KR 1020060100224A KR 20060100224 A KR20060100224 A KR 20060100224A KR 101264797 B1 KR101264797 B1 KR 101264797B1
Authority
KR
South Korea
Prior art keywords
face
comparison
photo
picture
mobile terminal
Prior art date
Application number
KR1020060100224A
Other languages
Korean (ko)
Other versions
KR20080034248A (en
Inventor
신성균
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020060100224A priority Critical patent/KR101264797B1/en
Publication of KR20080034248A publication Critical patent/KR20080034248A/en
Application granted granted Critical
Publication of KR101264797B1 publication Critical patent/KR101264797B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions

Abstract

본 발명은 휴대 단말기에서 얼굴인식을 통한 사진 검색 방법에 관한 것으로, 비교얼굴을 입력하는 과정과, 상기 입력된 비교얼굴을 분석하는 과정과, 상기 분석 결과에 따라 상기 입력된 비교얼굴과 일치하는 얼굴이 포함된 사진을 검색하여 표시하는 과정을 포함한다. 본 발명에 따르면, 사전 등록된 비교얼굴 또는 실시간으로 촬영된 비교얼굴을 입력한 다음, 얼굴인식 기능을 통해 입력된 비교얼굴을 분석하여 휴대 단말기에 저장된 사진을 검색함으로써, 사용자가 휴대 단말기에서 용이하게 사진을 검색할 수 있는 이점이 있다. 또한 사용자에 의한 사진 저장 시, 각각의 사진에 상응하는 제목을 일일이 입력하거나 기억하지 않아도 되는 이점이 있다. 이로 인하여 휴대 단말기에 많은 양의 사진을 저장하더라도, 저장된 사진을 용이하게 관리할 수 있는 이점이 있다. The present invention relates to a photo retrieval method through face recognition in a mobile terminal, comprising the steps of inputting a comparison face, analyzing the input comparison face, and matching the face with the input comparison face according to the analysis result. This includes the process of searching for and displaying the included picture. According to the present invention, a user inputs a pre-registered comparison face or a comparison face photographed in real time, and then analyzes the comparison face input through the face recognition function to search for a photo stored in the mobile terminal, thereby allowing the user to easily search the mobile terminal. There is an advantage to searching photos. In addition, when the user saves the picture, there is an advantage of not having to enter or remember the title corresponding to each picture individually. Therefore, even if a large amount of pictures are stored in the mobile terminal, there is an advantage that the stored pictures can be easily managed.

휴대 단말기, 얼굴인식, 사진 Handset, face recognition, photograph

Description

휴대 단말기에서 얼굴인식을 통한 사진 검색 방법{METHOD FOR SEARCHING PHOTO BY FACIAL RECOGNITION IN MOBILE TERMINAL}How to search for photos using face recognition on mobile devices {METHOD FOR SEARCHING PHOTO BY FACIAL RECOGNITION IN MOBILE TERMINAL}

도 1은 본 발명의 실시예에 따른 휴대 단말기의 구성을 개략적으로 도시하는 블록도, 1 is a block diagram schematically showing the configuration of a portable terminal according to an embodiment of the present invention;

도 2는 본 발명의 일 실시예에 따라 비교얼굴을 등록하는 절차를 도시하는 흐름도, 2 is a flowchart illustrating a procedure of registering a comparison face according to an embodiment of the present invention;

도 3은 본 발명의 일 실시예에 따라 사진을 검색하는 절차를 도시하는 흐름도, 그리고3 is a flowchart illustrating a procedure for retrieving a picture according to an embodiment of the present invention; and

도 4는 본 발명의 다른 실시예에 따라 사진을 검색하는 절차를 도시하는 흐름도이다. 4 is a flowchart illustrating a procedure for retrieving a picture according to another embodiment of the present invention.

본 발명은 휴대 단말기에서 사진 검색 방법에 관한 것으로, 특히 얼굴인식 기능을 통한 사진 검색 방법에 관한 것이다. The present invention relates to a photo retrieval method in a mobile terminal, and more particularly, to a photo retrieval method through a face recognition function.

근래에 보급화가 급속하게 늘어나고 있는 휴대 단말기는 통신 기능 이외에 다양한 부가 기능을 수행할 수 있다. 즉 휴대 단말기는 사용자의 요구에 의해 점차 다양한 기능을 구비하고, 많은 양의 정보를 저장한다. 특히 현재의 휴대 단말기는 카메라 기능이 탑재되어 있으며, 많은 양의 사진을 저장할 수 있다. Background Art [0002] In recent years, mobile terminals, which are becoming more and more popular, can perform various additional functions in addition to communication functions. In other words, the portable terminal has various functions gradually and stores a large amount of information at the request of the user. In particular, the current portable terminal is equipped with a camera function, and can store a large amount of pictures.

그런데 상기 휴대 단말기는 촬영 날짜 및 시간에 따라 순차적으로 사진을 저장한다. 즉 상기 휴대 단말기의 사용자가 상기 저장된 사진을 검색하고자 하는 경우, 상기 휴대 단말기는 가장 최근에 촬영된 사진을 우선으로 정렬시켜 표시한다. 이로 인하여 상기 휴대 단말기의 사용자는 상기 저장된 사진들을 순차적으로 일일이 확인함으로써, 선택하고자 하는 사진을 검색해야 한다. However, the portable terminal sequentially stores the pictures according to the shooting date and time. That is, when a user of the portable terminal wants to search the stored picture, the portable terminal sorts and displays the most recently taken picture first. For this reason, the user of the portable terminal should search for the photo to be selected by sequentially checking the stored photos one by one.

또한 상기 휴대 단말기는 촬영 시, 등록된 제목과 함께 사진을 저장할 수 있다. 즉 상기 휴대 단말기의 사용자가 상기 저장된 사진을 검색하고자 하는 경우, 상기 휴대 단말기는 입력되는 검색어에 상응하는 제목을 갖는 사진을 표시한다. 이로 인하여 상기 휴대 단말기의 사용자는 사진 저장 시 제목을 일일이 등록해야 하며, 사진 및 사진에 상응하는 제목을 일일이 기억해 두어야 한다. In addition, the mobile terminal may store a picture with a registered title when the picture is taken. That is, when the user of the mobile terminal wants to search the stored picture, the mobile terminal displays a picture having a title corresponding to the input search word. For this reason, the user of the mobile terminal must register a title when the picture is stored, and must remember the picture and the title corresponding to the picture.

상기한 바와 같이 상기 휴대 단말기에서 사진을 검색하는 것이 용이하지 않다. 이는 상기 휴대 단말기에 저장된 사진이 많을수록 더욱 그러하다. As described above, it is not easy to search for a picture in the mobile terminal. This is more so with more pictures stored in the portable terminal.

따라서 본 발명의 목적은 휴대 단말기에서 용이하게 사진을 검색할 수 있는 방법을 제공하는데 있다. Accordingly, an object of the present invention is to provide a method for easily retrieving a picture from a mobile terminal.

본 발명의 다른 목적은 휴대 단말기에서 얼굴인식 기능을 이용하여 사진을 검색할 수 있는 방법을 제공하는데 있다. Another object of the present invention is to provide a method for retrieving a picture using a face recognition function in a portable terminal.

상기 목적을 달성하기 위한 본 발명의 실시예에 따른 휴대 단말기에서 사진 검색 방법은, 비교얼굴을 입력하는 과정과, 상기 입력된 비교얼굴을 분석하는 과정과, 상기 분석 결과에 따라 상기 입력된 비교얼굴과 일치하는 얼굴이 포함된 사진을 검색하여 표시하는 과정을 포함하는 것을 특징으로 한다. In the portable terminal according to an embodiment of the present invention for achieving the above object, a method of inputting a comparison face, a process of analyzing the input comparison face, and the input comparison face according to the analysis result And searching for and displaying the photo including the face matching the.

이하 첨부된 도면을 참조하여 본 발명의 실시예를 보다 상세하게 설명하고자 한다. Hereinafter, exemplary embodiments will be described in more detail with reference to the accompanying drawings.

하기 설명에서, "비교얼굴"이라는 용어는 통신 단말기에 저장된 사진의 얼굴들과 비교하기 위한 얼굴을 의미한다. "비교얼굴 사진폴더"라는 용어는 통신 단말기에서 상기 비교얼굴로서 이용될 얼굴을 포함하는 사진들이 앨범 내에서 분리저장된 폴더를 의미한다. In the following description, the term "comparative face" means a face for comparison with faces of a picture stored in a communication terminal. The term "comparative face photo folder" means a folder in which pictures including a face to be used as the comparison face in a communication terminal are separately stored in an album.

도 1은 본 발명의 실시예에 따라 얼굴인식 기능을 갖는 휴대 단말기의 구성을 개략적으로 도시하는 블록도이다. 본 발명의 실시예에서 상기 휴대 단말기는 휴대 전화기인 경우를 가정하여 설명한다. 1 is a block diagram schematically illustrating a configuration of a portable terminal having a face recognition function according to an embodiment of the present invention. In the embodiment of the present invention, it is assumed that the mobile terminal is a mobile phone.

상기 도 1을 참조하면, 상기 휴대 단말기(100)는 RF부(105), 데이터 처리부(110), 오디오 처리부(115), 메모리부(120), 제어부(125), 얼굴인식부(130), 카메라부(135), 영상 처리부(140), 표시부(145) 및 키 입력부(150)를 포함한다. Referring to FIG. 1, the portable terminal 100 includes an RF unit 105, a data processing unit 110, an audio processing unit 115, a memory unit 120, a control unit 125, a face recognition unit 130, The camera unit 135 includes an image processor 140, a display unit 145, and a key input unit 150.

RF부(105)는 상기 휴대 단말기(100)의 무선 통신 기능을 수행한다. 상기 RF부(105)는 송신되는 신호의 주파수를 상승변환 및 증폭하는 RF송신기와, 수신되는 신호를 잡음 증폭하고 주파수를 하강변환하는 RF수신기 등을 포함한다. The RF unit 105 performs a wireless communication function of the portable terminal 100. The RF unit 105 includes an RF transmitter for upconverting and amplifying a frequency of a transmitted signal, and an RF receiver for amplifying a received signal and downconverting a frequency of the received signal.

데이터 처리부(110)는 상기 송신되는 신호를 부호화 및 변조하는 송신기 및 상기 수신되는 신호를 복조 및 복호화하는 수신기 등을 포함한다. 여기서 상기 데이터 처리부(110)는 모뎀(MODEM) 및 코덱(CODEC)으로 구성될 수 있다. 이 때 상기 코덱은 패킷데이터 등을 처리하는 데이터 코덱과 음성 등의 오디오 신호를 처리하는 오디오 코덱을 구비한다. The data processor 110 includes a transmitter for encoding and modulating the transmitted signal and a receiver for demodulating and decoding the received signal. The data processor 110 may be configured of a modem and a codec. In this case, the codec includes a data codec for processing packet data and an audio codec for processing an audio signal such as voice.

오디오 처리부(115)는 상기 데이터 처리부(110)의 오디오 코덱에서 출력되는 수신 오디오 신호를 스피커(SPK)를 통해 재생하거나, 마이크(MIC)로부터 발생되는 송신 오디오 신호를 상기 데이터 처리부(110)의 오디오 코덱에 전송하는 기능을 수행한다. The audio processor 115 reproduces the received audio signal output from the audio codec of the data processor 110 through the speaker SPK, or transmits the transmitted audio signal generated from the microphone MIC to the audio of the data processor 110. It performs the function of sending to the codec.

메모리부(120)는 프로그램 메모리 및 데이터 메모리들로 구성될 수 있다. 상기 프로그램 메모리는 상기 휴대 단말기(100)의 동작 프로그램 및 본 발명의 실시예에 따라 얼굴인식 기능을 수행하기 위한 프로그램들을 저장할 수 있다. 그리고 상기 데이터 메모리는 상기 프로그램 수행 중에 발생되는 데이터를 저장한다. 또한 상기 메모리부(120)는 본 발명의 실시예에 따라 입력되는 사진들을 저장하고, 저장된 사진들 중 비교얼굴로 이용할 사진으로서 등록되는 사진들을 별도로 분리저장할 수 있다. The memory unit 120 may be composed of a program memory and a data memory. The program memory may store an operation program of the portable terminal 100 and programs for performing a face recognition function according to an embodiment of the present invention. The data memory stores data generated during the program execution. In addition, the memory unit 120 may store the input pictures according to an embodiment of the present invention, and separately store and store the pictures registered as pictures to be used as comparison faces among the stored pictures.

제어부(125)는 상기 휴대 단말기(100)의 전반적인 동작을 제어하는 기능을 수행한다. 상기 제어부(125)는 본 발명의 실시예에 따라 상기 휴대 단말기(100)에 입력되는 비교얼굴을 분석하여 상기 메모리부(120)로부터 상기 비교얼굴과 일치하는 얼굴이 포함된 사진을 검색하도록 제어한다. 또한 상기 제어부(125)는 검색된 사진을 표시하도록 제어한다. The controller 125 performs a function of controlling the overall operation of the portable terminal 100. According to an embodiment of the present invention, the controller 125 analyzes the comparison face input to the portable terminal 100 and controls the memory unit 120 to search for a picture including a face matching the comparison face. . In addition, the controller 125 controls to display the searched picture.

얼굴인식부(130)는 상기 휴대 단말기(100)의 얼굴인식 기능을 수행한다. 상기 얼굴인식부(130)는 본 발명의 실시예에 따라 상기 휴대 단말기(100)에 입력되는 비교얼굴 및 상기 메모리부(120)에 저장된 사진들의 얼굴을 각각 인식 및 비교한다. 그리고 상기 얼굴인식부(130)는 상기 메모리부(120)에 저장된 사진들 중 상기 비교얼굴과 일치하는 얼굴이 포함된 사진을 검출한다. The face recognition unit 130 performs a face recognition function of the portable terminal 100. The face recognition unit 130 recognizes and compares the comparison face input to the portable terminal 100 and the faces of the pictures stored in the memory unit 120 according to an exemplary embodiment of the present invention. The face recognition unit 130 detects a picture including a face that matches the comparison face among the pictures stored in the memory unit 120.

카메라부(135)는 영상 데이터를 촬영하며, 촬영된 광 신호를 전기적 신호로 변환하는 카메라 센서와, 상기 카메라 센서로부터 촬영되는 아날로그 영상 신호를 디지털 데이터로 변환하는 신호 처리부를 구비한다. 여기서 상기 카메라 센서는 CCD 센서라 가정하며, 상기 신호 처리부는 DSP(Digital Signal Processor)로 구현할 수 있다. 이 때 상기 카메라 센서와 신호 처리부는 일체형으로 구현할 수 있으며, 분리하여 구현할 수도 있다. The camera unit 135 photographs image data, and includes a camera sensor that converts the photographed optical signal into an electrical signal, and a signal processor that converts the analog image signal photographed from the camera sensor into digital data. Herein, it is assumed that the camera sensor is a CCD sensor, and the signal processor may be implemented by a digital signal processor (DSP). In this case, the camera sensor and the signal processor may be implemented in one body or may be implemented separately.

영상 처리부(140)는 상기 카메라부(135)에서 출력되는 영상 신호를 표시하기 위한 화면 데이터를 발생하는 기능을 수행한다. 상기 영상 처리부(140)는 상기 카메라부(135)에서 출력되는 영상 신호를 프레임 단위로 처리하며, 상기 프레임 영상 데이터를 표시부(145)의 특성 및 크기에 맞춰 출력한다. 또한 상기 영상 처리부(140)는 영상 코덱을 구비하며, 표시부에 표시되는 프레임 영상 데이터를 설정된 방식으로 압축하거나, 압축된 프레임 영상 데이터를 원래의 프레임 영상 데이터로 복원하는 기능을 수행한다. 여기서 상기 영상 코덱은 JPEG 코덱, MPEG4 코덱, Wavelet 코덱 등이 될 수 있다. The image processor 140 performs a function of generating screen data for displaying an image signal output from the camera unit 135. The image processor 140 processes the image signal output from the camera unit 135 in units of frames, and outputs the frame image data according to the characteristics and size of the display unit 145. In addition, the image processor 140 includes an image codec and performs a function of compressing the frame image data displayed on the display unit in a set manner or restoring the compressed frame image data to original frame image data. The image codec may be a JPEG codec, an MPEG4 codec, a wavelet codec, or the like.

표시부(145)는 상기 영상 처리부(140)에서 출력되는 영상 신호를 화면으로 표시하며, 상기 제어부(125)에서 출력되는 사용자 데이터를 표시한다. 여기서 상기 표시부(145)는 LCD를 사용할 수 있으며, 이런 경우 상기 표시부(145)는 LCD 제어부, 영상 데이터를 저장할 수 있는 메모리 및 LCD 표시소자 등을 구비할 수 있다. 여기서 상기 LCD를 터치스크린(touch screen) 방식으로 구현하는 경우, 입력부로 동작할 수도 있다. The display unit 145 displays an image signal output from the image processor 140 on a screen, and displays user data output from the control unit 125. In this case, the display unit 145 may use an LCD. In this case, the display unit 145 may include an LCD controller, a memory capable of storing image data, and an LCD display device. In this case, when the LCD is implemented using a touch screen method, the LCD may operate as an input unit.

키 입력부(150)는 숫자 및 문자 정보를 입력하기 위한 키들 및 각종 기능들을 설정하기 위한 기능키들을 구비한다. The key input unit 150 includes keys for inputting numeric and character information and function keys for setting various functions.

도 2는 본 발명의 일 실시예에 따라 비교얼굴을 등록하는 절차를 도시하는 흐름도이다. 2 is a flowchart illustrating a procedure of registering a comparison face according to an embodiment of the present invention.

상기 도 1 및 도 2를 참조하면, 상기 휴대 단말기(100)의 얼굴인식 기능 실행을 위한 비교얼굴의 등록은 상기 키 입력부(150)를 통한 기능키(또는 단축키) 또는 메뉴에서 비교얼굴 등록을 요청하는 것으로부터 출발한다(201). 이후 사용자로부터 촬영을 통한 비교얼굴 등록 요구가 발생하면, 상기 제어부(125)는 이를 인식하고(203), 촬영 모드로 전환한다(205). 1 and 2, registration of a comparison face for executing a face recognition function of the portable terminal 100 requests comparison face registration from a function key (or a shortcut key) or a menu through the key input unit 150. It starts from doing (201). Thereafter, when a comparison face registration request is generated from the user, the controller 125 recognizes this (203), and switches to the shooting mode (205).

다음으로 상기 촬영 모드에서 비교얼굴로 이용할 얼굴이 촬영되면, 상기 제어부(125)는 이를 인식하고(207), 촬영된 얼굴을 상기 메모리부(120)에 별도로 구 비된 비교얼굴 사진폴더에 저장한다(215). Next, when a face to be used as the comparison face is photographed in the photographing mode, the controller 125 recognizes it (207), and stores the photographed face in the comparison face photo folder separately provided in the memory unit 120 ( 215).

한편 상기한 바와 같이 실시간 촬영을 통하여 비교얼굴을 등록하는 방식 이외에, 앨범으로부터 비교얼굴로 이용할 얼굴을 포함하는 사진을 선택하여 비교얼굴을 등록할 수도 있다. 즉 비교얼굴 등록을 요청한 다음(201), 사용자로부터 촬영이 아닌 앨범 검색을 통한 비교얼굴 등록 요구가 발생하면, 상기 제어부(125)는 이를 인식하고(209), 앨범을 검색한다(211). Meanwhile, in addition to the method of registering the comparison face through real-time shooting as described above, the comparison face may be registered by selecting a photo including a face to be used as the comparison face from the album. That is, after requesting the comparison face registration (201), when a comparison face registration request is generated from the user through the album search rather than photographing, the controller 125 recognizes this (209), and searches the album (211).

다음으로 상기 앨범 검색을 통하여 비교얼굴로 이용할 얼굴을 포함하는 사진, 즉 비교얼굴이 선택되면, 상기 제어부(125)는 이를 인식하고(213), 선택된 얼굴을 상기 메모리부(120)에 별도로 구비된 비교얼굴 사진폴더에 저장한다(215). Next, when a photo including a face to be used as a comparison face, that is, a comparison face is selected through the album search, the controller 125 recognizes this (213), and separately selects the selected face in the memory unit 120. The comparison face is stored in the photo folder (215).

도 3은 본 발명의 일 실시예에 따라 사진을 검색하는 절차를 도시하는 흐름도이다. 3 is a flowchart illustrating a procedure for retrieving a picture according to an embodiment of the present invention.

상기 도 1 및 도 3을 참조하면, 본 실시예에서의 사진 검색은 상기 키 입력부(150)를 통한 기능키(또는 단축키) 또는 메뉴에서의 선택에 따라 사진 검색 메뉴를 표시하는 것으로부터 출발한다(301). 이후 사진 검색 메뉴로부터 얼굴인식을 통한 사진 검색이 요청되면, 상기 제어부(125)는 이를 인식하고(303), 얼굴인식 모드 전환 기능이 설정되어 있는지의 여부를 판단한다(305). 그리고 상기 판단 결과, 얼굴인식 모드 전환 기능이 설정되어 있지 않으면, 상기 제어부(125)는 얼굴인식 모드 전환 기능을 설정하고(306), 얼굴인식 모드 전환 기능이 설정되어 있으면, 상기 제어부(125)는 다음 단계를 진행한다.1 and 3, the picture search in the present embodiment starts from displaying a picture search menu according to selection of a function key (or a shortcut key) or a menu through the key input unit 150 ( 301). Then, when a photo search is requested through face recognition from the photo search menu, the controller 125 recognizes this (303) and determines whether the face recognition mode switching function is set (305). If the face recognition mode switch function is not set as a result of the determination, the controller 125 sets the face recognition mode switch function (306), and if the face recognition mode switch function is set, the controller 125 Proceed to next step.

한편 사진 검색 메뉴를 표시한 이후에, 사용자에 의한 요청에 따라 일반 모 드로 사진을 검색할 수도 있다(304). Meanwhile, after displaying the photo search menu, the photo may be searched in the normal mode according to a request by the user (304).

이어서 비교얼굴을 등록하는데 있어서, 사전 등록된 비교얼굴을 선택하기 위한 요구가 발생하면, 상기 제어부(125)는 이를 인식하고(307), 상기 메모리부(120)에 저장된 비교얼굴 사진폴더를 검색한다(309). 그리고 상기 검색을 통하여 비교얼굴이 선택되면, 상기 제어부(125)는 이를 인식하고(311), 얼굴인식 모드로 전환한다(313). Subsequently, in registering a comparison face, when a request for selecting a pre-registered comparison face occurs, the controller 125 recognizes it (307) and searches for a comparison face photo folder stored in the memory unit 120. (309). When the comparison face is selected through the search, the controller 125 recognizes it (311) and switches to the face recognition mode (313).

계속해서 얼굴인식 모드에서, 상기 제어부(125)는 상기 얼굴인식부(130)를 통하여 선택된 비교얼굴을 인식한다(315). 즉 상기 제어부(125)는 상기 얼굴인식부(130)를 통하여 선택된 비교얼굴로부터 얼굴의 동일성 인식에 유용한 분류자들에 해당하는 부분 이미지들을 추출한다. 그리고 상기 제어부(125)는 인식된 비교얼굴과 상기 메모리부(120)에 사전 저장된 앨범의 사진들에 포함된 얼굴들을 비교한다(317). In the face recognition mode, the controller 125 recognizes the comparison face selected through the face recognition unit 130 (315). That is, the controller 125 extracts partial images corresponding to classifiers useful for recognizing the identity of the face from the comparison face selected through the face recognition unit 130. The controller 125 compares the recognized comparison face with faces included in the photos of the album pre-stored in the memory 120 (317).

마지막으로 상기 비교 결과에 따라 상기 제어부(125)는 앨범으로부터 인식된 비교얼굴과 일치하는 얼굴이 포함된 사진이 검출되었는지의 여부를 판단한다(319). 그리고 상기 판단 결과, 인식된 비교얼굴과 일치하는 얼굴이 포함된 사진이 검출되면, 상기 제어부(125)는 검출된 사진을 상기 표시부(145)를 통해 표시한다(321). 즉 상기 제어부(125)는 상기 얼굴인식부(130)를 통하여 추출된 인식된 비교얼굴의 부분 이미지들과 유사한 이미지들을 갖는 얼굴이 포함된 사진을 앨범으로부터 검출하여 표시한다. 이 때 상기 제어부(125)는 하나 이상의 사진을 검출하여 검출된 사진을 리스트로서 표시할 수 있다. 더욱이 상기 제어부(125)는 표시된 리스트 중 사 용자로부터 선택되는 사진을 풀스크린으로 표시할 수 있다. Finally, according to the comparison result, the controller 125 determines whether or not a picture including a face matching the comparison face recognized from the album is detected (319). As a result of the determination, when a picture including a face that matches the recognized comparison face is detected, the controller 125 displays the detected picture through the display unit 145 (321). That is, the controller 125 detects and displays a photo including a face having images similar to partial images of the recognized comparative face extracted through the face recognition unit 130 from the album. In this case, the controller 125 may detect one or more photos and display the detected photos as a list. Furthermore, the controller 125 may display a picture selected from the user on the displayed list on a full screen.

한편 전술한 실시예에서는 사전 등록된 비교얼굴을 이용하여 사진을 검색하는 방법에 대해서만 개시하였으나, 실시간으로 촬영된 비교얼굴을 이용하여 사진을 검색하는 것도 가능하다. 도 4는 그러한 예로서, 도 4는 본 발명의 다른 실시예에 따라 사진을 검색하는 절차를 도시하는 흐름도이다. Meanwhile, in the above-described embodiment, only a method of searching for a picture using a pre-registered comparison face is disclosed, but it is also possible to search for a picture using a comparison face photographed in real time. 4 is such an example, and FIG. 4 is a flowchart illustrating a procedure for retrieving a picture according to another embodiment of the present invention.

상기 도 1 및 도 4를 참조하면, 본 실시예에서의 사진 검색은 상기 키 입력부(150)를 통한 기능키(또는 단축키) 또는 메뉴에서의 선택에 따라 사진 검색 메뉴를 표시하는 것으로부터 출발한다(401). 이후 사진 검색 메뉴로부터 얼굴인식을 통한 사진 검색이 요청되면, 상기 제어부(125)는 이를 인식하고(403), 얼굴인식 모드 전환 기능이 설정되어 있는지의 여부를 판단한다(405). 상기 판단 결과, 얼굴인식 모드 전환 기능이 설정되어 있지 않으면, 상기 제어부(125)는 얼굴인식 모드 전환 기능을 설정하고(406), 얼굴인식 모드 전환 기능이 설정되어 있으면, 상기 제어부(125)는 다음 단계를 진행한다. 1 and 4, the picture search in the present embodiment starts from displaying a picture search menu according to selection of a function key (or a shortcut key) or a menu through the key input unit 150 ( 401). Then, when a photo search is requested through face recognition from the photo search menu, the controller 125 recognizes this (403), and determines whether the face recognition mode switching function is set (405). As a result of the determination, if the face recognition mode switch function is not set, the controller 125 sets the face recognition mode switch function (406), and if the face recognition mode switch function is set, the control unit 125 performs the next step. Proceed with the steps.

한편 사진 검색 메뉴를 표시한 이후에, 사용자에 의한 요청에 따라 일반 모드로 사진을 검색할 수도 있다(404). Meanwhile, after displaying the photo search menu, the photo may be searched in the normal mode according to a request by the user (404).

이어서 비교얼굴을 등록하는데 있어서, 비교얼굴을 촬영하기 위한 요구가 발생하면, 상기 제어부(125)는 이를 인식하고(407), 촬영 모드로 전환한다(409). 이후 비교얼굴이 촬영되면, 상기 제어부(125)는 이를 인식하고(411), 얼굴인식 모드로 전환한다(413). Subsequently, in registering the comparison face, when a request for photographing the comparison face occurs, the controller 125 recognizes it (407) and switches to the shooting mode (409). Thereafter, when the comparison face is photographed, the controller 125 recognizes it (411) and switches to the face recognition mode (413).

계속해서 얼굴인식 모드에서, 상기 제어부(125)는 상기 얼굴인식부(130)를 통하여 촬영된 비교얼굴을 인식한다(415). 즉 상기 제어부(125)는 상기 얼굴인식부(130)를 통하여 촬영된 비교얼굴로부터 얼굴의 동일성 인식에 유용한 분류자들에 해당하는 부분 이미지들을 추출한다. 그리고 상기 제어부(125)는 인식된 비교얼굴과 상기 메모리부(120)에 사전 저장된 앨범의 사진들에 포함된 얼굴들을 비교한다(417).Subsequently, in the face recognition mode, the controller 125 recognizes the comparison face photographed through the face recognition unit 130 (415). That is, the controller 125 extracts partial images corresponding to classifiers useful for recognizing the identity of the face from the comparison face photographed through the face recognition unit 130. The controller 125 compares the recognized comparison face with faces included in the photos of the album pre-stored in the memory 120 (417).

마지막으로 상기 비교 결과에 따라 상기 제어부(125)는 앨범으로부터 상기 촬영된 비교얼굴과 일치하는 얼굴이 포함된 사진이 검출되었는지의 여부를 판단한다(419). 그리고 상기 판단 결과, 인식된 비교얼굴과 일치하는 얼굴이 포함된 사진이 검출되면, 상기 제어부(125)는 검출된 사진을 상기 표시부(145)를 통해 표시한다(421). 즉 상기 제어부(125)는 상기 얼굴인식부(130)를 통하여 추출된 인식된 비교얼굴의 부분 이미지들과 유사한 이미지들을 갖는 얼굴이 포함된 사진을 앨범으로부터 검출하여 표시한다. 이 때 상기 제어부(125)는 하나 이상의 사진을 검출하여 검출된 사진을 리스트로서 표시할 수 있다. 더욱이 상기 제어부(125)는 표시된 리스트 중 사용자로부터 선택되는 사진을 풀스크린으로 표시할 수 있다.Finally, according to the comparison result, the controller 125 determines whether a photo including a face matching the photographed comparison face is detected from the album (419). As a result of the determination, when a picture including a face that matches the recognized comparison face is detected, the controller 125 displays the detected picture through the display unit 145 (421). That is, the controller 125 detects and displays a photo including a face having images similar to partial images of the recognized comparative face extracted through the face recognition unit 130 from the album. In this case, the controller 125 may detect one or more photos and display the detected photos as a list. In addition, the controller 125 may display a picture selected by the user from the displayed list on a full screen.

한편 전술한 실시예들에서는 사전 등록된 비교얼굴 또는 실시간으로 촬영된 비교얼굴을 각각 이용하여 사진을 검색하는 방법에 대해서만 개시하였으나, 필요에 따라 사전 등록된 비교 얼굴 또는 실시간으로 촬영된 비교얼굴을 이용하여 사진을 검색할 수도 있다. 즉 이용할 비교얼굴이 사전 등록되지 않은 경우, 실시간으로 촬영된 비교얼굴을 이용하여 사진을 검색할 수 있으며, 검색하고자 하는 사진의 인물이 근접하게 위치하지 않은 경우, 사전 등록된 비교얼굴을 이용하여 사진을 검색할 수 있다.  Meanwhile, in the above-described embodiments, only a method of searching for a picture using a pre-registered comparison face or a comparison face photographed in real time is disclosed. You can also search for photos. That is, when the comparison face to be used is not pre-registered, the photo may be searched using the comparison face photographed in real time, and when the person of the photo to be searched is not located in close proximity, the photograph is used by using the pre-registered comparison face. You can search for

상술한 바와 같이 본 발명의 실시예에 따른 휴대 단말기에서 얼굴인식을 통한 사진 검색 방법은, 사전 등록된 비교얼굴 또는 실시간으로 촬영된 비교얼굴을 입력한 다음, 얼굴인식 기능을 통해 입력된 비교얼굴을 분석하여 휴대 단말기에 저장된 사진을 검색함으로써, 사용자가 휴대 단말기에서 용이하게 사진을 검색할 수 있는 이점이 있다. 또한 사용자에 의한 사진 저장 시, 각각의 사진에 상응하는 제목을 일일이 입력하거나 기억하지 않아도 되는 이점이 있다. 이로 인하여 휴대 단말기에 많은 양의 사진을 저장하더라도, 저장된 사진을 용이하게 관리할 수 있는 이점이 있다. As described above, in the mobile terminal according to an embodiment of the present invention, a photo retrieval method using face recognition inputs a pre-registered comparison face or a comparison face photographed in real time, and then inputs the comparison face input through the face recognition function. By analyzing and searching for pictures stored in the mobile terminal, there is an advantage that the user can easily search for pictures in the mobile terminal. In addition, when the user saves the picture, there is an advantage of not having to enter or remember the title corresponding to each picture individually. Therefore, even if a large amount of pictures are stored in the mobile terminal, there is an advantage that the stored pictures can be easily managed.

Claims (6)

휴대 단말기에서 사진 검색 방법에 있어서, In the picture retrieval method in a mobile terminal, 비교얼굴 사진을 입력하는 과정과, Inputting a comparison face photo, 상기 입력된 비교얼굴 사진을 분석하는 과정과, Analyzing the input comparison face photograph; 상기 분석 결과에 따라 비교얼굴과 일치하는 얼굴이 포함된 사진을 검색하여 표시하는 과정을 포함하고,Searching for and displaying a picture including a face matching the comparison face according to the analysis result; 상기 입력하는 과정은 사진폴더에 저장된 상기 비교얼굴 사진을 선택하는 과정을 포함하는 것을 특징으로 하는 휴대 단말기에서 사진 검색 방법. The input process includes selecting the comparison face photo stored in the photo folder. 삭제delete 삭제delete 제 1항에 있어서, The method of claim 1, 상기 사진폴더는 실시간으로 촬영된 비교얼굴 사진을 포함하는 것을 특징으로 하는 휴대 단말기에서 사진 검색 방법. The photo folder is a photo search method in a mobile terminal, characterized in that it comprises a comparison face photographed in real time. 제 1항에 있어서,The method of claim 1, 상기 사진폴더는 앨범으로부터 선택된 비교얼굴 사진을 포함하는 것을 특징으로 하는 휴대 단말기에서 사진 검색 방법. And the photo folder includes a comparison face photo selected from an album. 제 1항에 있어서,The method of claim 1, 상기 검색하여 표시하는 과정은 얼굴인식 모드 전환 기능이 설정되어 있는 지 여부를 판단하는 과정을 더 포함하는 것을 특징으로 하는 휴대 단말기에서 사진 검색 방법.The searching and displaying may further include determining whether a face recognition mode switching function is set.
KR1020060100224A 2006-10-16 2006-10-16 Method for searching photo by facial recognition in mobile terminal KR101264797B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020060100224A KR101264797B1 (en) 2006-10-16 2006-10-16 Method for searching photo by facial recognition in mobile terminal

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020060100224A KR101264797B1 (en) 2006-10-16 2006-10-16 Method for searching photo by facial recognition in mobile terminal

Publications (2)

Publication Number Publication Date
KR20080034248A KR20080034248A (en) 2008-04-21
KR101264797B1 true KR101264797B1 (en) 2013-05-15

Family

ID=39573750

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020060100224A KR101264797B1 (en) 2006-10-16 2006-10-16 Method for searching photo by facial recognition in mobile terminal

Country Status (1)

Country Link
KR (1) KR101264797B1 (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101588450B (en) 2008-05-19 2013-08-14 株式会社日立制作所 Recording and reproducing apparatus and method thereof
KR101718770B1 (en) 2010-12-17 2017-03-22 삼성전자주식회사 Method for displaying message in mobile communication terminal
KR102061787B1 (en) 2017-11-29 2020-01-03 삼성전자주식회사 The Electronic Device Shooting Image and the Method for Displaying the Image

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100705177B1 (en) * 2006-01-09 2007-04-06 엘지전자 주식회사 Mobile communication terminal and method for classifying photograph using the same

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100705177B1 (en) * 2006-01-09 2007-04-06 엘지전자 주식회사 Mobile communication terminal and method for classifying photograph using the same

Also Published As

Publication number Publication date
KR20080034248A (en) 2008-04-21

Similar Documents

Publication Publication Date Title
EP3522054B1 (en) Apparatus and method for managing application in wireless terminal
JP5522976B2 (en) How to use image information on mobile devices
KR100678209B1 (en) Method for controlling image in wireless terminal
US20050288063A1 (en) Method for initiating voice recognition mode on mobile terminal
KR100703330B1 (en) Method for searching devices for bluetooth in wireless terminal
US20130053010A1 (en) Apparatus and method for performing a call connection in portable terminal
KR100790177B1 (en) Method and device for image displaying in wireless terminal
KR100630200B1 (en) Method for operating calculator mode in the portable terminal
CN107783715A (en) Using startup method and device
CN106303260A (en) Photographic head changing method, device and terminal unit
CN107786739B (en) Information acquisition method and mobile terminal
CN105513101B (en) Image processing method and device
KR100484245B1 (en) Apparatus for automatic seaching and managementing a image phone book of mobile phone and method there of
KR101264797B1 (en) Method for searching photo by facial recognition in mobile terminal
KR100689458B1 (en) Method for controlling brightness of display in wireless terminal
KR20070023880A (en) Apparatus and method of user recognizing for portable device
US20090087102A1 (en) Method and apparatus for registering image in telephone directory of portable terminal
KR101499133B1 (en) Method and device for performing menu in wireless terminal
KR20090011581A (en) Apparatus and method for eyeball recognition photographing of the camera in a portable terminal
KR100703414B1 (en) Method for providing information using wireless terminal
KR100678130B1 (en) Method for performing call in wireless terminal
KR20100066330A (en) Method and device for processing input data using photographed image
KR101677622B1 (en) Image display method and apparatus thereof
KR101132112B1 (en) Wireless telecommunication terminal and method for managing photo album according to subject
KR101232448B1 (en) Method for outputting data　in wireless terminal according to folder open/close

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160428

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20170427

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20180427

Year of fee payment: 6