KR20150043795A - 영상처리장치 및 그 제어방법 - Google Patents

영상처리장치 및 그 제어방법 Download PDF

Info

Publication number
KR20150043795A
KR20150043795A KR20130122647A KR20130122647A KR20150043795A KR 20150043795 A KR20150043795 A KR 20150043795A KR 20130122647 A KR20130122647 A KR 20130122647A KR 20130122647 A KR20130122647 A KR 20130122647A KR 20150043795 A KR20150043795 A KR 20150043795A
Authority
KR
South Korea
Prior art keywords
face
user
image
profile
feature vector
Prior art date
Application number
KR20130122647A
Other languages
English (en)
Inventor
김상윤
정기준
조은희
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR20130122647A priority Critical patent/KR20150043795A/ko
Priority to US14/321,037 priority patent/US20150104082A1/en
Priority to PCT/KR2014/008860 priority patent/WO2015056893A1/en
Publication of KR20150043795A publication Critical patent/KR20150043795A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G06V10/993—Evaluation of the quality of the acquired pattern
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/441—Acquiring end-user identification, e.g. using personal code sent by the remote control or by inserting a card
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Abstract

본 발명의 실시예에 따른 영상처리장치는, 카메라와; 카메라에 의해 촬영된 영상을 처리하여 영상 내의 사용자의 얼굴을 판별하는 프로세서와; 소정 시간 동안에 촬영된 영상이 포함하는 복수의 영상프레임 내의 하나 이상의 사용자의 얼굴을 추적함으로써 각각의 영상프레임에서 동일한 사용자의 얼굴이 나타나는지 여부를 판단하고, 복수의 영상프레임에서 동일한 사용자의 얼굴이 나타나는 것으로 판단되면 동일한 사용자의 얼굴에 대한 판별을 수행하도록 프로세서를 제어하는 컨트롤러를 포함하는 것을 특징으로 한다.

Description

영상처리장치 및 그 제어방법 {IMAGE PROCESSING APPARATUS AND CONTROL METHOD THEREOF}
본 발명은 영상데이터를 영상으로 표시 가능하게 처리하는 영상처리장치 및 그 제어방법에 관한 것으로서, 상세하게는 카메라를 통해 촬영된 영상 내의 각 사용자의 얼굴을 인식함으로써 영상 내의 사용자를 판별할 수 있는 구조의 영상처리장치 및 그 제어방법에 관한 것이다.
영상처리장치는 외부로부터 수신되는 영상신호/영상데이터를 다양한 영상처리 프로세스에 따라서 처리한다. 영상처리장치는 처리된 영상신호를 자체 구비한 디스플레이 패널 상에 영상으로 표시하거나, 또는 패널을 구비한 타 디스플레이장치에서 영상으로 표시되도록 이 처리된 영상신호를 해당 디스플레이장치에 출력할 수 있다. 즉, 영상처리장치는 영상신호를 처리 가능한 장치라면 영상을 표시 가능한 패널을 포함하는 경우 및 패널을 포함하지 않는 경우 모두 포함할 수 있는 바, 전자의 경우의 예시로는 TV가 있으며, 후자의 경우의 예시로는 셋탑박스(set-top box)가 있다.
영상처리장치는 기술의 발전에 따라서 다양한 기능의 추가 및 확장이 계속적으로 반영되고 있는 바, 예를 들면 영상처리장치는 카메라를 통해 전방에 있는 하나 이상의 사람을 촬영하고, 촬영한 영상 내에서 사람의 얼굴을 인식 및 판별하여 대응하는 동작을 실행하도록 할 수 있다. 예를 들면, 영상처리장치의 계정을 로그인함에 있어서, ID 및 패스워드를 입력하는 방법 대신에, 사용자의 얼굴을 인식하여 로그인을 수행하는 방법이 가능하다.
카메라에 의해 촬영된 영상 내에 포함되는 사람의 얼굴을 인식하는 방법으로는 3차원 카메라를 사용한 모델링 기반의 분석방법이 있는데, 이는 3차원 카메라를 통하여 사람의 얼굴 및 머리 부분을 모델링하고, 모델링 결과로부터 사람의 얼굴을 판별하는 방법이다. 이 방법을 사용하면 사람의 얼굴에 대한 정밀한 인식 결과를 기대할 수 있지만, 데이터 처리량이 많고 구현 난이도가 높으므로 일반적인 TV 등에 실제로 적용하는 것이 용이하지 않을 수 있다. 이에, 2차원 카메라에 의한 촬영 영상에서, 사람의 얼굴을 용이하게 인식 및 판별할 수 있는 방법 및 구조가 요구된다.
본 발명의 실시예에 따른 영상처리장치는, 카메라와; 상기 카메라에 의해 촬영된 영상을 처리하여 상기 영상 내의 사용자의 얼굴을 판별하는 프로세서와; 소정 시간 동안에 촬영된 상기 영상이 포함하는 복수의 영상프레임 내의 하나 이상의 사용자의 얼굴을 추적함으로써 각각의 상기 영상프레임에서 동일한 사용자의 얼굴이 나타나는지 여부를 판단하고, 상기 복수의 영상프레임에서 동일한 사용자의 얼굴이 나타나는 것으로 판단되면 상기 동일한 사용자의 얼굴에 대한 판별을 수행하도록 상기 프로세서를 제어하는 컨트롤러를 포함하는 것을 특징으로 한다.
여기서, 기 설정된 얼굴의 프로파일을 저장하는 스토리지를 더 포함하며, 상기 컨트롤러는, 상기 영상프레임으로부터 상기 사용자의 얼굴에 대한 특징벡터를 추출하고, 상기 사용자의 얼굴에 대한 제1특징벡터를 상기 스토리지에 저장된 프로파일의 제2특징벡터와 비교함으로써 유사도를 판단하며, 상기 복수의 영상프레임 각각에 대한 상기 유사도의 판단 이력에 기초하여 상기 사용자의 얼굴에 대한 판별을 수행할 수 있다.
여기서, 상기 컨트롤러는, 상기 복수의 영상프레임 각각에 대한 상기 유사도의 판단 이력 내에서 상기 프로파일에 대응하는 것으로 판단되는 회수가 기 설정 값보다 크면 상기 사용자의 얼굴이 상기 프로파일에 대응하는 것으로 판별할 수 있다.
여기서, 상기 컨트롤러는, 상기 사용자의 얼굴이 상기 프로파일에 대응하는 것으로 판별하면 상기 대응 프로파일에 상기 제1특징벡터를 업데이트할 수 있다.
또한, 상기 컨트롤러는, 상기 복수의 영상프레임 각각에 대한 상기 유사도의 판단 이력 내에서 상기 프로파일에 대응하는 것으로 판단되는 회수가 기 설정 값보다 작으면 상기 사용자의 얼굴이 기 저장된 상기 프로파일에 없는 신규한 것으로 판별할 수 있다.
여기서, 상기 컨트롤러는, 상기 사용자의 얼굴이 신규한 것으로 판별하면 상기 제1특징벡터로 새로운 프로파일을 등록 및 저장할 수 있다.
또한, 상기 컨트롤러는, 어느 한 상기 영상프레임에 대해 상기 제1특징벡터 및 상기 제2특징벡터 사이의 유사도가 기 설정 레벨보다 큰 값을 나타내면 상기 사용자의 얼굴이 상기 프로파일에 대응하는 것으로 판별할 수 있다.
또한, 상기 컨트롤러는, 상기 영상프레임에서 검출된 상기 사용자의 얼굴에 대해 얼굴의 각 기관의 인식에 관한 신뢰도를 판별하고, 상기 신뢰도가 기 설정 레벨 이상인 경우에 상기 사용자의 얼굴에 대한 특징벡터를 추출할 수 있다.
또한, 상기 컨트롤러는, 하나의 상기 영상프레임 내에서 검출된 각 얼굴을 구성하는 영상프레임 영역의 데이터를 기초로 하여 이후 시점의 상기 영상프레임들에서 상기 동일한 사용자의 얼굴을 추적할 수 있다.
또한, 본 발명의 실시예에 따른 영상처리장치의 제어방법은, 상기 영상처리장치의 카메라에 의해 촬영된 영상을 수신하는 단계와; 소정 시간 동안에 촬영된 상기 영상이 포함하는 복수의 영상프레임 내의 하나 이상의 사용자의 얼굴을 추적함으로써 각각의 상기 영상프레임에서 동일한 사용자의 얼굴이 나타나는지 여부를 판단하는 단계와; 상기 복수의 영상프레임에서 동일한 사용자의 얼굴이 나타나는 것으로 판단되면 상기 동일한 사용자의 얼굴에 대한 판별을 수행하는 단계를 포함하는 것을 특징으로 한다.
여기서, 상기 동일한 사용자의 얼굴에 대한 판별을 수행하는 단계는, 상기 영상프레임으로부터 상기 사용자의 얼굴에 대한 특징벡터를 추출하는 단계와; 상기 사용자의 얼굴에 대한 제1특징벡터를 기 설정된 얼굴의 프로파일의 제2특징벡터와 비교함으로써 유사도를 판단하는 단계와; 상기 복수의 영상프레임 각각에 대한 상기 유사도의 판단 이력에 기초하여 상기 사용자의 얼굴에 대한 판별을 수행하는 단계를 포함할 수 있다.
여기서, 상기 복수의 영상프레임 각각에 대한 상기 유사도의 판단 이력에 기초하여 상기 사용자의 얼굴에 대한 판별을 수행하는 단계는, 상기 복수의 영상프레임 각각에 대한 상기 유사도의 판단 이력 내에서 상기 프로파일에 대응하는 것으로 판단되는 회수가 기 설정 값보다 크면 상기 사용자의 얼굴이 상기 프로파일에 대응하는 것으로 판별하는 단계를 포함할 수 있다.
여기서, 상기 복수의 영상프레임 각각에 대한 상기 유사도의 판단 이력에 기초하여 상기 사용자의 얼굴에 대한 판별을 수행하는 단계는, 상기 사용자의 얼굴이 상기 프로파일에 대응하는 것으로 판별하면 상기 대응 프로파일에 상기 제1특징벡터를 업데이트하는 단계를 더 포함할 수 있다.
또한, 상기 복수의 영상프레임 각각에 대한 상기 유사도의 판단 이력에 기초하여 상기 사용자의 얼굴에 대한 판별을 수행하는 단계는, 상기 복수의 영상프레임 각각에 대한 상기 유사도의 판단 이력 내에서 상기 프로파일에 대응하는 것으로 판단되는 회수가 기 설정 값보다 작으면 상기 사용자의 얼굴이 기 저장된 상기 프로파일에 없는 신규한 것으로 판별하는 단계를 포함할 수 있다.
여기서, 상기 복수의 영상프레임 각각에 대한 상기 유사도의 판단 이력에 기초하여 상기 사용자의 얼굴에 대한 판별을 수행하는 단계는, 상기 사용자의 얼굴이 신규한 것으로 판별하면 상기 제1특징벡터로 새로운 프로파일을 등록하는 단계를 더 포함할 수 있다.
또한, 상기 유사도를 판단하는 단계는, 어느 한 상기 영상프레임에 대해 상기 제1특징벡터 및 상기 제2특징벡터 사이의 유사도가 기 설정 레벨보다 큰 값을 나타내면 상기 사용자의 얼굴이 상기 프로파일에 대응하는 것으로 판별하는 단계를 포함할 수 있다.
또한, 상기 사용자의 얼굴에 대한 특징벡터를 추출하는 단계는, 상기 영상프레임에서 검출된 상기 사용자의 얼굴에 대해 얼굴의 각 기관의 인식에 관한 신뢰도를 판별하고, 상기 신뢰도가 기 설정 레벨 이상인 경우에 상기 사용자의 얼굴에 대한 특징벡터를 추출하는 단계를 포함할 수 있다.
또한, 상기 각각의 상기 영상프레임에서 동일한 사용자의 얼굴이 나타나는지 여부를 판단하는 단계는, 하나의 상기 영상프레임 내에서 검출된 각 얼굴을 구성하는 영상프레임 영역의 데이터를 기초로 하여 이후 시점의 상기 영상프레임들에서 상기 동일한 사용자의 얼굴을 추적하는 단계를 포함할 수 있다.
도 1은 본 발명의 실시예에 따른 디스플레이장치의 예시도,
도 2는 도 1의 디스플레이장치의 구성 블록도,
도 3은 도 1의 디스플레이장치에서 프로세서의 구성 블록도,
도 4는 도 1의 디스플레이장치에서 처리되는, 소정 시간 동안의 복수의 영상프레임에 대한 인식 결과 히스토리를 나타내는 표의 예시도,
도 5 및 도 6은 도 1의 디스플레이장치가 영상 내의 얼굴을 판별하는 방법을 나타내는 플로우차트이다.
이하에서는 첨부도면을 참조하여 본 발명에 대해 상세히 설명한다. 이하 실시예에서는 본 발명의 사상과 직접적인 관련이 있는 구성들에 관해서만 설명하며, 그 외의 구성에 관해서는 설명을 생략한다. 그러나, 본 발명의 사상이 적용된 장치 또는 시스템을 구현함에 있어서, 이와 같이 설명이 생략된 구성이 불필요함을 의미하는 것이 아님을 밝힌다.
도 1은 본 발명의 실시예에 따른 영상처리장치(100)의 예시도이다. 본 실시예에서의 영상처리장치(100)는 자체적으로 영상을 표시할 수 있는 구조의 디스플레이장치로 구현된다. 그러나, 본 발명의 사상은 셋탑박스와 같이 자체적으로 영상을 표시할 수 없는 장치의 경우에도 적용할 수 있는 바, 이 경우에 영상처리장치(100)는 별도의 외부 디스플레이장치에 로컬 접속됨으로써 외부 디스플레이장치에 영상이 표시되도록 할 수도 있다.
도 1에 도시된 바와 같이, 본 실시예에 따른 디스플레이장치(100)는 영상데이터를 처리하여 영상을 표시함으로써, 전방의 사용자에게 영상을 제공한다. 디스플레이장치(100)의 일반적인 구현 예시로 TV를 들 수 있으며 본 실시예에서는 디스플레이장치(100)가 TV인 경우를 전제로 하여 설명한다.
디스플레이장치(100)는 사용자로부터 입력되는, 또는 사용자에 의해 발생하는 다양한 형태의 이벤트에 따라서, 해당 이벤트에 대응하게 기 설정된 기능을 수행한다. 이벤트의 형태 중 하나로는 디스플레이장치(100)의 전방에 있는 사용자의 얼굴이 기 저장된 사람 얼굴의 프로파일(profile)에 대응하는지에 관한 판별 과정이 있는데, 이를 위하여 디스플레이장치(100)는 외부 환경을 촬영하는 카메라(150)를 포함한다.
디스플레이장치(100)는 카메라(150)에 의해 촬영된 촬영영상을 분석하여, 촬영영상 내에 나타난 사용자의 얼굴을 인식하여 해당 얼굴이 디스플레이장치(100)에 기 저장된 얼굴의 프로파일에 해당하는지 또는 어떠한 프로파일에도 해당하지 않는지에 관한 것을 판별한다. 디스플레이장치(100)는 사용자의 얼굴에 대응하는 프로파일이 판별되면, 판별 결과에 기초하여 기 설정된 기능을 수행한다. 예를 들면, 사용자의 얼굴을 인식한 결과에 따라서 계정에 로그인하도록 설정되어 있는 경우에, 디스플레이장치(100)는 소정 시간 동안에 촬영된 촬영영상 내의 사용자의 얼굴이 특정 프로파일에 대응하는 것으로 분석되면, 해당 프로파일에 미리 지정된 계정으로 로그인을 수행한다.
이하, 디스플레이장치(100)의 구체적인 구성에 관해 설명한다.
도 2는 디스플레이장치(100)의 구성 블록도이다.
도 2에 도시된 바와 같이, 디스플레이장치(100)는 외부와 데이터/신호를 송수신하도록 통신하는 통신 인터페이스(interface)(110)와, 통신 인터페이스(110)에 수신되는 데이터를 기 설정된 프로세스(process)에 따라서 처리하는 프로세서(processor)(120)와, 프로세서(120)에서 처리되는 데이터가 영상데이터인 경우에 해당 영상데이터를 영상으로 표시하는 디스플레이(display)(130)와, 사용자에 의한 입력 동작이 수행되는 사용자 인터페이스(140)와, 디스플레이장치(100)의 외부 환경을 촬영하는 카메라(camera)(150)와, 데이터/정보가 저장되는 스토리지(storage)(160)와, 디스플레이장치(100)의 제반 동작을 제어하는 컨트롤러(controller)(170)를 포함한다.
통신 인터페이스(110)는 디스플레이장치(100)가 서버 등과 같은 외부장치(미도시)와 양방향 통신이 가능하도록 데이터의 송수신을 수행한다. 통신 인터페이스(110)는 기 설정된 통신 프로토콜(protocol)에 따라서, 유선/무선을 통한 광역/근거리 네트워크 또는 로컬 접속 방식으로 외부장치(미도시)에 접속한다.
통신 인터페이스(110)는 각 장치 별 접속 포트(port) 또는 접속 모듈(module)의 집합체에 의해 구현될 수 있는 바, 접속을 위한 프로토콜 또는 접속 대상이 되는 외부장치가 하나의 종류 또는 형식으로 한정되지 않는다. 통신 인터페이스(110)는 디스플레이장치(100)에 내장된 형태일 수 있으며, 전체 또는 일부의 구성이 디스플레이장치(100)에 애드-온(add-on) 또는 동글(dongle) 형태로 추가 설치되는 형식도 가능하다.
통신 인터페이스(110)는 접속된 각 장치 별로 지정된 프로토콜에 따라서 신호의 송수신이 이루어지는 바, 접속된 각 장치에 대해 개별적인 접속 프로토콜 기반으로 신호를 송수신할 수 있다. 영상데이터의 경우를 예로 들면, 통신 인터페이스(110)는 RF(radio frequency)신호, 컴포지트(composite)/컴포넌트(component) 비디오, 슈퍼 비디오(super video), SCART, HDMI(high definition multimedia interface), 디스플레이포트(DisplayPort), UDI(unified display interface), 또는 와이어리스(wireless) HD 등 다양한 규격을 기반으로 신호의 송수신이 가능하다.
프로세서(120)는 통신 인터페이스(110)에 수신되는 데이터/신호에 대해 다양한 프로세스를 수행한다. 통신 인터페이스(110)에 영상데이터가 수신되면, 프로세서(120)는 영상데이터에 대해 영상처리 프로세스를 수행하고, 이러한 프로세스가 수행된 영상데이터를 디스플레이(130)에 출력함으로써 디스플레이(130)에 해당 영상데이터에 기초하는 영상이 표시되게 한다. 통신 인터페이스(110)에 수신되는 신호가 방송신호인 경우, 프로세서(120)는 특정 채널로 튜닝된 방송신호로부터 영상, 음성 및 부가데이터를 추출하고, 영상을 기 설정된 해상도로 조정하여 디스플레이(130)에 표시되게 한다.
프로세서(120)가 수행하는 영상처리 프로세스의 종류는 한정되지 않으며, 예를 들면 영상데이터의 영상 포맷에 대응하는 디코딩(decoding), 인터레이스(interlace) 방식의 영상데이터를 프로그레시브(progressive) 방식으로 변환하는 디인터레이싱(de-interlacing), 영상데이터를 기 설정된 해상도로 조정하는 스케일링(scaling), 영상 화질 개선을 위한 노이즈 감소(noise reduction), 디테일 강화(detail enhancement), 프레임 리프레시 레이트(frame refresh rate) 변환 등을 포함할 수 있다.
프로세서(120)는 데이터의 종류, 특성에 따라서 다양한 프로세스를 수행할 수 있는 바, 프로세서(120)가 수행 가능한 프로세스를 영상처리 프로세스로 한정할 수 없다. 또한, 프로세서(120)가 처리 가능한 데이터가 통신 인터페이스(110)에 수신되는 것만으로 한정할 수 없다. 예를 들면, 프로세서(120)는 사용자 인터페이스(140)를 통해 사용자의 발화가 입력되면, 기 설정된 음성처리 프로세스에 따라서 해당 발화를 처리할 수 있다.
프로세서(120)는 이러한 여러 기능을 통합시킨 SOC(system-on-chip)가, 또는 이러한 각 프로세스를 독자적으로 수행할 수 있는 개별적인 칩셋(chip-set)들이 인쇄회로기판 상에 장착된 영상처리보드(미도시)로 구현되며, 디스플레이장치(100)에 내장된다.
디스플레이(130)는 프로세서(120)에 의해 처리된 영상신호/영상데이터를 영상으로 표시한다. 디스플레이(130)의 구현 방식은 한정되지 않는 바, 액정(liquid crystal), 플라즈마(plasma), 발광 다이오드(light-emitting diode), 유기발광 다이오드(organic light-emitting diode), 면전도 전자총(surface-conduction electron-emitter), 탄소 나노 튜브(carbon nano-tube), 나노 크리스탈(nano-crystal) 등의 다양한 디스플레이 방식으로 구현될 수 있다.
디스플레이(130)는 그 구현 방식에 따라서 부가적인 구성을 추가적으로 포함할 수 있다. 예를 들면, 액정 방식인 경우에, 디스플레이(130)는 액정 디스플레이 패널(미도시)과, 이에 광을 공급하는 백라이트유닛(미도시)과, 패널(미도시)을 구동시키는 패널구동기판(미도시) 등을 포함한다.
사용자 인터페이스(140)는 사용자의 조작 또는 입력에 따라서 기 설정된 다양한 제어 커맨드(command) 또는 정보를 컨트롤러(170)에 전달한다. 사용자 인터페이스(140)는 사용자의 의도에 따라서 사용자에 의해 발생하는 다양한 이벤트(event)를 정보화하여 컨트롤러(170)에 전달한다. 여기서, 사용자에 의해 발생하는 이벤트는 여러 가지 형태가 가능한 바, 예를 들면 사용자가 리모트 컨트롤러(미도시)를 조작하거나, 사용자의 발화 등이 가능하다.
카메라(150)는 디스플레이장치(100)의 외부 환경, 특히 사용자의 모습을 촬영하여 그 촬영 결과를 프로세서(120) 또는 컨트롤러(170)에 전달한다. 본 실시예에 따른 카메라(150)는 2차원 촬영 방식에 따라서 사용자의 모습을 촬영한 촬영영상을 프로세서(120) 또는 컨트롤러(170)에 제공함으로써, 컨트롤러(170)가 촬영영상의 영상프레임 내에서 사용자의 형상 및 모습을 특정할 수 있도록 한다.
스토리지(160)는 컨트롤러(170)의 제어에 따라서 다양한 데이터가 저장된다. 스토리지(160)는 시스템 전원의 제공 유무와 무관하게 데이터를 보존할 수 있도록, 플래시메모리(flash-memory), 하드디스크 드라이브(hard-disc drive)와 같은 비휘발성 메모리로 구현된다. 스토리지(150)는 컨트롤러(170)에 대해 억세스(access)됨으로써, 기 저장된 데이터의 독취, 기록, 수정, 삭제, 갱신 등이 수행된다.
본 실시예에 따른 스토리지(160)는 하나 이상의 사람의 얼굴의 프로파일이 저장된다. 이러한 프로파일은 사전에 미리 스토리지(160)에 저장되며, 각각 어느 한 사람의 얼굴을 특정하는 기준이 되는 데이터이다. 프로파일의 데이터의 내용 및 구현방식은 한정되지 않지만, 본 실시예에 따르면 프로파일은 어느 한 사람의 얼굴을 판별하기 위해 유사도를 비교하는 기준이 되는 하나 이상의 특징벡터 값을 포함할 수 있다. 이에 관한 보다 자세한 설명은 후술한다.
컨트롤러(160)는 CPU로 구현되며, 소정 이벤트의 발생에 따라서 프로세서(120)를 비롯한 디스플레이장치(100)의 제반 구성의 동작을 제어한다. 본 실시예에서의 컨트롤러(170)는 카메라(150)를 통해 촬영된 영상 내의 사용자의 얼굴을 인식하도록 동작한다.
구체적으로, 컨트롤러(170)는 카메라(150)를 통해 소정 시간 동안에 촬영된 촬영영상으로부터 사용자의 얼굴을 특정하는 데이터를 추출하고, 특정된 얼굴의 데이터가 기 저장된 하나 이상의 사람 얼굴의 프로파일 중에서 적어도 어느 하나에 대응하는지 여부를 판단하도록 프로세서(120)를 제어한다. 여기서, 사용자의 얼굴을 특정하는 데이터의 특성은 기 설정된 알고리즘이 적용됨으로써 생성된 바이너리 데이터/코드로 구현된 특징벡터 값일 수 있으며, 해당 알고리즘은 다양한 공지기술이 적용되어 생성될 수 있다.
컨트롤러(170)는 촬영영상 내에서 특정된 얼굴의 데이터가 어느 한 프로파일에 대응하는 것으로 판단하면, 사용자의 얼굴이 해당 프로파일에 대응하는 것으로 판별한다. 그리고, 컨트롤러(170)는 해당 얼굴의 데이터를 해당 프로파일에 업데이트한다.
반면, 컨트롤러(170)는 촬영영상 내에서 특정된 얼굴의 데이터가 어떠한 프로파일에도 대응하지 않는 것으로 판단하면, 해당 데이터에 기초하여 새로운 프로파일을 생성한다.
촬영영상 내에서 추출된 얼굴의 데이터를 판별 결과에 따라서 기 저장된 프로파일의 데이터베이스에 업데이트 또는 추가시킴으로써, 이후의 얼굴 인식 과정에서 사용자의 얼굴의 인식 정확도를 향상시킬 수 있다.
디스플레이장치(100)가 사용자의 얼굴을 인식하는 동작은, 예를 들면 다음과 같은 과정에 의해 진행될 수 있다. 디스플레이장치(100)는 카메라(150)에 의해 사용자의 얼굴을 촬영할 것임으로 UI 또는 음성을 통해 안내함으로써, 사용자가 의도적으로 카메라(150)를 향한 정면을 보도록 하거나, 사용자의 표정 및 움직임을 최소화하도록 유도한다. 사용자는 디스플레이장치(100)의 안내에 따라서 표정, 움직임, 자세 등 인식 성능에 영향을 줄 수 있는 요인들의 변화를 최소화하도록 행동을 고정시키며, 디스플레이장치(100)는 사용자가 이와 같이 자세를 잡은 상태에서 카메라(150)를 통해 사용자의 얼굴을 촬영 및 분석한다.
그런데 이러한 과정은 사용자의 얼굴을 판별함에 있어서 높은 정확도를 기대할 수 있지만, 사용자가 의도적으로 경직된 자세를 취하도록 유도함으로써 사용자에게 불편함을 줄 수 있다. 따라서, 사용자가 촬영 과정을 인지하고 있지 않은 상태에서 발생하는 사용자의 표정, 움직임, 자세 등 다양한 변화에 대응하여, 실시간으로 얼굴 인식을 수행하는 방법이 요구된다.
이에, 본 발명의 실시예에 따르면 다음과 같은 방법이 제안된다.
디스플레이장치(100)는 소정 시간 동안에 카메라(150)에 의해 촬영된 영상이 포함하는 복수의 영상프레임 내에서 하나 이상의 사용자의 얼굴을 추적함으로써, 각각의 영상프레임에 동일한 사용자의 얼굴이 나타나는지 여부를 판단한다. 그리고, 디스플레이장치(100)는 이들 영상프레임에서 동일한 사용자의 얼굴이 나타나는 것으로 판단하면, 해당 사용자의 얼굴에 대한 판별을 실행한다.
이로써, 디스플레이장치(100)는 사용자가 촬영 과정을 인지하고 있지 않은 동안에도, 실시간으로 사용자를 촬영하여 그 얼굴을 인식하는 과정을 실행할 수 있다.
이하, 본 발명의 실시예에 관해 자세히 설명한다.
도 3은 프로세서(120)의 구성 블록도이다.
도 3에 도시된 바와 같이, 본 실시예에 따른 프로세서(120)는 카메라(150)로부터 전달받은 촬영영상을 처리하기 위한 복수의 블록 또는 모듈(121, 122, 123, 124)을 포함한다.
이들 모듈(121, 122, 123, 124)은 편의상 수행하는 기능에 따라서 분류된 것으로서, 본 실시예에 따른 프로세서(120)의 구현 방식을 한정하는 것이 아니다. 이들 모듈(121, 122, 123, 124)은 하드웨어적인 구성일 수 있고, 또는 소프트웨어적인 구성일 수도 있다. 프로세서(120)를 구성하는 각 모듈(121, 122, 123, 124)들이 각각의 동작을 개별적으로 수행할 수 있고, 또는 모듈(121, 122, 123, 124) 단위로 구분되지 않고 프로세서(120)가 전체적인 동작을 순차적으로 수행할 수도 있다. 또한, 프로세서(120)의 동작은 컨트롤러(170)의 제어에 의해 수행된다.
프로세서(120)는 검출모듈(121)과, 추적모듈(122)과, 인식모듈(123)과, 저장모듈(124)을 포함한다. 여기서, 인식모듈(123) 및 저장모듈(124)은 프로파일 DB(161)에 억세스할 수 있다.
검출모듈(121)은 카메라(150)로부터 전달받은 영상을 분석하여, 영상의 일 영상프레임 내에서 사람의 얼굴을 검출한다. 검출모듈(121)이 영상프레임 내에서 사람의 얼굴을 검출하는 방법은 다양한 알고리즘이 적용될 수 있는 바, 예를 들면 검출모듈(121)은 영상프레임 내에서 판별 가능한 윤곽선을 도출하고, 해당 윤곽선이 눈, 코, 입, 귀, 얼굴선 등과 같이 사람의 얼굴을 형성하는 일련의 구조를 나타내는지 판단함으로써 얼굴을 검출할 수 있다. 검출모듈(121)이 하나의 영상프레임 내에서 검출 가능한 얼굴의 수는 하나 이상일 수 있다.
추적모듈(122)은 영상프레임 내에서 검출모듈(121)에서 검출된 얼굴에 대해 식별용 ID를 부여하고, 기 설정된 시간 동안에 순차적으로 처리되는 복수의 영상프레임에 대해 해당 ID와 동일한 얼굴을 추적한다. 추적모듈(122)은 최초 영상프레임에서 소정의 ID가 부여된 얼굴이 이후의 영상프레임들에서 나타나는지 추적하고, 추적된 얼굴에 대해 동일한 ID를 부여한다. 즉, 복수의 영상프레임 내에 있는 얼굴이 동일한 ID를 가진다는 것은, 해당 얼굴들이 동일한 사용자의 얼굴임을 의미한다.
추적모듈(122)은 얼굴의 최초 추적 시에 부여된 ID의 사용자 얼굴을 구성하는 영상프레임 영역의 데이터를 기초로 하여, 이후 영상프레임들에서 동일한 사용자의 얼굴을 추적한다. 얼굴의 추적 방법은 다양한 공지 기술이 적용될 수 있으며, 예를 들면 기 설정된 함수 또는 알고리즘에 따라서 각 영상프레임의 얼굴 영역 별로 바이너리 코드를 도출하고, 각 코드 별 바이너리 값이 분포상황 및 변화패턴 등과 같은 패러미터를 비교함으로써 각 바이너리 코드가 동일한 사용자의 얼굴에 대한 것인지 여부를 판단할 수 있다.
소정의 객체에 대한 추적 알고리즘의 예시로는 움직임 정보를 사용하는 방법, 모양(shape) 정보를 사용하는 방법, 컬러 정보를 사용하는 방법 등이 있다. 움직임 정보를 사용하는 방법은 이동 물체의 색깔이나 모양에 관계없이 검출할 수 있는 장점이 있는 반면, 영상에서 움직임 벡터의 모호성이 존재하므로 정확한 객체의 이동 영역을 검출하기에 용이하지 않을 수 있다. 한편, 컬러 정보에 대한 히스토그램 기반 추적 방법은 다양한 추적 시스템에서 사용되는 방법으로서, MeanShift나 CAMShift 알고리즘이 많이 사용된다. 이 방식은 검출된 추적 대상 얼굴영역을 특정 색 공간으로 변환하여 히스토그램을 구하며, 이 분포를 가지고 다음 영상프레임에 히스토그램을 역투영시키고, 이 추적영역의 분포를 반복적으로 찾는 방법이다.
인식모듈(123)은 추적모듈(122)에 의해 추적된 영상프레임의 얼굴의 인식을 위해 해당 얼굴에 대한 특징벡터를 추출한다. 특징벡터는 영상프레임 내에서 얼굴을 구성하는 영역에 대하여, 얼굴의 눈, 코, 입, 윤곽 등의 얼굴의 각 기관에 대한 이미지 분석 알고리즘을 통해 도출된 특징 데이터로서, 각 기관의 위치, 비율, 에지(edge)의 방향, 명암차 등으로부터 도출된 값이다. 특징벡터는 주성분 분석(Principal Component Analysis, PCA), 일래스틱 번치 그래프 매칭(Elastic Bunch Graph Matching), 선형 판별 분석(Linear Discrimination Analysis, LDA) 등의 공지된 다양한 특징벡터 추출 기법이 사용될 수 있는 바, 이에 관한 자세한 설명은 생략한다.
인식모듈(123)은 영상프레임에서 추출한 특징벡터를 프로파일 DB(161)에 저장되어 있는 얼굴 프로파일 별 특징벡터들과 비교함으로써 유사도를 판단한다. 인식모듈(123)은 영상프레임에서 추출한 제1특징벡터가 프로파일 DB(161)의 제2특징벡터와 기 설정된 레벨 이상의 유사도를 나타내면, 제1특징벡터의 얼굴이 제2특징벡터의 얼굴 프로파일에 대응하는 것으로, 즉 제1특징벡터 및 제2특징벡터가 동일한 사용자의 얼굴에 의한 것으로 판단한다.
반면, 인식모듈(123)은 영상프레임에서 추출한 제1특징벡터가 프로파일 DB(161)에 저장된 어떠한 프로파일의 특징벡터들과도 높은 유사도를 나타내지 않으면, 제1특징벡터의 얼굴이 프로파일 DB(161)에 저장되지 않은 새로운 얼굴인 것으로 판단한다.
여기서, 유사도는 다양한 방법으로 판단할 수 있다. 예를 들면 제1특징벡터 및 제2특징벡터 각각의 바이너리 코드를 비교함으로써 동일한 코드 위치에서 동일하게 나타나는 바이너리 값의 수가 기 설정값 이상인 경우, 또는 코드 위치가 서로 상이하더라도 동일한 바이너리 값의 변화 패턴이 상호 공통적으로 포함되는 경우 등에 대하여, 유사도가 높다고 판단될 수 있다. 제1특징벡터 및 제2특징벡터의 상호 비교가 용이하도록, 인식모듈(123)은 영상프레임을 기 설정된 크기 또는 해상도로 정규화시킨 이후에 특징벡터를 추출한다.
인식모듈(123)은 이와 같이 복수의 영상프레임 내에서 추적된 동일한 얼굴에 대해 각 영상프레임 별로 취득한 복수 회의 유사도의 결과에 기초하여, 해당 얼굴의 프로파일을 판별한다. 즉, 인식모듈(123)은 소정 시간 동안의 복수의 영상프레임 내에서 동일한 사용자의 얼굴을 추적하고, 추적 결과 동일한 얼굴로 판별된 경우에 해당 얼굴의 프로파일을 판별한다.
저장모듈(124)은 인식모듈(123)에 의한 최종 판별결과를 프로파일 DB(161)에 업데이트 또는 추가한다. 저장모듈(124)은 영상 내의 얼굴이 프로파일 DB(161)의 일 프로파일에 대응한다고 판별되면, 해당 얼굴의 특징벡터를 프로파일 DB(161)의 해당 프로파일에 업데이트한다. 반면, 저장모듈(124)은 영상 내의 얼굴에 대응하는 프로파일이 프로파일 DB(161)에 없다고 판별되면, 해당 얼굴의 특징벡터 데이터에 새로운 등록 ID를 부여하여 프로파일 DB(161)에 추가한다.
한편, 인식모듈(123)이 추적모듈(122)에 의해 추적된 영상프레임의 얼굴을 인식함에 있어서, 인식모듈(123)은 검출모듈(121)에 의한 얼굴 영역에서 얼굴의 각 기관의 인식에 관한 신뢰도를 판별하고, 해당 신뢰도가 기 설정 레벨 이상인 경우에만 얼굴 인식을 위한 특징벡터를 추출할 수 있다.
여기서, 신뢰도는 인식모듈(123)이 영상프레임으로부터 추출한 특징벡터가 프로파일 DB(161)의 특징벡터와 비교할 수 있는 데이터인지를 판단하기 위한 기준이 되는 패러미터이다. 어떻게 신뢰도를 판단하는가에 관해서는 다양한 방법이 적용될 수 있으며, 예를 들면 사용자의 얼굴을 구성하는 각 기관들이 모두 영상프레임에 나타난 경우에 신뢰도가 상대적으로 높다고 판단될 수 있다.
반면, 얼굴 상에서 두 눈 중에서 하나가 영상프레임에서 보이지 않는 경우와 같이 얼굴을 이루는 각 기관들 중 일부가 나타나지 않는 경우에 신뢰도가 상대적으로 낮다고 판단될 수 있다. 이 경우에 영상프레임에서 추출된 특징벡터는 프로파일 DB(161)의 특징벡터와 비교함에 있어서 비교 가능 편차를 벗어나게 되므로, 양자간의 비교에 의미가 없다.
이하, 디스플레이장치(100)가 기 설정된 시구간 동안에 촬영된 영상 내의 사용자 얼굴을 인식하는 방법에 관해 도 4를 참조하여 설명한다.
도 4는 소정 시간 동안의 복수의 영상프레임에 대한 인식 결과 히스토리를 나타내는 표의 예시도이다.
도 4에 도시된 바와 같이, 본 실시예에서는 소정 시간 동안에 촬영된 영상 내 복수의 영상프레임에 대해서 얼굴 인식 과정이 수행된다. 분석 대상이 되는 영상프레임은 0번부터 30번까지 총 31개이다. 표의 첫 번째 행의 "프레임"은 각 영상프레임의 일련번호를 나타내는 바, 0번 프레임이 시간적으로 최초 영상프레임이고 30번 프레임이 마지막 영상프레임이다.
표의 두 번째 행의 "검출"은 검출모듈(121, 도 3 참조)에 의해 해당 영상프레임 내에서 검출된 사람의 얼굴 수이며, 표의 세 번째 행의 "추적"은 추적모듈(122, 도 3 참조)에 의해 추적되는 사람의 얼굴 수이다. 본 실시예에서는 5개 영상프레임 주기로, 0번째, 5번째, 10번째, 15번째, 20번째, 25번째, 30번째 프레임에서 검출 동작이 수행되며, 그 외의 영상프레임에서는 앞선 검출 단계에서 검출된 얼굴이 추적된다.
본 실시예에서는 영상프레임 내에서 매 검출 주기마다 5개의 사람 얼굴이 검출되었으며, 이들 검출된 5개의 얼굴들이 성공적으로 추적되었음을 알 수 있다.
만일, 5개의 얼굴 중에서 4개의 얼굴이 추적되고 1개의 얼굴이 추적되지 않는 경우에, 추적되는 얼굴에 대해서만 인식 과정을 수행하고, 추적되지 않는 얼굴에 대해서는 인식 과정을 수행하지 않는다.
표의 네 번째 행의 "인식"은 해당 영상프레임 내에서 기 저장된 프로파일에 대응하는 얼굴의 개수를 나타낸다. 인식 과정은 앞서 설명한 바와 같이 인식모듈(123, 도 3 참조)이 프로파일 DB(161, 도 3 참조)을 참조하여 처리하는 동작이다. 본 실시예에서의 인식 과정은 검출 과정이 수행되는 영상프레임에 대해 수행되지만, 추적 과정이 수행되는 영상프레임에 대해서 수행될 수도 있다. 또한, 본 실시예에서의 인식 과정은 검출 과정과 동일한 주기로 수행되지만, 검출 과정과 상이한 주기로 수행될 수도 있다.
예를 들어, 0번 프레임에 대한 검출 과정에서 5개의 얼굴이 검출되고 인식 과정에서 2개의 얼굴이 인식되었다는 것은, 0번 프레임에서 검출된 5개의 얼굴 중에서 기 저장된 프로파일에 대응하는 얼굴이 2개이고 기 저장된 프로파일에 대응하지 않는 얼굴이 3개임을 의미한다.
인식 과정에 따라서, 검출된 각 얼굴에 추적 ID가 부여된다.
표의 다섯 번째 행의 "ID 별 인식결과 히스토리"는 인식 결과에 따라서 영상프레임의 각 얼굴에 대해 부여되는 추적 ID의 히스토리를 의미한다. 추적 ID는 얼굴 단위로 구별 가능한 어떠한 명칭도 가능한 바, 본 실시예에서는 A, B, C 등의 알파벳을 사용하였다.
여기서, "ID 별 인식결과 히스토리" 항목 내의 다섯 개의 행은 추적모듈(122, 도 3 참조)에 의해 동일한 식별용 ID가 부여됨으로써 동일한 얼굴로 추적되는 각각의 얼굴을 의미한다. 여기서, 복수의 영상프레임 각각의 얼굴들이 동일한 식별용 ID를 가지는 얼굴들이라도, 특징벡터의 판별 과정에서 각각의 추적 ID는 상이하게 나타날 수 있다.
이하 본 실시예의 설명에서는 추적 ID를 간단히 ID로 지칭한다.
예를 들어, 0번 프레임에서는 검출된 5개의 얼굴 중에서 첫 번째 및 세 번째의 얼굴이 인식 가능하고, 나머지 얼굴은 인식 불가능한 상태이다. 디스플레이장치(100)는 인식 가능한 영상프레임에 각각 A 및 B의 ID를 부여하고, 인식 불가능한 영상프레임에 각각 U1, U2, U3의 ID를 부여한다.
5번 프레임에서는 첫 번째, 세 번째 및 네 번째의 얼굴이 인식 가능하다. 여기서, 첫 번째 및 세 번째는 이미 0번째 프레임에서 ID가 부여되어 있는 상태이므로, 이 경우에는 동일한 ID를 부여하는 바, 추적 ID는 이와 같은 방식에 따라서 부여되는 ID를 의미한다. 디스플레이장치(100)는 이들 얼굴에 대해 A, B, C의 ID를 부여한다.
또한, 인식되지 않는 두 번째 및 다섯 번째 얼굴에 대해서도 이전 0번째 프레임의 경우와 관련하여 추적 ID가 부여되는 바, 디스플레이장치(100)는 이들 얼굴에 대해 U1, U3의 ID를 부여한다.
10번 프레임에 대해서, 디스플레이장치(100)는 위의 과정과 동일한 원리로 각 얼굴에 대해 ID를 부여한다.
15번 프레임에서, 첫 번째, 세 번째, 네 번째의 얼굴이 인식 가능하다. 여기서, 첫 번째 얼굴의 경우에는 인식이 가능하기는 한데, 이전 영상프레임과 다른 인식 결과가 나온다. 이 경우는 첫 번째 얼굴의 특징벡터가 기 저장된 복수의 프로파일 중에서 이전 영상프레임의 경우와 상이한 프로파일에 대응하는 경우에 발생한다. 즉, 0번 프레임의 첫 번째 얼굴 및 15번 프레임의 첫 번째 얼굴은 동일한 사용자의 얼굴로서 동일한 식별용 ID를 가지지만, 특징벡터의 판별 결과에 따라서 각각 상이한 추적 ID를 나타낸다.
이에, 디스플레이장치(100)는 첫 번째 얼굴에 대해 새로운 ID인 E를 부여한다.
20번 프레임, 25번 프레임, 30번 프레임에 대해서, 디스플레이장치(100)는 위의 과정과 동일한 원리로 각 얼굴에 대해 ID를 부여한다.
이와 같이 히스토리가 누적되면, 디스플레이장치(100)는 누적된 ID의 히스토리에 기초하여 각 얼굴에 대한 판별 과정을 수행한다. 예를 들어 디스플레이장치(100)는 판별 과정에서, 어느 한 얼굴의 7개의 ID 히스토리 중에서 4개 이상의 히스토리가 동일한 프로파일 결과를 나타내면, 해당 얼굴이 해당 프로파일에 대응하는 것으로 판별할 수 있다.
첫 번째 얼굴의 경우에는 A라는 ID가 5번 나타나고 E라는 ID가 1번 나타나는 바, 해당 얼굴은 A에 관련된 프로파일에 대응하는 것으로 판별된다. 디스플레이장치(100)는 첫 번째 얼굴이 A라는 ID의 부여 시의 대응 프로파일인 것으로 판별한다.
두 번째 얼굴의 경우에는 U1라는 ID가 5번 나타난다. U1은 인식 불가능한 경우에 부여되었던 ID인 바, 디스플레이장치(100)는 두 번째 얼굴이 기 저장된 프로파일에 없는 새로운 얼굴인 것으로 판별한다.
세 번째 얼굴의 경우에는 B라는 ID가 7번 나타난다. 따라서, 세 번째 얼굴은 B에 관련된 프로파일에 대응하는 것으로 판별된다.
네 번째 얼굴의 경우에는 C라는 ID가 3번, 인식 불가능한 경우에 부여된 U2라는 ID가 4번 나타난다. 이에, 디스플레이장치(100)는 네 번째 얼굴이 기 저장된 프로파일에 없는 새로운 얼굴인 것으로 판별한다.
다섯 번째 얼굴의 경우에는 D라는 ID가 1번, 인식 불가능한 경우에 부여된 U3라는 ID가 6번 나타난다. 이에, 디스플레이장치(100)는 다섯 번째 얼굴이 기 저장된 프로파일에 없는 새로운 얼굴인 것으로 판별한다.
이와 같은 방법에 따라서, 디스플레이장치(100)는 촬영영상 내에서 검출된 얼굴을 용이하게 판별할 수 있다.
이하, 본 실시예에 따라서 영상 내의 얼굴을 판별하는 과정에 관해 도 5를 참조하여 설명한다.
도 5 및 도 6은 디스플레이장치(100)가 영상 내의 얼굴을 판별하는 방법을 나타내는 플로우차트이다.
도 5에 도시된 바와 같이, S100 단계에서, 디스플레이장치(100)는 카메라(150)에 의해 실시간 촬영된 영상을 수신한다. S110 단계에서, 디스플레이장치(100)는 영상 내의 각 영상프레임에서 얼굴을 검출한다. S120 단계에서, 디스플레이장치(100)는 각 영상프레임에서 얼굴을 추적하고, 각 얼굴에 대해 추적 ID를 부여한다.
S130 단계에서, 디스플레이장치(100)는 얼굴의 각 기관의 검출 신뢰도가 높은지 여부를 판단한다. 신뢰도가 낮다고 판단되면, 디스플레이장치(100)는 S100 단계로 돌아간다.
신뢰도가 높다고 판단되면, S140 단계에서, 디스플레이장치(100)는 각 추적 ID의 얼굴에 대한 특징벡터를 추출한다. S150 단계에서, 디스플레이장치(100)는 추출된 특징벡터 및 기 저장된 프로파일의 특징벡터 사이의 유사도를 비교한다. S160 단계에서, 디스플레이장치(100)는 비교 결과를 누적한다.
도 6에 도시된 바와 같이, S170 단계에서, 디스플레이장치(100)는 현재 시간이 기 설정된 시간을 경과하였는지 여부를 판단한다. 현재 시간이 기 설정된 시간을 경과하지 않은 것으로 판단되면, 디스플레이장치(100)는 S100 단계로 돌아간다.
현재 시간이 기 설정된 시간을 경과한 것으로 판단되면, S180 단계에서, 디스플레이장치(100)는 누적된 비교 결과로부터 얼굴 인식 결과를 도출한다.
S190 단계에서, 디스플레이장치(100)는 얼굴 인식 결과에 따라서, 얼굴이 기 저장된 프로파일에 대응하는지 여부를 판단한다.
얼굴이 기 저장된 프로파일에 대응하면, S200 단계에서, 디스플레이장치(100)는 앞선 S140 단계에서 추출된 특징벡터를 해당 프로파일에 업데이트한다.
반면, 얼굴이 기 저장된 프로파일에 대응하지 않으면, S210 단계에서, 디스플레이장치(100)는 해당 얼굴의 특징벡터로 새로운 프로파일을 등록한다.
상기한 실시예는 예시적인 것에 불과한 것으로, 당해 기술 분야의 통상의 지식을 가진 자라면 다양한 변형 및 균등한 타 실시예가 가능하다. 따라서, 본 발명의 진정한 기술적 보호범위는 하기의 특허청구범위에 기재된 발명의 기술적 사상에 의해 정해져야 할 것이다.
100 : 디스플레이장치
110 : 통신 인터페이스
120 : 프로세서
121 : 검출모듈
122 : 추적모듈
123 : 인식모듈
124 : 저장모듈
130 : 디스플레이
140 : 사용자 인터페이스
150 : 카메라
160 : 스토리지
161 : 프로파일 DB
170 : 컨트롤러

Claims (18)

  1. 영상처리장치에 있어서,
    카메라와;
    상기 카메라에 의해 촬영된 영상을 처리하여 상기 영상 내의 사용자의 얼굴을 판별하는 프로세서와;
    소정 시간 동안에 촬영된 상기 영상이 포함하는 복수의 영상프레임 내의 하나 이상의 사용자의 얼굴을 추적함으로써 각각의 상기 영상프레임에서 동일한 사용자의 얼굴이 나타나는지 여부를 판단하고, 상기 복수의 영상프레임에서 동일한 사용자의 얼굴이 나타나는 것으로 판단되면 상기 동일한 사용자의 얼굴에 대한 판별을 수행하도록 상기 프로세서를 제어하는 컨트롤러를 포함하는 것을 특징으로 하는 영상처리장치.
  2. 제1항에 있어서,
    기 설정된 얼굴의 프로파일을 저장하는 스토리지를 더 포함하며,
    상기 컨트롤러는, 상기 영상프레임으로부터 상기 사용자의 얼굴에 대한 특징벡터를 추출하고, 상기 사용자의 얼굴에 대한 제1특징벡터를 상기 스토리지에 저장된 프로파일의 제2특징벡터와 비교함으로써 유사도를 판단하며,
    상기 복수의 영상프레임 각각에 대한 상기 유사도의 판단 이력에 기초하여 상기 사용자의 얼굴에 대한 판별을 수행하는 것을 특징으로 하는 영상처리장치.
  3. 제2항에 있어서,
    상기 컨트롤러는, 상기 복수의 영상프레임 각각에 대한 상기 유사도의 판단 이력 내에서 상기 프로파일에 대응하는 것으로 판단되는 회수가 기 설정 값보다 크면 상기 사용자의 얼굴이 상기 프로파일에 대응하는 것으로 판별하는 것을 특징으로 하는 영상처리장치.
  4. 제3항에 있어서,
    상기 컨트롤러는, 상기 사용자의 얼굴이 상기 프로파일에 대응하는 것으로 판별하면 상기 대응 프로파일에 상기 제1특징벡터를 업데이트하는 것을 특징으로 하는 영상처리장치.
  5. 제2항에 있어서,
    상기 컨트롤러는, 상기 복수의 영상프레임 각각에 대한 상기 유사도의 판단 이력 내에서 상기 프로파일에 대응하는 것으로 판단되는 회수가 기 설정 값보다 작으면 상기 사용자의 얼굴이 기 저장된 상기 프로파일에 없는 신규한 것으로 판별하는 것을 특징으로 하는 영상처리장치.
  6. 제5항에 있어서
    상기 컨트롤러는, 상기 사용자의 얼굴이 신규한 것으로 판별하면 상기 제1특징벡터로 새로운 프로파일을 등록 및 저장하는 것을 특징으로 하는 영상처리장치.
  7. 제2항에 있어서,
    상기 컨트롤러는, 어느 한 상기 영상프레임에 대해 상기 제1특징벡터 및 상기 제2특징벡터 사이의 유사도가 기 설정 레벨보다 큰 값을 나타내면 상기 사용자의 얼굴이 상기 프로파일에 대응하는 것으로 판별하는 것을 특징으로 하는 영상처리장치.
  8. 제2항에 있어서,
    상기 컨트롤러는, 상기 영상프레임에서 검출된 상기 사용자의 얼굴에 대해 얼굴의 각 기관의 인식에 관한 신뢰도를 판별하고, 상기 신뢰도가 기 설정 레벨 이상인 경우에 상기 사용자의 얼굴에 대한 특징벡터를 추출하는 것을 특징으로 하는 영상처리장치.
  9. 제1항에 있어서,
    상기 컨트롤러는, 하나의 상기 영상프레임 내에서 검출된 각 얼굴을 구성하는 영상프레임 영역의 데이터를 기초로 하여 이후 시점의 상기 영상프레임들에서 상기 동일한 사용자의 얼굴을 추적하는 것을 특징으로 하는 영상처리장치.
  10. 영상처리장치의 제어방법에 있어서,
    상기 영상처리장치의 카메라에 의해 촬영된 영상을 수신하는 단계와;
    소정 시간 동안에 촬영된 상기 영상이 포함하는 복수의 영상프레임 내의 하나 이상의 사용자의 얼굴을 추적함으로써 각각의 상기 영상프레임에서 동일한 사용자의 얼굴이 나타나는지 여부를 판단하는 단계와;
    상기 복수의 영상프레임에서 동일한 사용자의 얼굴이 나타나는 것으로 판단되면 상기 동일한 사용자의 얼굴에 대한 판별을 수행하는 단계를 포함하는 것을 특징으로 하는 영상처리장치의 제어방법.
  11. 제10항에 있어서,
    상기 동일한 사용자의 얼굴에 대한 판별을 수행하는 단계는,
    상기 영상프레임으로부터 상기 사용자의 얼굴에 대한 특징벡터를 추출하는 단계와;
    상기 사용자의 얼굴에 대한 제1특징벡터를 기 설정된 얼굴의 프로파일의 제2특징벡터와 비교함으로써 유사도를 판단하는 단계와;
    상기 복수의 영상프레임 각각에 대한 상기 유사도의 판단 이력에 기초하여 상기 사용자의 얼굴에 대한 판별을 수행하는 단계를 포함하는 것을 특징으로 하는 영상처리장치의 제어방법.
  12. 제11항에 있어서,
    상기 복수의 영상프레임 각각에 대한 상기 유사도의 판단 이력에 기초하여 상기 사용자의 얼굴에 대한 판별을 수행하는 단계는,
    상기 복수의 영상프레임 각각에 대한 상기 유사도의 판단 이력 내에서 상기 프로파일에 대응하는 것으로 판단되는 회수가 기 설정 값보다 크면 상기 사용자의 얼굴이 상기 프로파일에 대응하는 것으로 판별하는 단계를 포함하는 것을 특징으로 하는 영상처리장치의 제어방법.
  13. 제12항에 있어서,
    상기 복수의 영상프레임 각각에 대한 상기 유사도의 판단 이력에 기초하여 상기 사용자의 얼굴에 대한 판별을 수행하는 단계는,
    상기 사용자의 얼굴이 상기 프로파일에 대응하는 것으로 판별하면 상기 대응 프로파일에 상기 제1특징벡터를 업데이트하는 단계를 더 포함하는 것을 특징으로 하는 영상처리장치의 제어방법.
  14. 제11항에 있어서,
    상기 복수의 영상프레임 각각에 대한 상기 유사도의 판단 이력에 기초하여 상기 사용자의 얼굴에 대한 판별을 수행하는 단계는,
    상기 복수의 영상프레임 각각에 대한 상기 유사도의 판단 이력 내에서 상기 프로파일에 대응하는 것으로 판단되는 회수가 기 설정 값보다 작으면 상기 사용자의 얼굴이 기 저장된 상기 프로파일에 없는 신규한 것으로 판별하는 단계를 포함하는 것을 특징으로 하는 영상처리장치의 제어방법.
  15. 제14항에 있어서
    상기 복수의 영상프레임 각각에 대한 상기 유사도의 판단 이력에 기초하여 상기 사용자의 얼굴에 대한 판별을 수행하는 단계는,
    상기 사용자의 얼굴이 신규한 것으로 판별하면 상기 제1특징벡터로 새로운 프로파일을 등록하는 단계를 더 포함하는 것을 특징으로 하는 영상처리장치의 제어방법.
  16. 제11항에 있어서,
    상기 유사도를 판단하는 단계는,
    어느 한 상기 영상프레임에 대해 상기 제1특징벡터 및 상기 제2특징벡터 사이의 유사도가 기 설정 레벨보다 큰 값을 나타내면 상기 사용자의 얼굴이 상기 프로파일에 대응하는 것으로 판별하는 단계를 포함하는 것을 특징으로 하는 영상처리장치의 제어방법.
  17. 제11항에 있어서,
    상기 사용자의 얼굴에 대한 특징벡터를 추출하는 단계는,
    상기 영상프레임에서 검출된 상기 사용자의 얼굴에 대해 얼굴의 각 기관의 인식에 관한 신뢰도를 판별하고, 상기 신뢰도가 기 설정 레벨 이상인 경우에 상기 사용자의 얼굴에 대한 특징벡터를 추출하는 단계를 포함하는 것을 특징으로 하는 영상처리장치의 제어방법.
  18. 제10항에 있어서,
    상기 각각의 상기 영상프레임에서 동일한 사용자의 얼굴이 나타나는지 여부를 판단하는 단계는,
    하나의 상기 영상프레임 내에서 검출된 각 얼굴을 구성하는 영상프레임 영역의 데이터를 기초로 하여 이후 시점의 상기 영상프레임들에서 상기 동일한 사용자의 얼굴을 추적하는 단계를 포함하는 것을 특징으로 하는 영상처리장치의 제어방법.
KR20130122647A 2013-10-15 2013-10-15 영상처리장치 및 그 제어방법 KR20150043795A (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR20130122647A KR20150043795A (ko) 2013-10-15 2013-10-15 영상처리장치 및 그 제어방법
US14/321,037 US20150104082A1 (en) 2013-10-15 2014-07-01 Image processing apparatus and control method thereof
PCT/KR2014/008860 WO2015056893A1 (en) 2013-10-15 2014-09-24 Image processing apparatus and control method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR20130122647A KR20150043795A (ko) 2013-10-15 2013-10-15 영상처리장치 및 그 제어방법

Publications (1)

Publication Number Publication Date
KR20150043795A true KR20150043795A (ko) 2015-04-23

Family

ID=52809718

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20130122647A KR20150043795A (ko) 2013-10-15 2013-10-15 영상처리장치 및 그 제어방법

Country Status (3)

Country Link
US (1) US20150104082A1 (ko)
KR (1) KR20150043795A (ko)
WO (1) WO2015056893A1 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9846687B2 (en) 2014-07-28 2017-12-19 Adp, Llc Word cloud candidate management system
US10089521B2 (en) * 2016-09-02 2018-10-02 VeriHelp, Inc. Identity verification via validated facial recognition and graph database
DE102018106550A1 (de) * 2018-03-20 2019-09-26 Ifm Electronic Gmbh Verfahren zur Benutzerführung bei einer Steuereinheit für eine mobile Arbeitsmaschine mit einem Display
CN108764053A (zh) * 2018-04-28 2018-11-06 Oppo广东移动通信有限公司 图像处理方法、装置、计算机可读存储介质和电子设备
US20200349528A1 (en) * 2019-05-01 2020-11-05 Stoa USA, Inc System and method for determining a property remodeling plan using machine vision

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7912246B1 (en) * 2002-10-28 2011-03-22 Videomining Corporation Method and system for determining the age category of people based on facial images
JP4575917B2 (ja) * 2003-06-30 2010-11-04 本田技研工業株式会社 構成要素に基づいて構成された物体を識別するシステムを訓練するシステム、方法及びプログラム
US20070140532A1 (en) * 2005-12-20 2007-06-21 Goffin Glen P Method and apparatus for providing user profiling based on facial recognition
US8194914B1 (en) * 2006-10-19 2012-06-05 Spyder Lynk, Llc Encoding and decoding data into an image using identifiable marks and encoded elements
KR100886557B1 (ko) * 2007-05-03 2009-03-02 삼성전자주식회사 적응형 학습에 기반한 얼굴 인식 시스템 및 방법
KR101423916B1 (ko) * 2007-12-03 2014-07-29 삼성전자주식회사 복수의 얼굴 인식 방법 및 장치
JP2010015024A (ja) * 2008-07-04 2010-01-21 Canon Inc 撮像装置、その制御方法、プログラム及び記憶媒体
JP5100565B2 (ja) * 2008-08-05 2012-12-19 キヤノン株式会社 画像処理装置及び画像処理方法
JP5517435B2 (ja) * 2008-10-22 2014-06-11 キヤノン株式会社 自動合焦装置および自動合焦方法、ならびに、撮像装置
WO2011065952A1 (en) * 2009-11-30 2011-06-03 Hewlett-Packard Development Company, L.P. Face recognition apparatus and methods
US8526686B2 (en) * 2010-12-24 2013-09-03 Telefonaktiebolaget L M Ericsson (Publ) Dynamic profile creation in response to facial recognition
JP5772069B2 (ja) * 2011-03-04 2015-09-02 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
US9087273B2 (en) * 2011-11-15 2015-07-21 Facebook, Inc. Facial recognition using social networking information
US8838647B2 (en) * 2011-12-06 2014-09-16 International Business Machines Corporation Automatic multi-user profile management for media content selection
US9195883B2 (en) * 2012-04-09 2015-11-24 Avigilon Fortress Corporation Object tracking and best shot detection system

Also Published As

Publication number Publication date
WO2015056893A1 (en) 2015-04-23
US20150104082A1 (en) 2015-04-16

Similar Documents

Publication Publication Date Title
CN108875833B (zh) 神经网络的训练方法、人脸识别方法及装置
US10515199B2 (en) Systems and methods for facial authentication
US9471831B2 (en) Apparatus and method for face recognition
US9323982B2 (en) Display apparatus for performing user certification and method thereof
EP3422250A1 (en) Facial verification method and apparatus
CN117992939A (zh) 脸部验证方法、设备以及计算设备
KR20150055543A (ko) 제스처 인식 장치 및 제스처 인식 장치의 제어 방법
KR20150043795A (ko) 영상처리장치 및 그 제어방법
Sharif et al. Subholistic hidden markov model for face recognition
CN105763917A (zh) 一种终端开机的控制方法和系统
WO2017092573A1 (zh) 一种基于眼球跟踪的活体检测的方法、装置及系统
US20140093142A1 (en) Information processing apparatus, information processing method, and information processing program
CN106471440A (zh) 基于高效森林感测的眼睛跟踪
KR20220123118A (ko) 모션 센서 데이터에 기록된 사용자, 동작 및 장치에 특유한 특징을 구분하기 위한 시스템 및 방법
JP6225612B2 (ja) プログラム、情報処理装置、および方法
KR20080095680A (ko) 3차원 실린더 헤드 모델을 이용한 얼굴 제스처 인식 방법
US20230386256A1 (en) Techniques for detecting a three-dimensional face in facial recognition
KR102250712B1 (ko) 전자 장치 및 제어 방법
Funes Mora et al. Eyediap database: Data description and gaze tracking evaluation benchmarks
Kuo et al. Behavior recognition using multiple depth cameras based on a time-variant skeleton vector projection
KR101079184B1 (ko) 눈동자 서술자를 이용한 눈 위치 검출 장치 및 그 방법
Kumar et al. A deep neural framework for continuous sign language recognition by iterative training
JP2021012696A (ja) 情報処理装置、情報処理方法及びプログラム
KR102325251B1 (ko) 근태 메뉴의 활성화가 가능한 얼굴 인식 시스템 및 방법
KR102369151B1 (ko) 동작 인식을 위한 메타 데이터 생성 시스템 및 생성 방법

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid