KR20090119670A - 오락 시스템의 사용자의 얼굴 인식 학습 방법 및 시스템 - Google Patents

오락 시스템의 사용자의 얼굴 인식 학습 방법 및 시스템 Download PDF

Info

Publication number
KR20090119670A
KR20090119670A KR1020080123225A KR20080123225A KR20090119670A KR 20090119670 A KR20090119670 A KR 20090119670A KR 1020080123225 A KR1020080123225 A KR 1020080123225A KR 20080123225 A KR20080123225 A KR 20080123225A KR 20090119670 A KR20090119670 A KR 20090119670A
Authority
KR
South Korea
Prior art keywords
user
image data
image
images
entertainment system
Prior art date
Application number
KR1020080123225A
Other languages
English (en)
Inventor
쑤닝
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Publication of KR20090119670A publication Critical patent/KR20090119670A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/35—Arrangements for identifying or recognising characteristics with a direct linkage to broadcast information or to broadcast space-time, e.g. for identifying broadcast stations or for identifying users
    • H04H60/45—Arrangements for identifying or recognising characteristics with a direct linkage to broadcast information or to broadcast space-time, e.g. for identifying broadcast stations or for identifying users for identifying users
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/35—Arrangements for identifying or recognising characteristics with a direct linkage to broadcast information or to broadcast space-time, e.g. for identifying broadcast stations or for identifying users
    • H04H60/46—Arrangements for identifying or recognising characteristics with a direct linkage to broadcast information or to broadcast space-time, e.g. for identifying broadcast stations or for identifying users for recognising users' preferences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/61—Arrangements for services using the result of monitoring, identification or recognition covered by groups H04H60/29-H04H60/54
    • H04H60/65—Arrangements for services using the result of monitoring, identification or recognition covered by groups H04H60/29-H04H60/54 for using the result on users' side
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/4508—Management of client data or end-user data
    • H04N21/4532—Management of client data or end-user data involving end-user characteristics, e.g. viewer profile, preferences

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

새로운 사용자의 영상을 획득하는 영상 획득 장치를 포함하고, 그 영상을 처리하여 모든 알려진 사용자의 대표 영상 행렬을 만드는 오락 시스템을 개시한다. 상기 행렬을 다음번의 새로운 영상에 적용하여, 사용자가 시스템에 알려진 기존 사용자인지 결정하고 그 사용자에 대한 선호도에 따라 오락 컨텐츠를 제공할 수 있도록 한다.

Description

오락 시스템의 사용자의 얼굴 인식 학습 방법 및 시스템{Method and system for facial recognition training of users of entertainment systems}
본 발명은 텔레비전과 같은 오락 시스템 및 그 방법에 관한 것으로, 보다 상세하게는 얼굴 식별 시스템을 가지고 있어 시스템의 사용자를 식별하여 식별된 사용자에게 맞춤식 컨텐츠를 제공하는 오락 시스템 및 그 방법에 관한 것이다.
텔레비전 등과 같은 오락 시스템은 점점 보다 정교해지고 보다 많은 종류의 오락 매체를 시청자에게 제공할 수 있게 되고 있다. 케이블 시스템이나 위성 시스템이 텔레비전과 함께 사용됨으로써 시청자에게 수백 개의 채널과 엄청나게 다양한 종류의 프로그램 선택권을 제공할 수 있게 되었다. 이러한 상황에서, 시청자에게 너무 많은 정보가 제공되어 오락 장치의 사용이 너무 어렵게 되는 경우가 종종 발생하는 실정이다. 앞으로 텔레비전이나 인터넷에 연결된 컴퓨터 등을 통하여 제공되는 오락 매체의 양은 극적으로 증가할 것으로 보이며, 각 사용자가 자신이 관심 있는 오락 매체를 선택하는 어려움은 더욱 악화될 것이다.
오락 매체를 특정 사용자에 맞추어 제공하기 위하여 오락 장치의 각 사용자를 인식하려는 시도가 이루어져 왔다. 일 예로 특정 사용자별 선호 채널들을 프로 그램 할 수 있는 텔레비전 리모컨을 들 수 있다. 하지만, 이러한 방식은 제한적일 수 밖에 없으며 더 많은 오락 매체가 사용자에게 제공됨에 따라 점점 비효율적이 된다는 문제점이 있다.
시스템이 각 사용자를 인식할 수 있다면 편리할 것이다. 종래기술로서 사람을 인식하고 식별하는 시스템이 있으나, 일반적으로 이러한 시스템은 텔레비전이나 다른 오락 장치와 같은 작은 매체 장치에는 적용하기가 어렵다. 정지 또는 동영상으로부터 사람을 식별하기 위한 이러한 처리과정의 일 예로 IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 19, No. 7, July 1997 에 출판된 "Eigenfaces faces vs. Fisherfaces: Recognition Using Class Specific Linear Projection" by Belhumeur et al.이 있다.
일반적으로, 사람의 디지털 영상들은 그 얼굴의 중요한 기하학적 특징들을 나타내는 디지털 데이터 행렬로 변환된다. 일반적으로, 사람의 영상들은 디지털화되고 얼굴의 각 부위간 차이를 강조하거나 향상시키도록 처리된다. 그 후 일정한 특징들과 그에 연관된 픽셀 위치 및 그 명도(intensity)를 지표(monument)로 사용할 수 있으며, 지표간 거리나 상대적 위치를 식별을 위해 사용할 수 있다. 각 얼굴에 대하여 더 처리하기 쉬운 수학적 표현을 생성하기 위하여 얼굴 데이터에 다양한 수학적 연산을 수행할 수 있다. 많은 얼굴 식별 응용기술에서, 연속적으로 획득된 영상 데이터들을 기저장된 얼굴 영상 데이터의 방대한 라이브러리와 비교해야 하며, 이는 식별 분석을 매우 복잡하게 한다는 문제점이 있다. 일반적으로 이런 시스템에서는, 각 사람이 특정 데이터 군(class)으로 분류되며, 이는 새로운 사람을 각 군과 비교해야 하기 때문에 식별 과정을 복잡하게 한다. 또한 종래기술은 일반적으로 복수의 정지 영상을 촬영한 후 식별 시스템에 업로드해야 한다.
Eigenfaces, Fisherfaces 및 다른 수학적 표현들을 이용한 식별 시스템이 알려져 있으나, 이러한 시스템들은 텔레비전이나 퍼스널 컴퓨터 등의 오락 매체 공급 장치와 같이 작은 장치와 함께 사용될 식별 시스템에는 적용하기가 어렵다. 일반적으로 이러한 시스템들은 처리 용량이 너무 크며 사용자들의 데이터베이스를 얻고 계속하여 갱신하기가 쉽지 않다.
따라서 텔레비전이나 컴퓨터와 같은 오락 매체 공급 장치들과 함께 사용하기 쉬운 식별 시스템이 요구된다. 이러한 목적을 위해, 오락 장치를 사용하려 하는 사람을 빠르게 식별할 수 있으며, 다음번 인식을 위해 새로운 사람을 데이터베이스에 계속하여 갱신할 수 있는 시스템이 요구된다.
상기 목적을 달성하기 위하여, 본 발명에 의한 오락 시스템의 일 실시예는 오락 장치를 포함한다. 오락 장치의 일 실시예는 텔레비전이 될 수 있으나, 오락 장치는 본 발명의 기술사상을 벗어나지 않고 텔레비전, 비디오 재생기, 모니터, 퍼스널 컴퓨터와 같은 다양한 오락 장치가 될 수 있음을 이해할 수 있을 것이다. 본 발명에 의한 오락 시스템의 일 실시예는 오락 시스템을 사용하는 사람의 영상을 획득할 수 있는 영상 획득 장치를 포함한다. 영상 획득 장치에는 프로세서가 결합되어, 영상 획득 장치 앞에 앉아 있는 사람의 영상을 저장된 영상 데이터와 비교하여 오락 장치를 사용하는 사용자가 기존에 식별된 사용자인지 확인할 수 있다. 만일 사용자가 기존에 식별된 사용자라면, 그 사람에 대한 오락 선호도를 호출하여 오락 장치가 그 사람의 선호도를 반영하도록 설정한다.
본 발명의 또 다른 특징으로, 만일 사용자가 기존에 식별된 사용자가 아닌 것으로 확인되면, 오락 시스템은 충분한 영상 데이터를 획득하고 저장하여 다음에 그 사람이 오락 장치를 사용할 때에 그 사람을 식별할 수 있도록 한다. 또한, 그 사람이 오락 장치를 사용하는 방법을 모니터링하여 그 사람의 선호도를 기록한다.
본 발명에 의한 오락 시스템의 일 실시예에서는, 사용자의 영상들을 획득한 후, 클러스터링하여 평균화하는 등의 방법으로 병합하여 대표 영상들을 얻는다. 그리고 대표 영상들을 처리하여 변환 행렬과 가중치들을 얻는다. 바람직하게는 다음번 영상들도 변환 행렬의 영상들과 유사하게 처리되어 다음번 식별 과정을 단순화시킨다.
본 발명에 의한 오락 시스템의 일 실시예는 오락 컨텐츠를 1 이상의 사용자에게 제공하는 오락 장치; 1 이상의 사용자의 영상을 획득하는 영상 획득 장치; 및 상기 영상 획득 장치로부터 영상을 수신하고 상기 오락 장치에 신호를 보내는 적어도 하나의 프로세서;를 포함하며, 상기 적어도 하나의 프로세서는 상기 오락 시스템의 복수의 인식된 사용자들을 나타내는 영상 데이터를 포함하는 영상 데이터 구조(image data structure)를 생성하고, 상기 오락 시스템의 인식된 사용자들의 선호도를 선호도 데이터 구조(preference data structure)에 기록하고, 상기 영상 획득 장치로부터 새로 수신한 영상과 상기 영상 데이터 구조의 상기 영상 데이터를 비교하여 새로 수신한 영상이 기존에 인식된 사용자를 나타내는지 판단하고, 상기 새로 수신한 영상이 기존에 인식된 사용자를 나타내는 경우, 상기 오락 시스템이 상기 선호도 데이터 구조 내의 상기 인식된 사용자의 선호도와 일치하는 오락 컨텐츠를 제공하도록 상기 오락 시스템을 설정하는 것을 특징으로 한다.
본 발명에 의한 오락 시스템이 식별된 사용자의 선호도에 맞추어 설정되도록 상기 오락 시스템의 사용자를 식별하는 사용자 식별 시스템의 일 실시예는, 상기 오락 시스템의 사용자들의 영상을 획득하는 영상 획득 장치; 및 상기 영상 획득 장치로부터 영상을 수신하는 제어 장치를 포함하며, 상기 제어 장치는 상기 오락 시스템의 복수개의 식별된 사용자들을 나타내는 영상 데이터 행렬(image data matrix)을 생성하고, 상기 영상 획득 장치로부터 새로 수신된 영상들과 상기 영상 데이터 행렬의 영상 데이터를 비교하여 새로 수신된 영상이 식별된 사용자의 것인지 또는 새로운 사용자의 것인지 결정하고, 상기 새로 수신된 영상이 식별된 사용 자의 것인 경우, 상기 사용자를 식별해서 상기 사용자를 식별해서 상기 식별된 사용자의 선호도가 상기 오락 시스템에 구현되도록 하고, 상기 새로 수신된 영상이 식별된 사용자의 것이 아닌 경우, 상기 새로운 사용자의 추가 영상들을 획득하여 상기 새로운 사용자를 나타내는 영상 데이터로 상기 영상 데이터 행렬을 갱신하여, 다음 동작 때에는 상기 새로운 사용자가 식별된 사용자가 되도록 하는 것을 특징으로 한다.
본 발명에 의한 오락 시스템의 동작 변경 방법의 일 실시예는 사용자의 영상 데이터를 획득함으로써 오락 시스템을 사용하는 사용자가 있는지 결정하는 단계; 상기 오락 시스템을 사용하는 사용자가 식별된 사용자인지 결정하는 단계; 상기 오락 시스템을 사용하는 사용자가 새로운 사용자라고 결정되면, 상기 새로운 사용자가 다음에 상기 오락 시스템을 사용할 때에는 식별된 사용자가 될 수 있도록 상기 새로운 사용자를 나타내는 영상 데이터로 영상 데이터 구조를 갱신하는 단계; 상기 오락 시스템을 사용하는 사용자가 식별된 사용자라고 결정되면 상기 오락 시스템을 사용하는 사용자의 상기 오락 시스템의 동작에 대한 선호도를 호출하는 단계; 및 상기 식별된 사용자의 상기 선호도에 따라 상기 오락 시스템의 동작을 변경하는 단계를 포함하는 것을 특징으로 한다.
따라서, 본 발명은 사용자를 식별하고 그 사용자에 대한 바람직한 파라미터를 호출하는 오락 시스템이 개시하며, 이로써 개인에게 보다 잘 맞추어진 맞춤식 컨텐츠를 제공할 수 있도록 한다. 또한, 영상 데이터를 처리하여 보다 다루기 쉬운 영상 데이터로 변환함으로써, 다음번에 새로 획득한 영상들과 기존의 영상 데이터 와의 비교를 용이하게 한다.
상기한 목적, 특징 및 장점들은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 더욱 분명해 질 것이다. 본 발명을 설명함에 있어서, 관련된 공지 기능 또는 구성요소에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략할 것이다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 설명의 편의를 위하여 필요한 경우에는 장치와 방법을 함께 서술하도록 한다.
이하에서, 본 발명의 기술적 사상을 명확화하기 위하여 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세하게 설명하도록 한다. 도면들 중 동일한 구성요소들에 대하여는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 참조번호들 및 부호들을 부여하였으며 당해 도면에 대한 설명시 필요한 경우 다른 도면의 구성요소를 인용할 수 있음을 미리 밝혀둔다. 또한 도면 상에서 각 구성요소의 크기는 설명의 명료성을 위하여 과장되어 있을 수 있다.
도 1은 본 발명의 일 실시예에 따른 영상 획득 장치(106)와 영상 식별 장치(110)를 포함하는 지능형 오락 시스템의 개략적인 블록도를 도시한 도면이다. 도 1을 참조하면, 본 발명의 일 실시예에 따른 오락 시스템(100)은 1 이상의 사용자(104)가 이용할 수 있는 오락 장치(102)를 포함한다. 오락 장치(102)는 본 발명의 기술사상을 벗어나지 않고 텔레비전, 컴퓨터, 비디오 화면 장치 등과 같은 것을 포함할 수 있다. 실시예에 따라, 오락 장치(102)는 비디오 매체 및 오디오 매체와 같은 모든 종류의 오락 매체를 다양한 채널을 통하여 공급할 수 있는 장치를 포함한다. 바람직하게는, 오락 시스템(100)은 서로 다른 사용자들(104)를 인식할 수 있어 오락 장치(102)에 의해 제공되는 오락이 특정한 사용자(104)의 기설정된 선호도에 맞추어지도록 설정될 수 있다.
이를 위하여, 오락 시스템(100)은 오락 장치(102) 앞에 위치한 1 이상의 사용자들(104)의 영상을 획득하는 영상 획득 장치(106)를 포함한다. 실시예에 따라, 영상 획득 장치(106)는 오락 시스템(100)을 이용하는 사용자(104)의 연속적인 비디오 영상을 획득하는 비디오 카메라를 포함한다. 아래에서 보다 상세히 설명되겠지만, 획득된 영상들은 사전에 식별된 사용자들을 식별하기 위해 사용되어, 그 사용자들의 오락 선호도가 오락 시스템(100)에 구현되도록 할 수 있다. 또한 획득된 영상들은 새로운 사용자의 영상들을 획득하기 위해 사용되어, 다음번 사용시에 그 새로운 사용자의 선호도에 맞추어 지도록 할 수 있다. 일반적으로, 식별 기능을 구현하기 위하여 1 이상의 프로세서나 컴퓨터와 같은 제어 장치(110) 및 메모리(112)가 오락 시스템(100)과 결합되며, 이는 아래에서 도 2 내지 도 7을 참조하여 상세히 설명할 것이다. 프로세서(110)는 통합된 오락 시스템(100)의 일부분일 수도 있고, 당해 기술분야에 알려진 임의의 방법을 이용해 원격 위치할 수도 있다.
도 2는 본 발명의 일 실시예에 따른 오락 시스템(100)이 1 이상의 사용자(104)에게 오락 컨텐츠를 제공하는 동작 방법을 나타내는 흐름도이다. 오락 시스템(100)은 카메라(106)를 이용하여 사용자의 영상을 획득하여 인식된 사용자인지 확인하고, 인식된 사용자라면 오락 시스템(100)이 그 사용자의 선호도에 적합한 방식으로 오락을 제공하도록 설정한다. 도 2에 개시된 동작 방법은 단지 예시적인 것일 뿐이며, 본 발명의 기술사상을 벗어나지 않고 오락 시스템을 특정 인식된 사용자에 맞추어 설정하기 위하여 다른 임의의 방법이 사용될 수 있음을 유념할 것이다.
도 2를 참조하면, 카메라(106)는 사용자의 1 이상의 영상을 획득한다.(S202) 실시예에 따라, 카메라(106)에서 비디오 영상의 일정한 스트림이 프로세서(110)로 공급되고 이 영상들을 처리하여 오락 시스템(100)을 사용하는 사용자가 있는지 없는지를 식별한다. 이 영상들을 영상 라이브러리 즉 데이터 구조에 기존재하는 영상 데이터들과 비교하는 방식으로 처리한다.(S204) 비교가 완료된 후, 오락 시스템(100)은 오락 시스템(100)을 이용하는 사용자가 새로운 사용자인지 기존의 사용자인지 결정한다.(S206) 검출된 사용자가 새로운 사용자인지 영상 데이터와 선호도가 이미 기록된 사용자인지 결정하는 방법의 바람직한 실시예는 아래에서 도 7을 참조하여 상세히 설명할 것이다.
오락 시스템(100)이 현재의 사용자가 새로운 사용자라고 결정하면, 새로운 사용자의 새로운 영상 데이터를 획득하여 저장하기 시작한다.(S210) 특정 사용자의 영상 데이터를 획득하여 저장하는 과정의 방법의 바람직한 실시예는 아래에서 도 3 내지 도 6을 참조하여 상세히 설명할 것이다.
특정 사용자에 대한 영상 데이터가 축적되면, 오락 시스템(100)은 바람직하게 그 사용자에 대한 사용자 파라미터 즉 선호도를 생성한다.(S212) 사용자 파라미 터는 주제 선호도, 채널 선호도, 시청각 표시 선호도 등과 같은 것이 될 수 있다. 실시예에 따라, 오락 시스템(100)은 특정 사용자가 선호하는 오락 컨텐츠의 종류와 오락 장치(102)의 설정을 확인할 수 있는 모니터를 포함할 수 있다. 이렇게 생성된 선호도는 당해 기술분야에 잘 알려진 방법에 따라 메모리(112)에 저장된다. 특정 사용자가 선호할 만한 미래의 컨텐츠를 예상하기 위해 지능형 시스템이 사용될 수 있으며, 시청각 설정을 기억하여 다음에 그 사용자가 오락 시스템(100)을 사용하고 있는 것으로 식별되었을 때 그의 선호도에 따라 오락 시스템(100)이 그 설정을 변경하도록 할 수 있다.
구체적인 예를 들자면, 특정 사용자가 특정 팀이나 팀들이 연관된 스포츠 경기에 관심 있다면 오락 시스템(100)이 그 선호도를 기록하게 하여 그 사용자가 오락 시스템(100) 앞에 앉아 오락 시스템(100)에 의해 시각적으로 식별될 때마다 해당 팀들이 연관된 텔레비전 프로그램 등이 오락 장치(102)에 의해 이용 가능하게 되거나 하이라이트 되도록 할 수 있다. 유사하게, 사용자가 특정 주제에 관련된 프로그램을 보거나 들음으로써 특정 주제의 카테고리에 대한 선호도를 나타내거나 특정 쇼나 특정 배우에 대한 선호도를 나타내면 그러한 것들이 그 사용자에게 제공될 수 있다.
식별된 사용자에게 켄텐츠를 맞추어 제공하기 위하여 본 발명의 기술사상을 벗어나지 않고 오락 시스템(100)의 이용에 관한 여러 가지 다양한 사용자 선호도를 기록하고 처리할 수 있음을 유념할 것이다. 오락 시스템(100)은 사용자가 오락 시스템(100)을 사용하는 습관을 관찰함으로써 사용자의 선호도를 식별할 수 있다. 또 한 사용자가 수동으로 선호도 정보를 제공할 수도 있으며, 각 사용자에 대하여 관찰되거나, 예측되거나 또는 수동 선택된 선호도의 조합이 본 발명의 기술사상을 벗어나지 않고 구현될 수 있다.
도 2를 참조하면, S206 단계에서 기존 사용자가 식별되면, 1 이상의 메모리(112)에 저장된 그 사용자에 대한 사용자 선호도를 호출할 수 있고(S214), 호출된 사용자 선호도를 이용하여 오락 컨텐츠를 그 사용자에게 제공할 수 있다(S216).
특정 사용자를 식별하는 방법과 빠르게 특정 사용자를 식별하기 위해 사용될 수 있는 데이터를 생성하는 방법이 문제가 된다. 오락 시스템(100)이 사용되는 환경이 달라지면 사용자의 모습도 매우 크게 달라진다. 또한, 선호도를 적시에 제공하기 위하여, 사용자가 기존에 인식된 사용자인지 식별하기 위한 방법은 빠르고 정확해야 한다. 도 3a 내지 도 6은, 특정 사용자의 영상 데이터를 획득하고 그 영상 데이터를 처리하여 다음번 사용자가 기존에 인식된 사용자인지 새로운 사용자인지 식별하는 데에 쓰일 수 있도록 하는 시스템과 방법을 나타내는 도면이다. 도 7은 새로운 영상 데이터를 기존에 저장된 영상 데이터와 비교하여 사용자가 새로운 사용자인지 기존의 사용자인지 식별하는 데에 사용될 수 있는 시스템과 방법을 도시하는 도면이다.
도 3a는 비디오 카메라로부터의 입력 데이터를 이용하여 얼굴 데이터베이스를 갱신하는 방법을 나타내는 흐름도의 일 예이다. 도 3a를 참조하면, 각 새로운 사용자에 대하여 영상 데이터를 획득하여야 하며, 이를 얼굴 학습 단계(S302)라 한다. 일 실시예에 따르면, 카메라(106)로부터 연속적인 비디오 입력이 프로세 서(110)에 제공되고 얼굴 학습 단계(S302)의 기능은 프로세서(110)에 의해 구현된다. 일 실시예에 따르면, 새로운 사용자가 식별되면, 그 사용자에게 카메라(106) 앞에 앉도록 하고 카메라(106)나 오락 장치(102)를 바라보면서 머리의 자세와 위치 및 표정을 다양한 방법으로 바꾸도록 요청한다. 특히, 사용자가 오락 장치(102)를 바라보면서 머리의 자세와 표정을 바꾸도록 하여 특정 사용자에 대하여 다양한 영상들을 얻을 수 있도록 한다.
다양한 영상을 획득할수록 그 사용자가 다음에 오락 시스템(100)을 사용할 때 오락 시스템(100)이 그 사용자를 더 잘 식별할 수 있게 된다. 사용자가 다음에 텔레비전 등 오락 장치(102)앞에 앉아 있을 때 조명이 다를 수 있고, 사용자의 표정이 다를 수 있고, 그밖에 다양한 요소들이 다를 수 있다는 점이 식별을 어렵게 한다는 것을 유념해야 한다.
일 실시예에 따르면, 오락 시스템(100)이 사용자가 기존에 인식된 사용자가 아니라고 식별하면 오락 시스템(100)은 새로운 사용자 식별 루틴으로 들어가, 새로운 사용자가 머리를 다양한 자세로 움직이고 표정을 바꾸고 이름을 오락 시스템(100)에 입력하고 선호도를 선택하는 등을 하도록 한다. 다른 실시예에 따르면, 오락 시스템(100)은 사용자로부터 입력을 받지 않고 사용자가 오락 시스템(100)을 사용하는 동안에 영상 데이터와 선호도 데이터를 획득할 수 있다.
일반적으로 얼굴 학습 단계(S302)는, 획득한 영상 데이터를 이어지는 비교 분석을 위해 조정 처리하는 얼굴 데이터 준비 단계; 새로운 영상을 기존에 저장된 영상 데이터와 비교하는 데에 필요한 연산을 줄이기 위해 유사한 영상을 나타내는 데이터끼리 클러스터링하는 클러스터링 단계; 클러스터링된 영상들을 나타내는 데이터를 다음번 비교에 효율적으로 사용할 수 있는 수학적 또는 논리적 구조로 만드는 학습 단계;의 세 가지 주요 단계를 포함한다. 이 각 단계는 나머지 도면들을 참조하여 아래에서 상세히 설명할 것이다.
도 3c는 얼굴 데이터를 획득하고 처리하여 도 3b의 얼굴 데이터베이스의 정보를 얻는 방법을 나타내는 흐름도의 일 예이다. 도 3c를 참조하여 얼굴 학습 단계(S302)를 보다 상세히 설명한다. 카메라 등 영상 획득 장치(106)에서 획득한 영상들은 우선 얼굴 데이터 준비 단계(S308)에서, 이어지는 수학적 처리를 할 수 있도록 디지털 처리된다. 도 4a 및 4b에서 설명할 것과 같이, 오락 시스템(100)은 영상에 얼굴이 있는지 검출하고, 영상에 얼굴이 있다면 그 얼굴 영상을 스케일링, 마스킹 및 화질 향상(enhancing) 처리하여 이전에 획득한 얼굴 데이터베이스(304)의 얼굴 영상 데이터들과 비교하기 쉽도록 만든다. S308 단계에서 얼굴 데이터 영상이 준비되면, 이를 얼굴 영상 버퍼(310)에 제공한다.
모든 학습 영상들이 얼굴 영상 버퍼(310)에 제공되면, 학습 비디오의 얼굴에 대하여 N개의 대표 얼굴 영상들을 얻기 위하여 클러스터링 기술이 적용된다(S312). 일반적으로, 많은 수의 얼굴 영상들을 나타내는 데이터가 적은 수의 대표 얼굴 영상들을 나타내는 데이터로 표현되도록, 알려진 클러스터링 기술들과 다른 수학적 기술들을 이용하여 얼굴 영상들을 나타내는 데이터들을 비교하여 그 차원을 감소시킨다. 이러한 과정은 아래에서 도 5를 참조하여 상세히 설명할 것이다.
S312 단계에서 N개의 대표 얼굴 영상들을 나타내는 데이터가 클러스터링되 면, 이를 얼굴 데이터베이스(304a) 내의 기존 대표 얼굴 영상들을 나타내는 데이터와 병합하여 얼굴 데이터베이스(304)가 새로운 대표 얼굴 영상들로 갱신되도록 한다. 이어서, 알려진 수학적 기술들을 이용하여 얼굴 데이터베이스(304a)에 저장된 모든 얼굴 영상들을 학습하여 변환 행렬과 가중치들을 얻음으로써 다음번 영상들을 보다 빠르게 처리하고 다음번 영상들이 기존에 식별된 사용자를 나타내는지 새로운 사용자인지 결정하는 데에 수학적 도구들을 사용할 수 있게 한다.
얼굴 데이터는 도 3b에 나타낸 것과 유사한 형식으로 메모리(112)에 저장할 수 있다. 도 3b를 참조하면, 변환 행렬은 1부터 N까지의 얼굴 ID들과 해당 사용자의 이름들을 포함한다. 각 얼굴 ID에 대하여, 얼굴 영상들을 나타내는 데이터와 해당 가중치가 덧붙는다. 얼굴 영상들은 각 사용자에 대하여 획득된 대표 얼굴 영상들이다. 따라서, 일 실시예로 이름으로 식별되는 한 사람은, 연관된 복수의 얼굴 영상들과 해당 가중치들을 갖게 되며, 이때 이름은 다양한 방법으로 입력될 수 있다. 따라서, 복수의 대표 영상들과 가중치들을 사용하여 특정인에 대한 합성 영상을 생성할 수 있다. 이러한 방법을 통하여, 오락 시스템(100)을 사용하는 사람이 기존에 식별된 사용자인지 식별하기 위하여 자세, 조명 및 기타 환경 요소들의 차이가 고려될 수 있다.
도 4a는 카메라로부터의 비디오에서 얼굴을 검출하고 이어지는 분석을 위해 처리하는 방법을 나타내는 흐름도의 일 예이다. 도 4a를 참조하여 얼굴 데이터 준비 단계(S308)를 더욱 상세히 설명한다. 우선, 카메라(106)가 비디오 입력을 통상적으로 디지털 형식으로 얼굴 검출 단계(S402)에 제공한다. 얼굴 검출 단계(S402) 는 카메라(106) 앞에 얼굴이 있는지 식별하여 오락 시스템(100)을 사용하는 사용자가 있는지 알아 낸다. 얼굴 검출은 종래기술들을 통해 수행될 수 있으며, 한 실시예로 "Robust Real-Time Face Detection," International Journal of Computer Vision, 57(2):137-154, 2004, by P. Viola and M. Jones에 개시된 Viola and Jones face detection method가 있다. S402 단계에서 오락 시스템(100)이 얼굴을 검출하면, 이어지는 분석을 위해 결과 영상을 사전 처리한 후, 처리된 얼굴 영상을 상기한 것과 같이 얼굴 영상 버퍼(310)에 제공한다. (S404)
도 4b는 검출된 얼굴(복수개의 초기 영상들)을 이어지는 수학적 처리를 위해 사전 처리하는 방법을 나타내는 흐름도의 일 예이다. 도 4b에 나타난 것과 같이, 사전 처리 단계는 세 가지 기본 단계를 포함한다. 즉, 비교와 처리가 용이하도록 모든 얼굴 영상들이 똑같거나 유사한 크기를 갖게 하기 위하여 영상을 표준 크기로 스케일한다.(S410) 보다 상세하게는, 스케일링 단계(S410)에서 획득 비디오의 원래 크기의 얼굴 영상이 표준 크기의 비디오로 스케일링된다. 이어서, 마스킹 단계에서는 스케일링 된 영상에 마스킹을 적용하여 영상 내의 사람의 머리, 옷 등을 대부분 제거함으로써 얼굴 인식 과정을 단순화시킨다.(S412) 일 실시예로, 일반적으로 사각형인 영상에 타원형 마스크를 적용한다. 타원형 마스크는 대략 타원 형태의 바깥쪽에 있는 모든 픽셀들을 제거하며, 타원 형태는 가급적 영상의 중심에 있는 얼굴의 영상과 일치하도록 선택하여 중심의 얼굴 특징들만 남도록 한다. 원래의 획득 영상에서 식별 과정을 복잡하게 할 만한 부분을 제거하기 위하여 임의의 다른 마스킹 기술이 사용될 수 있음을 유념할 것이다.
도 4b에 나타난 것과 같이, 화질 향상 단계에서 얼굴 영상의 명암비가 향상되도록 마스킹된 영상을 화질 향상시켜, 얼굴의 마스킹되지 않은 부분에 있는 서로 다른 특징들의 명도 차이가 강조되도록 한다.(S414) 실시예에 따라 모든 얼굴 영상의 명암비를 향상시키는 데에 히스토그램 균등화(histogram equalization) 기술을 사용하여 모든 처리된 얼굴 영상이 똑같은 히스토그램을 가지도록 한다. 특정한 실시예에서는, 특정 픽셀의 명도의 확률 함수가 전 구역 내에서 선형화되도록 변환 함수를 데이터에 적용함으로써 히스토그램 균등화 방법을 수행한다.
정리하자면, 원래의 영상 데이터는 스케일링, 마스킹 및 화질 향상되어 표준 명암비를 갖는 처리된 얼굴 영상들의 표준 세트를 나타내는 데이터가, 아래에 설명될 방식으로 기존의 얼굴 데이터베이스와 병합되기 위해 얼굴 영상 버퍼(310)에 공급되는 것이다. 얼굴 영상의 명암비를 향상시키기 위해 히스토그램 균등화를 사용할 수도 있으나, 본 발명의 기술사상을 벗어나지 않고 임의의 다른 균등화 방법을 수행할 수 있다는 것을 유념할 것이다.
도 3c에 나타나듯이, 준비된 얼굴 데이터 영상들을 나타내는 모든 데이터가 얼굴 영상 버퍼(310)에 기록되면, 그 영상들은 N개의 대표 얼굴 영상들을 얻기 위하여 처리되고 클러스터링된다. 도 5는 사용자의 대표 얼굴 영상들을 생성하기 위해 얼굴 데이터를 수학적으로 처리하는 방법을 나타내는 흐름도의 일 예이다. 도 5를 참조하면, 얼굴 영상 버퍼의 각 영상을 처리하여 얼굴 데이터의 차원을 감소시킨다.(S502) 특정한 일 실시예에서, 얼굴 영상들의 차원을 줄이기 위하여 주성분 분석법(principal component analysis; PCA)을 사용한다. 이 과정에서, 서로 크게 다르지 않은 얼굴 영상들을, 나머지 영상들을 나타내는 데이터가 최대 분산을 보이는 영상들을 나타내는 데이터가 되도록 처리한다.
일반적으로, 주성분 분석법에서는 데이터를 한 축으로 사영하였을 때 그 분산이 가장 커지는 축이 첫 번째 좌표축(첫 번째 주 좌표축이라 한다.)으로 오고, 분산이 두 번째로 커지는 축이 두 번째 좌표축으로 오는 식으로 차례로 놓이도록 디지털 명도 값들을 새로운 좌표계로 직교 선형 변환(orthogonal linear transform)하여 일반적으로 데이터가 최소 제곱 항들로 주어지도록 한다. 따라서, 이렇게 얼굴 영상 데이터의 차원이 감소되고 남은 얼굴 영상 데이터들이 클러스터링 단계에서 클러스터링된다.(S504) 클러스터링 단계(S504)에서, 차원이 감소된 얼굴 영상 데이터는 N개의 클러스터 집합으로 병합되도록 클러스터링 된다. 유사한 영상들은 계층적 응집 클러스터링법(Hierarchical Agglomerative Clustering; HAC)이나 다른 알려진 클러스터링 기술을 사용하여 수학적으로 군집화된다. 그 후, 각 클러스터들을 평균화함으로써 N개의 각 클러스터들로부터 평균화된 대표 얼굴 영상을 나타내는 데이터를 얻게 된다.
클러스터링 단계의 출력은 새로운 사용자에 대한 N개의 대표 얼굴 영상들을 나타내는 데이터를 제공하고, 이들은 숫자 ID를 부여받고, 사용자는 새로운 이름을 입력한다. N개의 대표 얼굴 영상들은 얼굴 데이터베이스(도 3b 참조)로 변환되어 오락 시스템(100)을 사용하는 새로운 사용자의 얼굴 영상들과 비교하는 데에 쓰일 기존 얼굴 영상들을 갱신한다.
도 6은 다음번에 획득한 얼굴의 식별에 사용할 변환 행렬과 가중치들을 생성 하기 위하여 병합된 얼굴 영상들을 처리하는 방법을 나타내는 흐름도의 일 예이다. 도 6을 참조하면, 새로운 N개의 대표 얼굴 영상들은 기존의 모든 다른 사용자들의 대표 얼굴 영상들과 함께 표준 PCA-LDA 과정을 거쳐 각 얼굴 영상에 대한 변환 행렬과 가중치들을 얻게 된다. 보다 상세하게는, 도 6에 나타나듯이 얼굴 영상 데이터베이스(310) 의 병합된 대표 얼굴 영상들은 주성분 분석법(principal component analysis; PCA)을 이용해 차원이 감소된다.(S602) 이어서, 차원 감소된 얼굴 영상들은, 영상들을 서로 다른 군으로 가장 잘 분리하는 특징들의 선형 조합을 찾는 선형 판별 분석법 (Linear Discriminant Analysis; LDA)을 거치게 된다. 이런 과정을 통해 모든 영상들의 변환 행렬과 가중치들을 얻는다.
이 특수한 값들을 이용해 새로운 영상이 기존의 영상과 일치하는지 보다 효율적으로 결정할 수 있다. 보다 상세하게, 도 7에 나타나듯이 도 4a의 S402 단계에서 설명된 것과 본질적으로 동일하거나 유사한 과정을 통해 얼굴이 검출되면(S720), 도 4b의 S410 단계에서 설명된 것과 본질적으로 동일하거나 유사한 과정을 통해 영상이 스케일링되고(S712), 도 4b의 S412 단계에서 설명된 것과 본질적으로 동일하거나 유사한 과정을 통해 스케일링된 영상이 마스킹되고(S713), 도 4b의 S414 단계에서 설명된 것과 본질적으로 동일하거나 유사한 과정을 통해 마스킹된 영상이 화질향상된다.(S714)
이러한 방법을 통하여, 새로운 영상은 변환 행렬에 있는 데이터와 동일한 기본 형식과 임계치를 갖는 얼굴 영상 데이터로 변환된다. 변환 행렬은 바람직하게 각 대표 영상들 I1 to N 에 대하여 가중치들 W1 to N을 포함한다. 따라서, 변환행렬의 각 사용자의 영상은 대표 영상들의 가중 합계가 된다.
새로운 영상에 변환행렬을 적용하여, T X Inew로부터 가중치들 Wnew를 얻게 된다.(S716) 새로운 Wnew 값들을 변환 행렬의 기존 가중치들과 비교함으로써 새로운 영상이 기존에 인식되어 변환 행렬에 저장된 사용자의 영상인지 결정할 수 있다.(S720) 보다 상세하게, 일 실시예에서, 새로운 영상들의 가중치들 Wnew와 기존 가중치들 W1-N 간의 유클리드 거리(Euclidean distance)를 구한다. 이러한 비교 후에, 새로운 아이덴티티와 가장 가까운 관련된 아이덴티티 사이의 최소 거리를 계산할 수 있다. 이 최소 거리가 미리 정의된 임계치보다 작으면 새 영상은 기존에 기록된 관련 영상으로 인식되며, 아니라면 새로운 영상은 새로운 사용자의 것이다.
만일 사용자가 기존 사용자로 식별되면, 메모리(112)에서 그 사용자에 대한 저장된 선호도를 호출하여 오락 시스템(100)을 그 사용자의 선호도에 맞추어 설정한다. 만일 사용자가 기존 사용자로 식별되지 않으면, 상기한 방법에 따라 새로운 사용자의 영상 데이터를 획득하는 S722 단계로 진행한다.
지금까지 본 발명에 대하여 도면에 도시된 바람직한 실시예들을 중심으로 상세히 살펴보았다. 이러한 실시예는 이 발명을 한정하려는 것이 아니라 예시적인 것에 불과하며, 특정한 용어들이 사용되었으나 이는 단지 본 발명을 설명하기 위한 목적에서 사용된 것이지 의미한정이나 특허청구범위에 기재된 본 발명의 범위를 제 한하기 위하여 사용된 것은 아니다. 그러므로 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 비록 본 명세서에 명확히 설명되거나 도시되지 않았지만 청구범위에서 청구하는 본 발명의 본질적인 기술사상에서 벗어나지 않는 범위에서 본 발명의 원리를 구현하는 다양한 변형 형태 및 균등한 타 실시예로 구현될 수 있음을 이해할 수 있을 것이다. 따라서 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 즉 본 명세서에 열거된 모든 조건부 용어 및 실시예들은 원칙적으로 본 발명의 개념이 이해되도록 하기 위한 목적으로만 명백히 의도되며, 본 발명이 이와 같이 특별히 열거된 실시예들 및 상태들에 제한적이지 않은 것으로 이해되어야 한다.
본 발명의 진정한 기술적 보호범위는 전술한 설명이 아니라 첨부된 특허청구범위의 기술적 사상에 의해서 정해져야 하며, 그와 동등한 범위 내에 있는 모든 구조적 및 기능적 균등물은 본 발명에 포함되는 것으로 해석되어야 할 것이다. 이러한 균등물은 현재 공지된 균등물뿐만 아니라 장래에 개발될 균등물 즉 구조와 무관하게 동일한 기능을 수행하도록 발명된 모든 구성요소를 포함하는 것으로 이해되어야 한다.
도 1은 본 발명의 일 실시예에 따른 영상 획득 장치와 영상 식별 장치를 포함하는 지능형 오락 시스템의 개략적인 블록도를 도시한 도면이다.
도 2는 도 1의 오락 시스템의 동작을 나타내는 흐름도의 일 예로서, 특정 사용자의 영상을 획득하고 그 사용자에 대한 선호도를 생성하거나 호출하는 과정을 나타낸다.
도 3a는 비디오 카메라로부터의 입력 데이터를 이용하여 얼굴 데이터베이스를 갱신하는 방법을 나타내는 흐름도의 일 예이다.
도 3b는 다양한 얼굴들의 데이터를 갖는 얼굴 데이터베이스의 일 예이다.
도 3c는 얼굴 데이터를 획득하고 처리하여 도 3b의 얼굴 데이터베이스의 정보를 얻는 방법을 나타내는 흐름도의 일 예이다.
도 4a는 카메라로부터의 비디오에서 얼굴을 검출하고 이어지는 분석을 위해 처리하는 방법을 나타내는 흐름도의 일 예이다.
도 4b는 검출된 얼굴을 이어지는 수학적 처리를 위해 사전 처리하는 방법을 나타내는 흐름도의 일 예이다.
도 5는 사용자의 대표 얼굴 영상들을 생성하기 위해 얼굴 데이터를 수학적으로 처리하는 방법을 나타내는 흐름도의 일 예이다.
도 6은 다음번에 획득한 얼굴의 식별에 사용할 변환 행렬과 가중치들을 생성하기 위하여 병합된 얼굴 영상들을 처리하는 방법을 나타내는 흐름도의 일 예이다.
도 7은 사용자가 새로운 사용자인지 바람직한 사용자 파라미터가 이미 알려 진 기존의 사용자인지 결정하기 위하여, 새로 획득한 영상을 기존에 얻은 영상 데이터와 비교하는 방법을 나타내는 흐름도의 일 예이다.

Claims (29)

  1. 오락 시스템(entertainment system)에 있어서,
    오락 컨텐츠를 1 이상의 사용자에게 제공하는 오락 장치;
    1 이상의 사용자의 영상을 획득하는 영상 획득 장치; 및
    상기 영상 획득 장치로부터 영상을 수신하고 상기 오락 장치에 신호를 보내는 적어도 하나의 프로세서;를 포함하며,
    상기 적어도 하나의 프로세서는
    상기 오락 시스템의 복수의 인식된 사용자들을 나타내는 영상 데이터를 포함하는 영상 데이터 구조(image data structure)를 생성하고,
    상기 오락 시스템의 인식된 사용자들의 선호도를 선호도 데이터 구조(preference data structure)에 기록하고,
    상기 영상 획득 장치로부터 새로 수신한 영상과 상기 영상 데이터 구조의 상기 영상 데이터를 비교하여 새로 수신한 영상이 기존에 인식된 사용자를 나타내는지 판단하고,
    상기 새로 수신한 영상이 기존에 인식된 사용자를 나타내는 경우, 상기 오락 시스템이 상기 선호도 데이터 구조 내의 상기 인식된 사용자의 선호도와 일치하는 오락 컨텐츠를 제공하도록 상기 오락 시스템을 설정하는 것을 특징으로 하는 오락 시스템.
  2. 제1항에 있어서,
    상기 적어도 하나의 오락 장치는 복수의 서로 다른 비디오 채널들을 디스플레이 하기에 적합한 비디오 디스플레이를 포함하고,
    상기 선호도는 상기 인식된 사용자들이 선호하는 비디오 컨텐츠의 종류를 나타내는 선호도 및 디스플레이 선호도를 포함하는 것을 특징으로 하는 오락 시스템.
  3. 제1항에 있어서, 상기 영상 획득 장치는
    상기 오락 시스템을 사용하도록 위치한 사용자의 영상 스트림을 획득하는 비디오 카메라를 포함하는 것을 특징으로 하는 오락 시스템.
  4. 제1항에 있어서,
    상기 적어도 하나의 프로세서는 적어도 하나의 결합된 메모리를 포함하며,
    상기 선호도 데이터 구조와 상기 영상 데이터 구조는 상기 결합된 적어도 하나의 메모리에 저장되는 것을 특징으로 하는 오락 시스템.
  5. 제1항에 있어서, 적어도 하나의 상기 프로세서는
    새로운 사용자가 상기 오락 시스템을 사용하는지 결정하고,
    새로운 사용자가 상기 오락 시스템을 사용하는 경우, 상기 새로운 사용자의 복수개의 대표 영상들을 얻고 상기 새로운 사용자의 선호도를 얻는 것을 특징으로 하는 오락 시스템.
  6. 제5항에 있어서,
    상기 복수개의 대표 영상들은 상기 영상 획득 장치로부터 획득된 복수개의 초기 영상들로부터 생성되는 영상들이며,
    상기 대표 영상들을 얻기 위하여 상기 복수개의 초기 영상들이 표준화되고 클러스터링되는 것을 특징으로 하는 오락 시스템.
  7. 제6항에 있어서,
    상기 복수개의 초기 영상들은 유사한 방식으로 스케일링, 마스킹 및 화질 향상 됨으로써 표준화되고, 상기 복수개의 초기 영상들은 유사한 영상들로 클러스터링된 후, 결합되어 상기 대표 영상들을 형성하는 것을 특징으로 하는 오락 시스템.
  8. 제7항에 있어서,
    상기 복수개의 초기 영상들은 상기 복수개의 초기 영상들의 차원을 줄이기 위하여 주성분 분석법(principal component analysis: PCA)을 이용하여 처리된 후, 계층적 응집 클러스터링법(Hierarchical Agglomerative Clustering: HAC)을 이용하여 클러스터링되는 것을 특징으로 하는 오락 시스템.
  9. 제7항에 있어서, 상기 적어도 하나의 프로세서는
    상기 대표 영상들을 상기 영상 데이터 구조에 기존재하는 다른 인식된 사용 자들의 영상들과 병합하고,
    상기 인식된 사용자들과 새로운 사용자의 모든 대표 영상들을 나타내는 변환 행렬 및 상기 대표 영상들이 특정한 인식된 사용자를 식별하는 데에 기여하는 정도를 나타내는 가중치들을 생성하는 것을 특징으로 하는 오락 시스템.
  10. 제9항에 있어서, 상기 적어도 하나의 프로세서는
    상기 영상 획득 장치로부터 새로운 영상을 받으면 상기 새로운 영상이 상기 대표 영상들과 표준화되도록 처리한 후,
    상기 변환 행렬을 상기 새로운 영상에 적용하여 상기 새로운 영상이 인식된 사용자를 나타내는지 결정하는 것을 특징으로 하는 오락 시스템.
  11. 오락 시스템이 식별된 사용자의 선호도에 맞추어 설정되도록 상기 오락 시스템의 사용자를 식별하는 사용자 식별 시스템에 있어서,
    상기 오락 시스템의 사용자들의 영상을 획득하는 영상 획득 장치; 및
    상기 영상 획득 장치로부터 영상을 수신하는 제어 장치를 포함하며,
    상기 제어 장치는
    상기 오락 시스템의 복수개의 식별된 사용자들을 나타내는 영상 데이터 행렬(image data matrix)을 생성하고,
    상기 영상 획득 장치로부터 새로 수신된 영상들과 상기 영상 데이터 행렬의 영상 데이터를 비교하여 새로 수신된 영상이 식별된 사용자의 것인지 또는 새로운 사용자의 것인지 결정하고,
    상기 새로 수신된 영상이 식별된 사용자의 것인 경우, 상기 사용자를 식별해서 상기 사용자를 식별해서 상기 식별된 사용자의 선호도가 상기 오락 시스템에 구현되도록 하고,
    상기 새로 수신된 영상이 식별된 사용자의 것이 아닌 경우, 상기 새로운 사용자의 추가 영상들을 획득하여 상기 새로운 사용자를 나타내는 영상 데이터로 상기 영상 데이터 행렬을 갱신하여, 다음 동작 때에는 상기 새로운 사용자가 식별된 사용자가 되도록 하는 것을 특징으로 하는 사용자 식별 시스템.
  12. 제11항에 있어서, 상기 영상 획득 장치는
    사용자의 영상 스트림을 상기 제어 장치에 제공하는 비디오 카메라를 포함하는 것을 특징으로 하는 사용자 식별 시스템.
  13. 제11항에 있어서, 상기 제어 장치는
    상기 영상 데이터 행렬을 갱신하기 위하여 새로운 사용자의 영상들로부터 복수개의 대표 영상 데이터 요소들을 생성하는 것을 특징으로 하는 사용자 식별 시스템.
  14. 제13항에 있어서,
    상기 대표 영상 데이터 요소들은 상기 영상 획득 장치로부터 얻어진 복수개 의 초기 영상들로부터 생성되는 영상 데이터 요소들이며,
    상기 복수개의 대표 영상 데이터 요소들을 얻기 위하여 상기 복수개의 초기 영상들이 표준화되고 클러스터링되는 것을 특징으로 하는 사용자 식별 시스템.
  15. 제14항에 있어서,
    상기 복수개의 초기 영상들은 유사한 방식으로 스케일링, 마스킹 및 화질 향상 됨으로써 표준화되고, 상기 복수개의 초기 영상들은 유사한 영상들로 클러스터링된 후, 결합되어 상기 대표 영상 데이터 요소들을 형성하는 것을 특징으로 하는 사용자 식별 시스템.
  16. 제15항에 있어서,
    상기 복수개의 초기 영상들은 상기 복수개의 초기 영상들의 차원을 줄이기 위하여 주성분 분석법을 이용하여 처리된 후, 계층적 응집 클러스터링법을 이용하여 클러스터링되는 것을 특징으로 하는 사용자 식별 시스템.
  17. 제15항에 있어서, 상기 제어장치는
    상기 새로운 사용자의 상기 대표 영상 데이터 요소들을 기존재하는 다른 식별된 사용자들을 나타내는 대표 영상 데이터 요소들을 갖는 상기 영상 데이터 행렬에 병합함으로써 상기 영상 데이터 행렬을 갱신하고,
    상기 식별된 사용자들과 새로운 사용자의 모든 대표 영상 데이터 요소들을 나타내는 변환 행렬 및 상기 대표 영상 데이터 요소들이 특정한 식별된 사용자를 식별하는 데에 기여하는 정도를 나타내는 가중치들을 생성하여 상기 가중치들을 상기 영상 데이터 행렬에 저장하는 것을 특징으로 하는 사용자 식별 시스템.
  18. 제17항에 있어서, 상기 제어 장치는
    상기 영상 데이터 행렬의 상기 병합된 대표 영상 데이터 요소들 전체에 대하여 주성분 분석법을 적용하여 상기 병합된 대표 영상 데이터 요소들의 차원을 줄인 후,
    상기 변환 행렬과 가중치들을 얻기 위하여 선형 판별 분석법(Linear Discriminant Analysis: LDA)를 수행함으로써 상기 변환 행렬을 생성하는 것을 특징으로 하는 사용자 식별 시스템.
  19. 제18항에 있어서, 상기 제어 장치는
    상기 영상 획득 장치로부터 새로운 영상을 받으면 상기 새로운 영상이 상기 영상 데이터 행렬의 대표 영상 데이터 요소들과 표준화되도록 처리한 후,
    상기 변환 행렬을 상기 새로운 표준화된 영상에 적용하여 상기 새로운 영상이 인식된 사용자를 나타내는지 결정하는 것을 특징으로 하는 사용자 식별 시스템.
  20. 제19항에 있어서, 상기 제어 장치는
    상기 변환 행렬을 상기 새로운 표준화된 영상에 적용하여 계산된 가중치들과 상기 영상 데이터 행렬의 가중치들을 비교하여 상기 새로운 영상이 식별된 사용자를 나타내는지 결정하는 것을 특징으로 하는 사용자 식별 시스템
  21. 사용자의 영상 데이터를 획득함으로써 오락 시스템을 사용하는 사용자가 있는지 결정하는 단계;
    상기 오락 시스템을 사용하는 사용자가 식별된 사용자인지 결정하는 단계;
    상기 오락 시스템을 사용하는 사용자가 새로운 사용자라고 결정되면, 상기 새로운 사용자가 다음에 상기 오락 시스템을 사용할 때에는 식별된 사용자가 될 수 있도록 상기 새로운 사용자를 나타내는 영상 데이터로 영상 데이터 구조를 갱신하는 단계;
    상기 오락 시스템을 사용하는 사용자가 식별된 사용자라고 결정되면 상기 오락 시스템을 사용하는 사용자의 상기 오락 시스템의 동작에 대한 선호도를 호출하는 단계; 및
    상기 식별된 사용자의 상기 선호도에 따라 상기 오락 시스템의 동작을 변경하는 단계를 포함하는 것을 특징으로 하는 오락 시스템의 동작 변경 방법.
  22. 제21항에 있어서, 상기 새로운 사용자를 나타내는 영상 데이터로 영상 데이터 구조를 갱신하는 단계는
    상기 새로운 사용자의 영상들로부터 대표 영상 데이터 요소들을 생성하는 단계를 포함하는 것을 특징으로 하는 오락 시스템의 동작 변경 방법.
  23. 제22항에 있어서,
    상기 대표 영상 데이터 요소들은 영상 획득 장치로부터 얻어진 복수개의 초기 영상들로부터 생성되는 영상 데이터 요소들이며,
    상기 대표 영상 데이터 요소들을 얻기 위하여 상기 복수개의 초기 영상들이 표준화되고 클러스터링되는 것을 특징으로 하는 오락 시스템의 동작 변경 방법.
  24. 제23항에 있어서,
    상기 복수개의 초기 영상들은 유사한 방식으로 스케일링, 마스킹 및 화질 향상 됨으로써 표준화되고, 상기 복수개의 초기 영상들은 유사한 영상들로 클러스터링된 후, 결합되어 상기 대표 영상 데이터 요소들을 형성하는 것을 특징으로 하는 오락 시스템의 동작 변경 방법.
  25. 제24항에 있어서,
    상기 복수개의 초기 영상들은 상기 복수개의 초기 영상들의 차원을 줄이기 위하여 주성분 분석법을 이용하여 처리된 후, 계층적 응집 클러스터링법을 이용하여 클러스터링되는 것을 특징으로 하는 오락 시스템의 동작 변경 방법.
  26. 제24항에 있어서,
    상기 새로운 사용자의 상기 대표 영상 데이터 요소들을 상기 영상 데이터 구 조에 기존재하는 다른 식별된 사용자들을 나타내는 대표 영상 데이터 요소들과 병합하고,
    상기 식별된 사용자들과 새로운 사용자의 모든 대표 영상 데이터 요소들을 나타내는 변환 행렬 및 상기 대표 영상 데이터 요소들이 특정한 식별된 사용자를 식별하는 데에 기여하는 정도를 나타내는 가중치들을 생성하여 상기 가중치들을 상기 영상 데이터 구조에 저장함으로써 상기 영상 데이터 구조를 갱신하는 것을 특징으로 하는 오락 시스템의 동작 변경 방법.
  27. 제26항에 있어서,
    상기 영상 데이터 구조의 상기 병합된 대표 영상 데이터 요소들 전체에 대하여 주성분 분석법을 적용하여 상기 병합된 대표 영상 데이터 요소들의 차원을 줄인 후,
    상기 변환 행렬과 가중치들을 얻기 위하여 선형 판별 분석법을 수행함으로써 상기 변환 행렬을 생성하는 것을 특징으로 하는 오락 시스템의 동작 변경 방법.
  28. 제27항에 있어서, 상기 오락 시스템을 사용하는 사용자가 식별된 사용자인지 결정하는 단계는
    상기 오락 시스템을 사용하는 사용자의 영상이 상기 영상 데이터 구조의 대표 영상 데이터 요소들과 표준화되도록 처리한 후,
    상기 변환 행렬을 상기 표준화된 영상에 적용하여 상기 오락 시스템을 사용 하는 사용자의 영상이 인식된 사용자를 나타내는지 결정하는 단계를 포함하는 것을 특징으로 하는 오락 시스템의 동작 변경 방법.
  29. 제28항에 있어서, 상기 오락 시스템을 사용하는 사용자가 식별된 사용자인지 결정하는 단계는
    상기 변환 행렬을 상기 표준화된 영상에 적용하여 계산된 가중치들과 상기 영상 데이터 구조의 가중치들을 비교하여 상기 오락 시스템을 사용하는 사용자의 영상이 식별된 사용자를 나타내는지 결정하는 단계를 더 포함하는 것을 특징으로 하는 오락 시스템의 동작 변경 방법.
KR1020080123225A 2008-05-15 2008-12-05 오락 시스템의 사용자의 얼굴 인식 학습 방법 및 시스템 KR20090119670A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US12/121,695 2008-05-15
US12/121,695 US20090285454A1 (en) 2008-05-15 2008-05-15 Method and system for facial recognition training of users of entertainment systems

Publications (1)

Publication Number Publication Date
KR20090119670A true KR20090119670A (ko) 2009-11-19

Family

ID=41316206

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080123225A KR20090119670A (ko) 2008-05-15 2008-12-05 오락 시스템의 사용자의 얼굴 인식 학습 방법 및 시스템

Country Status (2)

Country Link
US (1) US20090285454A1 (ko)
KR (1) KR20090119670A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104349046A (zh) * 2013-08-09 2015-02-11 富士施乐株式会社 图像处理装置和方法
US10524004B2 (en) 2014-02-07 2019-12-31 Samsung Electronics Co., Ltd. Content recommendation method and device

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101089393B1 (ko) * 2006-12-22 2011-12-07 노키아 코포레이션 플래시 이미지 내의 아티팩트를 감소시키는 방법, 장치 및 컴퓨터 판독가능한 매체
JP5189913B2 (ja) * 2008-07-14 2013-04-24 イーストマン コダック カンパニー 画像処理装置
US8462997B2 (en) * 2010-09-15 2013-06-11 Microsoft Corporation User-specific attribute customization
US9082235B2 (en) * 2011-07-12 2015-07-14 Microsoft Technology Licensing, Llc Using facial data for device authentication or subject identification
US8769556B2 (en) * 2011-10-28 2014-07-01 Motorola Solutions, Inc. Targeted advertisement based on face clustering for time-varying video
US20130326347A1 (en) * 2012-05-31 2013-12-05 Microsoft Corporation Application language libraries for managing computing environment languages
US9639676B2 (en) 2012-05-31 2017-05-02 Microsoft Technology Licensing, Llc Login interface selection for computing environment user login
US8965170B1 (en) * 2012-09-04 2015-02-24 Google Inc. Automatic transition of content based on facial recognition
TWI582708B (zh) * 2012-11-22 2017-05-11 緯創資通股份有限公司 臉部表情控制系統、表情控制之方法及其電腦系統
US20140244678A1 (en) * 2013-02-28 2014-08-28 Kamal Zamer Customized user experiences
KR102160736B1 (ko) 2014-01-09 2020-09-28 삼성전자주식회사 디스플레이 장치 및 디스플레이 장치의 표시 방법
JP6472279B2 (ja) * 2015-03-09 2019-02-20 キヤノン株式会社 画像処理装置及び画像処理方法
US10162878B2 (en) * 2015-05-21 2018-12-25 Tibco Software Inc. System and method for agglomerative clustering
JP2017117384A (ja) 2015-12-25 2017-06-29 東芝テック株式会社 情報処理装置
US10282530B2 (en) 2016-10-03 2019-05-07 Microsoft Technology Licensing, Llc Verifying identity based on facial dynamics
US10057644B1 (en) * 2017-04-26 2018-08-21 Disney Enterprises, Inc. Video asset classification
CN107592571A (zh) * 2017-08-31 2018-01-16 深圳创维－Rgb电子有限公司 智能系统调整方法、装置及计算机可读存储介质
US11157777B2 (en) 2019-07-15 2021-10-26 Disney Enterprises, Inc. Quality control systems and methods for annotated content
US11933765B2 (en) * 2021-02-05 2024-03-19 Evident Canada, Inc. Ultrasound inspection techniques for detecting a flaw in a test object

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002232559A (ja) * 2001-01-31 2002-08-16 Nec Corp データ受信装置及びデータ通信装置
US7379560B2 (en) * 2003-03-05 2008-05-27 Intel Corporation Method and apparatus for monitoring human attention in dynamic power management

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104349046A (zh) * 2013-08-09 2015-02-11 富士施乐株式会社 图像处理装置和方法
CN104349046B (zh) * 2013-08-09 2019-04-26 富士施乐株式会社 图像处理装置和方法
CN104349046B9 (zh) * 2013-08-09 2019-05-31 富士施乐株式会社 图像处理装置和方法
US10524004B2 (en) 2014-02-07 2019-12-31 Samsung Electronics Co., Ltd. Content recommendation method and device

Also Published As

Publication number Publication date
US20090285454A1 (en) 2009-11-19

Similar Documents

Publication Publication Date Title
KR20090119670A (ko) 오락 시스템의 사용자의 얼굴 인식 학습 방법 및 시스템
US20200320356A1 (en) System and method for appearance search
JP5358083B2 (ja) 人物画像検索装置及び画像検索装置
JP4697106B2 (ja) 画像処理装置および方法、並びにプログラム
CN102301379B (zh) 从显示多媒体控制并且请求信息的方法
WO2007077713A1 (ja) 映像生成装置、映像生成方法および映像生成プログラム
JP2019513275A (ja) 監視方法及び装置
KR20080104034A (ko) 얼굴화상 등록 장치, 얼굴화상 등록 방법, 얼굴화상 등록 프로그램, 및 기록 매체
US20220172513A1 (en) Information processing apparatus, information processing method, and program
Paul et al. Spatial and motion saliency prediction method using eye tracker data for video summarization
JP2011019192A (ja) 画像表示装置
CN113343950B (zh) 一种基于多特征融合的视频行为识别方法
CN112312215B (zh) 基于用户识别的开机内容推荐方法、智能电视及存储介质
WO2014100936A1 (zh) 视频的关联信息库制作和视频播放的方法、平台及系统
US20230359699A1 (en) Information processing apparatus, information processing method, and non-transitory computer-readable storage medium
WO2012071677A1 (en) Method and system for face recognition
JP2017175466A (ja) 映像処理装置、映像処理システムおよび制御方法
Li et al. Ultra high definition video saliency database
CN113536035A (zh) 基于代表性和特异性得分的非监督监控视频摘要生成方法及生成器
CN113327308A (zh) 表情包图片的生成方法和装置
Kim et al. Real-time viewer detection algorithm for smart epg in the intelligent DTV
KR20180041401A (ko) 동영상 생성 장치 및 방법
KR20180082950A (ko) 디스플레이 장치 및 그의 서비스 제공 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application