KR20020081220A - 이미지 기반 인식을 통한 장치 제어 - Google Patents

이미지 기반 인식을 통한 장치 제어 Download PDF

Info

Publication number
KR20020081220A
KR20020081220A KR1020027007393A KR20027007393A KR20020081220A KR 20020081220 A KR20020081220 A KR 20020081220A KR 1020027007393 A KR1020027007393 A KR 1020027007393A KR 20027007393 A KR20027007393 A KR 20027007393A KR 20020081220 A KR20020081220 A KR 20020081220A
Authority
KR
South Korea
Prior art keywords
user
features
television
control
image
Prior art date
Application number
KR1020027007393A
Other languages
English (en)
Inventor
트라즈코빅미로슬라브
양용
콜메나레즈안토니오
구타스리니바스
Original Assignee
코닌클리케 필립스 일렉트로닉스 엔.브이.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 코닌클리케 필립스 일렉트로닉스 엔.브이. filed Critical 코닌클리케 필립스 일렉트로닉스 엔.브이.
Publication of KR20020081220A publication Critical patent/KR20020081220A/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/61—Arrangements for services using the result of monitoring, identification or recognition covered by groups H04H60/29-H04H60/54
    • H04H60/65—Arrangements for services using the result of monitoring, identification or recognition covered by groups H04H60/29-H04H60/54 for using the result on users' side
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/35—Arrangements for identifying or recognising characteristics with a direct linkage to broadcast information or to broadcast space-time, e.g. for identifying broadcast stations or for identifying users
    • H04H60/45—Arrangements for identifying or recognising characteristics with a direct linkage to broadcast information or to broadcast space-time, e.g. for identifying broadcast stations or for identifying users for identifying users
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/441—Acquiring end-user identification, e.g. using personal code sent by the remote control or by inserting a card
    • H04N21/4415—Acquiring end-user identification, e.g. using personal code sent by the remote control or by inserting a card using biometric characteristics of the user, e.g. by voice recognition or fingerprint scanning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/4508—Management of client data or end-user data
    • H04N21/4532—Management of client data or end-user data involving end-user characteristics, e.g. viewer profile, preferences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/454—Content or additional data filtering, e.g. blocking advertisements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/4661—Deriving a combined profile for a plurality of end-users of the same client, e.g. for family members within a home
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/16—Analogue secrecy systems; Analogue subscription systems
    • H04N7/162—Authorising the user terminal, e.g. by paying; Registering the use of a subscription channel, e.g. billing
    • H04N7/163—Authorising the user terminal, e.g. by paying; Registering the use of a subscription channel, e.g. billing by receiver means only

Abstract

비디오 장치는 이미지 기반 사용자 인식 어플리케이션을 통해 가전기기 제어기에 결합된다. 특정 사용자의 얼굴이 제공된 이미지 또는 이미지들의 시퀀스에서 인식될 때, 제어기는 인식된 사용자에 대응하는 사용자 프로파일을 포함하는 데이터베이스를 액세스한다. 이 사용자 프로파일은 하루 중 특정 시간들에 특정 유형들의 오락에 대한 선호도들과 같은 프리젠테이션 자료에 대한 사용자의 존재를 포함한다. 사용자 프로파일에서의 정보에 기초하여, 제어기는 텔레비전 세트 또는 스테레오와 같은 하나 이상의 장치들을 동작시키고, 그 시간에 사용자의 요구들에 부합하는 사용자에게 프리젠테이션을 위한 자료를 선택한다.

Description

이미지 기반 인식을 통한 장치 제어{Device control via image-based recognition}
본 명세서에 참조문헌으로써 포함된, 1999년 9월 21에 발행된 Agraharam 등의 미국특허 제5,956,482호, "MULTIMEDIA INFORMATION SERVICE ACCESS"는 사용자가 정보 서비스에의 액세스를 요청하는 보안 기술을 제공하며, 그 시스템은 사용자의 비디오 스냅샷(snapshot)을 찍고, 만약 스냅샷이 인가된 사용자에 해당하면 정보 서비스에의 액세스를 허용한다. 본 명세서에 참조문헌으로써 포함된, 1998년 11월 10일에 발생된 Lobo 등의 미국특허 제5,835,616호 "FACE DETECTION USING TEMPLATES"는 디지털화된 이미지에서 인간의 얼굴을 자동적으로 찾고, 얼굴 모양들을 설명함으로써 얼굴의 존재를 확인하기 위한 2단계 과정을 개시한다. Lobo 등의 시스템은 시야가 비록 통상의 얼굴 스냅샷에 대응하지 않는다 할지라도 카메라의 시야 내에서 하나 이상의 얼굴들을 찾는데 특히 적합하다.
소비자 전자장치들 분야에서, 특히 사용자가 어떤 주어진 시간에 사실상 수 백 가지의 선택들에 대해 액세스하는 방송케이블 및 위성 텔레비전 분야에서, 시스템들 및 방법은 사용자 선호도들의 특징에 기초하여 사용자에게 이용가능한 콘텐트 자료를 조직화하여 제공하기 위해 지속적으로 개발되고 있다. 이 사용자 특정 조직화 및 제공을 행하기 위해서, 사용자는 통상 사용자 이름을 제공한다거나 식별 장치를 제공하므로써 제어 시스템에 대해 자기 자신을 식별한다. 비록 사용자 식별이 컴퓨터 장치들을 사용하거나 사무실 환경과 같은 특정 환경에서는 상투적인 것이지만, 가정과 같은 거의 구조화되지 않은 환경에서의 사용자 식별은 문제점들을 제공할 수 있다. 사무실 환경에서, 예컨대 피고용자가 식별 기장들을 착용하거나, 일부러 얼굴 인식 장치와 같은 망막 스캐너, 지문 스캐너 등의 생물측정 스캐너들(biometric scanners)을 사용하는 것이 예상될 수 있다. 한편, 가정 환경에서는, 식별 시퀀스를 분류하거나, 식별 토큰(token)을 전달하거나, 인식 장치를 사용해야 하는 것이 오락 장치를 동작시키거나 그 밖의 제어하기 위해 성가시거나 적어도 불편한 것으로 여겨지기 쉽다.
1. 발명의 분야
본 발명은 소비자 전자장치 분야에 관한 것으로, 특히 제어된 장치 주변의 비디오 캡쳐 장치(video capture device)로부터의 이미지(image)에 기초하여 장치들의 자동 제어를 위한 시스템 및 방법에 관한 것이다.
2. 관련 기술의 설명
얼굴 인식은 일반적으로 보안 목적으로 사용된다. 수동 보안 시스템에서, 얼굴 사진들을 포함하는 보안 기장들(security badges)은 보안 영역들 또는 보안 자료에의 액세스를 제어하기 위해 사용된다. 자동 및 반자동 시스템들에서, 얼굴 인식 소프트웨어는 예컨대 비디오카메라로부터 사람의 현재 이미지를 저장된 이미지와 유사하게 매치(match)시키도록 사용된다. 종래의 시스템들에서, 사용자는 자기 자신을 식별하고, 얼굴 인식 소프트웨어는 식별된 사람의 하나 이상의 저장된 이미지들과 비디오 이미지를 비교한다.
도 1은 본 발명에 따른 얼굴(face) 인식 성능들을 갖춘 예시적인 텔레비전 제어기를 보여주는 도면.
도 2는 본 발명에 따른 얼굴 인식을 갖는 제어기의 예시적인 흐름도를 보여주는 도면.
(본 발명의 요약)
본 발명의 목적은 가정 자동화 시스템의 제어를 용이하게 하기 위해 사용자를 식별하는 간단한 수단을 제공하나는 것이다. 본 발명의 또 다른 목적은 사용자의 인식에 기초하여 자료의 자동 사용자 특정 프리젠테이션들(presentations)을 제공하는 것이다. 본 발명의 또 다른 목적은 사용자의 자동 인식에 기초하여 가전기기들의 자동 제어를 제공하는 것이다.
이들 목적들 및 다른 목적들은 이미지 처리 어플리케이션을 통해 가전기기 제어기에 결합된 비디오 장치를 제공함으로써 달성된다. 특정 사용자가 이미지 내에 인식될 때, 제어기는 인식된 사용자에 대응하는 사용자 프로파일을 포함하는 데이터베이스를 액세스한다. 이 사용자 프로파일은 하루의 특정 시간에 특정유형의 오락에 대한 선호도들과 같은, 프리젠테이션 자료를 위한 사용자의 선호도들을 포함한다. 사용자 프로파일 내의 정보에 기초하여, 제어기는 텔레비전 세트 또는 오디오 세트와 같은 하나 이상의 장치들을 포함하고, 그 시간에 사용자의 요구에 일치하는 사용자에게 프리젠테이션을 위한 자료를 선택하거나 추천한다.
본 발명이 첨부된 도면을 참조하여 예로써 보다 상세히 설명된다.
도면 전체를 통해서, 동일한 참조번호들은 유사하거나 대응하는 특징들 및 기능들을 나타낸다.
가정 자동화 기술들이 도래함에 따라, 어플리케이션들은 특정한 가정 환경 시스템에서 가전기기들의 제어를 용이하게 하도록 지속적으로 개발되고 있다. 제어의 이 용이성은 예컨대 장치를 자동적으로 동작시키고, 다양한 옵션들을 중에서의 선택하고, 선택 자료에의 액세스를 제한하기 위한 추천들이나 제어들을 제공하는 것을 포함한다.
Jan H. Elenbaas, Tomas McGee, Nevenka Dimitrova, 및 Mark Simpson의 1998년 12월 23일에 출원된 시리얼 넘버 제09/220,277호(대리인 도큐먼드 PHA23,590)인 대응 미국특허출원 "PERSONALIZED NEWS RETRIEVAL SYSTEM"은 사용자의 선호도들이나 시청 습관들에 기초하여 정보의 카테고리화 및 검색을 주문화하기 위한 기술들을 개시하며, 본 명세서에 참조문헌으로써 포함된다. 이 대응 출원에서, 사용자는시청 습관들에 기초하여, 나타내어진 선호도들 또는 암시된 선호도들에 기초하여 개발되는 사용자 프로파일에 기초하여, 뉴스 아이템들이나 다른 콘텐트 자료를 제공받는다.
본 명세서에 참조문헌으로 포함된, Doreen Y. Cheng의 1998년 12월 29일에 출원된 시리얼 넘버 제09/222,403호(대리인 도큐먼트 PHA 23,605)인 대응 미국특허출원 "HOME CONTROL SYSTEM WITH DISTRIBUTED, NETWORKED DEVICES"은 가정의 방들과 같은 특정 위치들에서의 사람의 존재에 기초하여, 텔레비전들, 라디오들 등과 같은 가전기기들을 제어하기 위한 기술들을 개시한다. 이 계류 중인 출원에서, 각각의 사용자는 각 위치 내의 사용자의 존재를 하나 이상의 제어기들에 알리는 로케이터 장치(locator device)를 착용한다. 각각의 로케이터 장치와 관련된 "프로파일"에 기초하여, 가정용 제어 시스템은 식별된 사용자의 추단된 요구사항들에 따르도록 장치들을 동작시키고 동작시키지 않는다. 사용자가 처음 방에 들어갈 때, 텔레비전 또는 스테레오가 사용자 프로파일에 따라서, 그리고 하루 중 임의의 시간 및 다른 요인들(factors)에 따라서 동작될 수 있다. 특정 텔레비전 채널 또는 음악 선택은 또한 사용자 프로파일, 하루 중의 시간 등에 기초하여 선택된다. 사용자가 방에서 다른 곳으로 이동함에 따라, 들어간 방 내의 텔레비전이 턴온되고 사용자가 이전의 방에서 시청하고 있었던 방송국에 동조되고, 또 다른 로케이터 장치가 이전 방에서 검출되지 않는다면 이전 방 내의 텔레비전은 턴오프된다.
본 명세서에 참조문헌으로써 포함된, Karen Travato, Dan Pelletier, Paul Rankin, 및 Jacquely Martino의 1999년 3월 31일에 출원된 미국 시리얼 넘버제09/282,319호(대리인 도큐먼트 PHA 23,644)의 대응 미국특허출원 "REMOTE CONTROL PROGRAM SELECTION BY GENRE"은 장르(genre)에 기초하여, 또한 특정의 선호된 채널들에 대한 사용자 프로파일에 기초하여 원격 제어의 채널-얼 및 채널-다운 키들을 프로그래밍하기 위한 기술들을 개시한다.
이들 상술한 발명들 각각에서, 시스템은 제어되는 장치의 현 사용자 또는 사용자들의 식별에 기초하여 제어 또는 추천들을 제공한다. 상술한 바와 같이, 사용자 이름 또는 코드의 엔트리(entry)와 같은, 또는 식별 토큰을 전달하는 사용자 실별의 "동작(active)" 방법은 사용자의 "편의(convenience)"라는 관점과 일치하지 않을 수 있다. 본 발명에 따라, 이 사용자 식별은 제어되는 장치 근처 내에서 사용자 존재의 인식에 기초하여 '수동적인' 방식으로 제공된다. 비디오카메라와 같은 이미지 캡쳐 장치는 제어되는 장치 근처 내에서 장면의 이미지를 포착하고, 얼굴 인식 어플리케이션과 같은 사용자 인식 어플리케이션은 이미지로부터 사용자를 인식한다.
도 1은 본 발명에 따른 사용자 인식 성능을 갖춘 예시적인 장치 제어 시스템(100)을 보여준다. 언급을 용이하게 하기 위해, 비록 스테레오 시스템과 같은 임의의 다른 사용자 제어가능 장치 및 인터넷 액세스 장치 등이 제어되는 장치일 수 있지만 텔레비전(130)이 제어되는 장치로서 제공된다. 비디오카메라와 같은 이미징 장치(imaging device:110)는 그 시야(115) 내의 물체의 이미지를 포착하고, 사용자 식별기(120)에 이 이미지를 제공한다.
바람직한 실시예에서, 사용자 식별기(120)는 눈썹들에 대응하는 플레쉬톤들(flesh tones)의 위치, 넌플레쉬 톤들(non-flesh tones)의 위치, 턱과 코 등에 대응하는 경계선들에 기초하여, 얼굴의 일반적인 특징들을 갖는 이미지의 영역에 대한 이미지를 검색하는 다중 스테이지 얼굴 인식 장치이다(참조된 미국특허 제5,835,616호를 보라). 만약 얼굴이 검출되면, 얼굴 인식기(120)와 관련된 데이터베이스에 저장된 기준 얼굴들과의 비교를 위해 특징화된다. 비디오 이미지 내의 얼굴의 이 특징화(characterization)는 바람직하게는 기준 얼굴들을 특징화하기 위해 사용되는 동일한 특징화 과정이고, '광학적' 매치라기 보다는, 특징들에 기초하여 얼굴들의 비교를 용이하게 하므로, 매치시키기 위해서 두 개의 동일한 이미지들(현재 얼굴 및 기준 얼굴)을 가질 필요성을 미연에 방지한다. 바람직한 실시예에서, 기준 얼굴들의 수는 비교적 작으며, 통상 가족의 수 또는 다른 작은 크기의 환경으로 제한되므로, 얼굴 인식 과정이 빠르게 작동하도록 한다.
사용자 인식기(120)가 비디오 이미지 내의 얼굴이 특정 사용자에게 대응하는 것으로 결정하는 경우, 사용자의 식별이 장치 제어기(140)에 통신된다. 도 1의 예시적인 실시예에서, 텔레비전은 제어되는 전형 장치(paradigm:130)로서 보여진다. 제어기(140)는 바람직하게는 시간에 의존하는 선호도들을 포함하는, 장치(130)의 동작에 대한 사용자 선호도들을 포함하는 각각의 인식가능 사용자에 대응하는 '프로파일'응 포함한다. 이들 선호도들은 각 사용자에 의해 정확히 입력될 수 있고, 또는 이전의 경험에 기초할 수 있다. 예컨대, 특정 사용자가 항상 오후 6시에 텔레비전을 턴온하고 채널 8의 뉴스 프로그램을 시청한다면, 프로파일은 이 '선호도'를 포함할 수 있다. 용어 '사용자 선호도(user preference)'는 상식적으로 본 명세서에 사용되고 있음에 주의하기 바란다. 어린이의 프로파일은 예컨대, 어린이의 부모 선호도들에 기초하여 정의될 수 있다. 이들 선호도들은, 다른 시간동안에 액세스하지 않고, 특정 류의 자료에 액세스하지 않고, 특정 시간동안의 교육적인 쇼들(shows)만을 위하며, 텔레비전이 하루씩 시청될 수 있는 시간을 제한하는 등 "선호도"를 포함할 수 있다.
기술분야에서 공통적인, 다양한 기계 학습 기술들이 각 사용자 및 통상의 제어 활동성들 사이의 상호관계를 향상시키고, 그후에 이들 상호관계에 기초하여 제어 활동성의 실행을 모방하기 위해 사용될 수 있다.
특정 사용자가 인식될 때, 인식기(140)는 사용자의 추단되거나 명확한 선호도에 대응하는 제어 옵션들을 실행한다. 상술한 예에서, 사용자가 오후 6시에 텔레비전 근처에서 검출되면, 제어기(140)는 텔레비전(130)을 턴온하고 채널 8에 동조한다. 사용자가 방에 들어올 때마다 사용자가 일반적으로 텔레비전을 턴온하고, 현재 어떤 채널이 오후 6시까지 동조되어 있는 동조된 채로 텔레비전을 떠나면, 제어기(140)는 사용자가 검출될 때 텔레비전을 동조시키고, 오후 6시에만 채널 8에 동조시킴으로써 이러한 동작을 모방할 것이다. 특정 사용자의 인식에 기초하여 장치의 동작을 제어하기 위한 여러 가지 기술들이 특히 상술한 대응 특허출원들의 관점에서, 기술분야의 당업자에게 입증될 것이다. 언급 및 이해를 용이하게 하기 위해, 용어 '제어'는 옵션들의 상술한 추천 또는 우선순위와, 옵션들의 자동 및 반자동 동작 등을 포함하는 장치의 제어를 용이하게 하는 임의의 장치 및 모든 장치들 포함하도록 본 명세서에서 사용됨에 주의하자.
기술분야의 당업자에게 입증되는 바와 같이, 사용자 인식의 다른 방법들이 상기 얼굴 인식 기술들 대신에 또는 그에 부가하여 사용될 수 있다. 예를 들면, 걸음걸이 인식 장치가 이미지 내의 사람의 움직임에 기초하여 식별하도록 사용될 수 있다. 복잡하지 않은 인식 장치는 사용자의 크기에 기초할 수 있다. 예컨대, 사용자 프로파일들은 '어른' 및 '어린이' 프로파일들로 분리될 수 있고, 몇몇 또는 모든 제어들은 사용자가 사용자의 크기에 기초하여 어른 또는 어린이인지의 여부에 기초할 수 있다. 복잡하지 않은 실시예에서, 인식은 단순히 예컨대 자외선 이미지 수집기(collector)를 통한 검출을 사용하여 사용자가 좋아하는 의자와 같은 특정 위치 내에 사람의 존재일 수 있다. 색 분포와, 에지(edge) 분포 등과 같은 다른 이미지 기반 기술들이 또한 사용자들의 식별을 이용하게 하기 위해 사용될 수 있다. 여러 가지 실시예들이 또한 비디오 이미지로부터의 빠른 식별을 용이하게 하기 위해 이미지 정보를 '미리 처리하기' 위해 사용될 수 있다. 본 명세서에 참조문헌으로써 포함된, Michael Bakhmutsky의 2000년 8월 8일에 출원된 시리얼 넘버 제09/634,682호(대리인 도큐먼트 US000158)에 대응하는 미국특허출원 "USING A SECONDARY SENSOR FOR OPTIMIZED VIDEO COMMUNICATIONS"는 비디오 이미지에 대응하는 저비용 저해상도의 적외선 이미지에 기초하여, DAL지의 특정 부분들의 인코딩(encoding)을 최적화하기 위해 비디오 이미지 내에서 인간들과 같은 따뜻한 아이템들을 찾기 위한 기술들을 개시한다. 이와 동일한 원리가 기초적인 사용자 식별을 제공하기 위해 사용될 수 있으며, 이것은 비디오 이미지의 부가적인 처리에 기초하여 더 변형되거나 더 확립된다.
도 2는 본 발명에 따른 사용자 인식을 갖는 장치 제어 시스템의 예시적인 흐름도를 보여준다. 얼굴 인식은 이해를 돕기 위해, 이미지 기반 사용자 인식의 전형(paradigm)으로서 도 2에서 사용된다. 210에서, 비디오 이미지(도 1의 이미지 장치(110)로부터)는 이미지 내 얼굴의 존재를 결정하도록 스캐닝된다. 이 스캐닝은 지속적이고, 주기적이고, 돌출 사건(event-driven), 또는 그 밖의 초기화될 수 있다. 예컨대, 스캐닝은 인식된 얼굴이 검출될 때까지 지속될 수 있고, 그후에, 예컨대 '프로그램 변경' 주기들(미국특허출원에서, 프로그램들이 30분 또는 시간(hour) 경계들 상에서 일반적으로 변화함)에 대응하는 구간들에서 주기적으로 스캐닝된다. 대안으로는, 스캐닝은 텔레비전에 결합될 수 있고, 각각의 상업광고(commercial break)의 시작 시에 동작될 수 있다.
만약, 215에서, 얼굴이 이미지 내에서 검출되면, 검출된 얼굴의 특징들이 220에서 결정된다. 만약 사용자가 이전의 이지미 스캔을 통해 동일하면, 225에서, 검출된 얼굴의 특징들은 식별된 사용자의 특징들과 비교된다. 검출된 얼굴이 식별된 사용자에 대응하지 않거나, 현재 식별된 사용자가 없다면, 230에서 사용자 얼굴들(201)의 데이터베이스는 검출된 얼굴의 동일한 특징들을 갖는 사용자 얼굴에 대해 검색된다. 만약, 235에서, 사용자가 검출된 얼굴에 대응하는 것으로 식별되면, "현재" 사용자의 식별이 240에서 설정되고, 장치는 260에서 이 현재 사용자 식별에 대응하여 제어된다.
만약, 235에서, 그 얼굴에 대응하는 사용자가 동일하지 않다면, 현재 사용자 ID는 삭제된다. 대안으로는, 도시되지는 않았지만, 새로운 사용자의 얼굴 특징들이사용자 얼굴들(201)의 데이터베이스에 부가될 수 있고, 새로운 사용자 프로파일이 만들어진다. 바람직하게는, 새로운 사용자 프로파일은 장치 제어 시스템의 '시스템 관리인'에 의해 만들어질 수 있는 디폴트(default) 프로파일에 기초한다. 기술분야의 당업자에게 입증되는 바와 같이, 235에서 사용자 식별의 이러한 결핍이 또한 사용자 얼굴들(201)의 데이터베이스를 만들고, 데이터베이스(201)에 기존에 식별된 사용자들의 대안의 이미지들을 제공하기 위해 사용될 수 있다. 또한 대안으로는, 만약 235에서, 그 얼굴에 대응하는 사용자가 식별되지 않으면, 제어기는 정의된 "게스트(guest)" 사용자 프로파일에 디폴트할 수 있다.
만약, 215에서, 얼굴이 이미지에서 검출되지 않으면, "현재" 사용자의 식별이 250에서 만들어지고, 그 장치는 260에서 현재 사용자 식별의 부존재에 대응하여 제어된다.
다중 사용자 환경에서, "현재" 사용자의 식별은 각각의 현재 사용자에 대응하는 식별들의 세트를 포함하고, 처리(210-260)는 각 이미지에서 검출되거나 검출되지 않는 각각의 얼굴에 대해 반복된다. 즉, 예컨대, 결정 블록(215)은 그 이미지에서 각각의 얼굴에 대해 "예(yes)" 결정을 내리고, 이미지에서 다른 얼굴들이 없을 때 "아니오(no)" 결정을 내린다. 블록(250)은 이 "아니오" 결정을 수신하고, 현재 사용자들의 세트로부터 현재 이미지에서 식별되지 않은 사용자들의 식별들을 제거한다.
상술한 바와 같이, 260에서, 장치의 제어는 사용자 프로파일들(202)의 데이터베이스에 의존한다. 단일 사용자가 식별되면, 장치의 제어는 결정된 사용자의 프로파일에 직접 대응한다. 본 발명의 간단한 실시예에서, 다중 사용자가 일반적으로 텔레비전을 턴온하거나, 일반적으로 (on/off) 상태인 채로 텔레비전을 떠나면, 사용자가 방에 들어올 때, 제어 블록(260)은 텔레비전을 일반적으로 턴온하는 제 1의 사용자가 방에 들어올 때면 언제나 텔레비전을 턴온하도록 구성된다. 하지만, 텔레비전을 정상적으로 턴온시키는 또 다른 사용자가 방에 들어오면, 제어 블록(260)은 방 내에 다른 사용자들이 더 이상 없을 때까지 동작하지 않도록 구성된다. 같은 방식으로, 현재 식별된 사용자들의 세트가 다른 채널 또는 장르 선택 선호도들을 갖는다면, 제어 블록(260)은 선호도들이 일치할 때까지 동작하지 않는다. 더욱 복잡한 실시예에서, 데이터베이스(202)는 사용자 C를 제외한 A와 B가 있을 때 정상적으로 시청되는 채널들과 같은 다중 사용자 프로파일을 포함한다.
기술분야의 당업자에게 입증되는 바와 같이, 제어 블록(260) 및 사용자 프로파일(202)은 또한 상태 의존성 규칙들(state-dependent rules)을 사용하여 동작할 수 있다. 예를 들면, 만약 특정 사용자가 일반적으로 반복해서 방을 나가고 들어오면, 그 규칙은 250에서, 현재 세트로부터 사용자의 식별을 제거하기 전에 '대기 기간'을 불러들이도록 구성될 수 있다.
상술한 것은 단순히 본 발명의 원리들을 보여준 것이다. 따라서, 기술분야의 당업자는 본 명세서에서 명료하게 설명하거나 보여지지는 않았지만, 본 발명의 원리들을 구현하는 다양한 장치들을 본 발명의 사상과 범위 내에서 만들 수 있음을 이해할 것이다. 예를 들면, 제어 시스템(100)은 다른 제어 시스템들과 동작하도록, 또는 다른 제어 시스템 아키텍처들 내에서 동작하도록 구성될 수 있다. 예를 들면,장치들(110-140)은 가정 자동화 네트워크 및 제어 프로토콜을 통해 상호접속될 수 있다. 가정 자동화 표준들은 IEEE 1394, X-10, HAVi, Home API, Jini 등을 포함한다. IEEE 1394 및 X-10은 통신 프로토콜들이고, HAVi는 IEEE 1394를 사용하는 소프트웨어 아키텍처이고, Home API는 소프트웨어 어플리케이션들이 가정용 장치를 모니터하고 제어할 수 있도록 하는 어플리케이션 프로그래밍 인터페이스들 및 소프트웨어 서비스들의 표준 세트를 정의하는 개방형 산업 설명서(open industry specification)이고, Jini는 클라이언트들이 대상들(objects)로서 장치들 및 서비스들을 찾는 배포된 소프트웨어 아키텍처이다. 텔레비전 제어기(140)는 예컨대 HAVi 순응(compliant) 위성 텔레비전 수신기에 IEEE 1394 인터페이스를 갖는 개인용 컴퓨터를 포함하고, 얼굴 인식기(120)는 또한 개인용 컴퓨터 내에 위치되는 소프트웨어 어플리케이션이다. 기술분야의 당업자에게 또한 입증되는 바와 같이, 장치의 제어는 케이블이나 위성 수신기 시스템과, VCR 튜너 등을 제어함으로써 텔레비전 상에 시청되는 채널을 제어하는 것과 같은 제어를 통해 부수적인 장치를 제어할 수 있다. 여러 가지 시스템 구성 및 최적화 특성들이 본 개시의 관점에서 기술분야의 당업자에게 자명하게 될 것이며, 첨부된 청구범위의 범위 내에 포함된다.

Claims (17)

  1. 장치 제어 시스템(100)에 있어서,
    이미징 장치(imaging device:110)의 시야(115) 내에서 이미지를 수집하도록 구성된 상기 이미징 장치(110)와,
    상기 이미지 내에서 사용자의 특징들의 인식에 기초하여 사용자를 식별하도록 구성된 사용자 인식기(recognizer: 120)와,
    상기 사용자와 관련된 선호도들(preferences)의 프로파일(202)에 기초하여 장치(130)의 제어를 용이하게 하도록 구성된 장치 제어기(140)를 포함하는, 장치 제어 시스템.
  2. 제 1항에 있어서,
    복수의 기준 특징들을 포함하도록 구성된 데이터베이스를 더 포함하고,
    상기 사용자 인식기(120)는 상기 복수의 기준 특징들과 상기 이미지 내에서의 특징들의 비교에 기초하여 상기 사용자를 식별하는, 장치 제어 시스템.
  3. 제 2항에 있어서,
    상기 데이터베이스(201)는 또한 상기 복수의 기준 특징들과 관련된 복수의 선호도들의 프로파일들(202)을 포함하도록 구성되는, 장치 제어 시스템.
  4. 제 2항에 있어서,
    상기 복수의 기준 특징들은,
    복수의 얼굴(face) 특징들과,
    복수의 걸음걸이 특징들과,
    복수의 적외선 특징들과,
    복수의 색 특징들과,
    복수의 크기 특징들 중 적어도 하나를 포함하는, 장치 제어 시스템.
  5. 제 1항에 있어서,
    상기 선호도들의 프로파일(202)은 시간 의존(time-dependent) 선호도들을 포함하는, 장치 제어 시스템.
  6. 제 1항에 있어서,
    상기 장치 제어기(140)는 가정 자동화 네트워크(home-automation network)를 통해 상기 장치(130)의 제어를 행하는, 장치 제어 시스템.
  7. 제 1항에 있어서,
    상기 장치(130)는 텔레비전 수신기이고,
    상기 선호도들의 프로파일(202)은 특정 시간들에 선호된 채널들을 포함하는, 장치 제어 시스템.
  8. 제 1항에 있어서,
    상기 장치(130)의 제어는,
    상기 장치(130)의 활동성과,
    상기 장치(130)의 동조(tuning) 중 적어도 하나를 포함하는, 장치 제어 시스템.
  9. 제 1항에 있어서,
    상기 사용자 인식기(120)는 또한 상기 이미지 내에서 적어도 한 명의 사용자의 특징들의 인식에 기초하여, 적어도 한 명의 다른 사용자를 식별하도록 구성되고,
    상기 장치 제어기(140)는 또한 적어도 한 명의 다른 사용자와 관련된 선호도들에 기초하여 상기 장치(130)의 제어를 행하도록 구성되는, 장치 제어 시스템.
  10. 장치(130)를 제어하기 위한 방법에 있어서,
    이미지 내에서의 특징들을 인식하는 단계(220)와,
    상기 특징들과 복수의 사용자 특징들(201)의 비교(235)에 기초하여 사용자를 식별하는 단계와,
    상기 사용자와 관련된 하나 이상의 선호도들에 기초하여 상기 장치(130)의 제어(260)를 용이하게 하는 단계를 포함하는, 장치 제어 방법.
  11. 제 10항에 있어서, 복수의 사용자 특징들에 대응하는 복수의 선호도들(202)로부터 상기 사용자와 관련된 상기 하나 이상의 선호도들을 선택하는 단계를 더 포함하는, 장치 제어 방법.
  12. 제 11항에 있어서, 상기 장치(130)는 텔레비전 수신기이고,
    상기 하나 이상의 선호도들은 특정 시간들에 선호된 채널들을 포함하는, 장치 제어 방법.
  13. 제 10항에 있어서,
    상기 장치(130)의 제어(260)를 용이하게 하는 단계는,
    상기 장치(130)를 동작시키는 단계와,
    상기 장치(130)의 하나 이상의 제어 설정들을 추천하는 단계와,
    상기 장치(130)에 대한 제어 장치의 제어 설정을 미리설정(presetting)하는 단계와,
    상기 장치(130)를 동조시키는 단계 중 적어도 하나를 포함하는, 장치 제어 방법.
  14. 제 10항에 있어서,
    상기 이미지 내에서 다른 특징들을 인식하는 단계와,
    상기 다른 특징들과 상기 복수의 사용자 특징들(201)의 비교에 기초하여 다른 사용자를 식별하는 단계와,
    상기 사용자 및 상기 다른 사용자 모두와 관련된 하나 이상의 선호도들에 기초하여 상기 장치(130)의 제어를 더 용이하게 하는 단계를 더 포함하는, 장치 제어 방법.
  15. 텔레비전 제어 시스템(100)에 있어서,
    이미지를 제공하는 비디오카메라(110)와,
    상기 이미지에 기초하여 사용자를 식별하는, 상기 비디오카메라(110)에 동작가능하게 결합된 얼굴 인식 장치(120)와,
    상기 사용자와 관련된 선호도들에 기초하여 상기 텔레비전(130)의 제어를 용이하게 하는, 상기 얼굴 인식 장치(120)에 동작가능하게 결합된 텔레비전 제어기(140)를 포함하는, 텔레비전 제어 시스템.
  16. 제 15항에 있어서,
    상기 텔레비전(130)의 제어는,
    상기 텔레비전(130)을 동작시키는 단계와,
    상기 텔레비전(130)의 하나 이상의 설정들을 추천하는 단계와,
    상기 텔레비전(130)의 옵션들(options)을 미리설정하는 단계와,
    상기 텔레비전(130) 상에 표시하기 위한 자료의 소스를 선택하는 단계를 포함하는, 텔레비전 제어 시스템.
  17. 제 15항에 있어서,
    상기 사용자 인식 장치는 또한 상기 이미지에 기초하여 다중 사용자들을 인식하도록 구성되고,
    상기 텔레비전 제어기(140)는 또한 상기 다중 사용자와 관련된 선호도들에 기초하여 상기 텔레비전(130)의 제어를 행하도록 구성되는, 텔레비전 제어 시스템.
KR1020027007393A 2000-10-10 2001-09-26 이미지 기반 인식을 통한 장치 제어 KR20020081220A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US68568300A 2000-10-10 2000-10-10
US09/685,683 2000-10-10
PCT/EP2001/011141 WO2002032136A2 (en) 2000-10-10 2001-09-26 Device control via image-based recognition

Publications (1)

Publication Number Publication Date
KR20020081220A true KR20020081220A (ko) 2002-10-26

Family

ID=24753255

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020027007393A KR20020081220A (ko) 2000-10-10 2001-09-26 이미지 기반 인식을 통한 장치 제어

Country Status (5)

Country Link
EP (1) EP1329105A2 (ko)
JP (1) JP2004511870A (ko)
KR (1) KR20020081220A (ko)
CN (1) CN1395797A (ko)
WO (1) WO2002032136A2 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060010225A (ko) * 2004-07-27 2006-02-02 (주)바로텍 얼굴표정 인식 홈 네트워크 시스템 및 그 제어 방법
US7536037B2 (en) 2003-11-19 2009-05-19 Samsung Electronics Co., Ltd. Apparatus and method for human distinction using infrared light
KR101398474B1 (ko) * 2007-09-03 2014-05-27 삼성전자주식회사 얼굴 인식을 이용한 디스플레이 장치 및 이의 제어방법
KR20160086840A (ko) * 2013-11-18 2016-07-20 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 지속적인 사용자 식별 기법

Families Citing this family (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020186867A1 (en) * 2001-06-11 2002-12-12 Philips Electronics North America Corp. Filtering of recommendations employing personal characteristics of users
US20040003392A1 (en) * 2002-06-26 2004-01-01 Koninklijke Philips Electronics N.V. Method and apparatus for finding and updating user group preferences in an entertainment system
KR100643886B1 (ko) 2004-06-18 2006-11-10 주식회사 대우일렉트로닉스 영상 처리를 이용한 사용자 모션에 의한 원격 제어텔레비젼 및 그 제어 방법
EP1640925A1 (en) * 2004-09-24 2006-03-29 Topseed Technology Corp. Personalized control device having security mechanism
JP2007220004A (ja) * 2006-02-20 2007-08-30 Funai Electric Co Ltd テレビおよび認証装置
JP4162015B2 (ja) * 2006-05-18 2008-10-08 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
US20070300259A1 (en) * 2006-06-09 2007-12-27 Peter Chan Systems and methods to support multiple program guides in a home network
CN101237563B (zh) * 2007-01-31 2011-06-01 华为技术有限公司 节目受众信息获取方法和装置
JP2008243093A (ja) 2007-03-29 2008-10-09 Toshiba Corp 辞書データの登録装置及び辞書データの登録方法
CN101925915B (zh) 2007-11-21 2016-06-22 高通股份有限公司 设备访问控制
US8539357B2 (en) * 2007-11-21 2013-09-17 Qualcomm Incorporated Media preferences
ITPN20110051A1 (it) 2011-07-15 2013-01-16 Claudio Nori Mezzi sensori elettrici ed elettronici collegati con un dispositivo di interfaccia per un?apparecchiatura di elaborazione di una pluralità di programmi e funzioni operative multimediali di vario genere ad alta definizione, integrata con schermo di ri
CN102016877B (zh) * 2008-02-27 2014-12-10 索尼计算机娱乐美国有限责任公司 用于捕获场景的深度数据并且应用计算机动作的方法
US9639744B2 (en) 2009-01-30 2017-05-02 Thomson Licensing Method for controlling and requesting information from displaying multimedia
US20110007141A1 (en) 2009-07-09 2011-01-13 Sony Corporation System and method for displaying content on a television in standby mode
US9077951B2 (en) 2009-07-09 2015-07-07 Sony Corporation Television program selection system, recommendation method and recording method
CN101998161A (zh) * 2009-08-14 2011-03-30 Tcl集团股份有限公司 一种基于人脸识别的电视节目收看方法
JP5316387B2 (ja) * 2009-12-04 2013-10-16 ソニー株式会社 情報処理装置、表示方法及びプログラム
US8621046B2 (en) 2009-12-26 2013-12-31 Intel Corporation Offline advertising services
US20110321073A1 (en) * 2010-06-23 2011-12-29 Yarvis Mark D Techniques for customization
US8429685B2 (en) 2010-07-09 2013-04-23 Intel Corporation System and method for privacy-preserving advertisement selection
US9237383B2 (en) 2010-08-27 2016-01-12 Intel Corporation Peer to peer streaming of DVR buffered program data
US10210160B2 (en) 2010-09-07 2019-02-19 Opentv, Inc. Collecting data from different sources
US9699503B2 (en) 2010-09-07 2017-07-04 Opentv, Inc. Smart playlist
US8949871B2 (en) 2010-09-08 2015-02-03 Opentv, Inc. Smart media selection based on viewer user presence
EP2458754A1 (en) * 2010-11-26 2012-05-30 Nagravision S.A. Identification and profiling of groups of TV viewers
US8526686B2 (en) 2010-12-24 2013-09-03 Telefonaktiebolaget L M Ericsson (Publ) Dynamic profile creation in response to facial recognition
EP2659434A1 (en) * 2010-12-29 2013-11-06 Thomson Licensing Method for face registration
CN102595075A (zh) * 2011-01-17 2012-07-18 康佳集团股份有限公司 一种电视机装置及其频道控制方法
CN103748892B (zh) 2011-08-25 2017-04-05 英特尔公司 用于基于音频的人类存在检测的系统和方法以及计算机程序产品
US20130097416A1 (en) 2011-10-18 2013-04-18 Google Inc. Dynamic profile switching
US8769556B2 (en) 2011-10-28 2014-07-01 Motorola Solutions, Inc. Targeted advertisement based on face clustering for time-varying video
JP5214797B2 (ja) * 2011-11-30 2013-06-19 株式会社東芝 個人画像データ取得装置及び個人画像データ取得方法
CN103634669A (zh) * 2012-08-27 2014-03-12 联想(北京)有限公司 电视节目信息提供方法及电子设备
US9740187B2 (en) 2012-11-21 2017-08-22 Microsoft Technology Licensing, Llc Controlling hardware in an environment
CN103873941A (zh) * 2012-12-17 2014-06-18 联想(北京)有限公司 一种显示方法及电子设备
KR20150137499A (ko) * 2014-05-29 2015-12-09 엘지전자 주식회사 영상 표시 기기 및 그의 동작 방법
US10250650B2 (en) * 2015-01-05 2019-04-02 Harman International Industries, Incorporated Discovery playlist creation
US10795692B2 (en) 2015-07-23 2020-10-06 Interdigital Madison Patent Holdings, Sas Automatic settings negotiation
WO2019028790A1 (zh) * 2017-08-10 2019-02-14 深圳益创信息科技有限公司 播放工作模式设置方法和相关装置
CN107592571A (zh) * 2017-08-31 2018-01-16 深圳创维－Rgb电子有限公司 智能系统调整方法、装置及计算机可读存储介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5550928A (en) * 1992-12-15 1996-08-27 A.C. Nielsen Company Audience measurement system and method
GB9703193D0 (en) * 1997-02-15 1997-04-02 Philips Electronics Nv Television
US6256019B1 (en) * 1999-03-30 2001-07-03 Eremote, Inc. Methods of using a controller for controlling multi-user access to the functionality of consumer devices

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7536037B2 (en) 2003-11-19 2009-05-19 Samsung Electronics Co., Ltd. Apparatus and method for human distinction using infrared light
KR20060010225A (ko) * 2004-07-27 2006-02-02 (주)바로텍 얼굴표정 인식 홈 네트워크 시스템 및 그 제어 방법
KR101398474B1 (ko) * 2007-09-03 2014-05-27 삼성전자주식회사 얼굴 인식을 이용한 디스플레이 장치 및 이의 제어방법
KR20160086840A (ko) * 2013-11-18 2016-07-20 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 지속적인 사용자 식별 기법

Also Published As

Publication number Publication date
JP2004511870A (ja) 2004-04-15
CN1395797A (zh) 2003-02-05
WO2002032136A3 (en) 2002-06-27
WO2002032136A2 (en) 2002-04-18
EP1329105A2 (en) 2003-07-23

Similar Documents

Publication Publication Date Title
KR20020081220A (ko) 이미지 기반 인식을 통한 장치 제어
CA2690022C (en) Multimedia arrangement
US8299889B2 (en) Home entertainment system providing presence and mobility via remote control authentication
US6445306B1 (en) Remote control program selection by genre
US20030237093A1 (en) Electronic program guide systems and methods for handling multiple users
EP1054564B1 (en) Bidirectional communication system and method.
US20130167168A1 (en) Systems and methods for providing custom movie lists
US20040008972A1 (en) Personal TV receiver (PTR) with program recommendation forwarding function
JP2003162622A (ja) リアルタイム非関与ユーザ認識およびコンテンツ提供システムおよび方法
US20110221622A1 (en) Remote control with user identification sensor
US20020186867A1 (en) Filtering of recommendations employing personal characteristics of users
JP2009140051A (ja) 情報処理装置、情報処理システム、推薦装置、情報処理方法および記憶媒体
KR20050013249A (ko) 유저 감지에 의해 전자 장비의 사용을 감시하기 위한방법, 시스템 및 장치
KR20020033202A (ko) 3가지 방식의 매체 추천 방법 및 시스템 명세
US20050060740A1 (en) Passive media ratings enforcement system
US10687101B2 (en) Method and apparatus for biometric identification of a user in a broadcast communication receiver
JP2000175117A (ja) テレビジョン受像機
WO2015078169A1 (zh) 用户档案信息处理方法、装置、机顶盒、遥控器及系统
KR20200085597A (ko) 추천 리스트 제공 방법 및 그에 따른 디스플레이 장치
US20050060738A1 (en) Passive enforcement method for media ratings
JP2000099184A (ja) 情報システム
KR101044747B1 (ko) Ｉｐｔⅴ용 ｉｐ 셋탑 박스 및 이를 이용한 ｅｐｇ 화면 표시 방법
CN112653926A (zh) 一种电视频道播放控制方法及装置
US20220046324A1 (en) System and method for the common control of heterogeneous media service restrictions
KR0185934B1 (ko) 스마트카드를 이용한 전자제품 사용제어방법

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid