KR102160908B1 - 영상처리장치 및 그 제어방법 - Google Patents

영상처리장치 및 그 제어방법 Download PDF

Info

Publication number
KR102160908B1
KR102160908B1 KR1020130161166A KR20130161166A KR102160908B1 KR 102160908 B1 KR102160908 B1 KR 102160908B1 KR 1020130161166 A KR1020130161166 A KR 1020130161166A KR 20130161166 A KR20130161166 A KR 20130161166A KR 102160908 B1 KR102160908 B1 KR 102160908B1
Authority
KR
South Korea
Prior art keywords
user
information
feature information
biometric feature
identification information
Prior art date
Application number
KR1020130161166A
Other languages
English (en)
Other versions
KR20150073456A (ko
Inventor
신용욱
정기준
정치상
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Priority to KR1020130161166A priority Critical patent/KR102160908B1/ko
Priority to PCT/KR2014/011724 priority patent/WO2015099309A1/en
Priority to EP14874302.4A priority patent/EP3053348B1/en
Priority to US14/573,681 priority patent/US10528835B2/en
Publication of KR20150073456A publication Critical patent/KR20150073456A/ko
Application granted granted Critical
Publication of KR102160908B1 publication Critical patent/KR102160908B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42201—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] biosensors, e.g. heat sensor for presence detection, EEG sensors or any limb activity sensors worn by the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/70—Multimodal biometrics, e.g. combining information from different biometric modalities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42203—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] sound input device, e.g. microphone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/441—Acquiring end-user identification, e.g. using personal code sent by the remote control or by inserting a card
    • H04N21/4415—Acquiring end-user identification, e.g. using personal code sent by the remote control or by inserting a card using biometric characteristics of the user, e.g. by voice recognition or fingerprint scanning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44222—Analytics of user selections, e.g. selection of programs or purchase activity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/4508—Management of client data or end-user data
    • H04N21/4532—Management of client data or end-user data involving end-user characteristics, e.g. viewer profile, preferences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/4661—Deriving a combined profile for a plurality of end-users of the same client, e.g. for family members within a home
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/4668—Learning process for intelligent management, e.g. learning user preferences for recommending movies for recommending content, e.g. movies
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/475—End-user interface for inputting end-user data, e.g. personal identification number [PIN], preference data
    • H04N21/4755—End-user interface for inputting end-user data, e.g. personal identification number [PIN], preference data for defining user preferences, e.g. favourite actors or genre

Abstract

본 발명의 실시예에 따른 영상처리장치는, 하나 이상의 입력방식에 따라서 사용자 입력을 제공하는 사용자 입력 인터페이스와; 영상처리장치에 기 등록된 하나 이상의 ID에 대응하는 하나 이상의 사용자의 생체특징정보의 데이터베이스가 저장된 저장부와; 사용자가 ID로 인증되면 이 인증된 ID에 대응하는 기 설정된 서비스를 제공하도록 처리하는 신호처리부와; 현재 사용자의 식별 이벤트가 발생하면 어느 하나의 ID에 대한 인증 여부를 판단하며, ID에 대한 인증이 수행되지 않은 것으로 판단하면 사용자 입력 인터페이스에 의해 취득되는 현재 사용자의 생체특징정보에 기초하여 데이터베이스로부터 ID를 검색 및 인증하도록 제어하는 제어부를 포함하는 것을 특징으로 한다.

Description

영상처리장치 및 그 제어방법 {IMAGE PROCESSING APPARATUS AND CONTROL METHOD THEREOF}
본 발명은 영상신호를 영상으로 표시되게 처리하는 영상처리장치 및 그 제어방법에 관한 것으로서, 상세하게는 사용자를 식별함으로써 각 사용자 별로 특화된 서비스를 제공하는 구조의 영상처리장치 및 그 제어방법에 관한 것이다.
영상처리장치는 외부로부터 수신되는 영상신호/영상데이터를 다양한 영상처리 프로세스에 따라서 처리한다. 영상처리장치는 처리된 영상신호를 자체 구비한 디스플레이 패널 상에 영상으로 표시하거나, 또는 패널을 구비한 타 디스플레이장치에서 영상으로 표시되도록 이 처리된 영상신호를 해당 디스플레이장치에 출력할 수 있다. 즉, 영상처리장치는 영상신호를 처리 가능한 장치라면 영상을 표시 가능한 패널을 포함하는 경우 및 패널을 포함하지 않는 경우 모두 포함할 수 있는 바, 전자의 경우의 예시로는 TV가 있으며, 후자의 경우의 예시로는 셋탑박스(set-top box)가 있다.
영상처리장치는 기술의 발전에 따라서 다양한 기능의 추가 및 확장이 계속적으로 반영되고 있다. 예를 들면, 가정용 TV 등과 같은 영상처리장치는 하나 이상의 사용자 계정을 사용자가 등록할 수 있으며, 이후 사용자 계정에 대한 로그인(log-in)함으로써 각 사용자 계정 별로 특화된 서비스를 제공할 수 있다. 영상처리장치는 사용자의 계정의 로그인을 위한 ID 및 패스워드(password)를 사용자가 사전에 지정할 수 있도록 제공하며, 이후 사용자가 리모트 컨트롤러(remote controller) 상에 설치된 문자 또는 숫자 버튼들을 사용하여 ID 및 패스워드 정보를 입력하면 이 입력된 정보에 대응하는 사용자 계정의 로그인 처리를 수행할 수 있다.
본 발명의 실시예에 따른 영상처리장치는, 하나 이상의 입력방식에 따라서 사용자 입력을 제공하는 사용자 입력 인터페이스와; 상기 영상처리장치에 기 등록된 하나 이상의 ID에 대응하는 하나 이상의 사용자의 생체특징정보의 데이터베이스가 저장된 저장부와; 사용자가 상기 ID로 인증되면 상기 인증된 ID에 대응하는 기 설정된 서비스를 제공하도록 처리하는 신호처리부와; 현재 사용자의 식별 이벤트가 발생하면 어느 하나의 상기 ID에 대한 인증 여부를 판단하며, 상기 ID에 대한 인증이 수행되지 않은 것으로 판단하면 상기 사용자 입력 인터페이스에 의해 취득되는 상기 현재 사용자의 상기 생체특징정보에 기초하여 상기 데이터베이스로부터 상기 ID를 검색 및 인증하도록 제어하는 제어부를 포함하는 것을 특징으로 한다.
여기서, 상기 데이터베이스는, 상기 생체특징정보에 대응하는 상기 사용자에 의한 상기 영상처리장치의 사용 이력에 관한 행위특징정보를 더 포함하며, 상기 제어부는, 상기 식별 이벤트 시에 상기 현재 사용자에 대한 상기 생체특징정보 및 상기 행위특징정보 중 적어도 어느 하나를 취득하며, 상기 취득한 어느 하나와 가장 높은 유사도를 나타내는 레코드를 상기 데이터베이스에서 검색함으로써 상기 현재 사용자를 식별할 수 있다.
여기서, 상기 데이터베이스는 상기 생체특징정보 및 상기 행위특징정보를 포함하는 각각의 상기 레코드 별로 상호간에 식별 가능하도록 부여된 시스템 ID를 포함하며, 상기 제어부는, 상기 가장 높은 유사도를 나타내는 상기 레코드에 부여된 상기 시스템 ID를 상기 현재 사용자에게 할당함으로써 상기 현재 사용자를 식별할 수 있다.
여기서, 상기 제어부는, 상기 취득한 상기 생체특징정보 및 상기 행위특징정보를 상기 데이터베이스에서 상기 가장 높은 유사도를 나타내는 상기 레코드에 업데이트할 수 있다.
또한, 상기 데이터베이스는 둘 이상의 사용자를 포함하는 그룹의 레코드를 포함하며, 상기 제어부는, 감지된 상기 현재 사용자가 복수이면 상기 복수의 현재 사용자 각각에 대해 상기 생체특징정보 및 상기 행위특징정보 중 적어도 어느 하나를 도출하고, 상기 데이터베이스의 상기 레코드 중에서 상기 현재 사용자의 수와 동일한 수의 사용자를 포함하는 상기 그룹의 상기 레코드에 대해 검색을 수행할 수 있다.
여기서, 상기 그룹의 상기 레코드는 상기 그룹에 포함된 복수의 사용자 별로 상기 생체특징정보 및 상기 행위특징정보를 포함하며, 상기 제어부는, 상기 복수의 현재 사용자 각각에 대해 개별적으로 도출한 상기 생체특징정보 및 상기 행위특징정보 중 적어도 어느 하나를 상기 레코드의 각 사용자 별 상기 생체특징정보 및 상기 행위특징정보와 개별적으로 비교함으로써 상기 유사도를 판단할 수 있다.
또한, 상기 제어부는, 상기 현재 사용자의 상기 시스템 ID이 식별되면 현재 시간을 판단하고, 상기 시스템 ID에 대응하는 사용자에 의한 상기 영상처리장치의 사용 이력으로부터 상기 현재 시간에 기초하여 추천 컨텐츠를 선택 및 제공할 수 있다.
여기서, 상기 영상처리장치의 사용 이력은 영상 프로그램의 시간 또는 요일 별 시청 이력을 포함하며, 상기 제어부는 상기 시청 이력의 영상 프로그램 중에서 상기 현재 시간에 기초하여 추천 프로그램을 선택하고, 선택 결과를 알리는 안내 영상이 표시되도록 제어할 수 있다.
또한, 상기 생체특징정보는 사용자의 음성에 대한 음성특징벡터 및 사용자의 얼굴 형상에 대한 얼굴특징벡터 중 적어도 어느 하나를 포함할 수 있다.
또한, 상기 제어부는, 상기 사용자 입력 인터페이스의 복수의 상기 입력방식 중에서 제1입력방식을 통한 생체특징정보의 취득이 비정상적이라고 판단하면, 상기 사용자 입력 인터페이스의 상기 복수의 입력방식 중에서 제2입력방식을 통한 생체특징정보가 취득되도록 상기 제2입력방식에 의한 입력을 안내하는 유아이 영상을 표시할 수 있다.
또한, 본 발명의 실시예에 따른 영상처리장치의 제어방법은, 현재 사용자의 식별 이벤트가 발생하면 상기 영상처리장치에 기 등록된 하나 이상의 ID 중에서 어느 하나에 대한 인증 여부를 판단하는 단계와; 상기 ID에 대한 인증이 수행되지 않은 것으로 판단하면 하나 이상의 입력방식에 따른 사용자 입력에 의해 상기 현재 사용자의 상기 생체특징정보를 취득하는 단계와; 기 등록된 하나 이상의 ID에 대응하는 하나 이상의 사용자의 생체특징정보의 데이터베이스로부터, 상기 현재 사용자의 상기 생체특징정보에 기초하여 상기 ID를 검색 및 인증하는 단계와; 상기 현재 사용자에게 상기 인증된 ID에 대응하는 기 설정된 서비스를 제공하는 단계를 포함하는 것을 특징으로 한다.
여기서, 상기 데이터베이스는, 상기 생체특징정보에 대응하는 상기 사용자에 의한 상기 영상처리장치의 사용 이력에 관한 행위특징정보를 더 포함하며, 상기 현재 사용자의 상기 생체특징정보를 취득하는 단계는, 상기 현재 사용자에 대한 상기 생체특징정보 및 상기 행위특징정보 중 적어도 어느 하나를 취득하는 단계를 포함하며, 상기 현재 사용자의 상기 생체특징정보에 기초하여 상기 ID를 검색 및 인증하는 단계는, 상기 취득한 어느 하나와 가장 높은 유사도를 나타내는 레코드를 상기 데이터베이스에서 검색함으로써 상기 현재 사용자를 식별하는 단계를 포함할 수 있다.
여기서, 상기 데이터베이스는 상기 생체특징정보 및 상기 행위특징정보를 포함하는 각각의 상기 레코드 별로 상호간에 식별 가능하도록 부여된 시스템 ID를 포함하며, 상기 현재 사용자를 식별하는 단계는, 상기 가장 높은 유사도를 나타내는 상기 레코드에 부여된 상기 시스템 ID를 상기 현재 사용자에게 할당함으로써 상기 현재 사용자를 식별하는 단계를 포함할 수 있다.
여기서, 상기 현재 사용자의 상기 생체특징정보에 기초하여 상기 ID를 검색 및 인증하는 단계는, 상기 취득한 상기 생체특징정보 및 상기 행위특징정보를 상기 데이터베이스에서 상기 가장 높은 유사도를 나타내는 상기 레코드에 업데이트하는 단계를 포함할 수 있다.
또한, 상기 데이터베이스는 둘 이상의 사용자를 포함하는 그룹의 레코드를 포함하며, 상기 현재 사용자를 식별하는 단계는, 감지된 상기 현재 사용자가 복수이면 상기 복수의 현재 사용자 각각에 대해 상기 생체특징정보 및 상기 행위특징정보 중 적어도 어느 하나를 도출하는 단계와; 상기 데이터베이스의 상기 레코드 중에서 상기 현재 사용자의 수와 동일한 수의 사용자를 포함하는 상기 그룹의 상기 레코드에 대해 검색을 수행하는 단계를 더 포함할 수 있다.
여기서, 상기 그룹의 상기 레코드는 상기 그룹에 포함된 복수의 사용자 별로 상기 생체특징정보 및 상기 행위특징정보를 포함하며, 상기 현재 사용자를 식별하는 단계는, 상기 복수의 현재 사용자 각각에 대해 개별적으로 도출한 상기 생체특징정보 및 상기 행위특징정보 중 적어도 어느 하나를 상기 레코드의 각 사용자 별 상기 생체특징정보 및 상기 행위특징정보와 개별적으로 비교함으로써 상기 유사도를 판단하는 단계를 더 포함할 수 있다.
또한, 상기 현재 사용자를 식별하는 단계는, 상기 현재 사용자의 상기 시스템 ID이 식별되면 현재 시간을 판단하는 단계를 포함하며, 상기 인증된 ID에 대응하는 기 설정된 서비스를 제공하는 단계는, 상기 시스템 ID에 대응하는 사용자에 의한 상기 영상처리장치의 사용 이력으로부터 상기 현재 시간에 기초하여 추천 컨텐츠를 선택 및 제공하는 단계를 포함할 수 있다.
여기서, 상기 영상처리장치의 사용 이력은 영상 프로그램의 시간 또는 요일 별 시청 이력을 포함하며, 상기 추천 컨텐츠를 선택 및 제공하는 단계는, 상기 시청 이력의 영상 프로그램 중에서 상기 현재 시간에 기초하여 추천 프로그램을 선택하고, 상기 선택 결과를 알리는 안내 영상을 표시하는 단계를 포함할 수 있다.
또한, 상기 생체특징정보는 사용자의 음성에 대한 음성특징벡터 및 사용자의 얼굴 형상에 대한 얼굴특징벡터 중 적어도 어느 하나를 포함할 수 있다.
또한, 상기 현재 사용자의 상기 생체특징정보를 취득하는 단계는, 복수의 상기 입력방식 중에서 제1입력방식을 통한 생체특징정보의 취득이 비정상적이라고 판단하면, 상기 복수의 입력방식 중에서 제2입력방식을 통한 생체특징정보가 취득되도록 상기 제2입력방식에 의한 입력을 안내하는 유아이 영상을 표시하는 단계를 포함할 수 있다.
또한, 본 발명의 실시예에 따른 영상처리장치는, 하나 이상의 입력방식에 따라서 사용자 입력을 제공하는 사용자 입력 인터페이스와; 외부로부터 입력되는 방송신호 및 컨텐츠 데이터 신호를 처리하여 영상으로 표시되게 처리하는 신호처리부와; 사용자의 ID와, 상기 사용자 ID에 대응하는 하나 이상의 생체특징정보의 데이터베이스가 저장되는 저장부와; 상기 사용자 입력 인터페이스를 통해 사용자의 생체특징정보가 취득되면, 상기 데이터베이스 기반으로 상기 취득된 생체특징정보를 비교하여 기 저장된 사용자 ID를 인증하며, 상기 인증된 사용자 ID에 대응하는 기 설정된 서비스가 제공되도록 상기 신호처리부를 제어하는 제어부를 포함하는 것을 특징으로 한다.
여기서, 상기 제어부는, 상기 취득된 생체특징정보에 대응하는 상기 사용자 ID가 상기 데이터베이스에 없을 때에, 상기 취득된 생체특징정보에 대응하는 새로운 사용자 ID를 생성하여 상기 데이터베이스에 업데이트할 수 있다.
도 1은 본 발명의 제1실시예에 따른 영상처리장치 또는 디스플레이장치의 예시도,
도 2는 도 1의 디스플레이장치의 구성 블록도,
도 3은 도 1의 디스플레이장치에서, 입력되는 사용자 관련 정보에 기초하여 사용자를 인증하는 프로세서의 구조를 나타내는 구성 블록도,
도 4는 본 발명의 제2실시예에 따른 프로세서의 구성 블록도,
도 5는 도 4의 프로세서에 의해 사용되는, 행위이력 DB에서 ID 별로 매칭된 시청이력의 예시도,
도 6은 도 4의 프로세서에 의해 사용되는, 일 SID에 대한 사용자 프로파일의 레코드를 나타내는 예시도,
도 7은 본 발명의 제3실시예에 따른 프로세서 내에서 수행되는 데이터의 전송 형태를 나타내는 예시도,
도 8은 도 7의 프로세서에서, 추천엔진이 추천 서비스를 제공하는 방법을 나타내는 플로우차트,
도 9 및 도 10은 본 발명의 제4실시예에 따른 디스플레이장치의 제어방법을 나타내는 플로우차트,
도 11은 본 발명의 제5실시예에 따른 디스플레이장치에서 표시되는 유아이 영상의 예시도이다.
이하에서는 첨부도면을 참조하여 본 발명에 대해 상세히 설명한다. 이하 실시예에서는 본 발명의 사상과 직접적인 관련이 있는 구성들에 관해서만 설명하며, 그 외의 구성에 관해서는 설명을 생략한다. 그러나, 본 발명의 사상이 적용된 장치 또는 시스템을 구현함에 있어서, 이와 같이 설명이 생략된 구성이 불필요함을 의미하는 것이 아님을 밝힌다.
도 1은 본 발명의 제1실시예에 따른 영상처리장치 또는 디스플레이장치(100)의 예시도이다. 본 실시예의 영상처리장치(100)는 자체적으로 영상을 표시할 수 있는 구조의 디스플레이장치이다. 그러나, 본 발명의 사상은 자체적으로 영상을 표시할 수 없는 영상처리장치(100)의 경우에도 적용할 수 있는 바, 이 경우에 영상처리장치(100)는 별도의 외부 디스플레이장치에 로컬 접속됨으로써 외부 디스플레이장치에 영상이 표시되도록 할 수도 있다.
도 1에 도시된 바와 같이, 본 실시예에 따른 디스플레이장치(100)는 외부로부터 수신되거나 또는 자체적으로 내장되어 있는 컨텐츠의 영상데이터를 처리하여 컨텐츠의 영상을 표시한다. 본 실시예에서의 디스플레이장치(100)는 TV로 구현되지만, 이 외에도 영상데이터를 처리하여 영상을 표시할 수 있는 다양한 형식의 디스플레이장치에 본 발명의 사상이 적용될 수 있다.
디스플레이장치(100) 전방에는 사용자가 위치하며, 사용자는 디스플레이장치(100)에 표시되는 영상을 시청한다. 디스플레이장치(100)는 사용자가 디스플레이장치(100)의 동작을 제어할 수 있도록 하는 다양한 방식의 인터페이스 환경, 즉 다중 입력 구조 또는 다중 인식 구조를 제공한다.
다중 입력 구조의 구현 예를 들면, 디스플레이장치(100)는 다양한 종류의 기능 버튼, 터치패드, 디스플레이 등의 구성을 갖추며 디스플레이장치(100)로부터 분리 이격된 리모트 컨트롤러(146)와, 사용자를 비롯한 디스플레이장치(100)의 외부 환경을 촬영 또는 촬상하는 카메라(147)와, 사용자의 발화/발성을 입력받는 마이크로폰(148)을 포함한다. 물론, 디스플레이장치(100)가 갖춘 입력 인터페이스 환경은 이러한 예시에 의해 한정되지 않으며, 본 예시에 설명되지 않은 입력 구조가 추가적으로 디스플레이장치(100)에 설치될 수도 있다.
디스플레이장치(100)는 다양한 다중 입력 구조 각각을 통하여 사용자에 의해 입력되는 정보에 기초하여, 미리 지정된 기능 또한 동작을 수행한다.
이하, 디스플레이장치(100)의 구체적인 구성에 관해 도 2를 참조하여 설명한다.
도 2는 디스플레이장치(100)의 구성 블록도이다.
도 2에 도시된 바와 같이, 디스플레이장치(100)는 외부와 데이터/신호를 송수신하도록 통신하는 통신 인터페이스(interface)(110)와, 통신 인터페이스(110)에 수신되는 데이터를 기 설정된 프로세스(process)에 따라서 처리하는 프로세서(processor)(120)와, 프로세서(120)에서 처리되는 데이터가 영상데이터인 경우에 해당 영상데이터를 영상으로 표시하는 디스플레이(display)(130)와, 사용자에 의한 입력 동작이 수행되는 사용자 인터페이스(140)와, 데이터/정보가 저장되는 스토리지(storage)(150)와, 디스플레이장치(100)의 제반 동작을 제어하는 컨트롤러(controller)(160)를 포함한다.
통신 인터페이스(110)는 디스플레이장치(100)가 서버(10) 등과 같은 외부장치와 양방향 통신이 가능하도록 데이터의 송수신을 수행한다. 통신 인터페이스(110)는 기 설정된 통신 프로토콜(protocol)에 따라서, 유선/무선을 통한 광역/근거리 네트워크 또는 로컬 접속 방식으로 외부장치(미도시)에 접속한다.
통신 인터페이스(110)는 각 장치 별 접속 포트(port) 또는 접속 모듈(module)의 집합체에 의해 구현될 수 있는 바, 접속을 위한 프로토콜 또는 접속 대상이 되는 외부장치가 하나의 종류 또는 형식으로 한정되지 않는다. 통신 인터페이스(110)는 디스플레이장치(100)에 내장된 형태일 수 있으며, 전체 또는 일부의 구성이 디스플레이장치(100)에 애드온(add-on) 또는 동글(dongle) 형태로 추가 설치되는 형식도 가능하다.
통신 인터페이스(110)는 접속된 각 장치 별로 지정된 프로토콜에 따라서 신호의 송수신이 이루어지는 바, 접속된 각 장치에 대해 개별적인 접속 프로토콜 기반으로 신호를 송수신할 수 있다. 영상데이터의 경우를 예로 들면, 통신 인터페이스(110)는 RF(radio frequency)신호, 컴포지트(composite)/컴포넌트(component) 비디오, 슈퍼 비디오(super video), SCART, HDMI(high definition multimedia interface), 디스플레이포트(DisplayPort), UDI(unified display interface), 또는 와이어리스(wireless) HD 등 다양한 규격을 기반으로 신호의 송수신이 가능하다.
프로세서(120)는 통신 인터페이스(110)에 수신되는 데이터/신호에 대해 다양한 프로세스를 수행한다. 통신 인터페이스(110)에 영상데이터가 수신되면, 프로세서(120)는 영상데이터에 대해 영상처리 프로세스를 수행하고, 이러한 프로세스가 수행된 영상데이터를 디스플레이(130)에 출력함으로써 디스플레이(130)에 해당 영상데이터에 기초하는 영상이 표시되게 한다. 통신 인터페이스(110)에 수신되는 신호가 방송신호인 경우, 프로세서(120)는 특정 채널로 튜닝된 방송신호로부터 영상, 음성 및 부가데이터를 추출하고, 영상을 기 설정된 해상도로 조정하여 디스플레이(130)에 표시되게 한다.
프로세서(120)가 수행하는 영상처리 프로세스의 종류는 한정되지 않으며, 예를 들면 영상데이터의 영상 포맷에 대응하는 디코딩(decoding), 인터레이스(interlace) 방식의 영상데이터를 프로그레시브(progressive) 방식으로 변환하는 디인터레이싱(de-interlacing), 영상데이터를 기 설정된 해상도로 조정하는 스케일링(scaling), 영상 화질 개선을 위한 노이즈 감소(noise reduction), 디테일 강화(detail enhancement), 프레임 리프레시 레이트(frame refresh rate) 변환 등을 포함할 수 있다.
프로세서(120)는 데이터의 종류, 특성에 따라서 다양한 프로세스를 수행할 수 있는 바, 프로세서(120)가 수행 가능한 프로세스를 영상처리 프로세스로 한정할 수 없다. 또한, 프로세서(120)가 처리 가능한 데이터가 통신 인터페이스(110)에 수신되는 것만으로 한정할 수 없다. 예를 들면, 프로세서(120)는 사용자 인터페이스(140)를 통해 사용자의 발화 또는 모션(motion)이 감지되면, 기 설정된 음성처리 프로세스 또는 모션처리 프로세스에 따라서 해당 발화 또는 모션의 정보를 처리할 수 있다.
프로세서(120)는 이러한 여러 기능을 통합시킨 SOC(system-on-chip)가, 또는 이러한 각 프로세스를 독자적으로 수행할 수 있는 개별적인 칩셋(chip-set)들이 인쇄회로기판 상에 장착된 영상처리보드(미도시)로 구현되며, 디스플레이장치(100)에 내장된다.
디스플레이(130)는 프로세서(120)에 의해 처리된 영상신호/영상데이터를 영상으로 표시한다. 디스플레이(130)의 구현 방식은 한정되지 않는 바, 액정(liquid crystal), 플라즈마(plasma), 발광 다이오드(light-emitting diode), 유기발광 다이오드(organic light-emitting diode), 면전도 전자총(surface-conduction electron-emitter), 탄소 나노 튜브(carbon nano-tube), 나노 크리스탈(nano-crystal) 등의 다양한 디스플레이 방식으로 구현될 수 있다.
디스플레이(130)는 그 구현 방식에 따라서 부가적인 구성을 추가적으로 포함할 수 있다. 예를 들면, 액정 방식인 경우에, 디스플레이(130)는 액정 디스플레이 패널(미도시)과, 이에 광을 공급하는 백라이트유닛(미도시)과, 패널(미도시)을 구동시키는 패널구동기판(미도시) 등을 포함한다.
사용자 인터페이스(140)는 사용자의 조작 또는 입력에 따라서 기 설정된 다양한 제어 커맨드(command) 또는 정보를 컨트롤러(160)에 전달한다. 사용자 인터페이스(140)는 사용자의 의도에 따라서 사용자에 의해 발생하는 다양한 이벤트(event)를 정보화하여 컨트롤러(160)에 전달한다. 여기서, 사용자에 의해 발생하는 이벤트는 여러 가지 형태가 가능한 바, 예를 들면 사용자의 조작, 발화, 모션, 제스쳐(gesture) 등이 가능하다.
사용자 인터페이스(140)는 사용자가 정보를 입력하는 방식에 대응하여, 해당 방식으로 입력되는 정보를 감지할 수 있게 마련된다. 입력 방식에 따라서, 사용자 인터페이스(140)는 대화형 입력 인터페이스(141) 및 비대화형 입력 인터페이스(142)로 구별할 수 있다.
대화형 입력 인터페이스(141)는 사용자의 발화가 입력되도록 마련된다. 즉, 대화형 입력 인터페이스(141)는 마이크로폰(148, 도 1 참조)으로 구현되며, 디스플레이장치(100)의 외부 환경에서 발생하는 다양한 소리를 감지한다. 대화형 입력 인터페이스(141)는 일반적으로 사용자에 의한 발화를 감지할 수 있지만, 사용자 이외의 다양한 환경적 요인에 의해 발생하는 소리도 감지할 수 있다.
비대화형 입력 인터페이스(142)는 발화 방식 이외의 사용자의 입력이 수행되게 마련된다. 이 경우에 비대화형 입력 인터페이스(142)의 구현 형태는 다양하며, 예를 들면, 리모트 컨트롤러(146, 도 1 참조)나, 카메라(147, 도 1 참조)나, 디스플레이장치(100) 외측에 설치된 메뉴 키(menu-key) 또는 입력 패널(panel)이나, 사용자의 제스쳐를 감지하는 모션센서(motion sensor) 등이 가능하다.
또는, 비대화형 입력 인터페이스(142)는 디스플레이(130)에 설치된 터치스크린(touch-screen)으로 구현될 수도 있다. 이 경우에, 사용자는 디스플레이(130)에 표시된 입력메뉴 또는 UI 영상을 터치함으로써, 기 설정된 커맨드 또는 정보가 컨트롤러(160)에 전달되게 할 수 있다.
본 실시예에 따른 대화형 입력 인터페이스(141)는 디스플레이장치(100) 본체에 설치될 수 있지만, 리모트 컨트롤러(145)에 부가적으로 설치되거나, 디스플레이장치(100)와는 별도의 외부장치로 구현되는 것도 가능하다.
스토리지(150)는 컨트롤러(160)의 제어에 따라서 다양한 데이터가 저장된다. 스토리지(150)는 시스템 전원의 제공 유무와 무관하게 데이터를 보존할 수 있도록, 플래시메모리(flash-memory), 하드디스크 드라이브(hard-disc drive)와 같은 비휘발성 메모리로 구현된다. 스토리지(150)는 컨트롤러(160)에 대해 억세스(access)됨으로써, 기 저장된 데이터의 독취, 기록, 수정, 삭제, 갱신 등이 수행된다.
컨트롤러(160)는 CPU로 구현되며, 소정 이벤트의 발생에 따라서 프로세서(120)를 비롯한 디스플레이장치(100)의 제반 구성의 동작을 제어한다. 예를 들어 소정 컨텐츠의 영상데이터가 통신 인터페이스(110)에 수신되면, 컨트롤러(160)는 프로세서(120)를 제어함으로써 영상데이터가 처리되어 디스플레이(130) 상에 영상으로 표시되게 제어한다. 또한, 컨트롤러(160)는 사용자 인터페이스(140)를 통해 사용자의 입력 이벤트가 발생하면, 해당 이벤트에 대응하는 기 설정된 동작이 실행되도록 프로세서(120)를 비롯한 구성요소들을 제어한다.
이러한 구조 하에서, 디스플레이장치(100)는 사용자에 대해 다양한 서비스 및 기능을 제공할 수 있다. 그런데, 디스플레이장치(100)가 TV로 구현되는 경우에는 일반적으로 한 명의 사용자가 주로 사용하는 모바일 디바이스(mobile device)의 경우와 달리, 복수의 사용자가 사용할 수 있다. 물론, 모바일 디바이스로 구현된 디스플레이장치(100)의 경우에도, 사용 형태에 따라서는 복수의 사용자가 각기 사용할 수도 있다.
복수의 사용자가 사용하는 디스플레이장치(100)의 경우에, 디스플레이장치(100)가 각 사용자 별로 특화된 서비스인 개인화 서비스를 제공하기 위해서는 먼저 사용자에 대한 인증이 필요하다. 이에, 디스플레이장치(100)는 다음과 같은 방법에 따라서 사용자에 대한 인증을 수행함으로써 사용자를 특정할 수 있다.
도 3은 입력되는 사용자 관련 정보에 기초하여 사용자를 인증하는 프로세서(200)를 나타내는 구성 블록도이다.
도 3에 도시된 바와 같이, 프로세서(200)는 대화형 입력 인터페이스(141)로부터 수신되는 사용자의 발화/발성 정보를 처리하여 음성 특징 정보를 도출하는 음성인식모듈(210)과, 비대화형 입력 인터페이스(142)로부터 수신되는 사용자의 얼굴 정보를 처리하여 얼굴 특징 정보를 도출하는 얼굴인식모듈(220)과, 이와 같이 각각 도출된 음성 특징 정보 및 얼굴 특징 정보에 기초하여 사용자 인증을 수행하는 통합처리모듈(230)을 포함한다.
본 실시예에서의 프로세서(200)는 도 2의 프로세서(120)와 대체할 수 있는 바, 도 2의 디스플레이장치(100)에 적용될 수 있다.
본 실시예에서는, 사용자 인증을 위해 대화형 입력 인터페이스(141) 및 비대화형 입력 인터페이스(142)로부터, 적어도 둘 이상의 입력구조에 의해 사용자에 관련된 데이터가 수집되며, 수집된 데이터들이 프로세서(200)에 전달된다. 예를 들면, 대화형 입력 인터페이스(141)는 사용자의 음성 데이터를 프로세서(200)에 전달하고, 비대화형 입력 인터페이스(142)는 사용자의 얼굴 영상 데이터를 프로세서(200)에 전달한다.
음성인식모듈(210)은 사용자의 음성 데이터를 기 설정된 음성처리 알고리즘에 기초하여 처리함으로써 음성 데이터의 음성 특징 벡터를 도출한다. 음성인식모듈(210)은 기 등록된 사용자의 ID 및 음성 특징 벡터가 상호 매칭된 데이터베이스인 음성특징DB(260)에 억세스할 수 있는 바, 음성인식모듈(210)은 도출된 음성 특징 벡터를 가지고 음성특징DB(260)에서 검색을 수행한다. 음성인식모듈(210)은 음성특징DB(260)로부터 유사도가 높은 사용자 ID를 검색한다.
얼굴인식모듈(220)은 사용자의 얼굴 영상 데이터를 기 설정된 얼굴처리 알고리즘에 기초하여 처리함으로써 얼굴 영상 데이터의 얼굴 특징 벡터를 도출한다. 얼굴인식모듈(220)은 기 등록된 사용자의 ID와 얼굴 특징 벡터가 상호 매칭된 얼굴특징DB(270)에 억세스할 수 있는 바, 얼굴인식모듈(220)은 도출된 얼굴 특징 벡터를 가지고 얼굴특징DB(270)에서 검색을 수행한다. 얼굴인식모듈(220)은 얼굴특징DB(270)로부터 유사도가 높은 사용자 ID를 검색한다.
여기서, 음성처리 알고리즘 및 얼굴처리 알고리즘 각각은, 입력된 데이터에 대한 특징벡터를 도출하기 위한 다양한 공지 방법이 적용될 수 있다. 얼굴처리 알고리즘의 예를 들면, 얼굴인식모듈(220)은 그래디언트 방향 히스토그램(Histograms of Oriented Gradients, HOG) 또는 에지 검출 알고리즘에 따라서 얼굴 영상의 특징벡터를 도출할 수 있다.
통합처리모듈(230)은 음성인식모듈(210) 및 얼굴인식모듈(220) 각각의 결과를 종합하여, 입력된 사용자 관련 데이터에 매칭되는 사용자의 ID를 최종적으로 특정한다. 예를 들면, 통합처리모듈(230)은 음성인식모듈(210) 및 얼굴인식모듈(220) 각각으로부터 전달받은 사용자 ID의 검색 결과가 동일하면, 해당 사용자 ID를 최종적으로 선택한다. 또는, 통합처리모듈(230)은 음성인식모듈(210) 및 얼굴인식모듈(220) 각각으로부터 소정 스코어 이상의 복수 결과를 수집하고, 양자간에 공통적으로 나타나는 사용자 ID를 선택할 수도 있다. 또는, 통합처리모듈(230)은 음성인식모듈(210)의 검색 결과 및 얼굴인식모듈(220)의 검색 결과가 공통적이지 않으면, 신규 사용자로 판단할 수 있다.
정리하면, 프로세서(200)는 사용자의 음성 데이터 및 얼굴 데이터와 같은 생체 데이터가 입력되면, 사용자에 의해 미리 저장된 사용자 ID 정보와 비교함으로써 매칭 여부를 판단하고, 매칭 결과에 따라서 사용자 ID를 특정한다.
즉, 본 실시예에 따르면, 디스플레이장치(100)는 사용자가 기 등록된 ID로 인증하는 경우에, 이 인증된 ID에 대응하는 기 설정된 서비스를 제공할 수 있다. 여기서, 디스플레이장치(100)는 기 등록된 ID에 대응하는 사용자의 생체특징정보의 데이터베이스를 저장하며, 현재 사용자의 식별 이벤트가 발생하면 기 등록된 ID에 대한 인증 여부를 판단한다. 디스플레이장치(100)는 사용자가 직접 ID 및 패스워드를 입력하는 등과 같은 ID에 대한 인증 절차를 수행하지 않은 것으로 판단되면, 즉 ID에 대한 인증이 수행되지 않은 것으로 판단되면, 사용자 입력 인터페이스(140)를 통해 취득되는 현재 사용자의 생체특징정보에 기초하여 데이터베이스로부터 ID를 검색 및 인증한다.
그런데, 이러한 방법의 실시예에서는 다음과 같은 몇 가지 사항이 고려되지 않는다.
첫 번째로, 본 실시예에서는 프로세서(200)가 사용자의 특징값을 획득하면 기 등록된 사용자의 특징값과 비교하여 사용자를 인증하는 것에 포커스를 맞추고 있는 바, 현재 프로세서(200)에 의해 실행중인 어플리케이션(application)에서 필요한 사용자 ID에 관한 내용은 고려되지 않는다.
두 번째로, 본 실시예는 사용자가 한 명의 개인(individual)인 경우에만 적용된다. 그런데, TV와 같은 디스플레이장치(100)에서는 가족 단위와 같은 복수의 사용자가 하나의 그룹을 형성할 수 있는 바, 본 실시예에서는 복수의 사용자를 포함하는 그룹 단위에 관한 사항이 고려되지 않는다.
세 번째로, 본 실시예에서는 사용자의 생체 데이터가 사용자 인증 시에 고려되지만, 디스플레이장치(100)에 대한 사용자의 사용 이력 데이터, 즉 사용자의 행위(activity) 데이터는 사용자 인증 시에 고려되지 않는다.
한편, 디스플레이장치(100)에 대한 사용자의 사용 형태를 고려할 때, 어떠한 사용자는 사용자 계정 또는 사용자 ID를 미리 등록하고 이후의 사용 시에 기 등록된 사용자 계정에 로그인하여 사용하는 반면, 어떠한 사용자는 사용자 계정을 미리 등록하지 않으며 이후의 사용 시에도 사용자 계정에 로그인하지 않는다. 또한, 사전에 사용자 계정을 디스플레이장치 등록한 사용자라도, 이후의 사용 시에 사용자 계정에 로그인하지 않을 수도 있다.
디스플레이장치(100)는 사용자 ID에 로그인하지 않고 디스플레이장치(100)를 사용하는 사용자에 대해서는, 해당 사용자를 특정할 수 없으므로 사용자 별로 특화된 개인화 서비스를 제공하는 것에 제약이 따른다. 등록된 사용자 ID가 없으면 디스플레이장치(100)는 해당 장치에 기본적으로 세팅된 환경에 따라서 서비스를 제공할 수 있지만, 디스플레이장치(100)를 복수의 사용자가 사용하는 경우에는 개인화 서비스의 품질을 보장할 수 없게 된다.
따라서, 즉 상기한 실시예에 따른 사용자 인증 과정을 수행하지 않는 사용자를 식별하고 그에 맞는 개인화 서비스를 제공하는 방법과, 또한 사용자 개개인에 대한 서비스 제공만이 아닌 복수의 사용자를 포함하는 그룹에 맞는 그룹화 서비스를 제공하는 방법이 요구될 수 있다.
이하, 상기한 사항을 고려한 본 발명의 제2실시예에 관해 설명한다.
본 실시예에 따르면, 디스플레이장치(100)의 데이터베이스는 생체특징정보에 대응하는 사용자에 의한 디스플레이장치(100)의 사용 이력에 관한 행위특징정보의 레코드를 더 포함한다. 디스플레이장치(100)는 현재 사용자의 식별 이벤트가 발생하면, 현재 사용자에 대한 생체특징정보 및 행위특징정보 중 적어도 어느 하나를 취득하며, 이와 같이 취득한 정보와 가장 높은 유사도를 나타내는 레코드를 데이터베이스로부터 검색함으로써 현재 사용자를 식별한다.
도 4는 본 발명의 제2실시예에 따른 프로세서(300)의 구성 블록도이다.
도 4에 도시된 바와 같이, 프로세서(300)는 사용자에 의해 사전에 등록된 ID에 로그인하지 않은, 즉 사용자 ID를 비등록한 사용자를 특정하기 위한 복수의 블록, 모듈 또는 엔진(310, 320, 330, 340, 350, 360, 370, 380)을 포함한다. 본 실시예에서의 프로세서(300)는 도 2의 프로세서(120)와 대체할 수 있는 바, 도 2의 디스플레이장치(100)에 적용될 수 있다.
이들 엔진(310, 320, 330, 340, 350, 360, 370, 380)은 편의상 수행하는 기능에 따라서 분류된 것으로서, 본 실시예에 따른 프로세서(300)의 구현 방식을 어느 한 가지로 한정하는 것이 아니다. 이들 엔진(310, 320, 330, 340, 350, 360, 370, 380)은 하드웨어적인 구성일 수 있고, 또는 소프트웨어적인 구성일 수도 있다. 프로세서(300)를 구성하는 각 엔진(310, 320, 330, 340, 350, 360, 370, 380)이 각각의 동작을 개별적으로 수행할 수 있고, 또는 엔진(310, 320, 330, 340, 350, 360, 370, 380) 단위로 구분되지 않고 프로세서(300)가 전체적인 동작을 수행할 수도 있다. 또한, 프로세서(300) 및 각 엔진(310, 320, 330, 340, 350, 360, 370, 380)의 동작은 컨트롤러(160, 도 2 참조)의 제어에 의해 수행된다.
프로세서(300)는 얼굴인식엔진(face recognition engine)(310)과, 음성인식엔진(voice recognition engine)(320)과, 행위수집엔진(activity collecting engine)(330)과, 행위DB관리엔진(activity DB managing engine)(340)과, 식별엔진(identification engine)(350)과, ID관리엔진(ID managing engine)(360)과, 사용자분류엔진(user decomposing engine)(370)과, 추천엔진(recommendation engine)(380)을 포함한다. 각 엔진(310, 320, 330, 340, 350, 360, 370, 380)의 명칭은 기능별로 편의상 부여된 것으로서 명칭 또는 용어 자체가 본 발명의 사상을 한정하는 것이 아니며, 또한 프로세서(300)는 설계 방식에 따라서 이들 엔진(310, 320, 330, 340, 350, 360, 370, 380) 이외의 구성을 추가적으로 포함할 수 있다.
얼굴인식엔진(310)은 사용자의 얼굴 영상 데이터를 얼굴특징벡터로 변환한다. 음성인식엔진(320)은 사용자의 음성 데이터를 음성특징벡터로 변환한다. 얼굴인식엔진(310) 및 음성인식엔진(320)에 의해 처리되는 사용자 관련 데이터는 사용자 인터페이스(140, 도 2 참조)에 의해 감지 및 수집된다.
행위수집엔진(330)은 어떤 사용자가 디스플레이장치(100)를 사용한 행위 정보를 수집한다. 여기서, 사용자의 행위는 디스플레이장치(100)의 다양한 사용 형태를 포함할 수 있는데, 예를 들면 사용자가 특정 시간에 시청한 영상 프로그램의 방송채널, 장르, 캐스트 등의 시청 정보가 수집 대상이 될 수 있다. 다만, 이러한 예시는 본 실시예를 명확히 설명하기 위해 편의상 선택한 것으로서, 수집 대상인 행위는 다양한 형태가 가능하다.
행위수집엔진(330)이 사용자 및 행위를 상호 연결시키기 위해서는 행위수집엔진(330)이 현재 디스플레이장치(100)를 사용하고 있는 사용자가 특정되어야 하는 바, 현재 사용자의 특정은 ID관리엔진(360)으로부터 행위수집엔진(330)에 통지된다. 이에 관한 내용은 ID관리엔진(360)과 관련한 설명에서 후술한다.
행위DB관리엔진(340)은 행위수집엔진(330)에 의해 수집된 사용자 및 행위 정보를 행위이력 DB로 저장하며, 타 구성들로부터의 요청에 따라서 기 저장된 행위 이력을 전달한다. 행위이력 DB에 관한 설명은 후술한다. 한편, 행위DB관리엔진(340)은 후술하는 사용자의 식별 이벤트 시에 행위수집엔진(330)으로부터 수집된, 식별되지 않은 사용자의 현재 행위 정보를 식별엔진(350)에 전달할 수도 있다.
식별엔진(350)은 얼굴인식엔진(310)으로부터의 얼굴특징벡터 및 음성인식엔진(320)으로부터의 음성특징벡터를 취득하고, 행위DB관리엔진(340)으로부터 전달받은 행위 이력 또는 행위 정보로부터 행위특징벡터를 도출한다. 그리고, 식별엔진(350)은 동일한 사용자로부터 취득한 얼굴특징벡터, 음성특징벡터 및 행위특징벡터의 3가지 특징값으로부터 하나의 최종특징벡터를 도출한다.
최종특징벡터의 도출 방법은 다양한 방식이 적용될 수 있으며, 예를 들면 최종특징벡터는 얼굴특징벡터, 음성특징벡터 및 행위특징벡터의 값들을 일렬로 연결함으로써 도출될 수 있다. 또한, 본 실시예에서는 얼굴특징벡터, 음성특징벡터 및 행위특징벡터의 세 특징값이 모두 고려되지만, 설계 방식에 따라서는 세 특징값 중에서 일부만이 고려될 수도 있다.
식별엔진(350)은 기 저장된 사용자 프로파일(user profile)에 억세스 가능하다. 사용자 프로파일은 이전에 식별 또는 특정되었던 사용자의 특징벡터 값이 저장된 이력 정보이며, 사용자가 등록한 것이 아닌 디스플레이장치(100) 자체적으로 부여한 ID 및 해당 ID에 매칭되는 특징벡터가 저장된다. 여기서, 편의상 사용자가 등록한 ID를 사용자 ID 또는 UID로 지칭하고, 사용자가 등록한 것이 아닌 디스플레이장치(100)가 미등록 사용자의 구별을 위해 자체적으로 부여한 ID를 시스템 ID 또는 SID로 지칭한다.
사용자 프로파일은 SID 및 각 SID에 대응하는 특징벡터가 저장되며, SID는 한 개인의 사용자 뿐만 아니라 복수의 사용자를 포함하는 그룹 단위로도 지정이 가능한 바, 이에 관한 자세한 설명은 후술한다.
식별엔진(350)은 현재 사용자에 대한 식별 요청 이벤트가 발생하면, 현재 사용자에 대하여 도출된 최종특징벡터를 가지고 사용자 프로파일을 검색한다. 식별엔진(350)은 사용자 프로파일 내의 특징벡터 중에서 현재 사용자의 최종특징벡터와 가장 유사도가 높은 SID를 현재 사용자에게 할당함으로써, 현재 사용자를 해당 SID로 특정한다.
ID관리엔진(360)은 UID 관리를 담당하며, 사용자가 어느 UID에 대해 로그인하면 해당 사용자를 해당 UID로 특정한다. ID관리엔진(360)은 어플리케이션으로부터 ID의 요청이 있으면, 사용자의 특정 형태에 따라서 UID 또는 SID를 어플리케이션에게 통지한다.
즉, 디스플레이장치(100) 사용자를 특정하는 방식은 두 가지가 있는데, 하나는 디스플레이장치(100)에 기 등록된 사용자 ID인 UID에 로그인한 상태의 사용자를 특정하는 것과, 다른 하나는 기 등록된 사용자 ID에 로그인하지 않은 상태의 사용자에게 SID를 부여함으로써 특정하는 것이다.
사용자분류엔진(370)은 사용자 프로파일에 SID 및 대응 특징벡터를 저장함에 있어서, SID가 복수의 사용자를 포함하는 한 그룹에 대한 ID일 때, 사용자 프로파일 내에서 그룹 내의 각 사용자가 구분되도록 처리한다. 즉, 사용자분류엔진(370)은 동일한 그룹 SID 내에서 각 사용자 별로 특징벡터의 레코드가 분류되게 한다.
추천엔진(380)은 현재 사용자의 SID가 특정되면, 행위이력 DB로부터 해당 SID에 대응하는 행위 이력을 검색하고, 검색 결과에 기초하여 추천 서비스를 제공한다.
이하, 행위DB관리엔진(340)에 의해 관리되는 행위이력 DB에 관해 설명한다.
도 5는 행위이력 DB(410)에서 ID 별로 매칭된 시청이력의 예시도이다.
본 도면에서의 예시는 행위이력 DB(410)의 다양한 구현 형태 중에서 어느 하나일 뿐이므로, 본 예시가 행위이력 DB(410)의 구현 방식을 한정하는 것은 아니다. 또한, 본 실시예에서는 간결한 설명을 위해 ID 별로 하나의 레코드만을 나타내었지만, 하나의 ID에 대해 둘 이상의 레코드가 매칭될 수 있다. 또한, 본 실시예에서는 시청이력에 관하여 채널, 장르, 캐스팅, 시간의 네 칼럼(column)만을 나타내었지만, 칼럼의 수 및 종류는 본 예시에 의해 한정되지 않으며, 각 칼럼에서의 레코드 내용 또한 본 예시에 의해 한정되지 않음을 밝힌다.
도 5에 도시된 바와 같이, 행위이력 DB(410)는 사용자의 ID와, 각 ID의 사용자가 시간 별로 시청한 영상 프로그램의 채널, 장르, 캐스팅, 시간 등의 정보를 포함한다.
여기서, 정수로 나타난 시간은 시간 인덱스 값이다. 시간 인덱스는 시간을 표시하는 하나의 기 설정된 방법으로서, 기 설정된 주기 단위로 시구간을 수치화하여 표현한 것이다. 예를 들면, 월요일 0시를 시간 인덱스 값 1, 월요일 1시를 시간 인덱스 값 2로 지정하는 방식으로, 1주일 단위로 적용될 수 있다.
행위이력 DB(410)의 ID는 SID와 UID를 모두 저장하는 바, 예를 들면 S1, S2는 SID이며, U1, U2, U3는 UID이다. 본 행위이력 DB(410)의 내용에 따르면, S1이라는 SID의 사용자가 "1"이란 인덱스 값의 시간에, "K1" 채널에서 방송하며 "AAA"가 캐스팅된 드라마를 보았다는 행위 이력이 나타나 있다. SID에 대한 이러한 행위 이력 레코드는 기 설정된 알고리즘에 따라서 행위특징벡터로 변환될 수 있다.
이러한 행위이력 DB(410) 중에서 SID 관련 행위 이력 데이터는 행위특징벡터로 변환됨으로써 식별엔진(350)이 참조하기 위한 사용자 프로파일의 구성에 사용된다.
이하, 식별엔진(350)에 의해 참조되는 사용자 프로파일에 관해 설명한다.
도 6은 일 SID에 대한 사용자 프로파일(420)의 레코드를 나타내는 예시도이다.
본 도면에서는 하나의 SID에 관한 레코드만을 나타내었으나 이는 본 실시예를 간결하고 명확하게 설명하기 위한 것이며, 실제로 사용자 프로파일(420)은 복수의 SID에 관한 레코드를 포함할 수 있다.
도 6에 도시된 바와 같이, 사용자 프로파일(420)은 S1이라는 SID에 대한 특징벡터 값을 포함한다. 여기서, S1은 3명의 사용자를 포함하는 그룹의 SID인 바, 본 실시예에 따르면 복수의 사용자로 구성된 그룹을 하나의 가상의 사용자로 간주하여 ID를 부여한다.
그룹 내 제1사용자의 음성특징벡터 V1과, 제2사용자의 음성특징벡터 V2와, 제3사용자의 음성특징벡터 V3는, 각 사용자가 서로 상이한 개인이므로, 서로 상이한 값을 나타낸다. 동일한 이유로 제1사용자의 얼굴특징벡터 F1과, 제2사용자의 얼굴특징벡터 F2와, 제3사용자의 얼굴특징벡터 F3는, 서로 상이한 값을 나타낸다.
다만, 제1사용자, 제2사용자 및 제3사용자는 동일한 그룹에 속하므로, 동일한 시간에 동일한 영상 프로그램을 본 것으로 기대할 수 있다. 이 경우에, 채널의 특징벡터 C1, C2, C3는 서로 동일하며, 장르의 특징벡터 G1, G3, G3는 서로 동일하며, 캐스팅의 특징벡터 S1, S2, S3는 서로 동일하다. 따라서, 제1사용자, 제2사용자 및 제3사용자 각각의 행위특징벡터는 서로 동일하다.
즉, S1이라는 SID를 가지는 그룹 내에서, 음성특징벡터 및 얼굴특징벡터는 사용자 별로 고유한 값을 나타내며, 행위특징벡터는 사용자마다 동일한 값을 나타낸다.
제1사용자에 대한 최종특징벡터 T1은, V1, F1, C1, G1, S1의 모든 특징벡터 값에 기초하여 도출된다. T1의 도출 방법은 다양한 알고리즘이 적용될 수 있으며, 예를 들면 V1, F1, C1, G1, S1의 특징벡터 값들을 일렬로 연결함으로써 T1이 생성될 수 있다.
이와 같은 형태로 기 저장된 사용자 프로파일(420)에 대하여, 식별엔진(350)은 현재 사용자의 식별 요청이 발생하면, 식별 대상 사용자의 최종특징벡터를 사용자 프로파일(420) 내에 등록되어 있는 값들과 비교한다. 그리고, 식별엔진(350)은 비교 결과 가장 유사도가 높은 사용자 프로파일(420)의 SID를 식별 대상 사용자의 SID로 특정한다.
이하, 프로세서(300)의 각 구성들 사이에서 이루어지는 데이터의 전송 과정에 관해 도 7을 참조하여 설명한다.
도 7은 프로세서(300) 내에서 수행되는 데이터의 전송 형태를 나타내는 예시도이다. 본 실시예에서 표현된 구조는 기본적으로 도 4의 구성을 따른다.
도 7에 도시된 바와 같이, 프로세서(300)는 얼굴인식엔진(310), 음성인식엔진(320), 행위수집엔진(330), 행위DB관리엔진(340), 식별엔진(350), ID관리엔진(360), 사용자분류엔진(370), 추천엔진(380)을 포함하며, 이들 구성은 앞선 실시예에서 설명한 바와 같다.
식별엔진(350)은 이전 시점에 식별 또는 특정되었던 사용자의 SID 및 특징벡터 값의 이력이 저장된 사용자 프로파일(460)에 억세스 가능하게 마련된다. 행위DB관리엔진(340)은 행위이력 DB(470)에 억세스 가능하게 마련된다. ID관리엔진(360)은 사용자의 등록 ID인 UID가 저장된 UID DB(480)에 억세스 가능하게 마련된다.
이하, 현재 사용자의 식별 요청 이벤트가 발생하였을 때에, 각 구성들의 동작 및 데이터의 전달 과정에 관해 설명한다. 여기서, 상기한 이벤트의 발생은 사용자에 의한 것일 수 있으며, 디스플레이장치(100)에서 주기적으로 자동 실행되는 것일 수도 있다.
얼굴인식엔진(310)은 현재 사용자의 얼굴인식을 통하여 얼굴특징벡터를 생성하고, 이 얼굴특징벡터를 식별엔진(350)에게 전달한다(S1). 음성인식엔진(320)은 현재 사용자의 음성인식을 통하여 음성특징벡터를 생성하고, 이 음성특징벡터를 식별엔진(350)에게 전달한다(S2). 행위DB관리엔진(340)은 현재 사용자의 행위에 의한 행위특징벡터를 생성하여 식별엔진(350)에게 전달한다(S3).
식별엔진(350)은 얼굴특징벡터, 음성특징벡터 및 행위특징벡터로부터 최종특징벡터를 도출한다. 식별엔진(350)은 도출한 최종특징벡터를 사용자 프로파일(460) 내의 특징벡터 값들과 비교함으로써 특정 수치 이상의 유사도를 가진 SID 중에서 가장 유사도가 높은 SID를 선택하고, 최종특징벡터의 값을 사용자 프로파일(460)의 선택된 SID의 레코드에 업데이트한다(S4). 만일 최종특징벡터와 유사한 SID가 사용자 프로파일(460)에 없다면, 식별엔진(350)은 해당 최종특징벡터에 대응하는 신규 SID를 생성하여 사용자 프로파일(460)을 업데이트한다.
식별엔진(350)은 선택한 SID를 현재 사용자의 ID로서 ID관리엔진(360)에 전달한다(S5).
식별엔진(350)은 감지된 현재 사용자의 수가 복수라면, 각 사용자 별로 최종특징벡터를 각각 구성한다. 예를 들어 현재 사용자가 3명이라고 할 때, 식별엔진(350)은 사용자 프로파일(460)의 SID 중에서 사용자가 3명인 그룹의 SID 및 특징벡터 값을 호출하고, 호출된 각 SID 별 3개의 특징벡터들 및 현재 사용자 3명의 최종특징벡터들 사이의 그룹간 유사도를 산출한다.
이러한 유사도의 산출 방법은 다양한 알고리즘이 적용될 수 있다. 예를 들면 클러스터링(clustering) 방법에 따라서 그룹간 유사도를 산출할 수 있는데, 이 방법은 간단히 설명하면 다음과 같다.
기 설정된 2차원 평면 상에서 현재 사용자의 각 최종특징벡터를 포인트로 나타내고, 사용자 프로파일(460)의 SID의 특징벡터들을 동일 평면 상에 포인트로 나타낸다. 이 경우에, 현재 사용자의 최종특징벡터의 일 포인트 및 사용자 프로파일(460)의 SID의 특징벡터의 일 포인트 사이의 좌표가 기 설정되 거리 범위 내로 가깝다면, 클러스터링 결과의 품질이 기 설정된 문턱값 이상이라고 판단될 수 있다. 이와 같이, 클러스터링 결과의 품질이 좋다면, 비교 대상인 두 특징벡터 값이 동일한 사용자에 의한 것으로 기대할 수 있다.
식별엔진(350)은 이러한 프로세서를 호출된 모든 SID에 대해 처리함으로써, 가장 클러스터링 품질이 높은 SID를 복수의 사용자를 포함하는 그룹에 대한 ID로 부여한다.
한편, ID관리엔진(360)은 사용자의 기 등록된 ID에 대한 로그인이 수행된 경우에 UID DB(480)로부터 로그인에 대응하는 UID를 취득한다(S6). 만일 현재 활성화된 UID가 없다면, ID관리엔진(360)은 식별엔진(350)에 ID를 요청함으로써 식별엔진(350)으로부터 특정된 SID를 취득한다(S5).
ID관리엔진(360)은 이와 같이 취득한 SID 또는 UID를, ID를 필요로 하는 기타 어플리케이션의 요청이 발생하면, 해당 어플리케이션에게 제공한다(S7). 또한, ID관리엔진(360)은 취득한 SID 또는 UID를 행위수집엔진(330)에 제공함으로써(S8), 행위수집엔진(330)이 제공받은 SID 또는 UID를 기준으로 사용자의 행위 정보를 수집할 수 있도록 한다.
행위수집엔진(330)은 수집된 사용자의 행위 이력을 행위DB관리엔진(340)에게 전달하며(S9), 행위DB관리엔진(340)은 전달받은 행위 이력을 행위이력 DB(470)에 업데이트한다. 식별엔진(350)은 행위이력 DB(470)에서 업데이트된 SID의 행위 이력 정보를 취득하여 사용자 프로파일(460)의 해당 SID의 레코드를 업데이트하며, 여기서 사용자분류엔진(370)은 그룹 ID인 SID의 특징벡터로부터 사용자 별 특징벡터를 생성하여 그룹 내 사용자 별로 특징벡터를 업데이트한다(S11).
한편, 어플리케이션(510)은 취득한 SID 또는 UID에 기초하여 다양한 개인화 서비스를 제공할 수 있는 바, 예를 들면 어플리케이션(510)에 종속된 리커맨더(recommender)(520)에 SID를 제공함으로써 리커맨더(520)가 SID에 맞는 추천 컨텐츠를 사용자에게 제공할 수 있도록 한다(S12). 예를 들면, 리커맨더(520)는 컨텐츠가 목록화된 컨텐츠 인덱스(290)에 억세스하여, 컨텐츠 인덱스(290)에 기록된 컨텐츠를 검색 및 제공할 수 있다(S13).
또는, 추천엔진(380)이 행위이력 DB(470) 및 컨텐츠 인덱스(290)에 억세스함으로써, SID에 맞는 컨텐츠를 사용자에게 제공할 수도 있다(S14, S15).
이상 실시예의 내용을 정리하면, 본 실시예에 따른 디스플레이장치(100)는 사용자에 관한 생체특징정보 및 해당 사용자에 의한 디스플레이장치(100)의 사용 이력에 관한 행위특징정보의 레코드를 포함하는 데이터베이스를 기 저장한다. 디스플레이장치(100)는 기 저장된 등록 ID에 대한 사용자의 인증이 수행되면, 해당 등록 ID에 대응하는 서비스를 사용자에게 제공할 수 있다.
반면, 등록 ID에 대한 인증이 수행되지 않은 상태에서 현재 사용자에 대한 식별 이벤트가 발생하면, 디스플레이장치(100)는 현재 사용자에 대한 생체특징정보 및 행위특징정보 중 적어도 어느 하나를 취득하고, 기 저장된 데이터베이스의 레코드 중에서, 이 취득한 생체특징정보 및 행위특징정보 중 적어도 어느 하나와 기 설정 문턱값의 유사도를 나타내는 레코드에 기초하여 현재 사용자를 식별한다.
이로써, 디스플레이장치(100)는 사용자가 등록 ID에 대한 인증 절차를 수행하지 않은 상태에서, 사용자로 하여금 별도의 행동을 수행하도록 강요하지 않으면서도 사용자를 식별하여 개인화 서비스를 제공할 수 있다.
이하, 추천엔진(380)이 특정된 SID에 기초하여 추천 서비스를 제공하는 과정에 관해 도 8을 참조하여 설명한다.
도 8은 추천엔진이 추천 서비스를 제공하는 방법을 나타내는 플로우차트이다.
S100 단계에서, 추천엔진(380)은 현재 사용자의 SID를 취득한다. S110 단계에서, 추천엔진(380)은 현재 시간을 확인한다.
S120 단계에서, 추천엔진(380)은 행위이력 DB(470)로부터 취득한 SID 및 현재 시간에 맞는 컨텐츠의 정보를 취득한다. 도 5를 참조하면, 만일 SID가 S2이고 현재 시간의 인덱스 값이 2라고 한다면, 추천엔진(380)은 행위이력 DB(470)로부터 S2의 SID의 레코드 중에서 현재 시간의 인덱스 값이 2인 경우의 레코드를 검색하며, 검색한 레코드의 채널, 장르, 캐스팅 등의 정보를 취득한다.
S130 단계에서, 추천엔진(380)은 레코드로부터 취득한 정보에 기초하여 추천 컨텐츠를 검색한다. 예를 들면, 추천엔진(380)은 행위이력 DB(470)의 레코드로부터 취득한 정보가 K2 채널, 영화 장르, "BBB"의 캐스팅이라는 내용인 경우, 각 내용에 관련된 컨텐츠를 컨텐츠 인덱스(290)에서 검색한다.
S140 단계에서, 추천엔진(380)은 검색 결과를 사용자에게 제공한다. 검색 결과를 제공하는 방식, UI 형태 등은 다양한 방법이 적용될 수 있는 바, 자세한 설명을 생략한다. 예를 들면, 추천엔진(380)은 검색 결과를 안내하는 안내 영상을 표시할 수 있다.
상기한 방법에서는 추천엔진(380)이 취득한 SID 이외에, 현재 시간을 고려하여 컨텐츠 정보를 취득하는 경우에 관해 설명하였다. 그러나 본 발명의 사상이 이에 한정되지 않는 바, 실시예의 구현 형태는 다양하게 변경 적용될 수 있다.
예를 들면, 추천엔진(380)은 행위이력 DB(470)의 SID 이하 레코드들 중에서, 시간 인덱스의 수치가 동일하지 않더라도 동일한 날짜라고 판단되는 레코드의 정보를 선택하거나, 또는 동일한 날짜가 아닌 하루 이전이나 이틀 이전의 레코드의 정보를 선택할 수도 있다. 또는, SID 이하 레코드의 수가 기 설정된 문턱값보다 작다고 판단되면, 추천엔진(380)은 현재 시간을 고려하지 않고 SID 이하 모든 레코드의 정보를 선택할 수도 있다. 또는, 추천엔진(380)은 선택한 레코드의 정보 중에서, 채널을 고려하지 않고 장르 및 캐스팅을 고려하는 것과 같이, 일부의 정보만을 선택할 수도 있다. 또는, 추천엔진(380)은 장르의 정보를 선택함에 있어서, 다큐멘터리 및 뉴스를 선택하고 드라마 및 영화를 선택하지 않는 것과 같이, 특정 정보값을 선별하여 선택할 수도 있다.
이하, 본 실시예에 따른 디스플레이장치(100)의 제어방법에 관해 도 9를 참조하여 설명한다.
도 9 및 도 10은 디스플레이장치(100)의 제어방법을 나타내는 플로우차트이다.
도 9에 도시된 바와 같이, 디스플레이장치(100)는 S200 단계에서 사용자에 관한 사용자의 생체특징정보와, 동일 사용자의 디스플레이장치(100)의 현재 사용 상태에 관한 행위특징정보를 취득한다. 생체특징정보는 사용자의 얼굴특징벡터 및 음성특징벡터 중 적어도 어느 하나를 포함하며, 행위특징정보는 컨텐츠 시청 이력과 같은 디스플레이장치(100)의 사용 이력에 관한 행위특징벡터를 포함한다.
디스플레이장치(100)는 S210 단계에서 사용자의 생체특징정보 및 행위특징정보의 데이터베이스를 저장한다.
S220 단계에서 현재 사용자에 대한 식별 이벤트가 발생하면, 디스플레이장치(100)는 S230 단계에서 디스플레이장치(100)에 기 등록된 등록 ID에 대한 인증이 수행되었는지 판단한다.
등록 ID에 대한 인증이 수행되었다면, 디스플레이장치(100)는 S240 단계에서 인증된 등록 ID로 사용자를 식별하고 본 프로세스를 종료한다.
반면, 등록 ID에 대한 인증이 수행되지 않았다면, 디스플레이장치(100)는 S250 단계에서 현재 사용자에 대한 생체특징정보 및 행위특징정보를 취득한다. 여기서, 디스플레이장치(100)는 현재 사용자에 대한 생체특징정보 및 행위특징정보를 모두 취득하거나, 생체특징정보 및 행위특징정보 중 어느 하나만을 취득할 수도 있다.
도 10에 도시된 바와 같이, 디스플레이장치(100)는 S260 단계에서 현재 사용자의 특징정보와 유사한 레코드를, 앞선 S210 단계에서 저장된 데이터베이스의 레코드 중에서 검색한다.
S270 단계에서 유사한 레코드가 검색되었다면, 디스플레이장치(100)는 S280 단계에서 해당 레코드에 기초하여 현재 사용자를 식별한다. 각 레코드는 디스플레이장치(100)가 부여한 SID를 가지는 바, 이 SID가 현재 사용자의 식별에 사용된다. 그리고, 디스플레이장치(100)는 S290 단계에서 현재 사용자의 특징정보를 데이터베이스에 업데이트하고 본 프로세스를 종료한다.
반면, S270 단계에서 유사한 레코드가 검색되지 않았다면, 디스플레이장치(100)는 S300 단계에서 현재 사용자를 신규 사용자로 판단하고, 현재 사용자의 특징정보를 데이터베이스에 신규로 등록한다.
한편, 도 9의 S200 단계에서 디스플레이장치(100)가 사용자의 생체특징정보를 취득할 때에, 사용자 입력 인터페이스(140)의 상태에 따라서 특정 방식의 생체특징정보를 인지하지 못하는 경우도 있다. 예를 들면, 디스플레이장치(100)는 카메라(미도시)가 정상적으로 동작하지 못하는 경우에는 사용자의 얼굴 또는 모습에 관한 데이터를 정상적으로 취득할 수 없을 것이며, 마이크로폰(141)이 정상적으로 동작하지 못하는 경우에는 사용자의 음성에 관한 데이터를 정상적으로 취득할 수 없을 것이다.
만일 특정 방식의 생체특징정보를 취득하기 곤란한 상태에서 디스플레이장치(100)가 현 상태에 관한 어떠한 정보도 사용자에게 제공하지 않는다면, 사용자는 디스플레이장치(100)가 정상적으로 동작하지 못하는 경우에 어떠한 이유로 해당 상황이 발생하였는지 인지할 수 없다.
이에, 디스플레이장치(100)는 사용자 입력 인터페이스(140)의 복수의 입력방식 중에서 제1입력방식을 통한 생체특징정보의 취득이 비정상적이라고 판단하면, 사용자 입력 인터페이스(140)의 복수의 입력방식 중에서 제2입력방식을 통한 생체특징정보가 취득되도록 제2입력방식에 의한 입력을 안내하는 유아이 영상을 표시한다.
도 11에 도시된 바와 같이, 예를 들어 카메라(미도시)가 정상적으로 동작하지 않는 경우에 디스플레이장치(100)는 사용자의 얼굴을 촬영할 수 없다. 이에, 디스플레이장치(100)는 사용자의 얼굴 데이터 대신에 사용자의 음성 데이터를 취득하도록, 현재 디스플레이장치(100)의 상태 및 사용자의 동작을 안내하는 유아이 영상(610)을 표시한다. 본 유아이 영상(610)은 디스플레이장치(100)가 사용자의 얼굴 데이터를 취득할 수 없는 상태임을 알리고, 유효한 생체특징정보를 취득하기 위해 사용자의 발성을 요청하는 메시지를 포함한다.
이에, 사용자는 유아이 영상(610)의 안내에 따라서 발성하며, 디스플레이장치(100)는 사용자의 발성에 따라서 생체특징정보를 취득할 수 있다.
상기한 실시예는 예시적인 것에 불과한 것으로, 당해 기술 분야의 통상의 지식을 가진 자라면 다양한 변형 및 균등한 타 실시예가 가능하다. 따라서, 본 발명의 진정한 기술적 보호범위는 하기의 특허청구범위에 기재된 발명의 기술적 사상에 의해 정해져야 할 것이다.
100 : 영상처리장치, 디스플레이장치
110 : 통신 인터페이스
120 : 프로세서
130 : 디스플레이
140 : 사용자 인터페이스
141 : 대화형 입력 인터페이스
142 : 비대화형 입력 인터페이스
150 : 스토리지
160 : 컨트롤러

Claims (22)

  1. 영상처리장치에 있어서,
    적어도 하나의 사용자에 관한 적어도 하나의 인식정보 및 적어도 하나의 생체특징정보가 저장된 저장부;
    사용자 인터페이스;
    디스플레이; 및
    상기 저장된 적어도 하나의 인식정보에 대응되는 사용자 인식정보가 입력되면, 복수의 컨텐츠 중 상기 적어도 하나의 인식정보에 대응하는 컨텐츠를 표시하도록 상기 디스플레이를 제어하고,
    상기 사용자 인식정보가 입력되지 않으면, 상기 저장된 적어도 하나의 생체특징정보 및 상기 사용자 인터페이스를 통해 획득된 상기 사용자에 대한 생체특징정보에 기초하여 상기 저장된 적어도 하나의 인식정보 중 어느 하나의 인식정보를 식별하고, 상기 복수의 컨텐츠 중 상기 식별된 어느 하나의 인식정보에 대응하는 컨텐츠를 표시하도록 상기 디스플레이를 제어하는 제어부
    를 포함하는 것을 특징으로 하는 영상처리장치.
  2. 제1항에 있어서,
    상기 저장부는, 상기 적어도 하나의 사용자에 의한 상기 영상처리장치의 사용 이력에 관한 적어도 하나의 행위특징정보를 더 저장하고,
    상기 제어부는, 상기 사용자 인식정보가 입력되지 않으면, 상기 저장된 적어도 하나의 행위특징정보 및 상기 사용자 인터페이스를 통해 획득된 상기 사용자에 대한 행위특징정보에 기초하여 상기 저장된 적어도 하나의 인식정보 중 상기 어느 하나의 인식정보를 식별하는 것을 특징으로 하는 영상처리장치.
  3. 제1항에 있어서,
    상기 제어부는, 상기 저장된 적어도 하나의 생체특징정보 및 상기 획득된 생체특징정보 간의 유사도에 기초하여 식별된 상기 어느 하나의 인식정보를 상기 사용자에게 할당하는 것을 특징으로 하는 영상처리장치.
  4. 제1항에 있어서,
    상기 제어부는, 상기 어느 하나의 인식정보가 식별되면, 상기 획득된 생체특징정보에 기초하여 상기 어느 하나의 인식정보에 대응하는 생체특징정보를 업데이트하는 것을 특징으로 하는 영상처리장치.
  5. 제1항에 있어서,
    상기 사용자는 복수의 사용자를 포함하며,
    상기 제어부는, 상기 적어도 하나의 사용자를 포함하는 그룹 중 상기 복수의 사용자의 수와 동일한 수의 사용자를 포함하는 상기 그룹을 식별하는 것을 특징으로 하는 영상처리장치.
  6. 제5항에 있어서,
    상기 제어부는, 상기 사용자 인터페이스를 통해 획득된 상기 복수의 사용자에 대한 생체특징정보 및 상기 그룹에 포함된 사용자의 생체특징정보 간의 유사도를 판단하는 것을 특징으로 하는 영상처리장치.
  7. 제1항에 있어서,
    상기 제어부는, 상기 생체특징정보가 획득된 시간을 식별하고, 상기 복수의 컨텐츠 중 상기 식별된 시간에 표시된 이력이 있는 상기 컨텐츠를 선택하는 것을 특징으로 하는 영상처리장치.
  8. 제7항에 있어서,
    상기 제어부는, 상기 컨텐츠의 선택을 알리는 영상이 표시되도록 제어하는 것을 특징으로 하는 영상처리장치.
  9. 제1항에 있어서,
    상기 획득된 생체특징정보는 상기 사용자의 음성에 대한 음성특징벡터 및 상기 사용자의 얼굴 형상에 대한 얼굴특징벡터 중 적어도 어느 하나를 포함하는 것을 특징으로 하는 영상처리장치.
  10. 제1항에 있어서,
    상기 제어부는, 상기 사용자 인터페이스의 복수의 획득방식 중에서 제1획득방식을 통해 상기 사용자의 생체특징정보를 획득할 수 없으면, 제2획득방식을 통해 상기 사용자의 생체특징정보가 획득됨을 알리는 영상이 표시되도록 제어하는 것을 특징으로 하는 영상처리장치.
  11. 영상처리장치의 제어방법에 있어서,
    적어도 하나의 사용자에 관한 적어도 하나의 인식정보 및 적어도 하나의 생체특징정보를 저장하는 단계;
    상기 저장된 적어도 하나의 인식정보에 대응되는 사용자 인식정보가 입력되면, 복수의 컨텐츠 중 상기 사용자 인식정보에 대응하는 컨텐츠를 표시하는 단계;
    상기 사용자 인식정보가 입력되지 않으면, 상기 저장된 적어도 하나의 생체특징정보 및 상기 사용자에 대하여 획득된 생체특징정보에 기초하여 상기 저장된 적어도 하나의 인식정보 중 어느 하나의 인식정보를 식별하는 단계; 및
    상기 복수의 컨텐츠 중 상기 식별된 어느 하나의 인식정보에 대응하는 컨텐츠를 표시하는 단계를 포함하는 것을 특징으로 하는 영상처리장치의 제어방법.
  12. 제11항에 있어서,
    상기 저장하는 단계는, 상기 적어도 하나의 사용자에 의한 상기 영상처리장치의 사용 이력에 관한 적어도 하나의 행위특징정보를 저장하는 단계를 더 포함하고,
    상기 어느 하나의 인식정보를 식별하는 단계는, 상기 사용자 인식정보가 입력되지 않으면, 상기 저장된 적어도 하나의 행위특징정보 및 상기 사용자에 대하여 획득된 행위특징정보에 기초하여 상기 저장된 적어도 하나의 인식정보 중 상기 어느 하나의 인식정보를 식별하는 단계를 포함하는 것을 특징으로 하는 영상처리장치의 제어방법.
  13. 제11항에 있어서,
    상기 어느 하나의 인식정보를 식별하는 단계는, 상기 저장된 적어도 하나의 생체특징정보 및 상기 획득된 생체특징정보 간의 유사도에 기초하여 식별된 상기 어느 하나의 인식정보를 상기 사용자에게 할당하는 단계를 포함하는 것을 특징으로 하는 영상처리장치의 제어방법.
  14. 제11항에 있어서,
    상기 어느 하나의 인식정보를 식별하는 단계는, 상기 어느 하나의 인식정보가 식별되면, 상기 획득된 생체특징정보에 기초하여 상기 어느 하나의 인식정보에 대응하는 생체특징정보를 업데이트하는 단계를 포함하는 것을 특징으로 하는 영상처리장치의 제어방법.
  15. 제11항에 있어서,
    상기 사용자는 복수의 사용자를 포함하며,
    상기 어느 하나의 인식정보를 식별하는 단계는, 상기 적어도 하나의 사용자를 포함하는 그룹 중 상기 복수의 사용자의 수와 동일한 수의 사용자를 포함하는 상기 그룹을 식별하는 단계를 더 포함하는 것을 특징으로 하는 영상처리장치의 제어방법.
  16. 제15항에 있어서,
    상기 복수의 사용자에 대하여 획득된 생체특징정보 및 상기 그룹에 포함된 사용자의 생체특징정보 간의 유사도를 판단하는 단계를 더 포함하는 것을 특징으로 하는 영상처리장치의 제어방법.
  17. 제11항에 있어서,
    상기 어느 하나의 인식정보를 식별하는 단계는:
    상기 생체특징정보가 획득된 시간을 식별하는 단계; 및
    상기 복수의 컨텐츠 중 상기 식별된 시간에 표시된 이력이 있는 상기 컨텐츠를 선택하는 단계를 포함하는 것을 특징으로 하는 영상처리장치의 제어방법.
  18. 제17항에 있어서,
    상기 식별된 어느 하나의 인식정보에 대응하는 컨텐츠를 표시하는 단계는, 상기 컨텐츠의 선택을 알리는 영상을 표시하는 단계를 포함하는 것을 특징으로 하는 영상처리장치의 제어방법.
  19. 제11항에 있어서,
    상기 획득된 생체특징정보는 상기 사용자의 음성에 대한 음성특징벡터 및 상기 사용자의 얼굴 형상에 대한 얼굴특징벡터 중 적어도 어느 하나를 포함하는 것을 특징으로 하는 영상처리장치의 제어방법.
  20. 제11항에 있어서,
    상기 어느 하나의 인식정보를 식별하는 단계는, 사용자 인터페이스의 복수의 획득방식 중에서 제1획득방식을 통해 상기 사용자의 생체특징정보를 획득할 수 없으면, 제2획득방식을 통해 상기 사용자의 생체특징정보가 획득됨을 알리는 영상이 표시되도록 제어하는 단계를 포함하는 것을 특징으로 하는 영상처리장치의 제어방법.
  21. 삭제
  22. 삭제
KR1020130161166A 2013-12-23 2013-12-23 영상처리장치 및 그 제어방법 KR102160908B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020130161166A KR102160908B1 (ko) 2013-12-23 2013-12-23 영상처리장치 및 그 제어방법
PCT/KR2014/011724 WO2015099309A1 (en) 2013-12-23 2014-12-02 Processing apparatus and control method thereof
EP14874302.4A EP3053348B1 (en) 2013-12-23 2014-12-02 Processing apparatus and control method thereof
US14/573,681 US10528835B2 (en) 2013-12-23 2014-12-17 Image processing apparatus and control method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130161166A KR102160908B1 (ko) 2013-12-23 2013-12-23 영상처리장치 및 그 제어방법

Publications (2)

Publication Number Publication Date
KR20150073456A KR20150073456A (ko) 2015-07-01
KR102160908B1 true KR102160908B1 (ko) 2020-09-29

Family

ID=53400376

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130161166A KR102160908B1 (ko) 2013-12-23 2013-12-23 영상처리장치 및 그 제어방법

Country Status (4)

Country Link
US (1) US10528835B2 (ko)
EP (1) EP3053348B1 (ko)
KR (1) KR102160908B1 (ko)
WO (1) WO2015099309A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022196842A1 (ko) * 2021-03-17 2022-09-22 주식회사 여심서울 사용자 생체 정보를 인식하여 동영상 콘텐츠를 제공하는 방법 및 시스템

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9818126B1 (en) * 2016-04-20 2017-11-14 Deep Labs Inc. Systems and methods for sensor data analysis through machine learning
US9619965B1 (en) * 2016-05-20 2017-04-11 Otho Dale Hill Biometric gameplay verification
CN106094780A (zh) * 2016-08-31 2016-11-09 张喆 智能家居管理系统
CN106412699A (zh) * 2016-10-09 2017-02-15 腾讯科技（北京）有限公司 媒体文件推送方法及装置
WO2018176469A1 (zh) * 2017-04-01 2018-10-04 深圳市智晟达科技有限公司 根据指纹推荐影片的方法以及数字电视
CN107480625A (zh) * 2017-08-09 2017-12-15 广州云从信息科技有限公司 一种基于人脸识别的身份鉴别方法
CN107678287A (zh) * 2017-09-18 2018-02-09 广东美的制冷设备有限公司 设备控制方法、装置及计算机可读存储介质
CN109614881B (zh) * 2018-11-19 2021-04-27 中国地质大学（武汉） 可自适应调节阈值的生物识别认证方法、设备及存储设备

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011111155A1 (ja) * 2010-03-08 2011-09-15 富士通株式会社 生体認証装置、生体認証プログラム及び方法

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6928547B2 (en) * 1998-07-06 2005-08-09 Saflink Corporation System and method for authenticating users in a computer network
US20040015243A1 (en) 2001-09-28 2004-01-22 Dwyane Mercredi Biometric authentication
DE10163814A1 (de) 2001-12-22 2003-07-03 Philips Intellectual Property Verfahren und Einrichtung zur Nutzeridentifizierung
US20040003392A1 (en) * 2002-06-26 2004-01-01 Koninklijke Philips Electronics N.V. Method and apparatus for finding and updating user group preferences in an entertainment system
KR100609612B1 (ko) * 2004-06-18 2006-08-08 주식회사 아이레보 Ｉｄ를 이용한 생체 인식 도어락 및 그 제어 방법
US8370639B2 (en) * 2005-06-16 2013-02-05 Sensible Vision, Inc. System and method for providing secure access to an electronic device using continuous facial biometrics
US20080092170A1 (en) * 2006-09-29 2008-04-17 United Video Properties, Inc. Systems and methods for modifying an interactive media guidance application interface based on time of day
US8694792B2 (en) * 2007-02-16 2014-04-08 Honeywell International Inc. Biometric based repeat visitor recognition system and method
US9986293B2 (en) * 2007-11-21 2018-05-29 Qualcomm Incorporated Device access control
WO2009096475A1 (ja) * 2008-01-29 2009-08-06 Kabushiki Kaisha Dds ハイブリッド生体認証装置、ハイブリッド生体認証方法、ハイブリッド生体認証用コンピュータプログラムを記憶したコンピュータ読み取り可能な記憶媒体
JP2010020712A (ja) * 2008-07-14 2010-01-28 Canon Inc 情報処理装置、情報処理装置の制御方法、記憶媒体及びプログラム
JP2010146502A (ja) * 2008-12-22 2010-07-01 Toshiba Corp 認証処理装置および認証処理方法
US20120240165A1 (en) * 2010-03-06 2012-09-20 Yang Pan Delivering Personalized Media Items to a User of Interactive Television by Using Scrolling Tickers in a Hierarchical Manner
US8949871B2 (en) 2010-09-08 2015-02-03 Opentv, Inc. Smart media selection based on viewer user presence
US8640021B2 (en) * 2010-11-12 2014-01-28 Microsoft Corporation Audience-based presentation and customization of content
WO2012090333A1 (ja) * 2010-12-28 2012-07-05 富士通株式会社 プログラム、情報処理装置および方法
US20120331566A1 (en) * 2011-06-23 2012-12-27 International Business Machines Corporation Capturing and manipulating content using biometric data
KR101884291B1 (ko) * 2011-12-07 2018-08-03 삼성전자 주식회사 디스플레이장치 및 그 제어방법
JP2013164835A (ja) * 2012-01-13 2013-08-22 Ricoh Co Ltd 認証システム、認証方法、機器、及びプログラム
US9066125B2 (en) * 2012-02-10 2015-06-23 Advanced Biometric Controls, Llc Secure display
US9832178B2 (en) * 2012-12-20 2017-11-28 Cable Television Laboratories, Inc. Administration of web page

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011111155A1 (ja) * 2010-03-08 2011-09-15 富士通株式会社 生体認証装置、生体認証プログラム及び方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022196842A1 (ko) * 2021-03-17 2022-09-22 주식회사 여심서울 사용자 생체 정보를 인식하여 동영상 콘텐츠를 제공하는 방법 및 시스템

Also Published As

Publication number Publication date
US10528835B2 (en) 2020-01-07
EP3053348A1 (en) 2016-08-10
WO2015099309A1 (en) 2015-07-02
EP3053348A4 (en) 2017-04-26
EP3053348B1 (en) 2020-06-10
KR20150073456A (ko) 2015-07-01
US20150178579A1 (en) 2015-06-25

Similar Documents

Publication Publication Date Title
KR102160908B1 (ko) 영상처리장치 및 그 제어방법
US20220012275A1 (en) Method and system for voice based media search
JP7281449B2 (ja) 個人向けのガイドや、コンテンツ及びサービスや、ターゲットを絞った広告を、意図的なユーザ登録なしで提供するためのユーザ認識方法および装置
US11218767B2 (en) Systems and methods for controlling access to media assets using two-factor authentication
US9380342B2 (en) Systems and methods for control of media access based on crowd-sourced access control data and user-attributes
US20150249852A1 (en) Systems and methods for crowd-sourced media access control
US11134289B2 (en) Method and apparatus for providing media file
KR101884291B1 (ko) 디스플레이장치 및 그 제어방법
US10405034B1 (en) Biometric access to personalized services
KR20100137778A (ko) Ｉｐｔⅴ용 ｉｐ 셋탑 박스 및 이를 이용한 ｅｐｇ 화면 표시 방법
CN111131863A (zh) 令牌发放方法、装置及系统
US20150172770A1 (en) Display apparatus and control method thereof
KR20060111550A (ko) 내재적 추천기들을 위한 협력적 샘플링
KR20150062647A (ko) 영상처리장치 및 그 제어방법
US10349117B2 (en) Media removal after consumption
KR102180475B1 (ko) 얼굴인식에 기초하여 서비스를 제공하는 방법 및 그에 따른 전자 기기
KR20150084276A (ko) 인터넷 프로토콜 텔레비전(iptv)을 제어하는 방법 및 디지털 방송 수신기

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant