KR20210153826A - 디스플레이장치 및 그 제어방법 - Google Patents

디스플레이장치 및 그 제어방법 Download PDF

Info

Publication number
KR20210153826A
KR20210153826A KR1020200070640A KR20200070640A KR20210153826A KR 20210153826 A KR20210153826 A KR 20210153826A KR 1020200070640 A KR1020200070640 A KR 1020200070640A KR 20200070640 A KR20200070640 A KR 20200070640A KR 20210153826 A KR20210153826 A KR 20210153826A
Authority
KR
South Korea
Prior art keywords
user
identified
display
image
display device
Prior art date
Application number
KR1020200070640A
Other languages
English (en)
Inventor
박기훈
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020200070640A priority Critical patent/KR20210153826A/ko
Priority to US17/339,492 priority patent/US11586279B2/en
Priority to PCT/KR2021/007171 priority patent/WO2021251733A1/ko
Publication of KR20210153826A publication Critical patent/KR20210153826A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9535—Search customisation based on user profiles and personalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06K9/00335—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/4508—Management of client data or end-user data
    • H04N21/4532—Management of client data or end-user data involving end-user characteristics, e.g. viewer profile, preferences

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Psychiatry (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

디스플레이장치는, 디스플레이와, 카메라에 의해 촬상된 이미지로부터 사용자를 식별하고, 이미지에서 식별된 사용자의 이격 거리 및 사용자의 얼굴의 회전도를 식별하고, 식별된 이격 거리 및 회전도에 기초하여 사용자에 대응하는 컨텐트 영상을 디스플레이에 표시하는 프로세서를 포함한다.

Description

디스플레이장치 및 그 제어방법 {DISPLAY APPARATUS AND CONTROL METHOD THEREOF}
본 발명은 시청하는 사용자를 식별하여 해당 사용자의 성향에 맞도록 사전 설정된 컨텐트의 영상을 표시하는 디스플레이장치 및 그 제어방법에 관한 것으로서, 상세하게는 디스플레이장치가 불특정한 다수의 사용자가 이용할 수 있는 환경에 설치된 경우에, 식별되는 여러 사용자들 중에서 디스플레이장치에 관심이 있는 사용자를 선별하는 디스플레이장치 및 그 제어방법에 관한 것이다.
소정의 정보를 특정 프로세스에 따라서 연산 및 처리하기 위해, 연산을 위한 CPU, 칩셋, 메모리 등의 전자부품들을 기본적으로 포함하는 전자장치는, 처리 대상이 되는 정보 또는 사용 용도가 무엇인지에 따라서 다양한 종류로 구분될 수 있다. 예를 들면, 전자장치에는 범용의 정보를 처리하는 PC나 서버 등의 정보처리장치, 영상데이터를 처리하는 영상처리장치, 오디오를 처리하는 오디오장치, 가정 내 잡무를 수행하는 생활가전 등이 있다. 영상처리장치는 처리된 영상데이터를 자체 구비한 디스플레이 패널(display panel) 상에 영상으로 표시하는 디스플레이장치로 구현될 수 있다.
디스플레이장치는 단순히 영상을 표시하는 것을 넘어서서, 영상을 시청할 사용자가 있는 설치 환경에 따라서 요구되는 설계 방식이 다를 수 있다. 통상적인 예를 들면, 휴대용 멀티미디어 플레이어는 단일 사용자를 대상으로 하고, TV는 단일 사용자 또는 가족 단위의 소수 사용자들을 대상으로 하고, 디지털 사이니지(Digital Signage)는 불특정 다수의 사용자들을 대상으로 한다. 디스플레이장치가 사용자에 맞는 컨텐트를 제공한다고 할 때, 예를 들어 디지털 사이니지는 설치 환경에서 이동할 것으로 예상되는 사용자들의 관심 또는 성향을 반영한 컨텐트를 선별하여 제공한다. 디지털 사이니지는 컨텐트를 선별하는 한 가지 방법으로서, 설치된 환경을 사용하는(또는 이동하는) 사용자들의 모집단의 관심 또는 성향에 관한 분석에 기반한 정보를 획득하고, 획득한 정보에 기반한 컨텐트들을 선별하고, 선별된 컨텐트들을 스케줄링 방식에 따라서 영상으로 표시한다.
그러나, 이러한 종래의 방식은 사전에 정의된 설정 방식에만 따라서 컨텐트가 선별되므로, 앞서 분석된 모집단과 상이한 성향 또는 관심을 가진 사용자에 대해서는 고려되지 않는다. 특히, 디지털 사이니지는 불특정 다수의 사용자가 이동하는 설치 환경의 특성 상, 대표되는 관심 또는 성향을 사전에 설정하는 것이 용이하지 않다. 또한, 디지털 사이니지의 설치 환경에서 이동하는 사용자가 있을 때, 해당 사용자가 디지털 사이니지에 관심을 기울이는지 여부(즉, 해당 사용자가 디지털 사이니지에 표시되는 컨텐트 영상에 관심을 기울이는지 여부)에 관해서도, 종래의 방식에서도 고려되고 있지 않다. 소정의 사용자가 디지털 사이니지에 관심을 기울이고 있다면, 해당 사용자는 디지털 사이니지가 표시하는 영상을 볼 가능성도 높다. 그러나, 해당 사용자가 디지털 사이니지에 관심을 기울이지 않고 있다면, 해당 사용자는 디지털 사이니지가 영상을 표시하더라도 무관심하게 지나칠 가능성이 높다.
이러한 관점에서, 디스플레이장치가 디지털 사이니지 등과 같이 복수의 사용자가 이용하는 환경에 설치되는 경우에, 디스플레이장치에 관심을 기울이는 사용자를 식별하는 것은, 제공할 컨텐트의 선별 동작과 주요한 관련성이 있다.
본 발명의 실시예에 따른 디스플레이장치는, 디스플레이와, 카메라에 의해 촬상된 이미지로부터 사용자를 식별하고, 상기 이미지에서 식별된 상기 사용자의 이격 거리 및 상기 사용자의 얼굴의 회전도를 식별하고, 상기 식별된 이격 거리 및 상기 회전도에 기초하여 상기 사용자에 대응하는 컨텐트 영상을 상기 디스플레이에 표시하는 프로세서를 포함한다.
또한, 상기 프로세서는, 상기 식별된 이격 거리 및 상기 회전도에 기초하여 상기 사용자의 시청 관심도를 식별하고, 상기 식별된 시청 관심도에 기초하여 상기 컨텐트 영상을 표시할 수 있다.
또한, 상기 프로세서는, 상기 이미지에서 식별된 복수의 사용자 중에서 상기 식별된 시청 관심도에 대응하는 상기 사용자를 선별하고, 상기 선별된 사용자의 프로파일에 대응하는 컨텐트를 선택할 수 있다.
또한, 상기 프로세서는, 상기 복수의 사용자의 시청 관심도를 비교하여, 소정 랭킹 이상의 사용자를 선별할 수 있다.
또한, 상기 프로세서는, 상기 시청 관심도가 문턱값 이상인 상기 사용자를 선별할 수 있다.
또한, 상기 프로세서는, 데모그래픽 모델을 사용하여 상기 식별된 사용자의 프로파일을 획득할 수 있다.
또한, 상기 프로세서는, 상기 디스플레이장치의 장치 특성에 대응하는 가중치가 각기 부여된 상기 이격 거리 및 상기 회전도로부터 상기 시청 관심도를 산출할 수 있다.
또한, 상기 회전도는, 상기 사용자의 얼굴의 피치 값 및 요 값에 기반하고, 상기 프로세서는, 상기 디스플레이의 가로 세로 비를 식별하고, 상기 디스플레이의 가로 길이가 세로 길이보다 길다고 식별되는 것에 기초하여, 상기 요 값에 대한 가중치를 높게 조정하고, 상기 디스플레이의 세로 길이가 가로 길이보다 길다고 식별되는 것에 기초하여, 상기 피치 값에 대한 가중치를 높게 조정할 수 있다.
또한, 상기 회전도는, 상기 사용자의 얼굴의 피치 값 및 요 값에 기반할 수 있다.
또한, 상기 프로세서는, 상기 선별된 사용자의 프로파일에 대응하여 컨텐트를 선택하고, 상기 선택된 컨텐트의 영상을 표시할 수 있다.
또한, 상기 프로세서는, 상기 선별된 사용자의 프로파일에 대응하는 컨텐트의 레이아웃을 선택하고, 상기 선택된 레이아웃에 따라서 컨텐트를 배치하여 영상을 표시할 수 있다.
또한, 본 발명의 실시예에 따른 디스플레이장치의 제어방법은, 카메라에 의해 촬상된 이미지로부터 사용자를 식별하는 단계와, 상기 이미지에서 식별된 상기 사용자의 이격 거리 및 상기 사용자의 얼굴의 회전도를 식별하는 단계와, 상기 식별된 이격 거리 및 상기 회전도에 기초하여 상기 사용자에 대응하는 컨텐트 영상을 표시하는 단계를 포함한다.
도 1은 디스플레이장치의 예시도이다.
도 2는 디스플레이장치의 구성 블록도이다.
도 3은 디스플레이장치의 제어방법을 나타내는 플로우차트이다.
도 4는 디스플레이장치가 캡쳐이미지로부터 데모그래픽 모델을 활용하여 사용자의 프로파일을 획득하는 방법을 나타내는 예시도이다.
도 5는 기준점 대비 이격 거리가 상이한 두 위치에 사용자가 위치한 경우를 나타내는 예시도이다.
도 6은 시간대 별로 획득한 캡쳐이미지로부터 이격 거리를 추론하는 방법을 나타내는 예시도이다.
도 7은 사용자의 얼굴의 회전도에 관련된 패러미터를 나타내는 예시도이다.
도 8은 디스플레이장치가 복수의 사용자에 관한 프로파일, 각 사용자의 이격 거리 및 얼굴의 회전도를 획득한 결과를 나타내는 예시도이다.
도 9는 사용자에 관해 식별된 항목 별로 가중치를 부여하여 시청 관심도를 도출하는 방법을 나타내는 예시도이다.
이하에서는 첨부도면을 참조하여 본 발명에 따른 실시예들에 관해 상세히 설명한다. 각 도면을 참조하여 설명하는 실시예들은 특별한 언급이 없는 한 상호 배타적인 구성이 아니며, 하나의 장치 내에서 복수 개의 실시예가 선택적으로 조합되어 구현될 수 있다. 이러한 복수의 실시예의 조합은 본 발명의 기술분야에서 숙련된 기술자가 본 발명의 사상을 구현함에 있어서 임의로 선택되어 적용될 수 있다.
만일, 실시예에서 제1구성요소, 제2구성요소 등과 같이 서수를 포함하는 용어가 있다면, 이러한 용어는 다양한 구성요소들을 설명하기 위해 사용되는 것이며, 용어는 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용되는 바, 이들 구성요소는 용어에 의해 그 의미가 한정되지 않는다. 실시예에서 사용하는 용어는 해당 실시예를 설명하기 위해 적용되는 것으로서, 본 발명의 사상을 한정하지 않는다.
또한, 본 명세서에서의 복수의 구성요소 중 "적어도 하나(at least one)"라는 표현이 나오는 경우에, 본 표현은 복수의 구성요소 전체 뿐만 아니라, 복수의 구성요소 중 나머지를 배제한 각 하나 혹은 이들의 조합 모두를 지칭한다.
도 1은 디스플레이장치의 예시도이다.
도 1에 도시된 바와 같이, 본 발명의 실시예에 따른 디스플레이장치(100)는 소정의 컨텐트에 관한 컨텐트 영상을 표시한다. 디스플레이장치(100)는 다양한 환경에 설치되어 사용되는 다양한 종류의 디스플레이장치로 구현될 수 있으며, 그 구현 방식이 한정되지 않는다. 본 실시예에서는 디스플레이장치(100)가 다수의 불특정한 사용자들이 이동 가능한 실외에 설치되는 디지털 사이니지인 경우에 관해 설명하지만, 디스플레이장치(100)는 그 외에도 거실에서 여러 가족 구성원이 볼 수 있는 TV, 교실에서 여러 사용자가 볼 수 있는 전자칠판, 전자액자 등 다양한 종류의 디스플레이장치를 포함할 수 있다.
디스플레이장치(100)는 영상을 표시하기 위한 디스플레이부(110)를 구비한다. 디스플레이장치(100)는 기 저장된 컨텐트데이터 또는 외부로부터 수신되는 컨텐트데이터를 선별하여 영상처리 프로세스에 따라서 처리함으로써, 디스플레이부(110) 상에 컨텐트 영상을 표시한다.
또한, 디스플레이장치(100)는 외부 환경을 촬영 또는 촬상하기 위한 카메라(120)를 포함한다. 본 실시예에서는 디스플레이장치(100)가 카메라(120)를 포함하는 구성이기는 하지만, 카메라(120)를 포함하는 디스플레이장치(100)에만 본 발명의 사상이 적용되는 것은 아니다. 예를 들어 디스플레이장치(100)가 카메라(120)를 포함하지 않고, 통신 가능한 별도의 외부장치로부터 외부 환경의 촬상된 이미지를 수신하는 경우에도 본 발명의 사상이 적용될 수 있다. 카메라(120)는 지정된 시간 동안에 연속적으로 촬영된 외부 환경의 캡쳐영상을 생성한다. 이러한 캡쳐영상은 디스플레이장치(100)가 계측하는 각 시점에 대응하는 캡쳐이미지를 포함한다. 다만, 카메라(120)가 캡쳐영상 또는 캡쳐이미지를 생성하는 시간 및 방식은 한정되는 것이 아니며, 다양한 기준에 따라서 캡쳐영상 또는 캡쳐이미지가 카메라(120)에 의해 생성될 수 있다.
디스플레이장치(100)는 다양한 컨텐트를 구비하고, 사전에 정의된 스케줄에 따라서 각 컨텐트의 영상을 디스플레이부(110)에 표시할 수 있다. 또는, 본 실시예에 따른 디스플레이장치(100)는 외부 환경에 있는 한 명 또는 복수의 사용자를 식별하고, 식별된 사용자에 맞는(또는, 대응하거나 최적화된) 컨텐트를 선별하여, 선별된 컨텐트의 영상을 디스플레이부(110)에 표시할 수 있다. 여기서, 디스플레이장치(100)는 카메라(120)에 의해 촬상된 외부 환경의 캡쳐이미지로부터 사용자를 식별할 수 있다.
한편, 디스플레이장치(100)는 캡쳐이미지 내에서 복수의 사용자가 식별된 경우에, 식별된 모든 사용자들을 고려한 컨텐트를 선별할 수도 있다. 또는, 디스플레이장치(100)는 사용자에게 보다 최적화된 컨텐트를 제공하기 위해서, 캡쳐이미지 내에서 1차로 식별된 복수의 사용자 중에서 기 설정된 선별기준에 따라서 일부의 사용자를 2차로 다시 식별하고, 2차로 식별된 사용자를 고려한 컨텐트를 선별할 수도 있다. 디스플레이장치(100)가 사용자를 재선별및 선별기준에 관해서는 후술한다.
이하, 디스플레이장치(100)의 구성에 관해 설명한다.
도 2는 디스플레이장치의 구성 블록도이다.
도 2에 도시된 바와 같이, 디스플레이장치(100)는 디스플레이부(110)를 포함할 수 있다. 디스플레이부(110)는 화면 상에 영상을 표시할 수 있는 디스플레이 패널을 포함한다. 디스플레이 패널은 액정 방식과 같은 수광 구조 또는 OLED 방식과 같은 자발광 구조로 마련된다. 디스플레이부(110)는 디스플레이 패널의 구조에 따라서 부가적인 구성을 추가로 포함할 수 있는데, 예를 들면 디스플레이 패널이 액정 방식이라면, 디스플레이부(110)는 액정 디스플레이 패널과, 광을 공급하는 백라이트유닛과, 액정 디스플레이 패널의 액정을 구동시키는 패널구동기판을 포함한다.
디스플레이장치(100)는 카메라(120)를 포함할 수 있다. 카메라(120)는 CCD (Charge-Coupled Device) 이미지 센서를 비롯한 다양한 구조로 마련될 수 있다. 본 실시예에 따른 카메라(120)는 단안 구조를 가지는데, 단안 구조가 아닌 경우(예를 들면, 디스플레이장치(100)가 쌍안 구조의 카메라(120)를 포함하거나, 단안 구조의 카메라(120)가 복수 개 마련되는 등)에도 본 발명의 사상이 적용될 수 있다.
디스플레이장치(100)는 인터페이스부(130)를 포함할 수 있다. 인터페이스부(130)는 디스플레이장치(100)가 외부장치와 통신을 수행하고, 또한 데이터를 송수신하기 위한 인터페이스 회로를 포함한다. 인터페이스부(130)는 접속 방식에 따라서, 유선 통신연결을 위한 하나 이상의 유선인터페이스부(131)와, 무선 통신연결을 위한 하나 이상의 무선인터페이스부(212)를 포함한다. 본 실시예에서는 인터페이스부(130)가 유선인터페이스부(131) 및 무선인터페이스부(212)의 두가지를 모두 포함하는 경우이지만, 설계 방식에 따라서는 유선인터페이스부(131) 및 무선인터페이스부(212) 중 어느 하나만을 포함하는 경우도 가능하다.
유선인터페이스부(131)는 기 정의된 전송규격의 케이블이 접속되는 커넥터 또는 포트를 포함한다. 예를 들면, 유선인터페이스부(131)는 방송신호를 수신하도록 지상파 또는 위성방송 안테나에 접속되거나 케이블방송의 케이블이 접속되는 포트를 포함한다. 또는, 유선인터페이스부(131)는 다양한 영상처리장치와 접속하도록 HDMI, DP, DVI, 컴포넌트, 컴포지트, S-Video, 썬더볼트 등 다양한 유선전송규격의 케이블이 접속되는 포트를 포함한다. 또는, 유선인터페이스부(131)는 USB 기기와 접속하기 위한 USB 규격의 포트를 포함한다. 또는, 유선인터페이스부(131)는 광케이블이 접속되는 광포트를 포함한다. 또는, 유선인터페이스부(131)는 외부 마이크로폰이 접속되는 오디오 입력 포트와, 헤드셋, 이어폰, 외부 스피커 등이 접속되는 오디오 출력 포트를 포함한다. 또는, 유선인터페이스부(131)는 광역 네트워크에 접속하기 위해 게이트웨이, 라우터, 허브 등에 접속하는 이더넷 포트를 포함한다.
무선인터페이스부(132)는 다양한 종류의 무선통신 프로토콜에 대응하는 통신모듈, 통신칩 등의 구성요소들 중 적어도 하나 이상을 포함하는 양방향 통신회로를 포함한다. 예를 들면, 무선인터페이스부(132)는 와이파이(Wi-Fi) 방식에 따라서 AP(Access Point)와 무선통신을 수행하는 와이파이 통신칩과, 블루투스, Zigbee, Z-Wave, WirelessHD, WiGig, NFC 등의 무선통신을 수행하는 통신칩, IR 통신을 위한 IR 모듈, 모바일기기와 이동통신을 수행하는 이동통신칩 등을 포함한다.
디스플레이장치(100)는 사용자입력부(140)를 포함할 수 있다. 사용자입력부(140)는 사용자의 입력을 수행하기 위해 사용자가 조작할 수 있도록 마련된 다양한 종류의 사용자 입력 인터페이스 관련 회로를 포함한다. 입출력 인터페이스라는 관점에서, 사용자입력부(140)는 인터페이스부(130)에 포함되는 구성으로 분류될 수도 있다. 사용자입력부(140)는 디스플레이장치(100)의 종류에 따라서 여러 가지 형태의 구성이 가능하며, 예를 들면 디스플레이장치(100)의 기계적 또는 전자적 버튼부, 터치패드, 센서, 카메라, 터치스크린, 디스플레이장치(100)와 분리된 리모트 컨트롤러 등이 있다.
디스플레이장치(100)는 저장부(150)를 포함할 수 있다. 저장부(150)는 디지털화된 데이터를 저장한다. 저장부(150)는 전원의 제공 유무와 무관하게 데이터를 보존할 수 있는 비휘발성의 스토리지(storage)와, 프로세서(160)에 의해 처리되기 위한 데이터가 로딩되며 전원이 제공되지 않으면 데이터를 보존할 수 없는 휘발성의 메모리(memory)를 포함한다. 스토리지에는 플래시메모리(flash-memory), HDD(hard-disc drive), SSD(solid-state drive) ROM(Read Only Memory) 등이 있으며, 메모리에는 버퍼(buffer), 램(RAM; Random Access Memory) 등이 있다.
디스플레이장치(100)는 프로세서(160)를 포함할 수 있다. 프로세서(160)는 인쇄회로기판 상에 장착되는 CPU, 칩셋, 버퍼, 회로 등의 하드웨어 엘리먼트들에 의해 구현되는 하나 이상의 하드웨어 프로세서를 포함하며, 설계 방식에 따라서는 SOC(system on chip)로 구현될 수도 있다. 프로세서(160)는 영상처리 프로세싱의 측면에서, 디멀티플렉서, 디코더, 스케일러, 오디오 DSP(Digital Signal Processor), 앰프 등의 다양한 프로세스에 대응하는 모듈들을 포함한다. 여기서, 이러한 모듈들 중 일부 또는 전체가 SOC로 구현될 수 있다. 예를 들면, 디멀티플렉서, 디코더, 스케일러 등 영상처리와 관련된 모듈이 영상처리 SOC로 구현되고, 오디오 DSP는 SOC와 별도의 칩셋으로 구현되는 것이 가능하다.
프로세서(160)는 카메라(120)로부터 전달되는 캡쳐이미지로부터 사용자를 분석하고, 획득 가능한 복수의 컨텐트 중에서 분석 결과에 대응하는 컨텐트를 선별한다. 프로세서(160)는 선별된 컨텐트를 처리하여 디스플레이부(110)에 영상으로 표시한다. 이와 관련된 프로세서(160)의 동작에 관해 이하 설명한다.
도 3은 디스플레이장치의 제어방법을 나타내는 플로우차트이다.
도 3에 도시된 바와 같이, 이하 동작은 디스플레이장치(100, 도 2 참조)의 프로세서(160, 도 2 참조)에 의해 수행된다.
310 단계에서 디스플레이장치는 카메라(120, 도 2 참조)에 의해 촬상된 이미지를 획득한다. 본 실시예에서 카메라는 디스플레이장치에 속한 구성이지만, 그렇지 않고 별도의 외부장치에서 촬상된 이미지가 디스플레이장치에 제공되는 방식도 가능하다.
320 단계에서 디스플레이장치는 획득한 이미지로부터 사용자를 식별한다. 디스플레이장치는 예를 들면 이미지 내의 오브젝트의 형상 분석을 통해 사용자의 얼굴을 분석하고, 분석된 사용자의 얼굴로부터 성별, 연령 등의 프로파일을 식별할 수 있다.
330 단계에서 디스플레이장치는 식별된 사용자의 이격 거리를 식별한다. 사용자의 이격 거리는 사전에 설정된 지점(예를 들면 디스플레이장치의 카메라)로부터 사용자의 위치 사이의 거리를 의미한다.
340 단계에서 디스플레이장치는 식별된 사용자의 얼굴의 회전도를 식별한다. 얼굴의 회전도는 사전에 설정된 지점(예를 들면 디스플레이장치의 카메라)를 기준으로 하여, 기준 지점에 대한 얼굴의 정면의 각도를 나타낸다. 여기서, 사용자의 이격 거리의 식별을 위해 사전에 설정된 지점과, 사용자의 얼굴의 회전도의 식별을 위해 사전에 설정된 지점은, 반드시 동일할 필요는 없다.
350 단계에서 디스플레이장치는 식별된 이격 거리 및 회전도에 기초하여 사용자에 대응하는 컨텐트 영상을 표시한다. 이로써, 디스플레이장치는 디스플레이장치에 관심을 가지는 사용자에게 맞도록 컨텐트를 제공할 수 있다. 사용자에 대응하는 컨텐트의 의미는, 예를 들면 선별된 사용자의 선호도가 반영된 광고 등의 컨텐트이거나, 선별된 사용자에 맞도록 영상 내에서 컨텐트의 배치 등의 레이아웃의 변경 등이 가능하다.
한편, 디스플레이장치는 이미지로부터 식별된 사용자가 한 명일 경우에, 소정 기준에 따라서 해당 사용자를 선별하거나 선별하지 않을 수 있다. 또는, 디스플레이장치는 이미지로부터 식별된 사용자가 복수인 경우에, 소정 기준에 따라서 일부 사용자를 선별할 수 있다. 사용자의 선별 기준 또한 다양하게 마련될 수 있는 바, 이에 관한 설명은 후술한다.
사용자를 선별하는 방법 중의 한 가지 예시로, 디스플레이장치는 식별된 사용자가 디스플레이장치에 관심을 얼마나 두고 있는지를 나타내는 시청 관심도에 기반하여 사용자를 선별할 수 있다. 디스플레이장치는 사용자의 시청 관심도가 상대적으로 높거나 또는 소정 문턱값보다 높다고 판단되면 해당 사용자를 선별하고, 사용자의 시청 관심도가 상대적으로 낮거나 또는 문턱값보다 낮다고 판단되면 해당 사용자를 선별하지 않을 수 있다. 이하 실시예에서는 이러한 과정에 관해 구체적으로 설명한다.
또한, 본 실시예에서는 디스플레이장치가 사용자에 대응하는 컨텐트를 선택하는 경우에 관해 설명하였으나, 설계 방식에 따라서는 시청 관심도에 대응하는 컨텐트를 선택하는 방식도 가능하다. 예를 들어 수치화된 시청 관심도에 대응하는 컨텐트가 사전에 지정되어 있을 수 있다. 디스플레이장치는 식별된 사용자의 시청 관심도를 획득하고, 획득된 시청 관심도에 대응하도록 지정된 컨텐트를 선택하여 제공할 수 있다.
이하, 디스플레이장치가 카메라에 의해 캡쳐된 이미지에서 사용자의 프로파일을 획득하는 방법에 관해 설명한다.
도 4는 디스플레이장치가 캡쳐이미지로부터 데모그래픽 모델을 활용하여 사용자의 프로파일을 획득하는 방법을 나타내는 예시도이다.
도 4에 도시된 바와 같이, 디스플레이장치(100, 도 2 참조)는 카메라(120, 도 2 참조)로부터 외부 환경을 촬상한 캡쳐이미지(410)를 획득한다. 디스플레이장치는 캡쳐이미지(410)의 다양한 분석을 통해, 캡쳐이미지(410) 내에서 하나 이상의 사용자(411, 412, 413)를 식별할 수 있다. 캡쳐이미지(410) 내에서 사용자(411, 412, 413)를 식별하는 방법은 다양하며, 어느 한 가지 방식으로 한정될 수 없다. 예를 들면, 디스플레이장치는 캡쳐이미지(410)의 픽셀값 분석 및 에지 감지를 통해 배경으로부터 전경의 오브젝트를 구분하고, 오브젝트의 형상 분석을 통해 사람을 나타내는 오브젝트를 식별하는 등의 방법을 사용할 수 있다. 본 실시예에서는 제1사용자(411), 제2사용자(412), 제3사용자(413)의 세 명의 사용자(411, 412, 413)가 캡쳐이미지(410) 내에서 식별되는 예시를 들고 있다.
디스플레이장치는 캡쳐이미지(410) 내에서 식별되는 사용자(411, 412, 413)의 프로파일을 분석한다. 사용자(411, 412, 413)의 프로파일을 분석하는 방법은 여러 가지가 적용될 수 있으며, 어느 한 가지 방법으로 한정되지 않는다. 본 실시예에서는 하나의 예시로서, 데모그래픽(demographic) 추론이 이용된다. 데모그래픽 추론은 사전에 구축된 데모그래픽 모델(420)을 사용하여, 특정한 이미지의 프로파일을 식별하는 방법이다. 식별 대상이 사람인 경우에, 데모그래픽 모델(420)은 식별된 사용자(411, 412, 413)의 성별, 연령 등의 신상에 관한 프로파일을 식별하도록 마련된다. 이 과정에서, 인공지능이 사용될 수 있다.
즉, 디스플레이장치는 캡쳐이미지(410) 내에서 식별된 사용자(411, 412, 413)의 프로파일을 추론 또는 예측하기 위한 방법으로, 데모그래픽 모델(420)에 기반한 인공지능 모델을 이용할 수 있다. 디스플레이장치는 데모그래픽 모델(420)에 입력하기 위한 캡쳐이미지(410)의 데이터에 대해 전처리 과정을 수행하여 인공지능 모델의 입력으로 사용하는 데에 적합한 형태로 변환할 수 있다. 인공지능 모델은 학습을 통해 만들어 질 수 있다. 여기서, 학습을 통해 만들어진다는 것은, 기본 인공지능 모델이 학습 알고리즘에 의하여 다수의 학습 데이터들을 이용하여 학습됨으로써, 원하는 특성(또는 목적)을 수행하도록 설정된 기 정의된 동작 규칙 또는 인공지능 모델이 만들어짐을 의미한다.
인공지능 모델은 복수의 신경망 네트워크(또는, 레이어)들로 구성될 수 있다. 복수의 신경망 네트워크의 노드들은 가중치를 가지며, 복수의 신경망 네트워크들은 일 신경망 네트워크의 출력 값이 다른 신경망 네트워크의 입력 값으로 이용되도록 서로 연결될 수 있다. 이로써, 이전(previous) 레이어의 연산 결과와 복수의 가중치들 간의 연산을 통해 신경망 연산이 수행된다. 신경망 네트워크의 예로는, CNN (Convolutional Neural Network), DNN (Deep Neural Network), RNN (Recurrent Neural Network), RBM (Restricted Boltzmann Machine), DBN (Deep Belief Network), BRDNN (Bidirectional Recurrent Deep Neural Network) 및 심층 Q-네트워크 (Deep Q-Networks)과 같은 모델을 포함할 수 있다.
추론 예측은 정보를 판단하여 논리적으로 추론하고 예측하는 기술로서, 지식(또는 확률) 기반 추론(Knowledge based Reasoning), 최적화 예측(Optimization Prediction), 선호 기반 계획(Preference-based Planning), 추천(Recommendation) 등을 포함한다.
이러한 분석 방법에 따라서, 디스플레이장치는 각 사용자(411, 412, 413) 별 프로파일을 획득할 수 있다. 예를 들면, 디스플레이장치는 데모그래픽 추론을 통해, 제1사용자(411)의 프로파일 (10, F), 제2사용자(412)의 프로파일 (20, M), 제3사용자(413)의 프로파일 (20, F)를 각각 획득한다. 각 프로파일에서 숫자는 연령대, F는 여성, M은 남성을 의미한다.
본 실시예에서는 인공지능 모델이 데모그래픽 추론 과정에 사용되는 것으로 설명하였지만, 설계 방식에 따라서는 인공지능 모델의 적용은 이에 한정되지 않는다. 예를 들면, 추후 설명할 사용자의 이격 거리 및 사용자 얼굴의 회전도를 산출하는 동작에도 인공지능 모델이 적용될 수 있다. 이 경우에, 데모그래픽 추론, 이격 거리 산출, 회전도 산출 등의 각 패러미터의 산출 부분은, 하나의 신경망에 대응되도록 마련될 수 있다.
그런데, 캡쳐이미지(410)에서 식별되는 모든 사용자(411, 412, 413)가 디스플레이장치에 대해 관심을 가진다고 볼 수는 없다. 디스플레이장치가 설치된 환경 내에 여러 사용자(411, 412, 413)가 있다고 하더라도, 디스플레이장치에 관심이 있는(예를 들면 디스플레이장치를 주시하고 있는) 사용자(411, 412, 413)가 있을 수 있는 반면, 디스플레이장치에 관심이 없는(예를 들면 디스플레이장치를 주시하고 있지 않은) 사용자(411, 412, 413)가 있을 수도 있다. 디스플레이장치가 만일 사용자(411, 412, 413)에 맞추어진 컨텐트를 제공한다고 할 때, 디스플레이장치에 관심이 있는 사용자(411, 412, 413)를 대상으로 하는 것이 유효하고, 디스플레이장치에 관심이 없는 사용자(411, 412, 413)를 대상으로 하는 것은 유효하지 않다.
따라서, 디스플레이장치는 캡쳐이미지(410)에 식별된 사용자(411, 412, 413) 중에서, 디스플레이장치에 대한 관심이 높은 정도, 즉 시청 관심도가 상대적으로 높은 사용자(411, 412, 413)를 선택하고, 선택된 사용자(411, 412, 413)에 맞는 컨텐트 영상을 제공한다. 이로써, 디스플레이장치는 보다 사용자(411, 412, 413)에 최적화된 컨텐트를 제공할 수 있다.
한편, 인공지능을 활용하는 경우에, 데모그래픽 모델(420)은 학습을 통해 업데이트될 수 있다. 사용자의 얼굴 또는 형상에 관한 모델을 판단하는 것은 얼굴의 회전도 및 이격 거리에 따라서 편차가 있다. 따라서, 디스플레이장치는 카메라를 통한 모니터링 과정에서, 사용자 얼굴의 회전도가 최소(또는 회전도가 기 설정된 각도 범위 이내)이고 사용자의 이격 거리가 기 설정된 거리 범위에 있을 때에 촬상된 이미지를 사용하여, 데모그래픽 추론 및 데모그래픽 모델(420)의 업데이트에 사용할 수 있다.
사용자가 이동하는 환경의 디지털 사이니지가 아닌 TV로 디스플레이장치가 구현되는 경우에는, 통상적으로 사용자의 이격 거리가 거의 변화하지 않고 유지된다. 이 경우에는, 사용자의 얼굴이 회전도가 기 설정된 각도 범위 이내인 상태를 소정 시간 이상 유지될 때의 시점에 촬상된 이미지가, 데모그래픽 추론 및 데모그래픽 모델(420)의 업데이트에 사용될 수 있다.
한편, 본 실시예에서의 사용자(411, 412, 413)의 시청 관심도는 해당 사용자(411, 412, 413)의 이격 거리 및 해당 사용자(411, 412, 413)의 얼굴의 회전도의 두 가지의 패러미터를 고려하여 결정된다. 이하, 각 패러미터에 관해 설명한다.
도 5는 기준점 대비 이격 거리가 상이한 두 위치에 사용자가 위치한 경우를 나타내는 예시도이다.
도 5에 도시된 바와 같이, 소정의 기준점으로부터 제1사용자(510) 및 제2사용자(520)가 서로 상이한 위치에 있는 경우를 고려한다. 제1사용자(510)가 있는 제1위치는 기준점로부터 거리 L1만큼 이격되어 있다. 제2사용자(520)가 있는 제2위치는 기준점으로부터 거리 L2만큼 이격되어 있다. L1 및 L2 사이의 관계는 L1<L2를 만족한다. 또한, 기준점에 대한 제1위치에서의 각도는, 기준점에 대한 제2위치에서의 각도와 동일한 값인 θ를 나타낸다.
제1사용자(510) 및 제2사용자(520)는 각각 정면을 주시하고 있다고 가정할 때, 제1사용자(510)의 시선은 위치 S1을 향하며, 제2사용자(520)의 시선은 위치 S2를 향한다. 이 경우에, 기준점으로부터 위치 S1까지의 거리는, 기준점으로부터 위치 S2까지의 거리보다 작다.
사용자(510, 520)의 시청 관심도는 해당 사용자(510, 520)의 이격 거리 및 해당 사용자(510, 520)의 얼굴의 회전도의 두 가지의 패러미터로부터 산출된다. 본 도면의 경우에, 제1사용자(510) 및 제2사용자(520)가 각각 동일한 방향을 향하고 있으므로, 제1사용자(510)의 얼굴의 회전도 및 제2사용자(520)의 얼굴의 회전도는 동일한 θ값을 나타낸다고 볼 수 있다. 즉, 사용자(510, 520)의 얼굴의 회전도는, 사용자(510, 520)의 얼굴의 정면이 향하는 방향(또는 사용자(510, 520)의 시선이 향하는 방향)이 기준점과 사용자(510, 520)의 위치를 지나는 직선으로부터 어긋난 정도를 나타낸다.
시청 관심도의 측면에서 볼 때, 기준점으로부터 상대적으로 멀리 있는 제2사용자(520)는, 기준점으로부터 상대적으로 가까이 있는 제1사용자(510)보다 기준점에서 발생하는 상황에 대한 관심도가 상대적으로 떨어진다고 예측된다. 만일 기준점에 디스플레이장치(100, 도 2 참조)가 있다고 할 때, 디스플레이장치는 제1사용자(510)의 시야 범위 내에 있을 확률이 높은 반면에, 제2사용자(520)의 시야 범위 내에 있을 확률이 낮다. 또한, 제2사용자(520)는 상대적으로 멀리 있으므로, 디스플레이장치를 정확히 인지할 확률이 상대적으로 낮다.
한편, 제1사용자(510)가 제2사용자(520)보다 가까운 이격 거리에 있다고 하더라도, 각 사용자(510, 520)의 얼굴의 회전도가 달라지면 시청 관심도 또한 달라진다. 예를 들어, 제1사용자(510)가 이격 거리 L1인 제1위치에 있고 제2사용자가 이격 거리 L2인 제2위치에 있으며, L1<L2인 상태의 조건을 그대로 유지하고, 각 사용자(510, 520)의 얼굴의 회전도를 본 도면의 경우와 다르게 하는 경우를 고려한다. 이러한 상태에서, 만일 제2사용자(520)의 얼굴의 회전도가 제1사용자(510)의 얼굴의 회전도에 비해 상대적으로 작다면, 제2사용자(520)가 제1사용자(510)보다 큰 이격 거리를 가지고 있더라도, 제2사용자(520)의 시청 관심도가 보다 높을 수도 있다.
이러한 관점에서, 사용자(510, 520)의 시청 관심도는 사용자(510, 520)의 이격 거리 및 사용자(510, 520)의 얼굴의 회전도의 두 가지 패러미터를 고려하여 산출될 수 있다.
이하, 이격 거리를 구하는 예시에 관해 설명한다.
도 6은 시간대 별로 획득한 캡쳐이미지로부터 이격 거리를 추론하는 방법을 나타내는 예시도이다.
도 6에 도시된 바와 같이, 디스플레이장치(100, 도 2 참조)는 카메라(120, 도 2 참조)로부터 단위시간마다 연속적으로 촬상된 캡쳐이미지(610, 620)를 획득할 수 있다. 만일 카메라가 단안 방식이 아니라면, 삼각함수 등의 수학적 연산을 활용하여 용이하게 기준점으로부터 사용자의 이격 거리를 산출할 수 있다. 반면에, 카메라가 단안 방식이라면, 디스플레이장치는 시간 순서대로 연속적으로 촬상된 캡쳐이미지(610, 620)의 뎁스(depth) 추정을 통해 기준점으로부터 사용자의 이격 거리를 추정한다.
예를 들어, 시점 T1에서 촬상된 제1캡쳐이미지(610)과, T1 이후의 시점 T2에서 촬상된 제2캡쳐이미지(620) 내에, 동일한 인물로 식별되는 사용자의 오브젝트가 있다고 예시한다. 사용자가 이동하고 있다면, 제1캡쳐이미지(610) 내에서 해당 사용자를 나타내는 오브젝트의 스케일 H1은 제2캡쳐이미지(620) 내에서 해당 사용자를 나타내는 오브젝트의 스케일 H2와 상이할 것이다. 여기서, 오브젝트의 스케일은 높이를 나타내고 있지만, 폭, 부피 등의 패러미터를 포함할 수도 있다.
본 도면과 같이 H1<H2인 경우에는 해당 사용자가 기준점으로 접근하도록 이동하는 것을 나타낸다. 반대로 H1>H2라면 해당 사용자가 기준점으로부터 멀어지도록 이동하는 것을 나타낸다. H1과 H2가 실질적으로 동일하다면, 해당 사용자가 정지하고 있음을 나타낸다.
디스플레이장치는 T1 및 T2 사이의 시간차와, H1 및 H2 사이의 스케일 변화에 기초하여, 특정 시점(예를 들면 T2)에서 사용자의 이격 거리를 산출할 수 있다. 이 경우에도 인공지능이 활용될 수 있다. 즉, 디스플레이장치는 카메라를 통해 소정 시간 동안 사용자의 스케일 변화를 모니터링하여, 지정된 시점에서 이격 거리를 산출할 수 있다. 시간차 및 스케일 변화를 활용한 뎁스 기반 추정은 다양한 방법이 적용될 수 있으므로, 구체적인 설명은 생략한다.
또는, 디스플레이장치는 하나의 캡쳐이미지(610, 620)에 복수의 사용자가 식별되는 경우에, 각 사용자 별 스케일의 차이에 기반하여 각 사용자의 상대적인 이격 거리를 산출할 수도 있다. 예를 들면, 복수의 사용자가 상대적으로 유사한 키를 가진다고 상정할 때, 스케일이 크게 감지되는 사용자는 상대적으로 가까운 이격 거리를 가지고, 스케일이 작게 감지되는 사용자는 상대적으로 먼 이격 거리를 가진다고 추정이 가능하다.
이와 같이, 디스플레이장치는 다양한 방법에 따라서 사용자의 이격 거리를 획득할 수 있다.
이하, 얼굴의 회전도에 관해 설명한다.
도 7은 사용자의 얼굴의 회전도에 관련된 패러미터를 나타내는 예시도이다.
도 7에 도시된 바와 같이, 소정의 사용자가 정면으로 기준점을 보고 있을 경우를 고려한다. 사용자가 기준점을 보는 시선은 X 축선을 따른다. 만일 사용자가 고개를 위 아래로 끄덕인다면, 사용자의 얼굴은 X 축선에 수직한 Y 축선을 중심으로 회전하게 된다. 만일 사용자가 고개를 좌 우로 가로젓는다면, 사용자의 얼굴은 X 축선 및 Y 축선에 수직한 Z 축선을 중심으로 회전하게 된다.
본 도면과 같은 사용자의 얼굴의 위치 상태를 정위치라고 할 때, X 축선을 중심으로 하는 정위치 대비 회전각도는 롤(roll) 각도, Y 축선을 중심으로 하는 정위치 대비 회전각도는 피치(pitch) 각도, Z 축선을 중심으로 하는 정위치 대비 회전각도는 요(yaw) 각도라고 각각 지칭한다. 여기서, 기준점에 대한 시선과 관련이 있는 패러미터는 피치 및 요의 두 가지이므로, 사용자의 시청 관심도를 위해 고려되는 얼굴의 회전도는 피치 및 요의 두 가지의 값이 사용된다.
어느 사용자에 있어서 기준점에 대한 시청 관심도가 높다는 것은 기준점에 대한 얼굴의 회전도가 작다는 것을 의미한다. 즉, 해당 사용자에 대해 계측된 피치 및 요의 두가지 값이 작을수록 시청 관심도가 높다고 볼 수 있다. 한편, 피치 및 요 두가지 값 중 적어도 하나가 커질수록, 해당 사용자의 시청 관심도는 낮아진다고 볼 수 있다.
이하, 디스플레이장치가 복수의 사용자 중에서 시청 관심도에 따라서 사용자를 선별하는 예시에 관해 설명한다.
도 8은 디스플레이장치가 복수의 사용자에 관한 프로파일, 각 사용자의 이격 거리 및 얼굴의 회전도를 획득한 결과를 나타내는 예시도이다.
도 8에 도시된 바와 같이, 디스플레이장치(100, 도 2 참조)는 분석을 통해, 식별된 사용자의 프로파일, 각 사용자의 이격 거리, 각 사용자의 얼굴의 회전도를 획득할 수 있다. 각 사항에 관해서는 앞선 실시예의 내용에서 설명한 바와 같다. 본 도면은 예시적으로 사용자 ID가 ID(A), ID(B), ID(C)인 세 사용자 별 분석결과를 테이블로 표현한 것이다. 본 테이블에서는 이격 거리의 단위가 meter이고, 회전도의 단위가 radian인 것으로 나타내고 있지만, 구체적인 단위는 측정 방법에 따라서 달라질 수 있다.
이와 같이 분석결과를 획득하면, 디스플레이장치는 각 사용자 별 이격 거리 및 회전도에 기초하여, 복수의 사용자 중 적어도 일부를 선별한다. 선별 방법은 문턱값을 활용하는 방법이 있고, 랭킹을 활용하는 방법이 있다. 회전도의 경우는, 피치 값 및 요 값을 개별적으로 판단할 수도 있고, 피치 값 및 요 값을 합산한 값으로 판단할 수도 있다. 이와 같이, 피치 값 및 요 값으로부터 회전도를 산출하는 방식은 한정되지 않는다. 피치 값 및 요 값을 합산하는 경우에, 설계 방식에 따라서는 가중치가 부여될 수 있는데, 이에 관해서는 후술한다.
문턱값을 활용하는 한 가지 예시로서, 이격 거리가 25m 이하 및 회전도의 (피치+요)가 25rad 이하의 문턱값 조건이 설정된 경우를 고려한다. 이격 거리가 25m 이하에 해당하는 사용자 ID는 ID(B), ID(C)이다. (피치+요)가 25rad 이하에 해당하는 사용자 ID는 ID(C)이다. 따라서, 본 테이블에서 해당 조건을 만족하는 것은 ID(C)인 사용자이다. 분석 결과에 따라서, 디스플레이장치는 ID(C)인 사용자의 프로파일, 즉 20대 여성에 해당하는 프로파일에 대응하는 컨텐트 영상을 표시한다.
랭킹을 활용하는 한 가지 예시로서, 전체 사용자 중 이격 거리 및 회전도에 기반한 비교 랭킹이 상위 2위 이상의 조건이 설정된 경우를 고려한다. 이러한 경우에는 상호 비교가 가능하도록, 이격 거리 및 회전도에 기초하여 각 사용자 별 시청 관심도를 산출하기 위한 수식이 지정된다. 이러한 수식은 다양한 함수 또는 알고리즘이 반영될 수 있는데, 본 실시예에서는 간략하고 명확한 설명을 위해, 편의상 이격 거리, 피치 값 및 요 값을 모두 합산하여 시청 관심도를 산출하는 것으로 예시한다. 이에 따르면, ID(A)인 사용자의 시청 관심도는 130, ID(B)인 사용자의 시청 관심도는 40, ID(C)인 사용자의 시청 관심도는 40으로 산출된다. 분석 결과에 따라서, 디스플레이장치는 ID(B)인 사용자의 프로파일(20대 남성) 및 ID(C)인 사용자의 프로파일(20대 여성)에 대응하는 컨텐트 영상을 표시한다.
한편, 시청 관심도를 산출함에 있어서, 이격 거리, 피치 값, 요 값 각각에 대해서는 조건에 따라서 상이한 가중치를 부여할 수도 있다. 이하, 이러한 실시예에 관해 설명한다.
도 9는 사용자에 관해 식별된 항목 별로 가중치를 부여하여 시청 관심도를 도출하는 방법을 나타내는 예시도이다.
도 9에 도시된 바와 같이, 디스플레이장치(100, 도 2 참조)는 소정 사용자의 사용자 프로파일, 사용자의 이격 거리, 사용자 얼굴의 회전도에 관한 피치 값 및 요 값을 획득할 수 있다(910). 설계 방식에 따라서는, 디스플레이장치는 식별된 이격 거리, 피치 값 및 요 값의 항목들로부터 수치화된 시청 관심도를 산출할 수 있다. 예를 들어, 사용자에 관련하여 이격 거리 L, 피치 값 P, 요 값 Y을 획득하였다고 할 때, 이들 값으로부터 해당 사용자의 시청 관심도 N이 산출된다.
N을 산출하기 위한 가장 간단한 예시로서, L, P 및 Y를 단순히 합산하는 경우를 고려한다. 이 경우에 N=L+P+Y가 된다. 여기서, 이격 거리는 피치 값 및 요 값과 단위가 상이하므로, 연산이 가능하도록 L, P 및 Y 중 적어도 하나에 대해 추가적인 수학적 보정이 반영될 수 있다.
그런데, 디스플레이장치에 관련된 여러 가지 조건 때문에(구체적인 조건에 관해서는 후술), L, P 및 Y를 동일한 비중으로 반영하여 N을 산출하는 것은 정확성이 떨어질 수도 있다. 이러한 관점에서, 디스플레이장치는 L, P 및 Y 중 적어도 하나 이상에 대해서 가중치를 부여하되, 조건에 따라서 가중치가 조정되어 반영되도록 할 수 있다.
일 예를 들면, 디스플레이장치는 디스플레이장치의 장치 특성을 식별한다(920). 여기서, 장치 특성은 디스플레이장치에 관련된 다양한 하드웨어 또는 소프트웨어 관련 특성을 포함할 수 있는 바, 디스플레이의 가로 대 세로 비율, 디스플레이장치의 최대 휘도, 디스플레이장치의 설치 지역 등 다양한 인자를 포함할 수 있다.
디스플레이장치는 식별된 장치 특성에 대응하는 가중치를 획득한다(930). 디스플레이장치는 예를 들면, 장치 특성 대비 가중치가 사전에 지정된 DB 또는 리스트의 검색을 통해(940), 각 패러미터 별 가중치를 획득할 수 있다. 본 실시예에서는 이격 거리에 대한 가중치 W1, 피치 값에 대한 가중치 W2, 요 값에 대한 가중치 W3 가 지정되어 있으나, 가중치는 모든 패러미터가 아닌 하나 또는 일부의 패러미터에 대해서만 지정될 수도 있다.
디스플레이장치는 획득한 가중치를 반영하여 시청 관심도를 산출한다(950). 예를 들면, 시청 관심도 N은 N=W1*L+W2*P+W3*Y을 만족할 수 있으며, "*"는 곱셈 연산 또는 기타 수학적 연산일 수 있다. 본 수식은 시청 관심도를 산출하기 위해 가능한 다양한 수식 중 하나에 불과하며, 시청 관심도를 위한 수식이 본 예시만으로 한정되는 것은 아니다.
이하, 상기한 실시예를 적용하는 시나리오의 예시에 관해 설명한다.
디스플레이장치의 장치 특성 중에는 영상을 표시하는 디스플레이의 가로 세로 비율이 있다. 통상적으로 디스플레이는 가로길이 및 세로길이 중 어느 하나가 다른 하나보다 상대적으로 긴 형상을 가진다. 편의상, 디스플레이의 가로길이가 상대적으로 긴 상태를 랜드스케이프 모드, 디스플레이의 세로길이가 상대적으로 긴 상태를 포트레이트 모드로 각각 지칭한다.
사용자가 디스플레이장치의 디스플레이를 인지할 확률을 고려할 때, 이 확률은 디스플레이장치가 랜드스케이프 모드인 경우와 포트레이트 모드인 경우가 서로 상이하다. 디스플레이장치가 랜드스케이프 모드인 경우에는 디스플레이의 가로길이가 상대적으로 길기 때문에, 이 경우에는 요 각도에 가중치를 상대적으로 많이 부여할 수 있다. 반면에, 디스플레이장치가 포트레이트 모드인 경우에는 디스플레이의 세로길이가 상대적으로 길기 때문에, 이 경우에는 피치 각도에 가중치를 상대적으로 많이 부여할 수 있다. 이러한 관점에서, 디스플레이장치는 랜드스케이프 모드로 식별되면 요 각도에 대한 가중치를 피치 각도에 대한 가중치보다 높이고, 포트레이트 모드로 식별되면 피치 각도에 대한 가중치를 요 각도에 대한 가중치보다 높이도록 조정한다. 이로써, 사용자의 시청 관심도를 보다 정확하게 식별할 수 있다. 다만, 이는 다양한 가중치의 적용 방법 중 하나의 예시에 불과함을 밝힌다.
이상 실시예들에서 설명한 바와 같은 장치의 동작은, 해당 장치에 탑재된 인공지능에 의해 수행될 수 있다. 인공지능은 기계 학습 알고리즘을 활용하여 다양한 제반 시스템에 적용될 수 있다. 인공지능 시스템은 인간 수준 내지는 인간 수준에 버금가는 지능을 구현하는 컴퓨터 시스템으로서, 기계, 장치 또는 시스템이 자율적으로 학습하고 판단하며, 사용 경험의 누적에 기반하여 인식률 및 판단 정확도가 향상되는 시스템이다. 인공지능 기술은 입력되는 데이터들의 특징을 스스로 분류하고 학습하는 알고리즘을 이용한 기계학습 기술 및 알고리즘을 활용하여, 인간의 두뇌의 인지, 판단 등의 기능을 모사하는 요소 기술들로 구성된다.
요소 기술들은, 예를 들면 인간의 언어와 문자를 인식하는 언어적 이해 기술, 사물을 인간의 시각처럼 인식하는 시각적 이해 기술, 정보를 판단하여 논리적으로 추론하고 예측하는 추론 및 예측 기술, 인간의 경험 정보를 지식 데이터로 처리하는 지식 표현 기술, 차량의 자율 주행이나 로봇의 움직임을 제어하는 동작 제어 기술 중 적어도 어느 하나를 포함한다.
여기서, 언어적인 이해는 인간의 언어 또는 문자를 인식하고 응용 처리하는 기술로서, 자연어의 처리, 기계 번역, 대화 시스템, 질의 응답, 음성 인식 및 합성 등을 포함한다.
추론 예측은 정보를 판단하여 논리적으로 예측하는 기술로서, 지식 및 확률 기반 추론, 최적화 예측, 선호 기반 계획, 추천 등을 포함한다.
지식 표현은 인간의 경험 정보를 지식 데이터로 자동화 처리하는 기술로서, 데이터의 생성 및 분류와 같은 지식 구축, 데이터의 활용과 같은 지식 관리 등을 포함한다.
본 발명의 예시적 실시예에 따른 방법들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 이러한 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 예를 들어, 컴퓨터 판독 가능 매체는 삭제 가능 또는 재기록 가능 여부와 상관없이, USB 메모리장치와 같은 비휘발성 저장 장치, 또는 예를 들어 RAM, ROM, 플래시메모리, 메모리 칩, 집적 회로와 같은 메모리, 또는 예를 들어 CD, DVD, 자기 디스크 또는 자기 테이프 등과 같은 광학 또는 자기적으로 기록 가능함과 동시에 기계(예를 들어, 컴퓨터)로 읽을 수 있는 저장 매체에 저장될 수 있다. 이동 단말 내에 포함될 수 있는 메모리는 본 발명의 실시 예들을 구현하는 지시들을 포함하는 프로그램 또는 프로그램들을 저장하기에 적합한 기계로 읽을 수 있는 저장 매체의 한 예임을 알 수 있을 것이다. 본 저장 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어의 기술 분야에서 숙련된 기술자에게 공지되어 사용 가능한 것일 수도 있다. 또는, 본 컴퓨터 프로그램 명령은 컴퓨터 프로그램 프로덕트에 의해 구현될 수도 있다.
100 : 디스플레이장치
110 : 디스플레이부
120 : 카메라
160 : 프로세서

Claims (20)

  1. 디스플레이장치에 있어서,
    디스플레이와,
    카메라에 의해 촬상된 이미지로부터 사용자를 식별하고,
    상기 이미지에서 식별된 상기 사용자의 이격 거리 및 상기 사용자의 얼굴의 회전도를 식별하고,
    상기 식별된 이격 거리 및 상기 회전도에 기초하여 상기 사용자에 대응하는 컨텐트 영상을 상기 디스플레이에 표시하는 프로세서를 포함하는 디스플레이장치.
  2. 제1항에 있어서,
    상기 프로세서는, 상기 식별된 이격 거리 및 상기 회전도에 기초하여 상기 사용자의 시청 관심도를 식별하고, 상기 식별된 시청 관심도에 기초하여 상기 컨텐트 영상을 표시하는 디스플레이장치.
  3. 제2항에 있어서,
    상기 프로세서는, 상기 이미지에서 식별된 복수의 사용자 중에서 상기 식별된 시청 관심도에 대응하는 상기 사용자를 선별하고, 상기 선별된 사용자의 프로파일에 대응하는 컨텐트를 선택하는 디스플레이장치.
  4. 제3항에 있어서,
    상기 프로세서는, 상기 복수의 사용자의 시청 관심도를 비교하여, 소정 랭킹 이상의 사용자를 선별하는 디스플레이장치.
  5. 제3항에 있어서,
    상기 프로세서는, 상기 시청 관심도가 문턱값 이상인 상기 사용자를 선별하는 디스플레이장치.
  6. 제3항에 있어서,
    상기 프로세서는, 데모그래픽 모델을 사용하여 상기 식별된 사용자의 프로파일을 획득하는 디스플레이장치.
  7. 제2항에 있어서,
    상기 프로세서는, 상기 디스플레이장치의 장치 특성에 대응하는 가중치가 각기 부여된 상기 이격 거리 및 상기 회전도로부터 상기 시청 관심도를 산출하는 디스플레이장치.
  8. 제7항에 있어서,
    상기 회전도는, 상기 사용자의 얼굴의 피치 값 및 요 값에 기반하고,
    상기 프로세서는, 상기 디스플레이의 가로 세로 비를 식별하고,
    상기 디스플레이의 가로 길이가 세로 길이보다 길다고 식별되는 것에 기초하여, 상기 요 값에 대한 가중치를 높게 조정하고,
    상기 디스플레이의 세로 길이가 가로 길이보다 길다고 식별되는 것에 기초하여, 상기 피치 값에 대한 가중치를 높게 조정하는 디스플레이장치.
  9. 제1항에 있어서,
    상기 회전도는, 상기 사용자의 얼굴의 피치 값 및 요 값에 기반하는 디스플레이장치.
  10. 제1항에 있어서,
    상기 프로세서는, 상기 선별된 사용자의 프로파일에 대응하여 컨텐트를 선택하고, 상기 선택된 컨텐트의 영상을 표시하는 디스플레이장치.
  11. 제1항에 있어서,
    상기 프로세서는, 상기 선별된 사용자의 프로파일에 대응하는 컨텐트의 레이아웃을 선택하고, 상기 선택된 레이아웃에 따라서 컨텐트를 배치하여 영상을 표시하는 디스플레이장치.
  12. 디스플레이장치의 제어방법에 있어서,
    카메라에 의해 촬상된 이미지로부터 사용자를 식별하는 단계와,
    상기 이미지에서 식별된 상기 사용자의 이격 거리 및 상기 사용자의 얼굴의 회전도를 식별하는 단계와,
    상기 식별된 이격 거리 및 상기 회전도에 기초하여 상기 사용자에 대응하는 컨텐트 영상을 표시하는 단계를 포함하는 디스플레이장치의 제어방법.
  13. 제12항에 있어서,
    상기 식별된 이격 거리 및 상기 회전도에 기초하여 상기 사용자의 시청 관심도를 식별하고, 상기 식별된 시청 관심도에 기초하여 상기 컨텐트 영상을 표시하는 디스플레이장치의 제어방법.
  14. 제13항에 있어서,
    상기 이미지에서 식별된 복수의 사용자 중에서 상기 식별된 시청 관심도에 대응하는 상기 사용자를 선별하고, 상기 선별된 사용자의 프로파일에 대응하는 컨텐트를 선택하는 디스플레이장치의 제어방법.
  15. 제14항에 있어서,
    상기 복수의 사용자의 시청 관심도를 비교하여, 소정 랭킹 이상의 사용자를 선별하는 디스플레이장치의 제어방법.
  16. 제14항에 있어서,
    상기 시청 관심도가 문턱값 이상인 상기 사용자를 선별하는 디스플레이장치의 제어방법.
  17. 제14항에 있어서,
    데모그래픽 모델을 사용하여 상기 식별된 사용자의 프로파일을 획득하는 디스플레이장치의 제어방법.
  18. 제13항에 있어서,
    상기 디스플레이장치의 장치 특성에 대응하는 가중치가 각기 부여된 상기 이격 거리 및 상기 회전도로부터 상기 시청 관심도를 산출하는 디스플레이장치의 제어방법.
  19. 제18항에 있어서,
    상기 회전도는, 상기 사용자의 얼굴의 피치 값 및 요 값에 기반하고,
    상기 디스플레이장치는,
    디스플레이의 가로 세로 비를 식별하고,
    상기 디스플레이의 가로 길이가 세로 길이보다 길다고 식별되는 것에 기초하여, 상기 요 값에 대한 가중치를 높게 조정하고,
    상기 디스플레이의 세로 길이가 가로 길이보다 길다고 식별되는 것에 기초하여, 상기 피치 값에 대한 가중치를 높게 조정하는 디스플레이장치의 제어방법.
  20. 제12항에 있어서,
    상기 회전도는, 상기 사용자의 얼굴의 피치 값 및 요 값에 기반하는 디스플레이장치의 제어방법.
KR1020200070640A 2020-06-11 2020-06-11 디스플레이장치 및 그 제어방법 KR20210153826A (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020200070640A KR20210153826A (ko) 2020-06-11 2020-06-11 디스플레이장치 및 그 제어방법
US17/339,492 US11586279B2 (en) 2020-06-11 2021-06-04 Display apparatus and control method thereof
PCT/KR2021/007171 WO2021251733A1 (ko) 2020-06-11 2021-06-08 디스플레이장치 및 그 제어방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200070640A KR20210153826A (ko) 2020-06-11 2020-06-11 디스플레이장치 및 그 제어방법

Publications (1)

Publication Number Publication Date
KR20210153826A true KR20210153826A (ko) 2021-12-20

Family

ID=78825372

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200070640A KR20210153826A (ko) 2020-06-11 2020-06-11 디스플레이장치 및 그 제어방법

Country Status (3)

Country Link
US (1) US11586279B2 (ko)
KR (1) KR20210153826A (ko)
WO (1) WO2021251733A1 (ko)

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130260360A1 (en) * 2012-03-27 2013-10-03 Sony Corporation Method and system of providing interactive information
US20140026156A1 (en) * 2012-07-18 2014-01-23 David Deephanphongs Determining User Interest Through Detected Physical Indicia
KR101559313B1 (ko) 2013-11-20 2015-10-13 (주)아바비젼 디지털 사이니지를 이용한 맞춤형 광고서비스 제공시스템
KR102197098B1 (ko) 2014-02-07 2020-12-30 삼성전자주식회사 콘텐츠 추천 방법 및 장치
US9495008B2 (en) * 2014-06-27 2016-11-15 Amazon Technologies, Inc. Detecting a primary user of a device
WO2016200150A1 (en) * 2015-06-08 2016-12-15 Samsung Electronics Co., Ltd. Method and apparatus for providing content
CN106294489B (zh) 2015-06-08 2022-09-30 北京三星通信技术研究有限公司 内容推荐方法、装置及系统
JP5856344B1 (ja) * 2015-07-27 2016-02-09 正樹 房間 ３ｄ画像表示装置
US10684674B2 (en) * 2016-04-01 2020-06-16 Facebook Technologies, Llc Tracking portions of a user's face uncovered by a head mounted display worn by the user
CN109983532A (zh) * 2016-11-29 2019-07-05 夏普株式会社 显示控制装置、头戴式显示器、显示控制装置的控制方法以及控制程序
KR102636867B1 (ko) 2016-12-15 2024-02-19 엘지전자 주식회사 디지털 사이니지 및 그 제어 방법
CN108230293A (zh) 2017-05-31 2018-06-29 深圳市商汤科技有限公司 确定人脸图像质量的方法和装置、电子设备和计算机存储介质

Also Published As

Publication number Publication date
US20210389819A1 (en) 2021-12-16
US11586279B2 (en) 2023-02-21
WO2021251733A1 (ko) 2021-12-16

Similar Documents

Publication Publication Date Title
US10264177B2 (en) Methods and systems to obtain desired self-pictures with an image capture device
US10349126B2 (en) Method and apparatus for filtering video
JP7470137B2 (ja) 視覚的特徴をサウンドタグに相関させることによるビデオタグ付け
EP3509014A1 (en) Detecting objects in images
CN111328400A (zh) 用于神经网络的多任务学习的元学习
US11126140B2 (en) Electronic device, external device capable of being combined with the electronic device, and a display method thereof
KR102668429B1 (ko) 전자장치 및 그 제어방법
US20180197094A1 (en) Apparatus and method for processing content
US11172007B2 (en) Technologies for a seamless data streaming experience
US20210211575A1 (en) Adjusting image capture parameters via machine learning
US10937428B2 (en) Pose-invariant visual speech recognition using a single view input
JP2019179390A (ja) 注視点推定処理装置、注視点推定モデル生成装置、注視点推定処理システム、注視点推定処理方法、プログラム、および注視点推定モデル
WO2017083178A1 (en) Adaptive user presence awareness for smart devices
US11016630B2 (en) Virtual view-window
KR20200034296A (ko) 디스플레이장치 및 그 제어방법
KR20190062030A (ko) 영상 표시 장치 및 그 동작 방법
EP3687185A1 (en) Image display device and operation method thereof
KR20210051349A (ko) 전자장치 및 그 제어방법
EP3757878A1 (en) Head pose estimation
KR20210153826A (ko) 디스플레이장치 및 그 제어방법
KR20200013164A (ko) 전자 장치, 및 전자 장치의 제어 방법
US11651392B2 (en) Electronic apparatus and control method thereof
US9849387B1 (en) Interpretation of user device inputs
US20240212235A1 (en) Electronic device for generating a floor map image and method for controlling the same
KR20230069475A (ko) 전자장치 및 그 제어방법

Legal Events

Date Code Title Description
A201 Request for examination