KR20140138798A - 내재된 사용자 입력 및 행동에 기초한 미디어의 동적 각색을 위한 시스템 및 방법 - Google Patents

내재된 사용자 입력 및 행동에 기초한 미디어의 동적 각색을 위한 시스템 및 방법 Download PDF

Info

Publication number
KR20140138798A
KR20140138798A KR1020147027206A KR20147027206A KR20140138798A KR 20140138798 A KR20140138798 A KR 20140138798A KR 1020147027206 A KR1020147027206 A KR 1020147027206A KR 20147027206 A KR20147027206 A KR 20147027206A KR 20140138798 A KR20140138798 A KR 20140138798A
Authority
KR
South Korea
Prior art keywords
user
media
interest
display
presentation
Prior art date
Application number
KR1020147027206A
Other languages
English (en)
Other versions
KR101643975B1 (ko
Inventor
길라 캄히
론 페렌
Original Assignee
인텔 코오퍼레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인텔 코오퍼레이션 filed Critical 인텔 코오퍼레이션
Publication of KR20140138798A publication Critical patent/KR20140138798A/ko
Application granted granted Critical
Publication of KR101643975B1 publication Critical patent/KR101643975B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/458—Scheduling content for creating a personalised stream, e.g. by combining a locally stored advertisement with an incoming stream; Updating operations, e.g. for OS modules ; time-related management operations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8541—Content authoring involving branching, e.g. to different story endings

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Databases & Information Systems (AREA)
  • Social Psychology (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)

Abstract

적어도 하나의 센서로부터 캡처되는 사용자의 특징들에 기초하여, 사용자에게 미디어 디바이스 상에서 제시되는 다수의 시나리오를 갖는, 미디어를 동적으로 각색하는 시스템 및 방법. 미디어의 프리젠테이션 중, 적어도 하나의 센서는, 이에 제한되는 것은 아니지만, 제시중인 미디어의 주제에 대한 사용자의 관심 및/또는 주의를 나타내는 신체적 특징들을 포함하는 사용자 특징들을 캡처한다. 본 시스템은, 캡처된 사용자 특징들에 기초하여 사용자의 관심 레벨을 판정하고, 판정된 사용자 관심 레벨에 기초하여 사용자에게로의 미디어의 프리젠테이션을 관리하고, 사용자 관심 레벨에 따라서 사용자에게 제시할 시나리오를 선택한다.

Description

내재된 사용자 입력 및 행동에 기초한 미디어의 동적 각색을 위한 시스템 및 방법{SYSTEM AND METHOD FOR DYNAMIC ADAPTION OF MEDIA BASED ON IMPLICIT USER INPUT AND BEHAVIOR}
본 발명은 미디어 각색 시스템에 관한 것으로, 보다 구체적으로는, 미디어의 프리젠테이션 중 사용자의 특징에 기초한 미디어의 동적 각색을 위한 시스템 및 방법에 관한 것이다.
지금까지의 기술 진보에 의하면, 컴퓨팅 디바이스 및 전자공학이 광범위하게 이용가능하게 되었다. 마찬가지로, 이러한 디바이스에 이용가능한 디지털 미디어의 양 및 종류도 증가되었다. 일부 미디어는 어떠한 시나리오가 제시되는가를 판정함에 있어서 사용자가 능동적으로 참여하는 다수의 시나리오를 제공할 수 있다. 예를 들어, 비디오 게임의 상황에서, 게임플레이 중 특정 지점에서, 사용자가 선택할 수 있는 하나 이상의 스토리라인이 사용자에게 제시되고, 이에 의해 사용자에게 다양한 엔딩을 제공한다. 또한, 비디오 게임의 스토리라인은 게임플레이 중 사용자에 의해 실시된 지금까지의 판정에 기초하여 변경하여도 좋다. 이와 유사하게, 영화의 맥락에서, 일부 영화는 시청자가 선택할 수 있는 대안적인 엔딩을 포함하여도 좋다. 사용자에게 미디어가 제시되는 방법에 대하여 보다 많은 제어를 제공하는 것, 특히, 그들이 선택할 수 있는 다수의 시나리오를 제공하는 것은, 보유율 및 재생-가치를 향상시킨다. 그러나, 사용자 입력 기반의 일부 현재의 미디어 각색 시스템 및 방법은 제한적이다. 예를 들어, 일부 현재의 시스템 및 방법은 원하는 버전의 미디어를 선택하는데 있어서 사용자의 능동적인 참여를 요구하며, 이는 일부에게는 번거롭고 매력없는 것일 수 있다.
특허청구범위의 청구 대상의 이점 및 장점은 실시예에 따른 이하 상세한 설명으로부터 자명할 것이며, 이러한 설명은 첨부 도면을 참조하여 고려되어야 한다.
도 1은 본 발명의 다양한 실시예에 따라 미디어의 프리젠테이션 중 사용자의 특징에 기초하여 미디어를 동적으로 각색하는 시스템의 일 실시예를 도시하는 블럭도이다;
도 2는 본 발명의 다양한 실시예에 따라 미디어의 프리젠테이션 중 사용자의 특징에 기초하여 미디어를 동적으로 각색하는 시스템의 다른 실시예를 도시하는 블럭도이다;
도 3은 도 1의 시스템을 보다 상세히 도시하는 블럭도이다;
도 4는 본 발명의 다양한 실시예에 따른 얼굴 검출 모듈의 일 실시예를 도시하는 블럭도이다;
도 5는 본 발명의 다양한 실시예에 따른 시나리오 선택 모듈의 일 실시예를 도시하는 블럭도이다;
도 6은 본 발명에 따라 미디어의 시나리오를 선택하고 제시하는 일 실시예를 도시하는 순서도이다.
개략적으로, 본 발명은 일반적으로, 적어도 하나의 센서로부터 캡처되는 사용자의 특징에 기초하여, 미디어 디바이스 상에서 사용자에게 다수의 시나리오가 제시되는 미디어를 동적으로 각색하는 시스템 및 방법에 관한 것이다. 미디어의 프리젠테이션 중, 다양한 센서는, 사용자 관심을 나타내는 신체적 특징들 및/또는 제시중인 미디어의 주제에 관한 주의를 포함하지만, 이에 제한되지 않는, 사용자의 특정 속성들을 캡처하여도 좋다. 이러한 시스템은 캡처된 사용자 속성들에 기초하여 사용자의 관심 레벨을 판정하도록 구성되어도 좋다. 이러한 시스템은 또한 판정된 사용자 관심 레벨에 기초하여 사용자에게로의 미디어 프리젠테이션을 관리하도록 구성되어도 좋고, 사용자 관심 레벨에 기초하여 사용자에게로의 미디어의 시나리오 프리젠테이션을 판정하도록 구성되어도 좋다.
본 발명에 따른 시스템은, 사용자로부터의 능동적인 입력을 요구하지 않고도 사용자의 관심에 적합하도록 미디어의 재생을 각색하는 자동 수단을 제공하며(예를 들어, 선택을 하는 신호(cue)에 대한 사용자 응답 등), 이에 의해, 사용자에게 미디어를 제시하는 미디어 디바이스와 사용자 사이에 개선되고 직감적인 상호작용을 제공한다. 또한, 본 발명에 따른 시스템은 사용자를 위한 맞춤형 엔터테인먼트 체험을 제공하는데, 이는 사용자로 하여금 고유하고 동적인 버전의 미디어 연출을 실시간으로(또는 실시간에 가깝게) 판정할 수 있게 해 준다.
도 1을 참조하면, 본 발명에 따른 시스템(10)의 일 실시예가 개괄적으로 도시된다. 본 시스템(10)은, 미디어 각색 모듈(12), 적어도 하나의 센서(14), 미디어 프로바이더(16) 및 미디어 디바이스(18)를 포함한다. 본 명세서에 매우 상세히 논의되는 바와 같이, 미디어 각색 모듈(12)은, 예를 들어, 미디어 디바이스(18)의 디스플레이(19) 상에 미디어 프로바이더(16)로부터의 미디어 프리젠테이션 중 적어도 하나의 센서(14)로부터 캡처되는 데이터를 수신하도록 구성된다. 미디어 각색 모듈(12)은 캡처된 데이터에 기초하여 적어도 하나의 사용자 특징을 식별하도록 구성된다. 미디어 각색 모듈(12)은 또한 미디어 디바이스(18) 상에 제시되는 미디어에 관하여 사용자의 관심 레벨을 판정하도록 구성된다. 미디어 각색 모듈(12)은 또한 사용자의 관심 레벨에 기초하여 미디어 디바이스(18) 상의 미디어의 프리젠테이션을 각색하도록 구성된다. 도시된 실시예에서, 미디어 각색 모듈(12), 적어도 하나의 센서(14) 및 미디어 디바이스(18)는 상호 별개의 것이다. 다른 실시예에서는, 당업자에게 일반적으로 이해되는 바와 같이, 미디어 디바이스(18)는, 예를 들어, 도 2에 도시된 바와 같이, 미디어 각색 모듈(12) 및/또는 적어도 하나의 센서(14)를 선택적으로 포함하여도 좋다. 미디어 디바이스(18) 외부의 구성요소라기 보다는, 미디어 디바이스(18)의 일부로서의 미디어 각색 모듈(12) 및/또는 적어도 하나의 센서(14)의 선택적 포함은 도 2에 점선으로 표기된다.
도 3을 참조하면, 도 1의 시스템(10)이 보다 상세히 도시된다. 미디어 디바이스(18)는 미디어 프로바이더(16)에 의해 제공되는 콘텐츠의 비디오 및/또는 오디오 재생을 사용자에게 제공하도록 구성되어도 좋다. 특히, 미디어 프로바이더(16)는, 예를 들어, 디스플레이(19) 및/또는 스피커(도시되지 않음)에 의해, 미디어 디바이스(18) 상에서 사용자에게 시각적으로 및/또는 청각적으로 제시될 하나 이상의 미디어 파일(들)을 제공할 것이다. 미디어 디바이스(18)는, 이에 제한되는 것은 아니지만, 텔레비전, 전자 게시판, 디지털 신호들, PC(personal computer), 넷북, 테이블, 스마트 폰, PDA(portable digital assistant), PMP(portable media player), 전자책(e-book) 및 기타 컴퓨팅 디바이스를 포함할 수 있다.
미디어 디바이스(18)는 미디어 프로바이더(16)에 의해 제공되는 하나 이상의 미디어 파일들(20)을, 예를 들어, 유선 접속 또는 무선 접속 등 임의의 공지된 수단을 통해 액세스하도록 구성되어도 좋다. 일 실시예에서, 미디어 디바이스(18)는 네트워크(도시되지 않음)를 통해 미디어 파일들(20)을 액세스하도록 구성될 수 있다. 사용될 수 있는 적합한 네트워크의 비제한적 예로는, 인터넷, 개인 네트워크, VPN(Virtual Private Networks), PSTN(Public Switch Telephone Networks), ISDN(Integrated Services Digital Networks), DSL(Digital Subscriber Link networks), 무선 네트워크(예를 들어, 셀룰러 전화 네트워크 등), 데이터를 전달할 수 있는 기타 네트워크 및 이들의 조합이 포함된다. 일부 실시예에서는, 인터넷, 적어도 하나의 무선 네트워크, 적어도 하나의 셀룰러 전화 네트워크 및 이들의 조합으로부터 네트워크가 선택된다.
미디어 프로바이더(16)는, 이에 제한되는 것은 아니지만, 예를 들어, 미디어 디바이스(18) 상에서 실행가능한 비디오 및/또는 오디오 콘텐츠(예를 들어, 비디오, 음악, 게임 애플리케이션 등) 등의 콘텐츠를 제공하는 공적 웹사이트 및 사적 웹사이트, 소셜 네트워킹 웹사이트, 오디오 및/또는 비디오 웹사이트, 이들의 조합 등을 포함하여도 좋다. 미디어 프로바이더(16)는 또한, 이에 제한되는 것은 아니지만, 개인용 컴퓨터, VCR(Video Cassette Recorder), CD/DVD(Compact Disk/Digital Video Disk) 디바이스, 케이블 TV 신호를 수신하는 케이블 디코더, 위성 접시 신호를 수신하는 위성 디코더 및/또는 다양한 타입의 선택가능한 프로그래밍을 저장하고 제공하도록 구성되는 미디어 서버를 포함하는 선택가능한 다양한 소비자 전자 기기를 포함하여도 좋다.
미디어 파일(20)은, 예를 들어, 비디오 콘텐츠(예를 들어, 영화, 텔레비전 쇼 등), 오디오 콘텐츠(예를 들어, 음악 등), 전자책 콘텐츠, 소프트웨어 애플리케이션, 게임 애플리케이션 등 미디어 디바이스(18) 상에 제시될 수 있는 임의 타입의 디지털 미디어를 포함하여도 좋다. 이하의 예에서는, 비디오 파일의 동적 각색이 설명된다. 그러나, 본 발명에 따른 시스템 및 방법은, 음악, 전자책 및/또는 비디오 게임 등의 기타 미디어의 동적 각색도 포함할 수 있다는 점에 주의하여야 한다.
앞서 논의된 바와 같이, 미디어 각색 모듈(12)은 적어도 하나의 센서(14)로부터 캡처되는 데이터를 수신하도록 구성된다. 본 발명에 따른 시스템(10)은, 미디어 파일(20)의 콘텐츠에 관한 관심 및/또는 주의를 나타내는 사용자의 신체적 특징 등, 미디어 디바이스(18) 상에서 미디어 파일(20)의 프리젠테이션 중 사용자의 다양한 속성을 캡처하도록 구성되는 다수의 센서를 포함하여도 좋다. 예를 들어, 도시된 실시예에서는, 사용자의 디지털 이미지를 하나 이상 캡처하도록 구성되는 적어도 하나의 카메라(14)를 미디어 디바이스(18)가 포함한다. 카메라(14)는, 1명 이상의 사람을 포함하는 환경을 나타내는 디지털 이미지를 캡처하는 임의의 디바이스(이미 알려진 또는 향후 개발될)를 포함하며, 본 명세서에 설명되는 바와 같이 그 환경에서 1명 이상의 사람의 얼굴 분석을 위한 적절한 해상도를 가질 것이다.
예를 들어, 카메라(14)는, 스틸 카메라(즉, 스틸 사진을 캡처하도록 구성되는 카메라) 또는 비디오 카메라(즉, 복수의 프레임으로 복수의 동화상을 캡처하도록 구성되는 카메라)를 포함할 수 있다. 카메라(14)는 이미지를 가시 스펙트럼으로 또는 다른 부분의 전자기 스펙트럼(예를 들어, 이에 제한되는 것은 아니지만, 적외선 스펙트럼, 자외선 스펙트럼 등)에 의해 캡처하도록 구성되어도 좋다. 카메라(14)는, 예를 들어, 웹 카메라(개인용 컴퓨터 및/또는 TV 모니터와 관련됨), 핸드헬드 디바이스 카메라(예를 들어, 셀 폰 카메라, 스마트 폰 카메라(예를 들어, iPhone®, Trio®, Blackberry® 등과 관련된 카메라), 랩탑 컴퓨터 카메라, 태블릿 컴퓨터(예를 들어, 이에 제한되는 것은 아니지만, iPad®, Galaxy Tab® 등), 전자책 리더(예를 들어, 이에 제한되는 것은 아니지만, Kindle®, Nook® 등) 등을 포함하여도 좋다. 다른 실시예에서, 시스템(10)은, 예를 들어, 사용자의 음성 데이터를 캡처하도록 구성되는 하나 이상의 마이크로폰 등 사용자의 다양한 속성을 캡처하도록 구성되는 다른 센서들을 포함하여도 좋다.
도시된 실시예에서, 미디어 각색 모듈(12)은, 카메라(14)에 의해 캡처되는 하나 이상의 디지털 이미지(22)를 수신하도록 구성되는 얼굴 검출 모듈(24)을 포함한다. 얼굴 검출 모듈(24)은, 이미지(들)(22) 내의 얼굴 및/또는 얼굴 영역을 식별하고, 선택적으로, 사용자의 하나 이상의 특징들(즉, 사용자 특징(26))을 판정하도록 구성된다. 얼굴 검출 모듈(24)이 마커-기반 접근방식(marker-based approach)(즉, 사용자의 얼굴에 적용되는 하나 이상의 마커)을 사용하여도 좋지만, 일 실시예에서, 얼굴 검출 모듈(24)은 마커가 없는 접근방식(markerless-based approach)을 사용한다. 예를 들어, 얼굴 검출 모듈(24)은, 일반적으로 잘-정의되고 표준 포맷 이미지(예를 들어, 이에 제한되는 것은 아니지만, RGB 컬러 이미지 등)를 수신하도록 동작가능하며 이미지에서, 적어도 특정 부분, 얼굴을 인식하는 주문된(custom), 등록된(proprietary), 알려진 및/또는 향후-개발되는 얼굴 인식 코드(또는 명령어 세트), 하드웨어 및/또는 펌웨어를 포함하여도 좋다.
얼굴 검출 모듈(24)은, 일반적으로 잘-정의되고 표준 포맷 이미지(예를 들어, 이에 제한되는 것은 아니지만, RGB 컬러 이미지 등)를 수신하도록 동작가능하며 이미지에서, 적어도 특정 부분, 하나 이상의 얼굴 특징을 인식하는 주문된, 등록된, 알려진 및/또는 향후-개발되는 얼굴 인식 코드(또는 명령어 세트)를 포함하여도 좋다. 이러한 알려진 얼굴 특징 시스템은, 이에 제한되는 것은 아니지만, 공개된 OpenCVTM(Open Source Computer Vision) 패키지에서 발견될 수 있는, 표준 Viola-Jones 부스팅 캐스케이드 프레임워크를 포함한다. 본 명세서에 보다 상세히 논의되는 바와 같이, 사용자 특징(26)은, 이에 제한되는 것은 아니지만, 사용자 행동 특징(예를 들어, 이에 제한되는 것은 아니지만, 미디어 디바이스(18)의 디스플레이(19) 쪽을 바라봄, 미디어 디바이스(18)의 디스플레이(19) 상에 디스플레이되는 특정 주제 쪽을 바라봄 등) 및/또는 사용자 표정 특징(예를 들어, 행복, 슬픔, 미소, 찡그림, 놀람, 흥분됨, 동공 확장 등)을 포함하여도 좋다.
미디어 디바이스(18) 상의 미디어 파일(20) 프리젠테이션 중, 미디어 각색 모듈(12)은, 사용자를 계속 모니터하여, 실시간으로 또는 실시간에 가깝게 미디어 파일(20)의 콘텐츠와 관련된 사용자의 반응을 판정하도록 구성되어도 좋다. 보다 구체적으로, 카메라(14)는, 사용자의 이미지(22)를 하나 이상 계속 캡처하도록 구성되고, 얼굴 검출 모듈(24)은 하나 이상의 이미지(22)에 기초하여 사용자 특징(26)을 계속 수립하여도 좋다.
미디어 각색 모듈(12)은, 미디어 파일(20)의 프리젠테이션에 응답하여 사용자 특징(26)을 분석하고, 사용자 특성(26)에 기초하여 미디어 파일(20)의 대응 콘텐츠와 관련된 사용자의 관심 레벨을 판정하도록 구성되는 시나리오 선택 모듈(28)을 포함하여도 좋다. 본 명세서에 보다 상세히 설명되는 바와 같이, 시나리오 선택 모듈(28)은, 미디어 디바이스(18) 상에 제시되는 미디어 파일(20)의 대응 부분(예를 들어, 이에 제한되는 것은 아니지만, 영화의 장면, 전자책의 페이지 등) 및 관련 콘텐츠(예를 들어, 이에 제한되는 것은 아니지만, 해당 영화 장면에서 디스플레이되는 캐릭터 및 해당 페이지에 묘사되는 캐릭터 등)와 관련된 사용자 관심 레벨을 수립하도록 구성되어도 좋다. 시나리오 선택 모듈(28)은, 또한, 사용자 관심 레벨에 기초하여 사용자에게 제시할 하나 이상의 시나리오(32(1)-32(n))를 미디어 파일(20)의 시나리오 데이터베이스(30)로부터 선택하도록 구성되어도 좋다. 환언하면, 미디어 파일(20)의 프리젠테이션은 제시될 주제에 관한 사용자의 관심 레벨에 따라서 변하므로, 미디어 파일(20) 프리젠테이션의 동적 각색을 제공하게 된다.
본 발명에 따른 일 실시예에서, 미디어 파일(20)은 영화(이하, "영화(20)"라고도 함)를 포함하며, 미디어 각색 모듈(12)은 영화(20)의 콘텐츠와 관련된 사용자의 관심 레벨에 기초하여 영화(20)를 동적으로 각색하도록 구성되어도 좋다. 영화(20)는 영화의 소정 장면과 관련된 사용자의 관심 레벨에 따라서 영화 각색 모듈(12)이 선택하는 다양한 시나리오(32)를 포함하여도 좋다. 대안적인 엔딩과 유사하게, 상이한 시나리오(32)의 선택은 영화의 전체 스토리라인에 다양한 변화를 초래하게 될 것이다. 보다 구체적으로, 영화(20)는 스토리라인에서 소정 위치에 하나 이상의 판정 지점이 포함되는 전체 스토리라인을 포함하여도 좋다. 예를 들어, 영화의 특정 장면이 판정 지점으로서 표시되어도 좋고, 여기서는 한 장면의 콘텐츠에 관한 사용자의 관심 레벨이, 스토리라인이 어떻게 흘러갈 것인가를 판정하는데 있어서 핵심적인 것이 된다. 각각의 판정 지점은 하나 이상의 시나리오(32)와 관련된 것이어도 좋다. 각각의 시나리오(32)는, 영화(20)의 스토리리라인 중 상이한 부분을 포함하여도 좋고, 사용자의 관심 레벨과 관련되는 콘텐츠를 포함하여도 좋다. 판정 지점으로서 표시된 장면 중 사용자의 관심 레벨에 따라서, 사용자의 관심 레벨에 보다 잘 적응하도록 스토리라인이 변하여도 좋다. 보다 구체적으로, 사용자의 관심 레벨에 대응하는 콘텐츠를 포함하는 시나리오(32)가 선택되므로, 영화를 사용자의 관심에 맞추게 된다. 결과적으로, 영화(20)는 특정 사용자의 관심에 따른 다양한 버전을 영화(20)의 콘텐츠에 포함할 수 있다.
이제, 도 4를 참조하면, 본 발명에 따른 얼굴 검출 모듈(24a)의 일 실시예가 개괄적으로 도시된다. 얼굴 검출 모듈(24a)는, 이미지(22)를 수신하고, 이미지(22)에서, 적어도 일정 정도, 얼굴(또는 선택적으로 다수의 얼굴들)을 식별하도록 구성되어도 좋다. 얼굴 검출 모듈(24a)는, 또한, 이미지(22)에서, 적어도 일정 정도, 하나 이상의 얼굴 특징을 식별하고, 하나 이상의 사용자 특징(26)을 판정하도록 구성되어도 좋다. 사용자 특징(26)은 본 명세서에 논의되는 바와 같이 얼굴 검출 모듈(24a)에 의해 식별되는 하나 이상의 얼굴 파라미터에 기초하여 생성되어도 좋다. 사용자 특징(26)은, 이에 제한되는 것은 아니지만, 사용자 행동 특징(예를 들어, 이에 제한되는 것은 아니지만, 미디어 디바이스(18)의 디스플레이(19) 쪽을 바라봄, 미디어 디바이스(18) 상에 디스플레이되는 특정 주제를 바라봄 등) 및/또는 사용자 표정 특징(예를 들어, 웃음, 울음, 미소, 찡그림, 놀람, 흥분됨, 동공 확장 등)을 포함하여도 좋다.
예를 들어, 얼굴 검출 모듈(24a)의 일 실시예는, 얼굴 검출/추적 모듈(34), 얼굴 정상화 모듈(36), 랜드마크 검출 모듈(38), 얼굴 패턴 모듈(40), 얼굴 태도 모듈(42) 및 얼굴 표정 검출 모듈(44)을 포함한다. 얼굴 검출/추적 모듈(34)은 일반적으로 잘-정의되고, 카메라(14)로부터 수신되는 스틸 이미지 또는 비디오 스트림에서 인간 얼굴의 크기 및 위치를, 적어도 일정 정도, 검출하고 식별하도록 동작가능한 주문된, 등록된, 알려진 및/또는 향후-개발되는 얼굴 추적 코드(또는 명령어 세트)를 포함하여도 좋다. 이러한 알려진 얼굴 검출/추적 시스템은, 예를 들어, 2001년 컴퓨터 비전 및 패턴 인식에 관해 승인된 컨퍼런스에서 Paul Viola와 Michal Jones가 " Rapid Object Detection using a Boosted Cascade of Simple Features"로서 공표한 Viola와 Jones의 기술을 포함한다. 이들 기술은 AdaBoost(Adaptive Boosting) 분류자의 캐스케이드를 사용하여, 이미지 위에 철저히 윈도우를 스캐닝함으로써 얼굴을 검출한다. 얼굴 검출/추적 모듈(34)은 또한 다수 이미지(22)에 걸쳐 얼굴 또는 얼굴 영역을 추적하여도 좋다.
얼굴 정상화 모듈(36)은, 일반적으로 잘-정의되고 이미지(22)에서 식별된 얼굴을 정상화하도록 동작가능한 주문된, 등록된, 알려진 및/또는 향후-개발되는 얼굴 정상화 코드(또는 명령어 세트)를 포함하여도 좋다. 예를 들어, 얼굴 정상화 모듈(36)은, 이미지를 회전하여 눈을 정렬하고(눈의 좌표가 알려진 경우), 이미지를 얼굴 크기에 일반적으로 대응하는 보다 작은 크기로 잘라내고, 이미지 크기를 조정하여 눈 사이의 거리를 일정하게 하고, 전형적인 얼굴을 포함하는 계란형에 있지 않은 픽셀을 조정하는 마스크를 적용하고, 이미지를 히스토그램 이퀄라이즈하여 마스크되지 않은 픽셀들에 대한 그레이 값 분포를 매끄럽게 하고, 및/또는 이미지를 정상화하여 마스크되지 않은 픽셀들이 평균 제로이고 표준 편차가 1이 되도록 구성되어도 좋다.
랜드마크 검출 모듈(38)은, 일반적으로 잘-정의되고 이미지(22)에서 얼굴의 다양한 얼굴 특징들을, 적어도 일정 정도, 검출하고 식별하도록 동작가능한 주문된, 등록된, 알려진 및/또는 향후-개발되는 랜드마크 검출 코드(또는 명령어 세트)를 포함하여도 좋다. 랜드마그 검출에는 얼굴이 이미 검출되었다는 점이, 적어도 일정 정도, 내재되어 있다. 선택적으로, 어느 정도의 위치측정(예를 들어, 코스 위치 측정 등)이 (예를 들어, 얼굴 정상화 모듈(36)에 의해서) 수행되어 랜드마크가 잠재적으로 발견될 수 있는 이미지(22)의 구역/영역에 대해 식별하거나 및/또는 포커스를 맞출 수 있다. 예를 들어, 랜드마크 검출 모듈(38)은, 체험적 분석에 기초하여도 좋고, 눈(및/또는 눈의 가장자리), 코(예를 들어, 코 끝 등), 턱(예를 들어, 턱 끝 등), 광대뼈 및 입의 상대적 위치, 크기 및/또는 모양을 식별하고 및/또는 분석하도록 구성되어도 좋다. 이러한 알려진 랜드마크 검출 시스템은, 6개의 얼굴 지점(즉, 좌우 눈의 눈 가장자리 및 입 가장자리) 및 6개의 얼굴 지점(즉, 녹색 지점)을 포함한다. 눈 가장자리 및 입 가장자리는 또한 Viola-Jones 기반 분류자를 사용하여 검출되어도 좋다. 6개의 얼굴 지점에 기하학적 제한이 결합되어 이들의 기하학적 관계를 반영하여도 좋다.
얼굴 패턴 모듈(40)은, 일반적으로 잘-정의되고 이미지(22)에서 식별된 얼굴 랜드마크에 기초하여 얼굴 패턴을 식별하도록 및/또는 생성하도록 동작가능한 주문된, 등록된, 알려진 및/또는 향후-개발되는 얼굴 패턴 코드(또는 명령어 세트)를 포함하여도 좋다. 이해되는 바와 같이, 얼굴 패턴 모듈(40)은 얼굴 검출/추적 모드(34)의 일부로 고려되어도 좋다.
얼굴 태도 모듈(42)는, 일반적으로 잘-정의되고 이미지(22)에서 얼굴의 태도를, 적어도 일정 정도, 검출하고 식별하도록 동작가능한 주문된, 등록된, 알려진 및/또는 향후-개발되는 얼굴 성향 검출 코드(또는 명령어 세트)를 포함하여도 좋다. 예를 들어, 얼굴 태도 모듈(42)은, 미디어 디바이스(18)의 디스플레이(19)에 관하여 이미지(22)에서 얼굴의 태도를 수립하도록 구성되어도 좋다. 보다 구체적으로, 얼굴 태도 모듈(42)은, 사용자의 얼굴이 미디어 디바이스(18)의 디스플레이(19) 쪽으로 향하는지 여부를 판정하고, 이에 의해 사용자가 미디어 디바이스(18) 상에 디스플레이 중인 비디오(20)를 보고 있는지 여부를 나타낸다. 사용자의 얼굴 태도는 제시중인 영화(20)의 콘텐츠에 대한 사용자의 관심 레벨을 표시하는 것이어도 좋다. 예를 들어, 사용자가 미디어 디바이스(18)의 디스플레이(19) 쪽 방향으로 대면하고 있다고 판정되면, 사용자가 미디어 디바이스(18)의 디스플레이(19) 쪽 방향으로 대면하고 있지 않는 경우에 비하여, 영화(20)의 콘텐츠에 사용자가 보다 높은 레벨의 관심을 갖는다고 판정된다.
얼굴 표정 검출 모듈(44)은, 일반적으로 잘-정의되고 이미지(22)에서 사용자의 얼굴 표정을 검출하도록 및/또는 식별하도록 동작가능한 주문된, 등록된, 알려진 및/또는 향후-개발되는 얼굴 표정 검출 및/또는 식별 코드(또는 명령어 세트)를 포함하여도 좋다. 예를 들어, 얼굴 표정 검출 모듈(44)은, 얼굴 특징들(예를 들어, 눈, 입, 턱, 치아 등)의 크기 및/또는 위치를 판정하고, 이러한 얼굴 특징들을 대응 얼굴 특징 분류(예를 들어, 웃음, 울음, 미소, 찡그림, 흥분됨, 슬픔 등)에 의해 복수의 샘플 얼굴 특징들을 포함하는 얼굴 특징 데이터베이스에 대조하여도 좋다. 사용자의 표정은 제시중인 영화(20)의 콘텐츠에 대한 관심 레벨과 관련되어 있을 것이다.
얼굴 검출 모듈(24a)은, 또한, 눈 검출/추적 모듈(46) 및 동공 확장 검출 모듈(48)을 포함하여도 좋다. 눈 검출/추적 모듈(46)은, 일반적으로 잘-정의되고 이미지(22)에서 사용자의 눈 움직임 및/또는 눈 촛점을, 적어도 일정 정도, 검출하고 식별하도록 동작가능한 주문된, 등록된, 알려진 및/또는 향후-개발되는 눈 추적 코드(또는 명령어 세트)를 포함하여도 좋다. 얼굴 태도 모듈(42)과 유사하게, 눈 검출/추적 모듈(46)은 미디어 디바이스(18)의 디스플레이(19)에 관하여 사용자의 눈이 향하는 방향을 수립하도록 구성되어도 좋다. 보다 구체적으로, 눈 검출/추적 모듈(46)은, 사용자의 눈이 미디어 디바이스(18)의 디스플레이(19) 쪽으로 향하는지 여부를 판정하고, 이에 의해 사용자가 미디어 디바이스 상에서 디스플레이 중인 비디오(20)를 보고 있는지 여부를 나타내도록 구성되어도 좋다. 눈 검출/추적 모듈(46)은, 또한, 미디어 디바이스(18)의 디스플레이(19) 중 사용자의 눈이 향하고 있는 특정 영역을 판정하도록 구성되어도 좋다. 사용자의 눈이 향하고 있는 디스플레이(19)의 영역 판정은, 영화(20)의 하나 이상의 장면들이 제시되는 중, 디스플레이(19)의 그 특정 영역에 배치된 특정 주제에 대한 사용자의 관심을 나타낼 수 있다.
예를 들어, 사용자는 영화(20)의 특정 캐릭터에 관심이 있을 수 있다. 판정 지점과 관련된 장면 중, 눈 검출/추적 모듈(46)은, 사용자의 눈의 움직임을 추적하고, 사용자의 눈이 향하는 디스플레이(19)의 특정 영역을 식별하도록 구성되어도 좋고, 이러한 디스플레이(19)의 특정 영역은, 예를 들어, 사용자의 관심을 끄는 영화(20)의 특정 캐릭터와 관련된 것일 수 있다.
동공 확장 검출 모듈(48)은, 일반적으로 잘-정의되고 이미지(22)에서 눈의 특징을, 적어도 일정 정도, 검출하고 식별하도록 동작가능한 주문된, 등록된, 알려진 및/또는 향후-개발되는 눈 추적 코드(또는 명령어 세트)를 포함하여도 좋다. 동공 확장 검출에는 눈이 이미 검출되었다는 점이, 적어도 일정 정도, 내재되어 있다. 선택적으로, 어느 정도의 위치측정(예를 들어, 코스 위치 측정 등)이 수행되어(예를 들어, 눈 검출/추적 모듈(46)에 의해), 이미지(22)의 얼굴의 눈을 식별하거나 및/또는 눈에 포커스를 맞출 수 있다. 예를 들어, 동공 확장 검출 모듈(48)은, 체험적 분석에 기초하여도 좋고, 눈의 동공의 상대적 위치, 크기 및/또는 모양을 식별하고 및/또는 분석하도록 구성되어도 좋다. 일반적으로 이해되는 바와 같이, 한 사람의 동공의 크기 변화는 미디어 디바이스(18) 상에 제시중인 영화(20)의 콘텐츠에 대한 사용자의 관심을 나타낼 수 있다. 예를 들어, 동공의 확장은 관심의 레벨이 증가되었다는 것을 나타낼 수 있다.
얼굴 검출 모듈(24a)은 이미지(22)로부터 식별되는 하나 이상의 파라미터에 기초하여 사용자 특징(26)을 생성하여도 좋다. 일 실시예에서, 얼굴 검출 모듈(24a)은, 영화(20)의 스토리라인에서 소정 판정 지점에 발생하는 사용자 특징(26)을 생성하고, 이에 의해 대응 판정 지점과 관련된 콘텐츠에 대한 사용자의 반응(예를 들어, 이에 제한되는 것은 아니지만, 사용자 관심 및/또는 주의 등)을 제공하도록 구성되어도 좋다. 예를 들어, 사용자 특징(26)은, 이에 제한되는 것은 아니지만, 사용자 행동 특징(예를 들어, 이에 제한되는 것은 아니지만, 미디어 디바이스(18)의 디스플레이(19) 쪽으로 바라봄, 미디어 디바이스(18) 상에 디스플레이되는 특정 주제 쪽으로 바라봄 등) 및/또는 사용자 표정 특징(예를 들어, 웃음, 울음, 미소, 찡그림, 놀람, 흥분됨, 동공 확장 등)을 포함하여도 좋다. 이러한 사용자 특징(26)은, 시나리오 선택 모듈(28)에 의해, 현재 사용자에게 제시중인 영화(20)의 콘텐츠에 관한 사용자의 관심 레벨을 판정하고, 본 명세서에 논의되는 바와 같이, 이러한 사용자의 관심 레벨에 기초하여 사용자에게 제시될 영화(20)의 시나리오(32)를 선택하는데 사용된다.
도 5를 참조하면, 본 발명에 따른 시나리오 선택 모듈(28a)의 일 실시예가 개괄적으로 도시된다. 시나리오 선택 모듈(28a)은, 얼굴 검출 모듈(24)에 의해 식별되는 사용자 특징(26)에, 적어도 부분적으로 기초하여, 영화(20)의 시나리오 데이터베이스(30)로부터 적어도 하나의 시나리오(32)를 선택하도록 구성된다. 보다 구체적으로, 시나리오 선택 모듈(28a)은, 얼굴 검출 모듈(24)에 의해 식별되고 생성되는 사용자 특징(26)에 기초하여 장면(들)의 콘텐츠에 관한 사용자의 관심 레벨을 판정하고, 이러한 사용자의 관심 레벨에 기초하여 시나리오를 선택하도록 구성되어도 좋다.
도시된 실시예에서, 시나리오 선택 모듈(28a)은 관심 레벨 모듈(50) 및 판정 모듈(52)을 포함한다. 본 명세서에 설명되는 바와 같이, 판정 모듈(52)은, 관심 레벨 모듈(50)의 분석에, 적어도 부분적으로 기초하여, 시나리오(32)를 선택하도록 구성된다. 관심 레벨 모듈(50)은 사용자 특징(26)에 기초하여 사용자 관심 레벨을 판정하도록 구성되어도 좋다. 예를 들어, 관심 레벨 모듈(50)은, 영화(20)의 스토리라인에서 판정 지점 중 사용자의 행동(예를 들어, 이에 한정되는 것은 아니지만, 미디어 디바이스(18)의 디스플레이(19) 쪽으로 바라봄, 미디어 디바이스(18) 상에 디스플레이되는 특정 주제 쪽으로 바라봄 등) 및/또는 사용자의 표정(예를 들어, 웃음, 울음, 미소, 찡그림, 놀람, 흥분됨, 동공 확장 등)을 분석하고, 판정 지점 타임프레임 내에서 표시되는 콘텐츠에 관련된 관심 레벨을 판정하도록 구성되어도 좋다.
예를 들어, 사용자가 미디어 디바이스(18)의 디스플레이(19)를 대면하고 있다는 것을 사용자 특징 데이터(26)가 나타내면(예를 들어, 얼굴 태도 모듈(42)에 의해 판정되는 바와 같이), 관심 레벨 모듈(50)은, 사용자가 시청중인 영화(20)의 콘텐츠가 호의적이며, 따라서 사용자가 관심을 갖는다는 것으로 추정할 것이다. 사용자가 디스플레이(19)로부터 먼 방향으로 대면하고 있다는 것을 사용자 특징 데이터(26)가 나타내면, 관심 레벨 모듈(50)은, 사용자가 디스플레이 중인 영화(20)의 콘텐츠에 관심이 거의 없거나 관심이 없다는 것으로 추정할 것이다. 사용자가 웃고 있거나, 미소를 지고 있거나 또는 찡그리고 있다는 것을 사용자 특징 데이터(26)가 나타내면(예를 들어, 얼굴 표정 검출 모듈(44)에 의해 판정되는 바와 같이), 관심 레벨 모듈(50)은, 사용자가 시청중인 영화(20)의 콘텐츠에 관심을 갖는다는 것으로 추정할 것이다. 사용자가 디스플레이(19)의 특정 영역을 보고 있다는 것을 사용자 특징 데이터(26)가 나타내면(예를 들어, 눈 검출/추적 모듈(46)에 의해 판정되는 바와 같이), 관심 레벨 모듈(50)은, 디스플레이(19)의 그 영역의 주제(예를 들어, 캐릭터 등)에 사용자가 관심을 갖는다는 것으로 추정할 것이다. 사용자의 동공이 확장하거나 또는 직경이 증가된다는 것을 사용자 특징 데이터(26)가 나타내면(예를 들어, 동공 확장 검출 모듈(48)에 의해 판정되는 바와 같이), 관심 레벨 모듈(50)은, 디스플레이 중인 영화(20)의 콘텐츠에 사용자가 관심을 갖는다는 것으로 추정할 것이다.
판정 모듈(52)은, 관심 레벨 모듈(50)로부터의 사용자 특징(26)과 관련된 관심 레벨을 평가하도록(weigh) 및/또는 순위를 매기도록(rank) 구성되고, 관심 레벨에 기초하여 사용자에게 제시할 시나리오(32)를 식별하도록 구성되어도 좋다. 예를 들어, 판정 모듈(52)은, 체험 분석, 최적 타입 분석, 회귀 분석, 통계적 추론, 통계적 유도 및/또는 추론적 통계에 기초하여 시나리오 세트 32(1)-32(n)로부터 시나리오(32)를 선택하여도 좋다.
일 실시예에서, 관심 레벨 모듈(50)은 사용자의 전체 관심 레벨을 생성하도록 구성되어도 좋다. 전체 관심 레벨이 제1 소정의 임계값을 충족 또는 초과하거나 또는 제2 소정 임계값 이하로 내려가면, 판정 모듈(52)은, 전체 관심 레벨과 관련된 시나리오(32)를 식별하여, 영화(20)의 스토리라인을 사용자의 관심에 보다 적합하게 각색하도록 구성되어도 좋다. 예를 들어, 판정 지점과 관련된 하나 이상의 장면을 시청할 때 사용자가 특정 캐릭터에 높은 관심 레벨을 갖는다고 판정되면, 판정 모듈(52)은, 사용자의 높은 관심 레벨에 대응하는 시나리오(32)를 식별하도록 구성되어도 좋고, 이러한 시나리오(32)는 관심 캐릭터에 보다 촛점이 맞추어진 장면을 포함할 것이다. 시나리오(32) 판정 및 선택시, 판정 모듈(52)이 반드시 모든 사용자 특징 데이터(26)를 고려해야만 하는 것은 아니다.
예를 들어, 전체 관심 레벨이, 제1 소정 임계값을 충족 또는 초과하는데 실패하고, 제2 소정 임계값 아래로 내려가는데 실패하면, 판정 모듈(52)은 디폴트로 영화(32)의 스토리라인의 자연스러운 진행을 제시할 것이며, 사용자에게 제시할 상이한 시나리오(32)를 능동적으로 선택하지 않을 것이다. 물론, 이러한 예들이 배타적인 것은 아니며, 판정 모듈(52)이 다른 선택 기술 및/또는 기준을 활용하여도 좋다.
도 6을 참조하면, 본 발명에 따른 미디어의 시나리오 선택 및 제시 방법(600)의 일 실시예의 순서도가 도시된다. 본 방법(600)은 하나 이상의 사용자 이미지를 수신하는 단계를 포함한다(단계 610). 이러한 이미지는 하나 이상의 카메라를 사용하여 캡처되어도 좋다. 캡처된 이미지 내에서 얼굴 및/또는 얼굴 영역이 식별되고, 적어도 하나의 사용자 특징이 판정될 것이다(단계 620). 특히, 이러한 이미지는 하나 이상의 이하의 사용자 특징들: 사용자 행동(예를 들어, 미디어 디바이스의 디스플레이 쪽으로 바라봄, 미디어 디바이스 상에서 디스플레이되는 콘텐츠의 특정 주제 쪽으로 바라봄 등); 및/또는 사용자의 정서 식별(예를 들어, 웃음, 울음, 미소, 찡그림, 놀람, 흥분됨, 동공 확장 등)을 판정하도록 분석될 것이다.
본 방법(600)은, 또한, 사용자 특징들에 기초하여 사용자에게 제시할 미디어 파일의 시나리오를 식별하는 단계를 포함한다(단계 630). 예를 들어, 본 방법(600)은, 사용자 특징들에 기초하여 사용자의 관심 레벨을 판정하고, 사용자에게 제시할 미디어 파일의 특정 시나리오를 식별하여도 좋다. 본 방법(600)은, 또한, 프리젠테이션용으로 식별된 시나리오를 사용자에게 제공하는 단계를 포함한다(단계 640). 예를 들어, 식별된 시나리오는 미디어 디바이스 상에서 사용자에게 제시되어도 좋다. 그리고, 본 방법(600)은 이러한 과정을 반복하여도 좋다.
도 6은 다양한 실시예에 따른 방법 단계들을 도시하지만, 임의의 실시예에서는 이들 단계 모두가 필요한 것이 아니라는 점이 이해되어야 한다. 실제, 본 발명의 다른 실시예에서는, 도 6에 도시된 단계가 임의의 도면에 특정하게 도시되지 않은 방식으로 조합되어도 좋다는 점이 본 명세서에 모두 고려되며, 여전히 본 발명에 완전히 따르는 것이다. 따라서, 한 도면에 명확하기 도시되지 않은 특징들 및/또는 동작들에 관한 특허청구범위는 본 발명의 범위 및 내용 내의 것이다.
또한, 실시예들에 대한 동작들은 상술된 도면 및 첨부 예들을 참조하여 상세히 설명되었다. 도면 중 일부는 논리 흐름을 포함할 수 있다. 본 명세서에 제공되는 이러한 도면이 특정 논리 흐름을 포함하더라도, 이러한 논리 흐름은 단지 본 명세서에 개시되는 일반적인 기능이 어떻게 구현되는가의 예를 제공한다는 점이 이해되어야 한다. 또한, 그렇지않다고 표시되지 않는다면 이러한 논리 흐름이 반드시 순서대로 실행되어야 하는 것은 아니다. 또한, 이러한 논리 흐름은, 하드웨어 엘리먼트, 프로세서에 의해 실행되는 소프트웨어 엘리먼트, 또는 이들의 임의의 조합으로 구현되어도 좋다. 실시예들이 이러한 맥락으로 한정되는 것은 아니다.
본 발명에 따른 시스템 및 방법은 사용자로부터의 능동적인 입력(예를 들어, 선택을 행하는 신호에 대한 사용자 응답)을 요구하지 않고도 사용자의 관심에 맞추어 미디어의 재생을 각색하는 수단을 제공하며, 이에 의해 사용자에게 미디어를 제시하는 미디어 디바이스와 사용자 사이에 개선되고 직관적인 상호작용을 제공한다. 특히, 본 시스템 및 방법은, 예를 들어, 영화나 책 등 미디어의 스토리라인의 동적 각색을 제공하고, 궁극적으로 동일한 영화나 책의 다양한 버전을 제공하여, 보유율을 증가시키고, 재생 가치를 향상시킨다. 또한, 본 발명에 따른 시스템은 사용자에 대해 맞춤형 엔터테인먼트 체험을 제공하므로, 사용자로 하여금 고유하고 동적인 버전의 미디어 제시를 실시간으로(또는 거의 실시간으로) 체험할 수 있게 한다.
본 명세서에서 임의의 실시예에 사용된 바와 같이, "모듈"이라는 용어는, 상술된 동작들 중 임의의 것을 수행하도록 구성되는 소프트웨어, 펌웨어 및/또는 회로를 지칭할 수 있다. 소프트웨어는, 비-임시(non-transitory) 컴퓨터 판독가능 스토리지 매체 상에 기록되는 소프트웨어 패키지, 코드, 명령어, 명령어 세트 및/또는 데이터로서 구현되어도 좋다. 펌웨어는, 메모리 디바이스에 하드-코드되는(hard-coded)(예를 들어, 불휘발성 등) 코드, 명령어 또는 명령어 세트 및/또는 데이터로서 구현되어도 좋다. 본 명세서의 임의의 실시예에서 사용되는 바와 같이, "회로"는, 예를 들어, 내장 배선(hard-wired) 회로, 하나 이상의 개별 명령 처리 코어를 포함하는 컴퓨터 프로세서 등의 프로그래머블 회로, 스테이트 머신 회로, 및/또는 프로그래머블 회로에 의해 실행되는 명령어를 저장하는 펌웨어를, 단일로 또는 임의의 조합으로 포함하여도 좋다. 모듈은, 예를 들어, IC(Integrated Circuit), SoC(System on-Chip), 데스크탑 컴퓨터, 랩탑 컴퓨터, 태블릿 컴퓨터, 서버, 스마트 폰 등 보다 큰 시스템의 일부를 구성하는 회로로서, 집합적으로 또는 개별적으로, 구현되어도 좋다.
본 명세서에 개시된 임의의 동작들은, 하나 이상의 프로세서에 의해 실행될 때 이러한 방법을 수행하는 명령어들을, 개별적으로 또는 조합으로, 저장하는 하나 이상의 스토리지 매체를 포함하는 시스템에 구현되어도 좋다. 여기서, 프로세서는, 예를 들어, 서버 CPU, 모바일 디바이스 CPU, 및/또는 다른 프로그래머블 회로를 포함하여도 좋다. 또한, 하나보다 많은 상이한 물리적 위치에서의 처리 구조 등 복수의 물리적 디바이스에 걸쳐 본 명세서에 개시되는 동작들이 분배되는 것도 고려된다. 스토리지 매체는, 예를 들어, 하드 디스크, 플로피 디스크, 광 디스크, CD-ROMs(Compact Disk Read Only Memories), CD-RWs(Compact Disk Rewritables) 및 자기-광 디스크를 포함하는 임의 타입의 디스크, ROMs(Read Only Memories), 다이나믹 및 스태틱 RAM 등의 RAM(Random Access Memories), EPROMS(Erasable Programmable Read Only Memories), 플래시 메모리, SSDs(Solid State Disks), 자기 또는 광 카드 등의 반도체 디바이스 또는 전자 명령어들을 저장하기에 적합한 임의 타입의 적합한 매체 등, 임의 타입의 유형의 매체를 포함하여도 좋다. 다른 실시예들은 프로그래머블 컨트롤 디바이스에 의해 실행되는 소프트웨어 모듈로서 구현되어도 좋다. 스토리지 매체는 비-일시형(non-transitory)이어도 좋다.
본 명세서에 개시되는 바와 같이, 다양한 실시예는 하드웨어 엘리먼트, 소프트웨어 엘리먼트 또는 이들의 조합으로 구현될 수 있다. 하드웨어 엘리먼트의 예들은, 프로세서, 마이크로프로세서, 회로, 회로 엘리먼트(예를 들어, 트랜지스터, 저항, 커패시터, 인덕터 등), 집적 회로, ASIC(Application Specific Integrated Circuits), PLD(Programmable Logic Devices), DSP(Digital Signal Processors), FPGA(Field Programmable Gate Array), 논리 게이트, 레지스터, 반도체 디바이스, 칩, 마이크로칩, 칩셋 등을 포함할 수 있다.
본 명세서에서 "하나의 실시예" 또는 "일 실시예"라는 것은, 해당 실시예와 관련하여 개시되는 특정 특징, 구조 또는 특성이 적어도 하나의 실시예에 포함된다는 것을 의미한다. 따라서, 본 명세서의 여러 곳에서 "하나의 실시예에서" 또는 "일 실시예에서"라는 문구가 모두 동일 실시예를 지칭하여야만 하는 것은 아니다. 또한, 특정 특징, 구조 또는 특성은 하나 이상의 실시예에서 임의의 적합한 방식으로 조합되어도 좋다.
본 명세서의 일 양상에 따르면, 사용자에게로의 미디어의 프리젠테이션을 동적으로 각색하는 장치가 제공된다. 본 장치는, 사용자의 이미지를 수신하고, 이미지에서 얼굴 영역을 검출하여, 이미지에서 사용자의 하나 이상의 사용자 특징을 식별하도록 구성되는 얼굴 검출 모듈을 포함한다. 사용자 특징은 미디어의 대응하는 주제와 관련된다. 본 장치는, 하나 이상의 사용자 특징과 관련된 데이터를 수신하고, 하나 이상의 사용자 특징과 관련된 데이터에 적어도 부분적으로 기초하여, 사용자에게로의 프리젠테이션을 위한 미디어와 관련된 복수의 시나리오 중 적어도 하나를 선택하도록 구성되는 시나리오 선택 모듈을 더 포함한다.
다른 장치의 예는, 앞서 설명한 구성요소를 포함하고, 시나리오 선택 모듈은, 하나 이상의 사용자 특징과 관련된 데이터에 기초하여 미디어의 주제에 대한 사용자의 관심 레벨을 판정하도록 구성되는 관심 레벨 모듈, 및 사용자의 관심 레벨에 기초하여 사용자에게로의 프리젠테이션을 위한 적어도 하나의 시나리오를 식별하도록 구성되는 판정 모듈을 포함하고, 식별된 적어도 하나의 시나리오는 사용자의 관심 주제와 관련된 주제를 갖는다.
다른 장치의 예는, 앞서 설명한 구성요소를 포함하고, 사용자의 수신 이미지는, 사용자에게로의 미디어의 프리젠테이션 중 카메라에 의해 캡처되는 정보를 포함한다.
다른 장치의 예는, 앞서 설명한 구성요소를 포함하고, 시나리오 선택 모듈은, 사용자에게로의 프리젠테이션을 위한 디스플레이를 갖는 미디어 디바이스에 적어도 하나의 선택된 시나리오를 제공하도록 구성된다.
다른 장치의 예는, 앞서 설명한 구성요소를 포함하고, 하나 이상의 사용자 특징은, 디스플레이에 대한 사용자의 얼굴 방향 및 이동, 디스플레이에 대한 사용자의 눈 방향 및 이동, 디스플레이에 대한 사용자의 시선의 촛점, 사용자의 동공 확장 및 사용자의 하나 이상의 얼굴 표정을 포함하는 그룹으로부터 선택된다.
다른 장치의 예는, 앞서 설명한 구성요소를 포함하고, 얼굴 검출 모듈은, 미디어의 프리젠테이션 중 사용자의 시선이 모아지는 디스플레이의 하나 이상의 영역을 식별하도록 더욱 구성되고, 식별된 영역은 디스플레이의 식별된 영역 내에서 제시되는 주제에 대한 사용자의 관심을 나타낸다.
다른 장치의 예는, 앞서 설명한 구성요소를 포함하고, 사용자의 하나 이상의 얼굴 표정은, 웃음, 울음, 미소, 찡그림, 놀람 및 흥분으로 구성되는 그룹으로부터 선택된다.
다른 장치의 예는, 앞서 설명한 구성요소를 포함하고, 얼굴 검출 모듈은, 미디어의 프리젠테이션 중 소정 판정 지점에서 사용자의 하나 이상의 사용자 특징을 식별하도록 구성된다.
다른 장치의 예는, 앞서 설명한 구성요소를 포함하고, 미디어는 복수의 비디오 프레임을 갖는 비디오 파일을 포함한다.
다른 장치의 예는, 앞서 설명한 구성요소를 포함하고, 소정의 판정 지점 각각은 비디오 파일의 하나 이상의 관련 비디오 프레임에 대응한다.
다른 장치의 예는, 앞서 설명한 구성요소를 포함하고, 비디오 파일의 하나 이상의 비디오 프레임은 적어도 하나의 시나리오에 대응한다.
다른 양상에 따르면, 저장된 명령어들을 포함하는 적어도 하나의 컴퓨터 액세스가능한 매체가 제공된다. 하나 이상의 프로세서에 의해 실행될 때, 이들 명렁어는 컴퓨터 시스템으로 하여금 사용자에게로의 미디어의 프리젠테이션을 동적으로 각색하기 위한 동작들을 수행하도록 한다. 이러한 동작들은, 사용자의 이미지를 수신하는 단계, 사용자의 이미지에서 얼굴 영역을 검출하는 단계, 이미지에서 사용자의 하나 이상의 사용자 특징을 식별하는 단계 - 하나 이상의 사용자 특징은 미디어의 대응하는 주제와 관련됨 -, 식별된 하나 이상의 사용자 특징에, 적어도 부분적으로 기초하여, 사용자에게로의 프리젠테이션을 위한 미디어와 관련된 복수의 시나리오 중 적어도 하나를 식별하는 단계 및 사용자에게로의 프리젠테이션을 위한 적어도 하나의 식별된 시나리오를 제공하는 단계를 포함한다.
다른 컴퓨터 액세스가능한 매체의 예는, 앞서 설명한 동작들을 포함하고, 하나 이상의 사용자 특징을 분석하는 단계, 및 하나 이상의 사용자 특징에 기초하여 미디어의 주제에 대한 사용자의 관심 레벨을 판정하는 단계를 더 포함한다.
다른 컴퓨터 액세스가능한 매체의 예는, 앞서 설명한 동작들을 포함하고, 사용자에게로의 프리젠테이션을 위한 미디어의 시나리오를 식별하는 단계가, 주제에 대한 사용자의 관심 레벨을 분석하는 단계 및 사용자의 관심 레벨에 기초하여 사용자에 관심의 주제인 것과 관련되는 주제를 갖는 미디어의 복수의 시나리오 중 적어도 하나를 식별하는 단계를 더 포함한다.
다른 컴퓨터 액세스가능한 매체의 예는, 앞서 설명한 동작들을 포함하고, 사용자에게로의 미디어의 프리젠테이션 중 복수의 소정 판정 지점 중 하나에서 캡처되는 사용자의 이미지에서 얼굴 영역을 검출하는 단계 및 이미지에서 사용자의 하나 이상의 특징을 식별하는 단계를 더 포함한다.
본 발명의 다른 양상에 따르면, 사용자에게로의 미디어의 프리젠테이션을 동적으로 각색하기 위한 방법이 제공된다. 본 방법은, 얼굴 검출 모듈에 의해, 사용자의 이미지를 수신하는 단계, 얼굴 검출 모듈에 의해, 사용자의 이미지에서 얼굴 영역을 검출하는 단계, 및 얼굴 검출 모듈에 의해, 이미지에서 사용자의 하나 이상의 특징을 식별하는 단계를 포함한다. 하나 이상의 사용자 특징은 미디어의 대응하는 주제와 관련된다. 본 방법은, 시나리오 선택 모듈에 의해, 사용자의 하나 이상의 사용자 특징과 관련된 데이터를 수신하는 단계, 시나리오 선택 모듈에 의해, 하나 이상의 사용자 특징과 관련된 데이터에 기초하여 사용자에게로의 프리젠테이션을 위한 미디어와 관련된 복수의 시나리오 중 적어도 하나를 식별하는 단계, 및 시나리오 선택 모듈에 의해, 사용자에게로의 프리젠테이션을 위한 적어도 하나의 시나리오를 제공하는 단계를 더 포함한다.
다른 방법의 예는, 앞서 설명한 동작들을 포함하고, 시나리오 선택 모듈은 관심 레벨 모듈 및 판정 모듈을 포함한다.
다른 방법의 예는, 앞서 설명한 동작들을 포함하고, 관심 레벨 모듈에 의해, 하나 이상의 사용자 특징과 관련된 데이터를 분석하는 단계, 및 관심 레벨 모듈에 의해, 하나 이상의 사용자 특징과 관련된 데이터에 기초하여 미디어의 주제에 대한 사용자의 관심 레벨을 판정하는 단계를 더 포함한다.
다른 방법의 예는, 앞서 설명한 동작들을 포함하고, 판정 모듈에 의해, 주제에 대한 사용자의 관심 레벨을 분석하는 단계, 및 판정 모듈에 의해, 사용자의 관심 레벨에 기초하여 사용자의 관심 주제와 관련된 주제를 갖는 미디어의 복수의 시나리오 중 적어도 하나를 식별하는 단계를 더 포함한다.
다른 방법의 예는, 앞서 설명한 동작들을 포함하고, 사용자의 수신 이미지는, 사용자에게로의 미디어의 프리젠테이션 중 카메라에 의해 캡처되는 정보를 포함한다.
다른 방법의 예는, 앞서 설명한 동작들을 포함하고, 사용자에게로의 프리젠테이션을 위한 적어도 하나의 식별된 시나리오를 제공하는 단계는, 사용자에게로의 프리젠테이션을 위한 디스플레이를 갖는 미디어 디바이스에 식별된 시나리오와 관련된 데이터를 송신하는 단계를 포함한다.
다른 방법의 예는, 앞서 설명한 동작들을 포함하고, 사용자 특징은, 디스플레이에 대한 사용자의 얼굴 방향 및 이동, 디스플레이에 대한 사용자의 눈 방향 및 이동, 디스플레이에 대한 사용자의 시선의 촛점, 사용자의 동공 확장 및 사용자의 하나 이상의 얼굴 표정을 포함하는 그룹으로부터 선택된다.
다른 방법의 예는, 앞서 설명한 동작들을 포함하고, 이미지에서 사용자의 하나 이상의 사용자 특징들을 식별하는 단계는, 얼굴 검출 모듈에 의해, 디스플레이 상에 미디어의 프리젠테이션 중 사용자의 시선이 집중되는 디스플레이의 하나 이상의 영역을 식별하는 단계를 포함하고, 식별된 영역은 디스플레이의 식별된 영역 내에 제시되는 주제에 대한 사용자의 관심을 나타낸다.
다른 방법의 예는, 전술한 동작들을 포함하고, 사용자의 하나 이상의 얼굴 표정은, 웃음, 울음, 미소, 찡그림, 놀람 및 흥분을 포함하는 그룹으로부터 선택된다.
본 명세서에 채택된 용어 및 표현은 설명의 용어로서 사용된 것으로 이에 제한되는 것은 아니며, 이러한 용어 및 표현의 사용에 있어서, 도시되고 설명된(또는 그 일부)과 임의의 등가물들을 배제하려는 의도는 아니며, 특허청구범위의 범위 내에서 다양한 변경들이 가능하다는 것이 인식된다. 따라서, 특허청구범위는 이러한 등가물들을 모두 커버하려는 의도이다.
본 명세서에 다양한 특징, 양상 및 실시예들이 설명되었다. 이러한 특징, 양상 및 실시예들은 변형 및 및 변경 뿐만 아니라 상호 조합도 가능하며, 당업자들에게는 이러한 점이 이해될 것이다. 따라서, 본 발명은 이러한 조합, 변형 및 변경을 포함하는 것으로 고려되어야 할 것이다. 따라서, 본 발명의 사상 및 범위는 앞서 설명된 실시예 중 임의의 것으로 제한되서는 안되며, 이하의 특허청구범위 및 그 등가물에 따라서만 정의되어야 할 것이다.

Claims (21)

  1. 사용자에게로의 미디어의 프리젠테이션을 동적으로 각색(adapt)하는 시스템으로서,
    사용자에게 미디어를 제시하기 위한 디스플레이;
    상기 디스플레이 상의 상기 미디어의 프리젠테이션 중에 상기 사용자의 하나 이상의 이미지들을 캡처하도록 구성된 카메라;
    상기 하나 이상의 이미지들에서 얼굴 영역을 검출하고, 상기 하나 이상의 이미지들에서 상기 사용자의 하나 이상의 사용자 특징들을 식별하도록 구성된 얼굴 검출 모듈 - 상기 사용자 특징들은 상기 미디어의 대응하는 주제(subject matter)와 연관됨 -; 및
    상기 하나 이상의 사용자 특징들과 관련된 데이터를 수신하고, 상기 하나 이상의 사용자 특징들과 관련된 상기 데이터에 적어도 부분적으로 기초하여 상기 디스플레이 상의 상기 사용자에게로의 상기 미디어의 프리젠테이션을 각색하도록 구성된 미디어 각색 시스템
    을 포함하는 시스템.
  2. 제1항에 있어서,
    상기 미디어 각색 시스템은, 상기 하나 이상의 사용자 특징들에 관련된 상기 데이터에 기초하여 상기 미디어의 상기 주제에 대한 상기 사용자의 관심 레벨을 판정하도록 구성된 관심 레벨 모듈을 포함하는 시나리오 선택 모듈을 포함하는 시스템.
  3. 제2항에 있어서,
    상기 시나리오 선택 모듈은, 상기 사용자의 관심 레벨에 관련된 상기 데이터에 기초하여 상기 사용자에게로의 프리젠테이션을 위한 상기 미디어와 연관된 복수의 시나리오 중 적어도 하나의 시나리오를 식별하고 선택하도록 구성되는 판정 모듈을 더 포함하고, 상기 적어도 하나의 식별된 시나리오는 상기 사용자의 관심 주제와 관련된 주제를 갖는 시스템.
  4. 제3항에 있어서,
    상기 미디어는 복수의 비디오 프레임을 갖는 비디오 파일을 포함하고, 하나 이상의 비디오 프레임은 상기 적어도 하나의 시나리오에 대응하는 시스템.
  5. 제4항에 있어서,
    상기 카메라는 상기 사용자의 상기 하나 이상의 이미지들을 캡처하도록 구성되고, 상기 얼굴 검출 모듈은 상기 비디오 파일의 프리젠테이션 중에 미리 정의된 판정 지점들에서 상기 사용자에서 상기 사용자의 상기 하나 이상의 사용자 특징들을 식별하도록 구성되는 시스템.
  6. 제5항에 있어서,
    상기 미리 정의된 판정 지점들 각각은 상기 비디오 파일의 하나 이상의 연관된 비디오 프레임들에 대응하는 시스템.
  7. 제1항에 있어서,
    상기 미디어는, 오디오 파일, 비디오 파일, 전자책(e-book) 파일 및 소프트웨어 애플리케이션을 포함하는 그룹으로부터 선택되는 시스템.
  8. 제1항 내지 제7항 중 어느 한 항에 있어서,
    상기 사용자 특징들은, 상기 디스플레이에 대한 상기 사용자의 얼굴 방향 및 이동, 상기 디스플레이에 대한 상기 사용자의 눈 방향 및 이동, 상기 디스플레이에 대한 상기 사용자의 시선의 초점, 상기 사용자의 동공 확장(pupil dilation) 및 상기 사용자의 하나 이상의 얼굴 표정들로 구성되는 그룹으로부터 선택되는 시스템.
  9. 제8항에 있어서,
    상기 얼굴 검출 모듈은, 상기 디스플레이 상의 상기 미디어의 프리젠테이션 중에 상기 사용자의 시선이 포커스되는 상기 디스플레이의 하나 이상의 영역들을 식별하도록 더 구성되고, 식별된 영역들은 상기 디스플레이의 상기 식별된 영역들 내에 제시되는 주제에 대한 사용자의 관심을 나타내는 시스템.
  10. 제8항에 있어서,
    상기 사용자의 상기 하나 이상의 얼굴 표정들은, 웃음, 울음, 미소, 찡그림, 놀람 및 흥분됨으로 구성되는 그룹으로부터 선택되는 시스템.
  11. 사용자에게로의 미디어의 프리젠테이션을 동적으로 각색하는 장치로서,
    디스플레이 상의 상기 사용자에게로의 미디어의 프리젠테이션 중에 캡처된 사용자의 이미지에서 얼굴 영역을 검출하고, 상기 사용자의 하나 이상의 사용자 특징들을 식별하도록 구성되는 얼굴 검출 모듈 - 상기 사용자 특징들은 상기 미디어의 대응하는 주제와 연관됨 -; 및
    상기 하나 이상의 사용자 특징들에 관련된 데이터를 수신하고, 상기 하나 이상의 사용자 특징들에 관련된 상기 데이터에 적어도 부분적으로 기초하여 상기 사용자에게로의 상기 미디어의 프리젠테이션을 각색하도록 구성된 미디어 각색 시스템
    을 포함하는 장치.
  12. 제11항에 있어서,
    상기 미디어 각색 시스템은, 상기 하나 이상의 사용자 특징들에 관련된 상기 데이터에 기초하여 상기 미디어의 상기 주제에 대한 사용자의 관심 레벨을 판정하도록 구성된 관심 레벨 모듈을 포함하는 시나리오 선택 모듈을 포함하는 장치.
  13. 제12항에 있어서,
    상기 시나리오 선택 모듈은, 상기 사용자의 관심 레벨에 관련된 상기 데이터에 기초하여 상기 사용자에게로의 프리젠테이션을 위한 상기 미디어와 연관된 복수의 시나리오 중 적어도 하나의 시나리오를 식별하고 선택하도록 구성되는 판정 모듈을 더 포함하고, 상기 적어도 하나의 식별된 시나리오는 상기 사용자의 관심 주제와 관련된 주제를 갖는 장치.
  14. 제11항에 있어서,
    상기 사용자 특징들은, 상기 디스플레이에 대한 상기 사용자의 얼굴 방향 및 이동, 상기 디스플레이에 대한 상기 사용자의 눈 방향 및 이동, 상기 디스플레이에 대한 상기 사용자의 시선의 초점, 상기 사용자의 동공 확장 및 상기 사용자의 하나 이상의 얼굴 표정들로 구성되는 그룹으로부터 선택되는 장치.
  15. 사용자에게로의 미디어의 프리젠테이션을 동적으로 각색하는 방법으로서,
    상기 사용자에게로의 미디어의 프리젠테이션 중에 캡처된 사용자의 이미지에서 얼굴 영역을 검출하는 단계;
    상기 이미지에서 상기 사용자의 하나 이상의 사용자 특징들을 식별하는 단계- 상기 하나 이상의 사용자 특징들은 상기 미디어의 대응하는 주제와 연관됨 -;
    상기 식별된 하나 이상의 사용자 특징들에 기초하여 상기 사용자에게로의 프리젠테이션을 위한 상기 미디어의 시나리오를 식별하고 선택하는 단계; 및
    상기 사용자에게 상기 식별되고 선택된 시나리오를 제시하는 단계
    를 포함하는 방법.
  16. 제15항에 있어서,
    상기 하나 이상의 사용자 특징들을 분석하는 단계; 및
    상기 하나 이상의 사용자 특징들에 기초하여 상기 미디어의 상기 주제에 대한 상기 사용자의 관심 레벨을 판정하는 단계
    를 더 포함하는 방법.
  17. 제16항에 있어서,
    상기 사용자에게로의 프리젠테이션을 위한 상기 미디어의 시나리오를 식별하는 단계는,
    상기 주제에 대한 상기 사용자의 관심 레벨을 분석하는 단계; 및
    상기 사용자의 관심 레벨에 기초하여 상기 사용자의 관심 주제에 관련된 주제를 갖는 상기 미디어의 복수의 시나리오 중 적어도 하나를 식별하는 단계
    를 더 포함하는 방법.
  18. 제15항에 있어서,
    상기 사용자에게로의 상기 미디어의 프리젠테이션은 디스플레이 상의 프리젠테이션을 포함하는 방법.
  19. 제18항에 있어서,
    상기 이미지에서 상기 사용자의 하나 이상의 사용자 특징들을 식별하는 단계는,
    상기 디스플레이 상의 상기 미디어의 프리젠테이션 중에 상기 사용자의 시선이 포커스되는 상기 디스플레이의 하나 이상의 영역들을 식별하는 단계를 포함하고, 상기 식별된 영역들은 상기 디스플레이의 상기 식별된 영역들 내에서 제시된 주제에 대한 사용자의 관심을 나타내는 방법.
  20. 제18항에 있어서,
    상기 사용자 특징들은, 상기 디스플레이에 대한 상기 사용자의 얼굴 방향 및 이동, 상기 디스플레이에 대한 상기 사용자의 눈 방향 및 이동, 상기 디스플레이에 대한 상기 사용자의 시선의 초점, 상기 사용자의 동공 확장 및 상기 사용자의 하나 이상의 얼굴 표정들로 구성되는 그룹으로부터 선택되는 방법.
  21. 적어도 하나의 컴퓨터 액세스가능한 매체로서,
    머신에 의해 실행될 때, 상기 머신으로 하여금, 제15항 내지 제20항 중 어느 한 항에 따른 방법의 동작들을 수행하도록 하는 명령어들을 저장하는 적어도 하나의 컴퓨터 액세스가능한 매체.
KR1020147027206A 2012-03-16 2013-03-14 내재된 사용자 입력 및 행동에 기초한 미디어의 동적 각색을 위한 시스템 및 방법 KR101643975B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201261611673P 2012-03-16 2012-03-16
US61/611,673 2012-03-16
US13/617,223 US20130243270A1 (en) 2012-03-16 2012-09-14 System and method for dynamic adaption of media based on implicit user input and behavior
US13/617,223 2012-09-14
PCT/US2013/031538 WO2013138632A1 (en) 2012-03-16 2013-03-14 System and method for dynamic adaption of media based on implicit user input and behavior

Publications (2)

Publication Number Publication Date
KR20140138798A true KR20140138798A (ko) 2014-12-04
KR101643975B1 KR101643975B1 (ko) 2016-08-01

Family

ID=49157693

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020147027206A KR101643975B1 (ko) 2012-03-16 2013-03-14 내재된 사용자 입력 및 행동에 기초한 미디어의 동적 각색을 위한 시스템 및 방법

Country Status (5)

Country Link
US (1) US20130243270A1 (ko)
EP (1) EP2825935A4 (ko)
KR (1) KR101643975B1 (ko)
CN (1) CN104246660A (ko)
WO (1) WO2013138632A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019067324A1 (en) * 2017-09-27 2019-04-04 Podop, Ip, Inc. SYSTEMS AND METHODS FOR NARRATIVE MULTIMEDIA PRESENTATION WITH INTERACTIVE AND AUTONOMOUS CONTENT SELECTION

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8687840B2 (en) * 2011-05-10 2014-04-01 Qualcomm Incorporated Smart backlights to minimize display power consumption based on desktop configurations and user eye gaze
US9043818B2 (en) * 2012-05-23 2015-05-26 Fur Entertainment, Inc. Adaptive feedback loop based on a sensor for streaming static and interactive media content to animals
CN104704846A (zh) * 2012-07-12 2015-06-10 亚历山大·特切蒂宁 提供多媒体内容给美发美容客人的系统、方法及装置
US9117382B2 (en) 2012-09-28 2015-08-25 Intel Corporation Device and method for automatic viewing perspective correction
US9008416B2 (en) * 2013-02-08 2015-04-14 Emotient, Inc. Collection of machine learning training data for expression recognition
EP3014551A4 (en) 2013-06-27 2017-01-18 Intel Corporation Adaptively embedding visual advertising content into media content
JP2015056141A (ja) 2013-09-13 2015-03-23 ソニー株式会社 情報処理装置、および情報処理方法
GB2519339A (en) * 2013-10-18 2015-04-22 Realeyes O Method of collecting computer user data
US10481749B1 (en) * 2014-12-01 2019-11-19 Google Llc Identifying and rendering content relevant to a user's current mental state and context
JP6553418B2 (ja) * 2015-06-12 2019-07-31 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 表示制御方法、表示制御装置及び制御プログラム
USD815892S1 (en) 2015-11-02 2018-04-24 Hidrate, Inc. Smart water bottle
US10664500B2 (en) 2015-12-29 2020-05-26 Futurewei Technologies, Inc. System and method for user-behavior based content recommendations
US10110950B2 (en) * 2016-09-14 2018-10-23 International Business Machines Corporation Attentiveness-based video presentation management
CN106534757B (zh) * 2016-11-22 2020-02-28 香港乐蜜有限公司 人脸交换方法、装置、主播终端及观众终端
US11403881B2 (en) * 2017-06-19 2022-08-02 Paypal, Inc. Content modification based on eye characteristics
JP2019047234A (ja) * 2017-08-31 2019-03-22 ソニーセミコンダクタソリューションズ株式会社 情報処理装置、情報処理方法、およびプログラム
CN108093296B (zh) * 2017-12-29 2021-02-02 厦门大学 一种影片自适应播放的方法及系统
JP7153256B2 (ja) * 2018-11-21 2022-10-14 日本電信電話株式会社 シナリオ制御装置、方法およびプログラム
WO2020159784A1 (en) * 2019-02-01 2020-08-06 Apple Inc. Biofeedback method of modulating digital content to invoke greater pupil radius response
US10945034B2 (en) * 2019-07-11 2021-03-09 International Business Machines Corporation Video fractal cross correlated action bubble transition
CN110750161A (zh) * 2019-10-25 2020-02-04 郑子龙 一种交互系统、方法、移动设备及计算机可读介质
CN111193964A (zh) * 2020-01-09 2020-05-22 未来新视界教育科技(北京)有限公司 依据生理信号实时控制视频内容的方法和装置
US20230370692A1 (en) * 2022-05-14 2023-11-16 Dish Network Technologies India Private Limited Customized content delivery
US11843829B1 (en) * 2022-05-24 2023-12-12 Rovi Guides, Inc. Systems and methods for recommending content items based on an identified posture

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080082526A (ko) * 2007-03-08 2008-09-11 소니 가부시끼 가이샤 화상 처리 장치, 화상 처리 방법, 및 프로그램
US20110164143A1 (en) * 2010-01-06 2011-07-07 Peter Rae Shintani TV demonstration

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7068813B2 (en) 2001-03-28 2006-06-27 Koninklijke Philips Electronics N.V. Method and apparatus for eye gazing smart display
US7284201B2 (en) * 2001-09-20 2007-10-16 Koninklijke Philips Electronics N.V. User attention-based adaptation of quality level to improve the management of real-time multi-media content delivery and distribution
JP4481682B2 (ja) * 2004-02-25 2010-06-16 キヤノン株式会社 情報処理装置及びその制御方法
JP4911557B2 (ja) * 2004-09-16 2012-04-04 株式会社リコー 画像表示装置、画像表示制御方法、プログラム及び情報記録媒体
JP4414401B2 (ja) * 2006-02-10 2010-02-10 富士フイルム株式会社 顔特徴点検出方法および装置並びにプログラム
JP2009530071A (ja) * 2006-03-13 2009-08-27 アイモーションズ−エモーション テクノロジー エー／エス 視覚的注意および感情反応の検出表示システム
US8271962B2 (en) * 2006-09-12 2012-09-18 Brian Muller Scripted interactive screen media
US20080218472A1 (en) * 2007-03-05 2008-09-11 Emotiv Systems Pty., Ltd. Interface to convert mental states and facial expressions to application input
US8308562B2 (en) * 2008-04-29 2012-11-13 Bally Gaming, Inc. Biofeedback for a gaming device, such as an electronic gaming machine (EGM)
US20100070987A1 (en) * 2008-09-12 2010-03-18 At&T Intellectual Property I, L.P. Mining viewer responses to multimedia content
KR101480564B1 (ko) * 2008-10-21 2015-01-12 삼성전자주식회사 안면 인식을 이용한 알람 제어 장치 및 방법
JP5221436B2 (ja) * 2009-04-02 2013-06-26 トヨタ自動車株式会社 顔特徴点検出装置及びプログラム
JP5460134B2 (ja) * 2009-06-11 2014-04-02 株式会社タイトー 顔認識機能を用いたゲーム装置
CN101866215B (zh) * 2010-04-20 2013-10-16 复旦大学 在视频监控中采用视线跟踪的人机交互装置和方法
US9247903B2 (en) * 2010-06-07 2016-02-02 Affectiva, Inc. Using affect within a gaming context
WO2012030958A1 (en) * 2010-08-31 2012-03-08 Activate Systems, Inc. Methods and apparatus for improved motion capture
WO2012051585A1 (en) * 2010-10-14 2012-04-19 Fixmaster, Inc. System and method for creating and analyzing interactive experiences
CA2775700C (en) * 2012-05-04 2013-07-23 Microsoft Corporation Determining a future portion of a currently presented media program

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080082526A (ko) * 2007-03-08 2008-09-11 소니 가부시끼 가이샤 화상 처리 장치, 화상 처리 방법, 및 프로그램
US20110164143A1 (en) * 2010-01-06 2011-07-07 Peter Rae Shintani TV demonstration

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019067324A1 (en) * 2017-09-27 2019-04-04 Podop, Ip, Inc. SYSTEMS AND METHODS FOR NARRATIVE MULTIMEDIA PRESENTATION WITH INTERACTIVE AND AUTONOMOUS CONTENT SELECTION

Also Published As

Publication number Publication date
EP2825935A1 (en) 2015-01-21
WO2013138632A1 (en) 2013-09-19
EP2825935A4 (en) 2015-07-29
CN104246660A (zh) 2014-12-24
US20130243270A1 (en) 2013-09-19
KR101643975B1 (ko) 2016-08-01

Similar Documents

Publication Publication Date Title
KR101643975B1 (ko) 내재된 사용자 입력 및 행동에 기초한 미디어의 동적 각색을 위한 시스템 및 방법
EP3063730B1 (en) Automated image cropping and sharing
CN105981368B (zh) 在成像装置中的照片构图和位置引导
US20160381306A1 (en) Content-based zooming and panning for video curation
TWI581128B (zh) 基於媒體反應來控制媒體節目的方法、系統及電腦可讀取儲存記憶體
US10541000B1 (en) User input-based video summarization
EP2567536B1 (en) Generating a combined image from multiple images
US20140007148A1 (en) System and method for adaptive data processing
US10170157B2 (en) Method and apparatus for finding and using video portions that are relevant to adjacent still images
US10089534B2 (en) Extracting high quality images from a video
CN111480156A (zh) 利用深度学习选择性存储视听内容的系统和方法
US10873697B1 (en) Identifying regions of interest in captured video data objects by detecting movement within higher resolution frames of the regions
US20150002690A1 (en) Image processing method and apparatus, and electronic device
KR102045575B1 (ko) 스마트 미러 디스플레이 장치
US20170161553A1 (en) Method and electronic device for capturing photo
KR20190020779A (ko) 인게이지먼트값 처리 시스템 및 인게이지먼트값 처리 장치
US20160180572A1 (en) Image creation apparatus, image creation method, and computer-readable storage medium
CN105960801B (zh) 增强视频会议
CN105430269B (zh) 一种应用于移动终端的拍照方法及装置
US20160156854A1 (en) Image processing method and apparatus, and electronic device
WO2020052062A1 (zh) 检测方法和装置
CN111316656A (zh) 基于图像捕获设备先前捕获的视频数据修改图像捕获设备对视频数据的捕获
US11847827B2 (en) Device and method for generating summary video
CN112806021B (zh) 基于捕获视频数据的另一客户端设备对视频数据的分析修改由接收客户端设备对视频数据的呈现
US10721394B1 (en) Gesture activation for an image capture device

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant