KR20140075266A - 사용자 시선 방향에 기반한 콘텐츠 분석 및 활용 방법 - Google Patents

사용자 시선 방향에 기반한 콘텐츠 분석 및 활용 방법 Download PDF

Info

Publication number
KR20140075266A
KR20140075266A KR1020120143453A KR20120143453A KR20140075266A KR 20140075266 A KR20140075266 A KR 20140075266A KR 1020120143453 A KR1020120143453 A KR 1020120143453A KR 20120143453 A KR20120143453 A KR 20120143453A KR 20140075266 A KR20140075266 A KR 20140075266A
Authority
KR
South Korea
Prior art keywords
user
information
gaze
interest
present
Prior art date
Application number
KR1020120143453A
Other languages
English (en)
Inventor
김태원
김찬
정원식
허남호
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020120143453A priority Critical patent/KR20140075266A/ko
Publication of KR20140075266A publication Critical patent/KR20140075266A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/4667—Processing of monitored end-user data, e.g. trend analysis based on the log file of viewer selections
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/4668—Learning process for intelligent management, e.g. learning user preferences for recommending movies for recommending content, e.g. movies
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

본 명세서에서는 사용자 시선 정보를 처리하여 맞춤형 콘텐츠 시청 가이드 또는 맞춤형 광고를 수행하는 방법이 개시된다. 본 발명은 사용자의 시선 방향을 추적하고, 상기 사용자의 시선 방향이 디스플레이 화면과 만나는 위치정보를 계산하여, 상기 위치정보를 기초로 상기 사용자의 관심객체를 추출하고, 추출된 상기 관심객체에 관련된 정보를 데이터베이스에 저장하며, 상기 데이터베이스에 포함된 상기 사용자의 관심객체의 빈도 순위를 기초로 맞춤형 콘텐츠 시청 가이드를 수행하거나, 맞춤형 광고를 수행한다.

Description

사용자 시선 방향에 기반한 콘텐츠 분석 및 활용 방법{METHOD FOR USER-ORIENTED CONTENTS ANALYSIS AND ITS APPLICATION USING USER GAZE DIRECTION INFORMATION}
본 발명은 사용자의 시선 정보를 실시간으로 처리하는 방법에 관한 것이며, 사용자의 시선 정보와 연계된 콘텐츠를 분석하고 활용하는 방법에 관한 것이다.
TV 시청 시, 사용자는 화면에 방영되는 콘텐츠 전체가 관심 있는 부분에 초점을 맞춘다. 따라서, 사용자의 시선 방향은 화면 속의 관심 있는 부분을 향한다. 예를 들어, 사용자가 드라마 시청 시, 사용자의 시선 방향은 관심 있는 배우의 얼굴을 향하거나, 배우가 입고 있는 드레스, 지갑, 신발 등의 관심 대상을 향한다. 따라서, TV 화면 상에서 사용자의 시선이 머무르는 부분을 실시간으로 추적한다면 사용자가 관심있는 특정 콘텐츠를 알 수 있고, 사용자의 관심을 끄는 배우가 누구인지 사용자의 기호에 맞는 물건이 무엇인지 등의 사용자 기호 기반 정보를 수집할 수 있다.
일반적인 TV(또는 일반 콘텐츠 디스플레이 화면) 시청 방식은 주로 단방향 형태이며, 사용자가 콘텐츠 디스플레이 화면을 통해 전달되는 정보를 수동적으로 받아들인다.
기존의 단방향 화면 시청 방식을 탈피하여 콘텐츠 디스플레이 화면에서 끊임없이 움직이는 사용자 시선 정보를 실시간으로 처리하여 이를 분석하는 방법이 요구된다.
본 발명의 기술적 과제는 사용자의 시선정보를 실시간 처리함에 있다.
본 발명의 다른 기술적 과제는 사용자 맞춤형 콘텐츠 가이드를 제공함에 있다.
본 발명의 또 다른 기술적 과제는 사용자 맞춤형 서비스를 제공함에 있다.
본 발명의 일 양태에 따르면, 사용자 시선 정보의 처리방법은 사용자의 시선 방향을 추적하고, 상기 사용자의 시선 방향이 디스플레이 화면과 만나는 위치정보를 계산하여, 상기 위치정보를 기초로 상기 사용자의 관심객체를 추출함, 추출된 상기 관심객체에 관련된 정보를 데이터베이스에 저장함 및 상기 데이터베이스에 포함된 상기 사용자의 관심객체의 빈도 순위를 기초로 맞춤형 콘텐츠 시청 가이드를 수행하거나, 맞춤형 광고를 수행함을 포함한다.
본 발명에 따르면, 사용자별 배우의 선호도 조사, 배우가 지니고 있는 인기 있는 액세서리 조사 등 사용자의 기호에 기반한 사용자별 맞춤형 정보를 분석할 수 있다.
본 발명에 따르면, 콘텐츠 제작 계획 시에 사용자의 성별, 나이별 배우의 인기도 분석, 관련 상품 선호도를 참고하여 효과적으로 콘텐츠를 제작할 수 있다.
본 발명은 콘텐츠와 사용자의 시청 행위를 기반으로 콘텐츠를 분석하고, 정보를 추출할 수 있다.
도 1은 본 발명이 적용되는 사용자 시선 정보를 나타낸 개념도이다. 디스플레이 화면에 사용자 시선 방향을 나타낸다.
도 2는 본 발명에 따라서 사용자 시선 정보의 처리방법의 일 예를 나타내는 순서도이다.
이하, 첨부된 도면을 참조하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 이하에서 개시되는 실시 예에 한정되지 않는다. 또한 도면에서 본 발명을 명확하게 개시하기 위해서 본 발명과 관계없는 부분은 생략하였으며, 도면에서 동일하거나 유사한 부호들은 동일하거나 유사한 구성요소들을 나타낸다.
본 발명의 목적 및 효과는 하기의 설명에 의해서 자연스럽게 이해되거나 보다 분명해 질 수 있으며, 하기의 기재만으로 본 발명의 목적 및 효과가 제한되는 것은 아니다.
본 발명의 목적, 특징 및 장점은 다음의 상세한 설명을 통하여 보다 분명해 질 것이다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이, 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 실시예를 상세히 설명하기로 한다.
이제, 본 발명에 따라서 사용자 시선 정보를 처리하여 사용자 맞춤형 서비스를 제공하는 방법에 대해 설명한다.
도 1은 본 발명이 적용되는 사용자 시선 정보를 나타낸 개념도이다. 디스플레이 화면에 사용자 시선 방향을 나타낸다.
도 1을 참조하면, 사용자의 시선 방향은 디스플레이 화면의 특정 부분에서 나타나는 콘텐츠로 볼 수 있고, 상기 콘텐츠 내의 관심 객체 정보를 상기 사용자의 시선 정보를 기초로 추출할 수 있다.
구체적으로는, 사용자의 시선 방향이 콘텐츠가 디스플레이 되고 있는 화면과 만나는 지점을 실시간으로 계산한다. 이를 통해, 사용자가 디스플레이 화면에 나타나내는 콘텐츠 중 구체적으로 어느 부분을 보고 있는 지를 실시간으로 파악할 수 있다. 예를 들어, 시청 중인 콘텐츠가 객체 분리화(objects segmentation)되어 있고(예, MPEG4 기술 등을 적용하는 경우), 각 객체에 대한 구체적인 정보가 기술되는 경우 사용자가 디스플레이 화면에 나타나내는 콘텐츠 중 구체적으로 어느 부분을 보고 있는 지 판단할 수 있다.
실시간으로 추출된 객체 정보를 분석하면 사용자가 현재 시청하고 있는 콘텐츠에서 주로 관심을 가지고 시청하고 있는 관심 객체 정보를 실시간으로 파악할 수 있다. 관심 객체 정보를 사용자별로 데이터베이스화하여 관리하고, 데이터베이스를 바탕으로 사용자 맞춤형 콘텐츠 시청 가이드 또는 사용자 맞춤형 광고가 가능하다.
도 2는 본 발명에 따라서 사용자 시선 정보의 처리방법의 일 예를 나타내는 순서도이다. 일 예로, 정보처리장치에서 사용자 시선 정보를 처리하여 맞춤형 서비스를 제공한다. 정보처리장치는 스마트폰, TV 등 다양한 형태의 장치일 수 있다.
도 2를 참조하면, 정보처리장치는 사용자 시선 정보(예, 사용자 시선 방향)를 기초로 콘텐츠 내 관심 객체를 추출한다(S210).
구체적으로, 먼저 정보처리장치는 사용자 시선 방향(gaze direction)을 추적한다(S212).
이어서, 정보처리장치는 사용자 시선 방향이 디스플레이 화면과 만나는 지점(이하에서, '위치정보'라한다)을 실시간 계산한다(S214). 이때, 디스플레이 화면 좌표와 시선 추적을 담당하는 카메라 좌표 사이에 칼리브레이션(calibration)이 되어 있을 경우, 상기 '위치정보'를 보다 간편하게 수 있다. 예를 들어, 컴퓨터 비전 기술이 이용될 수 있다.
이어서, 정보처리장치는 '위치정보'로부터 콘텐츠 내 사용자가 관심있는 객체(이하에서 '관심객체'라한다)를 추출한다(S216).
일 예로, 콘텐츠가 MPEG4 기술 등을 적용하여 객체 분리화(objects segmentation) 되고 각 객체에 대한 구체적인 정보가 기술되어 있다면, 정보처리장치는 상기 위치정보를 기초로 관심객체를 실시간으로 자동 추출할 수 있다.
단계 S210에 이어서, 정보처리장치는 사용자별로 관심객체를 데이터베이스화한다(S220). 즉, 정보처리장치 내부 또는 외부의 데이터베이스에 관심객체를 정리 또는 정렬하며, 보관 또는 저장한다.
구체적으로, 정보처리장치는 사용자 인증(identification)을 수행할 수 있다(S222). 예를 들어, 얼굴 인식, 지문 인식, 카드키 인식등이 사용될 수 있다.
이어서, 정보처리장치는 사용자별 관심 객체 및 그에 해당하는 객체 기술(object description) 정보를 데이터베이스화 한다(S224). 일 예로, 상기 단계 S210에서 얻어진 사용자별 관심객체 정보를 시간 별로 데이터베이스화할 수 있다.
단계 S220에 이어서, 정보처리장치는 사용자별로 맞춤형 서비스를 제공한다(S230). 맞춤형 서비스는 정보처리장치의 지시에 따라 별도의 장치(예, 스마트폰, TV 등)에서 수행될 수도 있다.
구체적으로, 정보저리장치는 사용자별로 관심객체의 우선순위를 정리한다(S232). 예를 들어, 정보처리장치는 관심객체의 출현 빈도를 정리하여 순위를 매길 수 있다. 또는, 사용자별로 데이터베이스에 저장되어 있는 해당 콘텐츠의 시간별 관심 객체 데이터로부터 관심 객체별 출현 빈도 순위를 정할 수도 있다.
이어서, 정보처리장치는 상기 우선순위를 기초로 맞춤형 콘텐츠 시청 가이드를 수행하거나, 맞춤형 광고를 수행할 수 있다(S234). 사용자별로 출현 빈도 순위가 높은 관심 객체들을 선정하고, 이를 많이 보유하고 순위대로 새로운 콘텐츠를 재분류하여 사용자의 기호에 맞는 시청 정보를 제공할 수 있다. 또는, 사용자별 출현 빈도 순위가 높은 관심 객체 또는 관련된 객체를 포함하고 있는 광고, 즉 사용자의 기호에 맞는 광고를 사용자 화면에 디스플레이 할 수 있다.
본 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서, 여러 가지 치환, 변형 및 변경이 가능하므로, 본 발명은 전술한 실시 예 및 첨부된 도면에 의해 한정되는 것이 아니다.
상술한 예시적인 시스템에서, 방법들은 일련의 단계 또는 블록으로써 순서도를 기초로 설명되고 있지만, 본 발명은 단계들의 순서에 한정되는 것은 아니며, 어떤 단계는 상술한 바와 다른 단계와 다른 순서로 또는 동시에 발생할 수 있다. 또한, 당업자라면 순서도에 나타낸 단계들이 배타적이지 않고, 다른 단계가 포함되거나 순서도의 하나 또는 그 이상의 단계가 본 발명의 범위에 영향을 미치지 않고 삭제될 수 있음을 이해할 수 있을 것이다.

Claims (1)

  1. 사용자 시선 정보의 처리방법에 있어서,
    사용자의 시선 방향을 추적하고, 상기 사용자의 시선 방향이 디스플레이 화면과 만나는 위치정보를 계산하여, 상기 위치정보를 기초로 상기 사용자의 관심객체를 추출하는 단계;
    추출된 상기 관심객체에 관련된 정보를 데이터베이스에 저장하는 단계; 및
    상기 데이터베이스에 포함된 상기 사용자의 관심객체의 빈도 순위를 기초로 맞춤형 콘텐츠 시청 가이드를 수행하거나, 맞춤형 광고를 수행하는 단계를 포함하는 사용자 시선 정보 처리 방법.
KR1020120143453A 2012-12-11 2012-12-11 사용자 시선 방향에 기반한 콘텐츠 분석 및 활용 방법 KR20140075266A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120143453A KR20140075266A (ko) 2012-12-11 2012-12-11 사용자 시선 방향에 기반한 콘텐츠 분석 및 활용 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120143453A KR20140075266A (ko) 2012-12-11 2012-12-11 사용자 시선 방향에 기반한 콘텐츠 분석 및 활용 방법

Publications (1)

Publication Number Publication Date
KR20140075266A true KR20140075266A (ko) 2014-06-19

Family

ID=51128025

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120143453A KR20140075266A (ko) 2012-12-11 2012-12-11 사용자 시선 방향에 기반한 콘텐츠 분석 및 활용 방법

Country Status (1)

Country Link
KR (1) KR20140075266A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190078690A (ko) 2017-12-13 2019-07-05 현대자동차주식회사 사용자 사용 언어 방향에 따라 디스플레이 환경을 구성하는 디스플레이 제어 장치 및 그 방법
US11294457B2 (en) 2018-11-28 2022-04-05 Samsung Electronics Co., Ltd. Display apparatus and controlling method thereof

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190078690A (ko) 2017-12-13 2019-07-05 현대자동차주식회사 사용자 사용 언어 방향에 따라 디스플레이 환경을 구성하는 디스플레이 제어 장치 및 그 방법
US11294457B2 (en) 2018-11-28 2022-04-05 Samsung Electronics Co., Ltd. Display apparatus and controlling method thereof

Similar Documents

Publication Publication Date Title
US10643264B2 (en) Method and computer readable medium for presentation of content items synchronized with media display
US20130148898A1 (en) Clustering objects detected in video
US9323785B2 (en) Method and system for mobile visual search using metadata and segmentation
KR101901454B1 (ko) 방송에서의 영상인식을 통한 실시간 쇼핑방법 및 이를 구현하는 애플리케이션이 설치된 스마트폰
US9176987B1 (en) Automatic face annotation method and system
EP3425483B1 (en) Intelligent object recognizer
US20150117703A1 (en) Object identification system and method
US9881084B1 (en) Image match based video search
US9384408B2 (en) Image analysis system and method using image recognition and text search
CN110019943B (zh) 视频推荐方法、装置、电子设备和存储介质
US20130101209A1 (en) Method and system for extraction and association of object of interest in video
EP2376998B1 (en) Method and system for providing immersive effects
US9384217B2 (en) Telestration system for command processing
US20110150283A1 (en) Apparatus and method for providing advertising content
CN103530788A (zh) 多媒体评价系统、多媒体评价装置以及多媒体评价方法
CN103098079A (zh) 个性化节目选择系统和方法
CN110858134A (zh) 数据、显示处理方法、装置、电子设备和存储介质
CN107247919A (zh) 一种视频情感内容的获取方法及系统
CN105046630A (zh) 图像标签添加系统
CN105005982A (zh) 包括对象选择的图像处理
CN105022773A (zh) 包括图像优先级的图像处理系统
JP2021509201A (ja) 映像前処理方法、装置及びコンピュータプログラム
US11057652B1 (en) Adjacent content classification and targeting
KR20140075266A (ko) 사용자 시선 방향에 기반한 콘텐츠 분석 및 활용 방법
Miniakhmetova et al. An approach to personalized video summarization based on user preferences analysis

Legal Events

Date Code Title Description
WITN Withdrawal due to no request for examination