KR20150125429A - Apparatus and Method for Recommending Video based on Anonymized Personal Identification - Google Patents

Apparatus and Method for Recommending Video based on Anonymized Personal Identification Download PDF

Info

Publication number
KR20150125429A
KR20150125429A KR1020140052808A KR20140052808A KR20150125429A KR 20150125429 A KR20150125429 A KR 20150125429A KR 1020140052808 A KR1020140052808 A KR 1020140052808A KR 20140052808 A KR20140052808 A KR 20140052808A KR 20150125429 A KR20150125429 A KR 20150125429A
Authority
KR
South Korea
Prior art keywords
viewer
body model
video
unit
preference
Prior art date
Application number
KR1020140052808A
Other languages
Korean (ko)
Inventor
박태서
온경운
장병탁
Original Assignee
서울대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 서울대학교산학협력단 filed Critical 서울대학교산학협력단
Priority to KR1020140052808A priority Critical patent/KR20150125429A/en
Publication of KR20150125429A publication Critical patent/KR20150125429A/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts

Abstract

The present invention is an apparatus for recommending a video based on anonymized personal identification. The apparatus comprises: a viewer recognizing unit for extracting a body model through an image photographing a viewer, and identifying the viewer through the body model; a video playing unit for outputting a video; a viewer feedback acquiring unit for acquiring feedback information of the viewer in response to viewing the video; and a personal video recommending unit for learning a preference model relevant to the identified viewer according to the feedback information, and recommending a video to the relevant viewer based on the preference model.

Description

익명화된 개인 식별 기반 비디오 추천 장치 및 방법{Apparatus and Method for Recommending Video based on Anonymized Personal Identification} BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an apparatus and method for recommending anonymized personal identification based video,

본 발명은 스마트 TV 또는 IPTV 셋톱 박스에서의 개인화된 방송 채널/프로그램 추천 기능의 핵심 이슈를 해결하기 위한 장치 및 방법에 관한 것이다.
The present invention relates to an apparatus and method for solving a core issue of a personalized broadcast channel / program recommendation function in a smart TV or IPTV set-top box.

최근 들어, 스마트 TV와 IPTV(Internet Protocol Television)의 보급이 확산되고 있다. IPTV란 초고속 인터넷을 이용하여 정보 서비스, 동영상 컨텐츠 및 방송 등을 텔레비전 수상기로 제공하는 서비스를 말하고, 스마트 TV란 초고속 인터넷 접속 및 IPTV기능이 내장된 텔레비전 수상기를 말하는 것으로서, 둘 다 인터넷과 텔레비전의 융합이라는 점에서 디지털 컨버전스의 한 유형이라고 할 수 있다.Recently, the spread of smart TV and IPTV (Internet Protocol Television) is spreading. IPTV refers to a service that provides information services, video contents, and broadcasts to a television receiver using a broadband Internet. Smart TV refers to a television receiver having high-speed Internet access and IPTV functions. It is a type of digital convergence.

이러한 IPTV 및 스마트TV의 보급 및 채널 다변화에 힘입어, 시청자들은 수백개에 달하는 다양한 채널 중에서 개인의 취향에 가장 잘 맞는 프로그램을 골라볼 수 있는 기회를 갖게 되었다. With the spread of IPTV and smart TVs and the diversification of channels, viewers have the opportunity to choose from hundreds of different channels that best suit individual tastes.

그런데, 이러한 확대된 채널 선택권이 외려 시청자에게 부담이 되고 있다. 이전에 몇 개 안되는 공중파만 존재하던 시절에는 10회 내외의 zapping(채널 Up/Down버튼을 눌러서 채널들을 순차적으로 조회하는 행위) 만으로 전체 채널을 순회하여 그 중에서 선호하는 프로그램을 선택할 수 있었으나, 채널 수가 수백 개에 이르게 되면서 채널을 선택하기 위해 채널 순회 시간으로만 상당한 시간이 소요되기에 이르렀다. However, such expanded channel selection rights are becoming a burden on viewers. In the days when only a few airwaves existed in the past, it was possible to select the preferred program among them by circulating the whole channel only by zapping about 10 times (by sequentially inquiring channels by pressing the channel up / down button) As the number of channels reached several hundreds, it took a considerable amount of time to select a channel.

한편, 콘텐츠 프로바이더 입장에서도 한정된 시청자들을 상대로 수백 개의 채널을 통해 수많은 프로그램들이 공급됨에 따른 경쟁 격화 상황에서, 자신들이 공급하는 프로그램을 선호하는 시청자들에게 노출시키기가 용이하지 않다. 특히 상당수 시청자는 매번 수백개의 선택지 중 하나를 고르는 귀찮음으로 인해 이전 경험에 비추어 재미있었던 몇몇 채널들을 등록해놓고 그 채널들만 방문하는 일종의 고착행태를 보이기도 하므로, 콘텐츠 프로바이더 입장에서는 시청자의 채널선택 부하를 줄여주는 것이 사업의 지속 및 시청자 만족과 직결된다. 수백개의 채널을 순회하는 문제를 완화하기 위해 전자편성표(Electronic Program Guide, EPG) 기능이 제공되고 있으나, 선택지 자체가 너무 많고 조작이 불편하여 충분한 해결책이 되지 못하고 있다. 따라서, 이러한 상황에서는 시청자의 채널 선택을 돕기 위한 추천은 필수적이라 할 수 있다. On the other hand, in terms of content providers, it is not easy to expose their programs to preferred viewers in a situation of intense competition due to the supply of a large number of programs through a few hundred channels to limited viewers. Particularly, many viewers register some channels that were interesting in previous experience due to the troubles of selecting one of several hundreds of choices each time, and show a kind of sticking behavior to visit only those channels. Therefore, for the content provider, Giving is directly linked to the continuity of the business and viewer satisfaction. An Electronic Program Guide (EPG) function is provided to mitigate the problem of circulating hundreds of channels, but the choice itself is too much and the operation is inconvenient, which is not a sufficient solution. Therefore, in such a situation, recommendation for helping a viewer to select a channel is indispensable.

이러한 채널 추천을 위해서는 시청자별로 시청 이력을 추적하고 이에 기계 학습 기법을 적용하여 개별 시청 선호도를 예측하는 것이 필수적인데, 소유주가 분명한 휴대폰과 달리 가구 구성원간 공용기기 특성이 강한 TV에서는 복수의 서로 다른 선호도를 갖는 시청자들이 혼재하므로 시청자가 구성원 중 누구인지 알아야 개별 시청이력 추적 및 선호도 학습이 가능한데, 주로 휴식 목적으로 사용되는 TV 특성상 굳이 로그인 등의 수단으로 자신이 누구인지 밝히는 시청자의 자발적인 협조는 기대하기 어렵고, 일부 국가에서는 프라이버시 이슈를 유발할 수 있다. 예를 들어, 얼굴 인식 기술로 시청자 식별 문제를 해결하려는 시도가 있어 왔으나, 프라이버시 이슈로 인해 시청자들에게 수용되는데 어려움을 겪고 있다.
In order to recommend such channels, it is necessary to track the viewing history of each viewer and to apply the machine learning technique to predict the individual viewing preference. Unlike a mobile phone with a proprietary owner, a television having strong characteristics of common devices among household members has a plurality of different preferences It is difficult to expect the voluntary cooperation of viewers who identify themselves with means such as login because of the nature of TV used mainly for resting purpose , And may cause privacy issues in some countries. For example, there has been an attempt to solve the problem of identifying a viewer with face recognition technology, but it has been difficult to be accepted by viewers due to privacy issues.

본 발명은 식별된 시청자의 선호도에 따른 추천을 수행하되, 시청자의 익명성을 보장할 수 있는 익명화된 개인 식별 기반 비디오 추천 장치 및 방법을 제공한다.
The present invention provides an anonymized personal identification-based video recommendation apparatus and method that perform recommendation based on the preference of an identified viewer, and can guarantee anonymity of a viewer.

본 발명은 익명화된 개인 식별 기반 비디오 추천 장치로, 시청자를 촬영한 영상을 통해 바디 모델을 추출하고, 추출된 바디모델을 통해 시청자를 식별하는 시청자 인식부와, 비디오를 출력하는 비디오 재생부와, 상기 비디오 시청에 따른 시청자의 피드백 정보를 획득하는 피드백 획득부와, 상기 피드백 정보에 따라 상기 식별된 시청자에 해당하는 선호도 모델을 학습하고, 상기 선호도 모델에 따라 해당 시청자에게 비디오 비디오를 추천하는 개인 비디오 추천부를 포함한다.The present invention relates to an anonymized personal identification based video recommendation apparatus, which comprises a viewer recognition unit for extracting a body model through an image of a viewer, identifying the viewer through the extracted body model, a video playback unit for outputting video, A feedback acquiring unit for acquiring feedback information of a viewer according to the video viewing; a preference degree determining unit for learning a preference degree model corresponding to the identified viewer in accordance with the feedback information, Recommendation section.

본 발명은 익명화된 개인 식별 기반 비디오 추천 방법으로, 촬영된 시청자 영상으로부터 바디 모델을 추출하고, 추출된 바디모델을 이용하여 시청자를 식별하는 단계와, 비디오 시청에 따른 시청자의 피드백 정보를 획득하고, 상기 피드백 정보에 따라 상기 식별된 시청자의 선호도 모델을 학습하는 단계와, 상기 식별된 시청자에 해당하는 상기 선호도 모델에 따라 해당 시청자에게 비디오를 추천한다.
The present invention relates to an anonymized personal identification based video recommendation method, which comprises the steps of extracting a body model from a captured viewer image, identifying a viewer using the extracted body model, acquiring feedback information of the viewer according to the video viewing, Learning the preference model of the identified viewer according to the feedback information; and recommending the video to the viewer according to the preference model corresponding to the identified viewer.

본 발명은 소프트 바이오메트릭 피처(Soft biometric feature)인 바디모델을 이용함으로써 TV를 공유하는 소그룹 식별에 적합할 뿐 아니라, 해당 소그룹을 벗어나면 개인의 신원을 특정할 수 없으므로 강한 프라이버시 보호효과가 있다. The present invention is not only suitable for small group identification sharing a TV by using a body model that is a soft biometric feature, but also has strong privacy protection effect because it can not specify an individual's identity when the user is out of the small group.

또한, 시청자의 별도의 협조를 요구하지 않는 방식이므로 사용자의 수용이 용이하고, 추천성능 개선에 기여함으로써 시청자 만족도 개선 및 콘텐츠 프로바이더 매출향상을 기대할 수 있다.
In addition, since the system does not require a separate cooperation of viewers, it is easy for the user to accept and contribute to the improvement of the recommendation performance, thereby improving the viewer satisfaction and the sales of the content provider.

도 1은 본 발명의 일 실시 예에 따른 익명화된 개인 식별 기반 비디오 추천 장치의 구성도이다.
도 2는 본 발명의 일 실시 예에 따른 익명화된 개인 식별 기반 비디오 추천 방법을 설명하기 위한 순서도이다.
도 3a는 본 발명에 따른 바디모델의 일 예를 설명하기 위한 도면이다.
도 3b는 본 발명에 따른 바디모델에서의 자세를 설명하기 위한 예시도이다.
도 4는 본 발명의 일 실시 예에 따른 피드백 획득부의 구성도이다.
도 5는 본 발명의 일 실시 예에 따른 비디오 추천부의 상세 구성도이다.
도 6은 본 발명의 일 실시 예에 따른 익명화된 개인 식별 기반 비디오 추천 방법을 설명하기 위한 순서도이다.1 is a block diagram of an anonymized personal identification based video recommendation apparatus according to an exemplary embodiment of the present invention.
2 is a flowchart illustrating an anonymized personal identification based video recommendation method according to an exemplary embodiment of the present invention.
3A is a view for explaining an example of a body model according to the present invention.
FIG. 3B is an exemplary view for explaining a posture in the body model according to the present invention.
4 is a configuration diagram of a feedback acquisition unit according to an embodiment of the present invention.
5 is a detailed configuration diagram of a video recommendation unit according to an embodiment of the present invention.
6 is a flowchart illustrating an anonymized personal identification based video recommendation method according to an exemplary embodiment of the present invention.

이하, 첨부된 도면을 참조하여 기술되는 바람직한 실시 예를 통하여 본 발명을 당업자가 용이하게 이해하고 재현할 수 있도록 상세히 기술하기로 한다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Reference will now be made in detail to embodiments of the present invention, examples of which are illustrated in the accompanying drawings, wherein like reference numerals refer to the like elements throughout.

본 발명을 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명 실시 예들의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다.In the following description of the present invention, a detailed description of known functions and configurations incorporated herein will be omitted when it may make the subject matter of the present invention rather unclear.

명세서 전반에 걸쳐 사용되는 용어들은 본 발명 실시 예에서의 기능을 고려하여 정의된 용어들로서, 시청자 또는 운용자의 의도, 관례 등에 따라 충분히 변형될 수 있는 사항이므로, 이 용어들의 정의는 본 발명의 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
The terms used throughout the specification are defined in consideration of the functions in the embodiments of the present invention and therefore can be sufficiently modified according to the intentions and customs of the viewer or the operator. It should be based on the contents of.

도 1은 본 발명의 일 실시 예에 따른 익명화된 개인 식별 기반 비디오 추천 장치의 구성도이다.1 is a block diagram of an anonymized personal identification based video recommendation apparatus according to an exemplary embodiment of the present invention.

도 1을 참조하면, 익명화된 개인 식별 기반 비디오 추천 장치(이하 '장치'로 기재함)는 시청자 인식부(100), 비디오 재생부(200), 피드백 획득부(300) 및 개인 기반 추천부(400)를 포함한다.Referring to FIG. 1, an anonymized personal identification based video recommendation apparatus (hereinafter referred to as a 'device') includes an audience recognition unit 100, a video playback unit 200, a feedback acquisition unit 300, 400).

시청자 인식부(100)는 바디 모델을 이용하여 익명화된 상태에서 비디오를 시청하는 시청자를 식별한다. 이에 대해서는 하기의 도 2를 참조하여 상세히 살펴보기로 한다. 비디오 재생부(200)는 시청자와의 인터페이스를 통해 시청자가 선택한 비디오를 출력한다. The viewer identifying unit 100 identifies the viewer who watches the video in an anonymized state using the body model. This will be described in detail with reference to FIG. The video reproducing unit 200 outputs the video selected by the viewer through the interface with the viewer.

피드백 획득부(300)는 비디오 시청에 따른 시청자의 피드백 정보를 획득한다. 피드백 획득부(300)는 시청자의 만족도 정보를 획득하여 선호도 모델 학습에 사용한다. 피드백 정보로는 시청 지속 시간 및 바디 모델의 자세 정보를 할 수 있다. 이에 대해서는 하기의 도 4를 참조하여 상세히 살펴보기로 한다. The feedback acquisition unit 300 acquires the feedback information of the viewer according to the video viewing. The feedback acquisition unit 300 acquires the satisfaction information of the viewer and uses the information to learn the preference model. As the feedback information, the attitude information of the body model and the duration of the view can be provided. This will be described in detail with reference to FIG. 4 below.

개인 기반 추천부(400)는 피드백 획득부(300)에 의해 획득된 피드백 정보에 따라 시청자 인식부(100)에 의해 식별된 시청자에 해당하는 선호도 모델을 학습하고, 선호도 모델을 이용하여 해당 시청자가 선호하는 비디오를 추천한다. 이에 대해서는 하기의 도 5를 참조하여 상세히 살펴보기로 한다. The personalized recommendation unit 400 learns a preference model corresponding to the viewer identified by the viewer recognition unit 100 according to the feedback information obtained by the feedback acquisition unit 300, I would recommend the preferred video. This will be described in detail with reference to FIG. 5 below.

도 2는 본 발명의 일 실시 예에 따른 시청자 인식부의 상세 구성도이다.2 is a detailed configuration diagram of a viewer identification unit according to an embodiment of the present invention.

도 2를 참조하면, 시청자 인식부(100)는 센서(110), 바디 모델 추출부(120), 바디모델 식별부(130) 및 바디모델 DB(140)를 포함한다.2, the viewer recognition unit 100 includes a sensor 110, a body model extraction unit 120, a body model identification unit 130, and a body model DB 140.

센서(110)는 3D 카메라 또는 레이저 스캐너일 수 있고, 소정 위치에 시청자가 위치함에 따라 해당 시청자의 3D 영상을 촬영한다.The sensor 110 may be a 3D camera or a laser scanner, and captures a 3D image of the viewer as the viewer is positioned at a predetermined position.

바디모델 추출부(120)는 센서(110)를 통해 촬영된 3D 영상으로부터 시청자의 바디 모델을 추출해낸다. 바디 모델(Body Model)은 인체의 골격을 소수의 주요 노드(Node) 및 버티스(Vertice)로 구성된 그래프로 표현된 것이다. The body model extraction unit 120 extracts the body model of the viewer from the 3D image captured through the sensor 110. The Body Model is a graph of the skeleton of the human body, consisting of a small number of major nodes and vertices.

도 3a는 본 발명에 따른 바디모델의 일 예를 도시한 도면이다. 3A is a view showing an example of a body model according to the present invention.

도 3a를 참조하면, 바디 모델(Body Model)은 어깨(11)와 팔꿈치(12)를 노드로 간주하고, 어깨넓이(20)와 상완길이(21)를 노드간 연결선인 버티스(vertice)로 간주한 그래프로 기술된다. Referring to FIG. 3A, the body model assumes that the shoulder 11 and the elbow 12 are nodes, and the shoulder width 20 and the upper arm length 21 are vertices connecting the nodes Described in the graph considered.

이러한 바디모델(Body Model)은 지문 또는 얼굴과 같이 수천 혹은 수만명 중에서도 한 명을 지목할 수 있을 정도로 개인 변별력이 높은 하드 바이오메트릭 피처(Hard Biometric Feature)와는 달리 개인 변별력이 낮은 소프트 바이오메트릭 피처(Soft Biometric Feature)에 해당된다. 그러나, 하나의 TV 수신 장치를 공유하는 시청자 범위는 대체로 소규모이고 가족 구성상 연령이나 성별로 인한 본질적인 차이가 존재하므로, 바디모델만으로도 가족 구성원간 변별이 가능하다. 따라서, 이러한 바디모델을 이용함으로써 시청자를 식별하기 위한 프로세스가 복잡하지 않아 식별 속도가 빨라질 뿐만 아니라, 바디모델이 유출되더라도 개인의 신원을 특정할 수 없어 프라이버시가 보호된다.The Body Model is a soft biometric feature that has a low personal discrimination, unlike the Hard Biometric Feature, which is highly individualized enough to point to one of thousands or tens of thousands of people, such as a fingerprint or a face. Biometric Feature). However, since the audience range of a single TV receiving apparatus is generally small and there is an inherent difference due to age or gender in the family structure, the body model alone can discriminate between the family members. Accordingly, by using such a body model, the process for identifying a viewer is not complicated, so that not only the identification speed is increased, but privacy can be protected because the identity of the individual can not be specified even if the body model is leaked.

다시 도 2를 참조하면, 바디모델 식별부(130)는 바디모델 DB(140)를 검색하여 추출된 바디모델과 일치하는 바디모델에 해당하는 시청자 식별자를 검출해낸다.Referring again to FIG. 2, the body model identification unit 130 searches the body model DB 140 and detects a viewer identifier corresponding to a body model corresponding to the extracted body model.

바디모델 DB(140)은 식별자, 바디모델 정보로 이루어진 정보로 일 예로 다음의 <표 1>과 같이 구성될 수 있다.The body model DB 140 is composed of identifier and body model information, and can be constructed as shown in Table 1, for example.

IDID 바디모델Body model 자세posture 1One length= 45length = 45 ratio=1ratio = 1 누워있기Lying 22 length=40length = 40 ratio=1.2ratio = 1.2 팔짱끼기With arms 33 length=38length = 38 ratio=0.9ratio = 0.9 정자세Honey 44 length=30length = 30 ratio=1.1ratio = 1.1 뒤로 기대있기Expecting back

<표 1>을 참조하면, 바디모델 DB(140)에는 4명의 신원을 알 수 없는 시청자들에 대한 바디 모델 정보가 기재되어 있다. 여기서, length는 소정 노드들 간의 길이를 나타내고, ratio는 두 개의 길이들 간의 비율로 나타낼 수 있다. 예컨대, 도 3a를 참조하면, length는 어깨 넓이(20)일 수 있고, ratio는 어깨 넓이(20)와 상완길이 (21)간 비율을 나타낼 수 있다. Referring to Table 1, body model information for four viewers whose identities are unknown is described in the body model DB 140. Here, length denotes a length between predetermined nodes, and ratio can be expressed as a ratio between two lengths. For example, referring to FIG. 3A, the length may be the shoulder width 20, and the ratio may indicate the ratio between the shoulder width 20 and the upper arm length 21.

일 실시 예에 따라, length는 3차원 영상에서 측정되는 것이 바람직하다. 이는 length가 2차원 영상에서 측정되는 정보일 경우, 시청자의 자세 변화에 따라 동일한 시청자라도 length가 달라질 수 있어, 시청자를 식별하기 어렵기 때문이다. According to one embodiment, length is preferably measured in a three-dimensional image. This is because, if the length is the information measured on the two-dimensional image, the length can be changed even for the same viewer according to the change of the attitude of the viewer, and it is difficult to identify the viewer.

자세는 시청자가 TV 시청시 자주 취하는 자세를 나타내는 것으로, 바디모델 그래프를 통해 추출해낼 수 있다. The posture indicates the attitude that viewers often take when watching TV, and can be extracted through the body model graph.

도 3b는 본 발명에 따른 바디모델에서의 자세를 설명하기 위한 예시도이다.FIG. 3B is an exemplary view for explaining a posture in the body model according to the present invention.

도 3b를 참조하면, 시청자는 다리를 꼬아서 앉아있는 자세를 취하고 있는데, 영상을 통해 획득된 바디 모델 그래프에서 노드들의 상대위치를 이용하여 시청자의 자세를 추정할 수 있다. 즉, 바디모델 추출부(120)는 소정 자세에 따른 바디 모델 그래프의 대표 형태를 미리 저장하고 있어, 획득된 바디모델과의 유사도 분석을 통해 어떤 자세인지 추정 할 수 있다. Referring to FIG. 3B, the viewer is in a posture in which the legs are twisted, and the posture of the viewer can be estimated using the relative positions of the nodes in the body model graph obtained through the image. That is, the body model extracting unit 120 previously stores the representative form of the body model graph according to the predetermined posture, and can estimate the posture by analyzing the degree of similarity with the obtained body model.

다시 도 2를 참조하면, 바디모델 식별부(130)는 전술한 바와 같은 바디모델 DB(140)에 포함된 정보들을 획득된 정보와 비교하여 소정 기준 이상 일치하는 식별자를 추출해낸다. 이때, 소정 기준 이상 일치하는 바디모델 식별자를 추출해내지 못할 경우에는 새로운 사용자로 간주하여 바디모델 식별부(130)는 추출된 바디모델에 새로운 식별자를 부여하여 바디모델 DB(140)에 저장한다. Referring again to FIG. 2, the body model identification unit 130 compares the information included in the body model DB 140 as described above with the obtained information, and extracts identifiers matching a predetermined reference or more. At this time, if the body model identifier that matches the predetermined reference or more can not be extracted, the body model identification unit 130 regards the body model identifier as a new user, adds a new identifier to the extracted body model, and stores the new identifier in the body model DB 140.

도 4는 본 발명의 일 실시 예에 따른 피드백 획득부의 구성도이다.4 is a configuration diagram of a feedback acquisition unit according to an embodiment of the present invention.

도 4를 참조하면, 피드백 획득부(300)는 타이머(330) 및 선호도 추정부(340)를 포함하고, 선택적으로 센서(310)와 자세 추출부(320)를 더 포함할 수 있다. 여기서는, 설명의 편의를 위해서 도 2에 도시된 센서(110) 및 바디모델 추출부(120)와 별도의 센서(310) 및 자세 추출부(320)를 도시하였으나, 센서(310) 및 자세 추출부(320)의 기능과 역할은 센서(110) 및 바디모델 추출부(120)와 동일하다. 타이머(330)는 시청자의 소정 프로그램에 대한 시청 지속 시간을 측정한다.4, the feedback acquiring unit 300 may include a timer 330 and a preference estimating unit 340, and may further include a sensor 310 and an attitude extracting unit 320. Referring to FIG. Although the sensor 110 and the body model extracting unit 120 shown in FIG. 2 and the sensor 310 and the posture extracting unit 320 are shown here for the sake of convenience of explanation, The function and role of the body model extraction unit 320 are the same as those of the sensor 110 and the body model extraction unit 120. The timer 330 measures the viewing duration of the viewer's program.

자세 추출부(320)는 도 3b에 도시된 바와 같은 자세를 비롯하여, 시청자가 소파 등에 비스듬히 누워 있는 자세를 취하다가 급작스럽게 화면을 응시하기 위한 자세를 취한다던가, 시청자가 손바닥을 치면서 움직임을 보인다던가 하는 시청자 반응으로, 전술한 바와 같은 제스쳐의 급작스런 변화라던가, 졸고 있는 것과 같은 시청자가 잘 취할 수 있는 반응들을 포함한다. The posture extracting unit 320 may include a posture as shown in FIG. 3B, a posture in which a viewer is laid on a sofa at an angle, a posture for suddenly gazing at the screen, a viewer's motion And includes reactions that the viewer can take well, such as a sudden change in the gesture as described above or a sleepiness.

선호도 추정부(340)는 특정 프로그램의 시청 지속 시간을 기반으로 하되 선택적으로 자세정보를 활용하여 시청자가 현재 재생되고 있는 비디오에 대한 선호도를 추정해내지만, 이는 일 실시 예일 뿐 본 발명은 이에 한정되지 않는다.The preference estimating unit 340 estimates the preference for the video currently being reproduced by the viewer based on the viewing duration of the specific program but selectively utilizing the attitude information. However, the present invention is not limited thereto It does not.

도 5는 본 발명의 일 실시 예에 따른 비디오 추천부의 상세 구성도이다.5 is a detailed configuration diagram of a video recommendation unit according to an embodiment of the present invention.

도 5를 참조하면, 개인 기반 추천부(400)는 개인 선호 모델 학습부(410), 개인 선호 모델 DB(420), 비디오 추천부(430) 및 비디오 정보 DB(440)를 포함한다.Referring to FIG. 5, the personal recommendation unit 400 includes a personal preference model learning unit 410, a personal preference model DB 420, a video recommendation unit 430, and a video information DB 440.

개인 선호 모델 학습부(410)는 식별 정보, 피드백 정보 및 현재 재생되고 있는 비디오 정보를 근거로 선호도 모델을 기계학습(Machine Learning : ML) 기법으로 훈련시킨다. The personal preference model learning unit 410 trains the preference model based on the identification information, the feedback information, and the video information currently being reproduced by a machine learning (ML) technique.

개인 선호 모델 DB(420)은 각 식별자별로 선호도 모델을 저장한다. The personal preference model DB 420 stores a preference model for each identifier.

비디오 추천부(430)는 선호도 모델과 비디오 정보를 근거하여 매칭되는 비디오를 추출하여 해당 사용자에게 추천해준다. The video recommendation unit 430 extracts video matching based on the preference model and the video information, and recommends the video to the user.

비디오 정보 DB(440)는 제공 가능한 각각의 콘텐트에 대하여 비디오 추천부(430)에서 개인 선호 모델 DB(420)에 등록된 특정 개인의 예상 선호도를 개인 선호 모델을 이용하여 계산할 수 있도록 피쳐(feature)를 제공한다.The video information DB 440 is a feature that allows the video recommending unit 430 to calculate the expected preference of a specific individual registered in the personal preference model DB 420 for each content that can be provided using the personal preference model, Lt; / RTI &gt;

도 6은 본 발명의 일 실시 예에 따른 익명화된 개인 식별 기반 비디오 추천 방법을 설명하기 위한 순서도이다.6 is a flowchart illustrating an anonymized personal identification based video recommendation method according to an exemplary embodiment of the present invention.

도 6을 참조하면, 익명화된 개인 식별 기반 비디오 추천 방법은 크게 바디 모델을 이용하여 시청자를 식별하는 단계(S610)와, 비디오 시청에 따른 시청자의 피드백 정보를 획득하여, 상기 피드백 정보에 따른 선호도 모델을 학습하는 단계(S620)와, 상기 선호도 모델에 따라 해당 시청자에게 비디오를 추천하는 단계(S630)를 포함한다. 여기서, 설명의 편의를 위해 S620 및 S630이 시계열적인 것으로 도시되어 있으나, 이는 병렬적으로 수행될 수 있다. 즉, 식별된 시청자에 대한 선호도 모델이 이미 존재하고, 시청자가 TV 수상기를 전원 온시킨 즉시 프로그램 추천 요청할 경우, 이미 학습되어 있는 선호도 모델을 이용하여 비디오를 추천할 수 있다. 그런 후, 추천된 비디오 시청에 따른 선호도 추정 동작이 수행되도록 할 수 있다. Referring to FIG. 6, an anonymized personal identification based video recommendation method mainly comprises a step S610 of identifying a viewer using a body model, a step S610 of obtaining a feedback information of a viewer according to a video viewing, (S620), and recommending a video to the viewer according to the preference model (S630). Although S620 and S630 are shown as time-series for convenience of explanation, they may be performed in parallel. That is, if a preference model for an identified viewer already exists and a viewer requests a program recommendation as soon as the television receiver is powered on, the user can recommend the video using the already learned preference model. Then, a preference estimation operation according to the recommended video viewing can be performed.

상세하게는, 장치는 3D 카메라 또는 레이저 스캐너를 통해 소정 위치에 시청자가 위치함에 따라 해당 시청자의 3D 영상을 촬영한다(S611). 그런 후, 장치는 3D 영상으로부터 시청자의 바디 모델을 추출해낸다(S612). 여기서, 바디 모델(Body Model)은 인체의 골격을 노드(Node) 및 버티스(Vertice)로 구성된 그래프로 표현된 것이다. In detail, the apparatus captures a 3D image of the viewer as the viewer is positioned at a predetermined position through the 3D camera or the laser scanner (S611). Then, the apparatus extracts the viewer's body model from the 3D image (S612). Here, the body model is a graph in which the skeleton of the human body is composed of a node and a vertice.

장치는 바디모델 DB(140)를 검색하여 추출된 바디모델과 소정 기준 이상 일치하는 바디모델이 존재 여부에 따라 식별 가능한지를 판단한다(S613).The apparatus searches the body model DB 140 to determine whether the extracted body model is identifiable based on the presence or absence of a body model matching a predetermined reference or more (S613).

S614의 판단 결과 식별 가능하지 않을 경우, 장치는 추출된 바디모델에 새로운 식별자를 부여하여 바디모델 DB(140)에 저장한다(S614).If it is determined as a result of the determination in S614, the apparatus adds a new identifier to the extracted body model and stores it in the body model DB 140 (S614).

반면, S614의 판단 결과 식별 가능할 경우, S621 단계로 진행한다. On the other hand, if it is determined as a result of the determination in step S614, the process proceeds to step S621.

장치는 비디오가 재생되고 있는 동안, 시청자의 피드백 정보를 검출한다(S621). 여기서, 시청자의 피드백 정보로는 시청 지속 시간을 기반으로 하되, 선택적으로 시청자의 자세 정보가 더 포함될 수 있다. The apparatus detects feedback information of the viewer while the video is being reproduced (S621). Here, the feedback information of the viewer is based on the viewing duration, but may optionally include the attitude information of the viewer.

장치는 시청 지속 시간을 기반으로 하되, 선택적으로 시청자의 자세 정보를 분석하여 시청자가 현재 재생되고 있는 비디오에 대한 선호도를 추정해낸다(S622). 여기서는 선호도 추정을 위해 자세 또는 시청 지속 시간을 사용하나, 이는 일 실시 예일 뿐 본 발명은 이에 한정되지 않는다.The apparatus is based on the viewing duration, and selectively analyzes the attitude information of the viewer to estimate the preference of the video currently being reproduced (S622). Here, the attitude or the viewing duration is used for the estimation of the preference, but this is only an example and the present invention is not limited thereto.

장치는 식별 정보, 피드백 정보 및 현재 재생되고 있는 비디오 정보를 근거로 선호도 모델을 훈련시킨다(S623). The apparatus trains the preference model based on the identification information, the feedback information, and the video information currently being reproduced (S623).

장치는 시청자로부터 비디오 추천될 요청될 경우(S631), 선호도 모델과 비디오 정보를 근거하여 매칭되는 비디오를 검출하여(S632), 해당 사용자에게 추천해준다(S633). If the device is requested to be video-recommended from the viewer (S631), the matching video is detected based on the preference model and the video information (S632) and recommended to the user (S633).

Claims (18)

촬영된 시청자 영상으로부터 바디 모델을 추출하고, 추출된 바디모델을 이용하여 시청자를 식별하는 단계와,
비디오 시청에 따른 시청자의 피드백 정보를 획득하고, 상기 피드백 정보에 따라 상기 식별된 시청자의 선호도 모델을 학습하는 단계와,
상기 식별된 시청자에 해당하는 상기 선호도 모델에 따라 해당 시청자에게 비디오를 추천하는 단계를 포함함을 특징으로 하는 익명화된 개인 식별 기반 비디오 추천 방법.
Extracting a body model from the photographed viewer image and identifying the viewer using the extracted body model,
Acquiring feedback information of the viewer according to the video watching and learning the preference model of the identified viewer according to the feedback information,
And recommending a video to the viewer according to the preference model corresponding to the identified viewer.
제 1항에 있어서, 상기 식별하는 단계는
시청자의 영상을 촬영하는 단계와,
상기 시청자의 영상으로부터 바디 모델을 추출하는 단계와,
상기 추출된 바디 모델과 일치하는 바디 모델을 가진 시청자 식별자를 검출하는 단계를 포함함을 특징으로 하는 비디오 추천 방법.
2. The method of claim 1,
A step of photographing a video of a viewer,
Extracting a body model from an image of the viewer;
And detecting a viewer identifier having a body model matching the extracted body model.
제 2항에 있어서, 상기 식별하는 단계는
상기 추출된 바디 모델과 일치하는 바디 모델을 가진 시청자 식별자가 검출되지 않을 경우, 새로운 식별자를 부여하고 바디 모델을 저장하는 단계를 더 포함함을 특징으로 하는 익명화된 개인 식별 기반 비디오 추천 방법.
3. The method of claim 2, wherein identifying
Further comprising the step of providing a new identifier and storing a body model if a viewer identifier having a body model matching the extracted body model is not detected.
제 2항에 있어서, 상기 시청자의 영상을 촬영하는 단계는
3차원 영상을 취득하는 것을 특징으로 하는 익명화된 개인 식별 기반 비디오 추천 방법.
3. The method of claim 2, wherein the step of photographing the viewer
And acquiring a three-dimensional image.
제 1항에 있어서, 상기 바디 모델은
상기 시청자 영상을 분석하여, 사지 및 소정 관절들을 노드 및 버티스로 표현한 그래프임을 특징으로 하는 익명화된 개인 식별 기반 비디오 추천 방법.
The method of claim 1, wherein the body model
And analyzing the viewer image to represent limbs and predetermined joints as nodes and vertices.
제 5항에 있어서, 상기 식별하는 단계는
상기 노드들 간의 길이 및 길이들 간의 비율을 사용하여 시청자를 인식함을 특징으로 하는 익명화된 개인 식별 기반 비디오 추천 방법.
6. The method of claim 5, wherein identifying
Wherein the viewer is recognized using a ratio between the lengths and the lengths between the nodes.
제 1항에 있어서, 상기 식별하는 단계는
상기 바디 모델로부터 추출된 자세가 이용됨을 특징으로 하는 익명화된 개인 식별 기반 비디오 추천 방법.
2. The method of claim 1,
And an attitude extracted from the body model is used.
제 1항에 있어서, 상기 학습하는 단계는
시청자의 시청 지속 시간을 포함하는 피드백 정보를 획득하는 단계와,
상기 피드백 정보에 따른 선호도를 추정하는 단계를 포함함을 특징으로 하는 익명화된 개인 식별 기반 비디오 추천 방법.
2. The method of claim 1,
Obtaining feedback information including a viewing duration of the viewer,
And estimating a preference according to the feedback information.
제 8항에 있어서, 상기 피드백 정보는
시청자의 자세 정보를 더 포함함을 특징으로 하는 익명화된 개인 식별 기반 비디오 추천 방법.
9. The method of claim 8,
And further comprising attitude information of the viewer.
시청자를 촬영한 영상을 통해 바디 모델을 추출하고, 추출된 바디모델을 통해 시청자를 식별하는 시청자 인식부와,
비디오를 출력하는 비디오 재생부와,
상기 비디오 시청에 따른 시청자의 피드백 정보를 획득하는 피드백 획득부와,
상기 피드백 정보에 따라 상기 식별된 시청자에 해당하는 선호도 모델을 학습하고, 상기 선호도 모델에 따라 해당 시청자에게 비디오를 추천하는 개인 비디오 추천부를 포함함을 특징으로 하는 익명화된 개인 식별 기반 비디오 추천 장치.A viewer recognition unit for extracting a body model through an image of a viewer and identifying the viewer through the extracted body model,
A video reproducing unit for outputting video,
A feedback acquiring unit for acquiring feedback information of the viewer according to the video viewing;
And a personal video recommendation unit that learns a preference model corresponding to the identified viewer according to the feedback information and recommends a video to the viewer according to the preference model. 제 10항에 있어서, 상기 시청자 인식부는
바디 모델 저장부와,
시청자의 영상을 촬영하는 센서와,
상기 시청자의 영상으로부터 바디 모델을 추출하는 바디 모델 검출부와,
상기 바디 모델 저장부를 검색하여, 상기 추출된 바디 모델과 일치하는 바디 모델을 가진 시청자 식별자를 검출하는 바디 모델 식별부를 포함함을 특징으로 하는 익명화된 개인 식별 기반 비디오 추천 장치.
The apparatus of claim 10, wherein the viewer recognition unit
A body model storage unit,
A sensor for capturing an image of a viewer,
A body model detector for extracting a body model from the image of the viewer;
And a body model identification unit for searching the body model storage unit and detecting a viewer identifier having a body model matching the extracted body model.
제 11항에 있어서, 상기 센서는
3차원 카메라 또는 레이저 스캐너임을 특징으로 하는 익명화된 개인 식별 기반 비디오 추천 장치.
12. The apparatus of claim 11, wherein the sensor
A 3D camera or a laser scanner.
제 11항에 있어서, 상기 바디 모델 식별부는
상기 추출된 바디 모델과 일치하는 바디 모델을 가진 시청자 식별자가 검출되지 않을 경우, 새로운 식별자가 부여된 바디 모델을 상기 바디 모델 저장부에 저장함을 특징으로 하는 익명화된 개인 식별 기반 비디오 추천 장치.
12. The apparatus of claim 11, wherein the body model identification unit
And if a viewer identifier having a body model matching the extracted body model is not detected, the body model having a new identifier is stored in the body model storage unit.
제 10항에 있어서, 상기 바디 모델은
상기 시청자 영상을 분석하여, 사지 및 소정 관절들을 노드 및 버티스로 표현한 그래프임을 특징으로 하는 익명화된 개인 식별 기반 비디오 추천 장치.
11. The method of claim 10, wherein the body model
And analyzing the viewer image to represent limbs and predetermined joints as nodes and vertices.
제 14항에 있어서, 상기 시청자 인식부는
상기 노드들 간의 길이 및 길이들 간의 비율을 사용하여 시청자를 인식함을 특징으로 하는 익명화된 개인 식별 기반 비디오 추천 장치.
15. The apparatus of claim 14, wherein the viewer recognition unit
Wherein the viewer identifies the viewer using the ratio between the lengths and the lengths between the nodes.
제 15항에 있어서, 상기 시청자 인식부는
상기 바디 모델로부터 추출된 자세가 이용됨을 특징으로 하는 익명화된 개인 식별 기반 비디오 추천 장치.
The apparatus of claim 15, wherein the viewer recognition unit
And an attitude extracted from the body model is used.
제 10항에 있어서, 상기 피드백 획득부는
시청자의 시청 지속 시간을 측정하는 타이머와,
시청자를 촬영하는 센서와,
상기 시청 지속 시간에 따라 선호도를 추정하는 선호도 추정부를 포함함을 특징으로 하는 익명화된 개인 식별 기반 비디오 추천 장치.
11. The apparatus of claim 10, wherein the feedback obtaining unit
A timer for measuring a viewing duration of the viewer,
A sensor for photographing a viewer,
And a preference estimator for estimating a preference according to the viewing duration.
제 17항에 있어서, 상기 피드백 획득부는
상기 센서에 의해 촬영된 영상으로부터 시청자의 자세 정보를 추출하는 자세 추출부를 더 포함하되,
상기 선호도 추정부는
상기 시청 지속 시간과 시청자의 자세 정보에 따라 선호도를 추정하는 선호도 추정부를 포함함을 특징으로 하는 익명화된 개인 식별 기반 비디오 추천 장치. 18. The apparatus of claim 17, wherein the feedback obtaining unit
And an attitude extracting unit for extracting attitude information of the viewer from the image photographed by the sensor,
The preference estimator
And a preference estimating unit for estimating a preference according to the viewing duration and the attitude information of the viewer.
KR1020140052808A 2014-04-30 2014-04-30 Apparatus and Method for Recommending Video based on Anonymized Personal Identification KR20150125429A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140052808A KR20150125429A (en) 2014-04-30 2014-04-30 Apparatus and Method for Recommending Video based on Anonymized Personal Identification

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140052808A KR20150125429A (en) 2014-04-30 2014-04-30 Apparatus and Method for Recommending Video based on Anonymized Personal Identification

Publications (1)

Publication Number Publication Date
KR20150125429A true KR20150125429A (en) 2015-11-09

Family

ID=54604943

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140052808A KR20150125429A (en) 2014-04-30 2014-04-30 Apparatus and Method for Recommending Video based on Anonymized Personal Identification

Country Status (1)

Country Link
KR (1) KR20150125429A (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190024333A (en) * 2017-08-31 2019-03-08 엘지전자 주식회사 Electric terminal and method for controlling the same
WO2024053876A1 (en) * 2022-09-08 2024-03-14 삼성전자 주식회사 Electronic device performing camera calibration, and operation method therefor

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190024333A (en) * 2017-08-31 2019-03-08 엘지전자 주식회사 Electric terminal and method for controlling the same
WO2024053876A1 (en) * 2022-09-08 2024-03-14 삼성전자 주식회사 Electronic device performing camera calibration, and operation method therefor

Similar Documents

Publication Publication Date Title
US8726304B2 (en) Time varying evaluation of multimedia content
KR102271854B1 (en) Control method for playing contents and contents playing apparatus for performing the same
US10735790B2 (en) Systems and methods for recommending content
KR100867005B1 (en) Method for personal-ordered multimedia data retrieval service and apparatuses thereof
US20120117057A1 (en) Searching recorded or viewed content
US11763720B2 (en) Methods, systems, and media for detecting a presentation of media content on a display device
CN104363474A (en) Multiuser-based smart television program recommending system and method
KR20140051450A (en) Using gestures to capture multimedia clips
US9866913B1 (en) Binary TV
CN107948737A (en) The recommendation method and device of TV programme
US11636151B2 (en) Methods and systems for disambiguating user input based on detection of ensembles of items
TW201511544A (en) System and method for automatically switch channels
KR20160136555A (en) Set-top box for obtaining user information by using multi-modal information, server for managing user information obtainied from set-top box and method and computer-readable recording medium using the same
KR20150125429A (en) Apparatus and Method for Recommending Video based on Anonymized Personal Identification
KR102185700B1 (en) Image display apparatus and information providing method thereof
CN111432279A (en) Method and device for controlling smart television and smart television
JP2011166572A (en) Apparatus for estimation of program preference, image viewing system, program viewing confirmation method, and program
JP2017126160A (en) Information providing device, information providing system, information providing method, and program
TR202017601A2 (en) A system that provides channel list based on viewer age range
CN105992065B (en) Video on demand social interaction method and system
CN111385658A (en) Control method and control system for account information synchronization among multiple devices
KR20120001389A (en) System and method for providing comment of contents
KR20160062427A (en) Video display apparatus and operating method thereof

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment