KR101617649B1 - 영상의 관심 구간 추천 시스템 및 방법 - Google Patents

영상의 관심 구간 추천 시스템 및 방법 Download PDF

Info

Publication number
KR101617649B1
KR101617649B1 KR1020140190700A KR20140190700A KR101617649B1 KR 101617649 B1 KR101617649 B1 KR 101617649B1 KR 1020140190700 A KR1020140190700 A KR 1020140190700A KR 20140190700 A KR20140190700 A KR 20140190700A KR 101617649 B1 KR101617649 B1 KR 101617649B1
Authority
KR
South Korea
Prior art keywords
interest
image
log data
scene
learning
Prior art date
Application number
KR1020140190700A
Other languages
English (en)
Inventor
김경중
김현태
Original Assignee
세종대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 세종대학교산학협력단 filed Critical 세종대학교산학협력단
Priority to KR1020140190700A priority Critical patent/KR101617649B1/ko
Application granted granted Critical
Publication of KR101617649B1 publication Critical patent/KR101617649B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/4667—Processing of monitored end-user data, e.g. trend analysis based on the log file of viewer selections
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/4508—Management of client data or end-user data
    • H04N21/4532—Management of client data or end-user data involving end-user characteristics, e.g. viewer profile, preferences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/4668—Learning process for intelligent management, e.g. learning user preferences for recommending movies for recommending content, e.g. movies
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4722—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content
    • H04N21/4725—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content using interactive regions of the image, e.g. hot spots
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region

Abstract

본 발명의 일 실시예에 따른 영상의 관심 구간 추천 시스템은 영상 재생 시, 사용자의 표정 및 생체 정보 중 적어도 하나를 인식하여 상기 영상의 각 장면에 대한 관심 유무를 판단하고, 상기 영상으로부터 상기 사용자의 관심 장면 각각에 대한 재생 시간 값을 추출하는 사용자 정보 처리부; 상기 관심 장면 각각으로부터 오브젝트에 관한 정보를 포함하는 로그 데이터를 추출하는 로그 데이터 처리부; 및 상기 로그 데이터로부터 상기 오브젝트에 대한 특징 벡터를 추출하고, 상기 추출된 특징 벡터 및 상기 재생 시간 값에 기초하여 상기 관심 장면에 관한 학습 데이터를 생성하는 학습 처리부를 포함한다.

Description

영상의 관심 구간 추천 시스템 및 방법{RECOMMENDATION SYSTEM AND METHOD FOR VIDEO INTERESTING SECTION}
본 발명의 실시예들은 영상의 관심 구간 추천 시스템 및 방법에 관한 것이다.
스마트폰이나 간단한 캠 혹은 키넥트 같은 기기를 이용하여 개별적인 사용자의 표정 인식뿐만 아니라, 이를 통한 사용자의 감정이나 의도 등을 파악하는 것이 가능하다. 또한, 웨어러블 디바이스를 통해 각종 센서 등을 통해 생체 신호를 수집하는 것 등으로 사용자의 의도를 보다 정확하게 판단할 수 있다.
하지만, 사용자의 의도를 판단하는 것에 그치거나 의도를 활용하여 대응을 해줄 수 있는 시스템이 부족하다. 즉, 이러한 사용자의 의도를 파악하고 새로운 컨텐츠를 사용자에게 제공할 수 있는 추천 시스템이 필요하다.
지금까지의 추천 시스템은 주로 사용자와 비슷한 유형의 컨텐츠를 소비하였거나, 정보를 가진 유저의 정보를 활용하여 사용자가 원하는 컨텐츠를 추천하는 것이 주로 연구되어 왔다.
하지만, 이러한 추천 시스템은 복합적인 요소에 의해 사용자가 관심을 보이는 컨텐츠 일수록 정확도에서 좋은 성능을 보여주지 못한다.
관련 선행기술로는 국내 공개특허공보 제2008-0004679호(발명의 명칭: 영상 녹화 장치의 영상 정보 기록 방법, 공개일자: 2008년 1월 10일)가 있다.
본 발명의 일 실시예는 사용자(시청자)의 영상 시청 시 감정 상태를 인식하여 해당 장면의 로그 데이터와 사용자의 관심 유무를 통해 관심 구간의 영상을 포함하는 개인화 추천 모델을 구축하여 제공할 수 있는 영상의 관심 구간 추천 시스템 및 방법을 제공한다.
본 발명이 해결하고자 하는 과제는 이상에서 언급한 과제(들)로 제한되지 않으며, 언급되지 않은 또 다른 과제(들)은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
본 발명의 일 실시예에 따른 영상의 관심 구간 추천 시스템은 영상 재생 시, 사용자의 표정 및 생체 정보 중 적어도 하나를 인식하여 상기 영상의 각 장면에 대한 관심 유무를 판단하고, 상기 영상으로부터 상기 사용자의 관심 장면 각각에 대한 재생 시간 값을 추출하는 사용자 정보 처리부; 상기 관심 장면 각각으로부터 오브젝트에 관한 정보를 포함하는 로그 데이터를 추출하는 로그 데이터 처리부; 및 상기 로그 데이터로부터 상기 오브젝트에 대한 특징 벡터를 추출하고, 상기 추출된 특징 벡터 및 상기 재생 시간 값에 기초하여 상기 관심 장면에 관한 학습 데이터를 생성하는 학습 처리부를 포함한다.
상기 로그 데이터 처리부는 상기 로그 데이터를 이용하여 위치 기반 형식의 고유 값을 생성하고, 상기 학습 처리부는 상기 고유 값에 기초하여 상기 로그 데이터로부터 상기 오브젝트에 대한 특징 벡터를 추출할 수 있다.
상기 로그 데이터 처리부는 상기 로그 데이터를 지정된 프레임 단위마다 한 번씩 저장하는 로그 저장부; 상기 오브젝트에 관한 정보에 기초하여 상기 로그 데이터를 위치 기반 형식으로 재처리하는 로그 처리부; 및 미리 설정된 n*n(상기 n은 자연수) 크기의 그리드 맵을 생성하고, 상기 생성된 그리드 맵의 좌표 값에 기초하여 상기 오브젝트 각각에 대한 고유 값을 생성하는 장면 생성부를 포함할 수 있다.
상기 장면 생성부는 상기 위치 기반 형식으로 재처리된 로그 데이터를 이용하여 상기 그리드 맵의 좌표 값에 상기 오브젝트 각각을 매칭하고, 상기 매칭된 각각의 좌표 값을 상기 오브젝트 각각의 고유 값으로서 생성할 수 있다.
상기 장면 생성부는 상기 고유 값을 상기 오브젝트 각각의 중요도에 따라 복수의 그룹으로 구분하고, 상기 그룹 각각의 고유 값을 정규화 처리할 수 있다.
상기 로그 데이터 처리부는 상기 고유 값이 겹치는 오브젝트가 존재하는 경우, 상기 그리드 맵을 복수의 d(상기 d는 2 이상의 자연수)차원으로 분할하여 n*n*d개의 고유 값을 출력하는 차원 분할부를 더 포함할 수 있다.
상기 학습 처리부는 RBM(Restricted Boltzman Machine)을 다층으로 쌓는 DBN(Deep Belief Network)을 구성하여 n*n(또는 n*n*d)개의 고유 값에 해당하는 벡터의 크기를 차원 축소 처리함으로써 상기 특징 벡터를 추출할 수 있다.
상기 학습 처리부는 상기 영상의 각 장면에 대한 관심 유무를 나타내는 레이블에 기초하여 일정 세대만큼 i(1≤i≤n)층 상기 RBM을 학습하고, 상기 i가 n층이면 n층의 DBN을 구성하고, 상기 i가 n층이 아니면 상기 i가 n층이 될 때까지 상기 i를 1씩 증가시키면서 상기 RBM을 학습할 수 있다.
본 발명의 일 실시예에 따른 영상의 관심 구간 추천 시스템은 상기 레이블을 이용하여 지도 학습을 실시하되, 상기 지도 학습 시 DBN으로 얻어진 벡터를 사용하고 얻어진 오차율을 바탕으로 상기 DBN의 파인 튜닝(fine-tuning) 과정을 수행하고, 상기 DBN에 기초하여 상기 영상의 관심 구간에 대한 추천 모델을 생성하는 추천 모델 생성부를 더 포함할 수 있다.
상기 추천 모델 생성부는 상기 추천 모델에 기초하여 입력되는 새로운 영상의 장면에 대한 관심 유무를 예측하고, 상기 관심 유무의 예측 결과에 기초하여 상기 새로운 영상으로부터 예측 관심 장면을 추출하여 하이라이트 형식으로 제공할 수 있다.
본 발명의 일 실시예에 따른 영상의 관심 구간 추천 시스템은 입력되는 새로운 영상으로부터 상기 학습 데이터에 기초하여 예측 관심 장면을 추출하여 추천 모델을 생성하는 추천 모델 생성부를 더 포함할 수 있다.
상기 오브젝트에 관한 정보는 상기 관심 장면 각각에 포함된 오브젝트의 이름, 아이디, 위치 정보 중 적어도 하나를 포함할 수 있다.
본 발명의 일 실시예에 따른 영상의 관심 구간 추천 방법은 영상 추천 제공 장치에서, 영상 재생 시, 사용자의 표정 및 생체 정보 중 적어도 하나를 인식하여 상기 영상의 각 장면에 대한 관심 유무를 판단하는 단계; 상기 영상 추천 제공 장치에서, 상기 영상으로부터 상기 사용자의 관심 장면 각각에 대한 재생 시간 값을 추출하는 단계; 상기 영상 추천 제공 장치에서, 상기 관심 장면 각각으로부터 오브젝트에 관한 정보를 포함하는 로그 데이터를 추출하는 단계; 상기 영상 추천 제공 장치에서, 상기 로그 데이터로부터 상기 오브젝트에 대한 특징 벡터를 추출하는 단계; 및 상기 영상 추천 제공 장치에서, 상기 추출된 특징 벡터 및 상기 재생 시간 값에 기초하여 상기 관심 장면에 관한 학습 데이터를 생성하는 단계를 포함한다.
본 발명의 일 실시예에 따른 영상의 관심 구간 추천 방법은 상기 영상 추천 제공 장치에서, 상기 로그 데이터를 이용하여 위치 기반 형식의 고유 값을 생성하는 단계를 더 포함하고, 상기 특징 벡터를 추출하는 단계는 상기 고유 값에 기초하여 상기 로그 데이터로부터 상기 오브젝트에 대한 특징 벡터를 추출하는 단계를 포함할 수 있다.
상기 고유 값을 생성하는 단계는 상기 로그 데이터를 지정된 프레임 단위마다 한 번씩 저장하는 단계; 상기 오브젝트에 관한 정보에 기초하여 상기 로그 데이터를 위치 기반 형식으로 재처리하는 단계; 미리 설정된 n*n(상기 n은 자연수) 크기의 그리드 맵을 생성하는 단계; 및 상기 생성된 그리드 맵의 좌표 값에 기초하여 상기 오브젝트 각각에 대한 고유 값을 생성하는 단계를 포함할 수 있다.
본 발명의 일 실시예에 따른 영상의 관심 구간 추천 방법은 상기 영상 추천 제공 장치에서, 상기 고유 값을 상기 오브젝트 각각의 중요도에 따라 복수의 그룹으로 구분하는 단계; 및 상기 영상 추천 제공 장치에서, 상기 그룹 각각의 고유 값을 정규화 처리하는 단계를 더 포함할 수 있다.
본 발명의 일 실시예에 따른 영상의 관심 구간 추천 방법은 상기 고유 값이 겹치는 오브젝트가 존재하는 경우, 상기 영상 추천 제공 장치에서, 상기 그리드 맵을 복수의 d(상기 d는 2 이상의 자연수)차원으로 분할하여 n*n*d개의 고유 값을 출력하는 단계를 더 포함할 수 있다.
상기 특징 벡터를 추출하는 단계는 RBM(Restricted Boltzman Machine)을 다층으로 쌓는 DBN(Deep Belief Network)을 구성하여 n*n(또는 n*n*d)개의 고유 값에 해당하는 벡터의 크기를 차원 축소 처리함으로써 상기 특징 벡터를 추출하는 단계를 포함할 수 있다.
상기 학습 데이터를 생성하는 단계는 상기 영상의 각 장면에 대한 관심 유무를 나타내는 레이블에 기초하여 일정 세대만큼 i(1≤i≤n)층 상기 RBM을 학습하는 단계; 상기 i가 n층이면 n층의 DBN을 구성하는 단계; 및 상기 i가 n층이 아니면 상기 i가 n층이 될 때까지 상기 i를 1씩 증가시키면서 상기 RBM을 학습하는 단계를 포함할 수 있다.
본 발명의 일 실시예에 따른 영상의 관심 구간 추천 방법은 상기 영상 추천 제공 장치에서, 상기 레이블을 이용하여 지도 학습을 실시하되, 상기 지도 학습 시 DBN으로 얻어진 벡터를 사용하고 얻어진 오차율을 바탕으로 상기 DBN의 파인 튜닝(fine-tuning) 과정을 수행하는 단계; 및 상기 영상 추천 제공 장치에서, 상기 DBN에 기초하여 상기 영상의 관심 구간에 대한 추천 모델을 생성하는 단계를 더 포함할 수 있다.
본 발명의 일 실시예에 따른 영상의 관심 구간 추천 방법은 상기 영상 추천 제공 장치에서, 상기 추천 모델에 기초하여 입력되는 새로운 영상의 장면에 대한 관심 유무를 예측하는 단계; 및 상기 영상 추천 제공 장치에서, 상기 관심 유무의 예측 결과에 기초하여 상기 새로운 영상으로부터 예측 관심 장면을 추출하여 하이라이트 형식으로 제공하는 단계를 더 포함할 수 있다.
본 발명의 일 실시예에 따른 영상의 관심 구간 추천 방법은 상기 영상 추천 제공 장치에서, 입력되는 새로운 영상으로부터 상기 학습 데이터에 기초하여 예측 관심 장면을 추출하여 추천 모델을 생성하는 단계를 더 포함할 수 있다.
기타 실시예들의 구체적인 사항들은 상세한 설명 및 첨부 도면들에 포함되어 있다.
본 발명의 일 실시예에 따르면, 사용자(시청자)의 영상 시청 시 감정 상태를 인식하여 해당 장면의 로그 데이터와 함께 사용자의 관심 유무를 저장하고, 저장된 데이터를 통해 관심 구간의 영상을 포함하는 개인화 추천 모델을 구축하여 제공할 수 있다.
본 발명의 일 실시예에 따르면, 사용자가 영상 컨텐츠를 소비하면 할수록 쌓이는 빅데이터(Big Data)를 활용하여, 딥러닝(Deep Learning)을 통해 모델을 학습시킬 수 있고, 이로써 높은 정확도로 사용자가 선호하는 영상 컨텐츠를 제공할 수 있다.
본 발명의 일 실시예에 따르면, 세부적으로 특정 짧은 구간의 플레이 영상을 로그 데이터와 함께 저장함으로써, 이 특정 짧은 구간에 대해서도 사용자의 관심 유무를 예측하여 추천 서비스를 제공할 수 있다.
도 1은 본 발명의 일 실시예에 따른 영상의 관심 구간 추천 시스템을 나타낸 도면이다.
도 2는 도 1의 영상 추천 제공 장치를 상세히 설명하기 위해 도시한 블록도이다.
도 3은 도 2의 로그 데이터 처리부의 상세 구성을 도시한 블록도이다.
도 4는 본 발명의 일 실시예에 있어서, k 프레임에 한 번씩 저장되는 영상의 재생 시간 값 Ti에서 추출된 게임 로그 데이터를 처리하는 과정을 설명하기 위해 도시한 도면이다.
도 5는 본 발명의 일 실시예에 따른 영상의 관심 구간 추천 방법을 설명하기 위해 도시한 흐름도이다.
도 6은 본 발명의 일 실시예에 따라 관심 장면 내 오브젝트 각각에 대한 고유 값을 생성하는 과정을 설명하기 위해 도시한 흐름도이다.
도 7은 본 발명의 일 실시예에 따라 학습 데이터를 생성하는 과정을 설명하기 위해 도시한 흐름도이다.
도 8은 본 발명의 일 실시예에 따라 추천 모델을 생성하는 과정을 설명하기 위해 도시한 흐름도이다.
본 발명의 이점 및/또는 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성요소를 지칭한다.
이하에서는 첨부된 도면을 참조하여 본 발명의 실시예들을 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 영상의 관심 구간 추천 시스템을 나타낸 도면이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 영상의 관심 구간 추천 시스템(100)은 영상 재생 장치(110) 및 영상 추천 제공 장치(120)를 포함하여 구성될 수 있다.
상기 영상 재생 장치(110)는 영상을 재생하여 디스플레이 할 수 있는 장치이다. 예를 들어, 상기 영상 재생 장치(110)는 TV, 컴퓨터 등의 고정 단말, 및 노트북, 태블릿 PC, 스마트 패드, 스마트폰 등의 이동 단말을 포함할 수 있다.
여기서, 상기 영상은 실시간 방송 영상, VOD(Video On Demand), 게임 영상 등 재생 가능한 모든 영상을 포괄하는 개념으로 이해될 수 있다. 상기 영상 재생 장치(110)는 이러한 영상을 출력하여 상기 영상 추천 제공 장치(120)에 제공할 수 있다.
상기 영상 추천 제공 장치(120)는 사용자(시청자)로부터 영상을 시청하면서 얻어지는 사용자의 표정이나 신체 정보를 활용하여 로그 데이터와 함께 사용자의 해당 장면에 대한 관심 유무를 같이 저장한다.
상기 영상 추천 제공 장치(120)는 상기 저장된 데이터를 통해, 사용자에게 관심 구간의 영상을 포함하는 개인화 추천 모델을 구축하여 제공할 수 있다. 따라서, 본 발명의 일 실시예에 따르면, 사용자가 영상 컨텐츠(예: 게임 영상의 경우 게임 컨텐츠)를 소비하면 할수록 쌓이는 빅데이터(Big Data)를 활용하여, 딥러닝(Deep Learning)을 통해 모델을 학습시킬 수 있고, 이로써 높은 정확도로 사용자가 선호하는 컨텐츠(관심 구간의 영상)를 제공할 수 있다.
또한, 본 발명의 일 실시예에 따르면, 세부적으로 특정 짧은 구간의 플레이 영상을 로그 데이터와 함께 저장함으로써, 이 특정 짧은 구간에 대해서도 사용자의 관심 유무를 예측하여 추천이 가능해진다.
도 2는 도 1의 영상 추천 제공 장치(120)를 상세히 설명하기 위해 도시한 블록도이다.
도 1 및 도 2를 참조하면, 상기 영상 추천 제공 장치(120)는 입력 수신부(210), 사용자 정보 처리부(220), 로그 데이터 처리부(230), 학습 처리부(240), 추천 모델 생성부(250), 데이터 베이스(260), 및 제어부(270)를 포함할 수 있다.
상기 입력 수신부(210)는 상기 영상 재생 장치(110)로부터 출력(재생)되는 영상을 입력받을 수 있다. 이를 위해, 상기 입력 수신부(210)는 상기 영상 재생 장치(110)와의 통신을 위한 통신 모듈을 구비할 수 있다. 상기 통신 모듈은 현존하는 모든 유/무선 통신 모듈을 포함할 수 있다.
상기 사용자 정보 처리부(220)는 사용자의 표정 및 생체 정보 중 적어도 하나를 인식하여 상기 영상의 각 장면에 대한 관심 유무를 판단한다. 이를 위해, 상기 사용자 정보 처리부(220)는 신경회로망, 얼굴 온도 및 얼굴 표정 중 적어도 하나를 이용하여 상기 사용자의 감정 상태의 변화를 인식할 수 있다.
참고로, 상기 신경회로망, 얼굴 온도 및 얼굴 표정 등을 이용한 감정 인식 기술은 당해 기술분야에서 일반적으로 알려져 있는 주지 기술에 해당하므로, 본 명세서에서는 이에 대한 설명을 생략하기로 한다.
예를 들어, 상기 사용자 정보 처리부(220)는 상기 사용자의 감정 상태가 기본(평온) 상태에서 흥분(기쁨, 슬픔 등) 상태로 변화하는 제1 변화 시점과, 상기 사용자의 감정 상태가 상기 흥분 상태에서 상기 기본 상태로 변화하는 제2 변화 시점 사이의 재생 구간을 관심 구간으로서 판단할 수 있다.
상기 사용자 정보 처리부(220)는 상기 영상으로부터 상기 사용자의 관심 장면 각각에 대한 재생 시간 값을 추출한다. 즉, 상기 사용자 정보 처리부(220)는 상기 관심 구간에 해당하는 장면(관심 장면) 각각에 해당하는 재생 시간 값을 상기 영상으로부터 추출할 수 있다.
여기서, 상기 재생 시간 값은 상기 관심 장면의 시작 시간과 종료 시간을 포함할 수 있으며, 상기 관심 장면의 시작 시간으로부터 종료 시간까지의 구간 재생 시간을 더 포함할 수 있다. 상기 재생 시간 값은 상기 데이터베이스(260)에 저장될 수 있다.
상기 로그 데이터 처리부(230)는 상기 관심 장면 각각으로부터 오브젝트(Object)에 관한 정보를 포함하는 로그 데이터를 추출한다. 여기서, 상기 오브젝트에 관한 정보는 상기 관심 장면 각각에 포함된 오브젝트의 이름, 아이디, 위치 정보 등을 포함할 수 있다.
상기 로그 데이터 처리부(230)는 상기 추출된 로그 데이터를 이용하여 위치 기반 형식의 고유 값을 생성할 수 있다. 상기 생성된 고유 값은 상기 데이터베이스(260)에 저장될 수 있다. 이때, 상기 데이터베이스(260)는 상기 사용자 정보 처리부(220)에 의해 추출된 재생 시간 값과, 상기 로그 데이터 처리부(230)에 의해 생성된 고유 값을 매칭하여 통합한 후 저장할 수 있다.
이하에서는 도 3을 참조하여 상기 로그 데이터 처리부(230)에 대해 구체적으로 설명한다. 도 3은 도 2의 로그 데이터 처리부(230)의 상세 구성을 도시한 블록도이다.
도 3을 참조하면, 상기 로그 데이터 처리부(230)는 로그 저장부(310), 로그 처리부(320), 장면 생성부(330), 및 차원 분할부(340)를 포함할 수 있다.
상기 로그 저장부(310)는 상기 로그 데이터를 지정된 프레임 단위마다 한 번씩 저장할 수 있다. 예컨대, 상기 관심 장면의 영상이 게임인 경우, 그 게임의 1초를 a 프레임으로 나누었다고 가정한다. 이러한 경우, 상기 로그 저장부(310)는 지정된 k 프레임에 한 번씩 상기 게임 내에 존재하는 모든 게임 로그 데이터를 저장할 수 있다.
상기 k 프레임에 한 번씩 저장되는 이 로그 데이터는 하나의 장면으로 볼 수 있는데, 그 각 장면들은 해당 프레임에 존재하는 모든 유닛들과 건물 등의 위치 정보를 포함한 다양한 정보를 가지고 있다. 따라서, 상기 각 장면에 대한 정보(오브젝트에 관한 정보)를 이용하여 상기 로그 데이터를 처리할 수 있다.
즉, 상기 로그 처리부(320)는 상기 오브젝트에 관한 정보에 기초하여 상기 로그 데이터를 위치 기반 형식으로 재처리할 수 있다. 가령 게임의 경우, 그 로그 데이터는 유닛 또는 건물의 이름, 아이디, 위치 정보(x, y) 등을 포함할 수 있는데, 상기 로그 처리부(320)는 이러한 정보를 이용하여 그 게임의 로그 데이터를 위치 기반 형식으로 재처리할 수 있다.
예를 들면, 유닛의 이름이 Zealot, 아이디가 56, 위치 정보가 (153, 248)인 경우, 상기 로그 처리부(320)는 상기 유닛에 해당하는 로그 데이터를 {Zealot, 56, 153, 248}와 같이 위치 기반의 형식으로 재처리할 수 있다.
기존에는 영상 처리에서 영상의 한 프레임씩을 이미지로써 가져오는 방식을 사용하였지만, 본 발명의 일 실시예에서는 상기와 같은 기존 방식과는 달리, 게임 안에서 존재하는 게임 로그 데이터를 사용하여 하나의 장면처럼 다시 구성하기 위해, 각 장면의 모든 로그 데이터를 위치 기반 형식으로 재처리할 수 있다.
상기 장면 생성부(330)는 미리 설정된 n*n(상기 n은 자연수) 크기의 그리드 맵(Grid Map)을 생성하고, 상기 생성된 그리드 맵의 좌표 값에 기초하여 상기 오브젝트 각각에 대한 고유 값을 생성할 수 있다.
즉, 상기 장면 생성부(330)는 상기 위치 기반 형식으로 재처리된 로그 데이터를 이용하여 상기 그리드 맵의 좌표 값에 상기 오브젝트 각각을 매칭하고, 상기 매칭된 각각의 좌표 값을 상기 오브젝트 각각의 고유 값으로서 생성할 수 있다.
상기 장면 생성부(330)는 이미지를 n*n 크기의 그리드 맵 형태로 모든 픽셀들의 값을 받아 입력 데이터를 만드는 것과 같이, n*n 크기의 그리드 맵을 생성한 뒤, 상기 생성된 그리드 맵의 좌표 값을 그 좌표 내에 위치하는 오브젝트(유닛 혹은 건물)의 고유 값으로서 생성할 수 있다. 이에 대해 도 4를 참조하여 보다 구체적으로 설명한다.
도 4는 k 프레임에 한 번씩 저장되는 영상의 재생 시간 값 Ti에서 추출된 게임 로그 데이터를 처리하는 과정을 설명하기 위해 도시한 도면이다.
도 4에 도시된 바와 같이, 상기 게임 로그 데이터는 유닛 또는 건물의 이름, 아이디, 위치 정보(x, y)와 같이 위치 기반 형식으로 재처리될 수 있으며, 이렇게 재처리된 게임 로그 데이터는 상기 장면 생성부(330)에 입력되어 처리될 수 있다.
상기 장면 생성부(330)는 상기 그리드 맵(410)의 각 좌표 값을 각 유닛 혹은 건물의 고유 값으로 사용할 수 있다. 즉, 상기 각 유닛 혹은 건물의 고유 값은 상기 그리드 맵(410)의 각 좌표 값이 될 수 있다.
여기서, 상기 그리드 맵(410)은 n*n개의 좌표 구간으로 이루어지는데, 그 각각의 좌표 구간은 해당 영상이 재생되는 화면의 좌표 구간에 대응하여 구성될 수 있다. 이에 따라, 상기 장면 생성부(330)는 상기 오브젝트별 재생 화면 내 위치 정보에 기초하여, 상기 각각의 오브젝트가 상기 그리드 맵(410)에서 어느 좌표 구간에 위치하는지를 알 수 있으며, 그 좌표 구간에 해당하는 좌표 값은 각 오브젝트의 고유 값(사전에 정의된 값)이 될 수 있다.
예를 들어, 상기 그리드 맵(410)에서, 유닛(오브젝트) 중에서 아이디 '56'에 해당하는 이름 'Zealot'이 위치 정보 'x=153', 'y=248'에 해당하는 좌표 구간(420)에 위치하는 경우, 상기 장면 생성부(330)는 상기 유닛의 사전에 정의한 고유 값이 0.6이라고 할때, 상기 좌표 구간(420)의 고유 값을 '0.6'으로 생성할 수 있다. 즉, 상기 좌표 구간(420)의 고유 값은 '0.6'이 된다.
상기 장면 생성부(330)는 상기 고유 값을 상기 오브젝트 각각의 중요도에 따라 복수의 그룹으로 구분할 수 있다. 게임을 예로 들면, 각 게임마다 유닛 혹은 건물의 중요도가 다를 수 있기 때문에, 상기 장면 생성부(330)는 상기 유닛 혹은 건물의 고유 값을 4~5개의 집단으로 중요도에 따라 구분할 수 있다.
상기 장면 생성부(330)는 상기 그룹 각각의 고유 값을 정규화 처리할 수 있다. 즉, 상기 장면 생성부(330)는 상기 그룹 각각의 고유 값(v)을 0≤v≤1 범위 내의 값으로 정규화시킬 수 있다. 예를 들어, 상기 장면 생성부(330)는 가장 중요도가 높은 유닛 혹은 건물의 고유 값을 '1'(도 4에서 제일 검은 색에 해당하는 좌표 구간)로 처리하고, 중요도가 가장 낮은 유닛 혹은 건물의 고유 값을 '0'(도 4에서 흰색의 그리드 셀에 해당하는 좌표 구간)으로 처리할 수 있다. 이와 같이 정규화 처리된 고유 값은 도 2의 학습 처리부(240)의 입력 값으로 사용될 수 있다.
이와 같이 중요도에 따라 상기 오브젝트의 고유 값을 구분하더라도 상기 오브젝트 간, 즉 유닛과 유닛 간 혹은 건물과 유닛 간에 겹치는 문제가 발생할 수 있다. 따라서, 본 발명의 일 실시예에서는 이와 같이 오브젝트 간에 고유 값이 겹치는 문제를 해결할 필요가 있다.
이를 위해, 상기 차원 분할부(340)는 상기 고유 값이 겹치는 오브젝트가 존재하는 경우, 상기 n*n 크기의 그리드 맵을 복수의 d(상기 d는 2 이상의 자연수)차원으로 분할할 수 있다. 상기 분할된 각 차원은 영상 내의 같은 특징(예를 들어, 게임의 경우 지상 유닛, 공중 유닛, 건물)을 가질 수 있다. 이때, 상기 차원 분할부(340)는 영상마다 분류에 따라 차원 분할을 달리할 수 있다.
이와 같이 상기 고유 값이 겹치는 경우, 상기 차원 분할부(340)은 차원 분할을 통해 n*n*d개의 고유 값을 출력할 수 있다. 따라서, 상기 n*n*d개의 고유 값은 도 2의 학습 처리부(240)의 입력 값으로 사용될 수 있다.
다시 도 1 및 도 2를 참조하면, 상기 학습 처리부(240)는 상기 고유 값에 기초하여 상기 로그 데이터로부터 상기 오브젝트에 대한 특징 벡터를 추출한다.
구체적으로, 상기 학습 처리부(240)는 영상을 k 프레임에 한 번씩 저장함으로써 얻어진 빅데이터를 처리하기 위해서, 딥 러닝 기법인 RBM(Restricted Boltzman Machine)을 다층으로 쌓는 DBN(Deep Belief Network)을 구성하여 n*n(또는 n*n*d)개의 고유 값에 해당하는 벡터의 크기를 차원 축소 처리함으로써 상기 특징 벡터를 추출할 수 있다.
이를 위해, 상기 학습 처리부(240)는 상기 영상의 각 장면에 대한 관심 유무를 나타내는 레이블(재생 시간 값)에 기초하여 일정 세대만큼 i(1≤i≤n)층 상기 RBM을 학습하고, 이러한 학습을 반복하여 상기 i가 n층이 되면 n층의 DBN을 구성할 수 있다. 다만, 상기 학습 처리부(240)는 상기 i가 n층이 아니면 상기 i가 n층이 될 때까지 상기 i를 1씩 증가시키면서 상기 RBM을 학습하여 상기 n층의 DBN을 구성할 수 있다.
이와 같이, 본 발명의 일 실시예에서는 빅데이터를 처리함에 있어서 딥 러닝 기법을 이용함으로써, 기존의 다른 머신러닝 기법을 이용해 빅데이터를 다루고 처리하는 문제점을 해결할 수 있으며, 빅데이터에 적합한 처리 방식으로 효과적인 학습을 수행하도록 할 수 있다.
상기 학습 처리부(240)는 상기 관심 영상 내 오브젝트의 특징 벡터(또는 고유 값) 및 상기 관심 영상의 재생 시간 값에 기초하여, 상기 관심 장면에 관한 학습 데이터를 생성한다.
상기 추천 모델 생성부(250)는 입력되는 새로운 영상으로부터 상기 학습 데이터에 기초하여 예측 관심 장면을 추출하여 추천 모델을 생성할 수 있다.
다른 실시예로서, 상기 추천 모델 생성부(250)는 상기 레이블을 이용하여 지도 학습을 실시하되, 상기 지도 학습 시 DBN으로 얻어진 벡터를 사용하고 얻어진 오차율을 바탕으로 상기 DBN의 파인 튜닝(fine-tuning) 과정을 수행하고, 상기 DBN에 기초하여 상기 영상의 관심 구간에 대한 추천 모델을 생성할 수 있다.
상기 추천 모델 생성부(250)는 상기 추천 모델에 기초하여 입력되는 새로운 영상의 장면에 대한 관심 유무를 예측하고, 상기 관심 유무의 예측 결과에 기초하여 상기 새로운 영상으로부터 예측 관심 장면을 추출하여 하이라이트 형식으로 제공할 수 있다.
상기 데이터베이스(260)는 상기 사용자 정보 처리부(220)에서 처리된 재생 시간 값과, 상기 로그 데이터 처리부(230)에서 처리된 특징 벡터(또는 고유 값)을 함께 저장할 수 있다. 상기 데이터베이스(260)는 영상을 k 프레임에 한 번씩 저장하기 때문에 빅데이터의 저장에 적합한 저장 용량의 스토리지로 구현될 수 있다.
상기 제어부(270)는 상기 영상 추천 제공 장치(120), 즉 상기 입력 수신부(210), 상기 사용자 정보 처리부(220), 상기 로그 데이터 처리부(230), 상기 학습 처리부(240), 상기 추천 모델 생성부(250), 상기 데이터 베이스(260)의 동작을 전반적으로 제어할 수 있다.
도 5는 본 발명의 일 실시예에 따른 영상의 관심 구간 추천 방법을 설명하기 위해 도시한 흐름도이다.
도 1 및 도 5를 참조하면, 단계(510)에서 상기 영상 추천 제공 장치(120)는 상기 영상 재생 장치(110)에 의해 재생되어 입력된 영상으로부터 사용자의 관심 구간을 추출한다.
이를 위해, 상기 영상 추천 제공 장치(120)는 상기 사용자의 표정 및 생체 정보 중 적어도 하나를 인식하여 상기 영상의 각 장면에 대한 관심 유무를 판단한 후, 관심이 있는 것으로 판단된 관심 장면 각각에 대한 재생 시간 값을 상기 영상으로부터 추출함으로써 상기 사용자의 관심 구간을 추출할 수 있다.
다음으로, 단계(520)에서 상기 영상 추천 제공 장치(120)는 상기 추출된 관심 구간의 영상, 즉 상기 관심 장면 각각으로부터 오브젝트에 관한 정보를 포함하는 로그 데이터를 추출한다.
다음으로, 단계(530)에서 상기 영상 추천 제공 장치(120)는 상기 추출된 로그 데이터를 이용하여 위치 기반 형식의 고유 값을 생성한다.
다음으로, 단계(540)에서 상기 영상 추천 제공 장치(120)는 상기 생성된 고유 값에 기초하여 상기 로그 데이터로부터 상기 오브젝트에 대한 특징 벡터를 추출한다.
다음으로, 단계(550)에서 상기 영상 추천 제공 장치(120)는 상기 추출된 특징 벡터 및 상기 재생 시간 값에 기초하여 상기 관심 장면에 관한 학습 데이터를 생성한다.
다음으로, 단계(560)에서 상기 영상 추천 제공 장치(120)는 상기 학습 데이터에 기초하여, 상기 영상 재생 장치(110)에 의해 재생되어 입력되는, 새로운 영상으로부터 예측 관심 장면을 추출하고, 상기 추출된 예측 관심 장면에 기초하여 개인화된 추천 모델을 생성한다.
도 6은 본 발명의 일 실시예에 따라 관심 장면 내 오브젝트 각각에 대한 고유 값을 생성하는 과정을 설명하기 위해 도시한 흐름도이다.
도 1 및 도 6을 참조하면, 단계(610)에서 상기 영상 추천 제공 장치(120)는 상기 로그 데이터를 지정된 프레임 단위마다 한 번씩 저장할 수 있다.
다음으로, 단계(620)에서 상기 영상 추천 제공 장치(120)는 상기 오브젝트에 관한 정보에 기초하여 상기 로그 데이터를 위치 기반 형식으로 재처리할 수 있다.
다음으로, 단계(630)에서 상기 영상 추천 제공 장치(120)는 미리 설정된 n*n 크기의 그리드 맵을 생성할 수 있다.
다음으로, 단계(640)에서 상기 영상 추천 제공 장치(120)는 상기 생성된 그리드 맵의 좌표 값에 기초하여 상기 오브젝트 각각에 대한 고유 값을 생성할 수 있다.
상기 고유 값은 상기 오브젝트 각각의 중요도에 따라 복수의 그룹으로 구분될 수 있으며, 각 그룹 단위로 정규화 처리될 수 있다. 상기 고유 값이 겹치는 오브젝트가 존재하는 경우, 상기 그리드 맵은 d차원으로 분할될 수 있다. 이러한 경우, 상기 고유 값은 n*n*d개가 될 수 있다.
도 7은 본 발명의 일 실시예에 따라 학습 데이터를 생성하는 과정을 설명하기 위해 도시한 흐름도이다.
도 1 및 도 7을 참조하면, 단계(710)에서 상기 영상 추천 제공 장치(120)는 데이터베이스(도 2의 260 참조)로부터 입력 벡터(특징 벡터)와 구해진 레이블(상기 영상의 각 장면에 대한 관심 유무를 나타내는 레이블)을 얻을 수 있다.
다음으로, 단계(720)에서 상기 영상 추천 제공 장치(120)는 i에 1을 부여할 수 있다.
다음으로, 단계(730)에서 상기 영상 추천 제공 장치(120)는 일정 세대만큼 i(1≤i≤n)층 RBM을 학습할 수 있다.
다음으로, 단계(740)에서 상기 영상 추천 제공 장치(120)는 n번째 층인지를 판단할 수 있다.
상기 판단 결과, n번째 층이면(740의 "예" 방향), 단계(760)에서 상기 영상 추천 제공 장치(120)는 n층의 DBN을 구성할 수 있다.
반면, 상기 판단 결과, n번째 층이 아니면(740의 "아니오" 방향), 단계(750)에서 상기 영상 추천 제공 장치(120)는 i를 1 증가시킬 수 있다.
즉, 상기 영상 추천 제공 장치(120)는 상기 단계(740)에서 n번째 층인 것으로 판단될 때까지, 상기 i를 1씩 증가시키면서 상기 RBM을 학습할 수 있다.
도 8은 본 발명의 일 실시예에 따라 추천 모델을 생성하는 과정을 설명하기 위해 도시한 흐름도이다.
도 1 및 도 8을 참조하면, 단계(810)에서 상기 영상 추천 제공 장치(120)는 주어진 장면 데이터를 이용하여 파인 튜닝(Fine-tuning)을 실시할 수 있다(지도 학습).
즉, 상기 영상 추천 제공 장치(120)는 주어진 장면 데이터에 대해 관심 유무를 나타내는 레이블을 이용하여 지도 학습을 실시하되, 상기 지도 학습 시 DBN으로 얻어진 벡터를 사용하고 얻어진 오차율을 바탕으로 상기 DBN의 파인 튜닝(fine-tuning) 과정을 수행할 수 있다.
다음으로, 단계(820)에서 상기 영상 추천 제공 장치(120)는 상기 DBN에 기초하여 상기 영상의 관심 구간에 대한 추천 모델을 생성할 수 있다.
다음으로, 단계(830)에서 상기 영상 추천 제공 장치(120)는 상기 생성된 추천 모델에 기초하여, 상기 영상 재생 장치(110)에 의해 재생되어 입력되는, 새로운 영상의 장면에 대한 관심 유무를 예측할 수 있다.
다음으로, 단계(840)에서 상기 영상 추천 제공 장치(120)는 상기 관심 유무의 예측 결과에 기초하여, 상기 새로운 영상으로부터 관심 있는 장면 데이터의 앞뒤 일정 구간을 하이라이트 형식으로 제공할 수 있다.
즉, 상기 영상 추천 제공 장치(120)는 상기 새로운 영상으로부터 예측 관심 장면을 추출하여 하이라이트 형식으로 제공할 수 있다.
본 발명의 실시예들은 다양한 컴퓨터로 구현되는 동작을 수행하기 위한 프로그램 명령을 포함하는 컴퓨터 판독 가능 매체를 포함한다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 로컬 데이터 파일, 로컬 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크와 같은 자기-광 매체, 및 롬, 램, 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
지금까지 본 발명에 따른 구체적인 실시예에 관하여 설명하였으나, 본 발명의 범위에서 벗어나지 않는 한도 내에서는 여러 가지 변형이 가능함은 물론이다. 그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 안 되며, 후술하는 특허 청구의 범위뿐 아니라 이 특허 청구의 범위와 균등한 것들에 의해 정해져야 한다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 이는 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명 사상은 아래에 기재된 특허청구범위에 의해서만 파악되어야 하고, 이의 균등 또는 등가적 변형 모두는 본 발명 사상의 범주에 속한다고 할 것이다.
110: 영상 재생 장치
120: 영상 추천 제공 장치
210: 입력 수신부
220: 사용자 정보 처리부
230: 로그 데이터 처리부
240: 학습 처리부
250: 추천 모델 생성부
260: 데이터베이스
270: 제어부
310: 로그 저장부
320: 로그 처리부
330: 장면 생성부
340: 차원 분할부

Claims (22)

  1. 영상 재생 시, 사용자의 표정 및 생체 정보 중 적어도 하나를 인식하여 상기 영상의 각 장면에 대한 관심 유무를 판단하고, 상기 영상으로부터 상기 사용자의 관심 장면 각각에 대한 재생 시간 값을 추출하는 사용자 정보 처리부;
    상기 관심 장면 각각으로부터 오브젝트에 관한 정보를 포함하는 로그 데이터를 추출하는 로그 데이터 처리부; 및
    상기 로그 데이터로부터 상기 오브젝트에 대한 특징 벡터를 추출하고, 상기 추출된 특징 벡터 및 상기 재생 시간 값에 기초하여 상기 관심 장면에 관한 학습 데이터를 생성하는 학습 처리부
    를 포함하고,
    상기 로그 데이터 처리부는
    상기 고유 값이 겹치는 오브젝트가 존재하는 경우, 미리 설정된 n*n(상기 n은 자연수) 크기의 그리드 맵을 복수의 d(상기 d는 2 이상의 자연수)차원으로 분할하여 n*n*d개의 고유 값을 출력하는 차원 분할부
    를 포함하는 것을 특징으로 하는 영상의 관심 구간 추천 시스템.
  2. 제1항에 있어서,
    상기 로그 데이터 처리부는
    상기 로그 데이터를 이용하여 위치 기반 형식의 고유 값을 생성하고,
    상기 학습 처리부는
    상기 고유 값에 기초하여 상기 로그 데이터로부터 상기 오브젝트에 대한 특징 벡터를 추출하는 것을 특징으로 하는 영상의 관심 구간 추천 시스템.
  3. 제1항에 있어서,
    상기 로그 데이터 처리부는
    상기 로그 데이터를 지정된 프레임 단위마다 한 번씩 저장하는 로그 저장부;
    상기 오브젝트에 관한 정보에 기초하여 상기 로그 데이터를 위치 기반 형식으로 재처리하는 로그 처리부; 및
    미리 설정된 n*n(상기 n은 자연수) 크기의 그리드 맵을 생성하고, 상기 생성된 그리드 맵의 좌표 값에 기초하여 상기 오브젝트 각각에 대한 고유 값을 생성하는 장면 생성부
    를 더 포함하는 것을 특징으로 하는 영상의 관심 구간 추천 시스템.
  4. 제3항에 있어서,
    상기 장면 생성부는
    상기 위치 기반 형식으로 재처리된 로그 데이터를 이용하여 상기 그리드 맵의 좌표 값에 상기 오브젝트 각각을 매칭하고, 상기 매칭된 각각의 좌표 값을 상기 오브젝트 각각의 고유 값으로서 생성하는 것을 특징으로 하는 영상의 관심 구간 추천 시스템.
  5. 제3항에 있어서,
    상기 장면 생성부는
    상기 고유 값을 상기 오브젝트 각각의 중요도에 따라 복수의 그룹으로 구분하고, 상기 그룹 각각의 고유 값을 정규화 처리하는 것을 특징으로 하는 영상의 관심 구간 추천 시스템.
  6. 삭제
  7. 제1항에 있어서,
    상기 학습 처리부는
    RBM(Restricted Boltzman Machine)을 다층으로 쌓는 DBN(Deep Belief Network)을 구성하여 n*n(또는 n*n*d)개의 고유 값에 해당하는 벡터의 크기를 차원 축소 처리함으로써 상기 특징 벡터를 추출하는 것을 특징으로 하는 영상의 관심 구간 추천 시스템.
  8. 제7항에 있어서,
    상기 학습 처리부는
    상기 영상의 각 장면에 대한 관심 유무를 나타내는 레이블에 기초하여 일정 세대만큼 i(1≤i≤n)층 상기 RBM을 학습하고, 상기 i가 n층이면 n층의 DBN을 구성하고, 상기 i가 n층이 아니면 상기 i가 n층이 될 때까지 상기 i를 1씩 증가시키면서 상기 RBM을 학습하는 것을 특징으로 하는 영상의 관심 구간 추천 시스템.
  9. 제8항에 있어서,
    상기 레이블을 이용하여 지도 학습을 실시하되, 상기 지도 학습 시 DBN으로 얻어진 벡터를 사용하고 얻어진 오차율을 바탕으로 상기 DBN의 파인 튜닝(fine-tuning) 과정을 수행하고, 상기 DBN에 기초하여 상기 영상의 관심 구간에 대한 추천 모델을 생성하는 추천 모델 생성부
    를 더 포함하는 것을 특징으로 하는 영상의 관심 구간 추천 시스템.
  10. 제9항에 있어서,
    상기 추천 모델 생성부는
    상기 추천 모델에 기초하여 입력되는 새로운 영상의 장면에 대한 관심 유무를 예측하고, 상기 관심 유무의 예측 결과에 기초하여 상기 새로운 영상으로부터 예측 관심 장면을 추출하여 하이라이트 형식으로 제공하는 것을 특징으로 하는 영상의 관심 구간 추천 시스템.
  11. 제1항에 있어서,
    입력되는 새로운 영상으로부터 상기 학습 데이터에 기초하여 예측 관심 장면을 추출하여 추천 모델을 생성하는 추천 모델 생성부
    를 더 포함하는 것을 특징으로 하는 영상의 관심 구간 추천 시스템.
  12. 제1항에 있어서,
    상기 오브젝트에 관한 정보는
    상기 관심 장면 각각에 포함된 오브젝트의 이름, 아이디, 위치 정보 중 적어도 하나를 포함하는 것을 특징으로 하는 영상의 관심 구간 추천 시스템.
  13. 영상 추천 제공 장치에서, 영상 재생 시, 사용자의 표정 및 생체 정보 중 적어도 하나를 인식하여 상기 영상의 각 장면에 대한 관심 유무를 판단하는 단계;
    상기 영상 추천 제공 장치에서, 상기 영상으로부터 상기 사용자의 관심 장면 각각에 대한 재생 시간 값을 추출하는 단계;
    상기 영상 추천 제공 장치에서, 상기 관심 장면 각각으로부터 오브젝트에 관한 정보를 포함하는 로그 데이터를 추출하는 단계;
    고유 값이 겹치는 오브젝트가 존재하는 경우, 상기 영상 추천 제공 장치에서, 미리 설정된 n*n(상기 n은 자연수) 크기의 그리드 맵을 복수의 d(상기 d는 2 이상의 자연수)차원으로 분할하여 n*n*d개의 고유 값을 출력하는 단계;
    상기 영상 추천 제공 장치에서, 상기 로그 데이터로부터 상기 오브젝트에 대한 특징 벡터를 추출하는 단계; 및
    상기 영상 추천 제공 장치에서, 상기 추출된 특징 벡터 및 상기 재생 시간 값에 기초하여 상기 관심 장면에 관한 학습 데이터를 생성하는 단계
    를 포함하는 것을 특징으로 하는 영상의 관심 구간 추천 방법.
  14. 제13항에 있어서,
    상기 영상 추천 제공 장치에서, 상기 로그 데이터를 이용하여 위치 기반 형식의 고유 값을 생성하는 단계
    를 더 포함하고,
    상기 특징 벡터를 추출하는 단계는
    상기 고유 값에 기초하여 상기 로그 데이터로부터 상기 오브젝트에 대한 특징 벡터를 추출하는 단계
    를 포함하는 것을 특징으로 하는 영상의 관심 구간 추천 방법.
  15. 제14항에 있어서,
    상기 고유 값을 생성하는 단계는
    상기 로그 데이터를 지정된 프레임 단위마다 한 번씩 저장하는 단계;
    상기 오브젝트에 관한 정보에 기초하여 상기 로그 데이터를 위치 기반 형식으로 재처리하는 단계;
    미리 설정된 n*n(상기 n은 자연수) 크기의 그리드 맵을 생성하는 단계; 및
    상기 생성된 그리드 맵의 좌표 값에 기초하여 상기 오브젝트 각각에 대한 고유 값을 생성하는 단계
    를 포함하는 것을 특징으로 하는 영상의 관심 구간 추천 방법.
  16. 제15항에 있어서,
    상기 영상 추천 제공 장치에서, 상기 고유 값을 상기 오브젝트 각각의 중요도에 따라 복수의 그룹으로 구분하는 단계; 및
    상기 영상 추천 제공 장치에서, 상기 그룹 각각의 고유 값을 정규화 처리하는 단계
    를 더 포함하는 것을 특징으로 하는 영상의 관심 구간 추천 방법.
  17. 삭제
  18. 제13항에 있어서,
    상기 특징 벡터를 추출하는 단계는
    RBM(Restricted Boltzman Machine)을 다층으로 쌓는 DBN(Deep Belief Network)을 구성하여 n*n(또는 n*n*d)개의 고유 값에 해당하는 벡터의 크기를 차원 축소 처리함으로써 상기 특징 벡터를 추출하는 단계
    를 포함하는 것을 특징으로 하는 영상의 관심 구간 추천 방법.
  19. 제18항에 있어서,
    상기 학습 데이터를 생성하는 단계는
    상기 영상의 각 장면에 대한 관심 유무를 나타내는 레이블에 기초하여 일정 세대만큼 i(1≤i≤n)층 상기 RBM을 학습하는 단계;
    상기 i가 n층이면 n층의 DBN을 구성하는 단계; 및
    상기 i가 n층이 아니면 상기 i가 n층이 될 때까지 상기 i를 1씩 증가시키면서 상기 RBM을 학습하는 단계
    를 포함하는 것을 특징으로 하는 영상의 관심 구간 추천 방법.
  20. 제19항에 있어서,
    상기 영상 추천 제공 장치에서, 상기 레이블을 이용하여 지도 학습을 실시하되, 상기 지도 학습 시 DBN으로 얻어진 벡터를 사용하고 얻어진 오차율을 바탕으로 상기 DBN의 파인 튜닝(fine-tuning) 과정을 수행하는 단계; 및
    상기 영상 추천 제공 장치에서, 상기 DBN에 기초하여 상기 영상의 관심 구간에 대한 추천 모델을 생성하는 단계
    를 더 포함하는 것을 특징으로 하는 영상의 관심 구간 추천 방법.
  21. 제20항에 있어서,
    상기 영상 추천 제공 장치에서, 상기 추천 모델에 기초하여 입력되는 새로운 영상의 장면에 대한 관심 유무를 예측하는 단계; 및
    상기 영상 추천 제공 장치에서, 상기 관심 유무의 예측 결과에 기초하여 상기 새로운 영상으로부터 예측 관심 장면을 추출하여 하이라이트 형식으로 제공하는 단계
    를 더 포함하는 것을 특징으로 하는 영상의 관심 구간 추천 방법.
  22. 제13항에 있어서,
    상기 영상 추천 제공 장치에서, 입력되는 새로운 영상으로부터 상기 학습 데이터에 기초하여 예측 관심 장면을 추출하여 추천 모델을 생성하는 단계
    를 더 포함하는 것을 특징으로 하는 영상의 관심 구간 추천 방법.
KR1020140190700A 2014-12-26 2014-12-26 영상의 관심 구간 추천 시스템 및 방법 KR101617649B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140190700A KR101617649B1 (ko) 2014-12-26 2014-12-26 영상의 관심 구간 추천 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140190700A KR101617649B1 (ko) 2014-12-26 2014-12-26 영상의 관심 구간 추천 시스템 및 방법

Publications (1)

Publication Number Publication Date
KR101617649B1 true KR101617649B1 (ko) 2016-05-03

Family

ID=56022713

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140190700A KR101617649B1 (ko) 2014-12-26 2014-12-26 영상의 관심 구간 추천 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR101617649B1 (ko)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101873169B1 (ko) * 2017-10-26 2018-06-29 한국항공우주연구원 관측 영상에 대한 실시간 훈련 및 객체 탐지하는 통합 모듈 장치 및 방법
CN111079013A (zh) * 2019-12-13 2020-04-28 北京金山数字娱乐科技有限公司 一种基于推荐模型的信息推荐方法及装置
CN111629222A (zh) * 2020-05-29 2020-09-04 腾讯科技（深圳）有限公司 一种视频处理方法、设备及存储介质
WO2021020621A1 (ko) * 2019-07-31 2021-02-04 엘지전자 주식회사 인공지능 무빙 에이전트
US10970546B2 (en) 2016-12-23 2021-04-06 Samsung Electronics Co., Ltd. Method and apparatus for providing information regarding virtual reality image
KR20210118566A (ko) 2020-03-23 2021-10-01 윤종식 동영상을 추천하기 위한 방법 및 시스템
WO2022085926A1 (ko) * 2020-10-23 2022-04-28 삼성전자 주식회사 전자 장치 및 서버를 포함하는 시스템, 및 그 시스템을 이용한 컨텐츠 추천 방법
WO2023074965A1 (ko) * 2021-10-29 2023-05-04 엠랩 주식회사 Ott 서비스용 멀티미디어 박스에 적용되는 위치 기반 영상 추천 모듈 및 영상 추천 방법

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10970546B2 (en) 2016-12-23 2021-04-06 Samsung Electronics Co., Ltd. Method and apparatus for providing information regarding virtual reality image
KR101873169B1 (ko) * 2017-10-26 2018-06-29 한국항공우주연구원 관측 영상에 대한 실시간 훈련 및 객체 탐지하는 통합 모듈 장치 및 방법
WO2021020621A1 (ko) * 2019-07-31 2021-02-04 엘지전자 주식회사 인공지능 무빙 에이전트
CN111079013A (zh) * 2019-12-13 2020-04-28 北京金山数字娱乐科技有限公司 一种基于推荐模型的信息推荐方法及装置
CN111079013B (zh) * 2019-12-13 2023-12-29 北京金山数字娱乐科技有限公司 一种基于推荐模型的信息推荐方法及装置
KR20210118566A (ko) 2020-03-23 2021-10-01 윤종식 동영상을 추천하기 위한 방법 및 시스템
US11640427B2 (en) 2020-03-23 2023-05-02 Dataedu Inc. Method and system for recommending video
CN111629222A (zh) * 2020-05-29 2020-09-04 腾讯科技（深圳）有限公司 一种视频处理方法、设备及存储介质
WO2022085926A1 (ko) * 2020-10-23 2022-04-28 삼성전자 주식회사 전자 장치 및 서버를 포함하는 시스템, 및 그 시스템을 이용한 컨텐츠 추천 방법
WO2023074965A1 (ko) * 2021-10-29 2023-05-04 엠랩 주식회사 Ott 서비스용 멀티미디어 박스에 적용되는 위치 기반 영상 추천 모듈 및 영상 추천 방법

Similar Documents

Publication Publication Date Title
KR101617649B1 (ko) 영상의 관심 구간 추천 시스템 및 방법
US11488576B2 (en) Artificial intelligence apparatus for generating text or speech having content-based style and method for the same
US10108709B1 (en) Systems and methods for queryable graph representations of videos
CN109862393B (zh) 视频文件的配乐方法、系统、设备及存储介质
KR102290419B1 (ko) 디지털 컨텐츠의 시각적 내용 분석을 통해 포토 스토리를 생성하는 방법 및 장치
US11556302B2 (en) Electronic apparatus, document displaying method thereof and non-transitory computer readable recording medium
US20210335381A1 (en) Artificial intelligence apparatus for converting text and speech in consideration of style and method for the same
KR20190106865A (ko) 동영상 검색방법 및 동영상 검색 단말기
CN114465737B (zh) 一种数据处理方法、装置、计算机设备及存储介质
CN111295708A (zh) 语音识别设备及其操作方法
KR20190053675A (ko) 전자 장치 및 그 동작 방법
CN113515942A (zh) 文本处理方法、装置、计算机设备及存储介质
KR20190026560A (ko) 영상 표시 장치 및 그 동작 방법
KR20220000758A (ko) 영상 검출 장치 및 그 동작 방법
CN114140708A (zh) 视频处理方法、装置及计算机可读存储介质
KR20190031033A (ko) 컨텐트를 제공하는 방법 및 단말기
US10937428B2 (en) Pose-invariant visual speech recognition using a single view input
WO2023208134A1 (zh) 图像处理方法及模型生成方法、装置、车辆、存储介质及计算机程序产品
KR102221963B1 (ko) 화상 정보를 제공하는 인공 지능 장치 및 그 방법
WO2021147084A1 (en) Systems and methods for emotion recognition in user-generated video(ugv)
CN112261321B (zh) 字幕处理方法、装置及电子设备
CN114780757A (zh) 短媒体标签抽取方法、装置、计算机设备和存储介质
CN114501164A (zh) 音视频数据的标注方法、装置及电子设备
CN113762056A (zh) 演唱视频识别方法、装置、设备及存储介质
CN114299295A (zh) 一种数据处理方法及相关装置

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190329

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20200219

Year of fee payment: 5