KR101436908B1 - 화상 처리 장치 및 화상 처리 방법 - Google Patents

화상 처리 장치 및 화상 처리 방법 Download PDF

Info

Publication number
KR101436908B1
KR101436908B1 KR1020120116908A KR20120116908A KR101436908B1 KR 101436908 B1 KR101436908 B1 KR 101436908B1 KR 1020120116908 A KR1020120116908 A KR 1020120116908A KR 20120116908 A KR20120116908 A KR 20120116908A KR 101436908 B1 KR101436908 B1 KR 101436908B1
Authority
KR
South Korea
Prior art keywords
image
blinks
user
eye
unit time
Prior art date
Application number
KR1020120116908A
Other languages
English (en)
Other versions
KR20140052153A (ko
Inventor
이민호
장영민
Original Assignee
경북대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 경북대학교 산학협력단 filed Critical 경북대학교 산학협력단
Priority to KR1020120116908A priority Critical patent/KR101436908B1/ko
Publication of KR20140052153A publication Critical patent/KR20140052153A/ko
Application granted granted Critical
Publication of KR101436908B1 publication Critical patent/KR101436908B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/4508—Management of client data or end-user data
    • H04N21/4532—Management of client data or end-user data involving end-user characteristics, e.g. viewer profile, preferences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8549—Creating video summaries, e.g. movie trailer

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Television Signal Processing For Recording (AREA)
  • Image Analysis (AREA)

Abstract

요약 및 하이라이트 영상을 생성하는 화상 처리 장치가 개시된다. 본 화상 처리 장치는 컨텐츠를 디스플레이하는 디스플레이부, 컨텐츠를 시청하는 사용자를 촬상하는 촬상부, 촬상되는 이미지를 모니터링하여 사용자의 눈 깜박임 횟수를 기 설정된 단위 시간 별로 카운팅하는 판단부, 카운팅된 눈 깜박임 횟수가 기 설정된 조건을 충족하면, 조건을 충족하는 단위 시간 동안 디스플레이되는 영상 프레임을 편집하여 컨텐츠에 대한 하이라이트 영상을 생성하는 제어부를 포함한다.

Description

화상 처리 장치 및 화상 처리 방법{IMAGE PROCESSING APPARATUS AND METHOD THEREOF}
본 발명은 화상 처리 장치 및 화상 처리 방법에 관한 것으로, 보다 상세하게는 사용자의 눈 깜박임 정보와 영상의 변화 시점을 감지하여 자동으로 하이라이트 영상을 생성하는 화상 처리 장치와 화상 처리 방법에 관한 것이다.
일반적으로 개봉을 앞둔 영화의 경우 관객에게 이를 소개하고 영화에 대한 흥미와 관심을 유도하기 위해 영화 본편의 일부 장면을 편집하여 영화 예고편을 제작한다.
종래에는, 영화제작사의 마케팅부서와 예고편 제작자가 예고편의 컨셉과 마케팅 전략을 협의하고, 영화의 컨셉과 특징을 고려해 예고편 컨셉이 어떻게 설정돼야 하는지를 영화제작사에 제안하고 조율하였다. 이러한 협의 과정을 통해 예고편 컨셉이 정해지면 그 컨셉에 따라 예고편의 구성안을 작성하였다. 이후 예고편 구성안에 따라 영화 본편의 장면을 편집하였다.
또한 야구나 축구 같은 장시간의 중계 방송 도중 또는 경기 종료 후 이를 실시간으로 시청하지 못한 사람들을 위해 득점 장면 등의 주요 장면을 편집하여 제공하기도 한다.
이때 제공되는 요약 및 하이라이트는 제공되는 영상의 내용을 함축하되, 전반적인 내용을 포함하고 있어야 하며 그 특성상 재생 시간도 일정 시간 이하 여야 한다.
따라서 하이라이트 영상을 제작하는데 있어, 다수인이 관심 있어 할 만한 장면을 선택하는 것이 매우 주요하다.
종래에는 영상 제작자가 직접 주요장면을 선별하여 요약 및 하이라이트 영상을 제작하였기 때문에 시청자의 성향에 맞는 적응적 서비스를 제공할 수 없고, 시청자들이 필요로 하는 정보를 놓치는 문제점이 발생하였다.
이에 시청자 개인 기호를 파악하고 장치와의 상호작용을 통한 개인 맞춤형 영상 요약 및 하이라이트 작성 방법의 필요성이 대두 되었다.
본 발명은 상술한 문제점을 해결하기 위해 안출된 것으로, 본 발명의 목적은 눈 깜임 정보와 영상 변화 정보를 이용하여 제공되는 영상의 요약 및 하이라이트를 자동으로 생성하는데 있다.
상술한 목적을 달성하기 위한 본 발명의 일 실시 예에 따르면 화상 처리 방법은, 컨텐츠를 디스플레이하는 단계, 상기 컨텐츠를 시청하는 사용자를 촬상하는 단계, 촬상되는 이미지를 모니터링하여 상기 사용자의 눈 깜박임 횟수를 기 설정된 단위 시간 별로 카운팅하는 단계, 카운팅된 눈 깜박임 횟수가 기 설정된 조건을 충족하면, 상기 조건을 충족하는 단위 시간 동안 디스플레이되는 영상 프레임을 편집하여 상기 컨텐츠에 대한 하이라트 영상을 생성하는 단계를 포함한다.
한편 본 화상 처리 방법은, 단위 시간 별 눈 깜박임 횟수가 기 설정된 임계 횟수 미만이면, 상기 조건을 충족한 것으로 판단하는 단계를 포함할 수 있고, 단위 시간별 눈 깜박임 횟수가 기 설정된 임계 횟수 미만인지 판단하는 단계, 상기 단위 시간 동안 디스플레이되는 영상 프레임의 변화 정도(degree)가 기 설정된 임계값 이상인지 여부를 판단하는 단계, 상기 눈 깜박임 횟수가 상기 임계 횟수 미만이고, 상기 변화 정도가 상기 임계값 이상이면, 상기 조건을 충족하는 것으로 판단하는 단계를 더 포함할 수 있다.
또한, 상기 눈 깜박임 횟수를 기 설정된 시간 단위로 카운팅하는 단계는, 상기 촬상되는 이미지로부터 윤곽선, 보색, 밝기 중 적어도 하나의 이미지 정보를 추출하는 단계, 상기 추출된 이미지 정보에 기초하여 윤곽선 특징맵, 보색 특징맵, 밝기 특징맵 중 적어도 하나의 특징맵을 생성하는 단계, 상기 출력된 특징맵에 대한 독립성분해석(Independent component analysis)을 수행하여 돌출맵을 생성하는 단계, 상기 생성된 돌출맵을 이용하여 상기 사용자의 얼굴 영역을 검출하는 단계, 상기 검출된 얼굴 영역에서 템플릿 매칭(template matching)기법을 이용하여 눈 영역을 검출하는 단계, 상기 검출된 눈 영역의 픽셀 값을 매 이미지 별로 비교하여 눈 깜박임 여부를 판단하는 단계, 상기 단위 시간 동안 깜박임이 일어난 횟수를 카운팅하는 단계를 포함할 수 있다.
본 발명의 다른 실시 예에 따르면 화상 처리 장치는, 컨텐츠를 디스플레이하는 디스플레이부, 상기 컨텐츠를 시청하는 사용자를 촬상하는 촬상부, 촬상되는 이미지를 모니터링하여 상기 사용자의 눈 깜박임 횟수를 기 설정된 단위 시간 별로 카운팅하는 판단부, 카운팅된 눈 깜박임 횟수가 기 설정된 조건을 충족하면, 상기 조건을 충족하는 단위 시간 동안 디스플레이되는 영상 프레임을 편집하여 상기 컨텐츠에 대한 하이라트 영상을 생성하는 제어부를 포함한다.
한편, 상기 제어부는, 단위 시간 별 눈 깜박임 횟수가 기 설정된 임계 횟수 미만이면, 상기 조건을 충족한 것으로 판단할 수 있고, 상기 제어부는, 단위 시간별 눈 깜박임 횟수가 기 설정된 임계 횟수 미만인지 판단하고, 상기 단위 시간 동안 디스플레이되는 영상 프레임의 변화 정도(degree)가 기 설정된 임계값 이상인지 여부를 판단하여, 상기 눈 깜박임 횟수가 상기 임계 횟수 미만이고, 상기 변화 정도가 상기 임계값 이상이면, 상기 조건을 충족하는 것으로 판단할 수 있다.
또한, 상기 판단부는, 상기 눈 깜박임 횟수를 기 설정된 시간 단위로 카운팅하고, 상기 촬상되는 이미지로부터 윤곽선, 보색, 밝기 중 적어도 하나의 이미지 정보를 추출하여, 상기 추출된 이미지 정보에 기초하여 윤곽선 특징맵, 보색 특징맵, 밝기 특징맵 중 적어도 하나의 특징맵을 생성하고, 상기 출력된 특징맵에 대한 독립성분해석(Independent component analysis)을 수행하여 돌출맵을 생성하며, 기 생성된 돌출맵을 이용하여 상기 사용자의 얼굴 영역을 검출한 후, 상기 검출된 얼굴 영역에서 템플릿 매칭(template matching)기법을 이용하여 눈 영역을 검출하고, 상기 검출된 눈 영역의 픽셀 값을 매 이미지 별로 비교하여 눈 깜박임 여부를 판단하여 상기 단위 시간 동안 깜박임이 일어난 횟수를 카운팅할 수 있다.
이상 설명한 바와 같이 본 발명의 다양한 실시 예들에 따르면, 사용자의 성향에 맞게 주요한 영상을 파악하여 하이라이트를 작성할 수 있고 이를 수집하여 광고나 마케팅 분야에서 활용할 수 있는 효과가 있다.
도 1은 본 발명의 일 실시 예에 따른 화상 처리 장치의 구성을 나타내는 블럭도,
도 2는 본 발명의 일 실시 예에 따라 사용자의 눈 깜박임 여부를 측정하는 방법을 설명하기 위한 도면,
도 3은 눈 깜박임 수와 사용자의 집중도와의 상관관계를 설명하기 위한 도면,
도 4는 본 발명의 일 실시 예에 따른 구체적 동작을 설명하기 위한 도면,
도 5는 본 발명의 일 실시 예에 따라 사용자의 눈 깜박임 정보 및 화면 변화를 검출하여 하이라이트 영상을 생성하는 방법을 설명하기 위한 도면,
도 6은 본 발명의 일 실시 예에 따라 화면 변화를 감지하는 방법을 설명하기 위한 도면,
도 7은 본 발명의 일 실시 예에 따라 컨텐츠 종류 및 하이라이트 시간을 설정하는 방법을 설명하기 위한 도면,
도 8은 본 발명의 일 실시 예에 따라 사용자의 눈 깜박임 정보를 이용하여 하이라이트 영상을 생성하는 방법을 설명하기 위한 흐름도 및,
도 9는 본 발명의 일 실시 예에 따라 사용자의 눈 깜박임 정보 및 화면 변환 정보를 이용하여 하이라이트를 생성하는 방법을 설명하기 위한 도면이다.
이하에서는 첨부된 도면을 참조하여 본 발명에 대하여 보다 상세하게 설명한다.
도 1은 본 발명의 일 실시 예에 따른 화상 처리 장치(100)의 구성을 나타내는 블럭도이다.
도 1을 참고하면, 본 실시 예에 따른 화상 처리 장치(100)는 사용자의 눈깜박임 정보를 분석하여 제공되는 영상의 주요 부분을 파악하고 이를 토대로 하이라이트를 제작하기 위한 장치로서, 촬상부(110), 판단부(120), 디스플레이부(130) 및 제어부(140)를 포함한다.
촬상부(110)는 컨텐츠를 시청하는 사용자를 촬상한다. 구체적으로 화상 처리 장치(100)가 활성화 되고 사용자에게 영상이 제공되면, 사용자로부터 눈 깜박임 정보를 획득하기 위하여 사용자를 촬상한다.
한편, 본 실시 예에서는 화상 처리 장치(100)가 촬상부(110)를 포함하는 것으로 설명하였으나, 구현시에는 외부 촬영 기기를 유/무선으로 연결하고 촬상된 이미지를 전송받는 형태로 구현할 수도 있다.
예를 들어, 촬상부(110)가 화상 처리 장치(100)와 별도의 장치로 구성되어 있어 컨텐츠를 시청하는 사용자를 촬상하고, 촬상된 사용자 이미지에서 눈 깜박임 횟수를 카운팅할 수 있다.
컨텐츠 재생시간에 따른 눈 깜박임 수는 촬상부에 포함된 통신부(미도시)를 통해 화상 처리 장치(100)에 전송하고 이 눈 깜박임 정보를 이용하여 하이라이트 영상을 생성할 수도 있다.
판단부(120)는 촬상되는 이미지를 모니터링하여 사용자의 눈 깜박임 횟수를 기 설정된 단위 시간 별로 카운팅한다.
구체적으로 판단부(120) 촬상부(110)로부터 촬영된 이미지에서, 생물학 기반의 선택적 주위 집중 모델을 이용하여 사용자의 얼굴 영역을 검출한다.
구체적으로, 판단부(120)는 이미지 정보 추출부(미도시), CSD 처리부(미도시), ICA 처리부(미도시) 및 영역 검출부(미도시)로 구성될 수 있다.
이미지 정보 추출부는 입력된 이미지에 대한 밝기, 윤곽선 및 보색에 대한 정보를 추출한다. 촬상부(110)에서 촬영된 이미지의 R(Red),G(Green),B(Blue) 값을 기초로 임력된 영상에 대한 밝기, 윤곽선 및 보색에 대한 정보 중 적어도 하나의 정보를 추출할 수 있다.
CSD 처리부는 추출된 이미지 정보에 대한 중앙-주변 창(Center-surround Difference : CSD) 및 정규화 처리를 수행하여 윤곽선 특징맵, 보색 특징맵, 밝기 특징맵을 생성할 수 있다.
그리고 ICA 처리부는 출력된 특징맵에 대한 독립 성분해석(Independent component analysis)을 수행하여 돌출맵(Salient Map)을 생성한다.
영역 검출부는 생성된 돌출맵을 이용하여 얼굴 후보 영역을 검출한다. 구체적으로 영역 검출부는 ICA 처리부에서 출력된 돌출맵에 포함된 복수의 돌출 포인트에 대해서 기학습된 정보를 이용하여 보강 처리 또는 억제 처리를 수행하여 복수개의 돌출 포인트에 대한 우선 순위를 부여하고, 가장 높은 우선 순위를 갖는 영역을 얼굴 후보 영역으로 검출할 수 있다. 본 실시 예에서는 하나의 얼굴 후보 영역만을 검출하는 것으로 설명하였으나, 영역 검출부는 복수의 영역에 대해서 얼굴 후보 영역으로 검출할 수 있으며, 촬상부(110)에서 촬상된 이미지에 복수의 사람이 포함되어 있는 경우, 복수의 얼굴 영역을 검출할 수도 있다.
판단부(120)는 검출된 얼굴 영역에서 템플릿 매칭(template matching)기법을 이용하여 눈 영역을 검출하고, 검출된 눈 영역의 픽셀 값을 매 이미지 별로 비교하여 눈 깜박임 여부를 판단할 수 있다.
이때 기 설정된 단위시간 동안 눈 깜박임이 일어난 횟수가 카운팅 되도록 할 소 있다.
디스플레이부(130)는 컨텐츠를 디스플레이한다. 디스플레이부(130)는 현재 재생중인 영상을 사용자에게 디스플레이 할수 있으며, 요약 및 하이라이트 영상을 디스플레이할 수도 있다.
한편 디스플레이부(130)는 모니터와 같은 장치로 구현될 수 있으며, 촬상부(110)을 통하여 검출한 얼굴 영역 또는 눈 영역을 표시하여 사용자로 하여금 판단부(120)가 검출한 영역이 얼굴 또는 눈인지 여부를 확인하게 할 수 있다.
제어부(140)는 사용자의 눈 깜박임 정보에 따라 화상 처리 장치(100)의 동작을 전반적으로 제어할 수 있다.
구체적으로 제어부(140)는 판단부(120)를 제어하여 촬상부(110)를 통해 입력되는 정보로부터 우선 얼굴 영역을 검출하게 할 수 있다. 이때 기 저장된 눈 영역의 템플릿을 이용하여 사용자 눈 영역을 검출하고, 검출된 눈 영역의 픽셀 값을 매 이미지 별로 비교하여 눈 깜박임 여부를 판단한다.
사용자의 영상에 대한 집중도와 눈 깜박임 횟수와의 상관관계를 살펴보면, 일반적으로 사용자가 영상에 대해 집중할수록 시각 정보를 놓치지 않으려는 경향성을 보이므로 눈 깜박임 횟수가 줄어들게 된다.
따라서, 제어부(140)는 사용자의 눈 깜박임 횟수가 줄어드는 시점의 영상을 주요 장면으로 판단하고 해당 영상으로 요약 및 하이라이트 영상을 생성할 수 있다.
가령, 일반적인 사람의 경우 1분 동안 눈을 깜박거리는 횟수가 15 ~ 20회 이고 제공되는 영상을 시청하는 동안 특별히 집중하지 않는다면 평균적인 횟수의 눈 깜박임 동작을 보일 것이다. 반면, 특정 시점에 주요한 장면을 시청하는 경우 사용자는 더 많은 시각 정보를 얻기 위해 눈 깜박임 횟수가 줄어들게 될 것이다.
제어부(140)는 단위 시간마다 사용자의 눈 깜박임 횟수를 측정할 수 있고, 특정 시점에 사용자의 눈 깜박임 횟수가 임계 횟수 미만이면 해당 시점에 재생되는 장면을 주요 장면이라고 판단할 수 있다.
제어부(140)는 눈 깜박임 수가 줄어들 때 디스플레이되는 영상 프레임을 편집하여 컨텐츠에 대한 하이라이트 영상을 생성할 수 있다.
한편 제어부(140)는, 사용자의 눈 깜박임 수 및 화면 변화 정보를 조합하여 하이라이트 영상을 생성할 수도 있다.
예를 들어, 액션 영화의 경우 단위 시간 동안 디스플레이되는 영상 프레임의 변화 정도가 크므로, 사용자의 눈 깜박임 수가 줄어들고 영상 프레임의 변화값이 기 설정된 임계값 이상일 때의 영상프레임으로 하이라이트를 생성할 수도 있다.
다만 컨텐츠의 종류에 따라 주요 장면에서의 화면 변화 정도가 상이하므로 사용자가 현재 시청중인 컨텐츠의 종류를 미리 설정할 수도 있다.
한편 상술한 바와 같이, 본 발명의 일 실시 예에 따르면 사용자의 눈 깜박임 정보 를 이용하여 주요 영상인지 여부를 판단하므로 이에 대한 측정이 선행되어야 한다.
도 2는 본 발명의 일 실시 예에 따라 사용자의 눈 깜박임 여부를 측정하는 방법을 설명하기 위한 도면이다.
판단부(120)는 얼굴 영역(210)을 검출한 후, 템플릿 매칭(template matching) 기법을 이용하여 눈 영역을 검출하고 눈 깜박임 여부를 판단한다.
템플릿 매칭 기법이란 원본 이미지에서 템플릿으로 주어진 이미지에 해당되는 영역을 찾는 기술을 의미한다.
판단부(120)는 사전 정보로 가지고 있던 눈 영역 템플릿(220)과 판단부(120)에서 검출한 얼굴 영역(210)의 픽셀을 비교한 후, 눈 영역 템플릿(220)과 대응되는 픽셀이 가장 많은 부분을 눈 영역으로 검출한다.
이후, 검출된 눈 영역의 픽셀 값을 매 이미지 별로 비교하여 눈 깜박임 여부를 판단한다.
예를 들어, 눈이 떠져 있을 때 눈동자 부분은 흑색 픽셀로 표현되고 흰자 부부은 백색 픽셀로 표현되므로 일정 수 이상의 흑색 및 백색 픽셀이 검출된다. 반면, 눈이 감겨 있을 때(240)에는 흑색 및 백색 픽셀이 검출되지 않으므로 이를 눈 영역 테블릿(220)의 픽셀 수와 비교하면 눈 깜박임 여부를 판단할 수 있다.
가령 눈이 떠져 있을 때 눈 영역이 100개의 흑색 픽셀과 100개의 백색 픽셀로 구성되어 있다면, 눈이 감겨져 있을 때의 눈 영역의 픽셀은 백색 픽셀 없이 소수의 흑색 픽셀로만 구성될 것이다.
이를 기 저장된 눈 영역 테블릿(220)과 비교하여 흑색 및 백색 픽셀의 차이가 크지 않다면 눈이 떠진 상태로 판단할 수 있고, 픽셀 수의 차이가 크다면 눈이 감겨진 상태라고 판단할 수 있다.
제어부(140)는 판단부(120)로부터 제공되는 눈 깜박임 정보를 이용하여 현재 상영중인 동영상의 시간대별 눈 깜박임 수 정보를 생성한다.
동영상 재생 시간별 눈 깜박임 수 정보에서 평상시 사용자의 눈 깜박임 수를 파악하고, 평상시보다 눈 깜박임 수가 줄어들 때의 디스플레이되는 영상 프레임을 주요 장면으로 판단하여 하이라이트 영상을 생성할 수 있다.
상술한 실시 예에 따르면 화상 처리 장치(100)는 사용자의 눈 깜박임 수가 평소보다 줄어들 때의 장면을 주요 장면으로 판단하므로, 눈 깜박임 수가 얼마만큼 줄어들 때 사용자가 집중하고 있는 것이라고 판단하여 주요 장면으로 추출할 것인지에 대한 기준이 필요하다.
도 3은 눈 깜박임 수와 사용자의 집중도와의 상관관계를 설명하기 위한 도면이다.
일반적인 성인의 평균적인 눈 깜박임 수는 1분 당 15 ~ 20회이다. 다만 사용자가 컨텐츠를 시청하는 도중 특정 장면에 특히 집중하는 경우, 더 많은 시각 정보를 얻기 위하여 무의식적으로 눈 깜박임 수가 줄어드는 경향을 보인다.
눈 깜박임 수와 사용자의 집중도와의 상관관계(310)를 살펴보면, 컴퓨터 게임을 할 때와 같이 특정 장면에 집중하는 경우 눈 깜박임 수가 평상시에 비하여 줄어드는 것을 확인할 수 있다.
가령 평상시 1분에 15 ~ 20회의 눈 깜박임 수를 보이는 사용자가, 영상을 시청하는 도중 특정 장면을 집중하여 시청하는 경우 표에서 보는 바와 같이 1분에 5회 정도의 눈 깜박임 수를 보일 것이다.
제어부(140)는 위 상관관계를 바탕으로 영상 재생 시간대별 사용자 눈 깜박임 수를 측정할 수 있다.
예를 들면, 영상이 재생되는 도중 단위 시간별로 사용자의 눈 깜박임 수를 측정하고 사용자의 눈 깜박임 수가 평상시보다 줄어들 때의 시간을 주요 장면으로 판단하여 요약 및 하이라이트 영상을 생성할 수 있다.
본 실시 예에서 눈 깜박임 수 측정은 컨텐츠가 재생되고부터 매 1분마다 측정하는 것을 예로 든다.
재생 시간대별 눈 깜박임 수(320)를 살펴보면 평상시 1분당 15 ~ 20회의 눈 깜박임 수를 보이나 A ~ B구간에서 1분당 5회 정도의 깜박임 수를 보이므로, A ~ B시간대의 장면을 주요장면이라고 판단할 수 있다.
본 발명의 일 실시 예에 따르면, 제어부(140)는 눈 깜박임 수와 사용자의 집중도와의 상관관계(310) 결과를 반영하여, 사용자의 눈 깜박임 수가 1분당 5회±3회 일때 해당 시간대의 장면을 주요 장면이라고 판단할 수 있다.
도 4는 본 발명의 일 실시 예에 따른 구체적 동작을 설명하기 위한 도면이다.
촬상부(110)는 컨텐츠를 시청하는 사용자를 촬상한다. 촬상부(110)로부터 얻어진 이미지로부터 판단부(120)가 사용자의 얼굴 영역 및 눈 영역을 검출한다(420).
제어부(140)는 동영상 재생 시간대 별 사용자 눈 깜박임 수 정보(430)를 생성한다. 제어부(110)는 위 정보를 이용하여 평상시 사용자의 눈 깜박임 수를 파악하고, 눈 깜박임 수가 줄어들 때의 영상을 주요 장면으로 분류할 수 있다.
예를 들어, 런닝 타임이 2시간인 영화를 시청한다고 할 때 사용자가 집중하여 시청하는 하이라이트 부분은 일부분에 지나지 않으므로 대부분의 시간 동안 평균적인 눈 깜박임 수를 보일 것이다.
본 발명의 일 실시 예에 따른 시간대 별 사용자 눈 깜박임 수 정보(430)를 살펴보면 하이라이트가 아닌 부분에서는 일반 성인의 평균적인 눈 깜박임 수인 분당 10 ~ 15회의 눈 깜박임 수를 보인다.
반면, 런닝 타임이 10 ~ 15분 사이에서 사용자의 눈 깜박임 수가 평균 5회 로 감소하고, 이는 사용자가 해당되는 런닝 타임에 특히 집중하고 있음을 나타내므로 제어부(140)는 해당 시간의 영상 프레임을 주요 장면으로 판단할 수 있다.
제어부(140)는 동영상 재생 시간대 별 사용자 눈 깜박임 수 정보(430)를 이용하여 사용자의 눈 깜박임 수가 감소하는 부분의 영역을 주요 장면으로 추려낼 수 있고, 이를 바탕으로 요약 및 하이라이트 영상(440)을 생성할 수 있다.
상술한 바와 같이, 사용자의 눈 깜박임 수 정보를 바탕으로 요약 및 하이라트 영상(440)을 생성하면 사용자와의 상호작용을 통해 필요로 하는 정보를 놓치지 않고 요약 및 하이라이트 영상을 생성할 수 있다.
한편, 사용자의 눈 깜박임 수와 다른 정보를 결합하여 요약 및 하이라이트 영상을 생성할 수도 있다.
예를 들어 사용자가 영화를 감상하는 경우 영화의 성격에 따라 액션 영화와 같이 역동적인 장면이 많은 컨텐츠의 경우 화면 변환이 빠를 것이고, 로맨스물이나 다큐멘터리와 같이 정적인 컨텐츠라면 화면 변화가 느리게 일어날 것이다.
따라서, 액션영화의 경우 사용자의 눈 깜박임 수가 적고, 화면 변환이 빠를 때 주요장면으로 판단하도록 2개의 조건을 설정한다면 눈 깜박임 정보만으로 요약 및 하이라이트 영상을 생성할 때보다 정확도를 높일 수 있다.
도 5는 본 발명의 일 실시 예에 따라 사용자의 눈 깜박임 정보 및 화면 변화를 검출하여 하이라이트 영상을 생성하는 방법을 설명하기 위한 도면이다.
도 5의 화상 처리 장치(500)에서 도 1과 중복되는 구성의 설명은 생략하도록 한다.
판단부(510)는 도 1에서 설명한 바와 같이 생물학 기반의 선택적 주의 집중 모델을 통해 검출된 사용자의 얼굴 영역에서 눈 영역을 검출하고, 눈 깜박임 여부를 판단한다.
화면 변화 검출부(520)는 현재 재생중인 화면의 변화 여부를 감지한다.
제어부는 판단부(510)로부터 사용자 눈 깜박임 정보를 취득하고, 화면 변화 검출부(520)로부터 화면 변화에 관한 정보를 취득한다. 이에 현재 재생중인 동영상 정보에 따라 두 정보를 조합하여 요약 및 하이라이트 영상을 생성한다.
예를 들어, 현재 재생중인 영상이 화면 변환이 빠르고 많은 스포츠 게임 중계 방송이나 액션 영화인 경우 사용자 눈 깜박임 수가 적고, 화면 변환이 빠른 조건을 모두 충족하는 시점의 장면을 주요 장면이라고 판단할 수 있다.
반면, 다큐멘터리나 로맨스물과 같이 화면 변화가 적은 컨텐츠의 경우 눈 깜박임 수가 적고, 화면 변환이 적을 때의 장면을 주요 장면이라고 판단할 수 있다.
한편 사용자는 자신이 시청하고 있는 영상의 종류를 미리 설정하여 컨텐츠의 성질에 따라 가장 적절한 하이라이트 영상이 생성되도록 할 수 있다.
컨텐츠의 종류에 따라 주요 장면에서의 화면 변화 정도가 상이하기 때문에 사용자의 의사에 부합하는 하이라이트 영상을 생성하기 위함이다.
도 6은 본 발명의 일 실시 예에 따라 화면 변화를 감지하는 방법을 설명하기 위한 도면이다.
본 발명의 일 실시 예에 따르면, 화면 변화의 검출은 히스토그램 방식을 이용할 수 있다.
특정 시점에 이웃하는 두 영상 프레임이 히스토그램 추출부(610 및 620)에 입력되면 각 프레임에 대한 히스토그램을 추출하여 히스토그램 비교부(630)로 출력된다.
여기에서 히스토그램(histogram)이란 입력 영상의 그레이 레벨 분포를 나타내는 것이다. 이때 영상의 밝기를 표시하는 레벨, 즉 각각의 그레이 레벨을 빈(bin)이라고 하는데 히스토그램 추출부(610 및 620)는 빈(bin)의 빈도수 따른 영상 프레임의 화소수를 히스토그램 비교부(630)에 출력한다.
히스토그램 비교부(630)는 두 히스토그램의 비교를 위해 각각의 빈(bin)의 빈도수를 단순 비교하여 그 차이값을 누적하는데 이때 사용하는 수학식 1은 다음과 같다.
Figure 112012085448769-pat00001
여기에서 h1(i)와 h2(i)는 두 영상 프레임 f1과 f2의 i번째 빈에 속하는 화소수, 즉 각 영상에서 그레이 레벨 값이 i인 화소의 개수이다.
히스토그램 비교부(630)에서 구한 오차(E)는 화면 변화 판단부(640)로 출력되고, 화면 변화 판단부(640)는 오차(E)와 미리 설정한 기준값을 비교하여 장면 변화 여부를 판단한다.
가령, 재생중인 컨텐츠가 액션 영화 등과 같이 화면 전개가 빠른 경우 주요 장면에서 측정한 단위 시간 동안의 오차(E)값이 클 것이고, 화면 전개가 느린 다큐맨터리물의 경우 단위 시간 동안의 오차(E)값이 작을 것이다.
예를 들어, 일반적인 영상의 오차(E)값이 평균 100이라면, 액션 영화에서의 주요 장면은 화면 전환이 빨리 일어나므로 오차(E)값이 200 이상일 때 주요 장면으로 판단되도록 할 수 있고, 화면 전환이 느린 다큐멘터리나 로맨스물에서 주요 장면은 화면 전환이 느리게 일어나므로 오차(E)값이 50 미만일때 를 주요 장면으로 판단하도록 설정할 수 있다.
상술한 바와 같이 사용자의 눈 깜박임 정보와 화면 전환 정보를 결합하여 하이라이트 영상을 생성하면 사용자의 의사에 부합하는 영상을 생성할 수 있으나, 컨텐츠의 종류에 따라 화면 전환 정도가 상이하므로 이를 설정하기 위한 방법이 필요하다.
도 7은 본 발명의 일 실시 예에 따라 컨텐츠 종류 및 하이라이트 시간을 설정하는 방법을 설명하기 위한 도면이다.
화상 처리 장치(100)에서 설정 모드에 진입하면 설정창(700)이 활성화 된다. 설정창(700)은 장르 선택부(710)와 시간 설정부(720)로 구성되어 있으며, 사용자의 의 의사에 따라 현재 재생되는 컨텐츠 종류 및 생성하고자 하는 하이라이트 시간을 설정할 수 있다.
사용자가 장르 선택부(710)창을 클릭하면 다양한 장르를 선택할 수 있는 창이 활성화 되고, 사용자는 자신이 현재 시청하고 있는 컨텐츠의 종류를 선택할 수 있다.
사용자가 컨텐츠의 종류를 선택하면, 컨텐츠 종류에 부합하는 화면 변경 조건 및 사용자의 눈 깜박임 정보를 조합하여 하이라이트 영상을 생성하게 된다.
또한 사용자는 생성하고 싶은 요약 및 하이라이트 영상의 길이를 임의로 설정할 수 있으며, 이는 시간 설정부(720)를 통해 변경할 수 있다.
사용자가 설정한 하이라이트 영상 시간이 제어부(140)가 추려낸 주요 장면의 시간보다 짧은 경우, 사용자의 집중도가 높고 화면 변화가 적거나 또는 많은 장면을 우선적으로 선별하여 하이라이트를 생성할 수 있다.
반면, 사용자가 설정한 하이라이트 영상 시간이 제어부(140)가 추려낸 주요 장면의 시간보다 긴 경우, 제어부가 추려낸 주요 장면만으로 하이라이트를 생성할 수도 있다.
도 8은 본 발명의 일 실시 예에 따라 사용자의 눈 깜박임 정보를 이용하여 하이라이트 영상을 생성하는 방법을 설명하기 위한 흐름도이다.
화상 처리 장치(100)가 활성화 되면 사용자에게 컨텐츠를 디스플레이 한다S810). 컨텐츠를 시청하는 사용자를 촬상하여(S820) 얼굴 영역을 검출하고, 검출된 얼굴 영역에서 템플릿 메칭 기법을 이용하여 눈 영역을 검출한다.
이후 사용자의 눈 깜박임 수를 카운팅 하여(S830) 카운팅된 눈 깜박임 횟수가 기 설정된 조건을 충족하면, 조건을 충족하는 단위 시간 동안 디스플레이되는 영상 프레임을 편집하여 상기 컨텐츠에 대한 하이라트 영상을 생성한다(S840).
이때 사용자가 하이라이트 영상 시간을 기 설정할 수 있으며, 사용자가 설정한 시간보다 제어부(140)가 찾아낸 주요 장면의 총 재생 시간이 길 경우 사용자의 집중도가 높은 장면을 우선적으로 선별하여 하이라이트 영상을 생성할 수 있다. 반대로 사용자가 설정한 시간보다 주요 장면의 총 재생시간이 짧을 경우, 제어부(140)가 추려낸 주요 장면만으로 하이라이트 영상을 생성할 수도 있다.
도 9은 본 발명의 일 실시 예에 따라 사용자의 눈 깜박임 정보 및 화면 변환 정보를 이용하여 하이라이트를 생성하는 방법을 설명하기 위한 도면이다.
컨텐츠가 디스플레이 되면(S910), 컨텐츠를 시청하는 사용자의 이미지를 촬상한다(S920).
촬상된 이미지로부터 사용자의 눈 깜박임 수를 카운팅하여(S930) 카운팅된 눈 깜박임 횟수가 기 설정된 횟수보다 줄어들었는지 여부를 판단한다(S940).
일반적인 성인의 경우 평균 1분에 15~20회의 눈 깜박임 수를 보이고, 특정 장면에 집중하는 경우 평균 5회 정도의 눈 깜박임 수를 보이므로 본 발명의 일 실시예에 따르면 1분당 눈 깜박임 수가 5회±3회일때 눈 깜박임 수가 줄어들었다고 판단할 수 있다.
사용자의 눈 깜박임 수가 줄어들면 재생중인 컨텐츠의 화면 변화 속도를 감지한다(S950). 컨텐츠의 종류에 따라 주요 장면에서의 화면 변화 속도가 상이하므로 이 정보를 이용하여 하이라이트를 생성할 수도 있다.
예를 들어, 액션 영화의 경우 주요 장면에서 화면 전환이 빠르게 이루어 지고 사용자의 눈 깜박임 수가 줄어들게 되므로 두 조건을 모두 만족하는 시점의 장면을 주요 장면으로 판단할 수 있다.
반면 다큐멘터리나 로맨스물과 같은 컨텐츠의 경우 주요 장면에서 화면 변화가 적고 사용자의 눈 깜박임 수가 줄어드므로 위 조건을 충족하는 시점의 장면을 주요 장면으로 판단할 수 있다.
제어부는 주요 장면으로 판단된 영상 프레임을 편집하여 하이라이트 영상을 생성한다(S960).
이때 사용자가 현재 시청중인 컨텐츠물의 종류나 장르를 UI창을 통해 미리 설정할 수 있으며 생성하고 싶은 하이라이트 영상 시간도 설정할 수 있다.
상술한 실시에 따라 요약 및 하이라이트 영상을 생성하면, 기존의 사람이 직접 요약 및 하이라이트 영상을 생성할 때에 비해 필요한 정보를 놓치지 않고 반영할 수 있는 효과가 있으며, 인간과 기계의 상호 작용을 통해 개인 맞춤형 영상요약 및 하이라이트 영상을 생성할 수 있는 효과가 있다.
한편, 상술한 본 발명의 다양한 실시 예들에 따른 단말 장치의 메모리 관리 방법은 프로그램 코드로 구현되어 다양한 비일시적 판독 가능 매체(non-transitory computer readable medium)에 저장된 상태로 각 서버 또는 기기들에 제공될 수 있다.
비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 어플리케이션 또는 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해 되어져서는 안될 것이다.
100 : 화상처리 장치 110 : 촬상부
120 : 판단부 130 : 디스플레이부
140 : 제어부

Claims (8)

  1. 디스플레이 장치의 화상 처리 방법에 있어서,
    컨텐츠를 디스플레이하는 단계;
    상기 컨텐츠를 시청하는 사용자를 촬상하는 단계;
    촬상되는 이미지를 모니터링하여 상기 사용자의 눈 깜박임 횟수를 기 설정된 단위 시간 별로 카운팅하는 단계; 및
    카운팅된 눈 깜박임 횟수가 기 설정된 조건을 충족하면, 상기 조건을 충족하는 단위 시간 동안 디스플레이되는 영상 프레임을 편집하여 상기 컨텐츠에 대한 하이라트 영상을 생성하는 단계;를 포함하고,
    상기 눈 깜박임 횟수를 기 설정된 단위 시간 별로 카운팅하는 단계는,
    상기 촬상되는 이미지로부터 윤곽선, 보색, 밝기 중 적어도 하나의 이미지 정보를 추출하는 단계;
    상기 추출된 이미지 정보에 기초하여 윤곽선 특징맵, 보색 특징맵, 밝기 특징맵 중 적어도 하나의 특징맵을 생성하는 단계;
    상기 생성된 특징맵에 대한 독립성분해석(Independent component analysis)을 수행하여 돌출맵을 생성하는 단계;
    상기 생성된 돌출맵을 이용하여 상기 사용자의 얼굴 영역을 검출하는 단계;
    상기 검출된 얼굴 영역에서 템플릿 매칭(template matching)기법을 이용하여 눈 영역을 검출하는 단계;
    상기 검출된 눈 영역의 픽셀 값을 매 이미지 별로 비교하여 눈 깜박임 여부를 판단하는 단계; 및
    상기 단위 시간 동안 깜박임이 일어난 횟수를 카운팅하는 단계를 포함하는 것을 특징으로 하는 화상 처리 방법.
  2. 제1항에 있어서,
    단위 시간별 눈 깜박임 횟수가 기 설정된 임계 횟수 미만이면, 상기 조건을 충족한 것으로 판단하는 단계를 포함하는 것을 특징으로 하는 화상 처리 방법.
  3. 제1항에 있어서,
    단위 시간별 눈 깜박임 횟수가 기 설정된 임계 횟수 미만인지 판단하는 단계;
    상기 단위 시간 동안 디스플레이되는 영상 프레임의 변화 정도(degree)가 기 설정된 임계값 이상인지 여부를 판단하는 단계; 및
    상기 눈 깜박임 횟수가 상기 임계 횟수 미만이고, 상기 변화 정도가 상기 임계값 이상이면, 상기 조건을 충족하는 것으로 판단하는 단계;를 포함하는 것을 특징으로 하는 화상 처리 방법.
  4. 삭제
  5. 디스플레이 장치에 있어서,
    컨텐츠를 디스플레이하는 디스플레이부;
    상기 컨텐츠를 시청하는 사용자를 촬상하는 촬상부;
    촬상되는 이미지를 모니터링하여 상기 사용자의 눈 깜박임 횟수를 기 설정된 단위 시간 별로 카운팅하는 판단부; 및
    카운팅된 눈 깜박임 횟수가 기 설정된 조건을 충족하면, 상기 조건을 충족하는 단위 시간 동안 디스플레이되는 영상 프레임을 편집하여 상기 컨텐츠에 대한 하이라트 영상을 생성하는 제어부;를 포함하고,
    상기 판단부는,
    상기 눈 깜박임 횟수를 기 설정된 시간 단위로 카운팅하고, 상기 촬상되는 이미지로부터 윤곽선, 보색, 밝기 중 적어도 하나의 이미지 정보를 추출하여, 상기 추출된 이미지 정보에 기초하여 윤곽선 특징맵, 보색 특징맵, 밝기 특징맵 중 적어도 하나의 특징맵을 생성하고, 상기 생성된 특징맵에 대한 독립성분해석(Independent component analysis)을 수행하여 돌출맵을 생성하며, 기 생성된 돌출맵을 이용하여 상기 사용자의 얼굴 영역을 검출한 후, 상기 검출된 얼굴 영역에서 템플릿 매칭(template matching)기법을 이용하여 눈 영역을 검출하고, 상기 검출된 눈 영역의 픽셀 값을 매 이미지 별로 비교하여 눈 깜박임 여부를 판단하여 상기 단위 시간 동안 깜박임이 일어난 횟수를 카운팅하는 것을 특징으로 하는 화상 처리 장치.
  6. 제5항에 있어서,
    상기 제어부는,
    단위 시간 별 눈 깜박임 횟수가 기 설정된 임계 횟수 미만이면, 상기 조건을 충족한 것으로 판단하는 것을 특징으로 하는 화상 처리 장치.
  7. 제5항에 있어서,
    상기 제어부는,
    단위 시간별 눈 깜박임 횟수가 기 설정된 임계 횟수 미만인지 판단하고, 상기 단위 시간 동안 디스플레이되는 영상 프레임의 변화 정도(degree)가 기 설정된 임계값 이상인지 여부를 판단하여, 상기 눈 깜박임 횟수가 상기 임계 횟수 미만이고, 상기 변화 정도가 상기 임계값 이상이면, 상기 조건을 충족하는 것으로 판단하는 것을 특징으로 하는 화상 처리 장치.
  8. 삭제
KR1020120116908A 2012-10-19 2012-10-19 화상 처리 장치 및 화상 처리 방법 KR101436908B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120116908A KR101436908B1 (ko) 2012-10-19 2012-10-19 화상 처리 장치 및 화상 처리 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120116908A KR101436908B1 (ko) 2012-10-19 2012-10-19 화상 처리 장치 및 화상 처리 방법

Publications (2)

Publication Number Publication Date
KR20140052153A KR20140052153A (ko) 2014-05-07
KR101436908B1 true KR101436908B1 (ko) 2014-09-11

Family

ID=50885436

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120116908A KR101436908B1 (ko) 2012-10-19 2012-10-19 화상 처리 장치 및 화상 처리 방법

Country Status (1)

Country Link
KR (1) KR101436908B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102564776B1 (ko) * 2022-05-06 2023-08-08 주식회사 오비고 IVI(In-Vehicle Infotainment) 장치의 디스플레이에 표시되는 화면 UI를 설정하는 서비스를 제공하는 방법 및 UI 설정 서버

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110598644B (zh) * 2019-09-16 2021-05-11 腾讯科技（深圳）有限公司 多媒体播放控制方法、装置及电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005128884A (ja) * 2003-10-24 2005-05-19 Sony Corp 情報コンテンツの編集装置及び編集方法
JP2006157893A (ja) * 2004-10-27 2006-06-15 Matsushita Electric Ind Co Ltd 撮像装置
KR100954835B1 (ko) 2009-08-04 2010-04-30 주식회사 크라스아이디 얼굴변화 검출 시스템 및 얼굴변화 감지에 따른 지능형 시스템
JP2012169743A (ja) 2011-02-10 2012-09-06 Jvc Kenwood Corp 情報処理装置及び情報処理方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005128884A (ja) * 2003-10-24 2005-05-19 Sony Corp 情報コンテンツの編集装置及び編集方法
JP2006157893A (ja) * 2004-10-27 2006-06-15 Matsushita Electric Ind Co Ltd 撮像装置
KR100954835B1 (ko) 2009-08-04 2010-04-30 주식회사 크라스아이디 얼굴변화 검출 시스템 및 얼굴변화 감지에 따른 지능형 시스템
JP2012169743A (ja) 2011-02-10 2012-09-06 Jvc Kenwood Corp 情報処理装置及び情報処理方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102564776B1 (ko) * 2022-05-06 2023-08-08 주식회사 오비고 IVI(In-Vehicle Infotainment) 장치의 디스플레이에 표시되는 화면 UI를 설정하는 서비스를 제공하는 방법 및 UI 설정 서버

Also Published As

Publication number Publication date
KR20140052153A (ko) 2014-05-07

Similar Documents

Publication Publication Date Title
US12026947B2 (en) Methods and apparatus to measure brand exposure in media streams
KR101318459B1 (ko) 수신기 상에서 오디오비주얼 문서를 시청하는 방법 및이러한 문서를 시청하기 위한 수신기
TWI399973B (zh) 用於區別源自於本地裝置的信號與廣播信號之方法、裝置及儲存其指令之機器可讀取媒體
US8913195B2 (en) Information processing device, information processing method and program
US10089532B2 (en) Method for output creation based on video content characteristics
JP5391144B2 (ja) 顔表情変化度測定装置およびそのプログラム並びに番組興味度測定装置
CN110557671A (zh) 一种视频不健康内容自动处理方法及系统
JP2011504034A (ja) オーディオビジュアル信号における意味的なまとまりの開始点を決定する方法
KR100681017B1 (ko) 동영상의 요약 제공이 가능한 이동통신 단말기 및 이를 이용한 요약 제공 방법
CN114026874A (zh) 视频处理方法、装置、可移动设备及可读存储介质
CN101466013B (zh) 信号处理器和信号处理方法
CN110679153A (zh) 重新缓冲事件的时间放置
KR101436908B1 (ko) 화상 처리 장치 및 화상 처리 방법
JP2007104284A (ja) ダイジェスト情報生成装置及びダイジェスト情報生成方法
KR102014443B1 (ko) 비디오 컨텐츠의 컨텐츠 타입을 결정하는 방법 및 장치
US20210029306A1 (en) Magnification enhancement of video for visually impaired viewers
Neri et al. Unsupervised video orchestration based on aesthetic features
JP2004062664A (ja) 特定画像検出装置、特定画像検出方法、、プログラム及び記録媒体、並びに特定画像検出システム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170725

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180724

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190725

Year of fee payment: 6