KR102160095B1 - 미디어 컨텐츠 구간 분석 방법 및 이를 지원하는 서비스 장치 - Google Patents

Abstract

본 발명의 실시 예에 따른 서비스 장치는 메모리 및 상기 메모리에 기능적으로 연결되는 프로세서를 포함할 수 있다. 상기 프로세서는 상기 메모리에 저장된 미디어 컨텐츠를 선택하고, 지정된 제1 타입 구간 분석 방식으로 상기 미디어 컨텐츠에 대한 제1 타입 구간 정보를 수집하고, 지정된 제2 타입 구간 분석 방식으로 상기 미디어 컨텐츠에 대한 제2 타입 구간 정보를 수집하고, 상기 제1 타입 구간 정보와 상기 제2 타입 구간 정보를 비교하여, 갱신된 타입 구간 정보를 생성하도록 설정될 수 있다.

Description

미디어 컨텐츠 구간 분석 방법 및 이를 지원하는 서비스 장치{Method for analysis interval of media contents and service device supporting the same}

본 발명은 컨텐츠 구간 분석에 관한 것으로, 특히 복수의 컨텐츠 구간 분석 방식들을 복합적으로 적용하여 특정 컨텐츠 구간 분석 방식에 의한 구간 구분을 보다 명쾌하게 할 수 있는 컨텐츠 구간 분석 방법 및 이를 지원하는 서비스 장치에 관한 것이다.

최근에는, 많은 사람들이 TV, 극장, PC, 모바일 등의 다양한 플랫폼을 통해 영화/드라마/예능 등 다양한 미디어 컨텐츠를 소비하고 있다. 또한 인터넷과 모바일의 발달에 따라 미디어 컨텐츠를 소비하는 방식도 점점 다양화 되고 있다. 하지만 대부분의 플랫폼이 집중하는 부분은 사용자가 컨텐츠를 시청하는 방법을 고도화하여 더 쉽고 더 많은 컨텐츠를 소비하게 하는 부분이다. 최근에는 플랫폼 사이의 경쟁이 치열해지면서 시청 방법을 고도화 하는 것 외에 컨텐츠와 관련된 다양한 경험을 제공하여 플랫폼의 경쟁력을 강화하고자 하는 노력이 늘고 있다. 이를 위해서는 컨텐츠에서 의미 있는 메타 데이터를 추출하기 위한 기술들이 필수적으로 필요하다.

한편, 컨텐츠 메타 데이터 관련 서비스는 크게 영상 데이터 기반의 서비스와 음원 데이터 기반의 서비스로 나눌 수 있다. 영상 데이터 기반의 서비스는 등장 인물/상황/오브젝트의 정보, 영상 내 섹션 (인트로/엔딩 등) 정보 제공 등이 있다. 음원 데이터 기반의 서비스로는 배경 음악 정보 제공, 대사 인식 제공 등의 서비스가 있다. 이러한 메타 데이터 관련 서비스를 제공하기 위해서 미디어 컨텐츠에서 메타 정보를 추출하는 기술이 필요하다.

한국공개특허 제10-2002-0075956호, 2014년 08월 06일 (명칭: 지역적 정보를 이용한 장면 전환 검출방법)

본 발명은 상술한 요구를 충족하기 위한 것으로, 본 발명에서는 미디어 컨텐츠의 구간 분석과 관련하여, 복수의 구간 분석 방식을 적용한 후, 그 결과를 교차 비교하여 보다 세밀하고 정확한 구간 구분 결과를 제공할 수 있도록 하는 미디어 컨텐츠 구간 분석 방법 및 이를 지원하는 서비스 장치를 제공함에 있다.

예를 들어, 본 발명은 미디어 컨텐츠의 씬 구간을 높은 정확도로 자동으로 추출하기 위해 영상 분석을 통해 추출한 구간 정보와 음원 또는 대사 구간 추출 결과를 동시에 활용하는 방법을 제안하고 있다.

본 발명의 실시 예에 따른 서비스 장치는 메모리 및 상기 메모리에 기능적으로 연결되는 프로세서를 포함할 수 있다. 상기 프로세서는 상기 메모리에 저장된 미디어 컨텐츠를 선택하고, 지정된 제1 타입 구간 분석 방식으로 상기 미디어 컨텐츠에 대한 제1 타입 구간 정보를 수집하고, 지정된 제2 타입 구간 분석 방식으로 상기 미디어 컨텐츠에 대한 제2 타입 구간 정보를 수집하고, 상기 제1 타입 구간 정보와 상기 제2 타입 구간 정보를 비교하여, 갱신된 타입 구간 정보를 생성하도록 설정될 수 있다.

특히, 상기 프로세서는 상기 제1 타입 구간 정보의 각 구간별 신뢰도 점수와 상기 제2 타입 구간 정보의 각 구간별 신뢰도 점수를 확인하고, 상기 제2 타입 구간 정보의 각 구간별 신뢰도 점수를 이용하여 상기 제1 타입 구간 정보의 각 구간들의 크기를 조정하도록 설정될 수 있다.

추가적으로, 상기 프로세서는 상기 제2 타입 구간 정보의 각 구간별 신뢰도 점수를 이용하여, 상기 구간들의 크기가 조정된 제1 타입 구간 갱신 정보에서 각 구간들의 크기를 재조정하되, 상기 구간들의 크기 조정이 없는 시점까지 상기 재조정을 반복 수행하도록 설정될 수 있다.

또는, 상기 프로세서는 상기 제2 타입 구간 정보의 각 구간별 신뢰도 점수를 이용하여, 상기 구간들의 크기가 조정된 제1 타입 구간 갱신 정보에서 각 구간들의 크기를 지정된 횟수만큼 반복하여 재조정하도록 설정될 수 있다.

한편, 상기 프로세서는 상기 제1 타입 구간 정보의 각 구간별 신뢰도 점수와 상기 제2 타입 구간 정보의 각 구간별 신뢰도 점수를 확인하고, 상기 제1 타입 구간 정보의 각 구간별 신뢰도 점수를 이용하여 상기 제2 타입 구간 정보의 각 구간들의 크기를 조정하도록 설정될 수 있다.

구체적으로, 상기 제1 타입 구간 분석 방식은 상기 미디어 컨텐츠의 영상 데이터들에 대하여 씬 구간을 분석하는 방식을 포함하고, 상기 제1 타입 구간 정보는 상기 미디어 컨텐츠의 씬 구간 구분 정보를 포함할 수 있다.

또는, 상기 제2 타입 구간 분석 방식은 상기 미디어 컨텐츠의 음원 데이터들에 대하여 음원 구간을 분석하는 방식을 포함하고, 상기 제2 타입 구간 정보는 상기 미디어 컨텐츠의 음원 구간 구분 정보를 포함할 수 있다.

또한, 상기 프로세서는 상기 갱신된 타입 구간 정보를 기반으로 컨텐츠 내용 요약 정보 제공, 유사 컨텐츠 추천 정보 제공, 컨텐츠 내용 기반의 가상 광고 정보 제공, 컨텐츠 구간 검색 정보 제공, 등장 인물 정보 제공, 인트로/엔딩 구간 스킵 기능 제공, 배경 음악 정보 제공, 하이라이트 및 메인 음원 구간을 기반으로 한 트레일러 영상 또는 썸네일 이미지 제공 기능 중 적어도 하나를 수행하도록 설정될 수 있다.

본 발명의 실시 예에 따른 미디어 컨텐츠 구간 분석 방법은 서비스 장치가, 메모리에 저장된 미디어 컨텐츠에 대하여 지정된 제1 타입 구간 분석 방식으로 상기 미디어 컨텐츠에 대한 제1 타입 구간 정보를 수집하는 단계, 지정된 제2 타입 구간 분석 방식으로 상기 미디어 컨텐츠에 대한 제2 타입 구간 정보를 수집하는 단계, 상기 제1 타입 구간 정보와 상기 제2 타입 구간 정보를 비교하여, 갱신된 타입 구간 정보를 생성하는 단계, 상기 갱신된 타입 구간 정보를 상기 메모리에 저장하는 단계를 포함할 수 있다.

여기서, 상기 갱신된 타입 구간 정보를 생성하는 단계는 상기 제1 타입 구간 정보의 각 구간별 신뢰도 점수와 상기 제2 타입 구간 정보의 각 구간별 신뢰도 점수를 확인하는 단계, 상기 제2 타입 구간 정보의 각 구간별 신뢰도 점수를 이용하여 상기 제1 타입 구간 정보의 각 구간들의 크기를 조정하거나, 상기 제1 타입 구간 정보의 각 구간별 신뢰도 점수를 이용하여 상기 제2 타입 구간 정보의 각 구간들의 크기를 조정하는 단계를 포함할 수 있다.

본 발명의 실시 예에 따른 컴퓨터 기록 매체는 프로세서에 의해 실행된 적어도 하나의 명령어를 저장하고, 상기 적어도 하나의 명령어는 서비스 장치가, 메모리에 저장된 미디어 컨텐츠에 대하여 지정된 제1 타입 구간 분석 방식으로 상기 미디어 컨텐츠에 대한 제1 타입 구간 정보를 수집하는 동작, 지정된 제2 타입 구간 분석 방식으로 상기 미디어 컨텐츠에 대한 제2 타입 구간 정보를 수집하는 동작, 상기 제1 타입 구간 정보와 상기 제2 타입 구간 정보를 비교하여, 갱신된 타입 구간 정보를 생성하는 동작, 상기 갱신된 타입 구간 정보를 상기 메모리에 저장하는 동작을 수행하도록 설정될 수 있다.

본 발명은 미디어 컨텐츠의 구간 구분을 보다 정확하고 명쾌하게 할 수 있다. 예를 들어, 본 발명은 미디어 컨텐츠의 샷, 씬, 음원 및 대사 구간의 추출을 더욱 정교하게 할 수 있도록 지원한다.

또한, 본 발명은 보다 정교하게 추출된 구간들을 기반으로 다양한 서비스 예컨대 미디어 컨텐츠 내용에 적합한 광고 제공, 미디어 컨텐츠의 중심 내용 요약 서비스 등을 이전보다 정확하고 정교하게 제공할 수 있어, 컨텐츠 분석에 대한 신뢰도를 개선할 수 있다.

기타, 본 발명의 다른 효과들은 이하 설명에서 언급하기로 한다.

도 1은 본 발명의 실시 예에 따른 컨텐츠 구간 분석 시스템을 지원하는 네트워크 환경의 한 예를 나타낸 도면이다.
도 2는 본 발명의 실시 예에 따른 서비스 장치 구성의 한 예를 나타낸 도면이다.
도 3은 본 발명의 실시 예에 따른 서비스 장치의 프로세서의 한 예를 나타낸 도면이다.
도 4는 본 발명의 실시 예에 따른 컨텐츠 구간 분석을 설명하기 위한 도면이다.
도 5는 본 발명의 실시 예에 따른 컨텐츠 구간 분석 방법의 한 예를 나타낸 도면이다.
도 6은 본 발명의 실시 예에 따른 컨텐츠 구간 분석 방법의 다른 예를 나타낸 도면이다.

이하, 본 발명의 다양한 실시 예가 첨부된 도면을 참조하여 기재된다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 실시 예의 다양한 변경(modification), 균등물(equivalent), 및/또는 대체물(alternative)을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다.

도 1은 본 발명의 실시 예에 따른 컨텐츠 구간 분석 시스템을 지원하는 네트워크 환경의 한 예를 나타낸 도면이다.

도 1을 참조하면, 본 발명의 실시 예에 따른 컨텐츠 구간 분석 시스템을 지원하는 네트워크 환경(10)은 네트워크(50), 단말 장치(100) 및 서비스 장치(200)를 포함할 수 있다. 이와 같은 구성을 가진 본 발명의 컨텐츠 구간 분석 시스템은 서비스 장치(200)가 메모리에 저장된 미디어 컨텐츠에 대한 구간 분석을 수행하되, 복수의 구간 분석 방식으로 미디어 컨텐츠의 구간 구분을 수행하고, 각 분석 방식의 결과들을 복합적으로 적용하여, 각 분석 방식별 컨텐츠 구간 구분 결과를 갱신할 수 있다.

상기 서비스 장치(200)는 갱신된 미디어 컨텐츠 구간 구분 결과를 이용하여, 다양한 컨텐츠 서비스를 단말 장치(100)에 제공할 수 있다. 예컨대, 서비스 장치(200)는 단말 장치(100) 요청에 따라 미디어 컨텐츠의 내용 요약 정보를 제공하되 복수의 구간 분석 방식이 적용되어 정교하게 구분된 구간들을 기반으로 내용 요약 정보를 생성하여 제공할 수 있다. 또는, 상기 서비스 장치(200)는 정교하게 구분된 구간들의 내용 파악을 수행하고, 해당 내용에서 키워드를 추출한 후, 키워드에 대응하는 광고 소재를 기반으로 가상 광고를 제공할 수 있다. 또는, 상기 서비스 장치(200)는 정교하게 구분된 구간들의 내용을 기반으로 보다 정확한 유사 종류의 미디어 컨텐츠들의 추천 리스트를 생성할 수 있다.

상기 네트워크(50)는, 인터넷 망과 같은 IP 기반의 유선 통신망뿐만 아니라, LTE(Long term evolution) 망, WCDMA 망과 같은 이동통신망, Wi-Fi망과 같은 다양한 종류의 무선망, 및 이들의 조합으로 이루어질 수 있다. 또한, 상기 네트워크(50)는 IP TV를 지원하는 망(예: 방송 네트워크) 또는 망 구성 요소(예: 셋톱 박스)를 포함할 수 있다. 즉, 본 발명에 따른 미디어 컨텐츠 구간 분석과 관련한 네트워크 환경(10)은, 유무선 통신망에 구별 없이 모두 적용될 수 있다. 구체적으로 상기 네트워크(50)는 서비스 장치(200)와 단말 장치(100) 간의 통신 채널을 형성할 수 있다. 예를 들어, 상기 네트워크(50)는 서비스 장치(200) 또는 단말 장치(100)이 운용할 수 있는 3G, 4G, 5G 무선 이동 통신 방식 중 적어도 하나의 방식을 지원할 수 있다. 또는, 상기 네트워크(50)는 유선 기반으로 단말 장치(100)와 상기 서비스 장치(200) 간의 통신 채널을 형성할 수 있다. 이러한 네트워크(50)는 현재 개발되어 상용화되었거나 향후 개발되어 상용화될 각종 유선망, 무선망 및 이들의 결합망을 포함하는 개념으로 해석되어야 한다.

또한, 도시하지 않았으나, 본 발명의 컨텐츠 구간 분석 시스템은 미디어 컨텐츠를 제작하거나 수집하는 컨텐츠 제공 서버의 구성을 더 포함할 수 있다. 상기 컨텐츠 제공 서버는 서비스 장치(200) 요청에 대응하여 적어도 하나의 미디어 컨텐츠를 서비스 장치(200)에 제공할 수 있다. 또는, 상기 컨텐츠 제공 서버는 사전 정의된 스케줄 또는 일정 주기로 상기 서비스 장치(200)에 적어도 하나의 미디어 컨텐츠를 제공하거나 또는 단말 장치(100)의 요청에 따라 미디어 컨텐츠를 서비스 장치(200)에 제공할 수 있다. 이러한 컨텐츠 제공 서버는 상기 서비스 장치(200)의 일부 구성으로서 구현되거나, 별도의 서버로 마련되어 서비스 장치(200)와 통신 채널을 통해 미디어 컨텐츠를 제공할 수도 있다. 상기 컨텐츠 제공 서버가 별도로 마련된 경우, 상기 네트워크(50)는 상기 서비스 장치(200)와 상기 컨텐츠 제공 서버 간의 통신 채널을 형성할 수 있다.

상기 단말 장치(100)는 네트워크(50)를 통하여 서비스 장치(200)에 접속할 수 있다. 상기 단말 장치(100)는 서비스 장치(200)가 제공하는 컨텐츠 이용 화면을 수신하여 출력하고, 사용자 입력에 대응하여 미디어 컨텐츠 이용 요청(예: 컨텐츠 검색/구매/선물/시청 중 적어도 하나의 이용 요청)을 서비스 장치(200)에 제공할 수 있다. 이 동작에서, 상기 단말 장치(100)는 서비스 장치(200)에 미디어 컨텐츠들의 내용 요약 정보를 요청하거나, 특정 미디어 컨텐츠와 유사한 내용을 가진 미디어 컨텐츠 목록들을 요청하거나, 특정 음원과 동일 또는 유사한 음원을 포함한 미디어 컨텐츠 목록들을 요청할 수 있다. 한편, 도시된 도면에서 단말 장치(100)를 휴대용 단말의 형태로 도시하였으나 본 발명이 이에 한정되는 것은 아니다. 예를 들어, 본 명세서에서 기술되는 단말 장치(100)는 스마트 폰(smart phone), 타블렛 PC(Tablet PC), PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), MP3 Player 등의 이동 단말기는 물론, 스마트 TV(Smart TV), IPTV, IPTV의 셋탑, 노트북 컴퓨터(Laptop Computer), 데스크탑 컴퓨터 등과 같은 고정 단말기가 사용될 수도 있으며, 본 발명에 따른 가상 광고가 적용되는 동영상 컨텐츠와 관련한 데이터를 수신 할 수 있는 장치라면, 그 어떠한 장치도 본 발명의 실시 예에 따른 단말 장치(100)로 이용될 수 있다.

또한, 본 발명의 실시 예에서는 컨텐츠 구간 분석 기능을 서비스 장치(200)가 수행하고, 이를 기반으로 하는 서비스를 상기 단말 장치(100)에 제공하는 형태로 설명하지만, 본 발명이 이에 한정되는 것은 아니다. 예컨대, 상기 단말 장치(100)는 특정 미디어 컨텐츠에 대하여 복수의 구간 분석 방식을 적용하여, 상기 특정 미디어 컨텐츠에 대한 분석 방식별 구간 구분 결과를 수집하고, 상기 분석 방식별 구간 구분 결과를 외부 전자 장치(예: 다른 단말 장치 또는 상기 서비스 장치)에 전송할 수 있다.

또는, 상기 단말 장치(100)는 특정 미디어 컨텐츠에 대한 분석 방식별 구간 구분 결과를 단말 장치의 메모리에 저장하고, 사용자 입력에 대응하여 특정 장면 검색 기능 또는 특정 음원 검색 기능을 제공할 수 있다. 이와 관련하여, 상기 단말 장치(100)는 적어도 하나의 미디어 컨텐츠를 수신할 수 있는 통신 회로, 수신된 미디어 컨텐츠를 저장하는 메모리, 저장된 미디어 컨텐츠를 출력하는 디스플레이, 출력된 미디어 컨텐츠에 관한 구간 검색 요청에 대응하는 사용자 입력을 생성하는 입력부, 상기 기능 수행 처리를 위한 적어도 하나의 프로세서를 포함할 수 있다.

상기 서비스 장치(200)는 상기 네트워크(50)를 통해 컨텐츠를 제공하는 서버와 통신 채널을 형성하여 적어도 하나의 미디어 컨텐츠를 수신하고, 수신된 미디어 컨텐츠를 저장할 수 있다. 이러한 상기 서비스 장치(200)는 메모리에 저장된 적어도 하나의 미디어 컨텐츠에 대하여 일정 주기, 관리자 요청 또는 상기 단말 장치(100) 요청에 따라 컨텐츠 구간 분석을 복수의 분석 방식을 이용하여 수행할 수 있다. 상기 서비스 장치(200)는 복수의 분석 방식을 이용한 컨텐츠 구간 분석을 수행하고, 분석 방식별 컨텐츠 구간 구분 정보들을 저장할 수 있다. 상기 서비스 장치(200)는 분석 방식별 컨텐츠 구간 구분 정보들을 지정된 방식에 복합적으로 적용하여 분석 방식별 컨텐츠 구간 구분 정보들을 갱신할 수 있다. 이 동작에서, 상기 서비스 장치(200)는 분석 방식별 컨텐츠 구간 구분 정보들에 대한 신뢰도 점수를 산출하고, 구분된 구간들에 대한 각 분석 방식별 신뢰도 점수를 비교하여, 상대적으로 신뢰도 점수가 높은 구간 구분 정보를 채택할 수 있다. 상기 신뢰도 점수 산출은 해당 구간을 구분하는데 적용된 방식과, 방식에서 산출된 정확도를 기반으로 산출될 수 있다. 예컨대 특정 구간 분석 방식에서 정의한 구간 기준 값과, 미디어 컨텐츠의 구간 변화 값과의 차이에 따라 신뢰도 점수가 매겨질 수 있다.

한편, 상기 서비스 장치(200)는 상기 네트워크(50)를 통하여 상기 단말 장치(100)가 접속할 수 있도록 통신 대기 상태를 가질 수 있다. 상기 서비스 장치(200)는 상기 단말 장치(100)가 접속하면, 단말 장치(100)에 서비스 장치(200)가 제공하는 컨텐츠 이용 화면(또는 가상 페이지)를 단말 장치(100)에 제공할 수 있다. 상기 서비스 장치(200)는 단말 장치(100)가 상기 컨텐츠 이용 화면을 통해 컨텐츠 이용 요청 메시지를 제공하면, 상기 컨텐츠 이용 요청 메시지에 대응하는 컨텐츠 이용 서비스 정보를 단말 장치(100)에 제공할 수 있다. 이 동작에서, 상기 서비스 장치(200)는 분석 방식별 미디어 컨텐츠 구간 구분 정보들을 상호 복합적으로 적용하여 분석 방식별 컨텐츠 구간 구분 정보들을 갱신하고, 상기 갱신된 컨텐츠 구간 구분 정보를 기반으로 다양한 컨텐츠 이용 서비스 정보를 제공할 수 있다. 예를 들어, 상기 서비스 장치(200)는 상기 갱신된 컨텐츠 구간 구분 정보를 토대로 생성된 컨텐츠 내용 요약 정보, 유사 미디어 컨텐츠 추천 정보, 상기 갱신된 컨텐츠 구간 구분 정보를 토대로 생성된 가상 광고 정보, 키워드 기반 미디어 컨텐츠의 구간 검색 정보 중 적어도 하나를 제공할 수 있다. 여기서, 상기 키워드는 상기 갱신된 컨텐츠 구간 구분 정보를 토대로 각 구간들에 포함된 자막 정보, 대사 정보, 음원 정보 중 적어도 하나를 기반으로 추출되고, 빈도 수에 따라 핵심 키워드가 각 구간에 할당될 수 있다.

도 2는 본 발명의 실시 예에 따른 서비스 장치 구성의 한 예를 나타낸 도면이다.

도 2를 참조하면, 본 발명의 서비스 장치(200)는 통신 회로(210), 메모리(240) 및 프로세서(250)를 포함할 수 있다.

상기 통신 회로(210)는 서비스 장치(200)의 통신 채널을 형성할 수 있다. 예컨대, 상기 통신 회로(210)는 단말 장치(100) 접속 요청에 대응하여 단말 장치(100)와 통신 채널을 형성할 수 있다. 상기 통신 회로(210)는 단말 장치(100)에 지정된 가상 페이지(예: 컨텐츠 이용 화면)를 프로세서(250) 제어에 대응하여 제공할 수 있다. 상기 통신 회로(210)는 단말 장치(100)로부터 미디어 컨텐츠 구간 구분 정보들을 기반으로 하는 서비스들 중 적어도 하나의 서비스를 요청하는 메시지를 수신할 수 있다. 상기 통신 회로(210)는 상기 메시지에 대응하여 서비스 정보(예: 컨텐츠 내용 요약 정보, 유사 컨텐츠 추천 정보, 컨텐츠 내용 기반의 가상 광고 정보, 컨텐츠 구간 검색 정보 중 적어도 하나)를 단말 장치(100)에 제공할 수 있다. 상기 통신 회로(210)는 단말 장치(100) 요청에 의해 선택된 컨텐츠를 상기 단말 장치(100)에 스트리밍 방식 또는 다운로드 방식 등으로 전송할 수 있다.

상기 메모리(240)는 상기 서비스 장치(200) 운용과 관련한 다양한 데이터, 프로그램, 알고리즘 등을 저장할 수 있다. 예컨대, 상기 메모리(240)는 컨텐츠 DB(241), 구간 구분 정보 DB(243)를 포함할 수 있다.

상기 컨텐츠 DB(241)는 적어도 하나의 미디어 컨텐츠를 저장할 수 있다. 상기 컨텐츠 DB(241)에 저장된 미디어 컨텐츠는 복수의 컨텐츠 구간 분석 방식을 적용할 수 있는 컨텐츠를 포함할 수 있다. 예를 들어, 상기 컨텐츠 DB(241)에 저장되는 미디어 컨텐츠는 영상 및 음원(에: 음악, 대사 등)을 모두 포함한 컨텐츠를 포함할 수 있다.

상기 구간 구분 정보 DB(243)는 각 미디어 컨텐츠들에 대한 제1 타입 구간 정보(41), 제2 타입 구간 정보(42), 복합 구간 정보(43)를 포함할 수 있다.

상기 제1 타입 구간 정보(41)는 예컨대, 특정 미디어 컨텐츠에 대해 제1 타입 컨텐츠 구간 분석 방식을 적용하여 산출한 구간 정보를 포함할 수 있다. 상기 제1 타입 구간 정보(41)는 컨텐츠 DB(241)에 저장된 미디어 컨텐츠들별로 저장될 수 있다. 미디어 컨텐츠 구분을 위하여, 제1 타입 구간 정보(41)는 컨텐츠 DB(241)에 저장된 미디어 컨텐츠에 대응하는 식별자를 함께 포함할 수 있다. 예를 들어, 상기 제1 타입 구간 정보(41)는 컨텐츠 DB(241)에 저장된 제1 미디어 컨텐츠에 대응하는 식별자와, 상기 제1 미디어 컨텐츠에 영상 데이터 기반 구간 분석 방식을 적용하여 획득한 영상 데이터 구간 구분 정보를 포함할 수 있다.

상기 제2 타입 구간 정보(42)는 예컨대, 특정 미디어 컨텐츠에 대해 제2 타입 컨텐츠 구간 분석 방식을 적용하여 산출한 구간 정보를 포함할 수 있다. 상기 제2 타입 구간 정보(42)는 컨텐츠 DB(241)에 저장된 미디어 컨텐츠들별로 구분되기 위하여, 미디어 컨텐츠들에 대응하는 식별자를 포함할 수 있다. 예를 들어, 상기 제2 타입 구간 정보(42)는 컨텐츠 DB(241)에 저장된 제1 미디어 컨텐츠에 대응하는 식별자와, 상기 제1 미디어 컨텐츠에 음원 데이터 기반 구간 분석 방식을 적용하여 획득한 음원 데이터 구간 구분 정보를 포함할 수 있다.

상기 복합 구간 정보(43)는 상기 제1 타입 구간 정보(41)의 각 구간들에 대하여 상기 제2 타입 구간 정보(42)를 적용하여 구간 정보를 갱신한 제1 타입 구간 갱신 정보를 포함할 수 있다. 예를 들어, 제1 타입 구간 갱신 정보는 상기 영상 데이터 구간 구분 정보를 상기 음원 데이터 구간 구분 정보로 적어도 일부 구간 조정을 수행한 정보를 포함할 수 있다. 또는, 상기 복합 구간 정보(43)는 상기 제2 타입 구간 정보(42)의 각 구간들에 대하여 상기 제1 타입 구간 정보(41)를 적용하여 구간 정보를 갱신한 제2 타입 구간 갱신 정보를 포함할 수 있다. 예를 들어, 제2 타입 구간 정보(42)는 상기 음원 데이터 구간 구분 정보를 상기 영상 데이터 구간 구분 정보로 적어도 일부 구간 조정을 수행한 정보를 포함할 수 있다.

상기 프로세서(250)는 상기 서비스 장치(200) 운용과 관련한 데이터의 전달 또는 데이터의 처리 등을 수행할 수 있다. 예를 들어, 상기 프로세서(250)는 본 발명의 컨텐츠 구간 분석 기능 수행과 관련하여, 단말 장치(100)의 접속, 컨텐츠 이용 화면의 제공, 단말 장치(100)로부터 검색 요청 정보의 수신, 수신된 검색 요청 정보에 대응하는 추천 리스트 제공, 단말 장치(100) 선택에 따른 컨텐츠 제공을 처리할 수 있다.

예를 들어, 본 발명의 프로세서(250)는 제1 구간 분석 기술을 이용하여 제1 타입 구간 구분 정보를 획득하고, 제2 구간 분석 기술을 이용하여 제2 타입 구간 구분 정보를 획득할 수 있다. 상기 프로세서(250)는 제1 타입 구간 구분 정보를 상기 제2 타입 구간 구분 정보에 적용하여 구간의 정확성을 높일 수 있다. 또는, 상기 프로세서(250)는 제2 타입 구간 구분 정보를 상기 제1 타입 구간 구분 정보에 적용하여 구간의 정확성을 높일 수 있다. 보다 구체적으로, 상기 프로세서(250)는 음원 분석 기술의 결과를 활용하여 영상 분석을 통해 도출한 씬 구간 추출의 정확도를 높이는 씬 구분 개선을 수행하거나, 영상 분석 기술의 결과를 활용하여 음원 구간 추출의 정확도를 높이는 음원 구분 개선을 수행할 수 있다. 상기 프로세서(250)는 미디어 컨텐츠에 대하여 씬 구분 개선 또는 음원 구분 개선을 반복적으로 수행하여, 점진적으로 씬 구간 추출의 정확도와 음원 구간 추출의 정확도를 높일 수 있다. 이러한 프로세서(250)는 도 3에 도시된 바와 같이 구성을 포함할 수 있다.

도 3은 본 발명의 실시 예에 따른 서비스 장치의 프로세서의 한 예를 나타낸 도면이다.

도 3을 참조하면, 상기 프로세서(250)는 미디어 컨텐츠 수집부(251), 제1 타입 구간 분석부(253), 제2 타입 구간 분석부(255), 복합 구간 분석부(257) 및 서비스 제공부(259)를 포함할 수 있다.

상기 미디어 컨텐츠 수집부(251)는 다양한 방법으로 미디어 컨텐츠를 수집할 수 있다. 예를 들어, 미디어 컨텐츠 수집부(251)는 본 발명에서 설명한 복수의 구간 분석 방식을 적용할 수 있는 미디어 컨텐츠 예컨대, 영화/드라마/예능 등, 영상데이터와 음원(예: 대사/배경음악)을 동시에 가지고 있는 컨텐츠를 수집할 수 있다. 상기 미디어 컨텐츠 수집부(251)는 영상이나 음악 중 어느 하나만 있는 미디어 컨텐츠를 수집 과정에서 제외시킬 수 있다. 상기 미디어 컨텐츠 수집부(251)는 제외시킨 미디어 컨텐츠들에 대한 목록 관리를 수행할 수 있다. 상기 관리된 목록은 컨텐츠 수집 시 또는 단말 장치(100) 요청에 따라 컨텐츠 이용 서비스 정보 제공 시, 서비스 제외 항목으로 이용될 수 있다.

상기 제1 타입 구간 분석부(253)는 예컨대, 제1 컨텐츠 구간 분석 방식을 기반으로 특정 미디어 컨텐츠에 대한 구간 분석을 수행할 수 있다. 상술한 제1 타입 구간 분석부(253)는 예컨대, 영상 데이터 추출 및 분석 기능을 지원할 수 있다. 이 경우, 상기 제1 타입 구간 분석부(253)는 미디어 컨텐츠에서 영상 데이터를 추출하고 분석할 수 있다. 상기 제1 타입 구간 분석부(253)는 스크린샷을 통해 프레임을 추출하고, 추출된 프레임을 이미지 데이터로 변환하여 분석할 수 있다. 예를 들면, 상기 제1 타입 구간 분석부(253)는 편집점 기반으로 샷을 구분하는 기능을 수행할 수 있다. 또는, 상기 제1 타입 구간 분석부(253)는 기존의 영상 분석 기술을 활용하여 (ex. 배경이나 공간 이미지의 변화도를 측정하는 기술, 딥러닝 등의 AI 기반 분석 기술 등) 기본적인 씬 구간 구분 정보를 획득할 수 있다.

상기 제1 타입 구간 분석부(253)는 영상 데이터를 기반으로 구간을 구분할 수 있는 다양한 기술 중 구간 구분의 정확도를 점수로 출력할 수 있는 방식이라면 어떠한 방식이라도 이용할 수 있다. 예를 들어, 상기 제1 타입 구간 분석부(253)는 샷과 씬을 구분하는데 있어 영상 데이터 중 배경의 유사성과 사물의 엣지 (외곽선)을 기준으로 분할하는 방식을 이용할 수 있다. 이 방식 운용과 관련하여, 상기 제1 타입 구간 분석부(253)는 영상을 일정한 기준의 프레임 단위로 자르고 특정 i 시점의 프레임 이미지와 i+1 시점의 프레임 이미지를 비교하여 배경 이미지의 변화도와 사물의 엣지의 변화도를 확인하고, 확인된 변화도가 일정 Threshold 이상인 경우 샷으로 구분할 수 있다. 여기서, 샷의 분할 시점과 변화도 수치가 샷의 신뢰도 점수로 제공될 수 있다. 또한 상기 제1 타입 구간 분석부(253)는 씬 구간 구분과 관련하여, 배경의 비유사성과 배경의 반복성을 기준으로 t 시점의 샷 에서와 t - 1, t + 1 시점의 샷을 비교하여 Threshold 이상 변하는 경우 공간이 바뀌었다고 판단하여 씬을 구분할 수 있다. 이 경우 씬의 분할 시점과 변화도 수치가 씬의 신뢰도 점수로 제공될 수 있다. 한편, 상술한 샷/씬 구분 방식은 본 발명에 적용할 수 있는 하나의 예로서 이외에도 샷/씬 구분 시점과 정확도를 결과로 도출할 수 있는 방법(예: K-Means Clustering을 활용하여 샷을 clustering하는 방법, 윈도우 로직을 적용하여 씬을 찾는 기술 등)이라면 어떤 방법이라도 제1 타입 구간 분석부(253)에 의해 이용될 수 있다.

상기 제2 타입 구간 분석부(255)는 예컨대, 제2 컨텐츠 구간 분석 방식을 기반으로 특정 미디어 컨텐츠에 대한 구간 분석을 수행할 수 있다. 상술한 제2 타입 구간 분석부(255)는 예컨대, 음원 데이터 추출 및 분석 기능을 지원할 수 있다. 이 경우, 상기 제2 타입 구간 분석부(255)는 미디어 컨텐츠에서 음원 데이터를 추출하고 분석할 수 있다. 제2 타입 구간 분석부(255)는 음파 분석이나 음원 데이터 분석 등을 통해 일차적으로 구간을 나누거나, 배경음악 또는 대사 등을 각각 구분하여 구간을 나눌 수 있다. 제2 타입 구간 분석부(255)는 영상 데이터 구분과 일부 유사하게 프레임 단위로 미디어 컨텐츠를 분리하여 분석(ex. 24ms 단위로 분석)할 수 있다. 제2 타입 구간 분석부(255)는 예컨대, 딥러닝 등의 다양한 AI 기반 음원 분석 기술을 활용할 수 있고 또한 분석 결과가 얼마나 정확한가를 신뢰도 수치로 제공할 수 있는 분석 기술을 이용할 수 있다. 예를 들어, 제2 타입 구간 분석부(255)는 음악 데이터와 대화 데이터를 이용하여 Neural Network를 학습하고 (음악이라고 태깅된 정답 데이터와 대화라고 태깅된 정답 데이터를 이용하여 이를 구분할 수 있는 네트워크를 만드는 과정) 영상의 음원 데이터에서 음원 구간과 대화 구간을 구하는 방식을 사용할 수 있다. 혹은 제2 타입 구간 분석부(255)는 음악 핑거프린팅을 통한 음악 검색을 활용하여 음악 구간을 추출하는 방법도 사용할 수 있다. 예컨대, 제2 타입 구간 분석부(255)는 초단위로 음악을 검색하고 Window 로직을 통해 검색 결과에서 음악의 시작과 끝을 찾아낼 수 있다. 상술한 바와 같이, 본 발명의 제2 타입 구간 분석부(255)는 음악 구간, 대사 구간의 정보와 그 정확도를 결과로 도출하는 다양한 방법 중 적어도 하나의 방법을 사용할 수 있다.

상기 복합 구간 분석부(257)는 제1 타입 구간 분석부(253)에 의해 도출된 제1 타입 구간 정보(41)와 제2 타입 구간 분석부(255)에 의해 도출된 제2 타입 구간 정보(42)를 복합적으로 적용하여, 갱신된 구간 정보를 생성할 수 있다. 예를 들어, 복합 구간 분석부(257)는 미디어 컨텐츠에서 기본적인 샷/씬 구간 및 음악/대사 등의 음원 구간 정보를 인풋으로 받아 구간을 더 정확하게 나눌 수 있도록 복합 분석을 반복적으로 수행할 수 있다. 상기 복합 구간 분석부(257)는 제1 타입 구간 분석부(253)와 제2 타입 구간 분석부(255)에서 분석한 기본 구간 정보와 그 스코어를 기반으로 서로 교차 활용하여 분석을 수행한다. 이렇게 씬 및 음원 구간 정보를 한번 업데이트하면, 갱신된 구간 정보는 다시 복합 구간 분석부(257)의 입력으로 전달된다. 이후 새로 받은 정보와 초기 정보를 바탕으로 씬 및 음원 구간을 업데이트하고 다시 복합 구간 분석부(257)의 입력으로 전달하는 작업을 반복적으로 수행한다. 작업의 반복은 미리 정해진 횟수만큼의 반복 횟수에 도달하거나 더 이상 작업의 결과가 변하지 않을 때까지 수행될 수 있다.

상기 서비스 제공부(259)는 샷/씬과 음원 구간 정보를 기반으로 컨텐츠 메타 데이터 기반 서비스를 제공하기 위해 다양한 작업을 수행할 수 있다. 예를 들어, 상기 서비스 제공부(259)는 컨텐츠 내용 요약 정보, 유사 컨텐츠 추천 정보, 컨텐츠 내용 기반의 가상 광고 정보, 컨텐츠 구간 검색 정보 중 적어도 하나를 제공할 수 있다. 또는, 상기 서비스 제공부(259)는 미디어 컨텐츠에 대해 얼굴 인식을 수행하고, 얼굴 인식 결과를 기반으로 씬 구간 기반의 등장 인물을 추출하거나, 인트로/엔딩 구간을 찾아 스킵할 수 있도록 정보를 제공하거나, 배경 음악을 검색하여 음악 서비스를 제공할 수 있다. 또한 상기 서비스 제공부(259)는 미디어 컨텐츠에서 하이라이트/메인 BGM 음원을 찾아 이 구간을 이용한 트레일러, 썸네일 이미지 추출 등에도 활용할 수 있다. 이 외에도 상기 서비스 제공부(259)는 다양한 방법으로 갱신된 구간 정보를 활용한 정보 제공 서비스를 지원할 수 있다.

도 4는 본 발명의 실시 예에 따른 컨텐츠 구간의 복합 분석을 설명하기 위한 도면이다.

도 4를 참조하면, 서비스 장치(200)의 프로세서(250)는 미디어 컨텐츠에서 장면 전환 검출을 기반으로 복수개의 샷들(예: 샷0, 샷1, 샷2, 샷3, 샷4, 샷5)을 획득할 수 있다.

여기서, 프로세서(250)는 지정된 제1 구간 분석 방식 예컨대, 영상 구간 분석 방식에 따라 상기 복수개의 샷들을 포함한 미디어 컨텐츠를 분석하여, 샷1, 샷2, 샷3, 샷4를 포함하는 하나의 제1 씬(예: 초기 씬 #1)을 구분할 수 있다. 여기서, 샷은 카메라의 연속적인 흐름이기 때문에 영상 분석 기술만으로도 어느 정도 판단할 수 있다. 샷을 구분하는 기술은 종래의 기술들을 활용할 수 있다. 상기 샷을 구분하는 분석 방식은 미디어 컨텐츠 전체에서 반복적이며 지속적으로 수행될 수 있다. 씬 구간 정보는 샷 구간 정보를 기반으로 종래의 영상 분석 기술을 활용하여 구성할 수 있다. 예컨대, 씬 구간 정보는 K-means Clustering 등을 활용하여 획득할 수 있다. 씬 구간 정보는 정확도가 수치로 표현되어야 하며 수치는 해당 구간이 정확하게 구분되었을 확률을 나타낼 수 있다.

또한, 상기 프로세서(250)는 지정된 제2 구간 분석 방식 예컨대, 음원(예: 배경 음악 및 대사) 기반 구간 분석 방식에 따라 샷0~샷4를 포함하는 음원 구간 정보(BGM)와, 샷2 및 샷 3을 포함하는 제1 대사 구간 정보(대사 1), 샷3~샷5를 포함하는 제2 대사 구간 정보(대사 2)를 획득할 수 있다. 상기 음원 구간은 종래의 음원 분석 기술을 사용하여 초기 값을 얻을 수 있다. 음원 구간은 정확도를 수치로 표현해야 하며 수치는 해당 구간이 정확하게 구분되었을 확률을 나타낼 수 있다.

상기 프로세서(250)는 상기 음원 구간 정보(BGM) 및 제1 대사 구간 정보(대사 1), 제2 대사 구간 정보(대사 2)를 이용하여 상기 제1 씬(초기 씬 #1)을 도시된 바와 같이 제1 갱신된 씬(변경된 씬 #1)으로 변경할 수 있다. 상기 제1 갱신된 씬(변경된 씬 #1)은 샷0~샷5를 포함하는 씬이 될 수 있다. 상기 변경된 씬 #1은 별도로 메모리(240)에 갱신된 씬 정보로 저장되거나, 복합 구간 분석부(257)의 입력으로 재입력되어 음원 데이터 기반의 갱신 작업을 재수행할 수 있다. 갱신 작업은 갱신된 결과 값이 직전 값과의 차이가 없는 시점까지 또는 사전 지정된 횟수 동안 수행될 수 있다.

상술한 바와 같이, 본 발명의 서비스 장치(200)의 프로세서(250)는 음원 구간의 정보를 기반으로 이전 단계에서 추출한 씬 구간 정보를 업데이트 한다. 기본적으로 여기서는 샷이 다르더라도 연속성 있는 대사/음악이 나오는 음원 구간에 속한다면 하나의 씬 구간으로 묶을 수 있다는 점에 기반한다. 즉, 씬은 의미적으로 연속성을 가져야 하기 때문에 화면이 편집이나 급 반전 (ex. 점등/소등 등)에 의해 샷이 전환되더라도 같은 대사/음악 구간이라면 하나의 씬 구간에 속한다고 판단할 수 있다. 따라서 음원 정보를 활용하면 영상 정보 분석만을 통해 구한 씬 구간 정보 보다 정확한 구간 정보를 구할 수 있다. 이러한 본 발명은 초기 씬 구간 추출과 초기 음원 구간 추출과 관련하여 정해진 알고리즘만을 이용하는 것이 아니라 종래 다양한 방식의 독립적인 활용 또는 조합 활용을 할 수 있기 때문에 각 분석 방식에서 획득되는 신뢰도 점수를 일반화(Normalize)하고, 신뢰도 비교를 어떻게 할 것인지는 지정된 알고리즘에 따라 수행될 수 있다. 또는, 본 발명의 서비스 장치(200)는 신뢰도 점수에 대하여 상황에 따라 튜닝할 수 있는 하이퍼 파라미터로 취급할 수 있다.

도 5는 본 발명의 실시 예에 따른 컨텐츠 구간 분석 방법의 한 예를 나타낸 도면이다.

도 5를 참조하면, 본 발명의 실시 예에 따른 컨텐츠 구간 분석 방법과 관련하여, 서비스 장치(200)의 프로세서(250)는 501 단계에서, 제1 타입 구간 정보(41) 및 제2 타입 구간 정보(42)를 획득할 수 있다. 이와 관련하여, 프로세서(250)는 메모리(240)에 저장된 특정 미디어 컨텐츠를 선택하고, 선택된 미디어 컨텐츠에 대하여 지정된 제1 컨텐츠 구간 분석 방식을 적용하여 제1 타입 구간 정보(41)를 획득할 수 있다. 예를 들어, 상기 프로세서(250)는 영상 분석 방식을 이용하여 씬 구간 정보를 획득할 수 있다. 또한, 프로세서(250)는 선택된 미디어 컨텐츠에 대하여 지정된 제2 컨텐츠 구간 분석 방식을 적용하여 제2 타입 구간 정보(42)를 획득할 수 있다. 예를 들어, 상기 프로세서(250)는 음악 분석 방식을 이용하여 음원 구간 정보를 획득할 수 있다.

상기 제1 타입 구간 정보(41)는 영상 데이터를 기반으로 한 씬 구간 구분 정보를 포함할 수 있다. 제2 타입 구간 정보(42)는 음원 데이터를 기반으로 한 음악 또는 대사 구간 구분 정보를 포함할 수 있다. 상기 제1 타입 구간 정보(41) 및 상기 제2 타입 구간 정보(42)는 구간의 길이 정보(또는 구간의 시작과 종료 시간 정보) 및 각 구간의 구분에 대한 신뢰도 정보를 포함할 수 있다.

503 단계에서, 프로세서(250)는 획득된 제1 타입 구간 정보(41) 및 제2 타입 구간 정보(42)들의 신뢰도를 확인할 수 있다. 이 동작에서, 상기 프로세서(250)는 제1 타입 구간 정보(41) 및 제2 타입 구간 정보(42)들의 구간별 신뢰도를 확인할 수 있다. 상기 신뢰도는 구간 구분 과정에서 산출된 정확도를 기반으로 생성될 수 있다.

505 단계에서, 프로세서(250)는 상대적으로 높은 신뢰도의 구간 정보를 이용하여 상대적으로 낮은 신뢰도의 구간 정보를 갱신할 수 있다. 예를 들어, 상기 프로세서(250)는 상대적으로 높은 신뢰도 구간의 구간 구분 정보를 상대적으로 낮은 신뢰도 구간의 구분 정보와 대체할 수 있다. 상기 프로세서(250)는 갱신된 구간 구분 정보를 메모리(240)에 저장할 수 있다.

507 단계에서, 프로세서(250)는 구간 구분과 관련한 구간 분석 종료 이벤트가 발생하는지 확인할 수 있다. 예를 들어, 프로세서(250)는 추가적으로 갱신할 구간 정보가 있는지 확인하고, 갱신할 구간 정보가 없는 경우, 구간 분석 종료 이벤트 발생으로 판단할 수 있다. 또는, 프로세서(250)는 구간 구분 정보의 갱신을 지정된 횟수 동안 반복하고, 반복 횟수가 종료되면 구간 분석 종료 이벤트가 발생한 것으로 판단할 수 있다. 반복과 관련하여, 프로세서(250)는 갱신된 구간 정보의 신뢰도와 다른 구간 정보의 신뢰도와 비교하고, 비교 결과에 따른 구간 정보 조정을 수행할 수 있다. 갱신 구간 정보의 신뢰도는 조정 시 적용된 상대적으로 높은 구간 정보의 신뢰도를 상속받거나, 구간 조정된 두 개의 이전 구간 정보들의 신뢰도의 평균 값을 상속받을 수 있다.

종료 이벤트가 발생하지 않으면, 상기 프로세서(250)는 501 단계 이전으로 분기하여 미디어 컨텐츠의 다음 구간들에 대한 구간 정보를 획득할 수 있다. 이와 관련하여, 프로세서(250)는 동일 미디어 컨텐츠에서 구간 시작 지점과 구간 종료 지점이 같은 제1 타입 구간 정보와 제2 타입 구간 정보를 획득할 수 있다.

도 6은 본 발명의 실시 예에 따른 컨텐츠 구간 분석 방법의 한 예를 나타낸 도면이다.

도 6을 참조하면, 상기 컨텐츠 구간 분석 방법과 관련하여, 상기 서비스 장치(200)의 프로세서(250)는 601 단계에서 씬 구간 정보를 획득할 수 있다.

603 단계에서, 상기 프로세서(250)는 대응 음원 구간 정보를 획득할 수 있다.

605 단계에서, 상기 프로세서(250)는 음원 구간 정보 기반 씬 구간 정보 갱신을 수행할 수 있다. 예컨대, 프로세서(250)는 샷/씬 구간 정보를 기반으로 이전 단계에서 추출한 음원 구간 정보를 업데이트 한다. 특히나 최근의 영화/드라마에서는 장면 전환 시에 음악을 fade out/fade in 하면서 겹쳐 놓는 경우가 있는데 이런 경우 음원 분석만으로는 음원 구간을 디텍션하기 어렵다. (ex. 라라랜드에서 여자주인공이 남자 주인공의 피아노 연주를 듣다가 과거 고속도로 장면으로 넘어가는 부분). 하지만 샷 구분의 경우 편집점을 찾는 것이기 때문에 상대적으로 종래의 기술로도 비교적 정확하게 샷 구분점을 추출할 수 있다. 따라서 프로세서(250)는 샷/씬 구간 정보의 정확도에 따라 음원 구간 정보를 업데이트 할 수 있다. 이 동작에서, 프로세서(250)는 신뢰도 점수 비교를 통해 샷/씬 구간 정보의 신뢰도가 더 높은 경우에 구간 정보의 업데이트를 수행한다. 다양한 예시로서, 음원 구간 구분 정보의 신뢰도가 100%에 가깝게 정확한 기술을 사용하고 있다면, 음원 데이터 기반 영상 데이터의 구간 구분 정보의 갱신은 발생할 수 있지만, 영상 데이터 기반 음원 구간 정보의 업데이트는 발생하지 않고, 반복 수행 없이 바로 종료될 수도 있다.

607 단계에서, 상기 프로세서(250)는 구간 분석 기능 종료와 관련한 이벤트 발생이 있는지 확인할 수 있다. 구간 분석 기능 종료 이벤트 발생이 없는 경우, 상기 프로세서(250)는 601 단계 이전으로 분기하여 이하 단계를 재수행할 수 있다. 본 발명에서는 음원 기반 정보를 이용하여 영상 기반 정보의 정확도를 높이고 영상 기반 정보를 이용하여 음원 기반 정보의 정확도를 높이기 때문에 한번의 수행으로 끝나는 것이 아니라 업데이트된 정보를 다시 입력으로 제공하여 반복 수행하는 형태로 샷/씬 구간 및 음원 구간 정보를 계속 반복적으로 업데이트 할 수 있다. 이에 따라, 프로세서(250)는 더 이상 구간 정보의 업데이트가 이뤄지지 않는 경우, 반복을 거듭할 때마다 정확도가 내리고 오르기를 반복하는 경우, 초기에 설정한 반복 횟수에 도달한 경우 등을 구간 분석 기능 종료 이벤트 발생으로 판단할 수 있다. 최종적으로 본 발명에서 씬 구간 및 음원 구간 정보는 미디어 컨텐츠 메타 데이터 추출을 위한 가장 기본적인 정보로 사용될 수 있다. 씬 구간 정보는 컨텐츠를 의미상으로 분할하거나 (예, 인트로/엔딩 부분 추출, 컨텐츠의 섹션 구분을 통한 섹션 탐색, 건너뛰기 등) 등장 인물을 추출하는 등의 용도로 사용할 수 있고 음원 구간 정보 역시 해당 구간의 배경 음악을 탐색하여 서비스하는 등의 다양한 서비스에서 사용될 수 있다.

본 발명에 따른 방법은 다양한 컴퓨터 수단을 통하여 판독 가능한 소프트웨어 형태로 구현되어 컴퓨터로 판독 가능한 기록매체에 기록될 수 있다. 여기서, 기록매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 기록매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 예컨대 기록매체는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(Magnetic Media), CD-ROM(Compact Disk Read Only Memory), DVD(Digital Video Disk)와 같은 광 기록 매체(Optical Media), 플롭티컬 디스크(Floptical Disk)와 같은 자기-광 매체(Magneto-Optical Media), 및 롬(ROM), 램(RAM, Random Access Memory), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치를 포함한다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함할 수 있다. 이러한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

또한, 본 명세서에서 설명하는 기능적인 동작과 주제의 구현물들은 다른 유형의 디지털 전자 회로로 구현되거나, 본 명세서에서 개시하는 구조 및 그 구조적인 등가물들을 포함하는 컴퓨터 소프트웨어, 펌웨어 혹은 하드웨어로 구현되거나, 이들 중 하나 이상의 결합으로 구현 가능하다. 본 명세서에서 설명하는 주제의 구현물들은 하나 이상의 컴퓨터 프로그램 제품, 다시 말해 본 발명에 따른 장치의 동작을 제어하기 위하여 혹은 이것에 의한 실행을 위하여 유형의 프로그램 저장매체 상에 인코딩된 컴퓨터 프로그램 명령에 관한 하나 이상의 모듈로서 구현될 수 있다. 컴퓨터로 판독 가능한 매체는 기계로 판독 가능한 저장 장치, 기계로 판독 가능한 저장 기판, 메모리 장치, 기계로 판독 가능한 전파형 신호에 영향을 미치는 물질의 조성물 혹은 이들 중 하나 이상의 조합일 수 있다.

아울러, 본 명세서는 다수의 특정한 구현물의 세부사항들을 포함하지만, 이들은 어떠한 발명이나 청구 가능한 것의 범위에 대해서도 제한적인 것으로서 이해되어서는 안되며, 오히려 특정한 발명의 특정한 실시형태에 특유할 수 있는 특징들에 대한 설명으로서 이해되어야 한다. 개별적인 실시형태의 문맥에서 본 명세서에 기술된 특정한 특징들은 단일 실시형태에서 조합하여 구현될 수도 있다. 반대로, 단일 실시형태의 문맥에서 기술한 다양한 특징들 역시 개별적으로 혹은 어떠한 적절한 하위 조합으로도 복수의 실시형태에서 구현 가능하다. 나아가, 특징들이 특정한 조합으로 동작하고 초기에 그와 같이 청구된 바와 같이 묘사될 수 있지만, 청구된 조합으로부터의 하나 이상의 특징들은 일부 경우에 그 조합으로부터 배제될 수 있으며, 그 청구된 조합은 하위 조합이나 하위 조합의 변형물로 변경될 수 있다.

마찬가지로, 특정한 순서로 도면에서 동작들을 묘사하고 있지만, 이는 바람직한 결과를 얻기 위하여 도시된 그 특정한 순서나 순차적인 순서대로 그러한 동작들을 수행하여야 한다거나 모든 도시된 동작들이 수행되어야 하는 것으로 이해되어서는 안 된다. 특정한 경우, 멀티태스킹과 병렬 프로세싱이 유리할 수 있다. 또한, 상술한 실시형태의 다양한 시스템 컴포넌트의 분리는 그러한 분리를 모든 실시형태에서 요구하는 것으로 이해되어서는 안되며, 설명한 프로그램 컴포넌트와 시스템들은 일반적으로 단일의 소프트웨어 제품으로 함께 통합되거나 다중 소프트웨어 제품에 패키징될 수 있다는 점을 이해하여야 한다.

본 명세서에서 설명한 주제의 특정한 실시형태를 설명하였다. 기타의 실시형태들은 이하의 청구항의 범위 내에 속한다. 예컨대, 청구항에서 인용된 동작들은 상이한 순서로 수행되면서도 여전히 바람직한 결과를 성취할 수 있다. 일 예로서, 첨부도면에 도시한 프로세스는 바람직한 결과를 얻기 위하여 반드시 그 특정한 도시된 순서나 순차적인 순서를 요구하지 않는다. 특정한 구현예에서, 멀티태스킹과 병렬 프로세싱이 유리할 수 있다.

본 기술한 설명은 본 발명의 최상의 모드를 제시하고 있으며, 본 발명을 설명하기 위하여, 그리고 당업자가 본 발명을 제작 및 이용할 수 있도록 하기 위한 예를 제공하고 있다. 이렇게 작성된 명세서는 그 제시된 구체적인 용어에 본 발명을 제한하는 것이 아니다. 따라서, 상술한 예를 참조하여 본 발명을 상세하게 설명하였지만, 당업자라면 본 발명의 범위를 벗어나지 않으면서도 본 예들에 대한 개조, 변경 및 변형을 가할 수 있다.

따라서 본 발명의 범위는 설명된 실시 예에 의하여 정할 것이 아니고 특허청구범위에 의해 정하여져야 한다.

본 발명은 컨텐츠 구간 분석 및 이의 활용 분야에 적용된다.

특히, 본 발명은 미디어 컨텐츠 플랫폼에서 메타 데이터 기반 서비스를 제공하기 위해서 필요한 가장 기본적인 씬 구간 및 음원 구간 정보를 자동으로 추출하고, 구간 구분 정보의 정확도를 개선하여, 영상에서의 등장 인물 추출, 배경 음악 탐색 등의 다양한 분석의 효율성/정확도를 극대화할 수 있어 미디어 컨텐츠와 관련한 서비스 품질을 획기적으로 높일 수 있도록 지원한다.

10: 네트워크 환경
50: 네트워크
100: 단말 장치
200: 서비스 장치
210: 통신 회로
240: 메모리
250: 프로세서
251: 미디어 컨텐츠 수집부
253: 제1 타입 구간 분석부
255: 제2 타입 구간 분석부
257: 복합 구간 분석부
259: 서비스 제공부

Claims (11)

1. ◈청구항 1은(는) 설정등록료 납부시 포기되었습니다.◈

   메모리;
   상기 메모리에 기능적으로 연결되는 프로세서를 포함하고,
   상기 프로세서는
   상기 메모리에 저장된 미디어 컨텐츠를 선택하고,
   지정된 제1 타입 구간 분석 방식으로 상기 미디어 컨텐츠에 대한 제1 타입 구간 정보를 수집하고,
   지정된 제2 타입 구간 분석 방식으로 상기 미디어 컨텐츠에 대한 제2 타입 구간 정보를 수집하고,
   상기 제1 타입 구간 정보의 각 구간별 신뢰도 점수와, 상기 제2 타입 구간 정보의 각 구간별 신뢰도 점수를 확인하고, 각 구간별로 상기 제2 타입 구간 정보의 신뢰도 점수가 상기 제1 타입 구간 정보의 신뢰도 점수보다 높은 경우, 해당 구간의 제1 타입 구간 정보를 제2 타입 구간 정보로 갱신하여, 갱신된 타입 구간정보를 생성하도록 설정된 것을 특징으로 하는 서비스 장치.
2. ◈청구항 2은(는) 설정등록료 납부시 포기되었습니다.◈

   제1항에 있어서,
   상기 프로세서는
   상기 제2 타입 구간 정보의 각 구간별 신뢰도 점수를 이용하여 상기 제1 타입 구간 정보의 각 구간들의 크기를 조정하도록 설정된 것을 특징으로 하는 서비스 장치.
3. ◈청구항 3은(는) 설정등록료 납부시 포기되었습니다.◈

   제2항에 있어서,
   상기 프로세서는
   상기 제2 타입 구간 정보의 각 구간별 신뢰도 점수를 이용하여, 상기 구간들의 크기가 조정된 제1 타입 구간 갱신 정보에서 각 구간들의 크기를 재조정하되, 상기 구간들의 크기 조정이 없는 시점까지 상기 재조정을 반복 수행하도록 설정된 것을 특징으로 하는 서비스 장치.
4. ◈청구항 4은(는) 설정등록료 납부시 포기되었습니다.◈

   제2항에 있어서,
   상기 프로세서는
   상기 제2 타입 구간 정보의 각 구간별 신뢰도 점수를 이용하여, 상기 구간들의 크기가 조정된 제1 타입 구간 갱신 정보에서 각 구간들의 크기를 지정된 횟수만큼 반복하여 재조정하도록 설정된 것을 특징으로 하는 서비스 장치.
5. 삭제
6. ◈청구항 6은(는) 설정등록료 납부시 포기되었습니다.◈

   제1항에 있어서,
   상기 제1 타입 구간 분석 방식은
   상기 미디어 컨텐츠의 영상 데이터들에 대하여 씬 구간을 분석하는 방식을 포함하고,
   상기 제1 타입 구간 정보는 상기 미디어 컨텐츠의 씬 구간 구분 정보를 포함하는 것을 특징으로 하는 서비스 장치.
7. ◈청구항 7은(는) 설정등록료 납부시 포기되었습니다.◈

   제1항에 있어서,
   상기 제2 타입 구간 분석 방식은
   상기 미디어 컨텐츠의 음원 데이터들에 대하여 음원 구간을 분석하는 방식을 포함하고,
   상기 제2 타입 구간 정보는 상기 미디어 컨텐츠의 음원 구간 구분 정보를 포함하는 것을 특징으로 하는 서비스 장치.
8. ◈청구항 8은(는) 설정등록료 납부시 포기되었습니다.◈

   제1항에 있어서,
   상기 프로세서는
   상기 갱신된 타입 구간 정보를 기반으로 컨텐츠 내용 요약 정보 제공, 유사 컨텐츠 추천 정보 제공, 컨텐츠 내용 기반의 가상 광고 정보 제공, 컨텐츠 구간 검색 정보 제공, 등장 인물 정보 제공, 인트로/엔딩 구간 스킵 기능 제공, 배경 음악 정보 제공, 하이라이트 및 메인 음원 구간을 기반으로 한 트레일러 영상 또는 썸네일 이미지 제공 기능 중 적어도 하나를 수행하도록 설정된 것을 특징으로 하는 서비스 장치.
9. 서비스 장치가,
   메모리에 저장된 미디어 컨텐츠에 대하여 지정된 제1 타입 구간 분석 방식으로 상기 미디어 컨텐츠에 대한 제1 타입 구간 정보를 수집하는 단계;
   지정된 제2 타입 구간 분석 방식으로 상기 미디어 컨텐츠에 대한 제2 타입 구간 정보를 수집하는 단계;
   상기 제1 타입 구간 정보의 각 구간별 신뢰도 점수와, 상기 제2 타입 구간 정보의 각 구간별 신뢰도 점수를 확인하고, 각 구간별로 상기 제2 타입 구간 정보의 신뢰도 점수가 상기 제1 타입 구간 정보의 신뢰도 점수보다 높은 경우, 해당 구간의 제1 타입 구간 정보를 제2 타입 구간 정보로 갱신하여, 갱신된 타입 구간 정보를 생성하는 단계;
   상기 갱신된 타입 구간 정보를 상기 메모리에 저장하는 단계;를 포함하는 것을 특징으로 하는 미디어 컨텐츠 구간 분석 방법.
10. 제9항에 있어서,
    상기 갱신된 타입 구간 정보를 생성하는 단계는
    상기 제2 타입 구간 정보의 각 구간별 신뢰도 점수를 이용하여 상기 제1 타입 구간 정보의 각 구간들의 크기를 조정하거나,
    상기 제1 타입 구간 정보의 각 구간별 신뢰도 점수를 이용하여 상기 제2 타입 구간 정보의 각 구간들의 크기를 조정하는 단계;를 포함하는 것을 특징으로 하는 미디어 컨텐츠 구간 분석 방법.
11. 프로세서에 의해 실행된 적어도 하나의 명령어를 저장하는 컴퓨터 기록 매체에 있어서,
    상기 적어도 하나의 명령어는
    서비스 장치가,
    메모리에 저장된 미디어 컨텐츠에 대하여 지정된 제1 타입 구간 분석 방식으로 상기 미디어 컨텐츠에 대한 제1 타입 구간 정보를 수집하는 동작;
    지정된 제2 타입 구간 분석 방식으로 상기 미디어 컨텐츠에 대한 제2 타입 구간 정보를 수집하는 동작;
    상기 제1 타입 구간 정보의 각 구간별 신뢰도 점수와, 상기 제2 타입 구간 정보의 각 구간별 신뢰도 점수를 확인하고, 각 구간별로 상기 제2 타입 구간 정보의 신뢰도 점수가 상기 제1 타입 구간 정보의 신뢰도 점수보다 높은 경우, 해당 구간의 제1 타입 구간 정보를 제2 타입 구간 정보로 갱신하여, 갱신된 타입 구간 정보를 생성하는 동작;
    상기 갱신된 타입 구간 정보를 상기 메모리에 저장하는 동작을 수행하도록 설정된 것을 특징으로 하는 컴퓨터 기록 매체.

Images