KR20140141408A - 영상 및 자막 정보를 이용한 스토리 북 제작 방법 - Google Patents

Abstract

영상의 시각 정보를 이용하여 영상의 콘텐츠 정보 및 영상을 합성하는 방법이 제공된다. 영상의 시각 정보에 대응하는, 예컨대, 자막 정보와 같은, 영상의 콘텐츠 정보가 영상의 시각 정보에 대응하는 영상의 장면과 합성됨으로써 합성 영상이 생성될 수 있다. 실시예의 영상 및 영상의 콘텐츠 정보를 합성하는 방법이 수행됨으로써 영상의 내용에 대한 슬라이드 및 스토리 북이 용이하게 생성될 수 있다.

Description

영상 및 자막 정보를 이용한 스토리 북 제작 방법{METHOD OF CREATING STORY BOOK USING VIDEO AND SUBTITLE INFORMATION}

아래의 설명은 영상 및 영상의 콘텐츠 정보를 합성하는 방법에 관한 것으로, 특히 영상의 시각(time) 정보를 이용하여 영상 및 영상의 콘텐츠 정보를 합성하는 방법에 관한 것이다.

영상으로부터 자막을 추출하기 위한 다양한 방법들이 제안되고 있다. 일반적으로 영상의 자막은 영상 처리의 방법을 통해 영상으로부터 추출된다. 예컨대 영상의 파일과 같은, 영상의 데이터가 처리됨에 따라서 영상의 데이터 중 자막을 구성할 수 있는 부분이 분류 및 추출될 수 있다. 영상의 데이터로부터 자막을 추출하기 위해서는, 영상이 재생되는 시점 마다 해당 시점에 대응하는 영상의 장면에 대한 정보가 획득되어야 한다.

한편, 영상의 자막을 비롯한 영상과 관련된 콘텐츠 정보는, 영상으로부터 추출되지 않는 별개의 데이터로서 존재할 수 있다. 예컨대, 콘텐츠 정보는 영상의 내용에 기반하여 영상과는 별개로 제작될 수도 있다. 영상과 관련된 콘텐츠 정보가 영상과 함께 제공됨으로써 영상의 활용도 및 영상에 대한 시청자의 이해도가 향상될 수 있다.

따라서, 영상과 관련된 콘텐츠 정보를 영상과 함께 활용하기 위한 다양한 방법들이 제안되고 있다. 그러나 단순히 영상의 자막이 제공되는 정도가 아닌, 영상 및 영상과 관련된 콘텐츠 정보가 효율적으로 활용될 수 있도록 하는 방법은 아직 존재하지 않는다.

한국공개특허 제2012-0007673호 (공개일 2012년 01월 26일)에는 미디어 콘텐츠의 목록을 사용자 단말로 제공하여 디스플레이시키되, 미디어 콘텐츠는 적어도 하나의 미디어 섹션을 갖고, 미디어 섹션은 복수의 구간으로 구분되어 있는 문장과, 문장의 전체에 동기된 통합 동기 정보와, 문장의 각 구간에 동기된 분할 동기 정보를 포함하는 목록 디스플레이 단계; 및 디스플레이된 목록에서, 사용자 단말로부터 선택받은 미디어 콘텐츠의 자막에 포함된 각 문장을 분할 동기 정보에 따라 분할된 복수의 구간별로 구분하여 마킹하면서, 마킹된 구간에 대응하는 음성 및 영상 중 적어도 하나가 사용자 단말에서 재생되도록 미디어 콘텐츠를 사용자 단말로 제공하는 자막 디스플레이 단계를 포함하는 미디어 콘텐츠 제공 방법을 개시한다.

상기에서 설명된 정보는 단지 이해를 돕기 위한 것이며, 종래 기술의 일부를 형성하지 않는 내용을 포함할 수 있으며, 종래 기술이 통상의 기술자에게 제시할 수 있는 것을 포함하지 않을 수 있다.

일 실시예는 영상 및 영상의 콘텐츠 정보를 합성하는 방법을 제공할 수 있다.

일 실시예는 영상의 시각 정보를 이용하여 영상의 콘텐츠 정보가 포함하는 설명 정보 및 영상의 장면을 합성하는 방법을 제공할 수 있다.

일 측면에 있어서, 영상과 관련된 콘텐츠 정보로부터 상기 영상의 시각(time) 정보를 추출하는 단계, 상기 영상으로부터 상기 시각 정보가 나타내는 시점(time point)에 대응하는 상기 영상의 장면(shot)을 식별하는 단계, 상기 콘텐츠 정보 내에서 상기 시점에 대응하는 설명 정보를 식별하는 단계 및 상기 설명 정보를 상기 식별된 장면에 합성함으로써 합성 장면을 생성하는 단계를 포함하고, 상기 설명 정보는 상기 식별된 장면의 내용과 관련된 정보인, 영상 및 콘텐츠 정보의 합성 방법이 제공된다.

상기 영상 및 콘텐츠 정보의 합성 방법은 상기 콘텐츠 정보를 상기 영상으로부터 추출하는 단계를 더 포함할 수 있다.

상기 콘텐츠 정보는 상기 영상의 자막(subtitle), 나레이션(narration) 캡션(caption) 및 스크립트(script) 중 적어도 하나를 포함할 수 있다.

상기 콘텐츠 정보는 상기 영상의 자막을 제공하는 자막 정보를 포함할 수 있다.

상기 시각 정보는 상기 자막 정보에 포함된 자막 싱크(sync) 정보일 수 있다.

상기 설명 정보는 상기 자막 정보에 포함된 텍스트(text) 정보일 수 있다.

상기 시각 정보를 추출하는 단계는 상기 영상이 재생되는 동안 소정의 시간 간격으로 상기 시각 정보를 추출할 수 있다.

상기 영상 및 콘텐츠 정보의 합성 방법은 상기 합성 장면을 출력하는 단계를 더 포함할 수 있다.

상기 영상 및 콘텐츠 정보의 합성 방법은 상기 합성 장면에 기반하여 상기 영상의 슬라이드를 생성하는 단계를 더 포함할 수 있다.

상기 영상 및 콘텐츠 정보의 합성 방법은 하나 이상의 슬라이드들을 이용하여 상기 영상의 스토리 북을 생성하는 단계를 더 포함할 수 있다.

상기 시각 정보를 추출하는 단계, 상기 장면을 식별하는 단계, 상기 설명 정보를 식별하는 단계, 상기 합성 장면을 생성하는 단계, 상기 합성 장면을 출력하는 단계 및 상기 슬라이드를 생성하는 단계는 상기 영상이 재생되는 동안 소정의 시간 간격으로 반복적으로 수행될 수 있다.

상기 하나 이상의 슬라이드들은 상기 슬라이드를 생성하는 단계가 반복적으로 수행됨으로써 생성된 상기 슬라이드를 포함할 수 있다.

상기 영상 및 콘텐츠 정보의 합성 방법은 상기 합성 장면을 상기 영상 내에 저장하는 단계를 더 포함할 수 있다.

상기 영상 및 콘텐츠 정보의 합성 방법은 상기 합성 장면에 기반하여 상기 영상의 슬라이드를 생성하는 단계를 더 포함할 수 있다.

영상의 시각 정보를 이용하여 영상의 콘텐츠 정보가 포함하는 설명 정보 및 영상의 장면을 합성함으로써, 영상의 내용에 대한 슬라이드 및 스토리 북을 생성할 수 있는 영상 및 영상의 콘텐츠 정보를 합성하는 방법이 제공된다. 실시예의 영상 및 영상의 콘텐츠 정보를 합성하는 방법에 의해 영상의 내용에 대한 슬라이드 및 스토리 북이 용이하게 생성될 수 있다. 또한, 실시예의 영상 및 영상의 콘텐츠 정보를 합성하는 방법은 영상 콘텐츠에 기반한 교육 콘텐츠, 각종 서적 및 전자책 등의 제작에 활용될 수 있다.

도 1은 일 실시예에 따른 영상 및 콘텐츠 정보의 합성 장치를 나타낸다.
도 2는 일 실시예에 따른 영상 및 콘텐츠 정보의 합성 방법을 나타내는 흐름도이다.
도 3은 일 예에 따른 합성 장면을 저장하는 방법을 나타내는 흐름도이다.
도 4는 일 예에 따른 콘텐츠 정보를 나타낸다.
도 5는 일 예에 따른 스토리 북을 나타낸다.

이하에서, 첨부된 도면을 참조하여 실시예들을 상세하게 설명한다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.

실시예에는 다양한 변경이 가해질 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 실시예를 실시 형태에 대해 한정하려는 것이 아니며, 실시예는 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

실시예에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 실시예를 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성 요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성 요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 실시예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 실시예의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.

도 1은 일 실시예에 따른 영상 및 콘텐츠 정보의 합성 장치를 나타낸다.

영상 및 콘텐츠 정보의 합성 장치(100)는 정보 추출부(110), 영상 식별부(120), 영상 합성부(130) 및 저장부(140)를 포함할 수 있다. 합성 장치(100)는 영상 및 영상의 콘텐츠 정보를 합성함으로써 합성 영상을 생성하는 장치일 수 있다. 합성 장치(100)는 합성 영상에 기반하여 영상의 슬라이드를 생성할 수 있고 생성된 슬라이드를 이용하여 영상의 스토리 북을 생성할 수 있다.

합성 장치(100)는 컴퓨터 시스템일 수 있다. 합성 장치(100)는 프로세서를 포함할 수 있다. 프로세서는 영상 및 영상의 콘텐츠 정보를 합성하기 위해 요구되는 연산을 처리할 수 있고, 정보를 추출 및/또는 식별할 수 있다. 정보 추출부(110), 영상 식별부(120) 및 영상 합성부(130)는 합성 장치(100)의 프로세서의 일부일 수 있고, 프로세서에 의해 수행되는 모듈(module), 기능(function) 및 유닛(unit) 등일 수 있다. 따라서, 도시된 것과는 달리, 하기에서 도 2 내지 도 3을 참조하여 설명될 정보 추출부(110), 영상 식별부(120) 및 영상 합성부(130)에 의해 수행되는 단계들은 합성 장치(100)의 프로세서에 의해 수행될 수 있다.

영상 및 콘텐츠 정보의 합성에 사용되는 영상은 동영상 콘텐츠 및/또는 음성 콘텐츠를 포함할 수 있다. 영상은 합성 장치(100)와는 상이한 외부의 장치로부터 입력된 영상일 수 있다. 또는, 영상은 저장부(140)에 저장된 영상일 수 있다. 저장부(140)는 합성 장치(100)의 동작에 관련된 정보를 저장할 수 있다. 저장부(140)는 하드 디스크 드라이브(Hard Disk Drive; HDD), 솔리드 스테이트 드라이브(Solid State Drive; SSD), 램(Random Access Memory; RAM) 및 플래시(flash) 등과 같은 정보 저장을 위한 하드웨어 모듈일 수 있다.

콘텐츠 정보는 영상과 관련된 정보일 수 있다. 콘텐츠 정보는 영상이 포함하는 동영상 콘텐츠 및/또는 음성 콘텐츠와 관련된 정보를 포함할 수 있다.

콘텐츠 정보에 대해서는 후술될 도 2를 참조하여 더 자세하게 설명된다.

정보 추출부(110)는 영상 및/또는 콘텐츠 정보로부터 정보를 추출 및/또는 식별 하는 장치일 수 있다. 콘텐츠 정보로부터 추출 또는 식별된 정보는 영상 합성부(130)에 의해 합성 영상의 생성을 위해 사용될 수 있다.

영상 식별부(120)는 영상으로부터 소정의 장면(shot)을 식별하는 장치일 수 있다. 식별된 소정의 장면은 정보 추출부(110)에 의해 콘텐츠 정보로부터 추출된 정보에 대응하는 영상의 소정의 장면일 수 있다. 영상으로부터의 소정의 장면을 식별하는 것은 영상으로부터의 소정의 장면을 추출하는 것을 의미할 수 있다. 또한, 상기의 식별은 상기의 추출을 포함할 수 있다. 영상 합성부(130)는 식별된 소정의 장면을 합성 영상의 생성을 위해 사용할 수 있다.

영상 합성부(130)는 정보 추출부(110)에 의해 추출된 정보 및 영상 식별부(120)에 의해 식별된 영상의 소정의 장면을 합성함으로써 합성 영상을 생성할 수 있다.

정보 추출부(110), 영상 식별부(120) 및 영상 합성부(130)의 동작과 영상 및 콘텐츠 정보의 합성 방법에 대해서는 후술될 도 2를 참조하여 더 자세하게 설명된다.

도 2는 일 실시예에 따른 영상 및 콘텐츠 정보의 합성 방법을 나타내는 흐름도이다.

도 1을 참조하여 전술된 영상의 콘텐츠 정보는 예컨대, 영상의 자막(subtitle), 나레이션(narration), 캡션(caption) 및 스크립트(script) 중 적어도 하나를 포함할 수 있다.

또한, 콘텐츠 정보는 영상과 관련된 아이콘(icon), 도형, 상표, 링크(link), 상품 명, 회사, 캐릭터 정보 및 출연자 정보 등을 포함할 수 있다.

콘텐츠 정보가 포함하는 자막은 영상이 포함하는 음성 콘텐츠의 내용에 대응할 수 있다. 콘텐츠 정보가 포함하는 나레이션, 캡션 및/또는 스크립트는 영상이 포함하는 동영상 콘텐츠 및/또는 음성 콘텐츠의 내용에 대한 설명 또는 해설과 관련된 정보일 수 있다.

단계(210)에서, 정보 추출부(110)는 영상의 콘텐츠 정보를 영상으로부터 추출할 수 있다. 예컨대, 콘텐츠 정보는 영상의 음성 콘텐츠로부터 추출된 영상의 자막 정보일 수 있다. 콘텐츠 정보가 추출되는 영상은 저장부(140)에 저장된 영상일 수 있다. 콘텐츠 정보는 저장부(140)에 파일로서 저장될 수 있다.

또는, 콘텐츠 정보는 영상의 콘텐츠의 내용에 기반하여, 영상과는 별개로서 생성된 영상과 관련된 정보일 수 있다.

추출 또는 생성된 콘텐츠 정보는 저장부(140)에 저장될 수 있다.

콘텐츠 정보는 영상과 관련된 시각(time) 정보를 포함할 수 있다.

단계(220)에서, 정보 추출부(110)는 영상과 관련된 콘텐츠 정보로부터 영상의 시각 정보를 추출할 수 있다.

시각 정보는 영상의 재생 시작부터 영상의 재생 종료까지의 재생 시간에 기반한 정보일 수 있다.

시각 정보는 영상의 재생 시작점으로부터 영상의 재생 종료점까지의 재생 시간 구간 내의 소정의 시점(time point)을 나타내는 정보일 수 있다. 예컨대, 영상의 재생 시작부터 재생 종료까지의 재생 시간이 60분인 소정의 영상에 대해, 시각 정보는 1 이상 60 이하의 값일 수 있다. 이 때, 시각 정보의 값이 10 인 경우, 10의 시각 정보는 영상의 재생 시작점으로부터 10분 후 재생될 시점의 영상을 나타낼 수 있다.

정보 추출부(110)는 영상이 재생되는 동안 소정의 시간 간격으로 영상의 콘텐츠 정보로부터 시각 정보를 추출할 수 있다.

소정의 시간 간격은 일정할 수 있다. 예컨대, 소정의 시간 간격은 영상 마다 상이할 수 있으며, 모든 영상들에 대해 동일할 수도 있다.

정보 추출부(110)는 영상의 재생이 종료될 때까지 콘텐츠 정보로부터 시각 정보를 추출할 수 있다. 또는, 정보 추출부(110)는 영상의 재생의 종료와 관계없이, 소정의 시간 동안 콘텐츠 정보로부터 시각 정보를 반복적으로 추출할 수 있다. 정보 추출부(110)는 콘텐츠 정보로부터 시각 정보가 추출되는 소정의 시간 간격 및/또는 콘텐츠 정보로부터 시각 정보가 추출되는 소정의 횟수를 조절할 수 있다. 예컨대, 정보 추출부(110)는, 영상의 재생 시작부터 재생 종료까지의 재생 시간에 기반하여, 콘텐츠 정보로부터 시각 정보가 추출되는 소정의 시간 간격을 시간 단위, 분 단위 및/또는 초 단위 등으로 조절할 수 있다.

단계(230)에서, 영상 식별부(120)는 영상으로부터 콘텐츠 정보의 시각 정보가 나타내는 시점(time point)에 대응하는 영상의 장면(shot)을 식별할 수 있다. 콘텐츠 정보의 시각 정보가 나타내는 시점은 영상의 재생 시작부터 재생 종료까지의 재생 시간 구간 내의 시점에 대응할 수 있다. 말하자면, 영상 식별부(120)는 영상으로부터 콘텐츠 정보의 시각 정보가 나타내는 시점에 대응하는 영상의 재생 시간 구간 내의 시점의 영상의 장면을 식별할 수 있다.

또는, 영상 식별부(120)는 콘텐츠 정보의 시각 정보가 나타내는 시점 및 영상의 재생 시간 구간 내의 시점의 일치 여부를 판단할 수 있고, 두 시점이 일치하는 경우, 상기 시점의 영상의 장면을 식별할 수 있다.

영상 식별부(120)는 콘텐츠 정보의 시각 정보가 나타내는 시점 및 영상의 재생 시간 구간 내의 시점 간의 차가 소정의 임계 값 이하이면 콘텐츠 정보의 시각 정보가 나타내는 시점 및 영상의 재생 시간 구간 내의 시점을 일치하는 것으로 판단할 수 있다.

영상의 장면은 영상의 동영상 콘텐츠의 일부로서, 재생되는 동영상 콘텐츠의 일 순간을 캡처한 화상(image)일 수 있다.

콘텐츠 정보는 영상과 관련된 설명 정보를 포함할 수 있다.

단계(240)에서, 정보 추출부(110)는 영상의 콘텐츠 정보 내에서 콘텐츠 정보의 시각 정보의 시점에 대응하는 설명 정보를 식별할 수 있다. 설명 정보는 정보 추출부(110)에 의해 추출된 시각 정보에 대응할 수 있다. 말하자면, 추출된 각 시각 정보 및 상기의 각 시각 정보에 대응하는 설명 정보는 한 쌍(pair)을 구성할 수 있다.

설명 정보는 영상 식별부(120)에 의해 식별된 장면의 내용과 관련된 정보일 수 있다. 말하자면, 영상 및 콘텐츠 정보의 각 시각 정보에 대응하는 설명 정보는, 영상의 각 시각 정보가 나타내는 시점에 대응하는 영상의 장면의 내용과 관련된 정보일 수 있다. 설명 정보는 텍스트(text) 정보 및/또는 음성 정보를 포함할 수 있다. 설명 정보에 의해, 영상의 각 장면은 설명 정보가 포함하는 텍스트 및/또는 음성 정보에 의해 설명 또는 해설될 수 있다.

도시된 것과 달리 단계들(230 및 240)은 동시에 또는 거의 동시에 수행될 수 있다. 말하자면, 콘텐츠 정보의 시각 정보의 시점에 대응하는 영상의 장면의 식별 및 콘텐츠 정보의 시각 정보에 대응하는 설명 정보의 식별은 각각 영상 식별부(120) 및 정보 추출부(110)에 의해 동시에 또는 거의 동시에 수행될 수 있다.

단계(250)에서, 영상 합성부(130)는 영상의 콘텐츠 정보의 설명 정보를 영상 식별부(120)에 의해 식별된 장면에 합성함으로써 합성 장면을 생성할 수 있다. 영상 합성부(130)는 콘텐츠 정보의 시각 정보에 대응하는 설명 정보 및 시각 정보가 나타내는 시점에 대응하는 영상의 장면을 합성함으로써 합성 장면을 생성할 수 있다. 생성된 합성 장면은, 예컨대, 영상의 장면에 상기 장면의 자막 및/또는 캡션이 결합된 장면 또는 화상일 수 있다.

단계(260)에서, 합성 장치(100)는 영상 합성부(130)에 의해 생성된 합성 장면을 출력할 수 있다. 합성 장치(100)는 생성된 합성 장면을 디스플레이 장치에 출력할 수 있다. 합성 장면이 출력되는 디스플레이 장치는 합성 장치(100)와는 물리적으로 분리된 외부 장치일 수 있다. 또는, 합성 장치(100)는 생성된 합성 장면을 파일로서 저장부(140)에 저장할 수 있고, 저장부(140)에 저장된 합성 장면의 파일을 무선 네트워크 또는 케이블을 통해 외부 장치에 전송할 수 있다.

단계(270)에서, 영상 합성부(130) 합성 장면에 기반하여 영상의 슬라이드를 생성할 수 있다. 영상의 슬라이드는 영상의 장면에 상기 장면의 자막 및/또는 캡션이 결합된 화상일 수 있다. 저장부(140)는 생성된 슬라이드를 파일로서 저장할 수 있다. 생성된 슬라이드는 소정의 소프트웨어에 의해 독출 및/또는 편집될 수 있다. 슬라이드를 독출 및/또는 편집할 수 있는 소정의 소프트웨어는 프리젠테이션에 사용되는 문서를 작성하기 위한 소프트웨어일 수 있다.

단계들(220 내지 270)은 영상이 재생되는 동안 소정의 시간 간격으로 반복적으로 수행될 수 있다.

단계들(220 내지 270)이 반복되는 횟수는 단계(220)에서 시각 정보가 영상의 콘텐츠 정보로부터 추출되는 소정의 횟수에 기반하여 결정될 수 있다.

단계들(250 및 270)이 한 번 이상 반복적으로 수행됨으로써 하나 이상의 합성 영상들 및 하나 이상의 슬라이드들이 생성될 수 있다. 생성된 하나 이상의 슬라이드들은 단계(270)가 반복적으로 수행됨에 따라, 수행의 각 반복에서 생성된 슬라이드를 포함할 수 있다.

단계(280)에서, 합성 장치(100)는 생성된 하나 이상의 슬라이드들을 이용하여 영상의 스토리 북을 생성할 수 있다.

합성 장치(100)는 하나 이상의 슬라이드들의 생성 순서 및/또는 하나 이상의 슬라이드들의 각각에 대응하는 콘텐츠 정보의 시각 정보에 기반하여 하나 이상의 슬라이드들을 나열함으로써 스토리 북을 생성할 수 있다. 스토리 북은 전자책, 프리젠테이션, 웹 페이지 또는 인쇄물의 형태일 수 있다.

스토리 북에 대해서는 후술될 도 5를 참조하여 더 자세하게 설명된다.

앞서 도 1을 참조하여 설명된 기술적 내용들이 그대로 적용될 수 있으므로, 보다 상세한 설명은 이하 생략하기로 한다.

도 3은 일 예에 따른 합성 장면을 저장하는 방법을 나타내는 흐름도이다.

단계(310)에서, 합성 장치(100)는 도 2를 참조하여 전술된 단계(250)에 의해 생성된 합성 장면을 영상 내에 저장할 수 있다. 단계(310)에 의해, 합성 장면에 대응하는 합성 전의 영상의 장면은 생성된 합성 장면으로 대체될 수 있다. 말하자면, 저장부(140)에 저장된 원본 영상은 생성된 합성 장면이 포함된 영상으로 대체될 수 있다.

도 2를 참조하여 전술된 것처럼, 단계들(220, 230, 240. 250, 310 및 270)은 영상이 재생되는 동안 소정의 시간 간격으로 반복적으로 수행될 수 있다. 단계(310)이 반복적으로 실행됨으로써, 영상의 장면들은 대응하는 합성 장면들로 각각 대체될 수 있다. 예컨대, 영상의 장면들은 대응하는 자막이 포함된 합성 장면들로 각각 대체될 수 있다.

단계(270)에서, 영상 합성부(130) 는 영상 내에 저장된 합성 장면에 기반하여 영상의 슬라이드를 생성할 수 있다.

또한, 영상 합성부(130)는 합성 장면들로 대체된 영상을 저장부(140)에 저장할 수 있다.

앞서 도 1 및 도 2를 참조하여 설명된 기술적 내용들이 그대로 적용될 수 있으므로, 보다 상세한 설명은 이하 생략하기로 한다.

도 4는 일 예에 따른 콘텐츠 정보를 나타낸다.

도 1 및 도 2를 참조하여 전술된 콘텐츠 정보는 영상의 자막을 제공할 수 있는 자막 정보(400)를 포함할 수 있다. 예컨대, 자막 정보(400)가 포함하는 영상의 자막은 텍스트(text) 자막 또는 음성(voice) 자막일 수 있다. 자막 정보(400)가 포함하는 영상의 자막은 정보 추출부(110)에 의해 영상으로부터 추출된 영상의 자막일 수 있다.

도 4에는 콘텐츠 정보의 일 예로서 자막 정보(400)가 도시되었다.

도 2를 참조하여 전술된 영상의 콘텐츠 정보의 시각 정보는 자막 정보(400)에 포함된 자막 싱크(sync) 정보(410)일 수 있다.

영상의 콘텐츠 정보의 설명 정보는 영상의 자막 정보(400)에 포함된 텍스트 정보(420)일 수 있다.

텍스트 정보(420)는 자막 싱크 정보(410)에 대응할 수 있다. 말하자면, 텍스트 정보(420) 및 자막 싱크 정보(410)는 한 쌍일 수 있다.

자막 싱크 정보(410)는 영상에서 텍스트 정보(420)가 출력되는 시점을 나타낼 수 있다. 자막 싱크 정보(410)는 영상이 재생되는 경우 영상과 동기화되는 정보일 수 있다. 텍스트 정보(420)는 문자 및/또는 숫자를 포함할 수 있다. 텍스트 정보(420)는 자막 싱크 정보(410)가 나타내는 시점에 대응하는 영상의 장면에 대한 설명, 해설 및/또는 상기 장면에 등장하는 인물의 대화 내용과 관련된 정보를 포함할 수 있다.

예컨대, 자막 싱크 정보(410)가 포함하는 코드 "<Sync Start=17448>"의 "17448"은 자막 싱크 정보(410)가 나타내는 시점일 수 있다. 말하자면, "<Sync Start=17448>"는 "17448"의 시점에 대응하는 영상의 장면에서 텍스트 정보(420)가 출력됨을 의미할 수 있다. "17448"가 나타내는 시간의 단위는 밀리 초일 수 있다. 말하자면, 영상의 재생 시작점으로부터 17448 밀리 초만큼 경과한 시점에 대응하는 영상의 장면 상에 텍스트 정보(420) "ABCDE"가 출력될 수 있다.

영상 합성부(130)는 자막 정보(400)의 자막 싱크 정보(410)에 대응하는 텍스트 정보(420) 및 자막 싱크 정보(410)가 나타내는 시점에 대응하는 영상의 장면을 합성함으로써 합성 장면을 생성할 수 있다.

앞서 도 1 및 도 3을 참조하여 설명된 기술적 내용들이 그대로 적용될 수 있으므로, 보다 상세한 설명은 이하 생략하기로 한다.

도 5는 일 예에 따른 스토리 북을 나타낸다.

도 5에는 도 2를 참조하여 전술된 스토리 북(510)의 하나의 페이지가 도시되었다. 스토리 북(510)은 생성된 슬라이드들(또는, 합성 영상들)의 개수에 따라 하나 이상의 페이지들을 포함할 수 있다.

도 5pd서, 스토리 북(510)은 한 페이지에 6개의 슬라이드들(또는, 합성 영상들)을 포함하는 것으로 도시되었으나, 도시된 것과는 달리 실시예의 스토리 북(510)은 한 페이지에 하나 이상의 슬라이드들을 포함할 수 있다. 예컨대, 스토리 북(510)의 한 페이지는 서로 상이한 크기들을 갖는 하나 이상의 슬라이드들을 포함할 수 있다.

스토리 북(510)이 포함하는 각 슬라이드(520)는 영상의 장면(530) 및 설명 정보(540)를 포함할 수 있다.

도 5의 슬라이드들 1 내지 4의 각각의 설명 정보는 각 슬라이드의 영상의 장면의 자막일 수 있다. 도 5의 슬라이드들 5 및 6의 각각의 설명 정보는 각 슬라이드의 영상의 장면을 설명 또는 해설과 관련된 정보일수 있다.

스토리 북(510)의 각 슬라이드(또는, 합성 영상)(520)는 설명 정보로서 음성 정보를 포함할 수 있다. 예컨대, 스토리 북(510)의 각 슬라이드(520)가 포함하는 음성 정보는 스토리 북(510)의 사용자에 의해 각 슬라이드(520)가 선택될 때 재생될 수 있다. 스토리 북(510)의 사용자는 합성 장치(100)의 사용자 또는 외부 장치의 사용자일 수 있다.

스토리 북(510)의 각 슬라이드(520)가 포함하는 음성 정보는 스토리 북(510)의 각 슬라이드(520)가 포함하는 영상의 장면에 대한 설명 또는 해설과 관련된 정보일수 있다.

도 2 내지 도 4를 참조하여 전술된 영상의 장면은 영상의 시퀀스(sequence)일 수 있다. 영상의 시퀀스는 재생되는 영상의 일 순간을 캡처한 화상이 아닌, 영상의 일부로서 소정의 시간 동안 재생될 수 있는 소정의 분할된 영상(video)일 수 있다. 영상의 콘텐츠 정보의 시각 정보는 소정의 시간 구간을 나타낼 수 있고, 시각 정보가 나타내는 소정의 시간 구간은 소정의 분할된 영상이 재생되는 소정의 재생 시간 구간에 대응할 수 있다. 영상의 콘텐츠 정보의 설명 정보는 소정의 분할된 영상의 재생 시간 구간에 대응하는 설명 정보일 수 있다. 영상 합성부(130)는 설명 정보 및 소정의 분할된 영상이 합성됨으로써 생성되는 합성 영상을 생성할 수 있다.

이 때, 스토리 북(510)의 각 슬라이드(520)는 소정의 분할된 영상(530) 및 설명 정보(540)가 합성된 합성 영상에 기반하여 생성될 수 있다.

스토리 북(510)의 각 슬라이드(520)가 선택됨으로써 각 슬라이드에 대응하는 합성 영상이 재생될 수 있다. 예컨대, 합성 영상은 소정의 분할된 영상에 자막이 결합된 영상일 수 있다.

앞서 도 1 및 도 4를 참조하여 설명된 기술적 내용들이 그대로 적용될 수 있으므로, 보다 상세한 설명은 이하 생략하기로 한다.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

100: 합성 장치
110: 정보 추출부
120: 영상 식별부
130: 영상 합성부
140: 저장부
400: 자막 정보
510: 스토리 북

Claims (9)

1. 영상과 관련된 콘텐츠 정보로부터 상기 영상의 시각(time) 정보를 추출하는 단계;
   상기 영상으로부터 상기 시각 정보가 나타내는 시점(time point)에 대응하는 상기 영상의 장면(shot)을 식별하는 단계;
   상기 콘텐츠 정보 내에서 상기 시점에 대응하는 설명 정보를 식별하는 단계; 및
   상기 설명 정보를 상기 식별된 장면에 합성함으로써 합성 장면을 생성하는 단계
   를 포함하고, 상기 설명 정보는 상기 식별된 장면의 내용과 관련된 정보인, 영상 및 콘텐츠 정보의 합성 방법.
   
2. 제1항에 있어서,
   상기 콘텐츠 정보를 상기 영상으로부터 추출하는 단계
   를 더 포함하는, 영상 및 콘텐츠 정보의 합성 방법.
   
3. 제1항에 있어서,
   상기 콘텐츠 정보는 상기 영상의 자막(subtitle), 나레이션(narration) 캡션(caption) 및 스크립트(script) 중 적어도 하나를 포함하는, 영상 및 콘텐츠 정보의 합성 방법.
   
4. 제1항에 있어서,
   상기 콘텐츠 정보는 상기 영상의 자막을 제공하는 자막 정보를 포함하고,
   상기 시각 정보는 상기 자막 정보에 포함된 자막 싱크(sync) 정보이고,
   상기 설명 정보는 상기 자막 정보에 포함된 텍스트(text) 정보인, 영상 및 콘텐츠 정보의 합성 방법.
   
5. 제1항에 있어서,
   상기 시각 정보를 추출하는 단계는 상기 영상이 재생되는 동안 소정의 시간 간격으로 상기 시각 정보를 추출하는, 영상 및 콘텐츠 정보의 합성 방법.
   
6. 제1항에 있어서,
   상기 합성 장면을 출력하는 단계; 및
   상기 합성 장면에 기반하여 상기 영상의 슬라이드를 생성하는 단계
   를 더 포함하는, 영상 및 콘텐츠 정보의 합성 방법.
   
7. 제6항에 있어서,
   하나 이상의 슬라이드들을 이용하여 상기 영상의 스토리 북을 생성하는 단계
   를 더 포함하고,
   상기 시각 정보를 추출하는 단계, 상기 장면을 식별하는 단계, 상기 설명 정보를 식별하는 단계, 상기 합성 장면을 생성하는 단계, 상기 합성 장면을 출력하는 단계 및 상기 슬라이드를 생성하는 단계는 상기 영상이 재생되는 동안 소정의 시간 간격으로 반복적으로 수행되고,
   상기 하나 이상의 슬라이드들은 상기 슬라이드를 생성하는 단계가 반복적으로 수행됨으로써 생성된 상기 슬라이드를 포함하는, 영상 및 콘텐츠 정보의 합성 방법.
   
8. 제1항에 있어서,
   상기 합성 장면을 상기 영상 내에 저장하는 단계; 및
   상기 합성 장면에 기반하여 상기 영상의 슬라이드를 생성하는 단계
   를 더 포함하는, 영상 및 콘텐츠 정보의 합성 방법.
   
9. 제1항 내지 제8항 중 어느 한 항의 방법을 수행하는 프로그램을 수록한 컴퓨터 판독 가능 기록 매체.

Images