KR101419871B1

KR101419871B1 - 자막 편집 장치 및 자막 편집 방법

Info

Publication number: KR101419871B1
Application number: KR1020130152088A
Authority: KR
Inventors: 정재원; 김경중; 정춘선
Original assignee: 넥스트리밍(주)
Priority date: 2013-12-09
Filing date: 2013-12-09
Publication date: 2014-07-16
Also published as: WO2015088196A1

Abstract

본 발명은 자막 편집 장치, 자막 편집 방법 및 저장매체를 개시한다. 본 발명에 따른 자막 편집 장치는, 동영상 및 자막을 편집할 수 있는 자막 편집 장치로써, 적어도 하나 이상의 동영상 미리보기 화면을 표시하는 동영상 표시 영역과 표시된 미리보기 화면에 대응하는 적어도 하나 이상의 동영상 클립을 표시하는 클립 표시 영역을 디스플레이하는 디스플레이부 및 클립 표시 영역에 표시된 동영상 클립에 대한 사용자 제스처를 감지하면, 감지된 사용자 제스처에 대응하여 동영상 클립에 대한 편집 모드로 진입하도록 제어하는 제어부를 포함하되, 제어부는 편집 모드에서 적어도 하나 이상의 동영상 클립에 대한 사용자 제스처를 감지하면, 감지된 사용자 제스처에 따라 동영상 클립에서 자막을 편집할 수 있다.

Description

자막 편집 장치 및 자막 편집 방법{APPARATUS AND METHOD FOR EDITING SUBTITLES}

본 발명은 자막 편집 장치 및 자막 편집 방법에 관한 것으로, 보다 상세하게는 동영상 클립 상에서 직관적으로 자막 입력, 자막 삭제, 자막 복사, 자막 이동, 자막 저장 등의 자막 편집을 수행할 수 있는 자막 편집 장치 및 자막 편집 방법에 관한 것이다.

최근 스마트폰이나 태블릿과 같은 휴대 단말이 널리 보급되고, 이러한 휴대 단말의 성능 향상과 무선 통신 기술의 발달로 인하여 사용자는 휴대 단말을 이용하여 동영상을 촬영하고, 편집하며, 공유할 수 있게 되었다.

하지만, 휴대 단말은 액정 화면 크기 및 하드웨어의 퍼포먼스의 제약으로 인하여, 사용자가 일반 PC 환경에서처럼 원활하게 동영상을 편집할 수 없다. 이러한 불편함을 개선하기 위해서 휴대 단말에서 사용할 수 있는 동영상 편집 방법에 대한 사용자의 요구가 증대되고 있다.

휴대 단말에서도 사용자가 직관적으로 사용할 수 있는 동영상 편집 방법에 대한 요구가 증대되면서, 휴대 단말에서 동영상 편집과 함께 자막 편집을 하는 방법에 대한 필요성도 요구된다.

종래의 자막 편집 방법은 동영상을 재생시켜 타임 라인을 획득하고, 타인 라인에 따라 스프레드 시트 방식으로 자막 텍스트를 편집하여 저장하는 방식이었다. 이렇게 타임 라인을 이용하는 자막 편집 방법은 액정 화면 크기의 제약이 있는 스마트 폰에서 사용자가 자막 편집을 손쉽게 할 수 없다는 불편한 문제점이 있다.

따라서, 동영상 클립 단위로 동영상을 편집하는 방법에 더불어 동영상 클립 단위로 자막을 편집할 수 있는 사용자 직관적인 자막 편집 장치 및 자막 편집 방법에 관한 필요성이 요청된다.

본 발명의 일 실시 예에 따른 동영상 및 자막을 편집할 수 있는 자막 편집 장치는, 적어도 하나 이상의 동영상 미리보기 화면을 표시하는 동영상 표시 영역과 상기 표시된 미리보기 화면에 대응하는 적어도 하나 이상의 동영상 클립을 표시하는 클립 표시 영역을 디스플레이하는 디스플레이부 및 상기 클립 표시 영역에 표시된 동영상 클립에 대한 사용자 제스처를 감지하면, 상기 감지된 사용자 제스처에 대응하여 상기 동영상 클립에 대한 편집 모드로 진입하도록 제어하는 제어부를 포함하되, 상기 제어부는, 상기 편집 모드에서 상기 적어도 하나 이상의 동영상 클립에 대한 사용자 제스처를 감지하면, 상기 감지된 제스처에 따라 동영상 클립에서 자막 클립을 편집할 수 있다.

이 경우에, 상기 제어부는, 상기 동영상 클립에서 시작 시간 및 재생 시간 정보를 추출하고, 상기 추출된 시작 시간 및 재생 시간 정보를 상기 동영상 클립에 입력된 자막 클립에 반영하며, 상기 시작 시간 및 재생 시간 정보에 기초하여 상기 자막 클립을 자막 파일로 변환할 수 있다.

한편, 상기 제어부는, 상기 사용자 제스처로 자막 입력 제스처를 감지하면 자막 입력을 위한 입력창을 표시하고, 상기 입력창을 통해서 입력된 자막에 기초하여 자막 클립을 생성하여 상기 동영상 클립 상에 표시하도록 제어할 수 있다.

한편, 상기 제어부는, 상기 사용자 제스처로 자막 삭제 제스처를 감지하면 상기 동영상 클립 상에 입력된 자막 클립을 삭제하도록 제어할 수 있다.

한편, 상기 제어부는, 상기 사용자 제스처로 자막 이동 제스처를 감지하면 원본 동영상 클립 상에 표시된 자막 클립을 대상 동영상 클립 상으로 이동하도록 제어할 수 있다.

한편, 상기 제어부는, 상기 사용자 제스처로 자막 복사 제스처를 감지하면 원본 동영상 클립 상에 표시된 자막 클립을 복사하고, 복사된 자막 클립을 대상 동영상 클립 상에 복사하도록 제어할 수 있다.

본 발명의 다른 실시 예에 따른 자막 편집 방법은, 디스플레이부에 표시되는 동영상 및 자막을 편집할 수 있는 자막 편집 장치를 이용한 자막 편집 방법으로, 상기 디스플레이부에 적어도 하나 이상의 동영상 미리보기 화면을 표시하는 동영상 표시 영역과 상기 표시된 미리보기 화면에 대응하는 적어도 하나 이상의 동영상 클립을 표시하는 클립 표시 영역을 디스플레이하는 단계, 상기 클립 표시 영역에 표시된 동영상 클립에 대한 사용자 제스처를 감지하는 단계, 상기 감지된 사용자 제스처에 대응하여 상기 동영상 클립에 대한 편집 모드로 진입하는 단계 및 상기 편집 모드에서 상기 적어도 하나 이상의 동영상 클립에 대한 사용자 제스처를 감지하면, 상기 감지된 제스처에 따라 동영상 클립에서 자막을 편집하는 단계를 포함한다.

도 1은 디스플레이부를 구비한 사용자 단말을 나타내는 도면,
도 2는 사용자 단말의 구성을 나타내는 블럭도,
도 3은 사용자 단말의 시스템 계층 구조를 나타내는 도면,
도 4는 사용자 단말에서 프레임 버퍼를 이용하여 디스플레이부의 동작을 제어하는 구성을 나타내는 블럭도,
도 5a 내지 5g는 본 발명의 일 실시 예에 따른 동영상 클립에 자막을 입력하는 과정을 나타내는 도면,
도 6a 내지 6e는 본 발명의 일 실시 예에 따른 동영상 클립에 입력된 자막을 편집하는 과정을 나타내는 도면,
도 7a 내지 7d는 본 발명의 일 실시 예에 따른 동영상 클립에 입력된 자막을 삭제하는 과정을 나타내는 도면,
도 8a 내지 8d는 본 발명의 일 실시 예에 따른 동영상 클립에 입력된 자막을 다른 동영상 클립으로 이동하는 과정을 나타내는 도면,
도 9a 내지 9d는 본 발명의 일 실시 예에 따른 동영상 클립과 입력된 자막을 동기화하는 과정을 나타내는 도면,
도 10a 내지 10j는 본 발명의 일 실시 예에 따른 복수의 입력 자막을 편집하는 과정을 나타내는 도면, 그리고,
도 11a 내지 11e는 본 발명의 일 실시 예에 따른 자막을 포함하는 동영상을 클립화하는 과정을 나타내는 도면이다.

이하에서는 첨부된 도면을 참고하여 본 발명의 다양한 실시 예를 구체적으로 설명한다. 그러나, 본 발명이 실시 예들에 의해 제한되거나 한정되는 것은 아니다.

본 발명의 다양한 실시 예는 스마트폰, 태블릿 등과 같은 디스플레이부를 구비한 사용자 단말에서 구현될 수 있으며, 본 발명의 일 실시 예에 따른 자막 편집 장치는 자막 편집 어플리케이션을 구비한 사용자 단말에 의해서 구현될 수 있다. 또는 동영상 및 자막 데이터를 처리할 수 있는 이미지 처리부 및 제어부를 구비한 사용자 단말에 의해서 구현될 수도 있다. 이러한 사용자 단말은 휴대 가능한 전자 장치를 의미한다.

도 1은 디스플레이부를 구비한 사용자 단말을 나타내는 도면이다.

도 1을 참고하면 사용자 단말(100)은 디스플레이부(110)를 구비할 수 있다. 디스플레이부(110)는 각종의 아이콘, 컨텐츠, 브라우저, 어플리케이션, 프로그램 등을 표시할 수 있다. 또한, 디스플레이부(110)는 사용자의 제스처를 감지할 수 있는 터치 패널을 포함할 수 있다. 이러한 디스플레이부(110)에서 동영상 및 자막을 처리하는 과정에 대해서는 별도의 도면을 참고하여 설명한다.

이하 본 발명의 다양한 실시 예는 디스플레이부(110)에 표시되는 자막 처리 과정을 예시적으로 설명한다. 이하에서 설명되는 디스플레이부(110)에 표시되는 자막 처리 과정의 레이아웃은 설명의 편의를 위한 것일 뿐이고 이러한 레이아웃으로 인하여 본 발명의 기술적 사상이 한정되거나 제한되는 것은 아니다.

사용자 단말(100)에서 동영상 및 자막을 편집하는 방법에 대해 설명하기에 앞서, 사용자 단말(100)의 하드웨어 구성에 대해서 간략하게 살펴보고, 사용자 단말(100) 상에서 구동되는 자막 처리 과정을 도면과 함께 설명한다.

도 2를 참고하면, 사용자 단말(100)의 하드웨어 구성을 설명하기 위한 블럭도이다. 사용자 단말(100)은 디스플레이부(110), 저장부(120), 제어부(130), 센서부(140), 통신부(150), 카메라부(160), 동영상 편집부(170), 전원부(180) 및 이들을 상호 연결하는 데이터 버스(190)를 포함할 수 있다.

디스플레이부(110)는 제어부(130)의 제어하에서 실행가능한 다양한 어플리케이션(예, 동영상 편집 프로그램, 웹브라우저, 문서 편집 프로그램, 검색 프로그램, 검색 엔진, 데이터 전송 등)을 표시하고 그에 적응되게 구성된 사용자 인터페이스를 제공하는 디스플레이 장치이다.

디스플레이부(110)는 터치 스크린으로 구현될 수 있고, 사용자의 신체(예, 엄지를 포함하는 손가락) 또는 감지 가능한 입력 수단(예, 스타일러스 펜)을 통해 적어도 하나의 터치 제스처를 입력받을 수 있다.

디스플레이부(110)는 터치 센서를 통해서 감지된 사용자 제스처에 관한 감지 신호를 디지털 신호(예, X와 Y좌표)로 변환하여 제어부(130)로 전송한다. 제어부(130)는 수신된 디지털 신호를 이용하여 디스플레이부(110)를 통해서 입력된 사용자 동작에 대응하는 제어 동작을 수행할 수 있다. 예를 들어, 제어부(130)는 사용자 동작에 응답하여 디스플레이부(110)에 표시된 소정의 키패드가 선택되게 하거나 또는 소프트 키에 대응하는 어플리케이션을 실행할 수 있다.

디스플레이부(110)는 동영상 미리보기 화면을 표시하는 동영상 표시 영역, 복수의 동영상을 검색하고 현재 동영상 미리보기의 위치를 표시할 수 있는 마커 영역 및 동영상 미리보기 화면에 표시되는 동영상과 대응하는 동영상 클립을 표시하는 클립 표시 영역으로 구분되는 화면을 디스플레이할 수 있다.

디스플레이부(110)는 동영상 표시 영역(111), 마커 영역(113) 및 클립 표시 영역(115)에 대한 사용자 제스처 입력을 감지하고, 감지된 사용자 제스처를 제어부(130)로 전달 할 수 있다.

저장부(120)는 동영상 편집 프로그램 등과 같은 다양한 어플리케이션에 관한 데이터를 저장할 수 있다. 그리고, 저장부(120)는 동영상 편집 프로그램의 편집 대상인 각종의 동영상 파일 및 자막 파일 등을 저장할 수 있다. 또한, 저장부(120)는 이하에서 설명하는 동영상 클립과 자막 클립 사이의 동기화 정보를 저장할 수 있다. 이하 "저장부"라는 용어는 저장부(120), 롬(ROM), 램(RAM) 또는 사용자 단말(100)에 탈착/장착 가능한 메모리 카드(예, SD 카드, 메모리 스틱)를 포함할 수 있다. 또한 저장부(130)는 비휘발성 메모리, 휘발성메모리, 하드 디스크 드라이브(HDD) 또는 솔리드 스테이트 드라이브(SSD)를 포함할 수도 있다.

제어부(130)는 디스플레이부(110)를 통해서 클립 표시 영역에 표시된 동영상 클립에 대한 사용자 제스처를 감지하면, 감지된 사용자 제스처에 대응하여 동영상 클립에 대한 편집 모드로 진입하도록 제어할 수 있다. 이때, 동영상 클립에 대한 편집 모드는, 해당 동영상 클립에 입력된 자막을 편집할 수 있도록 다양한 편집 제스처를 입력할 수 있는 상태를 의미한다.

제어부(130)는 편집 모드에서 적어도 하나 이상의 동영상 클립에 대한 사용자 제스처를 감지하면, 감지된 제스처에 따라 동영상 클립에서 자막을 편집할 수 있다.

제어부(130)는 사용자 제스처가 입력된 동영상 클립에 대한 시간 정보를 추출하고, 추출된 시간 정보를 자막 클립에 시간 정보를 반영함으로써 동영상 클립과 자막 클립을 동기화할 수 있다.

제어부(130)는 클립 표시 영역에 디스플레이된 동영상 클립에서 자막 입력 제스처를 감지하면 자막 입력을 위한 입력창을 표시하도록 디스플레이부(110)를 제어할 수 있다. 제어부(130)는 입력창을 통해서 입력된 자막에 기초하여 자막 클립을 생성하고, 생성된 자막 클립을 해당 동영상 클립 상에 표시하도록 디스플레이부(110)를 제어할 수 있다.

제어부(130)는 클립 표시 영역에 디스플레이된 동영상 클립에서 자막 삭제 제스처를 감지하면 동영상 클립 상에 입력된 자막 클립을 삭제하도록 디스플레이부(110)를 제어할 수 있다.

제어부(130)는 클립 표시 영역에 디스플레이된 동영상 클립에서 자막 이동 제스처를 감지하면 원본 동영상 클립 상에 표시된 자막 클립을 대상 동영상 클립 상으로 이동하도록 제어할 수 있다.

제어부(130)는 클립 표시 영역에 디스플레이된 동영상 클립에서 자막 복사 제스처를 감지하면 원본 동영상 클립 상에 표시된 자막 클립을 복사하고, 복사된 자막 클립을 대상 동영상 클립 상에 붙여넣기 하도록 제어할 수 있다.

앞서 살펴본 바와 같이, 자막 클립을 이동하거나 복사하는 경우, 제어부(130)는 해당 동영상 클립과 자막 클립의 동기화 정보를 수정하고, 수정된 동기화 정보에 기초하여 자막 파일을 생성하도록 제어할 수 있다.

센서부(140)는 터치 센서, 지자기센서, 가속도 센서, 및 근접 센서 등을 포함하도록 구성할 수 있다. 본 발명의 다양한 실시 예를 이해하기 위해서는 터치 센서에 대한 설명 이외에 나머지 센서에 대한 자세한 설명은 생락한다.

터치 센서는 사용자에 의해서 입력된 디스플레이부(110)에 대한 터치를 감지할 수 있는 센서이다. 터치 센서는 사용자의 터치를 감지하는 방식에 따라 정전 방식과 압전 방식으로 나뉠 수 있다. 본 발명의 일 실시 예에 따른 터치 센서는 두 가지 방식으로 각각 구현될 수 있다. 터치 센서는 디스플레이 패널과 함께 디스플레이부(110)에 포함되어 구성될 수 있다.

터치 센서는 손가락과 같은 신체 또는 감지 가능한 입력 수단으로 디스플레이부(110)를 눌러서 디스플레이 화면상에 표시된 각종의 동영상 클립, 자막 클립, 키패드, 아이콘 등을 선택할 수 있는 센서를 의미한다. 터치 센서는 용량변화, 저항변화, 또는 광량변화를 이용한다.

통신부(150)는 무선랜 모듈(미도시), 근거리 통신 모듈(미도시) 및 커넥터(미도시)을 포함할 수 있다.

통신부(150)는 무선랜 모듈과 근거리통신 모듈 중 적어도 하나를 포함할 수 있다. 예를 들어, 무선랜 모듈만 포함하거나, 근거리통신 모듈만 포함하거나 또는 무선랜 모듈과 근거리통신 모듈을 모두 포함할 수 있다.

카메라부(160)는 제어부(130)의 제어에 따라 정지이미지 또는 동영상을 촬영할 수 있다. 경우에 따라, 카메라부(160)의 2개 이상의 복수의 카메라로 구성될 수 있다. 카메라부(160)는 사용자 단말(100)의 하우징에 구비되거나 혹은 별도의 연결 수단을 사용하여 사용자 단말(100)에 연결될 수 있다. 카메라(160)는 촬영에 필요한 광량을 제공하는 보조 광원(예, 플래시(도시되지 아니함))를 포함할 수 있다.

카메라부(160)는 사용자의 움직임 혹은 형상을 감지(detect)하고, 이를 어플리케이션의 실행 혹은 제어를 위한 입력으로써 제어부(130)에게 전달할 수 있다. 일 예로서 사용자의 움직임이란 카메라를 통해 감지되는 사용자의 손의 움직임을 의미한다. 사용자의 형상이란 카메라를 통해 감지되는 사용자의 얼굴, 손 등의 신체 형상을 의미할 수 있다.

동영상 편집부(170)는 동영상 및/또는 자막 파일을 편집할 수 있다. 즉, 동영상 편집부(170)는 편집 대상 동영상에서 시작 프레임 내지 마지막 프레임을 포함하는 적어도 하나의 동영상 클립(Clip)을 생성하고, 생성된 동영상 클립 단위로 클립 복사, 클립 순서 이동, 클립 삭제 등의 다양한 동영상 편집 기능을 수행할 수 있다.

동영상 편집부(170)는 클립을 표시하기 위하여 화면의 일부에 해당 클립 내의 대표 프레임을 썸네일(thumbnail) 영상으로 표시할 수 있다. 즉, 클립 표시 영역(115)에 썸네일 영상으로 동영상 클립이 디스플레이될 수 있다. 그리고 클립 표시 영역(115)에 아이콘 형식으로 표시되는 썸네일 영상을 조작함으로써, 해당 동영상 클립에 대한 조작이 이루어진다. 또한, 클립 표시 영역(115)의 동영상 클립 상에서 자막 클립을 편집하는 사용자 조작이 이루어질 수 있다.

동영상 편집부(170)는 제어부(130)의 제어하에서 각종의 동영상 및 자막 편집을 전용으로 수행하는 독립된 구성으로 설계할 수 있다. 또는 동영상 편집부(170)는 어플리케이션 프로그램으로 온라인 혹은 오프라인을 통해서 공급되어 사용자 단말(100)에 설치되어 제어부(130)의 제어하에서 동영상 편집을 실행하도록 구성될 수 있다.

본 발명의 다양한 실시 예에 따르면 동영상 클립 상에서 입력된 자막 클립에 대한 편집 작업은 제어부(130)에 의해서 직접 처리될 수도 있지만, 동영상 편집부(170)에 의해서 처리될 수도 있다.

전원부(180)는 사용자 단말(100) 내부의 각 구성요소들에게 전원을 공급하기 위한 구성요소이다. 이러한 전원부(180)는 충전가능한 배터리와, 충전가능한 배터리를 충전할 수 있는 전원 어댑터로 구성될 수 있다.

데이터 버스(190)는 제어부(130)의 제어하에 사용자 단말(100) 내부의 각 구성요소들에 데이터 통신이 가능한 경로를 제공하는 구성이다.

도 3은 본 발명의 일 실시 예에 따른 사용자 단말의 시스템 계층 구조를 설명하기 위한 도면이다.

도 3을 참고하면, 운영체제(Operating System: OS, 220)는 하드웨어(210)의 전반적인 동작을 제어하고 하드웨어(210)를 관리하는 기능을 수행한다. 즉, OS(220)는 하드웨어 관리와 메모리, 보안 등의 기본적인 기능을 담당하는 계층이다. OS(220)는 디스플레이부(110)를 구동시키기 위한 디스플레이 드라이버, 데이터 송수신을 위한 통신 드라이버, 카메라를 구동시키기 위한 카메라 드라이버, 오디오부를 구동시키기 위한 오디오 드라이버, 비디오 신호 처리를 하는 이미지 처리 코덱 및, 전원관리자 등의 모듈을 포함한다. 또한, 개발자가 접근할 수 있는 라이브러리와 런타임(runtime)이 포함될 수 있다.

OS (220)보다 상위 계층으로 프레임워크(frame work) 계층(230)이 존재한다. 프레임워크(230)는 어플리케이션 계층(240)과 OS 계층(220)을 연결하는 역할을 수행한다. 즉, 프레임워크 계층(230)은 로케이션 매니저(location manager), 알림 매니저(notification manager) 및 디스플레이부에 영상을 표시하기 위한 프레임 버퍼(frame buffer)를 포함한다.

프레임워크 계층(230) 상부 계층에는 사용자 단말(100)의 다양한 기능을 구현하는 어플리케이션 계층(240)이 위치한다. 예컨대, 통화 어플리케이션(241), 동영상 편집 어플리케이션(242), 카메라 어플리케이션(243), 브라우저 어플리케이션(244) 및 제스처 어플리케이션(245) 등 다양한 응용프로그램이 포함될 수 있다.

사용자 제어 명령이 사용자 단말(100)에 입력되면 어플리케이션 계층(240)부터 하드웨어(210)까지 전달되면서 입력된 제어 명령에 대응하는 특정 어플리케이션이 실행되고, 그 결과가 디스플레이부(110)에 표시될 수 있다.

사용자 단말(100)의 디스플레이부(110)에 화면이 표시되는 것에 대한 보다 상세한 설명은 이하 도 4를 참고하여 설명한다.

도 4는 사용자 단말에서 프레임 버퍼를 이용하여 디스플레이부의 동작을 제어하는 구성을 나타내는 블럭도이다.

도 4를 참고하면, 프레임 버퍼(131)는 디스플레이부(110)에 디스플레이될 이미지 프레임을 버퍼링하기 위한 구성이다. 가령, GPU(미도시)에 의해서 디지털 신호 처리된 이미지 프레임은 프레임버퍼(131)에 비트맵 형태로 저장된다. 이 경우, 프레임 버퍼(131)의 버퍼링 영역은 디스플레이부(110)에서 지원 가능한 최대 픽셀 크기에 맞게 할당된다. 예를 들어 디스플레이부(110)에서 표시할 수 있는 최대 픽셀이 1024X1200일 경우에, 프레임 버퍼(131)는 1024X1200 크기의 비트맵 형식의 이미지가 저장될 수 있도록 버퍼 저장 영역을 할당한다. 디스플레이 드라이버(132)는 프레임 버퍼(131)에 비트맵 형식으로 저장된 이미지 프레임을 분석해서 이미지 소스 신호로 변환한다. 디스플레이 드라이버(132)는 이미지 소스 신호를 디스플레이부(110)로 제공하여, 디스플레이부(110)가 이미지 프레임을 디스플레이하도록 구동시킨다.

앞서 설명한 사용자 단말(100)의 하드웨어 구성은 이하의 설명을 위해 필요한 범위로 설명하였다. 이외에도 사용자 단말(100)은 다양한 업그레이드가 가능하며, 업그레이드에 따라 하드웨어의 구성 및 기능이 종전과 상이하게 구현될 수도 있겠다. 하지만, 이하에서 설명하는 바와 같이, 동영상과 자막을 클립 단위로 편집할 수 있는 본 발명의 기술적 사상을 실현하는 방법이 동일하다면 그러한 경우에 까지 본 발명의 기술적 사상이 미친다고 볼 수 있다.

동영상 클립 단위로 자막 입력 - 제1 실시 예

본 발명에 따른 제1 실시 예는 동영상 클립 단위로 임의의 자막을 입력하는 방법에 관한 것이다. 여기서, 동영상 클립(Clip)은 사용자의 선택에 따라 편집 대상 동영상에서 추출된 일부 구간의 동영상(예컨대, 복수의 프레임)을 의미한다.

이하에서 설명하는 동영상 클립은 사용자에 의해서 기 생성되서 저장부(120)에 저장되어 있거나, 사용자가 동영상으로부터 실시간으로 프레임을 선택하여 생성할 수도 있다. 또는 사용자가 외부 서버로부터 기 생성된 동영상 클립을 다운로드 받을 수도 있다.

도 5a 내지 5g는 본 발명의 제1 실시 예에 따른 동영상 클립 단위로 자막을 입력하는 과정을 나타내는 도면이다.

도 5a를 참고하면, 사용자 단말(100)의 디스플레이부(110)는 적어도 하나 이상의 동영상의 미리보기 화면을 표시하는 동영상 표시 영역(111), 적어도 하나 이상의 동영상의 위치를 표시하는 마커 영역(113) 및 썸네일 형태로 적어도 하나 이상의 동영상 클립을 표시하는 클립 표시 영역(115)을 포함할 수 있다.

예컨대, 도 5a에서는 동영상 표시 영역(111)의 중앙에는 동영상 B에 대한 미리보기 화면이 디스플레이되고 있다. 사용자가 동영상 B 표시 영역을 터치한 상태로 클립 표시 영역(115)으로 드래그(drag)하는 제스처를 실행하면, 클립 표시 영역(115)에는 동영상 B에 대응하는 동영상 클립의 썸네일(도 5a에서는 클립 B로 표시)이 디스플레이될 수 있다. 여기서 클립 표시 영역(115)은 사용자에 의해서 동영상 클립 및 자막 클립을 편집하기 위한 작업 공간이다. 사용자는 클립 표시 영역(115)에 디스플레이되는 동영상 클립이나 자막 클립을 선택하여 편집 등의 작업을 실행할 수 있다.

이러한 방식으로 사용자가 동영상 표시 영역(111)에 표시된 동영상 A, 동영상 B, 동영상 C 및 동영상 D을 클립 표시 영역(115)으로 터치 앤드 드래그(Touch and Drag)하는 제스처를 실행하면, 클립 표시 영역(115)에는 4개의 동영상 클립이 썸네일 방식으로 디스플레이될 수 있다. 도 5a에 도시된 클립 표시 영역(115)에는 4개의 동영상 클립이 디스플레이되고 있지만, 4개 이상의 동영상 클립이 썸네일 방식으로 디스플레이될 수도 있고, 4개보다 적은 동영상 클립이 썸네일 방식으로 디스플레이될 수도 있다.

사용자는 동영상 표시 영역(111)에 표시되고 있는 적어도 하나 이상의 동영상을 터치한 뒤 좌측 또는 우측으로 슬라이딩하는 제스처를 실행함으로써, 적어도 하나 이상의 동영상을 검색할 수 있다.

또는 사용자는 마커 영역(113)에 표시된 삼각형 아이콘을 터치한 뒤 좌우로 슬라이딩하는 제스처를 실행함으로써, 적어도 하나 이상의 동영상을 검색할 수도 있다.

도 5a에서 디스플레이되고 있는 동영상 표시 영역(111), 마커 영역(113) 및 클립 표시 영역(115)은 동영상 클립 단위로 동영상을 처리할 수 있는 작업 공간을 의미한다. 사용자에 의해서 동영상 편집이나 자막 편집이 완료되고 해당 작업이 저장되면, 작업 대상인 동영상 클립 및 자막 클립은 각각 동영상 파일 및 자막 파일로 변환되서 저장부(120)에 저장될 수 있다.

이때, 동영상 파일과 자막 파일은 서로 별개의 파일 형식으로 저장부(120)에 저장될 수도 있다. 또는 동영상 파일 내에 자막 파일이 포함되는 통합 파일 형식으로 저장부(120)에 저장될 수도 있다.

도 5b를 참고하면, 사용자가 클립 표시 영역(115)에 디스플레이된 적어도 하나의 동영상 클립(클립 B) 상에서 롱 프레스 제스처(도 5b에서는 A라고 도시함)를 실행한다. 여기서 롱 프레스 제스처는 기 정의된 시간(예를 들어, 1초 내지 2초 이상)동안 디스플레이부(110)에 사용자의 손가락, 스타일러스펜, 전자펜 등을 접촉시키는 사용자 제스처를 의미한다. 이때, 손가락, 스타일러스펜, 전자펜 등이 디스플레이부(110)에 직접 접촉되는 방식 이외에 간접 접촉하는 방식으로도 구현될 수 있다. 기 정의된 시간은 사용자에 의해서 변경 가능하면, 사용자가 선택적으로 원하는 시간으로 설정할 수 있다.

사용자가 적어도 하나의 동영상 클립(예컨대, 클립 B)에 롱 프레스 제스처를 입력하면, 사용자 단말(100)은 롱 프레스 제스처(A)가 입력되었음을 감지하고, 동영상 클립 편집 모드에 진입한다. 클립 편집 모드에 진입하면, 사용자 단말(100)은 적어도 하나의 동영상 클립(예컨대, 클립 B)의 일 영역에 동영상 클립 편집을 위한 아이콘(X, Y)등을 디스플레이할 수 있다. 여기서, 제1 아이콘(X)은 해당 동영상 클립에 대응하는 신규의 자막 클립을 입력하기 위한 입력 아이콘이고, 제2 아이콘(Y)는 해당 동영상 클립을 삭제하는 삭제 아이콘이다.

여기서, 제1, 2 아이콘(X, Y)은 다양한 종류의 도형, 이미지, 색 또는 이들의 조합으로 구성될 수 있다. 도 5c에서 제1 아이콘(X)은 사각형 박스로 디스플레이되고 있지만, 제1 아이콘(X)은 연필이나 펜 모양의 아이콘으로 구성될 수도 있다. 또한, 제2 아이콘(Y)는 "×"도형 과 "○" 도형을 겹쳐놓은 형태로 디스플레이되고 있지만, 이외에도 다양한 다른 종류의 아이콘으로 구성될 수도 있다.

도 5d에 도시된 바와 같이, 사용자가 제1 아이콘(X)을 실행하기 위해서, 원터치 제스처(도 5d에서 B라고 표시)를 실행한다. 여기서, 원터치 제스처(B)는 롱 프레스 제스처(A)의 터치 시간보다는 짧게 정의된 시간 동안 디스플레이부(110)에 사용자의 손가락, 스타일러스펜, 전자펜 등을 접촉시키는 사용자 제스처를 의미한다. 원터치 제스처도 역시 직접적 또는 간접적으로 디스플레이부(110)를 터치하도록 구현될 수 있다.

사용자가 제1 아이콘(X)에 원터치 제스처를 입력하면, 사용자 단말(100)은 원터치 제스처가 입력되었음을 감지하고, 해당 동영상 클립에 대한 자막 입력 모드로 진입한다. 사용자 단말(100)은 자막 입력 모드에 진입하면 원터치 제스처가 입력된 동영상 클립(예컨대, 클립 B)에 대한 자막 입력을 위한 입력창(117)을 디스플레이한다(도 5e 참고).

도 5e에 도시된 바와 같이, 클립 B에 대한 자막 입력을 위한 입력창(117)은 입력되는 자막이 표시되는 표시창(117-1) 및 자막을 입력하기 위한 문자 등을 타이핑하는 가상 키보드(117-2)를 포함할 수 있다. 입력창(117)은 동영상 디스플레이 영역(111), 마커 영역(113) 및 클립 표시 영역(115)의 일부 또는 전부를 포함하도록 디스플레이부(110)에 디스플레이될 수 있다.

도 5f에 도시된 바와 같이, 사용자가 가상 키보드(117-2)를 이용하여 자막을 입력하면, 입력된 자막은 표시창(117-1)에 디스플레이될 수 있다. 사용자가 자막 입력을 완료하면, 사용자 단말(100)은 기 입력된 자막에 기초하여 자막 클립을 생성한다.

도 5g에 도시된 바와 같이, 사용자 단말(100)은 사용자에 의해서 자막 입력이 종료되었음을 감지하면 입력된 자막(도 5g에서 ST-B로 표시)을 클립 표시 영역(115)의 해당 동영상 클립(클립 B)에 디스플레이한다. 그리고 사용자 단말(100)은 해당 동영상 클립(클립 B)에 대한 시작 시간 및 재생 시간 정보를 추출하고, 추출된 시작 시간 및 재생 시간 정보를 자막 클립(ST-B)에 반영한다. 시작 시간 및 재생 시간 정보를 갖는 자막 클립(ST-B)을 이용하여 자막 파일을 형성하는 것에 대해서는 이하에서 별도로 설명한다.

상술한 바와 같이, 본 발명의 제1 실시 예에 따르면, 사용자가 동영상 클립 단위로 자막을 입력하여 자막 클립을 생성할 수 있으므로, 타임 라인을 이용하여 자막을 입력하는 종전의 방식에 비하여 디스플레이 화면의 크기 제약에도 불구하고 사용자가 직관적으로 자막을 입력할 수 있는 현저한 효과를 발휘한다.

동영상 클립 단위로 입력된 자막 편집 - 제2 실시 예

본 발명의 제2 실시 예에 따르면, 자막이 입력된 동영상 클립에 대해서 사용자가 동영상 클립 단위로 자막을 직관적으로 편집할 수 있는 특징이 있다.

도 6a 내지 6e는 본 발명의 일 실시 예에 따른 동영상 클립에 입력된 자막을 편집하는 과정을 설명하기 위한 도면이다.

도 6a에 도시된 바와 같이, 도 5g에 도시된 복수의 동영상 클립 중 적어도 하나(예컨대, 클립 B)에 대하여 사용자가 롱 프세스 제스처(도 6a에서 A 영역으로 표시)를 입력하는 과정을 도시하고 있다. 도 6a에서는 하나의 동영상 클립(클립 B)에만 자막이 입력된 상태이고, 나머지 동영상 클립(클립 A, 클립 C, 클립 D)에는 자막이 입력되지 않은 상태이다.

도 6b에 도시된 바와 같이, 사용자에 의해서 복수의 동영상 클립 중 적어도 하나의 동영상 클립에 롱 프레스 제스처가 입력되면, 해당 동영상 클립(클립 B)의 일 영역에는 롱 프레스 제스처의 접촉을 알리는 다양한 형태의 인디케이터가 디스플레이될 수 있다.

보다 구체적으로 살펴보면 다음과 같다. 사용자 단말(100)은 사용자에 의해서 입력된 적어도 하나의 동영상 클립(예컨대, 클립 B)에서의 롱 프레스 제스처를 감지하면, 동영상 클립 편집 모드로 진입한다. 사용자 단말(100)은 동영상 클립 편집 모드에 진입하면, 롱 프레스 제츠처가 입력된 동영상 클립(예컨대, 클립 B)의 일 영역에 동영상 클립 편집을 하기 위한 아이콘(X, Y)등을 디스플레이할 수 있다.

여기서 제1 아이콘(X)은 자막 편집을 실행하기 위한 자막 편집 아이콘이고, 제2 아이콘(Y)은 동영상 클립을 삭제하기 위한 삭제 아이콘이다.

이때, 제1, 2 아이콘(X, Y)는 다양한 종류의 도형, 이미지, 색 또는 이들의 조합으로 구성될 수 있다. 도 6b에서 제1 아이콘(X)은 사각형 박스 형태로 디스플레이되고 있지만, 이외에도 제1 아이콘(X)은 연필 또는 펜 등의 아이콘 형태로 구성될 수도 있다. 또한, 제2 아이콘(Y)는 "×"도형 과 "○" 도형을 겹쳐놓은 형태로 디스플레이되고 있지만, 이외에도 제2 아이콘(Y)는 휴지통 형상 등의 다양한 아이콘 형태로 구성될 수도 있다.

도 6b에 도시된 바와 같이, 동영상 클립 상에 편집 아이콘이 디스플레이된 상태에서, 사용자 단말(100)은 사용자에 의해서 입력된 편집 제스처에 의해서 해당 자막 클립을 편집할 수 있다.

사용자가 제1 아이콘(X)에 대해서 원터치 제스처를 실행하면, 사용자 단말(100)은 사용자에 의해서 입력된 원터치 제스처를 감지하고, 원터치 제스처가 입력된 동영상 클립(도 6c에서 클립 B)에 대한 자막 편집을 위한 입력창(117)을 디스플레이한다(도 6c 참고).

도 6c에 도시된 바와 같이, 자막 편집을 위한 입력창(117)은 편집 대상 자막 클립의 내용이 표시되는 표시 영역(117-1) 및 자막 클립에 내용을 추가하거나 삭제하기 위해 문자 등을 타이핑하는 가상 키보드 영역(117-2)을 포함할 수 있다. 이러한 입력창(117)은 동영상 디스플레이 영역(111), 마커 영역(113) 및 클립 표시 영역(115)의 일부 또는 전부를 포함하도록 디스플레이될 수 있다.

이때, 표시 영역(117-1)에는 해당 동영상 클립에 기 입력된 자막 클립의 내용을 디스플레이할 수 있다. 사용자는 가상 키보드 영역(117-2)에 구비된 키패드를 터치함으로써, 표시영역(117-1)에 디스플레이된 기 입력된 자막 클립의 내용을 수정하거나 편집할 수 있다.

도 6c 및 도 6d을 참고하면, 사용자 단말(100)은 사용자에 의해서 입력된 가상 키보드 영역(117-2)의 일부 키(예컨대, 백스페이스 키 "←" )에 대한 원터치 제스처(도 6d에서 B로 표시)를 감지하면, 터치된 키에 대응하는 명령을 실행한다. 예컨대, 백스페이스키가 터치된 경우에는 기 입력된 자막(예컨대, "ABCDEF")을 한 글자씩 삭제할 수 있다. 사용자 단말(100)은 사용자에 의해서 입력되는 자막 편집 제스처에 따라 동영상 클립 단위로 기 입력된 자막의 일부 내용을 수정하거나 신규 내용을 추가하는 다양한 편집 기능을 수행할 수 있다.

도 6e에 도시된 바와 같이, 사용자 단말(100)은 사용자에 의한 자막 편집 제스처가 완료되었음을 감지하면, 클립 표시 영역(115)에 표시되는 해당 동영상 클립(예컨대, 클립 B)에 편집된 자막(ST-B)을 디스플레이한다. 그리고, 사용자 단말(100)은 편집된 자막의 내용을 저장부(120)에 저장한다.

상술한 바와 같이, 본 발명의 제2 실시 예에 따르면, 사용자가 타임 라인을 이용하는 자막 편집 프로그램을 실행하지 않고도 동영상 클립 단위로 자막을 편집할 수 있으므로, 디스플레이 화면의 크기 제약에도 불구하고 사용자가 직관적으로 자막을 편집할 수 있다.

동영상 클립 단위로 입력된 자막 삭제 - 제3 실시 예

본 발명의 제3 실시 예에 따르면, 자막 편집 중에서 동영상 클립 단위로 자막 클립을 삭제할 수 있는 특징이 있다. 이하에서 별도의 도면을 참고하여 보다 상세하게 설명한다.

도 7a 내지 7d는 본 발명의 일 실시 예에 따른 동영상 클립에 입력된 자막을 삭제하는 과정을 나타내는 도면이다.

도 7a를 참고하면, 동영상 표시 영역(111)에는 복수의 동영상에 대한 미리보기 화면이 디스플레이되고 있다. 특히, 동영상 표시 영역(111)의 중심 영역에는 동영상 B에 대한 미리보기 화면이 표시되고 있다. 클립 표시 영역(115)에는 복수의 동영상 클립이 썸네일 형식으로 디스플레이되고 있다. 복수의 동영상 클립 중 적어도 하나의 클립(예컨대, 클립 B)에는 기 입력된 자막(ST-B)이 표시되고 있다.

도 7a에 도시된 바와 같이, 사용자 단말(100)은 사용자에 의해서 입력된 자막 클립(ST-B)에 대한 롱 프레스 제스처(도 7a에서 A라 표시)를 감지하면, 해당 자막 클립에 대한 자막 편집 모드로 진입한다.

이를 보다 구체적으로 살펴보면 다음과 같다. 사용자가 적어도 하나의 자막 클립(ST-B)에 롱 프레스 제스처를 입력하면, 사용자 단말(100)은 롱 프레스 제스처가 입력되었음을 감지하고, 롱 프레스 제츠처가 입력된 자막 클립(ST-B)의 일 영역에 자막 삭제를 위한 삭제 아이콘(Y) 및 해당 자막 클립이 편집 모드임을 표시하는 편집 인디케이터(Z)를 디스플레이한다(도 7b 참고). 여기서, 삭제 아이콘(Y)은 해당 자막 클립을 삭제하기 위한 삭제 실행 아이콘이다. 편집 인디케이터(Z)는 롱 프레스 제스처가 입력된 자막이 편집 모드에 진입하였음을 사용자에게 표시하는 인디케이터이다.

도 7b에 도시된 바와 같이, 삭제 아이콘(Y)은 "×"도형 과 "○" 도형을 겹쳐놓은 아이콘 형태로 디스플레이되고 있다. 하지만, 이외에도 삭제 아이콘(Y)는 휴지통을 형상화하는 다양한 아이콘 형태로 구성될 수도 있다. 그리고, 편집 인디케이터(Z)는 해당 자막을 둘러싸는 직사각형 박스 형상과, 박스 내부에는 반투명의 색이 채색되도록 구성될 수 있다. 또는 편집 인디케이터(Z)는 반짝거리는 효과, 진동 효과 및 깜빡이는 효과 등 해당 자막에 대해서 사용자가 시각적으로 인식할 수 있는 다양한 하이라이트 방식으로 구성될 수 있다.

도 7c를 참고하면, 사용자 단말(100)은 사용자에 의해서 입력된 삭제 아이콘(Y)에 대한 원터치 제스처(도 7c에서 B라고 표시)를 감지하면, 해당 자막 클립(ST-B)을 삭제한다.

즉, 사용자 단말(100)은 자막 클립(ST-B2)을 클립 표시 영역(115)의 동영상 클립(예컨대, 클립 B)에서 지운다(도 7d 참고).

상술한 바와 같이, 본 발명의 제3 실시 예에 따르면, 사용자는 동영상 클립 상에 표시된 자막을 선택해서 해당 자막 클립을 삭제할 수 있으므로, 자막 틀립 단위로 삭제할 수 있으므로 사용자 편의성을 향상시키는 효과를 발휘한다.

동영상 클립 단위로 입력된 자막 클립 이동/복사 - 제4 실시 예

본 발명의 제4 실시 예에 따르면, 동영상 클립 별로 자막 클립을 입력하고 , 동영상 클립 상에 자막 클립을 다른 동영상 클립으로 손쉽게 이동하고 복사할 수 있는 특징이 있다. 이하에서 별도의 도면을 참고하여 보다 상세하게 설명한다.

도 8a 내지 8d는 본 발명의 일 실시 예에 따른 동영상 클립에 입력된 자막을 다른 동영상 클립으로 이동하는 과정을 설명하기 위한 도면이다.

도 8a를 참고하면, 사용자가 클립 표시 영역(115)에서 적어도 하나의 동영상 클립(클립 B)에 롱 프레스 제스처를 입력하고, 동영상 클립(클립 B)에 기 입력된 자막 클립(ST-B)을 특정 방향으로 이동하기 위한 제1 이동 제스처(도 8a에서 C1으로 표시)을 입력한 상태를 도시하고 있다. 여기서, 제1 이동 제스처(C1)는 이동 대상 자막 클립(ST-B2) 상에 사용자의 손가락, 스타일러스 펜 또는 전자 펜 등을 접촉하고 있는 상태의 제스처를 의미한다.

앞서 살펴본 바와 같이, 롱 프레스 제스처(A)는 기 정의된 시간 동안에 대상과 접촉하는 제스처를 의미하고, 원터치 제스처(B)는 롱 프레스 제스처의 접촉 시간 보다는 더 짧은 시간 동안에 대상과 접촉하는 제스처를 의미한다.

이에 비하여, 제1 이동 제스처(C1)는 이동 대상 아이템인 자막 클립의 이동이 완료될 때까지 대상 아이템에 손가락 등을 계속적으로 접촉하는 있는 제스처를 의미한다.

따라서, 제1 이동 제스처(C1)는 롱 프레스 제스처(A)의 접촉시간 보다는 더 긴 시간 동안 접촉할 수도 있다. 하지만, 제1 이동 제스처(C1)는 롱 프레스 제스처(A)와 비교했을 때, 최초 접촉 영역에 정지하지 않고 특정 방향으로의 움직임을 포함한다는 점에서 차이가 있다.

도 8b을 참고하면, 제2 이동 제스처(C2)에 의해서 자막 클립(ST-B)은 클립 B에서부터 클립 C로 이동하고 있음을 확인할 수 있다. 여기서, 제2 이동 제스처(C2)는 제1 이동 제스처(C1)의 연속적인 제스처를 의미한다.

도 8c를 참고하면, 제3 이동 제스처(C3)에 의해서 자막 클립(ST-B)이 최종적으로 클립 D로 이동되어 표시되고 있음을 확인할 수 있다. 여기서, 제3 이동 제스처(C3)는 제2 이동 제스처(C2)의 연속적인 제스처를 의미한다.

도 8d를 참고하면, 사용자에 의해서 자막 클립(ST-B)이 클립 B에서부터 클립 D로 이동 복사되면. 클립 B에 표시된 자막은 지워지고 클립 D에 자막 클립(ST-B)이 표시된다.

상술한 바와 같이, 본 발명의 제4 실시 예에 따르면, 사용자가 동영상 클립상에서 자막 클립을 직관적인 제스처에 의해서 다른 동영상 클립으로 이동/복사할 수 있으므로, 자막 클립을 간편한 방식으로 이동하고 복사할 수 있는 효과를 발휘한다.

동영상 클립 및 자막 클립의 동기화 - 제5 실시 예

본 발명의 제5 실시 예에 따르면, 동영상 클립에서 추출된 시간 정보를 이용하여 동영상 클립에 입력된 자막 클립을 자막 파일로 변환하는 방법을 제공한다. 이에 대한 보다 자세한 설명은 이하에서 별도의 도면을 참고하여 설명한다.

도 9a 내지 9d는 본 발명의 일 실시 예에 따른 동영상 클립에 대한 시간 정보에 기초하여 입력된 자막 클립을 자막 파일로 변환하는 과정을 나타내는 도면이다.

도 9a를 참고하면, 동영상 표시 영역(111)에는 복수의 동영상 미리보기 화면이 디스플레이되고, 클립 표시 영역(115)에는 4개의 동영상 클립들이 디스플레이되고 있다. 4개의 동영상 클립에는 각각의 자막 클립이 입력된 상태이다.

사용자 단말(100)은 사용자에 의해서 동영상 클립별로 자막 클립이 입력되면, 각각의 동영상 클립에 대한 시간 정보를 추출한다. 추출된 시간 정보를 해당 자막 클립에 반영하고, 시간 정보에 기초하여 자막 클립을 자막 파일로 변환한다.

도 9b를 참고하면, 사용자 단말(100)은 4개의 동영상 클립(1100, 1200, 1300, 1400)에 대한 시간 정보를 분석한다. 예컨대, 사용자 단말(100)은 제1 동영상 클립(1100)에 대한 제1 시간 정보(Time 1)를 추출한다. 이때, 제1 시간 정보(Time 1)는 동영상 클립의 시작 시간 정보 및 재생 시간 정보를 포함한다. 마찬가지 방법으로 사용자 단말(100)은 제2 동영상 클립(1200)에 대한 제2 시간 정보(Time 2)를 추출하며, 제3 동영상 클립(1300)에 대한 제3 시간 정보(Time 3)를 추출하고, 제4 동영상 클립(1400)에 대한 제4 시간 정보(Time 4)를 추출한다.

사용자 단말(100)은 사용자에 의해서 클립 A(1100)에 제1 자막 클립(2100)이 입력되고, 클립 B(1200)에 제2 자막(2200)이 입력되며, 클립 C(1300)에 제3 자막(2300)이 입력되고, 클립 D(1400)에 제4 자막(2400)이 입력되었음을 감지한다.

도 9c를 참고하면, 사용자 단말(100)은 추출된 4개의 동영상 클립(1100, 1200, 1300, 1400)에 대한 시간 정보에 기초하여 재생 순서 및 상대적인 길이를 분석한다. 그리고, 사용자 단말(100)은 분석된 상대적 길이에 따라 4개의 동영상 클립에 대한 가상의 타임 라인을 생성한다.

도 9c에 도시되고 있는 바와 같이, 클립 A는 클립 B보다 좌측에 위치하고 있다. 즉, 클립 표시 영역에 디스플레이된 복수의 클립은 좌측에서 우측으로 순차적으로 재생될 수 있다. 따라서, 클립 A의 시작 시간 정보가 클립 B의 시작 시간 정보다 더 앞서게 된다. 이때, 클립 A에 대한 시작 시간 정보를 추출하면, 클립 A의 시작 시간 정보에 클립 A의 재생 시간을 더하여 클립 B 의 시작 시간 정보를 예측할 수도 있다.

도 9d를 참고하면, 사용자 단말(100)은 4개의 자막 클립(2100, 2200, 2300, 2400)이 각각 어떤 동영상 클립 상에서 입력되었는지를 분석한다.

사용자 단말(100)은 4개의 동영상 클립에 대해서 추출한 시간 정보를 4개의 자막 클립(2100, 2200, 2300, 2400)에 각각 반영한다.

사용자 단말(100)은 자막 클립의 입력이 완료된 4개의 동영상 클립을 합쳐서 하나의 동영상 파일로 생성하고, 이를 저장부(120)에 저장할 수 있다. 이 경우에, 사용자 단말(100)은 대응하는 4개의 자막 클립도 하나의 자막 파일로 생성하고, 이를 저장부(120)에 저장할 수 있다.

또는, 사용자 단말(100)은 4개의 동영상 클립으로 생성된 동영상 파일 내에 4개의 자막 클립으로 생성된 자막 파일을 포함하는 형식으로 저장부(120)에 통합하여 저장할 수 있다.

만약, 사용자가 4개의 동영상 클립이 합쳐져서 완성된 동영상의 재생을 요청하면, 사용자 단말(100)은 저장부(120)에 저장된 동영상 파일을 독출하고, 인코딩하여 디스플레이부(110)를 통해서 재생한다. 이와 함께 사용자 단말(100)은 저장부(120)에 저장된 자막 파일을 독출하고, 인코딩하여 동영상이 재생되고 있는 디스플레이부(110)에 함께 재생할 수 있다.

또는, 동영상 파일 내에 자막 파일을 포함하고 있는 경우에 통합 동영상 파일을 독출하고, 인코딩하여 디스플레이부(110)를 통해서 재생한다.

상술한 바와 같이, 본 발명의 제5 실시 예에 따르면, 사용자는 동영상 클립에 대한 시간 정보를 인식하지 않고, 단순히 동영상 클립 상에서 자막 클립을 입력하더라도, 동영상 클립의 시간 정보에 기초하여 자막 클립을 자막 파일로 변환하는 효과를 발휘한다.

복수의 동영상 클립에 입력된 복수의 자막 편집 - 제6 실시 예

본 발명의 제6 실시 예에 따르면, 복수의 동영상 클립에 복수의 자막 클립이 각각 입력되면, 입력된 복수의 자막 클립을 삭제하거나 합치거나 이동할 수 있다. 이하에서 별도의 도면을 참고하여 보다 상세하게 설명한다.

도 10a 내지 10j는 본 발명의 일 실시 예에 따른 복수의 입력 자막 클립을 편집하는 과정을 나타내는 도면이다.

도 10a를 참고하면, 동영상 표시 영역(111)에는 복수의 동영상의 미리보기 화면이 디스플레이되고 있다. 클립 표시 영역(115)에는 복수의 동영상 클립이 썸네일 형태로 디스플레이되고 있다.

복수의 동영상 클립(클립 A, 클립 B, 클립 C, 클립 D)의 일 영역에는 복수의 자막 클립(ST-A, ST-B, ST-C, ST-D)이 각각 표시되고 있다.

사용자 단말(100)은 사용자에 의해서 입력된 복수의 자막 중 적어도 하나의 자막 클립(ST-B)에 대한 롱 프레스 체스처(도 10a에서 A로 표시)를 감지하면, 복수의 자막 클립(ST-A, ST-B, ST-C, ST-D)에 대한 자막 편집 모드로 진입한다.

도 10b에 도시된 바와 같이, 복수의 자막 클립(ST-A, ST-B, ST-C, ST-D)이 자막 편집 모드로 진입하면, 사용자 단말(100)은 각각의 자막 클립의 일 영역에 삭제 아이콘들(Y1, Y2, Y3, Y4)을 디스플레이할 수 있다. 동시에 사용자 단말(100)은 각각의 자막 클립들이 편집 모드에 진입하였을 표시하는 편집 인디케이터(Z1, Z2, Z3, Z4)를 디스플레이할 수 있다.

이를 보다 구체적으로 살펴보면 다음과 같다. 사용자가 적어도 하나의 자막 클립(ST-B)에 롱 프레스 제스처를 입력하면, 사용자 단말(100)은 롱 프레스 제스처가 입력되었음을 감지하고, 롱 프레스 제스처가 입력된 자막 클립(ST-B)뿐만 아니라 그 밖의 자막 클립에 대해서도 자막을 삭제할 수 있는 삭제 아이콘들(Y1, Y2, Y3, Y4) 및 해당 자막 클립이 편집 모드임을 표시하는 편집 인디케이터(Z1, Z2, Z3, Z4)를 디스플레이한다(도 10b 참고). 여기서, 삭제 아이콘들(Y1, Y2, Y3, Y4)은 해당 동영상 클립에 입력된 자막을 삭제하기 위한 삭제 아이콘이다. 편집 인디케이터(Z1, Z2, Z3, Z4)는 편집이 가능한 자막을 하이라이트(highlight)하며 표시하는 인디케이터를 의미한다.

도 10b에 도시된 바와 같이, 삭제 아이콘들(Y1, Y2, Y3, Y4)은 "×"도형 과 "○" 도형을 겹쳐놓은 형태로 디스플레이되고 있지만, 이외에도 삭제 아이콘들(Y1, Y2, Y3, Y4)는 휴지통 형상 등의 다양한 아이콘 형태로 구성될 수도 있다. 그리고, 편집 인디케이터(Z1, Z2, Z3, Z4)는 해당 자막을 둘러싸는 직사각형 박스 형상에 내부에는 반투명의 색이 채색되도록 구성될 수 있다. 또는 편집 인디케이터(Z1, Z2, Z3, Z4)는 반짝거림 효과, 진동 효과 및 깜빡이는 효과 등 해당 자막에 대해서 사용자가 시각적으로 인식할 수 있는 다양한 하이라이트 방식으로 구성될 수도 있다.

도 10c를 참고하면, 사용자 단말(100)은 사용자에 의해서 입력된 삭제 아이콘(Y4)에서 원터치 제스처(도 10c에서 B로 표시)를 감지하면, 클립 D에 입력된 자막 클립(ST-D)을 삭제한다.

도 10d를 참고하면, 사용자 단말(100)은 특정 동영상 클립(예컨대, 클립 D)에 입력된 특정 자막 클립(예컨대, ST-D)에 대한 삭제 명령을 감지하면, 클립 D의 일 영역에 디스플레이된 자막을 지운다.

도 10e를 참고하면, 사용자가 편집 모드에 진입한 복수의 자막 클립 중 적어도 하나의 자막 클립(예컨대, ST-A)에 롱 프레스 제스처(도 10e에서 A1로 표시)를 입력하면, 롱 프레스 제스처가 입력된 자막 클립(ST-A)은 다른 동영상 클립으로 이동/복사될 수 있다.

이를 보다 구체적으로 살펴보면, 자막 편집 모드에서 롱 프레스 제스처가 입력된 자막 클립(예컨대, ST-A)은 자막 클립을 구성하는 문자, 기호, 숫자, 도형 또는 이들이 조합 등이 하이라이트 효과로 표현될 수 있다(도 10f 참조).

이때, 하이라이트 효과로 표현된 자막 클립(예컨대, ST-A2)은 다른 자막 클립의 문자보다 더 진하게 표시될 수 있다. 또는, 이동/복사 대상 자막 클립(예컨대, ST-A)은 다른 자막 클립과 달리 깜빡이도록 표시될 수 있다. 또는, 이동/복사 대상 자막 클립(예컨대, ST-A)은 좌측에서 우측으로 혹은 우측에서 좌측으로 스트리밍(streaming)하는 효과로 표시될 수도 있다.

도 10g를 참고하면, 사용자 단말(100)은 사용자에 의해서 입력된 클립 D의 일 영역 상에서 롱 프레스 제스처를 감지하면, 사용자에 의해서 복사된 자막 클립(예컨대, ST-A)을 클립 D에 붙여넣기(paste)를 실행한다.

도 10h를 참고하면, 사용자가 이동/복사 대상 자막 클립(예컨대, ST-A)에 제1 터치 제스처(C1)를 입력하고 클립 B 방향으로 드래그한다. 그리고 사용자가 클립 B에서 이동/복사 대상 자막 클립(예컨대, ST-A)에 제2 터치 제스처(C2)를 입력하면, 사용자에 의해서 잘라내기 된 자막 클립(예컨대, ST-A)이 클립 B에 기 입력된 자막 클립(ST-B)과 합쳐진다. 여기서, 자막 클립이 합쳐지는 것은 복수의 자막 클립이 하나의 자막 클립을 형성하는 것을 의미한다. 이는 복수의 동영상 클립을 하나의 동영상 클립으로 합치는 것과 동일한 원리이다. 이렇게 합쳐진 자막 클립은 하나의 자막 클립으로 관리될 수 잇다.

도 10i를 참고하면, 사용자 단말(100)은 사용자에 의해서 입력된 클립 A의 자막 클립(ST-A)과 클립 B의 자막 클립(ST-B)을 합치는 명령을 감지하면, 제1 자막 클립(ST-A) 및 제2 자막 클립(ST-B)을 합쳐서 타겟 동영상 클립(예컨대, 클립 B)의 자막 클립(ST-B)으로 변환한다.

사용자 단말(100)은 사용자에 의해서 입력된 클립 표시 영역(115) 이외의 영역에서의 원터치 제스처(도 10j에서 B로 표시)를 감지하면, 진행중인 복수의 자막 클립의 편집, 이동 또는 복사 등의 기능은 종료하고, 종료 직전의 동영상 클립 및 자막 클립을 저장부(120)에 저장한다(도 10j 참고).

상술한 바와 같이, 본 발명의 제6 실시 예에 따르면, 사용자는 자막 편집 어플리케이션을 별도로 구동시키지 않고도 동영상 클립 단위로 입력된 자막 클립을 다른 동영상 클립의 자막 클립으로 이동, 복사, 통합, 삭제할 수 있는 사용자 인터페이스를 제공할 수 있다.

본 발명의 다양한 실시 예에 따르면, 동영상을 클리핑(Clipping)하여 동영상 클립을 생성한 뒤, 동영상 클립 상에 자막 클립을 입력하도록 함으로써, 사용자가 직관적으로 자막 클립에 자막을 입력하고 편집할 수 있다.

또한, 본 발명에서 동영상에 입력된 자막 클립은 동영상 클립 단위로 관리할 수 있으므로, 종래의 타임 라인을 이용하여 동영상에 대한 시간 정보를 확인해서 자막을 입력해야 하는 번거로운 과정을 없애준다.

자막을 포함하는 동영상의 클립화 - 제7 실시 예

본 발명의 제7 실시 예에 따르면, 동영상을 적어도 둘 이상의 동영상 클립으로 클립화하는 경우에, 동영상에 기 입력된 자막을 자막 클립으로 생성할 수 있다. 이하에서 별도의 도면을 참고하여 보다 상세하게 설명한다.

도 11a 내지 11e는 본 발명의 일 실시 예에 따른 자막을 포함하는 동영상을 클립화하는 과정을 나타내는 도면이다.

도 11a를 참고하면, 동영상(300)은 연속적인 프레임(프레임 1 내지 프레임 7)으로 구성될 수 있다. 그리고 자막 파일(400)은 동영상(300)과 동기화되어 있다. 즉, 동영상(300)이 사용자 단말(100)의 디스플레이부(110)에서 재생될 경우에, 디스플레이부(110)의 일 영역에는 자막(400)이 재생될 수 있다.

사용자는 동영상(300)을 2개의 동영상 클립(클립 A, 클립 B)으로 클립화할 수 있다. 구체적으로 살펴보면, 사용자는 제1 동영상을 구성하는 적어도 하나 이상의 프레임을 임의로 선택하여 원하는 동영상 클립을 생성할 수 있다.

즉, 사용자가 복수의 동영상 프레임에서 첫번째 프레임을 선택하고, 마지막 프레임을 선택하면 첫번째 플레임과 마지막 프레임에 속하는 복수의 프레임으로 구성되는 1개의 동영상 클립이 생성될 수 있다.

도 11a를 참고하면, 사용자 단말(100)은 사용자에 의해서 동영상(300) 중 첫번째 프레임(프레임 1)과 마지막 프레임(프레임 4)이 선택되면, 선택된 제1 내지 4 프레임으로 구성되는 제1 동영상 클립(클립 A)을 생성한다. 그리고 사용자 단말(100)은 사용자에 의해서 동영상(300) 중 첫번째 프레임(프레임 5)과 마지막 프레임(프레임 7)이 선택되면, 선택된 제5 내지 7 프레임으로 구성되는 제2 동영상 클립(클립 B)를 생성한다.

사용자 단말(100)은 사용자의 동영상 클립화 제스처에 따라 동영상의 프레임을 그룹화하여 2개의 동영상 클립(클립 A, 클립 B)을 생성하고, 동시에 사용자 단말(100)은 동영상과 관련된 자막에 대한 클립화를 자동으로 실행할 수 있다.

즉, 사용자 단말(100)은 동영상(300)과 자막(400) 사이의 동기화 정보를 이용하여 자막(400)에 대해서도 클립화를 실행한다. 구체적으로 살펴보면, 사용자 단말(100)은 동영상(300)의 제1 동영상 클립(클립 A)이 속하는 시간 동안 표시되는 자막(400)을 분석한다. 사용자 단말(100)은 분석 결과에 따라 프레임 1 내지 3에 동기화된 제1 자막(도 11a에서 "가나다라마바사"로 표시)을 제1 자막 클립(2100)으로 클립화하고, 프레임 4와 동기화된 제2 자막(도 11a에서 "ABCDEFG"로 표시)을 제2 자막 클립(2200-1)으로 클립화한다. 마찬가지 방식으로, 사용자 단말(100)은 프레임 5 내지 7에 동기화된 제2 자막(도 11a에서 "ABCDEFG"로 표시)을 제3 자막 클립(2200-2)으로 클립화한다.

도 11b를 참고하면, 동영상 표시 영역(111)에는 2개의 동영상의 미리보기 화면이 디스플레이되고, 클립 표시 영역(115)에는 2개의 동영상 클립이 디스플레이되고 있다.

클립 표시 영역(115)에서, 제1 동영상 클립(클립 A)에는 제1 자막 클립(ST-A)이 표시되고 있고, 제2 동영상 클립(클립 B)에는 제2 자막 클립(ST-B)이 표시되고 있다. 도 11b에서 제1 자막 클립(ST-A)에는 앞서 설명한 제1 자막 클립(2100)의 내용만이 표시되고 있지만, 제1 자막 클립(ST-A)은 제1 자막 클립(2100) 및 제2 자막 클립(2200-1)을 포함한다.

사용자는 제1 자막 클립(ST-A)처럼 복수의 자막 클립으로 구성된 자막 클립에 대한 내용을 확인하기 위해서, 해당 자막 클립의 세부 내용을 확인할 수 있다.

도 11c를 참고하면, 사용자 단말(100)은 사용자에 의해서 입력된 제1 자막(ST-A)에서 롱 프레스 제스처(도 11c에서 A로 표시)를 감지하면, 제1 자막 클립(ST-A)에 대한 편집 모드로 진입을 한다.

도 11d에서는 설명의 편의를 위해서 자막 편집 모드에 진입하였지만, 해당 자막 클립에서 삭제 아이콘 및/또는 편집 아이콘 등이 표시되지 않은 상태를 도시하고 있다. 사용자가 자막 편집 모드로 진입한 상태에서 해당 자막에 대한 터치 제스처(도 11d에서 D로 표시)를 입력하면, 사용자 단말(100)은 터치된 자막에 대한 세부 내용을 디스플레이한다.

도 11e를 참고하면, 클립 A에 입력된 자막 클립(ST-A)에 대한 편집 모드 상태에서 사용자가 터치 제스처(D)가 입력되고, 사용자 단말(100)은 해당 자막 클립(ST-A)의 세부 내용을 표시하기 위한 별도의 윈도우(119)을 디스플레이부(110)에 디스플레이한다.

이러한 별도의 윈도우(119)에는 앞서 살펴본 바와 같이, 제1 자막 클립(도 11e에서 "가나다라마바사"로 표시)과 제2 자막 클립(도 11e에서 "ABCDEFG"로 표시)에 대한 세부 내용이 디스플레이될 수 있다.

본 발명에 따르면, 자막을 갖는 동영상에 대한 자막 클립화를 실행하면, 자막에 대해서도 클립화를 실행할 수 있다.

본 발명의 다양한 실시 예에 따른 상술한 방법들은 컴퓨터 판독가능한 저장 매체에 코드로 저장될 수 있다. 이러한 본 발명의 다양한 실시예에 따른 상술한 방법들을 수행하기 위한 코드는, RAM(Random Access Memory), 플레시메모리, ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electronically Erasable and Programmable ROM), 레지스터, 하드디스크, 리무버블 디스크, 메모리 카드, USB 메모리, CD-ROM 등과 같이, 전자 장치에서 판독 가능한 다양한 유형의 기록 매체에 저장되어 있을 수 있다.

비록 본 발명의 예시적인 실시예 및 적용예가 도시되고 설명되었더라도, 본 발명의 기술적 사상의 범위를 벗어나지 않는 범위에서 많은 변화 및 수정이 가능하고, 이러한 변형은 본 발명이 속하는 기술 분야의 통상의 기술자에게 명확하게 이해될 수 있다. 따라서, 설명된 실시예는 예시적이지 제한적인 것이 아니며, 본 발명은 첨부된 상세한 설명에 의해서 제한되는 것이 아니지만 청구항의 기술적 범위 내에서 수정 가능하다.

100 : 사용자 단말 110 : 디스플레이부
120 : 저장부 130 : 저장부
140 : 센서부 150 : 통신부
160 :카메라부 170 :동영상 편집부
180 :전원부 190 : 데이터 버스

Claims

자막 편집 장치에 있어서,
적어도 하나 이상의 동영상 미리보기 화면을 표시하는 동영상 표시 영역과 상기 표시된 미리보기 화면에 대응하는 적어도 하나 이상의 동영상 클립을 표시하는 클립 표시 영역을 디스플레이하는 디스플레이부; 및
상기 클립 표시 영역에 표시된 동영상 클립에 대한 사용자 제스처를 감지하면, 상기 감지된 사용자 제스처에 대응하여 상기 동영상 클립에 대한 자막 편집 모드로 진입하도록 제어하는 제어부;를 포함하되,
상기 제어부는, 상기 자막 편집 모드에서 상기 적어도 하나 이상의 동영상 클립에 대한 사용자 제스처를 감지하면, 상기 감지된 사용자 제스처에 따라 상기 자막 편집 모드에 있는 동영상 클립 상에 자막 클립을 편집하는 것을 특징으로 하는 자막 편집 장치.
제1 항에 있어서,
상기 제어부는, 상기 동영상 클립에서 시작 시간 및 재생 시간 정보를 추출하고, 상기 추출된 시작 시간 및 재생 시간 정보를 상기 동영상 클립에 입력된 자막 클립에 반영하며, 상기 시작 시간 및 재생 시간 정보에 기초하여 상기 자막 클립을 자막 파일로 변환하는 것을 특징으로 하는 자막 편집 장치.
제1 항에 있어서,
상기 제어부는, 상기 사용자 제스처로 자막 입력 제스처를 감지하면 자막 입력을 위한 입력창을 표시하고, 상기 입력창을 통해서 입력된 자막에 기초하여 자막 클립을 생성하여 상기 동영상 클립 상에 표시하도록 제어하는 것을 특징으로 하는 자막 편집 장치.
제1 항에 있어서,
상기 제어부는, 상기 사용자 제스처로 자막 삭제 제스처를 감지하면 상기 동영상 클립 상에 입력된 자막 클립을 삭제하도록 제어하는 것을 특징으로 하는 자막 편집 장치.
제1 항에 있어서,
상기 제어부는, 상기 사용자 제스처로 자막 이동 제스처를 감지하면 원본 동영상 클립 상에 표시된 자막 클립을 대상 동영상 클립 상으로 이동하도록 제어하는 것을 특징으로 하는 자막 편집 장치.
제1 항에 있어서,
상기 제어부는, 상기 사용자 제스처로 자막 복사 제스처를 감지하면 원본 동영상 클립 상에 표시된 자막 클립을 복사하고, 복사된 자막 클립을 대상 동영상 클립 상에 불여넣기 하도록 제어하는 것을 특징으로 하는 자막 편집 장치.
디스플레이부에 표시되는 동영상 및 자막을 편집할 수 있는 자막 편집 장치를 이용한 자막 편집 방법에 있어서,
상기 디스플레이부에 적어도 하나 이상의 동영상 미리보기 화면을 표시하는 동영상 표시 영역과 상기 표시된 미리보기 화면에 대응하는 적어도 하나 이상의 동영상 클립을 표시하는 클립 표시 영역을 디스플레이하는 단계;
상기 클립 표시 영역에 표시된 동영상 클립에 대한 사용자 제스처를 감지하는 단계;
상기 감지된 사용자 제스처에 대응하여 상기 동영상 클립에 대한 자막 편집 모드로 진입하는 단계; 및
상기 자막 편집 모드에서 상기 적어도 하나 이상의 동영상 클립에 대한 사용자 제스처를 감지하면, 상기 감지된 사용자 제스처에 따라 상기 자막 편집 모드에 있는 동영상 클립 상에 자막 클립을 편집하는 단계;를 포함하는 자막 편집 방법.
제7 항에 있어서,
상기 자막 클립을 편집하는 단계 이후에,
상기 동영상 클립에서 시작 시간 및 재생 시간 정보를 추출하는 단계;
상기 추출된 시작 시간 및 재생 시간 정보를 상기 동영상 클립에 입력된 자막 클립에 반영하는 단계; 및
상기 시작 시간 및 재생 시간 정보에 기초하여 상기 자막 클립을 자막 파일로 변환하는 단계;를 포함하는 것을 특징으로 하는 자막 편집 방법.
제7 항에 있어서,
상기 자막 클립을 편집하는 단계는,
상기 사용자 제스처로 자막 입력 제스처를 감지하는 단계;
상기 감지된 자막 입력 제스처에 대응하여 자막 입력을 위한 입력창을 표시하는 단계;
상기 입력창을 통해서 입력된 자막에 기초하여 자막 클립을 생성하는 단계;
상기 생성된 자막 클립을 상기 동영상 클립 상에 표시하는 단계;를 포함하는 자막 편집 방법.
제7 항에 있어서,
상기 자막 클립을 편집하는 단계는,
상기 사용자 제스처로 자막 삭제 제스처를 감지하는 단계; 및
상기 감지된 자막 삭제 제스처에 대응하여 상기 동영상 클립 상에 입력된 자막 클립을 삭제하는 단계;를 포함하는 자막 편집 방법.
제7 항에 있어서,
상기 자막 클립을 편집하는 단계는,
상기 사용자 제스처로 자막 이동 제스처를 감지하는 단계;
상기 감지된 자막 이동 제스처에 대응하여 원본 동영상 클립 상에 표시된 자막 클립을 대상 동영상 클립 상으로 이동하는 단계;를 포함하는 자막 편집 방법.
제7 항에 있어서,
상기 자막 클립을 편집하는 단계는,
상기 사용자 제스처로 자막 복사 제스처를 감지하는 단계;
상기 감지된 자막 복사 제스처에 대응하여 원본 동영상 클립 상에 표시된 자막 클립을 복사하는 단계; 및
상기 복사된 자막 클립을 대상 동영상 클립 상으로 붙여넣기 하는 단계;를 포함하는 자막 편집 방법.