KR20140033667A - 객체 기반 동영상 편집 장치 및 방법 - Google Patents

객체 기반 동영상 편집 장치 및 방법 Download PDF

Info

Publication number
KR20140033667A
KR20140033667A KR1020120099769A KR20120099769A KR20140033667A KR 20140033667 A KR20140033667 A KR 20140033667A KR 1020120099769 A KR1020120099769 A KR 1020120099769A KR 20120099769 A KR20120099769 A KR 20120099769A KR 20140033667 A KR20140033667 A KR 20140033667A
Authority
KR
South Korea
Prior art keywords
video
editing
edited
edit
information
Prior art date
Application number
KR1020120099769A
Other languages
English (en)
Other versions
KR101947553B1 (ko
Inventor
신호철
Original Assignee
에스케이플래닛 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이플래닛 주식회사 filed Critical 에스케이플래닛 주식회사
Priority to KR1020120099769A priority Critical patent/KR101947553B1/ko
Publication of KR20140033667A publication Critical patent/KR20140033667A/ko
Application granted granted Critical
Publication of KR101947553B1 publication Critical patent/KR101947553B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

본 발명은 객체 기반 동영상 편집 장치 및 방법에 관한 것으로, 동영상을 촬영하는 촬영부, 동영상 편집 애플리케이션을 구동시켜, 사용자의 조작에 따라 기 저장된 편집 대상 동영상 또는 다른 영상에서 편집 대상 객체와 그 편집 대상 객체의 편집 정보를 설정하는 객체 설정부, 상기 편집 대상 동영상 또는 촬영중인 동영상에서 상기 편집 대상 객체를 추적하고, 상기 추적된 편집 대상 객체를 상기 편집 정보에 따라 자동으로 편집하는 동영상 편집부를 포함한다.

Description

객체 기반 동영상 편집 장치 및 방법{Apparatus and Method for video edit based on object}
본 발명은 객체 기반 동영상 편집 장치 및 방법에 관한 것으로, 보다 상세하게는 동영상 편집 애플리케이션을 구동시켜, 사용자의 조작에 따라 기 저장된 편집 대상 동영상 또는 다른 영상에서 편집 대상 객체와 그 편집 대상 객체의 편집 정보를 설정하면, 편집 대상 동영상 또는 촬영중인 동영상에서 편집 대상 객체를 추적하고, 추적된 편집 대상 객체를 편집 정보에 따라 자동으로 편집하는 객체 기반 동영상 편집 장치 및 방법에 관한 것이다.
최근 멀티미디어 정보(Multimedia Information)에 대한 수요가 급증하면서, 멀티미디어 콘텐츠(예를 들어, 동영상)에 대한 편집, 검색, 객체화 등에 관련한 다양한 기술이 폭넓게 개발되고 있다.
동영상에 대하여 인터랙티브(Interactive) 기능을 부여하기 위한 편집은 통상적으로 크게 세 가지 과정으로 이루어진다. 첫 번째 과정은 객체의 위치를 선정하여 분리하는 과정, 두 번째 과정은 객체 정보를 입력하는 과정, 세 번째 과정은 검수하는 과정이다. 이하, 각각의 과정에 대하여 설명하기로 한다.
먼저, 첫 번째 과정(객체의 위치를 선정하여 분리하는 과정)은 입력된 동영상에서 필요로 하는 의미 객체에 대하여 위치 및 영역을 선정하는 과정이다. 이러한 위치 및 영역은 해당 객체가 나타나는 시간 동안에 연속적으로 변화하는 정보를 담고 있어야 한다.
다음으로, 두 번째 과정(객체 정보를 입력하는 과정)은 편집자의 의도에 따라 의미 있는 객체를 추출하고, 그 추출된 객체에 다른 데이터(예를 들어, 다른 비디오 데이터, 다른 오디오 데이터, 다른 URL 링크 정보 등과 같은 메타 데이터 등)가 실시간으로 연결될 수 있도록 하는 정보를 입력하는 과정이다.
다음으로, 세 번째 과정(검수 과정)은 앞의 두 가지 과정에서 이루어진 결과물에 대하여 검증을 하는 과정이다.
상기와 같은 세 가지 편집 과정 중에서 가장 많은 노력/시간/비용이 소모되는 과정이 바로 첫 번째 과정인 '객체의 위치를 선정하고 분리하는 과정'이기 때문에, 이러한 과정을 장면 인식, 객체 인식(예를 들면, 얼굴 인식 등), 자동 객체 추적 등의 인식 기반의 영상 처리 알고리즘을 통하여 자동화할 필요가 절실히 요구된다.
특히, 종래의 동영상 분석 기술에서는 동영상을 구성하는 모든 프레임들을 동등한 입장에서 취급하기 때문에, 특정 객체를 검색/검출하는데 있어서 많은 시간/노력/비용과 연산 부담이 소요되며, 이로 인하여 해당 동영상을 편집함에 있어서도 많은 시간/노력/비용이 소요되는 문제가 있다.
또한, 종래의 동영상 편집 서비스는 핸드폰 등의 mobile device에 대한 고려를 하지 않고, 이로 인해 작은 화면에서는 촬영과 편집이 동시에 일어나기 쉽지 않으며, 편집툴을 따로 사용하는 유저들 또한 많이 있는데, 이는 화면이 작고 조작이 쉽지 않다는 하드웨어(hardware)상의 제약사항이 있기 때문이다.
한국등록특허 제10-1123370호, 발명의 명칭 '휴대단말용 객체기반 콘텐츠 제공방법 및 장치'
본 발명은 상기한 문제점을 해결하기 위하여 안출된 것으로, 본 발명의 목적은 기 저장된 동영상에서 편집 대상 객체 및 편집 정보를 설정하면, 그 동영상에서 편집 대상 객체를 추적하고, 추적된 편집 대상 객체를 편집 정보에 따라 자동으로 편집하여, 원본 동영상과는 별개로 편집된 동영상을 생성하는 객체 기반 동영상 편집 장치 및 방법을 제공하는데 있다.
본 발명의 다른 목적은 동영상 촬영 전에 편집 대상 객체 및 편집 정보를 설정하면, 동영상의 촬영과 동시에 편집 대상 객체를 포함하는 장면을 편집 정보에 따라 자동으로 편집하여, 촬영된 동영상과 편집된 동영상을 함께 생성하는 객체 기반 동영상 편집 장치 및 방법을 제공하는데 있다.
본 발명의 또 다른 목적은 동영상의 분석 및 편집 과정을 단순화 및 자동화함으로써 분석/편집에 소요되는 시간/노력/비용을 최소화할 수 있게 하는 객체 기반 동영상 편집 장치 및 방법을 제공하는데 있다.
본 발명의 또 다른 목적은 작은 크기의 LCD 등 제한된 환경을 가진 사용자 단말에서 사용자가 동영상의 편집을 최대한 자연스럽게 하도록 지원할 수 있는 객체 기반 동영상 편집 장치 및 방법을 제공하는데 있다.
본 발명의 또 다른 목적은 인물, 사물 등의 객체에 대한 편집을 자동으로 사용자 단말 상에서 할 수 있게 하는 객체 기반 동영상 편집 장치 및 방법을 제공하는데 있다.
본 발명의 또 다른 목적은 동영상의 촬영과 그 동영상의 편집을 동시에 수행할 수 있는 객체 기반 동영상 편집 장치 및 방법을 제공하는데 있다.
본 발명의 일 측면에 따르면, 동영상을 촬영하는 촬영부, 동영상 편집 애플리케이션을 구동시켜, 사용자의 조작에 따라 기 저장된 편집 대상 동영상 또는 다른 영상에서 편집 대상 객체와 그 편집 대상 객체의 편집 정보를 설정하는 객체 설정부, 상기 편집 대상 동영상 또는 촬영중인 동영상에서 상기 편집 대상 객체를 추적하고, 상기 추적된 편집 대상 객체를 상기 편집 정보에 따라 자동으로 편집하는 동영상 편집부를 포함하는 객체 기반 동영상 편집 장치가 제공된다.
상기 객체 설정부는 상기 편집 대상 동영상 또는 다른 영상에서 객체의 태깅 또는 객체 포함 영역의 드래그가 감지된 경우, 상기 태깅된 객체 또는 드래그된 영역에 포함된 객체를 편집 대상 객체로 설정할 수 있다.
상기 편집 정보는 편집 대상 객체의 잘라내기, 편집 대상 객체에 부가 정보 입력을 포함할 수 있다.
상기 동영상 편집부는 상기 편집 대상 동영상 또는 촬영중인 동영상에서 블록 기반의 추적 방식 또는 특징 기반의 추적 방식을 이용하여 상기 편집 대상 객체를 추적하는 객체 추적 모듈, 상기 편집 대상 동영상 또는 촬영중인 동영상에서 상기 객체 추적 모듈에 의해 추적된 편집 대상 객체를 상기 편집 정보에 따라 자동으로 편집하는 동영상 편집 모듈을 포함할 수 있다.
본 발명의 다른 측면에 따르면, 동영상 편집 장치가 객체 기반 동영상을 편집하는 방법에 있어서, (a) 동영상 편집 애플리케이션을 구동시켜, 사용자의 조작에 따라 기 저장된 편집 대상 동영상 또는 다른 영상에서 편집 대상 객체와 그 편집 대상 객체의 편집 정보를 설정하는 단계, (b) 상기 편집 대상 동영상 또는 촬영중인 동영상에서 상기 편집 대상 객체를 추적하고, 상기 추적된 편집 대상 객체를 상기 편집 정보에 따라 자동으로 편집하는 단계를 포함하는 객체 기반 동영상 편집 방법이 제공된다.
상기 (a) 단계는 기 저장된 편집 대상 동영상 또는 다른 영상에서 객체의 태깅 또는 객체 포함 영역의 드래그가 감지된 경우, 상기 태깅된 객체 또는 드래그된 영역에 포함된 객체를 편집 대상 객체로 설정하는 것을 특징으로 할 수 있다.
상기 (b) 단계는, 상기 편집 대상 동영상에서 블록 기반의 추적 방식 또는 특징 기반의 추적 방식을 이용하여 상기 편집 대상 객체를 추적하는 단계, 상기 편집 대상 동영상에서 상기 추적된 편집 대상 객체를 상기 편집 정보에 따라 자동으로 편집하는 단계를 포함할 수 있다.
또한, 상기 (b) 단계는 촬영부를 통해 동영상을 촬영하는 단계, 상기 촬영중인 동영상에서 블록 기반의 추적 방식 또는 특징 기반의 추적 방식을 이용하여 상기 편집 대상 객체를 추적하고, 상기 추적된 편집 대상 객체를 상기 편집 정보에 따라 자동으로 편집하여, 원본 동영상과 편집된 동영상을 동시에 생성하는 단계를 포함할 수 있다.
본 발명의 또 다른 측면에 따르면, (a) 동영상 편집 애플리케이션을 구동시켜, 사용자의 조작에 따라 기 저장된 편집 대상 동영상 또는 다른 영상에서 편집 대상 객체와 그 편집 대상 객체의 편집 정보를 설정하는 단계, (b) 상기 편집 대상 동영상 또는 촬영중인 동영상에서 상기 편집 대상 객체를 추적하고, 상기 추적된 편집 대상 객체를 상기 편집 정보에 따라 자동으로 편집하는 단계를 포함하는 객체 기반 동영상 편집 방법이 프로그램으로 기록된 전자장치에서 판독 가능한 기록매체가 제공된다.
본 발명에 따르면, 기 저장된 동영상에서 편집 대상 객체 및 편집 정보를 설정하면, 그 동영상에서 편집 대상 객체를 추적하고, 추적된 편집 대상 객체를 편집 정보에 따라 자동으로 편집하여, 원본 동영상과는 별개로 편집된 동영상을 생성할 수 있다.
또한, 동영상 촬영 전에 편집 대상 객체 및 편집 정보를 설정하면, 동영상의 촬영과 동시에 편집 대상 객체를 포함하는 장면을 편집 정보에 따라 자동으로 편집하여, 촬영된 동영상과 편집된 동영상을 함께 생성할 수 있다.
또한, 동영상의 분석 및 편집 과정을 단순화 및 자동화함으로써 분석/편집에 소요되는 시간/노력/비용을 최소화할 수 있다.
또한, 작은 크기의 LCD 등 제한된 환경을 가진 사용자 단말에서 사용자가 동영상의 편집을 최대한 자연스럽게 하도록 지원할 수 있다.
또한, 인물, 사물 등의 객체에 대한 편집을 자동으로 사용자 단말 상에서 할 수 있고, 동영상의 촬영과 그 동영상의 편집을 동시에 수행할 수 있다.
도 1은 본 발명에 따른 객체 기반 동영상 편집 장치를 나타낸 블럭도.
도 2는 본 발명의 일 실시예에 따른 동영상 편집 장치가 객체 기반 동영상을 편집하는 방법을 나타낸 흐름도.
도 3은 본 발명의 다른 실시예에 따른 객체 기반 동영상 편집 방법을 나타낸 흐름도.
본 발명의 전술한 목적과 기술적 구성 및 그에 따른 작용 효과에 관한 자세한 사항은 본 발명의 명세서에 첨부된 도면에 의거한 이하 상세한 설명에 의해 보다 명확하게 이해될 것이다.
도 1은 본 발명에 따른 객체 기반 동영상 편집 장치를 나타낸 블럭도이다.
도 1을 참조하면, 객체 기반 동영상 편집 장치(100)는 통신망을 통해 통신을 수행하기 위한 통신부(110), 인터페이스부(120), 촬영부(130), 출력부(140), 저장부(150), 동영상 재생부(160), 객체 설정부(170), 동영상 편집부(180)를 포함한다.
통신부(110)는 동영상 편집 장치(100)와 웹 서비스를 제공하는 웹 서비스 제공 장치를 통신망을 통해 상호 연결시키는 통신 수단으로서, 예를 들어 이동통신, 위성통신 등의 무선 통신모듈, 인터넷 등의 유선 통신모듈, 와이파이 등의 근거리 무선 통신모듈 등을 포함할 수 있다. 통신부(110)를 통해 커뮤니케이션 서비스 장치에 접속하여 편집된 동영상을 업로드 할 수 있다. 여기서, 커뮤니케이션 서비스 장치는 사용자 단말에 커뮤니케이션 서비스를 제공하며, 예컨대 메신저 서비스 장치, SNS 서비스 장치, 개인 홈페이지 서비스 장치 등을 포함할 수 있다.
인터페이스부(120)는 사용자가 동영상 편집 장치(100)에 각종 데이터를 직접 입력하거나 각종 기능키를 구비하여 동영상 편집 장치(100)를 구동하기 위한 입력장치이다. 이러한 인터페이스부(120)는 키 버튼 형태뿐만 아니라, 출력부(140)상에 표시되는 가상의 버튼을 클릭하는 터치 스크린 형태로 구현될 수도 있다. 또한, 인터페이스부(120)는 사용자가 복잡한 구동을 보다 쉽게 수행할 수 있도록 매크로 값이 지정되어 있는 하나 이상의 단축키가 더 포함될 수 있다.
촬영부(130)는 소정의 피사체를 촬영하여 사진 또는 동영상을 생성한다. 촬영부(130)는 카메라렌즈 및 아날로그 디지털 컨버터를 포함하고, 사용자의 조작에 따라 카메라 렌즈로 인입하는 촬영대상에 대한 영상을 전기적인 신호로 변환하여 사진 또는 동영상 포맷의 영상을 생성하는 기능을 수행한다.
출력부(140)는 동영상을 화면상에 표시하는 역할을 수행한다. 출력부(140)는 동영상 편집 장치(100)의 구동시 각종 데이터를 표시하는 기능을 수행한다. 또한 출력부(140)는 촬영부(130)가 현재 촬영하고 있는 피사체와, 사용자의 조작에 따라 저장부(150)에 저장되어 있는 사진 및 동영상을 재생할 수 있다. 사용자는 동영상 편집시 출력부(140)상에 표시된 객체의 영역을 지정하여 편집 대상 객체를 설정할 수 있다. 이러한 출력부(140)는 LCD, OLED 등 소형 평판 디스플레이장치로 구현되는 것이 바람직하며, 전술한 인터페이스부(120)와 겹쳐 터치 스크린 형태로 구현될 수 있다.
저장부(150)는 동영상 편집 장치(100)에서 이용되는 각종 데이터를 저장하는 기능을 수행하는 메모리 장치이다. 특히, 저장부(150)는 촬영부(130)가 생성한 동영상을 저장해 두었다가, 사용자가 동영상 편집 작업을 수행하려고 하면 편집툴상에 저장된 동영상을 제공한다.
동영상 재생부(160)는 촬영부(130)에 의해 촬영된 동영상을 재생하는 역할을 수행한다. 즉, 동영상 재생부(160)는 저장부(150)에 저장된 하나 이상의 동영상 중, 사용자가 선택한 동영상을 해당 코덱에 맞게 디코딩하여 출렬부(140)를 통해 재생하는 기능을 수행한다. 이를 위해, 동영상 재생부(160)는 AVI 포맷의 동영상 파일 뿐만 아니라, MPEG, MPEG2, MPEG4, WMV, H.264 및 DIVX 등의 다양한 포맷의 동영상 파일을 디코딩할 수 있는 디코더를 포함할 수 있다.
객체 설정부(170)는 동영상 편집 애플리케이션을 구동시켜, 사용자의 조작에 따라 편집 대상 동영상 또는 기 저장된 다른 영상(정지영상 또는 동영상을 포함함)에서 편집 대상 객체를 설정하고, 그 편집 대상 객체의 편집 정보를 설정한다.
즉, 사용자가 저장부(150)에 저장된 동영상중에서 편집을 원하는 동영상을 선택하고, 그 선택된 동영상에서 편집 대상 객체 및 그 편집 대상 객체의 편집 정보를 입력하면, 객체 설정부(170)는 편집 대상 객체 및 그 편집 대상 객체의 편집 정보를 저장한다. 또한, 사용자는 동영상 촬영전에 저장부(150)에 저장된 정지영상 또는 다른 동영상을 이용하여 편집 대상 객체 및 그 편집 대상 객체의 편집 정보를 설정할 수 있다. 동영상 촬영전에 편집 대상 객체 및 편집 정보를 설정하면, 동영상 촬영과 동시에 촬영중인 동영상에서 상기 편집 대상 객체를 상기 편집 정보에 따라 자동으로 편집할 수 있다.
객체 설정부(170)는 동영상 편집 애플리케이션의 실행 후, 편집 대상 동영상 또는 다른 영상에서 객체의 태깅 또는 객체 포함 영역의 드래그가 감지된 경우, 상기 태깅된 객체 또는 드래그된 영역에 포함된 객체를 편집 대상 객체로 설정한다. 즉, 사용자가 저장부(150)에 저장된 동영상 중에서 편집을 원하는 동영상을 선택하고, 그 편집 대상 동영상의 프레임에서 편집을 원하는 인물, 사물 등의 객체를 선택 및 태깅하면, 객체 설정부(170)는 상기 태깅된 객체를 편집 대상 객체로 설정한다.
또한, 사용자가 저장부(150)에 저장된 동영상 중에서 편집을 원하는 동영상을 선택하고, 그 편집 대상 동영상의 프레임에서 편집을 원하는 인물, 사물 등을 포함하는 일부 영역을 드래그하면, 객체 설정부(170)는 화면상에서 드래그된 영역의 좌표를 판단하고, 그 영역에 포함된 인물 또는 사물의 객체를 인식하여, 그 인식된 객체를 편집 대상 객체로 설정한다. 즉, 객체 설정부(170)는 출력부(140)상에 현재 표시되는 프레임에서 사용자가 사각형 또는 원형 등과 같은 영역 지정 방식으로 일 영역을 선택하면, 그 선택된 영역에 포함된 객체를 편집 대상 객체로 설정한다. 예를 들어, 특정 인물의 얼굴에 있는 "안경"을 선택한 경우, 객체 설정부(170)는 '안경'을 편집 대상 객체로 설정할 수 있다.
상기와 같이 편집 대상 객체를 설정한 후, 객체 설정부(170)는 편집 대상 객체를 편집할 방법에 대한 편집 정보를 입력받아 그 편집 대상 객체와 함께 저장한다. 예를 들어, 동영상에서 편집 대상 객체를 잘라내기 원하는 경우, 사용자는 '잘라내기'를 편집 정보로 설정할 수 있다. 또한, 편집 대상 객체에 부가 정보를 입력하기 원하는 경우, 사용자는 부가정보를 입력하여 그 편집 대상 객체와 링크가 설정되도록 편집 정보를 설정할 수 있다.
동영상 편집부(180)는 기 저장된 편집 대상 동영상 또는 촬영중인 동영상에서 편집 대상 객체를 추적하고, 그 추적된 편집 대상 객체를 기 설정된 편집 정보에 따라 자동으로 편집한다.
즉, 저장부(150)에 저장된 편집 대상 동영상에서 편집 대상 객체 및 편집 정보를 설정한 경우, 동영상 편집부(180)는 편집 대상 동영상에서 편집 대상 객체를 검출 및 추적하고, 그 추적된 편집 대상 객체를 상기 편집 정보에 따라 자동으로 편집하여, 원 동영상과는 별개로 편집된 동영상을 생성한다.
또한, 편집을 원하는 동영상 촬영 전에, 기 저장된 정지영상 또는 다른 동영상을 이용하여 편집 대상 객체 및 편집 정보를 설정한 경우, 동영상 편집부(180)는 촬영부(130)에 의해 촬영되고 있는 동영상에서 편집 대상 객체를 검출 및 추적하고, 상기 편집 대상 객체를 상기 편집 정보에 따라 자동으로 편집한다. 이때, 촬영부(130)에 의해 촬영되고 있는 동영상은 저장부(150)에 저장됨과 동시에 동영상 편집부(180)에 의해 자동으로 편집되어 촬영 동영상과는 별개로 편집된 동영상이 생성된다. 이를 통해 사용자는 사용자 단말을 이용하여 동영상 촬영과 편집을 동시에 수행할 수 있다.
상기와 같은 역할을 수행하는 동영상 편집부(180)는 객체 추적모듈(182)과 동영상 편집 모듈(184)을 포함한다.
객체 추적 모듈(182)은 편집 대상 동영상 또는 촬영 중인 동영상에서 객체 설정부(170)에서 설정된 편집 대상 객체를 추적하는 역할을 수행한다.
객체 추적 모듈(182)은 소정의 알고리즘을 통해 동영상 내의 객체이동을 추적하는 기능을 수행한다. 이때, 객체 추적 모듈(182)은 Meanshift 알고리즘을 이용하여 객체를 추적하는 데, 먼저 색상공간 양자화를 통해 계산속도를 향상시키고, 가중 히스토그램을 계산한 후 유사성을 이용하여 다음 객체의 위치를 계산한다. 이후, 그 위치로 객체가 이동했다고 가정 후 다시 객체의 위치가 수렴할 때까지 계산을 반복하여 객체의 이동을 추적한다.
또한, 객체 추적 모듈(182)은 블록 기반의 추적 방식, 특징 기반의 추적 방식 등을 이용하여 객체 설정부(170)에서 설정된 편집 대상 객체를 추적할 수 있다.
또한, 객체 추적 모듈(182)은 각각의 객체 유형별로 특징 추출 함수를 다르게 적용하여 편집 대상 객체를 추적할 수 있다. 객체 추적 모듈(182)은 객체 유형별로 해당 객체를 인식하기 위한 특징 데이터 및 알고리즘(객체 검출/인식 등에 대한 알고리즘)을 다르게 적용하기 위하여 객체별로 특징 데이터 및 특징 추출 알고리즘의 종류를 기억함으로써 정확히 객체 인식을 가능하게 한다. 예컨대, 사물인식과 얼굴 인식의 경우에 대하여 특징 데이터 및 알고리즘을 동일하게 적용하면 인식 자체가 불가능한 경우가 발생할 수 있다. 따라서 객체 유형에 따라 서로 다른 알고리즘과 서로 다른 특징 데이터가 적용되는 것이 바람직하다. 여기서, 객체 유형은 사람얼굴, 동물 얼굴, 의류 등을 포함할 수 있다. 따라서, 객체 추적 모듈(182)은 편집 대상 객체가 얼굴 객체 또는 비얼굴 객체 중 어느 하나에 속하는지에 따라 객체 검색/추적 관련 알고리즘을 다르게 적용할 수 있다.
예를 들어, 얼굴 검출 및 추적의 경우, 객체 추적 모듈(182)은 동영상의 프레임에서 사람의 얼굴 영역을 추출하고, 얼굴의 특징 벡터를 비교하여 동일 인물 여부를 판단하는 것이다. 객체는 그 객체 유형마다 특징 벡터(특징 데이터)가 서로 다르기 때문에 객체 검출/인식을 위한 알고리즘을 객체 유형별로 다르게 적용하는 것이 바람직하다. 특히, 얼굴의 경우에는 다른 유형의 객체(예를 들어, "자동차", "꽃병", "손", "의류" 등과 같은 비얼굴 객체)와는 다른 특성이 존재하는바, 적어도 얼굴과 비얼굴 객체로는 구분하여 서로 다른 알고리즘을 적용하는 것이 바람직하다.
비얼굴 검출 및 추적의 경우, 객체 추적 모듈(182)은 미리 저장되어 있는 객체의 특징 벡터나 사용자의 인터랙티브에 의해 추출된 객체의 특징 벡터를 이용하여, 비디오 샷 혹은 장면의 대표 프레임에서 동일 객체를 찾는다. 한편, 객체 추적 모듈(182)은 추출된 특징 벡터의 비교를 통하여 비교 대상의 두 객체가 동일한 객체인지 여부를 판단한다.
동영상 편집 모듈(184)은 객체 추적 모듈(182)에 의해 추적된 편집 대상 객체를 객체 설정부(170)에서 설정된 편집 정보에 따라 자동으로 편집한다. 즉, 동영상 편집 모듈(184)은 객체 추적 모듈(182)에서 추적된 편집 대상 객체를 잘라내기, 부가 정보 입력 등의 편집을 수행할 수 있다.
예를 들어, 특정 동영상에서 편집 대상 객체의 '잘라내기'를 편집 정보로 설정한 경우, 동영상 편집 모듈(184)은 추적된 편집 대상 객체를 그 동영상에서 자동으로 잘라낼 수 있다. 이때, 동영상 편집 모듈(184)은 편집 대상 객체가 포함된 프레임을 잘라내거나, 편집 대상 객체가 포함된 프레임에서 편집 대상 객체만을 잘라낼 수 있다. 또한, 편집 대상 객체에 부가 정보 입력이 편집 정보로 설정된 경우, 동영상 편집 모듈(184)은 편집 대상 객체와 매핑된 부가정보를 그 편집 대상 객체의 일정 영역에 삽입 또는 그 편집 대상 객체에 링크를 설정한다. 여기서, 부가정보에는 객체가 인물일 경우 이름, 전화번호, 이메일 주소 및 촬영날짜 등의 정보 포함할 수 있다. 또한, 객체가 상품일 경우 품명, 제조사, 사양, 구입방법 및 구입절차를 수행할 수 있는 웹 사이트 링크주소를 포함할 수 있다. 또한, 객체가 특정 지역일 경우 지역명, 위치 및 지역홍보 정보를 포함할 수 있다.
상기와 같은 동영상 편집 장치(100)는 사용자 단말일 수 있다. 예를 들면, 노트북, 이동통신 단말, 스마트폰(Smart phone), PMP(Portable Media Player), PDA(Personal Digital Assistant), 타블렛 PC(Tablet PC), 셋탑박스(Set-top box), 스마트 TV 등 다양한 장치가 될 수 있다.
도 2는 본 발명의 일 실시예에 따른 동영상 편집 장치가 객체 기반 동영상을 편집하는 방법을 나타낸 흐름도이다.
도 2를 참조하면, 동영상 편집 장치는 구비된 촬영부를 통해 동영상을 촬영하고(S202), 동영상 촬영 완료 후, 동영상 편집 애플리케이션을 실행시켜 상기 동영상에서 편집 대상 객체 및 그 편집 대상 객체의 편집 정보를 설정한다(S204). 이때, 사용자는 동영상에서 편집을 원하는 객체를 선택 및 태깅하여 편집 대상 객체로 설정할 수 있다. 또한, 사용자가 동영상에서 편집을 원하는 객체를 포함하는 영역을 드래그하여 선택하면, 동영상 편집 장치는 그 영역에 포함된 객체를 편집 대상 객체로 설정할 수 있다. 상기와 같이 편집 대상 객체를 설정한 후, 사용자는 편집 대상 객체를 편집할 방법에 대한 편집 정보를 함께 입력할 수 있다. 예를 들어, 동영상에서 편집 대상 객체를 잘라내기 원하는 경우, 사용자는 잘라내기를 편집 정보로 설정할 수 있다. 또한, 편집 대상 객체에 부가 정보를 입력하기 원하는 경우, 사용자는 부가정보를 입력하여 그 편집 대상 객체와 링크가 설정되도록 편집 정보를 설정할 수 있다.
단계 S204가 수행되면, 동영상 편집 장치는 상기 촬영된 동영상에서 편집 대상 객체를 검출 및 추적하고(S206), 상기 추적된 편집 대상 객체를 상기 편집 정보에 따라 자동으로 편집한다(S208). 예를 들어, 편집 대상 객체에 설정된 편집 정보가 편집 대상 객체 잘라내기인 경우, 동영상 편집 장치는 동영상에서 편집 대상 객체를 자동으로 잘라내는 편집을 수행한다.
상기와 같이 동영상이 편집되면, 동영상 편집 장치는 촬영된 동영상과는 별개로 편집된 동영상을 생성하여 저장한다(S210). 편집된 동영상은 다른 사용자 단말로 전송될 수 있고, 커뮤니케이션 서비스 장치에 업로드 될 수 있다.
동영상 편집 장치는 편집 대상 동영상에서 편집 대상 객체 및 편집 정보가 설정되면, 그 동영상에서 편집 대상 객체를 추적하고, 추적된 편집 대상 객체를 편집 정보에 따라 자동으로 편집하여, 원본 동영상과는 별개로 편집된 동영상을 생성할 수 있다.
도 3은 본 발명의 다른 실시예에 따른 객체 기반 동영상 편집 방법을 나타낸 흐름도이다.
도 3을 참조하면, 사용자는 동영상 촬영 전에 기 저장된 정지 영상 또는 다른 동영상에서 편집을 원하는 객체를 선택하여, 편집 대상 객체 및 그 편집 대상 객체의 편집 정보를 설정한다(S302).
단계 302의 수행 후, 동영상 편집 장치가 동영상을 촬영하면(S304), 동영상 편집 장치는 촬영중인 동영상에서 편집 대상 객체를 추적하고(S306), 상기 추적된 편집 대상 객체를 상기 편집 정보에 따라 자동으로 편집한다(S308).
단계 S308이 수행되면, 동영상 편집 장치는 원본 동영상과 편집된 동영상을 동시에 생성하여 저장한다(S310).
상기와 같이 동영상 편집 장치는 동영상 촬영 전에 편집 대상 객체 및 편집 정보를 설정하면, 동영상의 촬영과 동시에 편집 대상 객체를 포함하는 장면을 편집 정보에 따라 자동으로 편집하여, 촬영된 동영상과 편집된 동영상을 함께 생성할 수 있다.
한편, 본 발명의 다른 측면에 따르면, (a) 동영상 편집 애플리케이션을 구동시켜, 사용자의 조작에 따라 기 저장된 편집 대상 동영상 또는 다른 영상에서 편집 대상 객체와 그 편집 대상 객체의 편집 정보를 설정하는 단계, (b) 상기 편집 대상 동영상 또는 촬영중인 동영상에서 상기 편집 대상 객체를 추적하고, 상기 추적된 편집 대상 객체를 상기 편집 정보에 따라 자동으로 편집하는 단계를 포함하는 객체 기반 동영상 편집 방법이 프로그램으로 기록된 전자장치에서 판독 가능한 기록매체가 제공된다.
이러한 객체 기반 동영상 편집 방법은 프로그램으로 작성 가능하며, 프로그램을 구성하는 코드들 및 코드 세그먼트들은 당해 분야의 프로그래머에 의하여 용이하게 추론될 수 있다. 또한, 객체 기반 동영상 편집 방법에 관한 프로그램은 전자장치가 읽을 수 있는 정보저장매체(Readable Media)에 저장되고, 전자장치에 의하여 읽혀지고 실행될 수 있다.
이와 같이, 본 발명이 속하는 기술분야의 당업자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
본 발명은 기 저장된 동영상에서 편집 대상 객체 및 편집 정보를 설정하면, 그 동영상에서 편집 대상 객체를 추적하고, 추적된 편집 대상 객체를 편집 정보에 따라 자동으로 편집하여, 원본 동영상과는 별개로 편집된 동영상을 생성할 수 있을 뿐 아니라, 동영상 촬영 전에 편집 대상 객체 및 편집 정보를 설정하면, 동영상의 촬영과 동시에 편집 대상 객체를 포함하는 장면을 편집 정보에 따라 자동으로 편집하여, 촬영된 동영상과 편집된 동영상을 함께 생성할 수 있는 객체 기반 동영상 편집 장치 및 방법에 적용될 수 있다.
100 : 동영상 편집 장치 110 : 통신부
120 : 인터페이스부 130 : 촬영부
140 : 출력부 150 : 저장부
160 : 동영상 재생부 170 : 객체 설정부
180 : 동영상 편집부 182 : 객체 추적 모듈
184 : 동영상 편집 모듈

Claims (9)

  1. 동영상을 촬영하는 촬영부;
    동영상 편집 애플리케이션을 구동시켜, 사용자의 조작에 따라 기 저장된 편집 대상 동영상 또는 다른 영상에서 편집 대상 객체와 그 편집 대상 객체의 편집 정보를 설정하는 객체 설정부; 및
    상기 편집 대상 동영상 또는 촬영중인 동영상에서 상기 편집 대상 객체를 추적하고, 상기 추적된 편집 대상 객체를 상기 편집 정보에 따라 자동으로 편집하는 동영상 편집부;
    를 포함하는 객체 기반 동영상 편집 장치.
  2. 제1항에 있어서,
    상기 객체 설정부는 상기 편집 대상 동영상 또는 다른 영상에서 객체의 태깅 또는 객체 포함 영역의 드래그가 감지된 경우, 상기 태깅된 객체 또는 드래그된 영역에 포함된 객체를 편집 대상 객체로 설정하는 것을 특징으로 하는 객체 기반 동영상 편집 장치.
  3. 제1항에 있어서,
    상기 편집 정보는 편집 대상 객체의 잘라내기, 편집 대상 객체에 부가 정보 입력을 포함하는 것을 특징으로 하는 객체 기반 동영상 편집 장치.
  4. 제1항에 있어서,
    상기 동영상 편집부는,
    상기 편집 대상 동영상 또는 촬영중인 동영상에서 블록 기반의 추적 방식 또는 특징 기반의 추적 방식을 이용하여 상기 편집 대상 객체를 추적하는 객체 추적 모듈; 및
    상기 편집 대상 동영상 또는 촬영중인 동영상에서 상기 객체 추적 모듈에 의해 추적된 편집 대상 객체를 상기 편집 정보에 따라 자동으로 편집하는 동영상 편집 모듈을 포함하는 것을 특징으로 하는 객체 기반 동영상 편집 장치.
  5. 동영상 편집 장치가 객체 기반 동영상을 편집하는 방법에 있어서,
    (a) 동영상 편집 애플리케이션을 구동시켜, 사용자의 조작에 따라 기 저장된 편집 대상 동영상 또는 다른 영상에서 편집 대상 객체와 그 편집 대상 객체의 편집 정보를 설정하는 단계; 및
    (b) 상기 편집 대상 동영상 또는 촬영중인 동영상에서 상기 편집 대상 객체를 추적하고, 상기 추적된 편집 대상 객체를 상기 편집 정보에 따라 자동으로 편집하는 단계;
    를 포함하는 객체 기반 동영상 편집 방법.
  6. 제5항에 있어서,
    상기 (a) 단계는,
    상기 편집 대상 동영상 또는 기 저장된 다른 영상에서 객체의 태깅 또는 객체 포함 영역의 드래그가 감지된 경우, 상기 태깅된 객체 또는 드래그된 영역에 포함된 객체를 편집 대상 객체로 설정하는 것을 특징으로 하는 객체 기반 동영상 편집 방법.
  7. 제5항에 있어서,
    상기 (b) 단계는,
    상기 편집 대상 동영상에서 블록 기반의 추적 방식 또는 특징 기반의 추적 방식을 이용하여 상기 편집 대상 객체를 추적하는 단계; 및
    상기 편집 대상 동영상에서 상기 추적된 편집 대상 객체를 상기 편집 정보에 따라 자동으로 편집하는 단계를 포함하는 것을 특징으로 하는 객체 기반 동영상 편집 방법.
  8. 제5항에 있어서,
    상기 (b) 단계는,
    촬영부를 통해 동영상을 촬영하는 단계; 및
    상기 촬영중인 동영상에서 블록 기반의 추적 방식 또는 특징 기반의 추적 방식을 이용하여 상기 편집 대상 객체를 추적하고, 상기 추적된 편집 대상 객체를 상기 편집 정보에 따라 자동으로 편집하여, 원본 동영상과 편집된 동영상을 동시에 생성하는 단계를 포함하는 것을 특징으로 하는 객체 기반 동영상 편집 방법.
  9. (a) 동영상 편집 애플리케이션을 구동시켜, 사용자의 조작에 따라 기 저장된 편집 대상 동영상 또는 다른 영상에서 편집 대상 객체와 그 편집 대상 객체의 편집 정보를 설정하는 단계; 및
    (b) 상기 편집 대상 동영상 또는 촬영중인 동영상에서 상기 편집 대상 객체를 추적하고, 상기 추적된 편집 대상 객체를 상기 편집 정보에 따라 자동으로 편집하는 단계를 포함하는 객체 기반 동영상 편집 방법이 프로그램으로 기록된 전자장치에서 판독 가능한 기록매체.
KR1020120099769A 2012-09-10 2012-09-10 객체 기반 동영상 편집 장치 및 방법 KR101947553B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120099769A KR101947553B1 (ko) 2012-09-10 2012-09-10 객체 기반 동영상 편집 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120099769A KR101947553B1 (ko) 2012-09-10 2012-09-10 객체 기반 동영상 편집 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20140033667A true KR20140033667A (ko) 2014-03-19
KR101947553B1 KR101947553B1 (ko) 2019-02-13

Family

ID=50644436

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120099769A KR101947553B1 (ko) 2012-09-10 2012-09-10 객체 기반 동영상 편집 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101947553B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102231163B1 (ko) * 2020-12-02 2021-03-23 주식회사 고원태스튜디오 영상 편집을 위한 전자 장치 및 그 동작 방법
KR102521905B1 (ko) 2022-11-28 2023-04-17 (주)비디오몬스터 영상 자동 편집 및 편집 영상과 동기화된 지도 서비스 제공 시스템 및 그 방법

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220107860A (ko) * 2021-01-26 2022-08-02 삼성전자주식회사 화면 캡쳐를 수행하는 전자 장치 및 전자 장치에서 화면을 캡쳐하는 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102231163B1 (ko) * 2020-12-02 2021-03-23 주식회사 고원태스튜디오 영상 편집을 위한 전자 장치 및 그 동작 방법
KR102521905B1 (ko) 2022-11-28 2023-04-17 (주)비디오몬스터 영상 자동 편집 및 편집 영상과 동기화된 지도 서비스 제공 시스템 및 그 방법

Also Published As

Publication number Publication date
KR101947553B1 (ko) 2019-02-13

Similar Documents

Publication Publication Date Title
WO2022001593A1 (zh) 视频生成方法、装置、存储介质及计算机设备
KR102290419B1 (ko) 디지털 컨텐츠의 시각적 내용 분석을 통해 포토 스토리를 생성하는 방법 및 장치
CN113709561B (zh) 视频剪辑方法、装置、设备及存储介质
US10410679B2 (en) Producing video bits for space time video summary
US9779775B2 (en) Automatic generation of compilation videos from an original video based on metadata associated with the original video
TWI253860B (en) Method for generating a slide show of an image
KR100827846B1 (ko) 동영상에 포함된 특정 인물을 검색하여 원하는 시점부터재생하기 위한 방법 및 시스템
US9047376B2 (en) Augmenting video with facial recognition
JP5106271B2 (ja) 画像処理装置、画像処理方法、及びコンピュータプログラム
CN113010703B (zh) 一种信息推荐方法、装置、电子设备和存储介质
US20220172476A1 (en) Video similarity detection method, apparatus, and device
US20210117471A1 (en) Method and system for automatically generating a video from an online product representation
KR20090093904A (ko) 장면 변화에 강인한 멀티미디어 영상 분석 장치 및 그 방법과, 그를 이용한 객체 기반 멀티미디어 편집 시스템
KR102072022B1 (ko) 관심영역 기반의 영상요약 장치와 그를 위한 컴퓨터로 읽을 수 있는 기록 매체
US9378768B2 (en) Methods and systems for media file management
KR101123370B1 (ko) 휴대단말용 객체기반 콘텐츠 제공방법 및 장치
WO2020052062A1 (zh) 检测方法和装置
WO2014065033A1 (ja) 類似画像検索装置
CN111583348A (zh) 图像数据编码方法及装置、显示方法及装置、电子设备
KR101947553B1 (ko) 객체 기반 동영상 편집 장치 및 방법
US10924637B2 (en) Playback method, playback device and computer-readable storage medium
CN106936830B (zh) 一种多媒体数据的播放方法和装置
US20230419997A1 (en) Automatic Non-Linear Editing Style Transfer
Ram et al. Video Analysis and Repackaging for Distance Education
US20240031655A1 (en) Video Playback Method, Terminal Device, Apparatus, System, and Storage Medium

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant