KR102231163B1 - 영상 편집을 위한 전자 장치 및 그 동작 방법 - Google Patents

영상 편집을 위한 전자 장치 및 그 동작 방법 Download PDF

Info

Publication number
KR102231163B1
KR102231163B1 KR1020200166861A KR20200166861A KR102231163B1 KR 102231163 B1 KR102231163 B1 KR 102231163B1 KR 1020200166861 A KR1020200166861 A KR 1020200166861A KR 20200166861 A KR20200166861 A KR 20200166861A KR 102231163 B1 KR102231163 B1 KR 102231163B1
Authority
KR
South Korea
Prior art keywords
effect
image
electronic device
edited
applying
Prior art date
Application number
KR1020200166861A
Other languages
English (en)
Inventor
고원태
Original Assignee
주식회사 고원태스튜디오
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 고원태스튜디오 filed Critical 주식회사 고원태스튜디오
Priority to KR1020200166861A priority Critical patent/KR102231163B1/ko
Application granted granted Critical
Publication of KR102231163B1 publication Critical patent/KR102231163B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47205—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for manipulating displayed content, e.g. interacting with MPEG-4 objects, editing locally
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47217—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for controlling playback functions for recorded or on-demand content, e.g. using progress bars, mode or play-point indicators or bookmarks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Computer Security & Cryptography (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 출원의 일 실시예에 따르면, 전자 장치의 동작 방법으로서, 편집될 영상을 획득하는 단계;를 포함하고, 상기 영상은 외부 서버로부터 수신되거나 또는 상기 전자 장치의 촬영 장치를 이용하여 획득되고, 상기 편집될 영상에 포함되는 복수의 프레임 이미지들 중 특정 시점의 편집될 특정 프레임 이미지에 대한 선택을 수신하는 단계; 상기 선택된 특정 프레임 이미지와 연관된 편집될 복수의 대상들을 식별하는 단계;를 포함하고, 상기 편집될 복수의 대상들은 상기 특정 프레임 이미지의 적어도 하나의 영역 또는 상기 특정 프레임 이미지와 연관된 오디오를 포함하고, 상기 복수의 대상들 중 편집될 일 대상에 대한 선택을 수신하는 단계; 상기 전자 장치의 메모리에 저장된 복수의 효과들 중 상기 선택된 일 대상에 대한 제 1 효과를 식별하고, 식별된 제 1 효과를 상기 일 대상에 자동으로 적용하여 프리뷰 이미지를 제공하는 단계; 및 상기 프리뷰 이미지 상에서 수신되는 사용자의 입력에 기반하여, 상기 복수의 프레임 이미지들 중 상기 특정 프레임 이미지와는 다른 나머지 프레임 이미지들에 상기 선택된 제 1 효과를 적용하여 영상을 생성하는 단계;를 포함하는, 동작 방법이 제공된다. 그 밖의 다양한 실시예가 가능하다.

Description

영상 편집을 위한 전자 장치 및 그 동작 방법{ELECTRONIC DEVICE FOR EDITING A VIDEO AND METHOD FOR OPERATING THEREOF}
본 출원은 영상 편집을 위한 전자 장치 및 그 동작 방법에 관한 것이다.
영상 편집이란 영상을 기획 의도와 상황 문맥에 맞게 효과적으로 전달하기 위해 의미 있는 세부 장면을 선택하고 특정 세부 장면에 여러 가지 시각적, 청각적 효과를 적용하는 하는 것을 말한다. 촬영 또는 일련의 영상 생성 과정을 통해 획득된 영상들은 영상 편집이라는 과정을 통해서 비로소 생명력을 지닌 완성태가 될 수 있다.
그러나 종래의 영상 편집들은 영상 편집에 능한 영상 편집 숙련자들에 의해 수행되는 경우에 더 효과적으로 수행될 수 있었다. 영상 편집 숙련자들은 현재 영상에서 편집될 대상들(또는, 포인트)들을 효과적으로 캐치해내고, 캐치한 대상들에 적절한 효과들을 적용할 수 있다. 그러나, 영상 편집 미숙련자들은 이러한 편집될 대상들을 포착할 능력과 적절한 효과를 적용하기 위한 능력이 부족할 수 있다. 다시 말해, 영상 편집을 수행하는 자들(예: 숙련자들과 미숙련자들)의 숙련도 차이에 기인하여 영상 편집의 결과물의 완성도가 현저하게 차이날 수 있다.
근래 각종 매체의 발달로 영상에 대한 수요가 증대되고 있는 실정이다. 영상 편집에 역량이 부족한 사용자들을 위해, 효과적으로 스마트하게 영상 편집 기능을 제공하는 기술의 구현이 필요하다.
본 출원의 일 실시예에 따르면, 일 과제는 획득된 영상으로부터 편집될 대상들을 자동으로 식별하고 편집될 대상들에 적용될 효과 기능들을 제공함으로써, 영상 편집 미숙련자의 편집 편의성을 향상시키는 전자 장치 및 동작 방법을 제공하는 것에 있다.
본 출원의 일 실시예에 따르면, 다른 과제는 획득된 영상에 적용될 효과가 선택되는 경우, 선택된 효과와 연관도가 높은 다른 효과들도 자동으로 영상에 적용하여 영상 편집 미숙련자의 편집 편의성을 향상시킬 뿐만 아니라 영상 편집에 소요되는 전자 장치의 운용 부담을 저감하는 전자 장치 및 동작 방법을 제공하는 것에 있다.
본 출원의 일 실시예에 따르면, 또 다른 과제는 사용자 데이터에 기반하여 효과 레벨을 선택하여 영상 편집 미숙련자의 편집 편의성을 향상시킬 뿐만 아니라 영상 편집에 소요되는 전자 장치의 운용 부담을 저감하는 전자 장치 및 동작 방법을 제공하는 것에 있다.
본 출원이 해결하고자 하는 과제가 상술한 과제로 제한되는 것은 아니며, 언급되지 아니한 과제들은 본 명세서 및 첨부된 도면으로부터 본 출원이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 출원의 일 실시예에 따르면, 전자 장치의 동작 방법으로서, 편집될 영상을 획득하는 단계;를 포함하고, 상기 영상은 외부 서버로부터 수신되거나 또는 상기 전자 장치의 촬영 장치를 이용하여 획득되고, 상기 편집될 영상에 포함되는 복수의 프레임 이미지들 중 특정 시점의 편집될 특정 프레임 이미지에 대한 선택을 수신하는 단계; 상기 선택된 특정 프레임 이미지와 연관된 편집될 복수의 대상들을 식별하는 단계;를 포함하고, 상기 편집될 복수의 대상들은 상기 특정 프레임 이미지의 적어도 하나의 영역 또는 상기 특정 프레임 이미지와 연관된 오디오를 포함하고, 상기 복수의 대상들 중 편집될 일 대상에 대한 선택을 수신하는 단계; 상기 전자 장치의 메모리에 저장된 복수의 효과들 중 상기 선택된 일 대상에 대한 제 1 효과를 식별하고, 식별된 제 1 효과를 상기 일 대상에 자동으로 적용하여 프리뷰 이미지를 제공하는 단계; 및 상기 프리뷰 이미지 상에서 수신되는 사용자의 입력에 기반하여, 상기 복수의 프레임 이미지들 중 상기 특정 프레임 이미지와는 다른 나머지 프레임 이미지들에 상기 선택된 제 1 효과를 적용하여 영상을 생성하는 단계;를 포함하는, 동작 방법이 제공될 수 있다.
본 출원의 일 실시예에 따르면, 전자 장치로서, 디스플레이; 적어도 하나의 프로세서;를 포함하고, 상기 적어도 하나의 프로세서는: 편집될 영상을 획득하고, 상기 영상은 외부 서버로부터 수신되거나 또는 상기 전자 장치의 촬영 장치를 이용하여 획득되고, 상기 편집될 영상에 포함되는 복수의 프레임 이미지들 중 특정 시점의 편집될 특정 프레임 이미지에 대한 선택을 수신하고, 상기 선택된 특정 프레임 이미지와 연관된 편집될 복수의 대상들을 식별하고, 상기 편집될 복수의 대상들은 상기 특정 프레임 이미지의 적어도 하나의 영역 또는 상기 특정 프레임 이미지와 연관된 오디오를 포함하고, 상기 복수의 대상들 중 편집될 일 대상에 대한 선택을 수신하고, 상기 전자 장치의 메모리에 저장된 복수의 효과들 중 상기 선택된 일 대상에 대한 제 1 효과를 식별하고, 식별된 제 1 효과를 상기 일 대상에 자동으로 적용하여 프리뷰 이미지를 제공하고, 상기 프리뷰 이미지 상에서 수신되는 사용자의 입력에 기반하여, 상기 복수의 프레임 이미지들 중 상기 특정 프레임 이미지와는 다른 나머지 프레임 이미지들에 상기 선택된 제 1 효과를 적용하여 영상을 생성하도록 설정된, 전자 장치가 제공될 수 있다.
과제의 해결 수단이 상술한 해결 수단들로 제한되는 것은 아니며, 언급되지 아니한 해결 수단들은 본 명세서 및 첨부된 도면으로부터 본 출원이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 출원의 일 실시예에 따르면, 전자 장치 및 동작 방법은 획득된 영상으로부터 편집될 대상들을 자동으로 식별하고 편집될 대상들에 적용될 효과 기능들을 제공함으로써, 영상 편집 미숙련자의 편집 편의성을 향상시킬 수 있다.
본 출원의 일 실시예에 따르면, 전자 장치 및 동작 방법은 획득된 영상에 적용될 효과가 선택되는 경우, 선택된 효과와 연관도가 높은 다른 효과들도 자동으로 영상에 적용하여 영상 편집 미숙련자의 편집 편의성을 향상시킬 뿐만 아니라 영상 편집에 소요되는 전자 장치의 운용 부담을 저감할 수 있다.
본 출원의 일 실시예에 따르면, 전자 장치 및 동작 방법은 사용자 데이터에 기반하여 효과 레벨을 선택하여 영상 편집 미숙련자의 편집 편의성을 향상시킬 뿐만 아니라 영상 편집에 소요되는 전자 장치의 운용 부담을 저감할 수 있다.
다양한 실시예들에 따르면, 효과가 상술한 효과로 제한되는 것은 아니며, 언급되지 아니한 효과들은 본 명세서 및 첨부된 도면으로부터 본 출원이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확히 이해될 수 있을 것이다.
도 1은 본 출원의 일 실시예에 따른 스마트 영상 편집 시스템에 포함된 장치들의 일 예를 설명하기 위한 도면이다.
도 2는 본 출원의 일 실시예에 따른 서버의 일 예를 나타내는 블록도이다.
도 3은 본 출원의 일 실시예에 따른 전자 장치의 일 예를 나타내는 블록도이다.
도 4는 본 출원의 일 실시예에 따른 전자 장치의 동작의 일 예를 설명하기 위한 흐름도이다.
도 5는 본 출원의 일 실시예에 따른 전자 장치의 영상 편집 모듈을 이용한 영상으로부터 자동으로 편집될 대상들을 인식하고 효과를 자동으로 적용하는 동작의 일 예를 설명하기 위한 흐름도이다.
도 6은 본 출원의 일 실시예에 따른 전자 장치의 영상 편집 모듈을 선택된 효과를 영상의 나머지 부분들(예: 영상의 다른 프레임 이미지들)에 적용하는 동작의 일 예를 설명하기 위한 흐름도이다.
도 7은 본 출원의 일 실시예에 따른 전자 장치의 동작의 다른 예를 설명하기 위한 흐름도이다.
도 8은 본 출원의 일 실시예에 따른 전자 장치의 선택된 효과가 포함되는 종류의 다른 효과들을 영상에 자동으로 적용하는 동작의 일 예를 설명하기 위한 도면이다.
도 9는 본 출원의 일 실시예에 따른 전자 장치의 선택된 효과가 포함되는 종류의 다른 효과들을 영상에 자동으로 적용하는 동작의 다른 예를 설명하기 위한 도면이다.
도 10은 본 출원의 일 실시예에 따른 전자 장치의 동작의 다른 예를 설명하기 위한 흐름도이다.
도 11은 본 출원의 일 실시예에 따른 전자 장치의 사용자 데이터에 기반하여 선택된 효과의 효과 정도를 적용하는 동작의 일 예를 설명하기 위한 도면이다.
본 출원의 일 실시예에 따르면, 전자 장치의 동작 방법으로서, 편집될 영상을 획득하는 단계;를 포함하고, 상기 영상은 외부 서버로부터 수신되거나 또는 상기 전자 장치의 촬영 장치를 이용하여 획득되고, 상기 편집될 영상에 포함되는 복수의 프레임 이미지들 중 특정 시점의 편집될 특정 프레임 이미지에 대한 선택을 수신하는 단계; 상기 선택된 특정 프레임 이미지와 연관된 편집될 복수의 대상들을 식별하는 단계;를 포함하고, 상기 편집될 복수의 대상들은 상기 특정 프레임 이미지의 적어도 하나의 영역 또는 상기 특정 프레임 이미지와 연관된 오디오를 포함하고, 상기 복수의 대상들 중 편집될 일 대상에 대한 선택을 수신하는 단계; 상기 전자 장치의 메모리에 저장된 복수의 효과들 중 상기 선택된 일 대상에 대한 제 1 효과를 식별하고, 식별된 제 1 효과를 상기 일 대상에 자동으로 적용하여 프리뷰 이미지를 제공하는 단계; 및 상기 프리뷰 이미지 상에서 수신되는 사용자의 입력에 기반하여, 상기 복수의 프레임 이미지들 중 상기 특정 프레임 이미지와는 다른 나머지 프레임 이미지들에 상기 선택된 제 1 효과를 적용하여 영상을 생성하는 단계;를 포함하는, 동작 방법이 제공될 수 있다.
본 출원의 일 실시예에 따르면, 상기 편집될 대상의 종류들 별로 적용될 상기 복수의 효과들 각각을 미리 저장하는 단계;를 포함하고, 상기 복수의 효과들은 모션 블러 효과 및 줌 효과을 포함하는 시각적 효과, 볼륨 조절 효과 및 뮤트 효과와 같은 청각적 효과를 포함하고, 상기 제 1 대상이 선택됨에 기반하여, 상기 제 1 대상의 종류를 식별하는 단계; 및 상기 복수의 효과들 중 상기 제 1 대상의 종류에 대응하는 상기 제 1 효과를 선택하는 단계;를 포함하는, 동작 방법이 제공될 수 있다.
본 출원의 일 실시예에 따르면, 상기 복수의 효과들 각각은 제 1 효과 카테고리 또는 제 2 효과 카테고리에 포함되고, 상기 제 1 효과가 포함되는 제 1 효과 카테고리를 식별하는 단계;를 포함하고, 상기 제 1 효과는 모션 블러 효과이고, 상기 제 1 효과 카테고리는 시각적 효과와 연관되는, 상기 제 1 효과와 함께 상기 제 1 효과가 포함되는 상기 제 1 효과 카테고리 내의 다른 적어도 하나의 제 2 효과를 식별하는 단계;를 포함하고, 상기 다른 적어도 하나의 제 2 효과는 줌 효과를 포함하고, 상기 제 1 효과와 상기 제 2 효과를 적용하여 상기 영상을 생성하는 단계;를 포함하는, 동작 방법이 제공될 수 있다.
본 출원의 일 실시예에 따르면, 상기 적어도 하나의 제 2 효과는 제 3 효과 및 제 4 효과를 포함하고, 상기 사용자가 상기 적어도 하나의 제 2 효과를 사용한 횟수를 포함하는 사용자 데이터에 기반하여, 상기 제 3 효과의 우선 순위와 상기 제 4 효과의 우선 순위를 설정하는 단계; 및 상기 제 3 효과의 우선 순위와 상기 제 4 효과의 우선 순위에 기반하여, 상기 적어도 하나의 제 2 효과 중 우선 순위가 더 높은 제 3 효과를 선택하는 단계;를 포함하는, 동작 방법이 제공될 수 있다.
본 출원의 일 실시예에 따르면, 상기 특정 프레임 이미지로부터 식별된 상기 복수의 대상들 중 상기 식별된 제 3 효과에 대응하는 제 2 대상을 식별하는 단계; 상기 식별된 제 3 효과에 대응하는 제 2 대상이 있는 경우, 상기 제 2 대상에 상기 제 3 효과를 적용하는 단계; 및 상기 식별된 제 3 효과에 대응하는 대상이 없는 경우, 상기 제 4 효과를 상기 영상에 적용하는 단계;를 포함하는, 동작 방법이 제공될 수 있다.
본 출원의 일 실시예에 따르면, 상기 특정 프레임 이미지로부터 식별된 상기 복수의 대상들 중 상기 식별된 제 4 효과에 대응하는 제 3 대상을 식별하는 단계; 상기 식별된 제 4 효과에 대응하는 제 3 대상이 있는 경우, 상기 제 3 대상에 상기 제 4 효과를 적용하는 단계; 및 상기 식별된 제 4 효과에 대응하는 대상이 없는 경우, 상기 제 1 효과 카테고리와 연관도가 가장 높은 제 2 효과 카테고리를 식별하는 단계;를 포함하고, 상기 연관도는 상기 사용자가 상기 제 1 효과 카테고리에 포함된 상기 제 1 효과 또는 상기 적어도 하나의 제 2 효과와 함께 상기 제 2 효과 카테고리에 포함되는 효과들을 사용한 횟수에 기반해서 설정되고, 상기 제 2 효과 카테고리에 포함된 상기 효과들 중 가장 우선 순위가 높은 제 5 효과를 적용하는 단계;를 포함하는, 동작 방법이 제공될 수 있다.
본 출원의 일 실시예에 따르면, 상기 선택된 제 1 효과의 적용 시, 상기 사용자가 상기 제 1 효과의 이용시 빈번하게 사용한 제 1 효과 레벨을 식별하고, 상기 제 1 효과 레벨로 상기 제 1 효과를 적용하는 단계;를 포함하는, 동작 방법이 제공될 수 있다.
본 출원의 일 실시예에 따르면, 상기 선택된 제 1 효과가 포함되는 상기 제 1 효과 카테고리의 다른 상기 적어도 하나의 제 2 효과의 적용 시, 상기 제 1 효과 레벨로 상기 적어도 하나의 제 2 효과를 적용하는 단계;를 포함하는, 동작 방법이 제공될 수 있다.
본 출원의 일 실시예에 따르면, 상기 제 1 효과 또는 상기 적어도 하나의 제 2 효과의 상기 제 1 효과 레벨이 제 2 효과 레벨로 변경되는 경우, 나머지 효과의 효과 레벨도 상기 제 2 효과 레벨로 변경하는 단계;를 포함하는, 동작 방법이 제공될 수 있다.
본 출원의 일 실시예에 따르면, 전자 장치로서, 디스플레이; 적어도 하나의 프로세서;를 포함하고, 상기 적어도 하나의 프로세서는: 편집될 영상을 획득하고, 상기 영상은 외부 서버로부터 수신되거나 또는 상기 전자 장치의 촬영 장치를 이용하여 획득되고, 상기 편집될 영상에 포함되는 복수의 프레임 이미지들 중 특정 시점의 편집될 특정 프레임 이미지에 대한 선택을 수신하고, 상기 선택된 특정 프레임 이미지와 연관된 편집될 복수의 대상들을 식별하고, 상기 편집될 복수의 대상들은 상기 특정 프레임 이미지의 적어도 하나의 영역 또는 상기 특정 프레임 이미지와 연관된 오디오를 포함하고, 상기 복수의 대상들 중 편집될 일 대상에 대한 선택을 수신하고, 상기 전자 장치의 메모리에 저장된 복수의 효과들 중 상기 선택된 일 대상에 대한 제 1 효과를 식별하고, 식별된 제 1 효과를 상기 일 대상에 자동으로 적용하여 프리뷰 이미지를 제공하고, 상기 프리뷰 이미지 상에서 수신되는 사용자의 입력에 기반하여, 상기 복수의 프레임 이미지들 중 상기 특정 프레임 이미지와는 다른 나머지 프레임 이미지들에 상기 선택된 제 1 효과를 적용하여 영상을 생성하도록 설정된, 전자 장치가 제공될 수 있다.
본 명세서에 기재된 실시예는 본 출원이 속하는 기술 분야에서 통상의 지식을 가진 자에게 다양한 실시예들에 따르면, 사상을 명확히 설명하기 위한 것이므로, 본 출원이 본 명세서에 기재된 실시예에 의해 한정되는 것은 아니며, 다양한 실시예들에 따르면, 범위는 다양한 실시예들에 따르면, 사상을 벗어나지 아니하는 수정예 또는 변형예를 포함하는 것으로 해석되어야 한다.
본 명세서에서 사용되는 용어는 본 출원에서의 기능을 고려하여 가능한 현재 널리 사용되고 있는 일반적인 용어를 선택하였으나 이는 본 출원이 속하는 기술 분야에서 통상의 지식을 가진 자의 의도, 관례 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 다만, 이와 달리 특정한 용어를 임의의 의미로 정의하여 사용하는 경우에는 그 용어의 의미에 관하여 별도로 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는 단순한 용어의 명칭이 아닌 그 용어가 가진 실질적인 의미와 본 명세서의 전반에 걸친 내용을 토대로 해석되어야 한다.
본 명세서에 첨부된 도면은 본 출원을 용이하게 설명하기 위한 것으로 도면에 도시된 형상은 다양한 실시예들에 따르면, 이해를 돕기 위하여 필요에 따라 과장되어 표시된 것일 수 있으므로 본 출원이 도면에 의해 한정되는 것은 아니다.
본 명세서에서 본 출원에 관련된 공지의 구성 또는 기능에 대한 구체적인 설명이 다양한 실시예들에 따르면, 요지를 흐릴 수 있다고 판단되는 경우에 이에 관한 자세한 설명은 필요에 따라 생략하기로 한다.
본 문서의 다양한 실시예들 및 이에 사용된 용어들은 본 문서에 기재된 기술적 특징들을 특정한 실시예들로 한정하려는 것이 아니며, 해당 실시예의 다양한 변경, 균등물, 또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 또는 관련된 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 아이템에 대응하는 명사의 단수 형은 관련된 문맥상 명백하게 다르게 지시하지 않는 한, 상기 아이템 한 개 또는 복수 개를 포함할 수 있다. 본 문서에서, "A 또는 B", "A 및 B 중 적어도 하나","A 또는 B 중 적어도 하나,""A, B 또는 C," "A, B 및 C 중 적어도 하나,"및 "A, B, 또는 C 중 적어도 하나"와 같은 문구들 각각은 그 문구들 중 해당하는 문구에 함께 나열된 항목들 중 어느 하나, 또는 그들의 모든 가능한 조합을 포함할 수 있다. "제 1", "제 2", 또는 "첫째" 또는 "둘째"와 같은 용어들은 단순히 해당 구성요소를 다른 해당 구성요소와 구분하기 위해 사용될 수 있으며, 해당 구성요소들을 다른 측면(예: 중요성 또는 순서)에서 한정하지 않는다. 어떤(예: 제 1) 구성요소가 다른(예: 제 2) 구성요소에, "기능적으로" 또는 "통신적으로"라는 용어와 함께 또는 이런 용어 없이, "커플드" 또는 "커넥티드"라고 언급된 경우, 그것은 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로(예: 유선으로), 무선으로, 또는 제 3 구성요소를 통하여 연결될 수 있다는 것을 의미한다.
본 문서에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구현된 유닛을 포함할 수 있으며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로 등의 용어와 상호 호환적으로 사용될 수 있다. 모듈은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는, 상기 부품의 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 일실시예에 따르면, 모듈은 ASIC(application-specific integrated circuit)의 형태로 구현될 수 있다.
본 문서의 다양한 실시예들은 기기(machine) 의해 읽을 수 있는 저장 매체(storage medium)에 저장된 하나 이상의 명령어들을 포함하는 소프트웨어로서 구현될 수 있다. 예를 들면, 기기의 프로세서는, 저장 매체로부터 저장된 하나 이상의 명령어들 중 적어도 하나의 명령을 호출하고, 그것을 실행할 수 있다. 이것은 기기가 상기 호출된 적어도 하나의 명령어에 따라 적어도 하나의 기능을 수행하도록 운영되는 것을 가능하게 한다. 상기 하나 이상의 명령어들은 컴파일러에 의해 생성된 코드 또는 인터프리터에 의해 실행될 수 있는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, '비일시적'은 저장매체가 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다.
일실시예에 따르면, 본 문서에 개시된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 또는 두개의 사용자 장치들(예: 스마트폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
다양한 실시예들에 따르면, 상기 기술한 구성요소들의 각각의 구성요소(예: 모듈 또는 프로그램)는 단수 또는 복수의 개체를 포함할 수 있다. 다양한 실시예들에 따르면, 전술한 해당 구성요소들 중 하나 이상의 구성요소들 또는 동작들이 생략되거나, 또는 하나 이상의 다른 구성요소들 또는 동작들이 추가될 수 있다. 대체적으로 또는 추가적으로, 복수의 구성요소들(예: 모듈 또는 프로그램)은 하나의 구성요소로 통합될 수 있다. 이런 경우, 통합된 구성요소는 상기 복수의 구성요소들 각각의 구성요소의 하나 이상의 기능들을 상기 통합 이전에 상기 복수의 구성요소들 중 해당 구성요소에 의해 수행되는 것과 동일 또는 유사하게 수행할 수 있다. 다양한 실시예들에 따르면, 모듈, 프로그램 또는 다른 구성요소에 의해 수행되는 동작들은 순차적으로, 병렬적으로, 반복적으로, 또는 휴리스틱하게 실행되거나, 상기 동작들 중 하나 이상이 다른 순서로 실행되거나, 생략되거나, 또는 하나 이상의 다른 동작들이 추가될 수 있다.
1. 스마트 영상 편집 시스템
이하에서는 본 출원의 일 실시예에 따른 스마트 영상 편집 시스템에 대해서 설명한다.
본 명세서에서 스마트 영상 편집 시스템은 편집될 영상(예: 사용자에 의해 촬영된 영상, 또는 외부로부터 제공 및/또는 다운로드 받은 영상)을 획득하고 획득된 영상에 대한 자동 편집 기능(예: 모션 블러(motion blur) 효과 적용, 줌(zoom) 효과 적용, 슬로우 모션 효과 적용, 뮤트(mute) 적용 등)을 제공하는 시스템으로 정의될 수 있다. 스마트 영상 편집 시스템은 획득된 영상 내에 포함된 복수의 프레임 이미지들 중 현재 편집될 특정 프레임 이미지로부터 편집될 대상들(예: 프레임 이미지 내의 관심 영역(예: ROI(region of interest)), 소리)을 자동으로 인식하고, 인식된 대상들 별로 적용될 효과들을 제공함으로써 영상 편집의 편의성을 향상시킬 수 있다. 또, 스마트 영상 편집 시스템은 적용될 효과들을 제공할 시 사용자 데이터(예: 사용자의 영상 편집 이력)로부터 검출되는 효과 적용 정도(또는, 레벨)를 기반으로 적절하게 효과를 자동으로 적용하여 영상 편집의 편의성을 향상시킬 수 있다.
이하에서는 스마트 영상 편집 시스템에 대해서 더 구체적으로 설명한다.
2. 스마트 영상 편집 시스템의 구성
도 1은 본 출원의 일 실시예에 따른 스마트 영상 편집 시스템에 포함된 장치들의 일 예를 설명하기 위한 도면이다. 한편, 스마트 영상 편집 시스템은 구현 목적에 따라서 시스템 타입(system type) 또는 온 디바이스 타입(on-device type)으로 구현될 수 있으므로, 이에 대해서는 "2.3 목차"에서 후술한다.
도 1을 참조하면, 스마트 영상 편집 시스템은 서버(100), 전자 장치(200), 및 외부 서버(300)를 포함할 수 있다.
본 출원의 일 실시예에 따르면, 서버(100)는 스마트 영상 편집 기능을 제공하도록 구현된 프로그램 내지는 모듈(이하, 영상 편집 모듈(예: 도 3의 260))을 영상 편집을 수행하는 사용자들의 전자 장치(200)로 제공할 수 있다. 서버(100)는 서버(100)로 접속되는 전자 장치(200)들을 인증하고, 전자 장치(200)로부터 상기 영상 편집 모듈(예: 도 3의 260)을 다운로드 받기 위한 요청을 수신하는 경우 전자 장치(200)로 영상 편집 모듈(예: 도 3의 260)을 제공할 수 있다.
본 출원의 일 실시예에 따르면, 전자 장치(200)는 상기 서버(100)와 통신 가능하며 사용자(예: 영상 편집자)가 이용 가능한 다양한 종류의 전자 장치(201, 202, 203)를 포함할 수 있다. 상기 전자 장치는 개인용 단말들(예: 스마트 폰(201) 등), 고정된 위치에 구비되는 전자 장치들(예: PC(202) 등), 이동 가능한 개인용 노트 북(203)을 포함할 수 있다. 예를 들어, 상기 전자 장치(200)는 편집될 영상(예: 사용자에 의해 촬영된 영상, 또는 외부로부터 제공 및/또는 다운로드 받은 영상)을 획득하고, 서버(100)로부터 다운로드된 상기 영상 편집 모듈(예: 도 3의 260)을 이용하여 획득된 영상을 자동으로 편집하는 기능을 수행할 수 있다.
본 출원의 일 실시예에 따르면, 외부 서버(300)는 전자 장치(100)로 편집될 각종 영상을 제공할 수 있다. 예를 들어, 상기 영상은 광고 영상, 스포츠 경기 영상, 영화 등과 같은 각종 실사 영상, 모션 그래픽 영상, 전시 영상, 행사 스케치 영상 등의 다양한 종류의 영상을 포함할 수 있다. 외부 서버(300)는 도 1에 도시된 바와 같이 서버(100)를 경유하여 전자 장치(200)로 상기 각종 영상들을 전자 장치(200)로 제공하거나, 또는 전자 장치(200)로 직접 통신 연결을 설정하여 각종 영상들을 전자 장치(200)로 제공할 수도 있다.
한편, 도 1에 도시된 스마트 영상 편집 시스템에 포함된 장치들에 국한되지 않고, 광고시스템은 더 많은 장치들 또는 더 적은 장치를 포함하도록 구현될 수도 있다.
2.1. 서버(100)의 구성들의 일 예
이하에서는 서버(100)의 동작을 수행하기 위한 구성들의 일 예에 대해서 설명한다.
도 2는 본 출원의 일 실시예에 따른 서버(100)의 일 예를 나타내는 블록도이다. 한편 도 2에 도시된 바에 국한되지 않고, 서버(100)는 도시된 구성들 보다 더 적은 구성 또는 더 많은 구성들을 포함할 수 있다. 예를 들어, 후술될 전자 장치(200)에 포함된 사용자 데이터를 저장하는 메모리(270)를 더 포함하며, 서버(100)에서 직접 사용자 데이터를 기반으로 영상 편집 기능을 제공하는 동작을 수행하도록 서버(100)가 구현될 수 있다.
한편, 이하에서 설명되는 서버(100)의 제 1 제어 회로(120)에 포함되는 모듈들(예: 인테페이스 제공 모듈(121) 등)은 상기 제 1 제어 회로(120)가 모듈과 연관된 동작을 수행하도록 제어할 수 있다. 다시 말해, 상기 모듈들은 상기 모듈과 연관된 동작을 수행하도록 제어하기 위한 프로그램, 컴퓨터 판독 가능한 코드, 프로세스 내지는 인스트럭션(instructions)들로 구현되며, 상기 모듈들이 상기 제 1 제어 회로(120)에 의해 실행되는 경우, 상기 제어 회로(120)가 상기 모듈과 연관된 동작을 수행하도록 제어할 수 있다.
도 2를 참조하면, 일 실시예에 따르면 서버(100)는 제 1 통신 회로(110), 인터페이스 제공 모듈(121)을 포함하는 제 1 제어 회로(120), 및 데이터 베이스(130)를 포함할 수 있다.
상기 제 1 통신 회로(120)는 외부 기기와 통신할 수 있다. 예를 들면, 제 1 통신 회로(120)는 무선 통신 또는 유선 통신을 통해서 네트워크에 연결되어 외부 장치(예: 외부 서버(300) 또는 전자 장치(200))와 통신을 설정하여 소정의 정보를 송신 및/또는 수신할 수 있다. 상기 무선 통신은, 예를 들면, LTE, LTE-A(LTE Advance), CDMA(code division multiple access), WCDMA(wideband CDMA), UMTS(universal mobile telecommunications system), WiBro(Wireless Broadband), 또는 GSM(Global System for Mobile Communications) 등 중 적어도 하나를 사용하는 셀룰러 통신을 포함할 수 있다. 한 실시예에 따르면, 무선 통신은, 예를 들면, WiFi(wireless fidelity), 블루투스, 블루투스 저전력(BLE), 지그비(Zigbee), NFC(near field communication), 자력 시큐어 트랜스미션(Magnetic Secure Transmission), 라디오 프리퀀시(RF), 또는 보디 에어리어 네트워크(BAN) 중 적어도 하나를 포함할 수 있다. 한실시예에 따르면, 무선 통신은 GNSS를 포함할 수 있다. GNSS는, 예를 들면, GPS(Global Positioning System), Glonass(Global Navigation Satellite System), Beidou Navigation Satellite System(이하 "Beidou") 또는 Galileo, the European global satellite-based navigation system일 수 있다. 이하, 본 문서에서는, "GPS"는 "GNSS"와 상호 호환적으로 사용될 수 있다. 유선 통신은, 예를 들면, USB(universal serial bus), HDMI(high definition multimedia interface), RS-232(recommended standard232), 전력선 통신, 또는 POTS(plain old telephone service) 등 중 적어도 하나를 포함할 수 있다. 네트워크(162)는 텔레커뮤니케이션 네트워크, 예를 들면, 컴퓨터 네트워크(예: LAN 또는 WAN), 인터넷, 또는 텔레폰 네트워크 중 적어도 하나를 포함할 수 있다.
상기 제 1 제어 회로(120)는 서버(100)의 전반적인 동작을 제어할 수 있다. 이를 위해 제 1 제어 회로(120)는 각종 정보의 연산 및 처리를 수행하고 서버(100)의 구성 요소들(예: 제 1 통신 회로(110))의 동작을 제어할 수 있다. 제 1 제어 회로(120)는 하드웨어, 소프트웨어, 또는 이들의 조합에 따라 컴퓨터나 이와 유사한 장치로 구현될 수 있다. 하드웨어적으로 상기 제 1 제어 회로(120)는 전기적인 신호를 처리하여 제어 기능을 수행하는 전자 회로 형태(예: CPU 등)로 제공될 수 있으며, 소프트웨어적으로는 하드웨어적인 상기 제 1 제어 회로(120)를 구동시키는 프로그램 형태로 제공될 수 있다. 한편, 이하의 설명에서 특별한 언급이 없는 경우에는 서버(100)의 동작은 상기 제 1 제어 회로(120)의 제어에 의해 수행되는 것으로 해석될 수 있다.
상기 제 1 제어 회로(120)는 인터페이스 제공 모듈(121)을 포함하며, 인터페이스 제공 모듈(121)은 상기 서버(100)로 접속되는 전자 장치들(예: 200)로 서버(100)를 이용하기 위한 인터페이스를 제공할 수 있다. 이때, 인터페이스 제공 모듈(121)은 메모리에 저장된 사용자와 연관된 다양한 부가 정보(예: 계정 정보)를 기반으로 접속된 사용자(예: 관리자)의 전자 장치(200)를 인증하고, 인증이 완료되는 경우에 상기 서버(100)의 데이터 베이스(130)d에 저장된 영상 편집 모듈을 제공하도록 제어할 수 있다.
상기 데이터베이스(130)는 각종 정보(예: 전자 장치(200)로 제공할 영상 편집 기능을 제공하도록 구현된 영상 편집 모듈 등)를 저장할 수 있다. 데이터베이스는 데이터를 임시적으로 또는 반영구적으로 저장할 수 있다. 예를 들어, 서버(100)의 데이터베이스(130)에는 서버(100)를 구동하기 위한 운용 프로그램(OS: Operating System), 웹 사이트를 호스팅하기 위한 데이터나 프로그램 내지는 어플리케이션(예를 들어, 웹 어플리케이션)에 관한 데이터 등이 저장될 수 있다. 상기 데이터베이스(125)의 예로는 하드 디스크(HDD: Hard Disk Drive), SSD(Solid State Drive), 플래쉬 메모리(flash memory), 롬(ROM: Read-Only Memory), 램(RAM: Random Access Memory) 등이 있을 수 있다. 이러한 데이터베이스는 내장 타입 또는 탈부착 가능한 타입으로 제공될 수 있다.
2.2 전자 장치(200)의 구성의 일 예
이하에서는 전자 장치(200)의 구성의 일 예에 대해서 설명한다.
도 3은 본 출원의 일 실시예에 따른 전자 장치(200)의 일 예를 나타내는 블록도이다. 한편 도 3에 도시된 바에 국한되지 않고, 전자 장치(200)는 도시된 구성들 보다 더 적은 구성 또는 더 많은 구성들을 포함할 수 있다.
도 3을 참조하면, 일 실시예에 따르면 전자 장치(200)는 제 2 통신 회로(210), 제 2 제어 회로(220), 입력 장치(230), 디스플레이(240), 촬영 장치(250), 영상 획득 모듈(261), 편집 대상 인식 모듈(262), 및 효과 적용 모듈(263)을 포함하는 영상 편집 모듈(260), 및 사용자 데이터를 저장하는 메모리(270)를 포함할 수 있다.
상기 제 2 통신 회로(210)는 외부 장치들(예: 서버(100))과 통신을 설정할 수 있다. 상기 제 2 통신 회로(220)는 서버(100)와 통신 연결을 설정하여 접속하고, 상기 서버(100)(예: 인터페이스 제공 모듈(121))로부터 영상 편집 모듈(260)을 수신 및/또는 다운로드할 수 있다. 상기 제 2 통신 회로(220)는 상술한 서버(100)의 제 1 통신 회로(110)와 같이 구현될 수 있으므로 중복되는 설명은 생략한다.
상기 제 2 제어 회로(220)는 전자 장치(200)의 전반적인 동작을 제어할 수 있다. 상기 제 2 제어 회로(220)는 상기 전자 장치(200)의 제 1 제어 회로(120)와 같이 구현될 수 있으므로, 중복되는 설명은 생략한다.
상기 입력 장치(230)는 사용자(예: 영상 편집자)로부터 정보를 입력(예: 터치 수신 등) 받을 수 있다. 상기 입력 장치(230)는 사용자 입력을 받거나 또는 사용자에게 정보를 출력하는 각종 인터페이스나 연결 포트 등일 수 있다. 상기 입력 모듈은 사용자로부터 사용자 입력을 수신한다. 사용자 입력은 키 입력, 터치 입력, 음성 입력을 비롯한 다양한 형태로 이루어질 수 있다. 이러한 사용자 입력을 받을 수 있는 입력 모듈의 예로는 전통적인 형태의 키패드나 키보드, 마우스는 물론, 사용자의 터치를 감지하는 터치 센서, 음성 신호를 입력받는 마이크, 영상 인식을 통해 제스처 등을 인식하는 카메라, 사용자 접근을 감지하는 조도 센서나 적외선 센서 등으로 구성되는 근접 센서, 가속도 센서나 자이로 센서 등을 통해 사용자 동작을 인식하는 모션 센서 및 그 외의 다양한 형태의 사용자 입력을 감지하거나 입력받는 다양한 형태의 입력 수단을 모두 포함하는 포괄적인 개념이다. 여기서, 터치 센서는 디스플레이 패널에 부착되는 터치 패널이나 터치 필름을 통해 터치를 감지하는 압전식 또는 정전식 터치 센서, 광학적인 방식에 의해 터치를 감지하는 광학식 터치 센서 등으로 구현될 수 있다. 이 경우, 상기 입력 장치(230)는 후술할 디스플레이(240) 내에 구현되어 사용자의 터치 입력을 수신할 수 있다. 다시 말해, 디스플레이(240)는, 상기 입력 장치(230)로서 터치 스크린을 포함할 수 있으며, 예를 들면, 전자 펜 또는 사용자의 신체의 일부를 이용한 터치, 제스쳐, 근접, 또는 호버링 입력을 수신할 수 있다. 이외에도 상기 입력 장치(230)는 자체적으로 사용자 입력을 감지하는 장치 대신 사용자 입력을 입력받는 외부의 입력 장치를 연결시키는 입력 인터페이스(USB 포트, PS/2 포트 등)의 형태로 구현될 수도 있다.
상기 디스플레이(240)는 액정 디스플레이(LCD), 발광 다이오드(LED) 디스플레이, 유기 발광 다이오드(OLED) 디스플레이, 또는 마이크로 전자기계 시스템 (MEMS) 디스플레이, 또는 전자종이(electronic paper) 디스플레이를 포함할 수 있다. 상기 디스플레이(240)는, 토픽 작성을 위한 인터페이스를 표시하고, 인터페이스 상에 추천 문장을 표시할 수 있다.
상기 촬영 장치(250)는 영상을 촬영할 수 있다. 촬영 장치(250)는 CCD(Charge-Coupled Device) 또는 CMOS(Complimentary Metal Oxide Semiconductor)로 구성되는 복수의 이미지 센서들을 포함하며, 촬영 시 수광하여 수광 량을 픽셀 별로 전기적인 정보로 변환하여 촬영을 수행할 수 있다.
이하에서는 영상 편집 모듈(260)에 대해서 설명한다. 전술한 바와 같이 모듈은 상기 모듈과 연관된 동작을 수행하도록 제어하기 위한 프로그램, 컴퓨터 판독 가능한 코드, 프로세스 내지는 인스트럭션(instructions)들로 구현되며, 상기 모듈들이 상기 제 1 제어 회로(120)에 의해 실행되는 경우, 상기 제어 회로(120)가 상기 모듈과 연관된 동작을 수행하도록 제어할 수 있다.
상기 영상 편집 모듈(260)은 전자 장치(200)에서 편집될 영상에 대한 편집 기능을 제공할 수 있다. 예를 들어, 영상 편집 모듈(260)에 포함된 영상 획득 모듈(261)은 전자 장치(200)에 포함된 촬영 장치(250)를 이용하여 영상을 획득하도록 하거나 또는 외부 서버(300)로부터 다양한 종류의 영상들(예: 광고 영상, 스포츠 경기 영상, 영화 등과 같은 각종 실사 영상, 모션 그래픽 영상, 전시 영상, 행사 스케치 영상 등의 다양한 종류의 영상)을 다운로드하도록 할 수 있다. 영상 편집 모듈(260)에 포함된 편집 대상 인식 모듈(262)은 영상 내에 편집될 대상들(예: 영상 내의 영역(예: ROI), 영상 내의 특정 대상, 소리 등)을 자동으로 인식할 수 있다. 예를 들어, 후술하겠으나 영상 편집 모듈(260)은 영상에 포함된 복수의 프레임 이미지들 중 일 프레임 이미지로부터 편집될 대상으로서 관심 영역을 추출할 수 있다. 영상 편집 모듈(260)에 포함된 효과 적용 모듈(263)은 편집 대상 인식 모듈(262)에 의해 인식된 영상 편집될 대상들 각각에 적용 가능한 효과들을 제공할 수 있다. 예를 들어, 효과 적용 모듈(263)은 편집될 대상들의 종류에 대응하는 종류(또는 카테고리)의 효과(예: 시각적 효과, 청각적 효과 등)를 제공할 수 있다. 영상 편집 모듈(260)에 기반한 전자 장치(200)의 영상 편집 기능 제공 동작에 대해서는 "3. 목차"에서 상세하게 기술하므로 여기서 구체적인 설명은 생략한다.
상기 메모리(270)는 전자 장치(200)의 사용자(예: 영상 편집자)와 연관된 사용자 데이터를 저장할 수 있다. 예를 들어, 상기 사용자 데이터는 사용자가 선택한 효과 종류와 선택한 효과 정도(또는 레벨)에 대한 히스토리(또는 이력) 정보를 저장할 수 있다. 상기 메모리(270)는 상기 전자 장치(200)의 데이터베이스(130)와 같이 구현될 수 있으므로, 중복되는 설명은 생략한다.
2.3. 스마트 영상 편집 시스템의 구현 예
스마트 영상 편집 시스템은 상술한 바와 같이 시스템 타입 또는 온 디바이스 타입으로 구현될 수 있다.
일 실시예에 따르면 상술한 바와 같이 스마트 영상 편집 시스템이 서버(100) 및 전자 장치(200)로 구성되는 경우, 스마트 영상 편집 시스템은 시스템 타입으로 정의될 수 있다. 다시 말해, 시스템 타입의 영상 편집 모듈의 제공은 일 구성(예: 서버(100))에서 수행되고, 영상 편집 기능은 다른 구성(예: 전자 장치(200))에서 수행되는 타입의 시스템일 수 있다. 이 경우, 서버(100)는 영상 편집을 위한 영상 편집 모듈(260)을 전자 장치(200)로 제공하고, 전자 장치(200)는 영상 편집 모듈(260)을 이용하여 영상 편집 기능을 제공할 수 있다.
또 일 실시예에 따르면\, 상술한 구성들이 하나의 물리적 장치에 구현되는 경우, 스마트 영상 편집 시스템은 온 디바이스(On-device) 타입으로 정의될 수 있다. 예를 들어, 서버(100)의 구성들이 전자 장치(200)에 구현 가능하며, 이 경우 스마트 영상 편집 시스템은 온 디바이스(On-device)타입으로 정의될 수 있다. 이 경우, 서버(100)가 자체적으로 영상 편집 기능을 제공하며, 전자 장치(200)로 제 1 통신 회로(110)를 통해 영상 편집 결과물을 제공할 수도 있다.
3. 스마트 영상 편집 시스템의 동작
이하에서는 스마트 영상 편집 시스템을 구성하는 장치들(예: 서버(100), 전자 장치(200), 및 외부 서버(300))의 동작의 다양한 예들에 대해서 설명한다.
3.1. 제 1 실시예 <자동 편집 대상 인식 및 인식 대상에 대한 효과 적용 기능 제공 동작>
일 실시예에 따르면, 전자 장치(200)는 다양한 종류의 영상들(예: 광고 영상, 스포츠 경기 영상, 영화 등과 같은 각종 실사 영상, 모션 그래픽 영상, 전시 영상, 행사 스케치 영상 등)을 획득하고, 상술한 영상 편집 모듈(260)을 이용하여 영상에 대한 자동 편집 기능을 제공할 수 있다. 상기 자동 편집 기능은 영상으로부터 편집될 대상을 자동으로 인식하는 기능 및 인식된 대상들에 적용 가능한 효과들을 자동으로 적용하여 제공하는 기능을 포함할 수 있다.
도 4는 본 출원의 일 실시예에 따른 전자 장치(200)의 동작의 일 예를 설명하기 위한 흐름도이다. 다양한 실시예들에 따르면 전자 장치(200)의 동작은 도 4에 도시되는 동작의 순서에 국한되지 않고, 도시되는 순서와 다른 순서로 수행될 수 있다. 또한, 다양한 실시예들에 따르면, 도 4에 도시되는 전자 장치(200)의 동작 보다 더 많은 동작들이 수행되거나, 또는 더 적은 적어도 하나의 동작이 수행될 수도 있다. 이하에서는 도 5 내지 6을 참조하여 도 4에 대해서 설명한다.
도 5는 본 출원의 일 실시예에 따른 전자 장치(200)의 영상 편집 모듈(260)을 이용한 영상으로부터 자동으로 편집될 대상들을 인식하고 효과를 자동으로 적용하는 동작의 일 예를 설명하기 위한 흐름도이다. 도 6은 본 출원의 일 실시예에 따른 전자 장치(200)의 영상 편집 모듈(260)을 선택된 효과를 영상의 나머지 부분들(예: 영상의 다른 프레임 이미지들)에 적용하는 동작의 일 예를 설명하기 위한 흐름도이다.
일 실시예에 따르면, 전자 장치(200)는 401 동작에서 편집될 영상을 획득할 수 있다. 예를 들어, 전자 장치(200)는 도 5의 501에 도시된 바와 같이 전자 장치(200)에 포함된 촬영 장치(250)를 이용하여 영상(512)을 획득(또는 촬영(capture))하도록 하거나 또는 외부 서버(300)로부터 다양한 종류의 영상들(예: 광고 영상, 스포츠 경기 영상, 영화 등과 같은 각종 실사 영상, 모션 그래픽 영상, 전시 영상, 행사 스케치 영상 등의 다양한 종류의 영상)(511)을 다운로드할 수 있다. 상기 영상의 종류는 기재된 바에 국한되지 않고 다양한 종류의 영상을 더 포함할 수 있다. 설명의 편의를 위해 스포츠 영상(예: 골프 영상)을 예로 들어 설명하나, 이하에서 기술되는 영상 편집 동작들은 스포츠 영상이 아닌 다른 종류의 영상들에 대한 영상 편집 동작들에도 준용될 수 있다.
일 실시예에 따르면, 전자 장치(200)는 402 동작에서 영상 편집 모듈을 이용하여 획득된 영상으로부터 자동으로 편집될 복수의 대상들을 식별할 수 있다. 예를 들어, 전자 장치(200)는 도 5의 502에 도시된 바와 같이 영상 편집 모듈의 실행과 함께 영상이 표시되는 편집 인터페이스를 표시할 수 있다. 상기 편집 인터페이스는 영상(예: 512)에 포함된 복수의 프레임 이미지들(예: 제 1 프레임 이미지(521), 제 2 프레임 이미지(522), 제 3 프레임 이미지(523))을 포함할 수 있다. 전자 장치(200)는 상기 편집 인터페이스 상에서 편집될 특정 시점(예: t1)을 선택하기 위한 사용자의 입력을 수신하고, 수신된 사용자 입력에 기반하여 복수의 프레임 이미지들(예: 521, 522, 523) 중 특정 시점에 대응하는 프레임 이미지(521)를 선택할 수 있다. 전자 장치(200)는 영상 편집 모듈을 이용하여 선택된 프레임 이미지(521)로부터 자동으로 편집될 대상들(예: 도 5의 502에 도시된 제 1 대상(524), 제 2 대상(525), 제 3 대상(526))을 식별할 수 있다. 상기 대상들은 특정 프레임 이미지의 특정 부분 또는 특정 프레임 이미지의 재생 시 출력되는 소리(또는, 오디오)를 포함할 수 있다. 이하에서는 전자 장치(200)의 편집될 대상들을 인식하는 동작에 대해서 기술한다.
일 실시예에 따르면 상기 편집될 대상들은 시각적인 대상들(예: 제 1 대상(524), 제 3 대상(526))을 포함할 수 있다. 예를 들어, 전자 장치(200)는 특정 프레임 이미지(521)와 특정 프레임 이미지(521) 이전 또는 이후 프레임 이미지를 비교하여 픽셀 변화량이 지정된 임계 값 보다 높은 영역을 추출하고, 추출된 픽셀 변화량이 높은 영역(예: 제 1 대상(524))을 편집될 영역으로 자동으로 식별할 수 있다. 또 예를 들어, 전자 장치(200)는 특정 프레임 이미지(521)로부터 관심 영역(예: ROI)(예: 제 3 대상(526))을 추출하고, 상기 관심 영역을 편집될 영역으로 자동으로 식별할 수 있다. 기재된 바에 국한되지 않고, 전자 장치(200)는 특정 프레임 이미지(521) 내의 사용자의 입력이 수신되는 부분도 편집될 대상으로 인식할 수도 있다.
또 일 실시예에 따르면 상기 편집될 대상들은 청각적인 대상들을 포함할 수 있다. 예를 들어, 전자 장치(200)는 선택된 특정 프레임 이미지(524)의 재생 시점(예: t1)에 대응하는 오디오(예: 제 2 대상(525))를 편집될 대상으로 인식할 수 있다.
상기 기재된 바에 국한되지 않고, 영상 내의 다양한 종류의 편집될 대상들이 자동으로 인식될 수도 있다.
일 실시예에 따르면, 전자 장치(200)는 403 동작에서 복수의 대상들 별로 적용될 효과에 대한 정보를 제공할 수 있다. 예를 들어, 전자 장치(200)는 도 5으이 502에 도시된 바와 같이 인식된 편집될 대상들(예: 524, 525, 526)에 대한 정보 제공을 위해, 인식된 편집될 대상들(예: 524, 525, 526)의 각각의 인접한 위치에 알림(예: "!")을 표시할 수 있다. 전자 장치(200)는 도 5의 503에 도시된 바와 같이 사용자로부터 편집될 대상(예: 제 1 대상(524))을 선택하기 위한 사용자의 입력(527)을 수신할 수 있다. 전자 장치(200)는 도 5의 504에 도시된 바와 같이 편집될 대상(예: 제 1 대상(524))에 적용될 효과(예: 모션 블러 효과)(531)를 적용하여 프리뷰로서 표시할 수 있다. 예를 들어, 전자 장치(200)는 편집될 대상들의 종류들 별로 적용될 효과를 미리 저장할 수 있다. 일 예로, 전자 장치(200)는 편집될 대상이 픽셀 변화량이 임계값 보다 높은 영역인 경우 모션 블러 효과를 적용하는 것으로 미리 저장하고, 편집될 대상이 관심 영역인 경우 줌(zoom) 효과를 적용하는 것으로 미리 저장하고, 편집될 대상이 오디오인 경우 볼륨 업 또는 뮤트 효과와 같은 오디오 편집 효과를 적용하는 것으로 미리 저장할 수 있다. 전자 장치(200)는 복수의 효과들 중 선택된 편집될 대상에 대응하는 효과를 식별하고, 프리뷰 이미지 상에 편집될 대상에 식별된 효과를 적용하여 제공할 수 있다. 한편, 사용자의 선택에 따라서 모션 블러 효과를 적용하는 예만을 설명하였으나 다른 효과들을 적용하는 예들에도 상술한 사항들 및 이하에서 기술되는 사항들이 준용될 수 있다.
일 실시예에 따르면 전자 장치(200)는 특정 프레임 이미지(521)에 적용된 효과(예: 모션 블러 효과)(531)를 영상 내의 다른 프레임 이미지들(예: 522, 523)에도 모두 자동으로 적용할 수 있다. 예를 들어, 전자 장치(200)는 특정 프레임 이미지에 적용된 효과(예: 모션 블러 효과)(531)에 대한 사용자의 승인 입력을 수신(예: 프리뷰 이미지 상에서 적용 버튼 선택 수신)할 수 있다. 예를 들어, 전자 장치(200)는 도 6의 601에 도시된 바와 같이 특정 프레임 이미지(521)에서 선택된 편집될 대상(예: 제 1 대상(521))에 대응하는 대상들을 다른 프레임 이미지들(예: 522, 523)로부터 식별할 수 있다. 전자 장치(200)는 식별된 다른 프레임 이미지들(예: 522, 523)로부터 식별된 대상들 각각에 특정 프레임 이미지(521)에 적용된 효과(예: 모션 블러 효과)를 적용(예: 611, 612)하여 프리뷰 이미지로서 제공할 수 있다. 이후, 전자 장치(200)는 도 6의 602에 도시된 바와 같이 사용자로부터 나머지 프레임 이미지들 중(예: 522, 523) 적어도 하나의 프레임 이미지(예: 523)에 적용된 효과를 제거하기 위한 사용자 입력(621)을 수신하는 경우, 해당 프레임 이미지(예: 523)에 적용된 효과를 제거할 수 있다.
일 실시예에 따르면, 전자 장치(200)는 404 동작에서 선택된 효과를 적용하여 편집된 영상을 생성할 수 있다. 예를 들어, 전자 장치(200)는 상술한 편집 기능 제공 및 사용자의 입력에 따라서 프레임 이미지들(예: 521, 522)에 효과가 적용된 편집된 영상(603)을 생성할 수 있다.
3.2 제 2 실시예 <선택된 효과가 포함되는 종류의 효과들을 자동으로 모두 적용하는 동작>
전술한 스마트 영상 편집 시스템의 동작들은 제 2 실시예에 준용될 수 있으므로, 중복되는 설명은 생략한다.
일 실시예에 따르면, 전자 장치(200)는 영상 편집 시 제공하는 효과들을 종류(또는 카테고리) 별로 관리하고, 사용자에 의해 선택된 효과를 적용하는 경우 같은 종류 내의 다른 효과들도 영상에 자동으로 적용함으로써 사용자의 영산 편집 편의성을 향상시킬 수 있다.
도 7은 본 출원의 일 실시예에 따른 전자 장치(200)의 동작의 다른 예를 설명하기 위한 흐름도이다. 다양한 실시예들에 따르면 전자 장치(200)의 동작은 도 7에 도시되는 동작의 순서에 국한되지 않고, 도시되는 순서와 다른 순서로 수행될 수 있다. 또한, 다양한 실시예들에 따르면, 도 7에 도시되는 전자 장치(200)의 동작 보다 더 많은 동작들이 수행되거나, 또는 더 적은 적어도 하나의 동작이 수행될 수도 있다. 이하에서는 도 8 내지 도 9를 참조하여 도 7에 대해서 설명한다.
도 8은 본 출원의 일 실시예에 따른 전자 장치(200)의 선택된 효과가 포함되는 종류의 다른 효과들을 영상에 자동으로 적용하는 동작의 일 예를 설명하기 위한 도면이다. 도 9는 본 출원의 일 실시예에 따른 전자 장치(200)의 선택된 효과가 포함되는 종류의 다른 효과들을 영상에 자동으로 적용하는 동작의 다른 예를 설명하기 위한 도면이다.
일 실시예에 따르면, 전자 장치(200)는 701 동작에서 편집될 영상을 획득할 수 있다. 예를 들어, 전자 장치(200)는 전술한 바와 같이 전자 장치(200)에 포함된 촬영 장치(250)를 이용하여 영상을 획득(또는 촬영(capture))하도록 하거나 또는 외부 서버(300)로부터 다양한 종류의 영상들(예: 광고 영상, 스포츠 경기 영상, 영화 등과 같은 각종 실사 영상, 모션 그래픽 영상, 전시 영상, 행사 스케치 영상 등의 다양한 종류의 영상)(511)을 다운로드할 수 있다. 상기 전자 장치(200)의 701 동작은 상술한 전자 장치(200)의 401 동작과 같이 수행될 수 있으므로 중복되는 설명은 생략한다.
일 실시예에 따르면, 전자 장치(200)는 702 동작에서 영상 편집 모듈을 이용하여 획득된 영상으로부터 자동으로 편집될 복수의 대상들을 식별하고, 복수의 대상들 별로 적용될 효과에 대한 정보를 제공할 수 있다. 예를 들어, 전자 장치(200)는 영상 편집 모듈을 이용하여 선택된 영상(811)에 포함된 복수의 프레임 이미지들(812, 813, 814) 중 선택된 프레임 이미지(812)로부터 자동으로 편집될 대상들(예: 도 8의 801의 제 1 대상(815), 제 2 대상(816), 제 3 대상(817))을 식별할 수 있다. 상기 대상들(예: 도 8의 801의 제 1 대상(815), 제 2 대상(816), 제 3 대상(817))은 특정 프레임 이미지의 특정 부분 또는 특정 프레임 이미지의 재생 시 출력되는 소리(또는, 오디오)를 포함할 수 있다. 상기 전자 장치(200)의 702 동작은 상술한 전자 장치(200)의 402 동작과 같이 수행될 수 있으므로 중복되는 설명은 생략한다.
일 실시예에 따르면, 전자 장치(200)는 703 동작에서 효과 선택을 수신하고 선택된 효과가 포함되는 효과 그룹을 식별하고, 704 동작에서 식별된 효과 그룹 내의 선택된 효과와 다른 효과들을 자동으로 적용할 수 있다. 예를 들어, 전자 장치는 도 8의 801에 도시된 바와 같이 편집될 대상들(예: 도 8의 801의 제 1 대상(815), 제 2 대상(816), 제 3 대상(817)) 중 적어도 하나의 대상(예: 제 1 대상(815))을 선택하기 위한 사용자의 입력(818)을 수신할 수 있다. 전자 장치(200)는 선택된 대상(예: 제 1 대상(815))에 대응하는 효과(예: 모션 블러 효과, 여기서는 A효과)를 식별하고, 도 8의 802에 도시된 바와 같이 식별된 효과(A효과)가 포함되는 카테고리를 식별할 수 있다. 상기 전자 장치(200)의 선택된 대상에 대응하는 효과를 식별하는 동작은 전자 장치(200)의 403 동작에서 기술한 바와 같이 수행될 수 있으므로 중복되는 설명은 생략한다. 이하에서는 효과들이 포함되는 효과 카테고리 및 전자 장치(200)의 선택된 효과가 포함되는 효과 카테고리의 나머지 효과들을 적용하는 동작의 예에 대해서 기술한다.
일 실시예에 따르면, 전자 장치(200)는 도 8의 802에 도시된 바와 같이 복수의 효과 카테고리들(또는, 효과 종류들) 별로 서로 다른 효과들(예: A효과, B효과, C효과, D효과, E효과)를 저장할 수 있다. 예를 들어, 제 1 효과 카테고리는 시각적 효과에 대응하는 카테고리이고, 모션 블러 효과인 A효과, 줌 효과인 B효과, 나머지 시각적 효과인 C효과를 포함하도록 관리될 수 있다. 또 예를 들어, 제 2 효과 카테고리는 청각적 효과에 대응하는 카테고리이고, 볼륨을 높이는 효과인 D효과, 뮤트 효과인 E효과를 포함할 수 있다. 상기 효과 카테고리에 대한 설명과, 효과 카테고리에 포함되는 효과들은 일 예일뿐 기재된 바에 국한되지 않고, 효과 카테고리 및 효과 카테고리에 포함되는 효과들이 구현될 수 있다. 이때, 상기 각각의 효과 카테고리에 포함되는 효과들은 서로 다른 우선 순위를 가질 수 있다. 예를 들어, 전자 장치(200)는 사용자 데이터(예: 사용자 편집 히스토리)를 기반으로 효과들 별 우선 순위를 설정할 수 있다. 예를 들어, 전자 장치(200)는 상기 사용자 데이터로부터 사용자에 의해 특정 효과가 사용자에 의해 선택된 횟수 또는 빈번도를 측정하고, 측정된 횟수 또는 빈번도에 비례하도록 효과들의 우선 순위를 설정할 수 있다. 이때, 전자 장치(200)는 현재 선택된 특정 프레임 이미지(812)에 대한 정보를 반영하여 상기 우선 순위를 더 설정할 수도 있다. 예를 들어, 전자 장치(200)는 현재 선택된 특정 프레임 이미지(812) 내의 편집될 대상들의 종류들(예: 제 1 대상(815), 제 2 대상(816), 제 3 대상(817))을 식별하고, 식별된 편집될 대상의 종류에 기반하여 상기 효과들의 우선 순위를 설정할 수 있다. 일 예로, 전자 장치(200)는 일 효과 카테고리에 포함된 효과들 중 특정 효과(예: A 효과)가 적용될 편집될 대상들의 수가 많은 경우, 특정 효과(예: A 효과)에 대한 우선 순위를 상대적으로 다른 효과들(예: B효과 및 C효과) 보다 더 높게 설정할 수 있다.
일 실시예에 따르면, 전자 장치(200)는 도 8의 802에 도시된 바와 같이 선택된 효과(A효과)가 포함되는 카테고리(예: 제 1 효과 카테고리)를 식별하고, 제 1 효과 카테고리에 포함도는 다른 효과(예: B 효과)를 식별할 수 있다. 예를 들어, 전자 장치(200)는 우선 순위에 기반하여, 상기 선택된 효과가 포함되는 효과 카테고리(예: 제 1 효과 카테고리)에 포함된 나머지 효과들(예: B효과 및 C효과) 중 우선 순위가 높은 효과(예: 줌 효과, B효과)를 식별할 수 있다. 전자 장치(200)는 도 8의 803에 도시된 바와 같이 선택된 효과(831)(예: 모션 블러 효과, A효과)의 반영과 함께 식별된 다른 효과(832)(예: 줌 효과, B효과)를 더 반영하여 프리뷰 이미지를 제공할 수 있다. 전자 장치(200)는 특정 프레임 이미지(812) 내의 편집될 대상들(예: 제 1 대상(815), 제 2 대상(816), 제 3 대상(817)) 중 식별된 다른 효과(832)(예: 줌 효과, B효과)에 대응하는 편집될 대상(예: 제 3 대상(817))을 식별하고, 해당 대상에 식별된 다른 효과(예: 줌 효과, B효과)를 적용하여 제공할 수 있다. 이때, 전자 장치(200)는 편집될 대상들(예: 제 1 대상(815), 제 2 대상(816), 제 3 대상(817)) 중 식별된 다른 효과에 대응하는 대상이 없는 경우, 후 순위의 효과(예: C 효과)를 적용할 수도 있다. 전자 장치(200)는 편집될 대상들(예: 제 1 대상(815), 제 2 대상(816), 제 3 대상(817)) 중 후 순위의 효과(예: C 효과)에 대응하는 대상이 없는 경우에는, 제 1 효과 카테고리와 연관도가 높은 다른 효과 카테고리(예: 제 2 효과 카테고리)를 식별하고, 식별된 다른 효과 카테고리에 포함된 우선 순위가 높은 효과(예: D효과)를 적용할 수도 있다. 상기 효과 카테고리 간의 연관도는 일 효과 카테고리에 포함된 효과들과 다른 효과 카테고리에 포함된 효과들이 사용자에 의해 함께 같이 사용된 횟수에 비례하도록 설정(또는 식별)될 수 있다.
일 실시예에 따르면, 전자 장치는 도 9의 901에 도시된 바와 같이 프리뷰 이미지 상에서 일 효과(832)(예: 줌 효과, B 효과)를 제거하기 위한 사용자 입력(911)을 수신하는 경우 해당 효과(832)의 적용을 제거할 수 있다. 이때, 전술한 바와 같이 전자 장치(200)는 도 9의 902를 참조하면 후 순위의 효과(예: C 효과)를 특정 프레임 이미지(812)에 적용할 수도 있다. 전자 장치(200)는 편집될 대상들(예: 제 1 대상(815), 제 2 대상(816), 제 3 대상(817)) 중 후 순위의 효과(예: C 효과)에 대응하는 대상이 없는 경우에는, 제 1 효과 카테고리와 연관도가 높은 다른 효과 카테고리(예: 제 2 효과 카테고리)를 식별하고, 식별된 다른 효과 카테고리에 포함된 우선 순위가 높은 효과(예: D효과)를 적용할 수도 있다. 상기 효과 카테고리 간의 연관도는 일 효과 카테고리에 포함된 효과들과 다른 효과 카테고리에 포함된 효과들이 사용자에 의해 함께 같이 사용된 횟수에 비례하도록 설정(또는 식별)될 수 있다.
또 도시되지 않았으나, 전술한 바와 같이 전자 장치(200)는 최종적으로 적용된 효과(예: 모션 블러 효과, A효과)를 다른 프레임 이미지들(813, 814)에 적용할 수도 있다. 이에 대한 중복되는 설명은 생략한다.
일 실시예에 따르면, 전자 장치(200)는 705 동작에서 편집된 영상을 생성할 수 있다. 예를 들어, 전자 장치(200)는 상술한 편집 기능 제공 및 사용자의 입력에 따라서 프레임 이미지들에 효과가 적용된 편집된 영상(903)을 생성할 수 있다.
3.3 제 2 실시예 <선택된 효과가 포함되는 종류의 효과들을 자동으로 모두 적용하는 동작>
전술한 스마트 영상 편집 시스템의 동작들은 제 2 실시예에 준용될 수 있으므로, 중복되는 설명은 생략한다.
일 실시예에 따르면, 전자 장치(200)는 사용자 데이터(예: 사용자 편집 히스토리)를 기반으로 영상 편집 시 제공하는 효과들의 적용 정도(또는 적용 레벨)를 자동으로 결정하고, 선택된 효과의 적용 시 결정된 적용 정도에 따라서 효과를 적용하는 편집 기능을 제공할 수 있다.
도 10은 본 출원의 일 실시예에 따른 전자 장치(200)의 동작의 다른 예를 설명하기 위한 흐름도이다. 다양한 실시예들에 따르면 전자 장치(200)의 동작은 도 10에 도시되는 동작의 순서에 국한되지 않고, 도시되는 순서와 다른 순서로 수행될 수 있다. 또한, 다양한 실시예들에 따르면, 도 10에 도시되는 전자 장치(200)의 동작 보다 더 많은 동작들이 수행되거나, 또는 더 적은 적어도 하나의 동작이 수행될 수도 있다. 이하에서는 도 11을 참조하여 도 10에 대해서 설명한다.
도 11은 본 출원의 일 실시예에 따른 전자 장치(200)의 사용자 데이터에 기반하여 선택된 효과의 효과 정도를 적용하는 동작의 일 예를 설명하기 위한 도면이다.
일 실시예에 따르면, 전자 장치(200)는 1001 동작에서 편집될 영상을 획득할 수 있다. 예를 들어, 전자 장치(200)는 전술한 바와 같이 전자 장치(200)에 포함된 촬영 장치(250)를 이용하여 영상을 획득(또는 촬영(capture))하도록 하거나 또는 외부 서버(300)로부터 다양한 종류의 영상들(예: 광고 영상, 스포츠 경기 영상, 영화 등과 같은 각종 실사 영상, 모션 그래픽 영상, 전시 영상, 행사 스케치 영상 등의 다양한 종류의 영상)(511)을 다운로드할 수 있다. 상기 전자 장치(200)의 7101 동작은 상술한 전자 장치(200)의 401 동작과 같이 수행될 수 있으므로 중복되는 설명은 생략한다.
일 실시예에 따르면, 전자 장치(200)는 1002 동작에서 영상 편집 모듈을 이용하여 획득된 영상으로부터 자동으로 편집될 복수의 대상들을 식별하고, 복수의 대상들 별로 적용될 효과에 대한 정보를 제공할 수 있다. 예를 들어, 전자 장치(200)는 영상 편집 모듈을 이용하여 선택된 영상(811)에 포함된 복수의 프레임 이미지들(1112, 1113, 1114) 중 선택된 프레임 이미지(1112)로부터 자동으로 편집될 대상들(예: 도 11의 1101의 제 1 대상(1115), 제 2 대상(1116), 제 3 대상(1117))을 식별할 수 있다. 상기 대상들(예: 도 11의 1101의 제 1 대상(1115), 제 2 대상(1116), 제 3 대상(1117))은 특정 프레임 이미지의 특정 부분 또는 특정 프레임 이미지의 재생 시 출력되는 소리(또는, 오디오)를 포함할 수 있다. 전자 장치(200)는 상기 대상들(예: 도 11의 1101의 제 1 대상(1115), 제 2 대상(1116), 제 3 대상(1117)) 중 선택된 대상(예: 제 1 대상(1115))에 적용될 대응하는 효과(예: 모션 블러 효과)를 식별할 수 있다. 상기 전자 장치(200)의 1102 동작은 상술한 전자 장치(200)의 402 동작 및 403 동작과 같이 수행될 수 있으므로 중복되는 설명은 생략한다.
일 실시예에 따르면, 전자 장치(200)는 1003 동작에서 사용자 데이터에 기반하여 제 1 레벨로 선택된 효과를 적용할 수 있다. 예를 들어, 전자 장치(200)는 도 11의 1102에 도시된 바와 같이 사용자 데이터(1121)에 기반하여 선택된 효과(예: 모션 블러 효과)의 적용 시 사용자가 가장 빈번하게 적용한 효과 정도(또는 효과 레벨)(예: Level 3)를 식별하고, 식별된 효과 레벨(예: Level 3)의 효과(1122)를 적용한 프리뷰 이미지를 제공할 수 있다. 또, 전자 장치(200)는 상기 자동으로 적용된 효과 레벨(예: Level 3)에 대한 정보를, 상기 효과(1122)가 적용된 대상(예: 제 1 대상(1115))의 인접한 위치의 프리뷰 이미지 상에 표시할 수 있다.
일 실시예에 따르면, 전자 장치(200)는 1004 동작에서 지정된 레벨을 변경하기 위한 사용자의 입력에 기반하여, 제 1 레벨을 제 2 레벨로 변경하여 선택된 효과를 적용할 수 있다. 예를 들어, 전자 장치(200)는 도 11의 1102 내지 1103에 도시된 바와 같이 상기 사용자로부터 상기 적용된 효과 레벨(예: Level 3)을 변경하기 위한 일 터치를 수신하는 경우, 상기 일 터치에 기반하여 효과 레벨을 한 단계 낮추거나(예: Level 2) 또는 한 단계 높일 수 있다. 전자 장치(200)는 변경된 효과 레벨(예: Level 2)의 효과를 프리뷰 이미지에 적용하여, 프리뷰 이미지를 갱신할 수 있다. 또, 전자 장치(200)는 도 11의 1104에 도시된 바와 같이 제 2 실시예에서 기술된 바처럼 선택된 효과(1122)(예: 모션 블러 효과)가 포함되는 효과 카테고리 내의 다른 효과(1141)(예: 줌 효과)를 적용하면서, 다른 효과(1141)(예: 줌 효과)의 효과 레벨(예: Level 2)도 동일하게 설정할 수 있다.
일 실시예에 따르면, 전자 장치(200)는 1005 동작에서 변경된 레벨로 효과 그룹 내의 나머지 효과들도 적용하여 편집된 영상을 생성할 수 있다. 예를 들어, 전자 장치(200)는 상술한 편집 기능 제공 및 사용자의 입력에 따라서 프레임 이미지들에 효과가 적용된 편집된 영상을 생성할 수 있다.

Claims (5)

  1. 전자 장치의 동작 방법으로서,
    편집될 영상을 획득하는 단계;를 포함하고, 상기 영상은 외부 서버로부터 수신되거나 또는 상기 전자 장치의 촬영 장치를 이용하여 획득되고,
    상기 편집될 영상에 포함되는 복수의 프레임 이미지들 중 특정 시점의 편집될 특정 프레임 이미지에 대한 선택을 수신하는 단계;
    상기 선택된 특정 프레임 이미지와 연관된 편집될 복수의 대상들을 식별하는 단계;를 포함하고, 상기 편집될 복수의 대상들은 상기 특정 프레임 이미지의 적어도 하나의 영역 또는 상기 특정 프레임 이미지와 연관된 오디오를 포함하고,
    상기 복수의 대상들 중 편집될 제 1 대상에 대한 선택을 수신하는 단계;
    상기 전자 장치의 메모리에 저장된 복수의 효과들 중 상기 선택된 제 1 대상에 대한 제 1 효과를 식별하고, 식별된 제 1 효과를 상기 제 1 대상에 자동으로 적용하여 프리뷰 이미지를 제공하는 단계; 및
    상기 프리뷰 이미지 상에서 수신되는 사용자의 입력에 기반하여, 상기 복수의 프레임 이미지들 중 상기 특정 프레임 이미지와는 다른 나머지 프레임 이미지들에 상기 선택된 제 1 효과를 적용하여 영상을 생성하는 단계;를 포함하고,
    편집될 대상의 종류들 별로 적용될 상기 복수의 효과들 각각을 미리 저장하는 단계;를 포함하고, 상기 복수의 효과들은 모션 블러 효과 및 줌 효과를 포함하는 시각적 효과, 볼륨 조절 효과 및 뮤트 효과와 같은 청각적 효과를 포함하고,
    상기 제 1 대상이 선택됨에 기반하여, 상기 제 1 대상의 종류를 식별하는 단계; 및
    상기 복수의 효과들 중 상기 제 1 대상의 종류에 대응하는 상기 제 1 효과를 선택하는 단계;를 포함하고,
    상기 제 1 효과가 포함되는 제 1 효과 카테고리를 식별하는 단계;를 포함하고, 상기 제 1 효과는 모션 블러 효과이고, 상기 제 1 효과 카테고리는 시각적 효과와 연관되고,
    상기 제 1 효과와 함께 상기 제 1 효과가 포함되는 상기 제 1 효과 카테고리 내의 다른 적어도 하나의 제 2 효과를 식별하는 단계;를 포함하고, 상기 다른 적어도 하나의 제 2 효과는 줌 효과를 포함하고,
    상기 제 1 효과와 상기 제 2 효과를 적용하여 상기 영상을 생성하는 단계;를 포함하고,
    상기 적어도 하나의 제 2 효과는 제 3 효과 및 제 4 효과를 포함하고,
    상기 사용자가 상기 적어도 하나의 제 2 효과를 사용한 횟수를 포함하는 사용자 데이터에 기반하여, 상기 제 3 효과의 우선 순위와 상기 제 4 효과의 우선 순위를 설정하는 단계;
    상기 제 3 효과의 우선 순위와 상기 제 4 효과의 우선 순위에 기반하여, 상기 적어도 하나의 제 2 효과 중 우선 순위가 더 높은 제 3 효과를 선택하는 단계;
    상기 특정 프레임 이미지로부터 식별된 상기 복수의 대상들 중 상기 식별된 제 3 효과에 대응하는 제 2 대상을 식별하는 단계;
    상기 식별된 제 3 효과에 대응하는 제 2 대상이 있는 경우, 상기 제 2 대상에 상기 제 3 효과를 적용하는 단계; 및
    상기 식별된 제 3 효과에 대응하는 대상이 없는 경우, 상기 제 4 효과를 상기 영상에 적용하는 단계;를 포함하고,
    상기 특정 프레임 이미지로부터 식별된 상기 복수의 대상들 중 상기 식별된 제 4 효과에 대응하는 제 3 대상을 식별하는 단계;
    상기 식별된 제 4 효과에 대응하는 제 3 대상이 있는 경우, 상기 제 3 대상에 상기 제 4 효과를 적용하는 단계; 및
    상기 식별된 제 4 효과에 대응하는 대상이 없는 경우, 상기 제 1 효과 카테고리와 연관도가 가장 높은 제 2 효과 카테고리를 식별하는 단계;를 포함하고, 상기 연관도는 상기 사용자가 상기 제 1 효과 카테고리에 포함된 상기 제 1 효과 또는 상기 적어도 하나의 제 2 효과와 함께 상기 제 2 효과 카테고리에 포함된 효과들을 사용한 횟수에 기반해서 설정되고,
    상기 제 2 효과 카테고리에 포함된 상기 효과들 중 가장 우선 순위가 높은 제 5 효과를 적용하는 단계; 및
    상기 선택된 제 1 효과의 적용 시, 상기 사용자가 상기 제 1 효과의 이용시 가장 빈번하게 사용한 제 1 효과 레벨을 식별하고, 상기 제 1 효과 레벨로 상기 제 1 효과를 적용하는 단계;를 포함하고, 상기 효과 레벨은 효과 정도를 나타내고,
    상기 선택된 제 1 효과가 포함되는 상기 제 1 효과 카테고리의 다른 상기 적어도 하나의 제 2 효과의 적용 시, 상기 제 1 효과 레벨로 상기 적어도 하나의 제 2 효과를 적용하는 단계; 및
    상기 제 1 효과 또는 상기 적어도 하나의 제 2 효과의 상기 제 1 효과 레벨이 제 2 효과 레벨로 변경되는 경우, 나머지 효과의 효과 레벨도 상기 제 2 효과 레벨로 변경하는 단계;를 포함하는,
    동작 방법.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 삭제
KR1020200166861A 2020-12-02 2020-12-02 영상 편집을 위한 전자 장치 및 그 동작 방법 KR102231163B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200166861A KR102231163B1 (ko) 2020-12-02 2020-12-02 영상 편집을 위한 전자 장치 및 그 동작 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200166861A KR102231163B1 (ko) 2020-12-02 2020-12-02 영상 편집을 위한 전자 장치 및 그 동작 방법

Publications (1)

Publication Number Publication Date
KR102231163B1 true KR102231163B1 (ko) 2021-03-23

Family

ID=75223600

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200166861A KR102231163B1 (ko) 2020-12-02 2020-12-02 영상 편집을 위한 전자 장치 및 그 동작 방법

Country Status (1)

Country Link
KR (1) KR102231163B1 (ko)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008123672A (ja) * 1998-06-12 2008-05-29 Muvee Technologies Pte Ltd 編集システム
KR20140033667A (ko) * 2012-09-10 2014-03-19 에스케이플래닛 주식회사 객체 기반 동영상 편집 장치 및 방법
US20170345459A1 (en) * 2016-05-31 2017-11-30 Dropbox, Inc. Synchronizing edits to low- and high-resolution versions of digital videos

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008123672A (ja) * 1998-06-12 2008-05-29 Muvee Technologies Pte Ltd 編集システム
KR20140033667A (ko) * 2012-09-10 2014-03-19 에스케이플래닛 주식회사 객체 기반 동영상 편집 장치 및 방법
US20170345459A1 (en) * 2016-05-31 2017-11-30 Dropbox, Inc. Synchronizing edits to low- and high-resolution versions of digital videos

Similar Documents

Publication Publication Date Title
US11604574B2 (en) Electronic device and method for electronic device displaying image
US10942574B2 (en) Apparatus and method for using blank area in screen
CN109819313B (zh) 视频处理方法、装置及存储介质
US10659684B2 (en) Apparatus and method for providing dynamic panorama function
CN104869305B (zh) 处理图像数据的方法及其装置
US11705120B2 (en) Electronic device for providing graphic data based on voice and operating method thereof
EP3131302B1 (en) Method and device for generating video content
KR102013329B1 (ko) 광학식 문자 판독기를 이용한 데이터 처리 방법 및 장치
KR102357908B1 (ko) 영상의 모자이크 처리를 위한 전자 장치 및 그 동작 방법
CN106471493B (zh) 用于管理数据的方法和装置
CN110868632B (zh) 视频处理方法、装置、存储介质及电子设备
CN110968362B (zh) 应用运行方法、装置及存储介质
KR102501713B1 (ko) 영상 표시 방법 및 그 전자장치
KR20150057707A (ko) 파일 공유 방법 및 그 전자 장치
US9633273B2 (en) Method for processing image and electronic device thereof
US20180341041A1 (en) Method and device for determining descriptive information of precipitation trend, and readable storage medium
US20180322908A1 (en) Method for giving dynamic effect to video and electronic device thereof
CN106469310B (zh) 图片中字符提取方法及装置
US10915778B2 (en) User interface framework for multi-selection and operation of non-consecutive segmented information
KR102231163B1 (ko) 영상 편집을 위한 전자 장치 및 그 동작 방법
US9538226B2 (en) Method for operating moving pictures and electronic device thereof
CN110909204A (zh) 视频发布方法、装置及电子设备
KR102176673B1 (ko) 동영상 운용 방법 및 그 전자 장치
CN110830723B (zh) 拍摄方法、装置、存储介质及移动终端
EP3826282B1 (en) Image capturing method and device

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant