KR102521905B1 - System and method for providing automatic video editing and map service synchronized with the edited video - Google Patents
System and method for providing automatic video editing and map service synchronized with the edited video Download PDFInfo
- Publication number
- KR102521905B1 KR102521905B1 KR1020220161623A KR20220161623A KR102521905B1 KR 102521905 B1 KR102521905 B1 KR 102521905B1 KR 1020220161623 A KR1020220161623 A KR 1020220161623A KR 20220161623 A KR20220161623 A KR 20220161623A KR 102521905 B1 KR102521905 B1 KR 102521905B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- video file
- file
- video
- map service
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 31
- 230000001360 synchronised effect Effects 0.000 title claims abstract description 30
- 230000007704 transition Effects 0.000 claims abstract description 46
- 238000004891 communication Methods 0.000 claims description 43
- 238000000605 extraction Methods 0.000 claims description 22
- 238000007781 pre-processing Methods 0.000 claims description 15
- 230000008451 emotion Effects 0.000 claims description 12
- 238000004458 analytical method Methods 0.000 claims description 9
- 238000003491 array Methods 0.000 claims description 5
- 230000015572 biosynthetic process Effects 0.000 claims description 3
- 230000011218 segmentation Effects 0.000 claims 1
- 238000003780 insertion Methods 0.000 abstract description 5
- 230000037431 insertion Effects 0.000 abstract description 5
- 238000002372 labelling Methods 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 13
- 230000006399 behavior Effects 0.000 description 10
- 238000010801 machine learning Methods 0.000 description 9
- 241001465754 Metazoa Species 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000012546 transfer Methods 0.000 description 4
- 238000011161 development Methods 0.000 description 3
- 238000010295 mobile communication Methods 0.000 description 3
- 241000251468 Actinopterygii Species 0.000 description 2
- 241000282472 Canis lupus familiaris Species 0.000 description 2
- 241000282326 Felis catus Species 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- VYZAMTAEIAYCRO-UHFFFAOYSA-N Chromium Chemical compound [Cr] VYZAMTAEIAYCRO-UHFFFAOYSA-N 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/85—Assembly of content; Generation of multimedia applications
- H04N21/854—Content authoring
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/27—Server based end-user applications
- H04N21/274—Storing end-user multimedia data in response to end-user request, e.g. network recorder
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
- H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
- H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
- H04N21/4508—Management of client data or end-user data
- H04N21/4524—Management of client data or end-user data involving the geographical location of the client
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
- H04N21/845—Structuring of content, e.g. decomposing content into time segments
- H04N21/8455—Structuring of content, e.g. decomposing content into time segments involving pointers to the content, e.g. pointers to the I-frames of the video stream
Abstract
Description
본 발명의 실시예는 영상 자동 편집 및 편집 영상과 동기화된 지도 서비스 제공 시스템 및 그 방법에 관한 것이다.An embodiment of the present invention relates to a system and method for automatically editing an image and providing a map service synchronized with the edited image.
일반적으로 일상 생활에서 스마트 폰 등으로 촬영한 영상들을 일반 사용자가가 하나의 동영상으로 편집을 하기는 번거로우며, 약간의 전문적인 편집 도구 사용법을 알아야 함에 따른 어려움을 느낀다. In general, it is cumbersome for ordinary users to edit videos taken with a smartphone or the like in everyday life into a single video, and it is difficult to know how to use some professional editing tools.
따라서, 자동화된 영상 편집 도구가 있어 여러 곳이나 시간에 따라 촬영한 영상을 합쳐 하나의 동영상 결과물을 자동으로 편집해서 제작하는 도구가 개발되어 사용되고 있다. Therefore, there is an automated image editing tool, and a tool for automatically editing and producing a single video result by combining images taken in various places or according to time has been developed and used.
그러나, 종래의 영상 자동 편집 도구는 대부분 단순히 영상의 시간 흐름에 따라 영상물을 배열하고, 배열된 영상물을 합쳐 놓은 결과물을 제공하고 있어, 영상 결과물이 단순하고 어색한 전개를 갖도록 편집될 수 밖에 없는 문제가 있으며, 이러한 이유로 인해 사용자로 하여금 크게 흥미나 만족도를 갖지 못한다는 단점 있다.However, most of the conventional automatic video editing tools simply arrange the video objects according to the time flow of the video and provide the result of combining the arranged video objects, so the video result can only be edited to have a simple and awkward development. For this reason, there is a disadvantage in that users do not have much interest or satisfaction.
본 발명의 실시예는, 이미지 오토 라벨링을 수행하여 시간, 장소, 객체를 기반으로 영상에 대한 라벨링을 수행하고, 머신러닝 기술을 활용한 영상의 맥락 추정을 통해 라벨링된 영상의 자동 배열, 그룹화 및 경계설정을 수행하고, 경계 지점에서의 트랜지션을 자동 삽입함으로써 하나의 에피소드나 스토리텔링을 갖춘 라이프로그(Life Log) 또는 브이로그(Vlog)의 동영상파일을 제공하며, 제공되는 동영상파일의 메타정보를 이용하여 지도서비스를 기반으로 한 촬영위치정보 및 그와 관련된 커머스 정보를 제공하는 영상 자동 편집 및 편집 영상과 동기화된 지도 서비스 제공 시스템 및 그 방법을 제공한다.An embodiment of the present invention performs image auto-labeling to label images based on time, place, and object, and automatically arrange, group, and group labeled images through context estimation of images using machine learning technology. By performing boundary setting and automatically inserting transitions at the boundary point, a Life Log or Vlog video file with one episode or storytelling is provided, and meta information of the provided video file is provided. Provided is a system and method for automatically editing images that provide photographing location information based on map services and commerce information related thereto and providing map services synchronized with the edited images by using the map service.
본 발명의 일 실시예에 따른 영상 자동 편집 및 편집 영상과 동기화된 지도 서비스 제공 시스템은, 다수의 영상파일로부터 추출된 메타데이터 및 인식된 객체데이터에 따라 다수의 클립영상으로 분할하고, 상기 메타데이터 및 상기 객체데이터를 기반으로 한 다수의 클립영상 간 맥락을 추론하고, 맥락추론결과에 따라 상기 클립영상을 배열 및 그룹화하여 다수의 클립영상을 포함한 적어도 하나의 영상그룹을 생성하는 영상그룹 생성부; 상기 영상그룹 간을 경계점으로 인식하고, 인식된 경계점에 미리 준비된 트랜지션 영상을 삽입하는 트랜지션 영상 삽입부; 상기 트랜지션 영상이 삽입된 영상그룹과 상기 경계점 간을 서로 결합하여 동영상파일을 생성하는 동영상파일 생성부; 및 사용자통신단말을 통한 상기 동영상파일의 재생 시 지도 서비스 시스템과 연동하여 상기 동영상파일에 포함된 메타데이터 중 촬영위치데이터에 따른 지도서비스를 제공하는 지도서비스 제공부를 포함한다.A system for automatically editing an image and providing a map service synchronized with the edited image according to an embodiment of the present invention divides into a plurality of clip images according to metadata and recognized object data extracted from a plurality of image files, and the metadata and an image group generating unit configured to infer a context between a plurality of clip images based on the object data, and arrange and group the clip images according to the result of the context inference to generate at least one image group including a plurality of clip images. a transition image inserting unit for recognizing the image groups as a boundary point and inserting a previously prepared transition image at the recognized boundary point; a video file generation unit generating a video file by combining the video group into which the transition video is inserted and the boundary point; and a map service providing unit for providing a map service according to shooting location data among metadata included in the video file in conjunction with a map service system when the video file is reproduced through the user communication terminal.
또한, 사용자통신단말로부터 다수의 영상파일을 입력 받아 자동편집서버로 업로드 하는 영상파일 등록부; 및 상기 동영상파일을 사용자통신단말로 전송하여 배포하는 동영상파일 배포부를 더 포함할 수 있다.In addition, a video file registration unit for receiving a plurality of video files from the user communication terminal and uploading them to the automatic editing server; and a video file distribution unit for transmitting and distributing the video file to a user communication terminal.
또한, 상기 영상파일 등록부는, 동영상파일 및 사진파일 중 적어도 하나의 영상파일을 선택 받는 영상파일 선택부; 및 상기 영상파일 선택부를 통해 선택된 영상파일을 업로드 하는 영상파일 업로드부를 포함할 수 있다.In addition, the video file registering unit may include: a video file selection unit for receiving a selection of at least one video file from among a video file and a photo file; and an image file upload unit for uploading the image file selected through the image file selection unit.
또한, 상기 영상파일 등록부를 통해 업로드 된 영상파일의 사이즈를 미리 설정된 사이즈로 각각 변환하고, 영상파일의 방향이 미리 설정된 방향으로 정렬되도록 회전시켜 영상파일에 포함된 이미지데이터를 정규화하여 상기 영상그룹 생성부를 실행하기 위해 전달하는 이미지 전처리부를 더 포함할 수 있다.In addition, the image group is generated by converting the size of each image file uploaded through the image file registration unit to a preset size, and normalizing image data included in the image file by rotating the image file so that the orientation of the image file is aligned in the preset direction. It may further include an image pre-processing unit that transfers to execute the unit.
또한, 상기 영상파일은 동영상파일 및 사진파일 중 적어도 하나를 포함하고, 상기 영상그룹 생성부는, 영상파일에서 촬영일시데이터와 촬영위치데이터를 각각 추출하는 메타데이터 추출부; 영상파일에서 객체데이터를 인식하는 객체 인식부; 영상파일이 동영상파일인 경우 상기 객체데이터에 따라 해당 영상파일을 분할하여 다수의 클립영상을 생성하는 영상파일 분할부; 클립영상 및 사진파일 별로 인물객체에 대한 성별, 연령, 행동 및 감정 중 적어도 하나를 분석하여 객체메타데이터를 생성하는 객체 분석부; 상기 촬영일시데이터, 상기 촬영위치데이터 및 상기 객체메타데이터를 기반으로 클립영상 및 사진파일 각각 간의 맥락을 추론하고, 맥락추론결과에 따라 클립영상 및 사진파일을 자동 배열하여 영상배열을 형성하는 영상배열 형성부; 및 상기 맥락추론결과를 기반으로 상기 영상배열에서 맥락종료지점을 각각 경계점으로 자동 설정하고, 설정된 상기 경계점을 기준으로 상기 영상배열에 대한 그룹화를 수행하여 상기 영상그룹을 생성하는 영상그룹 생성부를 포함할 수 있다.In addition, the image file includes at least one of a video file and a photo file, and the image group generator includes: a metadata extractor extracting shooting date and time data and shooting location data from the image file, respectively; an object recognizing unit recognizing object data in an image file; If the video file is a video file, an image file division unit for generating a plurality of clip images by dividing the corresponding video file according to the object data; an object analyzer for generating object metadata by analyzing at least one of gender, age, behavior, and emotion of a person object for each clip image and photo file; An image arrangement in which a context between each clip image and photo file is inferred based on the shooting date data, the shooting location data, and the object metadata, and the clip image and photo files are automatically arranged according to the result of the context inference to form an image arrangement. forming part; and an image group generator configured to automatically set context end points in the image array as boundary points based on a result of the context inference, and group the image arrays based on the set boundary points to generate the image groups. can
또한, 상기 영상배열 형성부는, 상기 영상배열에 포함된 클립영상을 재생 가능하게 표시하고, 상기 영상배열에 포함된 클립영상 및 사진파일 각각의 배열 순서를 드래그 앤 드랍 방식으로 변경하기 위한 제1 사용자 인터페이스를 제공하고, 상기 영상그룹 생성부는, 상기 맥락종료지점의 위치를 드래그 앤 드랍 방식으로 변경하기 위한 제2 사용자 인터페이스를 제공할 수 있다.In addition, the image array forming unit displays the clip images included in the image array in a reproducible manner, and changes the arrangement order of each of the clip images and photo files included in the image array by a drag-and-drop method. An interface may be provided, and the image group creation unit may provide a second user interface for changing the position of the context end point using a drag and drop method.
또한, 상기 지도서비스 제공부는, 상기 동영상파일의 클립영상 별 상기 촬영위치데이터를 각각 추출하는 촬영위치정보 추출부; 지도 서비스 시스템을 이용하여 상기 촬영위치데이터에 따른 이동경로정보를 생성하는 이동경로정보 생성부; 미리 구축된 데이터베이스에서 상기 이동경로정보에 해당되는 커머스 콘텐츠를 추출하는 커머스 콘텐츠 추출부; 상기 촬영위치데이터에 따른 상기 이동경로정보 및 상기 커머스 콘텐츠를 지도서비스정보로 저장하는 지도서비스정보 저장부; 및 상기 동영상파일의 재생 시 상기 동영상파일을 지도 서비스 시스템에 동기화시켜 지도 상에서 상기 지도서비스정보를 표시하는 지도서비스정보 표시부를 포함할 수 있다.In addition, the map service providing unit may include: a capturing location information extracting unit extracting the capturing location data for each clip image of the video file; a movement route information generating unit generating movement route information according to the photographing location data using a map service system; a commerce content extractor for extracting commerce content corresponding to the moving route information from a pre-built database; a map service information storage unit which stores the moving route information according to the photographing location data and the commerce contents as map service information; and a map service information display unit for displaying the map service information on a map by synchronizing the video file with a map service system when the video file is reproduced.
또한, 상기 지도서비스정보 표시부는, 상기 동영상파일의 현재재생시점에 따라 상기 이동경로정보를 표시하고, 상기 이동경로정보 중 사용자에 의해 선택된 위치에 해당하는 상기 커머스 콘텐츠를 표시할 수 있다.In addition, the map service information display unit may display the movement route information according to the current playback time of the video file, and display the commerce content corresponding to a location selected by the user among the movement route information.
본 발명의 다른 실시예에 따른 영상 자동 편집 및 편집 영상과 동기화된 지도 서비스 제공 방법은, 영상그룹 생성부가, 다수의 영상파일로부터 추출된 메타데이터 및 인식된 객체데이터에 따라 다수의 클립영상으로 분할하고, 상기 메타데이터 및 상기 객체데이터를 기반으로 한 다수의 클립영상 간 맥락을 추론하고, 맥락추론결과에 따라 상기 클립영상을 배열 및 그룹화하여 다수의 클립영상을 포함한 적어도 하나의 영상그룹을 생성하는 영상그룹 생성 단계; 트랜지션 영상 삽입부가, 상기 영상그룹 간을 경계점으로 인식하고, 인식된 경계점에 미리 준비된 트랜지션 영상을 삽입하는 트랜지션 영상 삽입 단계; 동영상파일 생성부가, 상기 트랜지션 영상이 삽입된 영상그룹과 상기 경계점 간을 서로 결합하여 동영상파일을 생성하는 동영상파일 생성 단계; 및 지도서비스 제공부가, 사용자통신단말을 통한 상기 동영상파일의 재생 시 지도 서비스 시스템과 연동하여 상기 동영상파일에 포함된 메타데이터 중 촬영위치데이터에 따른 지도서비스를 제공하는 지도서비스 제공 단계를 포함한다.According to another embodiment of the present invention, in a method for automatically editing an image and providing a map service synchronized with the edited image, an image group generator divides a plurality of clip images into a plurality of clip images according to metadata extracted from a plurality of image files and recognized object data. and inferring a context between a plurality of clip images based on the metadata and object data, arranging and grouping the clip images according to the result of the context inference, and generating at least one image group including a plurality of clip images. image group creation step; a transition image inserting step of recognizing, by a transition image inserting unit, the boundary between the image groups as a boundary point, and inserting a previously prepared transition image at the recognized boundary point; a video file generation step of generating a video file by combining, by a video file generator, between the video group into which the transition video is inserted and the boundary point; and a map service providing step in which a map service providing unit provides a map service according to shooting location data among metadata included in the video file in conjunction with a map service system when the video file is reproduced through a user communication terminal.
또한, 영상파일 등록부가, 사용자통신단말로부터 다수의 영상파일을 입력 받아 자동편집서버로 업로드 하는 영상파일 등록 단계; 및 동영상파일 배포부가, 상기 동영상파일을 사용자통신단말로 전송하여 배포하는 동영상파일 배포 단계를 더 포함할 수 있다.In addition, the image file registration step of receiving a plurality of image files from the user communication terminal and uploading them to the automatic editing server by the image file registration unit; and a video file distribution step of transmitting and distributing the video file to the user communication terminal by the video file distribution unit.
또한, 상기 영상파일 등록 단계는, 동영상파일 및 사진파일 중 적어도 하나의 영상파일을 선택 받는 영상파일 선택 단계; 및 상기 영상파일 선택 단계를 통해 선택된 영상파일을 업로드 하는 영상파일 업로드 단계를 포함할 수 있다.In addition, the video file registration step may include a video file selection step of receiving a selection of at least one video file from a video file and a photo file; and an image file upload step of uploading the image file selected through the image file selection step.
또한, 상기 영상파일 등록 단계를 통해 업로드 된 영상파일의 사이즈를 미리 설정된 사이즈로 각각 변환하고, 영상파일의 방향이 미리 설정된 방향으로 정렬되도록 회전시켜 영상파일에 포함된 이미지데이터를 정규화하여 상기 영상그룹 생성 단계를 실행하기 위해 전달하는 이미지 전처리 단계를 더 포함할 수 있다.In addition, the size of each video file uploaded through the video file registration step is converted to a preset size, and the image data included in the video file is normalized by rotating the image file so that the orientation of the video file is aligned in the preset direction, thereby normalizing the image group. It may further include an image pre-processing step passing to execute the generating step.
또한, 상기 영상파일은 동영상파일 및 사진파일 중 적어도 하나를 포함하고, 상기 영상그룹 생성 단계는, 영상파일에서 촬영일시데이터와 촬영위치데이터를 각각 추출하는 메타데이터 추출 단계; 영상파일에서 객체데이터를 인식하는 객체 인식 단계; 영상파일이 동영상파일인 경우 상기 객체데이터에 따라 해당 영상파일을 분할하여 다수의 클립영상을 생성하는 영상파일 분할 단계; 클립영상 및 사진파일 별로 인물객체에 대한 성별, 연령, 행동 및 감정 중 적어도 하나를 분석하여 객체메타데이터를 생성하는 객체 분석 단계; 상기 촬영일시데이터, 상기 촬영위치데이터 및 상기 객체메타데이터를 기반으로 클립영상 및 사진파일 각각 간의 맥락을 추론하고, 맥락추론결과에 따라 클립영상 및 사진파일을 자동 배열하여 영상배열을 형성하는 영상배열 형성 단계; 및 상기 맥락추론결과를 기반으로 상기 영상배열에서 맥락종료지점을 각각 경계점으로 자동 설정하고, 설정된 상기 경계점을 기준으로 상기 영상배열에 대한 그룹화를 수행하여 상기 영상그룹을 생성하는 영상그룹 생성 단계를 포함할 수 있다.In addition, the video file includes at least one of a video file and a picture file, and the generating of the video group may include: a metadata extraction step of extracting shooting date and time data and shooting location data from the video file, respectively; object recognition step of recognizing object data in the image file; If the video file is a video file, dividing the corresponding video file according to the object data to generate a plurality of clip images; An object analysis step of generating object metadata by analyzing at least one of gender, age, behavior, and emotion of the person object for each clip image and photo file; An image arrangement in which a context between each clip image and photo file is inferred based on the shooting date data, the shooting location data, and the object metadata, and the clip image and photo files are automatically arranged according to the result of the context inference to form an image arrangement. formation step; and an image group generation step of automatically setting context end points in the image array as boundary points based on a result of the context inference, and generating the image groups by grouping the image arrays based on the set boundary points. can do.
또한, 상기 영상배열 형성 단계는, 상기 영상배열에 포함된 클립영상을 재생 가능하게 표시하고, 상기 영상배열에 포함된 클립영상 및 사진파일 각각의 배열 순서를 드래그 앤 드랍 방식으로 변경하기 위한 제1 사용자 인터페이스를 제공하고, 상기 영상그룹 생성 단계는, 상기 맥락종료지점의 위치를 드래그 앤 드랍 방식으로 변경하기 위한 제2 사용자 인터페이스를 제공할 수 있다.In addition, the forming of the image array may include displaying the clip images included in the image array in a reproducible manner and changing the arrangement order of each of the clip images and photo files included in the image array by a drag-and-drop method. A user interface may be provided, and in the generating of the image group, a second user interface may be provided to change the location of the context end point using a drag and drop method.
또한, 상기 지도서비스 제공 단계는, 상기 동영상파일의 클립영상 별 상기 촬영위치데이터를 각각 추출하는 촬영위치정보 추출 단계; 지도 서비스 시스템을 이용하여 상기 촬영위치데이터에 따른 이동경로정보를 생성하는 이동경로정보 생성 단계; 미리 구축된 데이터베이스에서 상기 이동경로정보에 해당되는 커머스 콘텐츠를 추출하는 커머스 콘텐츠 추출 단계; 상기 촬영위치데이터에 따른 상기 이동경로정보 및 상기 커머스 콘텐츠를 지도서비스정보로 저장하는 지도서비스정보 저장 단계; 및 상기 동영상파일의 재생 시 상기 동영상파일을 지도 서비스 시스템에 동기화시켜 지도 상에서 상기 지도서비스정보를 제공하는 지도서비스정보 표시 단계를 포함할 수 있다.In addition, the providing of the map service may include: a capturing location information extraction step of extracting the capturing location data for each clip image of the video file; a movement route information generating step of generating movement route information according to the photographing location data using a map service system; A commerce content extraction step of extracting commerce content corresponding to the movement route information from a pre-built database; a map service information storage step of storing the moving route information and the commerce contents according to the photographing location data as map service information; and a map service information display step of providing the map service information on a map by synchronizing the video file with a map service system when the video file is reproduced.
또한, 상기 지도서비스정보 표시 단계는, 상기 동영상파일의 현재재생시점에 따라 상기 이동경로정보를 표시하고, 상기 이동경로정보 중 사용자에 의해 선택된 위치에 해당하는 상기 커머스 콘텐츠를 표시할 수 있다.In the displaying of the map service information, the movement route information may be displayed according to the current playback time of the video file, and the commerce content corresponding to a location selected by the user among the movement route information may be displayed.
본 발명에 따르면, 이미지 오토 라벨링을 수행하여 시간, 장소, 객체를 기반으로 영상에 대한 라벨링을 수행하고, 머신러닝 기술을 활용한 영상의 맥락 추정을 통해 라벨링된 영상의 자동 배열, 그룹화 및 경계설정을 수행하고, 경계 지점에서의 트랜지션을 자동 삽입함으로써 하나의 에피소드나 스토리텔링을 갖춘 라이프로그(Life Log) 또는 브이로그(Vlog)의 동영상파일을 제공하며, 제공되는 동영상파일의 메타정보를 이용하여 지도서비스를 기반으로 한 촬영위치정보 및 그와 관련된 커머스 정보를 제공하는 영상 자동 편집 및 편집 영상과 동기화된 지도 서비스 제공 시스템 및 그 방법을 제공할 수 있다.According to the present invention, image auto-labeling is performed to perform labeling of images based on time, place, and object, and automatic arrangement, grouping, and boundary setting of labeled images through context estimation of images using machine learning technology. and provides a video file of Life Log or Vlog with one episode or storytelling by automatically inserting a transition at the boundary point, and using the meta information of the provided video file It is possible to provide a map service providing system and method that automatically edits an image providing photographing location information and related commerce information based on a map service and synchronizes with the edited image.
도 1은 본 발명의 일 실시예에 따른 영상 자동 편집 및 편집 영상과 동기화된 지도 서비스 제공 시스템의 구성 형태를 설명하기 위해 나타낸 개요도이다.
도 2는 본 발명의 일 실시예에 따른 영상 자동 편집 및 편집 영상과 동기화된 지도 서비스 제공 시스템의 구성을 나타낸 블록도이다.
도 3은 본 발명의 일 실시예에 따른 영상파일 등록부의 구성을 나타낸 블록도이다.
도 4는 본 발명의 일 실시예에 따른 영상그룹 생성부의 구성을 나타낸 블록도이다.
도 5는 본 발명의 실시예에 따른 영상 자동 편집 과정을 설명하기 위해 나타낸 도면이다.
도 6은 본 발명의 일 실시예에 따른 지도서비스 제공부의 구성을 나타낸 블록도이다.
도 7은 본 발명의 실시예에 따른 지도서비스 제공 방식을 설명하기 위해 나타낸 도면이다.
도 8은 본 발명의 다른 실시예에 따른 영상 자동 편집 및 편집 영상과 동기화된 지도 서비스 제공 방법의 구성을 나타낸 순서도이다.
도 9는 본 발명의 다른 실시예에 따른 영상파일 등록 단계의 구성을 나타낸 순서도이다.
도 10은 본 발명의 다른 실시예에 따른 영상그룹 생성 단계의 구성을 나타낸 순서도이다.
도 11은 본 발명의 다른 실시예에 따른 지도서비스 제공 단계의 구성을 나타낸 순서도이다.1 is a schematic diagram illustrating a configuration of a system for automatically editing an image and providing a map service synchronized with the edited image according to an embodiment of the present invention.
2 is a block diagram showing the configuration of a system for automatically editing an image and providing a map service synchronized with the edited image according to an embodiment of the present invention.
3 is a block diagram showing the configuration of a video file registration unit according to an embodiment of the present invention.
4 is a block diagram showing the configuration of a video group generator according to an embodiment of the present invention.
5 is a diagram for explaining an automatic image editing process according to an embodiment of the present invention.
6 is a block diagram showing the configuration of a map service provider according to an embodiment of the present invention.
7 is a diagram for explaining a map service providing method according to an embodiment of the present invention.
8 is a flowchart illustrating a configuration of a method for automatically editing an image and providing a map service synchronized with the edited image according to another embodiment of the present invention.
9 is a flowchart showing the configuration of a video file registration step according to another embodiment of the present invention.
10 is a flowchart illustrating the configuration of a video group generating step according to another embodiment of the present invention.
11 is a flowchart showing the configuration of a map service providing step according to another embodiment of the present invention.
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 발명에 대해 구체적으로 설명하기로 한다.The terms used in this specification will be briefly described, and the present invention will be described in detail.
본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.The terms used in the present invention have been selected from general terms that are currently widely used as much as possible while considering the functions in the present invention, but these may vary depending on the intention of a person skilled in the art or precedent, the emergence of new technologies, and the like. In addition, in a specific case, there is also a term arbitrarily selected by the applicant, and in this case, the meaning will be described in detail in the description of the invention. Therefore, the term used in the present invention should be defined based on the meaning of the term and the overall content of the present invention, not simply the name of the term.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나 이상의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.When it is said that a certain part "includes" a certain component throughout the specification, it means that it may further include other components without excluding other components unless otherwise stated. In addition, terms such as "...unit" and "module" described in the specification mean a unit that processes at least one function or operation, which may be implemented as hardware or software or a combination of hardware and software. .
아래에서는 첨부한 도면을 참고하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다. Hereinafter, with reference to the accompanying drawings, embodiments of the present invention will be described in detail so that those skilled in the art can easily carry out the present invention. However, the present invention may be embodied in many different forms and is not limited to the embodiments described herein. And in order to clearly explain the present invention in the drawings, parts irrelevant to the description are omitted, and similar reference numerals are attached to similar parts throughout the specification.
도 1은 본 발명의 일 실시예에 따른 영상 자동 편집 및 편집 영상과 동기화된 지도 서비스 제공 시스템의 구성 형태를 설명하기 위해 나타낸 개요도이다.1 is a schematic diagram illustrating a configuration of a system for automatically editing an image and providing a map service synchronized with the edited image according to an embodiment of the present invention.
도 1을 참조하면, 본 발명의 일 실시예에 따른 영상 자동 편집 및 편집 영상과 동기화된 지도 서비스 제공 시스템(1000)은 사용자통신단말(10)과 자동편집서버(20)를 이용하여 구현될 수 있다. Referring to FIG. 1 , a
본 발명의 일 실시예에 따른 사용자통신단말(10)은 영상 자동 편집 및 편집 영상과 동기화된 지도 서비스 제공을 위한 일부 기능이 탑재된 소프트웨어를 통해 영상 자동 편집 서비스를 제공 받을 수 있다. The
좀 더 구체적으로, 사용자통신단말(10)은, 영상 자동 편집 및 편집 영상과 동기화된 지도 서비스 제공 서비스를 제공 받기 위한 전용 프로그램(예를 들어, 어플리케이션 관리 프로그램)이 설치 또는 탑재되거나, 사용자통신단말(10)의 웹 브라우저를 통해 웹 사이트에 접속하는 방식을 통해 영상 자동 편집 및 편집 영상과 동기화된 지도 서비스 제공 서비스를 제공받을 수 있도록 구현될 수 있다. 본 발명의 실시예에 따른 전용 프로그램(예를 들어, 어플리케이션 관리 프로그램)은 온라인 지도서비스 시스템과 연동되거나, 별도의 지도 open API를 통해 제작된 지도서비스 프로그램을 활용하여 편집된 영상에 대한 다양한 지도서비스정보를 제공할 수 있다.More specifically, the
이러한 사용자통신단말(10)은, PCS(Personal Communication System), GSM(Global System for Mobile communications), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), Wibro(Wireless Broadband Internet) 단말, 스마트폰(smartphone), 스마트 패드(smartpad), 타블렛 PC(Tablet PC) 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치를 포함할 수 있다. 여기서, 웹 브라우저는 웹(WWW: world wide web) 서비스를 이용할 수 있게 하는 프로그램으로 HTML(hypertext mark-up language)로 서술된 하이퍼텍스트를 받아서 보여주는 프로그램을 의미하며, 예를 들어 넷스케이프(Netscape), 익스플로러(Explorer), 크롬(chrome) 등을 포함한다. 또한, 애플리케이션은 단말 상의 응용 프로그램(application)을 의미하며, 즉 모바일 단말(스마트폰)에서 실행되는 어플리케이션을 포함할 수 있다.These
상기 자동편집서버(20)는, 다수의 사용자통신단말(10)과 연결되어, 사용자통신단말(10)로부터 선택된 다수의 영상파일(동영상, 사진)를 수신하고, 수신된 영상파일의 메타데이터에 포함된 일시 및 위치정보와 영상데이터로부터의 인식객체를 기반으로 영상에 대한 라벨링을 자동 수행하고, 머신러닝 기술을 활용한 영상의 맥락 추정을 통해 라벨링된 영상의 자동 배열, 그룹화 및 경계설정을 수행하고, 경계 지점에서의 트랜지션을 자동 삽입함으로써 하나의 에피소드나 스토리텔링을 갖춘 동영상파일을 제공할 수 있다.The
상기 자동편집서버(20)는, 하드웨어적으로 통상적인 웹 서버와 동일한 구성을 가지며, 소프트웨어적으로는 C, C++, Java, Visual Basic, Visual C 등과 같은 다양한 형태의 언어를 통해 구현되어 여러 가지 기능을 하는 프로그램 모듈을 포함할 수 있다. 또한, 일반적인 서버용 하드웨어에 도스(dos), 윈도우(window), 리눅스(linux), 유닉스(unix), 매킨토시(macintosh), 안드로이드(Android), 아이오에서(iOS) 등의 운영 체제에 따라 다양하게 제공되고 있는 웹 서버 프로그램을 이용하여 구현될 수 있다.The
한편, 사용자통신단말(10)과 자동편집서버(20) 간을 연결하는 인터넷 네트워크의 통신망의 일 예로는, 이동통신을 위한 기술표준들 또는 통신방식(예를 들어, GSM(Global System for Mobile communication), CDMA(Code Division Multi Access), CDMA2000(Code Division Multi Access 2000), EV-DO(Enhanced Voice-Data Optimized or Enhanced Voice-Data Only), WCDMA(Wideband CDMA), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), LTE(Long Term Evolution), LTE-A(Long Term Evolution-Advanced), 5G 등)에 따라 구축된 이동 통신망을 포함할 수 있으나, 특별히 한정하는 것은 아니다. 또한, 유선 통신망의 일 예로는, LAN(Local Area Network), WAN(Wide Area Network)등의 폐쇄형 네트워크일 수 있으며, 인터넷과 같은 개방형 네트워크인 것이 바람직하다. 인터넷은 TCP/IP 프로토콜 및 그 상위계층에 존재하는 여러 서비스, 즉 HTTP(HyperText Transfer Protocol), Telnet, FTP(File Transfer Protocol), DNS(Domain Name System), SMTP(Simple Mail Transfer Protocol), SNMP(Simple Network Management Protocol), NFS(Network File Service), NIS(Network Information Service)를 제공하는 전세계적인 개방형 컴퓨터 네트워크 구조를 의미한다.On the other hand, as an example of the communication network of the Internet network connecting the
도 2는 본 발명의 일 실시예에 따른 영상 자동 편집 및 편집 영상과 동기화된 지도 서비스 제공 시스템의 구성을 나타낸 블록도이고, 도 3은 본 발명의 일 실시예에 따른 영상파일 등록부의 구성을 나타낸 블록도이고, 도 4는 본 발명의 일 실시예에 따른 영상그룹 생성부의 구성을 나타낸 블록도이고, 도 5는 본 발명의 실시예에 따른 영상 자동 편집 과정을 설명하기 위해 나타낸 도면이고, 도 6은 본 발명의 일 실시예에 따른 지도서비스 제공부의 구성을 나타낸 블록도이며, 도 7은 본 발명의 실시예에 따른 지도서비스 제공 방식을 설명하기 위해 나타낸 도면이다.2 is a block diagram showing the configuration of a system for automatically editing an image and providing a map service synchronized with the edited image according to an embodiment of the present invention, and FIG. 3 shows the configuration of a video file registration unit according to an embodiment of the present invention. FIG. 4 is a block diagram showing the configuration of a video group generator according to an embodiment of the present invention, FIG. 5 is a diagram for explaining an automatic video editing process according to an embodiment of the present invention, and FIG. 6 is a block diagram showing the configuration of a map service providing unit according to an embodiment of the present invention, and FIG. 7 is a diagram for explaining a map service providing method according to an embodiment of the present invention.
도 2를 참조하면, 본 발명의 일 실시예에 따른 영상 자동 편집 및 편집 영상과 동기화된 지도 서비스 제공 시스템(1000)은 영상파일 등록부(100), 이미지 전처리부(200), 영상그룹 생성부(300), 트랜지션 영상 삽입부(400), 동영상파일 생성부(500), 동영상파일 배포부(600) 및 지도서비스 제공부(700) 중 적어도 하나를 포함할 수 있다.Referring to FIG. 2 , a system for automatically editing an image and providing a map service synchronized with the edited image according to an embodiment of the
상기 영상파일 등록부(100)는, 사용자통신단말(10)로부터 다수의 영상파일을 입력 받아 자동편집서버(20)로 업로드 할 수 있다.The video
이를 위해 영상파일 등록부(100)는 도 3에 도시된 바와 같이, 영상파일 선택부(110)와 영상파일 업로드부(120) 중 적어도 하나를 포함할 수 있다.To this end, the image
상기 영상파일 선택부(110)는, 사용자통신단말(10)의 앨범 또는 사진첩에 접근하여, 해당 앨범 또는 사진첩에 저장된 동영상파일 및 사진파일 중 적어도 하나의 영상파일을 선택 받도록 하거나, 사용자통신단말(10)의 카메라를 통해 촬영된 동영상이나 사진 중 어느 하나를 선택할 수 있도록 한다. The
상기 영상파일 업로드부(120)는, 영상파일 선택부(110)를 통해 선택된 동영상, 사진 등의 영상파일을 유선 또는 무선 인터넷 통신망을 통해 자동편집서버(20)로 업로드 할 수 있다. The video file upload
상기 이미지 전처리부(200)는, 영상파일 등록부(100)를 통해 업로드 된 영상파일(동영상, 사진)의 사이즈를 미리 설정된 사이즈로 통일되도록 각각 변환하고, 영상파일의 방향이 미리 설정된 방향으로 정렬되도록 회전시켜 영상파일에 포함된 이미지데이터를 정규화할 수 있으며, 전처리가 완료된 영상파일을 영상그룹 생성부(300)로 전달할 수 있다. 이때, 영상파일은 그 촬영방향 즉 세로로 촬영되었는지 또는 가로로 촬영되었는지에 따라 해당 영상의 사이즈와 형태가 상이할 수 있으므로, 이를 통일시키도록 영상을 회전 변환시킬 수 있다.The
상기 영상그룹 생성부(300)는, 다수의 영상파일(동영상, 사진)로부터 추출된 메타데이터(시간, 장소) 및 인식된 객체데이터(인물, 동물, 사물, 건물 등)에 따라 다수의 클립영상으로 분할하고, 인식된 메타데이터 및 객체데이터를 기반으로 다수의 클립영상 간 맥락을 추론하고, 맥락추론결과에 따라 클립영상을 배열 및 그룹화하여 다수의 클립영상을 포함한 적어도 하나의 영상그룹을 생성할 수 있다.The
이를 위해 영상그룹 생성부(300)는 도 4에 도시된 바와 같이, 메타데이터 추출부(310), 객체데이터 인식부(320), 영상파일 분할부(330), 객체 분석부(340), 영상배열 형성부(350) 및 영상그룹 생성부(360) 중 적어도 하나를 포함할 수 있다.To this end, as shown in FIG. 4, the image
상기 메타데이터 추출부(310)는, 전처리가 완료된 동영상, 사진 등의 영상파일에서 메타데이터를 추출할 수 있으며, 추출된 메타데이터에서 촬영일시데이터와 촬영위치데이터를 각각 추출할 수 있다. 여기서, 촬영일시데이터는 영상파일이 촬영된 년, 월, 일, 시에 대한 정보를 포함하고, 촬영위치데이터는 영상파일을 촬영한 사용자통신단말(10)의 GPS위치정보를 포함할 수 있다. 이러한 촬영일시데이터와 촬영위치데이터는 후술하는 영상파일의 맥락추론을 위한 정보 중 하나로서 활용되며, 맥락추론을 위한 영상파일의 새로운 메타데이터로서 새롭게 저장 또는 정의될 수 있다.The
상기 객체데이터 인식부(320)는, 전처리가 완료된 영상파일(동영상, 사진)에서 객체데이터를 인식할 수 있다. 이러한 객체데이터 인식부(320)는 객체 인식을 위해 미리 정의된 머신러닝 알고리즘을 활용하여 영상파일의 영상데이터 내 존재하는 특정 객체를 인식할 수 있다. 여기서, 객체는 사람(인물), 동물(개, 고양이 등), 사물(자동차, 건축물, 교량, 신호등 등) 등 다양한 대상을 포함할 수 있으며, 본 실시예에서는 미리 설정된 객체 또는 객체군에 대한 인식 프로세스를 제공할 수 있다. The object
상기 영상파일 분할부(330)는, 업로드 된 영상파일이 동영상파일인 경우 해당 동영상파일에서 인식된 객체데이터에 따라 해당 동영상파일을 해당 객체를 기준으로 분할하여 다수의 클립영상을 생성할 수 있다.When the uploaded video file is a video file, the
예를 들어, 도 5의 (a) 및 (b)에 도시된 바와 같이 업로드 된 영상파일이 Video01, Video02, Image01, Video03, Image02, Video04가 있다고 가정했을 때, Video01에는 객체 1, 2가 인식되고, Video02에는 객체 1, 2가 인식되고, Video03에는 객체 2, 3이 인식되고, Video04에는 객체 2, 3이 인식되었다면, 각 인식객체가 나타나는 재생구간에 따라 Video를 다수의 클립영상으로 분할할 수 있다. 다만, 하나의 Video에서 서로 다른 객체가 서로 다른 재생구간에서 인식되는 경우 객체가 나타나는 구간 단위로 Video를 분할할 수 있다. 즉, Video01에는 객체 1, 2가 인식되었지만, 객체 1이 먼저 인식되고 객체 2가 인식된 후 다시 객체 1이 인식되는 경우 객체 1, 객체 2, 객체 3의 인식순서에 따라 Clip01, Clip02, Clip03으로 분할할 수 있다. For example, assuming that the uploaded video files have Video01, Video02, Image01, Video03, Image02, and Video04 as shown in (a) and (b) of FIG. 5, objects 1 and 2 are recognized in Video01 and , If objects 1 and 2 are recognized in Video02, objects 2 and 3 are recognized in Video03, and objects 2 and 3 are recognized in Video04, the video can be divided into multiple clips according to the playback section in which each recognized object appears. there is. However, if different objects are recognized in different playback sections in one video, the video can be divided into sections where the objects appear. That is, if objects 1 and 2 are recognized in Video01, but object 1 is recognized first, then object 2 is recognized, and then object 1 is recognized again, Clip01, Clip02, and Clip03 according to the recognition order of object 1, object 2, and
상기 객체 분석부(340)는, 클립영상 및 사진파일 별로 인물객체에 대한 성별, 연령, 행동 및 감정 중 적어도 하나에 대한 객체특징을 분석하여 객체메타데이터를 생성할 수 있다. 여기서, 객체메타데이터는 후술하는 맥락추론을 위한 기초정보로서 활용되며, 클립영상 및 사진들에 대한 전후 맥락을 추론하기에 앞서 각 파일들에 나타나는 인물객체의 특징적 요소 즉, 성별, 연령, 행동, 감정 등의 특징을 미리 정의된 머신러닝 알고리즘을 활용하여 분석할 수 있다. 객체 분석부(340)의 분석결과 즉, 객체메타데이터는 인식된 객체 별로 객체성별메타정보, 객체연령메타정보, 객체행동메타정보, 객체감정메타정보 중 적어도 하나를 정보를 포함하며, 후술하는 맥락추론을 위해 기초정보 중 하나로서 활용될 수 있다.The
상기 영상배열 형성부(350)는, 영상파일(클립영상 및 사진파일)의 촬영일시데이터 및 촬영위치데이터와, 객체메타데이터를 기반으로 클립영상 및 사진파일 각각 간의 맥락을 추론하고, 맥락추론결과에 따라 클립영상 및 사진파일을 자동 배열 또는 정렬하여 영상배열을 형성할 수 있다.The image
예를 들어, 도 5의 (b)와 같이 분할된 Clip01, Clip02, Clip03, Clip04, Clip05, Image01, Clip06, Clip07, Clip08, Image02, Clip09, Clip10은 각 클립영상과 사진파일의 촬영시간, 촬영위치, 인물객체의 다양한 특성(성별, 연령, 행동, 감정)을 고려하여 미리 학습된 머신러닝 알고리즘을 통한 맥락추론을 실시하여 특정한 스토리나 전개를 갖는 파일들의 순서를 정의 또는 결정할 수 있으며, 이러한 맥락추론결과에 따라 도 5의 (c)에 도시된 바와 같이, Clip02, Clip04, Clip03, Image01, Clip01, Clip05, Clip06, Clip09, Image02, Clip08, Clip10, Clip07의 순서를 갖는 영상배열을 형성할 수 있다. For example, Clip01, Clip02, Clip03, Clip04, Clip05, Image01, Clip06, Clip07, Clip08, Image02, Clip09, and Clip10 divided as shown in (b) of FIG. , It is possible to define or determine the order of files having a specific story or development by conducting context inference through pre-learned machine learning algorithms in consideration of various characteristics (gender, age, behavior, emotion) of a person object, and such context inference According to the result, as shown in (c) of FIG. 5, an image array having the order of Clip02, Clip04, Clip03, Image01, Clip01, Clip05, Clip06, Clip09, Image02, Clip08, Clip10, Clip07 can be formed.
한편, 영상배열 형성부(350)는, 영상배열에 포함된 클립영상을 재생 가능하게 표시하고, 영상배열에 포함된 클립영상 및 사진파일 각각의 배열 순서를 드래그 앤 드랍 방식으로 변경하기 위한 제1 사용자 인터페이스를 제공할 수 있다.On the other hand, the image
예를 들어, 도 5의 (c)와 같이 도시된 영상배열이 Clip02, Clip04, Clip03, Image01, Clip01, Clip05, Clip06, Clip09, Image02, Clip08, Clip10, Clip07의 순서로 형성된 경우, Clip02 클립영상을 선택한 후 드래그하여 Clip01과 Clip05 사이에 드랍하고, Image02를 선택한 후 Clip04 앞으로 드랍하면, 해당 영상배열이 Image02, Clip04, Clip03, Image01, Clip01, Clip02, Clip05, Clip06, Clip09, Clip08, Clip10, Clip07의 순서로 재배치될 수 있다.For example, when the image array shown in (c) of FIG. 5 is formed in the order of Clip02, Clip04, Clip03, Image01, Clip01, Clip05, Clip06, Clip09, Image02, Clip08, Clip10, Clip07, Clip02 clip image After selecting and dragging to drop between Clip01 and Clip05, select Image02 and drop in front of Clip04, the image array will be in the order of Image02, Clip04, Clip03, Image01, Clip01, Clip02, Clip05, Clip06, Clip09, Clip08, Clip10, Clip07 can be relocated to
상기 영상그룹 생성부(360)는, 영상배열 형성부(350)를 통한 맥락추론결과를 기반으로 영상배열에서 맥락종료지점을 각각 경계점으로 자동 설정하고, 설정된 경계점을 기준으로 영상배열에 대한 그룹화를 수행하여 영상그룹을 생성할 수 있다.The image
예를 들어, 도 5의 (d)에 도시된 바와 같이 맥락추론결과에 따라 특정한 스토리의 흐름이 종료되는 지점으로 A1와 A2가 설정되면, 설정된 A1와 A2을 기준으로 Clip02, Clip04, Clip03, Image01으로 구성되는 제1 영상그룹, Clip01, Clip05, Clip06, Clip09로 구성되는 제2 영상그룹, Image02, Clip08, Clip10, Clip07로 구성되는 제3 영상그룹이 각각 정의될 수 있다. For example, as shown in (d) of FIG. 5 , when A1 and A2 are set as points at which the flow of a specific story ends according to the result of context inference, Clip02, Clip04, Clip03, Image01 based on the set A1 and A2. A first image group composed of , a second image group composed of Clip01, Clip05, Clip06, and Clip09, and a third image group composed of Image02, Clip08, Clip10, and Clip07 may be respectively defined.
한편, 영상그룹 생성부(360)는, 맥락종료지점 즉 경계점의 위치를 드래그 앤 드랍 방식으로 변경하기 위한 제2 사용자 인터페이스를 제공할 수 있다.Meanwhile, the image
예를 들어, 도 5의 (d)에 도시된 경계점 A1과 A2가 최초 설정되어 있는 상태에서, A1을 선택한 후 드래그하여 Clip01과 Clip05 사이에 드랍하면 제1 영상그룹은 Clip02, Clip04, Clip03, Image01, Clip01으로 재구성되고, 제2 영상그룹은 Clip05, Clip06, Clip09로 재구성될 수 있다.For example, in the state where the boundary points A1 and A2 shown in (d) of FIG. 5 are initially set, if A1 is selected and then dragged and dropped between Clip01 and Clip05, the first image group is Clip02, Clip04, Clip03, Image01 , Clip01, and the second image group can be reconstructed into Clip05, Clip06, and Clip09.
상기 트랜지션 영상 삽입부(400)는, 각각의 영상그룹 사이를 경계점으로 인식하고, 인식된 경계점에 미리 준비된 트랜지션 영상을 삽입할 수 있다. 즉, 경계점 A1과 A2에 미리 준비된 트랜지션 영상을 삽입하여 제1 영상그룹에 대한 재생이 종료된 후 제2 영상그룹에 대한 재생이 이루어지기 전에 트랜지션 영상이 재생되어 제1 영상그룹과 제2 영상그룹 간의 화면 전환이 자연스럽게 이루어질 수 있도록 편집될 수 있다. The transition
이때, 최종 생성될 동영상파일에 대한 테마, 컨셉, 카테고리 등을 사용자가 설정하면, 설정정보에 따라 미리 준비된 트랜지션 영상 중 적어도 하나가 자동 선택되어 경계점에 삽입됨으로써 클립영상 간 또는 클립영상과 사진 사이의 전환 시 매끄럽고 효과적인 장면전환이 자동적으로 연출되도록 할 수 있다. 물론, 본 실시예에 따른 트랜지션 영상은 사용자가 직접 제작 또는 편집한 영상으로 설정되어 자동 삽입될 수 있으며, 맥락추론결과에 따라 전후 맥락에 따른 이미지나 분위기에 맞는 컨셉의 트랜지션 영상이 자동 선택 또는 추천되어 적용될 수도 있다.At this time, if the user sets the theme, concept, category, etc. for the video file to be finally created, at least one of the transition videos prepared in advance according to the setting information is automatically selected and inserted at the boundary, thereby creating a clear image between clip images or between clip images and photos. Smooth and effective scene transitions can be produced automatically during transition. Of course, the transition video according to the present embodiment can be set as a video produced or edited by the user and automatically inserted, and a transition video with a concept suitable for the image or atmosphere according to the context is automatically selected or recommended according to the result of context inference. may be applied.
상기 동영상파일 생성부(500)는, 도 5의 (e)에 도시된 바와 같이 트랜지션 영상이 삽입된 영상그룹과 경계점을 서로 결합하여 하나의 동영상파일을 생성할 수 있다. 이때, 사용자가 업로드 한 타이틀, 엔딩 등에 대한 텍스트 정보가 있는 경우 해당 동영상파일의 시작과 종료지점에 해당 텍스트 정보가 삽입된 영상클립이 추가 삽입되어 동영상파일에 적용될 수도 있다. As shown in (e) of FIG. 5, the video
상기 동영상파일 배포부(600)는, 동영상파일을 렌더링 및 압축한 후 유선 또는 무선 인터넷 통신망을 통해 사용자통신단말(10)로 전송하여 배포 또는 전송함으로써, 최초 업로드 한 다수의 동영상 및 사진을 이용하여 특정한 스토리 또는 시퀀스를 가지며 매끄럽고 효과적인 장면전환이 연출되도록 편지된 하나의 동영상파일을 제공할 수 있다.The video
상기 지도서비스 제공부(700)는, 사용자통신단말(10)을 통한 동영상파일의 재생 시 지도 서비스 시스템과 연동하여 동영상파일에 포함된 메타데이터 중 촬영위치데이터에 따른 지도서비스를 제공할 수 있다.When a video file is played through the
이를 위해, 지도서비스 제공부(700)는 도 6에 도시된 바와 같이, 촬영위치정보 추출부(710), 이동경로정보 생성부(720), 커머스 콘텐츠 추출부(730), 지도서비스정보 저장부(740) 및 지도서비스정보 표시부(750) 중 적어도 하나를 포함할 수 있다.To this end, as shown in FIG. 6, the
상기 촬영위치정보 추출부(710)는, 동영상파일의 클립영상 및 사진파일에 각각에 대한 메타데이터 중 촬영위치데이터를 각각 추출할 수 있다.The photographing location
상기 이동경로정보 생성부(720)는, 지도 서비스 시스템을 이용하여 촬영위치정보 추출부(710)를 통해 추출된 촬영위치데이터에 따른 이동경로정보를 생성할 수 있다. The movement route
예를 들어, 동영상파일이 클립영상 a~d, 사진파일 e, 클립영상 f, g로 구성되어 있고, 클립영상 a~d의 각 촬영위치데이터와, 사진파일 e의 촬영위치데이터와, 클립영상 f, g의 각 촬영위치데이터를 지도 서비스 시스템에 검색 값으로 입력하고, 검색 결과를 바탕으로 이동경로정보를 생성할 수 있다. 이때, 생성된 이동경로정보는 촬영위치변화에 따른 이동경로를 알 수 있는 정보로, 시계열적인 특징이 반영될 수 있다. 이동경로정보에 시계열적 특징이 반영되기 위해서는 클립영상 a~d, 사진파일 e, 클립영상 f, g의 각 메타데이터 중 촬영일시데이터를 추가적으로 추출하고, 이를 반영하여 촬영위치데이터를 시계열적으로 정렬하거나, 클립영상 a~d, 사진파일 e, 클립영상 f, g 자체가 맥락에 따라 정렬되어 있는 바, 시계열적인 특성이 반영되어 있는 것으로 간주하여 클립영상 a~d, 사진파일 e, 클립영상 f, g의 순서대로 촬영위치데이터에 따른 이동경로정보를 생성할 수 있다. For example, a video file is composed of clip images a to d, photo files e, clip images f, and g, and the shooting location data of clip images a to d, the shooting location data of photo file e, and the clip image. Each photographing location data of f and g may be input as a search value to the map service system, and movement route information may be generated based on the search result. At this time, the generated moving path information is information for knowing the moving path according to the change in the photographing position, and time-sequential characteristics may be reflected. In order to reflect the time-sequential characteristics in the moving route information, the shooting date and time data is additionally extracted from the metadata of clip images a to d, photo files e, and clip images f and g, and the shooting location data is sorted in time series by reflecting this. Or, since clip images a to d, photo files e, clip images f, and g themselves are arranged according to context, clip images a to d, photo files e, and clip images f are considered to reflect time-series characteristics. , it is possible to generate movement path information according to the photographing location data in the order of g.
지도 서비스 시스템을 기반으로 생성된 이동경로정보에는 촬영위치데이터가 각각 포함되어 있으며, 각 촬영위치데이터는 클립영상 및 사진파일의 메타데이터로서 각각의 영상파일과 매칭되어 있어, 이동경로정보와 동영상파일이 동기화될 수 있다.The movement route information generated based on the map service system includes each of the shooting location data, and each shooting location data is the metadata of the clip image and photo file and is matched with each video file, so that the movement route information and the video file can be synchronized.
상기 커머스 콘텐츠 추출부(730)는, 미리 구축된 데이터베이스에서 각 이동경로정보에 해당되는 커머스 콘텐츠를 추출할 수 있다. 본 실시예에 따른 데이터베이스는 위치정보를 기반으로 미리 등록된 여행정보, 맛집정보, 광고정보 등이 저장되어 있다. 이에 따라 커머스 콘텐츠 추출부(730)는 이동경로정보에 포함된 촬영위치데이터에 해당하는 여행정보, 맛집정보, 광고정보를 해당 데이터베이스로부터 선별하고, 커머스 콘텐츠로서 추출할 수 있다.The
상기 지도서비스정보 저장부(740)는, 동영상파일의 촬영위치데이터에 따라 생성된 이동경로정보 및 촬영위치데이터에 따라 추출된 커머스 콘텐츠를 해당 지도서비스정보로 저장할 수 있으며, 동영상파일의 재생 시 해당 지도서비스정보를 지도서비스정보 표시부(750)로 제공할 수 있다.The map service
상기 지도서비스정보 표시부(750)는, 동영상파일의 재생 시 동영상파일을 지도 서비스 시스템에 동기화시켜 지도 상에서 지도서비스정보를 제공할 수 있다.The map service
예를 들어, 도 7에 도시된 바와 같이 동영상 플레이어(K1)를 통해 자동 편집된 특정 동영상파일을 재생하는 경우, 재생되는 해당 동영상파일에 대하여 미리 저장된 지도서비스정보를 사용자통신단말(10)을 통해 지원되는 지도 서비스 시스템과 연동하여 지도인터페이스(K2)을 통해 출력할 수 있다. 상술한 바와 같이, 동영상파일의 메타데이터 중 하나인 촬영위치데이터는 지도서비스정보의 이동경로정보와 매칭되어 있으므로, 동영상파일과 지도서비스정보는 서로 동기화되며, 이에 따라 동영상 플레이어(K1)와 지도인터페이스(K2)는 서로 동기화된 상태로 연동할 수 있다.For example, as shown in FIG. 7, when a specific automatically edited video file is played through the video player K1, pre-stored map service information for the video file being played is transmitted through the
예를 들어, 동영상 플레이어(K1)의 영상그룹이 P1, P2, P3로 구성되고, 각 영상그룹 별로 촬영위치데이터가 각각 상이한 경우, 해당 영상그룹 P1, P2, P3에 의한 이동경로정보가 각기 다른 색상으로 이어진 라인으로 생성되어 지도인터페이스(K2)를 통해 표시될 수 있으며, 각 색상에 따라 영상그룹 P1, P2, P3 각각에 대한 촬영위치를 구별할 수 있다. 또한, '영상그룹 P1'이 재생되는 구간 동안에는 지도인터페이스(K2)에는 '이동경로 P1'이 점멸되거나 텍스트가 확대된 형태로 강조됨으로써 동영상 플레이어(K1)에서 현재 재생화면의 실제위치를 실시간 표시할 수 있다. 또한, '영상그룹 P2'가 재생되는 구간 동안에는 지도인터페이스(K2)에는 '이동경로 P2'이 점멸되거나 텍스트가 확대된 형태로 강조됨으로써 동영상 플레이어(K1)에서 현재 재생화면의 실제위치를 실시간 표시할 수 있다. 또한, '영상그룹 P3'이 재생되는 구간 동안에는 지도인터페이스(K2)에는 '이동경로 P3'이 점멸되거나 텍스트가 확대된 형태로 강조됨으로써 동영상 플레이어(K1)에서 현재 재생화면의 실제위치를 실시간 표시할 수 있다. For example, if the video group of the video player K1 is composed of P1, P2, and P3, and the shooting location data is different for each video group, the movement path information by the corresponding video group P1, P2, and P3 is different. It can be created as a line connected by color and displayed through the map interface K2, and the shooting location for each of the image groups P1, P2, and P3 can be distinguished according to each color. In addition, during the section where 'video group P1' is played, 'movement path P1' flashes on the map interface (K2) or the text is highlighted in an enlarged form, so that the actual location of the current playback screen in the video player (K1) can be displayed in real time. can In addition, during the section where 'video group P2' is played, 'movement path P2' flashes on the map interface (K2) or the text is highlighted in an enlarged form, so that the video player (K1) can display the actual location of the current playback screen in real time. can In addition, during the section where 'video group P3' is played, 'movement path P3' flashes on the map interface (K2) or the text is highlighted in an enlarged form, so that the actual location of the current playback screen in the video player (K1) can be displayed in real time. can
이와는 반대로, 지도인터페이스(K2)에 표시되는 이동경로정보 즉, 이동경로라인 P1, P2, P3 중 어느 하나를 선택(또는 터치)하면, 선택된 이동경로에 해당하는 재생구간이 인식되어 동영상 플레이어(K1)를 통해 해당 영상 부분이 재생될 수 있다.On the contrary, if any one of the movement route information displayed on the map interface K2, that is, the movement route line P1, P2, P3 is selected (or touched), the playback section corresponding to the selected movement route is recognized and the video player (K1 ), the corresponding video portion may be reproduced.
한편, 영상그룹이 촬영자가 이동하면서 촬영된 경우, 동영상 플레이어(K1)를 통해 해당 영상이 재생됨에 따라, 지도인터페이스(K2)에는 촬영위치 변화에 따라 이동경로 상에서 특정 아이콘(S: 촬영자를 상징함)이 실시간 이동될 수 있다.On the other hand, when a video group is filmed while the photographer moves, as the video is played through the video player K1, a specific icon (S: symbolizes the photographer) is displayed on the map interface K2 on the moving route according to the change in the shooting location. ) can be moved in real time.
본 실시예에 따른 이동경로정보는 지도인터페이스(K2)를 통해 해당 이동경로 상에 커머스 콘텐츠 아이콘을 표시할 수 있으며, 해당 커머스 콘텐츠 아이콘을 선택하면, 선택된 해당 커머스 콘텐츠에 대한 정보를 표시할 수 있다. 예를 들어, '이동경로 P2' 상에 '커머스 콘텐츠 아이콘 C2'가 표시될 수 있으며, 해당 아이콘을 선택하면, '** 횟집'이라는 맛집 카테고리로 등록된 커머스 정보가 표시될 수 있다. 상술한 바와 같이 커머스 콘텐츠는 동영상파일의 촬영위치와 관련하여 추출된 여행정보, 맛집정보, 광고정보 등이 포함되어 사용자에게 동영상파일의 촬영위치와 관련된 다양한 상업적 정보를 제공함으로써, 커머스 콘텐츠를 제공하는 사업자의 비즈니스 수입 모델 창출이 가능하다.For the movement route information according to the present embodiment, a commerce content icon may be displayed on the corresponding movement route through the map interface K2, and when the corresponding commerce content icon is selected, information on the selected commerce content may be displayed. . For example, 'commerce content icon C2' may be displayed on 'movement path P2', and when the corresponding icon is selected, commerce information registered as a restaurant category called '** raw fish restaurant' may be displayed. As described above, commerce content includes travel information, restaurant information, advertisement information, etc. extracted in relation to the filming location of the video file to provide users with various commercial information related to the filming location of the video file, thereby providing commerce content. It is possible to create a business income model for operators.
도 8은 본 발명의 다른 실시예에 따른 영상 자동 편집 및 편집 영상과 동기화된 지도 서비스 제공 방법의 구성을 나타낸 순서도이고, 도 9는 본 발명의 다른 실시예에 따른 영상파일 등록 단계의 구성을 나타낸 순서도이고, 도 10은 본 발명의 다른 실시예에 따른 영상그룹 생성 단계의 구성을 나타낸 순서도이며, 도 11은 본 발명의 다른 실시예에 따른 지도서비스 제공 단계의 구성을 나타낸 순서도이다.8 is a flow chart showing the configuration of a method for automatically editing an image and providing a map service synchronized with the edited image according to another embodiment of the present invention, and FIG. 9 shows the configuration of a video file registration step according to another embodiment of the present invention. 10 is a flowchart showing the configuration of a video group generating step according to another embodiment of the present invention, and FIG. 11 is a flowchart showing the configuration of a map service providing step according to another embodiment of the present invention.
도 8을 참조하면, 본 발명의 다 실시예에 따른 영상 자동 편집 및 편집 영상과 동기화된 지도 서비스 제공 방법(S1000)은 영상파일 등록 단계(S100), 이미지 전처리 단계(S200), 영상그룹 생성 단계(S300), 트랜지션 영상 삽입 단계(S400), 동영상파일 생성 단계(S500), 동영상파일 배포 단계(S600) 및 지도서비스 제공 단계(S700) 중 적어도 하나를 포함할 수 있다.Referring to FIG. 8 , a method of automatically editing an image and providing a map service synchronized with the edited image (S1000) according to various embodiments of the present invention includes a step of registering an image file (S100), a step of image preprocessing (S200), and a step of creating a video group. (S300), a transition image insertion step (S400), a video file creation step (S500), a video file distribution step (S600), and a map service providing step (S700).
상기 영상파일 등록 단계(S100)에서는, 사용자통신단말(10)로부터 다수의 영상파일을 입력 받아 자동편집서버(20)로 업로드 할 수 있다.In the video file registration step (S100), a plurality of video files may be received from the
이를 위해 영상파일 등록 단계(S100)는 도 9에 도시된 바와 같이, 영상파일 선택 단계(S110)와 영상파일 업로드 단계(S120) 중 적어도 하나를 포함할 수 있다.To this end, the image file registration step (S100) may include at least one of an image file selection step (S110) and an image file upload step (S120), as shown in FIG.
상기 영상파일 선택 단계(S110)는, 사용자통신단말(10)의 앨범 또는 사진첩에 접근하여, 해당 앨범 또는 사진첩에 저장된 동영상파일 및 사진파일 중 적어도 하나의 영상파일을 선택 받도록 하거나, 사용자통신단말(10)의 카메라를 통해 촬영된 동영상이나 사진 중 어느 하나를 선택할 수 있도록 한다. In the video file selection step (S110), by accessing the album or photo album of the
상기 영상파일 업로드 단계(S120)는, 영상파일 선택 단계(S110)를 통해 선택된 동영상, 사진 등의 영상파일을 유선 또는 무선 인터넷 통신망을 통해 자동편집서버(20)로 업로드 할 수 있다. In the video file uploading step (S120), video files such as videos and photos selected in the video file selection step (S110) can be uploaded to the
상기 이미지 전처리 단계(S200)는, 영상파일 등록 단계(S100)를 통해 업로드 된 영상파일(동영상, 사진)의 사이즈를 미리 설정된 사이즈로 통일되도록 각각 변환하고, 영상파일의 방향이 미리 설정된 방향으로 정렬되도록 회전시켜 영상파일에 포함된 이미지데이터를 정규화할 수 있으며, 전처리가 완료된 영상파일을 영상그룹 생성 단계(S300)를 실행하기 위해 제공할 수 있다. 이때, 영상파일은 그 촬영방향 즉 세로로 촬영되었는지 또는 가로로 촬영되었는지에 따라 해당 영상의 사이즈와 형태가 상이할 수 있으므로, 이를 통일시키도록 영상을 회전 변환시킬 수 있다.In the image preprocessing step (S200), the size of the image files (videos and photos) uploaded through the image file registration step (S100) is converted to a uniform size, respectively, and the directions of the image files are aligned in the preset direction. Image data included in the image file may be normalized by rotating as much as possible, and the image file for which preprocessing is completed may be provided to execute the image group generation step (S300). At this time, since the size and shape of the corresponding image may be different depending on the image file's shooting direction, that is, vertical or horizontal, the images may be rotated and converted to unify them.
상기 영상그룹 생성 단계(S300)는, 다수의 영상파일(동영상, 사진)로부터 추출된 메타데이터(시간, 장소) 및 인식된 객체데이터(인물, 동물, 사물, 건물 등)에 따라 다수의 클립영상으로 분할하고, 인식된 메타데이터 및 객체데이터를 기반으로 다수의 클립영상 간 맥락을 추론하고, 맥락추론결과에 따라 클립영상을 배열 및 그룹화하여 다수의 클립영상을 포함한 적어도 하나의 영상그룹을 생성할 수 있다.In the image group creation step (S300), a plurality of clip images are generated according to metadata (time, place) extracted from a plurality of image files (video, photo) and recognized object data (person, animal, object, building, etc.) , inferring the context between a plurality of clip images based on the recognized metadata and object data, and arranging and grouping the clip images according to the result of the context inference to generate at least one image group including a plurality of clip images. can
이를 위해 영상그룹 생성 단계(S300)는 도 10에 도시된 바와 같이, 메타데이터 추출 단계(S310), 객체데이터 인식 단계(S320), 영상파일 분할 단계(S330), 객체 분석 단계(S340), 영상배열 형성 단계(S350) 및 영상그룹 생성 단계(S360) 중 적어도 하나를 포함할 수 있다.To this end, the image group creation step (S300), as shown in FIG. At least one of an array forming step (S350) and an image group generating step (S360) may be included.
상기 메타데이터 추출 단계(S310)는, 전처리가 완료된 동영상, 사진 등의 영상파일에서 메타데이터를 추출할 수 있으며, 추출된 메타데이터에서 촬영일시데이터와 촬영위치데이터를 각각 추출할 수 있다. 여기서, 촬영일시데이터는 영상파일이 촬영된 년, 월, 일, 시에 대한 정보를 포함하고, 촬영위치데이터는 영상파일을 촬영한 사용자통신단말(10)의 GPS위치정보를 포함할 수 있다. 이러한 촬영일시데이터와 촬영위치데이터는 후술하는 영상파일의 맥락추론을 위한 정보 중 하나로서 활용되며, 맥락추론을 위한 영상파일의 새로운 메타데이터로서 새롭게 저장 또는 정의될 수 있다.In the metadata extraction step (S310), metadata may be extracted from image files such as videos and photos for which preprocessing has been completed, and recording date and time data and recording location data may be extracted from the extracted metadata, respectively. Here, the recording date data may include information on the year, month, day, and time when the video file was captured, and the recording location data may include GPS location information of the
상기 객체데이터 인식 단계(S320)는, 전처리가 완료된 영상파일(동영상, 사진)에서 객체데이터를 인식할 수 있다. 이러한 객체데이터 인식 단계(S320)는 객체 인식을 위해 미리 정의된 머신러닝 알고리즘을 활용하여 영상파일의 영상데이터 내 존재하는 특정 객체를 인식할 수 있다. 여기서, 객체는 사람(인물), 동물(개, 고양이 등), 사물(자동차, 건축물, 교량, 신호등 등) 등 다양한 대상을 포함할 수 있으며, 본 실시예에서는 미리 설정된 객체 또는 객체군에 대한 인식 프로세스를 제공할 수 있다. In the object data recognizing step (S320), object data may be recognized in the preprocessed image file (video, photo). In this object data recognizing step (S320), a specific object present in the image data of the image file may be recognized by utilizing a predefined machine learning algorithm for object recognition. Here, the object may include various objects such as people (persons), animals (dogs, cats, etc.), objects (cars, buildings, bridges, traffic lights, etc.), and in this embodiment, recognition of a preset object or group of objects. process can be provided.
상기 영상파일 분할 단계(S330)는, 업로드 된 영상파일이 동영상파일인 경우 해당 동영상파일에서 인식된 객체데이터에 따라 해당 동영상파일을 해당 객체를 기준으로 분할하여 다수의 클립영상을 생성할 수 있다.In the video file division step (S330), if the uploaded video file is a video file, a plurality of clip images may be generated by dividing the video file based on the object according to the object data recognized in the video file.
예를 들어, 도 5의 (a) 및 (b)에 도시된 바와 같이 업로드 된 영상파일이 Video01, Video02, Image01, Video03, Image02, Video04가 있다고 가정했을 때, Video01에는 객체 1, 2가 인식되고, Video02에는 객체 1, 2가 인식되고, Video03에는 객체 2, 3이 인식되고, Video04에는 객체 2, 3이 인식되었다면, 각 인식객체가 나타나는 재생구간에 따라 Video를 다수의 클립영상으로 분할할 수 있다. 다만, 하나의 Video에서 서로 다른 객체가 서로 다른 재생구간에서 인식되는 경우 객체가 나타나는 구간 단위로 Video를 분할할 수 있다. 즉, Video01에는 객체 1, 2가 인식되었지만, 객체 1이 먼저 인식되고 객체 2가 인식된 후 다시 객체 1이 인식되는 경우 객체 1, 객체 2, 객체 3의 인식순서에 따라 Clip01, Clip02, Clip03으로 분할할 수 있다. For example, assuming that the uploaded video files have Video01, Video02, Image01, Video03, Image02, and Video04 as shown in (a) and (b) of FIG. 5, objects 1 and 2 are recognized in Video01 and , If objects 1 and 2 are recognized in Video02, objects 2 and 3 are recognized in Video03, and objects 2 and 3 are recognized in Video04, the video can be divided into multiple clips according to the playback section in which each recognized object appears. there is. However, if different objects are recognized in different playback sections in one video, the video can be divided into sections where the objects appear. That is, if objects 1 and 2 are recognized in Video01, but object 1 is recognized first, then object 2 is recognized, and then object 1 is recognized again, Clip01, Clip02, and Clip03 according to the recognition order of object 1, object 2, and
상기 객체 분석 단계(S340)는, 클립영상 및 사진파일 별로 인물객체에 대한 성별, 연령, 행동 및 감정 중 적어도 하나에 대한 객체특징을 분석하여 객체메타데이터를 생성할 수 있다. 여기서, 객체메타데이터는 후술하는 맥락추론을 위한 기초정보로서 활용되며, 클립영상 및 사진들에 대한 전후 맥락을 추론하기에 앞서 각 파일들에 나타나는 인물객체의 특징적 요소 즉, 성별, 연령, 행동, 감정 등의 특징을 미리 정의된 머신러닝 알고리즘을 활용하여 분석할 수 있다. 객체 분석 단계(S340)의 분석결과 즉, 객체메타데이터는 인식된 객체 별로 객체성별메타정보, 객체연령메타정보, 객체행동메타정보, 객체감정메타정보 중 적어도 하나를 정보를 포함하며, 후술하는 맥락추론을 위해 기초정보 중 하나로서 활용될 수 있다.In the object analysis step (S340), object metadata may be generated by analyzing object characteristics for at least one of gender, age, behavior, and emotion of the person object for each clip image and photo file. Here, object metadata is used as basic information for context inference, which will be described later, and prior to inferring the context of clip images and photos, the characteristic elements of person objects appearing in each file, that is, gender, age, behavior, Characteristics such as emotions can be analyzed using predefined machine learning algorithms. The analysis result of the object analysis step (S340), that is, the object metadata includes at least one of object gender meta information, object age meta information, object behavior meta information, and object emotion meta information for each recognized object, and the context described later. It can be used as one of the basic information for reasoning.
상기 영상배열 형성 단계(S350)는, 영상파일(클립영상 및 사진파일)의 촬영일시데이터 및 촬영위치데이터와, 객체메타데이터를 기반으로 클립영상 및 사진파일 각각 간의 맥락을 추론하고, 맥락추론결과에 따라 클립영상 및 사진파일을 자동 배열 또는 정렬하여 영상배열을 형성할 수 있다.In the image array forming step (S350), the context between each clip image and photo file is inferred based on the shooting date and time data and shooting location data of the image file (clip image and photo file) and object metadata, and the context inference result Depending on the above, an image arrangement can be formed by automatically arranging or arranging clip images and photo files.
예를 들어, 도 5의 (b)와 같이 분할된 Clip01, Clip02, Clip03, Clip04, Clip05, Image01, Clip06, Clip07, Clip08, Image02, Clip09, Clip10은 각 클립영상과 사진파일의 촬영시간, 촬영위치, 인물객체의 다양한 특성(성별, 연령, 행동, 감정)을 고려하여 미리 학습된 머신러닝 알고리즘을 통한 맥락추론을 실시하여 특정한 스토리나 전개를 갖는 파일들의 순서를 정의 또는 결정할 수 있으며, 이러한 맥락추론결과에 따라 도 5의 (c)에 도시된 바와 같이, Clip02, Clip04, Clip03, Image01, Clip01, Clip05, Clip06, Clip09, Image02, Clip08, Clip10, Clip07의 순서를 갖는 영상배열을 형성할 수 있다. For example, Clip01, Clip02, Clip03, Clip04, Clip05, Image01, Clip06, Clip07, Clip08, Image02, Clip09, and Clip10 divided as shown in (b) of FIG. , It is possible to define or determine the order of files having a specific story or development by conducting context inference through pre-learned machine learning algorithms in consideration of various characteristics (gender, age, behavior, emotion) of a person object, and such context inference According to the result, as shown in (c) of FIG. 5, an image array having the order of Clip02, Clip04, Clip03, Image01, Clip01, Clip05, Clip06, Clip09, Image02, Clip08, Clip10, Clip07 can be formed.
한편, 영상배열 형성 단계(S350)는, 영상배열에 포함된 클립영상을 재생 가능하게 표시하고, 영상배열에 포함된 클립영상 및 사진파일 각각의 배열 순서를 드래그 앤 드랍 방식으로 변경하기 위한 제1 사용자 인터페이스를 제공할 수 있다.On the other hand, in the image array forming step (S350), a first step for displaying clip images included in the image array in a reproducible manner and changing the arrangement order of each of the clip images and photo files included in the image array using a drag-and-drop method. A user interface can be provided.
예를 들어, 도 5의 (c)와 같이 도시된 영상배열이 Clip02, Clip04, Clip03, Image01, Clip01, Clip05, Clip06, Clip09, Image02, Clip08, Clip10, Clip07의 순서로 형성된 경우, Clip02 클립영상을 선택한 후 드래그하여 Clip01과 Clip05 사이에 드랍하고, Image02를 선택한 후 Clip04 앞으로 드랍하면, 해당 영상배열이 Image02, Clip04, Clip03, Image01, Clip01, Clip02, Clip05, Clip06, Clip09, Clip08, Clip10, Clip07의 순서로 재배치될 수 있다.For example, when the image array shown in (c) of FIG. 5 is formed in the order of Clip02, Clip04, Clip03, Image01, Clip01, Clip05, Clip06, Clip09, Image02, Clip08, Clip10, Clip07, Clip02 clip image After selecting and dragging to drop between Clip01 and Clip05, select Image02 and drop in front of Clip04, the image array will be in the order of Image02, Clip04, Clip03, Image01, Clip01, Clip02, Clip05, Clip06, Clip09, Clip08, Clip10, Clip07 can be relocated to
상기 영상그룹 생성 단계(S360)는, 영상배열 형성 단계(S350)를 통한 맥락추론결과를 기반으로 영상배열에서 맥락종료지점을 각각 경계점으로 자동 설정하고, 설정된 경계점을 기준으로 영상배열에 대한 그룹화를 수행하여 영상그룹을 생성할 수 있다.In the video group generating step (S360), based on the result of context inference through the image array forming step (S350), context end points in the video array are automatically set as boundary points, respectively, and the video arrays are grouped based on the set boundary points. You can create an image group by performing
예를 들어, 도 5의 (d)에 도시된 바와 같이 맥락추론결과에 따라 특정한 스토리의 흐름이 종료되는 지점으로 A1와 A2가 설정되면, 설정된 A1와 A2을 기준으로 Clip02, Clip04, Clip03, Image01으로 구성되는 제1 영상그룹, Clip01, Clip05, Clip06, Clip09로 구성되는 제2 영상그룹, Image02, Clip08, Clip10, Clip07로 구성되는 제3 영상그룹이 각각 정의될 수 있다. For example, as shown in (d) of FIG. 5 , when A1 and A2 are set as points at which the flow of a specific story ends according to the result of context inference, Clip02, Clip04, Clip03, Image01 based on the set A1 and A2. A first image group composed of , a second image group composed of Clip01, Clip05, Clip06, and Clip09, and a third image group composed of Image02, Clip08, Clip10, and Clip07 may be respectively defined.
한편, 영상그룹 생성 단계(S360)는, 맥락종료지점 즉 경계점의 위치를 드래그 앤 드랍 방식으로 변경하기 위한 제2 사용자 인터페이스를 제공할 수 있다.Meanwhile, in the image group creation step (S360), a second user interface for changing the position of the context end point, that is, the boundary point, may be provided using a drag-and-drop method.
예를 들어, 도 5의 (d)에 도시된 경계점 A1과 A2가 최초 설정되어 있는 상태에서, A1을 선택한 후 드래그하여 Clip01과 Clip05 사이에 드랍하면 제1 영상그룹은 Clip02, Clip04, Clip03, Image01, Clip01으로 재구성되고, 제2 영상그룹은 Clip05, Clip06, Clip09로 재구성될 수 있다.For example, in the state where the boundary points A1 and A2 shown in (d) of FIG. 5 are initially set, if A1 is selected and then dragged and dropped between Clip01 and Clip05, the first image group is Clip02, Clip04, Clip03, Image01 , Clip01, and the second image group can be reconstructed into Clip05, Clip06, and Clip09.
상기 트랜지션 영상 삽입 단계(S400)는, 각각의 영상그룹 사이를 경계점으로 인식하고, 인식된 경계점에 미리 준비된 트랜지션 영상을 삽입할 수 있다. 즉, 경계점 A1과 A2에 미리 준비된 트랜지션 영상을 삽입하여 제1 영상그룹에 대한 재생이 종료된 후 제2 영상그룹에 대한 재생이 이루어지기 전에 트랜지션 영상이 재생되어 제1 영상그룹과 제2 영상그룹 간의 화면 전환이 자연스럽게 이루어질 수 있도록 편집될 수 있다. In the transition image inserting step (S400), each image group may be recognized as a boundary point, and a previously prepared transition image may be inserted at the recognized boundary point. That is, after playback of the first image group is finished by inserting transition images prepared in advance at the boundary points A1 and A2, the transition image is reproduced before playback of the second image group is performed, and the first image group and the second image group are reproduced. It can be edited so that the transition between screens can be made naturally.
이때, 최종 생성될 동영상파일에 대한 테마, 컨셉, 카테고리 등을 사용자가 설정하면, 설정정보에 따라 미리 준비된 트랜지션 영상 중 적어도 하나가 자동 선택되어 경계점에 삽입됨으로써 클립영상 간 또는 클립영상과 사진 사이의 전환 시 매끄럽고 효과적인 장면전환이 자동적으로 연출되도록 할 수 있다. 물론, 본 실시예에 따른 트랜지션 영상은 사용자가 직접 제작 또는 편집한 영상으로 설정되어 자동 삽입될 수 있으며, 맥락추론결과에 따라 전후 맥락에 따른 이미지나 분위기에 맞는 컨셉의 트랜지션 영상이 자동 선택 또는 추천되어 적용될 수도 있다.At this time, if the user sets the theme, concept, category, etc. for the video file to be finally created, at least one of the transition videos prepared in advance according to the setting information is automatically selected and inserted at the boundary, thereby creating a clear image between clip images or between clip images and photos. Smooth and effective scene transitions can be produced automatically during transition. Of course, the transition video according to the present embodiment can be set as a video produced or edited by the user and automatically inserted, and a transition video with a concept suitable for the image or atmosphere according to the context is automatically selected or recommended according to the result of context inference. may be applied.
상기 동영상파일 생성 단계(S500)는, 도 5의 (e)에 도시된 바와 같이 트랜지션 영상이 삽입된 영상그룹과 경계점을 서로 결합하여 하나의 동영상파일을 생성할 수 있다. 이때, 사용자가 업로드 한 타이틀, 엔딩 등에 대한 텍스트 정보가 있는 경우 해당 동영상파일의 시작과 종료지점에 해당 텍스트 정보가 삽입된 영상클립이 추가 삽입되어 동영상파일에 적용될 수도 있다. In the video file generation step (S500), as shown in (e) of FIG. 5, one video file may be created by combining an image group into which a transition image is inserted and a boundary point. At this time, if there is text information about a title, an ending, etc. uploaded by a user, a video clip in which the text information is inserted may be additionally inserted at the start and end points of the corresponding video file and applied to the video file.
상기 동영상파일 배포 단계(S600)는, 동영상파일을 렌더링 및 압축한 후 유선 또는 무선 인터넷 통신망을 통해 사용자통신단말(10)로 전송하여 배포 또는 전송함으로써, 최초 업로드 한 다수의 동영상 및 사진을 이용하여 특정한 스토리 또는 시퀀스를 가지며 매끄럽고 효과적인 장면전환이 연출되도록 편지된 하나의 동영상파일을 제공할 수 있다.In the video file distribution step (S600), the video file is rendered and compressed, and then transmitted to the
상기 지도서비스 제공 단계(S700)는, 사용자통신단말(10)을 통한 동영상파일의 재생 시 지도 서비스 시스템과 연동하여 동영상파일에 포함된 메타데이터 중 촬영위치데이터에 따른 지도서비스를 제공할 수 있다.In the map service providing step (S700), when a video file is reproduced through the
이를 위해, 지도서비스 제공 단계(S700)는 도 11에 도시된 바와 같이, 촬영위치정보 추출 단계(S710), 이동경로정보 생성 단계(S720), 커머스 콘텐츠 추출 단계(S730), 지도서비스정보 저장 단계(S740) 및 지도서비스정보 표시 단계(S750) 중 적어도 하나를 포함할 수 있다.To this end, as shown in FIG. 11, the map service providing step (S700) includes a photographing location information extraction step (S710), a movement route information generation step (S720), a commerce content extraction step (S730), and a map service information storage step. At least one of (S740) and displaying map service information (S750) may be included.
상기 촬영위치정보 추출 단계(S710)는, 동영상파일의 클립영상 및 사진파일에 각각에 대한 메타데이터 중 촬영위치데이터를 각각 추출할 수 있다.In the step of extracting the shooting location information (S710), shooting location data may be extracted from among metadata for each of the clip image and photo file of the video file.
상기 이동경로정보 생성 단계(S720)는, 지도 서비스 시스템을 이용하여 촬영위치정보 추출 단계(S710)를 통해 추출된 촬영위치데이터에 따른 이동경로정보를 생성할 수 있다. In the moving route information generating step (S720), moving route information according to the photographing location data extracted through the photographing location information extraction step (S710) may be generated using a map service system.
예를 들어, 동영상파일이 클립영상 a~d, 사진파일 e, 클립영상 f, g로 구성되어 있고, 클립영상 a~d의 각 촬영위치데이터와, 사진파일 e의 촬영위치데이터와, 클립영상 f, g의 각 촬영위치데이터를 지도 서비스 시스템에 검색 값으로 입력하고, 검색 결과를 바탕으로 이동경로정보를 생성할 수 있다. 이때, 생성된 이동경로정보는 촬영위치변화에 따른 이동경로를 알 수 있는 정보로, 시계열적인 특징이 반영될 수 있다. 이동경로정보에 시계열적 특징이 반영되기 위해서는 클립영상 a~d, 사진파일 e, 클립영상 f, g의 각 메타데이터 중 촬영일시데이터를 추가적으로 추출하고, 이를 반영하여 촬영위치데이터를 시계열적으로 정렬하거나, 클립영상 a~d, 사진파일 e, 클립영상 f, g 자체가 맥락에 따라 정렬되어 있는 바, 시계열적인 특성이 반영되어 있는 것으로 간주하여 클립영상 a~d, 사진파일 e, 클립영상 f, g의 순서대로 촬영위치데이터에 따른 이동경로정보를 생성할 수 있다. For example, a video file is composed of clip images a to d, photo files e, clip images f, and g, and the shooting location data of clip images a to d, the shooting location data of photo file e, and the clip image. Each photographing location data of f and g may be input as a search value to the map service system, and movement route information may be generated based on the search result. At this time, the generated moving path information is information for knowing the moving path according to the change in the photographing position, and time-sequential characteristics may be reflected. In order to reflect the time-sequential characteristics in the moving route information, the shooting date and time data is additionally extracted from the metadata of clip images a to d, photo files e, and clip images f and g, and the shooting location data is sorted in time series by reflecting this. Or, since clip images a to d, photo files e, clip images f, and g themselves are arranged according to context, clip images a to d, photo files e, and clip images f are considered to reflect time-series characteristics. , it is possible to generate movement path information according to the photographing location data in the order of g.
지도 서비스 시스템을 기반으로 생성된 이동경로정보에는 촬영위치데이터가 각각 포함되어 있으며, 각 촬영위치데이터는 클립영상 및 사진파일의 메타데이터로서 각각의 영상파일과 매칭되어 있어, 이동경로정보와 동영상파일이 동기화될 수 있다.The movement route information generated based on the map service system includes each of the shooting location data, and each shooting location data is the metadata of the clip image and photo file and is matched with each video file, so that the movement route information and the video file can be synchronized.
상기 커머스 콘텐츠 추출 단계(S730)는, 미리 구축된 데이터베이스에서 각 이동경로정보에 해당되는 커머스 콘텐츠를 추출할 수 있다. 본 실시예에 따른 데이터베이스는 위치정보를 기반으로 미리 등록된 여행정보, 맛집정보, 광고정보 등이 저장되어 있다. 이에 따라 커머스 콘텐츠 추출 단계(S730)는 이동경로정보에 포함된 촬영위치데이터에 해당하는 여행정보, 맛집정보, 광고정보를 해당 데이터베이스로부터 선별하고, 커머스 콘텐츠로서 추출할 수 있다.In the commerce content extraction step (S730), commerce content corresponding to each moving route information may be extracted from a pre-built database. The database according to the present embodiment stores pre-registered travel information, restaurant information, advertisement information, and the like based on location information. Accordingly, in the commerce content extraction step (S730), travel information, restaurant information, and advertisement information corresponding to the photographing location data included in the movement route information may be selected from the corresponding database and extracted as commerce content.
상기 지도서비스정보 저장 단계(S740)는, 동영상파일의 촬영위치데이터에 따라 생성된 이동경로정보 및 촬영위치데이터에 따라 추출된 커머스 콘텐츠를 해당 지도서비스정보로 저장할 수 있으며, 동영상파일의 재생 시 해당 지도서비스정보를 지도서비스정보 표시 단계(S750)로 제공할 수 있다.In the map service information storage step (S740), the moving route information generated according to the shooting location data of the video file and the commerce content extracted according to the shooting location data may be stored as corresponding map service information. Map service information may be provided in the map service information display step (S750).
상기 지도서비스정보 표시 단계(S750)는, 동영상파일의 재생 시 동영상파일을 지도 서비스 시스템에 동기화시켜 지도 상에서 지도서비스정보를 제공할 수 있다.In the displaying of map service information (S750), map service information may be provided on the map by synchronizing the video file with the map service system when the video file is reproduced.
예를 들어, 도 7에 도시된 바와 같이 동영상 플레이어(K1)를 통해 자동 편집된 특정 동영상파일을 재생하는 경우, 재생되는 해당 동영상파일에 대하여 미리 저장된 지도서비스정보를 사용자통신단말(10)을 통해 지원되는 지도 서비스 시스템과 연동하여 지도인터페이스(K2)을 통해 출력할 수 있다. 상술한 바와 같이, 동영상파일의 메타데이터 중 하나인 촬영위치데이터는 지도서비스정보의 이동경로정보와 매칭되어 있으므로, 동영상파일과 지도서비스정보는 서로 동기화되며, 이에 따라 동영상 플레이어(K1)와 지도인터페이스(K2)는 서로 동기화된 상태로 연동할 수 있다.For example, as shown in FIG. 7, when a specific automatically edited video file is played through the video player K1, pre-stored map service information for the video file being played is transmitted through the
예를 들어, 동영상 플레이어(K1)의 영상그룹이 P1, P2, P3로 구성되고, 각 영상그룹 별로 촬영위치데이터가 각각 상이한 경우, 해당 영상그룹 P1, P2, P3에 의한 이동경로정보가 각기 다른 색상으로 이어진 라인으로 생성되어 지도인터페이스(K2)를 통해 표시될 수 있으며, 각 색상에 따라 영상그룹 P1, P2, P3 각각에 대한 촬영위치를 구별할 수 있다. 또한, '영상그룹 P1'이 재생되는 구간 동안에는 지도인터페이스(K2)에는 '이동경로 P1'이 점멸되거나 텍스트가 확대된 형태로 강조됨으로써 동영상 플레이어(K1)에서 현재 재생화면의 실제위치를 실시간 표시할 수 있다. 또한, '영상그룹 P2'가 재생되는 구간 동안에는 지도인터페이스(K2)에는 '이동경로 P2'이 점멸되거나 텍스트가 확대된 형태로 강조됨으로써 동영상 플레이어(K1)에서 현재 재생화면의 실제위치를 실시간 표시할 수 있다. 또한, '영상그룹 P3'이 재생되는 구간 동안에는 지도인터페이스(K2)에는 '이동경로 P3'이 점멸되거나 텍스트가 확대된 형태로 강조됨으로써 동영상 플레이어(K1)에서 현재 재생화면의 실제위치를 실시간 표시할 수 있다. For example, if the video group of the video player K1 is composed of P1, P2, and P3, and the shooting location data is different for each video group, the movement path information by the corresponding video group P1, P2, and P3 is different. It can be created as a line connected by color and displayed through the map interface K2, and the shooting location for each of the image groups P1, P2, and P3 can be distinguished according to each color. In addition, during the section where 'video group P1' is played, 'movement path P1' flashes on the map interface (K2) or the text is highlighted in an enlarged form, so that the actual location of the current playback screen in the video player (K1) can be displayed in real time. can In addition, during the section where 'video group P2' is played, 'movement path P2' flashes on the map interface (K2) or the text is highlighted in an enlarged form, so that the video player (K1) can display the actual location of the current playback screen in real time. can In addition, during the section where 'video group P3' is played, 'movement path P3' flashes on the map interface (K2) or the text is highlighted in an enlarged form, so that the actual location of the current playback screen in the video player (K1) can be displayed in real time. can
이와는 반대로, 지도인터페이스(K2)에 표시되는 이동경로정보 즉, 이동경로라인 P1, P2, P3 중 어느 하나를 선택(또는 터치)하면, 선택된 이동경로에 해당하는 재생구간이 인식되어 동영상 플레이어(K1)를 통해 해당 영상 부분이 재생될 수 있다.On the contrary, if any one of the movement route information displayed on the map interface K2, that is, the movement route line P1, P2, P3 is selected (or touched), the playback section corresponding to the selected movement route is recognized and the video player (K1 ), the corresponding video portion may be reproduced.
한편, 영상그룹이 촬영자가 이동하면서 촬영된 경우, 동영상 플레이어(K1)를 통해 해당 영상이 재생됨에 따라, 지도인터페이스(K2)에는 촬영위치 변화에 따라 이동경로 상에서 특정 아이콘(S: 촬영자를 상징함)이 실시간 이동될 수 있다.On the other hand, when a video group is filmed while the photographer moves, as the video is played through the video player K1, a specific icon (S: symbolizes the photographer) is displayed on the map interface K2 on the moving route according to the change in the shooting location. ) can be moved in real time.
본 실시예에 따른 이동경로정보는 지도인터페이스(K2)를 통해 해당 이동경로 상에 커머스 콘텐츠 아이콘을 표시할 수 있으며, 해당 커머스 콘텐츠 아이콘을 선택하면, 선택된 해당 커머스 콘텐츠에 대한 정보를 표시할 수 있다. 예를 들어, '이동경로 P2' 상에 '커머스 콘텐츠 아이콘 C2'가 표시될 수 있으며, 해당 아이콘을 선택하면, '** 횟집'이라는 맛집 카테고리로 등록된 커머스 정보가 표시될 수 있다. 상술한 바와 같이 커머스 콘텐츠는 동영상파일의 촬영위치와 관련하여 추출된 여행정보, 맛집정보, 광고정보 등이 포함되어 사용자에게 동영상파일의 촬영위치와 관련된 다양한 상업적 정보를 제공함으로써, 커머스 콘텐츠를 제공하는 사업자의 비즈니스 수입 모델 창출이 가능하다.For the movement route information according to the present embodiment, a commerce content icon may be displayed on the corresponding movement route through the map interface K2, and when the corresponding commerce content icon is selected, information on the selected commerce content may be displayed. . For example, 'commerce content icon C2' may be displayed on 'movement path P2', and when the corresponding icon is selected, commerce information registered as a restaurant category called '** raw fish restaurant' may be displayed. As described above, commerce content includes travel information, restaurant information, advertisement information, etc. extracted in relation to the filming location of the video file to provide users with various commercial information related to the filming location of the video file, thereby providing commerce content. It is possible to create a business income model for operators.
이상에서 설명한 것은 본 발명에 의한 영상 자동 편집 및 편집 영상과 동기화된 지도 서비스 제공 시스템 및 그 방법을 실시하기 위한 하나의 실시예에 불과한 것으로서, 본 발명은 상기 실시예에 한정되지 않고, 이하의 특허청구범위에서 청구하는 바와 같이 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변경 실시가 가능한 범위까지 본 발명의 기술적 정신이 있다고 할 것이다.What has been described above is only one embodiment for implementing a system and method for automatically editing an image and synchronizing a map service with the edited image according to the present invention, and the present invention is not limited to the above embodiment, and the following patents As claimed in the claims, anyone skilled in the art without departing from the gist of the present invention will say that the technical spirit of the present invention exists to the extent that various changes can be made.
1000: 영상 자동 편집 및 편집 영상과 동기화된 지도 서비스 제공 시스템
100: 영상파일 등록부
110: 영상파일 선택부
120: 영상파일 업로드부
200: 이미지 전처리부
300: 영상그룹 생성부
310: 메타데이터 추출부
320: 객체 인식부
330: 영상파일 분할부
340: 객체 분석부
350: 영상배열 형성부
360: 영상그룹 생성부
400: 트랜지션 영상 삽입부
500: 동영상파일 생성부
600: 동영상파일 배포부
700: 지도서비스 제공부
710: 촬영위치정보 추출부
720: 이동경로정보 생성부
730: 커머스 콘텐츠 추출부
740: 지도서비스정보 저장부
750: 지도서비스정보 표시부
S1000: 영상 자동 편집 및 편집 영상과 동기화된 지도 서비스 제공 방법
S100: 영상파일 등록 단계
S110: 영상파일 선택 단계
S120: 영상파일 업로드 단계
S200: 이미지 전처리 단계
S300: 영상그룹 생성 단계
S310: 메타데이터 추출 단계
S320: 객체 인식 단계
S330: 영상파일 분할 단계
S340: 객체 분석 단계
S350: 영상배열 형성 단계
S360: 영상그룹 생성 단계
S400: 트랜지션 영상 삽입 단계
S500: 동영상파일 생성 단계
S600: 동영상파일 배포 단계
S700: 지도서비스 제공 단계
S710: 촬영위치정보 추출 단계
S720: 이동경로정보 생성 단계
S730: 커머스 콘텐츠 추출 단계
S740: 지도서비스정보 저장 단계
S750: 지도서비스정보 표시 단계1000: Automatic video editing and map service provision system synchronized with edited video
100: image file register
110: video file selection unit
120: image file upload unit
200: image pre-processing unit
300: image group creation unit
310: metadata extraction unit
320: object recognition unit
330: video file division unit
340: object analysis unit
350: image array forming unit
360: image group creation unit
400: transition video insertion unit
500: video file generation unit
600: video file distribution unit
700: map service provider
710: shooting location information extraction unit
720: movement route information generation unit
730: commerce content extraction unit
740: map service information storage unit
750: map service information display unit
S1000: Method for automatically editing video and providing map service synchronized with edited video
S100: image file registration step
S110: Video file selection step
S120: Image file upload step
S200: image pre-processing step
S300: Image group creation step
S310: metadata extraction step
S320: object recognition step
S330: Image file division step
S340: object analysis step
S350: image array formation step
S360: Image group creation step
S400: Transition image insertion step
S500: video file creation step
S600: Video file distribution step
S700: Map service provision step
S710: photographing location information extraction step
S720: Movement route information generation step
S730: commerce content extraction step
S740: Map service information storage step
S750: Map service information display step
Claims (14)
트랜지션 영상 삽입부가, 상기 영상그룹 간을 경계점으로 인식하고, 인식된 경계점에 미리 준비된 트랜지션 영상을 삽입하는 트랜지션 영상 삽입 단계;
동영상파일 생성부가, 상기 트랜지션 영상이 삽입된 영상그룹과 상기 경계점 간을 서로 결합하여 동영상파일을 생성하는 동영상파일 생성 단계; 및
지도서비스 제공부가, 사용자통신단말을 통한 상기 동영상파일의 재생 시 지도 서비스 시스템과 연동하여 상기 동영상파일에 포함된 메타데이터 중 촬영위치데이터에 따른 지도서비스를 제공하는 지도서비스 제공 단계를 포함하고,
상기 영상파일은 동영상파일 및 사진파일 중 적어도 하나를 포함하고,
상기 영상그룹 생성 단계는,
영상파일에서 촬영일시데이터와 촬영위치데이터를 각각 추출하는 메타데이터 추출 단계;
영상파일에서 객체데이터를 인식하는 객체 인식 단계;
영상파일이 동영상파일인 경우 상기 객체데이터에 따라 해당 영상파일을 분할하여 다수의 클립영상을 생성하는 영상파일 분할 단계;
클립영상 및 사진파일 별로 인물객체에 대한 성별, 연령, 행동 및 감정 중 적어도 하나를 분석하여 객체메타데이터를 생성하는 객체 분석 단계;
상기 촬영일시데이터, 상기 촬영위치데이터 및 상기 객체메타데이터를 기반으로 클립영상 및 사진파일 각각 간의 맥락을 추론하고, 맥락추론결과에 따라 클립영상 및 사진파일을 자동 배열하여 영상배열을 형성하는 영상배열 형성 단계; 및
상기 맥락추론결과를 기반으로 상기 영상배열에서 맥락종료지점을 각각 경계점으로 자동 설정하고, 설정된 상기 경계점을 기준으로 상기 영상배열에 대한 그룹화를 수행하여 상기 영상그룹을 형성하는 영상그룹 형성 단계를 포함하는 것을 특징으로 하는 영상 자동 편집 및 편집 영상과 동기화된 지도 서비스 제공 방법.
The image group generator divides the image into a plurality of clip images according to the metadata extracted from the plurality of image files and the recognized object data, and infers the context between the plurality of clip images based on the metadata and the object data; an image group generating step of generating at least one image group including a plurality of clip images by arranging and grouping the clip images according to a result of context inference;
a transition image inserting step of recognizing, by a transition image inserting unit, the boundary between the image groups as a boundary point, and inserting a previously prepared transition image at the recognized boundary point;
a video file generation step of generating a video file by combining, by a video file generator, between the video group into which the transition video is inserted and the boundary point; and
A map service providing step in which a map service providing unit provides a map service according to shooting location data among metadata included in the video file in conjunction with a map service system when the video file is played back through a user communication terminal,
The image file includes at least one of a video file and a photo file,
The image group creation step,
A metadata extraction step of extracting shooting date and time data and shooting location data from the image file, respectively;
object recognition step of recognizing object data in the image file;
If the video file is a video file, dividing the corresponding video file according to the object data to generate a plurality of clip images;
An object analysis step of generating object metadata by analyzing at least one of gender, age, behavior, and emotion of the person object for each clip image and photo file;
An image arrangement in which a context between each clip image and photo file is inferred based on the shooting date data, the shooting location data, and the object metadata, and the clip image and photo files are automatically arranged according to the result of the context inference to form an image arrangement. formation step; and
An image group forming step of automatically setting a context end point in the image array as a boundary point based on a result of the context inference, and grouping the image array based on the set boundary point to form the image group. A method of automatically editing an image and providing a map service synchronized with the edited image, characterized in that.
영상파일 등록부가, 사용자통신단말로부터 다수의 영상파일을 입력 받아 자동편집서버로 업로드 하는 영상파일 등록 단계; 및
동영상파일 배포부가, 상기 동영상파일을 사용자통신단말로 전송하여 배포하는 동영상파일 배포 단계를 더 포함하는 것을 특징으로 하는 영상 자동 편집 및 편집 영상과 동기화된 지도 서비스 제공 방법.
According to claim 1,
A video file registration step in which the video file registration unit receives a plurality of video files from the user communication terminal and uploads them to an automatic editing server; and
A video file distribution step of transmitting and distributing the video file to a user communication terminal by a video file distribution unit.
상기 영상파일 등록 단계는,
동영상파일 및 사진파일 중 적어도 하나의 영상파일을 선택 받는 영상파일 선택 단계; 및
상기 영상파일 선택 단계를 통해 선택된 영상파일을 업로드 하는 영상파일 업로드 단계를 포함하는 것을 특징으로 하는 영상 자동 편집 및 편집 영상과 동기화된 지도 서비스 제공 방법.
According to claim 2,
The video file registration step,
A video file selection step of receiving a selection of at least one video file from among a video file and a photo file; and
An image file uploading step of uploading the image file selected through the image file selection step.
상기 영상파일 등록 단계를 통해 업로드 된 영상파일의 사이즈를 미리 설정된 사이즈로 각각 변환하고, 영상파일의 방향이 미리 설정된 방향으로 정렬되도록 회전시켜 영상파일에 포함된 이미지데이터를 정규화하여 상기 영상그룹 생성 단계를 실행하기 위해 전달하는 이미지 전처리 단계를 더 포함하는 것을 특징으로 하는 영상 자동 편집 및 편집 영상과 동기화된 지도 서비스 제공 방법.
According to claim 2,
Creating the image group by converting the size of each image file uploaded through the image file registration step to a preset size, and normalizing image data included in the image file by rotating the image file so that the orientation of the image file is aligned in the preset direction. Automatic image editing and map service provision method synchronized with the edited image, characterized in that it further comprises an image pre-processing step to deliver to execute.
상기 지도서비스 제공 단계는,
상기 동영상파일의 클립영상 별 상기 촬영위치데이터를 각각 추출하는 촬영위치정보 추출 단계;
지도 서비스 시스템을 이용하여 상기 촬영위치데이터에 따른 이동경로정보를 생성하는 이동경로정보 생성 단계;
미리 구축된 데이터베이스에서 상기 이동경로정보에 해당되는 커머스 콘텐츠를 추출하는 커머스 콘텐츠 추출 단계;
상기 촬영위치데이터에 따른 상기 이동경로정보 및 상기 커머스 콘텐츠를 지도서비스정보로 저장하는 지도서비스정보 저장 단계; 및
상기 동영상파일의 재생 시 상기 동영상파일을 지도 서비스 시스템에 동기화시켜 지도 상에서 상기 지도서비스정보를 제공하는 지도서비스정보 표시 단계를 포함하는 것을 특징으로 하는 영상 자동 편집 및 편집 영상과 동기화된 지도 서비스 제공 방법.
According to claim 1,
The step of providing the map service,
a photographing location information extraction step of extracting the photographing position data for each clip image of the video file;
a movement route information generating step of generating movement route information according to the photographing location data using a map service system;
A commerce content extraction step of extracting commerce content corresponding to the movement route information from a pre-built database;
a map service information storage step of storing the moving route information and the commerce contents according to the photographing location data as map service information; and
and a map service information display step of providing the map service information on a map by synchronizing the video file with a map service system when the video file is reproduced. .
상기 지도서비스정보 표시 단계는,
상기 동영상파일의 현재재생시점에 따라 상기 이동경로정보를 표시하고,
상기 이동경로정보 중 사용자에 의해 선택된 위치에 해당하는 상기 커머스 콘텐츠를 표시하는 것을 특징으로 하는 영상 자동 편집 및 편집 영상과 동기화된 지도 서비스 제공 방법.
According to claim 6,
In the step of displaying map service information,
Displaying the movement path information according to the current playback point of the video file;
The method of automatically editing a video and providing a map service synchronized with the edited video, characterized in that for displaying the commerce content corresponding to a location selected by a user from among the moving route information.
상기 영상그룹 간을 경계점으로 인식하고, 인식된 경계점에 미리 준비된 트랜지션 영상을 삽입하는 트랜지션 영상 삽입부;
상기 트랜지션 영상이 삽입된 영상그룹과 상기 경계점 간을 서로 결합하여 동영상파일을 생성하는 동영상파일 생성부; 및
사용자통신단말을 통한 상기 동영상파일의 재생 시 지도 서비스 시스템과 연동하여 상기 동영상파일에 포함된 메타데이터 중 촬영위치데이터에 따른 지도서비스를 제공하는 지도서비스 제공부를 포함하고,
상기 영상파일은 동영상파일 및 사진파일 중 적어도 하나를 포함하고,
상기 영상그룹 생성부는,
영상파일에서 촬영일시데이터와 촬영위치데이터를 각각 추출하는 메타데이터 추출부;
영상파일에서 객체데이터를 인식하는 객체 인식부;
영상파일이 동영상파일인 경우 상기 객체데이터에 따라 해당 영상파일을 분할하여 다수의 클립영상을 생성하는 영상파일 분할부;
클립영상 및 사진파일 별로 인물객체에 대한 성별, 연령, 행동 및 감정 중 적어도 하나를 분석하여 객체메타데이터를 생성하는 객체 분석부;
상기 촬영일시데이터, 상기 촬영위치데이터 및 상기 객체메타데이터를 기반으로 클립영상 및 사진파일 각각 간의 맥락을 추론하고, 맥락추론결과에 따라 클립영상 및 사진파일을 자동 배열하여 영상배열을 형성하는 영상배열 형성부; 및
상기 맥락추론결과를 기반으로 상기 영상배열에서 맥락종료지점을 각각 경계점으로 자동 설정하고, 설정된 상기 경계점을 기준으로 상기 영상배열에 대한 그룹화를 수행하여 상기 영상그룹을 형성하는 영상그룹 형성부를 포함하는 것을 특징으로 하는 영상 자동 편집 및 편집 영상과 동기화된 지도 서비스 제공 시스템.
Segmentation into a plurality of clip images according to the metadata extracted from a plurality of image files and recognized object data, inferring the context between the plurality of clip images based on the metadata and the object data, and according to the result of the context inference an image group generating unit for generating at least one image group including a plurality of clip images by arranging and grouping the clip images;
a transition image inserting unit for recognizing the image groups as a boundary point and inserting a previously prepared transition image at the recognized boundary point;
a video file generation unit generating a video file by combining the video group into which the transition video is inserted and the boundary point; and
A map service providing unit providing a map service according to shooting location data among metadata included in the video file in conjunction with a map service system when the video file is played through a user communication terminal;
The image file includes at least one of a video file and a photo file,
The image group creation unit,
a metadata extraction unit for extracting shooting date and time data and shooting location data from an image file;
an object recognizing unit recognizing object data in an image file;
If the video file is a video file, an image file division unit for generating a plurality of clip images by dividing the corresponding video file according to the object data;
an object analyzer for generating object metadata by analyzing at least one of gender, age, behavior, and emotion of a person object for each clip image and photo file;
An image arrangement in which a context between each clip image and photo file is inferred based on the shooting date data, the shooting location data, and the object metadata, and the clip image and photo files are automatically arranged according to the result of the context inference to form an image arrangement. forming part; and
and an image group forming unit for forming the image groups by automatically setting context end points in the image array as boundary points based on a result of the context inference, and grouping the image arrays based on the set boundary points. Automatic video editing and map service provision system synchronized with the edited video.
사용자통신단말로부터 다수의 영상파일을 입력 받아 자동편집서버로 업로드 하는 영상파일 등록부; 및
상기 동영상파일을 사용자통신단말로 전송하여 배포하는 동영상파일 배포부를 더 포함하는 것을 특징으로 하는 영상 자동 편집 및 편집 영상과 동기화된 지도 서비스 제공 시스템.
According to claim 8,
a video file registration unit that receives a plurality of video files from a user communication terminal and uploads them to an automatic editing server; and
The video file distribution unit for transmitting and distributing the video file to a user communication terminal further comprising automatic video editing and map service providing system synchronized with the edited video.
상기 영상파일 등록부는,
동영상파일 및 사진파일 중 적어도 하나의 영상파일을 선택 받는 영상파일 선택부; 및
상기 영상파일 선택부를 통해 선택된 영상파일을 업로드 하는 영상파일 업로드부를 포함하는 것을 특징으로 하는 영상 자동 편집 및 편집 영상과 동기화된 지도 서비스 제공 시스템.
According to claim 9,
The video file registration unit,
a video file selector receiving at least one video file selected from a video file and a photo file; and
An image file uploading unit for uploading the image file selected through the video file selection unit.
상기 영상파일 등록부를 통해 업로드 된 영상파일의 사이즈를 미리 설정된 사이즈로 각각 변환하고, 영상파일의 방향이 미리 설정된 방향으로 정렬되도록 회전시켜 영상파일에 포함된 이미지데이터를 정규화하여 상기 영상그룹 생성부를 실행하기 위해 전달하는 이미지 전처리부를 더 포함하는 것을 특징으로 하는 영상 자동 편집 및 편집 영상과 동기화된 지도 서비스 제공 시스템.
According to claim 9,
The size of each video file uploaded through the video file registration unit is converted to a preset size, and the image data included in the video file is normalized by rotating the image file so that the direction of the video file is aligned in the preset direction, and the image group creation unit executes the image. Automatic image editing and map service providing system synchronized with the edited image, characterized in that it further comprises an image pre-processing unit transmitted to do.
상기 지도서비스 제공부는,
상기 동영상파일의 클립영상 별 상기 촬영위치데이터를 각각 추출하는 촬영위치정보 추출부;
지도 서비스 시스템을 이용하여 상기 촬영위치데이터에 따른 이동경로정보를 생성하는 이동경로정보 생성부;
미리 구축된 데이터베이스에서 상기 이동경로정보에 해당되는 커머스 콘텐츠를 추출하는 커머스 콘텐츠 추출부;
상기 촬영위치데이터에 따른 상기 이동경로정보 및 상기 커머스 콘텐츠를 지도서비스정보로 저장하는 지도서비스정보 저장부; 및
상기 동영상파일의 재생 시 상기 동영상파일을 지도 서비스 시스템에 동기화시켜 지도 상에서 상기 지도서비스정보를 표시하는 지도서비스정보 표시부를 포함하는 것을 특징으로 하는 영상 자동 편집 및 편집 영상과 동기화된 지도 서비스 제공 시스템.
According to claim 8,
The map service provider,
a shooting location information extraction unit extracting the shooting location data for each clip image of the video file;
a movement route information generating unit generating movement route information according to the photographing location data using a map service system;
a commerce content extractor for extracting commerce content corresponding to the moving route information from a pre-built database;
a map service information storage unit which stores the moving route information according to the photographing location data and the commerce contents as map service information; and
and a map service information display unit for displaying the map service information on a map by synchronizing the video file with a map service system when the video file is reproduced.
상기 지도서비스정보 표시부는,
상기 동영상파일의 현재재생시점에 따라 상기 이동경로정보를 표시하고,
상기 이동경로정보 중 사용자에 의해 선택된 위치에 해당하는 상기 커머스 콘텐츠를 표시하는 것을 특징으로 하는 영상 자동 편집 및 편집 영상과 동기화된 지도 서비스 제공 시스템.According to claim 13,
The map service information display unit,
Displaying the movement path information according to the current playback point of the video file;
Automatic image editing and map service providing system synchronized with the edited image, characterized in that for displaying the commerce content corresponding to the location selected by the user among the moving route information.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220161623A KR102521905B1 (en) | 2022-11-28 | 2022-11-28 | System and method for providing automatic video editing and map service synchronized with the edited video |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220161623A KR102521905B1 (en) | 2022-11-28 | 2022-11-28 | System and method for providing automatic video editing and map service synchronized with the edited video |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102521905B1 true KR102521905B1 (en) | 2023-04-17 |
Family
ID=86128248
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020220161623A KR102521905B1 (en) | 2022-11-28 | 2022-11-28 | System and method for providing automatic video editing and map service synchronized with the edited video |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102521905B1 (en) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20010046881A (en) * | 1999-11-16 | 2001-06-15 | 박권상 | Video screen editor |
| KR20090078658A (en) * | 2008-01-15 | 2009-07-20 | 주식회사 케이티 | Apparatus and method for managing the information of travel |
| KR20140033667A (en) | 2012-09-10 | 2014-03-19 | 에스케이플래닛 주식회사 | Apparatus and method for video edit based on object |
| KR20180090970A (en) | 2018-08-01 | 2018-08-14 | 에스케이텔레콤 주식회사 | Method for displaying of image according to location, apparatus and system for the same |
| KR20190063352A (en) * | 2017-11-29 | 2019-06-07 | 한국전자통신연구원 | Apparatus and method for clip connection of image contents by similarity analysis between clips |
| KR20190122860A (en) * | 2017-03-23 | 2019-10-30 | 스노우 주식회사 | Story video production method and system |
| KR102308889B1 (en) * | 2020-11-02 | 2021-10-01 | 영남대학교 산학협력단 | Method for video highlight detection and computing device for executing the method |
-
2022
- 2022-11-28 KR KR1020220161623A patent/KR102521905B1/en active IP Right Grant
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20010046881A (en) * | 1999-11-16 | 2001-06-15 | 박권상 | Video screen editor |
| KR20090078658A (en) * | 2008-01-15 | 2009-07-20 | 주식회사 케이티 | Apparatus and method for managing the information of travel |
| KR20140033667A (en) | 2012-09-10 | 2014-03-19 | 에스케이플래닛 주식회사 | Apparatus and method for video edit based on object |
| KR20190122860A (en) * | 2017-03-23 | 2019-10-30 | 스노우 주식회사 | Story video production method and system |
| KR20190063352A (en) * | 2017-11-29 | 2019-06-07 | 한국전자통신연구원 | Apparatus and method for clip connection of image contents by similarity analysis between clips |
| KR20180090970A (en) | 2018-08-01 | 2018-08-14 | 에스케이텔레콤 주식회사 | Method for displaying of image according to location, apparatus and system for the same |
| KR102308889B1 (en) * | 2020-11-02 | 2021-10-01 | 영남대학교 산학협력단 | Method for video highlight detection and computing device for executing the method |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8717367B2 (en) | Automatically generating audiovisual works | |
| US8487939B2 (en) | Embedding animation in electronic mail, text messages and websites | |
| US20130329060A1 (en) | Overlay image providing system, server and method | |
| CN110019880A (en) | Video clipping method and device | |
| CN101390032A (en) | System and methods for storing, editing, and sharing digital video | |
| EP3183730B1 (en) | Unscripted digital media message generation | |
| JP7457804B2 (en) | VIDEO GENERATION METHOD AND APPARATUS, ELECTRONIC DEVICE, AND COMPUTER READABLE MEDIUM - Patent application | |
| CN111343467B (en) | Live broadcast data processing method and device, electronic equipment and storage medium | |
| CN110188216B (en) | Photo live broadcasting system with character recognition and method thereof | |
| KR102521904B1 (en) | System and method for automatic video editing using utilization of auto labeling and insertion of design elements | |
| WO2017157135A1 (en) | Media information processing method, media information processing device and storage medium | |
| KR102521903B1 (en) | System and method for automatic video editing using auto labeling | |
| KR102523438B1 (en) | System and method for automatic video editing using utilization of auto labeling and insertion of design elements | |
| JPWO2008136466A1 (en) | Movie editing device | |
| KR101954717B1 (en) | Apparatus for Processing Image by High Speed Analysis and Driving Method Thereof | |
| CN115115740A (en) | Thinking guide graph recognition method, device, equipment, medium and program product | |
| KR102521905B1 (en) | System and method for providing automatic video editing and map service synchronized with the edited video | |
| US20190122354A1 (en) | Context-based imagery selection | |
| KR20210124906A (en) | System And Method For Obtaining Image Information, And Method For Displaying Image Acquisition Information | |
| CN115114236A (en) | Management system and management method for photos and/or videos | |
| US20070101267A1 (en) | Template-based multimedia capturing | |
| US11893965B2 (en) | Embedding animation in electronic mail, text messages and websites | |
| CN110633377A (en) | Picture cleaning method and device | |
| CN106021322A (en) | Multifunctional image input method | |
| KR20170077000A (en) | Auto Content Creation Methods and System based on Content Recognition Technology |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |