KR20150089598A - Apparatus and method for creating summary information, and computer readable medium having computer program recorded therefor - Google Patents

Apparatus and method for creating summary information, and computer readable medium having computer program recorded therefor Download PDF

Info

Publication number
KR20150089598A
KR20150089598A KR1020140010419A KR20140010419A KR20150089598A KR 20150089598 A KR20150089598 A KR 20150089598A KR 1020140010419 A KR1020140010419 A KR 1020140010419A KR 20140010419 A KR20140010419 A KR 20140010419A KR 20150089598 A KR20150089598 A KR 20150089598A
Authority
KR
South Korea
Prior art keywords
image
images
information
unit
summary information
Prior art date
Application number
KR1020140010419A
Other languages
Korean (ko)
Inventor
최찬규
이창화
김한샘
김근호
Original Assignee
에스케이플래닛 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이플래닛 주식회사 filed Critical 에스케이플래닛 주식회사
Priority to KR1020140010419A priority Critical patent/KR20150089598A/en
Publication of KR20150089598A publication Critical patent/KR20150089598A/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845Structuring of content, e.g. decomposing content into time segments
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85Assembly of content; Generation of multimedia applications
    • H04N21/854Content authoring
    • H04N21/8549Creating video summaries, e.g. movie trailer

Abstract

The present invention relates to an apparatus and a method for generating summary information and a recording medium having a computer program recorded therein and, more specifically, to an apparatus and a method for generating summary information and a recording medium having a computer program recorded therein, wherein the summary information is generated to shorten the time necessary for loading an image and a video in searching the image and the video. According to the present invention, different images having high similarity are grouped to generate summary information by using a representative image from one or more grouped images. For a video, frame images are extracted by time periods to group different frame images by similarity and extract a representative image. One or more video clips are extracted from the video, based on the time point of playing the extracted representative image and summary information is generated and provided by using summary video clips connected to each other in an order of playback. When searching a memory unit of a user device or the database of a service providing device, by using a representative image provided as summary information, or a summary video, the time spent on downloading every image and every video can be shortened and a load applied to the user device and the service providing device can be drastically reduced. The images taken of an identical target are grouped as the same group and only a representative image having optimal quality in the applicable group is provided as summary information, thereby significantly enhancing search efficiency.

Description

요약정보 생성 장치 및 방법, 그리고 컴퓨터 프로그램이 기록된 기록매체{Apparatus and method for creating summary information, and computer readable medium having computer program recorded therefor}BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an apparatus and method for generating a summary information, a recording medium on which a computer program is recorded,

본 발명은 요약정보 생성 장치 및 방법, 컴퓨터 프로그램이 기록된 기록매체에 관한 것으로서, 더욱 상세히는 이미지 및 동영상의 탐색에 따른 이미지 및 동영상의 로드 시간을 단축시키기 위한 요약정보를 생성하는 요약정보 생성 장치 및 방법, 컴퓨터 프로그램이 기록된 기록매체에 관한 것이다.The present invention relates to a summary information generating apparatus and method, and a recording medium on which a computer program is recorded. More particularly, the present invention relates to a summary information generating apparatus and method for generating summary information for shortening the load time of an image and a moving image, And a recording medium on which a computer program is recorded.

현재 다양한 멀티미디어 장치들이 하나의 장치로 융합되고 있으며, 이를 통해 사용자는 복수의 멀티미디어 장치에서 지원하는 기능이 통합된 사용자 장치를 이용하여 용이하게 이미지 또는 동영상을 촬영할 수 있다.Currently, various multimedia devices are merged into one device, so that a user can easily photograph an image or a moving picture by using a user device integrated with functions supported by a plurality of multimedia devices.

이와 같은 사용자 장치를 이용하여 사용자는 편리하게 다수의 이미지 또는 동영상을 촬영하고, 이동통신을 지원하는 사용자 장치의 통신기능을 이용하여 통신망을 통해 다수의 사용자와 이미지 또는 동영상을 편리하게 공유할 수 있다.Using such a user device, a user can easily capture a large number of images or moving images, and can easily share images or videos with a large number of users through a communication network by using a communication function of a user device supporting mobile communication .

이렇듯, 이미지 또는 동영상 생성의 편이성이 급격히 개선되면서 개인별 이미지 및 동영상의 생산량이 크게 증대되고 있으며, 이에 따라 다수의 이미지 및 동영상을 탐색하기 위하여 이미지 및 동영상을 로드하는데 걸리는 시간이 크게 증가되어 탐색에 불편함이 초래된다.As described above, the ease of image or moving picture production is dramatically improved, and the production amount of individual images and moving images is greatly increased. Accordingly, the time required for loading images and moving images is greatly increased in order to search a large number of images and moving images. .

현재, 이를 개선하기 위하여 이미지 또는 동영상을 리사이징하여 미리보기 방식으로 제공하는 썸네일 방식이 사용되고 있으나, 이러한 썸네일 방식 역시 이미지 또는 동영상을 단순 리사이징하여 나열하는데 그쳐 이미지 및 동영상의 수가 증가할수록 다수의 이미지 및 동영상을 로드하는데 소요되는 시간이 길어지는 문제가 발생한다.In order to improve this, a thumbnail method of resizing an image or a moving image and providing it as a preview method is used. However, such a thumbnail method is also a method in which an image or a moving image is simply resized and listed. As the number of images and moving images increases, There is a problem that the time required for loading the signal is long.

또한, 상호 동일한 위치와 시간에서 동일한 대상에 대하여 촬영된 서로 다른 이미지가 많은 경우 이를 모두 로드하는 과정에서 이미지 탐색에 대한 효율을 크게 저하시키는 문제가 발생한다.In addition, when there are many different images captured for the same object at the same position and time, there arises a problem that the efficiency of image search greatly decreases in the process of loading all of them.

한국등록특허 제10-1300873호 [발명의 명칭: 클라우드 컴퓨팅 기반의 영상 코딩 방법 및 장치]Korean Patent No. 10-1300873 [Title of the invention: Image coding method and apparatus based on cloud computing]

본 발명은 유사도가 높은 이미지끼리 그룹핑하여 생성된 그룹에 대한 대표 이미지를 추출하여 요약정보를 생성하며, 대표 이미지의 추출시 미리 설정된 조건을 만족하는 대표 이미지를 추출하여 요약정보를 생성함으로써, 요약정보를 통해 다수의 이미지를 로드하는데 걸리는 시간을 단축할 수 있도록 함과 동시에 동일 대상물을 대상으로 하는 복수의 이미지 중에서 최적의 품질을 가진 이미지를 요약정보로 제공하여 사용자가 일목요연하고 효율적으로 이미지를 식별할 수 있도록 하는데 그 목적이 있다.The present invention generates summary information by extracting a representative image of a group generated by grouping images having high similarity, extracts a representative image satisfying predetermined conditions at the time of extracting representative images, generates summary information, It is possible to shorten the time required to load a plurality of images through the image processing apparatus and to provide an image having the best quality among a plurality of images of the same object as summarized information, The purpose is to make it possible.

또한, 본 발명은 동영상을 타임구간별로 분할하여 미리 설정된 조건을 만족하는 대표 이미지를 추출하고 이를 이용하여 간략한 동영상 클립이 재생순서에 따라 연결된 요약정보를 생성함으로써, 사용자가 일목요연하게 동영상의 내용을 판단할 수 있도록 하는데 그 목적이 있다.In addition, the present invention divides a moving picture into time segments to extract representative images satisfying predetermined conditions, and generates summary information in which the simplified movie clips are linked in the reproduction order by using the extracted representative images, so that the user can easily The purpose is to make it possible to do.

본 발명의 실시예에 따른 요약정보 생성 장치는 이미지 및 동영상 중 적어도 하나가 하나 이상 저장된 저장부, 저장부에 저장된 이미지를 유사도에 따라 그룹핑하거나, 저장부에 저장된 동영상에서 미리 설정된 타임구간별로 하나 이상의 프레임 이미지를 추출하고 유사도에 따라 프레임 이미지를 그룹핑하여 하나 이상의 그룹정보를 생성하는 그룹정보 생성부, 각 그룹정보에서 미리 설정된 조건을 만족하는 하나 이상의 대표 이미지를 추출하는 추출부 및 대표 이미지를 그룹정보의 요약정보로 생성하거나, 대표 이미지가 프레임 이미지인 경우 동영상에 대응되는 각 대표 이미지의 재생시점을 기준으로 미리 설정된 재생구간 내에 있는 동영상 클립을 동영상에서 추출하여 동영상에 대응되어 추출된 하나 이상의 동영상 클립을 재생 순서에 따라 연결한 요약 동영상을 요약 정보로 생성하는 요약부를 포함할 수 있다.The apparatus for generating summary information according to an embodiment of the present invention may include a storage unit in which at least one of an image and a moving image is stored, an image stored in the storage unit according to the degree of similarity, A group information generating unit for extracting a frame image and grouping frame images according to the similarity to generate at least one group information, an extracting unit for extracting at least one representative image satisfying preset conditions in each group information, Or if the representative image is a frame image, extracts a movie clip within a preset reproduction interval based on the reproduction time point of each representative image corresponding to the animation, extracts one or more movie clips extracted corresponding to the animation, In accordance with the playback order. It may include a summary section that generates a video summary of the summary information.

본 발명과 관련된 일 예로서, 그룹정보 생성부는 각 이미지 또는 프레임 이미지의 히스토그램 또는 EXIF 정보의 비교를 통해 유사도를 판단하여 유사도가 미리 설정된 기준치 이상인 서로 다른 이미지 또는 서로 다른 프레임 이미지를 그룹핑하는 것을 특징으로 할 수 있다As an example related to the present invention, the group information generation unit may determine similarity through comparison of histograms or EXIF information of each image or frame image, and group different images or different frame images having similarities higher than a preset reference value can do

본 발명과 관련된 일 예로서, 요약정보 생성 장치는 요약정보를 미리 설정된 해상도에 따라 리사이징하는 리사이징부를 더 포함할 수 있다.As an example related to the present invention, the summary information generating apparatus may further include a resizing unit for resizing the summary information according to a preset resolution.

본 발명과 관련된 일 예로서, 요약정보 생성 장치는 리사이징부를 통해 리사이징된 요약정보를 썸네일로 생성하여 제공하는 썸네일 제공부를 더 포함할 수 있다.As an example related to the present invention, the summary information generating apparatus may further include a thumbnail providing unit for generating thumbnail of the resized summary information through the resizing unit and providing the thumbnail.

본 발명과 관련된 일 예로서, 미리 설정된 조건은 그룹정보에 속한 각 이미지 또는 각 프레임이 미지에 대한 블러, 노이즈, 밝기, 색대비, 구도, 왜곡, 얼굴 크기, 얼굴 검출 영역, 얼굴 검출 영역에서 스마일 영역, 사람 수, 그룹정보에 포함된 이미지 개수 중 적어도 하나에 따른 이미지 품질을 측정하여, 이미지 품질이 가장 높은 이미지 또는 프레임 이미지를 그룹정보에 대응되는 대표 이미지로 추출되도록 하는 조건인 것을 특징으로 할 수 있다.As an example related to the present invention, a preset condition may be a smile in a blur, a noise, a brightness, a color contrast, a composition, a distortion, a face size, a face detection area and a face detection area for each image belonging to group information, The image quality is measured according to at least one of the number of regions, the number of persons, and the number of images included in the group information, and the image or frame image having the highest image quality is extracted as a representative image corresponding to the group information .

본 발명과 관련된 일 예로서, 요약부는 요약정보에 대응되는 하나 이상의 이미지 또는 동영상에 대한 링크정보를 요약정보에 포함시키며, 사용자 장치로부터 선택된 요약정보에 대응되는 하나 이상의 이미지 또는 동영상을 저장부로부터 추출하여 제공하는 것을 특징으로 할 수 있다.As an example related to the present invention, the summary unit may include link information for one or more images or videos corresponding to the summary information in the summary information, extract one or more images or videos corresponding to the summary information selected from the user apparatus from the storage unit And the like.

본 발명과 관련된 일 예로서, 요약부는 동영상에 대응되어 추출된 대표 이미지의 수에 따라 미리 설정된 재생구간을 적용하여 요약 동영상의 전체 재생시간을 미리 연산하고, 전체 재생시간을 미리 설정된 재생시간과 비교하여 전체 재생시간이 미리 설정된 재생시간을 초과하는 경우 전체 재생시간이 미리 설정된 재생시간을 초과하지 않도록 동영상에 대응되어 추출된 대표 이미지 중 적어도 하나를 삭제하는 것을 특징으로 할 수 있다.As an example related to the present invention, the summary unit may calculate a total playback time of the summary movie in advance by applying a predetermined playback interval according to the number of representative images extracted corresponding to the moving image, compare the total playback time with a preset playback time And deletes at least one representative image extracted corresponding to the moving picture so that the total reproduction time does not exceed the predetermined reproduction time when the total reproduction time exceeds the predetermined reproduction time.

본 발명과 관련된 일 예로서, 요약부는 동영상에 대응되어 추출된 대표 이미지 사이의 유사도를 측정하여 유사도가 미리 설정된 기준치 이상인 대표 이미지 중 적어도 하나를 삭제하는 것을 특징으로 할 수 있다.As an example related to the present invention, the summarizing unit may measure the similarity between the extracted representative images corresponding to the moving image, and delete at least one of the representative images having the similarity value equal to or higher than a preset reference value.

본 발명의 실시예에 따른 요약정보 생성 방법은 그룹정보 생성부가 저장부에 저장된 하나 이상의 이미지를 유사도에 따라 그룹핑하거나, 저장부에 저장된 동영상에서 미리 설정된 타임구간별로 하나 이상의 프레임 이미지를 추출하고 유사도에 따라 프레임 이미지를 그룹핑하여 하나 이상의 그룹정보를 생성하는 단계, 추출부가 각 그룹정보에서 미리 설정된 조건을 만족하는 하나 이상의 대표 이미지를 추출하는 단계 및 요약부가 대표 이미지를 그룹정보의 요약정보로 생성하거나, 대표 이미지가 프레임 이미지인 경우 동영상에 대응되는 각 대표 이미지의 재생시점을 기준으로 미리 설정된 재생구간 내에 있는 동영상 클립을 동영상에서 추출하여 동영상에 대응되어 추출된 하나 이상의 동영상 클립을 재생 순서에 따라 연결한 요약 동영상을 요약 정보로 생성하는 단계를 포함할 수 있다.In the summary information generation method according to an embodiment of the present invention, the group information generation unit groups one or more images stored in the storage unit according to the degree of similarity, or extracts one or more frame images in a preset time interval from a moving image stored in the storage unit, Extracting at least one representative image that satisfies predetermined conditions in each group information and generating a summary image of the representative image as summary information of the group information, If the representative image is a frame image, extracting a movie clip within a preset reproduction interval based on the reproduction time point of each representative image corresponding to the animation, connecting one or more extracted movie clips corresponding to the animation in accordance with the reproduction order Summary video summary It may comprise the step of generating borough.

본 발명의 실시예에 따른 기록매체에는 상술한 요약정보 생성 방법을 수행하는 컴퓨터 프로그램이 저장될 수 있다.The recording medium according to the embodiment of the present invention may store a computer program for performing the above-described summary information generating method.

본 발명은 유사도가 높은 서로 다른 이미지를 그룹핑하여 그룹핑된 하나 이상의 이미지에 대한 대표 이미지를 요약정보로 생성하고, 동영상의 경우 타임구간별로 프레임 이미지를 추출하고 서로 다른 프레임 이미지를 유사도에 그룹핑하여 대표 이미지를 추출한 후 추출된 대표 이미지의 재생시점을 기준으로 하나 이상의 동영상 클립을 동영상으로부터 추출하여 재생순서에 따라 연결한 요약 동영상을 요약정보로 생성하여 제공함으로써, 요약정보로 제공되는 대표 이미지 또는 요약 동영상을 통해 사용자 장치의 메모리부 또는 서비스 제공 장치의 DB에 대한 탐색시 모든 이미지 및 동영상을 로드하는데 걸리는 시간을 크게 단축할 수 있을 뿐만 아니라 사용자 장치 및 서비스 제공 장치의 부하를 크게 경감시키며, 동일 대상에 대하여 촬영된 이미지를 동일 그룹으로 그룹핑하고 해당 그룹에서 최적의 품질을 가진 대표 이미지만을 요약정보로 제공하여 탐색 효율성을 크게 향상시키는 효과가 있다.In the case of a moving image, a frame image is extracted for each time interval, and different frame images are grouped in similarity to generate a representative image of one or more images grouped by grouping different images having high similarity, Extracting at least one moving picture clip from the moving picture based on the reproduction time point of the extracted representative image, and generating a summary moving picture, which is connected according to the reproduction order, as summary information, thereby providing a representative image or a summary moving picture The time required for loading all the images and moving images can be greatly reduced at the time of searching the memory unit of the user apparatus or the DB of the service providing apparatus, and the load of the user apparatus and the service providing apparatus can be greatly reduced, Photographed image The effect of grouping in the same group, and to provide significantly improved navigation for optimal efficiency only summary information with a representative image quality in the group.

또한, 본 발명은 기존에 동영상에 대한 요약정보로 제공되는 썸네일이 동영상에서 유사도를 고려하지 않고 단순히 일정 시간 간격으로 추출된 프레임 이미지를 단순 나열하여 동영상에 대한 내용을 용이하게 파악하기 어려운 반면에, 메모리부 또는 DB에 저장된 동영상에서 추출된 대표 이미지를 기준으로 하는 하나 이상의 동영상 클립으로 동영상에 대한 요약 동영상을 구성하여 요약정보로 생성함으로써, 사용자가 요약 동영상을 통해 용이하게 동영상에 대한 내용을 파악할 수 있도록 제공하는 효과가 있다.In addition, it is difficult for the present invention to easily grasp the content of a moving picture by simply listing a frame image extracted at a predetermined time interval without taking the similarity into consideration in a moving picture, The user can easily understand the contents of the video through the summary video by constructing the summary video of the video by using one or more video clips based on the representative image extracted from the video stored in the memory or DB So that it is effective.

더하여, 본 발명은 유사도가 높은 이미지 중에서 대표 이미지 추출시 이미지 품질이 가장 좋은 이미지를 대표 이미지로 추출하여 제공하고, 동영상에서 요약 동영상을 위한 동영상 클립 추출시에도 가장 품질이 좋은 프레임 이미지를 기준으로 동영상 클립을 추출하여 사용자에게 최적의 품질로 이루어진 대표 이미지 또는 요약 동영상만을 요약 정보로 제공함으로써, 사용자가 일목요연하고 효율적으로 이미지 및 동영상을 식별할 수 있도록 지원하는 효과가 있다.In addition, the present invention extracts and provides an image having the best image quality when extracting the representative image among the images having high similarity, as a representative image, Clips are extracted and the representative image or the summary video having the optimum quality is provided to the user as the summary information, thereby enabling the user to recognize the image and the video efficiently and efficiently.

도 1은 본 발명의 실시예에 따른 요약정보 생성 장치의 구성 환경도.
도 2는 본 발명의 실시예에 따른 요약정보 생성 장치의 상세 구성도.
도 3은 본 발명의 실시예에 따른 요약정보 생성 장치의 유사도에 따른 이미지 그룹핑에 대한 예시도.
도 4는 본 발명의 실시예에 따른 요약정보 생성 장치의 그룹정보에 대응되는 대표 이미지의 추출에 대한 예시도.
도 5 내지 도 6은 본 발명의 실시예에 따른 요약정보 생성 장치의 동영상에 대한 요약 정보 생성 과정에 대한 예시도.
도 7은 본 발명의 실시예에 따른 요약정보 생성 장치의 요약정보 제공에 대한 예시도.
도 8은 본 발명의 실시예에 따른 요약정보 생성 방법에 대한 순서도.
1 is a configuration environment diagram of a summary information generation apparatus according to an embodiment of the present invention;
2 is a detailed configuration diagram of a summary information generating apparatus according to an embodiment of the present invention;
3 is a diagram illustrating an example of image grouping according to the similarity of the summary information generating apparatus according to the embodiment of the present invention.
FIG. 4 is an exemplary view for extracting representative images corresponding to group information of the summary information generation apparatus according to the embodiment of the present invention; FIG.
FIG. 5 to FIG. 6 are diagrams illustrating an example of a summary information generation process for a moving image in the summary information generation apparatus according to an embodiment of the present invention; FIG.
FIG. 7 is an exemplary diagram for providing summary information of a summary information generating apparatus according to an embodiment of the present invention; FIG.
8 is a flowchart of a method for generating summary information according to an embodiment of the present invention.

이하, 본 발명의 실시예를 도면을 통해 상세히 설명한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.

도 1은 본 발명의 실시예에 따른 요약정보 생성 장치의 상세 구성 환경도이다. 1 is a detailed configuration environment diagram of a summary information generating apparatus according to an embodiment of the present invention.

본 발명의 실시예에 따른 요약정보 생성 장치(100)는 사용자 장치(10)와 통신하는 서비스 제공 장치(20) 및 사용자 장치(10) 중 적어도 하나에 구성될 수 있으며, 사용자 장치(10)의 메모리부 또는 서비스 제공 장치(20)의 DB에 저장된 이미지 또는 동영상에 대한 요약정보를 생성할 수 있다.The summary information generating apparatus 100 according to the embodiment of the present invention may be configured in at least one of the service providing apparatus 20 and the user apparatus 10 communicating with the user apparatus 10, And may generate summary information about an image or a moving image stored in the memory unit or the DB of the service providing apparatus 20. [

특히, 요약정보 생성 장치(100)는 유사도가 높은 서로 다른 이미지를 상호 그룹핑하여 그룹정보를 생성하고, 그룹정보에서 미리 설정된 조건을 만족하는 대표 이미지를 추출하여 요약정보로 생성할 수 있다.In particular, the summary information generating apparatus 100 may generate group information by grouping different images having high similarity and extract representative images satisfying preset conditions in the group information, and generate summary information.

또한, 요약정보 생성 장치(100)는 동영상에 대한 요약정보 생성시 동영상에서 미리 설정된 타임구간별로 프레임 이미지를 추출하고, 추출된 프레임 이미지 사이의 유사도에 따라 유사도가 높은 프레임 이미지를 그룹핑하여 하나 이상의 그룹 정보를 생성할 수 있다. 이때, 타임구간은 설정에 따라 가변될 수 있음은 당연하다.In addition, the summary information generation apparatus 100 extracts a frame image for each predetermined time interval in a moving image when generating summary information for a moving image, groups the frame images having high similarity according to the degree of similarity between the extracted frame images, Information can be generated. At this time, it is a matter of course that the time interval may vary depending on the setting.

이후, 요약정보 생성 장치(100)는 각 그룹정보에서 미리 설정된 조건을 만족하는 대표 이미지를 추출하고, 동영상에서 각 대표 이미지의 재생시점을 기준으로 미리 설정된 구간의 동영상 클립을 추출하며, 각 동영상 클립을 재생순서에 따라 연결한 요약 동영상을 요약 정보로 생성할 수 있다.Thereafter, the summary information generating apparatus 100 extracts a representative image satisfying predetermined conditions from each group information, extracts a movie clip of a preset section based on the reproduction time point of each representative image in the moving image, Can be generated as summarized information by linking them according to the playback order.

이에 따라, 요약정보 생성 장치(100)는 사용자 장치(10)의 메모리부 또는 서비스 제공 장치(20)의 DB에 저장된 동영상이나 이미지에 대한 탐색시 요약정보를 제공할 수 있으며, 일례로 요약정보를 썸네일로 제공하여 사용자가 용이하게 메모리부 또는 DB에 저장된 이미지나 동영상을 일목요연하게 확인할 수 있다.Accordingly, the summary information generation apparatus 100 can provide summary information when searching for a moving image or an image stored in the memory unit of the user apparatus 10 or the DB of the service providing apparatus 20, The user can easily confirm the image or the moving image stored in the memory unit or the DB by providing it as a thumbnail.

특히, 요약정보 생성 장치(100)는 메모리부 또는 DB에 저장된 이미지에 대한 요약정보로 제공되는 대표 이미지를 통해 메모리부 또는 DB에 저장된 모든 이미지를 로드하는데 걸리는 시간을 크게 단축할 수 있을 뿐만 아니라 요약정보 생성 장치가 적용된 사용자 장치 및 서비스 제공 장치의 부하를 경감시킬 수 있다.In particular, the summary information generation apparatus 100 can greatly reduce the time taken to load all images stored in the memory unit or the DB through the representative image provided as summary information on images stored in the memory unit or DB, The load of the user apparatus and the service providing apparatus to which the information generating apparatus is applied can be reduced.

한편, 기존에 동영상에 대한 요약정보로 제공되는 썸네일이 동영상에서 유사도를 고려하지 않고 단순히 일정 시간 간격으로 추출된 프레임 이미지를 단순 나열하여 동영상에 대한 내용을 용이하게 파악하기 어려운 반면에, 요약정보 생성 장치는 메모리부 또는 DB에 저장된 동영상에서 추출된 대표 이미지를 기준으로 하는 하나 이상의 동영상 클립을 동영상에서 추출하여 재생 순서에 따라 연결한 요약 동영상을 생성하고, 해당 요약 동영상을 요약정보로 제공하여 사용자가 요약 동영상을 통해 용이하게 동영상에 대한 내용을 파악할 수 있도록 제공할 수 있다.On the other hand, it is difficult to easily grasp the content of a moving picture by simply displaying a frame image extracted at a predetermined time interval without taking the similarity into consideration in a moving picture, as a thumbnail provided as a summary information of a moving image, The device extracts one or more movie clips based on the representative image extracted from the video stored in the memory or the DB, generates a summary video linked according to the playback order, and provides the summary video as summary information, The summary video can easily provide information about the video.

상술한 내용을 기초로 요약정보 생성 장치의 상세 구성을 도 2를 통해 설명한다.The detailed configuration of the summary information generating apparatus will be described with reference to FIG.

도 2에 도시된 바와 같이 요약정보 생성 장치(100)는 그룹정보 생성부(110), 추출부(120), 요약부(130), 리사이징부(140) 및 썸네일 제공부(150)를 포함할 수 있다.2, the summary information generating apparatus 100 includes a group information generating unit 110, an extracting unit 120, a summarizing unit 130, a resizing unit 140, and a thumbnail providing unit 150 .

그룹정보 생성부(110)는 사용자 장치(10)의 메모리부 또는 서비스 제공 장치(20)의 DB에 액세스하여, 이미지 및 동영상 중 적어도 하나가 하나 이상 저장된 사용자 장치(10)의 메모리부 또는 서비스 제공 장치(20)의 DB를 탐색할 수 있다.The group information generating unit 110 accesses the memory unit of the user device 10 or the DB of the service providing device 20 and stores the at least one of the image and the moving image in the memory unit of the user device 10, The DB of the device 20 can be searched.

또한, 그룹정보 생성부(110)는 이미지 또는 동영상에 대한 원본 파일의 헤더나 파일명을 통해 이미지 또는 동영상을 식별할 수 있다.In addition, the group information generation unit 110 may identify an image or a moving image through a header or a file name of an original file for an image or a moving image.

이후, 그룹정보 생성부(110)는 식별된 하나 이상의 이미지에 대하여 이미지 사이의 유사도를 측정하고, 측정된 유사도에 따라 서로 다른 이미지를 그룹핑하여 서로 다른 하나 이상의 그룹정보를 생성할 수 있다.Then, the group information generator 110 may measure the similarities between the images of the identified one or more images, and generate different one or more group information by grouping the different images according to the measured similarities.

일례로, 도 3에 도시된 바와 같이 그룹정보 생성부(110)는 서로 다른 제 1 이미지와 제 2 이미지에 대한 히스토그램을 산출하고, 제 1 및 제 2 이미지에 각각 대응되는 히스토그램을 상호 비교하여 유사도를 측정할 수 있다.For example, as shown in FIG. 3, the group information generation unit 110 calculates histograms of the first and second images, compares the histograms corresponding to the first and second images with each other, Can be measured.

또한, 그룹정보 생성부(110)는 제 1 및 제 2 이미지 각각의 EXIF(Exchangeable Image File Format) 정보를 추출하고, 각 이미지에 대응되는 EXIF 정보를 상호 비교하여 유사도를 측정할 수 있다. 일례로, 그룹정보 생성부(110)는 EXIF 정보에 포함된 시간정보를 기초로 제 1 이미지의 생성시간(또는 촬영시간)과 제 2 이미지 생성시간(또는 촬영시간)의 차이가 미리 설정된 범위 내에 있는 경우 유사도가 높은 것으로 측정할 수 있다. 또 다른 일례로, 그룹정보 생성부(110)는 EXIF 정보에 포함된 위치정보를 기초로 제 1 이미지의 생성위치(또는 촬영위치)와 제 2 이미지의 생성위치(또는 촬영위치)가 상호 동일한 경우 유사도가 높은 것으로 측정할 수 있다.In addition, the group information generation unit 110 may extract EXIF (Exchangeable Image File Format) information of each of the first and second images, and compare the EXIF information corresponding to each image to measure the similarity. For example, the group information generation unit 110 may generate the group information based on the time information included in the EXIF information, such that the difference between the generation time (or shooting time) of the first image and the second image generation time The degree of similarity can be measured as high. As another example, the group information generation unit 110 may generate the group information (e.g., when the generation position (or the image pickup position) of the first image and the generation position (or the image pickup position) of the second image are mutually identical based on the position information included in the EXIF information The degree of similarity can be measured to be high.

상술한 구성에 따라, 그룹정보 생성부(110)는 제 1 및 제 2 이미지 사이의 유사도가 미리 설정된 기준치 이상인 경우 제 1 및 제 2 이미지를 그룹핑하여 제 1 및 제 2 이미지가 포함된 그룹정보를 생성할 수 있다.According to the above-described configuration, when the similarity degree between the first and second images is equal to or greater than a preset reference value, the group information generation unit 110 groups the first and second images and generates group information including the first and second images Can be generated.

이를 통해, 그룹정보 생성부(110)는 사용자 장치(10)의 메모리부나 서비스 제공 장치(20)의 DB에 저장된 모든 이미지를 도 4에 도시된 바와 같이 유사도에 따라 서로 다른 그룹으로 그룹핑할 수 있다.The group information generating unit 110 may group all images stored in the memory of the user device 10 or the DB of the service providing device 20 into different groups according to the degree of similarity as shown in FIG. .

이후, 추출부(120)는 그룹정보 생성부(110)로부터 수신되는 하나 이상의 그룹정보 각각에 대하여 도 4에 도시된 바와 같이 각 그룹정보에 포함된 이미지 중 어느 하나를 대표 이미지로 추출할 수 있다.Then, the extraction unit 120 extracts any one of the images included in each group information as representative images, as shown in FIG. 4, for each of the one or more group information received from the group information generation unit 110 .

이를 위해, 추출부(120)는 그룹정보에 속한 이미지 각각에 대한 블러, 노이즈, 밝기, 색대비, 구도, 왜곡, 얼굴 크기, 얼굴 검출 영역, 얼굴 검출 영역에서 스마일 영역, 사람 수, 그룹정보에 포함된 이미지 개수 중 적어도 하나에 따른 이미지 품질을 측정하고, 그룹정보에 속한 이미지 중 이미지 품질에 대한 수치가 가장 높은 이미지를 대표 이미지로 추출할 수 있다. 한편, 추출부(120)는 이러한 이미지 품질 수치에 대한 설정이 대표 이미지의 추출을 편협하게 한정할 수 있으므로, 경우에 따라서 랜덤 추출도 선택적으로 적용할 수도 있다.To this end, the extracting unit 120 extracts the smile area, the number of persons, and the group information in the face detection area with respect to the blur, noise, brightness, color contrast, composition, distortion, face size, face detection area, The image quality according to at least one of the number of included images can be measured and an image having the highest value of the image quality among the images belonging to the group information can be extracted as the representative image. On the other hand, the extraction unit 120 may narrowly limit the extraction of the representative image by setting the image quality value, so that the random extraction may be selectively applied as the case may be.

이를 통해, 추출부(120)는 대표 이미지 추출시 이미지 품질이 가장 좋은 이미지를 대표 이미지로 추출하여 제공할 수 있다.Accordingly, the extraction unit 120 can extract and provide an image having the best image quality in representative image extraction as a representative image.

또한, 추출부(120)는 대표 이미지로 복수의 이미지가 추출되는 경우 추출된 이미지 중 어느 하나를 랜덤하게 대표 이미지로 선택할 수 있다.In addition, when a plurality of images are extracted as the representative image, the extracting unit 120 may randomly select any one of the extracted images as representative images.

이에 따라, 요약부(130)는 그룹정보와 매칭된 대표 이미지를 요약정보로 생성할 수 있다.Accordingly, the summary unit 130 can generate the representative image matched with the group information as the summary information.

한편, 상술한 구성에 따른 요약정보 생성 장치(100)는 사용자 장치(10)의 메모리부나 서비스 제공 장치(20)의 DB에 저장된 동영상을 식별할 수 있으며, 동영상에 대한 요약정보를 생성할 수 있는데 이를 도 5를 통해 설명한다.Meanwhile, the summary information generating apparatus 100 according to the above-described configuration can identify the moving picture stored in the memory of the user apparatus 10 or the DB of the service providing apparatus 20, and can generate summary information on the moving picture This will be described with reference to FIG.

도시된 바와 같이, 그룹정보 생성부(110)는 도시된 바와 같이 동영상에서 미리 설정된 타임구간별로 프레임 이미지를 추출할 수 있으며, 서로 다른 프레임 이미지 사이의 유사도를 측정하여 유사도가 미리 설정된 기준치 이상을 만족하는 서로 다른 프레임 이미지를 그룹핑하여 프레임 그룹정보를 생성할 수 있다.As shown in the figure, the group information generator 110 may extract a frame image in a predetermined time interval from a moving picture as shown in the figure. If the degree of similarity between the different frame images is measured, Frame group information can be generated by grouping different frame images.

이때, 그룹정보 생성부(110)는 상술한 바와 같이 각 프레임 이미지의 히스토그램이나 EXIF 정보의 비교를 통해 유사도를 측정할 수 있다.At this time, the group information generation unit 110 may measure the similarity by comparing the histogram or EXIF information of each frame image as described above.

이후, 추출부(120)는 각 프레임 그룹정보에 대하여 도 4에서 설명한 바와 같이 프레임 그룹정보에 속한 프레임 이미지 각각에 대한 블러, 노이즈, 밝기, 색대비, 구도, 왜곡, 얼굴 크기, 얼굴 검출 영역, 얼굴 검출 영역에서 스마일 영역, 사람 수, 그룹정보에 포함된 이미지 개수 중 적어도 하나에 따른 이미지 품질을 측정하고, 그룹정보에 속한 프레임 이미지 중 이미지 품질에 대한 수치가 가장 높은 프레임 이미지를 대표 이미지로 추출할 수 있다. 한편, 추출부(120)는 이러한 이미지 품질 수치에 대한 설정이 대표 이미지의 추출을 편협하게 한정할 수 있으므로, 경우에 따라서 랜덤 추출도 선택적으로 적용할 수도 있다.4, the extracting unit 120 extracts the blur, noise, brightness, color contrast, composition, distortion, face size, face detection area, and the like for each of the frame images belonging to the frame group information, The image quality according to at least one of the smile area, the number of persons, and the number of images included in the group information in the face detection area is measured, and a frame image having the highest numerical value of the image quality among the frame images belonging to the group information is extracted as a representative image can do. On the other hand, the extraction unit 120 may narrowly limit the extraction of the representative image by setting the image quality value, so that the random extraction may be selectively applied as the case may be.

이때, 상술한 바와 마찬가지로 추출부(120)는 대표 이미지로 복수의 프레임 이미지가 추출되는 경우 추출된 프레임 이미지 중 어느 하나를 랜덤하게 대표 이미지로 선택할 수 있다.At this time, if the plurality of frame images are extracted as the representative image, the extraction unit 120 may randomly select one of the extracted frame images as the representative image.

다음, 요약부(130)는 대표 이미지로 추출된 각 프레임 이미지를 기준으로 미리 설정된 재생구간 내에 있는 동영상 클립을 동영상에서 추출할 수 있다.Next, the summarizing unit 130 may extract a moving image clip within a preset playback interval based on each frame image extracted as the representative image, from the moving image.

일례로, 도시된 바와 같이 요약부(130)는 제 1 프레임 그룹에서 추출된 제 1 대표이미지를 기준으로 미리 설정된 재생 구간에 따라 제 1 대표 이미지의 전과 후에 각각 배열되는 2개의 프레임 이미지를 포함하도록 제 1 동영상 클립을 동영상에서 추출할 수 있다.For example, as shown in the figure, the summary unit 130 may include two frame images arranged respectively before and after the first representative image according to a preset reproduction interval based on the first representative image extracted from the first frame group The first moving picture clip can be extracted from the moving picture.

또한, 요약부(130)는 제 2 프레임 그룹에서 추출된 또 다른 대표 이미지인 제 2 대표 이미지에 대해서도 미리 설정된 재생 구간을 적용하여 제 2 대표 이미지의 전과 후에 연속 배열되는 2 프레임 이미지를 포함하도록 제 2 동영상 클립을 동영상에서 추출할 수 있다.Also, the summarizing unit 130 may include a second representative image, which is another representative image extracted from the second frame group, to include a second frame image that is continuously arranged before and after the second representative image, 2 The movie clip can be extracted from the movie.

이때, 미리 설정된 재생구간이 가변될 수 있음은 당연하며, 상술한 실시예에서는 설명 편의를 위해 2개의 대표 이미지에 대해서만 동영상 클립을 추출하는 것으로 설명하지만 대표 이미지가 2개 이상인 경우에도 각 대표 이미지에 대한 동영상 클립을 생성할 수 있음은 당연하다.In this case, it is natural that the preset reproduction interval can be varied. In the above-described embodiment, the movie clip is extracted only for the two representative images for convenience of explanation. However, even if the representative images are two or more, It is of course possible to create a movie clip for.

이후, 요약부(130)는 추출된 제 1 동영상 클립과 제 2 동영상 클립을 재생 순서에 따라 연결하여 요약 동영상을 생성하고, 해당 요약 동영상을 요약정보로 생성할 수 있다.Thereafter, the summary unit 130 generates a summary movie by connecting the extracted first movie clip and the second movie clip according to the playback order, and generates the summary movie as summary information.

이에 따라, 기존의 동영상에 대한 썸네일이 연속성이 없는 서로 다른 프레임 이미지를 단순 나열하여 관련성 없는 정지화상이 재생되어 사용자가 동영상의 내용을 쉽게 파악할 수 없는 반면, 본 발명에 따라 생성된 동영상에 대한 요약정보는 연속성이 있는 일련의 프레임 이미지로 구성된 동영상 클립을 나열하여 제공함으로써, 짧은 동영상을 통해 동영상의 내용을 간략하게 파악할 수 있도록 제공하여 동영상을 일목요연하게 식별할 수 있다.Accordingly, it is possible to easily arrange the different frame images having no continuity in the thumbnails of the existing moving pictures to reproduce irrelevant still pictures, and the user can not easily grasp the contents of the moving pictures. On the other hand, Information is provided by listing movie clips composed of a series of frame images with continuity, so that the contents of the video can be grasped briefly through a short video, so that the video can be identified at a glance.

또한, 본 발명은 요약 동영상을 위한 동영상 클립 추출시에 가장 품질이 좋은 프레임 이미지를 기준으로 동영상 클립을 추출하여 최적의 품질로 이루어진 요약 동영상만을 요약정보로 생성할 수 있다.In addition, the present invention extracts a moving picture clip based on a frame image having the best quality at the time of extracting a moving picture clip for a summary moving picture, and generates a summary moving picture having the optimum quality as summary information.

한편, 요약부(130)는 도 6에 도시된 바와 같이 복수의 대표 이미지가 추출되는 경우 대표 이미지의 수에 따라 미리 설정된 재생구간을 적용하여 전체 재생시간을 미리 연산할 수 있으며, 전체 재생시간을 미리 설정된 재생시간과 비교하여 전체 재생시간이 미리 설정된 재생시간을 초과하는 경우 복수의 대표 이미지 중 적어도 하나를 삭제할 수 있다.Meanwhile, when a plurality of representative images are extracted as shown in FIG. 6, the summary unit 130 may calculate a total reproduction time in advance by applying a preset reproduction interval according to the number of representative images, At least one of the plurality of representative images can be deleted when the total reproduction time exceeds the predetermined reproduction time as compared with the preset reproduction time.

이를 위해, 도 6(a)에 도시된 바와 같이 요약부(130)는 대표 이미지간 유사도를 측정할 수 있으며, 유사도가 미리 설정된 기준치 이상인 대표 이미지 중 적어도 하나를 삭제할 수 있다.6 (a), the summary unit 130 may measure the similarity between the representative images, and may delete at least one representative image having a similarity value equal to or greater than a preset reference value.

일례로, 요약부(130)는 4개의 대표 이미지(1, 2, 3, 4)가 추출된 경우 각 대표 이미지(1, 2, 3, 4)에 미리 설정된 재생구간을 적용하여 동영상에서 추출되는 4개의 동영상 클립에 대한 전체 재생시간을 연산하고, 전체 재생시간이 요약부(130)에 미리 설정된 재생시간(설정 재생시간)을 초과하는 경우 각 대표 이미지의 유사도를 측정하여 유사도가 미리 설정된 기준치 이상인 제 1 대표 이미지(1)와 제 2 대표 이미지(2) 중 어느 하나를 삭제 처리할 수 있다.For example, when the four representative images 1, 2, 3, and 4 are extracted, the summary unit 130 extracts the representative images 1, 2, 3, and 4 from the moving image by applying a preset playback interval The total reproduction time of the four moving picture clips is calculated. When the total reproduction time exceeds the reproduction time (preset reproduction time) preset in the summary unit 130, the similarity degree of each representative image is measured, One of the first representative image 1 and the second representative image 2 can be deleted.

이때, 요약부(130)는 서로 다른 대표 이미지 사이에 히스토그램이나 EXIF 정보의 비교를 통해 유사도를 측정할 수 있다.At this time, the summarization unit 130 may measure similarity between different representative images through comparison of histogram or EXIF information.

이에 따라, 도 6(a)에 도시된 바와 같이 요약부(130)는 유사도가 미리 설정된 기준치 이상인 제 1 대표 이미지(1)와 제 2 대표 이미지(2) 중 제 2 대표 이미지(2)를 삭제하여, 도 6(b)에 도시된 바와 같이 4개의 대표 이미지(1, 2, 3, 4)를 3개의 대표 이미지(1, 3, 4)로 축소할 수 있으며, 그 결과 전체 재생시간이 단축되어 미리 설정된 재생시간을 만족시킬 수 있다.6A, the summary unit 130 deletes the first representative image 1 having the similarity value equal to or greater than the preset reference value and the second representative image 2 of the second representative image 2, The four representative images 1, 2, 3, and 4 can be reduced to three representative images 1, 3, and 4 as shown in FIG. 6 (b) So that the preset reproduction time can be satisfied.

이를 통해, 요약부(130)는 제 1 대표 이미지(1)와 제 3 대표 이미지(3) 및 제 4 대표 이미지(4) 각각에 대하여 미리 설정된 재생구간을 적용하여 각 대표 이미지에 대응되는 동영상 클립을 추출하고, 추출된 하나 이상의 동영상 클립을 나열하여 미리 설정된 재생시간을 만족시키거나 초과하지 않는 요약 동영상을 생성할 수 있다.Accordingly, the summarizing unit 130 applies a preset playback interval to each of the first representative image 1, the third representative image 3, and the fourth representative image 4, And extracts one or more movie clips to generate a summary video that satisfies or does not exceed a predetermined playback time.

상술한 구성을 통해, 요약부(130)는 재생시간이 긴 동영상에 대해서도 적절한 재생시간을 가진 요약 동영상을 생성하여 사용자가 일목요연하게 동영상의 내용을 파악할 수 있도록 제공한다.Through the above-described configuration, the summary unit 130 generates a summary video having a proper playback time for a video having a long playback time, and provides the user with a clear understanding of the content of the video.

한편, 요약부(130)는 도 7에 도시된 바와 같이 사용자 장치(10)의 메모리부나 서비스 제공 장치(20)의 DB에 액세스하는 사용자 장치(10)로 메모리부나 DB와 같은 저장부에 저장된 모든 이미지를 로드시키지 않고 복수의 유사 이미지를 링크하는 대표 이미지만을 로드시키고, 동영상을 링크하는 요약 동영상을 로드시켜 메모리부나 DB와 같은 저장부에 저장된 파일 목록을 제공할 수 있다.7, the summarizing unit 130 is a user device 10 that accesses the memory of the user apparatus 10 or the DB of the service providing apparatus 20, It is possible to load only a representative image linking a plurality of similar images without loading an image, load a summary moving image linking the moving image, and provide a list of files stored in a storage unit such as a memory unit or a DB.

이를 통해, 요약부(130)는 미리 보기 기능과 같은 탐색에 따른 파일 목록 제공시 모든 이미지 및 동영상을 로드하는데 걸리는 시간을 크게 단축할 수 있을 뿐만 아니라 요약정보 생성 장치가 적용된 사용자 장치(10) 및 서비스 제공 장치(20)의 부하를 크게 경감시킬 수 있다.Accordingly, the summary unit 130 can greatly reduce the time taken to load all the images and videos when providing the file list according to the search, such as the preview function, as well as the user apparatus 10 and / The load of the service providing apparatus 20 can be greatly reduced.

또한, 요약부(130)는 도 7에 도시된 바와 같이 요약정보에 대응되는 하나 이상의 이미지 또는 동영상에 대한 링크주소를 포함하는 링크정보를 요약정보에 포함시키며, 사용자 장치(10)로부터 선택된 요약정보에 대응되는 하나 이상의 이미지 또는 동영상을 사용자 장치(10)의 메모리부나 서비스 제공 장치(20)의 DB로부터 추출하여 제공할 수 있다.7, the summary unit 130 may include link information including link addresses for one or more images or moving images corresponding to the summary information in the summary information, and may include summary information selected from the summary information selected from the user device 10, Can be extracted from the DB of the memory unit of the user device 10 or the DB of the service providing apparatus 20 and provided.

일례로, 요약부(130)는 도시된 바와 같이 대표 이미지 또는 요약 동영상을 요약정보로 제공하고, 대표 이미지 선택시 링크정보에 따라 대표 이미지에 링크된 하나 이상의 이미지를 제공할 수 있다.As an example, the summary unit 130 may provide a representative image or a summary video as summary information as shown, and may provide one or more images linked to the representative image according to the link information upon selection of the representative image.

이때, 요약부(130)는 대표 이미지에 대응되는 그룹정보에 대한 링크주소를 포함하는 링크정보를 생성할 수도 있으며, 이에 따라 대표 이미지 선택시 대표 이미지에 링크된 그룹정보를 제공하여 그룹정보에 포함된 하나 이상의 이미지를 제공할 수도 있다.At this time, the summary unit 130 may generate link information including a link address for the group information corresponding to the representative image. Accordingly, when the representative image is selected, group information linked to the representative image is provided and included in the group information Lt; RTI ID = 0.0 > images. ≪ / RTI >

또한, 요약부(130)는 요약 동영상 선택시 요약 동영상에 링크된 동영상에 대한 원본 파일을 재생할 수 있다.In addition, when the summary video is selected, the summary unit 130 may reproduce the original file for the video linked to the summary video.

한편, 본 발명의 실시예에 따른 요약정보 생성 장치(100)는 리사이징부(140)를 포함하며, 리사이징부(140)는 요약부(130)로부터 이미지에 대하여 요약정보로 생성한 대표 이미지를 미리 설정된 해상도에 따라 리사이징하여 다수의 이미지를 일목요연하게 탐색 가능하도록 제공할 수 있다.The apparatus for generating summary information 100 according to an exemplary embodiment of the present invention includes a resizing unit 140. The resizing unit 140 may include a representative image generated by the summary unit 130, It is possible to resize the image according to the set resolution and provide a plurality of images to be exploited at a glance.

또한, 리사이징부(140)는 요약부(130)로부터 동영상에 대하여 요약정보로 생성한 요약 동영상에 포함된 각 프레임 이미지를 미리 설정된 해상도에 따라 리사이징하여 역시 사용자 장치(10)의 메모리부나 서비스 제공 장치(20)의 DB에 저장된 다수의 동영상을 일목요연하게 탐색 가능하도록 제공할 수 있다.In addition, the resizing unit 140 resizes each frame image included in the summary video generated by the summary unit 130 as summary information on the moving image according to a predetermined resolution, and outputs the resized image to the memory unit of the user device 10, It is possible to provide a plurality of moving images stored in the DB of the mobile terminal 20 in a searchable manner.

이외에도, 리사이징부(140)는 요약부(130)로부터 요약정보로 제공되는 요약 동영상 또는 대표 이미지를 제공받아, 요약 동영상의 각 프레임 이미지 또는 대표 이미지에 대하여 ROI(Region Of Interest) 위주로 이미지를 크롭하여 리타게팅(retargeting)된 복수의 프레임 이미지로 구성된 요약 동영상 또는 대표 이미지를 생성할 수 있으며, 리타게팅된 요약 동영상 또는 대표 이미지를 리사이징하여 요약정보로 제공할 수도 있다.In addition, the resizing unit 140 receives the summary video or the representative image provided as the summary information from the summary unit 130, and crops the image based on the ROI (Region Of Interest) for each frame image or representative image of the summary video A representative moving image or a representative image including a plurality of retargeted frame images may be generated and the retouched summary moving image or the representative image may be resized and provided as summary information.

더하여, 본 발명의 실시예에 따른 요약정보 생성 장치(100)는 썸네일 제공부(150)를 더 포함하며, 리사이징부(140)를 통해 리사이징된 요약정보를 썸네일 정보로 생성하여 제공할 수 있다.In addition, the apparatus for generating summary information 100 according to an embodiment of the present invention may further include a thumbnail providing unit 150, and may generate and provide resized summary information as thumbnail information through the resizing unit 140.

일례로, 요약정보 생성 장치(100)가 사용자 장치(10)에 구성된 경우 썸네일 제공부(150)는 사용자 장치(10)의 메모리부에 대한 탐색요청이 있는 경우 메모리부에 저장된 다수의 이미지 및 동영상에 각각 대응되어 리사이징부(140)를 통해 리사이징된 요약정보를 썸네일 정보로 생성하여 사용자 장치(10)를 통해 출력할 수 있다.For example, when the summary information generating apparatus 100 is configured in the user apparatus 10, the thumbnail providing apparatus 150 may search for a plurality of images and videos stored in the memory unit, And generate summary information resized by the resizing unit 140 as thumbnail information, and output the thumbnail information to the user device 10. [

또한, 요약정보 생성 장치(100)가 서비스 제공 장치(20)에 구성된 경우 썸네일 제공부(150)는 DB에 저장된 다수의 이미지 및 동영상에 각각 대응되어 리사이징부(140)를 통해 리사이징된 요약정보를 썸네일 정보로 생성하여 통신망을 통해 서비스 제공 장치(20)의 DB에 액세스하는 사용자 장치(10)로 해당 썸네일 정보를 전송할 수 있다.When the summary information generating apparatus 100 is configured in the service providing apparatus 20, the thumbnail providing unit 150 associates the plurality of images and moving images stored in the DB with the summary information resized by the resizing unit 140 Thumbnail information, and transmit the corresponding thumbnail information to the user device 10 accessing the DB of the service providing apparatus 20 through the communication network.

상술한 구성에서, 리사이징부(140) 및 썸네일 제공부(150)를 별도로 구성하였으나, 리사이징부(140) 및 썸네일 제공부(150)는 요약부(130)에 포함되어 구성될 수도 있다.The resizing unit 140 and the thumbnail providing unit 150 are separately configured. However, the resizing unit 140 and the thumbnail providing unit 150 may be included in the summarizing unit 130. FIG.

도 8은 본 발명의 실시예에 따른 요약정보 생성 방법에 대한 순서도로서, 도시된 바와 같이 그룹정보 생성부(110)는 사용자 장치(10)의 메모리부나 서비스 제공 장치(20)의 DB에 저장된 이미지 또는 동영상을 식별할 수 있다(S1).8 is a flowchart illustrating a method of generating summary information according to an exemplary embodiment of the present invention. As shown in FIG. 8, the group information generation unit 110 generates a group information Or a moving picture (S1).

그룹정보 생성부(110)는 이미지인 경우 히스토그램 또는 EXIF 정보를 이용하여 유사도가 미리 설정된 기준치 이상인 서로 다른 이미지를 상호 그룹핑하여 그룹정보를 생성할 수 있다(S2).The group information generation unit 110 may generate group information by grouping different images having similarity values equal to or higher than a preset reference value using the histogram or EXIF information in step S2.

이후, 추출부(120)는 그룹정보에서 미리 설정된 조건을 만족하는 대표 이미지를 추출하며(S3), 요약부(130)는 추출된 대표 이미지가 프레임 이미지가 아닌 경우(S5) 대표 이미지를 그룹정보에 대한 요약정보로 생성할 수 있다.If the extracted representative image is not a frame image (S5), the extracting unit 120 extracts a representative image satisfying a predetermined condition from the group information (S3) As shown in FIG.

이때, 미리 설정된 조건은 그룹정보에 속한 각 이미지 또는 각 프레임이 미지에 대한 블러, 노이즈, 밝기, 색대비, 구도, 왜곡, 얼굴 크기, 얼굴 검출 영역, 얼굴 검출 영역에서 스마일 영역, 사람 수, 그룹정보에 포함된 이미지 개수 중 적어도 하나에 따른 이미지 품질을 측정하여, 이미지 품질이 가장 높은 이미지 또는 프레임 이미지를 그룹정보에 대응되는 대표 이미지로 추출되도록 하는 조건일 수 있다.At this time, the predetermined condition is a smile region, a number of persons, a group of persons, a group of persons, a group of persons, The image quality of at least one of the number of images included in the information may be measured to extract the image or frame image having the highest image quality as the representative image corresponding to the group information.

또한, 그룹정보 생성부(110)는 동영상인 경우(S1) 미리 설정된 타임구간별로 프레임 이미지를 추출하고(S4), 추출된 프레임 이미지 사이의 유사도에 따라 유사도가 미리 설정된 기준치 이상인 프레임 이미지를 상호 그룹핑하여 하나 이상의 그룹 정보를 생성할 수 있다(S2).The group information generation unit 110 extracts a frame image for each preset time interval (S4) when the moving image is a moving image (S4). Then, the group information generation unit 110 groups the frame images whose similarities are equal to or greater than a preset reference value, To generate one or more group information (S2).

이후, 추출부(120)는 각 그룹정보에서 미리 설정된 조건을 만족하는 대표 이미지를 추출하여 요약부(130)로 제공할 수 있다(S3).Then, the extracting unit 120 extracts representative images satisfying preset conditions in each group information, and provides the extracted representative images to the summary unit 130 (S3).

이에 따라, 요약부(130)는 대표 이미지가 프레임 이미지인 경우(S5) 동영상에서 각 대표 이미지의 재생시점을 기준으로 미리 설정된 구간의 동영상 클립을 추출하며(S6), 각 동영상 클립을 재생순서에 따라 연결한 요약 동영상을 생성하고(S7), 이를 요약 정보로 생성할 수 있다(S8).Accordingly, if the representative image is a frame image (S5), the summary unit 130 extracts movie clips of preset intervals based on the reproduction time point of each representative image in the movie (S6) The generated summary video is then generated (S7) and generated as summary information (S8).

한편, 요약부(130)는 상술한 구성에 따라 추출부(120)로부터 제공되는 대표 이미지 또는 요약 동영상을 리사이징하여 썸네일로 제공할 수 있다(S9).Meanwhile, the summarizing unit 130 resizes the representative image or the summary moving image provided from the extracting unit 120 according to the above-described configuration, and provides the resized image as a thumbnail (S9).

상술한 본 발명의 실시예에 따른 요약정보 생성 방법은 컴퓨터 프로그램으로 작성 가능하며, 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 당해 분야의 컴퓨터 프로그래머에 의하여 용이하게 추론될 수 있다. 또한, 해당 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 정보저장매체(computer readable media)에 저장되고, 컴퓨터나 본 발명의 실시예에 따른 요약정보 생성 장치가 적용된 사용자 장치 또는 서비스 제공 장치 등에 의하여 읽혀지고 실행됨으로써 요약정보 생성 방법을 구현할 수 있다.The summary information generation method according to the embodiment of the present invention described above can be written as a computer program, and the codes and code segments constituting the computer program can be easily deduced by a computer programmer in the field. The computer program may be stored in a computer-readable medium and read and executed by a computer, a user apparatus or a service providing apparatus to which the summary information generating apparatus according to an embodiment of the present invention is applied A summary information generation method can be implemented.

정보저장매체는 자기 기록매체, 광 기록매체 및 캐리어 웨이브 매체를 포함한다. 본 발명의 실시예에 따른 요약정보 생성 방법을 구현하는 컴퓨터 프로그램은 요약정보 생성 장치가 적용된 사용자 장치 또는 서비스 제공 장치의 내장 메모리에 저장 및 설치될 수 있다. 또는, 본 발명의 실시예에 따른 요약정보 생성 방법을 구현하는 컴퓨터 프로그램을 저장 및 설치한 스마트 카드 등의 외장 메모리가 인터페이스를 통해 요약정보 생성 장치가 적용된 사용자 장치 또는 서비스 제공 장치에 장착될 수도 있다.The information storage medium includes a magnetic recording medium, an optical recording medium, and a carrier wave medium. A computer program implementing the summary information generating method according to an embodiment of the present invention may be stored and installed in a user device to which the summary information generating apparatus is applied or a built-in memory of the service providing apparatus. Alternatively, an external memory such as a smart card storing and installing a computer program implementing the summary information generating method according to an embodiment of the present invention may be installed in a user apparatus or a service providing apparatus to which the summary information generating apparatus is applied through an interface .

이상에서는 본 발명에 따른 바람직한 실시예들에 대하여 도시하고 또한 설명하였다. 그러나 본 발명은 상술한 실시예에 한정되지 아니하며, 특허 청구의 범위에서 첨부하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형 실시가 가능할 것이다.The foregoing and other objects, features and advantages of the present invention will become more apparent from the following detailed description of the present invention when taken in conjunction with the accompanying drawings. However, the present invention is not limited to the above-described embodiments, and various changes and modifications may be made by those skilled in the art without departing from the scope of the present invention. .

본 발명은 요약정보로 제공되는 대표 이미지 또는 요약 동영상을 통해 사용자 장치의 메모리부 또는 서비스 제공 장치의 DB에 대한 탐색시 모든 이미지 및 동영상을 로드하는데 걸리는 시간을 크게 단축할 수 있을 뿐만 아니라 사용자 장치 및 서비스 제공 장치의 부하를 크게 경감시키며, 동일 대상에 대하여 촬영된 이미지를 동일 그룹으로 그룹핑하고 해당 그룹에서 최적의 품질을 가진 대표 이미지만을 요약정보로 제공하거나 일련의 동영상 클립으로 구성된 요약 동영상을 제공하여 일목요연하게 이미지 및 동영상에 대한 내용을 확인할 수 있도록 제공하여 탐색 효율성을 크게 향상시키는 것으로서, 소셜 네트워킹 서비스 시스템, 클라우드 서비스 시스템, 파일 공유 서비스 시스템 등에 광범위하게 적용될 수 있다.The present invention can greatly shorten the time taken to load all the images and moving pictures during searching for the DB of the user device or the DB of the service providing device through the representative image or the summary video provided as the summary information, It is possible to greatly reduce the load of the service providing apparatus, to group the images taken by the same object into the same group, to provide only the representative image having the optimum quality in the group as summary information, or to provide a summary video composed of a series of movie clips It can be applied to a social networking service system, a cloud service system, a file sharing service system, and the like.

10: 사용자 장치 20: 서비스 제공 장치
100: 요약정보 생성 장치 110: 그룹정보 생성부
120: 추출부 130: 요약부
140: 리사이징부 150: 썸네일 제공부
10: user equipment 20: service providing equipment
100: summary information generation apparatus 110: group information generation section
120: Extractor 130:
140: Resizing unit 150: Thumbnail providing unit

Claims (10)

이미지 및 동영상 중 적어도 하나가 하나 이상 저장된 저장부;
상기 저장부에 저장된 이미지를 유사도에 따라 그룹핑하거나, 상기 저장부에 저장된 동영상에서 미리 설정된 타임구간별로 하나 이상의 프레임 이미지를 추출하고 유사도에 따라 상기 프레임 이미지를 그룹핑하여 하나 이상의 그룹정보를 생성하는 그룹정보 생성부;
상기 각 그룹정보에서 미리 설정된 조건을 만족하는 하나 이상의 대표 이미지를 추출하는 추출부; 및
상기 대표 이미지를 상기 그룹정보의 요약정보로 생성하거나, 상기 대표 이미지가 프레임 이미지인 경우 상기 동영상에 대응되는 각 대표 이미지의 재생시점을 기준으로 미리 설정된 재생구간 내에 있는 동영상 클립을 상기 동영상에서 추출하여 상기 동영상에 대응되어 추출된 하나 이상의 동영상 클립을 재생 순서에 따라 연결한 요약 동영상을 요약 정보로 생성하는 요약부를 포함하는 요약정보 생성 장치.
A storage unit in which at least one of an image and a moving image is stored;
Group information for grouping the images stored in the storage unit according to the degree of similarity, extracting one or more frame images in a preset time interval from the moving image stored in the storage unit, and grouping the frame images according to the degree of similarity to generate one or more group information Generating unit;
An extracting unit for extracting at least one representative image satisfying a preset condition in each group information; And
If the representative image is a frame image, a moving image clip within a preset reproduction interval is extracted from the moving image based on a reproduction time point of each representative image corresponding to the moving image, And a summarizing unit for generating a summarized moving picture obtained by concatenating the extracted one or more moving pictures corresponding to the moving picture according to the playing order, as summary information.
제 1항에 있어서,
상기 그룹정보 생성부는 상기 각 이미지 또는 프레임 이미지의 히스토그램 또는 EXIF 정보의 비교를 통해 유사도를 판단하여 유사도가 미리 설정된 기준치 이상인 서로 다른 이미지 또는 서로 다른 프레임 이미지를 그룹핑하는 것을 특징으로 하는 요약정보 생성 장치.
The method according to claim 1,
Wherein the group information generation unit determines the similarity by comparing the histogram or EXIF information of each image or frame image, and groups different images or different frame images having a similarity value equal to or higher than a preset reference value.
제 1항에 있어서,
상기 요약정보를 미리 설정된 해상도에 따라 리사이징하는 리사이징부를 더 포함하는 것을 특징으로 하는 요약정보 생성 장치.
The method according to claim 1,
And a resizing unit for resizing the summary information according to a preset resolution.
제 3항에 있어서,
상기 리사이징부를 통해 리사이징된 요약정보를 썸네일로 생성하여 제공하는 썸네일 제공부를 더 포함하는 것을 특징으로 하는 요약정보 생성 장치.
The method of claim 3,
Further comprising a thumbnail providing unit configured to generate and provide resized summary information as a thumbnail through the resizing unit.
제 1항에 있어서,
상기 미리 설정된 조건은 상기 그룹정보에 속한 각 이미지 또는 각 프레임이 미지에 대한 블러, 노이즈, 밝기, 색대비, 구도, 왜곡, 얼굴 크기, 얼굴 검출 영역, 얼굴 검출 영역에서 스마일 영역, 사람 수, 그룹정보에 포함된 이미지 개수 중 적어도 하나에 따른 이미지 품질을 측정하여, 이미지 품질이 가장 높은 이미지 또는 프레임 이미지를 상기 그룹정보에 대응되는 대표 이미지로 추출되도록 하는 조건인 것을 특징으로 하는 요약정보 생성 장치.
The method according to claim 1,
The predetermined condition may be a blur, noise, brightness, color contrast, composition, distortion, face size, face detection area, smile area, number of persons, group Wherein the condition is that the image quality according to at least one of the number of images included in the information is measured and the image or frame image having the highest image quality is extracted as the representative image corresponding to the group information.
제 1항에 있어서,
상기 요약부는 상기 요약정보에 대응되는 하나 이상의 이미지 또는 동영상에 대한 링크정보를 상기 요약정보에 포함시키며, 사용자 장치로부터 선택된 요약정보에 대응되는 하나 이상의 이미지 또는 동영상을 상기 저장부로부터 추출하여 제공하는 것을 특징으로 하는 요약정보 생성 장치.
The method according to claim 1,
The summary unit may include link information for one or more images or moving images corresponding to the summary information in the summary information and extract one or more images or moving images corresponding to the selected summary information from the user device Wherein the summary information generating apparatus comprises:
제 1항에 있어서,
상기 요약부는 상기 동영상에 대응되어 추출된 대표 이미지의 수에 따라 미리 설정된 재생구간을 적용하여 상기 요약 동영상의 전체 재생시간을 미리 연산하고, 상기 전체 재생시간을 미리 설정된 재생시간과 비교하여 상기 전체 재생시간이 미리 설정된 재생시간을 초과하는 경우 상기 전체 재생시간이 상기 미리 설정된 재생시간을 초과하지 않도록 상기 동영상에 대응되어 추출된 대표 이미지 중 적어도 하나를 삭제하는 것을 특징으로 하는 요약정보 생성 장치.
The method according to claim 1,
Wherein the summary unit calculates a total playback time of the summary moving picture in advance by applying a preset playback interval according to the number of representative images extracted corresponding to the moving image, compares the total playback time with a predetermined playback time, And deletes at least one representative image extracted corresponding to the moving picture so that the total reproduction time does not exceed the predetermined reproduction time when the time exceeds the predetermined reproduction time.
제 7항에 있어서,
상기 요약부는 상기 동영상에 대응되어 추출된 대표 이미지 사이의 상기 유사도를 측정하여 유사도가 미리 설정된 기준치 이상인 대표 이미지 중 적어도 하나를 삭제하는 것을 특징으로 하는 요약정보 생성 장치.
8. The method of claim 7,
Wherein the summary unit measures the similarity between the extracted representative images corresponding to the moving image and deletes at least one representative image having a similarity value equal to or greater than a preset reference value.
그룹정보 생성부가 저장부에 저장된 하나 이상의 이미지를 유사도에 따라 그룹핑하거나, 상기 저장부에 저장된 동영상에서 미리 설정된 타임구간별로 하나 이상의 프레임 이미지를 추출하고 유사도에 따라 상기 프레임 이미지를 그룹핑하여 하나 이상의 그룹정보를 생성하는 단계;
추출부가 상기 각 그룹정보에서 미리 설정된 조건을 만족하는 하나 이상의 대표 이미지를 추출하는 단계; 및
요약부가 상기 대표 이미지를 상기 그룹정보의 요약정보로 생성하거나, 상기 대표 이미지가 프레임 이미지인 경우 상기 동영상에 대응되는 각 대표 이미지의 재생시점을 기준으로 미리 설정된 재생구간 내에 있는 동영상 클립을 상기 동영상에서 추출하여 상기 동영상에 대응되어 추출된 하나 이상의 동영상 클립을 재생 순서에 따라 연결한 요약 동영상을 요약 정보로 생성하는 단계를 포함하는 요약정보 생성 방법.
The group information generation unit groups one or more images stored in the storage unit according to the degree of similarity or extracts one or more frame images from a moving image stored in the storage unit according to a preset time interval and groups the frame images according to the similarity, ≪ / RTI >
Extracting at least one representative image satisfying a predetermined condition from the group information; And
Wherein when the representative image is a frame image, a moving picture clip within a preset reproduction interval based on a reproduction time point of each representative image corresponding to the moving image is generated in the moving image, Extracting a plurality of movie clips corresponding to the moving image and connecting the extracted one or more moving clips in accordance with the playing order, as summary information.
제 9항에 있어서,
상기 요약정보 생성 방법을 수행하는 컴퓨터 프로그램이 기록된 기록매체.
10. The method of claim 9,
And a computer program for performing the method of generating summary information.
KR1020140010419A 2014-01-28 2014-01-28 Apparatus and method for creating summary information, and computer readable medium having computer program recorded therefor KR20150089598A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140010419A KR20150089598A (en) 2014-01-28 2014-01-28 Apparatus and method for creating summary information, and computer readable medium having computer program recorded therefor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140010419A KR20150089598A (en) 2014-01-28 2014-01-28 Apparatus and method for creating summary information, and computer readable medium having computer program recorded therefor

Publications (1)

Publication Number Publication Date
KR20150089598A true KR20150089598A (en) 2015-08-05

Family

ID=53886013

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140010419A KR20150089598A (en) 2014-01-28 2014-01-28 Apparatus and method for creating summary information, and computer readable medium having computer program recorded therefor

Country Status (1)

Country Link
KR (1) KR20150089598A (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109327713A (en) * 2018-10-31 2019-02-12 微梦创科网络科技(中国)有限公司 A kind of generation method and device of media information
CN111918130A (en) * 2020-08-11 2020-11-10 北京达佳互联信息技术有限公司 Video cover determining method and device, electronic equipment and storage medium
WO2022124466A1 (en) * 2020-12-09 2022-06-16 주식회사 디알엠인사이드 System and method for still image-based media content monitoring
WO2022139262A1 (en) * 2020-12-22 2022-06-30 삼성전자 주식회사 Electronic device for editing video by using object of interest, and operating method therefor

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109327713A (en) * 2018-10-31 2019-02-12 微梦创科网络科技(中国)有限公司 A kind of generation method and device of media information
CN111918130A (en) * 2020-08-11 2020-11-10 北京达佳互联信息技术有限公司 Video cover determining method and device, electronic equipment and storage medium
WO2022124466A1 (en) * 2020-12-09 2022-06-16 주식회사 디알엠인사이드 System and method for still image-based media content monitoring
WO2022139262A1 (en) * 2020-12-22 2022-06-30 삼성전자 주식회사 Electronic device for editing video by using object of interest, and operating method therefor

Similar Documents

Publication Publication Date Title
US9055335B2 (en) Systems and methods for addressing a media database using distance associative hashing
US9966112B1 (en) Systems and methods to associate multimedia tags with user comments and generate user modifiable snippets around a tag time for efficient storage and sharing of tagged items
US8107689B2 (en) Apparatus, method and computer program for processing information
US20150213122A1 (en) Systems and methods for addressing a media database using distance associative hashing
US11438510B2 (en) System and method for editing video contents automatically technical field
US10033931B2 (en) Image processing apparatus and image processing method for processing still image data
KR101832680B1 (en) Searching for events by attendants
US20200349355A1 (en) Method for determining representative image of video, and electronic apparatus for processing the method
US9081801B2 (en) Metadata supersets for matching images
KR20150089598A (en) Apparatus and method for creating summary information, and computer readable medium having computer program recorded therefor
KR20080011036A (en) Image recording and playing system and image recording and playing method
KR101812103B1 (en) Method and program for setting thumbnail image
JP2014154891A (en) Information processor, control method for the same, program, and storage medium
CN113014957B (en) Video shot segmentation method and device, medium and computer equipment
US10924637B2 (en) Playback method, playback device and computer-readable storage medium
JP2007036737A (en) Image display device
CN104580804B (en) The method and system that a kind of picture compression uploads
KR101242659B1 (en) Method for searching images
JP2008166895A (en) Video display device, its control method, program and recording medium
CN105335111A (en) Display processing method and apparatus for images
US11283945B2 (en) Image processing apparatus, image processing method, program, and recording medium
JP2017102916A (en) Apparatus and method for high-speed searching of massive video evidence in digital forensic
CN109151568B (en) Video processing method and related product
CN110647500A (en) File storage method, device, terminal and computer readable storage medium
WO2015185479A1 (en) Method of and system for determining and selecting media representing event diversity

Legal Events

Date Code Title Description
N231 Notification of change of applicant
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application