KR20150089598A - Apparatus and method for creating summary information, and computer readable medium having computer program recorded therefor - Google Patents
Apparatus and method for creating summary information, and computer readable medium having computer program recorded therefor Download PDFInfo
- Publication number
- KR20150089598A KR20150089598A KR1020140010419A KR20140010419A KR20150089598A KR 20150089598 A KR20150089598 A KR 20150089598A KR 1020140010419 A KR1020140010419 A KR 1020140010419A KR 20140010419 A KR20140010419 A KR 20140010419A KR 20150089598 A KR20150089598 A KR 20150089598A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- images
- information
- unit
- summary information
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
- H04N21/845—Structuring of content, e.g. decomposing content into time segments
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/85—Assembly of content; Generation of multimedia applications
- H04N21/854—Content authoring
- H04N21/8549—Creating video summaries, e.g. movie trailer
Abstract
Description
본 발명은 요약정보 생성 장치 및 방법, 컴퓨터 프로그램이 기록된 기록매체에 관한 것으로서, 더욱 상세히는 이미지 및 동영상의 탐색에 따른 이미지 및 동영상의 로드 시간을 단축시키기 위한 요약정보를 생성하는 요약정보 생성 장치 및 방법, 컴퓨터 프로그램이 기록된 기록매체에 관한 것이다.The present invention relates to a summary information generating apparatus and method, and a recording medium on which a computer program is recorded. More particularly, the present invention relates to a summary information generating apparatus and method for generating summary information for shortening the load time of an image and a moving image, And a recording medium on which a computer program is recorded.
현재 다양한 멀티미디어 장치들이 하나의 장치로 융합되고 있으며, 이를 통해 사용자는 복수의 멀티미디어 장치에서 지원하는 기능이 통합된 사용자 장치를 이용하여 용이하게 이미지 또는 동영상을 촬영할 수 있다.Currently, various multimedia devices are merged into one device, so that a user can easily photograph an image or a moving picture by using a user device integrated with functions supported by a plurality of multimedia devices.
이와 같은 사용자 장치를 이용하여 사용자는 편리하게 다수의 이미지 또는 동영상을 촬영하고, 이동통신을 지원하는 사용자 장치의 통신기능을 이용하여 통신망을 통해 다수의 사용자와 이미지 또는 동영상을 편리하게 공유할 수 있다.Using such a user device, a user can easily capture a large number of images or moving images, and can easily share images or videos with a large number of users through a communication network by using a communication function of a user device supporting mobile communication .
이렇듯, 이미지 또는 동영상 생성의 편이성이 급격히 개선되면서 개인별 이미지 및 동영상의 생산량이 크게 증대되고 있으며, 이에 따라 다수의 이미지 및 동영상을 탐색하기 위하여 이미지 및 동영상을 로드하는데 걸리는 시간이 크게 증가되어 탐색에 불편함이 초래된다.As described above, the ease of image or moving picture production is dramatically improved, and the production amount of individual images and moving images is greatly increased. Accordingly, the time required for loading images and moving images is greatly increased in order to search a large number of images and moving images. .
현재, 이를 개선하기 위하여 이미지 또는 동영상을 리사이징하여 미리보기 방식으로 제공하는 썸네일 방식이 사용되고 있으나, 이러한 썸네일 방식 역시 이미지 또는 동영상을 단순 리사이징하여 나열하는데 그쳐 이미지 및 동영상의 수가 증가할수록 다수의 이미지 및 동영상을 로드하는데 소요되는 시간이 길어지는 문제가 발생한다.In order to improve this, a thumbnail method of resizing an image or a moving image and providing it as a preview method is used. However, such a thumbnail method is also a method in which an image or a moving image is simply resized and listed. As the number of images and moving images increases, There is a problem that the time required for loading the signal is long.
또한, 상호 동일한 위치와 시간에서 동일한 대상에 대하여 촬영된 서로 다른 이미지가 많은 경우 이를 모두 로드하는 과정에서 이미지 탐색에 대한 효율을 크게 저하시키는 문제가 발생한다.In addition, when there are many different images captured for the same object at the same position and time, there arises a problem that the efficiency of image search greatly decreases in the process of loading all of them.
본 발명은 유사도가 높은 이미지끼리 그룹핑하여 생성된 그룹에 대한 대표 이미지를 추출하여 요약정보를 생성하며, 대표 이미지의 추출시 미리 설정된 조건을 만족하는 대표 이미지를 추출하여 요약정보를 생성함으로써, 요약정보를 통해 다수의 이미지를 로드하는데 걸리는 시간을 단축할 수 있도록 함과 동시에 동일 대상물을 대상으로 하는 복수의 이미지 중에서 최적의 품질을 가진 이미지를 요약정보로 제공하여 사용자가 일목요연하고 효율적으로 이미지를 식별할 수 있도록 하는데 그 목적이 있다.The present invention generates summary information by extracting a representative image of a group generated by grouping images having high similarity, extracts a representative image satisfying predetermined conditions at the time of extracting representative images, generates summary information, It is possible to shorten the time required to load a plurality of images through the image processing apparatus and to provide an image having the best quality among a plurality of images of the same object as summarized information, The purpose is to make it possible.
또한, 본 발명은 동영상을 타임구간별로 분할하여 미리 설정된 조건을 만족하는 대표 이미지를 추출하고 이를 이용하여 간략한 동영상 클립이 재생순서에 따라 연결된 요약정보를 생성함으로써, 사용자가 일목요연하게 동영상의 내용을 판단할 수 있도록 하는데 그 목적이 있다.In addition, the present invention divides a moving picture into time segments to extract representative images satisfying predetermined conditions, and generates summary information in which the simplified movie clips are linked in the reproduction order by using the extracted representative images, so that the user can easily The purpose is to make it possible to do.
본 발명의 실시예에 따른 요약정보 생성 장치는 이미지 및 동영상 중 적어도 하나가 하나 이상 저장된 저장부, 저장부에 저장된 이미지를 유사도에 따라 그룹핑하거나, 저장부에 저장된 동영상에서 미리 설정된 타임구간별로 하나 이상의 프레임 이미지를 추출하고 유사도에 따라 프레임 이미지를 그룹핑하여 하나 이상의 그룹정보를 생성하는 그룹정보 생성부, 각 그룹정보에서 미리 설정된 조건을 만족하는 하나 이상의 대표 이미지를 추출하는 추출부 및 대표 이미지를 그룹정보의 요약정보로 생성하거나, 대표 이미지가 프레임 이미지인 경우 동영상에 대응되는 각 대표 이미지의 재생시점을 기준으로 미리 설정된 재생구간 내에 있는 동영상 클립을 동영상에서 추출하여 동영상에 대응되어 추출된 하나 이상의 동영상 클립을 재생 순서에 따라 연결한 요약 동영상을 요약 정보로 생성하는 요약부를 포함할 수 있다.The apparatus for generating summary information according to an embodiment of the present invention may include a storage unit in which at least one of an image and a moving image is stored, an image stored in the storage unit according to the degree of similarity, A group information generating unit for extracting a frame image and grouping frame images according to the similarity to generate at least one group information, an extracting unit for extracting at least one representative image satisfying preset conditions in each group information, Or if the representative image is a frame image, extracts a movie clip within a preset reproduction interval based on the reproduction time point of each representative image corresponding to the animation, extracts one or more movie clips extracted corresponding to the animation, In accordance with the playback order. It may include a summary section that generates a video summary of the summary information.
본 발명과 관련된 일 예로서, 그룹정보 생성부는 각 이미지 또는 프레임 이미지의 히스토그램 또는 EXIF 정보의 비교를 통해 유사도를 판단하여 유사도가 미리 설정된 기준치 이상인 서로 다른 이미지 또는 서로 다른 프레임 이미지를 그룹핑하는 것을 특징으로 할 수 있다As an example related to the present invention, the group information generation unit may determine similarity through comparison of histograms or EXIF information of each image or frame image, and group different images or different frame images having similarities higher than a preset reference value can do
본 발명과 관련된 일 예로서, 요약정보 생성 장치는 요약정보를 미리 설정된 해상도에 따라 리사이징하는 리사이징부를 더 포함할 수 있다.As an example related to the present invention, the summary information generating apparatus may further include a resizing unit for resizing the summary information according to a preset resolution.
본 발명과 관련된 일 예로서, 요약정보 생성 장치는 리사이징부를 통해 리사이징된 요약정보를 썸네일로 생성하여 제공하는 썸네일 제공부를 더 포함할 수 있다.As an example related to the present invention, the summary information generating apparatus may further include a thumbnail providing unit for generating thumbnail of the resized summary information through the resizing unit and providing the thumbnail.
본 발명과 관련된 일 예로서, 미리 설정된 조건은 그룹정보에 속한 각 이미지 또는 각 프레임이 미지에 대한 블러, 노이즈, 밝기, 색대비, 구도, 왜곡, 얼굴 크기, 얼굴 검출 영역, 얼굴 검출 영역에서 스마일 영역, 사람 수, 그룹정보에 포함된 이미지 개수 중 적어도 하나에 따른 이미지 품질을 측정하여, 이미지 품질이 가장 높은 이미지 또는 프레임 이미지를 그룹정보에 대응되는 대표 이미지로 추출되도록 하는 조건인 것을 특징으로 할 수 있다.As an example related to the present invention, a preset condition may be a smile in a blur, a noise, a brightness, a color contrast, a composition, a distortion, a face size, a face detection area and a face detection area for each image belonging to group information, The image quality is measured according to at least one of the number of regions, the number of persons, and the number of images included in the group information, and the image or frame image having the highest image quality is extracted as a representative image corresponding to the group information .
본 발명과 관련된 일 예로서, 요약부는 요약정보에 대응되는 하나 이상의 이미지 또는 동영상에 대한 링크정보를 요약정보에 포함시키며, 사용자 장치로부터 선택된 요약정보에 대응되는 하나 이상의 이미지 또는 동영상을 저장부로부터 추출하여 제공하는 것을 특징으로 할 수 있다.As an example related to the present invention, the summary unit may include link information for one or more images or videos corresponding to the summary information in the summary information, extract one or more images or videos corresponding to the summary information selected from the user apparatus from the storage unit And the like.
본 발명과 관련된 일 예로서, 요약부는 동영상에 대응되어 추출된 대표 이미지의 수에 따라 미리 설정된 재생구간을 적용하여 요약 동영상의 전체 재생시간을 미리 연산하고, 전체 재생시간을 미리 설정된 재생시간과 비교하여 전체 재생시간이 미리 설정된 재생시간을 초과하는 경우 전체 재생시간이 미리 설정된 재생시간을 초과하지 않도록 동영상에 대응되어 추출된 대표 이미지 중 적어도 하나를 삭제하는 것을 특징으로 할 수 있다.As an example related to the present invention, the summary unit may calculate a total playback time of the summary movie in advance by applying a predetermined playback interval according to the number of representative images extracted corresponding to the moving image, compare the total playback time with a preset playback time And deletes at least one representative image extracted corresponding to the moving picture so that the total reproduction time does not exceed the predetermined reproduction time when the total reproduction time exceeds the predetermined reproduction time.
본 발명과 관련된 일 예로서, 요약부는 동영상에 대응되어 추출된 대표 이미지 사이의 유사도를 측정하여 유사도가 미리 설정된 기준치 이상인 대표 이미지 중 적어도 하나를 삭제하는 것을 특징으로 할 수 있다.As an example related to the present invention, the summarizing unit may measure the similarity between the extracted representative images corresponding to the moving image, and delete at least one of the representative images having the similarity value equal to or higher than a preset reference value.
본 발명의 실시예에 따른 요약정보 생성 방법은 그룹정보 생성부가 저장부에 저장된 하나 이상의 이미지를 유사도에 따라 그룹핑하거나, 저장부에 저장된 동영상에서 미리 설정된 타임구간별로 하나 이상의 프레임 이미지를 추출하고 유사도에 따라 프레임 이미지를 그룹핑하여 하나 이상의 그룹정보를 생성하는 단계, 추출부가 각 그룹정보에서 미리 설정된 조건을 만족하는 하나 이상의 대표 이미지를 추출하는 단계 및 요약부가 대표 이미지를 그룹정보의 요약정보로 생성하거나, 대표 이미지가 프레임 이미지인 경우 동영상에 대응되는 각 대표 이미지의 재생시점을 기준으로 미리 설정된 재생구간 내에 있는 동영상 클립을 동영상에서 추출하여 동영상에 대응되어 추출된 하나 이상의 동영상 클립을 재생 순서에 따라 연결한 요약 동영상을 요약 정보로 생성하는 단계를 포함할 수 있다.In the summary information generation method according to an embodiment of the present invention, the group information generation unit groups one or more images stored in the storage unit according to the degree of similarity, or extracts one or more frame images in a preset time interval from a moving image stored in the storage unit, Extracting at least one representative image that satisfies predetermined conditions in each group information and generating a summary image of the representative image as summary information of the group information, If the representative image is a frame image, extracting a movie clip within a preset reproduction interval based on the reproduction time point of each representative image corresponding to the animation, connecting one or more extracted movie clips corresponding to the animation in accordance with the reproduction order Summary video summary It may comprise the step of generating borough.
본 발명의 실시예에 따른 기록매체에는 상술한 요약정보 생성 방법을 수행하는 컴퓨터 프로그램이 저장될 수 있다.The recording medium according to the embodiment of the present invention may store a computer program for performing the above-described summary information generating method.
본 발명은 유사도가 높은 서로 다른 이미지를 그룹핑하여 그룹핑된 하나 이상의 이미지에 대한 대표 이미지를 요약정보로 생성하고, 동영상의 경우 타임구간별로 프레임 이미지를 추출하고 서로 다른 프레임 이미지를 유사도에 그룹핑하여 대표 이미지를 추출한 후 추출된 대표 이미지의 재생시점을 기준으로 하나 이상의 동영상 클립을 동영상으로부터 추출하여 재생순서에 따라 연결한 요약 동영상을 요약정보로 생성하여 제공함으로써, 요약정보로 제공되는 대표 이미지 또는 요약 동영상을 통해 사용자 장치의 메모리부 또는 서비스 제공 장치의 DB에 대한 탐색시 모든 이미지 및 동영상을 로드하는데 걸리는 시간을 크게 단축할 수 있을 뿐만 아니라 사용자 장치 및 서비스 제공 장치의 부하를 크게 경감시키며, 동일 대상에 대하여 촬영된 이미지를 동일 그룹으로 그룹핑하고 해당 그룹에서 최적의 품질을 가진 대표 이미지만을 요약정보로 제공하여 탐색 효율성을 크게 향상시키는 효과가 있다.In the case of a moving image, a frame image is extracted for each time interval, and different frame images are grouped in similarity to generate a representative image of one or more images grouped by grouping different images having high similarity, Extracting at least one moving picture clip from the moving picture based on the reproduction time point of the extracted representative image, and generating a summary moving picture, which is connected according to the reproduction order, as summary information, thereby providing a representative image or a summary moving picture The time required for loading all the images and moving images can be greatly reduced at the time of searching the memory unit of the user apparatus or the DB of the service providing apparatus, and the load of the user apparatus and the service providing apparatus can be greatly reduced, Photographed image The effect of grouping in the same group, and to provide significantly improved navigation for optimal efficiency only summary information with a representative image quality in the group.
또한, 본 발명은 기존에 동영상에 대한 요약정보로 제공되는 썸네일이 동영상에서 유사도를 고려하지 않고 단순히 일정 시간 간격으로 추출된 프레임 이미지를 단순 나열하여 동영상에 대한 내용을 용이하게 파악하기 어려운 반면에, 메모리부 또는 DB에 저장된 동영상에서 추출된 대표 이미지를 기준으로 하는 하나 이상의 동영상 클립으로 동영상에 대한 요약 동영상을 구성하여 요약정보로 생성함으로써, 사용자가 요약 동영상을 통해 용이하게 동영상에 대한 내용을 파악할 수 있도록 제공하는 효과가 있다.In addition, it is difficult for the present invention to easily grasp the content of a moving picture by simply listing a frame image extracted at a predetermined time interval without taking the similarity into consideration in a moving picture, The user can easily understand the contents of the video through the summary video by constructing the summary video of the video by using one or more video clips based on the representative image extracted from the video stored in the memory or DB So that it is effective.
더하여, 본 발명은 유사도가 높은 이미지 중에서 대표 이미지 추출시 이미지 품질이 가장 좋은 이미지를 대표 이미지로 추출하여 제공하고, 동영상에서 요약 동영상을 위한 동영상 클립 추출시에도 가장 품질이 좋은 프레임 이미지를 기준으로 동영상 클립을 추출하여 사용자에게 최적의 품질로 이루어진 대표 이미지 또는 요약 동영상만을 요약 정보로 제공함으로써, 사용자가 일목요연하고 효율적으로 이미지 및 동영상을 식별할 수 있도록 지원하는 효과가 있다.In addition, the present invention extracts and provides an image having the best image quality when extracting the representative image among the images having high similarity, as a representative image, Clips are extracted and the representative image or the summary video having the optimum quality is provided to the user as the summary information, thereby enabling the user to recognize the image and the video efficiently and efficiently.
도 1은 본 발명의 실시예에 따른 요약정보 생성 장치의 구성 환경도.
도 2는 본 발명의 실시예에 따른 요약정보 생성 장치의 상세 구성도.
도 3은 본 발명의 실시예에 따른 요약정보 생성 장치의 유사도에 따른 이미지 그룹핑에 대한 예시도.
도 4는 본 발명의 실시예에 따른 요약정보 생성 장치의 그룹정보에 대응되는 대표 이미지의 추출에 대한 예시도.
도 5 내지 도 6은 본 발명의 실시예에 따른 요약정보 생성 장치의 동영상에 대한 요약 정보 생성 과정에 대한 예시도.
도 7은 본 발명의 실시예에 따른 요약정보 생성 장치의 요약정보 제공에 대한 예시도.
도 8은 본 발명의 실시예에 따른 요약정보 생성 방법에 대한 순서도.1 is a configuration environment diagram of a summary information generation apparatus according to an embodiment of the present invention;
2 is a detailed configuration diagram of a summary information generating apparatus according to an embodiment of the present invention;
3 is a diagram illustrating an example of image grouping according to the similarity of the summary information generating apparatus according to the embodiment of the present invention.
FIG. 4 is an exemplary view for extracting representative images corresponding to group information of the summary information generation apparatus according to the embodiment of the present invention; FIG.
FIG. 5 to FIG. 6 are diagrams illustrating an example of a summary information generation process for a moving image in the summary information generation apparatus according to an embodiment of the present invention; FIG.
FIG. 7 is an exemplary diagram for providing summary information of a summary information generating apparatus according to an embodiment of the present invention; FIG.
8 is a flowchart of a method for generating summary information according to an embodiment of the present invention.
이하, 본 발명의 실시예를 도면을 통해 상세히 설명한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
도 1은 본 발명의 실시예에 따른 요약정보 생성 장치의 상세 구성 환경도이다. 1 is a detailed configuration environment diagram of a summary information generating apparatus according to an embodiment of the present invention.
본 발명의 실시예에 따른 요약정보 생성 장치(100)는 사용자 장치(10)와 통신하는 서비스 제공 장치(20) 및 사용자 장치(10) 중 적어도 하나에 구성될 수 있으며, 사용자 장치(10)의 메모리부 또는 서비스 제공 장치(20)의 DB에 저장된 이미지 또는 동영상에 대한 요약정보를 생성할 수 있다.The summary
특히, 요약정보 생성 장치(100)는 유사도가 높은 서로 다른 이미지를 상호 그룹핑하여 그룹정보를 생성하고, 그룹정보에서 미리 설정된 조건을 만족하는 대표 이미지를 추출하여 요약정보로 생성할 수 있다.In particular, the summary
또한, 요약정보 생성 장치(100)는 동영상에 대한 요약정보 생성시 동영상에서 미리 설정된 타임구간별로 프레임 이미지를 추출하고, 추출된 프레임 이미지 사이의 유사도에 따라 유사도가 높은 프레임 이미지를 그룹핑하여 하나 이상의 그룹 정보를 생성할 수 있다. 이때, 타임구간은 설정에 따라 가변될 수 있음은 당연하다.In addition, the summary
이후, 요약정보 생성 장치(100)는 각 그룹정보에서 미리 설정된 조건을 만족하는 대표 이미지를 추출하고, 동영상에서 각 대표 이미지의 재생시점을 기준으로 미리 설정된 구간의 동영상 클립을 추출하며, 각 동영상 클립을 재생순서에 따라 연결한 요약 동영상을 요약 정보로 생성할 수 있다.Thereafter, the summary
이에 따라, 요약정보 생성 장치(100)는 사용자 장치(10)의 메모리부 또는 서비스 제공 장치(20)의 DB에 저장된 동영상이나 이미지에 대한 탐색시 요약정보를 제공할 수 있으며, 일례로 요약정보를 썸네일로 제공하여 사용자가 용이하게 메모리부 또는 DB에 저장된 이미지나 동영상을 일목요연하게 확인할 수 있다.Accordingly, the summary
특히, 요약정보 생성 장치(100)는 메모리부 또는 DB에 저장된 이미지에 대한 요약정보로 제공되는 대표 이미지를 통해 메모리부 또는 DB에 저장된 모든 이미지를 로드하는데 걸리는 시간을 크게 단축할 수 있을 뿐만 아니라 요약정보 생성 장치가 적용된 사용자 장치 및 서비스 제공 장치의 부하를 경감시킬 수 있다.In particular, the summary
한편, 기존에 동영상에 대한 요약정보로 제공되는 썸네일이 동영상에서 유사도를 고려하지 않고 단순히 일정 시간 간격으로 추출된 프레임 이미지를 단순 나열하여 동영상에 대한 내용을 용이하게 파악하기 어려운 반면에, 요약정보 생성 장치는 메모리부 또는 DB에 저장된 동영상에서 추출된 대표 이미지를 기준으로 하는 하나 이상의 동영상 클립을 동영상에서 추출하여 재생 순서에 따라 연결한 요약 동영상을 생성하고, 해당 요약 동영상을 요약정보로 제공하여 사용자가 요약 동영상을 통해 용이하게 동영상에 대한 내용을 파악할 수 있도록 제공할 수 있다.On the other hand, it is difficult to easily grasp the content of a moving picture by simply displaying a frame image extracted at a predetermined time interval without taking the similarity into consideration in a moving picture, as a thumbnail provided as a summary information of a moving image, The device extracts one or more movie clips based on the representative image extracted from the video stored in the memory or the DB, generates a summary video linked according to the playback order, and provides the summary video as summary information, The summary video can easily provide information about the video.
상술한 내용을 기초로 요약정보 생성 장치의 상세 구성을 도 2를 통해 설명한다.The detailed configuration of the summary information generating apparatus will be described with reference to FIG.
도 2에 도시된 바와 같이 요약정보 생성 장치(100)는 그룹정보 생성부(110), 추출부(120), 요약부(130), 리사이징부(140) 및 썸네일 제공부(150)를 포함할 수 있다.2, the summary
그룹정보 생성부(110)는 사용자 장치(10)의 메모리부 또는 서비스 제공 장치(20)의 DB에 액세스하여, 이미지 및 동영상 중 적어도 하나가 하나 이상 저장된 사용자 장치(10)의 메모리부 또는 서비스 제공 장치(20)의 DB를 탐색할 수 있다.The group
또한, 그룹정보 생성부(110)는 이미지 또는 동영상에 대한 원본 파일의 헤더나 파일명을 통해 이미지 또는 동영상을 식별할 수 있다.In addition, the group
이후, 그룹정보 생성부(110)는 식별된 하나 이상의 이미지에 대하여 이미지 사이의 유사도를 측정하고, 측정된 유사도에 따라 서로 다른 이미지를 그룹핑하여 서로 다른 하나 이상의 그룹정보를 생성할 수 있다.Then, the
일례로, 도 3에 도시된 바와 같이 그룹정보 생성부(110)는 서로 다른 제 1 이미지와 제 2 이미지에 대한 히스토그램을 산출하고, 제 1 및 제 2 이미지에 각각 대응되는 히스토그램을 상호 비교하여 유사도를 측정할 수 있다.For example, as shown in FIG. 3, the group
또한, 그룹정보 생성부(110)는 제 1 및 제 2 이미지 각각의 EXIF(Exchangeable Image File Format) 정보를 추출하고, 각 이미지에 대응되는 EXIF 정보를 상호 비교하여 유사도를 측정할 수 있다. 일례로, 그룹정보 생성부(110)는 EXIF 정보에 포함된 시간정보를 기초로 제 1 이미지의 생성시간(또는 촬영시간)과 제 2 이미지 생성시간(또는 촬영시간)의 차이가 미리 설정된 범위 내에 있는 경우 유사도가 높은 것으로 측정할 수 있다. 또 다른 일례로, 그룹정보 생성부(110)는 EXIF 정보에 포함된 위치정보를 기초로 제 1 이미지의 생성위치(또는 촬영위치)와 제 2 이미지의 생성위치(또는 촬영위치)가 상호 동일한 경우 유사도가 높은 것으로 측정할 수 있다.In addition, the group
상술한 구성에 따라, 그룹정보 생성부(110)는 제 1 및 제 2 이미지 사이의 유사도가 미리 설정된 기준치 이상인 경우 제 1 및 제 2 이미지를 그룹핑하여 제 1 및 제 2 이미지가 포함된 그룹정보를 생성할 수 있다.According to the above-described configuration, when the similarity degree between the first and second images is equal to or greater than a preset reference value, the group
이를 통해, 그룹정보 생성부(110)는 사용자 장치(10)의 메모리부나 서비스 제공 장치(20)의 DB에 저장된 모든 이미지를 도 4에 도시된 바와 같이 유사도에 따라 서로 다른 그룹으로 그룹핑할 수 있다.The group
이후, 추출부(120)는 그룹정보 생성부(110)로부터 수신되는 하나 이상의 그룹정보 각각에 대하여 도 4에 도시된 바와 같이 각 그룹정보에 포함된 이미지 중 어느 하나를 대표 이미지로 추출할 수 있다.Then, the
이를 위해, 추출부(120)는 그룹정보에 속한 이미지 각각에 대한 블러, 노이즈, 밝기, 색대비, 구도, 왜곡, 얼굴 크기, 얼굴 검출 영역, 얼굴 검출 영역에서 스마일 영역, 사람 수, 그룹정보에 포함된 이미지 개수 중 적어도 하나에 따른 이미지 품질을 측정하고, 그룹정보에 속한 이미지 중 이미지 품질에 대한 수치가 가장 높은 이미지를 대표 이미지로 추출할 수 있다. 한편, 추출부(120)는 이러한 이미지 품질 수치에 대한 설정이 대표 이미지의 추출을 편협하게 한정할 수 있으므로, 경우에 따라서 랜덤 추출도 선택적으로 적용할 수도 있다.To this end, the extracting
이를 통해, 추출부(120)는 대표 이미지 추출시 이미지 품질이 가장 좋은 이미지를 대표 이미지로 추출하여 제공할 수 있다.Accordingly, the
또한, 추출부(120)는 대표 이미지로 복수의 이미지가 추출되는 경우 추출된 이미지 중 어느 하나를 랜덤하게 대표 이미지로 선택할 수 있다.In addition, when a plurality of images are extracted as the representative image, the extracting
이에 따라, 요약부(130)는 그룹정보와 매칭된 대표 이미지를 요약정보로 생성할 수 있다.Accordingly, the
한편, 상술한 구성에 따른 요약정보 생성 장치(100)는 사용자 장치(10)의 메모리부나 서비스 제공 장치(20)의 DB에 저장된 동영상을 식별할 수 있으며, 동영상에 대한 요약정보를 생성할 수 있는데 이를 도 5를 통해 설명한다.Meanwhile, the summary
도시된 바와 같이, 그룹정보 생성부(110)는 도시된 바와 같이 동영상에서 미리 설정된 타임구간별로 프레임 이미지를 추출할 수 있으며, 서로 다른 프레임 이미지 사이의 유사도를 측정하여 유사도가 미리 설정된 기준치 이상을 만족하는 서로 다른 프레임 이미지를 그룹핑하여 프레임 그룹정보를 생성할 수 있다.As shown in the figure, the
이때, 그룹정보 생성부(110)는 상술한 바와 같이 각 프레임 이미지의 히스토그램이나 EXIF 정보의 비교를 통해 유사도를 측정할 수 있다.At this time, the group
이후, 추출부(120)는 각 프레임 그룹정보에 대하여 도 4에서 설명한 바와 같이 프레임 그룹정보에 속한 프레임 이미지 각각에 대한 블러, 노이즈, 밝기, 색대비, 구도, 왜곡, 얼굴 크기, 얼굴 검출 영역, 얼굴 검출 영역에서 스마일 영역, 사람 수, 그룹정보에 포함된 이미지 개수 중 적어도 하나에 따른 이미지 품질을 측정하고, 그룹정보에 속한 프레임 이미지 중 이미지 품질에 대한 수치가 가장 높은 프레임 이미지를 대표 이미지로 추출할 수 있다. 한편, 추출부(120)는 이러한 이미지 품질 수치에 대한 설정이 대표 이미지의 추출을 편협하게 한정할 수 있으므로, 경우에 따라서 랜덤 추출도 선택적으로 적용할 수도 있다.4, the extracting
이때, 상술한 바와 마찬가지로 추출부(120)는 대표 이미지로 복수의 프레임 이미지가 추출되는 경우 추출된 프레임 이미지 중 어느 하나를 랜덤하게 대표 이미지로 선택할 수 있다.At this time, if the plurality of frame images are extracted as the representative image, the
다음, 요약부(130)는 대표 이미지로 추출된 각 프레임 이미지를 기준으로 미리 설정된 재생구간 내에 있는 동영상 클립을 동영상에서 추출할 수 있다.Next, the summarizing
일례로, 도시된 바와 같이 요약부(130)는 제 1 프레임 그룹에서 추출된 제 1 대표이미지를 기준으로 미리 설정된 재생 구간에 따라 제 1 대표 이미지의 전과 후에 각각 배열되는 2개의 프레임 이미지를 포함하도록 제 1 동영상 클립을 동영상에서 추출할 수 있다.For example, as shown in the figure, the
또한, 요약부(130)는 제 2 프레임 그룹에서 추출된 또 다른 대표 이미지인 제 2 대표 이미지에 대해서도 미리 설정된 재생 구간을 적용하여 제 2 대표 이미지의 전과 후에 연속 배열되는 2 프레임 이미지를 포함하도록 제 2 동영상 클립을 동영상에서 추출할 수 있다.Also, the summarizing
이때, 미리 설정된 재생구간이 가변될 수 있음은 당연하며, 상술한 실시예에서는 설명 편의를 위해 2개의 대표 이미지에 대해서만 동영상 클립을 추출하는 것으로 설명하지만 대표 이미지가 2개 이상인 경우에도 각 대표 이미지에 대한 동영상 클립을 생성할 수 있음은 당연하다.In this case, it is natural that the preset reproduction interval can be varied. In the above-described embodiment, the movie clip is extracted only for the two representative images for convenience of explanation. However, even if the representative images are two or more, It is of course possible to create a movie clip for.
이후, 요약부(130)는 추출된 제 1 동영상 클립과 제 2 동영상 클립을 재생 순서에 따라 연결하여 요약 동영상을 생성하고, 해당 요약 동영상을 요약정보로 생성할 수 있다.Thereafter, the
이에 따라, 기존의 동영상에 대한 썸네일이 연속성이 없는 서로 다른 프레임 이미지를 단순 나열하여 관련성 없는 정지화상이 재생되어 사용자가 동영상의 내용을 쉽게 파악할 수 없는 반면, 본 발명에 따라 생성된 동영상에 대한 요약정보는 연속성이 있는 일련의 프레임 이미지로 구성된 동영상 클립을 나열하여 제공함으로써, 짧은 동영상을 통해 동영상의 내용을 간략하게 파악할 수 있도록 제공하여 동영상을 일목요연하게 식별할 수 있다.Accordingly, it is possible to easily arrange the different frame images having no continuity in the thumbnails of the existing moving pictures to reproduce irrelevant still pictures, and the user can not easily grasp the contents of the moving pictures. On the other hand, Information is provided by listing movie clips composed of a series of frame images with continuity, so that the contents of the video can be grasped briefly through a short video, so that the video can be identified at a glance.
또한, 본 발명은 요약 동영상을 위한 동영상 클립 추출시에 가장 품질이 좋은 프레임 이미지를 기준으로 동영상 클립을 추출하여 최적의 품질로 이루어진 요약 동영상만을 요약정보로 생성할 수 있다.In addition, the present invention extracts a moving picture clip based on a frame image having the best quality at the time of extracting a moving picture clip for a summary moving picture, and generates a summary moving picture having the optimum quality as summary information.
한편, 요약부(130)는 도 6에 도시된 바와 같이 복수의 대표 이미지가 추출되는 경우 대표 이미지의 수에 따라 미리 설정된 재생구간을 적용하여 전체 재생시간을 미리 연산할 수 있으며, 전체 재생시간을 미리 설정된 재생시간과 비교하여 전체 재생시간이 미리 설정된 재생시간을 초과하는 경우 복수의 대표 이미지 중 적어도 하나를 삭제할 수 있다.Meanwhile, when a plurality of representative images are extracted as shown in FIG. 6, the
이를 위해, 도 6(a)에 도시된 바와 같이 요약부(130)는 대표 이미지간 유사도를 측정할 수 있으며, 유사도가 미리 설정된 기준치 이상인 대표 이미지 중 적어도 하나를 삭제할 수 있다.6 (a), the
일례로, 요약부(130)는 4개의 대표 이미지(1, 2, 3, 4)가 추출된 경우 각 대표 이미지(1, 2, 3, 4)에 미리 설정된 재생구간을 적용하여 동영상에서 추출되는 4개의 동영상 클립에 대한 전체 재생시간을 연산하고, 전체 재생시간이 요약부(130)에 미리 설정된 재생시간(설정 재생시간)을 초과하는 경우 각 대표 이미지의 유사도를 측정하여 유사도가 미리 설정된 기준치 이상인 제 1 대표 이미지(1)와 제 2 대표 이미지(2) 중 어느 하나를 삭제 처리할 수 있다.For example, when the four
이때, 요약부(130)는 서로 다른 대표 이미지 사이에 히스토그램이나 EXIF 정보의 비교를 통해 유사도를 측정할 수 있다.At this time, the
이에 따라, 도 6(a)에 도시된 바와 같이 요약부(130)는 유사도가 미리 설정된 기준치 이상인 제 1 대표 이미지(1)와 제 2 대표 이미지(2) 중 제 2 대표 이미지(2)를 삭제하여, 도 6(b)에 도시된 바와 같이 4개의 대표 이미지(1, 2, 3, 4)를 3개의 대표 이미지(1, 3, 4)로 축소할 수 있으며, 그 결과 전체 재생시간이 단축되어 미리 설정된 재생시간을 만족시킬 수 있다.6A, the
이를 통해, 요약부(130)는 제 1 대표 이미지(1)와 제 3 대표 이미지(3) 및 제 4 대표 이미지(4) 각각에 대하여 미리 설정된 재생구간을 적용하여 각 대표 이미지에 대응되는 동영상 클립을 추출하고, 추출된 하나 이상의 동영상 클립을 나열하여 미리 설정된 재생시간을 만족시키거나 초과하지 않는 요약 동영상을 생성할 수 있다.Accordingly, the summarizing
상술한 구성을 통해, 요약부(130)는 재생시간이 긴 동영상에 대해서도 적절한 재생시간을 가진 요약 동영상을 생성하여 사용자가 일목요연하게 동영상의 내용을 파악할 수 있도록 제공한다.Through the above-described configuration, the
한편, 요약부(130)는 도 7에 도시된 바와 같이 사용자 장치(10)의 메모리부나 서비스 제공 장치(20)의 DB에 액세스하는 사용자 장치(10)로 메모리부나 DB와 같은 저장부에 저장된 모든 이미지를 로드시키지 않고 복수의 유사 이미지를 링크하는 대표 이미지만을 로드시키고, 동영상을 링크하는 요약 동영상을 로드시켜 메모리부나 DB와 같은 저장부에 저장된 파일 목록을 제공할 수 있다.7, the summarizing
이를 통해, 요약부(130)는 미리 보기 기능과 같은 탐색에 따른 파일 목록 제공시 모든 이미지 및 동영상을 로드하는데 걸리는 시간을 크게 단축할 수 있을 뿐만 아니라 요약정보 생성 장치가 적용된 사용자 장치(10) 및 서비스 제공 장치(20)의 부하를 크게 경감시킬 수 있다.Accordingly, the
또한, 요약부(130)는 도 7에 도시된 바와 같이 요약정보에 대응되는 하나 이상의 이미지 또는 동영상에 대한 링크주소를 포함하는 링크정보를 요약정보에 포함시키며, 사용자 장치(10)로부터 선택된 요약정보에 대응되는 하나 이상의 이미지 또는 동영상을 사용자 장치(10)의 메모리부나 서비스 제공 장치(20)의 DB로부터 추출하여 제공할 수 있다.7, the
일례로, 요약부(130)는 도시된 바와 같이 대표 이미지 또는 요약 동영상을 요약정보로 제공하고, 대표 이미지 선택시 링크정보에 따라 대표 이미지에 링크된 하나 이상의 이미지를 제공할 수 있다.As an example, the
이때, 요약부(130)는 대표 이미지에 대응되는 그룹정보에 대한 링크주소를 포함하는 링크정보를 생성할 수도 있으며, 이에 따라 대표 이미지 선택시 대표 이미지에 링크된 그룹정보를 제공하여 그룹정보에 포함된 하나 이상의 이미지를 제공할 수도 있다.At this time, the
또한, 요약부(130)는 요약 동영상 선택시 요약 동영상에 링크된 동영상에 대한 원본 파일을 재생할 수 있다.In addition, when the summary video is selected, the
한편, 본 발명의 실시예에 따른 요약정보 생성 장치(100)는 리사이징부(140)를 포함하며, 리사이징부(140)는 요약부(130)로부터 이미지에 대하여 요약정보로 생성한 대표 이미지를 미리 설정된 해상도에 따라 리사이징하여 다수의 이미지를 일목요연하게 탐색 가능하도록 제공할 수 있다.The apparatus for generating
또한, 리사이징부(140)는 요약부(130)로부터 동영상에 대하여 요약정보로 생성한 요약 동영상에 포함된 각 프레임 이미지를 미리 설정된 해상도에 따라 리사이징하여 역시 사용자 장치(10)의 메모리부나 서비스 제공 장치(20)의 DB에 저장된 다수의 동영상을 일목요연하게 탐색 가능하도록 제공할 수 있다.In addition, the resizing
이외에도, 리사이징부(140)는 요약부(130)로부터 요약정보로 제공되는 요약 동영상 또는 대표 이미지를 제공받아, 요약 동영상의 각 프레임 이미지 또는 대표 이미지에 대하여 ROI(Region Of Interest) 위주로 이미지를 크롭하여 리타게팅(retargeting)된 복수의 프레임 이미지로 구성된 요약 동영상 또는 대표 이미지를 생성할 수 있으며, 리타게팅된 요약 동영상 또는 대표 이미지를 리사이징하여 요약정보로 제공할 수도 있다.In addition, the resizing
더하여, 본 발명의 실시예에 따른 요약정보 생성 장치(100)는 썸네일 제공부(150)를 더 포함하며, 리사이징부(140)를 통해 리사이징된 요약정보를 썸네일 정보로 생성하여 제공할 수 있다.In addition, the apparatus for generating
일례로, 요약정보 생성 장치(100)가 사용자 장치(10)에 구성된 경우 썸네일 제공부(150)는 사용자 장치(10)의 메모리부에 대한 탐색요청이 있는 경우 메모리부에 저장된 다수의 이미지 및 동영상에 각각 대응되어 리사이징부(140)를 통해 리사이징된 요약정보를 썸네일 정보로 생성하여 사용자 장치(10)를 통해 출력할 수 있다.For example, when the summary
또한, 요약정보 생성 장치(100)가 서비스 제공 장치(20)에 구성된 경우 썸네일 제공부(150)는 DB에 저장된 다수의 이미지 및 동영상에 각각 대응되어 리사이징부(140)를 통해 리사이징된 요약정보를 썸네일 정보로 생성하여 통신망을 통해 서비스 제공 장치(20)의 DB에 액세스하는 사용자 장치(10)로 해당 썸네일 정보를 전송할 수 있다.When the summary
상술한 구성에서, 리사이징부(140) 및 썸네일 제공부(150)를 별도로 구성하였으나, 리사이징부(140) 및 썸네일 제공부(150)는 요약부(130)에 포함되어 구성될 수도 있다.The resizing
도 8은 본 발명의 실시예에 따른 요약정보 생성 방법에 대한 순서도로서, 도시된 바와 같이 그룹정보 생성부(110)는 사용자 장치(10)의 메모리부나 서비스 제공 장치(20)의 DB에 저장된 이미지 또는 동영상을 식별할 수 있다(S1).8 is a flowchart illustrating a method of generating summary information according to an exemplary embodiment of the present invention. As shown in FIG. 8, the group
그룹정보 생성부(110)는 이미지인 경우 히스토그램 또는 EXIF 정보를 이용하여 유사도가 미리 설정된 기준치 이상인 서로 다른 이미지를 상호 그룹핑하여 그룹정보를 생성할 수 있다(S2).The group
이후, 추출부(120)는 그룹정보에서 미리 설정된 조건을 만족하는 대표 이미지를 추출하며(S3), 요약부(130)는 추출된 대표 이미지가 프레임 이미지가 아닌 경우(S5) 대표 이미지를 그룹정보에 대한 요약정보로 생성할 수 있다.If the extracted representative image is not a frame image (S5), the extracting
이때, 미리 설정된 조건은 그룹정보에 속한 각 이미지 또는 각 프레임이 미지에 대한 블러, 노이즈, 밝기, 색대비, 구도, 왜곡, 얼굴 크기, 얼굴 검출 영역, 얼굴 검출 영역에서 스마일 영역, 사람 수, 그룹정보에 포함된 이미지 개수 중 적어도 하나에 따른 이미지 품질을 측정하여, 이미지 품질이 가장 높은 이미지 또는 프레임 이미지를 그룹정보에 대응되는 대표 이미지로 추출되도록 하는 조건일 수 있다.At this time, the predetermined condition is a smile region, a number of persons, a group of persons, a group of persons, a group of persons, The image quality of at least one of the number of images included in the information may be measured to extract the image or frame image having the highest image quality as the representative image corresponding to the group information.
또한, 그룹정보 생성부(110)는 동영상인 경우(S1) 미리 설정된 타임구간별로 프레임 이미지를 추출하고(S4), 추출된 프레임 이미지 사이의 유사도에 따라 유사도가 미리 설정된 기준치 이상인 프레임 이미지를 상호 그룹핑하여 하나 이상의 그룹 정보를 생성할 수 있다(S2).The group
이후, 추출부(120)는 각 그룹정보에서 미리 설정된 조건을 만족하는 대표 이미지를 추출하여 요약부(130)로 제공할 수 있다(S3).Then, the extracting
이에 따라, 요약부(130)는 대표 이미지가 프레임 이미지인 경우(S5) 동영상에서 각 대표 이미지의 재생시점을 기준으로 미리 설정된 구간의 동영상 클립을 추출하며(S6), 각 동영상 클립을 재생순서에 따라 연결한 요약 동영상을 생성하고(S7), 이를 요약 정보로 생성할 수 있다(S8).Accordingly, if the representative image is a frame image (S5), the
한편, 요약부(130)는 상술한 구성에 따라 추출부(120)로부터 제공되는 대표 이미지 또는 요약 동영상을 리사이징하여 썸네일로 제공할 수 있다(S9).Meanwhile, the summarizing
상술한 본 발명의 실시예에 따른 요약정보 생성 방법은 컴퓨터 프로그램으로 작성 가능하며, 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 당해 분야의 컴퓨터 프로그래머에 의하여 용이하게 추론될 수 있다. 또한, 해당 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 정보저장매체(computer readable media)에 저장되고, 컴퓨터나 본 발명의 실시예에 따른 요약정보 생성 장치가 적용된 사용자 장치 또는 서비스 제공 장치 등에 의하여 읽혀지고 실행됨으로써 요약정보 생성 방법을 구현할 수 있다.The summary information generation method according to the embodiment of the present invention described above can be written as a computer program, and the codes and code segments constituting the computer program can be easily deduced by a computer programmer in the field. The computer program may be stored in a computer-readable medium and read and executed by a computer, a user apparatus or a service providing apparatus to which the summary information generating apparatus according to an embodiment of the present invention is applied A summary information generation method can be implemented.
정보저장매체는 자기 기록매체, 광 기록매체 및 캐리어 웨이브 매체를 포함한다. 본 발명의 실시예에 따른 요약정보 생성 방법을 구현하는 컴퓨터 프로그램은 요약정보 생성 장치가 적용된 사용자 장치 또는 서비스 제공 장치의 내장 메모리에 저장 및 설치될 수 있다. 또는, 본 발명의 실시예에 따른 요약정보 생성 방법을 구현하는 컴퓨터 프로그램을 저장 및 설치한 스마트 카드 등의 외장 메모리가 인터페이스를 통해 요약정보 생성 장치가 적용된 사용자 장치 또는 서비스 제공 장치에 장착될 수도 있다.The information storage medium includes a magnetic recording medium, an optical recording medium, and a carrier wave medium. A computer program implementing the summary information generating method according to an embodiment of the present invention may be stored and installed in a user device to which the summary information generating apparatus is applied or a built-in memory of the service providing apparatus. Alternatively, an external memory such as a smart card storing and installing a computer program implementing the summary information generating method according to an embodiment of the present invention may be installed in a user apparatus or a service providing apparatus to which the summary information generating apparatus is applied through an interface .
이상에서는 본 발명에 따른 바람직한 실시예들에 대하여 도시하고 또한 설명하였다. 그러나 본 발명은 상술한 실시예에 한정되지 아니하며, 특허 청구의 범위에서 첨부하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형 실시가 가능할 것이다.The foregoing and other objects, features and advantages of the present invention will become more apparent from the following detailed description of the present invention when taken in conjunction with the accompanying drawings. However, the present invention is not limited to the above-described embodiments, and various changes and modifications may be made by those skilled in the art without departing from the scope of the present invention. .
본 발명은 요약정보로 제공되는 대표 이미지 또는 요약 동영상을 통해 사용자 장치의 메모리부 또는 서비스 제공 장치의 DB에 대한 탐색시 모든 이미지 및 동영상을 로드하는데 걸리는 시간을 크게 단축할 수 있을 뿐만 아니라 사용자 장치 및 서비스 제공 장치의 부하를 크게 경감시키며, 동일 대상에 대하여 촬영된 이미지를 동일 그룹으로 그룹핑하고 해당 그룹에서 최적의 품질을 가진 대표 이미지만을 요약정보로 제공하거나 일련의 동영상 클립으로 구성된 요약 동영상을 제공하여 일목요연하게 이미지 및 동영상에 대한 내용을 확인할 수 있도록 제공하여 탐색 효율성을 크게 향상시키는 것으로서, 소셜 네트워킹 서비스 시스템, 클라우드 서비스 시스템, 파일 공유 서비스 시스템 등에 광범위하게 적용될 수 있다.The present invention can greatly shorten the time taken to load all the images and moving pictures during searching for the DB of the user device or the DB of the service providing device through the representative image or the summary video provided as the summary information, It is possible to greatly reduce the load of the service providing apparatus, to group the images taken by the same object into the same group, to provide only the representative image having the optimum quality in the group as summary information, or to provide a summary video composed of a series of movie clips It can be applied to a social networking service system, a cloud service system, a file sharing service system, and the like.
10: 사용자 장치
20: 서비스 제공 장치
100: 요약정보 생성 장치
110: 그룹정보 생성부
120: 추출부
130: 요약부
140: 리사이징부
150: 썸네일 제공부10: user equipment 20: service providing equipment
100: summary information generation apparatus 110: group information generation section
120: Extractor 130:
140: Resizing unit 150: Thumbnail providing unit
Claims (10)
상기 저장부에 저장된 이미지를 유사도에 따라 그룹핑하거나, 상기 저장부에 저장된 동영상에서 미리 설정된 타임구간별로 하나 이상의 프레임 이미지를 추출하고 유사도에 따라 상기 프레임 이미지를 그룹핑하여 하나 이상의 그룹정보를 생성하는 그룹정보 생성부;
상기 각 그룹정보에서 미리 설정된 조건을 만족하는 하나 이상의 대표 이미지를 추출하는 추출부; 및
상기 대표 이미지를 상기 그룹정보의 요약정보로 생성하거나, 상기 대표 이미지가 프레임 이미지인 경우 상기 동영상에 대응되는 각 대표 이미지의 재생시점을 기준으로 미리 설정된 재생구간 내에 있는 동영상 클립을 상기 동영상에서 추출하여 상기 동영상에 대응되어 추출된 하나 이상의 동영상 클립을 재생 순서에 따라 연결한 요약 동영상을 요약 정보로 생성하는 요약부를 포함하는 요약정보 생성 장치.A storage unit in which at least one of an image and a moving image is stored;
Group information for grouping the images stored in the storage unit according to the degree of similarity, extracting one or more frame images in a preset time interval from the moving image stored in the storage unit, and grouping the frame images according to the degree of similarity to generate one or more group information Generating unit;
An extracting unit for extracting at least one representative image satisfying a preset condition in each group information; And
If the representative image is a frame image, a moving image clip within a preset reproduction interval is extracted from the moving image based on a reproduction time point of each representative image corresponding to the moving image, And a summarizing unit for generating a summarized moving picture obtained by concatenating the extracted one or more moving pictures corresponding to the moving picture according to the playing order, as summary information.
상기 그룹정보 생성부는 상기 각 이미지 또는 프레임 이미지의 히스토그램 또는 EXIF 정보의 비교를 통해 유사도를 판단하여 유사도가 미리 설정된 기준치 이상인 서로 다른 이미지 또는 서로 다른 프레임 이미지를 그룹핑하는 것을 특징으로 하는 요약정보 생성 장치.The method according to claim 1,
Wherein the group information generation unit determines the similarity by comparing the histogram or EXIF information of each image or frame image, and groups different images or different frame images having a similarity value equal to or higher than a preset reference value.
상기 요약정보를 미리 설정된 해상도에 따라 리사이징하는 리사이징부를 더 포함하는 것을 특징으로 하는 요약정보 생성 장치.The method according to claim 1,
And a resizing unit for resizing the summary information according to a preset resolution.
상기 리사이징부를 통해 리사이징된 요약정보를 썸네일로 생성하여 제공하는 썸네일 제공부를 더 포함하는 것을 특징으로 하는 요약정보 생성 장치.The method of claim 3,
Further comprising a thumbnail providing unit configured to generate and provide resized summary information as a thumbnail through the resizing unit.
상기 미리 설정된 조건은 상기 그룹정보에 속한 각 이미지 또는 각 프레임이 미지에 대한 블러, 노이즈, 밝기, 색대비, 구도, 왜곡, 얼굴 크기, 얼굴 검출 영역, 얼굴 검출 영역에서 스마일 영역, 사람 수, 그룹정보에 포함된 이미지 개수 중 적어도 하나에 따른 이미지 품질을 측정하여, 이미지 품질이 가장 높은 이미지 또는 프레임 이미지를 상기 그룹정보에 대응되는 대표 이미지로 추출되도록 하는 조건인 것을 특징으로 하는 요약정보 생성 장치.The method according to claim 1,
The predetermined condition may be a blur, noise, brightness, color contrast, composition, distortion, face size, face detection area, smile area, number of persons, group Wherein the condition is that the image quality according to at least one of the number of images included in the information is measured and the image or frame image having the highest image quality is extracted as the representative image corresponding to the group information.
상기 요약부는 상기 요약정보에 대응되는 하나 이상의 이미지 또는 동영상에 대한 링크정보를 상기 요약정보에 포함시키며, 사용자 장치로부터 선택된 요약정보에 대응되는 하나 이상의 이미지 또는 동영상을 상기 저장부로부터 추출하여 제공하는 것을 특징으로 하는 요약정보 생성 장치.The method according to claim 1,
The summary unit may include link information for one or more images or moving images corresponding to the summary information in the summary information and extract one or more images or moving images corresponding to the selected summary information from the user device Wherein the summary information generating apparatus comprises:
상기 요약부는 상기 동영상에 대응되어 추출된 대표 이미지의 수에 따라 미리 설정된 재생구간을 적용하여 상기 요약 동영상의 전체 재생시간을 미리 연산하고, 상기 전체 재생시간을 미리 설정된 재생시간과 비교하여 상기 전체 재생시간이 미리 설정된 재생시간을 초과하는 경우 상기 전체 재생시간이 상기 미리 설정된 재생시간을 초과하지 않도록 상기 동영상에 대응되어 추출된 대표 이미지 중 적어도 하나를 삭제하는 것을 특징으로 하는 요약정보 생성 장치.The method according to claim 1,
Wherein the summary unit calculates a total playback time of the summary moving picture in advance by applying a preset playback interval according to the number of representative images extracted corresponding to the moving image, compares the total playback time with a predetermined playback time, And deletes at least one representative image extracted corresponding to the moving picture so that the total reproduction time does not exceed the predetermined reproduction time when the time exceeds the predetermined reproduction time.
상기 요약부는 상기 동영상에 대응되어 추출된 대표 이미지 사이의 상기 유사도를 측정하여 유사도가 미리 설정된 기준치 이상인 대표 이미지 중 적어도 하나를 삭제하는 것을 특징으로 하는 요약정보 생성 장치.8. The method of claim 7,
Wherein the summary unit measures the similarity between the extracted representative images corresponding to the moving image and deletes at least one representative image having a similarity value equal to or greater than a preset reference value.
추출부가 상기 각 그룹정보에서 미리 설정된 조건을 만족하는 하나 이상의 대표 이미지를 추출하는 단계; 및
요약부가 상기 대표 이미지를 상기 그룹정보의 요약정보로 생성하거나, 상기 대표 이미지가 프레임 이미지인 경우 상기 동영상에 대응되는 각 대표 이미지의 재생시점을 기준으로 미리 설정된 재생구간 내에 있는 동영상 클립을 상기 동영상에서 추출하여 상기 동영상에 대응되어 추출된 하나 이상의 동영상 클립을 재생 순서에 따라 연결한 요약 동영상을 요약 정보로 생성하는 단계를 포함하는 요약정보 생성 방법.The group information generation unit groups one or more images stored in the storage unit according to the degree of similarity or extracts one or more frame images from a moving image stored in the storage unit according to a preset time interval and groups the frame images according to the similarity, ≪ / RTI >
Extracting at least one representative image satisfying a predetermined condition from the group information; And
Wherein when the representative image is a frame image, a moving picture clip within a preset reproduction interval based on a reproduction time point of each representative image corresponding to the moving image is generated in the moving image, Extracting a plurality of movie clips corresponding to the moving image and connecting the extracted one or more moving clips in accordance with the playing order, as summary information.
상기 요약정보 생성 방법을 수행하는 컴퓨터 프로그램이 기록된 기록매체.10. The method of claim 9,
And a computer program for performing the method of generating summary information.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020140010419A KR20150089598A (en) | 2014-01-28 | 2014-01-28 | Apparatus and method for creating summary information, and computer readable medium having computer program recorded therefor |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020140010419A KR20150089598A (en) | 2014-01-28 | 2014-01-28 | Apparatus and method for creating summary information, and computer readable medium having computer program recorded therefor |
Publications (1)
Publication Number | Publication Date |
---|---|
KR20150089598A true KR20150089598A (en) | 2015-08-05 |
Family
ID=53886013
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020140010419A KR20150089598A (en) | 2014-01-28 | 2014-01-28 | Apparatus and method for creating summary information, and computer readable medium having computer program recorded therefor |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR20150089598A (en) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109327713A (en) * | 2018-10-31 | 2019-02-12 | 微梦创科网络科技(中国)有限公司 | A kind of generation method and device of media information |
CN111918130A (en) * | 2020-08-11 | 2020-11-10 | 北京达佳互联信息技术有限公司 | Video cover determining method and device, electronic equipment and storage medium |
WO2022124466A1 (en) * | 2020-12-09 | 2022-06-16 | 주식회사 디알엠인사이드 | System and method for still image-based media content monitoring |
WO2022139262A1 (en) * | 2020-12-22 | 2022-06-30 | 삼성전자 주식회사 | Electronic device for editing video by using object of interest, and operating method therefor |
-
2014
- 2014-01-28 KR KR1020140010419A patent/KR20150089598A/en not_active Application Discontinuation
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109327713A (en) * | 2018-10-31 | 2019-02-12 | 微梦创科网络科技(中国)有限公司 | A kind of generation method and device of media information |
CN111918130A (en) * | 2020-08-11 | 2020-11-10 | 北京达佳互联信息技术有限公司 | Video cover determining method and device, electronic equipment and storage medium |
WO2022124466A1 (en) * | 2020-12-09 | 2022-06-16 | 주식회사 디알엠인사이드 | System and method for still image-based media content monitoring |
WO2022139262A1 (en) * | 2020-12-22 | 2022-06-30 | 삼성전자 주식회사 | Electronic device for editing video by using object of interest, and operating method therefor |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9055335B2 (en) | Systems and methods for addressing a media database using distance associative hashing | |
US9966112B1 (en) | Systems and methods to associate multimedia tags with user comments and generate user modifiable snippets around a tag time for efficient storage and sharing of tagged items | |
US8107689B2 (en) | Apparatus, method and computer program for processing information | |
US20150213122A1 (en) | Systems and methods for addressing a media database using distance associative hashing | |
US11438510B2 (en) | System and method for editing video contents automatically technical field | |
US10033931B2 (en) | Image processing apparatus and image processing method for processing still image data | |
KR101832680B1 (en) | Searching for events by attendants | |
US20200349355A1 (en) | Method for determining representative image of video, and electronic apparatus for processing the method | |
US9081801B2 (en) | Metadata supersets for matching images | |
KR20150089598A (en) | Apparatus and method for creating summary information, and computer readable medium having computer program recorded therefor | |
KR20080011036A (en) | Image recording and playing system and image recording and playing method | |
KR101812103B1 (en) | Method and program for setting thumbnail image | |
JP2014154891A (en) | Information processor, control method for the same, program, and storage medium | |
CN113014957B (en) | Video shot segmentation method and device, medium and computer equipment | |
US10924637B2 (en) | Playback method, playback device and computer-readable storage medium | |
JP2007036737A (en) | Image display device | |
CN104580804B (en) | The method and system that a kind of picture compression uploads | |
KR101242659B1 (en) | Method for searching images | |
JP2008166895A (en) | Video display device, its control method, program and recording medium | |
CN105335111A (en) | Display processing method and apparatus for images | |
US11283945B2 (en) | Image processing apparatus, image processing method, program, and recording medium | |
JP2017102916A (en) | Apparatus and method for high-speed searching of massive video evidence in digital forensic | |
CN109151568B (en) | Video processing method and related product | |
CN110647500A (en) | File storage method, device, terminal and computer readable storage medium | |
WO2015185479A1 (en) | Method of and system for determining and selecting media representing event diversity |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
N231 | Notification of change of applicant | ||
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E601 | Decision to refuse application |