KR101442355B1 - Device and method to create media summary data - Google Patents

Device and method to create media summary data Download PDF

Info

Publication number
KR101442355B1
KR101442355B1 KR1020120157993A KR20120157993A KR101442355B1 KR 101442355 B1 KR101442355 B1 KR 101442355B1 KR 1020120157993 A KR1020120157993 A KR 1020120157993A KR 20120157993 A KR20120157993 A KR 20120157993A KR 101442355 B1 KR101442355 B1 KR 101442355B1
Authority
KR
South Korea
Prior art keywords
media
summary data
user
image
change
Prior art date
Application number
KR1020120157993A
Other languages
Korean (ko)
Other versions
KR20140088947A (en
Inventor
최준균
장민석
최광진
김근은
조일권
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Priority to KR1020120157993A priority Critical patent/KR101442355B1/en
Publication of KR20140088947A publication Critical patent/KR20140088947A/en
Application granted granted Critical
Publication of KR101442355B1 publication Critical patent/KR101442355B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8549—Creating video summaries, e.g. movie trailer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/147—Scene change detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Television Signal Processing For Recording (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

미디어 요약데이터를 생성하는 방법 및 장치가 제시된다. 미디어 요약데이터 생성 방법은 미디어를 입력받는 단계, 미디어의 변화 시점을 감지하는 단계 및 변화 시점의 이미지에 기초하여 미디어 요약데이터를 생성하는 단계를 포함한다.A method and apparatus for generating media summary data is presented. The media summary data generation method includes receiving media, detecting a change time point of the media, and generating media summary data based on the change time point image.

Description

미디어 요약데이터를 생성하는 방법 및 장치{DEVICE AND METHOD TO CREATE MEDIA SUMMARY DATA}METHOD AND APPARATUS FOR GENERATING MEDIA SUMMARY DATA [0001]

미디어에 대한 메타데이터에 기초하여 미디어 요약데이터를 생성하거나 미리 생성된 미디어 요약데이터를 재가공하는 방법 및 장치가 개시된다.Disclosed are a method and apparatus for generating media summary data based on metadata for media or reworking pre-generated media summary data.

사용자들은 유용한 컨텐츠를 포함하는 미디어, 이를테면 TV 방송 프로그램을 TV를 통해 제공받을 수 있다. 그러나 TV 방송 프로그램의 정보는 일정 길이를 가지는 연속된 동영상의 형태로 제공되는 것이 일반적이므로, 발췌, 속독 및 기타 텍스트 또는 이미지 등의 형태로 제공되는 정보를 신속하게 취득할 수 있는 방법을 사용하기 어렵다. 따라서 사용자는 TV 방송 프로그램의 시작부터 종료까지 시청해야 하므로 정보를 취득하는데 많은 시간이 소요될 수 있다.Users can receive media including useful contents, such as a TV broadcast program, through a TV. However, since information of a TV broadcast program is generally provided in the form of continuous moving pictures having a certain length, it is difficult to use a method capable of quickly obtaining information provided in the form of extracting, reading, and other text or images . Therefore, since the user must watch TV broadcast programs from the start to the end, it may take a long time to acquire the information.

최근, TV 방송 프로그램 중에서 특히 유용한 정보를 제공하는 TV 다큐멘터리 프로그램은 인터넷 커뮤니티, 블로그에서 주로 캡쳐 또는 요약을 통해 재가공되어 배포되고 있다. 다만, 사용자가 직접 방송 프로그램을 재가공하여 정보를 인터넷 커뮤니티, 블로그에 업로드하므로 사용자는 불필요한 시간과 자원을 소모하게 된다.In recent years, TV documentary programs, which provide particularly useful information among TV broadcast programs, have been reprocessed through capturing or summarizing mainly in Internet communities and blogs. However, since the user re-processes the broadcast program and uploads the information to the Internet community or the blog, the user consumes unnecessary time and resources.

또한 사용자가 시청한 TV 방송 프로그램에서 일부분을 선택하여 제목을 붙인 동영상을 제공하는 웹사이트가 있다. 다만, 이 경우 미디어 변환이 없어 사용자는 여전히 일부분의 동영상을 시청해야 하므로 TV 방송 프로그램에서 핵심이 되는 정보를 이미지와 같은 형태로 제공받을 수 없다. 또한, 제목과 짤막한 본문 이외에 사용자의 메타데이터가 추가되지도 않아 확장성이 결여된다.In addition, there is a web site that provides a title video by selecting a part of a TV broadcast program viewed by a user. However, in this case, since there is no media conversion, the user still has to watch a part of the moving picture, so that the key information in the TV broadcasting program can not be provided in the form of an image. In addition, there is no extensibility because the metadata of the user is not added in addition to the title and the short text.

따라서 TV 방송 프로그램을 포함하는 미디어를 요약하거나 재가공하는 기술이 요구된다.Therefore, a technique for summarizing or reprocessing the media including the TV broadcast program is required.

일 실시예에 따르면 미디어의 변화 시점을 감지하여 미디어 요약데이터를 생성할 수 있다.According to an exemplary embodiment, media summary data can be generated by detecting a change time point of the media.

일 실시예에 따르면 변화 시점을 타임라인 위에 표시하여 미디어 요약데이터를 생성할 수 있다.According to one embodiment, the change time point may be displayed on the timeline to generate media summary data.

일 실시예에 따르면 변화 시점에 대응하는 이미지 후보를 통해 미디어 요약데이터를 생성할 수 있다.According to one embodiment, media summary data may be generated via an image candidate corresponding to a change time point.

일 실시예에 따르면 사용자에 의해 수동으로 사용자 메타데이터가 생성될 수 있다.According to one embodiment, user metadata may be manually generated by a user.

일 실시예에 따르면 사용자에 의해 수동으로 미디어 요약데이터가 편집될 수 있다.According to one embodiment, media summary data may be edited manually by a user.

일 실시예에 따르면 미디어를 입력받는 단계, 상기 미디어의 변화 시점을 감지하는 단계 및 상기 변화 시점의 이미지에 기초하여 미디어 요약데이터를 생성하는 단계를 포함하는 미디어 요약데이터 생성 방법이 제공될 수 있다.According to an embodiment of the present invention, a media summary data generation method may be provided that includes receiving media, detecting a change time point of the media, and generating media summary data based on the image at the change time point.

다른 일 실시예에 따르면 상기 미디어의 변화 시점을 감지하는 단계는, 상기 미디어의 자막변화 시점을 감지하는 단계 또는 상기 미디어의 화면전환 시점을 감지하는 단계를 포함하는 미디어 요약데이터 생성 방법이 제공될 수 있다.According to another embodiment of the present invention, the step of detecting a change time point of the media may include a step of detecting a time point when a caption change of the media is detected or a time point when a screen change time of the media is detected have.

또 다른 일 실시예에 따르면 상기 변화 시점의 이미지에 기초하여 미디어 요약데이터를 생성하는 단계는, 상기 변화 시점을 중심으로 미리 정한 구간에서 이미지 후보를 선출하는 단계, 상기 이미지 후보를 표시하는 단계 및 상기 이미지 후보로부터 상기 이미지가 선택되는 단계를 포함하는 미디어 요약데이터 생성 방법이 제공될 수 있다.According to another embodiment of the present invention, the step of generating media summary data based on the image at the time of change comprises the steps of: selecting an image candidate in a predetermined section centered on the change point, displaying the image candidate, And the image is selected from the image candidates.

또 다른 일 실시예에 따르면 상기 이미지를 상기 변화 시점에 대응하도록 타임라인에 표시하는 단계를 더 포함하는 미디어 요약데이터 생성 방법이 제공될 수 있다.According to yet another embodiment, there is provided a method of generating media summary data, further comprising the step of displaying the image on the timeline so as to correspond to the change point in time.

또 다른 일 실시예에 따르면 사용자 메타데이터를 생성하는 단계를 더 포함하는 미디어 요약데이터 생성 방법이 제공될 수 있다.According to yet another embodiment, there is provided a method of generating media summary data, further comprising generating user metadata.

또 다른 일 실시예에 따르면 상기 사용자 메타데이터를 생성하는 단계는, 상기 미디어에서 사용자 시점을 선택받는 단계 및 상기 사용자 시점에 대응하는 메타데이터를 입력받는 단계를 포함하는 미디어 요약데이터 생성 방법이 제공될 수 있다.According to still another embodiment of the present invention, the step of generating the user metadata includes a step of receiving a user point of view from the media and a step of receiving metadata corresponding to the point-in-time of the user .

또 다른 일 실시예에 따르면 상기 미디어 요약데이터를 요약 메타데이터 파일 또는 완성된 이미지 형태로 제공하는 단계를 더 포함하는 미디어 요약데이터 생성 방법이 제공될 수 있다.According to still another embodiment, there is provided a method for generating media summary data, which further comprises providing the media summary data in the form of a summary metadata file or a completed image.

일 실시예에 따르면 미디어를 입력받는 미디어 취득부 및 상기 미디어의 변화 시점을 감지하고 상기 변화 시점의 이미지에 기초하여 미디어 요약데이터를 생성하는 제어부를 포함하는 미디어 요약데이터 생성 장치가 제공될 수 있다.According to an embodiment of the present invention, a media summary data generation apparatus may be provided that includes a media acquisition unit for receiving media and a control unit for sensing the change time point of the media and generating media summary data based on the image at the change time point.

다른 일 실시예에 따르면 상기 제어부는, 미리 생성된 메타데이터, 미리 생성된 미디어 요약데이터 또는 사용자 메타데이터 중 적어도 하나에 기초하여 상기 미디어 요약데이터를 생성하는, 미디어 요약데이터 생성 장치가 제공될 수 있다.According to another embodiment, the control unit may be provided with a media summary data generation apparatus that generates the media summary data based on at least one of pre-generated metadata, pre-generated media summary data, or user metadata .

또 다른 일 실시예에 따르면 상기 미리 생성된 메타데이터, 상기 미리 생성된 미디어 요약데이터 또는 상기 사용자 메타데이터 중 적어도 하나를 불러오는 메타데이터 취득부를 더 포함하는 미디어 요약데이터 생성 장치가 제공될 수 있다.According to still another embodiment of the present invention, a media summary data generation apparatus may further include a metadata acquisition unit for fetching at least one of the pre-generated metadata, the pre-generated media summary data, or the user metadata.

또 다른 일 실시예에 따르면 상기 제어부는, 상기 미디어의 자막변화 시점 또는 상기 미디어의 화면전환 시점을 감지하는, 미디어 요약데이터 생성 장치가 제공될 수 있다.According to yet another embodiment, the control unit may be provided with a media summary data generation device for detecting a time point of a caption change of the media or a screen change time of the media.

또 다른 일 실시예에 따르면 상기 제어부는 상기 변화 시점을 중심으로 미리 정한 구간에서 이미지 후보를 선출하고 상기 이미지 후보로부터 상기 이미지를 선택받으며, 상기 이미지 후보 및 상기 이미지를 표시하는 표시부를 더 포함하는 미디어 요약데이터 생성 장치가 제공될 수 있다.According to another embodiment of the present invention, the control unit further includes a display unit for selecting an image candidate in a predetermined section based on the change point, selecting the image from the image candidate, and displaying the image candidate and the image A summary data generation apparatus may be provided.

또 다른 일 실시예에 따르면 상기 표시부는, 타임라인에서 상기 변화 시점에 대해 상기 이미지를 표시하는, 미디어 요약데이터 생성 장치가 제공될 수 있다.According to yet another embodiment, the display unit may be provided with a media summary data generation device that displays the image with respect to the change point in time line.

또 다른 일 실시예에 따르면 상기 미디어에서 선택된 사용자 시점에 대응하는 메타데이터를 입력받아 사용자 메타데이터를 생성하는 편집부를 더 포함하는 미디어 요약데이터 생성 장치가 제공될 수 있다.According to another embodiment of the present invention, there is provided a media summary data generation apparatus, further comprising an editor for receiving metadata corresponding to a selected user time point on the media and generating user metadata.

일 실시예에 따르면 사업자가 제공하는 메타데이터에 기반하여 미디어를 자동 또는 반자동으로 요약할 수 있다.According to one embodiment, media can be automatically or semi-automatically summarized on the basis of metadata provided by a service provider.

일 실시예에 따르면 미디어에서 자동 생성되지 않은 부분이 사용자에 의해 수동으로 요약될 수 있다.According to one embodiment, portions of the media that are not automatically generated may be manually summarized by the user.

일 실시예에 따르면 자동으로 생성된 요약데이터가 사용자에 의해 수정될 수 있다.According to one embodiment, the automatically generated summary data can be modified by the user.

도 1은 일 실시예에 따른 미디어 요약데이터 생성 장치의 개괄적인 구성을 도시한 도면이다.
도 2는 일 실시예에 따른 미디어 요약데이터 생성 장치의 세부적인 구성을 도시한 도면이다.
도 3은 일 실시예에 따른 미디어 요약데이터 생성 방법을 도시한 흐름도이다.
도 4는 일 실시예에 따른 미디어 요약데이터를 생성하기 위한 타임라인을 도시한 도면이다.
도 5는 일 실시예에 따른 미디어 요약데이터 편집 방법을 도시한 흐름도이다.1 is a diagram showing a general configuration of an apparatus for generating media summary data according to an embodiment.
FIG. 2 is a diagram illustrating a detailed configuration of an apparatus for generating media summary data according to an embodiment.
3 is a flowchart illustrating a method of generating media summary data according to an exemplary embodiment of the present invention.
4 is a diagram illustrating a timeline for generating media summary data according to one embodiment.
5 is a flowchart illustrating a media summary data editing method according to an embodiment.

이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다.Hereinafter, embodiments will be described in detail with reference to the accompanying drawings.

도 1은 일 실시예에 따른 미디어 요약데이터 생성 장치(120)의 개괄적인 구성을 도시한 도면이다. FIG. 1 is a diagram showing a general configuration of an apparatus 120 for generating media summary data according to an embodiment.

미디어(110)는 동영상(video)에 기반한 미디어일 수 있다. 이를테면 미디어(110)는 avi, mpeg, mp4 및 기타 동영상 파일 확장자를 가지는 동영상 파일, TV 방송 프로그램, 인터넷 스트리밍 및 기타 영상을 포함할 수 있다. 일 실시예에 따르면 TV 방송 프로그램은 TV 다큐멘터리 프로그램을 포함할 수 있다.The media 110 may be media based on video. For example, the media 110 may include video files, TV broadcast programs, Internet streaming, and other images with avi, mpeg, mp4 and other video file extensions. According to one embodiment, the TV broadcast program may include a TV documentary program.

미디어 요약데이터 생성 장치(120)는 미디어(110)를 입력받아 미디어 요약데이터(130)를 생성할 수 있다. 여기서 미디어 요약데이터 생성 장치(120)는 스마트폰, 태블릿PC, 데스크톱, 노트북PC 및 기타 입력받은 미디어에 대한 메타데이터에 기초하여 요약데이터를 생성할 수 있는 모든 장치를 포함할 수 있다. 일 실시예에 따르면 미디어 요약데이터 생성 장치(120)는 사업자가 제공하는 메타데이터에 기반하여 미디어를 자동 또는 반자동으로 요약할 수 있다.The media summary data generation device 120 may receive the media 110 to generate media summary data 130. The media summary data generation device 120 may include any device capable of generating summary data based on metadata about a smartphone, a tablet PC, a desktop, a notebook PC, and other input media. According to one embodiment, the media summary data generation device 120 may automatically or semi-automatically summarize the media based on metadata provided by the service provider.

미디어 요약데이터(130)는 입력된 미디어의 컨텐츠를 요약한 데이터일 수 있다. 구체적으로는 미디어의 동영상에서 변화 시점에 대응하는 이미지의 썸네일(131, 132, 133)의 집합을 포함할 수 있다. 이 때 미디어 요약데이터(130)는 미디어 요약 출판을 통해 출력파일로 제공될 수 있다. 일 실시예에 따르면 출력파일은 요약 메타데이터 파일 또는 완성된 이미지 형태로 제공될 수 있다. 예를 들어, 요약 메타데이터 파일은 자막파일과 유사하여 변화 시점과 요약으로 구성될 수 있다.The media summary data 130 may be data summarizing the contents of the input media. Specifically, it may include a set of thumbnails 131, 132, and 133 of images corresponding to a change point in a moving image of the media. At this time, the media summary data 130 may be provided as an output file through media summary publication. According to one embodiment, the output file may be provided in the form of a summary metadata file or a completed image. For example, a summary metadata file is similar to a subtitle file and can consist of a change time and a summary.

도 2는 일 실시예에 따른 미디어 요약데이터 생성 장치(200)의 세부적인 구성을 도시한 도면이다. 여기서 미디어 요약데이터 생성 장치(200)는 미디어 취득부(210), 메타데이터 취득부(220), 제어부(230), 편집부(240) 및 표시부(250)를 포함할 수 있다.FIG. 2 is a diagram illustrating a detailed configuration of an apparatus 200 for generating media summary data according to an embodiment. The media summary data generation apparatus 200 may include a media acquisition unit 210, a metadata acquisition unit 220, a control unit 230, an editing unit 240, and a display unit 250.

미디어 취득부(210)는 동영상에 기반한 미디어를 취득할 수 있다. 여기서 미디어 취득부(210)는 방송 수신용 안테나, 인터넷 회선, DVD-ROM을 포함하는 저장장치 및 기타 미디어 매체를 통해 미디어를 취득할 수 있다.The media acquisition unit 210 can acquire media based on the moving image. Here, the media acquisition unit 210 may acquire media through a broadcast reception antenna, an Internet line, a storage device including a DVD-ROM, and other media.

메타데이터 취득부(220)는 미리 생성된 메타데이터를 취득할 수 있다. 여기서 미리 생성된 메타데이터는 사업자에 의해 제공될 수 있다. 또한, 사용자가 수동으로 입력한 메타데이터 또는 수정한 메타데이터를 취득할 수 있다. 일 실시예에 따르면 취득한 메타데이터에 기초하여 자동으로 미디어를 요약하거나, 사용자에 의해 미디어 요약데이터가 편집될 수 있다.The meta data acquisition unit 220 can acquire the previously generated meta data. Here, the metadata generated in advance may be provided by the business operator. In addition, the user can manually obtain the metadata or the modified metadata. According to one embodiment, the media can be automatically summarized based on the acquired metadata, or the media summary data can be edited by the user.

제어부(230)는 입력된 미디어를 요약한 미디어 요약데이터를 생성할 수 있다. 일 실시예에 따르면 제어부는 미디어의 변화 시점을 감지하여 변화 시점에 대응하는 이미지의 집합으로 미디어 요약데이터를 생성할 수 있다. 구체적으로는 변화 시점에 대한 목록을 반환하고, 반환된 각 목록의 시점을 타임라인 위에 배치할 수 있다. 예를 들어 제어부는 메모리 및 메모리에 저장된 프로그램의 명령어에 따라 처리하는 장치로써, CPU 등의 마이크로프로세서를 포함할 수 있다. 여기서 메모리는 하기 도 3 및 도 5에 기재된 방법을 수행하도록 하는 명령어들을 포함하는 하나 이상의 프로그램을 저장하는 컴퓨터 판독 가능 저장매체일 수 있다.The control unit 230 may generate media summary data summarizing the input media. According to an embodiment, the control unit may detect the change time point of the media and generate media summary data as a set of images corresponding to the change time point. Specifically, you can return a list of the points of change, and you can position the points of each returned list on the timeline. For example, the control unit may include a microprocessor such as a CPU as an apparatus for processing according to instructions of a program stored in a memory and a memory. Where the memory may be a computer readable storage medium storing one or more programs including instructions for causing the computer to perform the methods described in Figures 3 and 5 below.

이를테면 미디어의 변화 시점은, 미디어에 포함된 자막이 변화하는 자막변화 시점, 화면이 전환되는 화면전환 시점 또는 미리 생성된 메타데이터에 설정된 시점을 포함할 수 있다. 여기서 화면전환 시점은 페이드인, 페이드아웃, 반전 또는 미디어의 화면이 크게 변하는 모든 시점을 포함할 수 있다.For example, the change time point of the media may include a time point at which a caption change of the media included in the media changes, a screen change time point at which the screen changes, or a time point set in the previously generated metadata. Here, the screen switching point may include fade-in, fade-out, inversion, or any point in time when the screen of the media largely changes.

여기서 변화 시점으로부터 미리 정한 구간 내에 존재하는 이미지 후보를 선출하여 표시하고, 이미지 후보 중 사용자로부터 선택된 것을 변화 시점에 대응하는 이미지로서 미디어 요약데이터 생성에 사용할 수 있다.Here, image candidates existing within a predetermined period from the change point are selected and displayed, and the image candidates selected from the user candidates can be used for generating media summary data as an image corresponding to the change point.

편집부(240)는 사용자 메타데이터를 생성할 수 있다. 여기서 사용자 메타데이터는 일 실시예에 따른 미디어 요약데이터 생성 장치(200)가 놓친 부분을 사용자가 수동으로 요약한 데이터를 포함할 수 있다. 또는 사용자에 의해 수정된 미디어 요약데이터를 포함할 수 있다.The editing unit 240 may generate the user metadata. Here, the user metadata may include data manually summarized by the user in a portion of the media summary data generation apparatus 200 according to an exemplary embodiment. Or media summary data modified by the user.

구체적으로 사용자는 미디어에서 사용자 시점을 선택하고 선택된 사용자 시점에 대해 사용자 메타데이터를 입력할 수 있다. 이 때, 사용자 메타데이터는 선택된 사용자 시점에서 캡쳐된 이미지를 포함할 수 있다.Specifically, the user can select the user's point of view on the media and enter the user's metadata for the selected point of view. At this time, the user metadata may include an image captured at the selected user time point.

표시부(250)는 타임라인 상에 이미지 후보들을 표시할 수 있고, 이미지 후보로부터 사용자에 의해 선택된 이미지를 타임라인 상에 표시할 수 있다. 구체적으로는 미디어에 자막이 존재하는 경우 시간, 이미지 및 자막을 표시할 수 있고, 자막이 존재하지 않는 경우 시간 및 이미지를 표시할 수 있다.The display unit 250 can display the image candidates on the timeline and display the image selected by the user from the image candidates on the timeline. Specifically, time, image, and caption can be displayed when a caption is present on the media, and time and image can be displayed when caption is not present.

일 실시예에 따르면 사업자에 의해 미디어에 대해 미리 생성된 메타데이터, 수동으로 생성된 사용자 메타데이터 또는 미디어 요약데이터에 기반하여 타임라인 상에 이미지를 표시할 수 있다. 다른 일 실시예에 따르면 다른 사용자에 의해 미리 생성된 미디어 요약데이터를 메타데이터 취득부를 통해 불러와서 화면에 표시할 수 있다.According to one embodiment, an image may be displayed on the timeline based on metadata previously created for the media by the vendor, manually generated user metadata, or media summary data. According to another embodiment, the media summary data generated in advance by another user can be retrieved through the metadata acquisition unit and displayed on the screen.

여기서 표시부(250)는 예를 들어, LCD, PDP, OLED, 터치스크린 및 기타 디스플레이 장치를 포함할 수 있다.The display unit 250 may include, for example, an LCD, a PDP, an OLED, a touch screen, and other display devices.

도 3은 일 실시예에 따른 미디어 요약데이터 생성 방법을 도시한 흐름도이다.3 is a flowchart illustrating a method of generating media summary data according to an exemplary embodiment of the present invention.

단계(310)에서는 미디어의 변화 시점을 감지할 수 있다. 구체적으로는 미디어의 자막변화 시점 또는 화면전환 시점을 감지할 수 있다. 일 실시예에 따르면 감지된 변화 시점들의 목록이 반환될 수 있다.In step 310, the change point of the media may be detected. Specifically, it is possible to detect a change point of the subtitle or a screen change point of the media. According to one embodiment, a list of detected change points may be returned.

그리고 단계(320)에서는 타임라인 상에 미디어의 변화 시점을 표시할 수 있다. 타임라인에 표시되는 미디어의 변화 시점은 하기 도 4에서 상세히 설명한다.In step 320, the change point of the media may be displayed on the time line. The change time point of the media displayed on the time line will be described in detail in Fig.

이어서 단계(330)에서는 변화 시점에 대한 이미지 후보를 표시할 수 있다. 하나의 변화 시점을 중심으로 미리 정한 구간 안에서 적어도 하나의 이미지 후보를 표시할 수 있고, 상술한 이미지 후보로부터 사용자가 미디어 요약데이터에 사용할 이미지를 선택할 수 있다. 여기서 미디어에 자막이 존재하는 경우에는 시간, 이미지 후보 및 자막을 표시할 수 있고 자막이 존재하지 않는 경우에는 시간 및 이미지 후보를 표시할 수 있다. 일 실시예에 따르면 모든 변화 시점에 대해 이미지 후보로부터 이미지가 선택될 수 있다.Subsequently, in step 330, an image candidate for the change time point may be displayed. It is possible to display at least one image candidate in a predetermined section centered on one change point and to select an image to be used for the media summary data from the image candidate described above. Here, the time, image candidates and subtitles can be displayed if there is a caption on the media, and time and image candidates can be displayed if there is no caption. According to one embodiment, an image may be selected from the image candidates for all change times.

도 4는 일 실시예에 따른 미디어 요약데이터를 생성하기 위한 타임라인을 도시한 도면이다.4 is a diagram illustrating a timeline for generating media summary data according to one embodiment.

도 4a는 타임라인에서 변화 시점에 대응하는 이미지를 말풍선 형식으로 표시한 모습(410)을 도시한 것일 수 있다. 일 실시예에 따르면 타임라인은 가로 또는 세로로 나타날 수 있다. 여기서 타임라인이 가로로 나타나는 경우 이미지는 변화 시점마다 위아래로 번갈아 배치되어 표시될 수 있고, 타임라인이 세로로 나타나는 경우 도시된 바와 같이 이미지는 변화 시점마다 좌우로 번갈아 배치되어 표시될 수 있다.FIG. 4A shows an image 410 in which the image corresponding to the change point in the time line is displayed in a speech balloon format. According to one embodiment, the timeline may appear horizontally or vertically. In this case, when the time line appears horizontally, the images can be displayed alternately up and down at each change time point, and when the time line appears vertically, the images can be alternately displayed left and right at each change point as shown.

도 4b는 타임라인(420)을 통해 변화 시점에 대응하는 이미지를 비디오 트랙 및 썸네일로 표시한 모습을 도시한 것일 수 있다. 일 실시예에 따르면 이미지의 썸네일은 가로로 확대 또는 축소될 수 있다.4B illustrates an image corresponding to the change time point through the time line 420 as a video track and a thumbnail. According to one embodiment, the thumbnail of the image may be enlarged or reduced in width.

도 4c는 타임라인(430) 상에 플래그(flag)를 통해 변화 시점이 표시될 수 있다. 일 실시예에 따르면 플래그는 원, 다각형 및 기타 위치를 표시하는 마커(marker)를 포함할 수 있다.4C shows a change point on the time line 430 through a flag. According to one embodiment, the flag may include a marker indicating circles, polygons, and other locations.

도 5는 일 실시예에 따른 미디어 요약데이터 편집 방법을 도시한 흐름도이다.5 is a flowchart illustrating a media summary data editing method according to an embodiment.

단계(510)에서는 일 실시예에 따른 미디어 요약데이터 생성 장치가 미디어에 대해 생성한 변화 시점을 타임라인 상에 표시할 수 있다.In step 510, the change point generated by the media summary data generation apparatus according to an embodiment may be displayed on the timeline.

그리고 단계(520)에서는 사용자로부터 사용자 시점을 선택받아 사용자 메타데이터를 입력받을 수 있다. 구체적으로 사용자 시점이 선택되면 동시에 해당 시점의 이미지가 캡쳐되어 표시될 수 있다. 또는 이미 생성된 변화 시점 또는 사용자 시점이 사용자에 의해 선택되어 메타데이터가 수동으로 수정될 수 있다.In step 520, the user may select the user's point of view and receive user metadata. Specifically, when the user's viewpoint is selected, an image at the corresponding viewpoint can be simultaneously captured and displayed. Or the already created change time point or user time point is selected by the user so that the metadata can be manually modified.

이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.The apparatus described above may be implemented as a hardware component, a software component, and / or a combination of hardware components and software components. For example, the apparatus and components described in the embodiments may be implemented within a computer system, such as, for example, a processor, a controller, an arithmetic logic unit (ALU), a digital signal processor, a microcomputer, a field programmable array (FPA) A programmable logic unit (PLU), a microprocessor, or any other device capable of executing and responding to instructions. The processing device may execute one or more software applications that are executed on an operating system (OS) and an operating system. The processing device may also access, store, manipulate, process, and generate data in response to execution of the software. For ease of understanding, the processing apparatus may be described as being used singly, but those skilled in the art will recognize that the processing apparatus may have a plurality of processing elements and / As shown in FIG. For example, the processing unit may comprise a plurality of processors or one processor and one controller. Other processing configurations are also possible, such as a parallel processor.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.The software may include a computer program, code, instructions, or a combination of one or more of the foregoing, and may be configured to configure the processing device to operate as desired or to process it collectively or collectively Device can be commanded. The software and / or data may be in the form of any type of machine, component, physical device, virtual equipment, computer storage media, or device , Or may be permanently or temporarily embodied in a transmitted signal wave. The software may be distributed over a networked computer system and stored or executed in a distributed manner. The software and data may be stored on one or more computer readable recording media.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The method according to an embodiment may be implemented in the form of a program command that can be executed through various computer means and recorded in a computer-readable medium. The computer readable medium may include program instructions, data files, data structures, and the like, alone or in combination. Program instructions to be recorded on the medium may be those specially designed and constructed for the embodiments or may be available to those skilled in the art of computer software. Examples of computer-readable media include magnetic media such as hard disks, floppy disks and magnetic tape; optical media such as CD-ROMs and DVDs; magnetic media such as floppy disks; Magneto-optical media, and hardware devices specifically configured to store and execute program instructions such as ROM, RAM, flash memory, and the like. Examples of program instructions include machine language code such as those produced by a compiler, as well as high-level language code that can be executed by a computer using an interpreter or the like. The hardware devices described above may be configured to operate as one or more software modules to perform the operations of the embodiments, and vice versa.

이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments. For example, it is to be understood that the techniques described may be performed in a different order than the described methods, and / or that components of the described systems, structures, devices, circuits, Lt; / RTI > or equivalents, even if it is replaced or replaced.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.Therefore, other implementations, other embodiments, and equivalents to the claims are also within the scope of the following claims.

110: 미디어
120: 미디어 요약데이터 생성 장치
130: 미디어 요약데이터110: Media
120: Media summary data generation device
130: Media summary data

Claims (14)

미디어를 입력받는 단계;
상기 미디어의 변화 시점을 감지하는 단계;
상기 변화 시점의 이미지에 기초하여 미디어 요약데이터를 생성하는 단계;
상기 미디어에서 사용자 시점을 선택받는 단계; 및
상기 사용자 시점에 대응하는 사용자 메타데이터를 생성하는 단계를 포함하고,
상기 사용자 메타데이터는,
사용자에 의해 수동으로 요약된 데이터, 또는 상기 사용자에 의해 수정된 미디어 요약데이터를 포함하고,
상기 사용자에 의해 수동으로 요약된 데이터는,
상기 미디어 요약데이터에 포함되지 않은 이미지들 중에서 상기 사용자 시점에서 캡쳐된 이미지
를 포함하는 미디어 요약데이터 생성 방법.Receiving a media;
Detecting a change time point of the media;
Generating media summary data based on the image at the time of the change;
Receiving a user point of view from the media; And
Generating user metadata corresponding to the user time point,
The user metadata may include:
Data summarized manually by the user, or media summary data modified by the user,
The data, manually summarized by the user,
An image captured at the user's view from images not included in the media summary data
And generating the media summary data. 제1항에 있어서,
상기 미디어의 변화 시점을 감지하는 단계는,
상기 미디어의 자막변화 시점을 감지하는 단계; 또는
상기 미디어의 화면전환 시점을 감지하는 단계
를 포함하는 미디어 요약데이터 생성 방법.The method according to claim 1,
Wherein the step of detecting a change time point of the media comprises:
Detecting a time at which a subtitle change of the medium is detected; or
Detecting a screen switching point of the media
And generating the media summary data. 제1항에 있어서,
상기 변화 시점의 이미지에 기초하여 미디어 요약데이터를 생성하는 단계는,
상기 변화 시점을 중심으로 미리 정한 구간에서 이미지 후보를 선출하는 단계;
상기 이미지 후보를 표시하는 단계; 및
상기 이미지 후보로부터 상기 변화 시점의 이미지가 선택되는 단계
를 포함하는 미디어 요약데이터 생성 방법.The method according to claim 1,
Wherein the step of generating the media summary data based on the image of the change point comprises:
Selecting an image candidate in a predetermined section based on the change point;
Displaying the image candidate; And
Wherein the image of the change time point is selected from the image candidate
And generating the media summary data. 제1항에 있어서,
상기 변화 시점의 이미지를 상기 변화 시점에 대응하도록 타임라인에 표시하는 단계
를 더 포함하는 미디어 요약데이터 생성 방법.The method according to claim 1,
Displaying the image of the change point on the time line to correspond to the change point of time
Further comprising the steps of: 삭제delete 삭제delete 제1항에 있어서,
상기 미디어 요약데이터를 요약 메타데이터 파일 또는 완성된 이미지 형태로 제공하는 단계
를 더 포함하는 미디어 요약데이터 생성 방법.The method according to claim 1,
Providing the media summary data in the form of a summary metadata file or a completed image
Further comprising the steps of: 미디어를 입력받는 미디어 취득부; 및
상기 미디어의 변화 시점을 감지하고 상기 변화 시점의 이미지에 기초하여 미디어 요약데이터를 생성하는 제어부; 및
상기 미디어에서 선택된 사용자 시점에 대응하는 메타데이터를 입력받아 사용자 메타데이터를 생성하는 편집부
를 포함하고,
상기 사용자 메타데이터는,
사용자에 의해 수동으로 요약된 데이터, 또는 상기 사용자에 의해 수정된 미디어 요약데이터를 포함하고,
상기 사용자에 의해 수동으로 요약된 데이터는,
상기 미디어 요약데이터에 포함되지 않은 이미지들 중에서 상기 사용자 시점에서 캡쳐된 이미지
를 포함하는 미디어 요약데이터 생성 장치.A media acquisition unit for receiving media; And
A control unit for detecting media change time points and generating media summary data based on the images at the change time points; And
An editor for receiving metadata corresponding to a selected user time point on the media and generating user metadata,
Lt; / RTI >
The user metadata may include:
Data summarized manually by the user, or media summary data modified by the user,
The data, manually summarized by the user,
An image captured at the user's view from images not included in the media summary data
The media summary data generating apparatus comprising: 제8항에 있어서,
상기 제어부는,
미리 생성된 메타데이터, 미리 생성된 미디어 요약데이터 또는 사용자 메타데이터 중 적어도 하나에 기초하여 상기 미디어 요약데이터를 생성하는,
미디어 요약데이터 생성 장치.9. The method of claim 8,
Wherein,
Generating media summary data based on at least one of pre-generated metadata, pre-generated media summary data, or user metadata,
A media summary data generation device. 제9항에 있어서,
상기 미리 생성된 메타데이터, 상기 미리 생성된 미디어 요약데이터 또는 상기 사용자 메타데이터 중 적어도 하나를 불러오는 메타데이터 취득부
를 더 포함하는 미디어 요약데이터 생성 장치.10. The method of claim 9,
A metadata acquisition unit for fetching at least one of the previously generated metadata, the previously generated media summary data,
The media summary data generating apparatus further comprising: 제8항에 있어서,
상기 제어부는,
상기 미디어의 자막변화 시점 또는 상기 미디어의 화면전환 시점을 감지하는,
미디어 요약데이터 생성 장치.9. The method of claim 8,
Wherein,
And detecting a time at which a caption change of the media or a screen change time of the media is detected,
A media summary data generation device. 제8항에 있어서,
상기 제어부는 상기 변화 시점을 중심으로 미리 정한 구간에서 이미지 후보를 선출하고 상기 이미지 후보로부터 상기 변화 시점의 이미지를 선택받으며,
상기 이미지 후보 및 상기 변화 시점의 이미지를 표시하는 표시부
를 더 포함하는 미디어 요약데이터 생성 장치.9. The method of claim 8,
Wherein the control unit selects an image candidate in a predetermined interval based on the change point, selects an image at the change point from the image candidate,
A display unit for displaying the image candidate and the image of the change point,
The media summary data generating apparatus further comprising: 제12항에 있어서,
상기 표시부는,
타임라인에서 상기 변화 시점에 대해 상기 변화 시점의 이미지, 및 상기 사용자 시점에서 캡쳐된 이미지를 표시하는,
미디어 요약데이터 생성 장치.13. The method of claim 12,
The display unit includes:
An image of the change time point with respect to the change time point on the time line, and an image captured at the user time point,
A media summary data generation device. 삭제delete
KR1020120157993A 2012-12-31 2012-12-31 Device and method to create media summary data KR101442355B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120157993A KR101442355B1 (en) 2012-12-31 2012-12-31 Device and method to create media summary data

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120157993A KR101442355B1 (en) 2012-12-31 2012-12-31 Device and method to create media summary data

Publications (2)

Publication Number Publication Date
KR20140088947A KR20140088947A (en) 2014-07-14
KR101442355B1 true KR101442355B1 (en) 2014-09-19

Family

ID=51737251

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120157993A KR101442355B1 (en) 2012-12-31 2012-12-31 Device and method to create media summary data

Country Status (1)

Country Link
KR (1) KR101442355B1 (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102055766B1 (en) * 2017-11-23 2019-12-13 주식회사 플레인베이글 Moving Picture Summary Play Device, Moving Picture Summary Providing Server and Methods Thereof
KR102219250B1 (en) * 2018-10-30 2021-02-24 주식회사 아프리카티비 Method for providing video and apparatus using the same
KR102633528B1 (en) * 2022-10-27 2024-02-05 주식회사 일만백만 Scene data generation method based on video data and apparatus performing thereof

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080023493A (en) * 2006-09-11 2008-03-14 엘지전자 주식회사 (an) image display device for having time shift function and method for playing of the same
KR100995839B1 (en) * 2008-08-08 2010-11-22 주식회사 아이토비 Multi contents display system and method thereof
JP2010268195A (en) * 2009-05-14 2010-11-25 Kddi Corp Video content editing program, server, apparatus and method
KR20120085586A (en) * 2011-01-24 2012-08-01 쿠도커뮤니케이션 주식회사 Apparatus and method for providing section of video

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080023493A (en) * 2006-09-11 2008-03-14 엘지전자 주식회사 (an) image display device for having time shift function and method for playing of the same
KR100995839B1 (en) * 2008-08-08 2010-11-22 주식회사 아이토비 Multi contents display system and method thereof
JP2010268195A (en) * 2009-05-14 2010-11-25 Kddi Corp Video content editing program, server, apparatus and method
KR20120085586A (en) * 2011-01-24 2012-08-01 쿠도커뮤니케이션 주식회사 Apparatus and method for providing section of video

Also Published As

Publication number Publication date
KR20140088947A (en) 2014-07-14

Similar Documents

Publication Publication Date Title
US9595300B2 (en) Contextual chapter navigation
CN102099860B (en) User interfaces for editing video clips
US10515143B2 (en) Web-based system for capturing and sharing instructional material for a software application
US9330098B2 (en) User interface operating method and electronic device with the user interface and program product storing program for operating the user interface
JP5522789B2 (en) Video playback device with link function and video playback program with link function
US10298902B1 (en) Previewing and playing media items based on scenes
US8966372B2 (en) Systems and methods for performing geotagging during video playback
US10484746B2 (en) Caption replacement service system and method for interactive service in video on demand
CN103810221B (en) A kind of method for previewing and device of file
US20140199045A1 (en) Video segmenting
JP6064815B2 (en) Method for temporarily stopping video presentation, calculation processing system and program
KR101916874B1 (en) Apparatus, method for auto generating a title of video contents, and computer readable recording medium
US9843823B2 (en) Systems and methods involving creation of information modules, including server, media searching, user interface and/or other features
CN116466866A (en) Touch gesture control for video playback
US9667825B2 (en) Information processing apparatus, method for controlling the information processing apparatus, and recording medium
CN106406898A (en) Banner display method and device and electronic equipment
CN112887794A (en) Video editing method and device
KR101442355B1 (en) Device and method to create media summary data
US20180098099A1 (en) Real-time data updates from a run down system for a video broadcast
US9373360B2 (en) Instantaneous preview of data associated with a video
JP2010147509A (en) Video processor and video distribution system
EP2909705A1 (en) Sharing online with granularity
KR101823767B1 (en) Multi-media file structure and system including meta information for providing user request and environment customize contents
JP6037443B2 (en) Inter-video correspondence display system and inter-video correspondence display method
KR102066750B1 (en) Terminal apparatus and method for controlling record file

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170825

Year of fee payment: 4

LAPS Lapse due to unpaid annual fee