KR20140037439A - Slideshow created method and device using mood of music - Google Patents

Slideshow created method and device using mood of music Download PDF

Info

Publication number
KR20140037439A
KR20140037439A KR1020120103437A KR20120103437A KR20140037439A KR 20140037439 A KR20140037439 A KR 20140037439A KR 1020120103437 A KR1020120103437 A KR 1020120103437A KR 20120103437 A KR20120103437 A KR 20120103437A KR 20140037439 A KR20140037439 A KR 20140037439A
Authority
KR
South Korea
Prior art keywords
atmosphere
music
slide show
mood
photo
Prior art date
Application number
KR1020120103437A
Other languages
Korean (ko)
Inventor
김성배
정태식
Original Assignee
주식회사 엘지유플러스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 엘지유플러스 filed Critical 주식회사 엘지유플러스
Priority to KR1020120103437A priority Critical patent/KR20140037439A/en
Publication of KR20140037439A publication Critical patent/KR20140037439A/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases
    • G06F16/285—Clustering or classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Processing Or Creating Images (AREA)
  • Electrophonic Musical Instruments (AREA)

Abstract

The present invention provides a method and a device for producing a slide show by using a mood of music. The method for producing a sliding show includes a step of classifying the mood of a music which a user plays; a step of extracting a picture indicating the mood corresponding to the mood of the music; and a step of producing a sliding show with the picture extracted according to the mood of the music. [Reference numerals] (201) Slide show generating device; (202) Music; (203) Database; (204) First mode classification unit; (205) Second mode classification unit; (206) Picture extraction unit; (207) Slide show generating unit

Description

음악의 분위기를 이용한 슬라이드 쇼 생성 방법 및 장치{SLIDESHOW CREATED METHOD AND DEVICE USING MOOD OF MUSIC}SLIDESHOW CREATED METHOD AND DEVICE USING MOOD OF MUSIC}

본 발명은 슬라이드 쇼 생성 방법 및 장치에 관한 것으로 보다 구체적으로 분류된 음악의 분위기와 동일한 분위기를 갖는 사진을 추출하여 슬라이드 쇼를 생성하는 방법 및 장치에 관한 것이다.The present invention relates to a method and apparatus for generating a slide show, and more particularly, to a method and apparatus for generating a slide show by extracting a photo having an atmosphere identical to that of a classified music.

사용자는 음악을 재생할 때, 자동으로 재생되는 슬라이드 쇼와 함께 감상하는 경우가 많다. 이는 사용자에게 청각적인 자극 이외에도 시각적인 자극을 줌으로써 음악과 슬라이드 쇼를 통해 느끼는 감정의 상승 효과가 있다.When a user plays music, the user often listens to the slide show that is automatically played. This gives the user a visual stimulus in addition to the auditory stimulus, which has a synergistic effect on the music and the slide show.

하지만, 슬라이드 쇼는 현재 사용자가 재생한 음악과 전혀 유사성이 고려되지 않은 것인 경우가 많다. 그래서, 사용자에게 음악의 감상을 방해한다. However, slide shows are often not considered at all similar to the music played by the user. Thus, it interferes with the user listening to music.

또한, 사용자가 보유하고 있는 동영상을 재생하는 경우, 동영상은 다양한 음악에 적용되지 않고, 동영상과 매칭된 음악에 한정되어 재생된다. 그리고, 동영상은 대부분 주제 및 목적에 맞게 촬영되기 때문에, 다양한 장르를 포괄하여 재생되는 것은 용이하지 않다.In addition, when playing a video owned by the user, the video is not limited to various music, but is limited to music matched with the video. In addition, since a moving image is mostly taken according to a theme and a purpose, it is not easy to reproduce a variety of genres.

본 발명은 분류된 음악의 분위기와 동일한 분위기의 사진을 추출하여 슬라이드 쇼를 생성함으로써, 음악과 사진의 상관 관계가 고려된 음악의 분위기에 적절한 사진으로 슬라이드 쇼를 생성할 수 있는 방법 및 장치를 제공한다. The present invention provides a method and apparatus for generating a slide show by extracting photos having the same atmosphere as the classified music atmosphere and generating a slide show with pictures suitable for the atmosphere of music in which the correlation between the music and the pictures is considered. do.

본 발명은 2차원 공간의 좌표점을 이용하여 음악의 분위기를 분류하고 좌표점에 대응하는 사진의 분위기를 추출함으로써 분위기 유사도에 기반을 둔 슬라이드 쇼를 생성할 수 있는 방법 및 장치를 제공할 수 있다.The present invention can provide a method and apparatus that can generate a slide show based on mood similarity by classifying music mood using a coordinate point of a two-dimensional space and extracting the mood of a picture corresponding to the coordinate point. .

본 발명의 일실시예에 따르면, 슬라이드 쇼 생성 방법은 사용자가 재생한 음악의 분위기를 분류하는 단계; 데이터베이스에 저장된 사진의 분위기를 분류하는 단계; 상기 음악의 분위기와 상관 관계에 있는 분위기를 나타내는 사진을 추출하는 단계; 및 상기 음악의 분위기와 관련된 피쳐에 따라 상기 추출한 사진을 슬라이드 쇼로 생성하는 단계를 포함할 수 있다. According to an embodiment of the present invention, a slide show generating method includes: classifying an atmosphere of music played by a user; Classifying moods of pictures stored in a database; Extracting a photo representing an atmosphere correlated with the atmosphere of the music; And generating the extracted picture as a slide show according to a feature related to the atmosphere of the music.

본 발명의 일실시예에 따르면, 음악의 분위기를 분류하는 단계는 상기 음악의 템포와 조음에 기초한 2차원 공간 상의 분위기 범주를 식별할 수 있다.According to an embodiment of the present invention, the classifying the atmosphere of music may identify an atmosphere category on a two-dimensional space based on the tempo and the articulation of the music.

본 발명의 일실시예에 따르면, 사진의 분위기를 분류하는 단계는 상기 사진에 포함된 오브젝트에 기초하여 2차원 공간 상의 분위기 범주를 식별할 수 있다. According to an embodiment of the present disclosure, the classifying the mood of the photograph may identify the mood category on the two-dimensional space based on the object included in the photograph.

본 발명의 일실시예에 따르면, 사진의 분위기를 분류하는 단계는 사진에 포함된 오브젝트와 관련된 시각적 범주를 이용하여 2차원 공간 상의 분위기 범주를 식별할 수 있다.According to an embodiment of the present disclosure, classifying the mood of the photograph may identify the mood category on the two-dimensional space by using a visual category associated with an object included in the photograph.

본 발명의 일실시예에 따르면, 슬라이드 쇼 생성 방법은 2차원 공간의 각 사분면에 설정되며, 활동적인 분위기(Active), 공격적인 분위기(Aggressive), 사색하는 분위기(Contemplative), 그윽한 분위기(Mellow)를 포함할 수 있다.According to an embodiment of the present invention, the slide show generation method is set in each quadrant of the two-dimensional space, and the active atmosphere (Aggressive), the reflective atmosphere (Contemplative), the soft atmosphere (Mellow) It may include.

본 발명의 일실시예에 따르면, 2차원 공간은 X축에 대응하는 쾌적(pleasant)축과 Y축에 대응하는 자극(arousal)축으로 구성될 수 있다.According to one embodiment of the present invention, the two-dimensional space may be composed of a pleasant axis corresponding to the X axis and an arousal axis corresponding to the Y axis.

본 발명의 일실시예에 따르면, 추출한 사진을 슬라이드 쇼로 생성하는 단계는 상기 음악의 템포와 조음에 기초하여 슬라이드 쇼의 재생 시간을 조절할 수 있다.According to an embodiment of the present invention, the step of generating the extracted picture as a slide show may adjust the play time of the slide show based on the tempo and the articulation of the music.

본 발명의 일실시예에 따르면, 추출한 사진을 슬라이드 쇼로 생성하는 단계는 상기 음악의 템포와 조음에 기초하여 슬라이드 쇼를 구성하는 사진 간의 변환 시간을 조절할 수 있다.According to an embodiment of the present invention, the step of generating the extracted picture as a slide show may adjust the conversion time between the pictures constituting the slide show based on the tempo and the articulation of the music.

본 발명의 일실시예에 따르면, 사진을 추출하는 단계는 상기 음악과 관련된 분위기 범주와 상기 사진과 관련된 분위기 범주에 기초하여 분위기 유사도에 따라 사진을 추출할 수 있다.According to an embodiment of the present invention, the extracting of the picture may extract the picture according to the atmosphere similarity based on the mood category related to the music and the mood category related to the picture.

본 발명의 일실시예에 따른, 슬라이드 쇼 생성 장치는 사용자가 재생한 음악의 분위기를 분류하는 제1 분위기 분류부; 데이터베이스에 저장된 사진의 분위기를 분류하는 단계 제2 분위기 분류부; 상기 음악의 분위기와 상관 관계에 있는 분위기를 나타내는 사진을 추출하는 사진 추출부; 및 상기 음악의 분위기와 관련된 피쳐에 따라 상기 추출한 사진을 슬라이드 쇼로 생성하는 슬라이드 쇼 생성부를 포함할 수 있다.According to one embodiment of the present invention, a slide show generating apparatus includes: a first atmosphere classification unit for classifying an atmosphere of music played by a user; Classifying a mood of a photo stored in a database; a second mood classification unit; A photo extracting unit extracting a photo representing an atmosphere correlated with the atmosphere of the music; And a slide show generating unit generating the extracted picture as a slide show according to a feature related to the atmosphere of the music.

본 발명의 일실시예에 따른, 제1 분위기 분류부는 상기 음악의 템포와 조음에 기초한 2차원 공간 상의 분위기 범주를 식별할 수 있다.According to an embodiment of the present invention, the first atmosphere classification unit may identify an atmosphere category on a two-dimensional space based on the tempo and articulation of the music.

본 발명의 일실시예에 따른, 제2 분위기 분류부는 상기 사진에 포함된 오브젝트에 기초하여 2차원 공간 상의 분위기 범주를 식별할 수 있다.According to an embodiment of the present invention, the second atmosphere classification unit may identify the atmosphere category on the two-dimensional space based on the object included in the picture.

본 발명의 일실시예에 따른, 제2 분위기 분류부는 사진에 포함된 오브젝트와 관련된 시각적 범주를 이용하여 2차원 공간 상의 분위기 범주를 식별할 수 있다.According to an embodiment of the present invention, the second mood classification unit may identify the mood category on the two-dimensional space by using a visual category related to the object included in the picture.

본 발명의 일실시예에 따른, 슬라이드 쇼 생성 장치는 2차원 공간의 각 사분면에 설정되며, 활동적인 분위기(Active), 공격적인 분위기(Aggressive), 사색하는 분위기(Contemplative), 그윽한 분위기(Mellow)를 포함할 수 있다.According to one embodiment of the present invention, the slide show generating apparatus is set in each quadrant of a two-dimensional space, and sets an active atmosphere, an aggressive atmosphere, a reflective atmosphere, and a mellow atmosphere. It may include.

본 발명의 일실시예에 따른, 2차원 공간은 X축에 대응하는 쾌적(pleasant)축과 Y축에 대응하는 자극(arousal)축으로 구성될 수 있다.According to an embodiment of the present invention, the two-dimensional space may be composed of a pleasant axis corresponding to the X axis and an arousal axis corresponding to the Y axis.

본 발명의 일실시예에 따른, 슬라이드 쇼 생성부는 상기 음악의 템포와 조음에 기초하여 슬라이드 쇼의 재생 시간을 조절할 수 있다.According to an embodiment of the present invention, the slide show generation unit may adjust the play time of the slide show based on the tempo and the articulation of the music.

본 발명의 일실시예에 따른, 슬라이드 쇼 생성부는 상기 음악의 템포와 조음에 기초하여 슬라이드 쇼를 구성하는 사진 간의 변환 시간을 조절할 수 있다.According to an embodiment of the present invention, the slide show generation unit may adjust the conversion time between the pictures constituting the slide show based on the tempo and the articulation of the music.

본 발명의 일실시예에 따른, 사진 추출부는 상기 음악과 관련된 분위기 범주와 상기 사진과 관련된 분위기 범주에 기초하여 분위기 유사도에 따라 사진을 추출할 수 있다.According to an embodiment of the present invention, the photo extractor may extract a photo according to an atmosphere similarity based on an atmosphere category related to the music and an atmosphere category related to the photo.

본 발명의 일실시예에 따르면, 분류된 음악의 분위기와 동일한 분위기의 사진을 추출하여 슬라이드 쇼를 생성함으로써, 음악과 사진의 상관 관계가 고려된 음악의 분위기에 적절한 사진으로 슬라이드 쇼를 생성할 수 있다. According to an embodiment of the present invention, by generating a slide show by extracting pictures of the same atmosphere as the classified music atmosphere, the slide show can be generated with a picture suitable for the music atmosphere considering the correlation between the music and the pictures. have.

본 발명의 일실시예에 따르면, 2차원 공간의 좌표점을 이용하여 음악의 분위기를 분류하고 좌표점에 대응하는 사진의 분위기를 추출함으로써 분위기 유사도에 기반을 둔 슬라이드 쇼를 생성할 수 있다.According to an embodiment of the present invention, the slide show based on the atmosphere similarity may be generated by classifying the atmosphere of music using the coordinate points of the two-dimensional space and extracting the atmosphere of the photo corresponding to the coordinate points.

도 1은 일실시예에 따른 슬라이드 쇼 생성 장치의 동작을 설명하기 위해 도시한 도면이다.
도 2는 일실시예에 따른 슬라이드 쇼 생성 장치의 세부 사항을 설명하기 위해 도시한 도면이다.
도 3은 일실시예에 따른 음악 및 사진의 분위기를 분류하는 과정을 실제로 구현한 도면이다.
도 4는 일실시예에 따른 음악의 분위기에 대응하여 동일한 분위기를 갖는 사진을 추출하는 과정을 실제로 구현한 도면이다.
도 5는 일실시예에 따른 슬라이드 쇼 생성 방법을 설명하기 위해 도시한 플라우차트이다.1 is a diagram illustrating an operation of an apparatus for generating a slide show, according to an exemplary embodiment.
2 is a diagram illustrating details of an apparatus for generating a slide show, according to an exemplary embodiment.
FIG. 3 is a diagram illustrating a process of classifying an atmosphere of music and a photo, according to an exemplary embodiment.
FIG. 4 is a diagram of an embodiment of extracting a photo having the same atmosphere in response to an atmosphere of music according to an embodiment.
5 is a flowchart illustrating a method of generating a slide show, according to an exemplary embodiment.

이하, 본 발명의 실시예에 따른 음악의 분위기를 이용한 슬라이드 쇼 생성 방법 및 장치에 대해 첨부된 도면을 참조하여 상세하게 설명한다. 한편, 이하에 설명되는 실시예들은 예시적인 것에 불과하며, 이러한 실시예들로부터 다양한 변형이 가능하다. Hereinafter, a method and apparatus for generating a slide show using an atmosphere of music according to an embodiment of the present invention will be described in detail with reference to the accompanying drawings. On the other hand, the embodiments described below are merely illustrative, and various modifications are possible from these embodiments.

도 1은 일실시예에 따른 슬라이드 쇼 생성 장치의 동작을 설명하기 위해 도시한 도면이다.1 is a diagram illustrating an operation of an apparatus for generating a slide show, according to an exemplary embodiment.

도 1을 참고하면, 슬라이드 쇼 생성 장치(102)는 사용자가 재생한 음악(101)의 분위기를 분류할 수 있다. 슬라이드 쇼 생성 장치(102)는 음악(101)의 템포와 조음을 이용하여 음악(101)의 분위기를 분류할 수 있다. 이 때, 템포는 음악(101)의 속도, 빠르기 박자 등을 포함할 수 있다. 그리고, 조음은 음악(101)의 시끄러운 음을 포함할 수 있다. 이를 이용하여, 슬라이드 쇼 생성 장치(102)는 공격적인 분위기, 활동적인 분위기, 사색하는 분위기, 그윽한 분위기에 대응하는 음악(101)의 분위기를 분류할 수 있다.Referring to FIG. 1, the slide show generating apparatus 102 may classify an atmosphere of music 101 played by a user. The slide show generating apparatus 102 may classify the mood of the music 101 using the tempo and the articulation of the music 101. At this time, the tempo may include the speed of music 101, a fast beat, and the like. The articulation may include loud sounds of the music 101. Using this, the slide show generating apparatus 102 may classify the atmosphere of the music 101 corresponding to the aggressive atmosphere, the active atmosphere, the reflective atmosphere, and the soft atmosphere.

그리고, 슬라이드 쇼 생성 장치(102)는 데이터베이스(103)에 저장된 사진을 이용하여 사진의 분위기를 분류할 수 있다. 슬라이드 쇼 생성 장치(102)는 사진에 포함된 오브젝트를 이용하여 사진의 분위기를 분류할 수 있다. 이 때, 오브젝트는 사진에 포함된 피사체, 배경 등을 포함할 수 있다.The slide show generating device 102 may classify the mood of the picture by using the picture stored in the database 103. The slide show generating apparatus 102 may classify the mood of the photo by using an object included in the photo. In this case, the object may include a subject, a background, and the like included in the picture.

또한, 슬라이드 쇼 생성 장치(102)는 음악의 분위기 및 사진의 분위기를 분류하기 위한 분위기 모델을 포함할 수 있다. 분위기 모델을 사용하면, 슬라이드 쇼 생성 장치(102)는 보다 객관적인 기준을 통해 분위기를 분류할 수 있다. 이하, 분위기의 모델은 도 4를 참고하여, 보다 자세히 설명하도록 한다.In addition, the slide show generating apparatus 102 may include an atmosphere model for classifying the mood of music and the mood of a photograph. Using the mood model, the slide show generating device 102 may classify the mood based on more objective criteria. Hereinafter, the model of the atmosphere will be described in more detail with reference to FIG. 4.

슬라이드 쇼 생성 장치(102)는 음악의 분위기와 상관 관계에 있는 분위기를 나타내는 사진을 추출할 수 있다. 여기서, 상관 관계는 음악(101)의 분위기의 변화에 따라 사진의 분위기도 음악의 분위기에 따라서 변화하는 관계일 수 있다. 즉, 상관 관계는 음악의 분위기와 사진의 분위기가 유사한 관계일 수 있다.The slide show generating apparatus 102 may extract a picture representing an atmosphere correlated with the atmosphere of music. Here, the correlation may be a relationship in which the mood of the photo changes according to the mood of music as the mood of the music 101 changes. That is, the correlation may be a relationship in which the mood of music and the mood of a photograph are similar.

슬라이드 쇼 생성 장치(102)는 음악(101)의 분위기와 관련된 피쳐에 따라 추출한 사진을 슬라이드 쇼(104)로 생성할 수 있다. 이 때, 피쳐는 음악(101)의 분위기를 결정하기 위해 고려된 정보일 수 있다. 그리고, 슬라이드 쇼 생성 장치(102)는 사용자에게 생성한 슬라이드 쇼(104)를 제공할 수 있다.The slide show generating device 102 may generate the extracted picture as the slide show 104 according to a feature related to the atmosphere of the music 101. At this time, the feature may be information considered to determine the mood of the music 101. The slide show generating device 102 may provide the slide show 104 generated to the user.

즉, 본 발명의 일실시예에 따르면, 슬라이드 쇼 생성 장치(102)는 음악과 사진의 분위기에 따른 상관 관계를 고려하여 슬라이드 쇼(104)를 생성함으로써, 사용자가 재생한 음악에 적절한 사진을 보다 용이하게 사용자에게 제공할 수 있다.That is, according to an embodiment of the present invention, the slide show generating device 102 generates a slide show 104 in consideration of the correlation between the music and the mood of the picture, thereby viewing a picture suitable for the music played by the user. It can be provided to the user easily.

도 2는 일실시예에 따른 슬라이드 쇼 생성 장치의 세부 사항을 설명하기 위해 도시한 도면이다.2 is a diagram illustrating details of an apparatus for generating a slide show, according to an exemplary embodiment.

도 2를 참고하면, 슬라이드 쇼 생성 장치(201)는 음악(202), 데이터베이스(203), 제1 분위기 분류부(204), 제2 분위기 분류부(205), 사진 추출부(206), 슬라이드 쇼 생성부(207)로 구성될 수 있다.Referring to FIG. 2, the slide show generating apparatus 201 includes a music 202, a database 203, a first atmosphere classifier 204, a second atmosphere classifier 205, a photo extractor 206, and a slide. The show generating unit 207 may be configured.

음악(202)은 사용자가 재생한 음악일 수 있다. 일례로, 음악은 슬라이드 쇼 생성 장치(201)에 저장된 음악, 외부에서 다운로드 된 음악 등을 포함할 수 있다. 그리고, 제1 분위기 분류부(204)는 사용자가 재생한 음악을 이용하여 음악의 분위기를 분류할 수 있다. 이 때, 제1 분위기 분류부(204)는 분위기 모델을 이용하여 음악의 분위기를 분류할 수 있다.The music 202 may be music played by a user. For example, the music may include music stored in the slide show generating device 201, music downloaded from the outside, and the like. The first mood classifier 204 may classify the mood of the music by using the music reproduced by the user. At this time, the first atmosphere classification unit 204 may classify the atmosphere of music using the atmosphere model.

분위기 모델은 X축에 대응하는 쾌적(pleasant)축과 Y축에 대응하는 자극(arousal)축으로 구성되는 2차원 공간일 수 있다. 그리고, 분위기 모델은 2차원 공간의 각 사분면에 활동적인 분위기(Active), 공격적인 분위기(Aggressive), 사색하는 분위기(Contemplative), 그윽한 분위기(Mellow)가 설정될 수 있다. 그리고, 분위기 모델은 제1 분위기 분류부(204) 및 제2 분위기 분류부(205)에 적용될 수 있다. 이 때, 분위기 모델은 분위기를 분류하기 위한 객관적인 기준일 수 있다.The atmosphere model may be a two-dimensional space consisting of a pleasant axis corresponding to the X axis and an arousal axis corresponding to the Y axis. In the mood model, an active atmosphere, an aggressive atmosphere, a reflective atmosphere, and a mellow atmosphere may be set in each quadrant of the two-dimensional space. The atmosphere model may be applied to the first atmosphere classifier 204 and the second atmosphere classifier 205. At this time, the mood model may be an objective criterion for classifying moods.

즉, 분위기 모델은 분위기를 분류하기 위한 기본적인 틀이 될 수 있다. 그리고, 분위기 모델은 사용되는 목적에 따라 서로 다른 분위기를 분류할 수 있다. 또한, 음악 및 사진의 분위기를 구분하는 속성은 서로 다르기 때문에 분위기 모델은 음악 및 사진에 맞게 적용될 수 있도록 변형이 가능하다.In other words, the mood model may be a basic framework for classifying moods. The atmosphere model may classify different atmospheres according to the purpose used. In addition, since the attributes for distinguishing the mood of music and photography are different from each other, the mood model may be modified to be adapted to music and photography.

제1 분위기 분류부(204)는 음악의 분위기를 구분하기 위한 속성으로 음악의 템포와 조음을 사용할 수 있다.The first mood classification unit 204 may use the tempo and the articulation of the music as attributes for distinguishing the mood of the music.

분위기 모델을 이용하여 음악의 분위기를 분류하기 위해, 제1 분위기 분류부(204)는 쾌적축에 음악의 템포를 대응하고, 자극축에 음악의 조음을 대응시킬 수 있다. 그리고, 제1 분위기 분류부(204)는 음악의 템포와 조음에 기초한 2차원 공간 상의 분위기 범주를 식별할 수 있다.In order to classify the mood of music using the mood model, the first mood classifier 204 may correspond to the tempo of the music on the comfort axis, and the articulation of the music on the stimulus axis. In addition, the first atmosphere classification unit 204 may identify an atmosphere category on the two-dimensional space based on the tempo and the articulation of the music.

여기서, 분위기 범주는 음악의 템포와 조음을 기초로 각 사분면의 기준되는 분위기일 수 있다. 이 때, 템포는 빠름과 느림으로 구분될 수 있다. 그리고, 조음은 스타카토와 레가토로 구분될 수 있다. 그리고, 분위기 범주는 템포와 조음의 조합일 수 있다. 일례로, 분위기 범주는 각 사분면에 설정되며, 빠른템포/스타카토, 빠른템포/레가토, 느린템포/레가토, 느린템포/스타카토를 포함할 수 있다.Here, the mood category may be a reference atmosphere of each quadrant based on the tempo and the articulation of the music. In this case, the tempo may be divided into fast and slow. Articulations can be divided into staccato and legato. The mood category may be a combination of tempo and articulation. In one example, the mood category is set in each quadrant and may include fast tempo / staccato, fast tempo / legato, slow tempo / legato, slow tempo / staccato.

그래서, 제1 분위기 분류부(204)는 음악의 템포와 조음에 따라 대응하는 사분면을 선택함으로써 음악의 분위기를 분류할 수 있다. 또한, 제1 분위기 분류부(204)는 음악의 템포와 조음 이외에도 음악의 분위기를 구별할 수 있는 피쳐를 이용하여 음악의 분위기를 분류할 수 있다.Thus, the first mood classifier 204 may classify the mood of music by selecting a corresponding quadrant according to the tempo and articulation of the music. In addition to the tempo and the articulation of the music, the first atmosphere classification unit 204 may classify the atmosphere of the music by using a feature that can distinguish the atmosphere of the music.

제2 분위기 분류부(205)는 데이터베이스에 저장된 사진의 분위기를 분류할 수 있다. 그리고, 제2 분위기 분류부(205)는 사진의 분위기를 분류하기 위하여 분위기 모델을 이용할 수 있다. 제2 분위기 분류부(205)는 사진의 분위기를 구분하기 위한 속성으로 사진의 포함된 오브젝트를 이용할 수 있다. 또한, 제2 분위기 분류부(205)는 사진에 포함된 오브젝트를 기초하여 2차원 공간 상의 분위기 범주를 식별할 수 있다. 이 때, 제2 분위기 분류부(205)는 시각적 범주를 이용함으로써, 2차원 공간 상의 분위기 범주를 식별할 수 있다.The second atmosphere classifier 205 may classify the atmosphere of the photo stored in the database. The second atmosphere classifier 205 may use an atmosphere model to classify the atmosphere of the picture. The second mood classification unit 205 may use an object included in the picture as an attribute for distinguishing the mood of the picture. In addition, the second atmosphere classification unit 205 may identify the atmosphere category on the two-dimensional space based on the object included in the picture. In this case, the second atmosphere classification unit 205 may identify the atmosphere category on the two-dimensional space by using the visual category.

일례로, 시각적 범주는 사진에 대하여, 풍경 사진, 인물 사진, 사물 사진 등의 시각적으로 분류되는 범주일 수 있다. 그리고 시각적 범주는 세분화 될 수 있다. 즉, 풍경 사진은 산에 대한 풍경 사진, 바다에 대한 풍경 사진, 도시에 대한 풍경 사진 등으로 세분화 될 수 있다.For example, the visual category may be a category that is visually classified with respect to a photograph, such as a landscape photograph, a portrait photograph, an object photograph, and the like. And visual categories can be broken down. That is, the landscape photograph may be subdivided into a landscape photograph of a mountain, a landscape photograph of a sea, a landscape photograph of a city, and the like.

그리고, 제2 분위기 분류부(205)는 시각적 범주를 기준으로 Bag of visual word 기법을 이용하여 사진의 분위기를 식별할 수 있다. 일례로, Bag of visual word 기법은 사진에 포함된 오브젝트의 포인트를 추출하는 기법일 수 있다. 그리고, Bag of visual word 기법은 128차원의 크기를 가진 디스크립터(Descriptor)로 구성된 오브젝트의 포인트를 기준으로 주위에 패치(patch)를 구성하여 피쳐(Feature)를 추출하는 시프트 디스크립터(SIFT Descriptor) 또는 Affine 이미지를 이용한 interested point 등을 이용할 수 있다.In addition, the second mood classification unit 205 may identify the mood of the picture by using the bag of visual word technique based on the visual category. For example, the bag of visual word technique may be a technique of extracting a point of an object included in a picture. In addition, the Bag of visual word technique is a shift descriptor or affine that extracts a feature by forming a patch around a point of an object composed of a descriptor having a size of 128 dimensions. You can use interested points using images.

제2 분위기 분류부(205)는 Bag of visual word 기법을 이용하여 식별된 오브젝트에 따라 인물(human), 인공물(man-made), 자연 풍경(natural scene), 자연 물체(natural object)의 시각적 범주에 대응하는 분위기 범주를 포함할 수 있다. 그래서, 제2 분위기 분류부(205)는 사진에 포함된 오브젝트에 따라 대응하는 사분면을 선택함으로써, 사진의 분위기를 분류할 수 있다.The second mood classification unit 205 may visually categorize human, man-made, natural scenes, and natural objects according to objects identified using a bag of visual word technique. It may include a mood category corresponding to. Thus, the second mood classifier 205 may classify the mood of the photograph by selecting the corresponding quadrant according to the object included in the photograph.

또한, Bag of visual word 기법을 이용함으로써, 제2 분위기 분류부(205)는 복수로 존재하는 사진에 포함된 오브젝트를 포인트에 따라 군집화할 수 있다. 그리고, 데이터베이스에 사진이 추가되는 경우, 제2 분위기 분류부(205)는 추가된 사진에 포함된 오브젝트의 포인트를 통해 해당 포인트에 속하는 군집을 보다 빠르게 검색할 수 있다.In addition, by using the bag of visual word technique, the second atmosphere classifier 205 may cluster objects included in a plurality of photographs according to points. When the picture is added to the database, the second mood classifier 205 may search for a cluster belonging to the point more quickly through the points of the objects included in the added picture.

그리고, 제2 분위기 분류부(205)는 사진의 빛의 세기, 색상, 화소, 피사체의 외곽선을 통한 동작 확인 등의 사진의 피쳐 정보를 이용하여 사진의 분위기가 분류될 수 있다.The second atmosphere classifier 205 may classify the atmosphere of the photo by using feature information of the photo such as light intensity, color, pixels, and operation check through the outline of the subject.

사진 추출부(206)는 음악의 분위기와 상관 관계에 있는 분위기를 나타내는 사진을 추출할 수 있다. 다시 말해, 사진 추출부(206)는 음악과 관련된 분위기 범주와 사진과 관련된 분위기 범주에 기초하여 분위기 유사도에 따라 사진을 추출할 수 있다. 이하 도 4를 참고하여, 사진 추출부(206)를 설명한다.The photo extractor 206 may extract a photo representing an atmosphere correlated with the atmosphere of music. In other words, the photo extractor 206 may extract the photo according to the atmosphere similarity based on the mood category related to music and the mood category related to the photo. Hereinafter, the photo extractor 206 will be described with reference to FIG. 4.

슬라이드 쇼 생성부(207)는 추출된 사진을 이용하여 음악의 분위기와 관련된 피쳐에 따라 슬라이드 쇼를 성성할 수 있다. 피쳐는 음악의 분위기를 결정할 때 고려된 것으로 음악의 템포와 조음일 수 있다. 그리고, 피쳐는 음악의 템포와 조음으로 한정되지 않는다.The slide show generation unit 207 may generate a slide show based on a feature related to the atmosphere of music using the extracted picture. The feature is considered when determining the mood of the music and may be the tempo and articulation of the music. And the feature is not limited to the tempo and articulation of the music.

다시 말해, 슬라이드 쇼 생성부(207)는 음악의 템포와 조음에 기초하여 슬라이드 쇼의 재생 시간을 조절할 수 있다. 예를 들어, 슬라이드 쇼 생성부(207)는 템포가 빠르며, 2분 30초 동안 재생되는 음악의 템포와 조음에 대응하여 슬라이드 쇼를 2분 30초에 맞게 재생 시간을 조절할 수 있다. 그리고, 슬라이드 쇼 생성부(207)는 재생되는 2분 30초 동안의 슬라이드를 구성하는 사진 간의 변환 시간을 조절할 수 있다.In other words, the slide show generation unit 207 may adjust the play time of the slide show based on the tempo and the articulation of the music. For example, the slide show generation unit 207 has a high tempo, and can adjust the play time of the slide show in accordance with the tempo and the articulation of the music played for 2 minutes and 30 seconds to 2 minutes and 30 seconds. Then, the slide show generation unit 207 may adjust the conversion time between the pictures constituting the slide for 2 minutes 30 seconds to be reproduced.

도 3은 일실시예에 따른 음악 및 사진의 분위기를 분류하는 과정을 실제로 구현한 도면이다.FIG. 3 is a diagram illustrating a process of classifying an atmosphere of music and a photo, according to an exemplary embodiment.

도 3을 참고하면, 음악(301)은 rTEP, mASR, vASR 등을 포함할 수 있다. 그리고, 음악(301)은 음악에 대응하는 서포트 백터 머신(303)(SVM: Support Vector Machine)을 통해 음악의 분위기가 분류될 수 있다. 이 때, 서포트 백서 머신(303)은 도2의 제1 분위기 분류부와 매칭될 수 있다.Referring to FIG. 3, the music 301 may include rTEP, mASR, vASR, and the like. The music 301 may be classified into an atmosphere of music through a support vector machine (SVM) corresponding to the music. In this case, the support white paper machine 303 may be matched with the first atmosphere classifier of FIG. 2.

사진(302)은 BOW 등을 포함할 수 있다. 그리고, 사진(302)은 사진에 대응하는 서포트 백터 머신(303'(SVM: Support Vector Machine)을 통해 사진의 분위기가 분류될 수 있다. 이 때, 서포트 백터 머신(303'는 도2의 제2 분위기 분류부와 매칭될 수 있다.The picture 302 may include a BOW or the like. The photograph 302 may be classified into an atmosphere of a photograph through a support vector machine (SVM) corresponding to the photograph, at which time, the support vector machine 303 'may be a second image of FIG. It may be matched with the mood classification unit.

위에 기재된 것처럼, 음악(301)과 사진(302)은 서로 다른 속성 값을 포함할 수 있다. 서로 다른 속성 값에 대응하여 유사성을 부여하기 위해, 서포트 백터 머신(303, 303')은 분위기 모델에 따라 활동적인 분위기(304), 공격적인 분위기(305), 사색하는 분위기(306), 그윽한 분위기(307)를 포함함으로써, 서로 다른 속성 값을 포괄하여 음악 및 사진의 분위기를 분류할 수 있다.As described above, music 301 and photo 302 may include different attribute values. In order to give similarity in response to different attribute values, the support vector machine 303, 303 'is characterized by an active atmosphere 304, an aggressive atmosphere 305, a speculative atmosphere 306, and an atmosphere according to the atmosphere model. By including 307, the atmosphere of music and photos may be classified by including different attribute values.

다시 말해, 서포트 백터 머신(303, 303')은 음악과 사진을 분류하는 서로 다른 속성에 대하여 분위기 모델의 동일한 기준을 통해 음악의 분위기에 따른 유사한 사진의 분위기를 분류할 수 있다.In other words, the support vector machines 303 and 303 'may classify the atmosphere of similar photographs according to the mood of music through the same criteria of the mood model with respect to different attributes for classifying music and photos.

도 4는 일실시예에 따른 음악의 분위기에 대응하여 동일한 분위기를 갖는 사진을 추출하는 과정을 실제로 구현한 도면이다.FIG. 4 is a diagram of an embodiment of extracting a photo having the same atmosphere in response to an atmosphere of music according to an embodiment.

도 4를 참고하면, 음악의 분위기는 2차원 공간의 사분면의 표시된 좌표(401)에 대응하여 분류될 수 있다. 일례로, 음악의 분위기는 빠른템포와 스타카토에 해당하는 분위기 범주의 사분면에 좌표(401)가 표시되어 활동적인 분위기로 분류될 수 있다.Referring to FIG. 4, the atmosphere of music may be classified corresponding to the displayed coordinates 401 of the quadrant of the two-dimensional space. For example, the atmosphere of music may be classified as an active atmosphere by displaying coordinates 401 in the quadrant of the atmosphere category corresponding to fast tempo and staccato.

그리고, 슬라이드 쇼 생성 장치는 분류된 음악의 분위기에 대응하는 사진을 추출할 수 있다. 다시 말해, 슬라이드 쇼 생성 장치는 음악과 관련된 분위기 범주와 사진과 관련된 분위기 범주에 기초하여 분위기 유사도에 따라 사진을 추출할 수 있다.The slide show generating apparatus may extract a picture corresponding to the classified music mood. In other words, the slide show generating apparatus may extract a photo according to mood similarity based on the mood category related to music and the mood category related to the photo.

즉, 슬라이드 쇼 생성 장치는 사진의 분위기에 해당하는 2차원 공간의 사분면에서 음악의 분위기와 동일한 좌표(402) 및 좌표(402)를 중심으로 일정 간격의 등고선 상에 분포된 사진을 추출할 수 있다. 이는 동일한 좌표 및 좌표 주변에 위치한 사진을 추출함으로써, 음악의 분위기가 가장 유사한 사진을 추출할 수 있다.That is, the apparatus for generating a slide show may extract a picture distributed on contour lines at regular intervals about the same coordinates 402 and coordinates 402 as the atmosphere of music in a quadrant of a two-dimensional space corresponding to the atmosphere of the picture. . By extracting a picture located around the same coordinates and coordinates, it is possible to extract a picture with the most similar atmosphere of music.

도 5는 일실시예에 따른 슬라이드 쇼 생성 방법을 설명하기 위해 도시한 플라우차트이다.5 is a flowchart illustrating a method of generating a slide show, according to an exemplary embodiment.

도 5를 참고하면, 단계(501)에 따르면, 슬라이드 쇼 생성 장치는 사용자가 재생한 음악의 분위기를 분류할 수 있다. 슬라이드 쇼 생성 장치는 음악을 구분하기 위한 속성을 이용하여 분위기 모델에 따른 음악의 분위기를 분류할 수 있다.Referring to FIG. 5, in operation 501, the slide show generating apparatus may classify an atmosphere of music played by a user. The slide show generating apparatus may classify the mood of music according to the mood model by using an attribute for classifying music.

단계(502)에 따르면, 슬라이드 쇼 생성 장치는 데이터베이스에 저장된 사진의 분위기를 분류할 수 있다. 슬라이드 쇼 생성 장치는 사진을 구분하기 위한 속성을 이용하여 분위기 모델에 따른 음악의 분위기를 분류할 수 있다.According to step 502, the slide show generating apparatus may classify the mood of the photo stored in the database. The slide show generating apparatus may classify music moods according to mood models by using attributes for classifying photos.

단계(503)에 따르면, 슬라이드 쇼 생성 장치는 분류된 음악의 분위기 및 사진의 분위기에 상관 관계에 따라 음악의 분위기와 유사한 사진을 추출할 수 있다. 이 때, 사진은 유사도에 따라 정렬될 수 있다. 그리고, 사진은 음악의 분위기와 관련된 피쳐 정보에 따라 구성되는 슬라이드 쇼의 재생 시간 및 사진의 변환 시간에 대응하여 사진의 장수가 결정될 수 있다.According to step 503, the slide show generating apparatus may extract a photo similar to the atmosphere of music according to the correlation between the classified atmosphere of music and the atmosphere of the picture. At this time, the pictures may be arranged according to the similarity. In addition, the number of photos may be determined according to the playback time of the slide show and the conversion time of the photo, which are configured according to feature information related to the atmosphere of music.

단계(504)에 따르면, 슬라이드 쇼 생성 장치는 추출한 사진을 이용하여 슬라이드 쇼를 생성할 수 있다. 그리고, 슬라이드 쇼 생성 장치는 음악의 템포와 조음에 기초하여 슬라이드 쇼의 재생 시간 및 사진 간의 변환 시간을 조절할 수 있다.According to step 504, the slide show generating apparatus may generate a slide show by using the extracted picture. The slide show generating apparatus may adjust the playback time of the slide show and the conversion time between photos based on the tempo and the articulation of the music.

본 발명의 실시 예에 따른 방법들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. The methods according to embodiments of the present invention may be implemented in the form of program instructions that can be executed through various computer means and recorded in a computer-readable medium. The computer-readable medium may include program instructions, data files, data structures, and the like, alone or in combination. The program instructions recorded on the medium may be those specially designed and constructed for the present invention or may be available to those skilled in the art of computer software.

이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.As described above, the present invention has been described by way of limited embodiments and drawings, but the present invention is not limited to the above embodiments, and those skilled in the art to which the present invention pertains various modifications and variations from such descriptions. This is possible.

그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.Therefore, the scope of the present invention should not be limited to the described embodiments, but should be determined by the equivalents of the claims, as well as the claims.

201: 슬라이드 쇼 생성 장치
202: 음악
203: 사진 데이터베이스
204: 제1 분위기 분류부
205: 제2 분위기 분류부
206: 사진 추출부
207: 슬라이드 쇼 생성부201: slide show generating device
202: music
203 photo database
204: First atmosphere classification unit
205: second atmosphere classification unit
206: photo extracting unit
207: slide show generating unit

Claims (18)

사용자가 재생한 음악의 분위기를 분류하는 단계;
데이터베이스에 저장된 사진의 분위기를 분류하는 단계;
상기 음악의 분위기와 상관 관계에 있는 분위기를 나타내는 사진을 추출하는 단계; 및
상기 음악의 분위기와 관련된 피쳐에 따라 상기 추출한 사진을 슬라이드 쇼로 생성하는 단계
를 포함하는 슬라이드 쇼 생성 방법.Classifying the atmosphere of music played by the user;
Classifying moods of pictures stored in a database;
Extracting a photo representing an atmosphere correlated with the atmosphere of the music; And
Generating the extracted picture as a slide show according to a feature related to the mood of the music
Slide show creation method comprising a. 제1항에 있어서,
상기 음악의 분위기를 분류하는 단계는,
상기 음악의 템포와 조음에 기초한 2차원 공간 상의 분위기 범주를 식별하는 슬라이드 쇼 생성 방법.The method of claim 1,
Categorizing the atmosphere of the music,
A slide show generating method for identifying an atmosphere category in a two-dimensional space based on the tempo and articulation of the music. 제1항에 있어서,
상기 사진의 분위기를 분류하는 단계는,
상기 사진에 포함된 오브젝트에 기초하여 2차원 공간 상의 분위기 범주를 식별하는 슬라이드 쇼 생성 방법.The method of claim 1,
Categorizing the mood of the photo,
A slide show generating method for identifying an atmosphere category on a two-dimensional space based on an object included in the picture. 제3항에 있어서,
상기 사진의 분위기를 분류하는 단계는,
사진에 포함된 오브젝트와 관련된 시각적 범주를 이용하여 2차원 공간 상의 분위기 범주를 식별하는 슬라이드 쇼 생성 방법.The method of claim 3,
Categorizing the mood of the photo,
A slide show creation method that identifies a category of mood in two-dimensional space using visual categories associated with objects in the picture. 제2항 또는 제3항 중 어느 한 항에 있어서,
2차원 공간의 각 사분면에 설정되며, 활동적인 분위기(Active), 공격적인 분위기(Aggressive), 사색하는 분위기(Contemplative), 그윽한 분위기(Mellow)를 포함하는 슬라이드 쇼 생성 방법.4. The method according to any one of claims 2 to 3,
Set in each quadrant of a two-dimensional space, a slide show generation method including active, aggressive, contemplative, mellow atmosphere. 제5항에 있어서,
상기 2차원 공간은,
X축에 대응하는 쾌적(pleasant)축과 Y축에 대응하는 자극(arousal)축으로 구성되는 슬라이드 쇼 생성 방법.6. The method of claim 5,
The two-dimensional space,
A slide show generation method comprising a pleasant axis corresponding to the X axis and an arousal axis corresponding to the Y axis. 제1항에 있어서,
상기 추출한 사진을 슬라이드 쇼로 생성하는 단계는,
상기 음악의 템포와 조음에 기초하여 슬라이드 쇼의 재생 시간을 조절하는 슬라이드 쇼 생성 방법.The method of claim 1,
Generating the extracted photo as a slide show,
And adjusting a play time of the slide show based on the tempo and the articulation of the music. 제1항에 있어서,
상기 추출한 사진을 슬라이드 쇼로 생성하는 단계는,
상기 음악의 템포와 조음에 기초하여 슬라이드 쇼를 구성하는 사진 간의 변환 시간을 조절하는 슬라이드 쇼 생성 방법.The method of claim 1,
Generating the extracted photo as a slide show,
And adjusting a conversion time between the pictures composing the slide show based on the tempo and the articulation of the music. 제1항에 있어서,
상기 사진을 추출하는 단계는,
상기 음악과 관련된 분위기 범주와 상기 사진과 관련된 분위기 범주에 기초하여 분위기 유사도에 따라 사진을 추출하는 슬라이드 쇼 생성 방법.The method of claim 1,
Extracting the picture,
And extracting a picture according to mood similarity based on the mood category associated with the music and the mood category related to the picture. 사용자가 재생한 음악의 분위기를 분류하는 제1 분위기 분류부;
데이터베이스에 저장된 사진의 분위기를 분류하는 단계 제2 분위기 분류부;
상기 음악의 분위기와 상관 관계에 있는 분위기를 나타내는 사진을 추출하는 사진 추출부; 및
상기 음악의 분위기와 관련된 피쳐에 따라 상기 추출한 사진을 슬라이드 쇼로 생성하는 슬라이드 쇼 생성부
를 포함하는 슬라이드 쇼 생성 장치.A first mood classifier classifying a mood of music played by the user;
Classifying a mood of a photo stored in a database; a second mood classification unit;
A photo extracting unit extracting a photo representing an atmosphere correlated with the atmosphere of the music; And
A slide show generation unit generating the extracted photo as a slide show according to a feature related to the mood of the music.
Slide show generating device comprising a. 제10항에 있어서,
상기 제1 분위기 분류부는,
상기 음악의 템포와 조음에 기초한 2차원 공간 상의 분위기 범주를 식별하는 슬라이드 쇼 생성 장치.11. The method of claim 10,
The first atmosphere classification unit,
And an atmosphere category on a two-dimensional space based on the tempo and articulation of the music. 제10항에 있어서,
상기 제2 분위기 분류부는,
상기 사진에 포함된 오브젝트에 기초하여 2차원 공간 상의 분위기 범주를 식별하는 슬라이드 쇼 생성 장치.11. The method of claim 10,
The second atmosphere classification unit,
And an atmosphere category on a two-dimensional space based on an object included in the picture. 제12항에 있어서,
상기 제2 분위기 분류부는,
사진에 포함된 오브젝트와 관련된 시각적 범주를 이용하여 2차원 공간 상의 분위기 범주를 식별하는 슬라이드 쇼 생성 장치.The method of claim 12,
The second atmosphere classification unit,
A slide show generating apparatus for identifying an atmosphere category in a two-dimensional space by using a visual category related to an object included in a picture. 제11항 또는 제13항 중 어느 한 항에 있어서,
2차원 공간의 각 사분면에 설정되며, 활동적인 분위기(Active), 공격적인 분위기(Aggressive), 사색하는 분위기(Contemplative), 그윽한 분위기(Mellow)를 포함하는 슬라이드 쇼 생성 장치.The method according to any one of claims 11 or 13,
A slide show generating apparatus set in each quadrant of a two-dimensional space and including an active atmosphere, an aggressive atmosphere, a reflective atmosphere, and a mellow atmosphere. 제14항에 있어서,
상기 2차원 공간은,
X축에 대응하는 쾌적(pleasant)축과 Y축에 대응하는 자극(arousal)축으로 구성되는 슬라이드 쇼 생성 장치.15. The method of claim 14,
The two-dimensional space,
A slide show generating apparatus comprising a pleasant axis corresponding to the X axis and an arousal axis corresponding to the Y axis. 제10항에 있어서,
상기 슬라이드 쇼 생성부는,
상기 음악의 템포와 조음에 기초하여 슬라이드 쇼의 재생 시간을 조절하는 슬라이드 쇼 생성 장치.11. The method of claim 10,
The slide show generation unit,
And adjusting a play time of the slide show based on the tempo and the articulation of the music. 제10항에 있어서,
상기 슬라이드 쇼 생성부는,
상기 음악의 템포와 조음에 기초하여 슬라이드 쇼를 구성하는 사진 간의 변환 시간을 조절하는 슬라이드 쇼 생성 장치.11. The method of claim 10,
The slide show generation unit,
And a slide show generating device for adjusting a conversion time between the pictures forming the slide show based on the tempo and the articulation of the music. 제10항에 있어서,
상기 사진 추출부는,
상기 음악과 관련된 분위기 범주와 상기 사진과 관련된 분위기 범주에 기초하여 분위기 유사도에 따라 사진을 추출하는 슬라이드 쇼 생성 장치.11. The method of claim 10,
The photo extractor,
And extracting a photo according to an atmosphere similarity based on the mood category related to the music and the mood category related to the photo.
KR1020120103437A 2012-09-18 2012-09-18 Slideshow created method and device using mood of music KR20140037439A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120103437A KR20140037439A (en) 2012-09-18 2012-09-18 Slideshow created method and device using mood of music

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120103437A KR20140037439A (en) 2012-09-18 2012-09-18 Slideshow created method and device using mood of music

Publications (1)

Publication Number Publication Date
KR20140037439A true KR20140037439A (en) 2014-03-27

Family

ID=50646246

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120103437A KR20140037439A (en) 2012-09-18 2012-09-18 Slideshow created method and device using mood of music

Country Status (1)

Country Link
KR (1) KR20140037439A (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020085641A1 (en) * 2018-10-22 2020-04-30 Samsung Electronics Co., Ltd. Display apparatus and operating method of the same
WO2021212631A1 (en) * 2020-04-23 2021-10-28 盈多伙伴（北京）科技有限公司 Image transmission system and method
US11514107B2 (en) 2018-09-05 2022-11-29 Samsung Electronics Co., Ltd. Image display apparatus and operation method of the same

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007174503A (en) * 2005-12-26 2007-07-05 Fujifilm Corp Music image reproducer, and method for managing music image information
KR20080043129A (en) * 2006-11-13 2008-05-16 삼성전자주식회사 Method for recommending photo using music of mood and system thereof
KR20100047729A (en) * 2008-10-29 2010-05-10 주식회사 대우일렉트로닉스 Video play apparatus and background screen display method using by it
KR20100118685A (en) * 2009-04-29 2010-11-08 주식회사 엘지유플러스 System for providing background contents of playing music file, communication apparatus used in the system and control method thereof

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007174503A (en) * 2005-12-26 2007-07-05 Fujifilm Corp Music image reproducer, and method for managing music image information
KR20080043129A (en) * 2006-11-13 2008-05-16 삼성전자주식회사 Method for recommending photo using music of mood and system thereof
KR20100047729A (en) * 2008-10-29 2010-05-10 주식회사 대우일렉트로닉스 Video play apparatus and background screen display method using by it
KR20100118685A (en) * 2009-04-29 2010-11-08 주식회사 엘지유플러스 System for providing background contents of playing music file, communication apparatus used in the system and control method thereof

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11514107B2 (en) 2018-09-05 2022-11-29 Samsung Electronics Co., Ltd. Image display apparatus and operation method of the same
WO2020085641A1 (en) * 2018-10-22 2020-04-30 Samsung Electronics Co., Ltd. Display apparatus and operating method of the same
US11120290B2 (en) 2018-10-22 2021-09-14 Samsung Electronics Co., Ltd. Display apparatus and operating method of the same
WO2021212631A1 (en) * 2020-04-23 2021-10-28 盈多伙伴（北京）科技有限公司 Image transmission system and method

Similar Documents

Publication Publication Date Title
US8548249B2 (en) Information processing apparatus, information processing method, and program
JP4762827B2 (en) Electronic album generation apparatus, electronic album generation method, and program thereof
US20180226063A1 (en) Method for creating audio tracks for accompanying visual imagery
US9542975B2 (en) Centralized database for 3-D and other information in videos
CN107005724A (en) Information processor, information processing method and program
KR20090010855A (en) System and method for saving digital contents classified with person-based clustering
KR20150011008A (en) Augmented reality interaction implementation method and system
JP6016322B2 (en) Information processing apparatus, information processing method, and program
KR101263686B1 (en) Karaoke system and apparatus using augmented reality, karaoke service method thereof
JP2008257460A (en) Information processor, information processing method, and program
JP2006331393A (en) Album creating apparatus, album creating method and program
KR20140116740A (en) Display device for dance image and method of thereof
CN105405436A (en) Scoring device and scoring method
TW201203113A (en) Graphical representation of events
KR20120119725A (en) Video object detecting apparatus, video object deforming apparatus and method thereof
US10909423B2 (en) Generating training data for machine learning classifier
US20130101231A1 (en) Making image-based product from digitial image collection
CN110214343A (en) Information processing unit, information processing method and its program
CN109408672A (en) A kind of article generation method, device, server and storage medium
KR20140037439A (en) Slideshow created method and device using mood of music
CN101924847B (en) Multimedia playing device and playing method thereof
US10134164B2 (en) Information processing apparatus, information processing system, information processing method, and program
US20130050744A1 (en) Automated photo-product specification method
JP2020527814A (en) Systems and methods for creating and displaying interactive 3D representations of real objects
JP6217696B2 (en) Information processing apparatus, information processing method, and program

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application