KR20140037440A - Music play method using feature information of picture and the terminal - Google Patents

Music play method using feature information of picture and the terminal Download PDF

Info

Publication number
KR20140037440A
KR20140037440A KR1020120103439A KR20120103439A KR20140037440A KR 20140037440 A KR20140037440 A KR 20140037440A KR 1020120103439 A KR1020120103439 A KR 1020120103439A KR 20120103439 A KR20120103439 A KR 20120103439A KR 20140037440 A KR20140037440 A KR 20140037440A
Authority
KR
South Korea
Prior art keywords
image
feature information
music
user
images
Prior art date
Application number
KR1020120103439A
Other languages
Korean (ko)
Inventor
김성배
정태식
Original Assignee
주식회사 엘지유플러스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 엘지유플러스 filed Critical 주식회사 엘지유플러스
Priority to KR1020120103439A priority Critical patent/KR20140037440A/en
Publication of KR20140037440A publication Critical patent/KR20140037440A/en

Links

Images

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

According to the present invention, provided are a music playing method and a terminal using feature information on images. The music playing terminal comprises the steps of: extracting feature information on a first image inputted to the music playing terminal; comparing the feature information on the first image and feature information on second images stored in a database of the music playing terminal and determining second images to recommend to a user; and providing a music mapped to the second image that the user selected among the recommended second images. [Reference numerals] (201) Music playing terminal; (202) Feature information extracting unit; (203) Image determining unit; (204) Music providing unit

Description

영상의 피쳐 정보를 이용한 음악 재생 방법 및 장치{MUSIC PLAY METHOD USING FEATURE INFORMATION OF PICTURE AND THE TERMINAL}MUSIC PLAY METHOD USING FEATURE INFORMATION OF PICTURE AND THE TERMINAL}

본 발명은 음악 재생 방법 및 장치에 관한 것으로, 보다 구체적으로는 영상으로부터 추출한 피처 정보를 이용하여 영상에 적합한 음악을 재생하는 방법 및 장치에 관한 것이다. The present invention relates to a method and apparatus for reproducing music, and more particularly, to a method and apparatus for reproducing music suitable for an image using feature information extracted from an image.

사용자는 자신이 직접 촬영한 영상이나, 이미 저장된 영상을 감상하는 경우가 많다. 이러한 영상을 감상할 때 영상이 나타내는 분위기와 유사한 음악이 함께 재생되면, 영상으로부터 느끼는 감정이 향상될 수 있다. 예를 들어, 밝고 화사한 봄에 찍은 영상에 대응하여 경괘하고 빠른 느낌의 음악이 재생되면, 사용자는 해당 영상을 감상할 때의 심미감이 증가될 수 있다.A user often watches a video recorded by himself or an already stored video. When listening to such an image, music similar to the atmosphere represented by the image is reproduced together, and the emotions felt from the image may be improved. For example, when music of a light and fast feeling is played in response to an image taken in a bright and bright spring, the user may increase aesthetics when viewing the image.

하지만, 영상이 나타내는 분위기와 유사한 분위기를 나타내는 음악을 직접적으로 검색하는 것은 용이하지 않다. 왜냐하면, 영상을 구분하기 위한 속성과 음악을 구분하기 위한 속성은 다르기 때문이다.However, it is not easy to directly search for music exhibiting an atmosphere similar to that of the image. This is because the property for classifying images and the property for classifying music are different.

따라서, 영상의 분위기에 맞는 음악을 선정하는 적절한 방법이 요구된다.Therefore, an appropriate method for selecting music suitable for the mood of the image is required.

본 발명은 입력된 영상과 유사한 영상을 피쳐 정보를 통해 검색하고, 검색된 영상에 매핑된 음악을 재생함으로써, 입력된 영상의 분위기에 적절한 음악을 보다 용이하게 검색할 수 있는 방법 및 장치를 제공한다.The present invention provides a method and apparatus for searching for an image similar to an input image through feature information and reproducing music mapped to the searched image, so as to easily search for music appropriate to the atmosphere of the input image.

본 발명은 영상과 매핑된 음악을 소셜 네트워크 상의 인맥들과 공유함으로써 사용자의 음악 재생 장치에 영상의 분위기에 적절한 음악을 저장하고 있지 않더라도 영상의 분위기에 적절한 음악을 원하는 시기에 추출할 수 있는 방법 및 장치를 제공한다.The present invention provides a method of extracting music suitable for the mood of an image at a desired time even if the music mapped to the image is shared with the contacts on a social network, even if the music is not stored in the mood of the image in a user's music playback device. Provide the device.

본 발명의 일실시예에 따르면, 음악 재생 방법은 음악 재생 장치에 입력된 제1 영상의 피쳐 정보를 추출하는 단계; 상기 제1 영상의 피쳐 정보와 음악 재생 장치의 데이터베이스에 저장된 제2 영상들 각각의 피쳐 정보를 비교하여 사용자에게 추천할 제2 영상들을 결정하는 단계; 상기 추천된 제2 영상들 중 사용자가 선택한 제2 영상에 매핑된 음악을 제공하는 단계를 포함할 수 있다.According to an embodiment of the present invention, a music reproduction method includes extracting feature information of a first image input to a music reproduction device; Comparing feature information of the first image with feature information of each of the second images stored in the database of the music reproducing apparatus, and determining second images to be recommended to the user; The method may include providing music mapped to the second image selected by the user among the recommended second images.

본 발명의 일실시예에 따르면, 제1 영상의 피쳐 정보를 추출하는 단계는 상기 데이터베이스를 통해 내용 기반 검색을 수행하기 위한 상기 제1 영상의 피쳐 정보를 추출할 수 있다.According to an embodiment of the present invention, extracting feature information of the first image may extract feature information of the first image for performing a content-based search through the database.

본 발명의 일실시예에 따르면, 제1 영상의 피쳐 정보를 추출하는 단계는 상기 영상의 피사체 분류, 상기 영상의 색상, 화소, 피사체의 외각선, 상기 외각선의 중심 무게, 피사체의 거리 정보 중 하나 이상의 피쳐 정보를 추출할 수 있다.According to an embodiment of the present disclosure, extracting feature information of the first image may include one of a subject classification of the image, a color of the image, a pixel, an outer line of the subject, a center weight of the outer line, and distance information of the subject. The above feature information can be extracted.

본 발명의 일실시예에 따르면, 제2 영상들을 결정하는 단계는 상기 제2 영상을 유사도가 높은 순으로 정렬하여 사용자에게 추천할 수 있다.According to an embodiment of the present disclosure, the determining of the second images may recommend the user by arranging the second images in the order of high similarity.

본 발명의 일실시예에 따르면, 제2 영상들을 결정하는 단계는 데이터베이스 내에 상기 제1 영상과 유사한 제2 영상이 존재하지 않는 경우, 상기 제2 영상이 업로드 된 서버에 접속하여 사용자에게 추천할 제2 영상을 결정할 수 있다.According to an embodiment of the present disclosure, in the determining of the second images, if there is no second image similar to the first image in the database, a second image to be recommended to the user by accessing the server to which the second image is uploaded is provided. 2 You can determine the image.

본 발명의 일실시예에 따르면, 음악 재생 장치는 상기 사용자가 음악과 매핑된 제2 영상을 업로드한 서버로부터 제2 영상을 다운로드 할 수 있다.According to an embodiment of the present invention, the music reproducing apparatus may download the second image from the server where the user uploaded the second image mapped with the music.

본 발명의 일실시예에 따르면, 서버는 상기 서버를 상기 사용자의 소셜 네트워크 상의 인맥과 공유할 수 있다.According to an embodiment of the present invention, the server may share the server with a social network on the user's social network.

본 발명의 일실시예에 따른, 음악 재생 장치는 음악 재생 장치에 입력된 제1 영상의 피쳐 정보를 추출하는 피쳐 정보 추출부; 상기 제1 영상의 피쳐 정보와 음악 재생 장치의 데이터베이스에 저장된 제2 영상들 각각의 피쳐 정보를 비교하여 사용자에게 추천할 제2 영상들을 결정하는 영상 결정부; 및 상기 추천된 제2 영상들 중 사용자가 선택한 제2 영상에 매핑된 음악을 제공하는 음악 제공부를 포함할 수 있다.According to an embodiment of the present invention, a music reproducing apparatus includes: a feature information extracting unit for extracting feature information of a first image input to a music reproducing apparatus; An image determination unit comparing the feature information of the first image with the feature information of each of the second images stored in the database of the music reproducing apparatus and determining second images to be recommended to the user; And a music providing unit providing music mapped to the second image selected by the user among the recommended second images.

본 발명의 일실시예에 따른, 피쳐 정보 추출부는 상기 데이터베이스를 통해 내용 기반 검색을 수행하기 위한 상기 제1 영상의 피쳐 정보를 추출할 수 있다.According to an embodiment of the present invention, the feature information extracting unit may extract feature information of the first image for performing a content-based search through the database.

본 발명의 일실시예에 따른, 피쳐 정보 추출부는 상기 제1 영상의 피사체 분류, 상기 영상의 색상, 화소, 피사체의 외각선, 상기 외각선의 중심 무게, 피사체의 거리 정보 중 하나 이상의 피쳐 정보를 추출할 수 있다.According to an embodiment of the present invention, the feature information extracting unit extracts one or more feature information among a subject classification of the first image, a color of the image, a pixel, an outer line of the subject, a center weight of the outer line, and distance information of the subject. can do.

본 발명의 일실시예에 따른, 영상 추천부는 상기 제2 영상을 유사도가 높은 순으로 정렬하여 사용자에게 추천할 수 있다.According to an embodiment of the present invention, the image recommendation unit may recommend the second image by arranging the second image in the order of high similarity.

본 발명의 일실시예에 따른, 영상 추천부는 데이터베이스 내에 상기 제1 영상과 유사한 제2 영상이 존재하지 않는 경우, 상기 제2 영상이 업로드 된 서버에 접속하여 사용자에게 추천할 제2 영상을 결정할 수 있다.According to an embodiment of the present invention, when there is no second image similar to the first image in the database, the image recommendation unit may determine a second image to be recommended to the user by accessing a server to which the second image is uploaded. have.

본 발명의 일실시예에 따른, 음악 재생 장치는 상기 사용자가 음악과 매핑된 제2 영상을 업로드한 서버로부터 제2 영상을 다운로드 할 수 있다.According to an embodiment of the present invention, the music reproducing apparatus may download the second image from the server where the user uploaded the second image mapped with the music.

본 발명의 일실시예에 따른, 서버는 상기 서버를 상기 사용자의 소셜 네트워크 상의 인맥과 공유할 수 있다.According to an embodiment of the present invention, the server may share the server with a social network on the user's social network.

본 발명의 일실시예에 따르면, 입력된 영상과 유사한 영상을 피쳐 정보를 통해 검색하고, 검색된 영상에 매핑된 음악을 재생함으로써, 입력된 영상의 분위기에 적절한 음악을 보다 용이하게 검색할 수 있다.According to an embodiment of the present invention, by searching for an image similar to the input image through the feature information and playing music mapped to the searched image, it is easier to search for music suitable for the atmosphere of the input image.

본 발명의 일실시예에 따르면, 영상과 매핑된 음악을 소셜 네트워크 상의 인맥들과 공유함으로써 사용자의 음악 재생 장치에 영상의 분위기에 적절한 음악을 저장하고 있지 않더라도 영상의 분위기에 적절한 음악을 원하는 시기에 추출할 수 있다.According to an embodiment of the present invention, the music mapped with the image is shared with the contacts on the social network so that the user can select the music appropriate for the mood of the image even if the music is not stored in the mood of the image on the music player. Can be extracted.

도 1은 일실시예에 따른 음악 재생 장치의 동작을 설명하기 위한 도면이다.
도 2는 일실시예에 따른 음악 재생 장치의 세부 구성을 도시한 도면이다.
도 3은 일실시예에 따른 내용 기반 검색 방법을 통해 비교하는 과정을 설명하기 위해 도시한 도면이다.
도 4은 일실시예에 따른 음악 재생 방법을 설명하기 위해 도시한 플로우 차트이다.
도 5는 일실시예에 따른 제1 영상에 따른 제2 영상의 유사도에 따라 정렬한 도면이다.1 is a diagram illustrating an operation of a music reproducing apparatus according to an exemplary embodiment.
2 is a diagram illustrating a detailed configuration of a music reproducing apparatus according to an embodiment.
3 is a diagram illustrating a comparison process through a content-based search method according to an exemplary embodiment.
4 is a flowchart illustrating a method of reproducing music according to an exemplary embodiment.
FIG. 5 is a diagram illustrating alignment according to similarity of a second image according to a first image, according to an exemplary embodiment; FIG.

이하, 본 발명의 실시예에 따른 영상의 피쳐 정보를 이용한 음악 재생 방법 및 장치에 대해 첨부된 도면을 참조하여 상세하게 설명한다. 한편, 이하에 설명되는 실시예들은 예시적인 것에 불과하며, 이러한 실시예들로부터 다양한 변형이 가능하다.Hereinafter, a method and apparatus for reproducing music using feature information of an image according to an embodiment of the present invention will be described in detail with reference to the accompanying drawings. On the other hand, the embodiments described below are merely illustrative, and various modifications are possible from these embodiments.

도 1은 일실시예에 따른 음악 재생 장치의 동작을 설명하기 위한 도면이다.1 is a diagram illustrating an operation of a music reproducing apparatus according to an exemplary embodiment.

도 1을 참고하면, 음악 재생 장치(101)는 제1 영상을 포함할 수 있다. 음악 재생 장치(101)는 제1 영상을 촬영할 수 있는 장치일 수 있다. 일례로, 음악 재생 장치(101)는 카메라, 휴대폰 등의 장치일 수 있다. 이때, 제1 영상은 음악 재생 장치를 통해 실시간으로 촬영된 영상, 음악 재생 장치(101)의 메모리에 저장된 영상, 또는 웹 상에 포함된 영상 등을 포함할 수 있다. 그리고, 음악 재생 장치(101)는 제1 영상의 피쳐 정보를 추출할 수 있다.Referring to FIG. 1, the music reproducing apparatus 101 may include a first image. The music reproducing apparatus 101 may be a device capable of capturing the first image. For example, the music reproducing apparatus 101 may be a device such as a camera or a mobile phone. In this case, the first image may include an image captured in real time by the music reproducing apparatus, an image stored in the memory of the music reproducing apparatus 101, or an image included on the web. The music reproducing apparatus 101 may extract feature information of the first image.

데이터베이스(102)는 사용자에 의해 미리 등록한 제2 영상을 포함할 수 있다. 제2 영상은 복수 개로 존재할 수 있다. 그리고, 제2 영상은 각각 서로 다른 음악과 매핑된 상태일 수 있다. 이 때, 제2 영상은 제1 영상의 분위기와 유사한 음악이 매핑될 수 있다. 여기서, 제2 영상은 사용자 또는 사용자의 소셜 네트워크 상의 인맥에 의해 매핑될 수 있다. 그리고, 제2 영상은 미리 피쳐 정보가 추출될 수 있다.The database 102 may include a second image registered in advance by the user. There may be a plurality of second images. Each of the second images may be mapped to different music. In this case, music similar to the atmosphere of the first image may be mapped to the second image. Here, the second image may be mapped by a user or a social network on the user's social network. The feature information may be extracted in advance in the second image.

그리고, 음악 재생 장치(101)는 제1 영상의 피쳐 정보를 이용하여 사용자에게 추천할 제2 영상을 결정할 수 있다. 이 때, 음악 재생 장치(101)는 내용 기반 검색 방법을 통해 제1 영상의 피쳐 정보와 유사한 제2 영상의 피쳐 정보를 검색할 수 있다.The music reproducing apparatus 101 may determine a second image to be recommended to the user by using feature information of the first image. In this case, the music reproducing apparatus 101 may search for feature information of the second image that is similar to the feature information of the first image through a content-based search method.

검색 결과에 따라, 음악 재생 장치(101)는 데이터베이스(102)에 저장된 제2 영상을 유사도가 높은 순으로 정렬할 수 있다. 이 때, 유사도는 제1 영상의 피쳐 정보 및 제2 영상의 피쳐 정보가 중복되는 정도를 나타낸다. 그리고, 정렬된 제2 영상은 사용자에게 추천될 수 있다. According to the search result, the music reproducing apparatus 101 may sort the second images stored in the database 102 in the order of high similarity. In this case, the degree of similarity indicates a degree in which feature information of the first image and feature information of the second image overlap. The aligned second image may be recommended to the user.

그리고, 음악 재생 장치(101)는 데이터베이스(102)에 제1 영상의 피쳐 정보와 유사한 피쳐 정보를 가지는 제2 영상이 존재하지 않는 경우, 사용자가 미리 업로드한 제2 영상을 저장하고 있는 제1 서버(103)로부터 제2 영상을 검색할 수 있다. The music reproducing apparatus 101 stores the first server storing the second image uploaded in advance by the user when the second image having the feature information similar to the feature information of the first image does not exist in the database 102. The second image may be retrieved from the 103.

또한, 데이터베이스(102)에 제1 영상의 피쳐 정보와 유사한 피쳐 정보를 가지는 제2 영상이 존재하지 않는 경우, 음악 재생 장치(101)는 소셜 네트워크의 인맥이 등록한 제2 영상을 저장하고 있는 제2 서버(104)로부터 제2 영상을 검색할 수 있다.In addition, when the second image having feature information similar to the feature information of the first image does not exist in the database 102, the music reproducing apparatus 101 stores the second image storing the second image registered by the social network. The second image may be retrieved from the server 104.

그리고, 사용자에게 추천된 제2 영상은 사용자에 의해 적어도 하나가 선택될 수 있다. 음악 재생 장치(101)는 선택된 제2 영상에 매핑된 음악을 재생하여 사용자에게 제공할 수 있다.At least one second image recommended to the user may be selected by the user. The music reproducing apparatus 101 may reproduce the music mapped to the selected second image and provide the same to the user.

도 2는 일실시예에 따른 음악 재생 장치의 세부 구성을 도시한 도면이다.2 is a diagram illustrating a detailed configuration of a music reproducing apparatus according to an embodiment.

도 2를 참고하면, 음악 재생 장치(201)은 피쳐 정보 추출부(202), 영상 결정부(203), 음악 제공부(204)로 구성될 수 있다.Referring to FIG. 2, the music reproducing apparatus 201 may include a feature information extracting unit 202, an image determining unit 203, and a music providing unit 204.

피쳐 정보 추출부(202)는 제1 영상을 입력 받을 수 있다. 그리고, 피쳐 정보 추출부(202)는 제1 영상의 피쳐 정보를 추출할 수 있다. 이 때, 제1 영상의 피쳐 정보는 데이터베이스에 저장된 제2 영상의 피쳐 정보를 검색하기 위해 추출하는 정보일 수 있다. 즉, 제1 영상의 피쳐 정보는 제1 영상의 피사체 분류, 상기 제1 영상의 색상, 화소, 피사체의 외각선, 상기 외각선의 중심점, 피사체의 거리 정보 등을 포함할 수 있다.The feature information extractor 202 may receive a first image. The feature information extractor 202 may extract feature information of the first image. In this case, the feature information of the first image may be information extracted to search for feature information of the second image stored in the database. That is, the feature information of the first image may include a subject classification of the first image, a color of the first image, a pixel, an outer line of the subject, a center point of the outer line, and distance information of the subject.

일례로, 제1 영상의 피쳐 정보는 제1 영상에 찍힌 피사체의 분류 정보를 포함할 수 있다. 다시 말해, 제1 영상의 피쳐 정보는 인물, 자연, 건물, 동물, 식물, 풍경 등으로 제1 영상의 피사체를 분류한 피쳐 정보를 포함할 수 있다.For example, the feature information of the first image may include classification information of a subject photographed on the first image. In other words, the feature information of the first image may include feature information that classifies a subject of the first image by a person, nature, a building, an animal, a plant, a landscape, and the like.

또한, 제1 영상의 피쳐 정보는 제1 영상에 포함된 RGB, CMYD 칼라 등의 색상 및 화소에 대한 피쳐 정보를 포함할 수 있다.In addition, the feature information of the first image may include feature information about colors and pixels of RGB, CMYD color, and the like included in the first image.

또한, 제1 영상의 피쳐 정보는 제1 영상에 찍힌 인물, 식물, 건물, 동물 등의 피사체에 대한 외곽선의 피쳐 정보를 포함할 수 있다. 이 때, 음악 재생 장치는 외곽선을 이용하여 제1 영상에 포함된 피사체의 크기, 피사체의 거리 정보를 파악할 수 있다.In addition, the feature information of the first image may include feature information of an outline of a subject such as a person, a plant, a building, or an animal taken on the first image. In this case, the music reproducing apparatus may grasp the size of the subject and the distance information of the subject included in the first image by using the outline.

또한, 제1 영상의 피쳐 정보는 수직선과 수평선을 이용하여 외곽선의 중심점을 설정하고, 외곽선의 중심점을 기준으로 제1 영상의 피사체의 위치를 결정하는 피쳐 정보를 포함할 수 있다.In addition, the feature information of the first image may include feature information for setting a center point of an outline using vertical lines and a horizontal line, and determining a position of a subject of the first image based on the center point of the outline.

또한, 제1 영상의 피쳐 정보는 피사체의 외각선 및 외각선의 중심점을 이용하여 제1 영상을 획득한 위치에서부터 피사체가 위치한 거리의 정보를 추출할 수 있는 피쳐 정보를 포함할 수 있다.In addition, the feature information of the first image may include feature information for extracting information on the distance from which the subject is located from the position at which the first image is acquired using the outer line of the subject and the center point of the outer line.

그리고, 피쳐 정보 추출부(202)는 제1 영상에 포함된 피사체의 외각선 크기에 따라 피사체의 외곽선으로 구성된 프레임, 피사체의 외곽선을 기준으로 상하좌우 위치로 프레임을 나눌 수 있다. 그리고, 피쳐 정보 추출부(202)는 각각의 프레임에 위치한 영상의 피쳐 정보를 추출하여 하나의 피쳐 정보로 통합함으로써 제1 영상의 피쳐 정보를 추출할 수 있다. The feature information extractor 202 may divide the frame into upper, lower, left, and right positions based on the outline of the subject and the frame of the subject according to the size of the outline of the subject included in the first image. The feature information extractor 202 may extract feature information of an image located in each frame and integrate the feature information of the first image by integrating the feature information into one feature information.

그리고, 제1 영상의 피쳐 정보는 위에 제시된 피쳐 정보 이외에도 다양한 정보를 이용하여 제1 영상의 피쳐 정보를 추출할 수 있으며, 이에 한정하여 해석해서는 안 된다.In addition, the feature information of the first image may extract feature information of the first image using various information in addition to the above-described feature information, and the present invention should not be limited to this.

영상 결정부(203)는 제1 영상의 피쳐 정보를 이용하여 데이터베이스 또는 서버에 포함된 제2 영상의 피쳐 정보를 검색하여 사용자에게 제2 영상을 추천할 수 있다. 이 때, 제2 영상의 피쳐 정보는 제1 영상의 피쳐 정보를 추출하는 방법과 유사한 방법을 통해 미리 계산된 정보일 수 있다.The image determiner 203 may search for feature information of the second image included in the database or the server by using the feature information of the first image and recommend the second image to the user. In this case, the feature information of the second image may be information calculated in advance through a method similar to a method of extracting feature information of the first image.

그리고, 제2 영상은 사용자의 선택에 따라 서로 다른 음악이 매핑되어 있을 수 있다. 보다 구체적으로, 제2 영상은 사용자가 제2 영상과 함께 듣고 싶은 음악을 직접 선택하여 설정해 놓은 것일 수 있다. 이렇게, 사용자가 직접 제2 영상과 음악을 선택하여 데이터베이스에 저장하는 방법은 사용자로부터 새롭게 추가되는 영상에 대응하여 추천되는 결과에 대한 신뢰도를 향상시킬 수 있다. 또한, 이러한 방법은 사용자로 하여금 특정한 영상을 통해 느끼는 감정에 음악을 함께 함으로써 더욱 풍부한 감성을 느낄 수 있다.In addition, different music may be mapped to the second image according to a user's selection. More specifically, the second image may be set by directly selecting music to be listened to together with the second image. In this manner, the method in which the user directly selects the second image and the music and stores the same in the database may improve the reliability of the result recommended for the newly added image. In addition, such a method may allow the user to feel a richer emotion by sharing music with the emotions felt through a specific image.

영상 결정부(203)는 제1 영상의 피쳐 정보를 이용하여 복수로 존재하는 제2 영상의 피쳐 정보를 유사도에 따라 검색할 수 있다. 그래서, 영상 결정부(203)는 데이터베이스에 저장된 제2 영상의 피쳐 정보 또는 서버에 저장된 제2 영상의 피쳐 정보를 검색할 수 있다. 이 때, 영상 결정부(203)는 내용 기반 검색 방법을 이용하여 각각의 피쳐 정보를 비교할 수 있다. 내용 기반 검색 방법은 도 3을 참고하여 상세하게 설명하기로 한다.The image determiner 203 may search for feature information of a plurality of second images based on similarity using feature information of the first image. Thus, the image determiner 203 may search for feature information of the second image stored in the database or feature information of the second image stored in the server. In this case, the image determiner 203 may compare each feature information by using a content-based search method. The content-based search method will be described in detail with reference to FIG. 3.

일례로, 영상 결정부(203)는 사용자에 의해 미리 설정된 데이터베이스의 제2 영상의 피쳐 정보를 검색할 수 있다. 이렇게 데이터베이스를 이용하여 제1 영상을 검색하는 방법은 사용자가 직접 선택하여 데이터베이스에 저장한 것으로 제1 영상에 대한 유사도가 높으며, 제2 영상에 대응하여 제공되는 음악의 신뢰도가 높을 수 있다. For example, the image determiner 203 may retrieve feature information of the second image of the database preset by the user. In this way, a method of searching for the first image using the database is directly selected by the user and stored in the database. The similarity with respect to the first image may be high, and the reliability of music provided corresponding to the second image may be high.

다른 일례로, 영상 결정부(203)는 사용자에 의해 제2 영상이 업로드 되어 있는 서버를 이용하여 제2 영상의 피쳐 정보를 검색할 수 있다. 서버를 이용하여 제2 영상을 검색하는 방법은 제1 영상의 피쳐 정보와 일치하는 제2 영상이 데이터베이스에 존재하지 않는 경우 및 제1 영상에 대하여 서로 다른 사용자가 저장해 놓은 제2 영상의 대응하는 음악을 제공받고자 할 때 사용할 수 있다. As another example, the image determiner 203 may search for feature information of the second image by using a server to which the second image is uploaded by the user. A method of searching for a second image by using a server may include a case in which a second image corresponding to feature information of the first image does not exist in a database, and corresponding music of a second image stored by different users for the first image. Can be used when you want to be provided.

즉, 음악 재생 장치는 영상의 추천에 따라 사용자 또는 서로 다른 사용자의 영상 및 이에 연관된 음악을 감상할 수 있다.That is, the music reproducing apparatus may listen to the image of the user or different users and the music associated with the recommendation of the image.

그리고, 영상 결정부(203)는 유사도에 따라 제2 영상을 정렬할 수 있다. 그리고 영상 결정부(203)는 정렬된 제2 영상을 사용자에게 추천할 수 있다. 이 때, 영상 결정부(203)는 유사도가 높은 순으로 정렬함으로써 사용자에게 신뢰도 높은 제2 영상을 추천할 수 있다.The image determiner 203 may align the second image based on the similarity. The image determiner 203 may recommend the aligned second image to the user. In this case, the image determiner 203 may recommend the second image having high reliability to the user by sorting in the order of high similarity.

추천한 제2 영상이 사용자로부터 선택되는 경우, 음악 제공부(204)는 선택된 제2 영상에 대응하는 음악을 사용자에게 제공할 수 있다.When the recommended second image is selected by the user, the music provider 204 may provide music corresponding to the selected second image to the user.

이하에서는, 내용 기반 검색 방법을 이용하여 각각의 피쳐 정보를 비교하는 과정을 도 3을 참고하여 설명하기로 한다.Hereinafter, a process of comparing each feature information using a content-based search method will be described with reference to FIG. 3.

도 3은 일실시예에 따른 내용 기반 검색 방법을 통해 비교하는 과정을 설명하기 위해 도시한 도면이다.3 is a diagram illustrating a comparison process through a content-based search method according to an exemplary embodiment.

도 3을 참고하면, 내용 기반 검색 방법은 제1 영상의 피쳐 정보(302)를 기준으로 데이터베이스(301)에 저장된 제2 영상의 피쳐 정보(303)에서 제1 영상의 피쳐 정보(302)와 유사한 제2 영상을 검색하는 방법일 수 있다. 이 때, 데이터베이스(301)는 매핑된 제2 영상과 매핑된 음악의 연관 정보를 포함할 수 있다. 일례로, 제2 영상은 하나의 영상에 대응하여 하나의 음악과 매핑 될 수 있다. 또한, 제2 영상은 하나의 제2 영상에 대응하여 하나 이상의 음악이 매핑 될 수 이다. 그리고, 데이터베이스(301)에 포함된 제2 영상은 각각의 고유한 피쳐 정보를 포함할 수 있다.Referring to FIG. 3, the content-based search method is similar to the feature information 302 of the first image in the feature information 303 of the second image stored in the database 301 based on the feature information 302 of the first image. The method may be a method of searching for a second image. In this case, the database 301 may include related information of the mapped second image and the mapped music. For example, the second image may be mapped to one music corresponding to one image. In addition, one or more pieces of music may be mapped to one second image. In addition, the second image included in the database 301 may include respective unique feature information.

그래서, 내용 기반 검색 방법은 제1 영상의 피쳐 정보 및 데이터베이스에 저장된 제2 영상의 피쳐 정보에 속해있는 내용 정보를 기반으로 제1 영상 및 제2 영상의 유사도를 검색하는 방법일 수 있다. 일례로, 내용 기반 검색 방법은 제1 영상 및 데이터베이스에 저장된 제2 영상에서 추출할 수 있는 색상, 질감, 모양, 피사체의 외곽선 등의 속성 정보 또는 메타데이터를 이용할 수 있다. 그리고, 내용 기반 검색 방법은 속성 정보 또는 메타데이터의 피쳐 정보를 통해 제1 영상 및 제2 영상의 중복성을 비교할 수 있다. 그래서, 내용 기반 검색 방법은 중복성이 높은 제2 영상을 검색할 수 있다. 즉, 유사도는 제1 영상 및 제2 영상의 피쳐 정보에서 중복되는 정보가 많은 것을 의미할 수 있다. Thus, the content-based search method may be a method of searching for similarity between the first image and the second image based on the content information belonging to the feature information of the first image and the feature information of the second image stored in the database. For example, the content-based retrieval method may use attribute information or metadata such as color, texture, shape, outline of the subject, and the like, which may be extracted from the first image and the second image stored in the database. In addition, the content-based search method may compare the redundancy of the first image and the second image through attribute information or feature information of metadata. Thus, the content-based search method may search for a second image having high redundancy. That is, the similarity may mean that there is much information overlapping in the feature information of the first image and the second image.

내용 기반 검색 방법을 이용하면, 사용자는 제1 영상과 가장 유사한 제2 영상을 제공받을 수 있다.By using the content-based search method, the user may be provided with a second image most similar to the first image.

이하에서는, 제2 영상을 이용하여 음악을 재생하는 방법을 도 4를 참고하여 설명하기로 한다.Hereinafter, a method of playing music using the second image will be described with reference to FIG. 4.

도 4는 일실시예에 따른 음악 재생 방법을 설명하기 위해 도시한 플로우 차트이다.4 is a flowchart illustrating a method of reproducing music according to an exemplary embodiment.

도 4를 참고하면, 음악 재생 방법은 제1 영상의 피쳐 정보와 제2 영상의 피쳐 정보를 통해 사용자에게 추천할 가장 유사한 제2 영상을 결정할 수 있다. 그리고, 음악 재생 방법은 추천한 제2 영상이 사용자로부터 선택되어 제2 영상에 매핑된 음악을 제공할 수 있는 새로운 멀티미디어 앨범 추천 및 재생하는 방법일 수 있다.Referring to FIG. 4, the music reproduction method may determine the second image most similar to the user through feature information of the first image and feature information of the second image. The music playback method may be a method of recommending and playing a new multimedia album in which the recommended second video is selected by the user and can provide music mapped to the second video.

단계(401)에 따르면, 음악 재생 장치는 제1 영상을 입력받아, 피쳐 정보를 추출할 수 있다. 제1 영상의 피쳐 정보를 추출하는 이유는 내용 기반 검색을 위해 추출하는 것일 수 있다.According to step 401, the music reproducing apparatus may receive the first image and extract feature information. The reason for extracting feature information of the first image may be to extract for content-based search.

단계(402)에 따르면, 음악 재생 장치는 내용 기반 검색 방법을 제1 영상의 피쳐 정보와 가장 유사한 제2 영상을 검색할 수 있다. 이 때, 내용 기반 검색 방법은 제1 영상의 피쳐 정보와 제2 영상의 피쳐 정보의 중복되는 내용을 검색할 수 있다.In operation 402, the music reproducing apparatus may search for a second image that is most similar to feature information of the first image, using a content-based searching method. In this case, the content-based search method may search for overlapping content of feature information of the first image and feature information of the second image.

단계(403)에 따르면, 음악 재생 장치는 내용 기반 검색 방법을 통해 제1 영상에서 가장 유사한 제2 영상을 결정하고, 유사도가 높은 순으로 영상을 정렬할 수 있다. 그리고, 음악 재생 장치는 정렬된 제2 영상을 사용자에게 추천할 수 있다. In operation 403, the music reproducing apparatus may determine a second image that is most similar to the first image through a content-based retrieval method, and arrange the images in order of high similarity. The music reproducing apparatus may recommend the aligned second image to the user.

단계(404)에 따르면, 음악 재생 장치는 추천된 제2 영상이 사용자에 의해 하나 이상 선택될 수 있다. 그리고, 음악 재생 장치는 사용자로부터 선택된 제2 영상과 제2 영상에 매핑되어 있는 음악을 사용자에게 제공할 수 있다.According to step 404, the music reproducing apparatus may select one or more recommended second images by the user. The music reproducing apparatus may provide the user with music mapped to the second image and the second image selected by the user.

본 발명의 실시 예에 따른 방법들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.The methods according to embodiments of the present invention may be implemented in the form of program instructions that can be executed through various computer means and recorded in a computer-readable medium. The computer-readable medium may include program instructions, data files, data structures, and the like, alone or in combination. The program instructions recorded on the medium may be those specially designed and constructed for the present invention or may be available to those skilled in the art of computer software.

이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.As described above, the present invention has been described by way of limited embodiments and drawings, but the present invention is not limited to the above embodiments, and those skilled in the art to which the present invention pertains various modifications and variations from such descriptions. This is possible.

그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.Therefore, the scope of the present invention should not be limited to the described embodiments, but should be determined by the equivalents of the claims, as well as the claims.

201: 음악 재생 장치
202: 피쳐 정보 추출부
203: 영상 추천부
204: 음악 제공부201: music player
202: feature information extraction unit
203: video recommendation unit
204: music provider

Claims (14)

음악 재생 장치에 입력된 제1 영상의 피쳐 정보를 추출하는 단계;
상기 제1 영상의 피쳐 정보와 음악 재생 장치의 데이터베이스에 저장된 제2 영상들 각각의 피쳐 정보를 비교하여 사용자에게 추천할 제2 영상들을 결정하는 단계; 및
상기 추천된 제2 영상들 중 사용자가 선택한 제2 영상에 매핑된 음악을 제공하는 단계
를 포함하는 음악 재생 방법.Extracting feature information of the first image input to the music reproducing apparatus;
Comparing feature information of the first image with feature information of each of the second images stored in the database of the music reproducing apparatus, and determining second images to be recommended to the user; And
Providing music mapped to the second image selected by the user among the recommended second images.
Music playback method comprising a. 제1항에 있어서,
상기 제1 영상의 피쳐 정보를 추출하는 단계는,
상기 데이터베이스를 통해 내용 기반 검색을 수행하기 위한 상기 제1 영상의 피쳐 정보를 추출하는 음악 재생 방법.The method of claim 1,
Extracting feature information of the first image may include:
And extracting feature information of the first image for performing a content-based search through the database. 제2항에 있어서,
상기 제1 영상의 피쳐 정보를 추출하는 단계는,
상기 제1 영상의 피사체 분류, 상기 영상의 색상, 화소, 피사체의 외각선, 상기 외각선의 중심 무게, 피사체의 거리 정보 중 하나 이상의 피쳐 정보를 추출하는 음악 재생 방법.3. The method of claim 2,
Extracting feature information of the first image may include:
And extracting at least one feature information of a subject classification of the first image, a color of the image, a pixel, an outer line of the subject, a center weight of the outer line, and distance information of the subject. 제1항에 있어서,
상기 제2 영상들을 결정하는 단계는,
상기 제2 영상을 유사도가 높은 순으로 정렬하여 사용자에게 추천하는 음악 재생 방법.The method of claim 1,
Determining the second images,
The music playback method of recommending to the user by arranging the second image in the order of high similarity. 제1항에 있어서,
상기 제2 영상들을 결정하는 단계는,
데이터베이스 내에 상기 제1 영상과 유사한 제2 영상이 존재하지 않는 경우, 상기 제2 영상이 업로드 된 서버에 접속하여 사용자에게 추천할 제2 영상을 결정하는 음악 재생 방법.The method of claim 1,
Determining the second images,
And when there is no second video similar to the first video in the database, determining a second video to recommend to the user by accessing a server to which the second video is uploaded. 제6항에 있어서,
상기 음악 재생 장치는,
상기 사용자가 음악과 매핑된 제2 영상을 업로드한 서버로부터 제2 영상을 다운로드하는 음악 재생 방법.The method according to claim 6,
The music playback device,
And downloading the second image from the server to which the user uploaded the second image mapped with the music. 제7항에 있어서,
상기 서버는,
상기 서버를 상기 사용자의 소셜 네트워크 상의 인맥과 공유하는 음악 재생 방법.8. The method of claim 7,
The server comprises:
Sharing the server with a social network on the user's social network. 음악 재생 장치에 입력된 제1 영상의 피쳐 정보를 추출하는 피쳐 정보 추출부;
상기 제1 영상의 피쳐 정보와 음악 재생 장치의 데이터베이스에 저장된 제2 영상들 각각의 피쳐 정보를 비교하여 사용자에게 추천할 제2 영상들을 결정하는 영상 결정부;
상기 추천된 제2 영상들 중 사용자가 선택한 제2 영상에 매핑된 음악을 제공하는 음악 제공부
를 포함하는 음악 재생 장치.A feature information extracting unit which extracts feature information of the first image input to the music reproducing apparatus;
An image determination unit comparing the feature information of the first image with the feature information of each of the second images stored in the database of the music reproducing apparatus and determining second images to be recommended to the user;
A music provider for providing music mapped to the second image selected by the user among the recommended second images.
Music playback device comprising a. 제8항에 있어서,
상기 피쳐 정보 추출부는,
상기 데이터베이스를 통해 내용 기반 검색을 수행하기 위한 상기 제1 영상의 피쳐 정보를 추출하는 음악 재생 장치.9. The method of claim 8,
The feature information extraction unit,
And extracting feature information of the first image for performing a content-based search through the database. 제9항에 있어서,
상기 피쳐 정보 추출부는,
상기 제1 영상의 피사체 분류, 상기 영상의 색상, 화소, 피사체의 외각선, 상기 외각선의 중심 무게, 피사체의 거리 정보 중 하나 이상의 피쳐 정보를 추출하는 음악 재생 장치.10. The method of claim 9,
The feature information extraction unit,
And at least one feature information of a subject classification of the first image, a color of the image, a pixel, an outer line of the subject, a center weight of the outer line, and distance information of the subject. 제8항에 있어서,
상기 영상 추천부는,
상기 제2 영상을 유사도가 높은 순으로 정렬하여 사용자에게 추천하는 음악 재생 장치.9. The method of claim 8,
The video recommendation unit,
A music playback device for recommending to the user by arranging the second images in the order of high similarity. 제8항에 있어서,
상기 영상 추천부는,
데이터베이스 내에 상기 제1 영상과 유사한 제2 영상이 존재하지 않는 경우, 상기 제2 영상이 업로드 된 서버에 접속하여 사용자에게 추천할 제2 영상을 결정하는 음악 재생 장치.9. The method of claim 8,
The video recommendation unit,
And a second image similar to the first image does not exist in the database, and determines a second image to be recommended to the user by accessing a server to which the second image is uploaded. 제12항에 있어서,
상기 음악 재생 장치는,
상기 사용자가 음악과 매핑된 제2 영상을 업로드한 서버로부터 제2 영상을 다운로드하는 음악 재생 장치.The method of claim 12,
The music playback device,
And a second image downloaded from a server to which the user uploaded a second image mapped with music. 제13항에 있어서,
상기 서버는,
상기 서버를 상기 사용자의 소셜 네트워크 상의 인맥과 공유하는 음악 재생 장치.14. The method of claim 13,
The server comprises:
And share the server with a social network on the user's social network.
KR1020120103439A 2012-09-18 2012-09-18 Music play method using feature information of picture and the terminal KR20140037440A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120103439A KR20140037440A (en) 2012-09-18 2012-09-18 Music play method using feature information of picture and the terminal

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120103439A KR20140037440A (en) 2012-09-18 2012-09-18 Music play method using feature information of picture and the terminal

Publications (1)

Publication Number Publication Date
KR20140037440A true KR20140037440A (en) 2014-03-27

Family

ID=50646247

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120103439A KR20140037440A (en) 2012-09-18 2012-09-18 Music play method using feature information of picture and the terminal

Country Status (1)

Country Link
KR (1) KR20140037440A (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023054950A1 (en) * 2021-09-30 2023-04-06 삼성전자주식회사 Electronic apparatus and control method therefor

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070009338A (en) * 2005-07-15 2007-01-18 (주)첫눈 Image search method and apparatus considering a similarity among the images
KR20080011036A (en) * 2006-07-28 2008-01-31 가부시끼가이샤 도시바 Image recording and playing system and image recording and playing method
US20080256100A1 (en) * 2005-11-21 2008-10-16 Koninklijke Philips Electronics, N.V. System and Method for Using Content Features and Metadata of Digital Images to Find Related Audio Accompaniment
KR20100109728A (en) * 2009-04-01 2010-10-11 엘지전자 주식회사 Mobile terminal and method of providing recommended music using same
KR20110085829A (en) * 2010-01-19 2011-07-27 한국전자통신연구원 Social media contents sharing apparatus and method
KR20110125458A (en) * 2010-05-13 2011-11-21 한남대학교 산학협력단 A similar video search system through object detection information and a method thereof
KR20110133714A (en) * 2010-06-07 2011-12-14 엘지전자 주식회사 Mobile terminal and image display method
KR20120080891A (en) * 2011-01-10 2012-07-18 (주)펄서스 테크놀러지 Method and system for co-working between music service and sns service

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070009338A (en) * 2005-07-15 2007-01-18 (주)첫눈 Image search method and apparatus considering a similarity among the images
US20080256100A1 (en) * 2005-11-21 2008-10-16 Koninklijke Philips Electronics, N.V. System and Method for Using Content Features and Metadata of Digital Images to Find Related Audio Accompaniment
KR20080011036A (en) * 2006-07-28 2008-01-31 가부시끼가이샤 도시바 Image recording and playing system and image recording and playing method
KR20100109728A (en) * 2009-04-01 2010-10-11 엘지전자 주식회사 Mobile terminal and method of providing recommended music using same
KR20110085829A (en) * 2010-01-19 2011-07-27 한국전자통신연구원 Social media contents sharing apparatus and method
KR20110125458A (en) * 2010-05-13 2011-11-21 한남대학교 산학협력단 A similar video search system through object detection information and a method thereof
KR20110133714A (en) * 2010-06-07 2011-12-14 엘지전자 주식회사 Mobile terminal and image display method
KR20120080891A (en) * 2011-01-10 2012-07-18 (주)펄서스 테크놀러지 Method and system for co-working between music service and sns service

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023054950A1 (en) * 2021-09-30 2023-04-06 삼성전자주식회사 Electronic apparatus and control method therefor

Similar Documents

Publication Publication Date Title
CN112565825B (en) Video data processing method, device, equipment and medium
KR101535579B1 (en) Augmented reality interaction implementation method and system
KR102027670B1 (en) Spectator relational video production device and production method
EP2732383B1 (en) Methods and systems of providing visual content editing functions
US20200314482A1 (en) Control method and apparatus
CN103686344B (en) Strengthen video system and method
US10088983B1 (en) Management of content versions
US11974038B2 (en) Display control device and display control method for image capture by changing image capture settings
US11277668B2 (en) Methods, systems, and media for providing media guidance
JP6337183B1 (en) Text extraction device, comment posting device, comment posting support device, playback terminal, and context vector calculation device
US11243995B2 (en) Method for atomically tracking and storing video segments in multi-segment audio-video compositions
KR20140037440A (en) Music play method using feature information of picture and the terminal
JP5879403B1 (en) Information processing apparatus, information processing method, and information processing program
US11283945B2 (en) Image processing apparatus, image processing method, program, and recording medium
KR101684577B1 (en) Method of providing tag-based list of content and apparatus for the same
CN106488299B (en) Video file display method and system
KR20190131544A (en) Server device, and computer program used for it
JP6808157B2 (en) Server equipment and computer programs used for it
JP2018153624A (en) Server device and computer program used in the same
US20240170024A1 (en) Information processing apparatus, information processing method, and non-transitory computer-readable storage medium
US20230148007A1 (en) System and method for playing audio corresponding to an image
WO2023058101A1 (en) Moving-image reproduction assistance system, moving-image reproduction assistance method, and program
JP2023141808A (en) Moving image distribution device
KR20220037644A (en) Method for sharing videos, apparatus and system using the same
KR20130123033A (en) System and method for providing link service of music and art

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application