KR20150112048A - music-generation method based on real-time image - Google Patents
music-generation method based on real-time image Download PDFInfo
- Publication number
- KR20150112048A KR20150112048A KR1020140034772A KR20140034772A KR20150112048A KR 20150112048 A KR20150112048 A KR 20150112048A KR 1020140034772 A KR1020140034772 A KR 1020140034772A KR 20140034772 A KR20140034772 A KR 20140034772A KR 20150112048 A KR20150112048 A KR 20150112048A
- Authority
- KR
- South Korea
- Prior art keywords
- background music
- time image
- motif
- color
- real
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 60
- 230000033764 rhythmic process Effects 0.000 claims abstract description 28
- 230000033001 locomotion Effects 0.000 claims abstract description 22
- 230000008451 emotion Effects 0.000 claims abstract description 14
- 238000004519 manufacturing process Methods 0.000 claims description 19
- 230000004044 response Effects 0.000 claims description 7
- 230000001131 transforming effect Effects 0.000 claims description 7
- 239000003086 colorant Substances 0.000 claims description 6
- 235000019646 color tone Nutrition 0.000 claims 2
- 230000000007 visual effect Effects 0.000 abstract description 7
- 238000006243 chemical reaction Methods 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 12
- 238000013461 design Methods 0.000 description 10
- 238000013507 mapping Methods 0.000 description 8
- 230000003796 beauty Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000007796 conventional method Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000005259 measurement Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000002194 synthesizing effect Effects 0.000 description 2
- 230000009897 systematic effect Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 208000035239 Synesthesia Diseases 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000036651 mood Effects 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
Landscapes
- Business, Economics & Management (AREA)
- Tourism & Hospitality (AREA)
- Health & Medical Sciences (AREA)
- Economics (AREA)
- General Health & Medical Sciences (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- Physics & Mathematics (AREA)
- General Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Telephone Function (AREA)
- Image Analysis (AREA)
- Electrophonic Musical Instruments (AREA)
Abstract
Description
본 발명은 실시간 비디오 소니피케이션을 이용하여 음악 생성 모바일 어플리케이션을 기반으로 하는 배경음악 생성방법에 관한 것이다.BACKGROUND OF THE
디지털 이미지를 사운드로 바꾸는 연구는 오래 전부터 행해져 왔다. 이전의 소니피케이션(sonification) 관련 선행 연구의 경우, 영상(image)을 음향(sound)으로 변환할 때에 동작추적(motion tracking)을 이용해 얻은 데이터를 통해 소리를 만들거나, 색의 세가지 요소인 Hue, Saturation, Brightness data를 통해 사운드를 만들어 냈었다. 이러한 연구에서는 데이터를 사운드로 치환하는 것 자체에 중점을 두어 음악적인 미의 추구보다는 그 매핑 자체가 의미를 지녔다. Research into converting digital images into sound has long been done. In previous studies related to sonification, when converting image to sound, we made sound through data obtained by motion tracking, or by using three elements of color, Hue , Saturation, and Brightness data. In this study, the mapping itself is meaningful rather than pursuing musical beauty, with emphasis on replacing data with sound.
또한 많은 수의 예술가들이 음악을 제작하는 데 있어서 소니피케이션(sonification)을 이용하였는데 그러한 방법 중에는 반음계를 활용하여 이미지의 색상과 음악을 매핑하거나 이미지와 시간 도메인간의 관계를 이용하여 음악을 만드는 방법도 있었다. In addition, many artists have used sonification in their music production, such as using the chromatic scale to map the color and music of an image, or to make music using the relationship between images and time domains there was.
그리고 종래의 매핑 방법을 통한 소니피케이션 기법과 더불어 음악 자체의 생성을 위한 다양한 작곡 또는 생성방법 들이 다양하게 제안 되어져 왔다. 그 예로, 대한민국 등록특허 제10-0762079호에서는 행들(rows)과 열들(columns)에 소정의 옥타브 범위에 해당하는 톤(tone, 음높이)들을 순차적으로 배열하고 각각의 행과 열의 교차지점에 열에 대응되는 톤이 생성될 확률값을 배치한 톤 데이터 테이블을 이용하는 자동 음악 작곡방법을 제안한다.In addition to the Sony mapping technique through the conventional mapping method, various compositions or methods for generating music itself have been proposed in various ways. For example, Korean Patent Registration No. 10-0762079 sequentially arranges tones (tone) corresponding to a predetermined octave range in rows and columns, and corresponds to columns at the intersections of the respective rows and columns A tone data table in which a probability value for generating a tone to be generated is arranged.
즉, 상기 종래의 발명은 입력 신호에 응답하여 임의의 톤(tone)을 출력하는 단계, 출력된 톤과 톤 데이터 테이블을 이용하여 다음에 생성될 톤을 결정하는 단계 및 다음 입력 신호에 응답하여 다음에 생성될 톤을 출력하는 단계를 포함하는 것을 특징으로 한다. 여기서 행에 배치된 톤들은 이전에 생성된 톤을 나타내고, 열들에 배치된 톤들은 다음에 생성될 톤을 나타낸다That is, the above conventional method includes the steps of outputting a certain tone in response to an input signal, determining a tone to be generated next using the output tone and tone data table, And outputting a tone to be generated in the tone generator. Where the tones placed in the row represent previously generated tones, and the tones placed in the columns represent the tone to be generated next
그러나, 이와 같은 종래의 발명은 사용자 단말기로부터 발생되는 타이핑 신호나 특정 신호에 따라 음악이 자동으로 작곡되고, 단순히 음조(tone) 테이블을 매핑하여 음악을 작곡 또는 생성한다는 점에서, 실시간 영상에 알맞도록 다양하고 깊이 있는 배경 음악을 생성하여 제공하기가 어렵다는 문제점이 있다.However, according to the conventional art, music is automatically composed according to a typing signal or a specific signal generated from a user terminal, and a music table is created or mapped by simply mapping a tone table. There is a problem that it is difficult to generate and provide a variety of deep background music.
상술한 문제를 해결하고자 하는 본 발명의 과제는 실시간으로 영상의 색상과 형태를 분석하고 사용자의 움직임 속도를 측정하여, 사용자가 시각적으로 경험하고 있는 상황에 맞게 음악 모티프 데이타베이스(musical motif database)로부터 적절한 모티프들을 찾아 연속적으로 연결함으로써 실시간 영상에 알맞는 배경음악을 생성하는 방법을 제공하고자 함이다.An object of the present invention to solve the above-mentioned problems is to analyze the color and shape of an image in real time, to measure a movement speed of a user, to measure a movement speed of a user from a musical motif database And to provide a method of generating background music suitable for a real-time image by continuously searching for appropriate motifs.
상술한 과제를 해결하고자 하는 본 발명의 제1 특징은 (a) 모바일 장치의 움직임 속도를 측정하고, 상기 측정된 속도에 따라 상기 모바일 장치가 촬영된 실시간 영상에 대응되는 배경음악의 리듬(rhythm)을 결정하는 단계; (b) 상기 모바일 장치가 미리 저장된 인간 감정에서 우울함(gloomy), 활기참(cheerful) 및 고요함(silent)에 대응하여 색조, 채도 및 명도값에 따라 분류된 다수의 색상 그룹의 화성(harmony) 패턴에서, 상기 실시간 영상으로부터 추출된 대표 색상값에 따라 상기 화성 패턴 중 어느 하나를 상기 실시간 영상에 대응되는 배경음악의 화성(harmony)으로 결정하는 단계; (c) 상기 실시간 영상을 퓨리에 변환하여 생성된 형태 정보를 이용하여, 다수의 주파수 대역의 음량 크기의 비율을 산출하고 상기 실시간 영상에 대응되는 배경음악의 음조(tone)를 결정하는 단계; 및 (d) 상기 결정된 리듬과 화성에 따라 상기 모바일 디바이스의 모티프 DB로부터 하나의 음악 모티프를 선택하고, 상기 결정된 음조에 따른 이콸라이저(equalizer) 값으로 상기 음악 모티프를 연속적으로 재생하는 단계를 포함한다.According to a first aspect of the present invention, there is provided a method for measuring a moving speed of a mobile device, the method comprising the steps of: (a) measuring a moving speed of the mobile device; ; (b) in a harmony pattern of a plurality of color groups classified according to hue, saturation, and brightness values in response to gloomy, cheerful and silent in a previously stored human emotion, Determining one of the Mars patterns as a harmony of background music corresponding to the real time image according to a representative color value extracted from the real time image; (c) calculating a ratio of a volume magnitude of a plurality of frequency bands using the type information generated by Fourier transforming the real-time image, and determining a tone of background music corresponding to the real-time image; And (d) selecting one music motif from the motif DB of the mobile device according to the determined rhythm and harmony, and continuously reproducing the music motif with an equalizer value according to the determined tone .
여기서, 상기 (a) 단계에서, 상기 움직임 속도는 상기 모바일 장치에 내장된 GPS 및/또는 모션센서로부터 측정되는 것이 바람직하고, 상기 (a) 단계에서, 상기 측정된 속도에 따라 미리 디자인된 다수의 비트 중 어느 하나를 선택하여 상기 실시간 영상에 대응되는 배경음악의 리듬으로 결정하는 것이 바람직하다.Preferably, in the step (a), the movement speed is measured from a GPS and / or a motion sensor built in the mobile device, and in the step (a) Bit image and determine the rhythm of the background music corresponding to the real-time image.
또한, 바람직하게는 상기 (b) 단계는, 상기 우울함을 회색계열 또는 채도 및 명도가 낮은 붉은 계열로 하는 색상과, 상기 활기참을 채도 및 명도가 높은 붉은 계열 또는 채도 및 명도가 높은 푸른 계열로 하는 색상과, 상기 고요함을 낮은 푸른 계열 또는 흰색과 검은색으로 하는 색상으로 분류하고, 각각의 색상에 따른 색조, 명도 및 채도 값이 결정되어 상기 색상 그룹을 형성하는 것일 수 있다.Preferably, the step (b) further comprises a step of selecting a color having a gray series or a red series having a low saturation and lightness and a color having a high saturation and a high saturation or a blue series having a high saturation and high lightness Color, and the hue may be classified into a low blue color or a color that is white and black, and the hue, brightness, and saturation values according to each color are determined to form the color group.
또한, 상기 색상 그룹은 각각에 5개의 화성 패턴으로 구성된 것이 바람직하고, 상기 (c) 단계는, 상기 실시간 영상을 퓨리에 변환하여 퓨리에 영상을 생성하는 단계; 상기 퓨리에 영상에서 중심으로부터 서로 다른 반경을 갖는 5개의 원형 섹터로 구분하는 단계; 각각의 원형 섹터별 주파수 에너지 비율을 산출하고, 상기 주파수 에너지 비율에 따라 미리 구분된 5개의 주파수 대역의 음량 크기를 산출하는 단계; 상기 산출된 각 음량 크기에 따라 상기 실시간 영상에 대응되는 배경음악의 음조(tone)를 결정하는 단계를 포함하는 것이 바람직하다.Preferably, each of the color groups is composed of five Mars patterns, and the step (c) includes the steps of: generating a Fourier image by Fourier transforming the real time image; Dividing the Fourier image into five circular sectors having different radii from the center; Calculating a frequency energy ratio of each of the circular sectors and calculating a volume magnitude of five frequency bands previously classified according to the frequency energy ratio; And determining a tone of the background music corresponding to the real-time image according to the calculated volume magnitude.
더하여, 상기 5개의 주파수 대역은, 60Hz, 230Hz, 910Hz, 3.6KHz 및 14KHz 인 것이 바람직하고, 상기 (d) 단계에서, 상기 모티프 DB는, 리듬과 화성에 따라 분류되고, 8마디로 이루어진 모티프 다수개의 모티프로 구성되며, 각 모티프는 4마디 마다 개별적으로 독립되어 디자인된 것이 바람직하며, 상기 모티프가 연속적으로 재생되는 경우, 최소한 4마디의 모티프가 종료된 후, 다른 모티프로 변경되어 재생되는 것이 바람직하다.
Preferably, the five frequency bands are 60 Hz, 230 Hz, 910 Hz, 3.6 KHz and 14 KHz. In the step (d), the motif DB is classified according to rhythm and harmony, It is preferable that each motif is independently designed for each of four segments. If the motif is continuously reproduced, it is preferable that at least four motifs are changed to another motif and then reproduced Do.
그리고 본 발명의 제2 특징은 (a) 배경음악 생성 어플리케이션의 카메라 촬영을 실행하고, 촬영되는 실시간 영상을 배경음악 생성 서버로 전송하는 단계; (b) 모바일 장치의 움직임 속도 값을 측정하는 단계; (c) 상기 배경음악 생성서버가 상기 모바일 속도 값을 수신받고, 상기 속도 값에 따라 수신된 상기 실시간 영상에 대응되는 배경음악의 리듬(rhythm)을 결정하는 단계; (d) 상기 배경음악 생성서버가 미리 저장된 인간 감정에서 우울함(gloomy), 활기참(cheerful) 및 고요함(silent)에 대응하여 색조, 채도 및 명도값에 따라 분류된 다수의 색상 그룹의 화성(harmony) 패턴에서, 상기 실시간 영상으로부터 추출된 대표 색상값에 따라 상기 화성 패턴 중 어느 하나를 상기 실시간 영상에 대응되는 배경음악의 화성(harmony)으로 결정하는 단계; (e) 상기 배경음악 생성서버가 상기 실시간 영상을 퓨리에 변환하여 생성된 형태 정보를 이용하여, 다수의 주파수 대역의 음량 크기의 비율을 산출하고 상기 실시간 영상에 대응되는 배경음악의 음조(tone)를 결정하는 단계; (f) 상기 배경음악 생성서버가 상기 결정된 리듬과 화성에 따라 상기 모바일 디바이스의 모티프 DB로부터 하나의 음악 모티프를 선택하고, 상기 결정된 음조에 따른 이콸라이저(equalizer) 값으로 상기 음악 모티프가 재생되도록 배경음악을 생성하는 단계; 및 (g) 상기 생성된 배경음악 모티프를 상기 모바일 장치로 전송하여 배경음악을 실시간으로 재생하는 단계를 포함한다.According to a second aspect of the present invention, there is provided a method for generating a background music, the method comprising: (a) executing a camera shot of a background music generation application; (b) measuring a motion velocity value of the mobile device; (c) receiving, by the background music production server, the mobile speed value and determining a rhythm of the background music corresponding to the received real time image according to the speed value; (d) the background music generation server generates a harmony of a plurality of color groups classified according to hue, saturation, and brightness values in response to gloomy, cheerful, and silent in a previously stored human emotion, Determining one of the Mars patterns as a harmony of background music corresponding to the real-time image according to a representative color value extracted from the real-time image; (e) the background music production server calculates the ratio of the volume magnitudes of the plurality of frequency bands using the shape information generated by Fourier transforming the real-time image, and calculates a tone of the background music corresponding to the real- Determining; (f) the background music production server selects one musical motif from the motif DB of the mobile device according to the determined rhythm and harmony, and sets the musical motif to be reproduced as an equalizer value according to the determined pitch Generating music; And (g) transmitting the generated background music motif to the mobile device to reproduce background music in real time.
여기서, 상기 (c) 단계에서, 상기 측정된 속도에 따라 미리 디자인된 다수의 비트 중 어느 하나를 선택하여 상기 실시간 영상에 대응되는 배경음악의 리듬으로 결정하는 것이 바람직하고, 상기 (d) 단계는, 상기 우울함을 회색계열 또는 채도 및 명도가 낮은 붉은 계열로 하는 색상과, 상기 활기참을 채도 및 명도가 높은 붉은 계열 또는 채도 및 명도가 높은 푸른 계열로 하는 색상과, 상기 고요함을 낮은 푸른 계열 또는 흰색과 검은색으로 하는 색상으로 분류하고, 각각의 색상에 따른 색조, 명도 및 채도 값이 결정되어 상기 색상 그룹을 형성하는 것이 바람직하다.In the step (c), it is preferable to select one of a plurality of pre-designed bits according to the measured speed to determine the rhythm of the background music corresponding to the real time image, and the step (d) A color of which the depression is a gray system or a system of low saturation and low brightness, and a system of the above-mentioned system in which the above-mentioned liveliness is made into a red system with high saturation and high brightness or a system with high saturation and high brightness, And a black color, and a color tone, a brightness and a saturation value according to each color are determined to form the color group.
또한, 상기 색상 그룹은 각각에 5개의 화성 패턴으로 구성된 것이 바람직하다. 상기 (e) 단계는, 상기 실시간 영상을 퓨리에 변환하여 퓨리에 영상을 생성하는 단계; 상기 퓨리에 영상에서 중심으로부터 서로 다른 반경을 갖는 5개의 원형 섹터로 구분하는 단계; 각각의 원형 섹터별 주파수 에너지 비율을 산출하고, 상기 주파수 에너지 비율에 따라 미리 구분된 5개의 주파수 대역의 음량 크기를 산출하는 단계; 상기 산출된 각 음량 크기에 따라 상기 실시간 영상에 대응되는 배경음악의 음조(tone)를 결정하는 단계를 포함하는 것이 바람직하다.It is also preferable that each of the color groups is composed of five chemical patterns. The step (e) may include: generating a Fourier image by Fourier transforming the real-time image; Dividing the Fourier image into five circular sectors having different radii from the center; Calculating a frequency energy ratio of each of the circular sectors and calculating a volume magnitude of five frequency bands previously classified according to the frequency energy ratio; And determining a tone of the background music corresponding to the real-time image according to the calculated volume magnitude.
더하여, 바람직하게는 상기 5개의 주파수 대역은, 60Hz, 230Hz, 910Hz, 3.6KHz 및 14KHz 인 것일 수 있고, 상기 (f) 단계에서, 상기 모티프 DB는, 리듬과 화성에 따라 분류되고, 8마디로 이루어진 모티프 다수개의 모티프로 구성되며, 각 모티프는 4마디 마다 개별적으로 독립되어 디자인된 것일 수 있으며, 상기 모티프가 연속적으로 재생되는 경우, 최소한 4마디의 모티프가 종료된 후, 다른 모티프로 변경되어 재생되는 것일 수 있다.In addition, preferably, the five frequency bands may be 60Hz, 230Hz, 910Hz, 3.6KHz and 14KHz, and in the step (f), the motif DB is classified according to rhythm and harmony, Each of the motifs may be independently designed for each of four segments. When the motifs are continuously reproduced, after at least four motifs are terminated, the motifs are changed to another motif and are reproduced .
이와 같이, 본 발명은 사용자의 실시간 시각적 경험을 색, 형태, 움직임의 분석을 통해 음악적 경험으로 바꾸어 주는 실시간 영상 배경음악 생성 어플리케이션 서비스를 제공한다.As described above, the present invention provides a real-time image background music generation application service that converts a user's real-time visual experience into a musical experience through analysis of color, form, and motion.
그리고, 본 발명은 실시간으로 들어오는 데이터를 종래의 방법처럼 완전히 알고리즘만을 사용해서 '사운드'로 치환하는 것이 아니라, 전문 작곡자가 모티프(motif) 데이타베이스를 미리 디자인하도록 하고, 알고리즘이 실행시 시각적 경험에 어울릴 것으로 추측되는 적절한 모티프들을 선택하게 하여 음악적 미를 지니는 음악을 생성하여 재생하는 방법을 제공하게 된다는 점에서 큰 장점이 있다.In addition, the present invention allows a professional composer to design a motif database in advance, rather than replacing the data coming in in real time with a sound using a completely algorithm just as in the conventional method, It is a great advantage in that it provides a method of generating and reproducing music having musical beauty by selecting appropriate motifs to be considered to be appropriate.
또한, 본 발명은 모티프 데이타베이스와 독립적으로 작용하므로 일반인부터 전문 작곡자까지 본인만의 모티프 데이타베이스를 디자인하고 공유 또는 서비스할 수 있는 확장 가능성을 있고, 이때 모든 모티프간의 연결이 더욱 자연스럽게 되도록 일반인도 쉽게 모티프를 디자인하게 해주는 시스템적인 방법을 제공하는 것도 가능하여, 관련된 다양한 서비스를 제공할 수 있는 장점이 있다.In addition, since the present invention operates independently of the motif database, it is possible to expand the ability to design, share, or service the motif database of the user from the general public to the professional composer. In this case, It is also possible to provide a systematic way to design a motif, which has the advantage of providing various related services.
도 1은 본 발명의 실시예에 따른 모바일 앱 기반의 실시간 영상의 배경음악 생성방법의 흐름을 나타낸 도면이고,
도 2는 본 발명의 실시예에 따른 모바일 앱 기반의 실시간 영상의 배경음악 생성방법의 모식도이고,
도 3은 본 발명의 실시예에 따른 배경음악 생성방법에 적용되는 GPS를 이용한 사용자 움직임 속도 측정 모식도이고,
도 4는 본 발명의 실시예에 따른 모바일 앱 기반의 실시간 영상의 배경음악 생성방법에 적용되는 감정에 따른 색과 화성의 분류를 나타내는 모식도이고,
도 5는 본 발명의 따른 모바일 앱 기반의 실시간 영상의 배경음악 생성방법에 적용되는 영상의 대표색상에 따른 화성 결정의 예시를 나타낸 모식도이고,
도 6은 본 발명의 실시예에 따른 모바일 앱 기반의 실시간 영상의 배경음악 생성방법에 적용되는 음조 결정을 위한 이미지와 퓨리에 변환을 예시한 사진이고,
도 7은 본 발명의 실시예에 따른 모바일 앱 기반의 실시간 영상의 배경음악 생성방법에 적용되는 퓨리에변환 이미지와 배경음악 음조(tone)가 매핑을 나타낸 모식도이고,
도 8은 본 발명의 실시예에 따른 모바일 앱 기반의 실시간 영상의 배경음악 생성방법에 적용되는 한 모티프가 다른 모티프로 이어져 재생되는 과정을 나타내는 모식도이다.FIG. 1 is a flowchart illustrating a method of generating a background music of a real-time image based on a mobile application according to an embodiment of the present invention,
FIG. 2 is a schematic diagram of a method for generating background music of a real-time image based on a mobile app according to an embodiment of the present invention,
3 is a schematic diagram of a user's movement speed measurement using GPS applied to a background music generation method according to an embodiment of the present invention,
FIG. 4 is a schematic diagram illustrating classification of colors and harmony according to emotions applied to a method of generating background music of a real-time image based on a mobile app according to an embodiment of the present invention,
FIG. 5 is a schematic diagram illustrating an example of the determination of a color according to a representative color of an image, which is applied to a background music generation method of a real-time image based on a mobile app according to the present invention,
FIG. 6 is a photograph illustrating an image for Fourier transformation and a Fourier transform applied to a background music generation method of a real-time image based on a mobile application according to an embodiment of the present invention,
FIG. 7 is a schematic diagram showing a mapping between a Fourier transform image and a background music tone applied to a background music generation method of a mobile-app based real-time image according to an embodiment of the present invention,
FIG. 8 is a schematic diagram illustrating a process in which a motif applied to a method of generating a background music of a real-time image based on a mobile app according to an exemplary embodiment of the present invention is played back to other motifs.
본 발명의 이점 및 특징, 그리고 그것을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 통해 설명될 것이다. 그러나 본 발명은 여기에서 설명되는 실시예들에 한정되지 않고 다른 형태로 구체화될 수도 있다. 단지, 본 실시예들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 본 발명의 기술적 사상을 용이하게 실시할 수 있을 정도로 상세히 설명하기 위하여 제공되는 것이다.BRIEF DESCRIPTION OF THE DRAWINGS The advantages and features of the present invention, and how to accomplish it, will be described with reference to the embodiments described in detail below with reference to the accompanying drawings. However, the present invention is not limited to the embodiments described herein but may be embodied in other forms. The embodiments are provided so that those skilled in the art can easily carry out the technical idea of the present invention to those skilled in the art.
도면들에 있어서, 본 발명의 실시예들은 도시된 특정 형태로 제한되는 것이 아니며 명확성을 기하기 위하여 과장된 것이다. 또한 명세서 전체에 걸쳐서 동일한 참조번호로 표시된 부분들은 동일한 구성요소를 나타낸다.In the drawings, embodiments of the present invention are not limited to the specific forms shown and are exaggerated for clarity. Also, the same reference numerals denote the same components throughout the specification.
본 명세서에서 "및/또는"이란 표현은 전후에 나열된 구성요소들 중 적어도 하나를 포함하는 의미로 사용된다. 또한, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 또한, 명세서에서 사용되는 "포함한다" 또는 "포함하는"으로 언급된 구성요소, 단계, 동작 및 소자는 하나 이상의 다른 구성요소, 단계, 동작, 소자 및 장치의 존재 또는 추가를 의미한다.
The expression "and / or" is used herein to mean including at least one of the elements listed before and after. Also, singular forms include plural forms unless the context clearly dictates otherwise. Also, components, steps, operations and elements referred to in the specification as " comprises "or" comprising " refer to the presence or addition of one or more other components, steps, operations, elements, and / or devices.
이하에서 본 발명의 바람직한 실시예를 도면을 참조하여 상세히 설명하기로 한다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the drawings.
도 1은 본 발명의 실시예에 따른 모바일 앱 기반의 실시간 영상의 배경음악 생성방법의 흐름을 나타낸 도면이고, 도 2는 본 발명의 실시예에 따른 모바일 앱 기반의 실시간 영상의 배경음악 생성방법의 모식도이다. FIG. 1 is a flowchart illustrating a method of generating a background music of a real-time image based on a mobile application according to an embodiment of the present invention. FIG. 2 is a flowchart illustrating a method of generating a background music for a real- It is a schematic diagram.
도 1 및 도 2에 나타낸 바와 같이, 본 발명의 실시예에 따른 실시간 영상의 배경음악 생성방법은, (a) 모바일 장치의 움직임 속도를 측정하고, 상기 측정된 속도에 따라 상기 모바일 장치가 촬영된 실시간 영상에 대응되는 배경음악의 리듬(rhythm)을 결정하는 단계(S100); (b) 상기 모바일 장치가 미리 저장된 인간 감정에서 우울함(gloomy), 활기참(cheerful) 및 고요함(silent)에 대응하여 색조, 채도 및 명도값에 따라 분류된 다수의 색상 그룹의 화성(harmony) 패턴에서, 상기 실시간 영상으로부터 추출된 대표 색상값에 따라 상기 화성 패턴 중 어느 하나를 상기 실시간 영상에 대응되는 배경음악의 화성(harmony)으로 결정하는 단계(S200); (c) 상기 실시간 영상을 퓨리에 변환하여 생성된 형태 정보를 이용하여, 다수의 주파수 대역의 음량 크기의 비율을 산출하고 상기 실시간 영상에 대응되는 배경음악의 음조(tone)를 결정하는 단계(S300); 및 (d) 상기 결정된 리듬과 화성에 따라 상기 모바일 디바이스의 모티프 DB로부터 하나의 음악 모티프를 선택하고, 상기 결정된 음조에 따른 이콸라이저(equalizer) 값으로 상기 음악 모티프를 연속적으로 재생하는 단계(S400)를 포함하여 구성된다.As shown in FIGS. 1 and 2, a method for generating a background music of a real-time image according to an embodiment of the present invention includes the steps of (a) measuring a moving speed of a mobile device, Determining a rhythm of the background music corresponding to the real time image (S100); (b) in a harmony pattern of a plurality of color groups classified according to hue, saturation, and brightness values in response to gloomy, cheerful and silent in a previously stored human emotion, (S200) determining any one of the Mars patterns as a harmony of background music corresponding to the real time image according to a representative color value extracted from the real time image; (c) calculating a ratio of the volume magnitudes of the plurality of frequency bands using the type information generated by the Fourier transform of the real time image, and determining a tone of the background music corresponding to the real time image (S300) ; And (d) selecting one musical motif from the motif DB of the mobile device according to the determined rhythm and harmony, and continuously reproducing the musical motif with an equalizer value according to the determined tone (S400) .
이와 같이 본 발명은 사용자가 시각적으로 경험하고 있는 상황을 음악 도메인으로 매핑하여 음악 도메인에서 그 상황을 경험하도록 바꿔주는 모바일 어플리케이션(이하 "앱"이라 한다.)을 이용한 실시간 영상의 배경음악 재생방법이다. 즉, 사용자의 시각적 경험을 추측하기 위해서 스마트폰을 이용하여 카메라로부터 입력되는 실시간 영상과 움직 속도를 검출하여 사용자의 현재 시각적 경험에 어울릴 것으로 판단되는 음악 모티프(musical motif) 들을 미리 디자인한 모티프 데이타베이스(motif database)에서 찾아 연결함으로써 음악을 생성하는 방법을 제안한다.As described above, the present invention is a method for playing background music of a real-time image using a mobile application (hereinafter referred to as "app") in which a situation visually experienced by a user is mapped to a music domain and changed to experience the situation in a music domain . That is, in order to estimate the visual experience of a user, a real-time image and a moving speed inputted from a camera are detected using a smartphone, and a motif database, which preliminarily designes musical motifs judged to match the current visual experience of the user we propose a method to create music by searching and linking in motif database.
그리고 본 발명의 실시예는 리듬(rythem), 화성(harmony) 및 음조(tone)의 세가지 요소는 사용자의 움직 속도와 실시간으로 들어오는 영상의 색상과 형태의 특징을 분석하여 각각 결정된다. In the embodiment of the present invention, the three factors of the rythem, harmony and tone are determined by analyzing the user's moving speed and the color and shape characteristics of the incoming image in real time.
이와 같이 본 발명의 실시예는 세상을 시각으로 아닌 청각으로 경험하게 하며 임의의 사운드가 아닌 전문 작곡자가 일정한 시간 길이를 가지는 음악 조각 (musical pieces)들을 디자인하고 알고리즘이 그 조각들을 맞추게 한다는 점에서 알고리즘이 순간 순간의 사운드를 합성하게 하는 대부분의 종래의 방식과 구별되는 특징이 있다. As described above, the embodiment of the present invention allows the professional composer to design musical pieces having a certain length of time and to make the pieces fit, There is a distinctive feature from most conventional methods for synthesizing the instantaneous sound.
도 2에 나타낸 바와 같이, 본 발명의 실시예에 따른 모바일 앱 기반의 실시간 영상의 배경음악 생성방법의 시스템 플로우를 살펴보면, 실시간 카메라 영상과 GPS 등의 좌표를 분석하여 이에 따른 적절한 음악을 생성한다. 카메라로부터 들어오는 영상으로부터 추출된 대표 색정보(dominant color)는 생성될 음악의 화성을 결정하며, 영상의 퓨리에변환을 통해 추출된 형태 정보는 음악의 톤을 마지막으로 GPS 정보를 통해 검출된 사용자의 이동 속도는 생될 음악의 리듬을 결정하게 된다.
As shown in FIG. 2, a system flow of a background music generation method of a real-time image based on a mobile app according to an embodiment of the present invention analyzes coordinates of a real-time camera image and a GPS, and generates appropriate music accordingly. The dominant color extracted from the image input from the camera determines the harmony of the music to be generated. The morphology information extracted through the Fourier transform of the image is the tone of the music. Finally, The speed determines the rhythm of the music to be produced.
(a) 단계로서(S100), 실시간 영상의 배경음악 리듬을 결정하는 방법을 살펴보면 다음과 같다.As a step (a), a method of determining a background music rhythm of a real-time image will be described as follows (S100).
생성될 음악의 요소 중 리듬을 결정하는 가장 자연적인 요소는 사용자의 움직임 속도라고 할 수 있다. 본 발명의 실시예에서는 생성되는 음악의 리듬은 사용자의 움직임 속도에 의해 결정되는데 이를 위해서 스마트 폰에 탑재된 GPS 등을 이용한다. 도 3 및 [표 1]에 나타낸 바와 같이, 그 빠르기가 5가지 범위로 나누어져 있으며, 측정된 속도에 따라 5가지 종류의 미리 디자인된 비트 중에 한 가지가 결정되어 사용된다. 도 3은 본 발명의 실시예에 따른 배경음악 생성방법에 적용되는 GPS를 이용한 사용자 움직임 속도 측정 모식도이고, [표 1]은 사용자 움직 속도에 따른 배경음악 리듬 결정을 위한 비트 테이블이다.
The most natural factor in determining the rhythm among the elements of music to be created is the user's movement speed. In the embodiment of the present invention, the rhythm of the music to be generated is determined by the movement speed of the user. For this purpose, a GPS or the like mounted on the smartphone is used. As shown in Fig. 3 and Table 1, the speed is divided into five ranges, and one of five kinds of pre-designed bits is determined and used according to the measured speed. FIG. 3 is a schematic diagram of user movement speed measurement using GPS applied to a background music generation method according to an embodiment of the present invention. Table 1 is a bit table for determining a background music rhythm according to a user movement speed.
0 ~ 2
0 to 2
2 ~ 4
2 to 4
4 ~ 6
4 to 6
6 ~ 8
6 to 8
8 ~ 10
8-10
그리고, 본 발명의 실시예에서는 사용자의 속도를 측정하기 위해, 모바일 장치내에 내장된 GPS 장치를 이용하는 것도 가능하고, 모션센서를 통해 모바일 장치의 속도를 측정하는 것도 가능하다. 여기서 모션세선는 자이로센서, 기울기 센서 등을 포함하는 것이 바람직하다. 또한, 모바일 장치는 스마트폰, 테블릿 PC 및 PDA 등 휴대가 용이한 모바일 컴퓨팅 장치면 모두 가능하다.
In the embodiment of the present invention, it is also possible to use the GPS device built in the mobile device to measure the speed of the user, and to measure the speed of the mobile device through the motion sensor. Here, the motion thin line preferably includes a gyro sensor, a tilt sensor, and the like. In addition, the mobile device can be a portable mobile computing device such as a smart phone, a tablet PC, and a PDA.
(b) 단계로서(S200), 실시간 영상의 배경음악 화성(harmony)을 결정하는 방법을 살펴보면 다음과 같다.As a step (b) (S200), a method of determining a background music harmony of a real-time image will be described.
음악의 분위기를 결정하는 대표적인 요소는 화성으로서 이미지 도메인을 구성하는 요소 중 가장 관련된 요소는 색상이라고 할 수 있다. 그러므로 본 발명의 실시예에서 생성되는 음악의 화성은 실시간으로 받는 영상으로부터 추출된 대표 색상 값을 이용하여 결정된다. 인간의 여러 감정을 우울함, 활기참, 고요함 세가지로 나누고, 각각의 감정을 도 4에 나타낸 바와 같이 6개의 색 그룹과 매핑시킨다. 도 4는 본 발명의 실시예에 따른 모바일 앱 기반의 실시간 영상의 배경음악 생성방법에 적용되는 감정에 따른 색과 화성의 분류를 나타내는 모식도이다.A representative element that determines the mood of music is Mars, and the most related element among the elements constituting the image domain is color. Therefore, the harmony of the music generated in the embodiment of the present invention is determined using the representative color value extracted from the image received in real time. Human emotions are divided into three types of depression, livelyness, and quietness, and each emotion is mapped to six color groups as shown in Fig. FIG. 4 is a schematic diagram illustrating classification of colors and harmony according to emotions applied to a method of generating a background music of a real-time image based on a mobile app according to an embodiment of the present invention.
각각의 색 그룹은 5개의 화성 패턴을 지니며 이 화성들 중 하나가 임의로 결정되어 사용된다. [표 2]는 본 발명의 실시예에서 사용되어진 각 감정과 HSB(Hue, Saturation, Brightness) 색 그룹간의 구체적인 매핑 디자인을 보여준다. 이러한 색과 감정간의 매핑 디자인에서 모든 색깔이 반드시 하나의 감정 그룹으로 매핑되도록 디자인한다.
Each color group has five Mars patterns, one of which is arbitrarily determined and used. Table 2 shows a concrete mapping design between each emotion and HSB (Hue, Saturation, Brightness) color group used in the embodiment of the present invention. In a mapping design between these colors and emotions, all colors must be designed to be mapped into a single emotion group.
도 5는 본 발명의 따른 모바일 앱 기반의 실시간 영상의 배경음악 생성방법에 적용되는 영상의 대표색상에 따른 화성 결정의 예시를 나타낸 모식도이다.FIG. 5 is a schematic diagram illustrating an example of the determination of Mars according to a representative color of an image applied to a background music generation method of a real-time image based on a mobile app according to the present invention.
도 5는 실시간으로 들어온 영상의 대표 색상을 파악해서 화성을 결정하는 예를 보여주는 것으로, 이 예제에서 이미지의 대표 색상은 활기찬 분위기에 해당하는 Bright Blue & Green 그룹으로 판별이 되고 이에 따라 그에 속한 5개의 화성 중 하나가 임의로 결정이 되어 음악 생성에 사용되어 진다. 카메라에 비치는 영상의 대표 색상 값이 속하는 범위가 달라질 경우에 다른 범위에 속하는 화성이 사용되게 된다.
FIG. 5 shows an example of determining a representative color of an image input in real time, and in this example, the representative color of the image is identified as a bright blue & green group corresponding to a lively atmosphere. Thus, five One of Mars is arbitrarily determined and used for music production. When the range of the representative color value of the image reflected on the camera is changed, the harmonics belonging to the different range are used.
(C) 단계로서(S300), 실시간 영상의 배경음악 음조(tone)를 결정하는 방법을 살펴보면 다음과 같다.(C) step (S300), a method of determining a background music tone of a real-time image will be described.
도 6은 본 발명의 실시예에 따른 모바일 앱 기반의 실시간 영상의 배경음악 생성방법에 적용되는 음조 결정을 위한 이미지와 퓨리에 변환을 예시한 사진이다. 도 6에 나타낸 바와 같이, 본 발명의 실시예에서는 영상 속 형태(Shape)의 특징을 퓨리에 변환을 이용하여 검출하여 음악의 음조(tone)로 매핑한다. 퓨리에 변환을 통한 영상처리를 하게 되면 도 6과 같은 이미지를 얻게 되는데, 중심부는 저주파 에너지의 양을, 가장자리는 고주파 에너지의 양을 알려주므로 도 6과 같이 뚜렷한 많은 선들로 구성된 영상과 그렇지 않은 (예, 하늘, 바다 등) 영상간 구별을 가능하게 하여 준다.
FIG. 6 is a photograph illustrating an image for Fourier transformation and a Fourier transform applied to a method of generating background music of a real-time image based on a mobile application according to an embodiment of the present invention. As shown in FIG. 6, in the embodiment of the present invention, the feature of the shape in the image is detected using the Fourier transform and is mapped to the tone of the music. When the image processing is performed by the Fourier transform, the image shown in FIG. 6 is obtained. Since the center part indicates the amount of low-frequency energy and the edge indicates the amount of high-frequency energy, the image composed of many distinct lines as shown in FIG. , Sky, sea, etc.).
도 7은 본 발명의 실시예에 따른 모바일 앱 기반의 실시간 영상의 배경음악 생성방법에 적용되는 퓨리에 변환 이미지와 배경음악 음조(tone)가 매핑을 나타낸 모식도이다.FIG. 7 is a schematic diagram illustrating mapping of a Fourier transform image and a background music tone applied to a background music generation method of a real-time image based on a mobile app according to an embodiment of the present invention.
도 7에 나타낸 바와 같이, 중심점을 기준으로 다섯 가지 섹터로 범위를 나눈 다음 각 섹터내의 에너지 값을 각각 합산한 후 그 값의 비율에 의해 실시간으로 생성되는 음악의 60Hz, 230Hz, 910Hz, 3.6KHz, 14KHz 주파수 대역의 음량 크기 비율를 결정하게 함으로써 본 음악 생성 시스템의 이퀄라이저(equalizer) 기능을 수행하게 된다.
As shown in FIG. 7, after dividing the range into five sectors based on the center point, summing the energy values in the respective sectors, and then adding 60Hz, 230Hz, 910Hz, 3.6KHz, By determining the volume magnitude ratio of the 14 KHz frequency band, it performs the equalizer function of the music production system.
(d) 단계로서(S400), 실시간 영상의 각 요소를 배경음악으로 합성 연속 재생하는 방법을 살펴보면 다음과 같다.(d) (S400), a method of synthesizing and continuously reproducing each element of the real-time image as background music will be described.
상술한 바와 같이 리듬, 화성 및 음조 값이 결정되면, 이 세가지 정보를 이용하여 음악을 생성하여 재생하게 된다. 결정된 리듬과 화성 정보에 따라 모티프 데이타베이스(DB)로부터 하나의 음악 모티프가 선택이 되며, 음조(tone) 정보는 선택된 모티프가 재생될 때 이퀄라이저(equalizer)에서 이용된다.When the rhythm, harmony and tone value are determined as described above, music is generated and reproduced using these three pieces of information. One music motif is selected from the motif database (DB) according to the determined rhythm and Mars information, and tone information is used in the equalizer when the selected motif is reproduced.
모티프 데이터베이스는 180개의 8마디로 이루어진 모티프들로 구성되어 있다. 하지만 각각의 모티프는 4마디 마다 독립성을 지니게 디자인 하여 각각의 모티프가 연속적으로 선택되서 재생될 때 반드시 최소한 4마디가 완전히 재생되고 다른 모티프로 바뀔 수 있도록 하였다. 이렇게 함으로써 각 모티프에게 충분한 음악적 특성을 부여함과 동시에 영상이 바뀔 때 음악이 부자연스럽게 끊기는 것을 막고 모티프들이 자연스럽게 연결되서 음악을 생성할 수 있게 하였다.The motif database consists of 180 eight-part motifs. However, each motif is designed to have independence for every four segments, so that when each motif is selected continuously, at least four segments can be completely reproduced and changed to another motif. By doing so, it gives each motif a sufficient musical characteristic and at the same time prevents the music from being cut off unnaturally when the image changes, allowing the motifs to be connected naturally to create music.
음악 생성 시, 다른 모티프로의 변환은 오직 새로 들어온 영상 정보가 기존의 정보와 다르며 그 지속 시간이 일정 시간 이상일 경우로 제한한다. 즉, 모바일 장치의 일시적인 흔들림은 노이즈로 분류하고 음악으로의 매핑을 하지 않음으로써 음악이 부자연스럽게 계속해서 바뀌는 것을 막는다. 도 8은 본 발명의 실시예에 따른 모바일 앱 기반의 실시간 영상의 배경음악 생성방법에 적용되는 한 모티프가 다른 모티프로 이어져 재생되는 과정을 나타내는 모식도이다.
When music is created, the conversion to other motifs is limited to the case where the new image information is different from the existing information and the duration is longer than a certain period of time. That is, temporal shaking of the mobile device is classified as noise and not mapped to music, thereby preventing the music from changing continuously unnaturally. FIG. 8 is a schematic diagram illustrating a process in which a motif applied to a method of generating a background music of a real-time image based on a mobile app according to an exemplary embodiment of the present invention is played back to other motifs.
그리고, 본 발명의 실시예에 또 다른 실시예로서, 모바일 앱 기반의 실시간 영상의 배경음악 생성방법은, (a) 배경음악 생성 어플리케이션의 카메라 촬영을 실행하고, 촬영되는 실시간 영상을 배경음악 생성 서버로 전송하는 단계; (b) 모바일 장치의 움직임 속도 값을 측정하는 단계; (c) 상기 배경음악 생성서버가 상기 모바일 속도 값을 수신받고, 상기 속도 값에 따라 수신된 상기 실시간 영상에 대응되는 배경음악의 리듬(rhythm)을 결정하는 단계; (d) 상기 배경음악 생성서버가 미리 저장된 인간 감정에서 우울함(gloomy), 활기참(cheerful) 및 고요함(silent)에 대응하여 색조, 채도 및 명도값에 따라 분류된 다수의 색상 그룹의 화성(harmony) 패턴에서, 상기 실시간 영상으로부터 추출된 대표 색상값에 따라 상기 화성 패턴 중 어느 하나를 상기 실시간 영상에 대응되는 배경음악의 화성(harmony)으로 결정하는 단계; (e) 상기 배경음악 생성서버가 상기 실시간 영상을 퓨리에 변환하여 생성된 형태 정보를 이용하여, 다수의 주파수 대역의 음량 크기의 비율을 산출하고 상기 실시간 영상에 대응되는 배경음악의 음조(tone)를 결정하는 단계; (f) 상기 배경음악 생성서버가 상기 결정된 리듬과 화성에 따라 상기 모바일 디바이스의 모티프 DB로부터 하나의 음악 모티프를 선택하고, 상기 결정된 음조에 따른 이콸라이저(equalizer) 값으로 상기 음악 모티프가 재생되도록 배경음악을 생성하는 단계; 및 (g) 상기 생성된 배경음악 모티프를 상기 모바일 장치로 전송하여 배경음악을 실시간으로 재생하는 단계를 포함하여 구성된다.(도시하지 않음)In another embodiment of the present invention, a method for generating a background music of a real-time image based on a mobile app includes the steps of: (a) executing a camera shooting of a background music generation application; ; (b) measuring a motion velocity value of the mobile device; (c) receiving, by the background music production server, the mobile speed value and determining a rhythm of the background music corresponding to the received real time image according to the speed value; (d) the background music generation server generates a harmony of a plurality of color groups classified according to hue, saturation, and brightness values in response to gloomy, cheerful, and silent in a previously stored human emotion, Determining one of the Mars patterns as a harmony of background music corresponding to the real-time image according to a representative color value extracted from the real-time image; (e) the background music production server calculates the ratio of the volume magnitudes of the plurality of frequency bands using the shape information generated by Fourier transforming the real-time image, and calculates a tone of the background music corresponding to the real- Determining; (f) the background music production server selects one musical motif from the motif DB of the mobile device according to the determined rhythm and harmony, and sets the musical motif to be reproduced as an equalizer value according to the determined pitch Generating music; And (g) transmitting the generated background music motif to the mobile device to reproduce background music in real time (not shown).
본 발명의 실시예는 도 1의 실시예와 달리, 모바일 장치와 배경음악 생성서버간 인터넷 통신을 이용한 시스템을 이용하는 것으로, 모바일 장치에서 촬영된 영상을 실시간으로 상기 배경음악 생성서버로 전송하고, 배경음악 생성서버에서 상술한 음악 생성방법으로 음악을 생성하여 모바일 장치로 다시 실시간으로 전송하여 상기 모바일 장치에서 상기 음악을 재생하는 방법을 예시한다.The embodiment of the present invention uses a system using Internet communication between a mobile device and a background music production server unlike the embodiment of FIG. 1, and transmits a video shot by a mobile device to the background music production server in real time, A music production server generates music using the above-described music production method, and transmits the music to the mobile device again in real time, thereby reproducing the music in the mobile device.
영상 및 소리 데이터를 인터넷을 통해 실시간을 송수신해야 한다는 점에서 데이터 처리 로드가 많고 데이터 전송속도에 영향을 받게 되지만, 최근 모바일 기기 발달과 인터넷 망의 처리속도가 매우 빨라져 상술한 시스템 및 방법을 적용하기에 충분하고, 배경음악 생성서버를 통해 사용자들에 커뮤니케이션 서비스 등 관련된 다양한 서비스를 용이하게 제공할 수 있다는 점에서 큰 장점이 있다.
The data processing load is large and the data transmission speed is influenced by the fact that the video and sound data must be transmitted and received in real time through the Internet. However, recently, the development of mobile devices and the processing speed of the Internet network are very fast, And a variety of related services such as a communication service can be easily provided to users through a background music production server.
이와 같이, 시각과 청각은 인간은 오감 중 인간의 대부분의 경험을 결정하는 가장 중요한 인지 기관으로 두 기관이 인지하는 것 사이에 서로 연결 부분이 있을 때 생기는 공감각(synesthesia)은 더 나은 경험을 하도록 도와주기 때문에, 본 발명에서는 사용자의 실시간 시각적 경험을 색, 형태, 움직임의 분석을 통해 추측하여 음악적 경험으로 바꾸어 주는 실시간 모바일 어플리케이션 서비스를 제안하는 것이다.As such, vision and hearing are the most important cognitive organs that determine most of human experience in the five senses. The synesthesia that occurs when there is a connection between the two institutions is a better experience Therefore, the present invention proposes a real-time mobile application service in which a real-time visual experience of a user is converted into a musical experience by guessing through color, shape, and motion analysis.
그리고 본 발명은 실시간으로 들어오는 데이터를 완전히 알고리즘만을 사용해서 '사운드'로 치환하는 것이 아니라, 전문 작곡자가 모티프(motif) 데이타베이스를 미리 디자인하도록 하고, 알고리즘이 실행시 시각적 경험에 어울릴 것으로 추측되는 적절한 모티프들을 선택하게 하여 음악적 미를 지니는 음악을 생성하여 재생하는 방법을 제공하게 된다는 점에서 특징이 있다.The present invention allows a professional composer to preliminarily design a motif database instead of replacing real-time incoming data with 'sound' using only a completely algorithm, so that the algorithm is suitable for the visual experience The present invention provides a method of generating and reproducing music having musical beauty by selecting motifs.
또한, 본 발명은 모티프 데이타베이스와 독립적으로 작용하므로 일반인부터 전문 작곡자까지 본인만의 모티프 데이타베이스를 디자인하고 공유 또는 판매하게 할 수 있는 확장 가능성을 지닌다. 이때 모든 모티프간의 연결이 더욱 자연스럽게 되도록 일반인도 쉽게 모티프를 디자인하게 해주는 시스템적인 방법을 제공하는 것도 가능하다.
In addition, since the present invention operates independently from the motif database, it has the possibility of expanding the design, sharing, or selling of the motif database of the user from the general public to the professional composer. At this time, it is possible to provide a systematic method that allows the public to easily design the motif so that the connection between all the motifs becomes more natural.
이상의 설명에서 본 발명은 특정의 실시 예와 관련하여 도시 및 설명하였지만, 특허청구범위에 의해 나타난 발명의 사상 및 영역으로부터 벗어나지 않는 한도 내에서 다양한 개조 및 변화가 가능 하다는 것을 당 업계에서 통상의 지식을 가진 자라면 누구나 쉽게 알 수 있을 것이다.
While the invention has been shown and described with respect to the specific embodiments thereof, it will be understood by those skilled in the art that various changes and modifications may be made without departing from the spirit and scope of the invention as defined by the appended claims. Anyone with it will know easily.
Claims (17)
(b) 상기 모바일 장치가 미리 저장된 인간 감정에서 우울함(gloomy), 활기참(cheerful) 및 고요함(silent)에 대응하여 색조, 채도 및 명도값에 따라 분류된 다수의 색상 그룹의 화성(harmony) 패턴에서, 상기 실시간 영상으로부터 추출된 대표 색상값에 따라 상기 화성 패턴 중 어느 하나를 상기 실시간 영상에 대응되는 배경음악의 화성(harmony)으로 결정하는 단계;
(c) 상기 실시간 영상을 퓨리에 변환하여 생성된 형태 정보를 이용하여, 다수의 주파수 대역의 음량 크기의 비율을 산출하고 상기 실시간 영상에 대응되는 배경음악의 음조(tone)를 결정하는 단계; 및
(d) 상기 결정된 리듬과 화성에 따라 상기 모바일 디바이스의 모티프 DB로부터 하나의 음악 모티프를 선택하고, 상기 결정된 음조에 따른 이콸라이저(equalizer) 값으로 상기 음악 모티프를 연속적으로 재생하는 단계를 포함하는 것을 특징으로 하는 모바일 앱 기반의 실시간 영상의 배경음악 생성방법.
(a) measuring a motion speed of the mobile device, and determining a rhythm of background music corresponding to the photographed live image according to the measured speed;
(b) in a harmony pattern of a plurality of color groups classified according to hue, saturation, and brightness values in response to gloomy, cheerful and silent in a previously stored human emotion, Determining one of the Mars patterns as a harmony of background music corresponding to the real time image according to a representative color value extracted from the real time image;
(c) calculating a ratio of a volume magnitude of a plurality of frequency bands using the type information generated by Fourier transforming the real-time image, and determining a tone of background music corresponding to the real-time image; And
(d) selecting one music motif from the motif DB of the mobile device according to the determined rhythm and harmony, and continuously reproducing the music motif with an equalizer value according to the determined tone A method for creating a background music of a real time image based on a mobile app.
상기 (a) 단계에서,
상기 움직임 속도는 상기 모바일 장치에 내장된 GPS 및/또는 모션센서로부터 측정되는 것을 특징으로 하는 모바일 앱 기반의 실시간 영상의 배경음악 생성방법.
The method according to claim 1,
In the step (a)
Wherein the motion rate is measured from a GPS and / or a motion sensor embedded in the mobile device.
상기 (a) 단계에서,
상기 측정된 속도에 따라 미리 디자인된 다수의 비트 중 어느 하나를 선택하여 상기 실시간 영상에 대응되는 배경음악의 리듬으로 결정하는 것을 특징으로 하는 모바일 앱 기반의 실시간 영상의 배경음악 생성방법.
3. The method of claim 2,
In the step (a)
And selecting one of a plurality of pre-designed bits according to the measured speed to determine the rhythm of the background music corresponding to the real time image.
상기 (b) 단계는,
상기 우울함을 회색계열 또는 채도 및 명도가 낮은 붉은 계열로 하는 색상과, 상기 활기참을 채도 및 명도가 높은 붉은 계열 또는 채도 및 명도가 높은 푸른 계열로 하는 색상과, 상기 고요함을 낮은 푸른 계열 또는 흰색과 검은색으로 하는 색상으로 분류하고, 각각의 색상에 따른 색조, 명도 및 채도 값이 결정되어 상기 색상 그룹을 형성하는 것을 특징으로 하는 모바일 앱 기반의 실시간 영상의 배경음악 생성방법.
4. The method according to any one of claims 1 to 3,
The step (b)
Wherein the depression is a gray color or a color having a low saturation and a low lightness and a color having a high saturation and a high saturation or a blue color having a high saturation and a high lightness, Black, and color tones, brightness, and saturation values according to respective colors are determined to form the color group.
상기 색상 그룹은 각각에 5개의 화성 패턴으로 구성된 것을 특징으로 하는 모바일 앱 기반의 실시간 영상의 배경음악 생성방법.
5. The method of claim 4,
Wherein the color group comprises five Mars patterns in each of the color groups.
상기 (c) 단계는,
상기 실시간 영상을 퓨리에 변환하여 퓨리에 영상을 생성하는 단계;
상기 퓨리에 영상에서 중심으로부터 서로 다른 반경을 갖는 5개의 원형 섹터로 구분하는 단계;
각각의 원형 섹터별 주파수 에너지 비율을 산출하고, 상기 주파수 에너지 비율에 따라 미리 구분된 5개의 주파수 대역의 음량 크기를 산출하는 단계;
상기 산출된 각 음량 크기에 따라 상기 실시간 영상에 대응되는 배경음악의 음조(tone)를 결정하는 단계를 포함하는 것을 특징으로 하는 모바일 앱 기반의 실시간 영상의 배경음악 생성방법.
6. The method of claim 5,
The step (c)
Generating a Fourier image by performing Fourier transform on the real time image;
Dividing the Fourier image into five circular sectors having different radii from the center;
Calculating a frequency energy ratio of each of the circular sectors and calculating a volume magnitude of five frequency bands previously classified according to the frequency energy ratio;
And determining a tone of the background music corresponding to the real-time image according to the calculated volume magnitude.
상기 5개의 주파수 대역은,
60Hz, 230Hz, 910Hz, 3.6KHz 및 14KHz 인 것을 특징으로 하는 모바일 앱 기반의 실시간 영상의 배경음악 생성방법.
The method according to claim 6,
Wherein the five frequency bands include:
60 Hz, 230 Hz, 910 Hz, 3.6 KHz, and 14 KHz.
상기 (d) 단계에서,
상기 모티프 DB는, 리듬과 화성에 따라 분류되고, 8마디로 이루어진 모티프 다수개의 모티프로 구성되며, 각 모티프는 4마디 마다 개별적으로 독립되어 디자인된 것을 특징으로 하는 모바일 앱 기반의 실시간 영상의 배경음악 생성방법.
The method according to claim 1,
In the step (d)
The motif DB is classified according to rhythm and harmony. The motif DB is composed of a plurality of motifs of eight motifs, and each motif is designed independently for each of four segments. Generation method.
상기 모티프가 연속적으로 재생되는 경우, 최소한 4마디의 모티프가 종료된 후, 다른 모티프로 변경되어 재생되는 것을 특징으로 하는 모바일 앱 기반의 실시간 영상의 배경음악 생성방법.
9. The method of claim 8,
And when the motifs are continuously reproduced, after at least four motifs are finished, the motifs are changed to other motifs and reproduced.
(b) 모바일 장치의 움직임 속도 값을 측정하는 단계;
(c) 상기 배경음악 생성서버가 상기 모바일 속도 값을 수신받고, 상기 속도 값에 따라 수신된 상기 실시간 영상에 대응되는 배경음악의 리듬(rhythm)을 결정하는 단계;
(d) 상기 배경음악 생성서버가 미리 저장된 인간 감정에서 우울함(gloomy), 활기참(cheerful) 및 고요함(silent)에 대응하여 색조, 채도 및 명도값에 따라 분류된 다수의 색상 그룹의 화성(harmony) 패턴에서, 상기 실시간 영상으로부터 추출된 대표 색상값에 따라 상기 화성 패턴 중 어느 하나를 상기 실시간 영상에 대응되는 배경음악의 화성(harmony)으로 결정하는 단계;
(e) 상기 배경음악 생성서버가 상기 실시간 영상을 퓨리에 변환하여 생성된 형태 정보를 이용하여, 다수의 주파수 대역의 음량 크기의 비율을 산출하고 상기 실시간 영상에 대응되는 배경음악의 음조(tone)를 결정하는 단계;
(f) 상기 배경음악 생성서버가 상기 결정된 리듬과 화성에 따라 상기 모바일 디바이스의 모티프 DB로부터 하나의 음악 모티프를 선택하고, 상기 결정된 음조에 따른 이콸라이저(equalizer) 값으로 상기 음악 모티프가 재생되도록 배경음악을 생성하는 단계; 및
(g) 상기 생성된 배경음악 모티프를 상기 모바일 장치로 전송하여 배경음악을 실시간으로 재생하는 단계를 포함하는 것을 특징으로 하는 모바일 앱 기반의 실시간 영상의 배경음악 생성방법.
(a) executing a camera shot of a background music generation application and transmitting a real time image to a background music production server;
(b) measuring a motion velocity value of the mobile device;
(c) receiving, by the background music production server, the mobile speed value and determining a rhythm of the background music corresponding to the received real time image according to the speed value;
(d) the background music generation server generates a harmony of a plurality of color groups classified according to hue, saturation, and brightness values in response to gloomy, cheerful, and silent in a previously stored human emotion, Determining one of the Mars patterns as a harmony of background music corresponding to the real-time image according to a representative color value extracted from the real-time image;
(e) the background music production server calculates the ratio of the volume magnitudes of the plurality of frequency bands using the shape information generated by Fourier transforming the real-time image, and calculates a tone of the background music corresponding to the real- Determining;
(f) the background music production server selects one musical motif from the motif DB of the mobile device according to the determined rhythm and harmony, and sets the musical motif to be reproduced as an equalizer value according to the determined pitch Generating music; And
(g) transmitting the generated background music motif to the mobile device to reproduce background music in real time.
상기 (c) 단계에서,
상기 측정된 속도에 따라 미리 디자인된 다수의 비트 중 어느 하나를 선택하여 상기 실시간 영상에 대응되는 배경음악의 리듬으로 결정하는 것을 특징으로 하는 모바일 앱 기반의 실시간 영상의 배경음악 생성방법.
11. The method of claim 10,
In the step (c)
And selecting one of a plurality of pre-designed bits according to the measured speed to determine the rhythm of the background music corresponding to the real time image.
상기 (d) 단계는,
상기 우울함을 회색계열 또는 채도 및 명도가 낮은 붉은 계열로 하는 색상과, 상기 활기참을 채도 및 명도가 높은 붉은 계열 또는 채도 및 명도가 높은 푸른 계열로 하는 색상과, 상기 고요함을 낮은 푸른 계열 또는 흰색과 검은색으로 하는 색상으로 분류하고, 각각의 색상에 따른 색조, 명도 및 채도 값이 결정되어 상기 색상 그룹을 형성하는 것을 특징으로 하는 모바일 앱 기반의 실시간 영상의 배경음악 생성방법.
The method according to claim 10 or 11,
The step (d)
Wherein the depression is a gray color or a color having a low saturation and a low lightness and a color having a high saturation and a high saturation or a blue color having a high saturation and a high lightness, Black, and color tones, brightness, and saturation values according to respective colors are determined to form the color group.
상기 색상 그룹은 각각에 5개의 화성 패턴으로 구성된 것을 특징으로 하는 모바일 앱 기반의 실시간 영상의 배경음악 생성방법.
13. The method of claim 12,
Wherein the color group comprises five Mars patterns in each of the color groups.
상기 (e) 단계는,
상기 실시간 영상을 퓨리에 변환하여 퓨리에 영상을 생성하는 단계;
상기 퓨리에 영상에서 중심으로부터 서로 다른 반경을 갖는 5개의 원형 섹터로 구분하는 단계;
각각의 원형 섹터별 주파수 에너지 비율을 산출하고, 상기 주파수 에너지 비율에 따라 미리 구분된 5개의 주파수 대역의 음량 크기를 산출하는 단계;
상기 산출된 각 음량 크기에 따라 상기 실시간 영상에 대응되는 배경음악의 음조(tone)를 결정하는 단계를 포함하는 것을 특징으로 하는 모바일 앱 기반의 실시간 영상의 배경음악 생성방법.
13. The method of claim 12,
The step (e)
Generating a Fourier image by performing Fourier transform on the real time image;
Dividing the Fourier image into five circular sectors having different radii from the center;
Calculating a frequency energy ratio of each of the circular sectors and calculating a volume magnitude of five frequency bands previously classified according to the frequency energy ratio;
And determining a tone of the background music corresponding to the real-time image according to the calculated volume magnitude.
상기 5개의 주파수 대역은,
60Hz, 230Hz, 910Hz, 3.6KHz 및 14KHz 인 것을 특징으로 하는 모바일 앱 기반의 실시간 영상의 배경음악 생성방법.
15. The method of claim 14,
Wherein the five frequency bands include:
60 Hz, 230 Hz, 910 Hz, 3.6 KHz, and 14 KHz.
상기 (f) 단계에서,
상기 모티프 DB는, 리듬과 화성에 따라 분류되고, 8마디로 이루어진 모티프 다수개의 모티프로 구성되며, 각 모티프는 4마디 마다 개별적으로 독립되어 디자인 된 것을 특징으로 하는 모바일 앱 기반의 실시간 영상의 배경음악 생성방법.
11. The method of claim 10,
In the step (f)
The motif DB is classified according to rhythm and harmony. The motif DB is composed of a plurality of motifs of eight motifs, and each motif is designed independently for each of four segments. Generation method.
상기 모티프가 연속적으로 재생되는 경우, 최소한 4마디의 모티프가 종료된 후, 다른 모티프로 변경되어 재생되는 것을 특징으로 하는 모바일 앱 기반의 실시간 영상의 배경음악 생성방법.
17. The method of claim 16,
And when the motifs are continuously reproduced, after at least four motifs are finished, the motifs are changed to other motifs and reproduced.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020140034772A KR101657975B1 (en) | 2014-03-25 | 2014-03-25 | music-generation method based on real-time image |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020140034772A KR101657975B1 (en) | 2014-03-25 | 2014-03-25 | music-generation method based on real-time image |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20150112048A true KR20150112048A (en) | 2015-10-07 |
| KR101657975B1 KR101657975B1 (en) | 2016-09-21 |
Family
ID=54343375
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020140034772A KR101657975B1 (en) | 2014-03-25 | 2014-03-25 | music-generation method based on real-time image |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101657975B1 (en) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160132533A1 (en) * | 2014-04-22 | 2016-05-12 | Sk Planet Co., Ltd. | Device for providing image related to replayed music and method using same |
| WO2019132126A1 (en) * | 2017-12-28 | 2019-07-04 | 심재훈 | Operation device for graphic content-based composition service |
| CN110858924A (en) * | 2018-08-22 | 2020-03-03 | 北京优酷科技有限公司 | Video background music generation method and device |
| CN110933406A (en) * | 2019-12-10 | 2020-03-27 | 央视国际网络无锡有限公司 | Objective evaluation method for short video music matching quality |
| US20210118416A1 (en) * | 2018-09-14 | 2021-04-22 | Bellevue Investments Gmbh & Co. Kgaa | Method and system for template based variant generation of hybrid ai generated song |
| CN113473177A (en) * | 2021-05-27 | 2021-10-01 | 北京达佳互联信息技术有限公司 | Music recommendation method and device, electronic equipment and computer readable storage medium |
| CN116504206A (en) * | 2023-03-18 | 2023-07-28 | 深圳市狼视天下科技有限公司 | Camera capable of identifying environment and generating music |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101982345B1 (en) | 2017-07-21 | 2019-05-24 | 주식회사 마인드셋 | Apparatus and method for composing music using artificial intelligence |
| KR102579452B1 (en) | 2018-09-05 | 2023-09-15 | 삼성전자주식회사 | Image display device and operating method for the same |
| KR20230012693A (en) | 2021-07-16 | 2023-01-26 | 주식회사 바로세움 | Sound source manufacturing system using AI |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20010077433A (en) * | 2000-02-02 | 2001-08-20 | 김경미 | Virtual Sound Responsive Landscape System And Visual Display Method In That System |
| KR100762079B1 (en) | 2006-04-25 | 2007-10-01 | 이경의 | Automatic musical composition method and system thereof |
| KR20080082022A (en) * | 2006-12-27 | 2008-09-11 | 한국전자통신연구원 | Likelihood measurement apparatus and method based on music characteristics and music recommendation system and method using its |
| KR20100087945A (en) * | 2009-01-29 | 2010-08-06 | 삼성전자주식회사 | Music interlocking photo-casting service system and method thereof |
| KR20120021315A (en) * | 2012-01-18 | 2012-03-08 | 엔에이치엔(주) | Mobile system for recommending contents automatically, contents recommendation system and contents recommendation method |
-
2014
- 2014-03-25 KR KR1020140034772A patent/KR101657975B1/en active IP Right Grant
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20010077433A (en) * | 2000-02-02 | 2001-08-20 | 김경미 | Virtual Sound Responsive Landscape System And Visual Display Method In That System |
| KR100762079B1 (en) | 2006-04-25 | 2007-10-01 | 이경의 | Automatic musical composition method and system thereof |
| KR20080082022A (en) * | 2006-12-27 | 2008-09-11 | 한국전자통신연구원 | Likelihood measurement apparatus and method based on music characteristics and music recommendation system and method using its |
| KR20100087945A (en) * | 2009-01-29 | 2010-08-06 | 삼성전자주식회사 | Music interlocking photo-casting service system and method thereof |
| KR20120021315A (en) * | 2012-01-18 | 2012-03-08 | 엔에이치엔(주) | Mobile system for recommending contents automatically, contents recommendation system and contents recommendation method |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10339176B2 (en) * | 2014-04-22 | 2019-07-02 | Groovers Inc. | Device for providing image related to replayed music and method using same |
| US20160132533A1 (en) * | 2014-04-22 | 2016-05-12 | Sk Planet Co., Ltd. | Device for providing image related to replayed music and method using same |
| WO2019132126A1 (en) * | 2017-12-28 | 2019-07-04 | 심재훈 | Operation device for graphic content-based composition service |
| CN110858924B (en) * | 2018-08-22 | 2021-11-26 | 阿里巴巴（中国）有限公司 | Video background music generation method and device and storage medium |
| CN110858924A (en) * | 2018-08-22 | 2020-03-03 | 北京优酷科技有限公司 | Video background music generation method and device |
| US11741922B2 (en) * | 2018-09-14 | 2023-08-29 | Bellevue Investments Gmbh & Co. Kgaa | Method and system for template based variant generation of hybrid AI generated song |
| US20210118416A1 (en) * | 2018-09-14 | 2021-04-22 | Bellevue Investments Gmbh & Co. Kgaa | Method and system for template based variant generation of hybrid ai generated song |
| CN110933406B (en) * | 2019-12-10 | 2021-05-14 | 央视国际网络无锡有限公司 | Objective evaluation method for short video music matching quality |
| CN110933406A (en) * | 2019-12-10 | 2020-03-27 | 央视国际网络无锡有限公司 | Objective evaluation method for short video music matching quality |
| CN113473177A (en) * | 2021-05-27 | 2021-10-01 | 北京达佳互联信息技术有限公司 | Music recommendation method and device, electronic equipment and computer readable storage medium |
| CN113473177B (en) * | 2021-05-27 | 2023-10-31 | 北京达佳互联信息技术有限公司 | Music recommendation method, device, electronic equipment and computer readable storage medium |
| CN116504206A (en) * | 2023-03-18 | 2023-07-28 | 深圳市狼视天下科技有限公司 | Camera capable of identifying environment and generating music |
| CN116504206B (en) * | 2023-03-18 | 2024-02-20 | 深圳市狼视天下科技有限公司 | Camera capable of identifying environment and generating music |
Also Published As
| Publication number | Publication date |
|---|---|
| KR101657975B1 (en) | 2016-09-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101657975B1 (en) | music-generation method based on real-time image | |
| CN111836437B (en) | Control method and device for light display | |
| US9918174B2 (en) | Wireless exchange of data between devices in live events | |
| CN109120983B (en) | Audio processing method and device | |
| KR100322347B1 (en) | Method and apparatus for harmonizing colors by harmonic sound and converting sound into colors mutually | |
| CN108040497A (en) | Content based on the performing artist's capture being distributed from strange land automatically generates the audio-video work of coordination | |
| JP2020003537A (en) | Audio extraction device, learning device, karaoke device, audio extraction method, learning method and program | |
| CN110444185B (en) | Music generation method and device | |
| JP4738203B2 (en) | Music generation device for generating music from images | |
| JP5047163B2 (en) | Audio data automatic generation method and user terminal and recording medium using the same | |
| US20080223196A1 (en) | Semiconductor Device Having Music Generation Function, and Mobile Electronic Device, Mobile Telephone Device, Spectacle Instrument, and Spectacle instrument Set Using the Same | |
| KR20090092035A (en) | Method for generating mosaic image and apparatus for the same | |
| KR101896193B1 (en) | Method for converting image into music | |
| US9792835B2 (en) | Proxemic interfaces for exploring imagery | |
| KR20190033482A (en) | METHOD AND APPARATUS FOR CONVERTING COLOR DATA TO MUSIC | |
| CN108960250A (en) | Image is to the conversion method of melody, device and computer readable storage medium | |
| CN111108557A (en) | Method of modifying a style of an audio object, and corresponding electronic device, computer-readable program product and computer-readable storage medium | |
| US20180091234A1 (en) | Terminal device, apparatus and method for transmitting an image | |
| JP2020021098A (en) | Information processing equipment, electronic apparatus, and program | |
| KR101452451B1 (en) | System and method for audio and lighting emotional control using mobile device | |
| KR20070094207A (en) | Method and apparatus for converting image into sound | |
| Pun et al. | Sonification of colour and depth in a mobility aid for blind people | |
| Kawakatsu | Fluctuation analysis for photographs of tourist spots and music extraction from photographs | |
| CN110097618A (en) | A kind of control method, device, vehicle and the storage medium of music animation | |
| US20240127777A1 (en) | Method and apparatus for generating music file, and electronic device and storage medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E90F | Notification of reason for final refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20190701 Year of fee payment: 4 |