KR101819689B1 - Apparatus for changing image into audio source - Google Patents

Apparatus for changing image into audio source Download PDF

Info

Publication number
KR101819689B1
KR101819689B1 KR1020160034913A KR20160034913A KR101819689B1 KR 101819689 B1 KR101819689 B1 KR 101819689B1 KR 1020160034913 A KR1020160034913 A KR 1020160034913A KR 20160034913 A KR20160034913 A KR 20160034913A KR 101819689 B1 KR101819689 B1 KR 101819689B1
Authority
KR
South Korea
Prior art keywords
sound source
unit
atmosphere
user
image
Prior art date
Application number
KR1020160034913A
Other languages
Korean (ko)
Other versions
KR20170110473A (en
Inventor
권혁민
Original Assignee
권혁민
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 권혁민 filed Critical 권혁민
Priority to KR1020160034913A priority Critical patent/KR101819689B1/en
Publication of KR20170110473A publication Critical patent/KR20170110473A/en
Application granted granted Critical
Publication of KR101819689B1 publication Critical patent/KR101819689B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/0008—Associated control or indicating means
    • G10H1/0025—Automatic or semi-automatic music composition, e.g. producing random music, applying rules from music theory or modifying a musical piece
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/0033—Recording/reproducing or transmission of music for electrophonic musical instruments
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155—User input interfaces for electrophonic musical instruments
    • G10H2220/441—Image sensing, i.e. capturing images or optical patterns for musical purposes or musical control purposes

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Strategic Management (AREA)
  • Primary Health Care (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Marketing (AREA)
  • Human Resources & Organizations (AREA)
  • Economics (AREA)
  • Health & Medical Sciences (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Processing Of Color Television Signals (AREA)

Abstract

본 발명은 영상 이미지를 청각화하는 방법에 관한 것으로, 보다 구체적으로 색상과 소리는 모두 물리적으로 주파수를 가진다는 특성에 기초하여 영상 이미지를 구성하는 단위 블록의 평균 픽셀값에 대한 주파수를 판단하고, 판단한 평균 픽셀값에 대한 주파수를 가청 주파수로 변환하여 영상 이미지에 해당하는 음원으로 변환하거나, 영상 이미지를 구성하는 단위 블록들의 대표 색상에 기초하여 영상 이미지에 해당하는 분위기를 판단하고 판단한 분위기에 매핑된 음원을 결정하여 사용자에 제공하는 음원 변환 장치에 관한 것이다.More particularly, the present invention relates to a method of auditing a video image, and more particularly, to a method and apparatus for determining a frequency of an average pixel value of a unit block constituting a video image based on a characteristic that a color and a sound physically have a frequency, A frequency corresponding to the determined average pixel value is converted into an audible frequency and converted into a sound source corresponding to a video image or an atmosphere corresponding to a video image is determined based on representative colors of unit blocks constituting the video image, The present invention relates to a sound source conversion apparatus for determining a sound source and providing it to a user.

Description

영상 이미지를 음원으로 변환하는 장치{Apparatus for changing image into audio source}[0001] APPARATUS FOR CHANGING IMAGE IMAGE TO SOUND [0002]

본 발명은 영상 이미지를 음원으로 변환하는 방법에 관한 것으로, 보다 구체적으로 색상과 소리는 물리적으로 모두 주파수를 가진다는 특성에 기초하여 영상 이미지를 구성하는 단위 블록의 평균 픽셀값에 대한 주파수를 판단하고, 판단한 평균 픽셀값에 대한 주파수를 가청 주파수로 변환하여 영상 이미지에 해당하는 음원으로 변환하거나, 영상 이미지를 구성하는 단위 블록들의 대표 색상에 기초하여 영상 이미지에 해당하는 분위기를 판단하고 판단한 분위기에 매핑된 음원을 결정하여 사용자에 제공하는 음원 변환 장치에 관한 것이다.The present invention relates to a method of converting a video image into a sound source, more specifically, a frequency of an average pixel value of a unit block constituting a video image is determined based on a characteristic that colors and sounds physically have frequencies all together , Converting the frequency of the determined average pixel value into audible frequency and converting it into a sound source corresponding to the image, or determining an atmosphere corresponding to the image based on the representative color of the unit blocks constituting the image, And provides the sound source to a user.

빛과 음은 물리학적으로 볼 때 모두 파동으로 정의될 수 있으며, 파동의 특성인 진폭과 파장(또는 주파수)를 가진다. 따라서, 빛과 음은 시각과 청각에 적용되는 주파수 대역만이 다를 뿐 물리적인 파동의 속성은 동일하다. 사람의 귀는 통상적으로 20Hz~20kHz(20m~20mm의 파장) 주파수 대역의 음향을 인지할 수 있으며, 사람의 눈은 통상적으로 약 792~396nm의 파장을 인지할 수 있다.Both light and sound can be defined as waves in terms of physics, and they have amplitude and wavelength (or frequency), which are characteristics of waves. Therefore, light and sound have the same properties of physical waves only in frequency band applied to visual and auditory. The human ear can typically perceive sound in the 20 Hz to 20 kHz (20 to 20 mm wavelength) frequency band, and the human eye is typically able to perceive a wavelength of about 792 to 396 nm.

빛의 경우에 진폭은 빛의 밝기 즉, 명도(Brightness)를 결정하며, 파장(또는 주파수)은 빛의 색상(Hue)을 결정한다. 음향의 경우에 진폭은 음향의 크기를 결정하며, 파장(또는 주파수)은 음의 높이를 결정한다.In the case of light, the amplitude determines the lightness, or brightness, and the wavelength (or frequency) determines the color hue of the light. In the case of sound, the amplitude determines the magnitude of the sound, and the wavelength (or frequency) determines the pitch of the sound.

이러한 빛과 음의 물리학적 특징에 기초하여 오디오 기기의 LED 레벨 표시기나 음악파일 플레이어의 비주얼라이저와 같이 음향의 진폭과 파장을 빛의 진폭 또는 파장에 대응시켜 음향을 빛으로 변환하려는 시도가 있었다.On the basis of such physical characteristics of light and sound, there has been an attempt to convert the sound amplitude and wavelength to the light amplitude or wavelength to convert the sound into light, such as the LED level indicator of an audio device or the visualizer of a music file player.

그러나 영상 이미지를 단위 블록으로 분할하고 각 단위 블록에 해당하는 단위 음원을 결정하여 영상 이미지를 음원으로 변환하려는 시도가 없었다. 더욱이, 영상 이미지의 단위 블록들이 가지는 대표 색상에 기초하여 사진, 동영상 등의 영상 이미지가 가지는 분위기를 판단하고 판단한 분위기에 해당하는 음원을 제공하는 서비스는 없었다.However, there has been no attempt to divide a video image into unit blocks, determine a unit sound source corresponding to each unit block, and convert the image into a sound source. Furthermore, there is no service for providing a sound source corresponding to the determined atmosphere by judging the atmosphere of a video image such as a photograph, a moving picture, etc. based on the representative color of the unit blocks of the video image.

본 발명은 이러한 요구를 만족하기 위한 것으로, 본 발명이 이루고자 하는 목적은 사용자가 선택한 음원 모드에 따라 영상 이미지를 구성하는 단위 블록의 평균 픽셀값에 대한 주파수에 기초하여 영상 이미지를 음원으로 변환하고 사용자에 제공하는 음원 변환 장치를 제공하는 것이다.The object of the present invention is to provide a method and apparatus for converting a video image into a sound source based on a frequency of an average pixel value of a unit block constituting a video image according to a sound source mode selected by a user, To the sound source conversion apparatus.

본 발명이 이루고자 하는 다른 목적은 영상 이미지를 구성하는 단위 블록의 평균 픽셀값에 대한 주파수를 판단하고 판단한 평균 픽셀값에 대한 주파수를 가청 주파수로 변환하여 각 단위 블록을 단위 음원으로 변환하는 음원 변환 장치를 제공하는 것이다.Another object of the present invention is to provide a sound source conversion apparatus for converting a frequency of an average pixel value of an average pixel value of a unit block constituting a video image into an audible frequency and converting each unit block into a unit sound source, .

본 발명이 이루고자 하는 또 다른 목적은 영상 이미지를 구성하는 단위 블록들의 대표 색상에 따라 영상 이미지에 해당하는 분위기를 판단하여 영상 이미지를 판단한 분위기에 매핑된 음원으로 변환하는 음원 변환 장치를 제공하는 것이다.It is another object of the present invention to provide a sound source conversion device for determining an atmosphere corresponding to a video image according to a representative color of unit blocks constituting a video image and converting the determined atmosphere into a sound source mapped to the determined atmosphere.

본 발명이 이루고자 하는 또 다른 목적은 사용자가 촬영한 사진 또는 그림 작품 등의 영상 이미지를 영상 이미지에 어울리는 음원으로 변경하여 사용자에 제공하며 동시에 분위기에 해당하는 향기를 함께 제공하여 사용자에 심리적 안정 또는 흥미를 부여할 수 있는 음원 변환 장치를 제공하는 것이다.Another object of the present invention is to provide a user with an image corresponding to a video image by changing a video image such as a photograph or a picture piece taken by the user into a sound source suitable for the video image, To a sound source.

본 발명이 이루고자 하는 또 다른 목적은 영상 이미지뿐만 아니라 현재 시각, 계절, 조명 밝기에 어울리는 음원을 사용자에 추천할 수 있는 음원 변환 장치를 제공하는 것이다. It is another object of the present invention to provide a sound source conversion apparatus which can recommend a sound source suitable for not only a video image but also a current time, season, and brightness of illumination.

본 발명의 목적을 달성하기 위하여, 본 발명에 따른 음원 변환 장치는 입력 영상을 단위 블록으로 분할하고 단위 블록의 평균 픽셀값을 계산하는 평균 픽셀값 계산부와, 사용자 명령에 의해 선택된 음원 모드에 따라 평균 픽셀값에 기초하여 음원을 결정하는 음원 결정부와, 결정한 음원을 사용자에 제공하는 음원 제공부를 포함하는 것을 특징으로 한다.In order to accomplish the object of the present invention, a sound source conversion apparatus according to the present invention includes: an average pixel value calculation unit for dividing an input image into unit blocks and calculating an average pixel value of a unit block; A sound source determining unit for determining a sound source based on the average pixel value, and a sound source providing unit for providing the determined sound source to a user.

여기서 사용자 명령에 의해 선택되는 음원 모드는 입력 영상에 해당하는 소리내기 모드와 입력 영상에 해당하는 추천 음악 제공 모드 중 어느 하나인 것을 특징으로 한다. Wherein the sound source mode selected by the user command is one of a sounding mode corresponding to the input image and a recommended music providing mode corresponding to the input image.

바람직하게, 본 발명의 일 실시예에 따른 음원 결정부는 단위 블록의 평균 픽셀값에 해당하는 주파수를 가청주파수 대역의 주파수로 변환하여 단위 블록에 대한 단위 주파수를 생성하는 변환부와, 단위 주파수별로 매핑된 단위 음원을 저장하고 있는 음원 데이터베이스부와, 생성한 단위 주파수에 매핑되어 있는 단위 음원을 음원 데이터베이스부에서 검색하고 검색한 단위 음원을 단위 블록에 해당하는 음원으로 결정하는 결정부를 포함하는 것을 특징으로 한다.Preferably, the sound source determining unit according to an embodiment of the present invention includes a converting unit for converting a frequency corresponding to an average pixel value of a unit block into a frequency of an audible frequency band to generate a unit frequency for a unit block, And a determination unit for searching the sound source database unit for a unit sound source mapped to the generated unit frequency and determining the unit sound source as a sound source corresponding to the unit block, do.

더욱 바람직하게, 본 발명의 일 실시예에 따른 음원 결정부는 다수의 단위 블록에 대한 단위 음원의 조합으로부터 음원 조합을 생성하는 음원 조합 생성부와, 음원 조합에 매핑되어 있는 조합 음원을 음원 데이터베이스에서 검색하여 조합 음원을 설정된 수의 단위 블록에 대한 음원으로 결정하는 조합 음원 결정부를 더 포함하는 것을 특징으로 한다.More preferably, the sound source determination unit according to an embodiment of the present invention includes a sound source combination generator for generating a sound source combination from a combination of unit sound sources for a plurality of unit blocks, and a sound source combination generator for generating a combined sound source mapped to the sound source combination And a combined sound source determining unit for determining the combined sound source as a sound source for the set number of unit blocks.

여기서 평균 픽셀값에 해당하는 주파수(x)는 아래의 수학식(1)에 의해 가청주파수 대역의 주파수(Y)로 변환되며,Here, the frequency (x) corresponding to the average pixel value is converted into the frequency (Y) of the audio frequency band by the following equation (1)

[수학식 1][Equation 1]

Figure 112016028118012-pat00001
Figure 112016028118012-pat00001

여기서 C는 가청주파수 변환 상수이며, xmax와 xmin은 각각 사람이 인지할 수 있는 픽셀값의 최대값과 최소값인 것을 특징으로 한다. Where C is an audio frequency conversion constant, and x max and x min are the maximum and minimum values of pixel values that can be perceived by a human being, respectively.

여기서 음원 제공부는 사용자 명령에 의해 선택된 악기 선택 모드에 따라 음원을 선택된 악기의 음원으로 변경하여 사용자에 제공하는 것을 특징으로 한다.Wherein the sound source providing unit changes the sound source to the sound source of the selected musical instrument according to the musical instrument selection mode selected by the user command and provides the sound source to the user.

바람직하게, 본 발명의 다른 실시예에 따른 음원 결정부는 입력 영상을 구성하는 각 단위 블록의 평균 픽셀값에 매핑된 색상 고유번호에 기초하여 입력 영상을 구성하는 모든 단위 블록의 색상 고유번호를 색상 고유번호별로 카운트하는 카운트부와, 입력 영상을 구성하는 모든 단위 블록이 가지는 색상 고유번호별 카운트 수에 기초하여 출현 빈도가 높은 순서로 대표 색상 고유번호를 결정하는 대표 색상 결정부와, 대표 색상 고유번호들로 이루어진 색상 조합에 매핑되어 있는 분위기를 분위기 데이터베이스에서 검색하여 결정하는 분위기 결정부와, 결정한 분위기에 매핑되어 있는 음원을 추천 음원 데이터베이스에서 검색하여 입력 영상에 대한 추천 음원으로 결정하는 결정부를 포함하는 것을 특징으로 한다. Preferably, the sound source determining unit according to another embodiment of the present invention determines the color unique number of all the unit blocks constituting the input image based on the color unique number mapped to the average pixel value of each unit block constituting the input image, A representative color determining unit for determining a representative color unique number in a descending order of appearance frequency based on the number of counts per color unique number of all the unit blocks constituting the input image; And a determination unit for searching the recommended sound source database for the sound source mapped to the determined atmosphere and determining the sound source as a recommended sound source for the input image .

바람직하게, 본 발명에 따른 음원 변환 장치는 적어도 1개 이상의 향기를 저장하고 저장조와 저장조에 저장되어 있는 향기를 선택적으로 분사시키는 분사부를 구비하는 향기 분사부와, 분위기 결정부에서 결정한 분위기에 매핑되어 있는 향기를 향기 데이터베이스에서 검색하며 향기 분사부를 통해 검색한 향기를 분사하도록 제어하는 향기 분사 제어부를 더 포함하는 것을 특징으로 한다.Preferably, the sound source conversion device according to the present invention includes a flavor injecting part having at least one perfume and a spray part for selectively spraying the perfume stored in the reservoir and the reservoir; And a fragrance injection controller for controlling the fragrance to be sprayed through the fragrance injection part.

본 발명에 따른 음원 변환 장치는 다음과 같은 다양한 효과를 가진다.The sound source conversion apparatus according to the present invention has the following various effects.

첫째, 본 발명에 따른 음원 변환 장치는 영상 이미지를 구성하는 단위 블록의 평균 픽셀값에 대한 주파수를 판단하고 판단한 평균 픽셀값에 대한 주파수를 가청 주파수로 변환함으로써, 영상 이미지를 구성하는 각 단위 블록을 단위 음원으로 변환하여 사용자에 제공할 수 있다.First, the sound source conversion apparatus according to the present invention judges a frequency with respect to an average pixel value of a unit block constituting a video image, and converts the frequency of the determined average pixel value into audible frequency, thereby obtaining each unit block constituting the video image It can be converted into a unit sound source and provided to the user.

둘째, 본 발명에 따른 음원 변환 장치는 영상 이미지를 구성하는 단위 블록들의 대표 색상에 따라 영상 이미지에 해당하는 분위기를 판단하여 영상 이미지를 판단한 분위기에 매핑된 음원으로 변환함으로써, 영상 이미지에 어울리는 음원을 사용자에 제공할 수 있다.Second, the sound source conversion apparatus according to the present invention determines an atmosphere corresponding to a video image according to a representative color of unit blocks constituting a video image, converts the video image into a sound source mapped to the determined atmosphere, To the user.

셋째, 본 발명에 따른 음원 변환 장치는 사용자가 촬영한 사진 또는 그림 작품 등의 영상 이미지로부터 영상 이미지에 어울리는 음원을 결정하고 동시에 분위기에 해당하는 향기를 함께 사용자에 제공함으로써, 영상 이미지를 감상하며 사용자에 심리적 안정 또는 흥미를 부여할 수 있다. Third, the sound source conversion apparatus according to the present invention determines a sound source suited to a video image from a video image such as a photograph or picture work photographed by a user, simultaneously provides a user with a smell corresponding to the ambience, To provide psychological stability or interest.

넷째, 본 발명에 따른 음원 변환 장치는 영상 이미지뿐만 아니라 현재 시각, 계절, 조명 밝기를 고려하여 사용자에 추천할 음원을 결정함으로써, 사용자의 상황 정보를 고려하여 사용자에 만족도 높은 음원 추천이 가능하다.Fourth, the sound source conversion apparatus according to the present invention determines a sound source to be recommended to the user in consideration of not only the image but also the current time, the season, and the brightness of the light, so that it is possible to recommend a sound source satisfying the user in consideration of the user's situation information.

도 1은 본 발명에 따른 음원 변환 시스템을 설명하기 위한 기능 블록도이다.
도 2는 본 발명에 따른 음원 변환 장치를 설명하기 위한 기능 블록도이다.
도 3은 입력 영상 이미지와 입력 영상 이미지를 분할하는 단위 블록의 일 예를 도시하고 있다.
도 4는 본 발명에 따른 음원 결정부의 일 실시예를 설명하기 위한 도면이다.
도 5는 가청 주파수 대역과 빛의 주파수 대역을 도시하고 있으며, 빛의 주파수 대역에서 가정 주파수 대역으로 변환되는 예를 설명하고 있다.
도 6은 본 발명에 따른 음원 결정부의 다른 실시예를 설명하기 위한 도면이다.
도 7은 본 발명에 따른 색상 고유번호의 일 예를 설명하기 위한 도면이다.
도 8은 분위기 데이터베이스(260)의 일 예를 도시하고 있다.
도 9는 추천음악 데이터베이스(280)의 일 예를 도시하고 있다.1 is a functional block diagram for explaining a sound source conversion system according to the present invention.
2 is a functional block diagram for explaining a sound source conversion apparatus according to the present invention.
FIG. 3 shows an example of a unit block for dividing an input image and an input image.
4 is a view for explaining an embodiment of a sound source determination unit according to the present invention.
FIG. 5 illustrates an audio frequency band and a frequency band of light, and an example in which a light frequency band is converted into a home frequency band.
6 is a view for explaining another embodiment of the sound source determination unit according to the present invention.
7 is a view for explaining an example of a color number according to the present invention.
Fig. 8 shows an example of the atmosphere database 260. Fig.
FIG. 9 shows an example of the recommended music database 280. As shown in FIG.

이하 첨부한 도면을 참고로 본 발명에 따른 음원 변환 장치에 대해 보다 구체적으로 설명한다.Hereinafter, a sound source conversion apparatus according to the present invention will be described in more detail with reference to the accompanying drawings.

도 1은 본 발명에 따른 음원 변환 시스템을 설명하기 위한 기능 블록도이다.1 is a functional block diagram for explaining a sound source conversion system according to the present invention.

도 1을 참고로 보다 구체적으로 살펴보면, 음원 변환 장치(100)는 사용자가 소지하는 단말기로 사진 또는 비디오 등의 영상 이미지를 촬영할 수 있는 촬영부를 구비하는데, 예를 들어 스마트폰, PDA 등이 사용될 수 있다.1, the sound source conversion apparatus 100 includes a photographing unit capable of photographing a video image such as a photograph or a video to a terminal possessed by the user. For example, a smart phone, a PDA, or the like can be used have.

음원 변환 장치는 영상 이미지를 촬영하거나 음원 변환 장치에 저장되어 있는 영상 이미지를 단위 블록으로 분할하고, 각 단위 블록의 평균 픽셀값을 계산한다. 그리고 평균 픽셀값에 기초하여 영상 이미지에 어울리는 음원을 결정하고, 결정한 음원을 내부에 저장되어 있는 음원 데이터베이스에서 추출하여 사용자에 제공하거나, 결정한 음원을 네트워크(10)를 통해 음원 제공 서버(20)로부터 수신하여 사용자에 제공한다. 여기서 음원 변환 장치(100)는 음원을 출력할 수 있는 스피커 등의 출력부를 구비하며, 출력부를 통해 결정한 음원을 사용자에 제공한다.The sound source conversion device captures a video image or divides a video image stored in a sound source conversion device into unit blocks, and calculates an average pixel value of each unit block. Then, the sound source matching the video image is determined based on the average pixel value, and the determined sound source is extracted from the sound source database stored therein and provided to the user, or the determined sound source is supplied from the sound source providing server 20 via the network 10 And provides it to the user. Here, the sound source conversion apparatus 100 has an output unit such as a speaker capable of outputting a sound source, and provides the sound source determined through the output unit to the user.

여기서 음원 제공 서버(20)는 음원 변환 장치(100)로 음원을 제공하거나 사용자가 영상 이미지와 함께 재생한 음원을 저장 관리할 수 있는 서버로서, 사용자는 음원 제공 서버(20)에 로그인하여 음원 제공 서버(20)를 이용할 수 있다. Here, the sound source providing server 20 is a server which can provide a sound source to the sound source conversion apparatus 100 or can store and manage a sound source reproduced together with a video image by a user. The user logs in to the sound source providing server 20, The server 20 can be used.

즉, 음원 변환 장치(100)에 음원 데이터베이스가 구비되어 있어 영상 이미지에 어울리는 음원을 직접 음원 변환 장치(100)로부터 사용자에 제공하거나, 영상 이미지에 어울리는 음원을 스트리밍 서비스를 이용하여 음원 제공 서버(20)를 통해 사용자에 제공할 수 있다. That is, a sound source database is provided in the sound source conversion apparatus 100 to provide a sound source suitable for a video image from the sound source conversion apparatus 100 to a user, or a sound source suitable for a video image may be provided to a sound source providing server 20 ) To the user.

바람직하게, 사용자는 음원 제공 서버(20)에 로그인하여 영상 이미지 및 영상 이미지에 해당하는 음원을 음원 제공 서버(20)에 저장하거나 네트워크(10)를 통해 주변 사용자가 소지하는 단말기로 제공하여 사용자가 감상한 영상 이미지와 재생한 음원을 주변 사용자와 공유할 수 있다. 즉, 사용자는 영상 이미지에 대한 정보 또는 현재 시각, 계절, 조명 세기 등의 사용자 상황 정보를 재생한 음원 정보와 함께 음원 제공 서버(20)로 제공하여 등록할 수 있으며, 음원 제공 서버(20)는 주변 사용자가 소지하는 주변 단말기(101)로부터 영상 이미지에 대한 정보 및 주변 사용자의 상황 정보를 수신하는 경우, 일치하는 음원을 데이터베이스에서 검색하여 주변 사용자에 제공할 수 있다.Preferably, the user logs in to the sound source providing server 20 and saves the sound source corresponding to the video image and the video image in the sound source providing server 20 or provides the sound source to the terminal owned by the surrounding user through the network 10, You can share your favorite video images and played sound source with nearby users. In other words, the user can provide the sound source information to the sound source providing server 20 together with the sound source information reproduced by the user, such as information on the video image, current time, season, and illumination intensity, When receiving the information about the video image and the surrounding user's situation information from the peripheral terminal 101 owned by the surrounding user, the matching sound source can be searched from the database and provided to the surrounding users.

이와 같이, 사용자는 영상 이미지와 어울리는 음원을 재생하며, 재생한 음원과 영상 이미지에 대한 정보를 음원 제공 서버(20)에 등록 저장함으로써, 사용자의 친구 등과 같은 주변 사용자에게 사용자가 감상한 영상 이미지 및 어울리는 음원을 함께 공유하며 감상할 수 있다. In this way, the user plays the sound source matching the video image, and registers and stores the information on the sound source and the video image, which are reproduced, in the sound source providing server 20, thereby allowing the surrounding user, such as a friend of the user, You can enjoy listening to a sound source together.

도 2는 본 발명에 따른 음원 변환 장치를 설명하기 위한 기능 블록도이다.2 is a functional block diagram for explaining a sound source conversion apparatus according to the present invention.

도 2를 참고로 보다 구체적으로 살펴보면, 평균 픽셀값 계산부(110)는 영상 이미지가 입력되는 경우 입력 영상 이미지를 단위 블록으로 분할하고 각 단위 블록의 평균 픽셀값을 계산한다. 여기서 단위 블록은 입력 영상 이미지를 음원으로 변환하는 단위로, 단위 블록은 1개의 픽셀로 구성되거나 다수의 픽셀로 구성될 수 있는데 이는 본 발명이 적용되는 분야에 따라 단위 블록의 크기는 서로 상이하게 설정될 수 있다. 도 3은 입력 영상 이미지와 입력 영상 이미지를 분할하는 단위 블록의 일 예를 도시하고 있다.2, the average pixel value calculation unit 110 divides an input image into unit blocks and calculates an average pixel value of each unit block when a video image is input. Here, the unit block is a unit for converting an input image into a sound source, and the unit block may be composed of one pixel or a plurality of pixels. In this case, . FIG. 3 shows an example of a unit block for dividing an input image and an input image.

음원 결정부(130)는 사용자 인터페이스(150)를 통해 입력된 음원 모드에 따라 영상 이미지를 구성하는 단위 블록의 평균 픽셀값으로부터 영상 이미지에 어울리는 음원을 결정한다. 여기서 음원 모드는 입력 영상 이미지의 각 단위 블록에 매핑된 단위 음원을 결정하여 사용자에 제공하는 소리내기 모드와 입력 영상 이미지의 분위기에 어울리는 음원, 즉 음악을 제공하는 음악 제공 모드로, 사용자는 사용자 인터페이스(150)를 통해 음원 모드를 설정하기 위한 사용자 명령을 입력한다. 음원 제공부(170)는 결정한 음원을 출력부(미도시)를 통해 사용자에 출력한다.The sound source determination unit 130 determines a sound source suitable for a video image from an average pixel value of a unit block constituting the video image according to the sound source mode input through the user interface 150. [ Here, the sound source mode is a sound providing mode for determining a unit sound source mapped to each unit block of an input image image and a music providing mode for providing a sound source, that is, music corresponding to the atmosphere of the input image, A user command for setting a sound source mode is inputted through the microphone 150. The sound source providing unit 170 outputs the determined sound source to the user through an output unit (not shown).

바람직하게, 음원 결정부(130)는 음원 변환 장치에 구비되어 있는 주변 기기(예를 들어, 이미지 센서, GPS 위치 확인부)를 통해 사용자의 현재 상황, 즉 현재 시각, 현재 계절, 현재 사용자가 위치하는 장소의 조명 밝기 세기 등을 측정하고, 사용자 현재 상황을 영상 이미지와 함께 고려하여 사용자에 제공할 음원을 결정할 수 있다. Preferably, the sound source determination unit 130 determines the current state of the user, that is, the current time, the current season, the current user, and the current location, through a peripheral device (for example, The user can determine the sound source to be provided to the user by considering the current situation of the user together with the video image.

본 발명에 따른 음원 변환 장치는 향기 분사 제어부(180)와 향기 분사부(190)을 더 포함하는 것을 특징으로 하는데, 향기 분사부(190)는 적어도 1개 이상의 향기를 저장하고 저장조와 저장조에 저장되어 있는 향기를 선택적으로 분사시키는 분사부를 구비한다. 한편, 향기 분사 제어부(180)는 입력 영상 이미지의 분위기에 매핑되어 있는 향기를 향기 데이터베이스(미도시)에서 검색하고, 향기 분사부(190)를 통해 검색한 향기를 분사하도록 제어한다.The apparatus for converting a sound source according to the present invention further includes a perfume emission control unit 180 and a perfume spray unit 190. The perfume spray unit 190 stores at least one perfume and stores the perfume in a storage tank and a storage tank And a spraying portion for selectively spraying the fragrance. On the other hand, the perfume emission control unit 180 searches the perfume database (not shown) for the perfume mapped to the atmosphere of the input video image, and controls the perfume emission unit 190 to emit the perfume searched through the perfume emitting unit 190.

여기서 향기 분사부(190)는 향기 분사 제어부(180)의 향기 분사 제어 신호에 따라 스프레이 방식 또는 가열 방식으로 저장조에 있는 다수의 향수 중 1개의 향수 또는 다수의 향수를 조합하여 분사한다.Here, the perfume sprayer 190 combines one perfume or a plurality of fragrances of a plurality of fragrances in the storage tank by a spray method or a heating method in accordance with the perfume injection control signal of the perfume spray controller 180.

도 4는 본 발명에 따른 음원 결정부의 일 실시예를 설명하기 위한 도면이다.4 is a view for explaining an embodiment of a sound source determination unit according to the present invention.

도 4를 참고로 보다 구체적으로 살펴보면, 변환부(131)는 입력 영상 이미지를 다수의 단위 블록으로 분할하고, 각 단위 블록의 평균 픽셀값을 계산한다. 단위 블록은 적어도 1개 이상의 픽셀들로 구성되어 있는데, 단위 블록을 구성하는 모든 픽셀들의 픽셀값을 평균하여 단위 블록의 평균 픽셀값을 계산한다. 여기서 픽슬값은 픽셀들이 가지는 RGB, HSI 값 등 색을 표현하는 다양한 값들이 사용될 수 있으며 이는 본 발명의 범위에 속한다. 변환부(131)는 단위 블록의 평균 픽셀값에 대한 주파수를 가청 주파수 대역의 주파수로 변환하여 각 단위 블록별로 단위 블록에 대한 단위 주파수를 생성한다.4, the conversion unit 131 divides an input image into a plurality of unit blocks, and calculates an average pixel value of each unit block. The unit block is composed of at least one or more pixels. The average pixel value of the unit block is calculated by averaging the pixel values of all the pixels constituting the unit block. Here, the pickle value may be various values representing colors such as RGB and HSI values of pixels, which is within the scope of the present invention. The conversion unit 131 converts the frequency of the average pixel value of the unit block into the frequency of the audible frequency band, and generates a unit frequency of the unit block for each unit block.

평균 픽셀값에 해당하는 주파수(x)는 아래의 수학식(1)에 의해 가청주파수 대역의 주파수(Y)로 변환되는데,The frequency (x) corresponding to the average pixel value is converted into the frequency (Y) of the audio frequency band by the following equation (1)

[수학식 1][Equation 1]

Figure 112016028118012-pat00002
Figure 112016028118012-pat00002

여기서 C는 가청주파수 변환 상수이며, xmax와 xmin은 각각 사람이 인지할 수 있는 픽셀값의 최대값 주파수와 최소값 주파수인 것을 특징으로 한다. 도 5는 가청 주파수 대역과 빛의 주파수 대역을 도시하고 있으며, 빛의 주파수 대역에서 가정 주파수 대역으로 변환되는 예를 설명하고 있다.Where C is an audio frequency conversion constant, and x max and x min are the maximum value frequency and the minimum value frequency of pixel values that can be perceived by a person. FIG. 5 illustrates an audio frequency band and a frequency band of light, and an example in which a light frequency band is converted into a home frequency band.

결정부(135)는 음원 데이터베이스(133)에서 단위 주파수에 해당하는 단위 음원을 검색하고, 검색한 단위 음원을 각 단위 블록에 해당하는 음원으로 결정한다. 여기서 음원 데이터베이스(133)에는 전체 가청 주파수를 레벨로 나누어 각 레벨의 가청 주파수에 해당하는 단위 음원이 저장되어 있다. 바람직하게, 결정부(135)는 사용자 인터페이스를 통해 악기를 선택하기 위한 사용자 명령을 입력받는 경우 음원 데이터베이스(133)에서 선택한 악기에 해당하는 단위 주파수의 단위 음원을 검색하며, 검색한 단위 음원을 각 단위 블록에 해당하는 음원으로 결정한다.The determination unit 135 searches the sound source database 133 for a unit sound source corresponding to a unit frequency and determines the searched unit sound source as a sound source corresponding to each unit block. Here, the sound source database 133 stores a unit sound source corresponding to the audible frequency of each level by dividing the entire audio frequency into levels. The determination unit 135 searches for a unit sound source having a unit frequency corresponding to the musical instrument selected in the sound source database 133 when a user command for selecting the musical instrument is input through the user interface, It is determined as a sound source corresponding to the unit block.

바람직하게, 본 발명의 일 실시예에 따른 음원 결정부는 음원 조합 생성부(137)와 조합 음원 결정부(139)를 더 포함하는 것을 특징으로 하는데, 음원 조합 생성부(137)는 다수의 단위 블록에 대한 단위 음원의 조합으로부터 음원 조합을 생성하며, 조합 음원 결정부(139)는 음원 조합에 매핑되어 있는 조합 음원을 음원 데이터베이스(133)에서 검색하여 조합 음원을 설정된 수의 단위 블록에 대한 음원으로 결정한다. 예를 들어, 음원 조합 생성부(137)는 3개 또는 4개의 단위 블록에 대한 단위 음원의 조합으로부터 음원 조합을 생성하며, 조합 음원 결정부(139)는 음원 조합과 음원 데이터베이스(133)에 저장되어 있는 화음을 비교하여 음원 조합에 가장 가까운 화음을 음원 조합의 조합 음원으로 결정한다. Preferably, the sound source determination unit according to an embodiment of the present invention further includes a sound source combination generation unit 137 and a combined sound source determination unit 139. The sound source combination generation unit 137 includes a plurality of unit blocks And the combined sound source determination unit 139 searches the sound source database 133 for a combined sound source mapped to the sound source combination, and outputs the combined sound source as a sound source for the set number of unit blocks . For example, the sound source combination generation unit 137 generates a sound source combination from a combination of unit sound sources for three or four unit blocks, and the combined sound source determination unit 139 stores the sound source combination and the sound source database 133 And determines the chord sound that is closest to the sound source combination as the combined sound source of the sound source combination.

따라서 본 발명에서 각 단위 블록별로 어울리는 음원을 결정하거나, 다수의 단위 블록들에 해당하는 음원 조합으로부터 다수 단위 블록의 조합 음원을 결정할 수 있다.Therefore, in the present invention, it is possible to determine a sound source suited to each unit block or to determine a combination sound source of a plurality of unit blocks from a sound source combination corresponding to a plurality of unit blocks.

도 6은 본 발명에 따른 음원 결정부의 다른 실시예를 설명하기 위한 도면이다.6 is a view for explaining another embodiment of the sound source determination unit according to the present invention.

도 6을 참고로 보다 구체적으로 살펴보면, 카운트부(210)는 입력 영상 이미지를 구성하는 각 단위 블록의 평균 픽셀값에 매핑된 색상 고유번호를 결정하고, 각 단위 블록의 색상 고유번호에 기초하여 입력 영상 이미지를 구성하는 모든 단위 블록의 색상 고유번호를 색상 고유번호별로 카운트한다. 6, the count unit 210 determines a color unique number mapped to an average pixel value of each unit block constituting an input video image, and outputs a color unique number The color specific numbers of all the unit blocks constituting the video image are counted for each color specific number.

도 7은 본 발명에 따른 색상 고유번호의 일 예를 설명하기 위한 도면으로, 도 7을 참고로 살펴보면 색별로 서로 다른 파장과 주파수를 가지며, 각 색에 해당하는 색상 고유번호가 할당되어 있다. 입력 영상 이미지를 구성하는 모든 단위 블록의 평균 픽셀값에 해당하는 파장 또는 주파수에 해당하는 색상 고유번호를 색상 고유번호별로 카운트하여 입력 영상 이미지를 구성하는 색의 분포를 판단한다.FIG. 7 is a view for explaining an example of a color identification number according to the present invention. Referring to FIG. 7, colors and wavelengths having different wavelengths and frequencies are allocated to each color. A distribution of colors constituting an input image is determined by counting color specific numbers corresponding to wavelengths or frequencies corresponding to the average pixel values of all the unit blocks constituting the input image.

다시 도 6을 참고로 살펴보면, 대표 색상 결정부(230)는 입력 영상 이미지를 구성하는 모든 단위 블록이 가지는 색상 고유번호별 카운트 수에 기초하여 출현 빈도가 높은 순서로 대표 색상 고유번호를 결정한다. 바람직하게, 대표 색상 결정부(230)는 모든 단위 블록이 가지는 색상 고유번호별 카운트 수에 기초하여 출현 빈도가 가장 높은 색상 고유번호와 다음으로 출현 빈도가 가장 높은 색상 고유번호를 입력 영상 이미지의 대표 색상 고유번호로 결정한다. Referring to FIG. 6 again, the representative color determining unit 230 determines representative color unique numbers in descending order of appearance frequency based on the number of counts for each color unique number of all the unit blocks constituting the input image image. Preferably, the representative color determining unit 230 determines the color unique number having the highest appearance frequency and the color unique number having the next highest appearance frequency based on the count number per color unique number of all the unit blocks, It is determined by color number.

분위기 결정부(250)는 대표 색상 고유번호들로 이루어진 색상 조합에 매핑되어 있는 분위기를 분위기 데이터베이스(260)에서 검색하여 결정한다. 도 8은 분위기 데이터베이스(260)의 일 예를 도시하고 있는데, 도 8에 도시되어 있는 바와 같이 색상 조합1(예를 들어, 대표 색상 고유번호의 색상 조합(0, 4))의 경우 차분하고 평온한 분위기이며, 입력 영상 이미지의 분위기는 차분하고 평온으로 결정된다.The atmosphere determining unit 250 searches the atmosphere database 260 for an atmosphere mapped to a color combination made up of representative color unique numbers. 8 shows an example of the atmosphere database 260. As shown in FIG. 8, in the case of the color combination 1 (for example, the color combination (0, 4) of the representative color unique number) , And the atmosphere of the input image image is calm and calm.

결정부(270)는 결정한 분위기에 매핑되어 있는 음원을 추천 음원 데이터베이스(280)에서 검색하여 입력 영상 이미지에 대한 추천 음원으로 결정한다. 도 9는 추천 음원 데이터베이스(280)의 일 예를 도시하고 있는데, 도 9에 도시되어 있는 바와 같이 차분하고 평안한 분위기에서는 음악1과 음악2를 모두 또는 일부를 추천 음원으로 결정한다. 바람직하게, 결정부(270)는 사용자의 상황 정보를 결정한 분위기와 함께 고려하여 추천 음원을 결정할 수 있는데, 추천 음원 데이터베이스(280)에는 분위기, 사용자 현재 상황과 매핑되어 있는 음원이 저장되어 있다.The determining unit 270 searches the recommended sound source database 280 for a sound source mapped to the determined atmosphere and determines the sound source as a recommended sound source for the input image image. FIG. 9 shows an example of the recommended sound source database 280. As shown in FIG. 9, the music sources 1 and 2 are all or part of a recommended sound source in a calm and relaxed atmosphere. Preferably, the determining unit 270 may determine a recommended sound source by considering the user's situation information together with the determined atmosphere. In the recommended sound source database 280, sound sources mapped with an atmosphere and a user's current situation are stored.

이와 같이, 본 발명에 따른 음원 변환 장치를 구글 글라스(Google Glass)와 같이 사용자가 보고 있는 장면의 영상 이미지를 촬영하는 장치에 적용하여, 촬영한 영상 이미지에 어울리는 음원을 사용자에 제공함으로써, 사용자가 보고 있는 장면을 보다 감동적으로 감상할 수 있다. 또한 증강현실 시스템에 본 발명에 따른 음원 변환 장치를 적용하여 사용자가 보고 있는 장면에 어울리는 음원을 함께 제공함으로써 보다 실감나게 증강현실을 느낄 수 있도록 도와준다.As described above, the sound source conversion apparatus according to the present invention is applied to a device for photographing a video image of a scene viewed by a user such as Google Glass, and by providing a sound source suitable for a photographed image to a user, You can enjoy watching the scene more impressively. Also, by applying the sound source conversion apparatus according to the present invention to the augmented reality system, it is possible to provide a sound source suitable for the scenery that the user is viewing, thereby helping the augmented reality to be felt more realistically.

본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is evident that many alternatives, modifications and variations will be apparent to those skilled in the art. Accordingly, the true scope of the present invention should be determined by the technical idea of the appended claims.

10: 네트워크 20: 음원 제공 서버
100: 음원 변환 장치 110: 평균 픽셀값 계산부
130: 음원 결정부 150: 사용자 인터페이스
170: 음원 제공부 180: 향기 분사 제어부
190: 향기 분사부
131: 변환부 133: 음원 데이터베이스
135: 결정부 137: 음원 조합 생성부
139: 조합 음원 결정부 210: 카운트부
230: 대표 색상 결정부 250: 분위기 결정부
260: 분위기 데이터베이스 270: 결정부
280: 추천 음악 데이터베이스10: network 20: sound source providing server
100: sound source conversion device 110: average pixel value calculation unit
130: sound source determining unit 150: user interface
170: sound source preparation unit 180: perfume emission control unit
190: fragrance sprayer
131: conversion unit 133: sound source database
135: Decision section 137: Sound source combination generating section
139: Combination sound source determining unit 210:
230: representative color determining unit 250: atmosphere determining unit
260: atmosphere database 270:
280: Recommended music database

Claims (9)

입력 영상 이미지를 단위 블록으로 분할하고, 상기 단위 블록의 평균 픽셀값을 계산하는 평균 픽셀값 계산부;
상기 평균 픽셀값에 매핑된 색상 고유번호를 결정하고, 상기 입력 영상 이미지를 구성하는 모든 단위 블록의 색상 고유번호를 색상 고유번호별로 카운트하는 카운트부;
모든 단위 블록의 색상 고유번호의 색상 고유번호별 카운트 수에 기초하여 상기 입력 영상 이미지에서 빈도가 높은 순서로 설정된 수의 대표 색상 고유번호를 결정하는 대표 색상 결정부;
결정한 대표 색상 고유번호로 이루어진 색상 조합에 매핑된 분위기를 분위기 데이터베이스에서 검색하여 검색한 분위기를 상기 입력 영상 이미지의 분위기로 결정하는 분위기 결정부;
결정한 상기 입력 영상 이미지의 분위기에 매핑되어 있는 추천 음원을 추천 음원 데이터베이스에서 검색하고, 검색한 추천 음원을 추천 음원으로 결정하는 음원 결정부를 포함하며,
상기 음원 결정부는 현재 시각, 현재 계절, 현재 사용자가 위치하고 있는 장소에 기초하여 사용자의 상황을 고려하고, 상기 사용자의 상황과 상기 입력 영상 이미지의 분위기에 매핑된 추천 음원을 추천 음원 데이터베이스에서 검색하며,
상기 입력 영상 이미지의 분위기에 매핑되어 있는 향기를 향기 데이터베이스에서 검색하는 향기 분사 제어부와 검색한 향기를 분사하는 향기 분사부를 더 포함하며,
상기 음원 결정부는 입력된 사용자 명령에 따라 선택된 악기 종류에 따라 상기 추천 음원을 상기 추천 음원 데이터베이스에서 검색하는 것을 특징으로 하는 음원 변환 장치. An average pixel value calculator for dividing an input image into unit blocks and calculating an average pixel value of the unit blocks;
A count unit for determining a color unique number mapped to the average pixel value and for counting color unique numbers of all the unit blocks constituting the input video image by color unique numbers;
A representative color determining unit that determines a representative color unique number set in the order of frequency in the input image image based on the number of counts per color unique number of color unique numbers of all unit blocks;
An atmosphere decision unit for searching the atmosphere database for an atmosphere mapped to a color combination made up of the determined representative color unique numbers and determining the searched atmosphere as the atmosphere of the input image image;
And a sound source determination unit for searching a recommended sound source database mapped to the determined atmosphere of the input image image in a recommended sound source database and determining the searched recommended sound source as a recommended sound source,
The sound source determination unit considers the user's situation based on the current time, the current season, and the place where the current user is located, searches a recommended sound source database mapped to the user's situation and the atmosphere of the input image,
Further comprising a fragrance injection control unit for searching a fragrance mapped to the atmosphere of the input image image in a fragrance database, and a fragrance injection unit for spraying the detected fragrance,
Wherein the sound source determination unit searches the recommended sound source database for the recommended sound source according to the type of the musical instrument selected in accordance with the inputted user command. 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete
KR1020160034913A 2016-03-23 2016-03-23 Apparatus for changing image into audio source KR101819689B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160034913A KR101819689B1 (en) 2016-03-23 2016-03-23 Apparatus for changing image into audio source

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160034913A KR101819689B1 (en) 2016-03-23 2016-03-23 Apparatus for changing image into audio source

Publications (2)

Publication Number Publication Date
KR20170110473A KR20170110473A (en) 2017-10-11
KR101819689B1 true KR101819689B1 (en) 2018-02-28

Family

ID=60139148

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160034913A KR101819689B1 (en) 2016-03-23 2016-03-23 Apparatus for changing image into audio source

Country Status (1)

Country Link
KR (1) KR101819689B1 (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102579452B1 (en) 2018-09-05 2023-09-15 삼성전자주식회사 Image display device and operating method for the same
EP3644616A1 (en) 2018-10-22 2020-04-29 Samsung Electronics Co., Ltd. Display apparatus and operating method of the same
KR102089207B1 (en) * 2019-01-16 2020-03-13 김강욱 Method of playing image into music and server supplying program for performing the same

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100893223B1 (en) * 2007-03-12 2009-04-16 주식회사 하모니칼라시스템 Method and apparatus for converting image to sound
KR100920952B1 (en) * 2009-05-13 2009-10-09 김정중 Mutual transmission system of visual information and auditory information

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100893223B1 (en) * 2007-03-12 2009-04-16 주식회사 하모니칼라시스템 Method and apparatus for converting image to sound
KR100920952B1 (en) * 2009-05-13 2009-10-09 김정중 Mutual transmission system of visual information and auditory information

Also Published As

Publication number Publication date
KR20170110473A (en) 2017-10-11

Similar Documents

Publication Publication Date Title
US11895483B2 (en) Mixed reality spatial audio
CN107329980B (en) Real-time linkage display method based on audio and storage device
KR101819689B1 (en) Apparatus for changing image into audio source
JP5592878B2 (en) Stochastic dynamic atmosphere
KR102716426B1 (en) Method for providing virtual augmented reality, apparatus and scent projector using the method
KR20100114858A (en) Method and apparatus for representation of sensory effects using sensory device capabilities metadata
CN112771891B (en) Information processing apparatus, information processing method, program, and information processing system
JP2018011201A (en) Information processing apparatus, information processing method, and program
JP2014187559A (en) Virtual reality presentation system and virtual reality presentation method
KR20210065099A (en) Information processing apparatus, information processing method, program, and information processing system
US11057671B2 (en) Rendering a dynamic light scene based on audio visual content
US10540820B2 (en) Interactive virtual reality system for experiencing sound
CN103928036A (en) Method and device for generating audio file according to image
KR101896193B1 (en) Method for converting image into music
CN113853047A (en) Light control method and device, storage medium and electronic equipment
KR100893223B1 (en) Method and apparatus for converting image to sound
CN104768106B (en) A kind of conversion method and device of terminal audio
CN111223174A (en) Environment rendering system and rendering method
KR100920952B1 (en) Mutual transmission system of visual information and auditory information
Pun et al. Sonification of colour and depth in a mobility aid for blind people
JP7442979B2 (en) karaoke system
CN115176223A (en) Information processing apparatus, information processing method, and computer program
US20220156937A1 (en) Apparatus and method for sensory substitution based on depth-time mapping
KR20190079440A (en) Method for providing customized music station by using virtual reality technology, and server using the same
KR101831420B1 (en) combination generating system for emotional-lighting color connected with playing sound source, method for the same, and computer-readable recording medium for the same

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant