KR20020013825A - Musical instrument colored by table by harmonic sound - Google Patents

Musical instrument colored by table by harmonic sound Download PDF

Info

Publication number
KR20020013825A
KR20020013825A KR1020010087652A KR20010087652A KR20020013825A KR 20020013825 A KR20020013825 A KR 20020013825A KR 1020010087652 A KR1020010087652 A KR 1020010087652A KR 20010087652 A KR20010087652 A KR 20010087652A KR 20020013825 A KR20020013825 A KR 20020013825A
Authority
KR
South Korea
Prior art keywords
color
frequency
sound
sound source
harmonic
Prior art date
Application number
KR1020010087652A
Other languages
Korean (ko)
Inventor
김길호
Original Assignee
김길호
주식회사 하모니칼라시스템
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020000028147A external-priority patent/KR20010020900A/en
Application filed by 김길호, 주식회사 하모니칼라시스템 filed Critical 김길호
Publication of KR20020013825A publication Critical patent/KR20020013825A/en

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/32—Constructional details
    • G10H1/34—Switch arrangements, e.g. keyboards or mechanical switches specially adapted for electrophonic musical instruments
    • G10H1/342—Switch arrangements, e.g. keyboards or mechanical switches specially adapted for electrophonic musical instruments for guitar-like instruments with or without strings and with a neck on which switches or string-fret contacts are used to detect the notes being played
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/0091—Means for obtaining special acoustic effects
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H3/00—Instruments in which the tones are generated by electromechanical means
    • G10H3/12—Instruments in which the tones are generated by electromechanical means using mechanical resonant generators, e.g. strings or percussive instruments, the tones of which are picked up by electromechanical transducers, the electrical signals being further manipulated or amplified and subsequently converted to sound by a loudspeaker or equivalent instrument
    • G10H3/125—Extracting or recognising the pitch or fundamental frequency of the picked up signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Auxiliary Devices For Music (AREA)

Abstract

PURPOSE: A musical instrument colored with a sound color conversion table using a harmony method is provided, which deduces a harmonized color from a harmonized music, and recognizes each musical scale with color while playing a music by coloring the musical scale position by the sound color conversion table. CONSTITUTION: According to a method for selecting harmonic color, a musical scale division rate and a harmony method cord are selected. And a reference color is selected, and a brightness of the selected reference color is calculated. Then, an octave corresponding to the calculated brightness is determined. And a harmony color is calculated from a reference color frequency on the basis of a harmony frequency rate of the selected harmony method cord in response to a musical scale frequency ratio in the determined octave, and the harmony color frequency is converted into a visible frequency band when the calculated harmony color frequency is out of the visible frequency band. And the calculated harmony color frequency is displayed as a harmony color of the reference color.

Description

화성법을 이용한 음색변환표로 채색한 악기{Musical instrument colored by table by harmonic sound}Musical instrument colored by table by harmonic sound}

본 발명은 화성법을 이용한 조화색 선정방법 및 장치와, 음색 및 색음 변환방법 및 장치에 관한 것으로서, 보다 상세하게는 화성법에 근거하여 임의의 기준색과 정확하게 조율되는 조화색을 선정하고, 파동의 속성을 지니는 소리와 색채를 상호 주파수 변환하여 소리의 컬러영상화와 영상의 소리화를 가능하게 한 방법 및 장치에 관한 것이다.The present invention relates to a method and apparatus for selecting a harmonic color using the harmonic method, and a method and apparatus for converting sound and chromatic tones, and more particularly, to select a harmonic color accurately tuned to an arbitrary reference color based on the harmonic method, The present invention relates to a method and an apparatus for enabling color imaging of sound and sounding of an image by mutual frequency conversion of a sound and a color having a sound.

컬러 텔레비전 방송으로 색의 대중화가 급속히 이루어짐에 따라 색의 경제적가치가 높아지고 있다. 또한, 색의 상업화 경쟁으로 무차별적인 색공급으로 불협화적인 색은 인간생활 환경에 새로운 색공해의 문제를 안고 있다.With the rapid popularization of color through color television broadcasting, the economic value of color is increasing. In addition, discordant colors due to indiscriminate supply of colors due to the commercialization of colors pose a new color pollution problem in the human living environment.

따라서, 웹 디자이너, 미술가, 건축가, 실내 장식가, 산업 디자이너, 조경가, 의상 디자이너, 무대장치 기사, 다양한 분야의 창조자들과 상품 구매자들에게는 조화로운 색선정이 매우 중요시 되고 있다.Therefore, harmonious color selection is very important for web designers, artists, architects, interior decorators, industrial designers, landscape architects, costume designers, stage designers, creators and buyers of various fields.

색조화(Color Harmony)는 두 가지 이상의 색들이 서로 인접되게 쓰여져 좋은 효과를 가져오는 것을 말한다.Color Harmony means that two or more colors are used next to each other to produce a good effect.

지금까지의 색조화는, 인간의 시각적 경험을 바탕으로 임의의 기준색과 상기 기준색에 조화하는 조화색들을 천연색으로 인쇄한 컬러인쇄 형태의 책을 참고하여 조화색을 선택하고 있으며, 대표적인 색채조화 기준으로는 컬러링 북(Coloring Book)과 먼셀(Munsell) 표색계 및 음극선관과 같은 표시장치에서의 정확한 가시광구현을 위해 국제조명기구(CIE)가 제안한 CIE 표색계 등이 있다.Until now, tonalization is based on human visual experience and selects a reference color by referring to a book in a color printing form in which the reference color and the color matched to the reference color are printed in natural colors. Standards include the CIE color system proposed by the International Illumination Organization (CIE) for accurate visible light in displays such as coloring books, Munsell color systems and cathode ray tubes.

그러나 종래의 색채조화 방법은 인간의 경험이나 실험에 근거한 조화방법으로 객관성이 없으며, 인쇄 형태의 기준 자료를 바탕으로 인간의 시각적 감각에 의존하여 조화색을 선택해야 하기 때문에 색상의 정확성이 떨어지고, 또한 인쇄 형태의 기준자료는 컴퓨터를 이용한 탁상출판시스템(Desk Top Publishing System; DTP)에 직접 응용될 수 없는 한계가 있다.However, the conventional color harmonization method has no objectivity as a harmonization method based on human experiences or experiments, and the color accuracy is deteriorated because the harmonic color must be selected based on the human visual sense based on the printed data. There is a limitation that the reference data in print form cannot be directly applied to a desk top publishing system (DTP) using a computer.

그리고, 화성적으로 이미 조화된 음악으로부터 조화된 색채를 도출하는 방법으로서 제시하는 음색상호변환에 있어서, 색과 음은 시각과 청각에 적용되는 주파수의 대역만이 다를 뿐 물리적인 파동의 속성은 동일하지만, 이에 근거한 색과 음의 가역변환에 대해서는 지금까지 연구된 바가 없다.And, in the tone conversion that is presented as a method of deriving harmonious colors from harmonically already harmonized music, the colors and sounds differ only in the bands of frequencies applied to sight and hearing, but the physical wave properties are the same. However, there have been no studies on the reversible transformation of color and sound based on this.

음의 변화를 시각화한 그래픽 아퀼라이저(Graphic Equlizer)로 대표되는 종래의 음악 표시장치는 단순히 주파수 대역별 음압의 크기만을 표시할 뿐이므로, 표시되는 화상이 단순하고 응용범위가 협소한 단점이 있다.The conventional music display device represented by a graphic equalizer (Graphic Equlizer) that visualizes the change of sound simply displays only the magnitude of sound pressure for each frequency band, and thus the displayed image is simple and has a narrow application range.

미국특허 제 6,046,724호에서는 사운드를 광으로 변환하는 방법 및 장치를 개시하고 있다. 상기특허에서는 사운드를 3옥타브에서 8옥타브에 대응하는 6개의 필터수단들을 통하여 각각 주파수와 음의 강약에 따라 RGB의 3색광원을 제어하여 음에 대응하는 광을 표시한다.U. S. Patent No. 6,046, 724 discloses a method and apparatus for converting sound into light. According to the patent, the sound is controlled through six filter means corresponding to three octaves to eight octaves to control the three color light sources of RGB according to the frequency and the intensity of the sound, respectively, to display light corresponding to the sound.

따라서 본 발명의 제 1 목적은 상기한 문제점을 해소하기 위하여 화성적으로 이미 조화된 음악으로부터 조화된 색채를 도출하는 화성법을 이용한 조화색 선정방법 및 장치를 제공하는 데 있다.Accordingly, a first object of the present invention is to provide a harmonic color selection method and apparatus using a harmonic method for deriving harmonious colors from harmonically already harmonized music in order to solve the above problems.

본 발명의 제 2 목적은 10옥타브 12 음계와 10휘도 12색을 1:1로 대응시킴으로써 음과 색의 상호변환을 한 눈에 볼수 있는 음색변환표를 제공하는 데 있다.It is a second object of the present invention to provide a tone conversion table that enables to see the mutual conversion of sound and color at a glance by making a 10-octave 12 scale and a 10 luminance 12 color correspond to 1: 1.

본 발명의 제 3 목적은 음색변환표에 의해 음계위치를 채색함으로써 음악연주시 각 음계를 색으로 인지할 수 있는 악기를 제공하는 데 있다.It is a third object of the present invention to provide a musical instrument capable of recognizing each scale in color when playing music by coloring the scale position using a tone conversion table.

본 발명의 제 4목적은 색과 음의 파동, 즉 주파수 특성을 이용하여 객관적이고 타당성있는 수식화된 주파수 변환 기준을 제공하고, 이 기준에 근거하여 가시 및 가청주파수를 가청 및 가시주파수로 용이하게 변환함으로써 색채의 청각화 및 소리의 시각화를 가능하게 하는 음색 및 색음 변환방법 및 장치를 제공하는 데 있다.A fourth object of the present invention is to provide an objective and valid formulated frequency conversion criterion using color and sound waves, i.e., frequency characteristics, and to easily convert visible and audible frequencies to audible and visible frequencies based on this criterion. The present invention provides a method and apparatus for converting sound and color tones that enable visualization of colors and visualization of sounds.

본 발명의 제 5목적은 음색변환시 스테레오 음의 음원위치를 표현하기 위하여 음원의 위치를 결정할 수 있는 음원위치 결정방법 및 장치를 제공하는 데 있다.A fifth object of the present invention is to provide a sound source position determining method and apparatus capable of determining the position of a sound source in order to express the sound source position of stereo sound during tone conversion.

도 1은 본 발명에 의한 원좌표계의 음색변환표를 나타낸 도면.1 is a view showing a tone conversion table of the circular coordinate system according to the present invention.

도 2은 본 발명에 의한 직교좌표계의 제 1 음색변환표를 나타낸 도면.2 is a view showing a first tone conversion table of the rectangular coordinate system according to the present invention;

도 3을 본 발명에 의한 직교좌표계의 제 2 음색변환표를 나타낸 도면.3 is a view showing a second tone conversion table of the rectangular coordinate system according to the present invention;

도 4 및 도 5는 본 발명에 의한 음색변환표에 의해 음계위치가 채색된 악기를 나타낸 도면.4 and 5 is a view showing the musical instrument color scale position by the tone conversion table according to the present invention.

도 6은 본 발명에 의한 조화색 선정장치의 블록도.6 is a block diagram of a harmonic color selection device according to the present invention;

도 7은 도 6의 저장수단에 저장된 제 1 테이블(음계 분할율과 조화주파수비)의 구성을 나타낸 도면.FIG. 7 is a diagram showing the configuration of a first table (tone division ratio and harmonic frequency ratio) stored in the storage means of FIG. 6; FIG.

도 8은 도 6의 저장수단에 저장된 제 2 테이블(화성법 코드)의 구성을 나타낸 도면.FIG. 8 is a diagram showing the configuration of a second table (chemical method code) stored in the storage means of FIG. 6; FIG.

도 9는 본 발명에 의한 조화색 선정방법의 일예를 설명하기 위한 컴퓨터 모니터 상에 제공되는 화면 상태도.9 is a screen state diagram provided on a computer monitor for explaining an example of the method of selecting a harmonic color according to the present invention.

도 10은 본 발명에 의한 조화색 선정방법의 다른 예를 설명하기 위한 컴퓨터 모니터상에 제공되는 화면 상태도10 is a screen state diagram provided on a computer monitor for explaining another example of the method of selecting a harmonic color according to the present invention;

도 11은 본 발명에 의한 바람직한 일 실시예의 음색변환장치의 블록도.Figure 11 is a block diagram of a tone conversion apparatus according to an embodiment of the present invention.

도 12는 본 발명에 의한 음원 발생위치 연산알고리즘의 제 1 실시예를 설명하기 위한 흐름도.12 is a flowchart for explaining a first embodiment of a sound source generation position calculation algorithm according to the present invention;

도 13 은 제 1실시예에 근거한 각 채널의 음원 입력위치와 음원의 위치를 도시한 개략도.Fig. 13 is a schematic diagram showing the sound source input position and the position of the sound source of each channel according to the first embodiment.

도 14은 특정 프레임에서 L, R채널별로 FFT 연산한 주파수 스펙트럼도.14 is a frequency spectrum diagram of FFT calculation for each of L and R channels in a specific frame.

도 15는 제 1 실시예에 의한 음을 영상으로 표시한 화면의 일례를 도시한 개략도.Fig. 15 is a schematic diagram showing an example of a screen on which sound is displayed as an image according to the first embodiment.

도 16은 본 발명에 의한 음원 발생위치 연산알고리즘의 제 2 실시예를 설명하기 위한 흐름도.16 is a flowchart for explaining a second embodiment of the sound source generation position calculation algorithm according to the present invention;

도 17은 제 2 실시예에 근거한 각 채널의 음원 입력위치와 음원의 위치를 도시한 개략도.Fig. 17 is a schematic diagram showing the sound source input position and the position of the sound source of each channel according to the second embodiment.

도 18은 제 2 실시예에 의한 음을 영상으로 표시한 화면의 일례를 도시한 개략도.Fig. 18 is a schematic diagram showing an example of a screen on which sound is displayed as an image according to the second embodiment.

도 19는 본 발명 의한 음원 발생위치 연산알고리즘의 제 3 실시예를 설명하기 위한 흐름도.19 is a flowchart for explaining a third embodiment of the sound source generation position calculation algorithm according to the present invention;

도 20은 제 3 실시예에 의한 음을 영상을 표시한 화면의 일례를 도시한 개략도.Fig. 20 is a schematic diagram showing an example of a screen displaying a sound image according to the third embodiment.

도 21은 제 1 실시예에서 출력수단이 표시할 수 있는 화면의 일례로서 인체에 적용하기 위한 키프레임으로 활용될 음원 발생위치의 분포 상태를 도시한 개략도.FIG. 21 is a schematic diagram showing a distribution state of a sound source generating position to be utilized as a key frame for applying to a human body as an example of a screen which the output means can display in the first embodiment; FIG.

도 22는 도 21에 분포된 음원 가운데 키프레임으로 활용할 음원만을 선택하여 도시한 개략도.FIG. 22 is a schematic diagram illustrating only a sound source to be used as a key frame among sound sources distributed in FIG. 21;

도 23는 도 22의 키프레임 정보에 근거하여 매핑하는 과정을 도시한 개략도.FIG. 23 is a schematic diagram showing a process of mapping based on keyframe information of FIG. 22; FIG.

도 24는 도 23의 매핑 과정이 완료된 상태를 도시한 개략도.24 is a schematic diagram illustrating a state in which the mapping process of FIG. 23 is completed;

도 25는 본 발명에 의한 음색변환모드의 명령입력수단의 일예와 픽스모드에서 음을 영상표현한 화면표시상태를 나타낸 도면.Fig. 25 is a view showing an example of command input means in the tone conversion mode according to the present invention and a screen display state in which sound is imaged in the fix mode;

도 26은 비트모드에서 음을 영상표현한 화면표시상태를 나타낸 도면.Fig. 26 is a diagram showing a screen display state in which sound is imaged in the bit mode.

도 27은 톤모드에서 음을 영상표현한 화면표시상태를 나타낸 도면.Fig. 27 is a diagram showing a screen display state in which sound is imaged in the tone mode.

도 28 내지 도 33은 본 발명에 의한 음색변환에 의한 영상표현의 화면상태를 나타낸 도면들.28 to 33 are diagrams showing the screen state of the image expression by the tone conversion according to the present invention.

도 34는 본 발명에 의한 색음변환장치의 바람직한 일 예를 나타낸 블록도.34 is a block diagram showing a preferred example of a color tones conversion apparatus according to the present invention.

도 35는 색음변환을 위한 원영상35 is an original image for chromatic conversion

도 36은 원영상에 적용된 서브영역을 설명하기 위한 화면상태도.36 is a screen state diagram for explaining a sub-region applied to the original image.

도 37은 원영상 전면에 복수의 서브영역을 적용한 화면 상태도.37 is a screen state diagram in which a plurality of sub-regions is applied to the front of an original image.

상기의 목적을 달성하기 위하여 본 발명의 조화색 선정방법은 음계 분할율 및 화성법 코드를 선택하는 단계와, 기준색을 선택하는 단계와, 상기 선택된 기준색의 명도를 산출하는 단계와, 산출된 명도에 대응하는 옥타브를 결정하는 단계와, 결정된 옥타브 내의 음계 주파수 비에 응답하여 상기 선택된 화성법 코드의 조화주파수 비율에 근거하여 상기 기준색 주파수로부터 조화색 주파수를 연산하고, 상기 연산된 조화색 주파수가 가시 주파수 대역을 벗어난 경우에는 조화색 주파수를 가시 주파수 대역으로 전환시키는 단계와, 상기 연산된 조화색 주파수를 상기 기준색의 조화색으로 표시하는 단계를 구비하는 것을 특징으로 한다.In order to achieve the above object, the method of selecting a harmonic color according to the present invention includes selecting a division ratio and a harmonic code, selecting a reference color, calculating brightness of the selected reference color, and calculating the brightness. Determining a corresponding octave and calculating a harmonic color frequency from the reference color frequency based on the harmonic frequency ratio of the selected harmonic code in response to the scale frequency ratio in the determined octave, wherein the calculated harmonic color frequency is a visible frequency. And converting the harmonic color frequency to the visible frequency band when the band is out of band, and displaying the calculated harmonic color frequency as the harmonic color of the reference color.

상기 음계 분할율은 평균율 또는 순정율이다. 평균율인 경우에는 다음 수식에 의해 조화색을 구할 수 있다.The scale division rate is an average rate or a pure rate. In the case of the average ratio, the harmonic color can be obtained by the following formula.

여기서, Fh는 구하고자 하는 조화주파수, Fr은 입력주파수, k는 음계수로서 한 옥타브의 주파수를 등비율로 등분한 수, n은 조화주파수비로서 1≤n≤(k-1)이며, 상기 k와 n은 자연수이다.Where F h is the harmonic frequency to be obtained, F r is the input frequency, k is the sound coefficient, and the frequency of one octave is equally divided by the equal ratio, and n is the harmonic frequency ratio of 1≤n≤ (k-1). K and n are natural numbers.

본 발명의 조화색 선정장치는 음계 분할율, 화성법 코드 및 기준색을 선택하기 위한 선택수단과, 음계 분할율에 따른 상기 화성법 코드에 의한 조화 음계의 조화 주파수비 테이블이 저장된 저장수단과, 상기 선택된 기준색의 명도를 산출하고, 산출된 명도에 대응하는 옥타브를 결정하고, 결정된 옥타브 내의 음계 주파수 비에 응답하여 상기 선택된 화성법 코드의 조화 주파수 비를 상기 테이블을 참조하여 상기 기준색 주파수로부터 조화색 주파수를 연산하고, 상기 연산된 조화색 주파수가 가시 주파수 대역을 벗어난 경우에는 조화색 주파수를 가시 주파수 대역으로 전환시키는 연산수단과, 상기 연산된 조화색 주파수를 상기 기준색의 조화색으로 표시하는 표시수단을 구비하는 것을 특징으로 한다.An apparatus for selecting a harmonic color according to the present invention includes selecting means for selecting a scale division ratio, a harmonic code and a reference color, storage means for storing a harmonic frequency ratio table of the harmonic scale based on the harmonic division code according to the division ratio, and the selected reference color. Calculates the brightness of, calculates the octave corresponding to the calculated brightness, and calculates the harmonic color frequency from the reference color frequency by referring to the harmonic frequency ratio of the selected harmonic code in response to the scale frequency ratio within the determined octave And a calculating means for converting the harmonic color frequency to the visible frequency band when the calculated harmonic color frequency is out of the visible frequency band, and display means for displaying the calculated harmonic color frequency as the harmonic color of the reference color. Characterized in that.

본 발명의 음색변환표는 제 1 좌표축 상에 음계 "도"와 색계 "적"을 좌표원점으로 하여 12 등 간격으로 12음계와 12색계를 1 : 1 대응시켜서 배열하고, 제 2 좌표축 상에 10옥타브와 10단계 휘도를 1:1로 대응시켜서 배열한 것을 특징으로 한다. 상기 음색변환표는 원좌표계 또는 직교좌표계를 구성한다. 상기 음계 "도, 미, 솔"에 색계 "적, 녹, 청"이 근사되는 파장을 가진다.The tone conversion table of the present invention arranges the 12 scales and the 12 color systems 1: 1 by 12 equal intervals with the scale "degree" and the color scale "red" as coordinate coordinates on the first coordinate axis, and 10 on the second coordinate axis. It is characterized in that the octave and the 10-step brightness is arranged in a 1: 1 correspondence. The tone conversion table constitutes a circular coordinate system or a rectangular coordinate system. Color scale "red, green, blue" is approximated to the scale "degree, beauty, brush".

상기 원좌표계는 제 1 좌표축이 원주방향이고, 제 2좌표축이 원중심방향이다. 상기 직교좌표계는 음계에 채도가 정비례하거나 음계에 휘도가 정비례할 수 있다.The circular coordinate system has a first coordinate axis in a circumferential direction and a second coordinate axis in a circumferential direction. The Cartesian coordinate system may have a saturation proportional to the scale or a luminance directly proportional to the scale.

본 발명의 악기는 음색변환표에 의한 색으로 대응하는 음계위치가 채색된 것을 특징으로 한다.The musical instrument of the present invention is characterized in that the color scale corresponding to the color of the tone conversion table is colored.

본 발명의 음색변환방법은 입력된 음을 푸리에 변환하는 단계와, 푸리에 변환된 신호 중 특정 가청주파수 신호를 적어도 하나 이상 샘플링하는 단계와, 샘플링된 적어도하나 이상의 가청주파수 신호들을 다음 수식에 의해 가시주파수 신호로 각각 변환하는 단계와, 상기 변환된 적어도 하나 이상의 가시 주파수에 대응하는 색을 표시하는 단계를 포함함을 특징으로 한다.The tone conversion method of the present invention comprises the steps of: Fourier transforming the input sound, sampling at least one specific audible frequency signal of the Fourier transformed signal, and at least one audio frequency signal sampled by the following formula And converting each signal into a signal and displaying a color corresponding to the converted at least one visible frequency.

(여기서,이고, F는 구하고자 하는 가시주파수, Fl은기준 가시주파수, X의 정수부분은 옥타브 값, BF는색의 휘도, x*는 x의 소수점 이하의 부분으로 한 옥타브 내의 음계값을 결정하는 변수이고, fi는 샘플링된 입력가청주파수, fl은기준가청주파수, C'는 상수로서 0≤C'≤1 를 만족하는 실수임)(here, Where F is the visible frequency, F l is the reference visible frequency, the integer part of X is the octave value, B F is the luminance of the color, and x * is the fraction of the decimal point of x to determine the scale value within one octave. Variable, f i is the sampled input audio frequency, f l is the reference audio frequency, and C 'is a constant that satisfies 0≤C'≤1.)

상기 샘플링하는 단계는 상기 푸리에 변환된 신호를 일정 시간 간격마다 프레임 단위로 입력하는 단계와, 각 프레임마다 적어도 하나 이상의 피크치들을 구하는 단계와, 구해진 피크치들을 음압 크기 순서로 정리하는 단계와, 상기 음압 크기순서로 소정 개수의 피크치를 샘플링하는 단계를 구비한다.The sampling may include inputting the Fourier transformed signal in frame units at predetermined time intervals, obtaining at least one or more peak values for each frame, arranging the obtained peak values in a sound pressure magnitude order, and the sound pressure magnitude. Sampling a predetermined number of peak values in order.

상기 표시 단계는 상기 샘플링된 각 피크치의 주파수 위치에서 각 피크치의 음압에 비례하는 크기를 가지며 상기 변환된 색으로 채색된 영상으로 표시할 수 있다. 또한, 상기 표시 단계는 상기 샘플링된 각 피크치의 주파수에 대응하는 애니메이션의 각 위치에서 각 피크치의 음압에 비례하는 애니메이션의 움직임을 가지며 상기 변환된 색으로 채색된 영상으로 표시하는 것도 가능하다. 또한, 상기 표시 단계는 소정 위치에서 샘플링된 모든 피크치들의 각 음압에 비례하는 크기를 가지는 영상들을 오버랩시켜서 표시하는 것도 가능하다.The displaying step may be displayed as an image colored in the converted color having a magnitude proportional to the sound pressure of each peak value at a frequency position of each sampled peak value. In addition, the displaying may be performed by displaying an image colored in the converted color, having an animation movement proportional to the sound pressure of each peak value at each position of the animation corresponding to the frequency of each sampled peak value. In addition, the display step may be displayed by overlapping images having a magnitude proportional to each sound pressure of all peak values sampled at a predetermined position.

본 발명의 음색변환방법은 복수의 채널을 통해 입력된 복수의 음들을 각각 푸리에 변환하는 단계와, 각 푸리에 변환된 신호 중 특정 가청주파수 신호를 적어도 하나 이상 샘플링하는 단계와, 상기 복수의 음들에 대해 서로 대응되는 주파수의 가청주파수 신호들을 이용하여 상기 복수의 채널 사이의 음원 위치를 연산하는 단계와, 상기 복수의 음들 중 각 음에 대해 샘플링된 적어도 하나 이상의 가청주파수 신호들을 상기 수식(2)에 의해 가시주파수 신호로 각각 변환하는 단계와, 상기 변환된 적어도 하나 이상의 가시 주파수에 대응하는 색을 주파수 및 음원 위치에 따라 표시하는 단계를 포함하는 것을 특징으로 한다.The tone conversion method of the present invention comprises the steps of: Fourier transforming a plurality of sounds input through a plurality of channels, sampling at least one specific audio frequency signal of each Fourier transformed signal, and Calculating sound source positions between the plurality of channels using audio frequency signals of frequencies corresponding to each other, and at least one audio frequency signal sampled for each sound among the plurality of sounds by Equation (2) And converting each color into a visible frequency signal, and displaying a color corresponding to the converted at least one visible frequency according to a frequency and a sound source position.

상기 복수 채널의 음원 입력 위치 사이에서 음원의 발생위치를 아래의 수식에 근거하여 연산한다.The generation position of the sound source between the sound source input positions of the plurality of channels is calculated based on the following equation.

(여기서, a는 특정 채널의 음원 입력위치를 '0'으로 하는, 구하고자 하는 음원 발생위치값, d는 제 1채널의 음원 입력위치와 제 2채널의 음원 입력위치 사이의 거리, s는 상기 두 채널의 음원 입력위치 사이를 잇는 직선과 실제 음원 위치 사이의 수직거리, k는 k〉0인 상수, Idiff는 특정의 피크에 대한 제 1채널의 음압값에 대한 제 2 채널의 음압값의 차임.)(Where a is a sound source generation position value to be obtained by setting a sound source input position of a specific channel to '0', d is a distance between a sound source input position of a first channel and a sound source input position of a second channel, and s is The vertical distance between the real sound source position and the straight line between two sound source input positions, k is a constant of k> 0, I diff is the sound pressure value of the second channel relative to the sound pressure value of the first channel for a particular peak. chime.)

본 발명의 음색변환장치는 음을 입력하기 위한 입력수단과, 입력된 음을 증폭하기 위한 증폭수단과, 증폭된 음을 푸리에 변환하기 위한 푸리에 변환수단과, 푸리에 변환된 신호 중 특정 가청주파수 신호를 적어도 하나 이상 샘플링하기 위한 샘플링 수단과, 상기 샘플링된 각 가청주파수 신호를 가시주파수 신호로 변환하는 음색변환수단과, 상기 샘플링된 각 가청 주파수들로부터 각각 변환된 적어도 하나이상의 가시 주파수에 대응하는 색을 표시하는 표시수단을 구비하는 것을 특징으로 한다.The tone converting apparatus of the present invention comprises an input means for inputting a sound, an amplification means for amplifying the input sound, a Fourier transform means for Fourier transforming the amplified sound, and a specific audio frequency signal of the Fourier transformed signal. Sampling means for sampling at least one sample; tone conversion means for converting each sampled audio frequency signal into a visible frequency signal; and a color corresponding to at least one visible frequency converted from each of the sampled audio frequencies. And display means for displaying.

본 발명의 음색변환장치는 복수 채널을 통하여 각각 음을 입력하기 위한 입력수단과, 입력된 음을 증폭하기 위한 증폭수단과, 증폭된 음을 푸리에 변환하기 위한 푸리에 변환수단과, 푸리에 변화된 신호 중 특정 가청주파수 신호를 적어도 하나 이상 샘플링하기 위한 샘플링 수단과, 상기 복수의 음들에 대해 서로 대응되는 주파수의 가청주파수 신호들을 이용하여 상기 복수의 채널 사이의 음원 위치를 연산하는 연산수단과, 상기 샘플링된 각 가청주파수 신호를 가시주파수 신호로 변환하는 음색변환수단과, 상기 샘플링된 각 가청 주파수들로부터 각각 변환된 적어도 하나 이상의 가시 주파수에 대응하는 색을 음원 위치에 따라 표시하는 표시수단을 구비하는 것을 특징으로 한다.The present invention provides a tone conversion apparatus comprising: input means for inputting sound through a plurality of channels, amplification means for amplifying the input sound, Fourier transform means for Fourier transforming the amplified sound, and a Fourier transformed signal. Sampling means for sampling at least one audio frequency signal, calculation means for calculating sound source positions between the plurality of channels using audio frequency signals of frequencies corresponding to each other for the plurality of sounds, and the sampled angles. A tone converting means for converting an audible frequency signal into a visible frequency signal, and display means for displaying a color corresponding to at least one visible frequency converted from each of the sampled audible frequencies according to a sound source position do.

상기 표시수단은 CRT, LCD와 같은 영상표시장치 또는 풀컬러 표시램프, 컬러레이저 광원장치와 같은 조명장치로 구성할 수 있다.The display means may be configured as an image display device such as a CRT or LCD, or an illumination device such as a full color display lamp or a color laser light source device.

본 발명의 색음변환방법은 입력된 색에 대응하는 가시 주파수(Fi) 및 휘도(BFi)를 구하는 단계와, 구해진 가시 주파수를 다음 수식에 의해 가청주파수로 변환하는 단계와, 상기 변환된 가청주파수를 음으로 출력하는 단계를 구비하는 것을 특징으로 한다.The color-to-tone conversion method of the present invention comprises the steps of obtaining a visible frequency (F i ) and a luminance (B Fi ) corresponding to the input color, converting the obtained visible frequency into an audible frequency by the following formula, and the converted audible And outputting the frequency as a sound.

(여기서,, F는 구하고자 하는 음의 주파수, Fl은 기준 가청주파수, Fi는 입력 가시주파수, Fl은 기준 가시주파수, BFi는 1≤BFi≤10 를 만족하는 정수, C는 상수로서 -1≤C≤1를 만족하는 실수임.)(here, , F is the negative frequency, F l is the reference audio frequency, F i is the input visible frequency, F l is the reference visible frequency, B Fi is an integer satisfying 1≤B Fi ≤10, and C is a constant- This is a real number that satisfies 1≤C≤1.)

본 발명의 색음변환장치는 입력된 색에 대응하는 가시 주파수 및 휘도를 구하는 입력수단과, 구해진 가시 주파수를 상기 수식(4)에 의해 가청주파수로 변환하는 색음변환수단과, 상기 변환된 가청주파수를 음으로 출력하는 출력수단을 구비하는 것을 특징으로 한다.The color-tone conversion apparatus of the present invention includes input means for obtaining a visible frequency and luminance corresponding to an input color, color-to-sound conversion means for converting the obtained visible frequency into an audible frequency by Equation (4), and the converted audio frequency. And output means for outputting sound.

본 발명의 의한 음원위치 결정방법은 서로 일정 간격 떨어진 복수의 채널들을 통하여 음원으로부터 음을 입력하는 단계와, 각 채널들을 통하여 입력된 음을 각각 푸리에 변환하는 단계와, 상기 각 주리에 변환된 신호의 피크치를 샘플링하는 단계와, 상기 샘플링된 각 주파수에서 복수의 채널들의 음압을 이용하여 복수 채널 사이의 음원 발생위치를 연산하는 단계를 구비하는 것을 특징으로 한다.The sound source positioning method according to the present invention comprises the steps of inputting the sound from the sound source through a plurality of channels spaced apart from each other, the step of Fourier transforming the sound input through the respective channels, and each of the signals Sampling a peak value and calculating a sound source generation position between a plurality of channels using sound pressures of a plurality of channels at each of the sampled frequencies.

상기 복수 채널의 음원 입력위치 사이에서 음원의 발생위치를 아래의 수식에 근거하여 연산한다.The generation position of the sound source between the sound source input positions of the plurality of channels is calculated based on the following equation.

(여기서, a는 특정 채널의 음원 입력위치를 '0'으로 하는 구하고자 하는 음원 발생위치값, d는 제 1채널의 음원 입력위치와 제 2채널의 음원 입력위치 사이의 거리, s는 상기 두 채널의 음원 입력위치 사이를 잇는 직선과 실제 음원 위치 사이의 수직거리, k는 k〉0인 상수, IDIFF는 특정의 피크에 대한 제 1채널의 음압값-제 2채널의 음압값임).(Where a is a sound source generation position value to obtain a sound source input position of a specific channel as '0', d is a distance between the sound source input position of the first channel and the sound source input position of the second channel, and s is the two The vertical distance between the line between the sound source input position of the channel and the actual sound source position, k is a constant of k> 0, I DIFF is the sound pressure value of the first channel for the particular peak—the sound pressure value of the second channel).

상기 복수 채널의 음원 입력위치 사이에서 음원의 발생위치를 아래의 수식에근거하여 결정한다.The generation position of the sound source between the sound source input positions of the plurality of channels is determined based on the following equation.

{E}_{diff} ＞ 0 이면, 음원의 발생위치는 제 1채널에 근접If {E} _ {diff}> 0, the source of sound generation is close to the first channel.

{E}_{diff} ＜ 0 이면, 음원의 발생위치는 제 2채널에 근접If {E} _ {diff} <0, the generation position of the sound source is close to the second channel.

(여기서, Ediff는 두 채널 사이의 중간 지점을 '0'으로 하는 음원 발생위치 값, Pn은 각 피크 발생 위치별 음압값, n은 검출된 피크의 수이며 M1에너지는 제 1채널의 음압 에너지값, M2에너지는 제 2채널의 음압 에너지값임.)Where E diff is the sound source location value with the midpoint between the two channels as '0', P n is the sound pressure value for each peak location, n is the number of detected peaks, and M1 energy is the sound pressure of the first channel. Energy value, M 2 energy is the sound pressure energy value of the second channel.)

본 발명의 음원위치 결정수단은 서로 일정 간격 떨어진 복수의 채널들을 통하여 음원으로부터 음을 입력하는 입력수단과, 각 채널들을 통하여 입력된 음을 각각 푸리에 변환하는 푸리에 변환수단과, 상기 각 푸리에 변환된 신호의 최고점을 구하고 최고점의 주파수와 레벨을 샘플링하는 샘플링 수단과, 상기 샘플링된 각 주파수에서 복수 채널들의 각 음압을 이용하여 복수 채널 사이의 음원 발생위치를 연산하는 연산수단을 구비하는 것을 특징으로 한다.The sound source position determining means of the present invention comprises input means for inputting sound from a sound source through a plurality of channels spaced apart from each other, Fourier transform means for Fourier transforming the sound input through the respective channels, and each Fourier transformed signal. Sampling means for obtaining the highest point and sampling the frequency and level of the highest point, and calculating means for calculating the sound source generation position between the plurality of channels by using each sound pressure of the plurality of channels at each sampled frequency.

이하, 첨부한 도면을 참고하여 본 발명의 바람직한 실시예를 보다 상세하게 설명하면 다음과 같다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명에 의한 원좌표계의 음색변환표를 나타낸다. 도 1은 화성법의12음계를 색채에 대응시킨 일례로서 '도'음(도면에서 C로 표기)을 적색(682nm)에 대응한 예를 나타내고 있다. 도시한 바와 같이, 색채는 가시주파수를 저주파수로부터 로그(log)를 취한 값이 원상의 '도(C)'가 위치한 지점을 0도 기준으로 각에 정비례하도록 배치하였으며, 적색에서 주황색, 노란색, 녹색, 청색 및 보라색의 순서로 나타난다. 그리고 계원상의 음계수(즉, 한 옥타브의 주파수 대역을 로그적으로(logarithmically) 일정한 간격으로 등분한 수)는 도(C), 도#(C#), 레(D), 레#(Eb), 미(E), 파(F), 파#(F#), 솔(G), 솔#(Ab), 라(A), 라#(Bb), 시(B)로 표현되는 12음계를 기초로 배치하였다. 원중심방향으로 색계의 명도와 음계의 옥타브가 1:1로 대응하여 색상환으로 배열된다. 따라서, 원중심으로 갈수록 휘도 및 옥타브가 높아지고 원중심에서 멀어질수록 휘도 및 옥타브가 낮아진다.1 shows a tone conversion table of a circular coordinate system according to the present invention. Fig. 1 shows an example in which the 12 scales of the harmonic method correspond to the color, and an example in which the 'degree' sound (denoted C in the figure) corresponds to red (682 nm). As shown, the color is arranged so that the value of taking the log of the visible frequency from the low frequency is directly proportional to the angle of 0 degrees with respect to the point where the original 'degree (C)' is located, and from red to orange, yellow, and green Appears in the order of blue and purple. And note that the coefficients on the circle (i.e., the number of octaves equally divided into logarithmically regular intervals) are shown in Figures (C), (#), (D), (Eb), Based on 12 scales represented by beauty (E), wave (F), wave # (F #), sole (G), sole # (Ab), la (A), Ra # (Bb), and poem (B) Placed. In the direction of the center, the brightness of the color system and the octaves of the musical scale correspond to 1: 1 and are arranged in the color wheel. Therefore, the luminance and the octave become higher toward the center of gravity, and the luminance and the octave become lower toward the center of gravity.

도 2는 본 발명에 의한 직교좌표계의 제 1음색변환표를 나타낸다. 제 1 음색변환표의 가로축은 음 높이와 색을 나타내고, 세로축은 옥타브와 휘도를 나타낸다.2 shows a first tone conversion table of the rectangular coordinate system according to the present invention. The horizontal axis of the first tone conversion table represents pitch and color, and the vertical axis represents octave and luminance.

제 1음색변환표는 음 높이에 색의 채도가 정비례하여 변환된다. 따라서, 동일 옥타브에서 색들의 휘도는 서로 다르지만 채도는 서로 동일하다.In the first tone conversion table, the saturation of the color is directly proportional to the tone height. Thus, in the same octave, the luminance of the colors is different but the saturation is the same.

도 3은 본 발명에 의한 직교좌표계의 제 2 음색변환표를 나타낸다. 제 2 음색변환표의 가로축은 음 높이와 색을 나타내고, 세로축은 옥타브와 휘도를 나타낸다. 제 2음색변환표는 음 높이에 색의 휘도가 정비례하여 변환된다. 따라서, 가로방향으로는 색들의 휘도가 서로 동일하지만 채도는 서로 다르게 표시된다.3 shows a second tone conversion table of the rectangular coordinate system according to the present invention. The horizontal axis of the second tone conversion table represents pitch and color, and the vertical axis represents octave and luminance. In the second tone conversion table, the luminance of the color is directly proportional to the pitch. Therefore, in the horizontal direction, the luminance of the colors is the same but the chroma is displayed differently.

도 4 및 도 5는 본 발명에 의한 음색변환표에 의해 음계위치가 채색된 악기를 나타낸다. 도 4는 기타 및 피아노의 음계위치를 음높이에 휘도가 비례하는 제 2음색변환표를 근거로 하여 채색한 경우를 나타내고, 도 5는 제 1 음색변환표를 근거로 하여 채색한 경우를 나타낸다.4 and 5 show musical instruments whose scale positions are colored by the tone conversion table according to the present invention. FIG. 4 shows a case where a color scale of a guitar and a piano is colored based on a second tone conversion table whose luminance is proportional to the pitch, and FIG. 5 shows a case where a color tone is colored based on a first tone conversion table.

따라서, 본 발명의 악기에서는 연주자가 음계위치를 색으로 인지할 수 있어서 음계의 옥타브와 음 높이를 용이하게 식별할 수 있다.Therefore, in the musical instrument of the present invention, the player can recognize the scale position by color, and can easily distinguish between the octave and the pitch of the scale.

도 6은 본 발명에 의한 조화색 선정장치의 블록도를 나타낸다. 도 6의 조화색 선정장치는 선택수단(10), 저장수단(12), 연산수단(14), 표시수단(16)를 포함한다.6 shows a block diagram of a harmonic color selecting device according to the present invention. The harmonic color selection device of FIG. 6 includes a selection means 10, a storage means 12, a calculation means 14, and a display means 16.

선택수단(10)은 조화색을 찾기위한 기준색을 선택하고, 음계 분할율 및 화성법 코드를 선택한다.The selecting means 10 selects a reference color for finding a harmonic color, and selects a scale division ratio and a harmonic code.

저장수단(12)은 도 7 및 도 8의 제 1 및 제 2 테이블을 저장한다. 도 7은 음계 분할율과 조화주파수비를 나타낸 제 1 테이블이고, 도 8은 화성법 코드에 대응하는 조화 주파수비를 나타낸 제 2테이블을 나타낸다.The storage means 12 store the first and second tables of FIGS. 7 and 8. Fig. 7 is a first table showing the scale division ratio and harmonic frequency ratio, and Fig. 8 shows a second table showing the harmonic frequency ratio corresponding to the harmonic code.

연산수단(14)은 음계 분할율이 평균율로 선택된 경우에는 다음수식에 의해 조화색을 연산한다.The calculating means 14 calculates a harmonic color by the following equation when the scale division rate is selected as the average rate.

여기서, Fh는 구하고자 하는 조화주파수, Fr은 입력주파수, k는 음계수로서 한 옥타브의 주파수를 등비율로 등분한 수, n은 조화주파수비로서 1≤n≤(k-1)이며, 상기 k와 n은 자연수이다.Where F h is the harmonic frequency to be obtained, F r is the input frequency, k is the sound coefficient, and the frequency of one octave is equally divided by the equal ratio, and n is the harmonic frequency ratio of 1≤n≤ (k-1). K and n are natural numbers.

일반적으로 12음계를 주로 사용하므로 k가 12이고 n은 1부터 11까지인 경우에 대하여 설명한다. 상기 수학식에서 k가 12이므로는 약 1.0594로서 한 옥타브의 주파수를 등간격의 로그(log) 비율로 12등분하였을 때 이웃하는 주파수간의 비율이다. 즉 음(音)에 있어서는, 화성법에서 한 옥타브의 음을 12음계로 나누었을 때 이웃하는 음(일례로 '도'와 '도#') 사이의 주파수비와 동일하다.In general, since 12 scales are mainly used, the case where k is 12 and n is 1 to 11 will be described. Since k is 12 in the above equation Is about 1.0594, which is the ratio between neighboring frequencies when a frequency of one octave is divided into 12 equal log intervals. In other words, in the harmonic method, when one octave is divided into 12 scales, it is equal to the frequency ratio between neighboring notes (for example, 'degree' and 'degree #').

이로서 조화주파수비 n은 특정 코드를 구성하는 음들의 등비율 간격을 의미하는데, 하나의 예로 '도미솔'로 구성되는 메이져 코드는 '도'음에 해당하는 주파수를 기준으로 '미'음과 '솔'음에 해당하는 주파수간 등비율간격이 각각 4와 7이므로, 상기 표에서 메이져 코드의 조화주파수비값은 4와 7로 나타난다. 따라서 입력주파수가 '도'음에 대응하는 경우, 상기 입력주파수와 조화하는 복수의 조화주파수는 각각 '미'음과 '솔'음에 대응하는 주파수가 된다.Thus, the harmonic frequency ratio n means equal intervals between the sounds constituting a particular chord. For example, a major chord consisting of `` Domisol '' is based on the frequency corresponding to the `` degree '' sound. Since the equal ratio intervals between the frequencies corresponding to the sole 'sound are 4 and 7, respectively, the harmonic frequency ratio values of the major codes are shown as 4 and 7 in the above table. Therefore, when the input frequency corresponds to the 'degree' sound, the plurality of harmonic frequencies that match the input frequency are the frequencies corresponding to the 'mi' sound and the 'sol' sound, respectively.

하나의 예로서 입력수단(11)에서 제공받는 입력주파수가 청색에 대응하는 약 690 THz (435 nm의 파장)이고, 마이너코드에 해당하는 조화주파수를 연산할 경우, 조화주파수비 n이 각각 3과 7이므로,THz = 820.55 THz(365.61 nm의 파장),THz = 1033.83 THz (290.18 nm의 파장)이다.As an example, when the input frequency provided from the input means 11 is about 690 THz (wavelength of 435 nm) corresponding to blue, and the harmonic frequency corresponding to the minor code is calculated, the harmonic frequency ratio n is 3 and 3, respectively. 7, THz = 820.55 THz (wavelength of 365.61 nm), THz = 1033.83 THz (wavelength of 290.18 nm).

그런데 Fh2는 가시주파수 범위를 벗어나므로, 상기 제 1연산부(17)는 연산된조화주파수가 가시주파수 범위를 벗어나는 경우, 연산된 조화주파수를 2로 나누어서 가시주파수 범위를 벗어나지 않도록 한다. 따라서 Fh2는 2로 나눈 516.92 THz(580.36nm의 파장)가 된다.However, since F h2 is out of the visible frequency range, when the calculated harmonic frequency is out of the visible frequency range, the calculated harmonic frequency is divided by two so as not to be out of the visible frequency range. Thus, F h2 becomes 516.92 THz (wavelength of 580.36 nm) divided by two.

또한 기존의 평균율상의 12음계는 상기한 수식과 같이 한 옥타브의 주파수를 등간격의 로그 비율로 등분하면 이웃하는 음과의 주파수 간격은 어느 음에서나1 로서 동일하지만, 순정율의 경우에는 '도'음을 기준으로 분수형태로 그 위의 음을 만들어가는 방식이므로, 이웃하는 음과의 주파수 간격이 일정하지 않다.In addition, the existing 12-tone scale with the average ratio divides the frequency of one octave by the logarithmic ratio at equal intervals as described above. It is the same as 1, but in the case of pure rate, the frequency above is made in the form of fraction on the basis of 'degree', so the frequency interval between neighboring sounds is not constant.

하지만 순정율은 지금도 조율방법으로 사용될 만큼 평균율에 비해 그 조화정도가 우수하다.However, the pure rate is still well harmonized compared to the average rate so that it can be used as a tuning method.

따라서 음계를 순정율로 등분한 경우에 있어서 조화주파수를 연산하기 위하여, 메인주파수(상기 '도'음에 해당하는 주파수)를 기준으로 상기 조화주파수비 n값에 대응하는 분수형태의 주파수비(이하, '순정율 주파수비'라 한다)를 도출하였으며, 도 7에는 메인주파수를 기준으로 각 음계에 해당하는 순정율 주파수비를 나타낸 것이다.Therefore, in order to calculate the harmonic frequency in the case of dividing the musical system into pure parts, the fractional frequency ratio corresponding to the harmonic frequency ratio n is referred to based on the main frequency (the frequency corresponding to the 'degree' sound). (Referred to as 'pure rate frequency ratio'), and FIG. 7 shows the pure rate frequency ratio corresponding to each scale based on the main frequency.

하나의 예로서 입력수단(11)에서 제공받은 입력주파수가 적색에 해당하는 460 THz이고, 사용자가 메이져 코드를 선택하여 도 8에서 도출된 조화주파 수비 n이 각각 4와 7인 경우, 상기 조화주파수비 4와 7에 대응하는 순정율 주파수비는 각각 5/4와 3/2이므로,THz = 575 THz,THz =690 THz 이다.As an example, when the input frequency provided from the input means 11 is 460 THz corresponding to red, and the user selects a major code and the harmonic frequency ratio n derived from FIG. 8 is 4 and 7, respectively, the harmonic frequency As pure rate frequency ratio corresponding to ratio 4 and 7 is 5/4 and 3/2 respectively, THz = 575 THz, THz = 690 THz.

표시수단(16)은 입력받은 조화주파수를 가시광으로 변환하고 모니터의 스크린 상에 조화색을 디스플레이한다.The display means 16 converts the received harmonic frequency into visible light and displays the harmonic color on the screen of the monitor.

도 9는 본 발명에 의한 조화색 선정방법의 일예를 설명하기 위한 컴퓨터 모니터 상에 제공되는 화면 상태도를 나타낸다. 도 9의 화면에 나타난 바와 같이, 좌측 창에서 화성법 코드 리스트란을 클릭하면, 중앙 창에서 화성법 코드 리스트가 표시된다. 표시된 화성법 코드 리스트에서 예컨대 "SUS4" 코드를 선택하면, 우측창에서 선택된 ±1 옥타브와 ±3옥타브에서 각각 3개의 조화색들이 표시되고, 하단에는 색상환에 "SUS4"의 조화주파수 도형이 표시된다. 색상환에서 기준색을 선택하면, 상단의 조화색 표시창에 관련된 조화색들이 변화되면서 표시된다.9 is a screen state diagram provided on a computer monitor for explaining an example of the method of selecting a harmonic color according to the present invention. As shown in the screen of FIG. 9, when the chemical method code list is clicked in the left window, the chemical method code list is displayed in the center window. For example, when the "SUS4" code is selected from the displayed harmonic code list, three harmonic colors are displayed at ± 1 octave and ± 3 octave selected in the right window, and a harmonic frequency figure of "SUS4" is displayed at the bottom of the color wheel. When the reference color is selected in the color wheel, the color matching the upper color matching window is changed and displayed.

도 10 본 발명에 의한 조화색 선정방법의 다른 예를 설명하기 위한 컴퓨터 모니터 상에 제공되는 화면 상태도를 나타낸다. 도 10의 다른 예에서는 화성법 코드"AUG"와 "7/ALT"에 각각의 조화색 선정화면을 나타낸다. 각 조화색 선정화면에서 좌측에 선택된 화성법 코드의 조화색 표시창, 휘도선택바, 채도선택바, 색상환이 표시되고, 우측에는 테이블 작성된 모든 화성법 코드들의 조화색들이 표시된다. 우측의 색상환에서 기준색을 선택하면 조화색 표시창의 색들이 변화된다.Fig. 10 shows a screen state diagram provided on a computer monitor for explaining another example of the method for selecting a harmonic color according to the present invention. In another example of Fig. 10, each harmonic color selection screen is shown in the harmonic codes "AUG" and "7 / ALT". On each harmonic color selection screen, a harmonic color display window, a luminance selection bar, a saturation selection bar, and a color wheel of the selected harmonic code are displayed on the left side, and the harmonic colors of all the harmonic codes written on the table are displayed on the right side. Selecting a reference color from the color wheel on the right changes the colors of the harmonic display.

도 11은 본 발명에 의한 바람직한 일 실시예의 음색변환장치의 블록도를 나타낸다. 도 11의 장치는 마이크(22, 24), 증폭기(26, 28), 푸리에 변환기(30, 32), 샘플링 수단(34, 36), 음색변환 연산수단(38, 40), 음원위치 연산수단(42), 표시제어수단(44), 디스플레이장치(46), 명령입력수단(48), 저장수단(50), 제어수단(52)를 포함한다.Fig. 11 shows a block diagram of the timbre converting apparatus of the preferred embodiment of the present invention. The apparatus of FIG. 11 includes microphones 22 and 24, amplifiers 26 and 28, Fourier transducers 30 and 32, sampling means 34 and 36, tone conversion calculating means 38 and 40, sound source position calculating means ( 42, display control means 44, display apparatus 46, command input means 48, storage means 50, and control means 52.

도 11의 음색변환장치는 음원(20)으로부터 음을 입력하기 위한 복수의 마이크(22, 24)를 통하여 L, R 2채널의 음들을 각각 입력한다. 입력된 L.R 채널의 음신호는 증폭기(26, 28)을 통하여 증폭되고, 증폭된 신호는 푸리에 변환기(30, 32)에서 매 프레임 단위로 각각 고속 푸리에 변환된다. 푸리에 변환된 신호는 샘플링수단(34, 36)에서 소정 필터링 알고리즘에 의해 필터링되고 필터링된 피크치들은 음압순서대로 분류된 다음에 적정 피크치 수, 예컨대 30개 이하로 샘플링된다. 샘플링 된 각 피크치 신호들은 각각 주파수값과 음압값을 가진다. 이 신호는 음색변환 연산수단(38, 40)에서 상술한 음색변환공식에 의해 가시 주파수로 변환된다.The tone converting apparatus of FIG. 11 inputs the sound of the L and R channels through the plurality of microphones 22 and 24 for inputting sound from the sound source 20, respectively. The input L.R channel sound signals are amplified by the amplifiers 26 and 28, and the amplified signals are fast Fourier transformed on a frame-by-frame basis by the Fourier transformers 30 and 32, respectively. The Fourier transformed signal is filtered by a predetermined filtering algorithm in the sampling means 34 and 36, and the filtered peak values are sorted in the sound pressure order and then sampled to an appropriate number of peak values, for example, 30 or less. Each sampled peak value signal has a frequency value and a sound pressure value, respectively. This signal is converted into the visible frequency by the tone conversion formula described above in the tone conversion calculation means 38, 40.

하나의 예로서, 상기 입력 가청주파수 fi가 4옥타브의 '미'음에 해당하는 329.6 Hz이고, '적색'에 해당하는 기준주파수에 의해 상수 C'가 0.29의 값을 나타내며, 최저 가청주파수 fl및 최저 가시주파수 Fl을 각각 20 Hz및 350 THz로 설정하면, 상기 수식에 의해 도출되는 가시주파수는 441 THz이고, 구하고자 하는 색의 휘도는 상기 연산된 x값에 비례하여 4.33 (43.3%)의 휘도값을 갖는다.As an example, the input audio frequency f i is 329.6 Hz, which corresponds to a 4 octave 'mi' sound, and the constant C 'represents a value of 0.29 by the reference frequency corresponding to' red ', and the lowest audio frequency f is When l and lowest visible frequency F l are set to 20 Hz and 350 THz, respectively, the visible frequency derived by the above formula is 441 THz, and the luminance of the color to be obtained is 4.33 (43.3%) in proportion to the calculated x value. ) Has a luminance value.

한편, 샘플링된 피크치 신호들은 음원위치 연산수단(42)에 제공된다. 음원위치 연산수단(42)에서는 동일 주파수에서 L. R 채널의 두 신호의 음원 위치를 연산한다.On the other hand, the sampled peak value signals are provided to the sound source position calculating means 42. The sound source position calculating means 42 calculates sound source positions of two signals of the L. R channel at the same frequency.

도 12는 제 1실시예에 의한 음원 발생위치 연산단계의 세부동작을 설명하기 위한 흐름도이다.12 is a flowchart for explaining the detailed operation of the sound source generation position calculation step according to the first embodiment.

도 12는 흐름도는 도 13에서 도시한 바와 같이, 실제 음원의 위치를 알고, 음원이 이동하는 영역이 제 1채널과 제 2채널 사이에 한정된다고 가정하는 경우, 복수개 채널 가운데 2개 채널, 즉 제 1채널의 음원 입력위치와 제 2채널의 음원 입력위치 사이에서 음원의 발생위치를 연산하기 위한 것이다.FIG. 12 is a flowchart illustrating two channels of a plurality of channels, namely, assuming that a location of an actual sound source is known and a region in which a sound source moves is defined between the first channel and the second channel, as shown in FIG. 13. It is for calculating the generation position of the sound source between the sound source input position of one channel and the sound source input position of the second channel.

도면에서 d는 제 1채널의 음원 입력위치와 제 2채널의 음원 입력위치 사이의 거리, s는 상기 두 채널의 음원 입력위치 사이를 잇는 직선과 실제 음원 사이의 수직 거리, a는 특정 채널(일례로 제 1채널)의 음원 입력위치를 '0'으로 하는 구하고자 하는 음원 발생위치값을 나타낸다.In the drawing, d is the distance between the sound source input position of the first channel and the sound source input position of the second channel, s is the vertical distance between the line between the sound source input position of the two channels and the actual sound source, a is a specific channel (example In this example, the sound source input position value of the sound source input position of the first channel) is set to '0'.

상기한 음원 발생위치값 a를 연산하기 위하여, 상술한 바와같이 채널별 음원신호를 입력받고(100), 상기 제어신호 및 채널별 음원신호에 근거하여 각 채널을 통해 입력되는 가청 주파수를 소정의 주파수 간격으로 고속 푸리에 변환(Fast Fourier Transform, 이하 'FFT'라 함) 연산하며(101), FFT 연산한 결과에 근거하여 각 채널별로 하나 또는 복수개의 피크점을 검출한다(102).In order to calculate the sound source generation position value a, a sound source signal for each channel is input as described above (100), and an audible frequency input through each channel based on the control signal and the sound source signal for each channel is a predetermined frequency. A Fast Fourier Transform (FFT) is calculated at intervals (101), and one or more peak points are detected for each channel based on the result of the FFT operation (102).

보다 상세하게, 도 14은 한 프레임에서 각 채널별로 가청주파수를 FFT 연산한 결과를 나타낸 주파수 스펙트럼도로서, 가로축과 세로축이 각각 주파수축과 음압레벨축(도면에 표기된 데시벨 수치는 (-)값임)을 나타내며, 입력받은 음의 전기적 신호를 주파수별 음압의 크기로 분석한 결과를 도시하고 있다. 상기한 FFT 연산결과에 근거하여 동일 주파수에 대해 제 1채널에서 제 1피크점(P1), 제 2피크점(P2) 및 제 3피크점(P3) 등 복수개의 피크점을 검출하고, 제 2채널에서 제 1피크점 (P'1), 제 2피크점 (P'2), 및 제 3피크점(P'3) 등 복수개의 피크점을 검출한다.More specifically, FIG. 14 is a frequency spectrum diagram showing the results of FFT calculation of audible frequencies for each channel in one frame, in which the horizontal axis and the vertical axis are the frequency axis and the sound pressure level axis (the decibel value indicated in the figure is a negative value). The results of analyzing the electrical signal of the received sound by the magnitude of the sound pressure for each frequency. Based on the FFT calculation result, a plurality of peak points such as a first peak point P1, a second peak point P 2 , and a third peak point P 3 are detected in the first channel for the same frequency. A plurality of peak points such as a first peak point P ′ 1 , a second peak point P ′ 2 , and a third peak point P ′ 3 are detected in the second channel.

그리고 채널별로 검출된 각 피크점에서의 해당 주파수 및 dB(데시벨) 단위로 환산한 음압레벨 값을 검출하고, 해당 주파수별 피크점의 음압차를 연산하여 이를 Idiff로 출력한다(103). 즉, 제 1 및 제 2채널에서 제 1 피크점을 비교하는 경우, Idiff는의 P1의음압레벨 값-P'1의 음압레벨 값을 의미하며, 출력된 Idiff와 기설정된 s 및 d값에 따라 아래 수학식 4에 근거하여 피크 발생 주파수별 음원의 발생위치 a를 연산한다.Then, the sound pressure level value converted in units of the corresponding frequency and dB (decibel) at each peak point detected for each channel is detected, and the sound pressure difference of the peak point for each frequency is calculated and output as I diff (103). That is, when comparing the first peak point in the first and second channels, I diff means the sound pressure level value of P 1 -P ' 1 sound pressure level value, and the output I diff and the preset s and d Based on the value, the generation position a of the sound source for each peak generation frequency is calculated based on Equation 4 below.

여기서, a는 제 1채널의 음원 입력위치를 '0'으로 하는 구하고자 하는 음원발생위치값이고, k는 k〉0인 상수이며, s 및 d는 앞서 정의한 바와 동일하다.Here, a is a sound source generation position value to be obtained by setting the sound source input position of the first channel to '0', k is a constant of k> 0, and s and d are the same as defined above.

상기한 수식을 근거로 각 피크 발생 주파수별 음원의 발생위치 a를 연산하고(104), 검출된 a값을 d값과 비교 판별하여(105) a〈d/2인 경우, 음원의 발생위치가 제 1채널에 근접한 것으로 판단하며(106), a〉d/2인 경우, 음원의 발생위치가 제 2 채널에 근접한 것으로 판단한다(107). 그리고 검출된 각 피크점의 주파수값과 음압레벨 값 및 상기 연산된 음원의 발생위치값을 출력한다(108)On the basis of the above formula, the occurrence position a of the sound source for each peak generation frequency is calculated (104), and the detected value a is compared with the value d (105). When a <d / 2, the occurrence position of the sound source is If it is determined that the first channel is close (106), and if a> d / 2, it is determined that the generation position of the sound source is close to the second channel (107). The frequency value and the sound pressure level value of each detected peak point and the calculated position value of the sound source are output (108).

상기 표시제어수단(44)은 입력받은 음원 발생위치와 각 피크점의 주파수값 및 음압레벨 값을 근거로 가시광을 출력하며, 표시화면의 일례로 도 15에서 도시한 바와 같이, 가로축에 해당하는 제 1축의 양끝단을 각각 제 1채널과 제 2채널로 대응 설정하여 제 1축상에 음원의 발생위치를 제 1축의 좌표로 하고, 각 음원의 주파수값을 세로축에 해당하는 제 2축의 좌표로 하여 상기한 수학식 3에 의해 음원의 주파수로부터 연산한 색상을 음압에 비례하는 면적으로 표시한다.The display control means 44 outputs visible light based on the input sound source generation position, the frequency value of each peak point, and the sound pressure level value, and as shown in FIG. 15 as an example of the display screen, Correspondingly set both ends of one axis to the first channel and the second channel, respectively, the position where the sound source is generated on the first axis is the coordinate of the first axis, and the frequency value of each sound source is the coordinate of the second axis corresponding to the vertical axis. According to Equation 3, the color calculated from the frequency of the sound source is represented by the area proportional to the sound pressure.

따라서 표시제어수단(44)은 제 1축과 제 2축을 조합한 2차원 평면상에 피크 발생 주파수별 음원의 발생위치, 음원에 대응하는 색상 및 음압의 크기를 용이하게 표시할 수 있다.Accordingly, the display control means 44 can easily display the location of the sound source for each peak generation frequency, the color corresponding to the sound source, and the magnitude of the sound pressure on the two-dimensional plane in which the first axis and the second axis are combined.

이처럼 본 실시예는 피크점이 검출된 해당 주파수별로 음원의 발생위치를 연산하므로, 한 지점에서 발생한 음원으로부터 입력받은 주파수를 분석하여도 한 프레임 내에서 피크 발생 주파수별로 음원 발생위치간이 각기 다른 값을 가질 수 있지만, 다음의 두번째 실시예를 적용하면 한 프레임 내에서 동일한 음원 발생위치값을 도출할 수 있다.As described above, the present embodiment calculates the position of the sound source for each corresponding frequency at which the peak point is detected, and thus, even if the frequency input from the sound source generated at one point is analyzed, the sound source generation position may be different for each peak generation frequency within one frame. However, by applying the following second embodiment, the same sound source generation position value can be derived within one frame.

도 16은 제 2실시예에 의한 음원 발생위치 연산단계의 세부동작을 설명하기위한 흐름도이다.16 is a flowchart for explaining the detailed operation of the sound source generation position calculation step according to the second embodiment.

도 16의 흐름도는 도 17에서 도시한 바와 같이, 복수 채널중 2개 채널, 즉 제 1채널 및 제 2채널의 음원 입력위치 사이의 거리 d가 주어지지 않고, 실제 음원의 위치 및 상기 음원이 이동하는 영역이 제 1 및 제 2채널 사이에 한정되지 않으며, 상기 음원이 제 1 및 제 2채널을 연결하는 축과 수직한 축상에서도 이동한다고가정하는 경우, 두 채널 사이의 중간 지점을 '0'으로 하는 음원 발생위치를 검출하기 위한 것이다.In the flowchart of FIG. 16, as shown in FIG. 17, the distance d between two input channels of the plurality of channels, that is, the first and second channels, is not given, and the position of the actual sound source and the sound source are moved. If the region is not limited between the first and second channels, and the sound source moves on an axis perpendicular to the axis connecting the first and second channels, the intermediate point between the two channels is set to '0'. This is for detecting the sound source generation position.

먼저, 채널별 음원신호를 입력받고(110), 각 채널을 통해 입력되는 가청주파수를 소정의 주파수 간격으로 FFT 연산하며(111), 각 채널별로 FFT 연산한 결과에 근거하여 채널별로 복수개의 피크점을 검출하는 과정(112)은 제 1 실시예와 동일하다.First, a sound source signal for each channel is input (110), and an audible frequency input through each channel is FFT calculated at a predetermined frequency interval (111), and a plurality of peak points for each channel based on the FFT calculation for each channel. The process of detecting 112 is the same as that of the first embodiment.

그리고 채널별로 검출된 각 피크점에서의 음압레벨 값을 검출하고, 아래 수 학식 5에 근거하여 제 1채널의 음압 에너지와 제 2채널의 음압 에너지를 각각 연산하며(114), 각 채널별로 연산된 음압 에너지를 비교 검출하여 음원의 발생 위치를 연산한다.The sound pressure level value at each peak point detected for each channel is detected, and sound pressure energy of the first channel and sound pressure energy of the second channel are respectively calculated based on Equation 5 below (114). Comparing and detecting the sound pressure energy to calculate the generation position of the sound source.

이때, At this time,

여기서, Ediff는 두 채널 사이의 중간 지점을 '0'으로 하는 음원 발생위치값, Pn은 피크점이 검출된 해당 주파수별 음압레벨 값, n은 검출된 피크의 수이며 M1에너지는 제 1채널의 음압 에너지값, M2에너지는 제 2채널에의 음압 에너지값을 나타낸다.Here, E diff is a sound source generating position value having a midpoint between two channels as '0', P n is a sound pressure level value for each frequency at which a peak point is detected, n is the number of detected peaks, and M1 energy is a first channel. Is the sound pressure energy value, M2 energy represents the sound pressure energy value to the second channel.

상기한 수식에 근거하여, 제 1 및 제 2채널에서 피크점일 검출된 해당 주파수별 음압레벨 값에 따라 M1에너지와 M2에너지를 연산하고, M1에너지와 M2에너지의 결과값에따라 Ediff를 검출한다. 그리고 검출된 Ediff의 양수, 음수 여부를 판별하여(115) 상기 Ediff〉0인 경우, 음원의 발생위치가 제 1채널에 근접하다고 판단하고(116), Ediff〈0인 경우, 음원의 발생위치가 제 2채널에 근접하다고 판단하며(117), 검출된 각 피크점에서의 해당 주파수값과 음압레벨 값 및 음원 발생위치를 표시수단(44)으로 출력한다(118)Based on the above equation, M1 energy and M2 energy are calculated according to sound pressure level values of the corresponding frequencies detected at peak points in the first and second channels, and E diff is detected according to the result values of M1 energy and M2 energy . . And if to determine the positive, negative, whether or not the detected E diff (115) the E diff> If zero, determines that the generation of the sound source position closer to the first channel (116), E diff <0 , the sound source It is determined that the generation position is close to the second channel (117), and the corresponding frequency value and sound pressure level value and the sound source generation position at each detected peak point are output to the display means 44 (118).

도 18은 상기 표시수단이 디스플레이할 수 있는 화면의 일례를 도시한 것으로서, 화면 구성은 제 1 실시예와 동일하며, 한 프레임 내에서 하나의 음원 발생위치값을 연산함에 따라, 동그라미로 표시되는 주파수별 음원의 발생위치는 제 2축과 평행한 직선상으로 배열한다.18 shows an example of a screen that can be displayed by the display means, and the screen configuration is the same as that of the first embodiment, and the frequency represented by the circle is calculated as one sound source generation position value is calculated in one frame. The generation positions of the other sound sources are arranged in a straight line parallel to the second axis.

도 19는 제 3실시예에 의한 음원 발생위치 연산단계의 세부동작을 설명하기 위한 흐름도로서, 본 실시예는 주파수 대역별로 음원의 발생위치를 연산함을 특징으로 하며, 실제 음원의 위치 및 음원이 이동하는 영역에 대한 가정은 제 2 실시예와 동일하고, 도 19의 흐름도에서 120-122단계는 제 1실시예와 동일하다.19 is a flowchart illustrating the detailed operation of the sound source generation position calculation step according to the third embodiment, characterized in that the present embodiment calculates the generation position of the sound source for each frequency band, Assumptions for the moving area are the same as in the second embodiment, and steps 120 to 122 in the flowchart of FIG. 19 are the same as in the first embodiment.

122단계에서 각 채널별로 검출된 복수 피크점에서의 음압레벨 값을 검출하고, 소정의 주파수 분할 기준에 근거하여 주파수를 대역별로 분리하는데(123), 일례로 주파수를 3개의 영역으로 분할하는 경우, 가청주파수를 저주파수 대역과 중주파수 대역 및 고주파수 대역으로 분리하며, 일례로 20 HZ~200 HZ 구간을 저주파수대역으로, 200 Hz ~ 2 kHz 구간을 중주파수 대역으로, 2 kHz ~ 20 kHz구간을 고주파수 대역으로 분리할 수 있다.In step 122, sound pressure level values of the plurality of peak points detected for each channel are detected, and the frequency is divided into bands based on a predetermined frequency division criterion (123). For example, when frequency is divided into three regions, Separates the audible frequency into a low frequency band, a medium frequency band and a high frequency band.For example, the 20 HZ to 200 HZ section is a low frequency band, the 200 Hz to 2 kHz section is a medium frequency band, and the 2 kHz to 20 kHz section is a high frequency band. Can be separated.

저주파수 대역에서 검출된 각 피크점의 음압레벨 값에 따라 상기한 수식에 근거하여 저주파수 대역에서 제 1채널의 음압 에너지 M1에너지/low및 제 2채널의 음압에너지 M2에너지/low를 각각 연산하고(124), 각 채널별로 검출된 음압 에너지를 근거로 Ediff/low를 연산하고 양수 및 음수 여부를 판단하며(125), 상기 Ediff/low를 판별하여 Ediff/low〉0인 경우, 저주파수 대역에서 음원의 발생위치가 제 1채널에 근접하다고 판단하고(126), Ediff/low〈0인 경우, 저주파수 대역에서 음원의 발생위치가 제 2채널에 근접하다고 판단한다(127).The sound pressure energy M1 energy / low of the first channel and the sound pressure energy M2 energy / low of the second channel are respectively calculated in the low frequency band according to the sound pressure level value of each peak point detected in the low frequency band (124). ), on the basis of the sound pressure energy is detected for each channel operation for E diff / low, and judges whether or not positive and negative (125), when to determine the E diff / low E diff / low > 0 which, in the low frequency band, It is determined that the generation position of the sound source is close to the first channel (126). If E diff / low <0, it is determined that the generation position of the sound source is close to the second channel in the low frequency band (127).

상기와 동일한 원리에 근거하여, 중주파수 및 고주파수 대역에서 검출된 각 피크점의 음압레벨 값에 따라 M1에너지/mid와 M2에너지/mid및 M1에너지/high와 M2에너지/high를 각각 연산하고(128, 132), 각 채널의 음압 에너지로부터 Ediff/mid및 Ediff/high를 각각 연산하고 양수, 음수 여부를 판별하여 종주파수 및 고주파수 대역에서 음원의 발생위치를 판단한다(129~131 및 단계 132~135). 그리고 각 주파수 대역별로 검출된 음원발생위치값과 각 피크점에서의 주파수 및 음압레벨 값을 표시제어수단(44)으로 출력한다(136).Based on the same principle as described above, M1 energy / mid and M2 energy / mid and M1 energy / high and M2 energy / high are respectively calculated according to sound pressure level values of the respective peak points detected in the mid and high frequency bands (128). 132), E diff / mid and E diff / high are respectively calculated from the sound pressure energy of each channel, and positive and negative numbers are determined to determine the generation position of the sound source in the longitudinal frequency and the high frequency band (129-131 and step 132). ~ 135). Then, the sound source generation position value detected for each frequency band, the frequency and the sound pressure level value at each peak point are output to the display control means 44 (136).

도 20는 상기 출력수단이 디스플레이할 수 있는 화면의 일례를 도시한 것으로서, 화면 구성은 앞선 실시예와 동일하며, 한 프레임 내에서 주파수 대역별로 음 원의 발생위치를 연산함에 따라, 일례로 동그라미로 표시되는 음원의 발생위치는 각 주파수 대역별로 동일한 값을 가지므로 각 주파수 대역별로 제 2축과 평행한 직선으로 배열한다.20 shows an example of a screen that the output means can display, and the screen configuration is the same as in the previous embodiment, and as an example, the calculation position of the sound source for each frequency band within one frame is calculated as a circle. Since the generated position of the displayed sound source has the same value for each frequency band, it is arranged in a straight line parallel to the second axis for each frequency band.

여기서, 음의 정보를 음원으로 입력받지 않고 미디(midi)장치로부터 미디신호를 입력받는 경우, 상기 미디신호는 고유의 프로토콜을 사용하여 256 채널 이상의 채널이 서로 다른 음원의 위치정보, 악기정보, 음계정보 등을 가지기 때문에, 채널별로 주파수 분석(FFT 연산)하여 각 음원의 주파수와 음원의 발생위치를 연산할 필요가 없어진다.Here, when a MIDI signal is received from a MIDI device without receiving sound information as a sound source, the MIDI signal uses a unique protocol, and the location information, musical instrument information, and scale of the sound source having 256 or more channels are different from each other. Since it has information, etc., it is not necessary to calculate the frequency of each sound source and the generation position of the sound source by performing frequency analysis (FFT calculation) for each channel.

이로써 미디신호를 입력받아 재생하여 시각화하는 경우, 악기정보에 대응하는 고유의 배음구조정보(메인음을 중심으로 고주파 부분에 특정간격, 특정크기, 특정개수로 발생하는 오버톤)가 저장부에 저장되어 왔으므로, 음계정보에 따라 배음을 같이 발생시킴으로써 악기 고유의 소리를 재생함과 동시에 음원의 발생위치 정보를 제 1축상에 나타내고, 제 2축상에 메인음(음계정보)와 배음(악기정보에 따라 기설정된 값)의 음계정보를 표시하며, 그 위치에 해당크기 및 해당색상을 나타낸다.Thus, when the MIDI signal is received and reproduced and visualized, intrinsic harmonic structure information corresponding to the musical instrument information (overtones generated at a specific interval, a specific size, and a specific number in the high frequency part centered on the main sound) is stored in the storage unit. Therefore, by generating the harmonics according to the scale information, it reproduces the sound unique to the instrument and at the same time shows the position information of the sound source on the first axis, and the main sound (scale information) and the overtones (according to the musical instrument information) on the second axis. It displays scale information of the preset value) and shows the size and the corresponding color at the position.

따라서 미디신호를 입력받는 경우에는 채널별로(즉, 악기별로) 모양을 달리하여 디스플레이할 수 있고, FFT 연산이 필요없기 때문에 단가가 저렴하며, 기존의 미디신호 재생장치에 용이하게 추가할 수 있는 장점이 있다.Therefore, when receiving a MIDI signal can be displayed by changing the shape of each channel (that is, for each instrument), and since the FFT operation is not required, the unit cost is low, and it can be easily added to the existing MIDI signal playback device. There is this.

이외 같이 표시제어수단(44)은 입력되는 각 피크의 정보를 주파수별로 음원의 발생위치에 음압의 크기에 비례하는 면적과 주파수에 대응하는 색의 가시광으로 표시할 수 있으며, 소리를 색채로 변환하여 이를 시각적으로 표시하는 방법의 다른 실시예로서 상기한 각 피크의 음원 발생위치 및 주파수에 근거한 좌표상의 분포 상태를 애니메이션의 키프레임(keyframe)으로 활용하고, 이 키프레임을 근거로 매핑(mapping)하여 음원의 발생위치 및 음의 고저에 반응하는 애니메이션 동작을 표시 할 수 있다.In addition, the display control means 44 may display the information of each input peak by the visible light of the color corresponding to the frequency and the area proportional to the magnitude of the sound pressure at the position where the sound source is generated for each frequency. As another embodiment of the method for visually displaying the above, the distribution state in the coordinates based on the sound source generation position and frequency of each peak is used as a keyframe of the animation, and the mapping is performed based on the keyframe. You can display the animation motion in response to the sound source's origin and sound level.

즉, 각 피크의 음원 발생위치를 연산하면, 각 피크의 음원 발생위치 및 주파수에 근거한 2차원 좌표값을 키프레임 정보로 입력받고, 입력받은 키프레임 정보를 근거로 매핑(mapping)하여 음원의 발생위치 및 음의 고저를 나타내는(일례로 춤추는 인형 등의) 애니메이션 동작으로 변환하여 표시제어수단(44)으로 출력한다. 이로서 표시제어수단(44)은 상기한 동작 정보를 근거로 애니메이션 동작을 디스플레이한다.That is, when the sound source generation position of each peak is calculated, two-dimensional coordinate values based on the sound source generation position and frequency of each peak are input as keyframe information, and mapping is performed based on the received keyframe information to generate sound sources. The image is converted into an animation motion (such as a dancing doll) indicating the position and height of the sound and output to the display control means 44. Thus, the display control means 44 displays the animation motion based on the motion information described above.

도 21은 본 발명의 첫번째 실시예에서 출력수단이 표시할 수 있는 화면의 일례로서 인체에 적용하기 위해 애니메이션 키프레임으로 활용될 음원 발생 위치의 분포 상태를 도시한 개략도이고, 도 22는 도 21에 분포된 음원 가운데 키프레임으로 활용할 음원만을 선택하여 도시한 개략도이다.FIG. 21 is a schematic diagram illustrating a distribution state of a sound source generation position to be used as an animation keyframe for application to a human body as an example of a screen that the output means may display in the first embodiment of the present invention, and FIG. 22 is shown in FIG. 21. It is a schematic diagram showing only the sound source to be used as a key frame among the distributed sound sources.

그리고 도 23은 도 22의 키프레임 정보에 근거하여 매핑하는 과정을 도시한 개략도이며, 도 24는 도 23의 매핑 과정이 완료된 상태를 도시한 개략도이다.FIG. 23 is a schematic diagram illustrating a mapping process based on the keyframe information of FIG. 22, and FIG. 24 is a schematic diagram illustrating a state where the mapping process of FIG. 23 is completed.

도시된 바와 같이 인체 모양과 유사한 부분만을 애니메이션 키프레임 데이터로 취하여 이를 근거로 인체 및 특정 형태로 매핑한 후 에니메이션 동작을 디스플레이한다.As shown in the figure, only the parts similar to the human body shape are taken as the animation keyframe data, and based on this, the human body and the specific shape are mapped and the animation motion is displayed.

도 25는 본 발명에 의한 음색변환모드의 명령입력수단의 일예와 픽스모드에서 음을 영상표현한 화면표시상태를 나타낸다. 도 25에 도시한 본 발명의 음색변환입력수단은 화면상에 제시된다.Fig. 25 shows an example of the command input means of the tone color conversion mode according to the present invention and a screen display state in which sound is imaged in the fix mode. The tone conversion input means of the present invention shown in Fig. 25 is presented on the screen.

음색변환 명령수단은 좌측에 음악파일 OPEN키, 음악파일 리스트창, 재생키, 일시정지키, 정지키, 고속되감기키, 고속재생키, 리피트키, 푸리에 변환 해상도 조정키, 크기 조정키, 스케일링 조정키, 피크치 수 조정키 등을 포함된다.The tone conversion command means is the music file OPEN key, music file list window, play key, pause key, stop key, fast rewind key, fast play key, repeat key, Fourier transform resolution adjustment key, resize key, scaling adjustment Keys, peak number adjustment keys, and the like.

음악파일 오픈키는 음악파일을 다른 디렉토리로부터 불러올 때 사용한다.The music file open key is used to load a music file from another directory.

음악파일 리스트창은 불러온 음악파일의 리스트를 제공한다.The music file list window provides a list of imported music files.

푸리에 변환 해상도 조정키는 화면의 세로축의 해상도를 조정하는 것으로서, 푸리에 변환시 각 프레임단위에서 샘플링 해상도를 조정한다.The Fourier transform resolution adjustment key adjusts the resolution of the vertical axis of the screen, and adjusts the sampling resolution in each frame unit during Fourier transform.

크기 조정키는 샘플링된 피크치의 크기를 조정한다.The resize key adjusts the size of the sampled peak value.

스케일링키는 샘플링된 피크치의 크기를 선형적 또는 비선형적으로 스케일링을 조정한다.The scaling key adjusts the scaling of the sampled peak value linearly or nonlinearly.

피크치 수 조정키는 각 프레임당 샘플링된 총 샘플치들 중 선택된 피크치의 수를 조정한다.The peak number adjustment key adjusts the number of selected peak values among the total sample values sampled for each frame.

음색변환 명령수단은 우측에 이미지 파일 OPEN키, 이미지 파일 리스트창, 스크린 모드 선택키, 음입력선택기, 화면 좌우폭 조정키, 화면 상하 높이 조정키, 음주파수 대역 설정키, 화면출력모드 선택키, 설정값 메모리키들을 포함한다.Tone conversion command means the image file OPEN key, image file list window, screen mode selection key, sound input selector, left and right screen adjustment key, top and bottom height adjustment key, sound frequency band setting key, screen output mode selection key, setting Contains value memory keys.

이미지 파일 오픈키는 각 주파수에 대응하여 표현하고자 하는 기본 이미지 파일을 불러오기 위한 것이다.The image file open key is for importing a basic image file to be expressed for each frequency.

이미지 파일 리스트 창은 선택된 이미지 파일의 리스트를 표시한다.The image file list window displays a list of selected image files.

스크린 모드 선택키는 풀스크린, 도시된 축소 스크린, 세로방향 스크린, 가로방향스크린, 가로방향 주파수 스크린 등을 제공한다.The screen mode selection keys provide a full screen, a reduced screen shown, a vertical screen, a horizontal screen, a horizontal frequency screen, and the like.

음입력선택키는 컴퓨터의 하드상에서 음악파일인 경우에는 CD모드를, 마이크를 통한 실제 음을 실시간적으로입력하는 경우에는 라인모드를 선택한다.The sound input selection key selects the CD mode for music files on the hard disk of the computer and the line mode for inputting real sound through a microphone in real time.

화면 좌우폭 조정키는 좌측방향이면 음원의 위치가 중앙 세로축으로 모여서 표시되고 우측방향이면 좌우 방향으로 펼쳐져 표시된다. 따라서, 좌측종단에서는 모노음원처럼 중앙 세로축에서만 이미지가 표시되게 된다. 스테레오감을 과장되게 표시하기 위해서는 우측 종단으로 조정하면 된다.The left and right width adjustment keys are displayed on the left side in the center of the sound source, and on the right side, they are displayed in the left and right directions. Therefore, at the left end, the image is displayed only at the center vertical axis like the mono sound source. To exaggerate stereo, you can adjust it to the right end.

화면 상하 높이 조정키는 좌측방향이면 주파수 위치가 중앙 가로축으로 모이게 되므로 가로축상에 모여서 표시된다. 우측방향이면 주파수 위치가 상하로 펼쳐지게 되므로 상하로 펼쳐져 표시된다.The height adjustment key of the screen is displayed on the horizontal axis because the frequency position is gathered on the center horizontal axis when it is in the left direction. In the right direction, the frequency position is displayed up and down because it is expanded up and down.

화면 출력모드 선택키는 고정모드, 비트모드, 톤모드를 선택한다.The screen output mode selection key selects fixed mode, beat mode, and tone mode.

고정모드인 경우에는 도 25에 표시한 바와 같이, 선택된 하나의 이미지 파일로 영상이 표시된다.In the fixed mode, as shown in FIG. 25, an image is displayed as one selected image file.

비트모드인 경우에서는 도 26에 도시한 바와같이, 조건에 따라 이미지 파일이 바뀌면서 영상이 표시된다. 이미지 파일의 체인지 조건은 화면의 좌우에 표시된 키를 사용한다. 우측키는 조건 검출할 주파수 대역을 설정하기위한 것이고 좌측키는 설정된 주파수 대역 내에서 이미지 파일의 크기를 검출하기 위한 스레쉬 홀드를 설정한다. 그러므로, 설정된 대역내에서 큰 음압에 대응하여 스레쉬 홀드를 오버하는 사이즈를 가진 이미지가 표시되게 되면 다음 순번의 이미지로 바뀌어 영상이 표시되게 된다.In the bit mode, as shown in Fig. 26, an image file is displayed while the image file is changed according to the condition. The change condition of the image file uses the keys displayed on the left and right of the screen. The right key is for setting the frequency band to detect the condition and the left key is for setting the threshold for detecting the size of the image file within the set frequency band. Therefore, when an image having a size exceeding the threshold hold is displayed in response to a large sound pressure within the set band, the image is displayed by changing to the next order image.

톤모드 경우에는 도 27에 도시한 바와 같이, 원주를 따라 시간에 따른 웨이브의 모양을 그리는 영상이 표현된다. 따라서, 톤 모드인 경우에는 입력된 음의 시간에 따른 파형변화를 알 수 있다.In the tone mode, as illustrated in FIG. 27, an image of a wave shape over time is represented along a circumference. Therefore, in the tone mode, the waveform change according to the input time may be known.

도 28 내지 도 33은 다양한 이미지 파일에 의한 음색변환 영상의 예를 나타낸 것이다. 따라서, 본 발명에서는 기본 이미지 파일의 다양한 형상에 의해 음악을 다양한 영상으로 표현하는 것이 가능하다.28 to 33 show examples of tone conversion images by various image files. Therefore, in the present invention, it is possible to express music in various images by various shapes of the basic image file.

도 34는 본 발명에 의한 색음변환장치의 바람직한 일 예를 나타낸다. 색음변환장치는 영상입력수단(60), 영상 스캐닝수단(62, 64), 색추출수단(66), 색음변환연산수단(68), 서브음 합성수단(70), L채널 합성수단(72), R채널 합성수단(74), 증폭기(76, 78), 스피커(80, 82)를 포함한다.Fig. 34 shows a preferred example of the color tone conversion apparatus according to the present invention. The color-tone conversion apparatus includes image input means 60, image scanning means 62, 64, color extraction means 66, color-tone conversion calculation means 68, sub-tone synthesis means 70, L-channel synthesis means 72. And R channel synthesizing means 74, amplifiers 76 and 78, and speakers 80 and 82.

영상입력수단(60)은 비디오 카메라, 디지털 카메라 등으로 픽업된 동영상 또는 정지영상을 입력한다. 입력된 영상은 초당 30프레임으로 영상 스캐닝수단(62,64)에 제공된다.The image input means 60 inputs a video or still image picked up by a video camera, a digital camera, or the like. The input image is provided to the image scanning means 62, 64 at 30 frames per second.

영상 스캐닝수단(62, 64)은 서브영역(62)과 단위셀영역(64)로 구성된다. 본 발명의 실시예에서는 서브영역(62)은 도 36에 도시한 바와 같이, 복수의 단위셀들이 수직으로 배열된 스캐닝바 형태를 가진다. 각 단위셀은 m ×n 사이즈의 복수의 픽셀들을 포함한다. 따라서, 2차원 영상은 도 37에도시한 바와 같이, 복수의 서브영역들로 분할된다.The image scanning means 62 and 64 are composed of a subregion 62 and a unit cell region 64. In the exemplary embodiment of the present invention, as shown in FIG. 36, the subregion 62 has a scanning bar in which a plurality of unit cells are vertically arranged. Each unit cell includes a plurality of pixels of size m × n. Therefore, the 2D image is divided into a plurality of sub-regions as shown in FIG. 37.

색추출수단(66)은 각 단위셀(64)로부터 복수의 픽셀값들을 입력하여 픽셀들의 대표값, 예컨대, 평균값, 중앙값, 최고값으로 단위셀의 색주파수와 휘도를 추출한다.The color extraction unit 66 inputs a plurality of pixel values from each unit cell 64 to extract the color frequency and luminance of the unit cell as representative values of the pixels, for example, an average value, a median value, and a maximum value.

색음변환수단(68)은 색추출수단(68)로부터 제공된 색주파수와 휘도를 가지고 색음변환공식에 의거하여 가청주파수를 생성한다.The color-tone conversion means 68 generates an audible frequency based on the color-tone conversion formula with the color frequency and luminance provided from the color extraction means 68.

서브영역합성수단(70)은 생성된 각 단위셀에 대응하는 가청주파수들을 합성하여 하나의 복합음 신호를 발생한다.The sub-region synthesizing means 70 synthesizes the audible frequencies corresponding to each generated unit cell to generate one composite sound signal.

복수의 합성수단들은 각각 서브영역이 원영상에서 배치된 위치값에 대응하여 L채널 복합음(Li)과 R채널 복합음(Ri)을 각각 출력한다. 예컨대, 가장 좌측에 배치된 서브영역은 L위치값이 10이면 R위치값은 0의값을 가지며, 가장 우측에 배치된 서브영역은 L위치값이 0이고 R위치값은 10의 값을 가진다.Each of the plurality of synthesizing means outputs an L-channel compound sound L i and an R-channel compound sound R i , respectively, corresponding to the position values of the sub-regions arranged in the original image. For example, the leftmost subarea has an L position value of 10 if its L position value is 10, and the rightmost subregion has an L position value of 0 and an R position value of 10.

L채널 합성수단(72)은 복수의 L채널 복합음(L1~Ln)을 합성하여 L채널음을 발생하고 R채널 합성수단(74)은 복수의 R채널 복합음(R1-Rn)을 합성하여 R채널음을 발생한다.The L channel synthesizing means 72 synthesizes a plurality of L channel composite sounds L 1 to L n to generate L channel sounds, and the R channel synthesizing means 74 generates a plurality of R channel composite sounds R 1 -R n . Synthesize to produce R channel sound.

발생된 L, R채널음은 각각 증폭기(76, 78)을 통하여 스피커(80, 82)를 통하여 음으로 출력된다.The generated L and R channel sounds are output through the loudspeakers 80 and 82 through the amplifiers 76 and 78, respectively.

따라서, 각 프레임단위로 영상의 색이 스테레오 음으로 출력된다.Therefore, the color of the image is output as stereo sound in each frame unit.

영상을 모노음으로 표현하고자 하는 경우에는 서브영역을 영상의 좌에서 우로 스캐닝하면서 각 서브영역의 음을 스캐닝 속도에 응답하여 출력하는 것도 가능하다.When the image is to be expressed in mono sound, it is also possible to output the sound of each subregion in response to the scanning speed while scanning the subregion from the left to the right of the image.

이와 같이 본 별명은 화성법을 이용하여 색채를 조화하는 방법을 제공함으로써 보다 객관적이고 과학적인 색조화 이론을 제시하고, 임의의 기준색과 정확하게 조율되는 색채계를 도출할 수 있다. 그리고 객관적이며 타당성있는 주파수 변환기준을 제공함에 따라 색채의 청각화 및 소리의 시각화를 가능하게 한다.In this way, the nickname provides a method of harmonizing colors using the Mars method, suggesting a more objective and scientific color theory, and deriving a color system that is precisely tuned to an arbitrary reference color. And by providing objective and valid frequency conversion criteria, it is possible to visualize color and sound.

또한 소리를 시각화하는 경우, 음원의 발생위치를 연산하여 상기 음에서 변환된 가시광을 음원의 발생위치에 주파수별 음압 크기에 비례하는 면적으로 표시하는 등, 가시광의 다양한 출력을 제공함에 따라, 본 발명에 의한 장치는 이미 화성적으로 조화된 음악으로부터 조화된 색채를 도출할 수 있을 뿐만 아니라, 공연무대의 조명과 도시건축의 조경 및 청각장애인을 위한 분야 등에 응용될 수 있고, 시각정보를 청각화하는 경우 화상을 이용한 작곡, 환경음악, 시각장애인을 위한 분야등의 여러분야에 폭넓게 응용될 수 있는 효과를 갖는다.In addition, in the case of visualizing sound, the present invention provides various outputs of visible light by calculating a location of a sound source and displaying the visible light converted from the sound as an area proportional to the magnitude of sound pressure for each frequency at the location of the sound source. The device is not only able to derive harmonious colors from the harmonious music already harmonized, but also can be applied to lighting of performance stages, landscaping of urban architecture and fields for the hearing impaired, and to visualize visual information. In this case, it has an effect that can be widely applied to all of you such as composition using image, environmental music, field for the visually impaired.

상기에서는 본 발명의 바람직한 실시예에 대하여 설명하였지만, 본 발명은 이에 한정되는 것이 아니고 특허청구범위와 발명의 상세한 설명 및 첨부한 도면의 범위 안에서 여러 가지로 변형하여 실시하는 것이 가능하고 이 또한 본 발명의 범위에 속하는 것은 당연하다.Although the preferred embodiments of the present invention have been described above, the present invention is not limited thereto, and various modifications and changes can be made within the scope of the claims and the detailed description of the invention and the accompanying drawings. Naturally, it belongs to the range of.

Claims (3)

음색변환표에 의한 색으로 대응하는 음계위치가 채색된 악기.Musical instruments with colored scale positions corresponding to colors in the tone conversion table. 제 11 항에 있어서, 상기 음색변환표는 음계에 채도가 정비례하는 것을 특징으로 하는 악기.12. The musical instrument as set forth in claim 11, wherein the tone conversion table is directly proportional to saturation in the musical scale. 제 11 항에 있어서, 상기 음색변환표는 음계에 휘도가 정비례하는 것을 특징으로 하는 악기.12. The musical instrument as set forth in claim 11, wherein the tone conversion table is directly proportional to luminance in the scale.
KR1020010087652A 1999-08-18 2001-12-07 Musical instrument colored by table by harmonic sound KR20020013825A (en)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
KR1019990034242 1999-08-18
KR19990034242 1999-08-18
KR1020000028147 2000-05-24
KR1020000028147A KR20010020900A (en) 1999-08-18 2000-05-24 Method and apparatus for harmonizing colors by harmonics and converting sound into colors mutually
KR1020017007236A KR100322347B1 (en) 1999-08-18 2000-08-18 Method and apparatus for harmonizing colors by harmonic sound and converting sound into colors mutually
KR1020017007236 2001-06-09

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020017007236A Division KR100322347B1 (en) 1999-08-18 2000-08-18 Method and apparatus for harmonizing colors by harmonic sound and converting sound into colors mutually

Publications (1)

Publication Number Publication Date
KR20020013825A true KR20020013825A (en) 2002-02-21

Family

ID=27350044

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020010087651A KR20020018178A (en) 1999-08-18 2001-12-07 Table for converting sound into colors mutually by harmonic sound
KR1020010087652A KR20020013825A (en) 1999-08-18 2001-12-07 Musical instrument colored by table by harmonic sound

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020010087651A KR20020018178A (en) 1999-08-18 2001-12-07 Table for converting sound into colors mutually by harmonic sound

Country Status (1)

Country Link
KR (2) KR20020018178A (en)

Also Published As

Publication number Publication date
KR20020018178A (en) 2002-03-07

Similar Documents

Publication Publication Date Title
KR100736434B1 (en) Method and apparatus for harmonizing colors by harmonic sound and converting sound into colors mutually
US5048390A (en) Tone visualizing apparatus
JP2020003537A (en) Audio extraction device, learning device, karaoke device, audio extraction method, learning method and program
CN1111382A (en) Performance elavuator for use in a karaoke apparatus
KR20150112048A (en) music-generation method based on real-time image
RU2411593C2 (en) Device for converting frequency spectrum to natural harmonic frequency
KR20020013825A (en) Musical instrument colored by table by harmonic sound
JP2020021098A (en) Information processing equipment, electronic apparatus, and program
KR20070094207A (en) Method and apparatus for converting image into sound
Ackermann et al. A database with directivities of musical instruments
Barrass Sculpting a sound space with information properties
Ackermann et al. Musical instruments as dynamic sound sources
JP4202964B2 (en) Device for adding music data to video data
ITPI20100013A1 (en) CONVERSION METHOD IN THREE-DIMENSIONAL IMAGES IN THE MOVEMENT OF SOUNDS CHARACTERIZED BY FIVE PARAMETERS, AND RELATIVE INVERSE PROCESS.
CA2382167A1 (en) Method and apparatus for selecting harmonic color using harmonics, and method and apparatus for converting sound to color or color to sound
Segnini et al. Scoregram: Displaying gross timbre information from a score
Feistel et al. Using high-resolution directivity data of musical instruments for acoustic simulation and auralization
WO2019176029A1 (en) Sound detection device
Bernier-Robert et al. Timbre space
Votava et al. The Heart Chamber Orchestra
JP2629740B2 (en) Sound processing device
JP3538908B2 (en) Electronic musical instrument
JPH0684079A (en) Method and device for timber localization and method and device for monitoring process
Corcuera Marruffo et al. A Pilot Study on Tone-Dependent Directivity Patterns of Musical Instruments
CN118430486A (en) Musical range expansion method for cucurbit flute musical instrument

Legal Events

Date Code Title Description
A107 Divisional application of patent
WITN Withdrawal due to no request for examination