KR100736434B1 - 음원위치 결정방법 및 장치 - Google Patents

음원위치 결정방법 및 장치 Download PDF

Info

Publication number
KR100736434B1
KR100736434B1 KR1020010087653A KR20010087653A KR100736434B1 KR 100736434 B1 KR100736434 B1 KR 100736434B1 KR 1020010087653 A KR1020010087653 A KR 1020010087653A KR 20010087653 A KR20010087653 A KR 20010087653A KR 100736434 B1 KR100736434 B1 KR 100736434B1
Authority
KR
South Korea
Prior art keywords
sound
sound source
channel
frequency
color
Prior art date
Application number
KR1020010087653A
Other languages
English (en)
Other versions
KR20020038563A (ko
Inventor
김길호
Original Assignee
주식회사 하모니칼라시스템
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 하모니칼라시스템 filed Critical 주식회사 하모니칼라시스템
Publication of KR20020038563A publication Critical patent/KR20020038563A/ko
Application granted granted Critical
Publication of KR100736434B1 publication Critical patent/KR100736434B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/06—Transformation of speech into a non-audible representation, e.g. speech visualisation or speech processing for tactile aids
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2250/00—Aspects of algorithms or signal processing methods without intrinsic musical character, yet specifically adapted for or used in electrophonic musical processing
    • G10H2250/131—Mathematical functions for musical analysis, processing, synthesis or composition
    • G10H2250/215—Transforms, i.e. mathematical transforms into domains appropriate for musical signal processing, coding or compression
    • G10H2250/235—Fourier transform; Discrete Fourier Transform [DFT]; Fast Fourier Transform [FFT]
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/06—Transformation of speech into a non-audible representation, e.g. speech visualisation or speech processing for tactile aids
    • G10L2021/065—Aids for the handicapped in understanding

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Auxiliary Devices For Music (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 화성법을 이용한 조화색 선정방법 및 장치와, 음색변환방법 및 장치와, 색음변환방법 및 장치에 관한 것으로, 특히 본 발명의 조화색 선정방법은 음계 분할율 및 화성법 코드를 선택하고, 기준색을 선택하고, 상기 선택된 기준색의 명도를 산출하고, 산출된 명도에 대응하는 옥타브를 결정하고, 결정된 옥타브 내의 음계 주파수 비에 응답하여 상기 선택된 화성법 코드의 조화 주파수 비를 근거하여 상기 기준색 주파수로부터 조화색 주파수를 연산하고, 연산된 조화색 주파수가 가시 주파수 대역을 벗어난 경우에는 조화색 주파수를 2로 나누거나 2배한 주파수를 조화색 주파수로 선정하고, 상기 연산된 조화색 주파수를 상기 기준색의 조화색으로 표시한다. 따라서, 본 발명에서는 화성법의 조화음 주파수에 대응하여 조화색을 선정함으로써, 색디자인 작업시 배색(harmonious colors)을 매우 용이하게 선정할 수 있다.
음원위치

Description

음원위치 결정방법 및 장치{Method and apparatus for harmonizing colors by harmonic sound and converting sound into colors mutually}
도 1은 본 발명에 의한 원좌표계의 음색변환표를 나타낸 도면.
도 2은 본 발명에 의한 직교좌표계의 제 1 음색변환표를 나타낸 도면.
도 3을 본 발명에 의한 직교좌표계의 제 2 음색변환표를 나타낸 도면.
도 4 및 도 5는 본 발명에 의한 음색변환표에 의해 음계위치가 채색된 악기를 나타낸 도면.
도 6은 본 발명에 의한 조화색 선정장치의 블록도.
도 7은 도 6의 저장수단에 저장된 제 1 테이블(음계 분할율과 조화주파수비)의 구성을 나타낸 도면.
도 8은 도 6의 저장수단에 저장된 제 2 테이블(화성법 코드)의 구성을 나타낸 도면.
도 9는 본 발명에 의한 조화색 선정방법의 일예를 설명하기 위한 컴퓨터 모니터 상에 제공되는 화면 상태도.
도 10은 본 발명에 의한 조화색 선정방법의 다른 예를 설명하기 위한 컴퓨터 모니터상에 제공되는 화면 상태도
도 11은 본 발명에 의한 바람직한 일 실시예의 음색변환장치의 블록도.
도 12는 본 발명에 의한 음원 발생위치 연산알고리즘의 제 1 실시예를 설명하기 위한 흐름도.
도 13 은 제 1실시예에 근거한 각 채널의 음원 입력위치와 음원의 위치를 도시한 개략도.
도 14은 특정 프레임에서 L, R 채널별로 FFT 연산한 주파수 스펙트럼도.
도 15는 제 1 실시예에 의한 음을 영상으로 표시한 화면의 일례를 도시한 개략도.
도 16은 본 발명에 의한 음원 발생위치 연산알고리즘의 제 2 실시예를 설명하기 위한 흐름도.
도 17은 제 2 실시예에 근거한 각 채널의 음원 입력위치와 음원의 위치를 도시한 개략도.
도 18은 제 2 실시예에 의한 음을 영상으로 표시한 화면의 일례를 도시한 개략도.
도 19는 본 발명 의한 음원 발생위치 연산알고리즘의 제 3 실시예를 설명하기 위한 흐름도.
도 20은 제 3 실시예에 의한 음을 영상을 표시한 화면의 일례를 도시한 개략도.
도 21은 제 1 실시예에서 출력수단이 표시할 수 있는 화면의 일례로서 인체에 적용하기 위한 키프레임으로 활용될 음원 발생위치의 분포 상태를 도시한 개략도.
도 22는 도 21에 분포된 음원 가운데 키프레임으로 활용할 음원만을 선택하여 도시한 개략도.
도 23는 도 22의 키프레임 정보에 근거하여 매핑하는 과정을 도시한 개략도.
도 24는 도 23의 매핑 과정이 완료된 상태를 도시한 개략도.
도 25는 본 발명에 의한 음색변환모드의 명령입력수단의 일예와 픽스모드에서 음을 영상표현한 화면표시상태를 나타낸 도면.
도 26은 비트모드에서 음을 영상표현한 화면표시상태를 나타낸 도면.
도 27은 톤모드에서 음을 영상표현한 화면표시상태를 나타낸 도면.
도 28 내지 도 33은 본 발명에 의한 음색변환에 의한 영상표현의 화면상태를 나타낸 도면들.
도 34는 본 발명에 의한 색출변환장치의 바람직한 일 예를 나타낸 블록도.
도 35는 색음변환을 위한 원영상
도 36은 원영상에 적용된 서브영역을 설명하기 위한 화면상태도.
도 37은 원영상 전면에 복수의 서브영역을 적용한 화면 상태도.
본 발명은 화성법을 이용한 조화색 선정방법 및 장치와, 음색 및 색음 변환방법 및 장치에 관한 것으로서, 보다 상세하게는 화성법에 근거하여 임의의 기준색과 정확하게 조율되는 조화색을 선정하고, 파동의 속성을 지니는 소리와 색채를 상 호 주파수 변환하여 소리의 컬러영상화와 영상의 소리화를 가능하게 한 방법 및 장치에 관한 것이다.
컬러 텔레비젼 방송으로 색의 대중화가 급속히 이루어짐에 따라 색의 경제적가치가 높아지고 있다 또한, 색의 상업화 경쟁으로 무차별적인 색공급으로 불협화적인 색은 인간생활 환경에 새로운 색공해의 문제를 안고 있다.
따라서, 웹 디자이너, 미술가, 건축가, 실내 장식가, 산업 디자이너, 조경가, 의상 디자이너, 무대장치 기사, 다양한 분야의 창조자들과 상품 구매자들에게는 조화로운 색선정이 매우 중요시 되고 있다.
색조화(Color Harmony)는 두 가지 이상의 색들이 서로 인접되게 쓰여져 좋은 효과를 가져오는 것을 말한다.
지금까지의 색조화는, 인간의 시각적 경험을 바탕으로 임의의 기준색과 상기 기준색에 조화하는 조화색들을 천연색으로 인쇄한 컬러인쇄 형태의 책을 참고하여 조화색을 선택하고 있으며, 대표적인 색채조화 기준으로는 컬러링 북(Coloring Book)과 먼셀(Munsell) 표색계 및 음극선관과 같은 표시장치에서의 정확한 가시광 구현을 위해 국제조명기구(CIE)가 제안한 CIE 표색계 등이 있다.
그러나 종래의 색채조화 방법은 인간의 경험이나 실험에 근거한 조화방법으로 객관성이 없으며, 인쇄 형태의 기준 자료를 바탕으로 인간의 시각적 감각에 의존하여 조화색을 선택해야 하기 때문에 색상의 정확성이 떨어지고, 또한 인쇄 형태의 기준자료는 컴퓨터를 이용한 탁상출판시스템(Desk Top Publishing System; DTP)에 직접 응용될 수 없는 한계가 있다.
그리고, 화성적으로 이미 조화된 음악으로부터 조화된 색채를 도출하는 방법으로서 제시하는 음색상호변환에 있어서, 색과 음은 시각과 청각에 적용되는 주파수의 대역만이 다를 뿐 물리적인 파동의 속성은 동일하지만, 이에 근거한 색과 음의 가역변환에 대해서는 지금까지 연구된 바가 없다.
음의 변화를 시각화한 그래픽 아퀼라이저(Graphic Equlizer)로 대표되는 종래의 음악 표시장치는 단순히 주파수 대역별 음압의 크기만을 표시할 뿐이므로, 표시되는 화상이 단순하고 응용범위가 협소한 단점이 있다.
미국특허 제 6,046,724호에서는 사운드를 광으로 변환하는 방법 및 장치를 개시하고 있다. 상기특허에서는 사운드를 3옥타브에서 8옥타브에 대응하는 6개의 필터수단들을 통하여 각각 주파수와 음의 강약에 따라 RGB의 3색광원을 제어하여 음에 대응하는 광을 표시한다.
따라서 본 발명의 제 1 목적은 상기한 문제점을 해소하기 위하여 화성적으로 이미 조화된 음악으로부터 조화된 색채를 도출하는 화성법을 이용한 조화색 선정방법 및 장치를 제공하는 데 있다.
본 발명의 제 2 목적은 10옥타브 12 음계와 10회도 12색을 1:1로 대응시킴으로써 음과 색의 상호변환을 한 눈에 볼수 있는 음색변환표를 제공하는 데 있다.
본 발명의 제 3 목적은 음색변환표에 의해 음계위치를 채색함으로써 음악연주시 각 음계를 색으로 인지할 수 있는 악기를 제공하는 데 있다.
본 발명의 제 4 목적은 색과 음의 파동, 즉 주파수 특성을 이용하여 객관적 이고 타당성있는 수식화된 주파수 변환 기준을 제공하고, 이 기준에 근거하여 가시 및 가청주파수를 가청 및 가시주파수로 용이하게 변환함으로써 색채의 청각화 및 소리의 시각화를 가능하게 하는 음색 및 색음 변환방법 및 장치를 제공하는 데 있다.
본 발명의 제 5 목적은 음색변환시 스테레오 음의 음원위치를 표현하기 위하여 음원의 위치를 결정할 수 있는 음원위치 결정방법 및 장치를 제공하는 데 있다.
상기의 목적을 달성하기 위하여 본 발명의 조화색 선정방법은 음계 분할율 및 화성법 코드를 선택하는 단계와, 기준색을 선택하는 단계와, 상기 선택된 기준색의 명도를 산출하는 단계와, 산출된 명도에 대응하는 옥타브를 결정하는 단계와, 결정된 옥타브 내의 음계 주파수 비에 응답하여 상기 선택된 화성법 코드의 조화주파수 비율에 근거하여 상기 기준색 주파수로부터 조화색 주파수를 연산하고, 상기 연산된 조화색 주파수가 가시 주파수 대역을 벗어난 경우에는 조화색 주파수를 가시 주파수 대역으로 전환시키는 단계와, 상기 연산된 조화색 주파수를 상기 기준색의 조화색으로 표시하는 단계를 구비하는 것을 특징으로 한다.
상기 음계 분할율은 평균율 또는 순정율이다. 평균율인 경우에는 다음 수식에 의해 조화색을 구할 수 있다.
Figure 112001535517416-pat00001
여기서, Fh는 구하고자 하는 조화주파수, Fr은 입력주파수, k는 음계수로서 한 옥타브의 주파수를 등비율로 등분한 수, n은 조화주파수비로서 1≤n≤(k-1)이며, 상기 k와 n은 자연수이다.
본 발명의 조화색 선정장치는 음계 분할율, 화성법 코드 및 기준색을 선택하기 위한 선택수단과, 음계 분할율에 따른 상기 화성법 코드에 의한 조화 음계의 조화 주파수비 테이블이 저장된 저장수단과, 상기 선택된 기준색의 명도를 산출하고, 산출된 명도에 대응하는 옥타브를 결정하고, 결정된 옥타브 내의 음계 주파수 비에 응답하여 상기 선택된 화성법 코드의 조화 주파수 비를 상기 테이블을 참조하여 상기 기준색 주파수로부터 조화색 주파수를 연산하고, 상기 연산된 조화색 주파수가 가시 주파수 대역을 벗어난 경우에는 조화색 주파수를 가시 주파수 대역으로 전환시키는 연산수단과, 상기 연산된 조화색 주파수를 상기 기준색의 조화색으로 표시하는 표시수단을 구비하는 것을 특징으로 한다.
본 발명의 음색변환표는 제 1 좌표축 상에 음계 "도"와 색계 "적"을 좌표원점으로 하여 12 등 간격으로 12음계와 12색계를 1 : 1 대응시켜서 배열하고, 제 2 좌표축 상에 10옥타브와 10단계 휘도를 1:1로 대응시켜서 배열한 것을 특징으로 한다. 상기 음색변환표는 원좌표계 또는 직교좌표계를 구성한다. 상기 음계 "도, 미, 솔"에 색계 "적, 녹, 청"이 근사되는 파장을 가진다.
상기 원좌표계는 제 1 좌표축이 원주방향이고, 제 2좌표축이 원중심방향이다. 상기 직교좌표계는 음계에 채도가 정비례하거나 음계에 휘도가 정비례할 수 있 다.
본 발명의 악기는 음색변환표에 의한 색으로 대응하는 음계위치가 채색된 것을 특징으로 한다.
본 발명의 음색변환방법은 입력된 음을 푸리에 변환하는 단계와, 푸리에 변환된 신호 중 특정 가청주파수 신호를 적어도 하나 이상 샘플링하는 단계와, 샘플링된 적어도하나 이상의 가청주파수 신호들을 다음 수식에 의해 가시주파수 신호로 각각 변환하는 단계와, 상기 변환된 적어도 하나 이상의 가시 주파수에 대응하는 색을 표시하는 단계를 포함함을 특징으로 한다.
Figure 112001535517416-pat00002
(여기서,
Figure 112001535517416-pat00003
이고, F는 구하고자 하는 가시주파수, Fl은기준 가시주파수, X의 정수부분은 옥타브 값, BF는 색의 휘도, x*는 x의 소수점 이하의 부분으로 한 옥타브 내의 음계값을 결정하는 변수이고, fi는 샘플링된 입력가청주파수, fl은기준가청주파수, C'는 상수로서 0≤C'≤1 를 만족하는 실수임)
상기 샘플링하는 단계는 상기 푸리에 변환된 신호를 일정 시간 간격마다 프 레임 단위로 입력하는 단계와, 각 프레임마다 적어도 하나 이상의 피크치들을 구하는 단계와, 구해진 피크치들을 음압 크기 순서로 정리하는 단계와, 상기 음압 크기순서로 소정 개수의 피크치를 샘플링하는 단계를 구비한다.
상기 표시 단계는 상기 샘플링된 각 피크치의 주파수 위치에서 각 피크치의 음압에 비례하는 크기를 가지며 상기 변환된 색으로 채색된 영상으로 표시할 수 있다. 또한, 상기 표시 단계는 상기 샘플링된 각 피크치의 주파수에 대응하는 애니메이션의 각 위치에서 각 피크치의 음압에 비례하는 애니메이션의 움직임을 가지며 상기 변환된 색으로 채색된 영상으로 표시하는 것도 가능하다. 또한, 상기 표시 단계는 소정 위치에서 샘플링된 모든 피크치들의 각 음압에 비례하는 크기를 가지는 영상들을 오버랩시켜서 표시하는 것도 가능하다.
본 발명의 음색변환방법은 복수의 채널을 통해 입력된 복수의 음들을 각각 푸리에 변환하는 단계와, 각 푸리에 변환된 신호 중 특정 가청주파수 신호를 적어도 하나 이상 샘플링하는 단계와, 상기 복수의 음들에 대해 서로 대응되는 주파수의 가청주파수 신호들을 이용하여 상기 복수의 채널 사이의 음원 위치를 연산하는 단계와, 상기 복수의 음들 중 각 음에 대해 샘플링된 적어도 하나 이상의 가청주파수 신호들을 상기 수식(2)에 의해 가시주파수 신호로 각각 변환하는 단계와, 상기 변환된 적어도 하나 이상의 가시 주파수에 대응하는 색을 주파수 및 음원 위치에 따라 표시하는 단계를 포함하는 것을 특징으로 한다.
상기 복수 채널의 음원 입력 위치 사이에서 음원의 발생위치를 아래의 수식 에 근거하여 연산한다.
Figure 112001535517416-pat00004
(여기서, a는 특정 채널의 음원 입력위치를 '0'으로 하는, 구하고자 하는 음원 발생위치값, d는 제 1채널의 음원 입력위치와 제 2채널의 음원 입력위치 사이의 거리, s는 상기 두 채널의 음원 입력위치 사이를 잇는 직선과 실제 음원 위치 사이의 수직거리, k는 k〉0인 상수, Idiff는 특정의 피크에 대한 제 1채널의 음압값에 대한 제 2 채널의 음압값의 차임.)
본 발명의 음색변환장치는 음을 입력하기 위한 입력수단과, 입력된 음을 증폭하기 위한 증폭수단과, 증폭된 음을 푸리에 변환하기 위한 푸리에 변환수단과, 푸리에 변환된 신호 중 특정 가청주파수 신호를 적어도 하나 이상 샘플링하기 위한 샘플링 수단과, 상기 샘플링된 각 가청주파수 신호를 가시주파수 신호로 변환하는 음색변환수단과, 상기 샘플링된 각 가청 주파수들로부터 각각 변환된 적어도 하나 이상의 가시 주파수에 대응하는 색을 표시하는 표시수단을 구비하는 것을 특징으로 한다.
본 발명의 음색변환장치는 복수 채널을 통하여 각각 음을 입력하기 위한 입력수단과, 입력된 음을 증폭하기 위한 증폭수단과, 증폭된 음을 푸리에 변환하기 위한 푸리에 변환수단과, 푸리에 변화된 신호 중 특정 가청주파수 신호를 적어도 하나 이상 샘플링하기 위한 샘플링 수단과, 상기 복수의 음들에 대해 서로 대응되 는 주파수의 가청주파수 신호들을 이용하여 상기 복수의 채널 사이의 음원 위치를 연산하는 연산수단과, 상기 샘플링된 각 가청주파수 신호를 가시주파수 신호로 변환하는 음색변환수단과, 상기 샘플링된 각 가청 주파수들로부터 각각 변환된 적어도 하나 이상의 가시 주파수에 대응하는 색을 음원 위치에 따라 표시하는 표시수단을 구비하는 것을 특징으로 한다.
상기 표시수단은 CRT, LCD와 같은 영상표시장치 또는 풀컬러 표시램프, 컬러레이저 광원장치와 같은 조명장치로 구성할 수 있다.
본 발명의 색음변환방법은 입력된 색에 대응하는 가시 주파수(Fi) 및 휘도(BFi)를 구하는 단계와, 구해진 가시 주파수를 다음 수식에 의해 가청주파수로 변환하는 단계와, 상기 변환된 가청주파수를 음으로 출력하는 단계를 구비하는 것을 특징으로 한다.
Figure 112001535517416-pat00005
(여기서,
Figure 112001535517416-pat00006
, f은 구하고자 하는 음의 주파수, fl은 기준 가청주파수, Fi는 입력 가시주파수, Fl은 기준 가시주파수, BFi는 1≤Bi≤10 를 만족하는 정수, C는 상수로서 -1≤C≤1 를 만족하는 실수임.)
본 발명의 색음변환장치는 입력된 색에 대응하는 가시 주파수 및 휘도를 구 하는 입력수단과, 구해진 가시 주파수를 상기 수식(4)에 의해 가청주파수로 변환하는 색음변환수단과, 상기 변환된 가청주파수를 음으로 출력하는 출력수단을 구비하는 것을 특징으로 한다.
본 발명의 의한 음원위치 결정방법은 서로 일정 간격 떨어진 복수의 채널들을 통하여 음원으로부터 음을 입력하는 단계와, 각 채널들을 통하여 입력된 음을 각각 푸리에 변환하는 단계와, 상기 각 푸리에 변환된 신호의 피크치를 샘플링하는 단계와, 상기 샘플링된 각 주파수에서 복수의 채널들의 음압을 이용하여 복수 채널 사이의 음원 발생위치를 연산하는 단계를 구비하는 것을 특징으로 한다.
상기 복수 채널의 음원 입력위치 사이에서 음원의 발생위치를 아래의 수식에 근거하여 연산한다.
Figure 112001535517416-pat00007
(여기서, a는 특정 채널의 음원 입력위치를 '0'으로 하는 구하고자 하는 음원 발생위치값, d는 제 1채널의 음원 입력위치와 제 2채널의 음원 입력위치 사이의 거리, s는 상기 두 채널의 음원 입력위치 사이를 잇는 직선과 실제 음원 위치 사이의 수직거리, k는 k〉0인 상수, IDIFF는 특정의 피크에 대한 제 1채널의 음압값-제 2채널의 음압값임).
상기 복수 채널의 음원 입력위치 사이에서 음원의 발생위치를 아래의 수식에 근거하여 결정한다.
Figure 112001535517416-pat00008
{E}_{diff} ＞ 0 이면, 음원의 발생위치는 제 1채널에 근접
{E}_{diff} 〈 0 이면, 음원의 발생위치는 제 2채널에 근접
Figure 112001535517416-pat00059
(여기서, Ediff는 두 채널 사이의 중간 지점을 '0'으로 하는 음원 발생위치값, Pn은 각 피크 발생 위치별 음압값, n은 검출된 피크의 수이며 M1에너지는 제 1채널의 음압 에너지값, M2에너지는 제 2채널의 음압 에너지값임.)
본 발명의 음원위치 결정수단은 서로 일정 간격 떨어진 복수의 채널들을 통하여 음원으로부터 음을 입력하는 입력수단과, 각 채널들을 통하여 입력된 음을 각각 푸리에 변환하는 푸리에 변환수단과, 상기 각 푸리에 변환된 신호의 최고점을 구하고 최고점의 주파수와 레벨을 샘플링하는 샘플링 수단과, 상기 샘플링된 각 주파수에서 복수 채널들의 각 음압을 이용하여 복수 채널 사이의 음원 발생위치를 연산하는 연산수단을 구비하는 것을 특징으로 한다.
이하, 첨부한 도면을 참고하여 본 발명의 바람직한 실시예를 보다 상세하게 설명하면 다음과 같다.
도 1은 본 발명에 의한 원좌표계의 음색변환표를 나타낸다. 도 1은 화성법의 12음계를 색채에 대응시킨 일례로서 '도'음(도면에서 C로 표기)을 적색(682nm)에 대응한 예를 나타내고 있다. 도시한 바와 같이, 색채는 가시주파수를 저주파수로부터 로그(log)를 취한 값이 원상의 '도(C)'가 위치한 지점을 0도 기준으로 각에 정비례하도록 배치하였으며, 적색에서 주황색, 노란색, 녹색, 청색 및 보라색의 순서로 나타난다. 그리고 계원상의 음계수(즉, 한 옥타브의 주파수 대역을 로그적으로(logarithmically) 일정한 간격으로 등분한 수)는 도(C), 도#(C#), 레(D), 레#(Eb), 미(E), 파(F), 파#(F#), 솔(G), 솔#(Ab), 라(A), 라#(Bb), 시(B)로 표현되는 12음계를 기초로 배치하였다. 원중심방향으로 색계의 명도와 음계의 옥타브가 1:1로 대응하여 색상환으로 배열된다. 따라서, 원중심으로 갈수록 휘도 및 옥타브가 높아지고 원중심에서 멀어질수록 휘도 및 옥타브가 낮아진다.
도 2는 본 발명에 의한 직교좌표계의 제 1음색변환표를 나타낸다. 제 1 음색변환표의 가로축은 음 높이와 색을 나타내고, 세로축은 옥타브와 휘도를 나타낸다. 제 1음색변환표는 음 높이에 색의 채도가 정비례하여 변환된다. 따라서, 동일 옥타브에서 색들의 휘도는 서로 다르지만 채도는 서로 동일하다.
도 3은 본 발명에 의한 직교좌표계의 제 2 음색변환표를 나타낸다. 제 2 음색변환표의 가로축은 음 높이와 색을 나타내고, 세로축은 옥타브와 휘도를 나타낸다. 제 2음색변환표는 음 높이에 색의 휘도가 정비례하여 변환된다. 따라서, 가로방향으로는 색들의 휘도가 서로 동일하지만 채도는 서로 다르게 표시된다.
도 4 및 도 5는 본 발명에 의한 음색변환표에 의해 음계위치가 채색된 악기를 나타낸다. 도 4는 기타 및 피아노의 음계위치를 음높이에 휘도가 비례하는 제 2 음색변환표를 근거로 하여 채색한 경우를 나타내고, 도 5는 제 1 음색변환표를 근거로 하여 채색한 경우를 나타낸다.
따라서, 본 발명의 악기에서는 연주자가 음계위치를 색으로 인지할 수 있어서 음계의 옥타브와 음 높이를 용이하게 식별할 수 있다.
도 6은 본 발명에 의한 조화색 선정장치의 블록도를 나타낸다. 도 6의 조화색 선정장치는 선택수단(10), 저장수단(12), 연산수단(14), 표시수단(16)를 포함한다.
선택수단(10)은 조화색을 찾기위한 기준색을 선택하고, 음계 분할율 및 화성법 코드를 선택한다.
저장수단(12)은 도 7 및 도 8의 제 1 및 제 2 테이블을 저장한다. 도 7은 음계 분할율과 조화주파수비를 나타낸 제 1 테이블이고, 도 8은 화성법 코드에 대응하는 조화 주파수비를 나타낸 제 2테이블을 나타낸다.
연산수단(14)은 음계 분할율이 평균율로 선택된 경우에는 다음수식에 의해 조화색을 연산한다.
Figure 112001535517416-pat00010
여기서, Fh는 구하고자 하는 조화주파수, Fr은 입력주파수, k는 음계수로서 한 옥타브의 주파수를 등비율로 등분한 수, n은 조화주파수비로서 1≤n≤(k-1)이며, 상기 k와 n은 자연수이다.
일반적으로 12음계를 주로 사용하므로 k가 12이고 n은 1부터 11까지인 경우 에 대하여 설명한다. 상기 수학식에서 k가 12이므로
Figure 112001535517416-pat00011
는 약 1.0594로서 한 옥타브의 주파수를 등간격의 로그(log) 비율로 12등분하였을 때 이웃하는 주파수간의 비율이다. 즉 음(音)에 있어서는, 화성법에서 한 옥타브의 음을 12음계로 나누었을 때 이웃하는 음(일례로 '도'와 '도#') 사이의 주파수비와 동일하다.
이로서 조화주파수비 n은 특정 코드를 구성하는 음들의 등비율 간격을 의미하는데, 하나의 예로 '도미솔'로 구성되는 메이져 코드는 '도'음에 해당하는 주파수를 기준으로 '미'음과 '솔'음에 해당하는 주파수간 등비율간격이 각각 4와 7이므로, 상기 표에서 메이져 코드의 조화주파수비값은 4와 7로 나타난다. 따라서 입력주파수가 '도'음에 대응하는 경우, 상기 입력주파수와 조화하는 복수의 조화주파수는 각각 '미'음과 '솔'음에 대응하는 주파수가 된다.
하나의 예로서 입력수단(11)에서 제공받는 입력주파수가 청색에 대응하는 약 690 THz (435 nm의 파장)이고, 마이너코드에 해당하는 조화주파수를 연산할 경우, 조화주파수비 n이 각각 3과 7이므로,
Figure 112001535517416-pat00012
(365.61 nm의 파장),
Figure 112001535517416-pat00013
(290.18nm의 파장)이다.
그런데 Fh2는 가시주파수 범위를 벗어나므로, 상기 제 1연산부(17)는 연산된 조화주파수가 가시주파수 범위를 벗어나는 경우, 연산된 조화주파수를 2로 나누어 서 가시주파수 범위를 벗어나지 않도록 한다. 따라서 Fh2는 2로 나눈 516.92 THZ(580.36nm의 파장)가 된다.
또한 기존의 평균율상의 12음계는 상기한 수식과 같이 한 옥타브의 주파수를 등간격의 로그 비율로 등분하면 이웃하는 음과의 주파수 간격은 어느 음에서나
Figure 112001535517416-pat00014
로서 동일하지만, 순정율의 경우에는 '도'음을 기준으로 분수형태로 그 위의 음을 만들어가는 방식이므로, 이웃하는 음과의 주파수 간격이 일정하지 않다. 하지만 순정율은 지금도 조율방법으로 사용될 만큼 평균율에 비해 그 조화정도가 우수하다.
따라서 음계를 순정율로 등분한 경우에 있어서 조화주파수를 연산하기 위하여, 메인주파수(상기 '도'음에 해당하는 주파수)를 기준으로 상기 조화주파수비 n값에 대응하는 분수형태의 주파수비(이하, '순정율 주파수비'라 한다)를 도출하였으며, 도 7에는 메인주파수를 기준으로 각 음계에 해당하는 순정율 주파수비를 나타낸 것이다.
하나의 예로서 입력수단(11)에서 제공받은 입력주파수가 적색에 해당하는 460 THz이고, 사용자가 메이져 코드를 선택하여 도 8에서 도출된 조화주파 수비 n이 각각 4와 7인 경우, 상기 조화주파수비 4와 7에 대응하는 순정율 주파수비는 각 각 5/4와 3/2이므로,
Figure 112001535517416-pat00015
690 THz 이다.
표시수단(16)은 입력받은 조화주파수를 가시광으로 변환하고 모니터의 스크린 상에 조화색을 디스플레이한다.
도 9는 본 발명에 의한 조화색 선정방법의 일예를 설명하기 위한 컴퓨터 모니터 상에 제공되는 화면 상태도를 나타낸다. 도 9의 화면에 나타난 바와 같이, 좌측 창에서 화성법 코드 리스트란을 클릭하면, 중앙 창에서 화성법 코드 리스트가 표시된다. 표시된 화성법 코드 리스트에서 예컨대 "SUS4" 코드를 선택하면, 우측 창에서 선택된 ±1 옥타브와 ±3옥타브에서 각각 3개의 조화색들이 표시되고, 하단에는 색상환에 "SUS4"의 조화주파수 도형이 표시된다. 색상환에서 기준색을 선택하면, 상단의 조화색 표시창에 관련된 조화색들이 변화되면서 표시된다.
도 10 본 발명에 의한 조화색 선정방법의 다른 예를 설명하기 위한 컴퓨터 모니터 상에 제공되는 화면 상태도를 나타낸다. 도 10의 다른 예에서는 화성법 코드"AUG"와 "7/ALT"에 각각의 조화색 선정화면을 나타낸다. 각 조화색 선정화면에서 좌측에 선택된 화성법 코드의 조화색 표시창, 휘도선택바, 채도선택바, 색상환이 표시되고, 우측에는 테이블 작성된 모든 화성법 코드들의 조화색들이 표시된다. 우측의 색상환에서 기준색을 선택하면 조화색 표시창의 색들이 변화된다.
도 11은 본 발명에 의한 바람직한 일 실시예의 음색변환장치의 블록도를 나 타낸다. 도 11의 장치는 마이크(22, 24), 증폭기(26, 28), 푸리에 변환기(30, 32), 샘플링 수단(34, 36), 음색변환 연산수단(38, 40), 음원위치 연산수단(42), 표시제어수단(44), 디스플레이장치(46), 명령입력수단(48), 저장수단(50), 제어수단(52)를 포함한다.
도 11의 음색변환장치는 음원(20)으로부터 음을 입력하기 위한 복수의 마이크(22, 24)를 통하여 L, R 2채널의 음들을 각각 입력한다. 입력된 L.R 채널의 음신호는 증폭기(26, 28)을 통하여 증폭되고, 증폭된 신호는 푸리에 변환기(30, 32)에서 매 프레임 단위로 각각 고속 푸리에 변환된다. 푸리에 변환된 신호는 샘플링 수단(34, 36)에서 소정 필터링 알고리즘에 의해 필터링되고 필터링된 피크치들은 음압순서대로 분류된 다음에 적정 피크치 수, 예컨대 30개 이하로 샘플링된다. 샘플링 된 각 피크치 신호들은 각각 주파수값과 음압값을 가진다. 이 신호는 음색변환 연산수단(38, 40)에서 상술한 음색변환공식에 의해 가시 주파수로 변환된다.
하나의 예로서, 상기 입력 가청주파수 fi가 4옥타브의 '미'음에 해당하는 329.6 HZ이고, '적색'에 해당하는 기준주파수에 의해 상수 C'가 0.29의 값을 나타내며, 최저 가청주파수 fl 및 최저 가시주파수 Fl을 각각 20 Hz 및 350 THz로 설정하면, 상기 수식에 의해 도출되는 가시주파수는 441 THz이고, 구하고자 하는 색의 휘도는 상기 연산된 x값에 비례하여 4.33 (43.3%)의 휘도값을 갖는다.
한편, 샘플링된 피크치 신호들은 음원위치 연산수단(42)에 제공된다. 음원위치 연산수단(42)에서는 동일 주파수에서 L. R 채널의 두 신호의 음원 위치를 연산 한다.
도 12는 제 1실시예에 의한 음원 발생위치 연산단계의 세부동작을 설명하기 위한 흐름도이다.
도 12는 흐름도는 도 13에서 도시한 바와 같이, 실제 음원의 위치를 알고, 음원이 이동하는 영역이 제 1채널과 제 2채널 사이에 한정된다고 가정하는 경우, 복수개 채널 가운데 2개 채널, 즉 제 1채널의 음원 입력위치와 제 2채널의 음원 입력위치 사이에서 음원의 발생위치를 연산하기 위한 것이다.
도면에서 d는 제 1채널의 음원 입력위치와 제 2채널의 음원 입력위치 사이의 거리, s는 상기 두 채널의 음원 입력위치 사이를 잇는 직선과 실제 음원 사이의 수직 거리, a는 특정 채널(일례로 제 1채널)의 음원 입력위치를 '0'으로 하는 구하고자 하는 음원 발생위치값을 나타낸다.
상기한 음원 발생위치값 a를 연산하기 위하여, 상술한 바와같이 채널별 음원신호를 입력받고(100), 상기 제어신호 및 채널별 음원신호에 근거하여 각 채널을 통해 입력되는 가청 주파수를 소정의 주파수 간격으로 고속 푸리에 변환(Fast Fourier Transform, 이하 'FFT'라 함) 연산하며(101), FFT 연산한 결과에 근거하여 각 채널별로 하나 또는 복수개의 피크점을 검출한다(102).
보다 상세하게, 도 14은 한 프레임에서 각 채널별로 가청주파수를 FFT 연산한 결과를 나타낸 주파수 스펙트럼도로서, 가로축과 세로축이 각각 주파수축과 음압레벨축(도면에 표기된 데시벨 수치는 (-)값임)을 나타내며, 입력받은 음의 전기적 신호를 주파수별 음압의 크기로 분석한 결과를 도시하고 있다. 상기한 FFT 연산 결과에 근거하여 동일 주파수에 대해 제 1채널에서 제 1피크점(Pl), 제 2피크점(P2) 및 제 3피크점(P3) 등 복수개의 피크점을 검출하고, 제 2채널에서 제 1 피크점 (P'1), 제 2피크점 (P'2), 및 제 3피크점(P'3) 등 복수개의 피크점을 검출한다.
그리고 채널별로 검출된 각 피크점에서의 해당 주파수 및 dB(데시벨) 단위로 환산한 음압레벨 값을 검출하고, 해당 주파수별 피크점의 음압차를 연산하여 이를 Idiff로 출력한다(103). 즉, 제 1 및 제 2채널에서 제 1 피크점을 비교하는 경우, Idiff는의 P1의 음압레벨 값-P'1의 음압레벨 값을 의미하며, 출력된 I diff와 기설정된 s 및 d값에 따라 아래 수학식 4에 근거하여 피크 발생 주파수별 음원의 발생위치 a를 연산한다.
Figure 112001535517416-pat00016
여기서, a는 제 1채널의 음원 입력위치를 '0'으로 하는 구하고자 하는 음원 발생위치값이고, k는 k〉0인 상수이며, s 및 d는 앞서 정의한 바와 동일하다.
상기한 수식을 근거로 각 피크 발생 주파수별 음원의 발생위치 a를 연산하고(104), 검출된 a값을 d값과 비교 판별하여(105) a〈d/2인 경우, 음원의 발생위치 제 1채널에 근접한 것으로 판단한며(106), a〉d/2인 경우, 음원의 발생위치가 제 2 채널에 근접한 것으로 판단한다(107). 그리고 검출된 각 피크점의 주파수값과 음압레벨 값 및 상기 연산된 음원의 발생위치값을 출력한다(108)
상기 표시제어수단(44)은 입력받은 음원 발생위치와 각 피크점의 주파수값 및 음압레벨 값을 근거로 가시광을 출력하며, 표시화면의 일례로 도 15에서 도시한 바와 같이, 가로축에 해당하는 제 1축의 양끝단을 각각 제 1채널과 제 2채널로 대응 설정하여 제 1축상에 음원의 발생위치를 제 1축의 좌표로 하고, 각 음원의 주파수값을 세로축에 해당하는 제 2축의 좌표로 하여 상기한 수학식 3에 의해 음원의 주파수로부터 연산한 색상을 음압에 비례하는 면적으로 표시한다.
따라서 표시제어수단(44)은 제 1축과 제 2축을 조합한 2차원 평면상에 피크발생 주파수별 음원의 발생위치, 음원에 대응하는 색상 및 음압의 크기를 용이하게 표시할 수 있다.
이처럼 본 실시예는 피크점이 검출된 해당 주파수별로 음원의 발생위치를 연산하므로, 한 지점에서 발생한 음원으로부터 입력받은 주파수를 분석하여도 한 프레임 내에서 피크 발생 주파수별로 음원 발생위치값이 각기 다른 값을 가질 수 있지만, 다음의 두번째 실시예를 적용하면 한 프레임 내에서 동일한 음원 발생위치값을 도출할 수 있다.
도 16은 제 2실시예에 의한 음원 발생위치 연산단계의 세부동작을 설명하기 위한 흐름도이다.
도 16의 흐름도는 도 17에서 도시한 바와 같이, 복수 채널중 2개 채널, 즉 제 1채널 및 제 2채널의 음원 입력위치 사이의 거리 d가 주어지지 않고, 실제 음원의 위치 및 상기 음원이 이동하는 영역이 제 1 및 제 2채널 사이에 한정되지 않으며, 상기 음원이 제 1 및 제 2채널을 연결하는 축과 수직한 축상에서도 이동한다고 가정하는 경우, 두 채널 사이의 중간 지점을 '0'으로 하는 음원 발생위치를 검출하기 위한 것이다.
먼저, 채널별 음원신호를 입력받고(110), 각 채널을 통해 입력되는 가청주파수를 소정의 주파수 간격으로 FFT 연산하며(111), 각 채널별로 FFT 연산한 결과에 근거하여 채널별로 복수개의 피크점을 검출하는 과정(112)은 제 1 실시예와 동일하다.
그리고 채널별로 검출된 각 피크점에서의 음압레벨 값을 검출하고, 아래 수학식 5에 근거하여 제 1채널의 음압 에너지와 제 2채널의 음압 에너지를 각각 연산하며(114), 각 채널별로 연산된 음압 에너지를 비교 검출하여 음원의 발생 위치를 연산한다.
Figure 112001535517416-pat00017
이때,
Figure 112001535517416-pat00060
여기서, Ediff는 두 채널 사이의 중간 지점을 '0'으로 하는 음원 발생위치값, Pn은 피크점이 검출된 해당 주파수별 음압레벨 값, n은 검출된 피크의 수이며 M1에너지는 제 1채널의 음압 에너지값, M2에너지는 제 2채널에의 음압 에너지값을 나타낸다.
상기한 수식에 근거하여, 제 1 및 제 2채널에서 피크점일 검출된 해당 주파 수별 음압레벨 값에 따라 M1에너지와 M2에너지를 연산하고, M1에너지와 M2에너지의 결과값에 따라 Ediff를 검출한다. 그리고 검출된 Ediff의 양수, 음수 여부를 판별하여(115) 상기 Ediff〉0인 경우, 음원의 발생위치가 제 1채널에 근접하다고 판단하고(116), Ediff〈0인 경우, 음원의 발생위치가 제 2채널에 근접하다고 판단하며(117), 검출된 각 피크점에서의 해당 주파수값과 음압레벨 값 및 음원 발생위치를 표시수단(44)으로 출력한다(118)
도 18은 상기 표시수단이 디스플레이할 수 있는 화면의 일례를 도시한 것으로서, 화면 구성은 제 1 실시예와 동일하며, 한 프레임 내에서 하나의 음원 발생위치값을 연산함에 따라, 동그라미로 표시되는 주파수별 음원의 발생위치는 제 2축과 평행한 직선상으로 배열한다.
도 19는 제 3 실시예에 의한 음원 발생위치 연산단계의 세부동작을 설명하기 위한 흐름도로서, 본 실시예는 주파수 대역별로 음원의 발생위치를 연산함을 특징으로 하며, 실제 음원의 위치 및 음원이 이동하는 영역에 대한 가정은 제 2 실시예와 동일하고, 도 19의 흐름도에서 120-122단계는 제 1실시예와 동일하다.
122단계에서 각 채널별로 검출된 복수 피크점에서의 음압레벨 값을 검출하고, 소정의 주파수 분할 기준에 근거하여 주파수를 대역별로 분리하는데(123), 일례로 주파수를 3개의 영역으로 분할하는 경우, 가청주파수를 저주파수 대역과 중주파수 대역 및 고주파수 대역으로 분리하며, 일례로 20 HZ~200 HZ 구간을 저주파수 대역으로, 200 Hz ~ 2 kHz 구간을 중주파수 대역으로, 2 kHz ~ 20 kHz 구간을 고주 파수 대역으로 분리할 수 있다.
저주파수 대역에서 검출된 각 피크점의 음압레벨 값에 따라 상기한 수식에 근거하여 저주파수 대역에서 제 1채널의 음압 에너지 M1에너지/low 및 제 2채널의 음압에너지 M2에너지/low를 각각 연산하고(124), 각 채널별로 검출된 음압 에너지를 근거로 Ediff/low를 연산하고 양수 및 음수 여부를 판단하며(125), 상기 Ediff/low를 판별하여 Ediff/low 〉0인 경우, 저주파수 대역에서 음원의 발생위치가 제 1채널에 근접하다고 판단하고(126), Ediff/low〈0인 경우, 저주파수 대역에서 음원의 발생위치가 제 2채널에 근접하다고 판단한다(127).
상기와 동일한 원리에 근거하여, 중주파수 및 고주파수 대역에서 검출된 각 피크점의 음압레벨 값에 따라 M1에너지/mid와 M2에너지/mid 및 M1에너지/high 와 M2에너지/high를 각각 연산하고(128, 132), 각 채널의 음압 에너지로부터 Ediff/mid및 Ediff/high를 각각 연산하고 양수, 음수 여부를 판별하여 중주파수 및 고주파수 대역에서 음원의 발생위치를 판단한다(129~131 및 단계 132~135). 그리고 각 주파수 대역별로 검출된 음원 발생위치값과 각 피크점에서의 주파수 및 음압레벨 값을 표시제어수단(44)으로 출력한다(136).
도 20는 상기 출력수단이 디스플레이할 수 있는 화면의 일례를 도시한 것으로서, 화면 구성은 앞선 실시예와 동일하며, 한 프레임 내에서 주파수 대역별로 음원의 발생위치를 연산함에 따라, 일례로 동그라미로 표시되는 음원의 발생위치는 각 주파수 대역별로 동일한 값을 가지므로 각 주파수 대역별로 제 2축과 평행한 직선으로 배열한다.
여기서, 음의 정보를 음원으로 입력받지 않고 미디(midi)장치로부터 미디신호를 입력받는 경우, 상기 미디신호는 고유의 프로토콜을 사용하여 256 채널 이상의 채널이 서로 다른 음원의 위치정보, 악기정보, 음계정보 등을 가지기 때문에, 채널별로 주파수 분석(FFT 연산)하여 각 음원의 주파수와 음원의 발생위치를 연산할 필요가 없어진다.
이로써 미디신호를 입력받아 재생하여 시각화하는 경우, 악기정보에 대응하는 고유의 배음구조정보(메인음을 중심으로 고주파 부분에 특정간격, 특정크기, 특정개수로 발생하는 오버톤)가 저장부에 저장되어 왔으므로, 음계정보에 따라 배음을 같이 발생시킴으로써 악기 고유의 소리를 재생함과 동시에 음원의 발생위치 정보를 제 1축상에 나타내고, 제 2축상에 메인음(음계정보)와 배음(악기정보에 따라 기설정된 값)의 음계정보를 표시하며, 그 위치에 해당크기 및 해당색상을 나타낸다.
따라서 미디신호를 입력받는 경우에는 채널별로(즉, 악기별로) 모양을 달리하여 디스플레이할 수 있고, FFT 연산이 필요없기 때문에 단가가 저렴하며, 기존의 미디신호 재생장치에 용이하게 추가할 수 있는 장점이 있다.
이외 같이 표시제어수단(44)은 입력되는 각 피크의 정보를 주파수별로 음원의 발생위치에 음압의 크기에 비례하는 면적과 주파수에 대응하는 색의 가시광으로 표시할 수 있으며, 소리를 색채로 변환하여 이를 시각적으로 표시하는 방법의 다른 실시예로서 상기한 각 피크의 음원 발생위치 및 주파수에 근거한 좌표상의 분포 상태를 애니메이션의 키프레임(keyframe)으로 활용하고, 이 키프레임을 근거로 매핑(mapping)하여 음원의 발생위치 및 음의 고저에 반응하는 애니메이션 동작을 표시 할 수 있다.
즉, 각 피크의 음원 발생위치를 연산하면, 각 피크의 음원 발생위치 및 주파수에 근거한 2차원 좌표값을 키프레임 정보로 입력받고, 입력받은 키프레임 정보를 근거로 매핑(mapping)하여 음원의 발생위치 및 음의 고저를 나타내는(일례로 춤추는 인형 등의) 애니메이션 동작으로 변환하여 표시제어수단(44)으로 출력한다. 이로서 표시제어수단(44)은 상기한 동작 정보를 근거로 애니메이션 동작을 디스플레이한다.
도 21은 본 발명의 첫번째 실시예에서 출력수단이 표시할 수 있는 화면의 일례로서 인체에 적용하기 위해 애니메이션 키프레임으로 활용될 음원 발생 위치의 분포 상태를 도시한 개략도이고, 도 22는 도 21에 분포된 음원 가운데 키프레임으로 활용할 음원만을 선택하여 도시한 개략도이다.
그리고 도 23은 도 22의 키프레임 정보에 근거하여 매핑하는 과정을 도시한 개략도이며, 도 24는 도 23의 매핑 과정이 완료된 상태를 도시한 개략도이다.
도시된 바와 같이 인체 모양과 유사한 부분만을 애니메이션 키프레임 데이터로 취하여 이를 근거로 인체 및 특정 형태로 매핑한 후 에니메이션 동작을 디스플레이한다.
도 25는 본 발명에 의한 음색변환모드의 명령입력수단의 일예와 픽스모드에 서 음을 영상표현한 화면표시상태를 나타낸다. 도 25에 도시한 본 발명의 음색변환 입력수단은 화면상에 제시된다.
음색변환 명령수단은 좌측에 음악파일 OPEN키, 음악파일 리스트창, 재생키, 일시정지키, 정지키, 고속되감기키, 고속재생키, 리피트키, 푸리에 변환 해상도 조정키, 크기 조정키, 스케일링 조정키, 피크치 수 조정키 등을 포함된다.
음악파일 오픈키는 음악파일을 다른 디렉토리로부터 불러올 때 사용한다.
음악파일 리스트창은 불러온 음악파일의 리스트를 제공한다.
푸리에 변환 해상도 조정키는 화면의 세로축의 해상도를 조정하는 것으로서, 푸리에 변환시 각 프레임단위에서 샘플링 해상도를 조정한다.
크기 조정키는 샘플링된 피크치의 크기를 조정한다.
스케일링키는 샘플링된 피크치의 크기를 선형적 또는 비선형적으로 스케일링을 조정한다.
피크치 수 조정키는 각 프레임당 샘플링된 총 샘플치들 중 선택된 피크치의 수를 조정한다.
음색변환 명령수단은 우측에 이미지 파일 OPEN키, 이미지 파일 리스트창, 스크린 모드 선택키, 음입력선택기, 화면 좌우폭 조정키, 화면 상하 높이 조정키, 음주파수 대역 설정키, 화면출력모드 선택키, 설정값 메모리키들을 포함한다.
이미지 파일 오픈키는 각 주파수에 대응하여 표현하고자 하는 기본 이미지 파일을 불러오기 위한 것이다.
이미지 파일 리스트 창은 선택된 이미지 파일의 리스트를 표시한다.
스크린 모드 선택키는 풀스크린, 도시된 축소 스크린, 세로방향 스크린, 가로방향스크린, 가로방향 주파수 스크린 등을 제공한다.
음입력선택키는 컴퓨터의 하드상에서 음악파일인 경우에는 CD모드를, 마이크를 통한 실제 음을 실시간적으로입력하는 경우에는 라인모드를 선택한다.
화면 좌우폭 조정키는 좌측방향이면 음원의 위치가 중앙 세로축으로 모여서 표시되고 우측방향이면 좌우 방향으로 펼쳐져 표시된다. 따라서, 좌측종단에서는 모노음원처럼 중앙 세로축에서만 이미지가 표시되게 된다. 스테레오감을 과장되게 표시하기 위해서는 우측 종단으로 조정하면 된다.
화면 상하 높이 조정키는 좌측방향이면 주파수 위치가 중앙 가로축으로 모이게 되므로 가로축상에 모여서 표시된다. 우측방향이면 주파수 위치가 상하로 펼쳐지게 되므로 상하로 펼쳐져 표시된다.
화면 출력모드 선택키는 고정모드, 비트모드, 톤모드를 선택한다.
고정모드인 경우에는 도 25에 표시한 바와 같이, 선택된 하나의 이미지 파일로 영상이 표시된다.
비트모드인 경우에서는 도 26에 도시한 바와같이, 조건에 따라 이미지 파일이 바뀌면서 영상이 표시된다. 이미지 파일의 체인지 조건은 화면의 좌우에 표시된 키를 사용한다. 우측키는 조건 검출할 주파수 대역을 설정하기위한 것이고 좌측키는 설정된 주파수 대역 내에서 이미지 파일의 크기를 검출하기 위한 스레쉬 홀드를 설정한다. 그러므로, 설정된 대역내에서 큰 음압에 대응하여 스레쉬 홀드를 오버하는 사이즈를 가진 이미지가 표시되게 되면 다음 순번의 이미지로 바뀌어 영상이 표 시되게 된다.
톤모드 경우에는 도 27에 도시한 바와 같이, 원주를 따라 시간에 따른 웨이브의 모양을 그리는 영상이 표현된다. 따라서, 톤 모드인 경우에는 입력된 음의 시간에 따른 파형변화를 알 수 있다.
도 28 내지 도 33은 다양한 이미지 파일에 의한 음색변환 영상의 예를 나타낸 것이다. 따라서, 본 발명에서는 기본 이미지 파일의 다양한 형상에 의해 음악을 다양한 영상으로 표현하는 것이 가능하다.
도 34는 본 발명에 의한 색음변환장치의 바람직한 일 예를 나타낸다. 색음변환장치는 영상입력수단(60), 영상 스캐닝수단(62, 64), 색추출수단(66), 색음변환 연산수단(68), 서브음 합성수단(70), L채널 합성수단(72), R채널 합성수단(74), 증폭기(76, 78), 스피커(80, 82)를 포함한다.
영상입력수단(60)은 비디오 카메라, 디지털 카메라 등으로 픽업된 동영상 또는 정지영상을 입력한다. 입력된 영상은 초당 30프레임으로 영상 스캐닝수단(62, 64)에 제공된다.
영상 스캐닝수단(62, 64)은 서브영역(62)과 단위셀영역(64)로 구성된다. 본 발명의 실시예에서는 서브영역(62)은 도 36에 도시한 바와 같이, 복수의 단위셀들이 수직으로 배열된 스캐닝바 형태를 가진다. 각 단위셀은 m ×n 사이즈의 복수의 픽셀들을 포함한다. 따라서, 2차원 영상은 도 37에도시한 바와 같이, 복수의 서브영역들로 분할된다.
색추출수단(66)은 각 단위셀(64)로부터 복수의 픽셀값들을 입력하여 픽셀들 의 대표값, 예컨대, 평균값, 중앙값, 최고값으로 단위셀의 색주파수와 휘도를 추출한다.
색음변환수단(68)은 색추출수단(68)로부터 제공된 색주파수와 휘도를 가지고 색음변환공식에 의거하여 가청주파수를 생성한다.
서브영역합성수단(70)은 생성된 각 단위셀에 대응하는 가청주파수들을 합성하여 하나의 복합음 신호를 발생한다.
복수의 합성수단들은 각각 서브영역이 원영상에서 배치된 위치값에 대응하여 L채널 복합음(Li)과 R채널 복합음(Ri)을 각각 출력한다. 예컨대, 가장 좌측에 배치된 서브영역은 L위치값이 10이면 R위치값은 0의값을 가지며, 가장 우측에 배치된 서브영역은 L위치값이 0이고 R위치값은 10의 값을 가진다.
L채널 합성수단(72)은 복수의 L채널 복합음(L1~Ln)을 합성하여 L채널음을 발생하고 R채널 합성수단(74)은 복수의 R채널 복합음(R1~Rn)을 합성하여 R채널음을 발생한다.
발생된 L, R채널음은 각각 증폭기(76, 78)을 통하여 스피커(80, 82)를 통하여 음으로 출력된다.
따라서, 각 프레임단위로 영상의 색이 스테레오 음으로 출력된다.
영상을 모노음으로 표현하고자 하는 경우에는 서브영역을 영상의 좌에서 우로 스캐닝하면서 각 서브영역의 음을 스캐닝 속도에 응답하여 출력하는 것도 가능하다.
이와 같이 본 별명은 화성법을 이용하여 색채를 조화하는 방법을 제공함으로써 보다 객관적이고 과학적인 색조화 이론을 제시하고, 임의의 기준색과 정확하게 조율되는 색채계를 도출할 수 있다. 그리고 객관적이며 타당성있는 주파수 변환기준을 제공함에 따라 .색채의 청각화 및 소리의 시각화를 가능하게 한다.
또한 소리를 시각화하는 경우, 음원의 발생위치를 연산하여 상기 음에서 변환된 가시광을 음원의 발생위치에 주파수별 음압 크기에 비례하는 면적으로 표시하는 등, 가시광의 다양한 출력을 제공함에 따라, 본 발명에 의한 장치는 이미 화성적으로 조화된 음악으로부터 조화된 색채를 도출할 수 있을 뿐만 아니라, 공연무대의 조명과 도시건축의 조경 및 청각장애인을 위한 분야 등에 응용될 수 있고, 시각정보를 청각화하는 경우 화상을 이용한 작곡, 환경음악, 시각장애인을 위한 분야 등의 여러분야에 폭넓게 응용될 수 있는 효과를 갖는다.
상기에서는 본 발명의 바람직한 실시예에 대하여 설명하였지만, 본 발명은 이에 한정되는 것이 아니고 특허청구범위와 발명의 상세한 설명 및 첨부한 도면의 범위 안에서 여러 가지로 변형하여 실시하는 것이 가능하고 이 또한 본 발명의 범위에 속하는 것은 당연하다.

Claims (5)

  1. 서로 일정 간격 떨어진 복수의 채널들을 통하여 음원으로부터 음을 입력하는 단계;
    각 채널들을 통하여 입력된 음을 각각 푸리에 변환하는 단계;
    상기 각 푸리에 변환된 신호의 피크치를 샘플링하는 단계;
    상기 샘플링된 각 주파수에서 복수의 채널들의 음압을 이용하여 복수 채널 사이의 음원 발생위치를 연산하는 단계를 포함하며,
    상기 복수 채널의 음원 입력위치 사이에서 음원의 발생위치를 아래의 수식에 근거하여 연산함을 특징으로 하는 음원위치 결정방법.
    Figure 112006082877608-pat00061
    (여기서, a는 특정 채널의 음원 입력위치를 '0'으로 하는 구하고자 하는 음원 발생위치값, d는 제 1채널의 음원 입력위치와 제 2채널의 음원 입력위치 사이의 거리, s는 상기 두 채널의 음원 입력위치 사이를 잇는 직선과 실제 음원 위치 사이의 수직거리, k는 k〉0인 상수, Idiff는 특정의 피크에 대한 제 1채널의 음압값-제 2채널의 음압값임.)
  2. 삭제
  3. 서로 일정 간격 떨어진 복수의 채널들을 통하여 음원으로부터 음을 입력하는 단계;
    각 채널들을 통하여 입력된 음을 각각 푸리에 변환하는 단계;
    상기 각 푸리에 변환된 신호의 피크치를 샘플링하는 단계;
    상기 샘플링된 각 주파수에서 복수의 채널들의 음압을 이용하여 복수 채널 사이의 음원 발생위치를 연산하는 단계를 포함하며,
    상기 복수 채널의 음원 입력위치 사이에서 음원의 발생위치를 아래의 수식에 근거하여 결정하는 것을 특징으로 하는 음원위치 결정방법.
    Figure 112006082877608-pat00062
    {E}_{diff} ＞ 0 이면, 음원의 발생위치는 제 1채널에 근접
    {E}_{diff} 0 이면, 음원의 발생위치는 제 2채널에 근접
    Figure 112006082877608-pat00063
    (여기서, Ediff는 두 채널 사이의 중간 지점을 '0'으로 하는 음원 발생위치값, Pn은 각 피크 발생 위치별 음압값, n은 검출된 피크의 수이며 M1에너지는 제 1채널의 음압 에너지값, M2에너지는 제 2채널의 음압 에너지값임.)
  4. 서로 일정 간격 떨어진 복수의 채널들을 통하여 음원으로부터 음을 입력하는 입력수단;
    각 채널들을 통하여 입력된 음을 각각 푸리에 변환하는 푸리에 변환수단;
    상기 각 푸리에 변환된 신호의 최고점을 구하고 최고점의 주파수와 레벨을 샘플링하는 샘플링 수단;
    상기 샘플링된 각 주파수에서 복수 채널들의 각 음압을 이용하여 복수 채널 사이의 음원 발생위치를 연산하는 연산수단을 포함하며,
    상기 연산 수단은 아래의 수식에 근거하여 연산함을 특징으로 하는 음원위치 결정장치.
    Figure 112006082877608-pat00064
    (여기서, a는 특정 채널의 음원 입력위치를 '0'으로 하는 구하고자 하는 음원 발생위치값, d는 제 1채널의 음원 입력위치와 제 2채널의 음원 입력위치 사이의 거리, s는 상기 두 채널의 음원 입력위치 사이를 잇는 직선과 실제 음원 위치 사이의 수직거리, k는 k〉0인 상수, Idiff는 특정의 피크에 대한 제 1채널의 음압값-제 2채널의 음압값임.)
  5. 서로 일정 간격 떨어진 복수의 채널들을 통하여 음원으로부터 음을 입력하는 입력수단;
    각 채널들을 통하여 입력된 음을 각각 푸리에 변환하는 푸리에 변환수단;
    상기 각 푸리에 변환된 신호의 최고점을 구하고 최고점의 주파수와 레벨을 샘플링하는 샘플링 수단;
    상기 샘플링된 각 주파수에서 복수 채널들의 각 음압을 이용하여 복수 채널 사이의 음원 발생위치를 연산하는 연산수단을 포함하며,
    상기 연산 수단은 아래의 수식에 근거하여 연산함을 특징으로 하는 음원위치 결정장치.
    Figure 112006082877608-pat00065
    {E}_{diff} ＞ 0 이면, 음원의 발생위치는 제 1채널에 근접
    {E}_{diff} 0 이면, 음원의 발생위치는 제 2채널에 근접
    Figure 112006082877608-pat00066
    (여기서, Ediff는 두 채널 사이의 중간 지점을 '0'으로 하는 음원 발생위치값, Pn은 각 피크 발생 위치별 음압값, n은 검출된 피크의 수이며 M1에너지는 제 1채널의 음압 에너지값, M2에너지는 제 2채널의 음압 에너지값임.)
KR1020010087653A 1999-08-18 2001-12-07 음원위치 결정방법 및 장치 KR100736434B1 (ko)

Applications Claiming Priority (8)

Application Number Priority Date Filing Date Title
KR1019990034242 1999-08-18
KR19990034242 1999-08-18
KR20000021548 2000-04-22
KR1020000021548 2000-04-22
KR1020000028147A KR20010020900A (ko) 1999-08-18 2000-05-24 화성법과 색음 상호변환을 이용하여 색채를 조화하는 방법및 장치
KR1020000028147 2000-05-24
KR0000556 2000-05-29
KR1020017007236 2001-06-09

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020017007236A Division KR100322347B1 (ko) 1999-08-18 2000-08-18 화성법을 이용한 조화색 선정방법 및 장치와, 음색 및색음 변환방법 및 장치

Publications (2)

Publication Number Publication Date
KR20020038563A KR20020038563A (ko) 2002-05-23
KR100736434B1 true KR100736434B1 (ko) 2007-07-09

Family

ID=27350043

Family Applications (3)

Application Number Title Priority Date Filing Date
KR1020000028147A KR20010020900A (ko) 1999-08-18 2000-05-24 화성법과 색음 상호변환을 이용하여 색채를 조화하는 방법및 장치
KR1020017007236A KR100322347B1 (ko) 1999-08-18 2000-08-18 화성법을 이용한 조화색 선정방법 및 장치와, 음색 및색음 변환방법 및 장치
KR1020010087653A KR100736434B1 (ko) 1999-08-18 2001-12-07 음원위치 결정방법 및 장치

Family Applications Before (2)

Application Number Title Priority Date Filing Date
KR1020000028147A KR20010020900A (ko) 1999-08-18 2000-05-24 화성법과 색음 상호변환을 이용하여 색채를 조화하는 방법및 장치
KR1020017007236A KR100322347B1 (ko) 1999-08-18 2000-08-18 화성법을 이용한 조화색 선정방법 및 장치와, 음색 및색음 변환방법 및 장치

Country Status (7)

Country Link
US (1) US6686529B2 (ko)
JP (1) JP2003507799A (ko)
KR (3) KR20010020900A (ko)
CN (1) CN1229759C (ko)
AU (1) AU6735300A (ko)
GB (1) GB2369978B (ko)
WO (1) WO2001013336A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8385562B2 (en) 2007-12-03 2013-02-26 Samsung Electronics Co., Ltd Sound source signal filtering method based on calculated distances between microphone and sound source

Families Citing this family (66)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6930235B2 (en) * 2001-03-15 2005-08-16 Ms Squared System and method for relating electromagnetic waves to sound waves
US6831219B1 (en) * 2001-04-23 2004-12-14 George E. Furgis Chromatic music notation system
US7212213B2 (en) * 2001-12-21 2007-05-01 Steinberg-Grimm, Llc Color display instrument and method for use thereof
TW571266B (en) * 2002-02-27 2004-01-11 Friend Spring Ind Co Ltd Control method and device of full-color LED audio/visual generating system
KR20030005117A (ko) * 2002-12-05 2003-01-15 김영애 음을 시각화하여 만든 디자인을 섬유제품에 활용하는 방법.
CA2536361A1 (en) * 2003-08-18 2005-02-24 Siir Kilkis A universal method and apparatus for mutual sound and light correlation
US20050229769A1 (en) * 2004-04-05 2005-10-20 Nathaniel Resnikoff System and method for assigning visual markers to the output of a filter bank
US7504572B2 (en) * 2004-07-29 2009-03-17 National University Corporation Kyushu Institute Of Technology Sound generating method
JP4665123B2 (ja) * 2004-10-07 2011-04-06 独立行政法人産業技術総合研究所 音階作成方法、音階作成プログラム、該プログラムを記録したコンピュータ読取可能な記録媒体及び音階作成装置、並びに演奏装置及び照明装置
US7525034B2 (en) * 2004-12-17 2009-04-28 Nease Joseph L Method and apparatus for image interpretation into sound
US7589727B2 (en) * 2005-01-18 2009-09-15 Haeker Eric P Method and apparatus for generating visual images based on musical compositions
US20060181537A1 (en) * 2005-01-25 2006-08-17 Srini Vasan Cybernetic 3D music visualizer
JPWO2006100980A1 (ja) * 2005-03-18 2008-09-04 パイオニア株式会社 音声信号処理装置及びそのためのコンピュータプログラム
US20060274144A1 (en) * 2005-06-02 2006-12-07 Agere Systems, Inc. Communications device with a visual ring signal and a method of generating a visual signal
KR100767060B1 (ko) * 2005-07-11 2007-10-18 김병천 다기능 조명 오디오 장치
US7601904B2 (en) * 2005-08-03 2009-10-13 Richard Dreyfuss Interactive tool and appertaining method for creating a graphical music display
DE102006008298B4 (de) * 2006-02-22 2010-01-14 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Erzeugen eines Notensignals
DE102006008260B3 (de) * 2006-02-22 2007-07-05 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zur Analyse eines Audiodatums
KR100893223B1 (ko) * 2007-03-12 2009-04-16 주식회사 하모니칼라시스템 영상을 음향으로 변환하는 방법과 장치
WO2007105927A1 (en) * 2006-03-16 2007-09-20 Harmonicolor System Co., Ltd. Method and apparatus for converting image to sound
US7538265B2 (en) * 2006-07-12 2009-05-26 Master Key, Llc Apparatus and method for visualizing music and other sounds
KR100772168B1 (ko) * 2006-09-14 2007-10-31 이창주 음악 및 색채 연동 시스템 및 그 방법, 이를 수행하는프로그램이 기록된 기록매체
GB2442983A (en) * 2006-10-16 2008-04-23 Martin Audio Ltd A computer-based method of configuring loudspeaker arrays
US20080225510A1 (en) * 2007-02-16 2008-09-18 Loud Technologies Inc Speaker assembly
US20080229200A1 (en) * 2007-03-16 2008-09-18 Fein Gene S Graphical Digital Audio Data Processing System
USD609714S1 (en) * 2007-03-22 2010-02-09 Fujifilm Corporation Electronic camera
US7589269B2 (en) * 2007-04-03 2009-09-15 Master Key, Llc Device and method for visualizing musical rhythmic structures
US7880076B2 (en) * 2007-04-03 2011-02-01 Master Key, Llc Child development and education apparatus and method using visual stimulation
US7932454B2 (en) * 2007-04-18 2011-04-26 Master Key, Llc System and method for musical instruction
US8127231B2 (en) * 2007-04-19 2012-02-28 Master Key, Llc System and method for audio equalization
WO2008130697A1 (en) * 2007-04-19 2008-10-30 Master Key, Llc Method and apparatus for editing and mixing sound recordings
WO2008130660A1 (en) * 2007-04-20 2008-10-30 Master Key, Llc Archiving of environmental sounds using visualization components
WO2008130661A1 (en) 2007-04-20 2008-10-30 Master Key, Llc Method and apparatus for comparing musical works
WO2008130698A1 (en) 2007-04-20 2008-10-30 Master Key, Llc Musical instrument tuning method and apparatus
US8073701B2 (en) * 2007-04-20 2011-12-06 Master Key, Llc Method and apparatus for identity verification using visual representation of a spoken word
WO2008130657A1 (en) 2007-04-20 2008-10-30 Master Key, Llc Method and apparatus for computer-generated music
WO2008130696A1 (en) * 2007-04-20 2008-10-30 Master Key, Llc Calibration of transmission system using tonal visualization components
US7820900B2 (en) * 2007-04-20 2010-10-26 Master Key, Llc System and method for sound recognition
WO2008130666A2 (en) * 2007-04-20 2008-10-30 Master Key, Llc System and method for music composition
WO2008130663A1 (en) * 2007-04-20 2008-10-30 Master Key, Llc System and method for foreign language processing
DE202007018920U1 (de) * 2007-09-13 2009-10-22 Winterfeld, Helmuth M., Dipl.-Ing. Vorrichtung zur Transformation von Wellen
JP5166549B2 (ja) * 2007-12-20 2013-03-21 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 照明雰囲気に関連付けられている音を自動的に生成するシステム及び方法
US7875787B2 (en) * 2008-02-01 2011-01-25 Master Key, Llc Apparatus and method for visualization of music using note extraction
EP2245627A4 (en) * 2008-02-01 2012-09-26 Master Key Llc DEVICE AND METHOD FOR DISPLAYING INFINITE SMALL MEASURING RANGES
EP2136356A1 (en) * 2008-06-16 2009-12-23 Yamaha Corporation Electronic music apparatus and tone control method
WO2011040660A1 (ko) * 2009-10-04 2011-04-07 Kang Min-Su 좌표와 색을 이용한 전자악기
JP5477357B2 (ja) * 2010-11-09 2014-04-23 株式会社デンソー 音場可視化システム
BE1019823A3 (nl) * 2011-02-16 2013-01-08 Robrecht Karel V Noens Werkwijze en inrichting voor het omzetten van een audiosignaal naar een stuursignaal voor een audiovisualisatiesysteem en audiovisualisatiesysteem.
CN102289778A (zh) * 2011-05-10 2011-12-21 南京大学 一种图像至音乐的转换方法
US9281793B2 (en) 2012-05-29 2016-03-08 uSOUNDit Partners, LLC Systems, methods, and apparatus for generating an audio signal based on color values of an image
CN103578324A (zh) * 2012-07-19 2014-02-12 明馨国际有限公司 乐器的光声装置
KR101466345B1 (ko) * 2013-04-24 2014-12-11 경북대학교 산학협력단 영상 음향 변환 장치 및 영상 음향 변환 방법
KR101411650B1 (ko) * 2013-06-21 2014-06-24 김남규 키 입력 장치, 키 입력 인식 장치 및 이들을 이용한 키 입력 시스템
TWI553270B (zh) * 2013-10-30 2016-10-11 緯創資通股份有限公司 情境式聲光效果產生方法及裝置
USD750103S1 (en) * 2014-01-30 2016-02-23 Pepsico, Inc. Display screen or portion thereof with graphical user interface
CN104464741B (zh) * 2014-12-29 2018-04-06 中山大学花都产业科技研究院 一种音频信号转视觉颜色信息的方法及系统
US9520117B2 (en) 2015-02-20 2016-12-13 Specdrums, Inc. Optical electronic musical instrument
WO2017196016A1 (ko) * 2016-05-12 2017-11-16 김영언 소리를 감지하여 상응하는 빛으로 변환하는 장치
MX2018014597A (es) * 2016-05-27 2019-05-22 Hao Qiu Zi Método y aparato para convertir datos del color en notas musicales.
PL232436B1 (pl) * 2017-07-19 2019-06-28 Politechnika Lodzka Sposób odczytywania barw obrazów za pomocą dźwięku
KR20180004040A (ko) * 2017-12-11 2018-01-10 전대연 스마트 음-색 표현 방법 및 rgb색상코드를 이용한 음악-그림 앱 시스템
USD863427S1 (en) * 2018-08-19 2019-10-15 Lukas Häne Color harmony scale chart for music
US10755683B1 (en) * 2019-02-02 2020-08-25 Shawn Baltazor Transformation of sound to visual and/or tactile stimuli
CN112857560B (zh) * 2021-02-06 2022-07-22 河海大学 一种基于声音频率的声学成像方法
CN113108893B (zh) * 2021-03-22 2022-08-16 北京科技大学 一种基于声压和质点振速的声场重构系统及方法
JP1721930S (ja) * 2021-09-01 2022-08-09 位置情報計測用画像

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03134697A (ja) * 1989-10-20 1991-06-07 Mitsubishi Heavy Ind Ltd 音響信号の色彩変換装置
KR960000010A (ko) * 1994-06-25 1996-01-25 김오영 식물재배용 쇼케이스의 제어방법
JPH10320570A (ja) * 1997-05-16 1998-12-04 Toray Ind Inc 色柄模様表示方法およびその装置

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB212315A (en) * 1922-12-08 1924-03-10 Mary Sargant Florence Improvements relating to indicators applicable to the teaching of music or the selection and combining of colours
US3990105A (en) * 1974-02-19 1976-11-02 Fast Robert E Audio-visual convertor
DE2843180C3 (de) * 1978-10-04 1981-11-05 Robert Bosch Gmbh, 7000 Stuttgart Verfahren und Vorrichtung zur akustisch-optischen Umwandlung von Signalen
WO1981000637A1 (en) * 1979-08-27 1981-03-05 N Louez Method of representing sound by colour
EP0216862B1 (en) * 1985-03-20 1991-10-09 PAIST, Roger, M. Video display of two-channel audio signals
JP2559390B2 (ja) * 1987-01-28 1996-12-04 株式会社日立製作所 音・画像変換装置
US5005459A (en) * 1987-08-14 1991-04-09 Yamaha Corporation Musical tone visualizing apparatus which displays an image of an animated object in accordance with a musical performance
JPH03134696A (ja) * 1989-10-20 1991-06-07 Mitsubishi Heavy Ind Ltd 音響信号の色彩変換装置
US5191319A (en) * 1990-10-15 1993-03-02 Kiltz Richard M Method and apparatus for visual portrayal of music
JPH071416B2 (ja) * 1990-11-01 1995-01-11 光夫 平瀬 楽譜に載置する音階色分け透明板と鍵盤楽器の鍵盤上に載置する音階色分けベルト及び音階色分け透明板を載置した楽譜で音階色分けベルトを鍵盤上に載置した鍵盤楽器を演奏する方法
US5359341A (en) * 1992-04-22 1994-10-25 Tek Electronics Manufacturing Corporation Power supply for sequentially energizing segments of an electroluminescent panel to produce animated displays
JPH07191800A (ja) * 1993-12-27 1995-07-28 Yamatake Honeywell Co Ltd 空間動作インターフェイス
ATE235291T1 (de) * 1995-06-08 2003-04-15 Claus Hvass Verfahren zur umsetzung von tonsignalen in licht
US5689078A (en) * 1995-06-30 1997-11-18 Hologramaphone Research, Inc. Music generating system and method utilizing control of music based upon displayed color
GB2319346B (en) * 1996-11-13 2001-03-21 Sony Uk Ltd Analysis of audio signals
JPH10318840A (ja) * 1997-05-16 1998-12-04 Naoya Sugiki 色合わせ方法
JPH1152949A (ja) * 1997-07-30 1999-02-26 Yamaha Corp 音階表示シートおよび音階表示装置
JP3724246B2 (ja) * 1999-03-23 2005-12-07 ヤマハ株式会社 音楽画像表示装置
GB2353395A (en) * 2000-07-26 2001-02-21 Ashley John Renham Musical instrument and musical notation

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03134697A (ja) * 1989-10-20 1991-06-07 Mitsubishi Heavy Ind Ltd 音響信号の色彩変換装置
KR960000010A (ko) * 1994-06-25 1996-01-25 김오영 식물재배용 쇼케이스의 제어방법
JPH10320570A (ja) * 1997-05-16 1998-12-04 Toray Ind Inc 色柄模様表示方法およびその装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
복소진폭 음향홀로그래픽법을 사용한 사각형 마이크로폰 어레이의 음원위치 동정에 관한 연구(김천덕, 한국과학재단 연구결과 보고서 961-0921-114-2, 1998.04.20)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8385562B2 (en) 2007-12-03 2013-02-26 Samsung Electronics Co., Ltd Sound source signal filtering method based on calculated distances between microphone and sound source
KR101238362B1 (ko) 2007-12-03 2013-02-28 삼성전자주식회사 음원 거리에 따라 음원 신호를 여과하는 방법 및 장치
US8577055B2 (en) 2007-12-03 2013-11-05 Samsung Electronics Co., Ltd. Sound source signal filtering apparatus based on calculated distance between microphone and sound source
US9182475B2 (en) 2007-12-03 2015-11-10 Samsung Electronics Co., Ltd. Sound source signal filtering apparatus based on calculated distance between microphone and sound source

Also Published As

Publication number Publication date
KR100322347B1 (ko) 2002-02-04
GB2369978B (en) 2004-06-09
US6686529B2 (en) 2004-02-03
GB2369978A (en) 2002-06-12
US20020114511A1 (en) 2002-08-22
GB0204790D0 (en) 2002-04-17
CN1370310A (zh) 2002-09-18
JP2003507799A (ja) 2003-02-25
AU6735300A (en) 2001-03-13
KR20010020900A (ko) 2001-03-15
CN1229759C (zh) 2005-11-30
KR20010084954A (ko) 2001-09-07
KR20020038563A (ko) 2002-05-23
WO2001013336A1 (ko) 2001-02-22

Similar Documents

Publication Publication Date Title
KR100736434B1 (ko) 음원위치 결정방법 및 장치
US5048390A (en) Tone visualizing apparatus
US6021204A (en) Analysis of audio signals
CN1717716B (zh) 用于生成音乐数据的设备和方法
WO2007105927A1 (en) Method and apparatus for converting image to sound
KR20150112048A (ko) 모바일 앱 기반의 실시간 영상의 배경음악 생성방법
RU2411593C2 (ru) Устройство для преобразования частотного спектра в частоты природной гармоники
KR20020013825A (ko) 화성법을 이용한 음색변환표로 채색한 악기
JP2020021098A (ja) 情報処理装置、電子機器及びプログラム
KR20070094207A (ko) 영상을 소리로 변환하는 방법 및 장치
Barrass Sculpting a sound space with information properties
JP4202964B2 (ja) 映像データへの楽曲データ付加装置
CA2382167A1 (en) Method and apparatus for selecting harmonic color using harmonics, and method and apparatus for converting sound to color or color to sound
Segnini et al. Scoregram: Displaying gross timbre information from a score
Ackermann et al. A Database with Directivities of Musical Instruments
WO2019176029A1 (ja) 音検出装置
Feistel et al. Using high-resolution directivity data of musical instruments for acoustic simulation and auralization
JP2629740B2 (ja) 音響処理装置
ITPI20100013A1 (it) Metodo di conversione in immagini tridimensionali in movimento di suoni caratterizzati da cinque parametri, e relativo processo inverso.
JP3538908B2 (ja) 電子楽器
JP4395550B2 (ja) 音像定位装置、音像定位方法、及びプログラム
Ackermann et al. Musical instruments as dynamic sound sources
JPH0684079A (ja) 音色定位方法とその装置並びにプロセス監視方法と監視装置
Knees et al. Sound/tracks: artistic real-time sonification of train journeys
Bardin et al. Color and Music: Utilizing Frequencies of Both Sound and Light as a Creative Serialization Tool

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20100701

Year of fee payment: 4

LAPS Lapse due to unpaid annual fee