KR102193719B1 - 음악의 시각화 시스템, 방법 및 컴퓨터 판독 가능한 기록매체 - Google Patents

음악의 시각화 시스템, 방법 및 컴퓨터 판독 가능한 기록매체 Download PDF

Info

Publication number
KR102193719B1
KR102193719B1 KR1020200079991A KR20200079991A KR102193719B1 KR 102193719 B1 KR102193719 B1 KR 102193719B1 KR 1020200079991 A KR1020200079991 A KR 1020200079991A KR 20200079991 A KR20200079991 A KR 20200079991A KR 102193719 B1 KR102193719 B1 KR 102193719B1
Authority
KR
South Korea
Prior art keywords
information
artificial
natural
expression
music
Prior art date
Application number
KR1020200079991A
Other languages
English (en)
Inventor
안주영
Original Assignee
안주영
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 안주영 filed Critical 안주영
Priority to KR1020200079991A priority Critical patent/KR102193719B1/ko
Application granted granted Critical
Publication of KR102193719B1 publication Critical patent/KR102193719B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10G—REPRESENTATION OF MUSIC; RECORDING MUSIC IN NOTATION FORM; ACCESSORIES FOR MUSIC OR MUSICAL INSTRUMENTS NOT OTHERWISE PROVIDED FOR, e.g. SUPPORTS
    • G10G1/00—Means for the representation of music
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/06—Transformation of speech into a non-audible representation, e.g. speech visualisation or speech processing for tactile aids
    • G10L21/10—Transforming into visible information
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/091—Graphical user interface [GUI] specifically adapted for electrophonic musical instruments, e.g. interactive musical displays, musical instrument icons or menus; Details of user interactions therewith

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Electrophonic Musical Instruments (AREA)
  • Auxiliary Devices For Music (AREA)

Abstract

음악의 시각화 시스템, 방법 및 컴퓨터 판독 가능한 기록매체가 개시된다. 본 발명의 일 실시예에 따른 음악의 시각화 시스템은, 입력 수단으로부터 음악 정보를 취득하며, 상기 음악정보를 선택적으로 부호화하고, 부호화 데이터를 연주자에 의해 입력을 받은 정보인 인위정보와 자동으로 추출되는 정보인 자연정보로 분류하는 부호화부; 상기 인위정보를 수신하여 영상으로 변환하기 위한 인위표현 부호 데이터로 변환하는 인위표현 부호화부; 상기 자연정보를 수신하여 영상으로 변환하기 위한 자연표현 부호 데이터로 변환하는 자연표현 부호화부; 다수 개의 파라미터가 기 저장되며, 상기 인위표현 부호 데이터와 상기 자연표현 부호 데이터를 수신하여, 인위표현 시각화 효과와 자연표현 시각화 효과를 생성하는 템플릿부; 및 상기 인위표현 시각화 효과와 상기 자연표현 시각화 효과를 합성하여 시각화 영상을 생성하는 영상 생성부;를 포함한다. 본 실시예에 의하면 음악을 컴퓨터 그래픽으로 시각화하여 표현하되, 소리 뿐만 아니라 연주자의 연주정보 자연정보와 인위정보로 구분하여 반영하여 컴퓨터 그래픽으로 표현하는 음악의 시각화 시스템, 방법 및 컴퓨터 판독 가능한 기록매체가 제공된다.

Description

음악의 시각화 시스템, 방법 및 컴퓨터 판독 가능한 기록매체{MUSIC VISUALIZING SYSMEM, METHOD AND COMPUTER READABLE RECORDING MEDIUM}
본 발명은 음악의 시각화 시스템, 방법 및 컴퓨터 판독 가능한 기록매체에 관한 것으로서, 보다 상세하게는 음악을 컴퓨터 그래픽으로 시각화하여 표현하되, 소리 뿐만 아니라 연주자의 연주정보를 자연정보와 인위정보로 구분하여 반영하여 컴퓨터 그래픽으로 표현하는 음악의 시각화 시스템, 방법 및 컴퓨터 판독 가능한 기록매체에 관한 것이다.
일반적으로 청각이 아닌 인간의 다른 감각을 통해 음악을 감상할 수 있도록 하는 다양한 기술들이 개발되어 있다. 이러한 기술의 예시로 진동을 이용하여 음악을 전달하는 음악 진동 전달 방식과, 디스플레이 장치를 통한 색 표현, 또는 컴퓨터 그래픽으로 통한 표현 등의 시각화 방식 등이 있다.
특히 시각화 방식의 경우 오실로스코프와 같이 파형을 표시하거나, 컴퓨터 그래픽과 같이 소리를 주파수마다 분할해 그 강약을 시각화하는 방법들이 있다.
나아가, 소리를 시각화하는 방법의 경우 스탠더드 미디 파일이나 미디 입력에 따라 컴퓨터 그래픽에 의한 화면을 변화시키는 컴퓨터 소프트웨어가 개시된 바 있다.
상술한 종래 기술들은 악기로 연주를 한 뒤 연주를 녹음하거나, 연주를 부호화하여 컴퓨터가 소리로 변환하고, 이를 FFT(고속 푸리에변환, Fast Fourier Transform)을 이용해 음역대별로 분석하고 이를 영상으로 표현한다.
그런데, 이러한 경우 FFT 방법이 정확하지 않아 표현의 해상도가 떨어지고, 이로 인해 영상으로 구현이 쉽지 않은 문제점이 있다. 또한, 연주를 녹음하거나, 연주를 부호화하여 컴퓨터가 소리로 변환하는 것은 한 기기에서 작동될 수 없어 일반적으로 다수의 기기가 필요하거나 매우 고성능의 기기가 필요한 문제점이 있다.
또한, 상술한 컴퓨터 소프트웨어들의 경우, 스탠더드 미디 파일이나 미디 입력에 따라 미리 준비된 컴퓨터 그래픽의 렌더링을 하는 것이며, 연주자의 연주에 대응하여 실시간으로 컴퓨터 그래픽이 변화되지 않아, 음악을 시각화하는데 표현되는 내용에 한계가 있다.
즉, 종래의 음악의 시각화는 소리만을 분석하여 시각화를 하는 것으로 분석에 한계가 있다.
일본 등록특허공보 제3724246호 일본 공개특허공보 특개2000-235388호 일본 공개특허공보 특개2008-233576호
본 발명의 일 실시예에 따른 음악의 시각화 시스템, 방법 및 컴퓨터 판독 가능한 기록매체는, 음악을 컴퓨터 그래픽으로 시각화하여 표현하되, 소리 뿐만 아니라 연주자의 연주정보를 자연정보와 인위정보로 구분하여 반영하여 컴퓨터 그래픽으로 표현하는 음악의 시각화 시스템, 방법 및 컴퓨터 판독 가능한 기록매체를 제공하는 것을 목적으로 한다.
본 발명의 과제들은 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
본 발명의 일 실시예에 따른 음악의 시각화 시스템은, 입력 수단으로부터 음악 정보를 취득하며, 상기 음악정보를 선택적으로 부호화하고, 부호화 데이터를 연주자에 의해 입력을 받은 정보인 인위정보와 자동으로 추출되는 정보인 자연정보로 분류하는 부호화부; 상기 인위정보를 수신하여 영상으로 변환하기 위한 인위표현 부호 데이터로 변환하는 인위표현 부호화부; 상기 자연정보를 수신하여 영상으로 변환하기 위한 자연표현 부호 데이터로 변환하는 자연표현 부호화부; 다수 개의 파라미터가 기 저장되며, 상기 인위표현 부호 데이터와 상기 자연표현 부호 데이터를 수신하여, 인위표현 시각화 효과와 자연표현 시각화 효과를 생성하는 템플릿부; 및 상기 인위표현 시각화 효과와 상기 자연표현 시각화 효과를 합성하여 시각화 영상을 생성하는 영상 생성부;를 포함한다.
또한, 상기 부호화부는, 복수 개의 채널이 구비되며, 상기 인위정보와 상기 자연정보는 서로 다른 상기 채널로 분류될 수 있다.
또한, 상기 템플릿부는, 상기 다수 개의 파라미터가 집합을 이루어 상기 인위표현 부호 데이터와 상기 자연표현 부호 데이터에 각각 대응되고, 동일한 집합 내의 상기 다수 개의 파라미터들은 사용자의 조작에 의해 실시간으로 대체될 수 있다.
본 발명의 일 실시예에 따른 음악의 시각화 방법은, 입력 수단으로부터 음악 정보를 취득하는 단계; 상기 음악정보를 선택적으로 부호화하고, 부호화 데이터를 연주자에 의해 입력을 받은 정보인 인위정보와 자동으로 추출되는 정보인 자연정보로 분류하는 단계; 상기 인위정보와 상기 자연정보를 각각 영상으로 변환하기 위한 인위표현 부호와 자연표현 부호로 변환하는 단계; 다수 개의 파라미터가 기 저장된 템플릿이 상기 인위표현 부호 데이터와 상기 자연표현 부호 데이터를 수신하여, 인위표현 시각화 효과와 자연표현 시각화 효과를 생성하는 단계; 및 상기 인위표현 시각화 효과와 상기 자연표현 시각화 효과를 합성하여 시각화 영상을 생성하는 단계;를 포함한다.
또한, 본발명에 따른 음악의 시각화 방법을 수행하기 위한 프로그램이 기록된 컴퓨터 판독 가능한 기록매체가 제공될 수 있다.
본 발명의 실시예들에 의하면 적어도 다음과 같은 효과가 있다.
본 발명에 따른 음악의 시각화 시스템, 방법 및 컴퓨터 판독 가능한 기록매체는, 음악을 컴퓨터 그래픽으로 시각화하여 표현하되, 소리 뿐만 아니라 연주자의 연주정보를 자연정보와 인위정보로 구분하여 반영하여 컴퓨터 그래픽으로 표현할 수 있다.
또한, 연주정보를 자연정보와 인위정보로 구분함으로써 연주자의 연주에 대응하여 컴퓨터 그래픽으로 표현함으로써 음악의 모든 정보를 시각화할 수 있다.
또한, 템플릿부는 자연표현 비쥬얼라이저부와 인위표현 비쥬얼라이저부를 포함하여, 각각 자연표현과 인위표현에 대한 시각화 효과를 생성하며, 각 표현들은 다양한 파라미터로 실시간 변경될 수 있어, 시각화 효과의 다양한 표현 방법이 가능하다.
본 발명에 따른 효과는 이상에서 예시된 내용에 의해 제한되지 않으며, 더욱 다양한 효과들이 본 명세서 내에 포함되어 있다.
도 1은 본 발명의 일 실시예에 따른 음악의 시각화 시스템의 개략적인 블럭도
도 2는 본 발명의 일 실시예에 따른 음악의 시각화 방법의 순서도이다.
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예를 도면에 예시하고 이에 대해 상세한 설명에 상세하게 설명한다. 본 발명의 효과 및 특징, 그리고 그것들을 달성하는 방법은 도면과 함께 상세하게 후술되어 있는 실시예를 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예에 한정되는 것이 아니라 다양한 형태로 구현될 수 있으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
설명에 앞서 상세한 설명에 기재된 용어에 대해 설명한다. 이하의 실시예에서, 제1, 제2 등의 용어는 한정적인 의미가 아니라 하나의 구성 요소를 다른 구성 요소와 구별하는 목적으로 사용되었다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다. 또한, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 또한, '포함하다' 또는 '가지다' 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 의미하는 것이고, 하나 이상의 다른 특징들 또는 구성요소가 부가될 가능성을 미리 배제하는 것은 아니다.
또한, 도면에서는 설명의 편의를 위하여 구성 요소들이 그 크기가 과장 또는 축소될 수 있다. 예컨대, 도면에서 나타난 각 구성의 크기 및 두께는 설명의 편의를 위해 임의로 나타내었으므로, 본 발명이 반드시 도시된 바에 한정되지 않는다.
이하, 본 발명에 따른 실시예를 첨부된 도면을 참조하여 상세히 설명한다. 첨부 도면을 참조하여 설명함에 있어, 동일하거나 대응하는 구성요소는 동일한 도면 부호를 부여하고 이에 대해 중복되는 설명은 생략한다.
도 1은 본 발명의 일 실시예에 따른 음악의 시각화 시스템의 개략적인 블럭도이다.
본 발명은 음악의 시각화 시스템, 방법 및 컴퓨터 판독 가능한 기록매체에 관한 것으로서, 음악을 컴퓨터 그래픽으로 시각화하여 표현하되, 소리 뿐만 아니라 연주자의 연주정보를 반영하여 컴퓨터 그래픽으로 표현하며, 나아가 연주정보를 자연정보와 인위정보로 구분하여 각각 다른 컴퓨터 그래픽으로 시각화하여 표현한다.
본 발명의 일 실시예에 따른 음악의 시각화 시스템(1000)은, 부호화부(100)와, 인위표현 부호화부(200)화, 자연표현 부호화부(300)와, 소리 구현부(400)와, 파형 분석부(500)와, 템플릿부(600) 및 영상 생성부(700)를 포함한다.
부호화부(100)는 입력 수단으로부터 음악 정보를 취득하며, 이 음악정보를 선택적으로 부호화하고, 음악정보가 부호화된 부호화 데이터를 인위정보와 자연정보로 분류하는 구성이다.
부호화부(100)는 입력 수단으로부터 음악 정보를 취득한다. 여기서 입력 수단은 악기일 수 있다. 구체적으로 본 실시예에서 악기는 연주 부호화기를 보유한 악기와, 연주 부호화기를 미보유한 악기 및 비악기로 분류될 수 있다.
연주 부호화기를 보유한 악기는 MIDI(Music Instrument Digital Interface) 모듈을 보유한 악기로서, 연주 정보를 송/수신하기 위해 연주정보를 부호화하여 부호화 데이터로 변환할 수 있는 악기를 의미한다. 연주 부호화기를 보유한 악기는 예시로 전자악기 등이 있다. 연주 부호화기를 미보유한 악기는 연주 부호화기를 보유한 악기와 달리 연주 정보를 부호화할 수 없는 악기를 의미한다. 연주 부호화기를 미보유한 악기는 예시로 피아노 등이 있다. 비악기는 일반적으로 통칭되는 악기는 아니지만, 연주정보를 부호화하여 부호화 데이터로 변환할 수 있는 것들을 의미한다. 비악기의 예시로는 키보드 등이 있다.
부호화부(100)는 상술한 입력 수단으로부터 음악정보를 수신하여 선택적으로 부호화한다. 연주 부호화기를 보유한 악기와 비악기의 경우 자체적으로 연주 정보가 부호화 데이터로 변환되므로, 부호화부(100)는 연주 부호화기를 보유한 악기와 비악기로부터 부호화 데이터를 수신한다. 그러나, 연주 부호화기를 보유하지 않은 악기의 경우 부호화 데이터를 수신할 수 없으므로 음악정보를 수신하여 부호화한다. 이 경우, 피아노의 연주를 녹음한 데이터를 수신하여 이 데이터를 부호화할 수 있다. 즉, 부호화부(100)에서 요구되는 것은 부호화 데이터인데, 연주 부호화기를 보유하지 않은 악기의 경우 연주 부호화기를 보유한 악기, 비악기와 달리 부호화가 필요하다. 따라서, 부호화부(100)는 입력 수단의 종류에 따라 음악정보를 선택적으로 부호화를 한다.
부호화부(100)에는 입력 수단과의 통신을 행하기 위한 MIDI인터페이스 회로가 구비될 수 있다.
또한, 부호화부(100)는 부호화 데이터를 자연정보와 인위정보로 분류한다. 본 발명의 주요 특징은 음악을 시각화하되, 인위정보와 자연정보를 구분하여 시각화하는 점이다.
자연정보는 부호화부(100)가 자동으로 취득한 정보를 의미하며, 인위정보는 능동적으로 취득한 정보를 의미한다. 자연정보와 인위정보는 부호화 데이터에서 분류되는 것이므로 이진수 형태의 부호화 데이터이다. 구체적으로, 자연정보는 부호화 데이터로부터 자동으로 추출되는 정보를 의미하며, 인위정보는 부호화 데이터 중 연주자에 의해 입력을 받은 것을 의미한다. 예를 들어, 인위정보는 음악의 재생 과정에서 연주자가 추가로 입력하거나, 볼륨을 조절하는 등의 정보를 의미한다.
부호화부(100)는 복수 개의 채널을 포함한다. 본 실시예에서 부호화부(100)는 2개의 채널을 포함한다. 연주 부호화기를 보유한 악기와 비악기로부터 부호화 데이터를 수신하거나, 연주 부호화기를 보유하지 않은 악기의 녹음된 데이터를 수신하여 부호화 데이터로 변환하면, 판단 레이어가 수신된 부호화 데이터가 자연정보인지 인위정보인지를 판단한다. 자연정보와 인위정보는 각각 서로 다른 채널로 분류되어 저장된다. 즉, 부호화부(100)는 동일한 이진수 형태로 구성된 자연정보에 해당하는 부호화 데이터와 인위정보에 해당하는 부호화 데이터를 구분하여 각각 다른 채널로 분류한다.
자연표현 부호화부(300)와 인위표현 부호화부(200)는 부호화부(100)로부터 각각 자연정보와 인위정보를 수신한다. 자연정보와 인위정보는 부호화부(100)에서 서로 다른 채널에 각각 분류되어 있으므로, 자연표현 부호화부(300)는 자연정보가 분류된 채널과 대응되어 자연정보를 수신하며, 인위표현 부호화부(200)는 인위정보가 분류된 채널과 대응되어 인위정보를 수신한다. 자연표현 부호화부(300)는 수신한 자연정보를 자연표현 부호 데이터로 변환하며, 인위표현 부호화부(200)는 수신한 인위정보를 인위표현 부호 데이터로 변환한다. 자연표현 부호 데이터와 인위표현 부호 데이터 또한 부호화부(100)의 부호 데이터와 동일하게 이진수 형태일 수 있다.
자연표현 부호 데이터와 인위표현 부호 데이터는 영상으로 변환하기 위한 부호 데이터이다.
소리 구현부(400)는 부호화부(100)로부터 부호화 데이터를 수신하여 소리신호를 생성한다. 소리 구현부(400) 자체는 공지의 구성이며, 예로 신디사이저, 샘플러 등이 있다. 파형 분석부(500)는 소리 구현부(400)에서 생성된 소리의 파형을 분석하여 영상으로 표현하기 위한 부호화하는 구성이다. 파형 분석부(500) 또한 공지의 구성이며 예로서 FFT(고속 푸리에변환, Fast Fourier Transform)을 이용해 음역대별로 분석하고 이를 영상으로 표현할 수 있다.
소리 구현부(400)와 파형 분석부(500)는 공지의 구성이므로 자세한 설명은 생략한다.
한편, 파형 분석부(500)에서 부호화된 부호화 데이터는 상술한 자연정보가 되므로, 파형 분석부(500)의 부호화 데이터는 영상으로 표현되기 위해 자연표현 부호화부(300)로 전송된다.
템플릿부(600)는 자연표현 부호화부(300)와 인위표현 부호화부(200)로부터 각각 자연표현 부호 데이터와 인위표현 부호 데이터를 수신하여 자연표현 시각화 효과와 인위표현 시각화 효과를 각각 생성한다.
템플릿부(600)는 사용자가 프로그래밍하여 구현되는 구성이다. 템플릿부(600)는 도형, 오브젝트, 효과, 선, 색, 2D, 3D 등 다양한 파라미터를 포함할 수 있다. 여기서 파라미터는 상술한 것들에 제한되지 않고 컴퓨터 그래픽(CG)로 구현 가능한 모든 형태일 수 있다.
템플릿부(600)는 자연표현 비쥬얼라이저부와 인위표현 비쥬얼라이저부를 포함할 수 있으며, 자연표현 비쥬얼라이저부는 자연표현 부호 데이터를 수신하여 시각화 효과를 생성하고, 인위표현 비쥬얼라이저부는 인위표현 부호 데이터를 수신하여 시각화 효과를 생성한다.
상술한 다수 개의 파라미터들은 집합을 이루어 인위표현 부호 데이터와 자연표현 부호 데이터에 각각 대응될 수 있다. 즉, 인위표현 시각화 효과를 생성할 수 있는 파라미터들이 집합을 이루며, 자연표현 시각화 효과를 생성할 수 있는 파라미터들이 집합을 이룰 수 있다. 여기서 동일한 집합 내의 다수 개의 파라미터들은 사용자의 조작에 의해 실시간으로 교체될 수 있다. 즉, 시간, 연주 등에 따라 사용자의 조작에 의해 파라미터들을 변화시켜 다양한 효과를 나타낼 수 있다. 다시 말해, 템플릿부(600)는 유동적 파라미터를 보유하며 실시간/비실시간 교체가 가능하다는 장점이 있다.
영상 생성부(700)는 템플릿부(600)에서 생성된 인위표현 시각화 효과와 자연표현 시각화 효과를 합성하여 최종적으로 구현되는 영상을 생성하는 구성이다. 영상 생성부(700)는 단자에 접속된 디스플레이에 영상을 표시하기 위한 비디오 인터페이스 회로를 포함할 수 있다.
다음으로 본 발명의 일 실시예에 따른 음악의 시각화 방법에 대해 설명한다.
도 2는 본 발명의 일 실시예에 따른 음악의 시각화 방법의 순서도이다.
본 발명의 일 실시예에 따른 음악의 시각화 방법(S1000)은, 음악 정보 취득 단계(S100)와, 부호화 데이터 분류 단계(S200)와, 변환 단계(S300)와, 소리 구현 단계(S400)와, 파형 분석 단계(S500)와, 시각화 효과 생성 단계(S600) 및 영상 생성 단계(S700)를 포함한다.
음악 정보 취득 단계(S100)는 부호화부(100)가 입력 수단으로부터 음악 정보를 취득하는 단계이다.
본 실시예에서 입력 수단은 악기일 수 있다. 구체적으로, 본 실시예에서 악기는 연주 부호화기를 보유한 악기와, 연주 부호화기를 미보유한 악기 및 비악기로 분류될 수 있다. 연주 부호화기를 보유한 악기는 MIDI(Music Instrument Digital Interface) 모듈을 보유한 악기로서, 연주 정보를 송/수신하기 위해 연주정보를 부호화하여 부호화 데이터로 변환할 수 있는 악기를 의미한다. 연주 부호화기를 보유한 악기는 예시로 전자악기 등이 있다. 연주 부호화기를 미보유한 악기는 연주 부호화기를 보유한 악기와 달리 연주 정보를 부호화할 수 없는 악기를 의미한다. 연주 부호화기를 미보유한 악기는 예시로 피아노 등이 있다. 비악기는 일반적으로 통칭되는 악기는 아니지만, 연주정보를 부호화하여 부호화 데이터로 변환할 수 있는 것들을 의미한다. 비악기의 예시로는 키보드 등이 있다.
본 음악 정보 취득 단계(S100)에서는 부호화부(100)가 상술한 입력 수단으로부터 음악 정보를 수신한다. 이 때 연주 부호화기를 보유한 악기와 비악기의 경우 자체적으로 연주 정보가 부호화 데이터로 변환되므로 음악 정보는 부호화 데이터이며, 연주 부호화기를 보유하지 않은 악기의 경우 부호화 데이터를 수신할 수 없으므로 음악 정보는 해당 악기의 연주를 녹음한 데이터일 수 있다.
부호화 데이터 분류 단계(S200)는 음악정보를 선택적으로 부호화하고, 부호화 데이터를 인위정보와 자연정보로 분류하는 단계이다.
부호화부(100)는 상술한 입력 수단으로부터 음악정보를 수신하여 선택적으로 부호화한다. 연주 부호화기를 보유하지 않은 악기의 경우 연주를 녹음한 데이터를 수신하여 이 데이터를 부호화한다. 즉, 부호화부(100)에서 요구되는 것은 부호화 데이터인데, 연주 부호화기를 보유하지 않은 악기의 경우 연주 부호화기를 보유한 악기와 비악기와 달리 부호화가 필요하다. 따라서, 부호화부(100)는 입력 수단의 종류에 따라 음악정보를 선택적으로 부호화를 한다.
이 후 부호화부(100)는 부호화 데이터를 자연정보와 인위정보로 분류한다. 자연정보는 부호화부(100)가 자동으로 취득한 정보를 의미하며, 인위정보는 능동적으로 취득한 정보를 의미한다. 자연정보와 인위정보는 부호화 데이터에서 분류되는 것이므로 이진수 형태의 부호화 데이터이다. 구체적으로, 자연정보는 부호화 데이터로부터 자동으로 추출되는 정보를 의미하며, 인위정보는 부호화 데이터 중 연주자에 의해 입력을 받은 것을 의미한다. 예를 들어, 인위정보는 음악의 재생 과정에서 연주자가 추가로 입력하거나, 볼륨을 조절하는 등의 정보를 의미한다.
본 실시예에서 부호화부(100)는 2개의 채널을 통해 부호화 데이터를 자연정보와 인위정보를 분류한다. 연주 부호화기를 보유한 악기와 비악기로부터 부호화 데이터를 수신하거나, 연주 부호화기를 보유하지 않은 악기의 녹음된 데이터를 수신하여 부호화 데이터로 변환하면, 판단 레이어가 수신된 부호화 데이터가 자연정보인지 인위정보인지를 판단하고, 자연정보와 인위정보는 각각 서로 다른 채널로 분류되어 저장된다. 즉, 부호화부(100)는 동일한 이진수 형태로 구성된 자연정보에 해당하는 부호화 데이터와 인위정보에 해당하는 부호화 데이터를 구분하여 각각 다른 채널로 분류한다.
변환 단계(S300)는 인위정보와 자연정보를 각각 인위표현 부호와 자연표현 부호로 변환하는 단계이다.
부호화 데이터 분류 단계(S200)에서 부호화부(100)가 분류한 자연정보와 인위정보는 각각 자연표현 부호화부(300)와 인위표현 부호화부(200)에서 자연표현 데이터와 인위표현 데이터로 변환된다.
자연정보와 인위정보는 부호화부(100)에서 서로 다른 채널에 각각 분류되어 있으므로, 자연표현 부호화부(300)는 자연정보가 분류된 채널과 대응되어 자연정보를 수신하며, 인위표현 부호화부(200)는 인위정보가 분류된 채널과 대응되어 인위정보를 수신한다. 자연표현 부호화부(300)는 수신한 자연정보를 자연표현 부호 데이터로 변환하며, 인위표현 부호화부(200)는 수신한 인위정보를 인위표현 부호 데이터로 변환한다. 자연표현 부호 데이터와 인위표현 부호 데이터는 영상으로 변환하기 위한 부호 데이터이다. 자연표현 부호 데이터와 인위표현 부호 데이터 또한 부호화부(100)의 부호 데이터와 동일하게 이진수 형태일 수 있다.
자연정보와 인위정보는 부호화 데이터 분류 단계(S200)에서 부호화부(100)의 서로 다른 채널에 각각 분류되어 있으므로, 자연표현 부호화부(300)는 자연정보가 분류된 채널과 대응되어 자연정보를 수신하며, 인위표현 부호화부(200)는 인위정보가 분류된 채널과 대응되어 인위정보를 수신한다. 자연표현 부호화부(300)는 수신한 자연정보를 자연표현 부호 데이터로 변환하며, 인위표현 부호화부(200)는 수신한 인위정보를 인위표현 부호 데이터로 변환한다.
소리 구현 단계(S400)는 음악 정보 취득 단계(S100)에서 부호화부(100)가 변환한 부호화 데이터를 소리 구현부(400)가 수신하여 소리신호를 생성하는 단계이며, 파형 분석 단계(S500)는 소리 구현 단계(S400)에서 구현된 소리신호의 파형을 파형 분석부(500)가 분석하여 영상으로 표현하기 위한 부호화 데이터를 생성하는 구성이다. 소리 구현 단계(S400)의 소리 구현부(400)와 파형 분석 단계(S500)의 파형 분석부(500)는 공지의 구성이므로 자세한 설명은 생략한다.
파형 분석 단계(S500)에서 부호화된 부호화 데이터는 자연정보이므로 변환된 부호화 데이터는 영상으로 표현되기 위해 자연표현 부호화부(300)로 전송된다.
시각화 효과 생성 단계(S600)는 인위표현 시각화 효과와 자연표현 시각화 효과를 생성하는 단계이다. 본 단계에서 템플릿부(600)는 변환단계에서 변환된 자연표현 부호 데이터와 인위표현 부호 데이터를 수신하여 자연표현 시각화 효과와 인위표현 시각화 효과를 생성한다.
여기서, 템플릿부(600)는 사용자가 프로그래밍하여 구현되는 구성이다. 템플릿부(600)는 도형, 오브젝트, 효과, 선, 색, 2D, 3D 등 다양한 파라미터를 포함할 수 있다. 나아가 파라미터는 상술한 것들에 제한되지 않고 컴퓨터 그래픽(CG)로 구현 가능한 모든 형태일 수 있다.
자연표현 시각화 효과는 템플릿부(600)의 자연표현 비쥬얼라이저부가 자연표현 부호 데이터를 수신하여 생성할 수 있으며, 인위표현 시각화 효과는 템플릿부(600)의 능등표현 비쥬얼라이저부가 인위표현 부호 데이터를 수신하여 생성할 수 있다.
상술한 다수 개의 파라미터들은 집합을 이루어 인위표현 부호 데이터와 자연표현 부호 데이터에 각각 대응될 수 있다. 즉, 인위표현 시각화 효과를 생성할 수 있는 파라미터들이 집합을 이루며, 자연표현 시각화 효과를 생성할 수 있는 파라미터들이 집합을 이룰 수 있다. 여기서 동일한 집합 내의 다수 개의 파라미터들은 사용자의 조작에 의해 실시간으로 교체될 수 있다. 즉, 시간, 연주 등에 따라 사용자의 조작에 의해 파라미터들을 변화시켜 다양한 효과를 나타낼 수 있다. 다시 말해, 템플릿부(600)는 유동적 파라미터를 보유하며 실시간/비실시간 교체가 가능하다는 장점이 있다.
영상 생성 단계(S700)는 시각화 효과 생성 단계(S600)에서 생성된 인위표현 시각화 효과와 자연표현 시각화 효과를 합성하여 최종적으로 구현되는 영상을 생성하는 단계이다.
한편, 본 발명은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장 장치 등이 있다.
또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술 분야의 프로그래머들에 의하여 용이하게 추론될 수 있다.
따라서, 본 발명에 의하면, 음악을 컴퓨터 그래픽으로 시각화하여 표현하되, 소리 뿐만 아니라 연주자의 연주정보를 반영하여 컴퓨터 그래픽으로 표현하며, 나아가 연주정보를 자연정보와 인위정보로 구분하여 각각 다른 컴퓨터 그래픽으로 시각화하여 표현한 음악의 시각화 시스템, 방법 및 컴퓨터 판독 가능한 기록매체가 제공된다.
본 발명에 따른 방법을 구성하는 단계들에 대하여 명백하게 순서를 기재하거나 반하는 기재가 없다면, 상기 단계들은 적당한 순서로 행해질 수 있다. 반드시 상기 단계들의 기재 순서에 따라 본 발명이 한정되는 것은 아니다.
본 발명에서 모든 예들 또는 예시적인 용어(예를 들어, 등등)의 사용은 단순히 본 발명을 상세히 설명하기 위한 것으로서 특허청구범위에 의해 한정되지 않는 이상 상기 예들 또는 예시적인 용어로 인해 본 발명의 범위가 한정되는 것은 아니다. 또한 해당 기술 분야의 통상의 기술자는 다양한 수정, 조합 및 변경이 부가된 특허청구범위 또는 그 균등물의 범주 내에서 설계 조건 및 팩터(factor)에 따라 구성될 수 있음을 알 수 있다.
따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위 뿐만 아니라, 이 특허청구범위와 균등한 또는 이로부터 등가적으로 변경된 모든 범위는 본 발명의 사상의 범주에 속한다고 할 것이다.
1000 : 음악의 시각화 시스템
100 : 부호화부 200 : 인위표현 부호화부
300 : 자연표현 부호화부 400 : 소리 구현부
500 : 파형 분석부 600 : 템플릿부
700 : 영상 생성부
S1000 : 음악의 시각화 방법 S100 : 음악 정보 취득 단계
S200 : 부호화 데이터 분류 단계 S300 : 변환 단계
S400 : 소리 구현 단계 S500 : 파형 분석 단계
S600 : 시각화 효과 생성 단계 S700 : 영상 생성 단계

Claims (5)

  1. 입력 수단으로부터 음악 정보를 취득하며, 상기 음악정보를 선택적으로 부호화하고, 부호화 데이터를 연주자에 의해 입력을 받은 정보인 인위정보와 자동으로 추출되는 정보인 자연정보로 분류하는 부호화부;
    상기 인위정보를 수신하여 영상으로 변환하기 위한 인위표현 부호 데이터로 변환하는 인위표현 부호화부;
    상기 자연정보를 수신하여 영상으로 변환하기 위한 자연표현 부호 데이터로 변환하는 자연표현 부호화부;
    다수 개의 파라미터가 기 저장되며, 상기 인위표현 부호 데이터와 상기 자연표현 부호 데이터를 수신하여, 인위표현 시각화 효과와 자연표현 시각화 효과를 생성하는 템플릿부; 및
    상기 인위표현 시각화 효과와 상기 자연표현 시각화 효과를 합성하여 시각화 영상을 생성하는 영상 생성부;를 포함하는 음악의 시각화 시스템.
  2. 제1항에 있어서,
    상기 부호화부는,
    복수 개의 채널이 구비되며, 상기 인위정보와 상기 자연정보는 서로 다른 상기 채널로 분류되는 음악의 시각화 시스템.
  3. 제1항에 있어서,
    상기 템플릿부는,
    상기 다수 개의 파라미터가 집합을 이루어 상기 인위표현 부호 데이터와 상기 자연표현 부호 데이터에 각각 대응되고, 동일한 집합 내의 상기 다수 개의 파라미터들은 사용자의 조작에 의해 실시간으로 대체되는 음악의 시각화 시스템.
  4. 입력 수단으로부터 음악 정보를 취득하는 단계;
    상기 음악정보를 선택적으로 부호화하고, 부호화 데이터를 연주자에 의해 입력을 받은 정보인 인위정보와 자동으로 추출되는 정보인 자연정보로 분류하는 단계;
    상기 인위정보와 상기 자연정보를 각각 영상으로 변환하기 위한 인위표현 부호와 자연표현 부호로 변환하는 단계;
    다수 개의 파라미터가 기 저장된 템플릿이 상기 인위표현 부호 데이터와 상기 자연표현 부호 데이터를 수신하여, 인위표현 시각화 효과와 자연표현 시각화 효과를 생성하는 단계; 및
    상기 인위표현 시각화 효과와 상기 자연표현 시각화 효과를 합성하여 시각화 영상을 생성하는 단계;를 포함하는 음악의 시각화 방법.
  5. 제4항에 따른 방법을 수행하기 위한 프로그램이 기록된 컴퓨터 판독 가능한 기록매체.

KR1020200079991A 2020-06-30 2020-06-30 음악의 시각화 시스템, 방법 및 컴퓨터 판독 가능한 기록매체 KR102193719B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200079991A KR102193719B1 (ko) 2020-06-30 2020-06-30 음악의 시각화 시스템, 방법 및 컴퓨터 판독 가능한 기록매체

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200079991A KR102193719B1 (ko) 2020-06-30 2020-06-30 음악의 시각화 시스템, 방법 및 컴퓨터 판독 가능한 기록매체

Publications (1)

Publication Number Publication Date
KR102193719B1 true KR102193719B1 (ko) 2020-12-21

Family

ID=74090665

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200079991A KR102193719B1 (ko) 2020-06-30 2020-06-30 음악의 시각화 시스템, 방법 및 컴퓨터 판독 가능한 기록매체

Country Status (1)

Country Link
KR (1) KR102193719B1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000235388A (ja) 1999-02-15 2000-08-29 Nippon Telegr & Teleph Corp <Ntt> 音楽視覚化方法、音楽視覚化装置及び音楽視覚化プログラムを記録した記録媒体
KR20010076489A (ko) * 2000-01-26 2001-08-16 정명식 센서를 이용한 가상 연주장치 및 그 방법
JP3724246B2 (ja) 1999-03-23 2005-12-07 ヤマハ株式会社 音楽画像表示装置
JP2008233576A (ja) 2007-03-22 2008-10-02 Hyphenation:Kk 楽曲及び楽譜の映像化及び画像化の方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000235388A (ja) 1999-02-15 2000-08-29 Nippon Telegr & Teleph Corp <Ntt> 音楽視覚化方法、音楽視覚化装置及び音楽視覚化プログラムを記録した記録媒体
JP3724246B2 (ja) 1999-03-23 2005-12-07 ヤマハ株式会社 音楽画像表示装置
KR20010076489A (ko) * 2000-01-26 2001-08-16 정명식 센서를 이용한 가상 연주장치 및 그 방법
JP2008233576A (ja) 2007-03-22 2008-10-02 Hyphenation:Kk 楽曲及び楽譜の映像化及び画像化の方法

Similar Documents

Publication Publication Date Title
JP7243052B2 (ja) オーディオ抽出装置、オーディオ再生装置、オーディオ抽出方法、オーディオ再生方法、機械学習方法及びプログラム
Steinmetz et al. Multimedia: computing, communications and applications
US5325462A (en) System and method for speech synthesis employing improved formant composition
RU2612603C2 (ru) Способ многоструктурных, многоуровневых формализации и структурирования информации и соответствующее устройство
Steinmetz et al. Multimedia fundamentals, Volume 1: Media coding and content processing
US10553188B2 (en) Musical attribution in a two-dimensional digital representation
CN102193992A (zh) 用于生成定制歌曲的系统和方法
JP2019159145A (ja) 情報処理方法、電子機器及びプログラム
KR102193719B1 (ko) 음악의 시각화 시스템, 방법 및 컴퓨터 판독 가능한 기록매체
de Oliveira et al. Understanding MIDI: A Painless Tutorial on Midi Format
JP2022003447A (ja) 学習方法、コンテンツ再生装置、及びコンテンツ再生システム
JP2020021098A (ja) 情報処理装置、電子機器及びプログラム
Mazzola et al. Basic Music Technology
JP3623820B2 (ja) 音声処理装置
KR101020557B1 (ko) 사용자 창조형 음악 콘텐츠 제작을 위한 악보 생성 장치 및그 방법
KR20110109364A (ko) 미디파일 시각 재생 장치 및 방법
JPH086577A (ja) カラオケ装置
KR20000063438A (ko) 음성 합성 또는 음색 변환을 이용한 노래 합성 방법
WO2024080044A1 (en) Graphical user interface for generative adversarial network music synthesizer
Jovanov et al. Multi modal presentation in virtual telemedical environments
KR101468411B1 (ko) 사용자 지향적 미디 음악 재생편집 장치 및 방법
US20240144901A1 (en) Systems and Methods for Sending, Receiving and Manipulating Digital Elements
KR20230123625A (ko) 음 합성 방법, 음 합성 장치, 음 합성 학습 방법, 음 합성 학습 장치 및 음 합성 방법을 수행하는 컴퓨터 프로그램 및 음 합성 방법을 수행하는 컴퓨터 프로그램이 저장된 기록 매체
CN118135973A (zh) 一种曲风转换方法、装置、计算机设备和存储介质
Kummer et al. ASE—Audio and synchronization extension of compound documents

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant