KR101218336B1 - visualizing device for audil signal - Google Patents
visualizing device for audil signal Download PDFInfo
- Publication number
- KR101218336B1 KR101218336B1 KR1020110047527A KR20110047527A KR101218336B1 KR 101218336 B1 KR101218336 B1 KR 101218336B1 KR 1020110047527 A KR1020110047527 A KR 1020110047527A KR 20110047527 A KR20110047527 A KR 20110047527A KR 101218336 B1 KR101218336 B1 KR 101218336B1
- Authority
- KR
- South Korea
- Prior art keywords
- audio signal
- image
- graphic image
- memory
- audio
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/06—Transformation of speech into a non-audible representation, e.g. speech visualisation or speech processing for tactile aids
- G10L21/10—Transforming into visible information
- G10L21/14—Transforming into visible information by displaying frequency domain information
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
- G10L25/57—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for processing of video signals
Abstract
본 발명은 오디오 신호의 시각화 장치에 관한 것으로; 오디오 신호를 분석하여 디지털 형태의 오디오 데이터로 변환하는 주파수 분석기와; 상기 오디오 신호를 그래픽 영상으로 표시하기 위한 시각화 정보를 저장하고 있는 메모리와; 상기 메모리의 시각화 정보를 상기 주파수 분석기에서 분석된 오디오 데이터에 따라 그래픽 영상으로 변환하는 영상변환부와; 상기 영상변환부에서 처리된 그래픽 영상에 따른 제어신호를 발생시키는 제어부와; 상기 제어부의 제어신호를 통하여 상기 그래픽 영상을 표시하는 디스플레이부;로 구성되는 것을 특징으로 한다.
본 발명에 따르면, 메모리에 저장된 시각화 정보인 이미지나 애니메이션 또는 동영상을 오디오 신호의 음원 높낮이 또는 주파수 파장에 따라 움직임 또는 재생 속도 등의 변형을 가하게 디스플레이하여 사용자에게 보다 실감나는 오디오 서비스를 제공하는 장점이 있다.The present invention relates to an apparatus for visualizing an audio signal; A frequency analyzer for analyzing the audio signal and converting the audio signal into digital audio data; A memory storing visualization information for displaying the audio signal as a graphic image; An image converter converting the visualization information of the memory into a graphic image according to the audio data analyzed by the frequency analyzer; A controller for generating a control signal according to the graphic image processed by the image converter; And a display unit displaying the graphic image through a control signal of the controller.
According to the present invention, an image, animation, or video, which is visualization information stored in a memory, may be displayed such that movement or playback speed may be modified according to the height or frequency wavelength of an audio signal, thereby providing a more realistic audio service. have.
Description
본 발명은 오디오 신호의 시각화 장치에 관한 것으로서, 좀더 상세하게는 입력되는 오디오 신호를 분석하여 음원의 높낮이나 주파수별 파장에 맞추어 기저장된 이미지, 애니메이션, 동영상 등의 시각화 정보를 시각화하여 디스플레이하는 오디오 신호의 시각화 장치에 관한 것이다.
The present invention relates to an apparatus for visualizing an audio signal, and more particularly, an audio signal for analyzing and inputting an audio signal to visualize and display visualization information such as images, animations, and videos stored in advance according to a height or a frequency of a sound source. Relates to a visualization device.
일반적으로 음성 등과 같은 오디오 신호의 크기, 즉 볼륨(volume)은 청각적으로 감지되는 정보이다. In general, the size of the audio signal, such as voice, or the like, is information that is sensed acoustically.
이와 같은 오디오 신호는 소프트웨어 상에서 이미 기록되어 있는 볼륨의 크기를 시각화하여 표시해주기 위해 막대그래프의 높낮이를 이용하거나 파장형태로 나타낸다.Such audio signals are displayed in the form of wavelengths or by using the height of the bar graph to visualize and display the magnitude of the volume already recorded in software.
현재 오디오 신호를 시각화하여 표시해주기 위해 소프트웨어에서 구현되고 있는 정보의 시각화 요소들은 '점', '선', '크기', '색상', '형태' 등과 같은 시각 정보를 이용한다.In order to visualize and display the current audio signal, the visualization elements of the information implemented in the software use visual information such as 'dot', 'line', 'size', 'color' and 'shape'.
먼저, '점'은 그래픽의 요소에서 2차원 공간상의 위치를 가리킨다. 오디오 신호를 처리하는 소프트웨어에서의 점은 공간적으로 표현되는 시간 흐름의 한 시점, 즉 순간을 의미한다. 이러한 순간은 시간을 따라 진행되는 오디오 신호의 한 지점을 지시하거나 이러한 시간에 따라 연속적으로 변화하는 오디오 신호의 한 순간의 값을 표시하는 형태로 구현된다. 또한, 시각적으로 점은 선과 선이 교차하거나 변화하는 시점을 명확히 나타내기 위한 시각 표현 방법으로 사용된다.First, 'point' refers to the position in the two-dimensional space in the elements of the graphic. A point in the software that processes the audio signal means a point in time, i.e., a moment in time, represented spatially. Such an instant is embodied in the form of indicating a point of an audio signal progressing through time or displaying a value of an instant of an audio signal continuously changing according to the time. Also, visually, a point is used as a visual expression method for clearly indicating a point in time at which the line intersects or changes.
다음으로 '선'은 점의 확장된 개념으로, 선은 연속적으로 변하는 데이터의 값을 표현함으로써 오디오 신호의 변화를 시간의 차원을 넘어서 전체적으로 조감할 수 있는 정보를 제공한다. 또한, 선은 그 길이의 차이를 통한 시각화를 통하여 데이터의 양을 시각적으로 비교하는 척도로서 다양하게 활용되고 있다.Next, 'line' is an extended concept of point, and line expresses the value of continuously changing data to provide information that can give an overall view of the change of audio signal over the dimension of time. In addition, the line has been variously used as a measure for visually comparing the amount of data through visualization through the difference in length.
또한, 청취자는 큰 소리가 시각적으로 작은 소리보다 넓은 범위를 차지한다는 심성모형을 갖는다. 오디오 신호를 처리하는 소프트웨어에서도 소리의 크기는 주로 파형의 높고 낮음에 의해 표시되는데, 큰 볼륨을 출력하는 오디오 신호가 시각적으로 큰 높이를 가진 파형으로 시각화된다는 상관관계를 갖는다. 이러한 '크기'에 의한 오디오 신호의 불륨 표현은 비단 파형의 높이뿐만 아니라, 소리가 차지하는 면적의 넓고 좁음에 의해서도 이루어진다.The listener also has a mental model in which loud sounds visually cover a wider range than small sounds. In software that processes audio signals, the loudness is mainly represented by the high and low of the waveform, which is correlated with the fact that the audio signal that outputs the loud volume is visually visualized as a waveform with a large height. The volume expression of the audio signal by such a 'size' is made not only by the height of the waveform but also by the wide and narrow area occupied by the sound.
그리고, 청각 정보는 순차적인 처리가 요구되는 정보 형태이기 때문에, 동시에 많은 정보가 두 귀를 통하여 전달되는 경우 이를 구분하여 처리하는 것은 사실상 어렵다. '색상'은 이와 같이 동시에 발생하는 여러 청각 정보를 구별하여 특징짓는 역할을 수행한다. 멀티 트랙 데이터의 경우 이를 재생하면 오디오 신호가 합쳐진 형태로 우리에게 전달된다. 이러한 정보를 청각적으로만 받아들인다고 가정하면 청취자는 현재 들리는 소리가 멀티트랙 데이터인지 혹은 모든 데이터가 믹스 된 스테레오 데이터인지를 구별하는 것은 불가능하다. 오디오 신호가 컴퓨터를 통하여 시각화되고, 각각의 트랙들이 색상에 의해 시각적으로 구분됨으로써 사용자는 현재의 데이터가 여러 개의 오디오 신호의 합으로 구성되어 있고, 또한 이러한 신호들이 별도로 기록된 구분된 정보라는 사실을 시각적으로 인지할 수 있다.In addition, since the auditory information is a form of information requiring sequential processing, when a lot of information is transmitted through two ears at the same time, it is practically difficult to process them separately. 'Color' distinguishes and characterizes several pieces of auditory information that occur at the same time. In the case of multi-track data, when it is played back, the audio signals are delivered to us in a combined form. Assuming that this information is only received audibly, it is impossible for the listener to distinguish whether the sound being heard is multitrack data or stereo data mixed with all data. The audio signal is visualized through the computer, and the individual tracks are visually distinguished by color, allowing the user to know that the current data consists of the sum of several audio signals and that these signals are separate information recorded separately. Visually recognizable
또한, 오디오 신호를 처리하는 소프트웨어에서 색상은 일반적인 심리적 측면에서의 작용도 수행한다. 즉, 연속적으로 변화하는 오디오 신호의 변화에서 통상적인 범위의 값은 녹색 계열을 사용하고, 경계선에 위치하는 신호는 황색 계열로 표시하며 통상적인 범위를 넘어서는 데이터는 적색 계열로 표시함으로써 시각적인 경고를 제공하고 데이터의 통제와 조작에 도움을 준다.In addition, in software that processes audio signals, color also plays a role in general psychological aspects. In other words, in the case of continuously changing audio signal, the value of the normal range is indicated by the green series, the signal located at the boundary is indicated by the yellow series, and the data beyond the normal range is indicated by the red series. Provide and assist in the control and manipulation of data.
그리고, 사용자는 표현되는 정보의 '형태'상의 차이를 인지하고 이를 해석함으로써 시각화된 청각 정보를 수용하고 조작하는 과정을 거치게 된다. 그 중에서도 파형은 형태에 의한 정보시각화가 가장 직접적으로 구현된 요소라 할 수 있다. 시간에 따른 오디오 신호의 변화를 형태적으로 기록한 파형은, 기록된 데이터에 대한 구체적이고 세부적인 정보를 제시하지는 못하지만, 파형이 가지는 전형적인 형태를 바탕으로, 기록된 청각 정보의 기본적인 성질을 파악할 수 있도록 한다. 형태상으로 파악할 수 있는 기본적인 성질은 시간과 오디오 신호에 따른 엔벨로프분석, 정보가 기록된 시간, 전체적인 오디오 레벨, 기록된 신호의 포맷 등인데, 사실 이러한 정보들은 막상 청각적으로는 획득하기 어려운 정보들이 대부분이다. In addition, the user undergoes a process of accepting and manipulating visualized auditory information by recognizing and interpreting the difference in the 'form' of the expressed information. Among them, the waveform may be said to be the most directly implemented element of information visualization by shape. Waveforms that record changes in the audio signal over time do not provide specific and detailed information about the recorded data, but are based on the typical shape of the waveforms. do. The basic properties that can be grasped formally are envelope analysis according to time and audio signal, time recorded information, overall audio level, format of recorded signal, etc. Mostly.
즉, 형태에 의한 시각화는 청각 정보를 시각화함으로써 보다 구체적이고 세밀한 정보를 제시하는 측면보다는 기존에 청각을 통해 획득하기 어렵고 간과되기 쉬운 정보들을 기록하여 제공한다는 기본 원리에 충실한 방향으로 구현되고 있는 것이다.In other words, the visualization by form is implemented in a faithful way to the basic principle of recording and providing information that is difficult to obtain through hearing and easily overlooked, rather than presenting more detailed and detailed information by visualizing auditory information.
그런데, 현재 오디오 신호를 시각화하기 위한 시각화 요소들은 '점', '선', '크기', '색상', '형태' 등과 같은 단순한 형태의 시각 정보를 사용함으로 인해 그 신호의 형태를 일정 부분 예측 가능하여 오디오신호를 시각화 하더라도 지속적인 몰입효과를 기대할 수 없는 문제점이 있다.
However, the visualization elements for visualizing the current audio signal partially predict the shape of the signal by using simple forms of visual information such as 'dot', 'line', 'size', 'color', 'shape', etc. Even if the audio signal is visualized, there is a problem in that a continuous immersion effect cannot be expected.
따라서, 본 발명은 이러한 문제점들을 해결하기 위한 것으로서, 본 발명의 목적은 재생되는 오디오 신호의 음원을 분석하여 이미 저장되어 있는 이미지, 애니메이션, 동영상 등의 시각화 정보를 변환하여 사용자에게 제공함으로써 사용자에게 보다 실감나는 오디오 서비스를 제공할 수 있는 오디오 신호의 시각화 장치를 제공하는데 있다.Accordingly, an object of the present invention is to solve the above problems, and an object of the present invention is to analyze a sound source of a reproduced audio signal and convert the visualization information such as an image, animation, video, etc., which are already stored, and provide the user with a user. An object of the present invention is to provide an apparatus for visualizing an audio signal capable of providing a realistic audio service.
본 발명의 다른 목적은 오디오 신호의 음원을 분석하여 이미 저장되어 있는 시각화 정보를 변환하여 디스플레이해 줌으로써 시각화 정보에 대한 몰입도를 높여줄 수 있는 오디오 신호의 시각화 장치를 제공하는데에도 있다.
Another object of the present invention is to provide an apparatus for visualizing an audio signal capable of increasing the degree of immersion in the visualization information by analyzing and converting and displaying previously stored visualization information.
이와 같은 기술적 과제를 해결하기 위해 본 발명은; In order to solve such a technical problem,
오디오 신호를 분석하여 디지털 형태의 오디오 데이터로 변환하는 주파수 분석기와; 상기 오디오 신호를 그래픽 영상으로 표시하기 위한 시각화 정보를 저장하고 있는 메모리와; 상기 메모리의 시각화 정보를 상기 주파수 분석기에서 분석된 오디오 데이터에 따라 그래픽 영상으로 변환하는 영상변환부와; 상기 영상변환부에서 처리된 그래픽 영상에 따른 제어신호를 발생시키는 제어부와; 상기 제어부의 제어신호를 통하여 상기 그래픽 영상을 표시하는 디스플레이부;로 구성되는 것을 특징으로 하는 오디오 신호의 시각화 장치를 제공한다.A frequency analyzer for analyzing the audio signal and converting the audio signal into digital audio data; A memory storing visualization information for displaying the audio signal as a graphic image; An image converter converting the visualization information of the memory into a graphic image according to the audio data analyzed by the frequency analyzer; A controller for generating a control signal according to the graphic image processed by the image converter; And a display unit for displaying the graphic image through the control signal of the control unit.
이때, 상기 주파수 분석기는 신호입력부를 통해 오디오 신호를 입력받는 것을 특징으로 한다.At this time, the frequency analyzer is characterized in that for receiving an audio signal through the signal input unit.
그리고, 상기 주파수 분석기를 통해 분석되는 오디오 데이터는 음원의 높낮이 또는 음원의 주파수 파장 변화인 것을 특징으로 한다.The audio data analyzed by the frequency analyzer is characterized in that the height of the sound source or the frequency wavelength change of the sound source.
또한, 상기 메모리에 저장되는 시각화 정보는 다수의 이미지, 애니메이션, 동영상 중에 어느 하나인 것을 특징으로 한다.In addition, the visualization information stored in the memory is characterized in that any one of a plurality of images, animation, video.
그리고, 상기 영상변환부는 상기 오디오 신호의 음원의 높낮이 또는 주파수 파장 변화에 따라 상기 메모리에 저장되는 시각화 정보인 이미지를 움직여 변환한 그래픽 영상을 출력하는 것을 특징으로 한다.The image converting unit may output a graphic image converted by moving an image, which is visualization information stored in the memory, according to a change in height or frequency wavelength of a sound source of the audio signal.
또한, 상기 영상변환부는 상기 오디오 신호의 음원의 높낮이 또는 주파수 파장 변화에 따라 상기 메모리에 저장되는 시각화 정보인 동영상의 재생속도를 변환한 그래픽 영상을 출력하는 것을 특징으로 한다.The image converting unit may output a graphic image obtained by converting a playback speed of a moving image, which is visualization information stored in the memory, according to a change in height or frequency wavelength of a sound source of the audio signal.
그리고, 상기 영상변환부는 상기 메모리에 저장되는 시각화 정보인 다수의 동영상을 상기 주파수 분석기를 통해 출력되는 오디오 데이터의 이퀄라이저를 분석하여 음악의 종류에 따른 동영상을 선택하여 재생속도를 변환한 그래픽 영상을 출력하는 것을 특징으로 한다.The image converting unit analyzes an equalizer of audio data output through the frequency analyzer for a plurality of videos, which are visualization information stored in the memory, selects a video according to the type of music, and outputs a graphic image obtained by converting a playback speed. Characterized in that.
아울러, 각종 설정을 위한 키입력부와, 전원공급을 위한 전원부가 더 구비되는 것을 특징으로 하는 것을 특징으로 한다.
In addition, it is characterized in that the key input unit for various settings, and a power supply for power supply is further provided.
본 발명에 따르면, 메모리에 저장된 시각화 정보인 이미지나 애니메이션 또는 동영상을 오디오 신호의 음원 높낮이 또는 주파수 파장에 따라 움직임 또는 재생 속도 등의 변형을 가하게 디스플레이하여 사용자에게 보다 실감나는 오디오 서비스를 제공하는 장점이 있다.According to the present invention, an image, animation, or video, which is visualization information stored in a memory, may be displayed such that movement or playback speed may be modified according to the height or frequency wavelength of an audio signal, thereby providing a more realistic audio service. have.
특히, 오디오 신호의 음원을 분석하여 이미 저장되어 있는 시각화 정보를 변환하여 디스플레이해 줌으로써 시각화 정보에 대한 몰입도 역시 높여주는 장점이 있다.
In particular, by analyzing the sound source of the audio signal by converting the already stored visualization information is displayed there is an advantage to increase the immersion to the visualization information.
도 1은 본 발명에 따른 오디오 신호의 시각화 장치의 구성도이다.1 is a block diagram of an apparatus for visualizing an audio signal according to the present invention.
본 발명에 따른 오디오 신호의 시각화 장치를 첨부한 도면을 참고로 하여 이하 상세히 기술되는 실시 예에 의하여 그 특징들을 이해할 수 있을 것이다.
With reference to the accompanying drawings, a visualization apparatus for an audio signal according to the present invention will be understood by the embodiments described in detail below.
도 1에 의하면 본 발명에 따른 오디오 신호의 시각화 장치는 입력되는 오디오 신호를 분석하여 음원의 높낮이 또는 주파수별 파장에 맞추어 메모리에 저장된 시각화 정보를 디스플레이부를 통해 그래픽 영상으로 변환하여 표시한다.Referring to FIG. 1, an apparatus for visualizing an audio signal according to the present invention analyzes an input audio signal and converts the visualization information stored in a memory into a graphic image through a display unit according to a height or a wavelength of a sound source.
즉, 본 발명은 재생되는 오디오 신호상의 음원을 분석하여 이미 저장되어 있는 다양한 이미지를 시각화하여 유연하게 변형하여 그래픽 영상으로 디스플레이함으로서 사용자에게 보다 실감나는 오디오 서비스를 제공할 수 있다.That is, the present invention may provide a more realistic audio service to a user by analyzing a sound source on a reproduced audio signal, visualizing various images that are already stored, and flexibly transforming them to display a graphic image.
특히, 이와 같은 오디오 서비스는 일반적인 심리적 측면에서의 작용도 수행할 수 있다. 특히, 연속적으로 변화하는 오디오 신호의 변화에서 통상적인 범위에서는 영상에 조그만 변화를 가하고, 경계선에 위치하는 신호는 심한 변화로 표시하며 통상적인 범위를 넘어서는 데이터는 급격한 변화를 추가로 표시하도록 메모리에 저장된 시각화 정보를 제어함도 바람직하다.In particular, such an audio service may also perform operations in general psychological aspects. In particular, in the case of continuous change of audio signal, a small change is made to the image in the normal range, the signal located at the boundary line is marked as a severe change, and data beyond the normal range is stored in the memory to further display the sudden change. It is also desirable to control the visualization information.
이때, 상기 시각화 정보는 사진과 같은 이미지, 애니메이션, 동영상 등으로 이루어진다. In this case, the visualization information is composed of an image, an animation, a video, and the like.
즉, 입력되는 오디오 신호를 분석하여 음원의 높낮이 또는 주파수별 파장에 맞추어 특정 이미지를 움직이거나 애니메이션 효과를 낼 수 있다. 또한, 동영상의 경우 음원의 높낮이 또는 주파수별 파장에 맞추어 동영상의 재생 속도를 변화시키는 효과를 내서 음성 데이터를 시각적으로 표시한다.That is, by analyzing the input audio signal, a specific image may be moved or animated according to the height or frequency of the sound source. In addition, in the case of a moving picture, the voice data is visually displayed by changing the playback speed of the moving picture according to the height or frequency of the sound source.
이를 위한 본 발명에 따른 오디오 신호의 시각화 장치는 오디오 신호를 분석하여 디지털 형태의 오디오 데이터로 변환하는 주파수 분석기(100)와, 상기 오디오 신호를 그래픽 영상으로 표시하기 위한 시각화 정보를 저장하고 있는 메모리(110)와, 상기 메모리(110)의 시각화 정보를 상기 주파수 분석기(100)에서 분석된 오디오 데이터에 따라 그래픽 영상으로 변환하는 영상변환부(120)와, 상기 영상변환부(120)에서 처리된 그래픽 영상에 따른 제어신호를 발생시키는 제어부(130)와, 상기 제어부(130)의 제어신호를 통하여 상기 그래픽 영상을 표시하는 디스플레이부(140)로 구성된다.
An apparatus for visualizing an audio signal according to the present invention includes a
이하, 본 발명의 각부 구성을 좀 더 구체적으로 설명한다.Hereinafter, the constituent parts of the present invention will be described in more detail.
먼저 주파수 분석기(100)는 오디오 신호의 음원의 높낮이 또는 주파수를 분석하여 디지털 형태의 오디오 데이터로 변환한다.First, the
이와 같은 주파수 분석기(frequency analyzer)(100)는 다양한 입력장치를 통해 오디오 신호를 입력받을 수 있는 것으로, 마이크나 진동센서 등의 신호입력부(150)를 통해 오디오 신호를 입력받거나 또는 mp3파일 등의 오디오 파일과 같은 형태로 입력될 수 있다.The
한편, 상기 주파수 분석기(100)를 통해 분석되는 오디오 데이터가 음원의 높낮이인 경우에는 음원의 세기를 수치화한 정량(定量)적인 데이터를 사용함이 바람직하다. On the other hand, when the audio data analyzed by the
또한, 주파수 분석기(100)를 통해 분석되는 오디오 데이터가 음원의 주파수인 경우에는 파장의 형태로 이루어진 데이터를 사용함이 바람직하다.
In addition, when the audio data analyzed by the
그리고, 상기 메모리(110)에는 상기 오디오 신호를 그래픽 영상으로 표시하기 위한 시각화 정보가 저장된다. 상기 시각화 정보는 다수의 이미지, 애니메이션, 동영상 등이 저장될 수 있다.In addition, the
이때, 상기 시각화 정보가 이미지 또는 애니메이션인 경우에는 입력되는 오디오 신호의 음원의 높낮이 또는 주파수 파장 변화에 따라 이미지 또는 애니메이션을 상하좌우로 움직여 주기 위한 것이다. In this case, when the visualization information is an image or an animation, the image or animation is moved up, down, left, or right according to the change of the height or the frequency wavelength of the sound source of the input audio signal.
물론, 다수의 이미지 또는 애니메이션을 저장하는 경우에는 오디오 신호의 음원의 높낮이 또는 주파수 파장 변화에 따라 설정된 이미지를 선택적으로 디스플레이함도 가능하다. Of course, when storing a plurality of images or animations, it is also possible to selectively display the image set according to the height or frequency change of the sound source of the audio signal.
이 경우 상기 이미지는 그림이나 사진 등을 사용함이 바람직하다.In this case, the image is preferably a picture or photograph.
한편, 상기 시각화 정보가 동영상인 경우에는 오디오 신호의 음원의 높낮이 또는 주파수 파장 변화에 따라 동영상의 재생속도를 조절하기 위해 구비된다. 물론, 다수의 동영상을 저장하는 경우에는 오디오 신호의 음원의 높낮이 또는 주파수 파장 변화에 따라 설정된 동영상의 재생 패턴을 변화하여 디스플레이하도록 하기 위해 구비된다. On the other hand, when the visualization information is a moving picture is provided to adjust the playback speed of the moving picture according to the height or frequency change of the sound source of the audio signal. Of course, when storing a plurality of moving images are provided to change the display pattern of the set video in accordance with the change in the height or frequency wavelength of the sound source of the audio signal.
또한, 상기 메모리(110)에 다수의 동영상을 저장하는 경우 이퀄라이저를 분석하여 음악의 종류에 따른 동영상을 재생하고, 그에 따라 재생되는 동영상의 재생 패턴을 변화하여 디스플레이할 수 있다.
In addition, when a plurality of videos are stored in the
그리고, 상기 영상변환부(120)는 상기 주파수 분석기(100)에서 분석된 오디오 데이터인 음원의 높낮이 또는 주파수 파장에 따라 메모리(110)에 저장된 시각화 정보를 그래픽 영상으로 변환한다.The
이 경우 상기 메모리(110)에 저장된 시각화 정보가 이미지이면 음원의 높낮이 또는 주파수 파장에 따라 움직이는 상태의 그래픽 영상으로 변환하고, 애니메이션의 경우 에니메이션 효과가 발생되는 그래픽 영상으로 변환하고, 동영상의 경우에는 재생속도를 조정한 그래픽 영상으로 변환한다.In this case, if the visualization information stored in the
즉, 주파수 분석기(100)에서 분석된 오디오 신호의 음원의 높낮이 또는 주파수 파장 변화가 적은 경우에는 영상변환부(120)는 이미지의 움직임을 작게 하고, 애니메이션의 움직임 역시 작게 하고, 동영상의 경우에는 재생속도를 느리게 조정한다.That is, when the height or frequency wavelength change of the sound source of the audio signal analyzed by the
이와 같은 영상변환부(120)에서 변환된 그래픽 영상은 제어부(130)의 제어에 따라 디스플레이부(140)로 출력한다.The graphic image converted by the
물론, 본 발명에 따른 오디오 신호의 시각화 장치는 메모리(110)에 저장된 이미지, 에니메이션, 동영상 등의 정보를 선택 또는 각종 설정을 위한 키입력부(160)와, 전원공급을 위한 전원부(170)가 더 구비된다.
Of course, the apparatus for visualizing an audio signal according to the present invention further includes a
이하, 본 발명에 따른 오디오 신호의 시각화 장치의 구동 예를 설명한다.Hereinafter, a driving example of the apparatus for visualizing an audio signal according to the present invention will be described.
사용자의 키입력부(160) 조작을 통해 장치가 구동되면 제어부(130)의 구동에 따라 장치가 초기화되고, 주파수 분석기(100)는 마이크나 진동센서 등의 신호입력부(150) 또는 mp3파일 등의 오디오 파일의 형태로 입력되는 오디오 신호를 분석한다.When the device is driven through the manipulation of the
상기 주파수 분석기(100)는 오디오 신호를 분석하면 디지털 형태의 오디오 데이터인 음원의 높낮이 또는 주파수 파장을 추출하고 이는 영상변환부(120)로 입력된다.When the
이에 따라 상기 영상변환부(120)는 메모리(110)에 저장된 시각화 정보인 이미지나 애니메이션 또는 동영상을 추출하여 상기 음원의 높낮이 또는 주파수 파장에 따른 변형을 가하게 된다.Accordingly, the
이 경우 상기 메모리(110)에 저장된 시각화 정보가 이미지이면 음원의 높낮이 또는 주파수 파장에 따라 움직이는 상태의 그래픽 영상으로 변환하고, 애니메이션의 경우 에니메이션 효과가 발생되는 그래픽 영상으로 변환하고, 동영상의 경우에는 재생속도를 조정한 그래픽 영상으로 변환한다.In this case, if the visualization information stored in the
그리고, 상기 영상변환부(120)에서 변환된 그래픽 영상은 제어부(130)의 제어에 따라 디스플레이부(140)로 출력한다.The graphic image converted by the
이와 같은 본 발명에 따른 오디오 신호의 시각화 장치는 휴대용 또는 차량용 오디오에 적용 가능함은 물론 대규모 광고판 등에도 그대로 적용할 수 있다.
Such an apparatus for visualizing an audio signal according to the present invention can be applied to a portable or car audio as well as to a large billboard.
이상에서는 본 발명의 바람직한 실시 예를 설명하였으나, 본 발명의 권리범위는 이에 한정되지 않으며, 본 발명의 실시 예와 실질적으로 균등한 범위에 있는 것까지 본 발명의 권리범위가 미치는 것으로 본 발명의 정신을 벗어나지 않는 범위 내에서 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형 실시가 가능한 것이다.
While the present invention has been described in connection with what is presently considered to be preferred embodiments thereof, it is to be understood that the invention is not limited to the disclosed embodiments, but, on the contrary, It will be understood by those skilled in the art that various changes in form and details may be made therein without departing from the spirit and scope of the invention as defined by the appended claims.
100: 주파수 분석기 110: 메모리
120: 영상변환부 130: 제어부
140: 디스플레이부 150: 신호입력부
160: 키입력부 170: 전원부100: frequency analyzer 110: memory
120: image conversion unit 130: control unit
140: display unit 150: signal input unit
160: key input unit 170: power supply unit
Claims (8)
상기 영상변환부는 상기 오디오 신호의 음원의 높낮이 또는 주파수 파장 변화에 따라 상기 메모리에 저장되는 시각화 정보인 이미지를 움직여 변환한 그래픽 영상을 출력하거나,
상기 오디오 신호의 음원의 높낮이 또는 주파수 파장 변화에 따라 상기 메모리에 저장되는 시각화 정보인 동영상의 재생속도를 변환한 그래픽 영상을 출력하는 것을 특징으로 하는 오디오 신호의 시각화 장치.
A frequency analyzer for analyzing a height of an audio signal or a change in frequency wavelength of a sound source and converting the audio signal into digital data; A memory storing visualization information of any one of a plurality of images, animations, and moving images for displaying the audio signal as a graphic image; An image converter converting the visualization information of the memory into a graphic image according to the audio data analyzed by the frequency analyzer; A controller for generating a control signal according to the graphic image processed by the image converter; The display unit for displaying the graphic image through the control signal of the control unit;
The image converting unit outputs a graphic image converted by moving an image, which is visualization information stored in the memory, according to a change in height or frequency wavelength of a sound source of the audio signal,
And a graphic image obtained by converting a reproduction speed of a moving image, which is visualization information stored in the memory, according to a change in height or frequency wavelength of a sound source of the audio signal.
상기 주파수 분석기는 신호입력부를 통해 오디오 신호를 입력받는 것을 특징으로 하는 오디오 신호의 시각화 장치.
The method of claim 1,
And the frequency analyzer receives an audio signal through a signal input unit.
상기 영상변환부는 상기 메모리에 저장되는 시각화 정보인 다수의 동영상을 상기 주파수 분석기를 통해 출력되는 오디오 데이터의 이퀄라이저를 분석하여 음악의 종류에 따른 동영상을 선택하여 재생속도를 변환한 그래픽 영상을 출력하는 것을 특징으로 하는 오디오 신호의 시각화 장치.
The method of claim 1,
The image converting unit analyzes an equalizer of audio data output through the frequency analyzer for a plurality of moving images stored in the memory, and selects a moving image according to the type of music and outputs a graphic image obtained by converting a playback speed. An apparatus for visualizing an audio signal.
각종 설정을 위한 키입력부와, 전원공급을 위한 전원부가 더 구비되는 것을 특징으로 하는 것을 특징으로 하는 오디오 신호의 시각화 장치.The method of claim 1,
Key input unit for various settings, and a power supply for power supply is characterized in that the visualization device of the audio signal characterized in that it is further provided.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020110047527A KR101218336B1 (en) | 2011-05-19 | 2011-05-19 | visualizing device for audil signal |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020110047527A KR101218336B1 (en) | 2011-05-19 | 2011-05-19 | visualizing device for audil signal |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20120129337A KR20120129337A (en) | 2012-11-28 |
| KR101218336B1 true KR101218336B1 (en) | 2013-01-21 |
Family
ID=47513844
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020110047527A KR101218336B1 (en) | 2011-05-19 | 2011-05-19 | visualizing device for audil signal |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101218336B1 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020032552A1 (en) * | 2018-08-09 | 2020-02-13 | 삼성전자 주식회사 | Electronic device to which incoming call screen is output and method for outputting incoming call screen |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102358025B1 (en) * | 2015-10-07 | 2022-02-04 | 삼성전자주식회사 | Electronic device and music visualization method thereof |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08293039A (en) * | 1995-04-24 | 1996-11-05 | Matsushita Electric Ind Co Ltd | Music/image conversion device |
| KR20010078806A (en) * | 2001-03-29 | 2001-08-22 | 김길호 | midi omitted |
| KR20060054678A (en) * | 2004-11-15 | 2006-05-23 | 김경희 | Apparatus and method for implementing character video synchronized with sound |
| KR20060081510A (en) * | 2005-01-07 | 2006-07-13 | 엘지전자 주식회사 | A character display method of mobile digital device |
-
2011
- 2011-05-19 KR KR1020110047527A patent/KR101218336B1/en not_active IP Right Cessation
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08293039A (en) * | 1995-04-24 | 1996-11-05 | Matsushita Electric Ind Co Ltd | Music/image conversion device |
| KR20010078806A (en) * | 2001-03-29 | 2001-08-22 | 김길호 | midi omitted |
| KR20060054678A (en) * | 2004-11-15 | 2006-05-23 | 김경희 | Apparatus and method for implementing character video synchronized with sound |
| KR20060081510A (en) * | 2005-01-07 | 2006-07-13 | 엘지전자 주식회사 | A character display method of mobile digital device |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020032552A1 (en) * | 2018-08-09 | 2020-02-13 | 삼성전자 주식회사 | Electronic device to which incoming call screen is output and method for outputting incoming call screen |
| KR20200017726A (en) * | 2018-08-09 | 2020-02-19 | 삼성전자주식회사 | Electronic device outputting call reception screen and method for outputting call reception screen |
| US11425243B2 (en) | 2018-08-09 | 2022-08-23 | Samsung Electronics Co., Ltd | Electronic device to which incoming call screen is output and method for outputting incoming call screen |
| KR102540150B1 (en) * | 2018-08-09 | 2023-06-07 | 삼성전자주식회사 | Electronic device outputting call reception screen and method for outputting call reception screen |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20120129337A (en) | 2012-11-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8744244B2 (en) | Reproducing apparatus, reproducing method, and storage medium | |
| US10681408B2 (en) | Systems and methods for creating composite videos | |
| KR20130134195A (en) | Apparatas and method fof high speed visualization of audio stream in a electronic device | |
| TWI519157B (en) | A method for incorporating a soundtrack into an edited video-with-audio recording and an audio tag | |
| KR101374353B1 (en) | Sound processing apparatus | |
| JP2003111031A (en) | Portable electronic image display device and audio player, and method for displaying and capturing a plurality of digital images | |
| JP2019056871A (en) | Reproduction control method and reproduction control device | |
| JP2010212875A5 (en) | Apparatus and method | |
| KR101218336B1 (en) | visualizing device for audil signal | |
| JP4692596B2 (en) | Information processing apparatus, program, and information processing method | |
| JP3196335U (en) | Display device for portable audio equipment | |
| JP2014035436A (en) | Voice processing device | |
| JP2007322933A (en) | Guidance device, production device for data for guidance, and program | |
| JP2014123085A (en) | Device, method, and program for further effectively performing and providing body motion and so on to be performed by viewer according to singing in karaoke | |
| KR20140049957A (en) | Sound processing apparatus and sound processing method | |
| JP5211749B2 (en) | COMMUNICATION SYSTEM, COMMUNICATION DEVICE, AND PROGRAM | |
| KR20080024876A (en) | Audio searching system | |
| JP6285580B2 (en) | Display device for portable audio equipment | |
| JP2004242288A5 (en) | ||
| JP6028489B2 (en) | Video playback device, video playback method, and program | |
| JP2006178052A (en) | Voice generator and computer program therefor | |
| JP2018191232A (en) | Audio/video reproduction device | |
| JP2005249872A (en) | Device and method for setting music reproduction parameter | |
| JP2004354583A (en) | Device and method to generate music | |
| JP4459653B2 (en) | Acoustic signal display device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20151001 Year of fee payment: 4 |
|
| FPAY | Annual fee payment |
Payment date: 20170829 Year of fee payment: 6 |
|
| LAPS | Lapse due to unpaid annual fee |