KR100912075B1 - Apparatus and method of controlling sound scene for virtual reality - Google Patents

Apparatus and method of controlling sound scene for virtual reality Download PDF

Info

Publication number
KR100912075B1
KR100912075B1 KR1020070076460A KR20070076460A KR100912075B1 KR 100912075 B1 KR100912075 B1 KR 100912075B1 KR 1020070076460 A KR1020070076460 A KR 1020070076460A KR 20070076460 A KR20070076460 A KR 20070076460A KR 100912075 B1 KR100912075 B1 KR 100912075B1
Authority
KR
South Korea
Prior art keywords
audio
user
angle value
surround sound
virtual reality
Prior art date
Application number
KR1020070076460A
Other languages
Korean (ko)
Other versions
KR20080053875A (en
Inventor
장대영
강경옥
홍진우
하레오 하마다
토시오 사이토
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Publication of KR20080053875A publication Critical patent/KR20080053875A/en
Application granted granted Critical
Publication of KR100912075B1 publication Critical patent/KR100912075B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Stereophonic System (AREA)

Abstract

본 발명은 가상현실을 위한 오디오 음상 제어 장치 및 그 방법에 관한 것으로, 더욱 상세하게는 가상현실에서 사용자에 의해 미리 정해진 초기 방향으로부터 변경하고자 하는 방향 간의 각도 값(이하, 변경 각도 값)에 따라 오디오 데이터의 각 채널에 대한 신호 파워를 변경하여 서라운드 음상을 제어함으로써, 가상현실에서 재생되는 신호가 사용자에 의해 제어된 각도만큼 그 방향이 변화되어 들릴 수 있게 하는, 가상현실을 위한 오디오 음상 제어 장치 및 그 방법을 제공하고자 한다.The present invention relates to an audio image control apparatus and method for virtual reality, and more particularly, to audio according to an angle value (hereinafter, change angle value) between directions to be changed from an initial direction predetermined by a user in virtual reality. By controlling the surround sound by changing the signal power for each channel of the data, the audio sound control device for virtual reality that allows the signal reproduced in the virtual reality to be changed in the direction by the angle controlled by the user, and It is intended to provide a method.

이를 위하여, 본 발명은 오디오 음상 제어 장치에 있어서, 외부로부터 오디오 데이터를 입력받기 위한 오디오 입력 수단; 사용자에 의해 미리 정해진 초기 방향으로부터 변경하고자 하는 방향 간의 각도 값(이하, 변경 각도 값)을 입력받기 위한 사용자 제어 입력 수단; 및 상기 사용자 제어 입력 수단에서 입력된 변경 각도 값에 따라 상기 오디오 입력 수단에서 입력된 오디오 데이터의 각 채널에 대한 신호 파워를 변경하여 서라운드 음상을 제어하기 위한 서라운드 음상 제어 수단을 포함한다.To this end, the present invention provides an audio sound control apparatus, comprising: audio input means for receiving audio data from an external device; User control input means for receiving an angle value (hereinafter, referred to as a change angle value) between directions to be changed by a user from a predetermined initial direction; And surround sound control means for controlling a surround sound image by changing signal power for each channel of audio data input from the audio input means according to a change angle value input by the user control input means.

파노라마 가상현실, 멀티채널 오디오, 서라운드 음향, 음상 제어, 변경 각도 값, 신호 파워 변경 Panorama virtual reality, multichannel audio, surround sound, picture control, change angle value, signal power change

Description

가상현실을 위한 오디오 음상 제어 장치 및 그 방법{APPARATUS AND METHOD OF CONTROLLING SOUND SCENE FOR VIRTUAL REALITY}Audio image control device and method for virtual reality {APPARATUS AND METHOD OF CONTROLLING SOUND SCENE FOR VIRTUAL REALITY}

본 발명은 가상현실을 위한 오디오 음상 제어 장치 및 그 방법에 관한 것으로, 더욱 상세하게는 가상현실에서 사용자에 의해 미리 정해진 초기 방향으로부터 변경하고자 하는 방향 간의 각도 값(이하, 변경 각도 값)에 따라 오디오 데이터의 각 채널에 대한 신호 파워를 변경하여 서라운드 음상을 제어함으로써, 가상현실에서 재생되는 신호가 사용자에 의해 제어된 각도만큼 그 방향이 변화되어 들릴 수 있게 하는, 가상현실을 위한 오디오 음상 제어 장치 및 그 방법에 관한 것이다. The present invention relates to an apparatus for controlling audio sound for virtual reality and a method thereof, and more particularly, to audio according to an angle value (hereinafter, referred to as a change angle value) between directions to be changed from an initial direction predetermined by a user in virtual reality. By controlling the surround sound by changing the signal power for each channel of the data, the audio sound control device for virtual reality that allows the signal reproduced in the virtual reality to be changed in the direction by the angle controlled by the user, and It's about how.

본 발명은 정보통신부 및 정보통신연구진흥원의 IT신성장동력핵심기술개발사업의 일환으로 수행한 연구로부터 도출된 것이다[과제관리번호: 2005-S-403-02, 과제명: 지능형 통합정보방송(SmartTV)기술].The present invention is derived from the research conducted as part of the IT new growth engine core technology development project of the Ministry of Information and Communication and the Ministry of Information and Communication Research and Development. [Task Management Number: 2005-S-403-02, Title: Intelligent Integrated Information Broadcasting )Technology].

최근, 파노라마 가상현실은 사용자가 인터넷을 통해 임의 장소의 파노라마 영상을 볼 수 있다. 파노라마 영상에서는 사용자가 원하는 시점을 선택하면 그 선 택된 시점의 영상이 사용자에게 제공된다. 전방위 카메라를 이용한 파노라마 가상현실은 전방위 카메라를 이용해 사용자가 임의 시점으로 변경하여 주변의 상황을 제한된 범위 내에서 움직이면서 탐색할 수 있다.In recent years, a panoramic virtual reality allows a user to view a panoramic image of an arbitrary place through the Internet. In the panoramic image, when a user selects a desired viewpoint, an image of the selected viewpoint is provided to the user. The panoramic virtual reality using the omnidirectional camera can be changed by the user using the omnidirectional camera to explore the surrounding situation within a limited range by changing to a random viewpoint.

일반적으로 파노라마 영상을 획득하기 위한 기술은 여러 대의 카메라를 방사형으로 배치한다. 그리고 각 카메라에 대한 영상을 적절히 합성하여 하나의 연결된 파노라마 영상이 만들어지고 있다. 또한, 파노라마 영상을 획득하기 위한 다른 기술은 보다 경제적으로 하나의 전방위 카메라를 사용하여 파노라마 영상을 획득한다. 즉, 파노라마 영상 기술은 렌즈를 통해 주변의 파노라마 장면을 한꺼번에 얻어 파노라마 영상을 획득하고 있다. 이러한 파노라마 영상은 주로 정지영상으로 서비스가 되고 있다. 최근에는 지역 홍보 사이트에 동영상에 의한 파노라마 가상현실 서비스가 시험적으로 제공되고 있다.In general, a technique for acquiring panoramic images radially arranges several cameras. And, by properly synthesizing the images for each camera, one connected panoramic image is produced. In addition, another technique for acquiring a panoramic image is more economically obtains the panoramic image using one omnidirectional camera. In other words, the panoramic image technology acquires a panoramic image by simultaneously obtaining a panoramic panorama scene through a lens. These panoramic images are mainly serviced as still images. Recently, a panorama virtual reality service by video is provided to a local publicity site.

따라서 상기와 같은 종래의 파노라마 영상 기술 또는 종래의 원격 가상현실 기술은 파노라마 영상에 음향 신호를 포함하여 제공하지 않고 있다. 따라서 종래의 원격 가상현실 기술은 전방의 표시되는 영상의 장면 이외에 보이지 않는 부분의 음향을 사용자가 청취할 수 없어서 가상 현실에서의 사용자 몰입감을 감소시킬 수 있다Therefore, the conventional panorama image technology or the conventional remote virtual reality technology as described above does not provide a sound signal included in the panorama image. Therefore, the conventional remote virtual reality technology can reduce the user's immersion in the virtual reality because the user can not hear the sound of the invisible portion other than the scene of the image displayed in front.

특히, 종래의 원격 가상현실 기술은 파노라마 가상현실과 같이 사용자가 시점을 변경할 수 있는 영상에서 사용자의 시점 변경에 대응되는 음향을 제공하지 않고 있다. 따라서 이러한 종래의 원격 가상현실 기술은 시점에 대응되는 서라운드 음향이 제공되지 않아 사용자 몰입감을 감소시킬 수 있다는 문제점이 있으며, 이러한 문제점을 해결하고자 하는 것이 본 발명의 과제이다.In particular, the conventional remote virtual reality technology does not provide a sound corresponding to the user's viewpoint change in the image that the user can change the viewpoint, such as panoramic virtual reality. Therefore, the conventional remote virtual reality technology has a problem that can not reduce the user immersion because no surround sound corresponding to the viewpoint is provided, it is an object of the present invention to solve this problem.

따라서 본 발명은 가상현실에서 사용자에 의해 미리 정해진 초기 방향으로부터 변경하고자 하는 방향 간의 각도 값(이하, 변경 각도 값)에 따라 오디오 데이터의 각 채널에 대한 신호 파워를 변경하여 서라운드 음상을 제어함으로써, 가상현실에서 재생되는 신호가 사용자에 의해 제어된 각도만큼 그 방향이 변화되어 들릴 수 있게 하는, 가상현실을 위한 오디오 음상 제어 장치 및 그 방법을 제공하는데 그 목적이 있다.Accordingly, the present invention controls the surround sound image by changing the signal power for each channel of the audio data according to an angle value (hereinafter, referred to as a change angle value) between directions to be changed from an initial direction predetermined by the user in virtual reality. SUMMARY OF THE INVENTION An object of the present invention is to provide an audio image control apparatus and method for virtual reality, in which a signal reproduced in reality can be changed and heard by an angle controlled by a user.

본 발명의 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있으며, 본 발명의 실시예에 의해 보다 분명하게 알게 될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.The objects of the present invention are not limited to the above-mentioned objects, and other objects and advantages of the present invention which are not mentioned above can be understood by the following description, and will be more clearly understood by the embodiments of the present invention. Also, it will be readily appreciated that the objects and advantages of the present invention may be realized by the means and combinations thereof indicated in the claims.

본 발명은 상기 문제점을 해결하기 위하여 제안된 것으로, 가상현실에서 사용자에 의해 미리 정해진 초기 방향으로부터 변경하고자 하는 방향 간의 각도 값(이하, 변경 각도 값)에 따라 오디오 데이터의 각 채널에 대한 신호 파워를 변경하여 서라운드 음상을 제어하는 것을 특징으로 한다.The present invention has been proposed to solve the above problem, and in virtual reality, the signal power for each channel of the audio data is changed according to an angle value (hereinafter, referred to as a change angle value) between directions to be changed by a user. Control the surround sound image.

더욱 구체적으로, 본 발명은, 오디오 음상 제어 장치에 있어서, 외부로부터 오디오 데이터를 입력받기 위한 오디오 입력 수단; 사용자에 의해 미리 정해진 초기 방향으로부터 변경하고자 하는 방향 간의 각도 값(이하, 변경 각도 값)을 입력받기 위한 사용자 제어 입력 수단; 및 상기 사용자 제어 입력 수단에서 입력된 변경 각도 값에 따라 상기 오디오 입력 수단에서 입력된 오디오 데이터의 각 채널에 대한 신호 파워를 변경하여 서라운드 음상을 제어하기 위한 서라운드 음상 제어 수단을 포함하여 이루어지는 것을 특징으로 한다. More specifically, the present invention provides an audio image control device comprising: audio input means for receiving audio data from an external device; User control input means for receiving an angle value (hereinafter, referred to as a change angle value) between directions to be changed by a user from a predetermined initial direction; And surround sound image control means for controlling a surround sound image by changing signal power for each channel of audio data input from the audio input means according to a change angle value input from the user control input means. do.

또한, 본 발명은, 오디오 음상 제어 방법에 있어서, 외부로부터 오디오 데이터를 입력받는 오디오 입력 단계; 사용자에 의해 미리 정해진 초기 방향으로부터 변경하고자 하는 방향 간의 각도 값(이하, 변경 각도 값)을 입력받는 사용자 제어 입력 단계; 및 상기 사용자 제어 입력 단계에서 입력된 변경 각도 값에 따라 상기 오디오 입력 단계에서 입력된 오디오 데이터의 각 채널에 대한 신호 파워를 변경하여 서라운드 음상을 제어하는 서라운드 음상 제어 단계를 포함하는 것을 특징으로 한다.In addition, the present invention, the audio image control method, the audio input step of receiving audio data from the outside; A user control input step of receiving an angle value (hereinafter, referred to as a change angle value) between directions to be changed by a user from a predetermined initial direction; And a surround sound control step of controlling a surround sound image by changing a signal power for each channel of audio data input in the audio input step according to the change angle value input in the user control input step.

상기와 같은 본 발명은, 멀티채널 오디오 혹은 멀티트랙 오디오 신호를 사용함에 있어, 사용자 제어에 의해 서라운드 음상을 변경시킬 수 있는 효과가 있다.As described above, the present invention has an effect of changing a surround sound image by user control in using a multichannel audio or multitrack audio signal.

즉, 본 발명은, 청취 위치를 기준으로 한 각 채널 스피커의 방향을 기반으로 각 채널 신호를 사용자의 제어에 의해 변화된 각도에 따라, 인접 채널 스피커에 인가되는 파워 비율을 조절하는 패닝 방법에 의해 실제 재생되는 신호가 사용자에 의해 제어된 각도만큼 그 방향이 변화되어 들리도록 하는 효과가 있다.That is, the present invention is actually performed by a panning method of adjusting the power ratio applied to the adjacent channel speakers according to the angle changed by the user's control based on the direction of each channel speaker based on the listening position. There is an effect that the direction of the signal to be reproduced is changed by the angle controlled by the user to be heard.

또한, 본 발명은, 파노라마 가상현실과 같이 사용자가 시점을 변경할 수 있는 영상에 있어, 시점 변경 각도를 제어 데이터로 이용하면 시점 변경에 대응하여 오디오 음상도 함께 변경할 수 있는 효과가 있다.In addition, according to the present invention, when the user can change the viewpoint, such as a panoramic virtual reality, using the viewpoint change angle as the control data, the audio image can also be changed in response to the viewpoint change.

상술한 목적, 특징 및 장점은 첨부된 도면을 참조하여 상세하게 후술되어 있는 상세한 설명을 통하여 보다 명확해 질 것이며, 그에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대 한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명하기로 한다.The above objects, features, and advantages will become more apparent from the detailed description given hereinafter with reference to the accompanying drawings, and accordingly, those skilled in the art to which the present invention pertains may share the technical idea of the present invention. It will be easy to implement. In addition, in describing the present invention, when it is determined that the detailed description of the known technology related to the present invention may unnecessarily obscure the subject matter of the present invention, the detailed description thereof will be omitted. Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1 은 본 발명에 따른 가상현실을 위한 오디오 음상 제어 장치의 일실시예 구성도이다.1 is a configuration diagram of an apparatus for controlling audio sound for virtual reality according to the present invention.

도 1에 도시된 바와 같이, 본 발명에 따른 가상현실을 위한 오디오 음상 제어 장치는, 오디오 입력부(101), 서라운드 음상 제어부(102) 및 사용자 제어 입력부(103)를 포함한다.As shown in FIG. 1, an audio image control apparatus for virtual reality according to the present invention includes an audio input unit 101, a surround sound image control unit 102, and a user control input unit 103.

이하, 본 발명에 따른 서라운드 음상 제어 장치의 구성요소 각각에 대해 살펴보기로 한다. Hereinafter, each component of the surround sound control device according to the present invention will be described.

오디오 입력부(101)는 외부 장치 또는 저장 매체로부터 오디오 데이터를 입력받는다. 즉, 오디오 입력부(101)는 복수의 채널을 가지는 멀티채널 오디오 신호를 입력받을 수 있다. 또한, 오디오 입력부(101)는 멀티채널 오디오 신호가 아닌 멀티트랙 음원(예를 들어, 모노 또는 스테레오로 구성되는 음원)과 함께 믹싱 정보를 입력받을 수 있다. 이후, 오디오 입력부(101)는 입력된 멀티채널 오디오 신호, 또는 멀티트랙 음원과 믹싱 정보를 서라운드 음상 제어부(102)로 전송한다. 그리고 멀티트랙 음원들은 서라운드 음상 제어부(102)에 의해 믹싱 정보에 따라 믹싱된다. The audio input unit 101 receives audio data from an external device or a storage medium. That is, the audio input unit 101 may receive a multichannel audio signal having a plurality of channels. In addition, the audio input unit 101 may receive mixing information together with a multitrack sound source (for example, a sound source composed of mono or stereo) rather than a multichannel audio signal. Thereafter, the audio input unit 101 transmits the input multi-channel audio signal or the multitrack sound source and mixing information to the surround sound image controller 102. The multitrack sound sources are mixed by the surround sound control unit 102 according to the mixing information.

그리고 사용자 제어 입력부(103)는 사용자에 의해 미리 정해진 초기 방향으로부터 변경하고자 하는 방향 간의 각도 값(이하, 변경 각도 값)을 입력받는다. 즉, 사용자 제어 입력부(103)는 변경하고자 하는 변경 각도 값을 직접 사용자로부 터 입력받을 수 있다. 또한, 사용자 제어 입력부(103)는 전방위 영상을 이용한 파노라마 가상현실에 적용되는 경우에, 사용자에 의해 변경된 영상 시점(View)의 각도 값을 변경 각도 값으로 입력받는다. 여기서, 변경 각도 값은 사용자가 가상현실에서의 영상의 시점을 조절할 때, 그 초기 방향에 대한 상대적인 각도값을 의미한다. 이러한 변경 각도 값은 후술될 서라운드 음상 제어부(102)로 전달되어 서라운드 음상에 대한 제어 데이터로 이용된다. The user control input unit 103 receives an angle value (hereinafter, referred to as a change angle value) between directions to be changed from a predetermined initial direction by the user. That is, the user control input unit 103 may directly receive a change angle value to be changed from the user. In addition, when the user control input unit 103 is applied to a panoramic virtual reality using an omnidirectional image, the user control input unit 103 receives an angle value of an image view changed by the user as a change angle value. Here, the change angle value refers to an angle value relative to the initial direction when the user adjusts the viewpoint of the image in the virtual reality. The change angle value is transmitted to the surround sound image controller 102 to be described later and used as control data for the surround sound image.

그리고 서라운드 음상 제어부(102)는 사용자 제어 입력부(103)에서 입력된 변경 각도 값에 따라, 오디오 입력부(101)에서 입력된 오디오 데이터(예를 들어, 멀티채널 오디오 신호, 멀티트랙 음원과 해당 믹싱정보 등)의 각 채널에 대한 신호 파워를 변경하여 서라운드 음상을 제어한다. 즉, 서라운드 음상 제어부(102)는 제어 데이터인 변경 각도 값에 각도 변화가 있다면, 변경 각도 값에 따라 각 채널 신호를 패닝에 의해 서라운드 음상을 변화시켜 출력한다. 서라운드 음상 제어부(102)는 입력된 각도가 변경됨에 따라 멀티채널 오디오 신호에 인가되는 각 채널 신호의 파워를 조절하여 서라운드 음상을 제어할 수 있다.In addition, the surround sound controller 102 may control audio data (eg, multichannel audio signals, multitrack sound sources, and corresponding mixing information) input from the audio input unit 101 according to a change angle value input from the user control input unit 103. Control the surround sound image by changing the signal power for each channel. That is, if there is an angle change in the change angle value that is the control data, the surround sound control unit 102 changes the surround sound image by panning the channel signal according to the change angle value and outputs it. The surround sound controller 102 may control the surround sound image by adjusting the power of each channel signal applied to the multichannel audio signal as the input angle is changed.

여기서, 멀티채널 오디오 신호는 전방 좌/우 채널, 중앙 채널, 저음 채널, 후방 좌/우 채널과 같이 구성되는 일반적인 5.1 채널 오디오 신호일 수도 있다. 또한, 멀티채널 오디오 신호는 스튜디오 등에서 녹음할 때 사용되는 모노 또는 스테레오 오디오 신호로 구성되는 멀티트랙 오디오 신호일 수도 있다. 이때, 멀티채널 오디오 신호가 멀티트랙 오디오 신호일 경우에는 믹싱될 때 패닝하고자 하는 위치 정보를 포함하여야 한다. 또한, 멀티트랙 오디오 신호는 부가정보(예를 들어, 기타 레벨, 음색에 대한 조정 정보)도 포함할 수 있다. 이러한 부가 정보가 포함되지 않는 경우에는 이미 조정이 완료된 오디오 신호가 서라운드 음상 제어부(102)로 입력되어야 한다.Here, the multi-channel audio signal may be a general 5.1 channel audio signal configured as a front left / right channel, a center channel, a bass channel, and a rear left / right channel. In addition, the multichannel audio signal may be a multitrack audio signal composed of a mono or stereo audio signal used when recording in a studio or the like. In this case, when the multichannel audio signal is a multitrack audio signal, the multichannel audio signal should include location information to be panned when mixed. In addition, the multitrack audio signal may also include additional information (for example, adjustment information for other levels and timbres). If such additional information is not included, an audio signal that has already been adjusted must be input to the surround sound controller 102.

그리고 서라운드 음상 제어부(102)는 오디오 입력부(101)로부터 멀티트랙 음원과 믹싱 정보를 전달받는 경우에 믹싱 정보를 이용해 멀티트랙 음원을 믹싱하여 멀티채널 오디오 신호를 생성한다. 그리고 서라운드 음상 제어부(102)는 생성된 멀티채널 오디오 신호를 사용자의 변경된 시점에 대응되는 제어 데이터에 따라 서라운드 음상을 제어한다.The surround sound controller 102 generates a multi-channel audio signal by mixing the multitrack sound source using the mixing information when receiving the multitrack sound source and the mixing information from the audio input unit 101. The surround sound controller 102 controls the surround sound image based on the generated multichannel audio signal according to control data corresponding to a changed time point of the user.

그리고 서라운드 음상 제어부(102)는 서라운드 음상이 제어된 멀티채널 오디오 신호를 출력한다. 이때, 멀티채널 스피커가 통상의 배치 형태인 전방 +/-30도, 후방 +/-110도 및 +/-120 사이에 설치되어 있는 경우에는 멀티채널 오디오 신호를 각 채널에 맞게 그대로 출력한다. The surround sound controller 102 outputs a multichannel audio signal in which the surround sound image is controlled. At this time, when the multi-channel speaker is installed between the front + /-30 degrees, the rear + /-110 degrees and + /-120 which is a typical arrangement form, the multi-channel audio signal is output as it is for each channel.

만약, 멀티채널 스피커의 배치 형태가 다른 경우에, 서라운드 음상 제어부(102)는 각 스피커의 개수 및 배치 각도에 따라 패닝하여 출력한다. 이때, 멀티채널 스피커의 개수 및 배치에 대한 정보는 사용자에 의해 추가로 입력될 수도 있다. 뿐만 아니라 서라운드 음상 제어부(102)는 헤드폰 청취나 스피커가 두 개인 경우 HRTF(Head Related Transfer Function)에 의해 가상 스피커를 구성하여 재생할 수도 있다.If the arrangement of the multi-channel speakers is different, the surround sound controller 102 may pan and output according to the number and arrangement angle of each speaker. In this case, information about the number and arrangement of the multichannel speakers may be additionally input by the user. In addition, the surround sound controller 102 may configure and play a virtual speaker by using a head related transfer function (HRTF) when listening to headphones or two speakers.

도 2 는 본 발명에 따른 도 1의 서라운드 음상 제어부에서 각 채널 스피커의 위치에 대해 변화된 각도로 음상을 변화시키는 방법에 대한 일실시예 설명도이다.FIG. 2 is a diagram illustrating a method of changing a sound image at a changed angle with respect to a position of each channel speaker in the surround sound image controller of FIG. 1 according to the present invention.

서라운드 음상 제어부(102)는 멀티채널 오디오 신호의 음상을 제어하기 위해, 각 채널 스피커의 위치에 대해 변화된 각도로 음상을 변화시킨다. The surround sound image controller 102 changes the sound image at a changed angle with respect to the position of each channel speaker in order to control the sound image of the multichannel audio signal.

일례로, 서라운드 음상 제어부(102)는

Figure 112007055575895-pat00001
만큼 사용자의 시점 또는 미리 정한 각도가 변경되는 경우에, 변경된 각도에 해당하는 각 채널 신호의 출력 레벨을 다시 패닝에 의해 조정한다. 이때, 패닝을 위한 수식은 아래의 [수학식 1]과 같다.In one example, the surround sound control unit 102
Figure 112007055575895-pat00001
When the user's viewpoint or a predetermined angle is changed as much as possible, the output level of each channel signal corresponding to the changed angle is adjusted again by panning. At this time, the formula for panning is as shown in [Equation 1] below.

Figure 112007055575895-pat00002
Figure 112007055575895-pat00002

여기서,

Figure 112007055575895-pat00003
는 j번째 채널의 스피커 위치를 나타내는 각도,
Figure 112007055575895-pat00004
는 제어 데이터에 의해 변경된 서라운드 음상의 각도,
Figure 112007055575895-pat00005
는 i번째 및 j번째 채널의 스피커 사이의 각도,
Figure 112007055575895-pat00006
및
Figure 112007055575895-pat00007
는 각각
Figure 112007055575895-pat00008
에 의해 i번째 및 j번째 채널에 패닝된 오디오 신호의 파워,
Figure 112007055575895-pat00009
는 인접 스피커 사이의 각도를 90도로 하였을 때 상대적인 변경된 서라운드 음상의 각도를 환산한 환산 각도를 나타낸다.here,
Figure 112007055575895-pat00003
Is an angle representing the speaker position of the jth channel,
Figure 112007055575895-pat00004
Is the angle of the surround sound image changed by the control data,
Figure 112007055575895-pat00005
Is the angle between the speakers of the i th and j th channels,
Figure 112007055575895-pat00006
And
Figure 112007055575895-pat00007
Are each
Figure 112007055575895-pat00008
The power of the audio signal panned to the i th and j th channels by
Figure 112007055575895-pat00009
Denotes the converted angle converted from the relative modified surround sound angle when the angle between adjacent speakers is 90 degrees.

상기 [수학식 1]에서와 같이, 각 채널에 해당하는 스피커 중 인접 스피커 사이의 각도를 90도로 가정한 경우에, 상대적으로 변경된 서라운드 음상의 각도를 환산한 환산 각도(

Figure 112007055575895-pat00010
)를 구한다.As shown in [Equation 1], in the case where the angle between adjacent speakers among the speakers corresponding to each channel is assumed to be 90 degrees, the converted angle converted from the angle of the relatively changed surround sound image (
Figure 112007055575895-pat00010
)

이후, i번째 및 j번째 채널에 패닝된 오디오 신호의 파워(

Figure 112007055575895-pat00011
,
Figure 112007055575895-pat00012
)는
Figure 112007055575895-pat00013
에 의해 구한 환산한 환산 각도(
Figure 112007055575895-pat00014
)를 이용해 구한다. Then, the power of the audio signal panned to the i th and j th channels (
Figure 112007055575895-pat00011
,
Figure 112007055575895-pat00012
)
Figure 112007055575895-pat00013
Conversion angle calculated by
Figure 112007055575895-pat00014
To obtain.

도 3 은 본 발명에 따른 가상현실을 위한 오디오 음상 제어 방법에 대한 일실시예 흐름도이다.3 is a flowchart illustrating an audio sound control method for virtual reality according to the present invention.

먼저, 서라운드 음상 제어부(102)는 오디오 입력부(101)로부터 멀티채널 오디오 신호를 전달받는다(302). 또한, 서라운드 음상 제어부(102)는 멀티트랙 음원과 믹싱 정보를 전달받을 수 있다. 이때, 서라운드 음상 제어부(102)는 멀티트랙 음원을 믹싱 정보에 따라 믹싱하여 멀티채널 오디오 신호를 생성한다. First, the surround sound image controller 102 receives a multi-channel audio signal from the audio input unit 101 (302). In addition, the surround sound control unit 102 may receive a multitrack sound source and mixing information. At this time, the surround sound control unit 102 generates a multi-channel audio signal by mixing the multitrack sound source according to the mixing information.

그리고 서라운드 음상 제어부(102)는 사용자 제어 입력부(103)로부터 제어 데이터를 전달받는다(304). 이때, 제어 데이터는 사용자의 시점에 따라 변경된 각도 값 또는 사용자에 의해 직접 입력된 변경 각도 값을 포함하고 있다. The surround sound controller 102 receives control data from the user control input unit 103 (304). In this case, the control data includes an angle value changed according to the user's viewpoint or a change angle value directly input by the user.

이후, 서라운드 음상 제어부(102)는 전달된 제어 데이터를 분석하여 사용자의 시점 또는 미리 정한 기준 각도에서 변화된 각도가 있는지를 확인한다(306).Subsequently, the surround sound image controller 102 analyzes the transmitted control data to determine whether there is an angle changed from the user's viewpoint or a predetermined reference angle (306).

상기 확인 결과(306), 사용자의 시점 또는 미리 정한 기준 각도에서 각도의 변화가 있는 경우에, 서라운드 음상 제어부(102)는 변화된 시점 또는 이에 대응되는 각도에 따라 각 채널 신호를 패닝에 의해 채널 신호의 파워를 조절하여 서라운드 음상을 제어한다(308). As a result of the check 306, when there is a change in the angle at the user's viewpoint or a predetermined reference angle, the surround sound controller 102 may pan each channel signal according to the changed viewpoint or the corresponding angle to pan the channel signal. The surround sound image is controlled by adjusting power (308).

그리고 서라운드 음상 제어부(102)는 제어된 서라운드 음상에 따라 멀티채널 오디오 신호를 출력한다(310).The surround sound controller 102 outputs a multi-channel audio signal according to the controlled surround sound image (310).

한편, 상기 확인 결과(306), 사용자의 시점 또는 이에 대응되는 각도의 변화가 없는 경우에는 "310" 과정을 바로 수행한다.On the other hand, if there is no change in the viewing result 306, the user's viewpoint or the corresponding angle, the process "310" is performed immediately.

한편, 전술한 바와 같은 본 발명의 방법은 컴퓨터 프로그램으로 작성이 가능하다. 그리고 상기 프로그램을 구성하는 코드 및 코드 세그먼트는 당해 분야의 컴퓨터 프로그래머에 의하여 용이하게 추론될 수 있다.　또한, 상기 작성된 프로그램은 컴퓨터가 읽을 수 있는 기록매체(정보저장매체)에 저장되고, 컴퓨터에 의하여 판독되고 실행됨으로써 본 발명의 방법을 구현한다. 그리고 상기 기록매체는 컴퓨터가 판독할 수 있는 모든 형태의 기록매체를 포함한다.On the other hand, the method of the present invention as described above can be written in a computer program. And the code and code segments constituting the program can be easily inferred by a computer programmer in the art. In addition, the written program is stored in a computer-readable recording medium (information storage medium), and read and executed by a computer to implement the method of the present invention. The recording medium may include any type of computer readable recording medium.

이상에서 설명한 본 발명은, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하므로 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니다.The present invention described above is capable of various substitutions, modifications, and changes without departing from the technical spirit of the present invention for those skilled in the art to which the present invention pertains. It is not limited by the drawings.

도 1 은 본 발명에 따른 가상현실을 위한 오디오 음상 제어 장치의 일실시예 구성도,1 is a configuration diagram of an audio sound image control device for virtual reality according to the present invention;

도 2 는 본 발명에 따른 도 1의 서라운드 음상 제어부에서 각 채널 스피커의 위치에 대해 변화된 각도로 음상을 변화시키는 방법에 대한 일실시예 설명도,FIG. 2 is a diagram illustrating a method of changing a sound image at a changed angle with respect to a position of each channel speaker in the surround sound image controller of FIG. 1 according to the present invention; FIG.

도 3 은 본 발명에 따른 가상현실을 위한 오디오 음상 제어 방법에 대한 일실시예 흐름도이다.3 is a flowchart illustrating an audio sound control method for virtual reality according to the present invention.

* 도면의 주요 부분에 대한 부호 설명* Explanation of symbols on the main parts of the drawing

101: 오디오 입력부 102: 서라운드 음상 제어부101: audio input unit 102: surround sound image control unit

103: 사용자 제어 입력부103: user control input unit

Claims (12)

오디오 음상 제어 장치에 있어서,In the audio image control device, 외부로부터 멀티트랙 음원과 믹싱 정보를 갖는 멀티채널 오디오 데이터를 입력받기 위한 오디오 입력 수단;Audio input means for receiving multi-channel audio data having a multitrack sound source and mixing information from the outside; 사용자에 의해 미리 정해진 초기 방향으로부터 변경하고자 하는 방향 간의 각도 값(이하, 변경 각도 값)을 입력받기 위한 사용자 제어 입력 수단; 및User control input means for receiving an angle value (hereinafter, referred to as a change angle value) between directions to be changed by a user from a predetermined initial direction; And 상기 사용자 제어 입력 수단에서 입력된 변경 각도 값에 따라 상기 오디오 입력 수단에서 입력된 오디오 데이터의 각 채널에 대한 신호 파워를 변경하여 서라운드 음상을 제어하기 위한 서라운드 음상 제어 수단Surround sound control means for controlling the surround sound by changing the signal power for each channel of the audio data input from the audio input means in accordance with the change angle value input from the user control input means. 을 포함하는 가상현실을 위한 오디오 음상 제어 장치.Audio image control device for a virtual reality comprising a. 제 1 항에 있어서,The method of claim 1, 상기 서라운드 음상 제어 수단은,The surround sound image control means, 상기 변경하고자 하는 방향과 양쪽으로 인접한 채널에 패닝된 오디오 신호의 파워를 이용하여 상기 서라운드 음상을 제어하는 것을 특징으로 하는 가상현실을 위한 오디오 음상 제어 장치.And the surround sound image is controlled using power of an audio signal panned to a channel adjacent to both sides of the direction to be changed. 제 1 항 또는 제 2 항에 있어서,The method according to claim 1 or 2, 상기 사용자 제어 입력 수단은,The user control input means, 상기 가상현실에서 사용자에 의해 변경된 영상 시점(View)의 각도 값을 상기 변경 각도 값으로 입력받는 것을 특징으로 하는 가상현실을 위한 오디오 음상 제어 장치.And an angle value of an image view changed by the user in the virtual reality as the change angle value. 삭제delete 삭제delete 제 1 항에 있어서,The method of claim 1, 상기 서라운드 음상 제어 수단은,The surround sound image control means, 상기 오디오 입력 수단에서 입력된 멀티트랙 음원을 상기 해당 믹싱 정보에 따라 믹싱하여 멀티채널 오디오 신호를 생성하는 것을 특징으로 하는 가상현실을 위한 오디오 음상 제어 장치.And a multi-track audio source input by the audio input means according to the corresponding mixing information to generate a multi-channel audio signal. 오디오 음상 제어 방법에 있어서,In the audio image control method, 외부로부터 멀티트랙 음원과 믹싱 정보를 갖는 멀티채널 오디오 데이터를 입력받는 오디오 입력 단계;An audio input step of receiving multichannel audio data having a multitrack sound source and mixing information from an external source; 사용자에 의해 미리 정해진 초기 방향으로부터 변경하고자 하는 방향 간의 각도 값(이하, 변경 각도 값)을 입력받는 사용자 제어 입력 단계; 및A user control input step of receiving an angle value (hereinafter, referred to as a change angle value) between directions to be changed by a user from a predetermined initial direction; And 상기 사용자 제어 입력 단계에서 입력된 변경 각도 값에 따라 상기 오디오 입력 단계에서 입력된 오디오 데이터의 각 채널에 대한 신호 파워를 변경하여 서라운드 음상을 제어하는 서라운드 음상 제어 단계Surround sound control step of controlling the surround sound by changing the signal power for each channel of the audio data input in the audio input step in accordance with the change angle value input in the user control input step 를 포함하는 가상현실을 위한 오디오 음상 제어 방법.Audio image control method for a virtual reality comprising a. 제 7 항에 있어서,The method of claim 7, wherein 상기 서라운드 음상 제어 단계는,The surround sound image control step, 상기 변경하고자 하는 방향과 양쪽으로 인접한 채널에 패닝된 오디오 신호의 파워를 이용하여 상기 서라운드 음상을 제어하는 것을 특징으로 하는 가상현실을 위한 오디오 음상 제어 방법.And controlling the surround sound image using power of an audio signal panned to a channel adjacent to both sides of the direction to be changed. 제 7 항 또는 제 8 항에 있어서,The method according to claim 7 or 8, 상기 사용자 제어 입력 단계는,The user control input step, 상기 가상현실에서 사용자에 의해 변경된 영상 시점(View)의 각도 값을 상기 변경 각도 값으로 입력받는 것을 특징으로 하는 가상현실을 위한 오디오 음상 제어 방법.The audio image control method for the virtual reality, characterized in that for receiving the angle value of the image view (View) changed by the user in the virtual reality as the change angle value. 삭제delete 삭제delete 제 7 항에 있어서,The method of claim 7, wherein 상기 서라운드 음상 제어 단계는,The surround sound image control step, 상기 오디오 입력 단계에서 입력된 멀티트랙 음원을 상기 해당 믹싱 정보에 따라 믹싱하여 멀티채널 오디오 신호를 생성하는 과정을 더 수행하는 것을 특징으로 하는 가상현실을 위한 오디오 음상 제어 방법.And generating a multichannel audio signal by mixing the multitrack sound source input in the audio input step according to the corresponding mixing information.
KR1020070076460A 2006-12-11 2007-07-30 Apparatus and method of controlling sound scene for virtual reality KR100912075B1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020060125827 2006-12-11
KR20060125827 2006-12-11

Publications (2)

Publication Number Publication Date
KR20080053875A KR20080053875A (en) 2008-06-16
KR100912075B1 true KR100912075B1 (en) 2009-08-12

Family

ID=39801042

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070076460A KR100912075B1 (en) 2006-12-11 2007-07-30 Apparatus and method of controlling sound scene for virtual reality

Country Status (1)

Country Link
KR (1) KR100912075B1 (en)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10659904B2 (en) 2016-09-23 2020-05-19 Gaudio Lab, Inc. Method and device for processing binaural audio signal
JP2019533404A (en) * 2016-09-23 2019-11-14 ガウディオ・ラボ・インコーポレイテッド Binaural audio signal processing method and apparatus
EP3323478A1 (en) * 2016-11-22 2018-05-23 Nokia Technologies OY An apparatus and associated methods
KR101988244B1 (en) * 2017-07-04 2019-06-12 정용철 Apparatus and method for virtual reality sound processing according to viewpoint change of a user

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020079903A (en) * 2000-12-25 2002-10-19 소니 가부시끼 가이샤 Virtual sound image localizing device, virtual sound image localizing method and storage medium
JP2003009296A (en) 2001-06-22 2003-01-10 Matsushita Electric Ind Co Ltd Acoustic processing unit and acoustic processing method
KR20040073813A (en) * 2003-02-14 2004-08-21 엘지전자 주식회사 Method for processing audio signal in home theater system
JP2006135611A (en) 2004-11-05 2006-05-25 Matsushita Electric Ind Co Ltd Virtual sound image controller

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020079903A (en) * 2000-12-25 2002-10-19 소니 가부시끼 가이샤 Virtual sound image localizing device, virtual sound image localizing method and storage medium
JP2003009296A (en) 2001-06-22 2003-01-10 Matsushita Electric Ind Co Ltd Acoustic processing unit and acoustic processing method
KR20040073813A (en) * 2003-02-14 2004-08-21 엘지전자 주식회사 Method for processing audio signal in home theater system
JP2006135611A (en) 2004-11-05 2006-05-25 Matsushita Electric Ind Co Ltd Virtual sound image controller

Also Published As

Publication number Publication date
KR20080053875A (en) 2008-06-16

Similar Documents

Publication Publication Date Title
US8213648B2 (en) Audio signal processing apparatus, audio signal processing method, and audio signal processing program
US11089425B2 (en) Audio playback method and audio playback apparatus in six degrees of freedom environment
US11877135B2 (en) Audio apparatus and method of audio processing for rendering audio elements of an audio scene
JP2006314078A (en) Imaging apparatus, voice recording apparatus, and the voice recording method
CN112673649B (en) Spatial audio enhancement
US10998870B2 (en) Information processing apparatus, information processing method, and program
EP2743917B1 (en) Information system, information reproducing apparatus, information generating method, and storage medium
KR100912075B1 (en) Apparatus and method of controlling sound scene for virtual reality
KR101235832B1 (en) Method and apparatus for providing realistic immersive multimedia services
JP2006033847A (en) Sound-reproducing apparatus for providing optimum virtual sound source, and sound reproducing method
Woszczyk et al. Shake, rattle, and roll: Gettiing immersed in multisensory, interactiive music via broadband networks
KR20180006798A (en) Multimedia display apparatus and recording media
US20230276189A1 (en) Real-time sound field synthesis by modifying produced audio streams
Lentz et al. Precise near-to-head acoustics with binaural synthesis
JP2013187841A (en) Electronic apparatus, output control method, and program
KR101391942B1 (en) Audio steering video/audio system and providing method thereof
KR20210151792A (en) Information processing apparatus and method, reproduction apparatus and method, and program
KR102559015B1 (en) Actual Feeling sound processing system to improve immersion in performances and videos
JP2001268504A (en) Recording device and reproducing device
KR20230013629A (en) Method and apparatus for switching an audio scene in a multi-view environment
JP2023167168A (en) Information processing device, information processing method and program
KR20200073699A (en) Multi channels transmitting system for dynamaic audio and controlling method
JP2024041721A (en) video conference call
CN115866326A (en) Audio processing method and device for panoramic video
JP2008136079A (en) Storage reproducing device and storage reproducing program

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20120730

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20130729

Year of fee payment: 5

LAPS Lapse due to unpaid annual fee