KR20180118034A - Apparatus and method for controlling spatial audio according to eye tracking - Google Patents

Apparatus and method for controlling spatial audio according to eye tracking Download PDF

Info

Publication number
KR20180118034A
KR20180118034A KR1020170156722A KR20170156722A KR20180118034A KR 20180118034 A KR20180118034 A KR 20180118034A KR 1020170156722 A KR1020170156722 A KR 1020170156722A KR 20170156722 A KR20170156722 A KR 20170156722A KR 20180118034 A KR20180118034 A KR 20180118034A
Authority
KR
South Korea
Prior art keywords
sound
curve
user
sound object
spatial audio
Prior art date
Application number
KR1020170156722A
Other languages
Korean (ko)
Other versions
KR102311024B1 (en
Inventor
장대영
박정훈
김홍주
Original Assignee
한국전자통신연구원
(주)토마토프로덕션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원, (주)토마토프로덕션 filed Critical 한국전자통신연구원
Priority to PCT/KR2018/004331 priority Critical patent/WO2018194320A1/en
Priority to CN201880025963.3A priority patent/CN110573995B/en
Publication of KR20180118034A publication Critical patent/KR20180118034A/en
Application granted granted Critical
Publication of KR102311024B1 publication Critical patent/KR102311024B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Stereophonic System (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

Disclosed are an apparatus for controlling a spatial audio according to eye tracking and a method thereof. The method for controlling a spatial audio according to eye tracking may include: a step of tracking the direction of a user′s eye; a step of retrieving a sound object corresponding to the direction among a plurality of sound objects outputting sound; and a step of controlling the gain of the retrieved sound object. The user can selectively listen to the sound of the sound object without any special operation.

Description

시선추적에 따른 공간 오디오 제어 장치 및 그 방법{APPARATUS AND METHOD FOR CONTROLLING SPATIAL AUDIO ACCORDING TO EYE TRACKING}[0001] APPARATUS AND METHOD FOR CONTROLLING SPATIAL AUDIO ACCORDING TO EYE TRACKING [0002]

본 발명은 가상 현실 컨텐츠에 포함된 공간 오디오를 제어하는 장치 및 방법에 관한 것이다.The present invention relates to an apparatus and a method for controlling spatial audio included in virtual reality contents.

VR360 카메라와 HMD(Head Mounted Display) 기술의 발전으로 최근 가상 현실 콘텐츠가 대중적인 서비스로 자리잡고 있다. 또한, 입체음향 기술도 멀티채널 오디오 혹은 객체기반 오디오의 형태로 제공되면서, 보다 몰입감 높은 가상 현실 콘텐츠를 제작할 수 있게 되었다. With the development of the VR360 camera and HMD (Head Mounted Display) technology, virtual reality content has become a popular service. In addition, stereophonic technology is also available in the form of multi-channel audio or object-based audio, allowing for more immersive virtual reality content.

가상 현실 콘텐츠는 헤드 트래킹에 의한 시선추적을 통하여 가상 현실 속의 영상 및 음향이 실제로 시청자의 주변환경인 것처럼 시청방향을 제어할 수 있다. 이때, 가상 현실 콘텐츠는 헤드폰을 사용한 바이노럴 3차원 음향 기술을 활용하고 있다. 헤드폰을 사용한 바이노럴 3차원 음향 기술은 실제 멀티채널 스피커의 위치, 음향 객체의 위치 정보 및 헤드 트래킹에 의한 시청 방향의 변화에 따라 재생 음원의 방향을 제어하여, 가상 현실 공간의 객체 음원의 위치가 영상과 동기화 되도록 하고 있다.The virtual reality contents can control the viewing direction as if the video and sound in the virtual reality are actually the surroundings of the viewer through eye tracking by head tracking. At this time, the virtual reality contents utilize a binaural three-dimensional sound technique using a headphone. The binaural 3D sound technology using headphones controls the direction of the playback sound source in accordance with the position of the actual multi-channel speaker, the position information of the sound object, and the viewing direction by the head tracking, Is synchronized with the image.

그러나, 종래의 가상 현실 콘텐츠를 제공하는 장치는 재생 음원의 방향이 시청 방향의 변화에 따라서만 변경되므로, 가상 현실 콘텐츠에 포함된 복수의 음향 객체들 중에서 사용자가 관심을 가지는 음향 객체의 출력을 식별하기 어렵다는 한계가 있었다.However, since the apparatus for providing the conventional virtual reality contents changes the direction of the playback sound source only in accordance with the change of the viewing direction, it is possible to identify the output of the sound object that the user is interested among the plurality of sound objects included in the virtual reality content There was a limit to the difficulty.

따라서, 가상 현실 콘텐츠에서 사용자가 관심을 가지는 음향 객체의 소리를 선택적으로 청취할 수 있는 방법이 요청되고 있다.Accordingly, there is a demand for a method of selectively listening to a sound of an acoustic object of interest in a virtual reality content.

본 발명은 사용자가 별도의 조작 없이도 관심 있는 음향 객체의 소리를 선택적으로 청취하도록 하는 장치 및 방법을 제공할 수 있다.The present invention can provide an apparatus and method for allowing a user to selectively listen to a sound of a sound object of interest without any special operation.

또한, 본 발명은 출연자들의 인기도를 이용한 프로그램을 서비스할 수 있는 장치 및 방법을 제공할 수 있다.In addition, the present invention can provide an apparatus and a method for providing a service using a popularity of a cast.

본 발명의 일실시예에 따른 공간 오디오 제어 방법은 사용자의 시선 방향을 추적하는 단계; 음향을 출력하는 복수의 음향 객체들 중에서 상기 시선 방향에 대응하는 음향 객체를 검색하는 단계; 및 검색한 음향 객체의 이득을 제어하는 단계를 포함할 수 있다.A method of controlling spatial audio according to an embodiment of the present invention includes: tracking a direction of a user's gaze; Searching for a sound object corresponding to the line of sight among a plurality of sound objects outputting sound; And controlling a gain of the retrieved sound object.

본 발명의 일실시예에 따른 공간 오디오 제어 방법의 추적하는 단계는, 헤드 트래킹을 이용하여 상기 사용자의 머리 방향을 측정하는 단계; 및 상기 사용자의 머리 방향에 따라 상기 사용자의 시선 방향을 추적하는 단계를 포함할 수 있다.The tracking of the spatial audio control method according to an embodiment of the present invention includes: measuring head direction of the user using head tracking; And tracking the direction of the user's gaze along the head direction of the user.

본 발명의 일실시예에 따른 공간 오디오 제어 방법의 검색하는 단계는, 상기 시선 방향에 따라 단일 지향성 곡선을 설정하는 단계; 상기 단일 지향성 곡선 내부에 위치하거나, 상기 단일 지향성 곡선에 접촉한 음향 객체를 상기 시선 방향에 대응하는 음향 객체로 검색하는 단계; 및 상기 시선 방향에 대응하는 음향 객체가 검색되지 않는 경우, 무지향성 곡선을 설정하는 단계를 포함할 수 있다.The searching step of the spatial audio control method according to an embodiment of the present invention includes: setting a unidirectional curve along the viewing direction; Searching for an acoustic object in the unidirectional curve or in contact with the unidirectional curve as an acoustic object corresponding to the viewing direction; And setting an omnidirectional curve when an acoustic object corresponding to the gaze direction is not searched.

본 발명의 일실시예에 따른 공간 오디오 제어 방법의 제어하는 단계는, 상기 검색한 음향 객체의 출력을 증가시키는 단계; 상기 검색한 음향 객체를 제외한 나머지 음향 객체의 출력을 상기 단일 지향성 곡선에 따라 감소시키는 단계; 및 상기 무지향성 곡선이 설정된 경우, 상기 음향 객체들의 이득을 동일하게 제어하는 단계를 포함할 수 있다.The step of controlling the spatial audio control method according to an embodiment of the present invention includes: increasing an output of the retrieved sound object; Reducing an output of remaining sound objects excluding the searched sound object according to the unidirectional curve; And if the omnidirectional curve is set, controlling the gain of the sound objects equally.

본 발명의 일실시예에 따른 공간 오디오 제어 방법의 검색하는 단계는, 사용자의 시선 방향의 이동에 따라 상기 시선 방향에 대응하는 음향 객체의 검색 결과가 변경되면, 상기 단일 지향성 곡선을 상기 무지향성 곡선으로 변경하거나, 상기 무지향성 곡선을 상기 단일 지향성 곡선으로 변경하고, 상기 제어하는 단계는, 상기 단일 지향성 곡선, 또는 상기 무지향성 곡선이 변경된 경우, 음향 객체의 이득이 점진적으로 변경되도록 제어할 수 있다.The searching step of the spatial audio control method according to an embodiment of the present invention is characterized in that when the search result of the sound object corresponding to the gaze direction is changed according to the movement of the user's gaze direction, Or changing the omnidirectional curve to the unidirectional curve, and the controlling may control the gain of the acoustic object to gradually change when the unidirectional curve, or the omnidirectional curve, is changed .

본 발명의 일실시예에 따른 공간 오디오 제어 방법의 검색하는 단계는, 상기 시선 방향이 유지되는 시간을 측정하는 단계; 측정한 시간이 임계값 이하인 경우, 무지향성 곡선을 설정하는 단계; 및 측정한 시간이 임계값을 초과하는 경우, 무지향성 곡선을 시선 방향에 따른 단일 지향성 곡선으로 변경하고, 상기 단일 지향성 곡선에 대응하는 음향 객체를 검색하는 단계를 포함할 수 있다.The searching step of the spatial audio control method according to an embodiment of the present invention includes the steps of: measuring a time at which the viewing direction is maintained; Setting the omnidirectional curve if the measured time is less than or equal to a threshold value; And changing the omnidirectional curve to a unidirectional curve along the viewing direction when the measured time exceeds the threshold, and searching for the acoustic object corresponding to the unidirectional curve.

본 발명의 일실시예에 따른 공간 오디오 제어 방법의 검색하는 단계는, 상기 시선 방향에 대응하는 음향 객체가 검색되지 않은 경우, 사용자를 중심으로 무지향성 곡선을 설정하고, 상기 제어하는 단계는, 상기 음향을 출력하는 복수의 음향 객체들의 이득을 동일하게 제어할 수 있다.The searching step of the spatial audio control method according to an embodiment of the present invention sets the omnidirectional curve around the user when the sound object corresponding to the viewing direction is not searched, The gains of a plurality of sound objects outputting sound can be controlled equally.

본 발명의 일실시예에 따른 공간 오디오 제어 방법은 복수의 시점 영상들로 구성된 다시점 영상에서 사용자가 선택한 시점 영상을 화면에 표시하는 단계; 상기 사용자가 선택한 시점 영상에 따라 상기 다시점 영상에 포함된 복수의 음향 객체들 각각을 제어하는 단계; 제어된 복수의 음향 객체들 중에서 상기 사용자가 선택한 시점 영상에 대응하는 음향 객체를 검색하는 단계; 및 검색한 음향 객체의 이득을 제어하는 단계를 포함할 수 있다.According to another aspect of the present invention, there is provided a spatial audio control method including: displaying a viewpoint image selected by a user in a multi-view image including a plurality of viewpoint images; Controlling each of the plurality of sound objects included in the multi-view image according to the view image selected by the user; Searching for a sound object corresponding to a viewpoint image selected by the user from a plurality of controlled sound objects; And controlling a gain of the retrieved sound object.

본 발명의 일실시예에 따른 공간 오디오 제어 방법의 검색하는 단계는, 상기 사용자가 선택한 시점 영상을 향하여 단일 지향성 곡선을 설정하는 단계; 및 상기 단일 지향성 곡선 내부에 위치하거나, 상기 단일 지향성 곡선에 접촉한 음향 객체를 검색하는 단계를 포함할 수 있다.The searching step of the spatial audio control method according to an embodiment of the present invention includes: setting a unidirectional curve toward a viewpoint image selected by the user; And searching for an acoustic object located within the unidirectional curve or in contact with the unidirectional curve.

본 발명의 일실시예에 따른 공간 오디오 제어 방법의 제어하는 단계는, 상기 검색한 음향 객체의 출력을 증가시키는 단계; 및 상기 검색한 음향 객체를 제외한 나머지 음향 객체의 출력을 상기 단일 지향성 곡선에 따라 감소시키는 단계를 포함할 수 있다.The step of controlling the spatial audio control method according to an embodiment of the present invention includes: increasing an output of the retrieved sound object; And reducing the output of the sound object other than the searched sound object according to the unidirectional curve.

본 발명의 일실시예에 따른 공간 오디오 제어 장치는 사용자의 시선 방향을 추적하는 시선 추적부; 음향을 출력하는 복수의 음향 객체들 중에서 상기 시선 방향에 대응하는 음향 객체를 검색하는 음향 객체 검색부; 및 검색한 음향 객체의 이득을 제어하는 이득 제어부를 포함할 수 있다.A spatial audio control apparatus according to an exemplary embodiment of the present invention includes a gaze tracking unit for tracking a direction of a user's gaze; An acoustic object search unit for searching for a sound object corresponding to the line of sight among a plurality of sound objects outputting sound; And a gain control unit for controlling a gain of the retrieved sound object.

본 발명의 일실시예에 따른 공간 오디오 제어 장치의 시선 추적부는, 헤드 트래킹을 이용하여 상기 사용자의 머리 방향을 측정하고, 상기 사용자의 머리 방향에 따라 상기 사용자의 시선 방향을 추적할 수 있다.The gaze tracking unit of the spatial audio control apparatus according to an embodiment of the present invention may measure the head direction of the user using head tracking and track the direction of the user's gaze along the head direction of the user.

본 발명의 일실시예에 따른 공간 오디오 제어 장치의 음향 객체 검색부는, 상기 시선 방향에 따라 단일 지향성 곡선을 설정하고, 상기 단일 지향성 곡선 내부에 위치하거나, 상기 단일 지향성 곡선에 접촉한 음향 객체를 상기 시선 방향에 대응하는 음향 객체로 검색하며, 상기 시선 방향에 대응하는 음향 객체가 검색되지 않는 경우, 무지향성 곡선을 설정할 수 있다.The acoustic object searching unit of the spatial audio control apparatus according to an embodiment of the present invention sets a unidirectional curve according to the viewing direction and searches for a sound object located inside the unidirectional curve or in contact with the unidirectional curve, And an omnidirectional curve can be set when an acoustic object corresponding to the gaze direction is not searched.

본 발명의 일실시예에 따른 공간 오디오 제어 장치의 이득 제어부는, 상기 검색한 음향 객체의 출력을 증가시키고, 상기 검색한 음향 객체를 제외한 나머지 음향 객체의 출력을 상기 단일 지향성 곡선에 따라 감소시키며, 상기 무지향성 곡선이 설정된 경우, 상기 음향 객체들의 이득을 동일하게 제어할 수 있다.The gain control unit of the spatial audio control apparatus according to an embodiment of the present invention increases the output of the searched sound object and decreases the output of the sound object except for the searched sound object according to the unidirectional curve, If the omnidirectional curve is set, the gain of the sound objects can be controlled equally.

본 발명의 일실시예에 따른 공간 오디오 제어 장치의 음향 객체 검색부는, 사용자의 시선 방향의 이동에 따라 상기 시선 방향에 대응하는 음향 객체의 검색 결과가 변경되면, 상기 단일 지향성 곡선을 상기 무지향성 곡선으로 변경하거나, 상기 무지향성 곡선을 상기 단일 지향성 곡선으로 변경하고, 상기 이득 제어부는, 상기 단일 지향성 곡선, 또는 상기 무지향성 곡선이 변경된 경우, 음향 객체의 이득이 점진적으로 변경되도록 제어할 수 있다.The acoustic object search unit of the spatial audio control apparatus according to an embodiment of the present invention may search the acoustic object searching unit of the spatial audio control apparatus according to the direction of the user's gaze direction when the search result of the acoustic object corresponding to the gaze direction is changed, Or changes the omnidirectional curve to the unidirectional curve, and the gain control unit may control the gain of the sound object to gradually change when the unidirectional curve or the omnidirectional curve is changed.

본 발명의 일실시예에 따른 공간 오디오 제어 장치의 음향 객체 검색부는, 상기 시선 방향이 유지되는 시간을 측정하고, 측정한 시간이 임계값 이하인 경우, 무지향성 곡선을 설정하며, 측정한 시간이 임계값을 초과하는 경우, 무지향성 곡선을 시선 방향에 따른 단일 지향성 곡선으로 변경하고, 상기 단일 지향성 곡선에 대응하는 음향 객체를 검색할 수 있다.The acoustic object searching unit of the spatial audio control apparatus according to an embodiment of the present invention measures a time when the viewing direction is maintained and sets a non-directional curve when the measured time is less than or equal to a threshold value, Value, the omnidirectional curve can be changed to a unidirectional curve along the viewing direction, and the sound object corresponding to the unidirectional curve can be retrieved.

본 발명의 일실시예에 따른 공간 오디오 제어 장치의 음향 객체 검색부는, 상기 시선 방향에 대응하는 음향 객체가 검색되지 않은 경우, 사용자를 중심으로 무지향성 곡선을 설정하고, 상기 이득 제어부는, 상기 음향을 출력하는 복수의 음향 객체들의 이득을 동일하게 제어할 수 있다.The acoustic object searching unit of the spatial audio control apparatus according to an embodiment of the present invention sets a non-directional curve around a user when an acoustic object corresponding to the visual direction is not searched, The gain of the plurality of sound objects outputting the sound object can be controlled equally.

본 발명의 일실시예에 따른 공간 오디오 제어 장치는 복수의 시점 영상들로 구성된 다시점 영상에서 사용자가 선택한 시점 영상을 화면에 표시하는 시점 영상 표시부; 상기 사용자가 선택한 시점 영상에 따라 상기 다시점 영상에 포함된 복수의 음향 객체들 각각을 제어하는 음향 객체 제어부; 제어된 복수의 음향 객체들 중에서 상기 사용자가 선택한 시점 영상에 대응하는 음향 객체를 검색하는 음향 객체 검색부; 및 검색한 음향 객체의 이득을 제어하는 이득 제어부를 포함할 수 있다.A spatial audio control apparatus according to an embodiment of the present invention includes a viewpoint image display unit that displays a viewpoint image selected by a user in a multi-viewpoint image including a plurality of viewpoint images on a screen; A sound object controller for controlling each of the plurality of sound objects included in the multi-view image according to the view image selected by the user; An acoustic object search unit for searching for a sound object corresponding to a viewpoint image selected by the user from a plurality of controlled sound objects; And a gain control unit for controlling a gain of the retrieved sound object.

본 발명의 일실시예에 따른 공간 오디오 제어 장치의 이득 제어부는, 상기 검색한 음향 객체의 출력을 증가시키고, 상기 검색한 음향 객체를 제외한 나머지 음향 객체의 출력을 상기 단일 지향성 곡선에 따라 감소시킬 수 있다.The gain control unit of the spatial audio control apparatus according to an embodiment of the present invention may increase the output of the searched sound object and decrease the output of the remaining sound objects excluding the searched sound object according to the unidirectional curve have.

본 발명의 일실시예에 의하면, 사용자의 시선 방향에 대응하는 음향 객체의 소리를 증가시키고, 나머지 음향 객체의 소리를 감소시킴으로써, 사용자가 별도의 조작 없이도 관심 있는 음향 객체의 소리를 선택적으로 청취하도록 할 수 있다.According to one embodiment of the present invention, by increasing the sound of the sound object corresponding to the direction of the user's eyes and reducing the sound of the remaining sound objects, the user can selectively listen to the sound of the sound object of interest without any special operation can do.

또한, 본 발명의 일실시예에 의하면, 사용자들의 시선 방향을 추적하여 복수의 출연자가 포함된 콘텐츠를 시청하는 사용자들 각각이 관심을 가지는 출연자들을 식별하고, 식별 결과에 따라 출연자들 각각의 인기도를 계산할 수 있으므로, 출연자들의 인기도를 이용한 프로그램을 서비스할 수 있다.In addition, according to an embodiment of the present invention, it is possible to identify the performers who are interested in each of the users who watch the contents including a plurality of performers by tracking the user's gaze direction, and determine the popularity of each of the performers It is possible to provide a program using the popularity of the performers.

도 1은 본 발명의 제1 실시예에 따른 공간 오디오 제어 장치를 나타내는 도면이다.
도 2는 본 발명의 제1 실시예에 따른 공간 오디오 제어 장치의 동작 일례이다.
도 3은 본 발명의 제1 실시예에 따른 공간 오디오 제어 장치가 무지향성 곡선을 설정한 경우의 동작 일례이다.
도 4는 본 발명의 제1 실시예에 따른 공간 오디오 제어 장치가 사용자의 시선 방향에 대응하는 음향 객체를 검색하는 과정의 일례이다.
도 5는 본 발명의 제1 실시예에 따른 공간 오디오 제어 장치가 사용자의 시선 방향의 변경에 따라 공간 오디오를 제어하는 과정의 일례이다.
도 6은 본 발명의 제1 실시예에 따른 공간 오디오 제어 장치가 사용자의 시선 유지 시간에 따라 지향성 곡선을 설정하는 과정의 일례이다.
도 7은 본 발명의 제1 실시예에 따른 공간 오디오 제어 장치가 설정하는 단일 지향성 곡선의 일례이다.
도 8은 본 발명의 제2 실시예에 따른 공간 오디오 제어 장치를 나타내는 도면이다.
도 9는 본 발명의 제2 실시예에 따른 공간 오디오 제어 장치의 동작 일례이다.
도 10은 본 발명의 제1 실시예에 따른 공간 오디오 제어 방법을 도시한 플로우차트이다.
도 11은 본 발명의 제2 실시예에 따른 공간 오디오 제어 방법을 도시한 플로우차트이다.1 is a diagram illustrating a spatial audio control apparatus according to a first embodiment of the present invention.
2 is an example of operation of the spatial audio control apparatus according to the first embodiment of the present invention.
3 is an example of operation in the case where the spatial audio control apparatus according to the first embodiment of the present invention sets a non-directional curve.
4 is an example of a process in which the spatial audio control apparatus according to the first embodiment of the present invention searches for an acoustic object corresponding to the direction of the user's gaze.
5 is an example of a process in which the spatial audio control apparatus according to the first embodiment of the present invention controls spatial audio according to a change in the direction of a user's gaze.
6 is an example of a process in which the spatial audio control apparatus according to the first embodiment of the present invention sets a directivity curve according to a user's sight retention time.
7 is an example of the unidirectional curve set by the spatial audio control apparatus according to the first embodiment of the present invention.
8 is a diagram illustrating a spatial audio control apparatus according to a second embodiment of the present invention.
9 is an operation example of the spatial audio control apparatus according to the second embodiment of the present invention.
10 is a flowchart showing a spatial audio control method according to the first embodiment of the present invention.
11 is a flowchart showing a spatial audio control method according to the second embodiment of the present invention.

이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세하게 설명한다. 본 발명의 일실시예에 따른 공간 오디오 제어 방법은 공간 오디오 제어 장치에 의해 수행될 수 있다. DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings. A spatial audio control method according to an embodiment of the present invention can be performed by a spatial audio control apparatus.

본 발명은 시점 추적, 또는 시점 영상에 따라 음향 객체의 이득을 제어하여 공간 오디오를 제어할 수 있다.The present invention can control spatial audio by controlling the gain of a sound object according to a viewpoint or a viewpoint image.

도 1은 본 발명의 제1 실시예에 따른 공간 오디오 제어 장치를 나타내는 도면이다. 1 is a diagram illustrating a spatial audio control apparatus according to a first embodiment of the present invention.

본 발명의 제1 실시예에 따른 공간 오디오 제어 장치(100)는 시선 추적에 따른 공간 오디오 제어 장치이며, HMD(Helmet Mounted Display)를 이용하여 가상 현실 영상 콘텐츠를 재생하는 시스템에서 가상 현실 영상 콘텐츠에 포함된 공간 오디오를 제어할 수 있다.The spatial audio control apparatus 100 according to the first embodiment of the present invention is a spatial audio control apparatus according to visual line tracking and is a system for reproducing virtual reality video contents using a HMD (Helmet Mounted Display) You can control the embedded spatial audio.

공간 오디오 제어 장치(100)는 도 1에 도시된 바와 같이 시선 추적부(110), 음향 객체 검색부(120), 및 이득 제어부(130)를 포함할 수 있다. 이때, 시선 추적부(110), 음향 객체 검색부(120), 및 이득 제어부(130)는 서로 다른 프로세스, 또는 하나의 프로세스에서 수행되는 프로그램에 포함된 각각의 모듈일 수 있다.The spatial audio control apparatus 100 may include a gaze tracking unit 110, a sound object search unit 120, and a gain control unit 130 as shown in FIG. In this case, the gaze tracking unit 110, the sound object search unit 120, and the gain control unit 130 may be modules included in different processes or programs executed in one process.

시선 추적부(110)는 사용자의 시선 방향을 추적할 수 있다. 이때, 시선 추적부(110)는 헤드 트래킹을 이용하여 사용자의 머리 방향을 측정할 수 있다. 그리고, 시선 추적부(110)는 측정한 사용자의 머리 방향에 따라 사용자의 시선 방향을 추적할 수 있다. 이때, 시선 추적부(110)는 사용자가 착용한 HMD 장치로부터 헤드 트래킹 정보를 수신할 수 있다.The gaze tracking unit 110 may track the direction of the user's gaze. At this time, the gaze tracking unit 110 can measure the head direction of the user using head tracking. The gaze tracking unit 110 may track the gaze direction of the user according to the measured head direction of the user. At this time, the gaze tracking unit 110 may receive head tracking information from the HMD device worn by the user.

음향 객체 검색부(120)는 음향을 출력하는 복수의 음향 객체들 중에서 사용자의 시선 방향에 대응하는 음향 객체를 검색할 수 있다. 공간 오디오 제어 장치(100)가 제어하는 공간 오디오는 객체기반 음향 콘텐츠인 가상 현실 콘텐츠의 음향일 수 있다. 이때, 공간 오디오에는 음향 객체들 각각의 음향 신호 및 음향 객체들 각각의 위치 정보를 포함할 수 있다. 따라서, 음향 객체 검색부(120)는 음향 객체들 각각의 위치 정보와 사용자의 시선 방향을 비교하여 사용자의 시선 방향에 대응하는 음향 객체를 검색할 수 있다.The sound object search unit 120 can search for sound objects corresponding to the user's direction of sight from a plurality of sound objects outputting sound. The spatial audio controlled by the spatial audio control apparatus 100 may be the sound of virtual reality content which is object-based sound content. In this case, the spatial audio may include position information of each of the sound signals and sound objects of the sound objects. Accordingly, the sound object searching unit 120 can search for sound objects corresponding to the user's gaze direction by comparing the position information of each of the sound objects with the gaze direction of the user.

또한, 공간 오디오가 멀티채널 음향 콘텐츠인 경우, 음향 객체 검색부(120)는 공간 오디오를 음원 분석하여 공간 오디오에 포함된 객체 음원들을 음향 객체로 분리할 수 있다. 그리고, 음향 객체 검색부(120)는 분리한 음향 객체들 각각의 위치 정보와 사용자의 시선 방향을 비교하여 사용자의 시선 방향에 대응하는 음향 객체를 검색할 수 있다.In addition, when the spatial audio is multi-channel sound content, the sound object search unit 120 may analyze the spatial audio and decompose the object sound sources included in the spatial audio into sound objects. The sound object searching unit 120 can search for sound objects corresponding to the user's gaze direction by comparing the position information of each of the separated sound objects with the gaze direction of the user.

이때, 음향 객체 검색부(120)는 사용자의 시선 방향에 따라 단일 지향성 곡선을 설정할 수 있다. 그리고, 음향 객체 검색부(120)는 단일 지향성 곡선 내부에 위치하거나, 단일 지향성 곡선에 접촉한 음향 객체를 사용자의 시선 방향에 대응하는 음향 객체로 검색할 수 있다. 또한, 사용자의 시선 방향에 대응하는 음향 객체가 검색되지 않은 경우, 음향 객체 검색부(120)는 무지향성 곡선을 설정할 수도 있다.At this time, the sound object search unit 120 may set a unidirectional curve according to the direction of the user's sight line. The sound object search unit 120 may search the sound object corresponding to the direction of the user's eyes, which is located within the unidirectional curve or touches the unidirectional curve. Also, if no sound object corresponding to the direction of the user's gaze is searched, the sound object searching unit 120 may set an omnidirectional curve.

그리고, 음향 객체 검색부(120)는 사용자의 시선 방향의 이동에 따라 단일 지향성 곡선을 무지향성 곡선으로 변경하여 설정하거나, 무지향성 곡선을 단일 지향성 곡선으로 변경하여 설정할 수 있다.The sound object search unit 120 may change the unidirectional curve to the omnidirectional curve or change the omnidirectional curve to the unidirectional curve according to the movement of the user's visual direction.

예를 들어, 사용자의 시선 방향에 대응하는 음향 객체가 검색되지 않은 상태에서 사용자의 시선 방향이 이동하여 사용자의 시선 방향에 대응하는 음향 객체가 검색된 경우, 음향 객체 검색부(120)는 무지향성 곡선을 단일 지향성 곡선으로 변경하여 설정할 수 있다. 또한, 사용자의 시선 방향에 대응하는 음향 객체가 검색된 상태에서 사용자의 시선 방향이 이동하여 사용자의 시선 방향에 대응하는 음향 객체가 검색되지 않는 경우, 음향 객체 검색부(120)는 단일 지향성 곡선을 무지향성 곡선으로 변경하여 설정할 수 있다. For example, if the user's gaze direction is shifted while the sound object corresponding to the user's gaze direction is not searched and the sound object corresponding to the user's gaze direction is searched, the sound object search unit 120 searches for a non- To a unidirectional curve. When the user's gaze direction is shifted while the sound object corresponding to the user's gaze direction is searched and the sound object corresponding to the user's gaze direction is not searched, the sound object search unit 120 searches for a single- Directional curve.

그리고, 음향 객체 검색부(120)는 사용자의 시선 방향이 유지되는 시간을 측정할 수 있다. 이때, 측정한 시선 방향의 유지 시간이 임계값 이하인 경우, 음향 객체 검색부(120)는 무지향성 곡선을 설정할 수도 있다. 또한, 측정한 시선 방향의 유지 시간이 임계값을 초과하는 경우, 음향 객체 검색부(120)는 무지향성 곡선을 시선 방향에 따른 단일 지향성 곡선으로 변경하고, 단일 지향성 곡선에 대응하는 음향 객체를 검색할 수 있다. The sound object searching unit 120 may measure the time during which the user's sight line direction is maintained. At this time, when the measured retention time in the line-of-sight direction is equal to or less than the threshold value, the sound object search unit 120 may set a non-directional curve. When the measured retention time of the line of sight exceeds the threshold value, the sound object search unit 120 changes the omnidirectional curve to a unidirectional curve along the viewing direction and searches for a sound object corresponding to the unidirectional curve can do.

이득 제어부(130)는 음향 객체 검색부(120)가 검색한 음향 객체의 이득을 제어할 수 있다. 이때, 이득 제어부(130)는 음향 객체 검색부(120)가 검색한 음향 객체의 출력을 최대, 또는 기 설정된 값으로 증가시킬 수 있다. 또한, 이득 제어부(130)는 검색한 음향 객체를 제외한 나머지 음향 객체의 출력을 음향 객체 검색부(120)가 설정한 단일 지향성 곡선, 또는 기 설정된 값으로 감소시킬 수 있다.The gain control unit 130 may control the gain of the sound object searched by the sound object searching unit 120. [ At this time, the gain control unit 130 may increase the output of the sound object searched by the sound object search unit 120 to a maximum or a predetermined value. Also, the gain control unit 130 may reduce the output of the remaining sound objects excluding the searched sound object to a unidirectional curve set by the sound object search unit 120, or a predetermined value.

또한, 음향 객체 검색부(120)가 사용자에게 설정한 지향성 곡선이 단일 지향성 곡선에서 무지향성 곡선으로 변경되거나, 무지향성 곡선에서 단일 지향성 곡선으로 변경된 경우, 이득 제어부(130)는 음향 객체의 이득이 점진적으로 변경되도록 제어할 수 있다.If the directivity curve set by the sound object search unit 120 is changed from a unidirectional curve to an omnidirectional curve or from an omnidirectional curve to a unidirectional curve, the gain control unit 130 determines whether the gain of the sound object It can be controlled to be gradually changed.

공간 오디오 제어 장치(100)는 사용자의 시선 방향에 대응하는 음향 객체의 소리를 증가시키고, 나머지 음향 객체의 소리를 감소시킴으로써, 사용자가 별도의 조작 없이도 관심 있는 음향 객체의 소리를 선택적으로 청취하도록 할 수 있다.The spatial audio control apparatus 100 increases the sound of the sound object corresponding to the direction of the user's eyes and reduces the sound of the remaining sound objects so that the user can selectively listen to the sound of the sound object of interest without any special operation .

이때, 사용자는 이러한 기능에 의해 바라보는 시야의 소리만 청취함으로써 산만함을 줄이고 몰임감을 높일 수 있게 되며, 관심있는 객체의 소리만 선택하여 청취할 수 있게 된다.At this time, the user can listen to only the sound of the sight viewed by such a function, thereby reducing the distraction and enhancing the mobility, and can select and listen only to the sound of the object of interest.

또한, 공간 오디오 제어 장치(100)는 사용자들의 시선 방향을 추적하여 복수의 출연자가 포함된 콘텐츠를 시청하는 사용자들 각각이 콘텐츠에 출연한 출연자들 중 누구를 보고 있는지를 확인할 수 있다. 따라서, 공간 오디오 제어 장치(100)를 이용하면, 출연자들 각각을 주시한 사용자들의 수 및 출연자들 각각을 주시한 사용자들이 시선을 유지한 시간을 이용하여 출연자들 각각의 인기도를 계산할 수 있으므로, 출연자들의 인기도를 이용한 프로그램을 서비스할 수 있다.In addition, the spatial audio control apparatus 100 can track the direction of the user's eyes, and can confirm which of the cast members who are watching the contents including a plurality of cast members are watching each of the cast members. Therefore, by using the spatial audio control apparatus 100, the popularity of each of the performers can be calculated by using the number of users who watched each of the performers and the time when the users who watched each of the performers kept their eyes, The popularity of the program can be serviced.

예를 들어, 공간 오디오 제어 장치(100)를 이용하면, 콘텐츠의 출연자들간의 경쟁이 포함된 프로그램의 승부를 결정할 수 있다. 구체적으로, 공간 오디오 제어 장치(100)를 이용하여 출연자들 각각의 인기도를 계산하고, 인기도에 따라 경쟁의 승부를 결정함으로써, 프로그램을 시청한 사용자들의 반응에 따라 경쟁의 승부가 결정되도록 할 수 있다.For example, by using the spatial audio control apparatus 100, it is possible to determine a competition of a program including a competition between performers of the contents. Specifically, by using the spatial audio control apparatus 100, it is possible to calculate the popularity of each of the performers, and determine the competition win according to the popularity, so that the competition win is determined according to the response of the users who watched the program .

도 2는 본 발명의 제1 실시예에 따른 공간 오디오 제어 장치의 동작 일례이다.2 is an example of operation of the spatial audio control apparatus according to the first embodiment of the present invention.

공간 오디오 제어 장치(100)는 헤드 트래킹을 이용하여 사용자(210)의 시선 방향을 추적할 수 있다. 그리고, 공간 오디오 제어 장치(100)는 사용자(210)의 시선 방향에 따라 콘텐츠에 포함된 객체들 중 사용자(210)가 주시하고 있는 객체(220)를 식별할 수 있다. 그리고, 공간 오디오 제어 장치(100)는 객체(220)와 관련된 소리를 출력하기 위한 음향 객체를 검색할 수 있다.The spatial audio control apparatus 100 can track the direction of the user 210's gaze using head tracking. The spatial audio control apparatus 100 may identify the object 220 that the user 210 is watching, among the objects included in the content according to the viewing direction of the user 210. Then, the spatial audio control apparatus 100 can search for a sound object for outputting a sound associated with the object 220. [

다음으로, 공간 오디오 제어 장치(100)는 검색한 음향 객체의 출력이 증가하도록 이득을 제어함으로써, 사용자가 주시하고 있는 객체(220)와 관련된 소리를 증가시킬 수 있다. 또한, 공간 오디오 제어 장치(100)는 검색한 음향 객체를 제외한 나머지 음향 객체의 출력이 감소되도록 이득을 제어함으로써, 콘텐츠에 포함된 객체들 중 사용자(210)가 주시하지 않은 객체(230)와 관련된 소리를 감소시킬 수 있다. Next, the spatial audio control apparatus 100 can increase the sound associated with the object 220 that the user is watching by controlling the gain to increase the output of the retrieved sound object. In addition, the spatial audio control apparatus 100 controls the gain so that the output of the sound object other than the searched sound object is reduced, so that the spatial audio control apparatus 100 can control the gain of the sound object Sound can be reduced.

즉, 공간 오디오 제어 장치(100)는 사용자가 주시하고 있는 객체(220)와 관련된 소리를 증가시키고, 사용자(210)가 주시하지 않은 객체(230)와 관련된 소리를 감소시킴으로써, 사용자(210)가 관심을 가지고 주시한 객체(220)와 관련된 소리를 명확하게 청취하도록 할 수 있다.That is, the spatial audio control apparatus 100 increases the sound associated with the object 220 that the user is watching and reduces the sound associated with the object 230 that is not watched by the user 210, So that the user can clearly hear the sound associated with the object 220 watched with interest.

도 3은 본 발명의 제1 실시예에 따른 공간 오디오 제어 장치가 무지향성 곡선을 설정한 경우의 동작 일례이다.3 is an example of operation in the case where the spatial audio control apparatus according to the first embodiment of the present invention sets a non-directional curve.

사용자(310)가 콘텐츠에 포함된 객체들(320, 330, 340)을 주시하지 않는 경우, 공간 오디오 제어 장치(100)는 시선 방향에 대응하는 음향 객체가 검색하지 못할 수 있다.If the user 310 does not see the objects 320, 330, 340 included in the content, the spatial audio control apparatus 100 may not be able to search for sound objects corresponding to the gaze direction.

이때, 공간 오디오 제어 장치(100)는 도 3에 도시된 바와 같이 사용자(310)를 중심으로 무지향성 곡선(311)을 설정할 수 있다. 그리고, 공간 오디오 제어 장치(100)는 콘텐츠에 포함된 객체들(320, 330, 340) 각각에 대응하는 음향 객체들의 이득을 동일하게 제어할 수 있다. 예를 들어, 공간 오디오 제어 장치(100)는 콘텐츠에 포함된 객체들(320, 330, 340) 각각에 대응하는 음향 객체들의 이득을 변경하지 않거나, 동일한 비율로 증가, 또는 감소시킬 수 있다.At this time, the spatial audio control apparatus 100 may set the omnidirectional curve 311 around the user 310 as shown in FIG. Then, the spatial audio control apparatus 100 can control the gains of the sound objects corresponding to the objects 320, 330, and 340 included in the contents equally. For example, the spatial audio control apparatus 100 may not increase, increase, or decrease the gain of the sound objects corresponding to each of the objects 320, 330, and 340 included in the content.

도 4는 본 발명의 제1 실시예에 따른 공간 오디오 제어 장치가 사용자의 시선 방향에 대응하는 음향 객체를 검색하는 과정의 일례이다.4 is an example of a process in which the spatial audio control apparatus according to the first embodiment of the present invention searches for an acoustic object corresponding to the direction of the user's gaze.

사용자의 시선은 콘텐츠를 시청하는 중간에도 자주 변경될 수 있으며, 사용자가 관심을 가지는 객체로 시선을 이동하는 중간에 다른 객체를 통과할 수도 있다. 즉, 사용자의 시선 방향에 대응하는 모든 객체가 사용자가 관심을 가지는 객체가 아닐 수 있다. 또한, 이득을 제어하는 음향 객체의 변경이 계속 발생하는 경우, 출력되는 음향도 불안정해질 가능성이 있다.The user's gaze may change frequently during the viewing of the content, and may pass through other objects in the middle of moving the gaze to the object of interest to the user. That is, all the objects corresponding to the direction of the user's gaze may not be objects of interest to the user. Further, when the change of the acoustic object for controlling the gain continues to occur, there is a possibility that the outputted sound also becomes unstable.

따라서, 공간 오디오 제어 장치(100)는 사용자의 시선 방향이 일정 시간이상 유지되는 경우에만 사용자의 시선 방향에 대응하는 음향 객체를 검색할 수도 있다.Accordingly, the spatial audio control apparatus 100 may search for a sound object corresponding to the user's gaze direction only when the user's gaze direction is maintained for a predetermined time or longer.

구체적으로, 공간 오디오 제어 장치(100)는 도 4에 도시된 바와 같이 사용자(410)를 기준으로 일정 각도의 시선 범위(420)를 설정할 수 있다. 그리고, 일정 시간 이상 시선 범위(420) 안에 위치하고 있던 객체(430)가 있는 경우, 공간 오디오 제어 장치(100)가 객체(430)에 대응하는 음향 객체를 사용자의 시선 방향에 대응하는 음향 객체로 검색할 수 있다.Specifically, the spatial audio control apparatus 100 can set a visual range 420 of a certain angle based on the user 410 as shown in FIG. If there is an object 430 located within the visual range 420 for a predetermined period of time or longer, the spatial audio control apparatus 100 searches for an acoustic object corresponding to the object 430 as an acoustic object corresponding to the user's gaze direction can do.

도 5는 본 발명의 제1 실시예에 따른 공간 오디오 제어 장치가 사용자의 시선 방향의 변경에 따라 공간 오디오를 제어하는 과정의 일례이다.5 is an example of a process in which the spatial audio control apparatus according to the first embodiment of the present invention controls spatial audio according to a change in the direction of a user's gaze.

콘텐츠에 제1 출연자(520), 제2 출연자(530), 제3 출연자(540)가 출연하고 있고, 사용자(510)는 제1 출연자(520)에 관심을 가지고 제1 출연자(520)를 주시할 수 있다.The first cast 520, the second performer 530 and the third performer 540 appear in the content and the user 510 watches the first performer 520 with an interest in the first performer 520 can do.

이때, 공간 오디오 제어 장치(100)는 사용자(510)의 시선 방향에 따라 단일 지향성 곡선(511)을 설정할 수 있다. 그리고, 음향 객체 검색부(120)는 단일 지향성 곡선(511)에 접촉한 제1 출연자(520)에 대응하는 음향 객체를 사용자(510)의 시선 방향에 대응하는 음향 객체로 검색할 수 있다.At this time, the spatial audio control apparatus 100 can set the unidirectional curve 511 according to the viewing direction of the user 510. The sound object searching unit 120 may search for a sound object corresponding to the first performer 520 in contact with the unidirectional curve 511 as a sound object corresponding to the direction of the user 510.

다음으로, 공간 오디오 제어 장치(100)는 제1 출연자(520)에 대응하는 음향 객체가 최대 이득을 가지도록 제어하고, 제2 출연자(530), 및 제3 출연자(540)에 대응하는 음향 객체들의 이득이 감소하도록 제어할 수 있다.Next, the spatial audio control apparatus 100 controls the sound object corresponding to the first performer 520 to have the maximum gain, and controls the second performer 530 and the sound object corresponding to the third performer 540 Can be controlled so as to be reduced.

이때, 공간 오디오 제어 장치(100)는 단일 지향성 곡선(511)에 따라 제2 출연자(530), 및 제3 출연자(540)에 대응하는 음향 객체들의 이득을 제어할 수 있다. 즉, 공간 오디오 제어 장치(100)는 음향 객체와 단일 지향성 곡선(511) 간의 거리가 가까울수록 소리의 출력이 증가하도록 음향 객체의 이득을 제어하고, 음향 객체와 단일 지향성 곡선(511) 간의 거리가 멀수록 소리의 출력이 감소하도록 음향 객체의 이득을 제어할 수 있다. 예를 들어, 공간 오디오 제어 장치(100)는 제2 출연자(530)에 대응하는 음향 객체의 출력이 제3 출연자(540)에 대응하는 음향 객체들의 출력보다 크도록 제2 출연자(530), 및 제3 출연자(540)에 대응하는 음향 객체들의 이득을 제어할 수 있다.At this time, the spatial audio control apparatus 100 can control the gain of the sound objects corresponding to the second performer 530, and the third performer 540 according to the unidirectional curve 511. [ That is, the spatial audio control apparatus 100 controls the gain of the sound object so that the sound output increases as the distance between the sound object and the unidirectional curve 511 increases, and the distance between the sound object and the unidirectional curve 511 becomes The gain of the sound object can be controlled so that the output of the sound decreases as the distance increases. For example, the spatial audio control apparatus 100 may include a second performer 530 such that the output of the acoustic object corresponding to the second performer 530 is greater than the output of acoustic objects corresponding to the third performer 540, and To control the gain of the sound objects corresponding to the third performer 540. [

도 6은 본 발명의 제1 실시예에 따른 공간 오디오 제어 장치가 사용자의 시선 유지 시간에 따라 지향성 곡선을 설정하는 과정의 일례이다.6 is an example of a process in which the spatial audio control apparatus according to the first embodiment of the present invention sets a directivity curve according to a user's sight retention time.

단계(610)에서 공간 오디오 제어 장치(100)는 사용자의 시선 방향의 유지 시간이 임계값 이하인 동안, 음향 객체 검색부(120)는 무지향성 곡선을 설정할 수 있다. 이때, 음향 객체 검색부(120)는 사용자의 시선 방향의 유지 시간이 임계값을 초과하는지 여부를 실시간으로 확인할 수 있다. 그리고, 사용자의 시선 방향의 유지 시간이 임계값을 초과하는 경우, 음향 객체 검색부(120)는 단계(620)를 수행할 수 있다.In step 610, the spatial audio control apparatus 100 may set the omni-directional curve to the sound object search unit 120 while the holding time of the user's gaze direction is equal to or less than the threshold value. At this time, the sound object searching unit 120 can confirm in real time whether or not the holding time of the user's gaze direction exceeds a threshold value. If the retention time of the user's gaze direction exceeds the threshold value, the sound object retrieving unit 120 may perform step 620. [

단계(620)에서 공간 오디오 제어 장치(100)는 무지향성 곡선(611)을 사용자의 시선 방향에 따른 단일 지향성 곡선(612)으로 변경하고, 단일 지향성 곡선에 대응하는 음향 객체를 사용자의 시선 방향에 대응하는 음향 객체로 검색할 수 있다. In step 620, the spatial audio control apparatus 100 changes the omnidirectional curve 611 to the unidirectional curve 612 along the direction of the user's eyes and changes the direction of the user's visual direction It can be searched by the corresponding sound object.

그리고, 공간 오디오 제어 장치(100)는 사용자의 시선 방향에 대응하는 음향 객체와 나머지 음향 객체의 이득을 서로 다르게 제어할 수 있다.Then, the spatial audio control apparatus 100 can control the gain of the sound object corresponding to the user's gaze direction and the gain of the other sound object differently.

도 7은 본 발명의 제1 실시예에 따른 공간 오디오 제어 장치가 설정하는 단일 지향성 곡선의 일례이다.7 is an example of the unidirectional curve set by the spatial audio control apparatus according to the first embodiment of the present invention.

공간 오디오 제어 장치(100)가 사용자의 시선 방향에 따라 설정하는 단일 지향성 곡선은 도 7의 케이스 1에 도시된 바와 같은 타원형일 수도 있고, 도 7의 케이스 2에 도시된 바와 같은 부채꼴 형일 수도 있다. 또한, 공간 오디오 제어 장치(100)가 사용자의 시선 방향에 따라 설정하는 단일 지향성 곡선은 도 7에 도시된 이외에도 다양한 형상을 가질 수 있다.The unidirectional curve set by the spatial audio control apparatus 100 according to the direction of the user's eyes may be an elliptic shape as shown in case 1 in Fig. 7, or a fan shape as shown in case 2 in Fig. In addition, the unidirectional curve set by the spatial audio control apparatus 100 according to the direction of the user's eyes can have various shapes other than those shown in Fig.

도 8은 본 발명의 제2 실시예에 따른 공간 오디오 제어 장치를 나타내는 도면이다. 8 is a diagram illustrating a spatial audio control apparatus according to a second embodiment of the present invention.

제2 실시예에 따른 공간 오디오 제어 장치(800)는 다시점 영상에 따른 공간 오디오 제어 장치이며, HMD가 아니라 TV와 같은 일반 디스플레이를 이용하여 가상 현실 영상 콘텐츠를 재생하는 시스템에서 가상 현실 영상 콘텐츠에 포함된 공간 오디오를 제어할 수 있다.The spatial audio control apparatus 800 according to the second embodiment is a spatial audio control apparatus according to a multi-view image. In the system for reproducing a virtual reality image content using a general display such as a TV rather than an HMD, You can control the embedded spatial audio.

이때, TV와 같은 일반 디스플레이를 이용하여 가상 현실 영상 콘텐츠를 재생하는 경우, 가상 현실 영상 콘텐츠는 복수의 시점 영상들로 구성된 다시점 영상일 수 있다. 그리고, 일반 디스플레이는 복수의 시점 영상들 중에서 사용자가 선택한 하나의 시점 영상을 재생하고, 사용자의 입력에 따라 시점 영상을 변경함으로써, 다른 시점의 시점 영상을 표시할 수 있다.In this case, when a virtual reality image content is reproduced using a general display such as a TV, the virtual reality image content may be a multi-view image including a plurality of viewpoint images. The general display may display one view image selected by the user among the plurality of view images and change the view image according to the input of the user to display the view image of the different view.

공간 오디오 제어 장치(800)는 도 8에 도시된 바와 같이 시점 영상 표시부(810), 음향 객체 제어부(820), 음향 객체 검색부(830), 및 이득 제어부(840)를 포함할 수 있다. 이때, 시점 영상 표시부(810), 음향 객체 제어부(820), 음향 객체 검색부(830), 및 이득 제어부(840)는 서로 다른 프로세스, 또는 하나의 프로세스에서 수행되는 프로그램에 포함된 각각의 모듈일 수 있다.8, the spatial audio control apparatus 800 may include a viewpoint image display unit 810, a sound object control unit 820, a sound object search unit 830, and a gain control unit 840. At this time, the viewpoint image display unit 810, the sound object control unit 820, the sound object search unit 830, and the gain control unit 840 may perform the processes of different modules included in the programs executed in different processes, .

시점 영상 표시부(810)는 복수의 시점 영상들로 구성된 다시점 영상에서 사용자가 선택한 시점 영상을 디스플레이에 표시할 수 있다.The viewpoint image display unit 810 can display a viewpoint image selected by the user on a display on a multi-viewpoint image including a plurality of viewpoint images.

음향 객체 제어부(820)는 사용자가 선택한 시점 영상에 따라 다시점 영상에 포함된 복수의 음향 객체들 각각을 제어할 수 있다. 이때, 음향 객체 제어부(820)는 사용자가 선택한 시점 영상의 시점에 해당하는 각도변위에 따라 음향 객체들을 회전시킬 수 있다.The sound object controller 820 may control each of the plurality of sound objects included in the multi-view image according to the view image selected by the user. At this time, the sound object controller 820 may rotate the sound objects according to the angular displacement corresponding to the viewpoint of the viewpoint image selected by the user.

음향 객체 검색부(830)는 음향 객체 제어부(820)가 제어한 복수의 음향 객체들 중에서 사용자가 선택한 시점 영상에 대응하는 음향 객체를 검색할 수 있다.The sound object searching unit 830 may search for sound objects corresponding to the view image selected by the user among the plurality of sound objects controlled by the sound object controlling unit 820. [

이때, 음향 객체 검색부(830)는 사용자가 선택한 시점 영상을 향하여 단일 지향성 곡선을 설정하고, 단일 지향성 곡선 내부에 위치하거나, 단일 지향성 곡선에 접촉한 음향 객체를 사용자가 선택한 시점 영상에 대응하는 음향 객체로 검색할 수 있다.At this time, the acoustic-object searching unit 830 sets a unidirectional curve toward the viewpoint image selected by the user, and determines the acoustic object corresponding to the viewpoint image selected by the user, which is located within the unidirectional curve or touches the unidirectional curve, You can search by object.

이득 제어부(840)는 음향 객체 검색부(830)가 검색한 음향 객체의 이득을 제어할 수 있다.The gain control unit 840 may control the gain of the sound object searched by the sound object searching unit 830. [

이때, 이득 제어부(840)는 음향 객체 검색부(830)가 검색한 음향 객체의 출력이 증가되도록 음향 객체 검색부(830)가 검색한 음향 객체의 이득을 제어할 수 있다. 또한, 이득 제어부(840)는 음향 객체 검색부(830)가 검색한 음향 객체를 제외한 나머지 음향 객체의 출력이 단일 지향성 곡선에 따라 감소 되도록 나머지 음향 객체의 이득을 제어할 수 있다. At this time, the gain control unit 840 can control the gain of the sound object searched by the sound object search unit 830 so that the output of the sound object searched by the sound object search unit 830 is increased. In addition, the gain controller 840 may control the gain of the remaining sound objects such that the output of the remaining sound objects excluding the sound object searched by the sound object searching unit 830 is reduced according to the unidirectional curve.

도 9는 본 발명의 제2 실시예에 따른 공간 오디오 제어 장치의 동작 일례이다.9 is an operation example of the spatial audio control apparatus according to the second embodiment of the present invention.

단계(910)에서 공간 오디오 제어 장치(800)는 객체(911,912,913)들 각각이 포함된 시점 영상들을 사용자의 입력에 따라 변경하여 디스플레이(900)에 표시할 수 있다.In step 910, the spatial audio control apparatus 800 may change the view images including the objects 911, 912, and 913 according to the input of the user and display the modified view images on the display 900.

단계(920)에서 공간 오디오 제어 장치(800)는 디스플레이(900)에 표시되고 있는 시점 영상에 해당하는 각도변위에 따라 객체(911,912,913)들 각각에 대응하는 음향 객체들을 회전시킬 수 있다. 그리고, 공간 오디오 제어 장치(800)는 디스플레이(900)에 표시된 시점 영상을 향하여 단일 지향성 곡선(921)을 설정하여 객체(911)에 대응하는 음향 객체를 검색할 수 있다.In step 920, the spatial audio control apparatus 800 may rotate the sound objects corresponding to the objects 911, 912, and 913 according to the angular displacement corresponding to the view image displayed on the display 900. The spatial audio control apparatus 800 can then search for a sound object corresponding to the object 911 by setting a unidirectional curve 921 toward the viewpoint image displayed on the display 900. [

마지막으로 공간 오디오 제어 장치(800)는 객체(911)에 대응하는 음향 객체의 출력이 증가되도록 음향 객체 검색부(830)가 검색한 음향 객체의 이득을 제어할 수 있다. 또한, 공간 오디오 제어 장치(800)는 객체(912)에 대응하는 음향 객체, 및 객체(913)에 대응하는 음향 객체의 출력이 단일 지향성 곡선(921)에 따라 감소 되도록 객체(912)에 대응하는 음향 객체, 및 객체(913)에 대응하는 음향 객체의 이득을 제어할 수 있다. Finally, the spatial audio control apparatus 800 can control the gain of the sound object searched by the sound object search unit 830 so that the output of the sound object corresponding to the object 911 is increased. In addition, the spatial audio control apparatus 800 may be configured to control the spatial audio control apparatus 800 such that the sound object corresponding to the object 912, and the sound object corresponding to the object 912, corresponding to the object 912 such that the output of the sound object corresponding to the object 913 is reduced according to the unidirectional curve 921 The sound object, and the gain of the sound object corresponding to the object 913 can be controlled.

도 10은 본 발명의 제1 실시예에 따른 공간 오디오 제어 방법을 도시한 플로우차트이다.10 is a flowchart showing a spatial audio control method according to the first embodiment of the present invention.

단계(1010)에서 음향 객체 검색부(120)는 사용자를 기준으로 무지향성 곡선을 설정할 수 있다.In step 1010, the sound object search unit 120 may set a non-directional curve based on the user.

단계(1020)에서 시선 추적부(110)는 사용자의 시선 방향을 추적할 수 있다. 이때, 시선 추적부(110)는 사용자가 착용한 HMD의 헤드 트래킹을 이용하여 사용자의 머리 방향을 측정하고, 측정한 사용자의 머리 방향에 따라 사용자의 시선 방향을 추적할 수 있다. In step 1020, the gaze tracking unit 110 may track the gaze direction of the user. At this time, the gaze tracking unit 110 measures the head direction of the user using the head tracking of the HMD worn by the user, and can track the direction of the user's gaze according to the measured head direction.

단계(1030)에서 음향 객체 검색부(120)는 사용자의 시선 방향이 유지되는 시간을 측정하고, 측정한 시선 방향의 유지 시간이 임계값을 초과하는지 여부를 확인할 수 있다. 측정한 시선 방향의 유지 시간이 임계값을 초과하는 경우, 음향 객체 검색부(120)는 단계(1040)을 수행할 수 있다. 그리고, 측정한 시선 방향의 유지 시간이 임계값 이하인 경우, 음향 객체 검색부(120)는 측정한 시선 방향의 유지 시간이 임계값을 초과할 때까지 단계(1020)를 반복하여 수행함으로써, 단계(1010)에서 사용자에게 설정한 무지향성 곡선을 유지할 수 있다.In operation 1030, the sound object search unit 120 may measure a time at which the user's gaze direction is maintained and determine whether the measured time duration of the gaze direction exceeds a threshold value. If the measured retention time in the line-of-sight direction exceeds the threshold value, the sound object search unit 120 may perform step 1040. If the measured retention time of the visual line direction is equal to or less than the threshold value, the acoustic object retrieving unit 120 repeatedly performs step 1020 until the measured retention time of the visual line direction exceeds the threshold value, 1010) to maintain the omnidirectional curve set for the user.

단계(1040)에서 음향 객체 검색부(120)는 음향 객체 검색부(120)는 사용자의 시선 방향에 따라 단일 지향성 곡선을 설정할 수 있다. In operation 1040, the sound object searching unit 120 may set a unidirectional curve according to the direction of the user's sight line.

단계(1050)에서 음향 객체 검색부(120)는 음향을 출력하는 복수의 음향 객체들 중에서 단일 지향성 곡선 내부에 위치하거나, 단일 지향성 곡선에 접촉한 음향 객체를 사용자의 시선 방향에 대응하는 음향 객체로 검색할 수 있다. In step 1050, the sound object search unit 120 searches for a sound object that is located within a unidirectional curve among a plurality of sound objects outputting sound, or that contacts the unidirectional curve, as an acoustic object corresponding to the direction of the user's eyes You can search.

단계(1060)에서 음향 객체 검색부(120)는 단계(1050)에서 사용자의 시선 방향에 대응하는 음향 객체가 검색되었는지 여부를 확인할 수 있다. 사용자의 시선 방향에 대응하는 음향 객체가 검색된 경우, 음향 객체 검색부(120)는 단계(1070)를 수행할 수 있다. 사용자의 시선 방향에 대응하는 음향 객체가 되지 않은 경우, 음향 객체 검색부(120)는 단계(1010)를 수행하여 무지향성 곡선을 설정할 수 있다.In step 1060, the sound object search unit 120 may check in step 1050 whether or not an acoustic object corresponding to the user's gaze direction is searched. If the sound object corresponding to the user's gaze direction is searched, the sound object search unit 120 may perform step 1070. [ If the sound object corresponding to the direction of the user's gaze is not present, the sound object searching unit 120 may perform step 1010 to set the omnidirectional curve.

단계(1070)에서 이득 제어부(130)는 단계(1050)에서 검색된 음향 객체의 이득을 제어할 수 있다. 이때, 이득 제어부(130)는 단계(1050)에서 검색된 음향 객체의 출력이 증가되도록 단계(1050)에서 검색된 음향 객체의 이득을 제어할 수 있다. 또한, 이득 제어부(130)는 단계(1050)에서 검색된 음향 객체를 제외한 나머지 음향 객체의 출력이 감소되도록 나머지 객체의 이득을 제어할 수 있다.In step 1070, the gain control unit 130 may control the gain of the sound object retrieved in step 1050. At this time, the gain control unit 130 may control the gain of the sound object searched in step 1050 so that the output of the sound object searched in step 1050 is increased. Also, the gain control unit 130 may control the gain of the remaining objects so that the output of the remaining sound objects excluding the sound object searched in step 1050 is reduced.

도 11은 본 발명의 제2 실시예에 따른 공간 오디오 제어 방법을 도시한 플로우차트이다.11 is a flowchart showing a spatial audio control method according to the second embodiment of the present invention.

단계(1110)에서 시점 영상 표시부(810)는 복수의 시점 영상들로 구성된 다시점 영상에서 사용자가 선택한 시점 영상을 디스플레이에 표시할 수 있다.In step 1110, the viewpoint image display unit 810 may display a viewpoint image selected by the user on a multi-viewpoint image including a plurality of viewpoint images.

단계(1120)에서 음향 객체 제어부(820)는 단계(1110)에서 디스플레이에 표시한 시점 영상의 시점에 해당하는 각도변위에 따라 음향 객체들을 회전시킬 수 있다.In step 1120, the sound object controller 820 may rotate the sound objects according to the angular displacement corresponding to the time point of the viewpoint image displayed on the display in step 1110.

단계(1130)에서 음향 객체 검색부(830)는 단계(1110)에서 디스플레이에 표시한 시점 영상을 향하여 단일 지향성 곡선을 설정하고, 단일 지향성 곡선 내부에 위치하거나, 단일 지향성 곡선에 접촉한 음향 객체를 사용자가 선택한 시점 영상에 대응하는 음향 객체로 검색할 수 있다.In step 1130, the sound object search unit 830 sets a unidirectional curve toward the viewpoint image displayed on the display in step 1110, and determines a sound object located inside the unidirectional curve or in contact with the unidirectional curve It is possible to search by the sound object corresponding to the view image selected by the user.

단계(1140)에서 이득 제어부(840)는 단계(1130)에서 검색한 음향 객체의 이득을 제어할 수 있다. 이때, 이득 제어부(840)는 단계(1130)에서 검색한 음향 객체의 출력이 증가되도록 단계(1130)에서 검색한 음향 객체의 이득을 제어할 수 있다. 또한, 이득 제어부(840)는 단계(1130)에서 검색한 음향 객체를 제외한 나머지 음향 객체의 출력이 단일 지향성 곡선에 따라 감소 되도록 나머지 음향 객체의 이득을 제어할 수 있다. In step 1140, the gain control unit 840 may control the gain of the sound object retrieved in step 1130. At this time, the gain control unit 840 may control the gain of the sound object searched in step 1130 so that the output of the sound object searched in step 1130 is increased. In addition, the gain control unit 840 may control the gain of the remaining sound objects so that the output of the remaining sound objects excluding the sound object searched in step 1130 is reduced according to the unidirectional curve.

본 발명은 사용자의 시선 방향에 대응하는 음향 객체의 소리를 증가시키고, 나머지 음향 객체의 소리를 감소시킴으로써, 사용자가 별도의 조작 없이도 관심 있는 음향 객체의 소리를 선택적으로 청취하도록 할 수 있다.The present invention can increase the sound of the sound object corresponding to the direction of the user's eyes and reduce the sound of the remaining sound objects so that the user can selectively listen to the sound of the sound object of interest without any special operation.

또한, 본 발명은 사용자들의 시선 방향을 추적하여 복수의 출연자가 포함된 콘텐츠를 시청하는 사용자들 각각이 관심을 가지는 출연자들을 식별하고, 식별 결과에 따라 출연자들 각각의 인기도를 계산할 수 있으므로, 출연자들의 인기도를 이용한 프로그램을 서비스할 수 있다.In addition, the present invention can identify the performers who are interested in each of the users who watch the contents including a plurality of performers by tracking the gaze directions of the users, and calculate the popularity of each of the performers according to the identification result, The program using the popularity can be served.

한편, 본 발명에 따른 방법은 컴퓨터에서 실행될 수 있는 프로그램으로 작성되어 마그네틱 저장매체, 광학적 판독매체, 디지털 저장매체 등 다양한 기록 매체로도 구현될 수 있다.Meanwhile, the method according to the present invention may be embodied as a program that can be executed by a computer, and may be embodied as various recording media such as a magnetic storage medium, an optical reading medium, and a digital storage medium.

본 명세서에 설명된 각종 기술들의 구현들은 디지털 전자 회로조직으로, 또는 컴퓨터 하드웨어, 펌웨어, 소프트웨어로, 또는 그들의 조합들로 구현될 수 있다. 구현들은 데이터 처리 장치, 예를 들어 프로그램가능 프로세서, 컴퓨터, 또는 다수의 컴퓨터들의 동작에 의한 처리를 위해, 또는 이 동작을 제어하기 위해, 컴퓨터 프로그램 제품, 즉 정보 캐리어, 예를 들어 기계 판독가능 저장 장치(컴퓨터 판독가능 매체) 또는 전파 신호에서 유형적으로 구체화된 컴퓨터 프로그램으로서 구현될 수 있다. 상술한 컴퓨터 프로그램(들)과 같은 컴퓨터 프로그램은 컴파일된 또는 인터프리트된 언어들을 포함하는 임의의 형태의 프로그래밍 언어로 기록될 수 있고, 독립형 프로그램으로서 또는 모듈, 구성요소, 서브루틴, 또는 컴퓨팅 환경에서의 사용에 적절한 다른 유닛으로서 포함하는 임의의 형태로 전개될 수 있다. 컴퓨터 프로그램은 하나의 사이트에서 하나의 컴퓨터 또는 다수의 컴퓨터들 상에서 처리되도록 또는 다수의 사이트들에 걸쳐 분배되고 통신 네트워크에 의해 상호 연결되도록 전개될 수 있다.Implementations of the various techniques described herein may be implemented in digital electronic circuitry, or in computer hardware, firmware, software, or combinations thereof. Implementations may be implemented in a computer program product, such as an information carrier, e.g., a machine readable storage device, such as a computer readable storage medium, for example, for processing by a data processing apparatus, Apparatus (computer readable medium) or as a computer program tangibly embodied in a propagation signal. A computer program, such as the computer program (s) described above, may be written in any form of programming language, including compiled or interpreted languages, and may be stored as a stand-alone program or in a module, component, subroutine, As other units suitable for use in the present invention. A computer program may be deployed to be processed on one computer or multiple computers at one site or distributed across multiple sites and interconnected by a communications network.

컴퓨터 프로그램의 처리에 적절한 프로세서들은 예로서, 범용 및 특수 목적 마이크로프로세서들 둘 다, 및 임의의 종류의 디지털 컴퓨터의 임의의 하나 이상의 프로세서들을 포함한다. 일반적으로, 프로세서는 판독 전용 메모리 또는 랜덤 액세스 메모리 또는 둘 다로부터 명령어들 및 데이터를 수신할 것이다. 컴퓨터의 요소들은 명령어들을 실행하는 적어도 하나의 프로세서 및 명령어들 및 데이터를 저장하는 하나 이상의 메모리 장치들을 포함할 수 있다. 일반적으로, 컴퓨터는 데이터를 저장하는 하나 이상의 대량 저장 장치들, 예를 들어 자기, 자기-광 디스크들, 또는 광 디스크들을 포함할 수 있거나, 이것들로부터 데이터를 수신하거나 이것들에 데이터를 송신하거나 또는 양쪽으로 되도록 결합될 수도 있다. 컴퓨터 프로그램 명령어들 및 데이터를 구체화하는데 적절한 정보 캐리어들은 예로서 반도체 메모리 장치들, 예를 들어, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(Magnetic Media), CD-ROM(Compact Disk Read Only Memory), DVD(Digital Video Disk)와 같은 광 기록 매체(Optical Media), 플롭티컬 디스크(Floptical Disk)와 같은 자기-광 매체(Magneto-Optical Media), 롬(ROM, Read Only Memory), 램(RAM, Random Access Memory), 플래시 메모리, EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM) 등을 포함한다. 프로세서 및 메모리는 특수 목적 논리 회로조직에 의해 보충되거나, 이에 포함될 수 있다.Processors suitable for processing a computer program include, by way of example, both general purpose and special purpose microprocessors, and any one or more processors of any kind of digital computer. Generally, a processor will receive instructions and data from a read-only memory or a random access memory or both. The elements of a computer may include at least one processor for executing instructions and one or more memory devices for storing instructions and data. Generally, a computer may include one or more mass storage devices for storing data, such as magnetic, magneto-optical disks, or optical disks, or may receive data from them, transmit data to them, . ≪ / RTI > Information carriers suitable for embodying computer program instructions and data include, for example, semiconductor memory devices, for example, magnetic media such as hard disks, floppy disks and magnetic tape, compact disk read only memory A magneto-optical medium such as a floppy disk, an optical disk such as a DVD (Digital Video Disk), a ROM (Read Only Memory), a RAM , Random Access Memory), a flash memory, an EPROM (Erasable Programmable ROM), an EEPROM (Electrically Erasable Programmable ROM), and the like. The processor and memory may be supplemented or included by special purpose logic circuitry.

또한, 컴퓨터 판독가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용매체일 수 있고, 컴퓨터 저장매체 및 전송매체를 모두 포함할 수 있다.In addition, the computer-readable medium can be any available media that can be accessed by a computer, and can include both computer storage media and transmission media.

본 명세서는 다수의 특정한 구현물의 세부사항들을 포함하지만, 이들은 어떠한 발명이나 청구 가능한 것의 범위에 대해서도 제한적인 것으로서 이해되어서는 안되며, 오히려 특정한 발명의 특정한 실시형태에 특유할 수 있는 특징들에 대한 설명으로서 이해되어야 한다. 개별적인 실시형태의 문맥에서 본 명세서에 기술된 특정한 특징들은 단일 실시형태에서 조합하여 구현될 수도 있다. 반대로, 단일 실시형태의 문맥에서 기술한 다양한 특징들 역시 개별적으로 혹은 어떠한 적절한 하위 조합으로도 복수의 실시형태에서 구현 가능하다. 나아가, 특징들이 특정한 조합으로 동작하고 초기에 그와 같이 청구된 바와 같이 묘사될 수 있지만, 청구된 조합으로부터의 하나 이상의 특징들은 일부 경우에 그 조합으로부터 배제될 수 있으며, 그 청구된 조합은 하위 조합이나 하위 조합의 변형물로 변경될 수 있다.While the specification contains a number of specific implementation details, it should be understood that they are not to be construed as limitations on the scope of any invention or claim, but rather on the description of features that may be specific to a particular embodiment of a particular invention Should be understood. Certain features described herein in the context of separate embodiments may be implemented in combination in a single embodiment. Conversely, various features described in the context of a single embodiment may also be implemented in multiple embodiments, either individually or in any suitable subcombination. Further, although the features may operate in a particular combination and may be initially described as so claimed, one or more features from the claimed combination may in some cases be excluded from the combination, Or a variant of a subcombination.

마찬가지로, 특정한 순서로 도면에서 동작들을 묘사하고 있지만, 이는 바람직한 결과를 얻기 위하여 도시된 그 특정한 순서나 순차적인 순서대로 그러한 동작들을 수행하여야 한다거나 모든 도시된 동작들이 수행되어야 하는 것으로 이해되어서는 안 된다. 특정한 경우, 멀티태스킹과 병렬 프로세싱이 유리할 수 있다. 또한, 상술한 실시형태의 다양한 장치 컴포넌트의 분리는 그러한 분리를 모든 실시형태에서 요구하는 것으로 이해되어서는 안되며, 설명한 프로그램 컴포넌트와 장치들은 일반적으로 단일의 소프트웨어 제품으로 함께 통합되거나 다중 소프트웨어 제품에 패키징 될 수 있다는 점을 이해하여야 한다.Likewise, although the operations are depicted in the drawings in a particular order, it should be understood that such operations must be performed in that particular order or sequential order shown to achieve the desired result, or that all illustrated operations should be performed. In certain cases, multitasking and parallel processing may be advantageous. Also, the separation of the various device components of the above-described embodiments should not be understood as requiring such separation in all embodiments, and the described program components and devices will generally be integrated together into a single software product or packaged into multiple software products It should be understood.

한편, 본 명세서와 도면에 개시된 본 발명의 실시 예들은 이해를 돕기 위해 특정 예를 제시한 것에 지나지 않으며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시 예들 이외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 자명한 것이다.It should be noted that the embodiments of the present invention disclosed in the present specification and drawings are only illustrative of specific examples for the purpose of understanding and are not intended to limit the scope of the present invention. It will be apparent to those skilled in the art that other modifications based on the technical idea of the present invention are possible in addition to the embodiments disclosed herein.

110: 시선 추적부
120: 음향 객체 추적부
130: 이득 제어부110: eye tracking unit
120: acoustic object tracking unit
130:

Claims (19)

사용자의 시선 방향을 추적하는 단계;
음향을 출력하는 복수의 음향 객체들 중에서 상기 시선 방향에 대응하는 음향 객체를 검색하는 단계; 및
검색한 음향 객체의 이득을 제어하는 단계
를 포함하는 시선 추적에 따른 공간 오디오 제어 방법.Tracking the user's gaze direction;
Searching for a sound object corresponding to the line of sight among a plurality of sound objects outputting sound; And
Controlling the gain of the retrieved sound object
Wherein the spatial audio control method comprises: 제1항에 있어서,
상기 추적하는 단계는,
헤드 트래킹을 이용하여 상기 사용자의 머리 방향을 측정하는 단계; 및
상기 사용자의 머리 방향에 따라 상기 사용자의 시선 방향을 추적하는 단계
를 포함하는 시선 추적에 따른 공간 오디오 제어 방법.The method according to claim 1,
Wherein the tracing comprises:
Measuring head direction of the user using head tracking; And
Tracking the direction of the user's gaze along the head direction of the user
Wherein the spatial audio control method comprises: 제1항에 있어서,
상기 검색하는 단계는,
상기 시선 방향에 따라 단일 지향성 곡선을 설정하는 단계;
상기 단일 지향성 곡선 내부에 위치하거나, 상기 단일 지향성 곡선에 접촉한 음향 객체를 상기 시선 방향에 대응하는 음향 객체로 검색하는 단계; 및
상기 시선 방향에 대응하는 음향 객체가 검색되지 않는 경우, 무지향성 곡선을 설정하는 단계
를 포함하는 시선 추적에 따른 공간 오디오 제어 방법.The method according to claim 1,
Wherein the searching comprises:
Setting a unidirectional curve along the viewing direction;
Searching for an acoustic object in the unidirectional curve or in contact with the unidirectional curve as an acoustic object corresponding to the viewing direction; And
Setting an omnidirectional curve if the sound object corresponding to the gaze direction is not searched;
Wherein the spatial audio control method comprises: 제3항에 있어서,
상기 제어하는 단계는,
상기 검색한 음향 객체의 출력을 증가시키는 단계;
상기 검색한 음향 객체를 제외한 나머지 음향 객체의 출력을 상기 단일 지향성 곡선에 따라 감소시키는 단계; 및
상기 무지향성 곡선이 설정된 경우, 상기 음향 객체들의 이득을 동일하게 제어하는 단계
를 포함하는 시선 추적에 따른 공간 오디오 제어 방법.The method of claim 3,
Wherein the controlling comprises:
Increasing an output of the retrieved sound object;
Reducing an output of remaining sound objects excluding the searched sound object according to the unidirectional curve; And
If the omnidirectional curve is set, controlling the gain of the sound objects equally
Wherein the spatial audio control method comprises: 제3항에 있어서,
상기 검색하는 단계는,
사용자의 시선 방향의 이동에 따라 상기 시선 방향에 대응하는 음향 객체의 검색 결과가 변경되면, 상기 단일 지향성 곡선을 상기 무지향성 곡선으로 변경하거나, 상기 무지향성 곡선을 상기 단일 지향성 곡선으로 변경하고,
상기 제어하는 단계는,
상기 단일 지향성 곡선, 또는 상기 무지향성 곡선이 변경된 경우, 음향 객체의 이득이 점진적으로 변경되도록 제어하는 시선 추적에 따른 공간 오디오 제어 방법.The method of claim 3,
Wherein the searching comprises:
Changing the unidirectional curve to the omnidirectional curve or changing the omnidirectional curve to the unidirectional curve when the search result of the acoustic object corresponding to the viewing direction changes according to the movement of the user's gaze direction,
Wherein the controlling comprises:
And controlling the gain of the sound object to gradually change when the unidirectional curve or the omnidirectional curve is changed. 제1항에 있어서,
상기 검색하는 단계는,
상기 시선 방향이 유지되는 시간을 측정하는 단계;
측정한 시간이 임계값 이하인 경우, 무지향성 곡선을 설정하는 단계; 및
측정한 시간이 임계값을 초과하는 경우, 무지향성 곡선을 시선 방향에 따른 단일 지향성 곡선으로 변경하고, 상기 단일 지향성 곡선에 대응하는 음향 객체를 검색하는 단계;
를 포함하는 시선 추적에 따른 공간 오디오 제어 방법.The method according to claim 1,
Wherein the searching comprises:
Measuring a time at which the viewing direction is maintained;
Setting the omnidirectional curve if the measured time is less than or equal to a threshold value; And
Changing the omnidirectional curve to a unidirectional curve along the viewing direction when the measured time exceeds the threshold and searching for an acoustic object corresponding to the unidirectional curve;
Wherein the spatial audio control method comprises: 제1항에 있어서,
상기 검색하는 단계는,
상기 시선 방향에 대응하는 음향 객체가 검색되지 않은 경우, 사용자를 중심으로 무지향성 곡선을 설정하고,
상기 제어하는 단계는,
상기 음향을 출력하는 복수의 음향 객체들의 이득을 동일하게 제어하는 시선 추적에 따른 공간 오디오 제어 방법.The method according to claim 1,
Wherein the searching comprises:
When a sound object corresponding to the visual line direction is not searched, a non-directional curve is set around the user,
Wherein the controlling comprises:
And controlling the gains of the plurality of sound objects outputting the sound to be equal to each other. 복수의 시점 영상들로 구성된 다시점 영상에서 사용자가 선택한 시점 영상을 화면에 표시하는 단계;
상기 사용자가 선택한 시점 영상에 따라 상기 다시점 영상에 포함된 복수의 음향 객체들 각각을 제어하는 단계;
제어된 복수의 음향 객체들 중에서 상기 사용자가 선택한 시점 영상에 대응하는 음향 객체를 검색하는 단계; 및
검색한 음향 객체의 이득을 제어하는 단계
를 포함하는 다시점 영상에 따른 공간 오디오 제어 방법.Displaying a viewpoint image selected by a user on a screen in a multi-view image including a plurality of viewpoint images;
Controlling each of the plurality of sound objects included in the multi-view image according to the view image selected by the user;
Searching for a sound object corresponding to a viewpoint image selected by the user from a plurality of controlled sound objects; And
Controlling the gain of the retrieved sound object
Wherein the spatial audio control method comprises: 제8항에 있어서,
상기 검색하는 단계는,
상기 사용자가 선택한 시점 영상을 향하여 단일 지향성 곡선을 설정하는 단계; 및
상기 단일 지향성 곡선 내부에 위치하거나, 상기 단일 지향성 곡선에 접촉한 음향 객체를 검색하는 단계
를 포함하는 다시점 영상에 따른 공간 오디오 제어 방법.9. The method of claim 8,
Wherein the searching comprises:
Setting a unidirectional curve toward the viewpoint image selected by the user; And
Searching for an acoustic object located within the unidirectional curve or in contact with the unidirectional curve,
Wherein the spatial audio control method comprises: 제9항에 있어서,
상기 제어하는 단계는,
상기 검색한 음향 객체의 출력을 증가시키는 단계; 및
상기 검색한 음향 객체를 제외한 나머지 음향 객체의 출력을 상기 단일 지향성 곡선에 따라 감소시키는 단계
를 포함하는 다시점 영상에 따른 공간 오디오 제어 방법.10. The method of claim 9,
Wherein the controlling comprises:
Increasing an output of the retrieved sound object; And
Reducing the output of the sound object other than the searched sound object according to the unidirectional curve
Wherein the spatial audio control method comprises: 사용자의 시선 방향을 추적하는 시선 추적부;
음향을 출력하는 복수의 음향 객체들 중에서 상기 시선 방향에 대응하는 음향 객체를 검색하는 음향 객체 검색부; 및
검색한 음향 객체의 이득을 제어하는 이득 제어부
를 포함하는 시선 추적에 따른 공간 오디오 제어 장치.A gaze tracking unit for tracking a gaze direction of a user;
An acoustic object search unit for searching for a sound object corresponding to the line of sight among a plurality of sound objects outputting sound; And
A gain controller for controlling a gain of the retrieved acoustic object;
Wherein the spatial audio control unit comprises: 제11항에 있어서,
상기 시선 추적부는,
헤드 트래킹을 이용하여 상기 사용자의 머리 방향을 측정하고, 상기 사용자의 머리 방향에 따라 상기 사용자의 시선 방향을 추적하는 시선 추적에 따른 공간 오디오 제어 장치.12. The method of claim 11,
The eye-
A method of tracking a line of sight of a user by measuring head direction of a user using head tracking and tracking the direction of a user's gaze along a head direction of the user. 제11항에 있어서,
상기 음향 객체 검색부는,
상기 시선 방향에 따라 단일 지향성 곡선을 설정하고, 상기 단일 지향성 곡선 내부에 위치하거나, 상기 단일 지향성 곡선에 접촉한 음향 객체를 상기 시선 방향에 대응하는 음향 객체로 검색하며, 상기 시선 방향에 대응하는 음향 객체가 검색되지 않는 경우, 무지향성 곡선을 설정하는 시선 추적에 따른 공간 오디오 제어 장치.12. The method of claim 11,
Wherein the sound object searching unit comprises:
And a sound object corresponding to the one directional curve is searched for as a sound object corresponding to the direction of the visual axis, and a sound object corresponding to the visual direction A spatial audio control apparatus according to eye tracking setting an omnidirectional curve when an object is not detected. 제13항에 있어서,
상기 이득 제어부는,
상기 검색한 음향 객체의 출력을 증가시키고, 상기 검색한 음향 객체를 제외한 나머지 음향 객체의 출력을 상기 단일 지향성 곡선에 따라 감소시키며, 상기 무지향성 곡선이 설정된 경우, 상기 음향 객체들의 이득을 동일하게 제어하는 시선 추적에 따른 공간 오디오 제어 장치.14. The method of claim 13,
The gain control unit includes:
Wherein the control unit increases the output of the searched sound object and decreases the output of the sound object other than the searched sound object according to the unidirectional curve, and when the omnidirectional curve is set, A spatial audio control device according to a gaze tracking. 제13항에 있어서,
상기 음향 객체 검색부는,
사용자의 시선 방향의 이동에 따라 상기 시선 방향에 대응하는 음향 객체의 검색 결과가 변경되면, 상기 단일 지향성 곡선을 상기 무지향성 곡선으로 변경하거나, 상기 무지향성 곡선을 상기 단일 지향성 곡선으로 변경하고,
상기 이득 제어부는,
상기 단일 지향성 곡선, 또는 상기 무지향성 곡선이 변경된 경우, 음향 객체의 이득이 점진적으로 변경되도록 제어하는 시선 추적에 따른 공간 오디오 제어 장치.14. The method of claim 13,
Wherein the sound object searching unit comprises:
Changing the unidirectional curve to the omnidirectional curve or changing the omnidirectional curve to the unidirectional curve when the search result of the acoustic object corresponding to the viewing direction changes according to the movement of the user's gaze direction,
The gain control unit includes:
Wherein the unidirectional curve, or the non-directional curve, is changed, the gain of the acoustic object is gradually changed. 제11항에 있어서,
상기 음향 객체 검색부는,
상기 시선 방향이 유지되는 시간을 측정하고, 측정한 시간이 임계값 이하인 경우, 무지향성 곡선을 설정하며, 측정한 시간이 임계값을 초과하는 경우, 무지향성 곡선을 시선 방향에 따른 단일 지향성 곡선으로 변경하고, 상기 단일 지향성 곡선에 대응하는 음향 객체를 검색하는 시선 추적에 따른 공간 오디오 제어 장치.12. The method of claim 11,
Wherein the sound object searching unit comprises:
The omnidirectional curve is set when the measured time is less than or equal to the threshold value and the omnidirectional curve is set as a unidirectional curve along the eye direction when the measured time exceeds the threshold value And searches for an acoustic object corresponding to the unidirectional curve. 제11항에 있어서,
상기 음향 객체 검색부는,
상기 시선 방향에 대응하는 음향 객체가 검색되지 않은 경우, 사용자를 중심으로 무지향성 곡선을 설정하고,
상기 이득 제어부는,
상기 음향을 출력하는 복수의 음향 객체들의 이득을 동일하게 제어하는 시선 추적에 따른 공간 오디오 제어 장치.12. The method of claim 11,
Wherein the sound object searching unit comprises:
When a sound object corresponding to the visual line direction is not searched, a non-directional curve is set around the user,
The gain control unit includes:
Wherein the gains of the plurality of sound objects outputting the sound are controlled equally. 복수의 시점 영상들로 구성된 다시점 영상에서 사용자가 선택한 시점 영상을 화면에 표시하는 시점 영상 표시부;
상기 사용자가 선택한 시점 영상에 따라 상기 다시점 영상에 포함된 복수의 음향 객체들 각각을 제어하는 음향 객체 제어부;
제어된 복수의 음향 객체들 중에서 상기 사용자가 선택한 시점 영상에 대응하는 음향 객체를 검색하는 음향 객체 검색부; 및
검색한 음향 객체의 이득을 제어하는 이득 제어부
를 포함하는 다시점 영상에 따른 공간 오디오 제어 장치.A viewpoint image display unit for displaying a viewpoint image selected by a user on a screen in a multi-viewpoint image including a plurality of viewpoint images;
A sound object controller for controlling each of the plurality of sound objects included in the multi-view image according to the view image selected by the user;
An acoustic object search unit for searching for a sound object corresponding to a viewpoint image selected by the user from a plurality of controlled sound objects; And
A gain controller for controlling a gain of the retrieved acoustic object;
Wherein the spatial audio control unit comprises: 제19항에 있어서,
상기 이득 제어부는,
상기 검색한 음향 객체의 출력을 증가시키고, 상기 검색한 음향 객체를 제외한 나머지 음향 객체의 출력을 상기 단일 지향성 곡선에 따라 감소시키는 다시점 영상에 따른 공간 오디오 제어 장치.20. The method of claim 19,
The gain control unit includes:
And increasing the output of the searched sound object and decreasing the output of the sound object other than the searched sound object according to the unidirectional curve.
KR1020170156722A 2017-04-20 2017-11-22 Apparatus and method for controlling spatial audio according to eye tracking KR102311024B1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/KR2018/004331 WO2018194320A1 (en) 2017-04-20 2018-04-13 Spatial audio control device according to gaze tracking and method therefor
CN201880025963.3A CN110573995B (en) 2017-04-20 2018-04-13 Spatial audio control device and method based on sight tracking

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020170051162 2017-04-20
KR20170051162 2017-04-20

Publications (2)

Publication Number Publication Date
KR20180118034A true KR20180118034A (en) 2018-10-30
KR102311024B1 KR102311024B1 (en) 2021-10-12

Family

ID=64100887

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170156722A KR102311024B1 (en) 2017-04-20 2017-11-22 Apparatus and method for controlling spatial audio according to eye tracking

Country Status (2)

Country Link
KR (1) KR102311024B1 (en)
CN (1) CN110573995B (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110413108A (en) * 2019-06-28 2019-11-05 广东虚拟现实科技有限公司 Processing method, device, system, electronic equipment and the storage medium of virtual screen

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023250171A1 (en) * 2022-06-24 2023-12-28 Rovi Guides, Inc. Systems and methods for orientation-responsive audio enhancement

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140375558A1 (en) * 2012-12-21 2014-12-25 United Video Properties, Inc. Systems and methods for automatically adjusting audio based on gaze point
JP2016033764A (en) * 2014-07-31 2016-03-10 セイコーエプソン株式会社 Display device, control method therefor, and program
US20170045941A1 (en) * 2011-08-12 2017-02-16 Sony Interactive Entertainment Inc. Wireless Head Mounted Display with Differential Rendering and Sound Localization

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9143880B2 (en) * 2013-08-23 2015-09-22 Tobii Ab Systems and methods for providing audio to a user based on gaze input
KR20150068112A (en) * 2013-12-11 2015-06-19 삼성전자주식회사 Method and electronic device for tracing audio
KR20150087017A (en) * 2014-01-21 2015-07-29 한양대학교 산학협력단 Audio control device based on eye-tracking and method for visual communications using the device

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170045941A1 (en) * 2011-08-12 2017-02-16 Sony Interactive Entertainment Inc. Wireless Head Mounted Display with Differential Rendering and Sound Localization
US20140375558A1 (en) * 2012-12-21 2014-12-25 United Video Properties, Inc. Systems and methods for automatically adjusting audio based on gaze point
JP2016033764A (en) * 2014-07-31 2016-03-10 セイコーエプソン株式会社 Display device, control method therefor, and program

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110413108A (en) * 2019-06-28 2019-11-05 广东虚拟现实科技有限公司 Processing method, device, system, electronic equipment and the storage medium of virtual screen
CN110413108B (en) * 2019-06-28 2023-09-01 广东虚拟现实科技有限公司 Virtual picture processing method, device and system, electronic equipment and storage medium

Also Published As

Publication number Publication date
KR102311024B1 (en) 2021-10-12
CN110573995A (en) 2019-12-13
CN110573995B (en) 2023-11-24

Similar Documents

Publication Publication Date Title
CN108141696B (en) System and method for spatial audio conditioning
EP3684083A1 (en) Processing audio signals
EP3132444B1 (en) Conversation detection
CN105745602B (en) Information processing apparatus, information processing method, and program
US11055057B2 (en) Apparatus and associated methods in the field of virtual reality
US20110157327A1 (en) 3d audio delivery accompanying 3d display supported by viewer/listener position and orientation tracking
US20140328505A1 (en) Sound field adaptation based upon user tracking
US9986362B2 (en) Information processing method and electronic device
US10542368B2 (en) Audio content modification for playback audio
US10887719B2 (en) Apparatus and associated methods for presentation of spatial audio
US20220248162A1 (en) Method and apparatus for providing audio content in immersive reality
EP3506080B1 (en) Audio scene processing
KR102311024B1 (en) Apparatus and method for controlling spatial audio according to eye tracking
US20210343296A1 (en) Apparatus, Methods and Computer Programs for Controlling Band Limited Audio Objects
US11140508B2 (en) Apparatus and associated methods for audio presented as spatial audio
US20220345844A1 (en) Electronic apparatus for audio signal processing and operating method thereof
WO2018194320A1 (en) Spatial audio control device according to gaze tracking and method therefor
CN112752190A (en) Audio adjusting method and audio adjusting device
US11546715B2 (en) Systems and methods for generating video-adapted surround-sound
TWI733219B (en) Audio signal adjusting method and audio signal adjusting device
US20230388598A1 (en) Systems and methods for enabling artificial reality commentary
US20200302761A1 (en) Indicator modes
US20210136508A1 (en) Systems and methods for classifying beamformed signals for binaural audio playback
JP2016072891A (en) Audio output control device and audio output control method
KR20220146165A (en) An electronic apparatus and a method for processing audio signal

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
N231 Notification of change of applicant