KR20180113025A - 영상 정보에 기반하여 가상 스피커를 재생하기 위한 음원 재생 장치 - Google Patents

영상 정보에 기반하여 가상 스피커를 재생하기 위한 음원 재생 장치 Download PDF

Info

Publication number
KR20180113025A
KR20180113025A KR1020170044181A KR20170044181A KR20180113025A KR 20180113025 A KR20180113025 A KR 20180113025A KR 1020170044181 A KR1020170044181 A KR 1020170044181A KR 20170044181 A KR20170044181 A KR 20170044181A KR 20180113025 A KR20180113025 A KR 20180113025A
Authority
KR
South Korea
Prior art keywords
sound
virtual
sound source
virtual object
electronic device
Prior art date
Application number
KR1020170044181A
Other languages
English (en)
Other versions
KR101916380B1 (ko
Inventor
김양한
Original Assignee
주식회사 에스큐그리고
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 에스큐그리고 filed Critical 주식회사 에스큐그리고
Priority to KR1020170044181A priority Critical patent/KR101916380B1/ko
Priority to PCT/KR2018/004008 priority patent/WO2018186693A1/ko
Priority to US16/500,943 priority patent/US10964115B2/en
Publication of KR20180113025A publication Critical patent/KR20180113025A/ko
Application granted granted Critical
Publication of KR101916380B1 publication Critical patent/KR101916380B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303—Tracking of listener position or orientation
    • H04S7/304—For headphones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/242—Aligning, centring, orientation detection or correction of the image by image rotation, e.g. by 90 degrees
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S5/00—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S5/00—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation 
    • H04S5/005—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation  of the pseudo five- or more-channel type, e.g. virtual surround
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2420/00—Details of connection covered by H04R, not provided for in its groups
    • H04R2420/01—Input selection or mixing for amplifiers or loudspeakers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2420/00—Details of connection covered by H04R, not provided for in its groups
    • H04R2420/07—Applications of wireless loudspeakers or wireless microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/11—Application of ambisonics in stereophonic audio systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Stereophonic System (AREA)

Abstract

본 발명은 영상 및 음원을 제공하는 전자장치와 통신하는 음원 재생 장치에 있어서, 상기 전자장치로부터 상기 영상에 포함된 적어도 하나의 가상 오브젝트 중 어느 하나의 위치 정보 및 상기 음원을 수신하는 인터페이스부 및
상기 인터페이스부로부터 수신한 상기 적어도 하나의 가상 오브젝트 중 어느 하나의 상기 위치 정보에 대응하는 가상 스피커 위치 정보를 생성하고, 상기 인터페이스부로부터 수신한 상기 음원을 상기 가상 스피커 위치 정보에 기초하여 재생하도록 제어하는 제어부를 포함하는 음원 재생 장치임을 특징으로 한다.

Description

영상 정보에 기반하여 가상 스피커를 재생하기 위한 음원 재생 장치{SOUND REPRODUCTION APPARATUS FOR REPRODUCING VIRTUAL SPEAKER BASED ON IMAGE INFORMATION}
본 발명은 음원 재생 장치에 관한 것으로, 보다 상세하게는 가상 스피커를 재생하기 위하여, 영상 및 음원을 제공하는 전자장치와 통신하는 음원 재생 장치에 관한 것이다.
최근 방송, 교육, 의료, 제조, 출판, 게임 등 다양한 분야에서 최신 기술 트렌드가 되고 있는 증강현실 (Augmented Reality: AR)은 가상현실 (Virtual Reality)의 파생된 기술로서 현실 세계와 가상 세계를 결합하는 기술을 의미한다. 가상현실은 컴퓨터 환경으로 실세계 환경을 가상 세계로 구축하여 몰입하게 함으로써 인간과 컴퓨터의 상호작용을 실현하는 기술이고, 증강현실은 컴퓨터 모델을 이용하여 생성된 부가정보를 현실 세계 정보에 투영하여 상호작용함으로써 현실 세계에 대한 다양한 디지털 정보를 보다 실감나게 체험할 수 있도록 하는 기술이다.
이러한 증강현실이나 가상현실에서는 3D 영상과 함께 음원이 재생될 수 있다.
그러나, 종래의 가상 현실이나 증강 현실에서 구현되는 음원 시스템에 따르면 재생되는 음원의 정확한 위치를 판별하기 어렵다는 단점이 있다. 이럴 경우, 음원의 위치에 대한 느낌만이 전달되므로, 재생 음원의 정확한 위치를 판별하여 사용자에게 제공하는 것이 필요하다..
또한, 헤드 마운트 디스플레이(HMD)을 착용하여 재생 음원을 청취하고자 할 경우, 음원 재생 장치가 HMD의 내부에 실장되어 HMD의 무게가 무거워져 사용자게 불편할 수 있다. 따라서 이러한 문제점을 해결할 수 있는 방안으로, HMD 외부에 위치한 다수의 스피커를 통한 음원 재생이 필요한 실정이다.
본 발명의 일 실시예에서, 전자장치로부터 수신한 가상 오브젝트의 위치를 음원 재생 장치가 참조하여 가상 스피커 위치 정보를 생성하고, 그에 따라 원음을 변환하여 스피커에서 재생하도록 함으로써, 가상 오브젝트의 위치에서 원음이 재생될 수 있도록 함을 목적으로 한다.
본 발명은 실시예에 따르면, 가상 오브젝트의 위치에 따라 가상 스피커가 재생되어 청취 객체는 별도의 동작을 하지 않아도 청취 객체를 향한 음원 재생이 용이해지도록 함을 목적으로 한다.
또한, 음원 재생 장치의 다수의 스피커를 통해, 사용자를 중심으로 보다 효과적인 음원을 재생할 수 있도록 함을 목적으로 한다.
본 발명의 실시예에 따른 음원 재생 장치는, 영상 및 원음을 제공하는 전자장치와 통신하는 음원 재생 장치에 있어서, 상기 전자장치로부터 상기 영상에 포함된 적어도 하나의 가상 오브젝트 의 위치 정보 및 상기 원음을 수신하는 인터페이스부; 및 상기 인터페이스부로부터 수신한 상기 적어도 하나의 가상 오브젝트의 상기 위치 정보에 대응하는 가상 스피커 위치 정보를 생성하고, 상기 인터페이스부로부터 수신한 상기 원음을 상기 가상 스피커 위치 정보에 기초하여 복수의 스피커를 위한 음원신호로 변환하는 제어부를 포함할 수 있다.
본 발명의 다른 실시예에 따른 음원 재생 장치는, 적어도 하나의 가상 오브젝트를 포함하는 영상 및 원음을 저장하는 메모리부; 및 상기 적어도 하나의 가상 오브젝트의 위치 정보에 대응하는 가상 스피커 위치 정보를 생성하고, 상기 원음을 상기 가상 스피커 위치 정보에 기초하여 복수의 스피커를 위한 음원신호로 변환하는 제어부를 포함할 수 있다. 상기 제어부는 상기 적어도 하나의 가상 오브젝트를 포함하는 상기 영상을 상기 전자장치로 전송할 수 있다.
본 발명은 실시예에 따르면, 가상 오브젝트의 위치에 따라 가상 스피커가 재생되어 청취 객체는 별도의 동작을 하지 않아도 청취 객체를 향한 음원 재생이 용이해질 수 있다.
또한, 음원 재생 장치의 다수의 스피커 구조를 통해, 사용자를 중심으로 보다 효과적인 음원이 재생될 수 있다.
또한, 전자장치(200)에 미리 저장된 가상 오브젝트의 위치를 음원 재생 장치(100)가 참조하여 가상 스피커 위치 정보를 생성함으로써, 가상 오브젝트의 정확한 위치에서 가상 스피커가 재생될 수 있게 된다.
그리고, 별도의 다수의 스피커를 통한 음원 재생으로, 헤드 마운트 디스플레이(HMD) 착용에 따른 불편함을 해소할 수 있다.
도 1a는 본 발명의 실시예에 따른 음원 재생 장치(100) 및 전자 장치(200)의 구성을 설명하기 위한 블록도이다.
도 1b는 일체형으로 제공되는 스피커부(120)와 음원 재생부(150)에 대한 개념도이다.
도 1c는 실시예에 따라 전자장치(200)와 음원 재생 장치(100)간의 데이터 송수신에 대한 개념도이다.
도 2는 실시예에 따라 전자장치(200)가 음원 재생 장치(100)로 원음 및 영상에 관한 정보를 전송하는 방법을 설명한 순서도이다.
도 3은 실시예에 따라 음원 재생 장치(100)가 전자장치(200)로부터 영상에 관한 정보와 원음을 수신하는 방법을 설명한 순서도이다.
도 4 및 도 5는 전자장치(200)의 디스플레이 모듈(220)에 디스플레이되는 프리뷰 영상(410) 및 가상 오브젝트(420)의 위치 정보에 대한 도면이다.
도 6 및 도 7은 음원 재생 장치(100)의 스피커부(120)를 통한 전자장치(200) 사용자의 가상 스피커 청취 구조에 대한 도면이다.
도 8은 전자장치(200)로부터 수신한 원음으로부터 생성된 음원이 가상 스피커 위치 정보에서 재생되는 과정을 상술한 순서도이다.
후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.
이하, 첨부되는 도면을 참조하여 본 발명의 실시예에 따른 음원 재생 장치(100) 및 전자 장치(200)를 설명하고자 한다.
도 1a는 본 발명의 실시예에 따른 음원 재생 장치(100) 및 전자 장치(200)의 구성을 설명하기 위한 블록도이다.
도 1a에 도시한 바와 같이, 전자장치(200)는 프로세서(210), 디스플레이 모듈(220), 저장부(230), 통신 모듈(240), 및 카메라 모듈(250)을 포함할 수 있다.
카메라 모듈(250)은 전면 카메라(205-1)와 후면 카메라(205-2)를 포함하고, 영상(정지 영상 또는 동영상)을 촬영할 수 있다. 특히, 본 발명의 카메라 모듈(250)은 눈동자 추적 기능을 이용하여 사용자의 얼굴 영상을 촬영하고, 촬영된 영상을 프로세서(210)에 전송할 수 있다.
전면 카메라(205-1)는 사용자가 디스플레이 모듈(220)을 정면으로 바라볼 때 사용자의 얼굴을 촬영할 수 있는 위치에 구비되고, 후면 카메라(205-2)는 사용자가 디스플레이 모듈(220)을 정면으로 바라볼 때, 전면 카메라(250-1)의 뒷면에서 사용자가 바라보는 배경 이미지를 촬영할 수 있는 위치에 구비될 수 있다.
프로세서(210)는 운영체제 또는 응용 프로그램을 구동하여 프로세서(210)에 연결된 다수의 하드웨어 또는 소프트웨어 구성요소들을 제어할 수 있고, 멀티미디어 데이터를 포함한 각종 데이터 처리 및 연산을 수행할 수 있다.
프로세서(210)는 도 4에 도시한 화면예와 같이 증강 현실에 기반한 프리뷰 이미지(410) 또는 가상 현실에 기반한 배경 이미지를 생성하여 디스플레이 모듈(220)로 전송하고, 디스플레이 모듈(220)은 생성된 프리뷰 이미지(410)를 디스플레이 한다. 프로세서(210)는 디스플레이 모듈(220)에 디스플레이된 프리뷰 이미지(410)와 함께 디스플레이하기 위한 하나 또는 그 이상의 가상 오브젝트(420a, 420b)를 생성한다. 프로세서(210)는 프리뷰 이미지(410)상에 디스플레이된 가상 오브젝트(420)의 위치 정보를 생성할 수 있다. 일 실시예에서 디스플레이되는 이미지는 깊이 정보를 갖는 또는 양안 이미지로 구성된 3차원 이미지일 수 있다. 일 실시예에서 프리뷰 이미지는 게임 화면이고 가상 오브젝트는 게임 상의 캐릭터일 수 있으며, 또는 폭발물이나 자동차 등과 같이 소리를 발생시키는 물체일 수 있다.
프로세서(210)는 음원을 재생하기 위해, 생성된 가상 오브젝트(420)의 위치 정보에 대한 전송 요청을 외부 디바이스(ex, 음원 재생 장치(100))로부터 수신했는지 여부를 판단할 수 있다. 만일, 프로세서(210)가 가상 오브젝트(420)의 위치 정보에 대한 전송 요청을 수신한 경우, 가상 오브젝트(420)의 위치 정보를 저장부(230)로 전송할 수 있고, 저장부(230)는 이러한 위치 정보를 영상 데이터 DB(230a)에 저장할 수 있다. 한편, 가상 오브젝트(420)의 위치 정보에 대한 전송 요청에 관계없이 원음과 위치 정보를 함께 전송하도록 구성할 수도 있다. 프로세서(210)는 저장부(230)에 기 저장된 원음과 가상 오브젝트(420)의 이동 경로 정보를 독출하여, 독출된 이동 경로 정보 및 원음을 통신 모듈(240)로 전송할 수 있다. 원음은 캐릭터의 음성, 물체에서 나는 소리 등 가상 오브젝트에서 발생되는 음향일 수 있으며, 스테레오 음향과 같이 복수의 채널의 오디오 신호일 수 있다.
디스플레이 모듈(220)은 프로세서(210)의 명령 처리 결과를 디스플레이할 수 있으며, 프로세서(210)로부터 수신한 프리뷰 이미지와 가상 오브젝트(420)를 디스플레이할 수 있다. 디스플레이 모듈(220)은 실시예에 따라 터치 스크린, 홀로그램 장치 또는 프로젝터 등을 포함할 수 있다. 터치 스크린은, 예를 들면, LCD(liquid-crystal display) 또는 AM-OLED(active-matrix organic light-emitting diode) 등일 수 있으며, 터치 스크린은 유연하게(flexible), 투명하게(transparent) 또는 착용할 수 있게(wearable) 구현될 수 있다. 홀로그램 장치는 빛의 간섭을 이용하여 입체 영상을 허공에 보여줄 수 있다. 프로젝터는 스크린에 빛을 투사하여 영상을 표시할 수 있다. 또한, 디스플레이 모듈(220)은 헤드마운트 디스플레이(HMD), 별도의 모니터, TV 등과 같이 전자장치(200)와는 별개의 독자적인 디스플레이 장치로 구현될 수도 있으며, 유선 또는 무선으로 전자장치(200)에 연결되어 영상신호를 수신하도록 구현될 수 있다.
저장부(230)는 전자장치(200)에서 처리된 또는 처리하기 위한 명령어를 저장하는 것으로, 실시예에 따라 원음과 관련한 오디오 DB(230b) 및 영상 데이터에 관한 영상 DB(230a)를 포함할 수 있다. 원음은 전자장치(200)에서 생성되거나 컨텐츠 제공 장치(미도시)로부터 수신하여 저장부(230)에 미리 저장된 것일 수 있다. 프로세서(210)가 가상 오브젝트(420)의 위치 정보에 대한 전송 요청을 음원 재생 장치(100)로부터 수신한 경우, 가상 오브젝트(420)의 위치 정보를 저장부(230)로 전송할 수 있고, 저장부(230)는 이러한 위치 정보를 영상 데이터 DB(230a)에 저장할 수 있다.
통신 모듈(240)은 전자장치(200)와 음원 재생 장치(100)간의 데이터 통신을 중재하며, 실시예에 따라 전자장치(200)의 원음 및 영상 데이터에 관한 정보를 음원 재생 장치(100)로 전송할 수 있다. 또는, 가상 오브젝트(420)의 위치 정보 전송에 대한 요청을 음원 재생 장치(100)로부터 수신하거나, 저장부(230)에 저장된 가상 오브젝트(420)의 위치 정보를 음원 재생 장치(100)로 전송할 수도 있다. 예를 들어, 통신 모듈(240)은 WIFI, 블루투스, BLE 등의 근거리 무선 통신이나 유선 통신 방식을 통해 데이터가 송수신되도록 할 수 있다.
한편, 전술한 전자장치(200)는 증강 현실 또는 가상 현실을 제공할 수 있는 기기로, 실시예에 따라 스마트 폰(smartphone), 태블릿 PC(tablet personal computer), 이동 전화기(mobile phone), 화상전화기, 전자북 리더기(e-book reader), 데스크탑 PC(desktop personal computer), 랩탑 PC(laptop personal computer), 넷북 컴퓨터(netbook computer), PDA(personal digital assistant), PMP(portable multimedia player), MP3 플레이어, 모바일 의료기기, 카메라(camera), 또는 웨어러블 장치(wearable device)(예: 전자 안경과 같은 headmounted-device(HMD), 전자 의복, 전자 팔찌, 전자 목걸이, 전자 앱세서리(appcessory), 전자 문신, 또는 스마트 와치(smart watch)) 등을 포함할 수 있다.
어떤 실시 예들에 따르면, 전자장치는 카메라 기능을 갖춘 스마트 가전 제품(smart home appliance)일 수 있다. 스마트 가전 제품은, 예를 들자면, 텔레비전, DVD(digital video disk) 플레이어, 오디오, 냉장고, 에어컨, 청소기, 오븐, 전자레인지, 세탁기, 공기 청정기, 셋톱 박스(set-top box) 등을 포함할 수 있다.
한편, 음원 재생 장치(100)는 스피커부(120) 및 음원 재생부(150)를 포함할 수 있고, 음원 재생부(150)는 제어부(110), 메모리부(130), 및 인터페이스부(140)를 포함할 수 있다.
실시예에 따라 도 1b에 도시한 바와 같이 스피커부(120)와 음원 재생부(150)는 일체형으로 제공될 수도 있으나, 스피커부(120)와 음원 재생부(150)가 별개의 형태로 독립적으로 제공될 수도 있다.
제어부(110)는 음원 재생 장치(100)를 구동하기 위한 멀티미디어 데이터를 포함한 각종 데이터 처리 및 연산을 수행할 수 있다.
제어부(110)는 인터페이스부(140)를 통해 전자장치(200)로부터 원음을 수신할 수 있고, 전자장치(200)로부터 영상에 포함된 가상 오브젝트의 위치 정보를 인터페이스부(140)를 통해 수신할 수 있다. 제어부(110)는 가상 오브젝트(420)의 위치 정보에 대한 전송 요청을 인터페이스부(140)를 통해 전자장치(200)로 송신할 수도 있다. 제어부(110)는 가상 오브젝트의 위치 정보에 대응하는 가상 스피커 위치 정보를 생성할 수 있고, 제어부(110)는 수신된 원음을 가상 오브젝트의 위치 정보에 의해 지정되는 가상 스피커(120')의 위치에서 음향이 발생하는 것처럼 들리도록 변환하여 스피커부(120)를 제어할 수 있다.
메모리부(130)는 인터페이스부(140)를 통해 전자장치(200)로부터 수신한 원음으로부터 생성된 음원 신호나 가상 오브젝트(420)의 위치 정보를 저장할 수 있다. 그리고, 가상 오브젝트의 위치 정보에 대응하는 가상 스피커 위치 정보를 제어부(110)로부터 수신하여 저장할 수 있다. 또한, 메모리부(130)에는 각 가상 위치(가상 오브젝트의 위치)에 대해서 해당 위치에서 소리가 나는 것처럼 원음을 음원 신호로 변환하기 위한 함수가 저장되어 있을 수 있다. 또는, 메모리부(130)에는 각 스피커의 위치와 각 가상 지점 사이의 전달함수가 저장되어 있고, 제어부(110)가 이 전달함수로부터 상기 함수를 계산하도록 구성할 수도 있다.
인터페이스부(140)는 전자장치(200)와의 데이터 송수신을 중재하는 것으로, 전자장치(200)로부터 원음이나 가상 오브젝트의 위치 정보를 수신하여 제어부(110)로 전송한다. 인터페이스부(140)는 와이파이(WiFi), 블루투스(Bluetooth) 등과 같은 무선통신 인터페이스, 유선 랜(LAN), USB, HDMI 등과 같은 유선통신 인터페이스일 수 있다.
스피커부(120)는 바람직하게는 복수의 스피커로 이루어지며, 제어부(110)로부터 수신되는 음원 신호를 음향으로 재생한다. 실시예에 따라서는 스피커부(120)는 음원 재생 장치(100)와는 별개로 구입하여 또는 기존에 설치되어 있는 스피커부(120)에 음원 재생 장치(100)에 연결하여 사용하도록 구성할 수도 있다.
본 발명의 실시예에 따른 음원 재생 장치(100)는 스마트폰, 스마트 TV, 태블릿, PC 등의 음원 제공 및/또는 음원 재생 제어 기능을 보유한 장치이거나, 도 1b에 도시한 바와 같은 다수의 스피커를 포함한 장치일 수 있다. 실시예에 따라, 이 경우, 음원 재생 장치(100)는 별도의 실물 제품 형태로 종래 스마트 TV 등에 장착될 수도 있다. 또한, 음원 재생 장치(100)는 전자장치(200)에 애드온(add-on) 형태로 결합되도록 구성될 수도 있고, 전자장치(200)에 내장되도록 구성될 수도 있다.
본 발명의 권리범위는, 전자장치(200) 및 음원 재생 장치(100)의 결합 구성에 관해 상기 실시예에 한정하지 않는다. 또한, 도 1a에 도시한 블록도에 도시한 각 구성 요소들의 전부를 다 포함할 수도 있고, 일부가 생략될 수도 있다.
도 1c는 일 실시예에서 전자장치(200)와 음원 재생 장치(100)간의 데이터 송수신 및 음향 재생을 보여주는 개념도이다.
도 1c는 사용자가 헤드 마운트 디스플레이(Head Mounted Display) 형태의 전자장치(200)를 머리에 쓴 상태에서 헤드 마운트 디스플레이에 표시되는 영상을 보면서 음원 재생 장치(100)에서 재생되는 해당 영상에 대한 오디오를 청취하는 모습을 보여주고 있다.
도 1c에 도시한 바와 같이, 3D 공간상에서 전자장치(200)가 음원 재생 장치(100)에게 원음 및 가상 오브젝트 위치 정보를 전송할 수 있고, 음원 재생 장치(100)는 수신된 원음 및 가상 오브젝트 위치 정보에 따라 해당 원음이 가상 오브젝트 위치 정보가 나타내는 가상 위치에서 발생되는 것처럼 들리도록 음원 신호를 생성하여 복수의 스피커(120-1, 120-2..)에서 재생한다.
전자장치(200)의 디스플레이 모듈(220)에 디스플레이되는 프리뷰 영상(410) 및 가상 오브젝트(420)의 위치 정보의 일 예가 도 5에 도시되어 있다. 즉, 가상 오브젝트인 파리(420a)가 디스플레이되는 화면 상에서 제1위치(C1)에서 제2위치(C2)로 이동하면, 음원 재생 장치(100)는 파리 소리 즉, 원음을 파리(420a)가 이동하는 경로 상의 위치에서 나는 것처럼 변환하여 스피커부(120)를 통해 재생한다. 즉, 도 6에 도시한 바와 같이, 음원 재생 장치(100)의 스피커부(120)에 포함된 복수의 스피커들(120-1, 120-2..)을 통해 재생되는 음원 신호는 전자장치(200) 사용자에게 마치 가상 스피커(120')가 제1위치(C1)에서 제2위치(C2)로 이동하면서 소리가 나는 것처럼, 즉 파리가 제1위치(C1)에서 제2위치(C2)로 이동하면서 소리가 나는 것처럼 들리게 된다.
도 2는 일 실시예에 따라 전자장치(200)가 증강 현실 영상 또는 가상 현실 영상을 디스플레이 하면서 음원 재생 장치(100)로 원음 및 영상에 관한 정보를 전송하는 방법을 설명한 순서도이다.
도 2에 도시한 바와 같이, 프로세서(210)는 증강 현실에 기반한 프리뷰 이미지 또는 가상 현실에 기반한 배경 이미지를 생성하여 디스플레이 모듈(220)로 전송하고(S210), 디스플레이 모듈(220)은 생성된 프리뷰 이미지를 디스플레이 한다. 실시예에 따른 프로세서(210)는 전면 카메라(250-1)와 후면 카메라(250-2)를 이용하여 도 4와 같은 프리뷰 이미지(410)를 생성할 수 있다.
예를 들어, 프로세서(210)는 전면 카메라(250-1)로부터 전자장치(200)를 사용하는 사용자의 얼굴이 포함된 이미지를 수신하여, 사용자의 얼굴이 포함된 이미지로부터 눈동자 추적 기술을 이용하여 사용자가 어디서 어느 방향을 보고 있는지를 나타내는 사용자의 3차원 시점을 산출할 수 있다. 3차원 시점은 전면 카메라(250-1)의 상대적인 회전값인 회전, 편향, 상하이동(roll, yaw, pitch)과 변위값인 x축, y축, z축의 좌표로 나타낼 수 있다.
프로세서(210)는 산출된 사용자의 3차원 시점과 후면 카메라(250-2)의 시점이 대응되도록 후면 카메라(250-2)의 시점을 이동시킨다. 즉, 프로세서(210)는 사용자의 3차원 시점인 전면 카메라(250-1)의 회전, 편향, 상하이동(roll, yaw, pitch)과 변위값인 x1축, y1축, z1축의 좌표를 기준으로 후면 카메라(250-2)의 3차원 시점인 후면 카메라(250-2)의 회전, 편향, 상하이동(roll, yaw, pitch)과 변위값인 x2축, y2축, z2축의 좌표를 사용자의 3차원 시점으로 이동시키는 것이다.
프로세서(210)는 사용자의 시야각과 후면 카메라(250-2)의 화각이 일치하는 영역에 해당하는 이미지를 검출하여 본 발명의 실시예에 따른 프리뷰 이미지를 생성한다. 다시 말해서, 프로세서(210)는 사용자에서부터 디스플레이 모듈(220)의 폭에 대응하는 기준각을 산출한다. 구체적으로, 프로세서(210)는 디스플레이 모듈(220)의 양쪽 끝에서 사용자까지의 직선들이 교차하여 생성되는 기준각을 산출한다. 이후 프로세서(210)는 후면 카메라(250-2)로부터 입력된 배경 이미지 중 이동된 후면 카메라(250-2)의 시점을 기준으로 기준각과 동일한 화각에 대응되는 영역의 이미지를 검출하여 본 발명의 실시예에 따른 프리뷰 이미지를 생성할 수 있다. 여기서 사용자의 시야각은 일반적인 사람의 시야각을 의미한다.
한편, 이러한 프리뷰 이미지는 2D 이미지이거나 3D 이미지일 수 있다.
프로세서(210)는 디스플레이 모듈(220)에 디스플레이된 프리뷰 이미지(410)와 함께 디스플레이하기 위한 소정의 가상 오브젝트(420)를 생성한다(S220).
소정의 가상 오브젝트(420)는 증강 현실에 기반한 프리뷰 이미지(410)상에 도 4와 같이 메뉴, 아이콘, 텍스트 등의 형태로 제공될 수 있으며, 프리뷰 이미지(410) 상에 보이는 소정의 부분에 대한 정보를 나타내기 위해 가상 오브젝트(420)가 제공되거나, 프리뷰 이미지(410) 상에 보이는 소정의 부분 자체가 가상 오브젝트(420)로 제공될 수도 있다.
예를 들어, 도 4와 같이, 사용자 주위의 관광 명소(420a), 사용자로부터의 거리(420b) 및 해당 명소로 이동하기 위한 교통 정보(420c)가 가상 오브젝트로 제공될 수 있다.
한편, 프로세서(210)는 생성한 가상 오브젝트(420)를 디스플레이 모듈(220)로 전송하고, 디스플레이 모듈(220)은 생성된 가상 오브젝트(420)를 프리뷰 이미지(410)와 함께 디스플레이할 수 있다.
프로세서(210)는 프리뷰 이미지(410)상에 디스플레이된 가상 오브젝트(420)의 위치 정보를 생성할 수 있다(S230). 가상 오브젝트(420)의 위치 정보는, 재생 음원을 청취할 수 있는 청취 영역인 3차원 공간상에서 형성되는 가상 오브젝트(420)의 공간 좌표(x,y,z)를 포함할 수 있다. 예를 들어, 도 5에 도시한 바와 같이, 가상 오브젝트(420)의 위치 정보는, 가상 오브젝트(420a)가 프리뷰 이미지(410)가 가리키는 3차원 공간상에서 제 1 위치로부터 제 2 위치로 이동함에 따른 제 1 위치(C1(x1,y1,z1)) 및 제 2 위치(C2(x2,y2,z2)) 정보에 대한 이동 경로 정보를 포함할 수 있다.
프로세서(210)는 원음을 재생하기 위해, 생성된 가상 오브젝트(420)의 위치 정보에 대한 전송 요청을 외부 디바이스(ex, 음원 재생 장치(100))로부터 수신했는지 여부를 판단할 수 있다(S240). 여기서 원음은 저장부(230)의 오디오 데이터 DB(230b)에 기 저장된 원음이거나 전자장치(200)가 외부 장치(미도시)로부터 실시간 수신하게 되는 원음일 수도 있다. 원음은 스테레오 오디오처럼 복수 채널의 오디오 신호일 수 있다.
만일, 프로세서(210)가 가상 오브젝트(420)의 위치 정보에 대한 전송 요청을 수신한 경우, 가상 오브젝트(420)의 위치 정보를 저장부(230)로 전송할 수 있고(S250), 저장부(230)는 이러한 위치 정보를 영상 데이터 DB(230a)에 저장할 수 있다. 그리고, 프로세서(210)는 저장부(230)에 기 저장된 원음과 가상 오브젝트(420)의 이동 경로 정보를 독출하여, 독출된 이동 경로 정보 및 원음을 통신 모듈(240)로 전송할 수 있고, (S260) 통신 모듈(240)은 이러한 데이터를 음원 재생 장치(100)로 전송할 수 있다. 통신 모듈(240)는 WIFI, 블루투스, BLE 등의 근거리 무선 통신이나 유선 통신 방식을 통해 데이터가 송수신되도록 할 수 있다.
반면, 프로세서(210)가 가상 오브젝트(420)의 위치 정보에 대한 전송 요청을 수신하지 않은 경우, 전술한 프로세스는 종료될 수 있다. 한편, 실시예에 따라서는 단계 S240을 생략할 수 있다.
도 3은 일 실시예에 따라 음원 재생 장치(100)가 전자장치(200)로부터 영상에 관한 정보와 원음을 수신하는 방법을 설명한 순서도이다.
도 3에 도시한 바와 같이, 제어부(110)는 인터페이스부(140)를 통해 전자장치(200)로부터 원음을 수신할 수 있다.(S310) 실시예에 따라, 음원 재생 장치(100)에 저장된 원음을 재생할 수도 있으며, 해당 원음은 메모리부(130)에 기 저장된 것일 수 있다.(미도시)
제어부(110)는 원음을 재생하기 위해 참조하기 위한 정보인 가상 오브젝트(420)의 위치 정보에 대한 전송 요청을 인터페이스부(140)를 통해 전자장치(200)로 송신할 수 있고(S320), 해당 전송 요청을 수신한 전자장치(200)로부터 영상에 포함된 가상 오브젝트의 위치 정보를 인터페이스부(140)를 통해 수신할 수 있다(S330). 실시예에 따라 영상은 도 4에 도시한 바와 같은 프리뷰 영상(410) 및 프리뷰 영상과 함께 디스플레이되는 가상 오브젝트(420)를 포함할 수 있다. 가상 오브젝트(420)의 위치 정보는, 전술한 도 5에 도시한 바와 같이, 가상 오브젝트(420)가 프리뷰 이미지(410)가 가리키는 3차원 공간상에서 제 1 위치로부터 제 2 위치로 이동함에 따른 제 1 위치(c1(x1,y1,z1)) 및 제 2 위치(c2(x2,y2,z2)) 정보에 대한 이동 경로 정보를 포함할 수 있다. 이러한 이동 경로 정보는 전자장치(200)에 기 저장된 것일 수 있으며, 제어부(110)가 전자장치(200)로부터 수신한 이동 경로 정보는 메모리부(130)에 저장할 수 있다.
제어부(110)는 가상 오브젝트(420)의 위치 정보에 대응하는 가상 스피커 위치 정보를 생성할 수 있다(S340). 즉, 증강 현실 또는 가상 현실의 무대가 되는 공간 상의 위치를 사용자가 소리를 듣는 공간 상의 위치로 매핑하는 것이다. 이를 위하여 적어도 일부의 위치 정보에 대응하는 가상 스피커 위치 정보(매핑 테이블)가 메모리부에 저장되어 있을 수 있다. 제어부(110)는 이 매핑 테이블을 이용하여 가상 오브젝트(420)의 위치 정보에 대응하는 가상 스피커 위치 정보를 생성할 수 있다. 또는 증강 현실 또는 가상 현실 상의 공간의 크기에 관한 정보와 사용자가 위치하는 곳의 공간의 크기에 관한 정보를 사용하여 가상 오브젝트(420)의 위치 정보에 대응하는 가상 스피커 위치 정보를 계산할 수 있다.
또한, 제어부(110)는 메모리부(130)에 기 저장된 가상 오브젝트(420)의 이동 경로 정보를 참조하여 가상 스피커 위치 정보를 생성할 수 있다. 예를 들어, 도 6에 도시한 바와 같이, 가상 스피커(120')의 이동 경로 정보는, 가상 스피커(120')가 프리뷰 이미지(410)가 가리키는 3차원 공간상에서 제 1 위치로부터 제 2 위치로 이동함에 따른 제 1 위치(C1(x1,y1,z1)) 및 제 2 위치(C2(x2,y2,z2)) 정보에 대한 이동 경로 정보를 포함할 수 있다. 또한, 생성된 가상 스피커 위치 정보는 메모리부(130)에 저장할 수 있다.
한편, 제어부(110)는 가상 스피커(120')의 위치 정보에 기초하여 소리가 가상 스피커의 위치에서 나는 것처럼 들리도록 상기 원음을 변환한 후에 스피커부(120)에 전송한다. 구체적으로, 제어부(110)는 가상 스피커(120)'의 위치 정보를 사용하여 원음을 각 스피커용의 음원신호로 변환하고(S350), 변환된 음원신호를 상기 스피커부(120)의 각각의 스피커로 인가한다(S360). 원음을 각 스피커용의 음원신호로 변화하는 과정은 도 8에서 상술한다.
이와 같은 동작에 의해 청취 객체는 가상 오브젝트의 위치에 대응되는 위치에 있는 가상 스피커에서 원음이 재생되는 것처럼 느끼게 된다. 또한, 가상 오브젝트의 이동 경로를 미리 저장해놓고 있으며 소리가 이 이동 경로를 따라 이동하면서 나는 것처럼 느껴지므로, 청취 객체가 별도의 동작을 하지 않아도 청취 객체를 향한 음원 재생이 용이해질 수 있다. 본 발명의 청취 객체는 전자장치(200) 사용자를 포함할 수 있다.
또한, 전자장치(200)에 미리 저장된 가상 오브젝트의 위치를 음원 재생 장치(100)가 참조하여 가상 스피커 위치 정보를 생성함으로써, 가상 오브젝트의 정확한 위치에서 가상 스피커가 재생될 수 있게 된다.
도 6은 실시예에 따른 가상 스피커의 위치 정보에 대해 기술한 도면이다.
도 6에 도시한 바와 같이, 스피커부(120)에 포함된 복수의 스피커(120-1, 120-2..) 를 통해 재생되는 음원은 가상 스피커(120')의 위치에서 음원이 재생되는 것처럼 청취 객체에게 들리게 된다. 구체적으로, 도 5에 도시한 가상 오브젝트의 위치가 변경(C1->C2)됨에 따라 가상 스피커의 위치도 이와 동일하게 변경(C1->C2)되고, 이로서 전자장치(200) 사용자는 음원이 가상 스피커의 각 위치(C1,C2)에서 재생되는 것처럼 들을 수 있게 된다. 이 때, 전술한 바와 같이, 가상 스피커(120')의 위치 정보에 포함된 가상 스피커 위치((제 1 위치, C1(x1,y1,z1)), 제 2 위치, C2(x2,y2,z2)) 는 공간 좌표(x,y,z)로 표시될 수 있다.
도 7은 실시예에 따른 음원 재생 장치(100)의 스피커부(120)에 포함되는 복수의 스피커 (120-1, 120-2..) 구조를 설명하기 위한 도면이다.
도 6에 도시한 복수의 스피커 구조는 일자 막대 형태로 배열된 사운드 바 어레이(sound bar arrary) 구조에 해당하나, 실시예에 따라 도 7과 같이, 원형 형태로 배열된 라운드 어레이(round array) 구조로도 구현될 수 있다. 또한, 본 발명의 경우, 사운드 바 어레이(sound bar arrary) 및 원형 형태로 배열된 라운드 어레이(round array) 구조를 예시하였으나, 본 발명의 권리범위는 이에 한정하지 않고, 임의의 어레이 구조인 경우에도 다양한 조합을 통해 본 발명의 스피커 모듈을 구현할 수 있다.
사운드 바 어레이의 경우, 전자장치(200) 사용자의 정면, 측면, 후면 중 적어도 어느 한 측면에 배치될 수 있다. 또한, 라운드 바 어레이의 경우, 사용자를 중심으로 감싸는 구조로서, 원형, 타원형 등으로 구현될 수 있다. 이러한 라운드 바 어레이 구조를 통해, 사운드 바 어레이에 비해 사용자를 중심으로 보다 효과적인 음원을 재생할 수 있게 된다.
예를 들어, 정면에 위치한 사운드 바 어레이 구조를 취할 경우, 사용자를 기준으로 후면에 위치한 가상 채널은 음향 재생이 용이하지 않을 수 있으나, 라운드 바 어레이의 경우, 사용자를 중심으로 사방향에서 모두 음향이 재생 될 수 있다. 특히, 사방향의 일부 방향에 편향되지 않은 음향이 재생 되는 효과를 가져올 수 있게 된다.
도 8은 전자장치(200)로부터 음원 재생 장치(100)가 수신한 원음을 변환하여 음원이 소정의 가상 스피커 위치에서 재생되도록 하는 일 실시예를 상술한 순서도이다.
제어부(110)는 스피커부(120)의 각 스피커에 입력되는 음원 신호와 각 가상 스피커 위치에서 출력되는 음압 사이의 전달 함수를 계산한다(단계 S1). 이 전달 함수는 사용자가 위치한 공간의 특성을 나타내는 것으로서, 실제 측정을 통해서 얻은 후에 메모리에 저장해둔 것일 수도 있다. 각 가상 스피커 위치의 전달함수는 스피커부(120)에 구비된 스피커의 수만큼 생성될 수 있으며, 주파수의 함수로 표현될 수도 있다. 또한, 일부 가상 스피커 위치에서 전달 함수를 측정하여 메모리에 저장해둔 후에 상기 일부 가상 스피커 위치들 사이에 있는 가상 스피커 위치에 대해서는 해당 일부 가상 스피커 위치들에 대한 전달 함수들을 인터폴레이션 하여 구하도록 구성할 수도 있다.
다음으로, 제어부(110)는 단계 S1에서 계산된 전달 함수를 이용하여 상기 가상 스피커 위치에서 음향이 재생되는 것처럼 들리도록 하기 위하여 원음을 변환시키기 위한 계수를 계산한다(단계 S2).
계수를 계산함에 있어서, 가상 스피커 위치에서의 음압레벨이 가상 스피커 위치 이외의 영역에서의 음압레벨보다 높도록 하는 계수를 결정하는 것이 바람직하다. 더 구체적으로는, 가상 스피커 위치에서의 음향 포텐셜 에너지 밀도와 개별 음원의 에너지의 합과의 비가 최대가 되도록 하는 계수를 계산한다. 여기서, 단일의 주파수에 대하여 기술하고 있으나, 복수의 주파수로 이루어진 경우에는 각각의 주파수에 대한 음원을 결정하는 것으로 이해하면 무방하다.
이 계수는 원음의 크기와 위상을 변환시키기 위한 계수일 수 있다. 예를 들어 스피커부(120)의 i번째 스피커에서 출력되는 소리의 크기를 변환시키기 위한 계수는 예를 들면 상기 가상 스피커 위치에 대한 모든 스피커의 전달함수 벡터의 크기로 상기 가상 스피커 위치에 대한 i번째 스피커의 전달함수의 크기를 나눈 값일 수 있다. i번째 스피커에 입력되는 오디오 신호의 위상차를 변환하기 위한 계수는 예를 들면 i번째 스피커의 전달함수의 복소수 편각을 통해 구할 수 있다.
계수가 계산되면, 제어부(110)는 원음을 단계 S2에서 결정된 계수로 필터링하여, 각 스피커에 인가하기 위한 각 스피커별 음원신호를 생성할 수 있다(단계 S3). 생성된 음원신호는 스피커부(120)에 인가되어 재생됨으로써 상기 가상 스피커 위치에서 원음이 재생되게 된다(단계 S4).
지금까지는 본 발명의 일 실시예에 따라 전자장치(200)는 영상과 원음을 생성 및 저장하고, 음원 재생 장치(100)가 전자장치(200)로부터 영상에 포함된 가상 오브젝트의 위치 정보를 수신하여, 가상 오브젝트의 위치 정보에 대응하는 가상 스피커 위치 정보를 생성하고, 원음을 가상 스피커 위치 정보에 기초하여 각 스피커용의 음원신호로 변환하여 재생하는 특징을 기술하였다.
한편, 본 발명의 다른 실시예에 따르면, 음원 재생 장치(100)가 영상과 원음을 생성하고, 영상에 포함된 가상 오브젝트 중 적어도 어느 하나의 위치 정보에 대응하는 가상 스피커 위치 정보를 생성하며, 원음을 가상 스피커 위치 정보에 기초하여 각 스피커용의 음원신호로 변환하여 재생하도록 제어하되, 음원 재생 장치(100)가 가상 오브젝트를 포함하는 영상을 전자장치(200)로 전송할 수도 있다. 이 경우, 음원 재생 장치(100)의 메모리부(130)는 영상과 음원에 대한 정보를 미리 저장할 수 있다.
즉, 실시예에 따라서는 영상이 전자장치(200)로부터 음원 재생 장치(100)로 전송될 수도 있으나, 영상이 음원 재생 장치(100)로부터 전자장치(200)로 전송될 수도 있다.
이상에서 실시예들에 설명된 특징, 구조, 효과 등은 본 발명의 하나의 실시예에 포함되며, 반드시 하나의 실시예에만 한정되는 것은 아니다. 나아가, 각 실시예에서 예시된 특징, 구조, 효과 등은 실시예들이 속하는 분야의 통상의 지식을 가지는 자에 의해 다른 실시예들에 대해서도 조합 또는 변형되어 실시 가능하다. 따라서 이러한 조합과 변형에 관계된 내용들은 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다.
또한, 이상에서 실시예를 중심으로 설명하였으나 이는 단지 예시일 뿐 본 발명을 한정하는 것이 아니며, 본 발명이 속하는 분야의 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성을 벗어나지 않는 범위에서 이상에 예시되지 않은 여러 가지의 변형과 응용이 가능함을 알 수 있을 것이다. 예를 들어, 실시예에 구체적으로 나타난 각 구성 요소는 변형하여 실시할 수 있는 것이다. 그리고 이러한 변형과 응용에 관계된 차이점들은 첨부된 청구 범위에서 규정하는 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (18)

  1. 영상 및 원음을 제공하는 전자장치와 통신하는 음원 재생 장치에 있어서,
    상기 전자장치로부터 상기 영상에 포함된 적어도 하나의 가상 오브젝트 의 위치 정보 및 상기 원음을 수신하는 인터페이스부; 및
    상기 인터페이스부로부터 수신한 상기 적어도 하나의 가상 오브젝트의 상기 위치 정보에 대응하는 가상 스피커 위치 정보를 생성하고, 상기 인터페이스부로부터 수신한 상기 원음을 상기 가상 스피커 위치 정보에 기초하여 복수의 스피커를 위한 음원신호로 변환하는 제어부;를 포함하는 음원 재생 장치.
  2. 제 1항에 있어서,
    상기 영상은 증강 현실에 기반한 프리뷰 이미지를 포함하고, 상기 적어도 하나의 가상 오브젝트는 상기 프리뷰 이미지 상에서 상기 프리뷰 이미지와 함께 상기 전자장치에서 디스플레이되는 것을 특징으로 하는 음원 재생 장치.
  3. 제 2항에 있어서,
    메모리부를 더 포함하고,
    상기 적어도 하나의 가상 오브젝트의 상기 위치 정보는 상기 프리뷰 이미지상의 이동 경로 정보를 포함하고,
    상기 이동 경로 정보는 상기 메모리부에 미리 저장되며,
    상기 제어부는,
    상기 메모리부에 기 저장된 상기 이동 경로 정보를 참조하여 상기 가상 스피커 위치 정보를 생성하는 음원 재생 장치.
  4. 제 1항에 있어서,
    상기 복수의 스피커를 포함하는 스피커부를 더 포함하고,
    상기 제어부는, 상기 복수의 스피커를 위한 상기 음원신호를 상기 스피커부에 출력하는 것인, 음원 재생 장치.
  5. 제1항 내지 제 4항 중 어느 한 항에 있어서, 상기 제어부는,
    각 스피커에 입력되는 음원 신호와 각 가상 스피커 위치에서 출력되는 음압 사이의 전달 함수를 이용하여 상기 원음을 상기 가상 스피커 위치에서 음향이 재생되는 것처럼 들리도록 하는 음원 신호로 변환하는 것을 특징으로 하는 음원 재생 장치.
  6. 제 5항에 있어서, 상기 제어부는,
    상기 전달 함수를 이용하여 상기 가상 스피커 위치에서 상기 음향이 재생되는 것처럼 들리도록 하기 위하여 상기 원음을 변환시키기 위한 계수를 계산하고, 상기 원음을 상기 계수를 사용하여 필터링함으로써 상기 음원 신호로 변환하는 것인, 음원 재생 장치.
  7. 제 5항에 있어서,
    적어도 일부의 가상 스피커 위치에 대한 상기 전달함수는 메모리부에 미리 저장되어 있는 것인, 음원 재생 장치.
  8. 제1항 내지 제 4항 중 어느 한 항에 있어서,
    상기 적어도 하나의 가상 오브젝트의 적어도 일부의 위치 정보에 대응하는 가상 스피커 위치 정보가 메모리부에 저장되어 있는 것인, 음원 재생 장치.
  9. 제1항 내지 제 4항 중 어느 한 항에 있어서,
    상기 전자장치는 헤드마운트 디스플레이인, 음원 재생 장치.
  10. 전자장치와 통신하는 음원 재생 장치에 있어서,
    적어도 하나의 가상 오브젝트를 포함하는 영상 및 원음을 저장하는 메모리부; 및
    상기 적어도 하나의 가상 오브젝트의 위치 정보에 대응하는 가상 스피커 위치 정보를 생성하고, 상기 원음을 상기 가상 스피커 위치 정보에 기초하여 복수의 스피커를 위한 음원신호로 변환하는 제어부;를 포함하고,
    상기 제어부는 상기 적어도 하나의 가상 오브젝트를 포함하는 상기 영상을 상기 전자장치로 전송하는 음원 재생 장치.
  11. 제 10항에 있어서,
    상기 영상은 증강 현실에 기반한 프리뷰 이미지를 포함하고, 상기 적어도 하나의 가상 오브젝트는 상기 프리뷰 이미지 상에서 상기 프리뷰 이미지와 함께 상기 전자장치에서 디스플레이되는 것을 특징으로 하는 음원 재생 장치.
  12. 제 11항에 있어서,
    메모리부를 더 포함하고,
    상기 적어도 하나의 가상 오브젝트의 상기 위치 정보는 상기 프리뷰 이미지상의 이동 경로 정보를 포함하고,
    상기 이동 경로 정보는 상기 메모리부에 미리 저장되며,
    상기 제어부는,
    상기 메모리부에 기 저장된 상기 이동 경로 정보를 참조하여 상기 가상 스피커 위치 정보를 생성하는 음원 재생 장치.
  13. 제 10항에 있어서,
    상기 복수의 스피커를 포함하는 스피커부를 더 포함하고,
    상기 제어부는, 상기 복수의 스피커를 위한 상기 음원신호를 상기 스피커부에 출력하는 것인, 음원 재생 장치.
  14. 제10항 내지 제 13항 중 어느 한 항에 있어서, 상기 제어부는,
    각 스피커에 입력되는 음원 신호와 각 가상 스피커 위치에서 출력되는 음압 사이의 전달 함수를 이용하여 상기 원음을 상기 가상 스피커 위치에서 음향이 재생되는 것처럼 들리도록 하는 음원 신호로 변환하는 것을 특징으로 하는 음원 재생 장치.
  15. 제 14항에 있어서, 상기 제어부는,
    상기 전달 함수를 이용하여 상기 가상 스피커 위치에서 상기 음향이 재생되는 것처럼 들리도록 하기 위하여 상기 원음을 변환시키기 위한 계수를 계산하고, 상기 원음을 상기 계수를 사용하여 필터링함으로써 상기 음원 신호로 변환하는 것인, 음원 재생 장치.
  16. 제 14항에 있어서,
    적어도 일부의 가상 스피커 위치에 대한 상기 전달함수는 메모리부에 미리 저장되어 있는 것인, 음원 재생 장치.
  17. 제10항 내지 제 13항 중 어느 한 항에 있어서,
    상기 적어도 하나의 가상 오브젝트의 적어도 일부의 위치 정보에 대응하는 가상 스피커 위치 정보가 메모리부에 저장되어 있는 것인, 음원 재생 장치.
  18. 제10항 내지 제 13항 중 어느 한 항에 있어서,
    상기 전자장치는 헤드마운트 디스플레이인, 음원 재생 장치.
KR1020170044181A 2017-04-05 2017-04-05 영상 정보에 기반하여 가상 스피커를 재생하기 위한 음원 재생 장치 KR101916380B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020170044181A KR101916380B1 (ko) 2017-04-05 2017-04-05 영상 정보에 기반하여 가상 스피커를 재생하기 위한 음원 재생 장치
PCT/KR2018/004008 WO2018186693A1 (ko) 2017-04-05 2018-04-05 영상 정보에 기반하여 가상 스피커를 재생하기 위한 음원 재생 장치
US16/500,943 US10964115B2 (en) 2017-04-05 2018-04-05 Sound reproduction apparatus for reproducing virtual speaker based on image information

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170044181A KR101916380B1 (ko) 2017-04-05 2017-04-05 영상 정보에 기반하여 가상 스피커를 재생하기 위한 음원 재생 장치

Publications (2)

Publication Number Publication Date
KR20180113025A true KR20180113025A (ko) 2018-10-15
KR101916380B1 KR101916380B1 (ko) 2019-01-30

Family

ID=63712199

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170044181A KR101916380B1 (ko) 2017-04-05 2017-04-05 영상 정보에 기반하여 가상 스피커를 재생하기 위한 음원 재생 장치

Country Status (3)

Country Link
US (1) US10964115B2 (ko)
KR (1) KR101916380B1 (ko)
WO (1) WO2018186693A1 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2024507749A (ja) 2021-02-08 2024-02-21 サイトフル コンピューターズ リミテッド エクステンデッドリアリティにおけるコンテンツ共有
KR20230144042A (ko) 2021-02-08 2023-10-13 사이트풀 컴퓨터스 리미티드 생산성을 위한 확장 현실
WO2023009580A2 (en) 2021-07-28 2023-02-02 Multinarity Ltd Using an extended reality appliance for productivity
US11948263B1 (en) 2023-03-14 2024-04-02 Sightful Computers Ltd Recording the complete physical and extended reality environments of a user
US20230334795A1 (en) 2022-01-25 2023-10-19 Multinarity Ltd Dual mode presentation of user interface elements

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014116722A (ja) * 2012-12-07 2014-06-26 Sony Corp 機能制御装置およびプログラム
KR20140128306A (ko) * 2012-02-03 2014-11-05 소니 주식회사 정보 처리 장치, 정보 처리 방법, 및 프로그램

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5633993A (en) * 1993-02-10 1997-05-27 The Walt Disney Company Method and apparatus for providing a virtual world sound system
JP4304845B2 (ja) * 2000-08-03 2009-07-29 ソニー株式会社 音声信号処理方法及び音声信号処理装置
JP2006074589A (ja) * 2004-09-03 2006-03-16 Matsushita Electric Ind Co Ltd 音響処理装置
KR101306288B1 (ko) * 2010-09-30 2013-09-09 주식회사 팬택 가상 객체를 이용한 증강 현실 제공 장치 및 방법
KR20140129654A (ko) 2013-04-30 2014-11-07 인텔렉추얼디스커버리 주식회사 헤드 마운트 디스플레이 및 이를 이용한 오디오 콘텐츠 제공 방법
WO2016001909A1 (en) * 2014-07-03 2016-01-07 Imagine Mobile Augmented Reality Ltd Audiovisual surround augmented reality (asar)
WO2016065137A1 (en) 2014-10-22 2016-04-28 Small Signals, Llc Information processing system, apparatus and method for measuring a head-related transfer function
US9584915B2 (en) * 2015-01-19 2017-02-28 Microsoft Technology Licensing, Llc Spatial audio with remote speakers
US10038966B1 (en) * 2016-10-20 2018-07-31 Oculus Vr, Llc Head-related transfer function (HRTF) personalization based on captured images of user

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140128306A (ko) * 2012-02-03 2014-11-05 소니 주식회사 정보 처리 장치, 정보 처리 방법, 및 프로그램
JP2014116722A (ja) * 2012-12-07 2014-06-26 Sony Corp 機能制御装置およびプログラム

Also Published As

Publication number Publication date
US20200111257A1 (en) 2020-04-09
WO2018186693A1 (ko) 2018-10-11
KR101916380B1 (ko) 2019-01-30
US10964115B2 (en) 2021-03-30

Similar Documents

Publication Publication Date Title
KR101916380B1 (ko) 영상 정보에 기반하여 가상 스피커를 재생하기 위한 음원 재생 장치
JP6961007B2 (ja) 複合現実デバイスにおける仮想および実オブジェクトの記録
JP6893868B2 (ja) 空間依存コンテンツのための力覚エフェクト生成
EP3396511A1 (en) Information processing device and operation reception method
US11812252B2 (en) User interface feedback for controlling audio rendering for extended reality experiences
US20170153866A1 (en) Audiovisual Surround Augmented Reality (ASAR)
KR102230645B1 (ko) 공간화 오디오를 갖는 가상 현실, 증강 현실 및 혼합 현실 시스템들
TWI647593B (zh) 模擬環境顯示系統及方法
US11806621B2 (en) Gaming with earpiece 3D audio
JP6613429B2 (ja) 映像音響再生装置
WO2023207174A1 (zh) 显示方法、装置、显示设备、头戴式设备及存储介质
US11830515B2 (en) Methods and systems for visualizing audio properties of objects
GB2558279A (en) Head mountable display system
WO2018042658A1 (ja) 携帯情報端末、頭部装着表示システム、及びその音声出力制御方法
US20220036075A1 (en) A system for controlling audio-capable connected devices in mixed reality environments
US20200302761A1 (en) Indicator modes
JP2022173870A (ja) 鑑賞システム、鑑賞装置及びプログラム
CN117063489A (zh) 信息处理方法、程序和信息处理系统

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)