WO2018186693A1 - 영상 정보에 기반하여 가상 스피커를 재생하기 위한 음원 재생 장치 - Google Patents

영상 정보에 기반하여 가상 스피커를 재생하기 위한 음원 재생 장치 Download PDF

Info

Publication number
WO2018186693A1
WO2018186693A1 PCT/KR2018/004008 KR2018004008W WO2018186693A1 WO 2018186693 A1 WO2018186693 A1 WO 2018186693A1 KR 2018004008 W KR2018004008 W KR 2018004008W WO 2018186693 A1 WO2018186693 A1 WO 2018186693A1
Authority
WO
WIPO (PCT)
Prior art keywords
sound source
sound
virtual
virtual object
speaker
Prior art date
Application number
PCT/KR2018/004008
Other languages
English (en)
French (fr)
Inventor
김양한
Original Assignee
주식회사 에스큐그리고
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 에스큐그리고 filed Critical 주식회사 에스큐그리고
Priority to US16/500,943 priority Critical patent/US10964115B2/en
Publication of WO2018186693A1 publication Critical patent/WO2018186693A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303—Tracking of listener position or orientation
    • H04S7/304—For headphones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/242—Aligning, centring, orientation detection or correction of the image by image rotation, e.g. by 90 degrees
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S5/00—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S5/00—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation 
    • H04S5/005—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation  of the pseudo five- or more-channel type, e.g. virtual surround
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2420/00—Details of connection covered by H04R, not provided for in its groups
    • H04R2420/01—Input selection or mixing for amplifiers or loudspeakers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2420/00—Details of connection covered by H04R, not provided for in its groups
    • H04R2420/07—Applications of wireless loudspeakers or wireless microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/11—Application of ambisonics in stereophonic audio systems

Definitions

  • the present invention relates to a sound source reproducing apparatus, and more particularly, to a sound source reproducing apparatus in communication with an electronic device that provides an image and a sound source for reproducing a virtual speaker.
  • Augmented Reality which has become the latest technology trend in various fields such as broadcasting, education, medical, manufacturing, publishing, and gaming, is a derivative technology of virtual reality, combining the real world and the virtual world.
  • Virtual reality is a technology that realizes human-computer interaction by constructing and immersing a real-world environment into a virtual world with a computer environment, and augmented reality interacts by projecting additional information generated using a computer model onto real-world information. It is a technology that enables you to experience various digital information about the real world more realistically.
  • a sound source may be reproduced together with a 3D image.
  • the sound source playback device may be mounted inside the HMD, and the weight of the HMD becomes heavy, which may be inconvenient for the user. Therefore, in order to solve this problem, it is necessary to play the sound source through a plurality of speakers located outside the HMD.
  • HMD head mounted display
  • the sound source playback apparatus refers to the position of the virtual object received from the electronic device to generate the virtual speaker position information, and accordingly converts the original sound to play in the speaker, thereby the original sound at the position of the virtual object It is intended to be able to be reproduced.
  • the virtual speaker is reproduced according to the position of the virtual object, so that the listening object can be easily played with the sound source toward the listening object without a separate operation.
  • an object of the present invention is to enable a user to reproduce a more effective sound source, mainly through a plurality of speakers of the sound source playback apparatus.
  • a sound source playback apparatus is a sound source playback apparatus that communicates with an electronic device that provides an image and original sound, wherein the location information and the original sound of at least one virtual object included in the video from the electronic device.
  • An interface unit for receiving; And generating virtual speaker position information corresponding to the position information of the at least one virtual object received from the interface unit, and generating the original sound received from the interface unit for a plurality of speakers based on the virtual speaker position information. It may include a control unit for converting the sound source signal.
  • a sound source reproducing apparatus includes a memory unit configured to store an image and an original sound including at least one virtual object; And a controller configured to generate virtual speaker position information corresponding to the position information of the at least one virtual object and convert the original sound into sound source signals for a plurality of speakers based on the virtual speaker position information.
  • the controller may transmit the image including the at least one virtual object to the electronic device.
  • the virtual speaker is reproduced according to the position of the virtual object, so that the listening object can be easily reproduced with the sound source toward the listening object without a separate operation.
  • the virtual speaker can be reproduced at the correct position of the virtual object.
  • 1A is a block diagram illustrating a configuration of a sound source reproducing apparatus 100 and an electronic device 200 according to an embodiment of the present invention.
  • FIG. 1B is a conceptual diagram of the speaker unit 120 and the sound source reproducing unit 150 which are integrally provided.
  • 1C is a conceptual diagram of data transmission and reception between the electronic device 200 and the sound source reproducing apparatus 100 according to an embodiment.
  • FIG. 2 is a flowchart illustrating a method in which the electronic device 200 transmits information about an original sound and an image to the sound source reproducing apparatus 100, according to an exemplary embodiment.
  • FIG. 3 is a flowchart illustrating a method in which a sound source reproducing apparatus 100 receives information about an image and an original sound from an electronic device 200 according to an exemplary embodiment.
  • FIGS. 4 and 5 are diagrams illustrating location information of the preview image 410 and the virtual object 420 displayed on the display module 220 of the electronic device 200.
  • 6 and 7 are diagrams illustrating a virtual speaker listening structure of the user of the electronic device 200 through the speaker unit 120 of the sound source reproducing apparatus 100.
  • FIG. 8 is a flowchart illustrating a process in which a sound source generated from original sound received from the electronic device 200 is reproduced in virtual speaker position information.
  • 1A is a block diagram illustrating a configuration of a sound source reproducing apparatus 100 and an electronic device 200 according to an embodiment of the present invention.
  • the electronic device 200 may include a processor 210, a display module 220, a storage 230, a communication module 240, and a camera module 250.
  • the camera module 250 may include a front camera 205-1 and a rear camera 205-2, and capture an image (still image or video).
  • the camera module 250 of the present invention may photograph the face image of the user using the eye tracking function, and transmit the photographed image to the processor 210.
  • the front camera 205-1 is provided at a position where a user's face can be photographed when the user looks directly at the display module 220, and the rear camera 205-2 is a user at the front of the display module 220. As viewed from the front, it may be provided at a position to take a background image viewed by the user from the back of the front camera (250-1).
  • the processor 210 may control a plurality of hardware or software components connected to the processor 210 by driving an operating system or an application program, and may perform various data processing and operations including multimedia data.
  • the processor 210 generates a preview image 410 based on augmented reality or a background image based on virtual reality and transmits it to the display module 220 as shown in the screen example shown in FIG. 4, and the display module 220 generates the generated image.
  • the preview image 410 is displayed.
  • the processor 210 generates one or more virtual objects 420a and 420b for display with the preview image 410 displayed in the display module 220.
  • the processor 210 may generate location information of the virtual object 420 displayed on the preview image 410.
  • the image displayed may be a three-dimensional image having depth information or consisting of a binocular image.
  • the preview image is a game screen and the virtual object may be a character in the game, or an object that generates sound, such as an explosive or a car.
  • the processor 210 may determine whether a transmission request for the location information of the generated virtual object 420 has been received from an external device (eg, the sound source playback apparatus 100) in order to reproduce the sound source. If the processor 210 receives a request for transmitting the location information of the virtual object 420, the processor 210 may transmit the location information of the virtual object 420 to the storage unit 230, and the storage unit 230 may transmit the location information. The location information may be stored in the image data DB 230a. Meanwhile, the original sound and the location information may be transmitted together regardless of the request for transmission of the location information of the virtual object 420.
  • an external device eg, the sound source playback apparatus 100
  • the processor 210 may read the original sound previously stored in the storage 230 and the movement path information of the virtual object 420, and transmit the read movement path information and the original sound to the communication module 240.
  • the original sound may be a sound generated from a virtual object such as a voice of a character, a sound made from an object, or may be an audio signal of a plurality of channels such as stereo sound.
  • the display module 220 may display the command processing result of the processor 210 and may display the preview image and the virtual object 420 received from the processor 210.
  • the display module 220 may include a touch screen, a hologram device, or a projector according to an embodiment.
  • the touch screen may be, for example, a liquid-crystal display (LCD) or an active-matrix organic light-emitting diode (AM-OLED) or the like, and the touch screen may be flexible, transparent or wearable. It may be implemented wearable.
  • the hologram device may show a stereoscopic image in the air by using interference of light.
  • the projector may display an image by projecting light onto a screen.
  • the display module 220 may be implemented as an independent display device separate from the electronic device 200 such as a head mounted display (HMD), a separate monitor, a TV, or the like, and is connected to the electronic device 200 by wire or wirelessly. And to receive an image signal.
  • HMD head mounted display
  • TV TV
  • the storage unit 230 stores instructions processed or processed by the electronic device 200, and may include an audio DB 230b related to the original sound and an image DB 230a related to image data, according to an exemplary embodiment. have.
  • the original sound may be generated in the electronic device 200 or received from a content providing device (not shown) and stored in advance in the storage 230.
  • the processor 210 may transmit the position information of the virtual object 420 to the storage 230, and the storage unit 230 may store the location information in the image data DB 230a.
  • the communication module 240 mediates data communication between the electronic device 200 and the sound source reproducing apparatus 100, and transmits information about the original sound and image data of the electronic device 200 to the sound source reproducing apparatus 100 according to an embodiment. Can transmit Alternatively, a request for transmitting location information of the virtual object 420 may be received from the sound source playback apparatus 100, or the location information of the virtual object 420 stored in the storage 230 may be transmitted to the sound source playback apparatus 100. have.
  • the communication module 240 may allow data to be transmitted and received through short-range wireless communication or wired communication such as WIFI, Bluetooth, and BLE.
  • the above-described electronic device 200 is a device capable of providing augmented reality or virtual reality, and according to an embodiment, a smartphone, a tablet personal computer, a mobile phone, a video phone , E-book reader, desktop personal computer, laptop personal computer, netbook computer, personal digital assistant, portable multimedia player, MP3 player , Mobile medical devices, cameras, or wearable devices (e.g. headmounted-devices (HMDs), such as electronic glasses, electronic clothing, electronic bracelets, electronic necklaces, electronic accessories, electronic tattoos, Or a smart watch.
  • HMDs headmounted-devices
  • the electronic device may be a smart home appliance with a camera function.
  • Smart home appliances may include, for example, televisions, digital video disk (DVD) players, audio, refrigerators, air conditioners, cleaners, ovens, microwave ovens, washing machines, air purifiers, set-top boxes, and the like. have.
  • DVD digital video disk
  • the sound source reproducing apparatus 100 may include a speaker unit 120 and a sound source reproducing unit 150, and the sound source reproducing unit 150 may include a control unit 110, a memory unit 130, and an interface unit 140. ) May be included.
  • the speaker unit 120 and the sound source reproducing unit 150 may be provided in one piece, but the speaker unit 120 and the sound source reproducing unit 150 may be independently formed in a separate form. May be provided.
  • the controller 110 may perform various data processing and operations including multimedia data for driving the sound source reproducing apparatus 100.
  • the controller 110 may receive the original sound from the electronic device 200 through the interface unit 140, and receive the position information of the virtual object included in the image from the electronic device 200 through the interface unit 140. Can be.
  • the controller 110 may transmit a transmission request for the location information of the virtual object 420 to the electronic device 200 through the interface unit 140.
  • the controller 110 may generate virtual speaker position information corresponding to the position information of the virtual object, and the controller 110 may receive the received original sound at the position of the virtual speaker 120 'designated by the position information of the virtual object.
  • the speaker unit 120 may be controlled by converting the sound as if it is generated.
  • the memory unit 130 may store the sound source signal generated from the original sound received from the electronic device 200 or the location information of the virtual object 420 through the interface unit 140.
  • the virtual speaker position information corresponding to the position information of the virtual object may be received from the controller 110 and stored.
  • the memory unit 130 may store a function for converting the original sound into the sound source signal as if the sound is generated at the corresponding position for each virtual position (the position of the virtual object).
  • the memory unit 130 stores a transfer function between each speaker position and each virtual point, and the controller 110 may be configured to calculate the function from the transfer function.
  • the interface unit 140 arbitrates data transmission and reception with the electronic device 200, and receives location information of the original sound or the virtual object from the electronic device 200 and transmits it to the control unit 110.
  • the interface unit 140 may be a wireless communication interface such as Wi-Fi, Bluetooth, or the like, and a wired communication interface such as a wired LAN, a USB, or an HDMI.
  • the speaker unit 120 preferably includes a plurality of speakers, and reproduces a sound source signal received from the controller 110 as a sound.
  • the speaker unit 120 may be purchased separately from the sound source reproducing apparatus 100 or may be configured to be connected to the sound source reproducing apparatus 100 to the speaker unit 120 that is previously installed.
  • the sound source playback apparatus 100 is a device having a sound source providing and / or sound source playback control function such as a smart phone, a smart TV, a tablet, a PC, or the like, as shown in FIG. 1B. It may be an included device. According to an embodiment, in this case, the sound source reproducing apparatus 100 may be mounted on a conventional smart TV or the like in a separate physical product form. In addition, the sound source reproducing apparatus 100 may be configured to be coupled to the electronic device 200 in an add-on form or may be configured to be embedded in the electronic device 200.
  • the scope of the present invention is not limited to the above embodiment with respect to the combination configuration of the electronic device 200 and the sound source playback device 100.
  • all of the components shown in the block diagram shown in FIG. 1A may be included in whole, or some may be omitted.
  • 1C is a conceptual diagram illustrating data transmission and reception and sound reproduction between the electronic device 200 and the sound source reproducing apparatus 100 according to an embodiment.
  • FIG. 1C illustrates the audio of the corresponding image played by the sound source reproducing apparatus 100 while the user views the image displayed on the head mounted display while the user wears the electronic device 200 in the form of a head mounted display. It shows how to listen.
  • the electronic device 200 may transmit original sound and virtual object position information to the sound source playback apparatus 100 in a 3D space, and the sound source playback apparatus 100 may receive the received original sound and virtual object position information.
  • a sound source signal is generated and reproduced by the plurality of speakers 120-1, 120-2 .. so that the original sound sounds as if it is generated at the virtual position indicated by the virtual object position information.
  • FIG. 5 An example of location information of the preview image 410 and the virtual object 420 displayed on the display module 220 of the electronic device 200 is illustrated in FIG. 5. That is, when the fly 420a, the virtual object, is moved from the first position C1 to the second position C2, the sound source reproducing apparatus 100 moves the fly sound, that is, the original sound 420a. It converts as if it came out of the position on the path to play through the speaker unit 120. That is, as shown in FIG. 6, the sound source signal reproduced through the plurality of speakers 120-1 and 120-2 ..
  • an electronic device As if the virtual speaker 120 'makes a sound as the virtual speaker 120' moves from the first position C1 to the second position C2, that is, the fly moves from the first position C1 to the second position C2. It sounds like you are moving.
  • FIG. 2 is a flowchart illustrating a method of transmitting information about an original sound and an image to a sound source reproducing apparatus 100 while the electronic device 200 displays an augmented reality image or a virtual reality image, according to an exemplary embodiment.
  • the processor 210 generates a preview image based on augmented reality or a background image based on virtual reality, and transmits the generated image to the display module 220 (S210).
  • the display module 220 generates the generated preview. Display the image.
  • the processor 210 may generate the preview image 410 as shown in FIG. 4 using the front camera 250-1 and the rear camera 250-2.
  • the processor 210 receives an image including the face of the user using the electronic device 200 from the front camera 250-1, and uses eye tracking technology from the image including the user's face.
  • the 3D viewpoint of the user indicating where and in which direction the user is looking may be calculated.
  • the 3D view may be represented by coordinates of the rotation, deflection, and shank (roll, yaw, pitch), which are relative rotation values of the front camera 250-1, and the x, y, and z axes, which are displacement values.
  • the processor 210 moves the viewpoint of the rear camera 250-2 so that the calculated 3D viewpoint of the user corresponds to the viewpoint of the rear camera 250-2. That is, the processor 210 is based on the coordinates of the rotation, deflection, and shank (roll, yaw, pitch) and displacement values of the x1 axis, the y1 axis, and the z1 axis of the front camera 250-1, which are the user's three-dimensional views.
  • the coordinates of the rotation, deflection, shanghai (roll, yaw, pitch) and displacement values of x2 axis, y2 axis, and z2 axis of the rear camera 250-2, which are three-dimensional views of the rear camera 250-2, are displayed. Is to move to the dimensional viewpoint.
  • the processor 210 generates a preview image according to an exemplary embodiment of the present invention by detecting an image corresponding to a region where a viewing angle of the user and an angle of view of the rear camera 250-2 match.
  • the processor 210 calculates a reference angle corresponding to the width of the display module 220 from the user.
  • the processor 210 calculates a reference angle generated by crossing straight lines from both ends of the display module 220 to the user.
  • the processor 210 detects an image of an area corresponding to the same angle of view as the reference angle based on the viewpoint of the moved rear camera 250-2 among the background images input from the rear camera 250-2 to implement the present invention.
  • a preview image may be generated.
  • the viewing angle of the user means a viewing angle of a general person.
  • the preview image may be a 2D image or a 3D image.
  • the processor 210 generates a predetermined virtual object 420 for displaying together with the preview image 410 displayed on the display module 220 (S220).
  • the predetermined virtual object 420 may be provided on the preview image 410 based on augmented reality in the form of a menu, an icon, a text, etc. as shown in FIG.
  • the virtual object 420 may be provided to represent the information, or a predetermined portion itself visible on the preview image 410 may be provided to the virtual object 420.
  • a tourist attraction 420a around the user, a distance 420b from the user, and traffic information 420c for moving to the attraction may be provided as a virtual object.
  • the processor 210 may transmit the generated virtual object 420 to the display module 220, and the display module 220 may display the generated virtual object 420 together with the preview image 410.
  • the processor 210 may generate location information of the virtual object 420 displayed on the preview image 410 (S230).
  • the position information of the virtual object 420 may include spatial coordinates (x, y, z) of the virtual object 420 formed in a three-dimensional space that is a listening area capable of listening to a reproduction sound source.
  • the position information of the virtual object 420 may be obtained as the virtual object 420a moves from the first position to the second position in the three-dimensional space indicated by the preview image 410.
  • the movement path information may be included with respect to the first location C1 (x1, y1, z1) and the second location C2 (x2, y2, z2).
  • the processor 210 may determine whether a transmission request for the position information of the generated virtual object 420 has been received from an external device (eg, the sound source playback apparatus 100) to reproduce the original sound (S240).
  • the original sound may be an original sound previously stored in the audio data DB 230b of the storage 230 or an original sound that the electronic device 200 receives in real time from an external device (not shown).
  • the original sound may be a multi-channel audio signal like stereo audio.
  • the processor 210 may transmit the location information of the virtual object 420 to the storage unit 230 (S250) and the storage unit 230. ) May store the location information in the image data DB 230a.
  • the processor 210 may read the original sound prestored in the storage unit 230 and the movement path information of the virtual object 420, and transmit the read movement path information and the original sound to the communication module 240 (S260).
  • the communication module 240 may transmit such data to the sound source reproducing apparatus 100.
  • the communication module 240 may allow data to be transmitted and received through short-range wireless communication or wired communication such as WIFI, Bluetooth, and BLE.
  • step S240 may be omitted.
  • FIG. 3 is a flowchart illustrating a method of receiving, by the sound source reproducing apparatus 100, information about an image and an original sound from the electronic device 200, according to an exemplary embodiment.
  • the controller 110 may receive the original sound from the electronic device 200 through the interface unit 140 (S310).
  • the original sound stored in the sound source reproducing apparatus 100 may be used.
  • the original sound may be previously stored in the memory unit 130. (not shown)
  • the controller 110 may transmit a transmission request for the location information of the virtual object 420, which is information for reference to reproduce the original sound, to the electronic device 200 through the interface unit 140 (S320).
  • Location information of the virtual object included in the image may be received from the electronic device 200 that receives the transmission request through the interface unit 140 (S330).
  • the image may include the preview image 410 and the virtual object 420 displayed together with the preview image as shown in FIG. 4.
  • the position information of the virtual object 420 is the first as the virtual object 420 moves from the first position to the second position in the three-dimensional space indicated by the preview image 410 as shown in FIG. 5.
  • the movement path information may be previously stored in the electronic device 200, and the movement path information received by the controller 110 from the electronic device 200 may be stored in the memory unit 130.
  • the controller 110 may generate virtual speaker location information corresponding to the location information of the virtual object 420 (S340). That is, the position in the space that is the stage of the augmented reality or the virtual reality is mapped to the position in the space where the user listens to the sound.
  • virtual speaker position information mapping table
  • the controller 110 may generate virtual speaker location information corresponding to the location information of the virtual object 420 using this mapping table.
  • the virtual speaker location information corresponding to the location information of the virtual object 420 may be calculated using the information about the size of the space on the augmented reality or the virtual reality and the information about the size of the space where the user is located.
  • the controller 110 may generate virtual speaker position information by referring to movement path information of the virtual object 420 previously stored in the memory unit 130.
  • the movement path information of the virtual speaker 120 ′ is obtained from the first position to the second position in the three-dimensional space indicated by the preview image 410. Movement path information about the first position C1 (x1, y1, z1) and the second position C2 (x2, y2, z2) according to the movement may be included.
  • the generated virtual speaker position information may be stored in the memory unit 130.
  • the controller 110 converts the original sound to be transmitted to the speaker unit 120 based on the position information of the virtual speaker 120 'so that the sound sounds as if the sound is coming from the position of the virtual speaker.
  • the controller 110 converts the original sound into a sound source signal for each speaker by using the position information of the virtual speaker 120 (S350), and converts the converted sound source signal into each speaker of the speaker unit 120. Applies to (S360). The process of changing the original sound into the sound source signal for each speaker will be described in detail with reference to FIG. 8.
  • the listening object may feel as if the original sound is reproduced from the virtual speaker at the position corresponding to the position of the virtual object.
  • the moving path of the virtual object is stored in advance and sounds are felt to flow along the moving path, it is possible to easily play the sound source toward the listening object even if the listening object does not perform a separate operation.
  • the listening object of the present invention may include a user of the electronic device 200.
  • the virtual speaker can be reproduced at the correct position of the virtual object.
  • FIG. 6 is a diagram illustrating position information of a virtual speaker, according to an exemplary embodiment.
  • the sound source reproduced through the plurality of speakers 120-1 and 120-2 .. included in the speaker unit 120 may reproduce the sound source at the position of the virtual speaker 120 ′. It will be heard by the listening object. Specifically, as the position of the virtual object shown in FIG. 5 is changed (C1-> C2), the position of the virtual speaker is also changed (C1-> C2) in the same manner, whereby the user of the electronic device 200 makes the sound source virtual. It can be heard as if played back at each position C1, C2 of the speaker.
  • the virtual speaker position ((first position, C1 (x1, y1, z1)) included in the position information of the virtual speaker 120 ', the second position, C2 (x2, y2, z2 )) May be represented by spatial coordinates (x, y, z).
  • FIG. 7 is a diagram illustrating a structure of a plurality of speakers 120-1 and 120-2 .. included in the speaker unit 120 of the sound source reproducing apparatus 100 according to the embodiment.
  • the plurality of speaker structures illustrated in FIG. 6 correspond to a sound bar array structure arranged in a linear bar shape, but according to an embodiment, as shown in FIG. 7, a round array structure arranged in a circular shape is provided. It can also be implemented. In addition, in the case of the present invention, a sound bar array and a round array structure arranged in a circular shape is illustrated, but the scope of the present invention is not limited to this, even in the case of any array structure
  • the speaker module of the present invention can be implemented through various combinations.
  • the electronic device 200 may be disposed on at least one side of the front, side, and rear of the user.
  • the round bar array as a structure to wrap around the user, it may be implemented in a circular, elliptical or the like. Through this round bar array structure, it is possible to reproduce the sound source more effectively centered on the user than the sound bar array.
  • a virtual channel located at the rear of the user may not be able to reproduce sounds easily. Can be played.
  • FIG. 8 is a flowchart illustrating an embodiment of converting original sound received by the sound source reproducing apparatus 100 from the electronic device 200 to reproduce the sound source at a predetermined virtual speaker position.
  • the controller 110 calculates a transfer function between the sound source signal input to each speaker of the speaker unit 120 and the sound pressure output from each virtual speaker position (step S1).
  • This transfer function represents the characteristics of the space in which the user is located, and may be stored in memory after actual measurement.
  • the transfer function of each virtual speaker position may be generated as many as the number of speakers provided in the speaker unit 120 and may be expressed as a function of frequency.
  • the virtual speaker positions between the some virtual speaker positions may be configured to be obtained by interpolating transfer functions for the corresponding virtual speaker positions. .
  • control unit 110 calculates a coefficient for converting the original sound to make it sound as if the sound is reproduced at the virtual speaker position using the transfer function calculated in step S1 (step S2).
  • a coefficient such that the sound pressure level at the virtual speaker position is higher than the sound pressure level at the region other than the virtual speaker position. More specifically, a coefficient is calculated so that the ratio of the acoustic potential energy density at the virtual speaker position to the sum of the energy of the individual sound sources is maximized.
  • a single frequency is described, it may be understood that the sound source for each frequency is determined in the case of a plurality of frequencies.
  • This coefficient may be a coefficient for converting the magnitude and phase of the original sound.
  • the coefficient for converting the volume of sound output from the i-th speaker of the speaker unit 120 is, for example, the magnitude of the transfer function vector of all the speakers with respect to the virtual speaker position, and the i-th with respect to the virtual speaker position. It may be a value obtained by dividing the size of the speaker's transfer function.
  • the coefficient for converting the phase difference of the audio signal input to the i-th speaker can be obtained, for example, through the complex declination of the transfer function of the i-th speaker.
  • the controller 110 may filter the original sound by the coefficient determined in step S2, and generate a sound source signal for each speaker to be applied to each speaker (step S3).
  • the generated sound source signal is applied to the speaker unit 120 to be reproduced so that the original sound is reproduced at the virtual speaker position (step S4).
  • the electronic device 200 generates and stores the image and the original sound
  • the sound source reproducing apparatus 100 receives the position information of the virtual object included in the image from the electronic device 200.
  • the following describes a feature of generating virtual speaker position information corresponding to position information of a virtual object and converting and reproducing the original sound into a sound source signal for each speaker based on the virtual speaker position information.
  • the sound source reproducing apparatus 100 generates the image and the original sound, generates virtual speaker position information corresponding to the position information of at least one of the virtual objects included in the image,
  • the control unit converts and reproduces a sound source signal for each speaker based on the virtual speaker position information, but the sound source reproducing apparatus 100 may transmit an image including the virtual object to the electronic device 200.
  • the memory unit 130 of the sound source reproducing apparatus 100 may store information about an image and a sound source in advance.
  • the image may be transmitted from the electronic device 200 to the sound source playback device 100, but the image may be transmitted from the sound source playback device 100 to the electronic device 200.
  • the virtual speaker is reproduced according to the position of the virtual object, so that the listening object can be easily reproduced with the sound source toward the listening object without a separate operation.
  • the virtual speaker can be reproduced at the correct position of the virtual object.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Stereophonic System (AREA)

Abstract

본 발명은 영상 및 음원을 제공하는 전자장치와 통신하는 음원 재생 장치에 있어서, 상기 전자장치로부터 상기 영상에 포함된 적어도 하나의 가상 오브젝트 중 어느 하나의 위치 정보 및 상기 음원을 수신하는 인터페이스부 및 상기 인터페이스부로부터 수신한 상기 적어도 하나의 가상 오브젝트 중 어느 하나의 상기 위치 정보에 대응하는 가상 스피커 위치 정보를 생성하고, 상기 인터페이스부로부터 수신한 상기 음원을 상기 가상 스피커 위치 정보에 기초하여 재생하도록 제어하는 제어부를 포함하는 음원 재생 장치임을 특징으로 한다.

Description

영상 정보에 기반하여 가상 스피커를 재생하기 위한 음원 재생 장치
본 발명은 음원 재생 장치에 관한 것으로, 보다 상세하게는 가상 스피커를 재생하기 위하여, 영상 및 음원을 제공하는 전자장치와 통신하는 음원 재생 장치에 관한 것이다.
최근 방송, 교육, 의료, 제조, 출판, 게임 등 다양한 분야에서 최신 기술 트렌드가 되고 있는 증강현실 (Augmented Reality: AR)은 가상현실 (Virtual Reality)의 파생된 기술로서 현실 세계와 가상 세계를 결합하는 기술을 의미한다. 가상현실은 컴퓨터 환경으로 실세계 환경을 가상 세계로 구축하여 몰입하게 함으로써 인간과 컴퓨터의 상호작용을 실현하는 기술이고, 증강현실은 컴퓨터 모델을 이용하여 생성된 부가정보를 현실 세계 정보에 투영하여 상호작용함으로써 현실 세계에 대한 다양한 디지털 정보를 보다 실감나게 체험할 수 있도록 하는 기술이다.
이러한 증강현실이나 가상현실에서는 3D 영상과 함께 음원이 재생될 수 있다.
그러나, 종래의 가상 현실이나 증강 현실에서 구현되는 음원 시스템에 따르면 재생되는 음원의 정확한 위치를 판별하기 어렵다는 단점이 있다. 이럴 경우, 음원의 위치에 대한 느낌만이 전달되므로, 재생 음원의 정확한 위치를 판별하여 사용자에게 제공하는 것이 필요하다..
또한, 헤드 마운트 디스플레이(HMD)을 착용하여 재생 음원을 청취하고자 할 경우, 음원 재생 장치가 HMD의 내부에 실장되어 HMD의 무게가 무거워져 사용자게 불편할 수 있다. 따라서 이러한 문제점을 해결할 수 있는 방안으로, HMD 외부에 위치한 다수의 스피커를 통한 음원 재생이 필요한 실정이다.
본 발명의 일 실시예에서, 전자장치로부터 수신한 가상 오브젝트의 위치를 음원 재생 장치가 참조하여 가상 스피커 위치 정보를 생성하고, 그에 따라 원음을 변환하여 스피커에서 재생하도록 함으로써, 가상 오브젝트의 위치에서 원음이 재생될 수 있도록 함을 목적으로 한다.
본 발명은 실시예에 따르면, 가상 오브젝트의 위치에 따라 가상 스피커가 재생되어 청취 객체는 별도의 동작을 하지 않아도 청취 객체를 향한 음원 재생이 용이해지도록 함을 목적으로 한다.
또한, 음원 재생 장치의 다수의 스피커를 통해, 사용자를 중심으로 보다 효과적인 음원을 재생할 수 있도록 함을 목적으로 한다.
본 발명의 실시예에 따른 음원 재생 장치는, 영상 및 원음을 제공하는 전자장치와 통신하는 음원 재생 장치에 있어서, 상기 전자장치로부터 상기 영상에 포함된 적어도 하나의 가상 오브젝트 의 위치 정보 및 상기 원음을 수신하는 인터페이스부; 및 상기 인터페이스부로부터 수신한 상기 적어도 하나의 가상 오브젝트의 상기 위치 정보에 대응하는 가상 스피커 위치 정보를 생성하고, 상기 인터페이스부로부터 수신한 상기 원음을 상기 가상 스피커 위치 정보에 기초하여 복수의 스피커를 위한 음원신호로 변환하는 제어부를 포함할 수 있다.
본 발명의 다른 실시예에 따른 음원 재생 장치는, 적어도 하나의 가상 오브젝트를 포함하는 영상 및 원음을 저장하는 메모리부; 및 상기 적어도 하나의 가상 오브젝트의 위치 정보에 대응하는 가상 스피커 위치 정보를 생성하고, 상기 원음을 상기 가상 스피커 위치 정보에 기초하여 복수의 스피커를 위한 음원신호로 변환하는 제어부를 포함할 수 있다. 상기 제어부는 상기 적어도 하나의 가상 오브젝트를 포함하는 상기 영상을 상기 전자장치로 전송할 수 있다.
본 발명은 실시예에 따르면, 가상 오브젝트의 위치에 따라 가상 스피커가 재생되어 청취 객체는 별도의 동작을 하지 않아도 청취 객체를 향한 음원 재생이 용이해질 수 있다.
또한, 음원 재생 장치의 다수의 스피커 구조를 통해, 사용자를 중심으로 보다 효과적인 음원이 재생될 수 있다.
또한, 전자장치(200)에 미리 저장된 가상 오브젝트의 위치를 음원 재생 장치(100)가 참조하여 가상 스피커 위치 정보를 생성함으로써, 가상 오브젝트의 정확한 위치에서 가상 스피커가 재생될 수 있게 된다.
그리고, 별도의 다수의 스피커를 통한 음원 재생으로, 헤드 마운트 디스플레이(HMD) 착용에 따른 불편함을 해소할 수 있다.
도 1a는 본 발명의 실시예에 따른 음원 재생 장치(100) 및 전자 장치(200)의 구성을 설명하기 위한 블록도이다.
도 1b는 일체형으로 제공되는 스피커부(120)와 음원 재생부(150)에 대한 개념도이다.
도 1c는 실시예에 따라 전자장치(200)와 음원 재생 장치(100)간의 데이터 송수신에 대한 개념도이다.
도 2는 실시예에 따라 전자장치(200)가 음원 재생 장치(100)로 원음 및 영상에 관한 정보를 전송하는 방법을 설명한 순서도이다.
도 3은 실시예에 따라 음원 재생 장치(100)가 전자장치(200)로부터 영상에 관한 정보와 원음을 수신하는 방법을 설명한 순서도이다.
도 4 및 도 5는 전자장치(200)의 디스플레이 모듈(220)에 디스플레이되는 프리뷰 영상(410) 및 가상 오브젝트(420)의 위치 정보에 대한 도면이다.
도 6 및 도 7은 음원 재생 장치(100)의 스피커부(120)를 통한 전자장치(200) 사용자의 가상 스피커 청취 구조에 대한 도면이다.
도 8은 전자장치(200)로부터 수신한 원음으로부터 생성된 음원이 가상 스피커 위치 정보에서 재생되는 과정을 상술한 순서도이다.
후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.
이하, 첨부되는 도면을 참조하여 본 발명의 실시예에 따른 음원 재생 장치(100) 및 전자 장치(200)를 설명하고자 한다.
도 1a는 본 발명의 실시예에 따른 음원 재생 장치(100) 및 전자 장치(200)의 구성을 설명하기 위한 블록도이다.
도 1a에 도시한 바와 같이, 전자장치(200)는 프로세서(210), 디스플레이 모듈(220), 저장부(230), 통신 모듈(240), 및 카메라 모듈(250)을 포함할 수 있다.
카메라 모듈(250)은 전면 카메라(205-1)와 후면 카메라(205-2)를 포함하고, 영상(정지 영상 또는 동영상)을 촬영할 수 있다. 특히, 본 발명의 카메라 모듈(250)은 눈동자 추적 기능을 이용하여 사용자의 얼굴 영상을 촬영하고, 촬영된 영상을 프로세서(210)에 전송할 수 있다.
전면 카메라(205-1)는 사용자가 디스플레이 모듈(220)을 정면으로 바라볼 때 사용자의 얼굴을 촬영할 수 있는 위치에 구비되고, 후면 카메라(205-2)는 사용자가 디스플레이 모듈(220)을 정면으로 바라볼 때, 전면 카메라(250-1)의 뒷면에서 사용자가 바라보는 배경 이미지를 촬영할 수 있는 위치에 구비될 수 있다.
프로세서(210)는 운영체제 또는 응용 프로그램을 구동하여 프로세서(210)에 연결된 다수의 하드웨어 또는 소프트웨어 구성요소들을 제어할 수 있고, 멀티미디어 데이터를 포함한 각종 데이터 처리 및 연산을 수행할 수 있다.
프로세서(210)는 도 4에 도시한 화면예와 같이 증강 현실에 기반한 프리뷰 이미지(410) 또는 가상 현실에 기반한 배경 이미지를 생성하여 디스플레이 모듈(220)로 전송하고, 디스플레이 모듈(220)은 생성된 프리뷰 이미지(410)를 디스플레이 한다. 프로세서(210)는 디스플레이 모듈(220)에 디스플레이된 프리뷰 이미지(410)와 함께 디스플레이하기 위한 하나 또는 그 이상의 가상 오브젝트(420a, 420b)를 생성한다. 프로세서(210)는 프리뷰 이미지(410)상에 디스플레이된 가상 오브젝트(420)의 위치 정보를 생성할 수 있다. 일 실시예에서 디스플레이되는 이미지는 깊이 정보를 갖는 또는 양안 이미지로 구성된 3차원 이미지일 수 있다. 일 실시예에서 프리뷰 이미지는 게임 화면이고 가상 오브젝트는 게임 상의 캐릭터일 수 있으며, 또는 폭발물이나 자동차 등과 같이 소리를 발생시키는 물체일 수 있다.
프로세서(210)는 음원을 재생하기 위해, 생성된 가상 오브젝트(420)의 위치 정보에 대한 전송 요청을 외부 디바이스(ex, 음원 재생 장치(100))로부터 수신했는지 여부를 판단할 수 있다. 만일, 프로세서(210)가 가상 오브젝트(420)의 위치 정보에 대한 전송 요청을 수신한 경우, 가상 오브젝트(420)의 위치 정보를 저장부(230)로 전송할 수 있고, 저장부(230)는 이러한 위치 정보를 영상 데이터 DB(230a)에 저장할 수 있다. 한편, 가상 오브젝트(420)의 위치 정보에 대한 전송 요청에 관계없이 원음과 위치 정보를 함께 전송하도록 구성할 수도 있다. 프로세서(210)는 저장부(230)에 기 저장된 원음과 가상 오브젝트(420)의 이동 경로 정보를 독출하여, 독출된 이동 경로 정보 및 원음을 통신 모듈(240)로 전송할 수 있다. 원음은 캐릭터의 음성, 물체에서 나는 소리 등 가상 오브젝트에서 발생되는 음향일 수 있으며, 스테레오 음향과 같이 복수의 채널의 오디오 신호일 수 있다.
디스플레이 모듈(220)은 프로세서(210)의 명령 처리 결과를 디스플레이할 수 있으며, 프로세서(210)로부터 수신한 프리뷰 이미지와 가상 오브젝트(420)를 디스플레이할 수 있다. 디스플레이 모듈(220)은 실시예에 따라 터치 스크린, 홀로그램 장치 또는 프로젝터 등을 포함할 수 있다. 터치 스크린은, 예를 들면, LCD(liquid-crystal display) 또는 AM-OLED(active-matrix organic light-emitting diode) 등일 수 있으며, 터치 스크린은 유연하게(flexible), 투명하게(transparent) 또는 착용할 수 있게(wearable) 구현될 수 있다. 홀로그램 장치는 빛의 간섭을 이용하여 입체 영상을 허공에 보여줄 수 있다. 프로젝터는 스크린에 빛을 투사하여 영상을 표시할 수 있다. 또한, 디스플레이 모듈(220)은 헤드마운트 디스플레이(HMD), 별도의 모니터, TV 등과 같이 전자장치(200)와는 별개의 독자적인 디스플레이 장치로 구현될 수도 있으며, 유선 또는 무선으로 전자장치(200)에 연결되어 영상신호를 수신하도록 구현될 수 있다.
저장부(230)는 전자장치(200)에서 처리된 또는 처리하기 위한 명령어를 저장하는 것으로, 실시예에 따라 원음과 관련한 오디오 DB(230b) 및 영상 데이터에 관한 영상 DB(230a)를 포함할 수 있다. 원음은 전자장치(200)에서 생성되거나 컨텐츠 제공 장치(미도시)로부터 수신하여 저장부(230)에 미리 저장된 것일 수 있다. 프로세서(210)가 가상 오브젝트(420)의 위치 정보에 대한 전송 요청을 음원 재생 장치(100)로부터 수신한 경우, 가상 오브젝트(420)의 위치 정보를 저장부(230)로 전송할 수 있고, 저장부(230)는 이러한 위치 정보를 영상 데이터 DB(230a)에 저장할 수 있다.
통신 모듈(240)은 전자장치(200)와 음원 재생 장치(100)간의 데이터 통신을 중재하며, 실시예에 따라 전자장치(200)의 원음 및 영상 데이터에 관한 정보를 음원 재생 장치(100)로 전송할 수 있다. 또는, 가상 오브젝트(420)의 위치 정보 전송에 대한 요청을 음원 재생 장치(100)로부터 수신하거나, 저장부(230)에 저장된 가상 오브젝트(420)의 위치 정보를 음원 재생 장치(100)로 전송할 수도 있다. 예를 들어, 통신 모듈(240)은 WIFI, 블루투스, BLE 등의 근거리 무선 통신이나 유선 통신 방식을 통해 데이터가 송수신되도록 할 수 있다.
한편, 전술한 전자장치(200)는 증강 현실 또는 가상 현실을 제공할 수 있는 기기로, 실시예에 따라 스마트 폰(smartphone), 태블릿 PC(tablet personal computer), 이동 전화기(mobile phone), 화상전화기, 전자북 리더기(e-book reader), 데스크탑 PC(desktop personal computer), 랩탑 PC(laptop personal computer), 넷북 컴퓨터(netbook computer), PDA(personal digital assistant), PMP(portable multimedia player), MP3 플레이어, 모바일 의료기기, 카메라(camera), 또는 웨어러블 장치(wearable device)(예: 전자 안경과 같은 headmounted-device(HMD), 전자 의복, 전자 팔찌, 전자 목걸이, 전자 앱세서리(appcessory), 전자 문신, 또는 스마트 와치(smart watch)) 등을 포함할 수 있다.
어떤 실시 예들에 따르면, 전자장치는 카메라 기능을 갖춘 스마트 가전 제품(smart home appliance)일 수 있다. 스마트 가전 제품은, 예를 들자면, 텔레비전, DVD(digital video disk) 플레이어, 오디오, 냉장고, 에어컨, 청소기, 오븐, 전자레인지, 세탁기, 공기 청정기, 셋톱 박스(set-top box) 등을 포함할 수 있다.
한편, 음원 재생 장치(100)는 스피커부(120) 및 음원 재생부(150)를 포함할 수 있고, 음원 재생부(150)는 제어부(110), 메모리부(130), 및 인터페이스부(140)를 포함할 수 있다.
실시예에 따라 도 1b에 도시한 바와 같이 스피커부(120)와 음원 재생부(150)는 일체형으로 제공될 수도 있으나, 스피커부(120)와 음원 재생부(150)가 별개의 형태로 독립적으로 제공될 수도 있다.
제어부(110)는 음원 재생 장치(100)를 구동하기 위한 멀티미디어 데이터를 포함한 각종 데이터 처리 및 연산을 수행할 수 있다.
제어부(110)는 인터페이스부(140)를 통해 전자장치(200)로부터 원음을 수신할 수 있고, 전자장치(200)로부터 영상에 포함된 가상 오브젝트의 위치 정보를 인터페이스부(140)를 통해 수신할 수 있다. 제어부(110)는 가상 오브젝트(420)의 위치 정보에 대한 전송 요청을 인터페이스부(140)를 통해 전자장치(200)로 송신할 수도 있다. 제어부(110)는 가상 오브젝트의 위치 정보에 대응하는 가상 스피커 위치 정보를 생성할 수 있고, 제어부(110)는 수신된 원음을 가상 오브젝트의 위치 정보에 의해 지정되는 가상 스피커(120')의 위치에서 음향이 발생하는 것처럼 들리도록 변환하여 스피커부(120)를 제어할 수 있다.
메모리부(130)는 인터페이스부(140)를 통해 전자장치(200)로부터 수신한 원음으로부터 생성된 음원 신호나 가상 오브젝트(420)의 위치 정보를 저장할 수 있다. 그리고, 가상 오브젝트의 위치 정보에 대응하는 가상 스피커 위치 정보를 제어부(110)로부터 수신하여 저장할 수 있다. 또한, 메모리부(130)에는 각 가상 위치(가상 오브젝트의 위치)에 대해서 해당 위치에서 소리가 나는 것처럼 원음을 음원 신호로 변환하기 위한 함수가 저장되어 있을 수 있다. 또는, 메모리부(130)에는 각 스피커의 위치와 각 가상 지점 사이의 전달함수가 저장되어 있고, 제어부(110)가 이 전달함수로부터 상기 함수를 계산하도록 구성할 수도 있다.
인터페이스부(140)는 전자장치(200)와의 데이터 송수신을 중재하는 것으로, 전자장치(200)로부터 원음이나 가상 오브젝트의 위치 정보를 수신하여 제어부(110)로 전송한다. 인터페이스부(140)는 와이파이(WiFi), 블루투스(Bluetooth) 등과 같은 무선통신 인터페이스, 유선 랜(LAN), USB, HDMI 등과 같은 유선통신 인터페이스일 수 있다.
스피커부(120)는 바람직하게는 복수의 스피커로 이루어지며, 제어부(110)로부터 수신되는 음원 신호를 음향으로 재생한다. 실시예에 따라서는 스피커부(120)는 음원 재생 장치(100)와는 별개로 구입하여 또는 기존에 설치되어 있는 스피커부(120)에 음원 재생 장치(100)에 연결하여 사용하도록 구성할 수도 있다.
본 발명의 실시예에 따른 음원 재생 장치(100)는 스마트폰, 스마트 TV, 태블릿, PC 등의 음원 제공 및/또는 음원 재생 제어 기능을 보유한 장치이거나, 도 1b에 도시한 바와 같은 다수의 스피커를 포함한 장치일 수 있다. 실시예에 따라, 이 경우, 음원 재생 장치(100)는 별도의 실물 제품 형태로 종래 스마트 TV 등에 장착될 수도 있다. 또한, 음원 재생 장치(100)는 전자장치(200)에 애드온(add-on) 형태로 결합되도록 구성될 수도 있고, 전자장치(200)에 내장되도록 구성될 수도 있다.
본 발명의 권리범위는, 전자장치(200) 및 음원 재생 장치(100)의 결합 구성에 관해 상기 실시예에 한정하지 않는다. 또한, 도 1a에 도시한 블록도에 도시한 각 구성 요소들의 전부를 다 포함할 수도 있고, 일부가 생략될 수도 있다.
도 1c는 일 실시예에서 전자장치(200)와 음원 재생 장치(100)간의 데이터 송수신 및 음향 재생을 보여주는 개념도이다.
도 1c는 사용자가 헤드 마운트 디스플레이(Head Mounted Display) 형태의 전자장치(200)를 머리에 쓴 상태에서 헤드 마운트 디스플레이에 표시되는 영상을 보면서 음원 재생 장치(100)에서 재생되는 해당 영상에 대한 오디오를 청취하는 모습을 보여주고 있다.
도 1c에 도시한 바와 같이, 3D 공간상에서 전자장치(200)가 음원 재생 장치(100)에게 원음 및 가상 오브젝트 위치 정보를 전송할 수 있고, 음원 재생 장치(100)는 수신된 원음 및 가상 오브젝트 위치 정보에 따라 해당 원음이 가상 오브젝트 위치 정보가 나타내는 가상 위치에서 발생되는 것처럼 들리도록 음원 신호를 생성하여 복수의 스피커(120-1, 120-2..)에서 재생한다.
전자장치(200)의 디스플레이 모듈(220)에 디스플레이되는 프리뷰 영상(410) 및 가상 오브젝트(420)의 위치 정보의 일 예가 도 5에 도시되어 있다. 즉, 가상 오브젝트인 파리(420a)가 디스플레이되는 화면 상에서 제1위치(C1)에서 제2위치(C2)로 이동하면, 음원 재생 장치(100)는 파리 소리 즉, 원음을 파리(420a)가 이동하는 경로 상의 위치에서 나는 것처럼 변환하여 스피커부(120)를 통해 재생한다. 즉, 도 6에 도시한 바와 같이, 음원 재생 장치(100)의 스피커부(120)에 포함된 복수의 스피커들(120-1, 120-2..)을 통해 재생되는 음원 신호는 전자장치(200) 사용자에게 마치 가상 스피커(120')가 제1위치(C1)에서 제2위치(C2)로 이동하면서 소리가 나는 것처럼, 즉 파리가 제1위치(C1)에서 제2위치(C2)로 이동하면서 소리가 나는 것처럼 들리게 된다.
도 2는 일 실시예에 따라 전자장치(200)가 증강 현실 영상 또는 가상 현실 영상을 디스플레이 하면서 음원 재생 장치(100)로 원음 및 영상에 관한 정보를 전송하는 방법을 설명한 순서도이다.
도 2에 도시한 바와 같이, 프로세서(210)는 증강 현실에 기반한 프리뷰 이미지 또는 가상 현실에 기반한 배경 이미지를 생성하여 디스플레이 모듈(220)로 전송하고(S210), 디스플레이 모듈(220)은 생성된 프리뷰 이미지를 디스플레이 한다. 실시예에 따른 프로세서(210)는 전면 카메라(250-1)와 후면 카메라(250-2)를 이용하여 도 4와 같은 프리뷰 이미지(410)를 생성할 수 있다.
예를 들어, 프로세서(210)는 전면 카메라(250-1)로부터 전자장치(200)를 사용하는 사용자의 얼굴이 포함된 이미지를 수신하여, 사용자의 얼굴이 포함된 이미지로부터 눈동자 추적 기술을 이용하여 사용자가 어디서 어느 방향을 보고 있는지를 나타내는 사용자의 3차원 시점을 산출할 수 있다. 3차원 시점은 전면 카메라(250-1)의 상대적인 회전값인 회전, 편향, 상하이동(roll, yaw, pitch)과 변위값인 x축, y축, z축의 좌표로 나타낼 수 있다.
프로세서(210)는 산출된 사용자의 3차원 시점과 후면 카메라(250-2)의 시점이 대응되도록 후면 카메라(250-2)의 시점을 이동시킨다. 즉, 프로세서(210)는 사용자의 3차원 시점인 전면 카메라(250-1)의 회전, 편향, 상하이동(roll, yaw, pitch)과 변위값인 x1축, y1축, z1축의 좌표를 기준으로 후면 카메라(250-2)의 3차원 시점인 후면 카메라(250-2)의 회전, 편향, 상하이동(roll, yaw, pitch)과 변위값인 x2축, y2축, z2축의 좌표를 사용자의 3차원 시점으로 이동시키는 것이다.
프로세서(210)는 사용자의 시야각과 후면 카메라(250-2)의 화각이 일치하는 영역에 해당하는 이미지를 검출하여 본 발명의 실시예에 따른 프리뷰 이미지를 생성한다. 다시 말해서, 프로세서(210)는 사용자에서부터 디스플레이 모듈(220)의 폭에 대응하는 기준각을 산출한다. 구체적으로, 프로세서(210)는 디스플레이 모듈(220)의 양쪽 끝에서 사용자까지의 직선들이 교차하여 생성되는 기준각을 산출한다. 이후 프로세서(210)는 후면 카메라(250-2)로부터 입력된 배경 이미지 중 이동된 후면 카메라(250-2)의 시점을 기준으로 기준각과 동일한 화각에 대응되는 영역의 이미지를 검출하여 본 발명의 실시예에 따른 프리뷰 이미지를 생성할 수 있다. 여기서 사용자의 시야각은 일반적인 사람의 시야각을 의미한다.
한편, 이러한 프리뷰 이미지는 2D 이미지이거나 3D 이미지일 수 있다.
프로세서(210)는 디스플레이 모듈(220)에 디스플레이된 프리뷰 이미지(410)와 함께 디스플레이하기 위한 소정의 가상 오브젝트(420)를 생성한다(S220).
소정의 가상 오브젝트(420)는 증강 현실에 기반한 프리뷰 이미지(410)상에 도 4와 같이 메뉴, 아이콘, 텍스트 등의 형태로 제공될 수 있으며, 프리뷰 이미지(410) 상에 보이는 소정의 부분에 대한 정보를 나타내기 위해 가상 오브젝트(420)가 제공되거나, 프리뷰 이미지(410) 상에 보이는 소정의 부분 자체가 가상 오브젝트(420)로 제공될 수도 있다.
예를 들어, 도 4와 같이, 사용자 주위의 관광 명소(420a), 사용자로부터의 거리(420b) 및 해당 명소로 이동하기 위한 교통 정보(420c)가 가상 오브젝트로 제공될 수 있다.
한편, 프로세서(210)는 생성한 가상 오브젝트(420)를 디스플레이 모듈(220)로 전송하고, 디스플레이 모듈(220)은 생성된 가상 오브젝트(420)를 프리뷰 이미지(410)와 함께 디스플레이할 수 있다.
프로세서(210)는 프리뷰 이미지(410)상에 디스플레이된 가상 오브젝트(420)의 위치 정보를 생성할 수 있다(S230). 가상 오브젝트(420)의 위치 정보는, 재생 음원을 청취할 수 있는 청취 영역인 3차원 공간상에서 형성되는 가상 오브젝트(420)의 공간 좌표(x,y,z)를 포함할 수 있다. 예를 들어, 도 5에 도시한 바와 같이, 가상 오브젝트(420)의 위치 정보는, 가상 오브젝트(420a)가 프리뷰 이미지(410)가 가리키는 3차원 공간상에서 제 1 위치로부터 제 2 위치로 이동함에 따른 제 1 위치(C1(x1,y1,z1)) 및 제 2 위치(C2(x2,y2,z2)) 정보에 대한 이동 경로 정보를 포함할 수 있다.
프로세서(210)는 원음을 재생하기 위해, 생성된 가상 오브젝트(420)의 위치 정보에 대한 전송 요청을 외부 디바이스(ex, 음원 재생 장치(100))로부터 수신했는지 여부를 판단할 수 있다(S240). 여기서 원음은 저장부(230)의 오디오 데이터 DB(230b)에 기 저장된 원음이거나 전자장치(200)가 외부 장치(미도시)로부터 실시간 수신하게 되는 원음일 수도 있다. 원음은 스테레오 오디오처럼 복수 채널의 오디오 신호일 수 있다.
만일, 프로세서(210)가 가상 오브젝트(420)의 위치 정보에 대한 전송 요청을 수신한 경우, 가상 오브젝트(420)의 위치 정보를 저장부(230)로 전송할 수 있고(S250), 저장부(230)는 이러한 위치 정보를 영상 데이터 DB(230a)에 저장할 수 있다. 그리고, 프로세서(210)는 저장부(230)에 기 저장된 원음과 가상 오브젝트(420)의 이동 경로 정보를 독출하여, 독출된 이동 경로 정보 및 원음을 통신 모듈(240)로 전송할 수 있고, (S260) 통신 모듈(240)은 이러한 데이터를 음원 재생 장치(100)로 전송할 수 있다. 통신 모듈(240)는 WIFI, 블루투스, BLE 등의 근거리 무선 통신이나 유선 통신 방식을 통해 데이터가 송수신되도록 할 수 있다.
반면, 프로세서(210)가 가상 오브젝트(420)의 위치 정보에 대한 전송 요청을 수신하지 않은 경우, 전술한 프로세스는 종료될 수 있다. 한편, 실시예에 따라서는 단계 S240을 생략할 수 있다.
도 3은 일 실시예에 따라 음원 재생 장치(100)가 전자장치(200)로부터 영상에 관한 정보와 원음을 수신하는 방법을 설명한 순서도이다.
도 3에 도시한 바와 같이, 제어부(110)는 인터페이스부(140)를 통해 전자장치(200)로부터 원음을 수신할 수 있다.(S310) 실시예에 따라, 음원 재생 장치(100)에 저장된 원음을 재생할 수도 있으며, 해당 원음은 메모리부(130)에 기 저장된 것일 수 있다.(미도시)
제어부(110)는 원음을 재생하기 위해 참조하기 위한 정보인 가상 오브젝트(420)의 위치 정보에 대한 전송 요청을 인터페이스부(140)를 통해 전자장치(200)로 송신할 수 있고(S320), 해당 전송 요청을 수신한 전자장치(200)로부터 영상에 포함된 가상 오브젝트의 위치 정보를 인터페이스부(140)를 통해 수신할 수 있다(S330). 실시예에 따라 영상은 도 4에 도시한 바와 같은 프리뷰 영상(410) 및 프리뷰 영상과 함께 디스플레이되는 가상 오브젝트(420)를 포함할 수 있다. 가상 오브젝트(420)의 위치 정보는, 전술한 도 5에 도시한 바와 같이, 가상 오브젝트(420)가 프리뷰 이미지(410)가 가리키는 3차원 공간상에서 제 1 위치로부터 제 2 위치로 이동함에 따른 제 1 위치(c1(x1,y1,z1)) 및 제 2 위치(c2(x2,y2,z2)) 정보에 대한 이동 경로 정보를 포함할 수 있다. 이러한 이동 경로 정보는 전자장치(200)에 기 저장된 것일 수 있으며, 제어부(110)가 전자장치(200)로부터 수신한 이동 경로 정보는 메모리부(130)에 저장할 수 있다.
제어부(110)는 가상 오브젝트(420)의 위치 정보에 대응하는 가상 스피커 위치 정보를 생성할 수 있다(S340). 즉, 증강 현실 또는 가상 현실의 무대가 되는 공간 상의 위치를 사용자가 소리를 듣는 공간 상의 위치로 매핑하는 것이다. 이를 위하여 적어도 일부의 위치 정보에 대응하는 가상 스피커 위치 정보(매핑 테이블)가 메모리부에 저장되어 있을 수 있다. 제어부(110)는 이 매핑 테이블을 이용하여 가상 오브젝트(420)의 위치 정보에 대응하는 가상 스피커 위치 정보를 생성할 수 있다. 또는 증강 현실 또는 가상 현실 상의 공간의 크기에 관한 정보와 사용자가 위치하는 곳의 공간의 크기에 관한 정보를 사용하여 가상 오브젝트(420)의 위치 정보에 대응하는 가상 스피커 위치 정보를 계산할 수 있다.
또한, 제어부(110)는 메모리부(130)에 기 저장된 가상 오브젝트(420)의 이동 경로 정보를 참조하여 가상 스피커 위치 정보를 생성할 수 있다. 예를 들어, 도 6에 도시한 바와 같이, 가상 스피커(120')의 이동 경로 정보는, 가상 스피커(120')가 프리뷰 이미지(410)가 가리키는 3차원 공간상에서 제 1 위치로부터 제 2 위치로 이동함에 따른 제 1 위치(C1(x1,y1,z1)) 및 제 2 위치(C2(x2,y2,z2)) 정보에 대한 이동 경로 정보를 포함할 수 있다. 또한, 생성된 가상 스피커 위치 정보는 메모리부(130)에 저장할 수 있다.
한편, 제어부(110)는 가상 스피커(120')의 위치 정보에 기초하여 소리가 가상 스피커의 위치에서 나는 것처럼 들리도록 상기 원음을 변환한 후에 스피커부(120)에 전송한다. 구체적으로, 제어부(110)는 가상 스피커(120)'의 위치 정보를 사용하여 원음을 각 스피커용의 음원신호로 변환하고(S350), 변환된 음원신호를 상기 스피커부(120)의 각각의 스피커로 인가한다(S360). 원음을 각 스피커용의 음원신호로 변화하는 과정은 도 8에서 상술한다.
이와 같은 동작에 의해 청취 객체는 가상 오브젝트의 위치에 대응되는 위치에 있는 가상 스피커에서 원음이 재생되는 것처럼 느끼게 된다. 또한, 가상 오브젝트의 이동 경로를 미리 저장해놓고 있으며 소리가 이 이동 경로를 따라 이동하면서 나는 것처럼 느껴지므로, 청취 객체가 별도의 동작을 하지 않아도 청취 객체를 향한 음원 재생이 용이해질 수 있다. 본 발명의 청취 객체는 전자장치(200) 사용자를 포함할 수 있다.
또한, 전자장치(200)에 미리 저장된 가상 오브젝트의 위치를 음원 재생 장치(100)가 참조하여 가상 스피커 위치 정보를 생성함으로써, 가상 오브젝트의 정확한 위치에서 가상 스피커가 재생될 수 있게 된다.
도 6은 실시예에 따른 가상 스피커의 위치 정보에 대해 기술한 도면이다.
도 6에 도시한 바와 같이, 스피커부(120)에 포함된 복수의 스피커(120-1, 120-2..) 를 통해 재생되는 음원은 가상 스피커(120')의 위치에서 음원이 재생되는 것처럼 청취 객체에게 들리게 된다. 구체적으로, 도 5에 도시한 가상 오브젝트의 위치가 변경(C1->C2)됨에 따라 가상 스피커의 위치도 이와 동일하게 변경(C1->C2)되고, 이로서 전자장치(200) 사용자는 음원이 가상 스피커의 각 위치(C1,C2)에서 재생되는 것처럼 들을 수 있게 된다. 이 때, 전술한 바와 같이, 가상 스피커(120')의 위치 정보에 포함된 가상 스피커 위치((제 1 위치, C1(x1,y1,z1)), 제 2 위치, C2(x2,y2,z2)) 는 공간 좌표(x,y,z)로 표시될 수 있다.
도 7은 실시예에 따른 음원 재생 장치(100)의 스피커부(120)에 포함되는 복수의 스피커 (120-1, 120-2..) 구조를 설명하기 위한 도면이다.
도 6에 도시한 복수의 스피커 구조는 일자 막대 형태로 배열된 사운드 바 어레이(sound bar arrary) 구조에 해당하나, 실시예에 따라 도 7과 같이, 원형 형태로 배열된 라운드 어레이(round array) 구조로도 구현될 수 있다. 또한, 본 발명의 경우, 사운드 바 어레이(sound bar arrary) 및 원형 형태로 배열된 라운드 어레이(round array) 구조를 예시하였으나, 본 발명의 권리범위는 이에 한정하지 않고, 임의의 어레이 구조인 경우에도 다양한 조합을 통해 본 발명의 스피커 모듈을 구현할 수 있다.
사운드 바 어레이의 경우, 전자장치(200) 사용자의 정면, 측면, 후면 중 적어도 어느 한 측면에 배치될 수 있다. 또한, 라운드 바 어레이의 경우, 사용자를 중심으로 감싸는 구조로서, 원형, 타원형 등으로 구현될 수 있다. 이러한 라운드 바 어레이 구조를 통해, 사운드 바 어레이에 비해 사용자를 중심으로 보다 효과적인 음원을 재생할 수 있게 된다.
예를 들어, 정면에 위치한 사운드 바 어레이 구조를 취할 경우, 사용자를 기준으로 후면에 위치한 가상 채널은 음향 재생이 용이하지 않을 수 있으나, 라운드 바 어레이의 경우, 사용자를 중심으로 사방향에서 모두 음향이 재생 될 수 있다. 특히, 사방향의 일부 방향에 편향되지 않은 음향이 재생 되는 효과를 가져올 수 있게 된다.
도 8은 전자장치(200)로부터 음원 재생 장치(100)가 수신한 원음을 변환하여 음원이 소정의 가상 스피커 위치에서 재생되도록 하는 일 실시예를 상술한 순서도이다.
제어부(110)는 스피커부(120)의 각 스피커에 입력되는 음원 신호와 각 가상 스피커 위치에서 출력되는 음압 사이의 전달 함수를 계산한다(단계 S1). 이 전달 함수는 사용자가 위치한 공간의 특성을 나타내는 것으로서, 실제 측정을 통해서 얻은 후에 메모리에 저장해둔 것일 수도 있다. 각 가상 스피커 위치의 전달함수는 스피커부(120)에 구비된 스피커의 수만큼 생성될 수 있으며, 주파수의 함수로 표현될 수도 있다. 또한, 일부 가상 스피커 위치에서 전달 함수를 측정하여 메모리에 저장해둔 후에 상기 일부 가상 스피커 위치들 사이에 있는 가상 스피커 위치에 대해서는 해당 일부 가상 스피커 위치들에 대한 전달 함수들을 인터폴레이션 하여 구하도록 구성할 수도 있다.
다음으로, 제어부(110)는 단계 S1에서 계산된 전달 함수를 이용하여 상기 가상 스피커 위치에서 음향이 재생되는 것처럼 들리도록 하기 위하여 원음을 변환시키기 위한 계수를 계산한다(단계 S2).
계수를 계산함에 있어서, 가상 스피커 위치에서의 음압레벨이 가상 스피커 위치 이외의 영역에서의 음압레벨보다 높도록 하는 계수를 결정하는 것이 바람직하다. 더 구체적으로는, 가상 스피커 위치에서의 음향 포텐셜 에너지 밀도와 개별 음원의 에너지의 합과의 비가 최대가 되도록 하는 계수를 계산한다. 여기서, 단일의 주파수에 대하여 기술하고 있으나, 복수의 주파수로 이루어진 경우에는 각각의 주파수에 대한 음원을 결정하는 것으로 이해하면 무방하다.
이 계수는 원음의 크기와 위상을 변환시키기 위한 계수일 수 있다. 예를 들어 스피커부(120)의 i번째 스피커에서 출력되는 소리의 크기를 변환시키기 위한 계수는 예를 들면 상기 가상 스피커 위치에 대한 모든 스피커의 전달함수 벡터의 크기로 상기 가상 스피커 위치에 대한 i번째 스피커의 전달함수의 크기를 나눈 값일 수 있다. i번째 스피커에 입력되는 오디오 신호의 위상차를 변환하기 위한 계수는 예를 들면 i번째 스피커의 전달함수의 복소수 편각을 통해 구할 수 있다.
계수가 계산되면, 제어부(110)는 원음을 단계 S2에서 결정된 계수로 필터링하여, 각 스피커에 인가하기 위한 각 스피커별 음원신호를 생성할 수 있다(단계 S3). 생성된 음원신호는 스피커부(120)에 인가되어 재생됨으로써 상기 가상 스피커 위치에서 원음이 재생되게 된다(단계 S4).
지금까지는 본 발명의 일 실시예에 따라 전자장치(200)는 영상과 원음을 생성 및 저장하고, 음원 재생 장치(100)가 전자장치(200)로부터 영상에 포함된 가상 오브젝트의 위치 정보를 수신하여, 가상 오브젝트의 위치 정보에 대응하는 가상 스피커 위치 정보를 생성하고, 원음을 가상 스피커 위치 정보에 기초하여 각 스피커용의 음원신호로 변환하여 재생하는 특징을 기술하였다.
한편, 본 발명의 다른 실시예에 따르면, 음원 재생 장치(100)가 영상과 원음을 생성하고, 영상에 포함된 가상 오브젝트 중 적어도 어느 하나의 위치 정보에 대응하는 가상 스피커 위치 정보를 생성하며, 원음을 가상 스피커 위치 정보에 기초하여 각 스피커용의 음원신호로 변환하여 재생하도록 제어하되, 음원 재생 장치(100)가 가상 오브젝트를 포함하는 영상을 전자장치(200)로 전송할 수도 있다. 이 경우, 음원 재생 장치(100)의 메모리부(130)는 영상과 음원에 대한 정보를 미리 저장할 수 있다.
즉, 실시예에 따라서는 영상이 전자장치(200)로부터 음원 재생 장치(100)로 전송될 수도 있으나, 영상이 음원 재생 장치(100)로부터 전자장치(200)로 전송될 수도 있다.
이상에서 실시예들에 설명된 특징, 구조, 효과 등은 본 발명의 하나의 실시예에 포함되며, 반드시 하나의 실시예에만 한정되는 것은 아니다. 나아가, 각 실시예에서 예시된 특징, 구조, 효과 등은 실시예들이 속하는 분야의 통상의 지식을 가지는 자에 의해 다른 실시예들에 대해서도 조합 또는 변형되어 실시 가능하다. 따라서 이러한 조합과 변형에 관계된 내용들은 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다.
또한, 이상에서 실시예를 중심으로 설명하였으나 이는 단지 예시일 뿐 본 발명을 한정하는 것이 아니며, 본 발명이 속하는 분야의 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성을 벗어나지 않는 범위에서 이상에 예시되지 않은 여러 가지의 변형과 응용이 가능함을 알 수 있을 것이다. 예를 들어, 실시예에 구체적으로 나타난 각 구성 요소는 변형하여 실시할 수 있는 것이다. 그리고 이러한 변형과 응용에 관계된 차이점들은 첨부된 청구 범위에서 규정하는 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다.
본 발명은 실시예에 따르면, 가상 오브젝트의 위치에 따라 가상 스피커가 재생되어 청취 객체는 별도의 동작을 하지 않아도 청취 객체를 향한 음원 재생이 용이해질 수 있다.
또한, 음원 재생 장치의 다수의 스피커 구조를 통해, 사용자를 중심으로 보다 효과적인 음원이 재생될 수 있다.
또한, 전자장치(200)에 미리 저장된 가상 오브젝트의 위치를 음원 재생 장치(100)가 참조하여 가상 스피커 위치 정보를 생성함으로써, 가상 오브젝트의 정확한 위치에서 가상 스피커가 재생될 수 있게 된다.
그리고, 별도의 다수의 스피커를 통한 음원 재생으로, 헤드 마운트 디스플레이(HMD) 착용에 따른 불편함을 해소할 수 있다.

Claims (18)

  1. 영상 및 원음을 제공하는 전자장치와 통신하는 음원 재생 장치에 있어서,
    상기 전자장치로부터 상기 영상에 포함된 적어도 하나의 가상 오브젝트 의 위치 정보 및 상기 원음을 수신하는 인터페이스부; 및
    상기 인터페이스부로부터 수신한 상기 적어도 하나의 가상 오브젝트의 상기 위치 정보에 대응하는 가상 스피커 위치 정보를 생성하고, 상기 인터페이스부로부터 수신한 상기 원음을 상기 가상 스피커 위치 정보에 기초하여 복수의 스피커를 위한 음원신호로 변환하는 제어부;를 포함하는 음원 재생 장치.
  2. 제 1항에 있어서,
    상기 영상은 증강 현실에 기반한 프리뷰 이미지를 포함하고, 상기 적어도 하나의 가상 오브젝트는 상기 프리뷰 이미지 상에서 상기 프리뷰 이미지와 함께 상기 전자장치에서 디스플레이되는 것을 특징으로 하는 음원 재생 장치.
  3. 제 2항에 있어서,
    메모리부를 더 포함하고,
    상기 적어도 하나의 가상 오브젝트의 상기 위치 정보는 상기 프리뷰 이미지상의 이동 경로 정보를 포함하고,
    상기 이동 경로 정보는 상기 메모리부에 미리 저장되며,
    상기 제어부는,
    상기 메모리부에 기 저장된 상기 이동 경로 정보를 참조하여 상기 가상 스피커 위치 정보를 생성하는 음원 재생 장치.
  4. 제 1항에 있어서,
    상기 복수의 스피커를 포함하는 스피커부를 더 포함하고,
    상기 제어부는, 상기 복수의 스피커를 위한 상기 음원신호를 상기 스피커부에 출력하는 것인, 음원 재생 장치.
  5. 제1항 내지 제 4항 중 어느 한 항에 있어서, 상기 제어부는,
    각 스피커에 입력되는 음원 신호와 각 가상 스피커 위치에서 출력되는 음압 사이의 전달 함수를 이용하여 상기 원음을 상기 가상 스피커 위치에서 음향이 재생되는 것처럼 들리도록 하는 음원 신호로 변환하는 것을 특징으로 하는 음원 재생 장치.
  6. 제 5항에 있어서, 상기 제어부는,
    상기 전달 함수를 이용하여 상기 가상 스피커 위치에서 상기 음향이 재생되는 것처럼 들리도록 하기 위하여 상기 원음을 변환시키기 위한 계수를 계산하고, 상기 원음을 상기 계수를 사용하여 필터링함으로써 상기 음원 신호로 변환하는 것인, 음원 재생 장치.
  7. 제 5항에 있어서,
    적어도 일부의 가상 스피커 위치에 대한 상기 전달함수는 메모리부에 미리 저장되어 있는 것인, 음원 재생 장치.
  8. 제1항 내지 제 4항 중 어느 한 항에 있어서,
    상기 적어도 하나의 가상 오브젝트의 적어도 일부의 위치 정보에 대응하는 가상 스피커 위치 정보가 메모리부에 저장되어 있는 것인, 음원 재생 장치.
  9. 제1항 내지 제 4항 중 어느 한 항에 있어서,
    상기 전자장치는 헤드마운트 디스플레이인, 음원 재생 장치.
  10. 전자장치와 통신하는 음원 재생 장치에 있어서,
    적어도 하나의 가상 오브젝트를 포함하는 영상 및 원음을 저장하는 메모리부; 및
    상기 적어도 하나의 가상 오브젝트의 위치 정보에 대응하는 가상 스피커 위치 정보를 생성하고, 상기 원음을 상기 가상 스피커 위치 정보에 기초하여 복수의 스피커를 위한 음원신호로 변환하는 제어부;를 포함하고,
    상기 제어부는 상기 적어도 하나의 가상 오브젝트를 포함하는 상기 영상을 상기 전자장치로 전송하는 음원 재생 장치.
  11. 제 10항에 있어서,
    상기 영상은 증강 현실에 기반한 프리뷰 이미지를 포함하고, 상기 적어도 하나의 가상 오브젝트는 상기 프리뷰 이미지 상에서 상기 프리뷰 이미지와 함께 상기 전자장치에서 디스플레이되는 것을 특징으로 하는 음원 재생 장치.
  12. 제 11항에 있어서,
    메모리부를 더 포함하고,
    상기 적어도 하나의 가상 오브젝트의 상기 위치 정보는 상기 프리뷰 이미지상의 이동 경로 정보를 포함하고,
    상기 이동 경로 정보는 상기 메모리부에 미리 저장되며,
    상기 제어부는,
    상기 메모리부에 기 저장된 상기 이동 경로 정보를 참조하여 상기 가상 스피커 위치 정보를 생성하는 음원 재생 장치.
  13. 제 10항에 있어서,
    상기 복수의 스피커를 포함하는 스피커부를 더 포함하고,
    상기 제어부는, 상기 복수의 스피커를 위한 상기 음원신호를 상기 스피커부에 출력하는 것인, 음원 재생 장치.
  14. 제10항 내지 제 13항 중 어느 한 항에 있어서, 상기 제어부는,
    각 스피커에 입력되는 음원 신호와 각 가상 스피커 위치에서 출력되는 음압 사이의 전달 함수를 이용하여 상기 원음을 상기 가상 스피커 위치에서 음향이 재생되는 것처럼 들리도록 하는 음원 신호로 변환하는 것을 특징으로 하는 음원 재생 장치.
  15. 제 14항에 있어서, 상기 제어부는,
    상기 전달 함수를 이용하여 상기 가상 스피커 위치에서 상기 음향이 재생되는 것처럼 들리도록 하기 위하여 상기 원음을 변환시키기 위한 계수를 계산하고, 상기 원음을 상기 계수를 사용하여 필터링함으로써 상기 음원 신호로 변환하는 것인, 음원 재생 장치.
  16. 제 14항에 있어서,
    적어도 일부의 가상 스피커 위치에 대한 상기 전달함수는 메모리부에 미리 저장되어 있는 것인, 음원 재생 장치.
  17. 제10항 내지 제 13항 중 어느 한 항에 있어서,
    상기 적어도 하나의 가상 오브젝트의 적어도 일부의 위치 정보에 대응하는 가상 스피커 위치 정보가 메모리부에 저장되어 있는 것인, 음원 재생 장치.
  18. 제10항 내지 제 13항 중 어느 한 항에 있어서,
    상기 전자장치는 헤드마운트 디스플레이인, 음원 재생 장치.
PCT/KR2018/004008 2017-04-05 2018-04-05 영상 정보에 기반하여 가상 스피커를 재생하기 위한 음원 재생 장치 WO2018186693A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US16/500,943 US10964115B2 (en) 2017-04-05 2018-04-05 Sound reproduction apparatus for reproducing virtual speaker based on image information

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020170044181A KR101916380B1 (ko) 2017-04-05 2017-04-05 영상 정보에 기반하여 가상 스피커를 재생하기 위한 음원 재생 장치
KR10-2017-0044181 2017-04-05

Publications (1)

Publication Number Publication Date
WO2018186693A1 true WO2018186693A1 (ko) 2018-10-11

Family

ID=63712199

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2018/004008 WO2018186693A1 (ko) 2017-04-05 2018-04-05 영상 정보에 기반하여 가상 스피커를 재생하기 위한 음원 재생 장치

Country Status (3)

Country Link
US (1) US10964115B2 (ko)
KR (1) KR101916380B1 (ko)
WO (1) WO2018186693A1 (ko)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4288950A1 (en) 2021-02-08 2023-12-13 Sightful Computers Ltd User interactions in extended reality
JP2024506630A (ja) 2021-02-08 2024-02-14 サイトフル コンピューターズ リミテッド 生産性のためのエクステンデッド・リアリティ
EP4295314A1 (en) 2021-02-08 2023-12-27 Sightful Computers Ltd Content sharing in extended reality
WO2023009580A2 (en) 2021-07-28 2023-02-02 Multinarity Ltd Using an extended reality appliance for productivity
US11948263B1 (en) 2023-03-14 2024-04-02 Sightful Computers Ltd Recording the complete physical and extended reality environments of a user
US20230334795A1 (en) 2022-01-25 2023-10-19 Multinarity Ltd Dual mode presentation of user interface elements
US12099696B2 (en) 2022-09-30 2024-09-24 Sightful Computers Ltd Displaying virtual content on moving vehicles

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014116722A (ja) * 2012-12-07 2014-06-26 Sony Corp 機能制御装置およびプログラム
KR20140128306A (ko) * 2012-02-03 2014-11-05 소니 주식회사 정보 처리 장치, 정보 처리 방법, 및 프로그램
KR20140129654A (ko) * 2013-04-30 2014-11-07 인텔렉추얼디스커버리 주식회사 헤드 마운트 디스플레이 및 이를 이용한 오디오 콘텐츠 제공 방법
WO2016001909A1 (en) * 2014-07-03 2016-01-07 Imagine Mobile Augmented Reality Ltd Audiovisual surround augmented reality (asar)
US20160119731A1 (en) * 2014-10-22 2016-04-28 Small Signals, Llc Information processing system, apparatus and method for measuring a head-related transfer function

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5633993A (en) * 1993-02-10 1997-05-27 The Walt Disney Company Method and apparatus for providing a virtual world sound system
JP4304845B2 (ja) * 2000-08-03 2009-07-29 ソニー株式会社 音声信号処理方法及び音声信号処理装置
JP2006074589A (ja) * 2004-09-03 2006-03-16 Matsushita Electric Ind Co Ltd 音響処理装置
KR101306288B1 (ko) * 2010-09-30 2013-09-09 주식회사 팬택 가상 객체를 이용한 증강 현실 제공 장치 및 방법
US9584915B2 (en) * 2015-01-19 2017-02-28 Microsoft Technology Licensing, Llc Spatial audio with remote speakers
US10038966B1 (en) * 2016-10-20 2018-07-31 Oculus Vr, Llc Head-related transfer function (HRTF) personalization based on captured images of user

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140128306A (ko) * 2012-02-03 2014-11-05 소니 주식회사 정보 처리 장치, 정보 처리 방법, 및 프로그램
JP2014116722A (ja) * 2012-12-07 2014-06-26 Sony Corp 機能制御装置およびプログラム
KR20140129654A (ko) * 2013-04-30 2014-11-07 인텔렉추얼디스커버리 주식회사 헤드 마운트 디스플레이 및 이를 이용한 오디오 콘텐츠 제공 방법
WO2016001909A1 (en) * 2014-07-03 2016-01-07 Imagine Mobile Augmented Reality Ltd Audiovisual surround augmented reality (asar)
US20160119731A1 (en) * 2014-10-22 2016-04-28 Small Signals, Llc Information processing system, apparatus and method for measuring a head-related transfer function

Also Published As

Publication number Publication date
KR20180113025A (ko) 2018-10-15
US10964115B2 (en) 2021-03-30
KR101916380B1 (ko) 2019-01-30
US20200111257A1 (en) 2020-04-09

Similar Documents

Publication Publication Date Title
WO2018186693A1 (ko) 영상 정보에 기반하여 가상 스피커를 재생하기 위한 음원 재생 장치
JP5992210B2 (ja) 情報処理プログラム、情報処理装置、情報処理システム、および情報処理方法
US20170153866A1 (en) Audiovisual Surround Augmented Reality (ASAR)
EP3396511A1 (en) Information processing device and operation reception method
WO2012077922A2 (en) 3 dimensional (3d) display system of responding to user motion and user interface for the 3d display system
CN110719529B (zh) 一种多路视频同步方法、装置、存储介质及终端
JP6613429B2 (ja) 映像音響再生装置
WO2018182190A1 (en) Use of earcons for roi identification in 360-degree video
US11806621B2 (en) Gaming with earpiece 3D audio
WO2015030307A1 (en) Head mounted display device and method for controlling the same
WO2017188637A1 (ko) Vr 기기에서의 이벤트 발생에 의한 메시지 표시방법 및 그 장치
JP2020182028A (ja) 電子機器、および制御方法
WO2014126331A1 (en) Display apparatus and control method thereof
CN106448687A (zh) 音频制作及解码的方法和装置
US20220036075A1 (en) A system for controlling audio-capable connected devices in mixed reality environments
WO2018194320A1 (ko) 시선추적에 따른 공간 오디오 제어 장치 및 그 방법
JP2009534958A (ja) 眼鏡式一体化立体ビデオ周波数マルチメディア装置
KR102284914B1 (ko) 프리셋 영상이 구현되는 사운드 트랙킹 시스템
WO2013105794A1 (en) 3d display apparatus and method thereof
WO2021107595A1 (ko) 가상콘텐츠 체험 시스템 및 그 제어방법
CN112135226B (zh) Y轴音频再生方法以及y轴音频再生系统
CN110708582B (zh) 同步播放的方法、装置、电子设备及介质
GB2558279A (en) Head mountable display system
GB2515353A (en) Head-mountable apparatus and systems
WO2018174500A1 (ko) 현실 음향을 반영한 증강 현실 3차원 음향 구현 시스템 및 프로그램

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18781464

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18781464

Country of ref document: EP

Kind code of ref document: A1