WO2015037905A1 - 입체음향 조절기를 내포한 멀티 뷰어 영상 및 3d 입체음향 플레이어 시스템 및 그 방법 - Google Patents

입체음향 조절기를 내포한 멀티 뷰어 영상 및 3d 입체음향 플레이어 시스템 및 그 방법 Download PDF

Info

Publication number
WO2015037905A1
WO2015037905A1 PCT/KR2014/008450 KR2014008450W WO2015037905A1 WO 2015037905 A1 WO2015037905 A1 WO 2015037905A1 KR 2014008450 W KR2014008450 W KR 2014008450W WO 2015037905 A1 WO2015037905 A1 WO 2015037905A1
Authority
WO
WIPO (PCT)
Prior art keywords
sound
speaker
channel
distance
virtual
Prior art date
Application number
PCT/KR2014/008450
Other languages
English (en)
French (fr)
Inventor
하수호
Original Assignee
Hy Suho
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hy Suho filed Critical Hy Suho
Publication of WO2015037905A1 publication Critical patent/WO2015037905A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/60—Receiver circuitry for the reception of television signals according to analogue transmission standards for the sound signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/485—End-user interface for client configuration
    • H04N21/4852—End-user interface for client configuration for modifying audio parameters, e.g. switching between mono and stereo
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4314—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for fitting data in a restricted space on the screen, e.g. EPG data in a rectangular grid
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47217—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for controlling playback functions for recorded or on-demand content, e.g. using progress bars, mode or play-point indicators or bookmarks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S1/00—Two-channel systems
    • H04S1/002—Non-adaptive circuits, e.g. manually adjustable or static, for enhancing the sound image or the spatial distribution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10—General applications
    • H04R2499/11—Transducers incorporated or for use in hand-held devices, e.g. mobile phones, PDA's, camera's

Definitions

  • the present invention relates to a multi-viewer image and a 3D stereophonic player system and a method including a stereophonic sound controller.
  • the audio system has been widely used as a record player system for reproducing the sound of an LP (long play) record plate of an analog magnetic tape recorder.
  • LP long play
  • an audio effector When recording in studios or concerts, an audio effector is used, along with sound equipment such as compressors, limiters, de-esers, expanders, noise gates, delays, reverbs, harmonics, and equalizers.
  • the equalizer is used to adjust the frequency so that the sound form is close to the original sound.
  • FIG. 1 is a block diagram of a conventional acoustic system.
  • the sound system installed in music halls, concert halls and studios includes wired microphones (10), mono or dual stereo wireless microphones (11A, 11B), antenna splitters, wireless receivers (13), and audio mixers that record performances. (14), speaker selector (15), speaker controller (16), power amplifier (17), speaker (18), graphic equalizer (19), power amplifier (20) And a speaker 21.
  • the angle of incidence and the angle of reflection of the sound hitting the ceiling and the reflective wall behind the stage are the same, and reverberation is transmitted to the audience by reflection, diffraction, and scattering.
  • the intensity of the sound is inversely proportional to the square of the distance as the distance r increases, so that the far-distance audience is hard to hear the sound.
  • FIG. 2 is a diagram illustrating an Interaural Time Difference (ITD) and an Interaural Level Difference (ILD) of sound pressures heard by two ears based on a sound source in a human auditory system.
  • ITD Interaural Time Difference
  • ILD Interaural Level Difference
  • Sound is a longitudinal wave in which the direction of movement of the sound wave and the direction of energy transfer are parallel and travel at 340 m / s per second.
  • the audio frequency at which humans can hear sounds is between 20 and 20,000 Hz.
  • the three components of the sound are classified into loudness representing amplitude, loudness representing the height of the sound in Hz, and timbre of sound representing the difference between the instruments. .
  • the loudness (dB, Phon, Sone) uses decibels (dB), named after American scientist Alexander Graham Bell, and each 10 dB increase from 0 dB increases the loudness by 10 times. For example, the loudness becomes 0-> 10 dB (10 times) and 0-> 20 dB (100 times).
  • the human ear's left and right ear systems have an interaural time difference (ITD) and sound pressure difference (ILD). Due to the nature of the human ear, the perception of bass and treble is different.
  • ITD interaural time difference
  • ILD sound pressure difference
  • the source of sound is called a sound source, and the intensity of the sound generated from the sound source becomes small in inverse proportion to the square of the distance as the distance r increases.
  • the change in the pressure of the small sound is called sound pressure, and the unit of sound pressure uses bar as the unit of air pressure.
  • the minimum sound pressure a human can hear is 0.0002 ⁇ bar.
  • the intensity of sound is expressed in decibels (dB) and is expressed as a relative value with the decibel value as the reference sound pressure.
  • the 5.1-channel is a 5-channel surround multichannel sound system commonly used in theater and home theater systems, and includes digital broadcasts using five full bandwidth channels and one low-frequency channel (0.1 channel).
  • Music is the standard surround sound audio component.
  • the 5.1-channel system uses the same speaker channels and configurations divided into front left, center, front right, surround left, surround right and sub woofer channels.
  • the sound source is the same sound source (eg wind instruments, piano, gayageum sound) depending on the characteristics of the indoor space
  • the interior space is different in size, structure, material of ceiling and direct sound, early reflection, reverberation time and reverberation by the reflective wall of the stage. Will feel.
  • An audio system having a speaker or a headphone has developed a three-dimensional audio technology for expressing a three-dimensional space when a sound level, that is, a sound field, is felt in a three-dimensional space.
  • HRTF head related transfer function
  • the present embodiment displays a display screen and a multi-channel image on which one or more corresponding objects in a virtual space are arranged in a preset channel display area and outputs a multi-channel sound signal, when the variation information on the corresponding object is recognized.
  • the display screen is reconstructed by generating a reconstructed display screen, and the output of each sound signal included in the multi-channel sound signal is displayed to display a 3D sense of space, and a separate additional speaker for realizing 3D sound is provided. It is to provide a multi-viewer 3D video player system with a stereo sound control that can provide a three-dimensional and realistic surround effect without doing so.
  • the multi-viewer image and the 3D stereophonic player system including a stereophonic sound control, at least one by reading and depackaging the multi-channel image or the image stored in the 3D record transmitted from the transmission server
  • At least one video output unit for decoding and displaying an image on at least one video channel
  • An audio output unit which receives a multichannel sound signal and decodes the same
  • Based on the read 3D data a plurality of speakers and movable listener objects existing at a fixed position in the (X, Y, Z) coordinate system of the virtual space are displayed, and the user hears the sound regardless of the position of the utterance point in the virtual space.
  • 3D rendering to display a sense of distance that represents near, far, right, left, and far, and when the three-dimensional distance between the listening car object and the selected speaker object is closer, the width and size of the space and the audio visual object (virtual speaker object, listener object, wallpaper) ) And increase the distance, the space and size of the space and the 3D space to reduce the size of the object Displaying 3D renderer; Automatically adjusts the volume (volume) of each speaker with an equalizer (EQ) function according to the distance and angle of the virtual speaker and the listener object in the virtual space, and increases the loudness of the speaker when the distance is close to the speaker.
  • EQ equalizer
  • a stereophonic sound controller for reproducing a sound source of a 3D sound that provides a three-dimensional and realistic surround effect by outputting sound with a small intensity of the sound when the distance is far;
  • an image and sound synchronizer configured to synchronize and output an image of at least one video output unit and a sound whose volume (volume) of the virtual speaker is adjusted by the stereo sound controller according to a timeline.
  • the virtual speaker has an individual volume controller for each utterance point, and the individual volume controllers can emphasize the sound by increasing and reducing the sound of the vocal point itself in addition to the remote and near-field control with the listening car object. Equipped with a volume control, it is characterized in that to adjust the sound of the utterance of all speakers at once.
  • the listener object is implemented as an AR user interface (AR UI) and is designed as a dummy head modeled as a head and ear structure of a person listening to stereoscopic sound, such as listening to real music in a speaker object in a virtual space. do.
  • AR UI AR user interface
  • the stereophonic sound controller increases and decreases the sound of the vocal points of individual speakers in addition to the distance and near distance control with the listening vehicle object at each utterance point of the virtual speakers L1, L2, W, R1, and R2 in a virtual space.
  • Individual volume controls to emphasize;
  • a total volume controller for adjusting the sound of all speakers at once, and having a virtual space direction control button and a recording button as the distance from the listener object toward or toward the desired speaker in the virtual space increases or decreases. It is characterized in that recording the 3D sound (3D Sound) in which the loudness of the speaker increases or decreases.
  • the stereo sound controller further includes a speaker-specific EQ controller for adjusting a frequency of an equalizer of each speaker of a multi-channel arranged in a virtual space.
  • the 3D renderer and the 3D stereo sound player including the 3D sound controller include a 3D rendering and a 3D sound control screen of a 3 channel video and a 1 channel audio visual object. , 1 channel video and 1 channel 3D rendering and 3D sound control screen. When 1 channel is selected, it is displayed as 1 channel 3D rendering and 3D sound control screen to select one channel, 2 channel or 4 channel for viewing. It is characterized by being.
  • the multi-viewer image and the 3D stereophonic playback method including the stereophonic sound control system includes the multi-viewer image and the 3D stereophonic player among the 1-channel, 2-channel and 4-channel
  • the multi-channel video transmitted from the server or the video stored in the 3D recording is received, depacketized by the video output unit, and the video of the music conference is decoded and displayed on three video channels.
  • the stereo sound controller automatically adjusts the volume (volume) of each speaker with the equalizer (EQ) function according to the three-dimensional distance and angle of the virtual speaker and the listener object in the virtual space. Reproducing a sound source of 3D sound that provides a three-dimensional and realistic surround effect by outputting a sound with a smaller intensity of the speaker and a smaller intensity of the speaker when the distance is far;
  • the image and sound synchronizer automatically adjusts the volume (volume) of the virtual speaker according to the distance and direction angle of the at least one video output unit and the listener object moving by the stereo sound controller according to the timeline. Synchronizing and outputting the sound; And recording and storing stereophonic data output by adjusting the intensity of the sound according to the distance, direction, and angle of the speaker of the listener object in the virtual space.
  • the method includes the 3D renderer and the multi-viewer image and the 3D stereo sound player including the stereophonic sound control system, when 4 channels are selected, a 3D rendering and a 3D sound control screen of a 3 channel video and a 1 channel audio visual object.
  • the two-channel selection it consists of a one-channel video, and one-channel 3D rendering and stereoscopic sound control screen, and further comprising the step of displaying the one-channel 3D rendering and stereoscopic sound control screen when selecting one channel.
  • the sound of the voice point of the individual speaker other than the remote control and the near distance with the listening car object is adjusted for each voice point of the virtual speakers L1, L2, W, R1, and R2 by the individual volume controller. Emphasizing the sound by increasing and decreasing it; Adjusting the sound of the uttering points of all the speakers at once by the whole volume controller; And recording a 3D sound according to the movement of the listener object in a direction of a desired speaker in the virtual space by including a virtual space direction control button and a recording button.
  • the method further includes the step of adjusting the frequency of the equalizer of each speaker of the multi-channel arranged in the virtual space by the speaker for each EQ control unit in the stereo sound controller.
  • a computer or a smart device selects a screen display method of one channel, two channels, and four channels of a multi-viewer image and a 3D stereo sound player including a stereo sound controller
  • Receives multi-channel video or video stored in 3D record from server depacketizes by video output unit, decodes and displays music video with three video channels, and simultaneously stores it in sound source or record transmitted from server Selecting a specific sound source and decoding and outputting the same by an audio output unit;
  • a plurality of speakers and movable listener objects existing at fixed positions in the 3D space in the (X, Y, Z) coordinate system of the virtual space are displayed, and the virtual speakers in the virtual space Calculate the three-dimensional distance, direction, and angle of the listening car object and the speaker object moving in the direction you want to hear, regardless of the location of the utterance point of, and the distance between the listening car object and the selected speaker object in the
  • the stereo sound controller automatically adjusts the volume (volume) of each speaker with the equalizer (EQ) function according to the three-dimensional distance and angle of the virtual speaker and the listener object in the virtual space.
  • the image and sound synchronizer automatically adjusts the volume (volume) of the virtual speaker according to the distance and direction angle of the at least one video output unit and the listener object moving by the stereo sound controller according to the timeline. Synchronizing and outputting the sound; Recording and storing stereophonic data output by adjusting the intensity of the sound according to the distance, direction, and angle of the speaker of the listener object in the virtual space;
  • each volume of the virtual speakers L1, L2, W, R1, and R2 is increased and reduced by the individual volume controllers.
  • the ability to emphasize sound with The ability to adjust the sound of all speakers at one time by a full volume controller; A virtual space direction control button and a recording button for recording a 3D sound according to the movement of the listener object in a direction of a desired speaker in the virtual space;
  • the stereo sound controller includes a function of adjusting the frequency of an equalizer of each speaker of a multi-channel arranged in a virtual space by a speaker control unit for each speaker;
  • the 3D renderer and the multi viewer image and the 3D stereo sound player including the stereophonic sound control system, when 4 channels are selected, a 3D rendering and a 3D sound control screen of a 3 channel video and a 1 channel audio visual object are selected.
  • It consists of video, one-channel video, one-channel 3D rendering, and stereoscopic sound control screen, and can be read by a computer or smart device that records a program to realize the function of displaying one-channel 3D rendering and stereoscopic sound control screen when selecting one channel. It is provided with a recording medium.
  • a multi-viewer image and a 3D stereoscopic player system including a stereophonic sound controller display a display screen on which one or more corresponding objects are disposed in a virtual space and a multichannel image on a preset channel display area, and multichannel Outputs an acoustic signal, but generates variation of the display screen based on the variation information when the variation information of the corresponding object is recognized, and adjusts and outputs the output of each acoustic signal included in the multi-channel acoustic signal It displays the 3D sense of space, and can provide a three-dimensional and realistic surround effect without having an additional speaker to realize 3D sound.
  • Multi-viewer video and 3D stereo sound playback software uses 3 channel stereoscopic broadcast and realistic audio communication technology to record and produce a new genre of sound.
  • 3D stereophonic sound can be realized by displaying a difference in the sense of space. It also provides a total music management service solution for cultural arts education, music recording and video editing, 3D sound digital music market, artists' regular album production, and smartphone / mobile phone music recording / recording (sound, ringtone, coloring). Has the effect of creating a new music market.
  • FIG. 1 is a block diagram of a conventional acoustic system.
  • FIG. 2 is a diagram illustrating an Interaural Time Difference (ITD) and an Interaural Level Difference (ILD) of sound pressures heard by two ears based on a sound source in a human auditory system.
  • ITD Interaural Time Difference
  • ILD Interaural Level Difference
  • FIG. 3 is a block diagram of a multi-viewer 3D video player system including a stereo sound controller according to an embodiment of the present invention.
  • FIG. 4 is an internal configuration diagram of a multi-viewer 3D video player including a stereo sound controller.
  • 5 is a diagram illustrating a 3D Sound display screen.
  • FIG. 6 is a flowchart illustrating a multi-viewer image and a 3D stereoscopic sound reproduction method including a stereoscopic sound controller.
  • 7 to 10 are screens of a multi-viewer image and a 3D stereo sound player including a stereo sound controller according to a first embodiment of the present invention.
  • 11 to 13 are screens of a multi-viewer image and a 3D stereophonic player including a stereoscopic stereoscopic sound controller according to a second embodiment of the present invention.
  • FIG. 3 is a block diagram of a multi-viewer image and a 3D stereophonic player system including a stereophonic sound adjuster according to an exemplary embodiment of the present invention.
  • the multi-viewer image and 3D stereophonic player system including stereophonic sound controllers are installed in various places to capture at least one camera (C1, C2, C3) and at least one camera (C1, C2, C3) to record a video of a concert.
  • a video encoder 100 that compresses and encodes the image photographed from the video encoder
  • a packetizer 101 that packetizes the encoded image from the video encoder 100 into a packetized stream
  • An audio encoder 102 for compressing and encoding the voice photographed from (M1, M2, M3, M4, M5)
  • a packetizer 103 for generating the encoded voice from the audio encoder 102 into a packetized stream
  • a multiplexer (104) comprising a multiplexer (104) for multiplexing 3D objects and additional information related to video streams, audio streams, and 3D sounds to create a packet transport stream.
  • Demultiplexer 200 1 channel, 2 channel demultiplexing the packet transport stream received from the transmission server to the wired / wireless network to read 3D objects and additional information related to the video stream, audio stream and 3D sound
  • the channel distributor 201 distributes 3D object data related to multichannel video and audio to at least one video channel and 3D rendering and audio channels according to a channel selection among four channels, and depackets the multichannel video and audio.
  • the multi-viewer image and the 3D stereo player system including the stereo sound controller may use MPEG-4 as a video codec and a PEG audio codec or an MP3 / AAC codec as an audio codec.
  • 3D objects are represented using MPEG4 BIFS (Binary Format for Scene) from a data encoder 107 and an OD / BIFS generator 108 that provide caption data during live shooting, and multiplexed to a client terminal through a multiplexer.
  • MPEG4 BIFS Binary Format for Scene
  • the codec can use a mono or stereo codec, MPEG-4 Advanced Audio Coding (AAC) v2 or MPEG-D USAC (Unified Speech and Audio Coding) to decompress individual channel signals or object signals with high efficiency and high quality. Used to play 3D Audio of the A / V Decoder instead of a separate form.
  • AAC MPEG-4 Advanced Audio Coding
  • MPEG-D USAC Unified Speech and Audio Coding
  • video encoders that encode video, audio encoders that encode sound, data encoders, and OD / BIFS generators that provide 3D object information are multiplexed and 1/2/3 shot live through a streaming server or DVR server / 4 channel video and audio can be transmitted to the client program of the user terminal.
  • the user terminal is a computer graphics terminal equipped with a DSP processor for synchronizing image and audio signals according to the timeline, multi viewer video including 3D sound control in PC, smartphone, and tablet PC, and 3D stereo sound play. You can record and create 3D recordings.
  • the 3D renderer 207 is used in a linked form instead of a video decoder / audio decoder to reproduce 3D audio with a plurality of stereoscopic image channels.
  • the 3D renderer 207 displays a plurality of speakers and movable listener objects existing in a fixed position in three-dimensional space in the (X, Y, Z) coordinate system of the read-out 3D data. Regardless of the position of, you can calculate the three-dimensional distance, direction, and angle of the listening car object and the speaker object moving in the direction you want to hear according to the distance between the listener object and the speaker moved in the three-dimensional coordinate system.
  • the width and size of the space and the size of the audio visual objects are enlarged or reduced to display 3D rendering in real time to display a sense of distance, which is near or far, left or right, and when the three-dimensional distance between the listening car object and the corresponding speaker object is close, And the size and size of the audio visual object (virtual speaker object, listener object, wallpaper) For reducing the size of the width and size, and audio-visual objects to allow 3D display spaciousness.
  • the 3D renderer 207 displays a display screen on which one or more three-dimensional corresponding objects corresponding to one or more 3D data are arranged at preset positions in (X, Y, Z) coordinates of a three-dimensional virtual space based on the 3D data.
  • the at least one corresponding object implemented in the display screen is implemented in a form in which the movement is adjustable according to a touch signal and a mouse signal input from the user, and through this, the display screen outputs each sound signal included in the multi-channel sound signal. It functions as a UI (User Interface) to control the control.
  • the corresponding object created using the 3D renderer 207 according to the present embodiment includes a listener object and a plurality of virtual speakers.
  • the 3D renderer 207 generates and provides a reconstruction display screen in which the variation information is reflected in the display screen when the variation information of any one or more of the corresponding objects implemented in the display screen is recognized. That is, the 3D renderer 207 generates and provides a reconstructed display screen reconstructing the width and size of the virtual space, the arrangement of the corresponding object, the arrangement type and the size, and the like, based on the variation information.
  • the stereo sound controller 208 automatically adjusts the sound intensity of each speaker having an equalizer (EQ) function according to the three-dimensional distance, angle, and direction of the virtual speaker and the listener object in the virtual space. That is, the stereophonic sound controller 208 has a three-dimensional and realism by outputting the sound of each speaker so as to increase the intensity of the sound of the speaker closer to the distance between the listener object and the speaker, and to decrease the intensity of the sound of the speaker farther away from the speaker. Plays sound sources in 3D sound so that surround effects can be provided.
  • EQ equalizer
  • the stereophonic sound controller 208 raises the sound itself of the uttering point of the individual speaker in addition to the distance and near distance control with the listening car object for each uttering point of the virtual speakers L1, L2, W, R1, and R2 in the virtual space Individual volume controls that emphasize sound by diminishing; And a total volume controller for adjusting the sound of the uttering points of all the speakers at once.
  • the stereophonic sound controller 208 includes a virtual space direction control button and a recording button in the virtual space, thereby changing the distance between the listener object and the speaker caused as the listener object is moved in the direction of the desired speaker in the virtual space. As a result, the volume of the speaker increases or decreases, thereby recording a 3D sound output.
  • the stereo sound controller 208 further includes a speaker-specific EQ control unit for adjusting the frequency of the equalizer of each speaker of the multi-channel disposed in the virtual space.
  • stereo sound models the sound of a concert or studio scene to detect spatial information such as a sense of direction, distance, and space depending on the location, distance, and angle of a speaker and a listener in a virtual space where a sound source is generated. Sound with spatial information added to it.
  • Stereo sound technology is a 3D movie, 3D game, virtual reality or augmented reality system with 3D image and realistic sound communication, multichannel audio program, multimedia system using 3D audio contents providing realistic sound communication, home image processing technology, home It can be applied to theater system, realistic and immersive telepresence system, 3DTV and TV for smart phone.
  • Stereo sound reproduction can be implemented using a surround method using multi-channel and a two-channel stereo method of binaural type.
  • ITD interaural time difference
  • IID intensity difference
  • the surround method using the multi-channel is implemented in the virtual space.
  • a three-channel image and a stereoscopic sound screen of one channel are displayed using multi-channels, and one channel, two channels, and four channels can be selected.
  • a 3D renderer is used to three-dimensionally reduce the width and size of the space and the size of the audio visual object according to three-dimensional distance, direction, and angle of the plurality of speakers and listener objects, which are audio visual objects in the virtual space. Zoom in or out.
  • the speaker's preset equalizer frequency level power spectrum for each frequency
  • the stereo sound controller is automatically adjusted by the stereo sound controller as the distance between the speaker and the object approaches or increases, thereby increasing the volume (sound intensity).
  • the stereoscopic sound was realized by making it small.
  • a bitstream having a scalable channel structure may be configured by using a video codec including a scaler supporting various bandwidth (22.2, 10.2, and 5.1 channel) formats such as a 3DTV broadcasting system.
  • FIG. 4 is a diagram illustrating an internal configuration of a multi viewer image and a 3D stereo sound player including a stereo sound controller.
  • any one channel among 1 channel, 2 channel, and 4 channel for outputting multi-channel image and 3D sound may be selected.
  • three channels are decoded and displayed (concert images V1, V2, V3), and one channel is multi-channel (5.1 channels, 7.1 channels, 10.2 channels, 22.2 channels) in a virtual space by a 3D renderer and a stereo sound controller.
  • Speakers and listener objects are placed.
  • the volume of the sound signal of the speaker closest to the listener object is automatically adjusted according to the distance, direction, and angle between the plurality of virtual speakers (audio visual object) and the listener object located in the virtual space, and the image reflecting the same.
  • the signal and the acoustic signal are synchronized to output a stereophonic signal.
  • the multi viewer image and 3D stereo player with stereo sound controller receive the multi channel video or the stored video from the 3D record from the transmission server and decode the video of the music conference into three video channels.
  • a video output unit configured to display at least one channel according to the at least one channel;
  • An audio output unit which receives a multi-channel sound signal by reading a sound source or a sound source stored in a record received from a server, and decoding and outputting the multi-channel sound signal;
  • Based on the read 3D data display a plurality of speakers and movable listener objects existing at a fixed position in the three-dimensional space in the (X, Y, Z) coordinate system of the virtual space, and correlate with the position of the utterance point in the virtual space
  • a 3D renderer for displaying a 3D spatial feeling that reduces the size and the size of the object; Adjust the sound intensity (speaker volume) of the speaker with equalizer (EQ) according to the distance, angle, and direction of the virtual speaker and the listener object in the virtual space.
  • an image / acoustic synchronization unit for synchronizing and outputting an image of the output unit and a sound whose volume (volume) of the virtual speaker is adjusted by the stereo sound controller.
  • This embodiment can emphasize the sound by increasing and decreasing the sound of the speaker's voice point by installing a separate volume controller for each voice point of the virtual speaker in addition to the method of controlling the distance and the near distance with the listening car object. By installing the controller, you can control the sound of all speakers at once.
  • the listener object in the virtual space is implemented as an AR user interface (AR UI) to be designed as a dummy head modeled as a head and ear structure of a person listening to stereoscopic sound, such as listening to actual music output from a speaker object in a virtual space.
  • AR UI AR user interface
  • the sound heard depends on the direction of both ears.
  • the sound of the right speaker is louder and when it is to the left, the sound of the left speaker is louder.
  • FIG. 5 is a diagram illustrating a 3D Sound display screen. That is, FIG. 5 illustrates a front, rear, and left sides of a plurality of speakers having different spatial positions in the (X, Y, Z) coordinate system of augmented reality and three-dimensional distances and angles of movable listener objects.
  • 3D sound display that increases or decreases the volume of the sound intensity of the sound source played by the speaker having each voice point played in the right side, and enlarges or reduces the size and size of audio visual objects in the virtual space It is a figure explaining a screen.
  • a separate volume controller is installed at each utterance point of the virtual speakers L1, L2, W, R1, and R2, so that the distance between the virtual speakers and the distance between the virtual speakers with the listening vehicle object and the short distance control are different.
  • the sound can be emphasized by increasing and decreasing the sound itself, and the entire volume control can be used to adjust the sound of all speakers at once. It is possible to record 3D sound (3D sound, 3D stereo audio) according to the movement of the listener object by using the virtual space direction control button and the record button.
  • Virtual speakers can be implemented in a virtual space, for example, 5.1 channels and 10.2 channels.
  • a virtual speaker channel divided into front left, center, front right, surround left, surround right, and sub woofer channels of a 5.1 channel system is applied to a virtual space implemented in augmented reality. It was.
  • 10.2 channels are 5 channels (center, left, right, left surround, right surround) and 3 channels (left wide, right wide, back surround) for improving the resolution on the horizontal plane, 2 channels on the vertical plane ( left height, right height), one channel on the ceiling and four rear and rear channels (left and right subwoofer structure).
  • FIG. 6 is a flowchart illustrating a multi-viewer image and a 3D stereoscopic sound reproduction method including a stereoscopic sound controller.
  • the multi-viewer image and 3D stereoscopic reproduction method including stereoscopic sound control system can be applied to the multi-channel image or 3D record transmitted from the server when one of the 1, 2, and 4 channels of the player is selected (S100).
  • Receives the stored video depacketizes it by the video output unit, decodes and displays the video of the music conference with three video channels, and simultaneously selects a sound source or a specific sound source stored in the record to be decoded by the audio output unit.
  • Outputting (S200); 3D data read by the 3D renderer is used to display a plurality of speakers and movable listener objects existing at fixed positions in the 3D space in the (X, Y, Z) coordinate system of the virtual space, and the virtual speakers in the virtual space.
  • the width and size of the space and the size of the audio visual objects are enlarged or reduced to display 3D rendering in real time, indicating a distance that indicates near, far, back, left, or far.
  • the dimensional distance approaches increase the width and size of the space and the size of the audio visual object (virtual speaker object, listener object, wallpaper).
  • the loudness of the virtual speaker according to the distance and direction angle of the listener object Automatically synchronizes the adjusted sound (S400) and records the 3D sound data by adjusting the intensity of the sound according to the distance, direction, and angle of the speaker of the listener object in the virtual space. And storing (S450).
  • the sound volume of the voice point of the individual speaker other than the remote control and the near distance control with the listening car object for each voice point of the virtual speakers L1, L2, W, R1, and R2 is controlled by the individual volume controller. Emphasizing the sound by increasing and decreasing it; Adjusting the sound of the uttering points of all the speakers at once by the entire volume controller; And a virtual space direction control button and a recording button, in which the volume of the speaker increases or decreases as the distance of the listener object moves toward the desired speaker in the virtual space as the listener object moves toward the desired speaker. Recording the step.
  • the method further includes the step of adjusting the frequency of the equalizer of each speaker of the multi-channel arranged in the virtual space by the speaker for each EQ control unit in the stereo sound controller.
  • 7 to 10 are screens of a multi-viewer image and a 3D stereophonic player that includes a stereophonic sound controller.
  • Multi-viewer image and 3D stereo sound player with stereo sound control system consist of 3D rendering of 3 channel video and 1 channel audio visual object and stereo sound control screen when 4 channel is selected.
  • one channel video, one channel 3D rendering, and a stereo sound control screen are included.
  • one channel 3D rendering and a stereo sound control screen are displayed. The user can select and view 1 channel / 2 channel / 4 channel.
  • Multi-viewer video and 3D stereo sound player can change the size of the speaker's sound in the direction of moving wherever you want, regardless of the position of the vocal point, and can move the position of the vocalization point itself. Can be highlighted.
  • the number of vocalization points can also be selected by yourself, so you can hear and play sound from all directions at once.
  • a separate volume controller is installed at each vocal point of the virtual speaker (speaker object) to increase and decrease the sound of the individual speaker's vocal points in addition to remote and short distance control, and to emphasize the sound. You can adjust the sound of dots at once. All of these sounds in the virtual space are omnidirectional 3D sounds that can be changed in size and width.
  • the multi-viewer image and 3D stereophonic player with stereophonic sound control system can be used to organize the arts and music classes, and to use the location and orchestra position of each instrument in teaching materials and materials, subtitles, examples, or art education. It is an innovative video sound player that has the function to play video of each instrument at once.
  • 11 to 13 are views of a multi-viewer image and a 3D stereophonic player including a 3D stereoscopic sound controller in a panorama format.
  • Video and 3D stereophonic players can be implemented in a panorama format.
  • Panorama-style multi-viewer video and 3D stereo sound player can change the sound volume of the speaker in any direction that you want to hear, regardless of the position of the vocalization point, and can also move the position of the vocalization point itself. You can highlight certain sounds. In addition, the number of sound vocalization points can be selected by yourself so that sounds from all directions can be played at once.
  • Individual volume controllers can be installed for each utterance point of the virtual speaker to increase and reduce the sound of the individual speaker's utterance point in addition to remote and short distance control, and the sound can be emphasized by installing the entire volume controller. Can be adjusted at one time.
  • the sound from all these spaces is an omnidirectional 3D sound, and the stereophonic controller can change the size of the space according to width and height.
  • This multi-player includes a multi-sound player, which includes the position of each instrument in the art and music textbooks, class materials, subtitles, examples, or art education used by the facilitator of the class. It is an innovative video sound player with the ability to play back.
  • panoramic style multi-image player One of the features of panoramic style multi-image player is that all UI (User Interface) including volume control can be adjusted to 3D image to maximize visual space beyond sound space.
  • UI User Interface
  • the system was also serviced by the smartphone Android (Android) OS to review the tasks recorded and recorded on the mobile phone in real time, and to be used for real-time lessons.
  • Samsung Android
  • the music player and other mobile phones and smart TVs that have been generally played in the past can be implemented in conjunction with each other.
  • Total music solutions can play the role of a general agency outside of the digital media field. For example, by securing and manipulating the data required for various performances, such as performances, music players can be sent to a wide range of genres, ranging from brass orchestras to Korean traditional music and vocal bands. In addition, it provides the customer with the profile of the performers and proven materials together, and invites the customers in the planning stage to plan and design together to maximize customer satisfaction. In addition, it provides a wide range of services, from recording and video editing in general studios to sound sources, ringtones and coloring for digital devices.
  • the player can apply all music fields to a wide range of fields, in addition to music education, music production distribution market and other digital sound source markets, as well as music production in mobile phone smartphone devices.
  • the method of the present invention may be implemented as a program and read to a recording medium (CD-ROM, RAM, ROM, memory card, hard disk, magneto-optical disk, storage device, etc.) in a form readable by software of a computer. Can be stored.
  • a recording medium CD-ROM, RAM, ROM, memory card, hard disk, magneto-optical disk, storage device, etc.
  • demultiplexer 201 channel divider
  • depacketizer 203 video decoder
  • Audio decoder 207 3D renderer

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Stereophonic System (AREA)

Abstract

본 실시예는 가상 공간 내 하나 이상의 대응 객체가 배치된 디스플레이 화면 및 다채널 영상을 기 설정된 채널 디스플레이 영역에 디스플레이하고, 다채널 음향 신호를 출력하되, 대응 객체에 대한 변동 정보가 인지되는 경우 변동 정보에 근거하여, 디스플레이 화면을 재구성한 재구성 디스플레이 화면을 생성 및 다채널 음향 신호에 포함된 각 음향 신호의 출력을 조절하여 출력시킴으로써 3D 공간감을 표시하며, 3D 사운드를 구현하기 위한 별도의 추가 스피커를 구비하지 않으면서도 입체감 있고 현장감 있는 서라운드 효과를 제공할 수 있는 입체음향 조절기를 내포한 멀티 뷰어 3D 영상 플레이어 시스템에 관한 것이다.

Description

입체음향 조절기를 내포한 멀티 뷰어 영상 및 3D 입체음향 플레이어 시스템 및 그 방법
본 발명은 입체음향 조절기를 내포한 멀티 뷰어 영상 및 3D 입체음향 플레이어 시스템 및 그 방법에 관한 것이다.
그래머폰(graophone)이라고 불리는 최초의 음향 재생기인 축음기가 발명된 후, 오디오 시스템(audio system)은 아날로그 자기 테이프 레코더 방식의 LP(long play) 레코드판의 소리를 재생하는 레코드 플레이어 방식이 널리 사용되었다. 이후, 디지털 레코더인 CD, DVD 플레이어가 출시되면서, 기존 아날로그 레코드 플레이어가 사라지고 있으나, 여전히 음악애호가들은 LP(long play) 레코드판을 사용하고 있다.
현재의 디지털 음향 재생기기는 디지털 레코드 플레이어, 믹싱 콘솔, 오디오 이팩터, 앰프 등을 사용한다.
스튜디오나 음악회에서 녹음하는 경우, 오디오 이펙터(audio effector)가 사용되며 컴프레서, 리미터, 디에서, 익스펜더, 잡음 게이트, 딜레이, 리버브, 하모나이저, 이퀄라이저 등의 음향 장비가 함께 사용된다. 이때, 이퀄라이저는 주파수를 조절하여 음의 형태를 가공함으로써 원음에 가깝도록 하는데 사용한다.
도 1은 종래의 음향기기 시스템의 구성도이다.
음악당, 콘서트홀, 스튜디오에 설치되는 음향기기 시스템은 연주 음원을 녹음하는 유선 마이크(10), 모노 또는 듀얼 스테레오 무선 마이크(11A, 11B), 안테나 스플리터(Antenna Splitter), 와이어리스 리시버(13), 오디오 믹서(14), 스피커 셀렉터(15), 스피커 콘트롤러(16), 파워 앰프(Power Amplifier)(17), 스피커(18), 그래픽 이퀄라이저(Graphic Equalizer)(19), 파워 앰프(Power Amplifier)(20) 및 스피커(21)로 구성된다.
객석의 경우 천장과 무대 뒷편에 설치된 반사벽에 부딪히는 소리의 입사각과 반사각이 동일하며, 이에 반사, 회절, 산란에 의해 관객에게 잔향(Reverberation)이 전달된다. 한편, 소리의 세기는 거리(r)가 멀어질수록 거리의 제곱에 반비례하며, 이에, 먼 거리의 청중은 소리가 잘 들리지 않게 된다.
도 2는 사람의 청각 시스템에서 음원을 기준으로 두 귀에 들리는 음파의 시간 차이(ITD, Interaural Time Difference) 및 음압의 세기 차이(ILD, Interaural Level Difference)를 설명하는 도면이다.
소리는 음파의 운동방향과 에너지의 전달 방향이 평행한 종파(Longitudinal Wave)이며 1초에 340m/s로 이동한다. 사람이 소리를 들을 수 있는 가청 주파수는 20 ~ 20,000 Hz이다. 소리의 3요소는 진폭의 크기를 나타내는 소리의 크기(Loudness), 소리의 높낮이를 Hz 단위로 표현하는 소리의 높이(Pitch), 각 악기의 음색의 차이를 나타내는 소리의 음색(Timbre)으로 분류된다. 소리의 세기(dB, Phon, Sone)는 미국의 과학자 알렉산더 그레이엄 벨의 이름을 따서 데시벨(dB)을 사용하며, 0 dB을 기준으로 10 dB 증가할 때마다 소리의 세기가 10배씩 커지게 된다. 예컨대 소리의 세기는 0 -> 10 dB (10배), 0 -> 20 dB(100배)가 된다.
사람의 좌우 두 귀의 청각 시스템은 음원을 기준으로 두 귀에 들리는 음파의 시간 차이(ITD, Interaural Time Difference) 및 음압의 세기 차이(ILD, Interaural Level Difference)가 존재한다. 사람의 귀의 특성상 저음과 고음을 인지하는 소리가 다르다.
또한, 소리의 원천은 음원(sound source)이라고 불리며, 음원에서 발생하는 소리의 세기는 거리(r)가 멀어질수록 거리의 제곱에 반비례하여 작게 들리게 된다. 작은 소리의 압력 변화를 음압(sound pressure)이라고 하며, 음압의 단위는 기압의 단위와 같이 bar를 사용한다. 사람이 들을 수 있는 최소한의 음압은 0.0002 μbar이다. 소리의 세기는 데시벨(dB)로 표현되며, 데시벨 값을 기준 음압으로 하여 상대값으로 나타낸다.
기존의 오디오 기술은 모노(Mono) 및 스테레오(Stereo), DVD-Video, DVD-Audio에 5.1 채널을 사용한다. 5.1 채널은 5채널 서라운드 멀티채널 사운드 시스템으로서 보편적으로 극장 및 홈 시어터(home theater) 시스템에 사용되며, 5개의 전 대역(full bandwidth) 채널과 1개의 저주파 채널(0.1채널)을 사용하는 디지털 방송과 음악의 표준 서라운드 사운드 오디오 구성 요소이다. 5.1 채널 시스템은 front left, center, front right, surround left, surround right, sub woofer 채널로 구분되는 동일한 스피커 채널과 구성을 사용한다.
음원은 실내 공간의 특성에 따라 동일한 음원(예: 관악기, 피아노, 가야금 소리)일지라도 음악당이나 콘서트 홀에서 들을 때와 극장이나 강당에서 들을 때 청취자는 다른 음향을 경험한다. 실내 공간은 크기, 구조, 천장의 재질과 무대의 반사벽에 의한 직접음, 초기 반사음, 잔향시간, 잔향음이 다르며, 이에, 청취자는 천장이나 벽으로부터 반사되어 울리는 잔향음에 의해 실제 다른 음향 효과를 느끼게 된다.
최근, 모노와 스테레오, 5.1채널 방식 음향기술로부터 현장에서 듣는 듯한 입체음향 기술이 연구개발되고 있다. 더불어, 3DTV 출시와 함께 3차원 영화와 같이 실제 현장감과 몰입감을 제공하는 3차원 입체 영상과 부합되는 3차원 입체음향 기술이 필요하게 되었다. 스피커나 헤드폰을 구비하는 오디오 시스템은 3차원 공간에서 음의 고저 즉, 음장(sound field)이 느껴질 때 이를, 3차원 공간을 표현하는 3차원 오디오 기술이 개발되고 있다.
그러나, 3D 사운드(3D Sound)를 구현하기 위해서는 2개 이상의 많은 스피커가 필요하며, 머리 전달함수(HRTF, Head Related Transfer Function)를 이용하는 바이노럴 3차원 오디오를 제외하고는 아직까지 가상 공간에서 음의 고저감, 거리감, 공간감을 제대로 구현하지 못하고 있다.
본 실시예는 가상 공간 내 하나 이상의 대응 객체가 배치된 디스플레이 화면 및 다채널 영상을 기 설정된 채널 디스플레이 영역에 디스플레이하고, 다채널 음향 신호를 출력하되, 대응 객체에 대한 변동 정보가 인지되는 경우 변동 정보에 근거하여, 디스플레이 화면을 재구성한 재구성 디스플레이 화면을 생성 및 다채널 음향 신호에 포함된 각 음향 신호의 출력을 조절하여 출력시킴으로써 3D 공간감을 표시하며, 3D 사운드를 구현하기 위한 별도의 추가 스피커를 구비하지 않으면서도 입체감 있고 현장감 있는 서라운드 효과를 제공할 수 있는 입체음향 조절기를 내포한 멀티 뷰어 3D 영상 플레이어 시스템을 제공하는 것이다.
본 발명의 목적을 달성하기 위해, 입체음향 조절기를 내포한 멀티 뷰어 영상 및 3D 입체음향 플레이어 시스템은, 전송 서버로부터 전송된 다채널 영상 또는 3D 음반에 저장된 영상을 독출하여 디패킷타이징하여 적어도 하나 이상의 비디오 채널로 영상을 디코딩하여 디스플레이하는 적어도 하나 이상의 비디오 출력부; 다채널 음향 신호를 수신받아 디코딩하여 출력하는 오디오 출력부; 독출된 3D 데이타에 근거하여 가상 공간의 (X,Y,Z) 좌표계에서 고정된 위치에 존재하는 복수의 스피커와 이동가능한 청취자 객체가 디스플레이되며, 가상 공간에서 발성점의 위치와 상관없이 본인이 듣고 싶은 방향으로 이동하는 청취차 객체와 스피커 객체의 3차원 거리, 방향, 각도를 계산하여 3차원 좌표계에서 거리, 방향, 각도에 따라 공간의 넓이와 크기 및 오디오 비쥬얼 객체들의 크기를 확대 또는 축소하여 실시간으로 3D 렌더링하여 전후좌우 가깝거나 먼 것을 나타내는 거리감을 표시하며, 상기 청취차 객체와 선택된 스피커 객체의 3차원 거리가 가까워지면 공간의 넓이와 크기 및 오디오 비쥬얼 객체(가상 스피커 객체, 청취자 객체, 배경화면)의 크기를 크게 하고 거리가 멀어지면 공간의 넓이와 크기 및 상기 객체의 크기를 작게 하는 3D 공간감을 디스플레이하는 3D 렌더러; 가상공간에서 가상 스피커와 청취자 객체의 거리, 각도에 따라 이퀄라이저(EQ) 기능을 가진 각 스피커의 소리의 세기(볼륨)를 자동으로 조절하여 해당 스피커와 거리가 가까워지면 해당 스피커의 소리의 세기를 크게 하고 거리가 멀어지면 소리의 세기를 작게 음향을 출력하여 입체감있고 현장감 있는 서라운드 효과를 제공하는 입체음향(3D sound)의 음원을 재생하는 입체음향 조절기; 및 타임 라인에 따라 적어도 하나 이상의 비디오 출력부의 영상과 상기 입체음향 조절기에 의해 가상 스피커의 소리의 크기(볼륨)가 조절된 음향을 동기화하여 출력하는 영상 및 음향 동기화부를 포함한다.
상기 가상 스피커는, 각 발성점 마다 개별 볼륨조절기를 구비하고, 상기 개별 볼륨조절기를 이용하여 청취차 객체와의 원거리와 근거리 조절 이외 발성점의 소리 자체를 키우고 줄임으로 소리를 강조할 수 있고, 전체 볼륨조절기를 구비하여 모든 스피커의 발성점의 소리를 한번에 조절하는 것을 특징으로 한다.
상기 청취자 객체는, 증강현실 사용자 인터페이스(AR UI)로 구현하여 가상 공간에서 스피커 객체에 실제 음악을 듣는 것과 같이 입체음향을 청취하는 사람의 머리와 귀의 구조로 모델링 된 더미 헤드로 디자인 되는 것을 특징으로 한다.
상기 입체음향 조절기는 가상 공간에서 가상 스피커들(L1,L2,W,R1,R2)의 각 발성점 마다 청취차 객체와의 원거리와 근거리 조절 이외 개별 스피커의 발성점의 소리 자체를 키우고 줄임으로 소리를 강조하는 개별 볼륨 조절기; 및 모든 스피커의 발성점의 소리를 한번에 조절하는 전체 볼륨조절기를 포함하고, 가상공간 방향 조절 버튼 및 녹음 버튼을 구비하여 가상공간에서 원하는 스피커 방향으로 청취자 객체의 이동에 따른 거리가 가깝거나 멀어짐에 따라 해당 스피커의 소리의 크기가 커지거나 줄어드는 3차원 입체음향(3D Sound)을 녹음하는 것을 특징으로 한다.
상기 입체음향 조절기는 가상공간에 배치된 멀티 채널의 각 스피커의 이퀄라이저의 주파수를 조절하는 스피커별 EQ 조절부를 더 포함한다.
상기 3D 렌더러와 상기 입체음향 조절기를 내포한 멀티 뷰어 영상 및 3D 입체음향 플레이어는 4채널 선택시, 3채널 동영상과 1채널 오디오 비쥬얼 객체의 3D 렌더링과 입체음향 제어 화면으로 구성되고, 2채널 선택시, 1채널 동영상과 및 1채널 3D 렌더링과 입체음향 제어 화면으로 구성되며, 1채널 선택시 1채널 3D 렌더링과 입체음향 제어 화면으로 디스플레이되어 1채널, 2채널, 4채널 중에서 하나를 선택하여 볼 수 있는 것을 특징으로 한다.
본 발명의 다른 목적을 달성하기 위해, 입체음향 조절기를 내포한 멀티 뷰어 영상 및 3D 입체음향 재생 방법은 입체음향 조절기를 내포한 멀티 뷰어 영상 및 3D 입체음향 플레이어의 1채널, 2채널 및 4채널 중 어느 하나의 화면 표시 방식이 선택되면, 서버로부터 전송된 다채널 영상 또는 3D 음반에 저장된 영상을 수신받아 비디오 출력부에 의해 디패킷타이징하고 3개의 비디오 채널로 음악회의 영상을 디코딩하여 디스플레이하고, 동시에 서버로부터 전송된 음원 또는 음반에 저장된 특정 음원을 선택하여 오디오 출력부에 의해 디코딩하여 출력하는 단계; 3D 렌더러에 의해 독출된 3D 데이타에 근거하여 가상 공간의 (X,Y,Z) 좌표계에서 3차원 공간의 고정된 위치에 존재하는 복수의 스피커와 이동가능한 청취자 객체가 디스플레이되며, 가상 공간에서 가상 스피커의 발성점의 위치와 상관없이 본인이 듣고 싶은 방향으로 이동하는 청취차 객체와 스피커 객체의 3차원 거리, 방향, 각도를 계산하고, 가상 공간의 3차원 좌표계에서 청취차 객체와 선택된 스피커 객체의 거리에 따라 공간의 넓이와 크기 및 오디오 비쥬얼 객체들의 크기를 확대 또는 축소하여 실시간으로 3D 렌더링하여 전후좌우 가깝거나 먼 것을 나타내는 거리감을 표시하며, 청취차 객체와 스피커 객체의 3차원 거리가 가까우면 공간의 넓이와 크기 및 오디오 비쥬얼 객체(가상 스피커 객체, 청취자 객체, 배경화면)의 크기를 크게 하고 상기거리가 멀어지면 객체의 크기를 작게 하는 3D 공간감을 디스플레이하는 단계; 입체음향 조절기에 의해 가상공간에서 가상 스피커와 청취자 객체의 3차원 거리, 각도에 따라 이퀄라이저(EQ) 기능을 가진 각 스피커의 소리의 세기(볼륨)를 자동으로 조절하여 해당 스피커와 거리가 가까워지면 해당 스피커의 소리의 세기를 크게 하고 거리가 멀어지면 해당 스피커의 소리의 세기를 작게 음향을 출력하여 입체감있고 현장감 있는 서라운드 효과를 제공하는 입체음향(3D sound)의 음원을 재생하는 단계; 영상 및 음향 동기화부에 의해 타임 라인에 따라 적어도 하나 이상의 비디오 출력부의 영상과 상기 입체음향 조절기에 의해 이동하는 청취자 객체의 거리와 방향각 이동에 따른 가상 스피커의 소리의 크기(볼륨)가 자동으로 조절된 음향을 동기화하여 출력하는 단계; 및 가상공간에서 청취자 객체의 스피커의 거리, 방향, 각도에 따라 소리의 세기가 조절되어 출력되는 입체음향 데이타를 녹음하여 저장하는 단계를 포함한다.
상기 방법은, 상기 3D 렌더러와 상기입체음향 조절기를 내포한 멀티 뷰어 영상 및 3D 입체음향 플레이어는 4채널 선택시, 3채널 동영상과 1채널 오디오 비쥬얼 객체의 3D 렌더링과 입체음향 제어 화면으로 구성되고, 2채널 선택시, 1채널 동영상과 및 1채널 3D 렌더링과 입체음향 제어 화면으로 구성되며, 1채널 선택시 1채널 3D 렌더링과 입체음향 제어 화면으로 디스플레이 되는 단계를 더 포함한다.
상기 방법은 상기 입체음향 조절에서는 개별 볼륨 조절기에 의해 가상 스피커들(L1,L2,W,R1,R2)의 각 발성점 마다 청취차 객체와의 원거리와 근거리 조절 이외 개별 스피커의 발성점의 소리 자체를 키우고 줄임으로 소리를 강조하는 단계; 전체 볼륨조절기에 의해 모든 스피커들의 발성점의 소리를 한번에 조절하는 단계; 및 가상공간 방향 조절 버튼 및 녹음 버튼을 구비하여 가상공간에서 원하는 스피커 방향으로 청취자 객체의 이동에 따른 3차원 입체음향(3D Sound)을 녹음하는 단계를 포함한다.
상기 방법은 상기 입체음향 조절기에서는 스피커별 EQ 조절부에 의해 가상공간에 배치된 멀티 채널의 각 스피커의 이퀄라이저의 주파수를 조절하는 단계를 더 포함한다.
본 발명은 컴퓨터나, 스마트기기(스마트폰, 타블렛 PC)에, 입체음향 조절기를 내포한 멀티 뷰어 영상 및 3D 입체음향 플레이어의 1채널, 2채널 및 4채널 중 하나의 화면 표시 방식이 선택되면, 서버로부터 전송된 다채널 영상 또는 3D 음반에 저장된 영상을 수신받아 비디오 출력부에 의해 디패킷타이징하고 3개의 비디오 채널로 음악회의 영상을 디코딩하여 디스플레이하고, 동시에 서버로부터 전송된 음원 또는 음반에 저장된 특정 음원을 선택하여 오디오 출력부에 의해 디코딩하여 출력하는 기능; 3D 렌더러에 의해 독출된 3D 데이타에 근거하여 가상 공간의 (X,Y,Z) 좌표계에서 3차원 공간의 고정된 위치에 존재하는 복수의 스피커와 이동가능한 청취자 객체가 디스플레이되며, 가상 공간에서 가상 스피커의 발성점의 위치와 상관없이 본인이 듣고 싶은 방향으로 이동하는 청취차 객체와 스피커 객체의 3차원 거리, 방향, 각도를 계산하고, 가상 공간의 3차원 좌표계에서 청취차 객체와 선택된 스피커 객체의 거리에 따라 공간의 넓이와 크기 및 오디오 비쥬얼 객체들의 크기를 확대 또는 축소하여 실시간으로 3D 렌더링하여 전후좌우 가깝거나 먼 것을 나타내는 거리감을 표시하며, 청취차 객체와 스피커 객체의 3차원 거리가 가까우면 공간의 넓이와 크기 및 오디오 비쥬얼 객체(가상 스피커 객체, 청취자 객체, 배경화면)의 크기를 크게 하고 상기거리가 멀어지면 객체의 크기를 작게 하는 3D 공간감을 디스플레이하는 기능; 입체음향 조절기에 의해 가상공간에서 가상 스피커와 청취자 객체의 3차원 거리, 각도에 따라 이퀄라이저(EQ) 기능을 가진 각 스피커의 소리의 세기(볼륨)를 자동으로 조절하여 해당 스피커와 거리가 가까워지면 해당 스피커의 소리의 세기를 크게 하고 거리가 멀어지면 해당 스피커의 소리의 세기를 작게 음향을 출력하여 입체감있고 현장감 있는 서라운드 효과를 제공하는 입체음향(3D sound)의 음원을 재생하는 기능; 영상 및 음향 동기화부에 의해 타임 라인에 따라 적어도 하나 이상의 비디오 출력부의 영상과 상기 입체음향 조절기에 의해 이동하는 청취자 객체의 거리와 방향각 이동에 따른 가상 스피커의 소리의 크기(볼륨)가 자동으로 조절된 음향을 동기화하여 출력하는 기능; 가상공간에서 청취자 객체의 스피커의 거리, 방향, 각도에 따라 소리의 세기가 조절되어 출력되는 입체음향 데이타를 녹음하여 저장하는 기능; 상기 입체음향 조절기에서는 개별 볼륨 조절기에 의해 가상 스피커들(L1,L2,W,R1,R2)의 각 발성점 마다 청취차 객체와의 원거리와 근거리 조절 이외 개별 스피커의 발성점의 소리 자체를 키우고 줄임으로 소리를 강조하는 기능; 전체 볼륨조절기에 의해 모든 스피커의 발성점의 소리를 한번에 조절하는 기능; 가상공간 방향 조절 버튼 및 녹음 버튼을 구비하여 가상공간에서 원하는 스피커 방향으로 청취자 객체의 이동에 따른 3차원 입체음향(3D Sound)을 녹음하는 기능; 상기 입체음향 조절기에서는 스피커별 EQ 조절부에 의해 가상공간에 배치된 멀티 채널의 각 스피커의 이퀄라이저의 주파수를 조절하는 기능; 및 상기 3D 렌더러와 상기입체음향 조절기를 내포한 멀티 뷰어 영상 및 3D 입체음향 플레이어는 4채널 선택시, 3채널 동영상과 1채널 오디오 비쥬얼 객체의 3D 렌더링과 입체음향 제어 화면으로 구성되고, 2채널 선택시, 1채널 동영상과 및 1채널 3D 렌더링과 입체음향 제어 화면으로 구성되며, 1채널 선택시 1채널 3D 렌더링과 입체음향 제어 화면으로 디스플레이 되는 기능을 실현하기 위한 프로그램을 기록한 컴퓨터나 스마트 기기로 읽을 수 있는 기록매체를 구비한다.
본 실시예에 따르면, 입체음향 조절기를 내포한 멀티 뷰어 영상 및 3D 입체음향 플레이어 시스템이 가상 공간 내 하나 이상의 대응 객체가 배치된 디스플레이 화면 및 다채널 영상을 기 설정된 채널 디스플레이 영역에 디스플레이하고, 다채널 음향 신호를 출력하되, 대응 객체에 대한 변동 정보가 인지되는 경우 변동 정보에 근거하여, 디스플레이 화면을 재구성한 재구성 디스플레이 화면을 생성 및 다채널 음향 신호에 포함된 각 음향 신호의 출력을 조절하여 출력시킴으로써 3D 공간감을 표시하며, 3D 사운드를 구현하기 위한 별도의 추가 스피커를 구비하지 않으면서도 입체감 있고 현장감 있는 서라운드 효과를 제공할 수 있는 효과가 있다.
멀티 뷰어 영상 및 3D 입체음향 재생 소프트웨어는 3채널 입체 방송과 실감 음향 통신 기술을 적용하여 새로운 장르의 음원을 녹음하여 제작하고, 녹음된 모나나 스테레오 음원을 파노라마 형식으로 두 귀에 도달하는 소리의 시간차와 공간감의 차이를 디스플레이하여 3D 입체음향을 구현할 수 있다. 또한, 문화 예술 교육, 음악 분야 녹음과 영상 편집의 토탈 음악 매니지먼트 서비스 솔류션을 제공하며, 3D 사운드 디지털 음원 시장, 아티스트의 정규 앨범 제작, 스마트폰/휴대폰 음악 녹음/녹화(음원, 벨소리, 컬러링) 분야의 새로운 음원 시장을 창출하는 효과가 있다.
도 1은 종래의 음향기기 시스템의 구성도이다.
도 2는 사람의 청각 시스템에서 음원을 기준으로 두 귀에 들리는 음파의 시간 차이(ITD, Interaural Time Difference) 및 음압의 세기 차이(ILD, Interaural Level Difference)를 설명하는 도면이다.
도 3은 본 발명의 실시예에 따른 입체음향 조절기를 내포한 멀티 뷰어 3D 영상 플레이어 시스템 구성도이다.
도 4는 입체음향 조절기를 내포한 멀티 뷰어 3D 영상 플레이어의 내부 구성도이다.
도 5는 3D Sound 디스플레이 화면을 설명하는 도면이다.
도 6은 입체음향 조절기를 내포한 멀티 뷰어 영상 및 3D 입체음향 재생 방법을 설명하는 플로챠트이다.
도 7 내지 도 10은 본 발명의 제1 실시예에 따른 입체음향 조절기를 내포한 멀티 뷰어 영상 및 3D 입체음향 플레이어의 화면이다.
도 11 내지 도 13은 본 발명의 제2 실시예에 따른 파노라마 스타일의 입체음향 조절기를 내포한 멀티 뷰어 영상 및 3D 입체음향 플레이어의 화면이다.
하기 설명에서는 구체적인 입체음향과 같은 특정(特定) 사항들을 명시하고 있으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해 제공된 것일 뿐 이러한 특정 사항들 없이도 본 발명이 실시될 수 있음은 이 기술 분야에서 통상의 지식을 가진 자에게는 자명하다 할 것이다. 그리고 본 발명을 설명함에 있어, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
이하, 본 발명의 바람직한 실시예를 첨부된 도면을 참조하여 발명의 구성 및 동작을 상세하게 설명한다.
도 3은 본 발명의 실시예에 따른 입체음향 조절기를 내포한 멀티 뷰어 영상 및 3D 입체음향 플레이어 시스템의 구성도이다.
입체음향 조절기를 내포한 멀티 뷰어 영상 및 3D 입체음향 플레이어 시스템은 여러 장소에 설치되어 음악회의 동영상을 촬영하는 적어도 하나 이상의 카메라(C1,C2,C3), 적어도 하나 이상의 카메라(C1,C2,C3)로부터 촬영된 영상을 압축하여 인코딩하는 비디오 인코더(100), 비디오 인코더(100)로부터 인코딩된 영상을 패킷타이징(packetizing)하여 패킷화된 스트림으로 생성하는 패킷 타이저(101), 적어도 하나 이상의 마이크(M1,M2,M3,M4,M5)로부터 촬영된 음성을 압축하여 인코딩하는 오디오 인코더(102), 오디오 인코더(102)로부터 인코딩된 음성을 패킷화된 스트림으로 생성하는 패킷 타이저(103), 영상 스트림과 음성 스트림 및 3D 사운드와 관련된 3D 객체 및 부가 정보를 멀티플렉싱(multiplexing)하여 패킷 전송 스트림(transport stream)을 생성하는 멀티플렉서(104)를 포함하는 전송 서버, 및
전송 서버로부터 유무선 통신망으로 수신된 패킷 전송 스트림을 디멀티플렉싱(demultiplexing)하여 영상 스트림과 음성 스트림 및 3D 사운드와 관련된 3D 객체 및 부가 정보를 독출하는 디멀티프렉서(200), 1채널, 2채널, 4채널 중 하나의 채널 선택에 따라 적어도 하나 이상의 영상 채널 및 3D 렌더링 및 음향 채널로 각각 다채널 영상과 음성과 관련된 3D 객체 데이타를 분배하는 채널 분배기(201), 다채널 영상, 음성을 디패킷타이징(depacketing)하는 디패킷타이저(202), 영상을 디코딩하는 비디오 디코더(203), 음성을 디코딩하는 오디오 디코더(204), 3D 렌더러(207) 및 입체음향 조절기(208)로 구성된다.
본 실시예에 따른 입체음향 조절기를 내포한 멀티 뷰어 영상 및 3D 입체음향 플레이어 시스템은 비디오 코덱으로 MPEG-4를 사용하고, 오디오 코덱으로 PEG 오디오 코덱 또는 MP3/AAC 코덱을 사용할 수 있다. 또한, Live 촬영시 자막 데이터를 제공하는 데이타 인코더(107) 및 OD/BIFS 발생기(108)로부터 MPEG4 BIFS(Binary Format for Scene)를 사용하여 3D 객체를 표현하며, 이를 멀티플렉서를 통해 멀티플렉싱하여 클라이언트 단말기로 전송할 수 있다.
코덱은 개별 채널 신호 또는 객체 신호를 고효율/고품질로 압축 복원하도록 모노 또는 스테레오 코덱, MPEG-4 AAC(Advanced Audio Coding) v2나 MPEG-D USAC(Unified Speech and Audio Coding)이 사용가능하며, 3D 렌더러의 3D Audio를 재생하기 위해 A/V 디코더와 분리된 형태가 아닌 연동된 형태로 사용된다. 또한, MPEG Surround나 SAOC(Spatial Audio Object Coding)에서 표준화된 여러가지 채널 변환툴들이 3D Audio에 사용가능하다.
여러 대의 카메라, 영상을 인코딩하는 비디오 인코더, 음향을 인코딩하는 오디오 인코더, 데이타 인코더, 3D 객체 정보를 제공하는 OD/BIFS 생성기가 멀티플렉싱되어 스트리밍 서버 또는 DVR 서버를 통해 Live로 촬영되는 1/2/3/4채널 영상과 음성을 사용자 단말기의 클라이언트 프로그램으로 전송할 수 있다.
사용자 단말기는 타임 라인에 따라 영상과 음향 신호를 동기화하는 DSP 프로세서를 구비한 컴퓨터 그래픽스 단말기, PC, 스마트폰, 타블렛 PC에 입체음향 조절기를 내포하는 멀티 뷰어 영상 및 3D 입체음향 플레이를 연동하여 3D Sound를 녹음하고, 이를 통해 3D 음반을 제작할 수 있다. 3D 렌더러(207)는 복수의 입체 영상 채널과 함께 3D Audio를 재생하기 위해 비디오 디코더/오디오 디코더와 분리된 형태가 아닌 연동된 형태로 사용된다.
3D 렌더러(207)는 독출된 3D 데이타를 가상 공간의 (X,Y,Z) 좌표계에서 3차원 공간에서 고정된 위치에 존재하는 복수의 스피커와 이동가능한 청취자 객체가 디스플레이되며, 가상 공간에서 발성점의 위치와 상관없이 본인이 듣고 싶은 방향어디든지 옮겨가는 방향으로 이동하는 청취차 객체와 스피커 객체의 3차원 거리, 방향, 각도를 계산하여 3차원 좌표계에서 이동된 청취자 객체와 스피커와의 거리에 따라 공간의 넓이와 크기 및 오디오 비쥬얼 객체들의 크기를 확대 또는 축소하여 실시간으로 3D 렌더링하여 전후좌우 가깝거나 먼 것을 나타내는 거리감을 표시하며, 청취차 객체와 해당 스피커 객체의 3차원 거리가 가까우면 공간의 넓이와 크기 및 오디오 비쥬얼 객체(가상 스피커 객체, 청취자 객체, 배경화면)의 크기를 크게 하고 거리가 멀어지면 공간의 넓이와 크기 및 오디오 비쥬얼 객체의 크기를 작게 하는 3D 공간감 있게 디스플레이한다.
즉, 3D 렌더러(207)는 3D 데이터에 근거하여 하나 이상의 3D 데이터에 대응되는 하나 이상의 3차원 대응 객체를 3차원 가상 공간의 (X, Y, Z) 좌표 내 기 설정된 위치에 배치한 디스플레이 화면을 생성한다. 이때, 디스플레이 화면 내 구현된 하나 이상의 대응 객체는 사용자로부터 입력된 터치 신호 및 마우스 신호에 따라 움직임이 조절 가능한 형태로 구현되며, 이를 통해, 디스플레이 화면은 다채널 음향 신호에 포함된 각 음향 신호의 출력을 조절하기 위한 UI(User Interface)로서의 기능을 수행한다. 한편, 본 실시예에 따른 3D 랜더러(207)를 이용하여 생성되는 대응 객체는 청취자 객체 및 복수의 가상 스피커를 포함한다. 3D 랜더러(207)는 디스플레이 화면 내에 구현된 하나 이상의 대응 객체 중 어느 하나의 객체에 대한 변동 정보가 인지되는 경우, 디스플레이 화면 내에 변동 정보가 반영된 재구성 디스플레이 화면을 생성하여 제공한다. 즉, 3D 랜더러(207)는 변동 정보에 근거하여 가상 공간의 넓이와 크기, 대응 객체의 배치, 배치 형태 및 크기 등을 재구성한 재구성 디스플레이 화면을 생성하여 제공한다.
입체음향 조절기(208)는 가상공간에서 가상 스피커와 청취자 객체의 3차원 거리, 각도, 방향에 따라 이퀄라이저(EQ) 기능을 가진 각 스피커의 소리의 세기를 자동으로 조절한다. 즉, 입체음향 조절기(208)는 청취자 객체와 스피커와 거리가 가까워지면 가까워진 스피커의 소리의 세기를 크게 하고 거리가 멀어지면 멀어진 스피커의 소리의 세기를 작게 되도록 각 스피커의 음향을 출력시킴으로써 입체감있고 현장감 있는 서라운드 효과가 제공될 수 있도록 입체음향(3D sound)의 음원을 재생한다.
상기 입체음향 조절기(208)는 가상 공간에서 가상 스피커들(L1,L2,W,R1,R2)의 각 발성점 마다 청취차 객체와의 원거리와 근거리 조절 이외 개별 스피커의 발성점의 소리 자체를 키우고 줄임으로 소리를 강조하는 개별 볼륨 조절기; 및 모든 스피커의 발성점의 소리를 한번에 조절하는 전체 볼륨조절기를 포함한다. 또한, 입체음향 조절기(208)는 가상 공간에 가상공간 방향 조절 버튼 및 녹음 버튼을 구비하며, 이를 통해, 가상공간에서 청취자 객체가 원하는 스피커 방향으로 이동됨에 따라 야기되는 청취자 객체와 스피커 간 거리 변화에 따라 스피커의 소리의 크기가 커지거나 줄어들어 출력되는 3차원 입체음향 (3D Sound)을 녹음하는 것을 특징으로 한다.
상기 입체음향 조절기(208)는 가상공간에 배치된 멀티 채널의 각 스피커의 이퀄라이저의 주파수를 조절하는 스피커별 EQ 조절부를 더 포함한다.
참고로, 입체음향은 음악회 또는 스튜디오 현장의 음향을 모델링하여 음원이 발생한 가상 공간에서 스피커와 청취자의 위치, 거리, 각도에 따라 방향감, 거리감, 공간감과 같은 공간 정보를 감지하도록 하고, 이를 통해, 음향에 공간 정보를 부가한 음향이다. 입체음향 기술은 영상처리 기술과 함께 3D 영화, 3D 게임, 입체영상과 실감 음향 통신이 적용된 가상현실 또는 증강현실 시스템, Multichannel audio program, 실감 음향 통신을 제공하는 3D Audio 콘텐츠를 사용하는 멀티미디어 시스템, 홈 씨어터 시스템, 실감 있고 몰입감 있는 가상현실 화상회의(Telepresence) 시스템, 3DTV, TV for smart phone에 적용이 가능하다.
입체음향 재생 방식은 멀티 채널을 사용한 서라운드 방식과 바이노럴(Binaural) 타입의 2채널 스테레오 방식으로 구현이 가능하다.
참고로, 사람의 두 귀는 소리의 시간차(ITD, Interaural Time Difference)와 소리의 세기차(ILD 또는 IID, Interaural Intensity Difference)가 존재한다.
본 발명의 실시예에서는 멀티 채널을 사용한 서라운드 방식을 가상공간에서 구현하였다.
본 발명의 실시예에서는 멀티 채널을 사용하여 3채널의 영상과 1채널의 입체음향 화면을 디스플레이하며, 1채널, 2채널 및 4채널 중 하나의 채널을 선택 가능하도록 구현되었다. 본 실시예에 따른 입체음향 화면에서는 3D 렌더러를 이용하여 가상공간 내 오디오 비쥬얼 객체인 복수 개의 스피커와 청취자 객체의 3차원 거리, 방향, 각도에 따라 공간의 넓이와 크기 및 오디오 비쥬얼 객체의 크기를 입체감 있게 확대 또는 축소하였다. 이와 동시에 스피커와 개체 간 거리가 근접되거나 멀어짐에 따라 입체음향 조절기에 의해 자동으로 스피커의 기 설정된 이퀄라이저 주파수 레벨(주파수별 파워 스펙트럼)이 조절되도록 하고, 이를 통해, 볼륨(소리의 세기)을 크게 하거나 또는 작게 함으로써 입체음향을 구현하였다.
본 실시예는 3DTV 방송 시스템과 같이 대역폭이 제한된 여러가지 채널(22.2 채널, 10.2 채널, 5.1 채널) 포맷을 지원하는 스케일러가 포함된 비디오 코덱을 사용하여 스케일러블 채널 구조의 비트스트림을 구성할 수 있다.
도 4는 입체음향 조절기를 내포한 멀티 뷰어 영상 및 3D 입체음향 플레이어의 내부 구성도이다.
입체음향 조절기를 내포한 멀티 뷰어 영상 및 3D 입체음향 플레이어는 다채널 영상과 입체음향(3D sound)을 출력하는 1채널, 2채널, 및 4채널 중 어느 하나의 채널이 선택 가능하다. 이때, 3채널은 영상(음악회 영상 V1, V2, V3)이 디코딩되어 디스플레이되고, 1채널은 3D 렌더러 및 입체음향 조절기에 의해 가상 공간에서 멀티 채널(5.1 채널, 7.1 채널, 10.2 채널, 22.2 채널) 스피커들과 청취자 객체가 배치된다. 본 실시예의 경우 가상공간에 위치된 복수의 가상 스피커(오디오 비쥬얼 객체)와 청취자 객체 간의 거리, 방향, 각도에 따라 청취자 객체와 가장 가까운 스피커의 음향 신호의 볼륨이 자동으로 조절되는 한편, 이를 반영한 영상 신호 및 음향 신호가 동기화되어 입체음향 신호를 출력한다.
입체음향 조절기를 내포한 멀티 뷰어 영상 및 3D 입체음향 플레이어는 전송 서버로부터 전송된 다채널 영상 또는 3D 음반으로부터 저장된 영상을 수신받아 3개의 비디오 채널로 음악회의 영상을 디코딩하며, 이를 선택된 비디오 채널 수에 따라 적어도 하나 이상의 채널로 디스플레이하는 비디오 출력부; 서버로부터 수신된 음원 또는 음반에 저장된 음원을 독출하여 다채널 음향 신호를 수신받고, 이를 디코딩하여 출력하는 오디오 출력부; 독출된 3D 데이타에 기초하여 가상 공간의 (X,Y,Z) 좌표계에서 3차원 공간의 고정된 위치에 존재하는 복수의 스피커와 이동가능한 청취자 객체를 디스플레이하며, 가상 공간에서 발성점의 위치와 상관없이 본인이 듣고 싶은 방향 어디든지 이동 가능한 청취차 객체와 스피커 객체의 3차원 거리, 방향, 각도를 계산하여 3차원 좌표계에서 청취차 객체와 선택된 스피커 객체의 거리, 방향, 각도에 따라 공간의 넓이와 크기 및 오디오 비쥬얼 객체들의 크기를 확대 또는 축소하고, 이를 실시간으로 3D 렌더링하여 전후좌우 가깝거나 먼 것을 나타내는 거리감을 표시하며, 청취차 객체와 스피커 객체의 3차원 거리가 가까워지면 공간의 넓이와 크기 및 오디오 비쥬얼 객체(가상 스피커 객체, 청취자 객체, 배경화면)의 크기를 크게 하고 거리가 멀어지면 공간의 넓이와 크기 및 상기 객체의 크기를 작게 하는 3D 공간감을 디스플레이하는 3D 렌더러; 가상공간에서 가상 스피커와 청취자 객체의 거리, 각도, 방향에 따라 이퀄라이저(EQ) 기능을 가진 스피커의 소리의 세기(스피커의 볼륨)를 조절하여 해당 스피커와 거리가 가까워지면 해당 스피커의 소리의 세기를 크게 하고 거리가 멀어지면 해당 스피커의 소리의 세기를 작게 음향을 출력하여 입체감있고 현장감 있는 서라운드 효과를 제공하는 입체음향(3D sound)의 음원을 재생하는 입체음향 조절기 및 타임 라인에 따라 적어도 하나 이상의 비디오 출력부의 영상과 상기 입체음향 조절기에 의해 가상 스피커의 소리의 크기(볼륨)가 조절된 음향을 동기화하여 출력하는 영상/음향 동기화부로 구성된다.
본 실시예는 청취차 객체와의 원거리와 근거리를 조절하는 방식 이외에 가상 스피커의 각 발성점 마다 개별 볼륨조절기를 설치하여 스피커의 발성점의 소리 자체를 키우고 줄임으로써 소리를 강조할 수 있고, 전체 볼륨조절기를 설치하여 모든 스피커들의 발성점의 소리를 한번에 조절할 수 있다.
가상 공간의 청취자 객체는 증강현실 사용자 인터페이스(AR UI)로 구현하여 가상 공간에서 스피커 객체에서 출력되는 실제 음악을 듣는 것과 같이 입체음향을 청취하는 사람의 머리와 귀의 구조로 모델링 된 더미 헤드로 디자인될 수 있다.
소리를 듣는 청취자 객체의 경우, 양쪽 귀의 방향에 따라 들리는 소리가 달라진다. 가상공간에서 청취자 객체가 오른쪽으로 보면 오른쪽 스피커의 소리가 커지고 왼쪽으로 보면 왼쪽 스피커의 소리가 커진다.
도 5는 3D Sound 디스플레이 화면을 설명하는 도면이다. 즉, 도 5는 증강현실의 가상 공간의 (X,Y,Z) 좌표계에서 공간적 위치가 각각 다른 복수개의 스피커와 이동 가능한 청취자 객체의 3차원 거리, 방향각(angle)에 따라 앞,뒤,좌,우에서 재생되는 각 발성점을 가진 스피커에서 재생되는 음원의 소리 세기의 볼륨을 상승 또는 하강하고, 가상 공간에서 공간의 넓이와 크기 및 오디오 비쥬얼 객체들의 크기가 확대 또는 축소되어 디스플레이되는 3D Sound 디스플레이 화면을 설명하는 도면이다.
본 실시예는 가상 스피커들(L1,L2,W,R1,R2)의 각 발성점 마다 개별 볼륨조절기를 설치하여 청취차 객체와의 가상 스피커들 간의 원거리와 근거리 조절 이외 개별 가상스피커의 발성점의 소리 자체를 키우고 줄임으로 소리를 강조할 수 있고, 전체 볼륨조절기를 구비하여 모든 스피커들의 발성점의 소리를 한번에 조절할 수 있다. 가상공간 방향 조절 버튼 및 녹음 버튼을 사용하여 청취자 객체의 이동에 따른 3차원 입체음향(3D Sound, 3차원 입체오디오)을 녹음이 가능하다.
가상 스피커는 5.1 채널, 10.2 채널에 예를 가상공간에 구현하면 된다.
실시예에서는 도 5에 도시된 바와 같이, 증강 현실로 구현된 가상 공간에서 5.1 채널 시스템의 front left, center, front right, surround left, surround right, sub woofer 채널로 구분되는 가상 스피커 채널을 구성하여 적용하였다.
다른 실시예에서는, 10.2 채널은 5채널(center, left, right, left surround, right surround)에 수평면상의 해상도를 향상시키기 위한 3채널(left wide, right wide, back surround), 수직면상의 상향 2채널(left height, right height), 천장에 1채널, 측후면 4채널(좌우측 서브우퍼 구조)로 배치된다.
도 6은 입체음향 조절기를 내포한 멀티 뷰어 영상 및 3D 입체음향 재생 방법을 설명하는 플로챠트이다.
입체음향 조절기를 내포한 멀티 뷰어 영상 및 3D 입체음향 재생 방법은 플레이어의 1채널, 2채널 및 4채널 중 하나의 화면 표시 방식이 선택되면(S100), 서버로부터 전송된 다채널 영상 또는 3D 음반에 저장된 영상을 수신받아 비디오 출력부에 의해 디패킷타이징하고 3개의 비디오 채널로 음악회의 영상을 디코딩하여 디스플레이하고, 동시에 서버로부터 전송된 음원 또는 음반에 저장된 특정 음원을 선택하여 오디오 출력부에 의해 디코딩하여 출력하는(S200) 단계; 3D 렌더러에 의해 독출된 3D 데이타를 이용하여 가상 공간의 (X,Y,Z) 좌표계에서 3차원 공간의 고정된 위치에 존재하는 복수의 스피커와 이동가능한 청취자 객체를 디스플레이하며, 가상 공간에서 가상 스피커의 발성점의 위치와 상관없이 본인이 듣고 싶은 방향으로 이동하는 청취차 객체와 스피커 객체의 3차원 거리, 방향, 각도를 계산하고(S300), 가상 공간의 3차원 좌표계에서 청취차 객체와 선택된 스피커 객체의 거리, 방향, 각도에 따라 공간의 넓이와 크기 및 오디오 비쥬얼 객체들의 크기를 확대 또는 축소하여 실시간으로 3D 렌더링하여 전후좌우 가깝거나 먼 것을 나타내는 거리감을 표시하며, 청취차 객체와 스피커 객체의 3차원 거리가 가까워지면 공간의 넓이와 크기 및 오디오 비쥬얼 객체(가상 스피커 객체, 청취자 객체, 배경화면)의 크기를 크게 하고 상기 거리가 멀어지면 공간의 넓이와 크기 및 상기 객체의 크기를 작게 하는 3D 공간감을 디스플레이하는 단계 및 입체음향 조절기에 의해 가상공간에서 가상 스피커와 청취자 객체의 3차원 거리, 각도에 따라 이퀄라이저(EQ) 기능을 가진 각 스피커의 소리의 세기를 각 스피커의 볼륨 조절함으로써 해당 스피커와 거리가 가까워지면 해당 스피커의 소리의 세기를 크게 하고 거리가 멀어지면 해당 스피커의 소리의 세기를 작게한 음향을 출력하여 입체감있고 현장감 있는 서라운드 효과를 제공하는 입체음향(3D sound)의 음원을 재생하는(S400) 단계, 및 영상 및 음향 동기화부 타임 라인에 따라 적어도 하나 이상의 비디오 출력부의 영상과 상기 입체음향 조절기에 의해 이동하는 청취자 객체의 거리와 방향각 이동에 따른 가상 스피커의 소리의 크기(볼륨)가 자동으로 조절된 음향을 동기화하여 출력하는(S400) 단계 및 가상공간에서 청취자 객체의 스피커의 거리, 방향, 각도에 따라 소리의 세기가 조절되어 출력되는 입체음향 데이타를 녹음하여 3D 사운드 데이타를 저장하는(S450) 단계를 포함한다.
상기 방법은 상기 입체음향 조절기에서는 개별 볼륨 조절기에 의해 가상 스피커들(L1,L2,W,R1,R2)의 각 발성점 마다 청취차 객체와의 원거리와 근거리 조절 이외 개별 스피커의 발성점의 소리 자체를 키우고 줄임으로 소리를 강조하는 단계; 전체 볼륨조절기에 의해 모든 스피커의 발성점의 소리를 한번에 조절하는 단계; 및 가상공간 방향 조절 버튼 및 녹음 버튼을 구비하여 가상공간에서 원하는 스피커 방향으로 청취자 객체의 이동에 따라 거리가 가깝거나 멀어짐에 따라 해당 스피커의 소리의 크기가 커지거나 줄어드는 3차원 입체음향(3D Sound)을 녹음하는 단계를 포함한다.
상기 방법은 상기 입체음향 조절기에서는 스피커별 EQ 조절부에 의해 가상공간에 배치된 멀티 채널의 각 스피커의 이퀄라이저의 주파수를 조절하는 단계를 더 포함한다.
도 7 내지 도 10은 입체음향 조절기를 내포한 멀티 뷰어 영상 및 3D 입체음향 플레이어의 화면이다.
입체음향 조절기를 내포한 멀티 뷰어 영상 및 3D 입체음향 플레이어는 4채널 선택시, 3채널 동영상과 1채널 오디오 비쥬얼 객체의 3D 렌더링과 입체음향 제어 화면으로 구성된다.
제2 실시예로, 2채널 선택시, 1채널 동영상과 및 1채널 3D 렌더링과 입체음향 제어 화면으로 구성되며, 1채널 선택시 1채널 3D 렌더링과 입체음향 제어 화면으로 디스플레이된다. 사용자는 1채널/2채널/4채널을 선택하여 볼 수 있다.
멀티 뷰어 영상 및 3D 입체음향 플레이어는 발성점의 위치와 상관없이 본인이 듣고 싶은 방향 어디든지 옮겨 가는 방향으로 해당 스피커의 소리의 크기가 바뀌며 소리가 나는 발성점 자체의 위치도 이동시킬 수 있어 특정소리를 부각시킬 수 있다.
소리가 나는 발성점의 숫자 역시 스스로 선택할 수 있기 때문에 모든 방향에서 나는 소리를 한번에 재생하여 들을 수 있다.
가상 스피커(스피커 객체)의 각 발성점 마다 개별 볼륨조절기를 설치하여 원거리와 근거리 조절 이외 개별 스피커의 발성점의 소리 자체를 키우고 줄임으로 소리를 강조할 수 있고 전체 볼륨조절기를 설치하여 모든 스피커들의 발성점의 소리를 한번에 조절할 수 있다. 이 모든 소리가 나는 가상 공간에서 나는 소리는 전방향 3D 음향이며 그 공간의 크기를 넓이와 고저에 따라 바꿀 수 있다.
이 입체음향 조절기를 내포하는 멀티 뷰어 영상 및 3D 입체음향 플레이어는 예술 및 음악 수업을 진행하는 진행자와 그가 사용하는 교재와 수업자료,자막,예문, 또는 예술교육에서 각 악기의 포지션의 위치나 오케스트라의 악기별 영상등을 한번에 재생시킬 수 있는 기능을 가지고 있는 혁신적인 영상 음향 재생기이다.
도 11 내지 도 13은 파노라마 형식의 3D 입체음향 조절기를 내포한 멀티 뷰어 영상 및 3D 입체음향 플레이어의 화면이다.
영상 및 3D 입체음향 플레이어는 피노라마 형식으로 구현이 가능하다.
파노라마 스타일 멀티뷰어 영상 및 3D 입체음향 플레이어는 발성점의 위치와 상관없이 본인이 듣고 싶은 방향 어디든지 옮겨가는 방향으로 스피커의 소리의 크기가 바뀌며, 소리가 나는 발성점 자체의 위치도 이동시킬 수 있어 특정소리를 부각시킬 수 있다. 또한, 소리가 나는 발성점의 숫자 역시 스스로 선택할 수 있기 때문에 모든 방향에서 나는 소리를 한번에 재생하여 들을 수 있도록 하였다.
가상 스피커의 각 발성점 마다 개별 볼륨조절기를 설치하여 원거리와 근거리 조절 이외 개별 스피커의 발성점의 소리 자체를 키우고 줄임으로 소리를 강조할 수 있고, 전체 볼륨조절기를 설치하여 모든 스피커들의 발성점의 소리를 한번에 조절할 수 있다.
이 모든 소리가 나는 공간에서 나는 소리는 전방향 3D 음향이며, 입체음향 조절기에 의해 그 공간의 크기를 넓이와 고저에 따라 바꿀 수 있다.
이 멀티 음향 플레이어를 내포하는 멀티영상플레이어는 수업을 진행하는 진행자가 사용하는 예술 및 음악 교재와 수업자료, 자막, 예문, 또는 예술교육에서 각 악기의 포지션의 위치나 오케스트라의 악기별 영상 등을 한번에 재생시키는 기능을 가지고 있는 혁신적인 영상 음향 재생기이다.
파노라마 스타일의 멀티영상재생기의 또 다른 특징중 하나는 볼륨조절기를 포함한 모든 UI(User Interface)를 3D 화상으로 조절가능하도록 하여 소리의 공간감을 넘어 시각적 공간감을 극대화 시키도록 하였다.
(1) 예술 교육 서비스
기존의 온 오프라인 음악 교육 컨텐츠의 경우 실시간 1:1 교육이 아니었고 예술교육은 주관적이므로 학생 개개인에 대한 체계적인 데이터 분석이 이루어져 거기에 맞는 커리큘럼이 형성되는 것은 더더욱 아니다. 이에, 떨어지는 현장감과 발성점의 이동에 따른 소리의 변화 등의 문제를 안고 있었다.
실시간 레슨과 동영상강의를 함께 병행하고 그와 함께 과제를 학생들이 제출하면 그 과제를 개발된 소프트웨어 프로그램과 특수 장비들을 이용하여 철저히 분석하여 객관적 데이터와 문제 해결점을 가장 현장감있게 제시하도록 하였다.
이 시스템은 PC 이외에 스마트폰 안드로이드(Android) OS에서도 서비스되도록 하여 실시간으로 휴대폰으로 녹음, 녹화된 과제를 검토하고 실시간 레슨에 사용되도록 하였다.
(2) 음반 서비스
기존의 음반의 경우 5.1 채널이 아닌 2채널 안에서 3D 서라운드를 내는 음반은 없었으며, 일반 3D 마이크로 녹음된 음원의 경우 클래식 녹음에서 음질적 문제와 이질감을 가지고 있었으나 새로운 녹음 기법을 통하여 3D 서라운드와 기존의 음원이 자연스럽게 섞여 재생할 수 있도록 하였다. 이 기법은 전문 스튜디오에서 오랜기간 대규모 투자금을 바탕으로 한 녹음이 아닌 일반 아티스트 들이 남긴 가벼운 모노와 스테레오 음원에 자연스러운 공간감과 서라운드 효과를 제공하여 보다 가치있는 3D 음원(3D Sound)을 남기도록 하였다.
또한, 기존에 일반적으로 재생되던 음악 플레이어 그리고 그 이외 다른 휴대폰과 스마트 티비 등에서 함께 연동되어 구현될 수 있도록 하였다.
(3) 음악 매니지먼트 서비스:
토탈 뮤직 솔류션은 디지털 미디어 분야 이외에 일반적인 기획사의 역할을 수행할 수 있다. 예를들면, 여러 행사 연주 공연등에 필요한 인력들을 확보하고 데이터화 하여 저장함으로써 그 성격에 맞게 금관악기 오케스트라 국악과 보컬 밴드에 이르기까지 광범위하게 장르에 구별없이 연주자들을 파견할 수 있다. 또한, 연주자들에 대한 프로필과 검증된 자료들을 고객에게 함께 제공하고, 기획단계에서 고객들을 초청하여 함께 기획 설계함으로써 고객 만족도를 최상으로 한다. 아울러 일반 스튜디오에서 하는 녹음, 영상편집에서 디지털 기기에 들어가는 음원과 벨소리, 컬러링에 이르기까지 다양한 서비스를 제공한다.
이 플레이어는 음악교육분야 , 음반제작 유통 시장 및 그 외 여러 디지털 음원 관련 시장과 휴대폰 스마트폰 기기내의 음원 제작 이외에 광범위한 분야에 모든 음악분야를 응용할 수 있다.
또한, 특정 악기 및 작곡 대중음악에 이르기까지 다양한 교육을 받고 싶었으나 일반 동영상 강의로 만족하지 못한 많은 학생과 독학자들과 다른 악기나 이론을 공부하려고 하는 모든 사람들은 이 편리한 시스템을 이용하여 컨텐츠를 제공받을 수 있다. 이와 동시에 회사에서는 수업료에 해당하는 수익이 발생하며 스마트폰의 디지털 음원제작 및 새로운 음원 소프트웨어 재생기를 광고와 함께 배포하여 생기는 광고 수익금 등의 부가 수익이 발생한다.
전술한 바와 같이 본 발명의 방법은 프로그램으로 구현되어 컴퓨터의 소프트웨어를 이용하여 읽을 수 있는 형태로 기록매체(CD-ROM, RAM, ROM, 메모리 카드, 하드 디스크, 광자기 디스크, 스토리지 디바이스 등)에 저장될 수 있다.
이상에서 설명한 바와 같이, 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진자가 하기의 특허청구범위에 기재된 본 발명의 기술적 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 또는 변형하여 실시할 수 있다.
(부호의 설명)
100: 비디오 인코더 101: 패킷타이저
102: 오디오 인코더 103: 패킷타이저
200: 디멀티프렉서 201: 채널 분배기
202: 디패킷타이저 203: 비디오 디코더
204: 오디오 디코더 207: 3D 렌더러
208: 입체음향 조절기
CROSS-REFERENCE TO RELATED APPLICATION
본 특허출원은 2013년 09월 12일 한국에 출원한 특허출원번호 제 10-2013-0109931 호에 대해 미국 특허법 119(a)조(35 U.S.C § 119(a))에 따라 우선권을 주장하면, 그 모든 내용은 참고문헌으로 본 특허출원에 병합된다. 아울러, 본 특허출원은 미국 이외에 국가에 대해서도 위와 동일한 이유로 우선권을 주장하면 그 모든 내용은 참고문헌으로 본 특허출원에 병합된다.

Claims (11)

  1. 전송 서버로부터 전송된 다채널 영상 또는 3D 음반에 저장된 영상을 독출하여 디패킷타이징하여 적어도 하나 이상의 비디오 채널로 영상을 디코딩하여 디스플레이하는 적어도 하나 이상의 비디오 출력부;
    다채널 음향 신호를 수신받아 디코딩하여 출력하는 오디오 출력부;
    독출된 3D 데이타에 근거하여 가상 공간의 (X,Y,Z) 좌표계에서 고정된 위치에 존재하는 복수의 스피커와 이동가능한 청취자 객체가 디스플레이되며, 가상 공간에서 발성점의 위치와 상관없이 본인이 듣고 싶은 방향으로 이동하는 청취차 객체와 스피커 객체의 3차원 거리, 방향, 각도를 계산하여 3차원 좌표계에서 거리, 방향, 각도에 따라 공간의 넓이와 크기 및 오디오 비쥬얼 객체들의 크기를 확대 또는 축소하여 실시간으로 3D 렌더링하여 전후좌우 가깝거나 먼 것을 나타내는 거리감을 표시하며, 상기 청취차 객체와 선택된 스피커 객체의 3차원 거리가 가까워지면 공간의 넓이와 크기 및 오디오 비쥬얼 객체(가상 스피커 객체, 청취자 객체, 배경화면)의 크기를 크게 하고 거리가 멀어지면 공간의 넓이와 크기 및 상기 객체의 크기를 작게 하는 3D 공간감을 디스플레이하는 3D 렌더러;
    가상공간에서 가상 스피커와 청취자 객체의 거리, 각도에 따라 이퀄라이저(EQ) 기능을 가진 각 스피커의 소리의 세기(볼륨)를 자동으로 조절하여 해당 스피커와 거리가 가까워지면 해당 스피커의 소리의 세기를 크게 하고 거리가 멀어지면 소리의 세기를 작게 음향을 출력하여 입체감있고 현장감 있는 서라운드 효과를 제공하는 입체음향(3D sound)의 음원을 재생하는 입체음향 조절기; 및
    타임 라인에 따라 적어도 하나 이상의 비디오 출력부의 영상과 상기 입체음향 조절기에 의해 가상 스피커의 소리의 크기(볼륨)가 조절된 음향을 동기화하여 출력하는 영상 및 음향 동기화부
    를 포함하는 입체음향 조절기를 내포한 멀티 뷰어 영상 및 3D 입체음향 플레이어 시스템.
  2. 제1항에 있어서,
    상기 가상 스피커는
    각 발성점 마다 개별 볼륨조절기를 구비하고, 상기 개별 볼륨조절기를 이용하여 청취차 객체와의 원거리와 근거리 조절 이외 발성점의 소리 자체를 키우고 줄임으로 소리를 강조할 수 있고, 전체 볼륨조절기를 구비하여 모든 스피커의 발성점의 소리를 한번에 조절하는 것을 특징으로 하는 입체음향 조절기를 내포한 멀티 뷰어 영상 및 3D 입체음향 플레이어 시스템.
  3. 제1항에 있어서,
    상기 청취자 객체는
    증강현실 사용자 인터페이스(AR UI)로 구현하여 가상 공간에서 스피커 객체에 실제 음악을 듣는 것과 같이 입체음향을 청취하는 사람의 머리와 귀의 구조로 모델링 된 더미 헤드로 디자인 되는 것을 특징으로 하는 입체음향 조절기를 내포한 멀티 뷰어 영상 및 3D 입체음향 플레이어 시스템.
  4. 제1항에 있어서,
    상기 3D 렌더러와 상기입체음향 조절기를 내포한 멀티 뷰어 영상 및 3D 입체음향 플레이어는 4채널 선택시, 3채널 동영상과 1채널 오디오 비쥬얼 객체의 3D 렌더링과 입체음향 제어 화면으로 구성되고, 2채널 선택시, 1채널 동영상과 및 1채널 3D 렌더링과 입체음향 제어 화면으로 구성되며, 1채널 선택시 1채널 3D 렌더링과 입체음향 제어 화면으로 디스플레이 되어 1채널, 2채널, 4채널 중에서 하나를 선택하여 볼 수 있는 것을 특징으로 하는 입체음향 조절기를 내포한 멀티 뷰어 영상 및 3D 입체음향 플레이어 시스템.
  5. 제1항에 있어서,
    상기 입체음향 조절기는
    가상 스피커들(L1,L2,W,R1,R2)의 각 발성점 마다 청취차 객체와의 원거리와 근거리 조절 이외 개별 스피커의 발성점의 소리 자체를 키우고 줄임으로써 소리를 강조하는 개별 볼륨 조절기 및
    모든 스피커의 발성점의 소리를 한번에 조절하는 전체 볼륨조절기를 포함하고,
    가상공간 방향 조절 버튼 및 녹음 버튼을 구비하여 가상공간에서 원하는 스피커 방향으로 청취자 객체의 이동에 따라 거리가 가깝거나 멀어짐에 따라 해당 스피커의 소리의 크기가 커지거나 줄어드는 3차원 입체음향(3D Sound)을 녹음하는 것을 특징으로 하는 입체음향 조절기를 내포한 멀티 뷰어 영상 및 3D 입체음향 플레이어 시스템.
  6. 제5항에 있어서,
    상기 입체음향 조절기는
    가상공간에 배치된 멀티 채널의 각 스피커의 이퀄라이저의 주파수를 조절하는 스피커별 EQ 조절부를 더 포함하는 입체음향 조절기를 내포한 멀티 뷰어 영상 및 3D 입체음향 플레이어 시스템.
  7. 입체음향 조절기를 내포한 멀티 뷰어 영상 및 3D 입체음향 플레이어의 1채널, 2채널 및 4채널 중 어느 하나의 화면 표시 방식이 선택되면, 서버로부터 전송된 다채널 영상 또는 3D 음반에 저장된 영상을 수신받아 비디오 출력부에 의해 디패킷타이징하고 3개의 비디오 채널로 음악회의 영상을 디코딩하여 디스플레이하고, 동시에 서버로부터 전송된 음원 또는 음반에 저장된 특정 음원을 선택하여 오디오 출력부에 의해 디코딩하여 출력하는 단계;
    3D 렌더러에 의해 독출된 3D 데이타에 근거하여 가상 공간의 (X,Y,Z) 좌표계에서 3차원 공간의 고정된 위치에 존재하는 복수의 스피커와 이동가능한 청취자 객체가 디스플레이되며, 가상 공간에서 가상 스피커의 발성점의 위치와 상관없이 본인이 듣고 싶은 방향으로 이동하는 청취차 객체와 스피커 객체의 3차원 거리, 방향, 각도를 계산하고, 가상 공간의 3차원 좌표계에서 청취차 객체와 선택된 스피커 객체의 거리에 따라 공간의 넓이와 크기 및 오디오 비쥬얼 객체들의 크기를 확대 또는 축소하여 실시간으로 3D 렌더링하여 전후좌우 가깝거나 먼 것을 나타내는 거리감을 표시하며, 청취차 객체와 스피커 객체의 3차원 거리가 가까우면 공간의 넓이와 크기 및 오디오 비쥬얼 객체(가상 스피커 객체, 청취자 객체, 배경화면)의 크기를 크게 하고 상기거리가 멀어지면 객체의 크기를 작게 하는 3D 공간감을 디스플레이하는 단계;
    입체음향 조절기에 의해 가상공간에서 가상 스피커와 청취자 객체의 3차원 거리, 각도에 따라 이퀄라이저(EQ) 기능을 가진 각 스피커의 소리의 세기(볼륨)를 자동으로 조절하여 해당 스피커와 거리가 가까워지면 해당 스피커의 소리의 세기를 크게 하고 거리가 멀어지면 해당 스피커의 소리의 세기를 작게 음향을 출력하여 입체감있고 현장감 있는 서라운드 효과를 제공하는 입체음향(3D sound)의 음원을 재생하는 단계;
    영상 및 음향 동기화부에 의해 타임 라인에 따라 적어도 하나 이상의 비디오 출력부의 영상과 상기 입체음향 조절기에 의해 이동하는 청취자 객체의 거리와 방향각 이동에 따른 가상 스피커의 소리의 크기(볼륨)가 자동으로 조절된 음향을 동기화하여 출력하는 단계; 및
    가상공간에서 청취자 객체의 스피커의 거리, 방향, 각도에 따라 소리의 세기가 조절되어 출력되는 입체음향 데이타를 녹음하여 저장하는 단계
    를 포함하는 입체음향 조절기를 내포한 멀티 뷰어 영상 및 3D 입체음향 재생 방법.
  8. 제7항에 있어서,
    상기 3D 렌더러와 상기입체음향 조절기를 내포한 멀티 뷰어 영상 및 3D 입체음향 플레이어는 4채널 선택시, 3채널 동영상과 1채널 오디오 비쥬얼 객체의 3D 렌더링과 입체음향 제어 화면으로 구성되고, 2채널 선택시, 1채널 동영상과 및 1채널 3D 렌더링과 입체음향 제어 화면으로 구성되며, 1채널 선택시 1채널 3D 렌더링과 입체음향 제어 화면으로 디스플레이 되는 단계를 더 포함하는 입체음향 조절기를 내포한 멀티 뷰어 영상 및 3D 입체음향 재생 방법.
  9. 제7항에 있어서,
    상기 입체음향 조절기에서는 개별 볼륨 조절기에 의해 가상 스피커들(L1,L2,W,R1,R2)의 각 발성점 마다 청취차 객체와의 원거리와 근거리 조절 이외 개별 스피커의 발성점의 소리 자체를 키우고 줄임으로 소리를 강조하는 단계;
    전체 볼륨조절기에 의해 모든 스피커의 발성점의 소리를 한번에 조절하는 단계; 및
    가상공간 방향 조절 버튼 및 녹음 버튼을 구비하여 가상공간에서 원하는 스피커 방향으로 청취자 객체의 이동에 따른 3차원 입체음향(3D Sound)을 녹음하는 단계
    를 포함하는 입체음향 조절기를 내포한 멀티 뷰어 영상 및 3D 입체음향 재생방법.
  10. 제7항에 있어서,
    상기 입체음향 조절기에서는 스피커별 EQ 조절부에 의해 가상공간에 배치된 멀티 채널의 각 스피커의 이퀄라이저의 주파수를 조절하는 단계를 더 포함하는 입체음향 조절기를 내포한 멀티 뷰어 영상 및 3D 입체음향 재생방법.
  11. 컴퓨터나, 스마트기기(스마트폰, 타블렛 PC)에, 입체음향 조절기를 내포한 멀티 뷰어 영상 및 3D 입체음향 플레이어의 1채널, 2채널 및 4채널 중 하나의 화면 표시 방식이 선택되면, 서버로부터 전송된 다채널 영상 또는 3D 음반에 저장된 영상을 수신받아 비디오 출력부에 의해 디패킷타이징하고 3개의 비디오 채널로 음악회의 영상을 디코딩하여 디스플레이하고, 동시에 서버로부터 전송된 음원 또는 음반에 저장된 특정 음원을 선택하여 오디오 출력부에 의해 디코딩하여 출력하는 기능;
    3D 렌더러에 의해 독출된 3D 데이타에 근거하여 가상 공간의 (X,Y,Z) 좌표계에서 3차원 공간의 고정된 위치에 존재하는 복수의 스피커와 이동가능한 청취자 객체가 디스플레이되며, 가상 공간에서 가상 스피커의 발성점의 위치와 상관없이 본인이 듣고 싶은 방향으로 이동하는 청취차 객체와 스피커 객체의 3차원 거리, 방향, 각도를 계산하고, 가상 공간의 3차원 좌표계에서 청취차 객체와 선택된 스피커 객체의 거리에 따라 공간의 넓이와 크기 및 오디오 비쥬얼 객체들의 크기를 확대 또는 축소하여 실시간으로 3D 렌더링하여 전후좌우 가깝거나 먼 것을 나타내는 거리감을 표시하며, 청취차 객체와 스피커 객체의 3차원 거리가 가까우면 공간의 넓이와 크기 및 오디오 비쥬얼 객체(가상 스피커 객체, 청취자 객체, 배경화면)의 크기를 크게 하고 상기거리가 멀어지면 객체의 크기를 작게 하는 3D 공간감을 디스플레이하는 기능;
    입체음향 조절기에 의해 가상공간에서 가상 스피커와 청취자 객체의 3차원 거리, 각도에 따라 이퀄라이저(EQ) 기능을 가진 각 스피커의 소리의 세기(볼륨)를 자동으로 조절하여 해당 스피커와 거리가 가까워지면 해당 스피커의 소리의 세기를 크게 하고 거리가 멀어지면 해당 스피커의 소리의 세기를 작게 음향을 출력하여 입체감있고 현장감 있는 서라운드 효과를 제공하는 입체음향(3D sound)의 음원을 재생하는 기능;
    영상 및 음향 동기화부에 의해 타임 라인에 따라 적어도 하나 이상의 비디오 출력부의 영상과 상기 입체음향 조절기에 의해 이동하는 청취자 객체의 거리와 방향각 이동에 따른 가상 스피커의 소리의 크기(볼륨)가 자동으로 조절된 음향을 동기화하여 출력하는 기능;
    가상공간에서 청취자 객체의 스피커의 거리, 방향, 각도에 따라 소리의 세기가 조절되어 출력되는 입체음향 데이타를 녹음하여 저장하는 기능;
    상기 입체음향 조절기에서는 개별 볼륨 조절기에 의해 가상 스피커들(L1,L2,W,R1,R2)의 각 발성점 마다 청취차 객체와의 원거리와 근거리 조절 이외 개별 스피커의 발성점의 소리 자체를 키우고 줄임으로 소리를 강조하는 기능;
    전체 볼륨조절기에 의해 모든 스피커의 발성점의 소리를 한번에 조절하는 기능;
    가상공간 방향 조절 버튼 및 녹음 버튼을 구비하여 가상공간에서 원하는 스피커 방향으로 청취자 객체의 이동에 따른 3차원 입체음향(3D Sound)을 녹음하는 기능;
    상기 입체음향 조절기에서는 스피커별 EQ 조절부에 의해 가상공간에 배치된 멀티 채널의 각 스피커의 이퀄라이저의 주파수를 조절하는 기능; 및
    상기 3D 렌더러와 상기입체음향 조절기를 내포한 멀티 뷰어 영상 및 3D 입체음향 플레이어는 4채널 선택시, 3채널 동영상과 1채널 오디오 비쥬얼 객체의 3D 렌더링과 입체음향 제어 화면으로 구성되고, 2채널 선택시, 1채널 동영상과 및 1채널 3D 렌더링과 입체음향 제어 화면으로 구성되며, 1채널 선택시 1채널 3D 렌더링과 입체음향 제어 화면으로 디스플레이 되는 기능을 실현하기 위한 프로그램을 기록한 컴퓨터나 스마트 기기로 읽을 수 있는 기록매체.
PCT/KR2014/008450 2013-09-12 2014-09-11 입체음향 조절기를 내포한 멀티 뷰어 영상 및 3d 입체음향 플레이어 시스템 및 그 방법 WO2015037905A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2013-0109931 2013-09-12
KR20130109931A KR101381396B1 (ko) 2013-09-12 2013-09-12 입체음향 조절기를 내포한 멀티 뷰어 영상 및 3d 입체음향 플레이어 시스템 및 그 방법

Publications (1)

Publication Number Publication Date
WO2015037905A1 true WO2015037905A1 (ko) 2015-03-19

Family

ID=50656538

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2014/008450 WO2015037905A1 (ko) 2013-09-12 2014-09-11 입체음향 조절기를 내포한 멀티 뷰어 영상 및 3d 입체음향 플레이어 시스템 및 그 방법

Country Status (2)

Country Link
KR (1) KR101381396B1 (ko)
WO (1) WO2015037905A1 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017026559A1 (ko) * 2015-08-13 2017-02-16 주식회사 넥스트이온 디스플레이 장치에 표시되는 영상의 방향 변화에 따라 소리의 위상을 전환시키는 방법 및 시스템
KR20170133766A (ko) * 2016-05-26 2017-12-06 에스케이텔레콤 주식회사 사운드 제어 장치 및 방법
CN113039815A (zh) * 2018-11-09 2021-06-25 候本株式会社 声音生成方法及执行其的装置
WO2022154440A1 (ko) * 2021-01-15 2022-07-21 삼성전자 주식회사 오디오 데이터를 처리하는 전자 장치 및 그 동작 방법
CN115175004A (zh) * 2022-07-04 2022-10-11 闪耀现实(无锡)科技有限公司 用于视频播放的方法、装置、可穿戴设备及电子设备

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101682105B1 (ko) * 2015-05-28 2016-12-02 조애란 입체음향 조절 방법 및 장치
KR102388361B1 (ko) * 2016-08-12 2022-04-20 주식회사 에스큐그리고 입체 영상 재생 방법, 입체 음향 재생 방법, 입체 영상 재생 시스템 및 입체 음향 재생 시스템
US11054644B2 (en) * 2017-01-25 2021-07-06 Samsung Electronics Co., Ltd Electronic device and method for controlling electronic device
KR101834925B1 (ko) 2017-09-25 2018-03-06 주식회사 대경바스컴 객체 위치 변화를 벡터로 변환하여 영상 및 음향 신호를 동기화한 가상스튜디오 방송 편집 및 송출 기기와 이를 이용한 방법
WO2024085436A1 (ko) * 2022-10-17 2024-04-25 삼성전자 주식회사 진동을 제공하는 방법 및 이를 지원하는 웨어러블 전자 장치

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060055962A (ko) * 2004-11-19 2006-05-24 주식회사 대우일렉트로닉스 다채널 스피커 텔레비전 시스템의 이퀄라이저 표시 방법
KR20080005815A (ko) * 2006-07-10 2008-01-15 삼성전자주식회사 디지털 방송수신기의 다중화면 표시장치 및 방법
KR20080098819A (ko) * 2007-05-07 2008-11-12 광주과학기술원 다시점 화상 시스템에서 시점 종속 다채널 오디오 처리방법 및 장치
KR20110111136A (ko) * 2010-04-02 2011-10-10 엘지전자 주식회사 음향 설정에 대응하는 3ｄ 오브젝트를 제공하는 영상표시장치 및 그 동작 제어방법
KR20130010424A (ko) * 2011-07-18 2013-01-28 삼성전자주식회사 콘텐츠 재생 방법 및 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060055962A (ko) * 2004-11-19 2006-05-24 주식회사 대우일렉트로닉스 다채널 스피커 텔레비전 시스템의 이퀄라이저 표시 방법
KR20080005815A (ko) * 2006-07-10 2008-01-15 삼성전자주식회사 디지털 방송수신기의 다중화면 표시장치 및 방법
KR20080098819A (ko) * 2007-05-07 2008-11-12 광주과학기술원 다시점 화상 시스템에서 시점 종속 다채널 오디오 처리방법 및 장치
KR20110111136A (ko) * 2010-04-02 2011-10-10 엘지전자 주식회사 음향 설정에 대응하는 3ｄ 오브젝트를 제공하는 영상표시장치 및 그 동작 제어방법
KR20130010424A (ko) * 2011-07-18 2013-01-28 삼성전자주식회사 콘텐츠 재생 방법 및 장치

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017026559A1 (ko) * 2015-08-13 2017-02-16 주식회사 넥스트이온 디스플레이 장치에 표시되는 영상의 방향 변화에 따라 소리의 위상을 전환시키는 방법 및 시스템
KR20170133766A (ko) * 2016-05-26 2017-12-06 에스케이텔레콤 주식회사 사운드 제어 장치 및 방법
KR102358529B1 (ko) * 2016-05-26 2022-02-04 에스케이텔레콤 주식회사 사운드 제어 장치 및 방법
CN113039815A (zh) * 2018-11-09 2021-06-25 候本株式会社 声音生成方法及执行其的装置
CN113039815B (zh) * 2018-11-09 2022-11-11 候本株式会社 声音生成方法及执行其的装置
WO2022154440A1 (ko) * 2021-01-15 2022-07-21 삼성전자 주식회사 오디오 데이터를 처리하는 전자 장치 및 그 동작 방법
CN115175004A (zh) * 2022-07-04 2022-10-11 闪耀现实(无锡)科技有限公司 用于视频播放的方法、装置、可穿戴设备及电子设备
CN115175004B (zh) * 2022-07-04 2023-12-08 闪耀现实(无锡)科技有限公司 用于视频播放的方法、装置、可穿戴设备及电子设备

Also Published As

Publication number Publication date
KR101381396B1 (ko) 2014-04-04

Similar Documents

Publication Publication Date Title
WO2015037905A1 (ko) 입체음향 조절기를 내포한 멀티 뷰어 영상 및 3d 입체음향 플레이어 시스템 및 그 방법
JP7348320B2 (ja) オーディオ信号処理システム及び方法
EP2382803B1 (en) Method and apparatus for three-dimensional acoustic field encoding and optimal reconstruction
Theile et al. Wave field synthesis: A promising spatial audio rendering concept
WO2014171706A1 (ko) 가상 객체 생성을 이용한 오디오 신호 처리 방법
AU2012279357A1 (en) System and method for adaptive audio signal generation, coding and rendering
Holman New factors in sound for cinema and television
JP2018110366A (ja) ３ｄサウンド映像音響機器
Janer et al. Immersive orchestras: audio processing for orchestral music VR content
KR101682105B1 (ko) 입체음향 조절 방법 및 장치
KR20100066289A (ko) 실감 멀티미디어 서비스 제공 방법 및 장치
US20050047619A1 (en) Apparatus, method, and program for creating all-around acoustic field
WO2018150774A1 (ja) 音声信号処理装置及び音声信号処理システム
KR101534295B1 (ko) 멀티 뷰어 영상 및 3d 입체음향 제공방법 및 장치
Brandenburg et al. Wave field synthesis
RU2820838C2 (ru) Система, способ и постоянный машиночитаемый носитель данных для генерирования, кодирования и представления данных адаптивного звукового сигнала
Chinchilla Free the voice! Systems, Devices and Methods for Multi-Dimensional Spatial Recording and Playback
Benicek Methods and Techniques for Capturing Music Concerts for Virtual Reality Experiences
Meyer-Kahlen et al. Inside The Quartet-A first-person virtual reality string quartet production
Brandenburg et al. Audio Codecs: Listening pleasure from the digital world
Baume et al. Scaling New Heights in Broadcasting using Ambisonics
de Vries Wave field synthesis: history, state-of-the-art and future
Bouillot et al. Audiodice: an open hardware design of a distributed dodecahedron loudspeaker orchestra
Mróz et al. A commonly-accessible toolchain for live streaming music events with higher-order ambisonic audio and 4k 360 vision
Miller III Recording immersive 5.1/6.1/7.1 surround sound, compatible stereo, and future 3D (with height)

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14843518

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 14843518

Country of ref document: EP

Kind code of ref document: A1