KR101381396B1 - 입체음향 조절기를 내포한 멀티 뷰어 영상 및 3d 입체음향 플레이어 시스템 및 그 방법 - Google Patents

입체음향 조절기를 내포한 멀티 뷰어 영상 및 3d 입체음향 플레이어 시스템 및 그 방법 Download PDF

Info

Publication number
KR101381396B1
KR101381396B1 KR20130109931A KR20130109931A KR101381396B1 KR 101381396 B1 KR101381396 B1 KR 101381396B1 KR 20130109931 A KR20130109931 A KR 20130109931A KR 20130109931 A KR20130109931 A KR 20130109931A KR 101381396 B1 KR101381396 B1 KR 101381396B1
Authority
KR
South Korea
Prior art keywords
sound
speaker
channel
distance
video
Prior art date
Application number
KR20130109931A
Other languages
English (en)
Inventor
하수호
Original Assignee
하수호
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 하수호 filed Critical 하수호
Priority to KR20130109931A priority Critical patent/KR101381396B1/ko
Application granted granted Critical
Publication of KR101381396B1 publication Critical patent/KR101381396B1/ko
Priority to PCT/KR2014/008450 priority patent/WO2015037905A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/485—End-user interface for client configuration
    • H04N21/4852—End-user interface for client configuration for modifying audio parameters, e.g. switching between mono and stereo
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/60—Receiver circuitry for the reception of television signals according to analogue transmission standards for the sound signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4314—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for fitting data in a restricted space on the screen, e.g. EPG data in a rectangular grid
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47217—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for controlling playback functions for recorded or on-demand content, e.g. using progress bars, mode or play-point indicators or bookmarks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S1/00—Two-channel systems
    • H04S1/002—Non-adaptive circuits, e.g. manually adjustable or static, for enhancing the sound image or the spatial distribution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10—General applications
    • H04R2499/11—Transducers incorporated or for use in hand-held devices, e.g. mobile phones, PDA's, camera's

Abstract

입체음향 조절기를 내포한 멀티 뷰어 영상 및 3D 입체음향 플레이어 시스템 및 방법이 개시된다. 입체음향 조절기를 내포한 멀티 뷰어 영상 및 3D 입체음향 플레이어 시스템은 전송 서버로부터 전송된 다채널 영상 또는 3D 음반에 저장된 영상을 독출하여 디패킷타이징하여 적어도 하나 이상의 비디오 채널로 영상을 디코딩하여 디스플레이하는 적어도 하나 이상의 비디오 출력부; 다채널 음향 신호를 수신받아 디코딩하여 출력하는 오디오 출력부; 독출된 3D 데이타를 가상 공간의 (X,Y,Z) 좌표계에서 고정된 위치에 존재하는 복수의 스피커와 이동가능한 청취자 객체가 디스플레이되며, 가상 공간에서 발성점의 위치와 상관없이 본인이 듣고 싶은 방향으로 청취차 객체 이동시, 이동하는 청취차 객체와 스피커 객체의 3차원 거리, 방향, 각도를 계산하여 3차원 좌표계에서 거리에 따라 공간의 넓이와 크기 및 오디오 비쥬얼 개체들의 크기를 확대/축소하여 실시간으로 3D 렌더링하여 전후좌우 가깝고 먼 거리감을 표시하며, 청취차 객체와 스피커 객체의 3차원 거리가 가까원지면 공간의 넓이와 크기 및 오디오 비쥬얼 객체(가상 스피커 객체, 청취자 객체, 배경화면)의 크기를 크게 하고 거리가 멀어지면 공간의 넓이와 크기 및 객체의 크기를 작게 하는 3D 공간감을 디스플레이하는 3D 렌더러; 가상공간에서 가상 스피커와 청취자 객체의 거리, 각도에 따라 이퀄라이저(EQ) 기능을 가진 스피커의 소리의 세기를 각 스피커의 볼륨 조절하여 해당 스피커와 거리가 가까워지면 스피커의 소리의 세기를 크게 하고 거리가 멀어지면 소리의 세기를 작게 음향을 출력하여 입체감있고 현장감 있는 서라운드 효과를 제공하는 입체음향(3D sound)의 음원을 재생하는 입체음향 조절기; 및 타임 라인에 따라 적어도 하나 이상의 비디오 출력부의 영상과 상기 입체음향 조절기에 의해 가상 스피커의 소리의 크기(볼륨)가 조절된 음향을 동기화하여 출력하는 영상/음향 동기화부;를 포함한다. 상기 입체음향 및 영상 재생 소프트웨어는 3채널 입체 방송과 1채널의 가상 공간 기반의 실감 음향 통신 기술을 적용하여 새로운 장르의 음원을 녹음하여 제작하고, 녹음된 모나나 스테레오 음원을 파노라마 형식으로 두 귀에 도달하는 소리의 시간차와 공간감의 차이를 디스플레이하여 3D 입체음향을 구현함으로써, 문화 예술 교육, 음악 분야 녹음과 영상 편집의 토탈 음악 매니지먼트 서비스 솔류션을 제공하며, 3D 사운드 디지털 음원 시장, 아티스트의 정규 앨범 제작, 스마트폰/휴대폰 음악 녹음/녹화(음원, 벨소리, 컬러링) 분야의 새로운 음원 시장을 창출하는 효과가 있다.

Description

입체음향 조절기를 내포한 멀티 뷰어 영상 및 3D 입체음향 플레이어 시스템 및 그 방법{Multiple Viewer Video and 3D Stereophonic Sound Player System including Stereophonic Sound Controller and Method thereof}
본 발명은 멀티 뷰어 입체음향 및 영상 플레이어에 관한 것으로, 보다 상세하게는 다채널 영상과 입체음향(3D sound)을 출력하는 1/2/4채널의 화면 선택이 가능하며, 3개의 비디오 채널로 음악회의 영상을 디스플레이하고, 나머지 한 채널에 3D 렌더러 및 입체음향 조절기에 의해 가상 공간에서 멀티채널 가상 스피커가 배치되고 이동 가능한 청취자 객체가 멀티 채널 스피커 객체와의 거리, 방향, 각도에 따라 3차원 좌표계에서 전후좌우 가깝고 먼 거리감을 표시하며 해당 스피커와 청취자 객체가 거리가 가까워지면 공간의 넓이와 크기 및 오디오 비쥬얼 객체의 크기 및 소리의 크기를 크게 하고 거리가 멀어지면 객체의 크기와 해당 스피커의 소리의 크기를 작게 하여 음향을 출력하는 3D 공간감을 표시하며, 입체감있고 현장감 있는 서라운드 효과를 제공하는 입체음향(3D sound)의 음원을 재생하는, 입체음향 조절기를 내포한 멀티 뷰어 3D 영상 플레이어 시스템 및 방법에 관한 것이다.
그래머폰(graophone)이라고 불리는 최초의 음향 재생기인 축음기가 발명된 후, 오디오 시스템(audio system)은 아날로그 자기 테이프 레코더 방식의 LP(long play) 레코드 판의 소리를 재생하는 레코드 플레이어와 앰프 및 스피커가 개발되어 널리 사용되었으며, 디지털 레코더인 CD, DVD 플레이어가 출시되면서, 기존 아날로그 레코드 플레이어가 사라지고 있으며, 아직도 음악애호가는 LP(long play) 레코드 판을 사용하고 있다. CD(Compact Disk)는 필립스 사에서 개발하고 SONY에서 응용하였으며, DVD(Digital Video Disk)는 약 2시간 정도의 영상과 음성을 저장하여 사용된다.
현재의 디지털 음향 재생기기는 디지털 레코드 플레이어, 믹싱 콘솔, 오디오 이팩터, 앰프 등을 사용한다.
스튜디오나 음악회에서 녹음하는 경우, 오디오 이펙터(audio effector)를 사용하는데 컴프레서, 리미터, 디에서, 익스펜더, 잡음 게이트, 딜레이, 리버브, 하모나이저, 이퀄라이저 등의 음향 장비와 함께 사용되며, 이퀄라이저는 주파수를 조절하여 음의 형태를 가공하여 원음에 가깝도록 하는데 사용한다.
도 1은 종래의 음향기기 시스템의 구성도이다.
음악당, 콘서트홀, 스튜디오에 설치되는 음향기기 시스템은 연주 음원을 녹음하는 유선 마이크(10)와, 모노 또는 듀얼 스테레오 무선 마이크(11A, 11B)와 안테나들(ANT)을 통해 연결되는 안테나 스플리터(Antenna Splitter), 무선 마이크 채널별로 녹음된 아날로그 음형 신호를 A/D 변환하여 디지털 음향 신호로 변환하는 와이어리스 리시버(13), 각각의 무선 마이크 채널별 와이어리스 리시버(13) 및 유선 마이크와 연결되고 채널별 녹음된 음향 신호를 믹싱하는 오디오 믹서(14), 스피커를 선택하는 스피커 셀렉터(15), 선택된 적어도 하나 이상의 스피커와 그 볼륨을 조절하는 스피커 콘트롤러(16), 음향 신호를 증폭하는 파워 앰프(Power Amplifier)(17), 증폭된 음향 신호를 출력하는 스피커(18), 녹음된 음향 신호가 원음에 가깝도록 주파수 레벨을 조절하는 그래픽 이퀄라이저(Graphic Equalizer)(19), 주파수 레벨이 조절된 음향 신호를 증폭하는 파워 앰프(Power Amplifier)(20), 증폭된 음향 신호를 출력하는 스피커(21)로 구성된다.
객석은 천장과 실내의 무대 뒷편에 설치된 반사벽에 부딪히는 소리의 입사각과 반사각이 동일하기 때문에 반사, 회절, 산란에 의해 관객에게 잔향(Reverberation)을 주며, 소리의 세기가 거리(r)가 멀어질수록 거리의 제곱에 반비례하여 먼 거리의 청중은 잘 안들리게 된다.
도 2는 사람의 청각 시스템에서 음원을 기준으로 두 귀에 들리는 음파의 시간 차이(ITD, Interaural Time Difference) 및 음압의 세기 차이(ILD, Interaural Level Difference)를 설명하는 도면이다.
소리는 음파의 운동방향과 에너지의 전달 방향이 평행한 종파(Longitudinal Wave)이며 1초에 340m/s로 이동하며, 사람이 소리를 들을 수 있는 가청 주파수는 20 ~ 20,000 Hz이다. 소리의 3요소는 진폭의 크기를 나타내는 소리의 크기(Loudness), 소리의 높낮이를 Hz 단위로 표현하는 소리의 높이(Pitch), 각 악기의 음색의 차이를 나타내는 소리의 음색(Timbre)으로 분류된다. 소리의 세기(dB, Phon, Sone)는 미국의 과학자 알렉산더 그레이엄 벨의 이름을 따서 데시벨(dB)을 사용하게 되었고, 사람이 들을 수 있는 0 dB로 정하여 10 dB 증가할 때마다 소리의 세기가 10배씩 커지며, 예를들면 소리의 세기는 0 -> 10 dB (10배), 0 -> 20 dB(100배)가 된다.
사람의 좌우 두 귀의 청각 시스템은 음원을 기준으로 두 귀에 들리는 음파의 시간 차이(ITD, Interaural Time Difference) 및 음압의 세기 차이(ILD, Interaural Level Difference)가 존재한다. 사람의 귀의 특성상 저음과 고음을 인지하는 소리가 다르다.
또한, 소리의 원천은 음원(sound source)이라고 불리며, 음원에서 발생하는 소리의 세기는 거리(r)가 멀어질수록 거리의 제곱에 반비례하여 작게 들리게 된다. 작은 소리의 압력 변화를 음압(sound pressure)이라고 하며, 음압의 단위는 기압의 단위와 같이 bar를 사용하고, 사람이 들을 수 있는 최소한의 음압은 0.0002 μbar이다. 소리의 세기는 데시벨(dB)로 표현되며, 이 값을 기준 음압으로 하여 몇 배 인가를 상대값으로 나타낸다.
기존의 오디오 기술은 모노(Mono) 및 스테레오(Stereo), DVD-Video, DVD-Audio에 5.1 채널을 사용한다. 5.1 채널은 5채널 서라운드 멀티채널 사운드 시스템이며, 보편적으로 극장 및 홈 시어터(home theater) 시스템에 사용되며, 5개의 전 대역(full bandwidth) 채널과 1개의 저주파 채널(0.1채널)을 사용하고, 디지털 방송과 음악의 표준 서라운드 사운드 오디오 구성 요소이다. 5.1 채널 시스템은 front left, center, front right, surround left, surround right, sub woofer 채널로 구분되는 동일한 스피커 채널과 구성을 사용한다.
음원은 실내 공간의 특성에 따라 동일한 음원(예: 관악기, 피아노, 가야금 소리)일지라도 음악당이나 콘서트 홀에서 들을 때와 극장이나 강당에서 들을 때 청취자는 다른 음향을 경험한다. 실내 공간은 크기, 구조, 천장의 재질과 무대의 반사벽에 의해 직접음, 초기 반사음, 잔향시간, 잔향음이 다르기 때문에, 청취자는 천장이나 벽으로부터 반사가 계속되어 울리는 잔향음에 의해 실제 음향 효과가 다르게 느껴진다.
최근, 모노와 스테레오, 5.1채널 방식 음향기술로부터 현장에서 듣는 듯한 입체음향 기술이 연구개발되고 있으며, 3DTV 출시와 함께 3차원 영화와 같이 실제 현장감과 몰입감을 제공하는 3차원 입체 영상과 부합되는 3차원 입체음향 기술이 필요하게 되었다. 스피커나 헤드폰을 구비하는 오디오 시스템은 3차원 공간에서 음의 고저가 느껴질 때 즉, 음장(sound field)이 3차원 공간을 표현하는 3차원 오디오 기술이 개발되고 있다.
그러나, 3D 사운드(3D Sound)를 구현하기 위해 2개 이상의 많은 스피커가 필요하며, 머리 전달함수(HRTF, Head Related Transfer Function)를 이용하는 바이노럴 3차원 오디오를 제외하고는 아직까지 가상 공간에서 음의 고저감, 거리감, 공간감을 제대로 구현하지 못했다.
특허공개번호 10-2011-0111136
상기한 문제점을 해결하기 위한 본 발명의 목적은 입체 방송과 실감 음향 통신기술을 적용하여 다채널 영상과 입체음향(3D sound)을 출력하는 1/2/4채널의 화면 선택이 가능하며, 3개의 비디오 채널로 음악회의 영상을 디스플레이하고, 나머지 한 채널에 3D 렌더러 및 입체음향 조절기에 의해 가상 공간에서 멀티채널 가상 스피커들이 배치되고 이동 가능한 청취자 객체가 스피커 객체와의 거리, 방향, 각도에 따라 3차원 좌표계에서 전후좌우 가깝고 먼 거리감을 표시하며 해당 스피커와 청취자 객체가 거리가 가까워지면 공간의 넓이와 크기 및 오디오 비쥬얼 객체의 크기 및 소리의 크기를 크게 하고 거리가 멀어지면 객체의 크기와 해당 스피커의 소리의 크기를 작게 하여 음향을 출력하는 3D 공간감을 표시하며, 입체감있고 현장감 있는 서라운드 효과를 제공하는 새로운 입체음향 및 영상 재생 소프트웨어를 사용하여 실제 입체음향 효과를 제공하는, 입체음향 조절기를 내포한 멀티 뷰어 3D 영상 플레이어 시스템을 제공하는 것이다.
본 발명의 다른 목적은 입체음향 조절기를 내포한 멀티 뷰어 3D 영상 재생 방법을 제공하는 것이다.
본 발명의 목적을 달성하기 위해, 입체음향 조절기를 내포한 멀티 뷰어 영상 및 3D 입체음향 플레이어 시스템은, 전송 서버로부터 전송된 다채널 영상 또는 3D 음반에 저장된 영상을 독출하여 디패킷타이징하여 적어도 하나 이상의 비디오 채널로 영상을 디코딩하여 디스플레이하는 적어도 하나 이상의 비디오 출력부; 다채널 음향 신호를 수신받아 디코딩하여 출력하는 오디오 출력부; 독출된 3D 데이타를 가상 공간의 (X,Y,Z) 좌표계에서 고정된 위치에 존재하는 복수의 스피커와 이동가능한 청취자 객체가 디스플레이되며, 가상 공간에서 발성점의 위치와 상관없이 본인이 듣고 싶은 방향으로 이동하는 청취차 객체와 스피커 객체의 3차원 거리, 방향, 각도를 계산하여 3차원 좌표계에서 거리, 방향, 각도에 따라 공간의 넓이와 크기 및 오디오 비쥬얼 객체들의 크기를 확대/축소하여 실시간으로 3D 렌더링하여 전후좌우 가깝고 먼 거리감을 표시하며, 상기 청취차 객체와 선택된 스피커 객체의 3차원 거리가 가까워지면 공간의 넓이와 크기 및 오디오 비쥬얼 객체(가상 스피커 객체, 청취자 객체, 배경화면)의 크기를 크게 하고 거리가 멀어지면 공간의 넓이와 크기 및 상기 객체의 크기를 작게 하는 3D 공간감을 디스플레이하는 3D 렌더러; 가상공간에서 가상 스피커와 청취자 객체의 거리, 각도에 따라 이퀄라이저(EQ) 기능을 가진 각 스피커의 소리의 세기(볼륨)를 자동으로 조절하여 해당 스피커와 거리가 가까워지면 해당 스피커의 소리의 세기를 크게 하고 거리가 멀어지면 소리의 세기를 작게 음향을 출력하여 입체감있고 현장감 있는 서라운드 효과를 제공하는 입체음향(3D sound)의 음원을 재생하는 입체음향 조절기; 및 타임 라인에 따라 적어도 하나 이상의 비디오 출력부의 영상과 상기 입체음향 조절기에 의해 가상 스피커의 소리의 크기(볼륨)가 조절된 음향을 동기화하여 출력하는 영상/음향 동기화부를 포함한다.
상기 가상 스피커는, 각 발성점 마다 개별 볼륨조절기를 설치하여 청취차 객체와의 원거리와 근거리 조절 이외 발성점의 소리 자체를 키우고 줄임으로 특정 가상 스피커의 소리를 강조할 수 있고, 전체 볼륨조절기는 모든 스피커의 발성점의 소리를 한번에 조절되는 것을 특징으로 한다.
상기 청취자 객체는, 증강현실 사용자 인터페이스(AR UI)로 구현하여 가상 공간에서 스피커 객체에 실제 음악을 듣는 것과 같이 입체음향을 청취하는 사람의 머리와 귀의 구조로 모델링 된 더미 헤드로 디자인 되는 것을 특징으로 한다.
상기 입체음향 조절기는 가상 공간에서 가상 스피커들(L1,L2,W,R1,R2)의 각 발성점 마다 청취차 객체와의 원거리와 근거리 조절 이외 개별 스피커의 발성점의 소리 자체를 키우고 줄임으로 소리를 강조하는 개별 볼륨 조절기; 및 모든 스피커의 발성점의 소리를 한번에 조절하는 전체 볼륨조절기;를 포함하고, 가상공간 방향 조절 버튼 및 녹음 버튼을 구비하여 가상공간에서 원하는 스피커 방향으로 청취자 객체의 이동에 따른 거리가 가깝거나 멀어짐에 따라 해당 스피커의 소리의 크기가 커지거나 줄어드는 3차원 입체음향(3D Sound)을 녹음하는 것을 특징으로 한다.
상기 입체음향 조절기는 가상공간에 배치된 멀티 채널의 각 스피커의 이퀄라이저의 주파수를 조절하는 스피커별 EQ 조절부를 더 포함한다.
입체음향 조절기를 내포한 멀티 뷰어 영상 및 3D 입체음향 플레이어 시스템은, 상기 3D 렌더러와 상기 입체음향 조절기를 내포한 멀티 뷰어 영상 및 3D 입체음향 플레이어는 4채널 선택시, 3채널 동영상과 1채널 오디오 비쥬얼 객체의 3D 렌더링과 입체음향 제어 화면으로 구성되고, 2채널 선택시, 1채널 동영상과 및 1채널 3D 렌더링과 입체음향 제어 화면으로 구성되며, 1채널 선택시 1채널 3D 렌더링과 입체음향 제어 화면으로 디스플레이 되어 1채널/2채널/4채널을 선택하여 볼 수 있는 것을 특징으로 한다.
본 발명의 다른 목적을 달성하기 위해, 입체음향 조절기를 내포한 멀티 뷰어 영상 및 3D 입체음향 재생 방법은 입체음향 조절기를 내포한 멀티 뷰어 영상 및 3D 입체음향 플레이어의 1/2/4 채널의 화면 표시 방식이 선택되면, 서버로부터 전송된 다채널 영상 또는 3D 음반에 저장된 영상을 수신받아 비디오 출력부에 의해 디패킷타이징하고 3개의 비디오 채널로 음악회의 영상을 디코딩하여 디스플레이하고, 동시에 서버로부터 전송된 음원 또는 음반에 저장된 특정 음원을 선택하여 오디오 출력부에 의해 디코딩하여 출력하는 단계; 3D 렌더러에 의해 독출된 3D 데이타를 가상 공간의 (X,Y,Z) 좌표계에서 3차원 공간에서 고정된 위치에 존재하는 복수의 스피커와 이동가능한 청취자 객체가 디스플레이되며, 가상 공간에서 가상 스피커의 발성점의 위치와 상관없이 본인이 듣고 싶은 방향으로 이동하는 청취차 객체와 스피커 객체의 3차원 거리, 방향, 각도를 계산하고, 가상 공간의 3차원 좌표계에서 청취차 객체와 선택된 스피커 객체의 거리에 따라 공간의 넓이와 크기 및 오디오 비쥬얼 객체들의 크기를 확대/축소하여 실시간으로 3D 렌더링하여 전후좌우 가깝고 먼 거리감을 표시하며, 청취차 객체와 스피커 객체의 3차원 거리가 가까우면 공간의 넓이와 크기 및 오디오 비쥬얼 객체(가상 스피커 객체, 청취자 객체, 배경화면)의 크기를 크게 하고 상기거리가 멀어지면 객체의 크기를 작게 하는 3D 공간감을 디스플레이하는 단계; 입체음향 조절기에 의해 가상공간에서 가상 스피커와 청취자 객체의 3차원 거리, 각도에 따라 이퀄라이저(EQ) 기능을 가진 각 스피커의 소리의 세기(볼륨)를 자동으로 조절하여 해당 스피커와 거리가 가까워지면 해당 스피커의 소리의 세기를 크게 하고 거리가 멀어지면 해당 스피커의 소리의 세기를 작게 음향을 출력하여 입체감있고 현장감 있는 서라운드 효과를 제공하는 입체음향(3D sound)의 음원을 재생하는 단계; 영상/음향 동기화부에 의해 타임 라인에 따라 적어도 하나 이상의 비디오 출력부의 영상과 상기 입체음향 조절기에 의해 이동하는 청취자 객체의 거리와 방향각 이동에 따른 가상 스피커의 소리의 크기(볼륨)가 자동으로 조절된 음향을 동기화하여 출력하는 단계; 및 가상공간에서 상기 청취자 객체의 스피커의 거리, 방향, 각도에 따라 소리의 세기가 조절되어 출력되는 입체음향 데이타를 녹음하여 저장하는 단계를 포함한다.
상기 방법은, 상기 3D 렌더러와 상기입체음향 조절기를 내포한 멀티 뷰어 영상 및 3D 입체음향 플레이어는 4채널 선택시, 3채널 동영상과 1채널 오디오 비쥬얼 객체의 3D 렌더링과 입체음향 제어 화면으로 구성되고, 2채널 선택시, 1채널 동영상과 및 1채널 3D 렌더링과 입체음향 제어 화면으로 구성되며, 1채널 선택시 1채널 3D 렌더링과 입체음향 제어 화면으로 디스플레이 되는 단계를 더 포함한다.
상기 방법은 상기 입체음향 조절에서는 개별 볼륨 조절기에 의해 가상 스피커들(L1,L2,W,R1,R2)의 각 발성점 마다 청취차 객체와의 원거리와 근거리 조절 이외 개별 스피커의 발성점의 소리 자체를 키우고 줄임으로 소리를 강조하는 단계; 전체 볼륨조절기에 의해 모든 스피커들의 발성점의 소리를 한번에 조절하는 단계; 및 가상공간 방향 조절 버튼 및 녹음 버튼을 구비하여 가상공간에서 원하는 스피커 방향으로 청취자 객체의 이동에 따른 3차원 입체음향(3D Sound)을 녹음하는 단계를 포함한다.
상기 방법은 상기 입체음향 조절기에서는 스피커별 EQ 조절부에 의해 가상공간에 배치된 멀티 채널의 각 스피커의 이퀄라이저의 주파수를 조절하는 단계를 더 포함한다.
본 발명은 컴퓨터나, 스마트기기(스마트폰, 타블렛 PC)에, 입체음향 조절기를 내포한 멀티 뷰어 영상 및 3D 입체음향 플레이어의 1/2/4 채널의 화면 표시 방식이 선택되면, 서버로부터 전송된 다채널 영상 또는 3D 음반에 저장된 영상을 수신받아 비디오 출력부에 의해 디패킷타이징하고 3개의 비디오 채널로 음악회의 영상을 디코딩하여 디스플레이하고, 동시에 서버로부터 전송된 음원 또는 음반에 저장된 특정 음원을 선택하여 오디오 출력부에 의해 디코딩하여 출력하는 기능; 3D 렌더러에 의해 독출된 3D 데이타를 가상 공간의 (X,Y,Z) 좌표계에서 3차원 공간에서 고정된 위치에 존재하는 복수의 스피커와 이동가능한 청취자 객체가 디스플레이되며, 가상 공간에서 가상 스피커의 발성점의 위치와 상관없이 본인이 듣고 싶은 방향으로 이동하는 청취차 객체와 스피커 객체의 3차원 거리, 방향, 각도를 계산하고, 가상 공간의 3차원 좌표계에서 청취차 객체와 선택된 스피커 객체의 거리에 따라 공간의 넓이와 크기 및 오디오 비쥬얼 객체들의 크기를 확대/축소하여 실시간으로 3D 렌더링하여 전후좌우 가깝고 먼 거리감을 표시하며, 청취차 객체와 스피커 객체의 3차원 거리가 가까우면 공간의 넓이와 크기 및 오디오 비쥬얼 객체(가상 스피커 객체, 청취자 객체, 배경화면)의 크기를 크게 하고 상기거리가 멀어지면 객체의 크기를 작게 하는 3D 공간감을 디스플레이하는 기능; 입체음향 조절기에 의해 가상공간에서 가상 스피커와 청취자 객체의 3차원 거리, 각도에 따라 이퀄라이저(EQ) 기능을 가진 각 스피커의 소리의 세기(볼륨)를 자동으로 조절하여 해당 스피커와 거리가 가까워지면 해당 스피커의 소리의 세기를 크게 하고 거리가 멀어지면 해당 스피커의 소리의 세기를 작게 음향을 출력하여 입체감있고 현장감 있는 서라운드 효과를 제공하는 입체음향(3D sound)의 음원을 재생하는 기능; 영상/음향 동기화부에 의해 타임 라인에 따라 적어도 하나 이상의 비디오 출력부의 영상과 상기 입체음향 조절기에 의해 이동하는 청취자 객체의 거리와 방향각 이동에 따른 가상 스피커의 소리의 크기(볼륨)가 자동으로 조절된 음향을 동기화하여 출력하는 기능; 가상공간에서 청취자 객체의 스피커의 거리, 방향, 각도에 따라 소리의 세기가 조절되어 출력되는 입체음향 데이타를 녹음하여 저장하는 기능; 상기 입체음향 조절기에서는 개별 볼륨 조절기에 의해 가상 스피커들(L1,L2,W,R1,R2)의 각 발성점 마다 청취차 객체와의 원거리와 근거리 조절 이외 개별 스피커의 발성점의 소리 자체를 키우고 줄임으로 소리를 강조하는 기능; 전체 볼륨조절기에 의해 모든 스피커의 발성점의 소리를 한번에 조절하는 기능; 가상공간 방향 조절 버튼 및 녹음 버튼을 구비하여 가상공간에서 원하는 스피커 방향으로 청취자 객체의 이동에 따른 3차원 입체음향(3D Sound)을 녹음하는 기능; 상기 입체음향 조절기에서는 스피커별 EQ 조절부에 의해 가상공간에 배치된 멀티 채널의 각 스피커의 이퀄라이저의 주파수를 조절하는 기능; 및 상기 3D 렌더러와 상기입체음향 조절기를 내포한 멀티 뷰어 영상 및 3D 입체음향 플레이어는 4채널 선택시, 3채널 동영상과 1채널 오디오 비쥬얼 객체의 3D 렌더링과 입체음향 제어 화면으로 구성되고, 2채널 선택시, 1채널 동영상과 및 1채널 3D 렌더링과 입체음향 제어 화면으로 구성되며, 1채널 선택시 1채널 3D 렌더링과 입체음향 제어 화면으로 디스플레이 되는 기능을 실현하기 위한 프로그램을 기록한 컴퓨터나 스마트 기기로 읽을 수 있는 기록매체를 구비한다.
본 발명에 따른 입체음향 조절기를 내포한 멀티 뷰어 영상 및 3D 입체음향 플레이어 시스템 및 방법은 입체 방송과 실감 음향 통신기술을 적용하여 다채널 영상과 음성/음향을 출력하는 1/2/4채널의 화면 선택이 가능하며, 3개의 비디오 채널로 음악회의 영상을 디스플레이하고, 나머지 한 채널에 3D 렌더러 및 입체음향 조절기에 의해 가상 공간에서 멀티채널 스피커들이 배치되고 이동 가능한 청취자 객체가 스피커 객체와의 거리, 방향, 각도에 따라 3차원 좌표계에서 전후좌우 가깝고 먼 거리감을 표시하며 거리가 가까워지면 공간의 넓이와 크기 및 오디오 비쥬얼 객체의 크기를 크게 하고 거리가 멀어지면 객체의 크기를 작게 하는 3D 공간감을 디스플레이하며, 스피커와 청취자 객체의 거리, 각도에 따라 해당 스피커의 이퀄라이저의 주파수 레벨에 따라 소리의 세기를 볼륨 조절하여 해당 스피커와 거리가 가까워지면 소리의 세기를 크게 하고 거리가 멀어지면 소리의 세기를 작게 음향을 출력하여 입체감있고 현장감 있는 서라운드 효과를 제공하는 입체음향(3D sound)의 음원을 재생하고, 입체 방송과 실감 음향 통신을 구현함으로써 실제 입체음향 효과를 제공하여 새로운 음원 시장을 창출하는 효과가 있다.
멀티 뷰어 영상 및 3D 입체음향 재생 소프트웨어는 3채널 입체 방송과 실감 음향 통신 기술을 적용하여 새로운 장르의 음원을 녹음하여 제작하고, 녹음된 모나나 스테레오 음원을 파노라마 형식으로 두 귀에 도달하는 소리의 시간차와 공간감의 차이를 디스플레이하여 3D 입체음향을 구현함으로써, 문화 예술 교육, 음악 분야 녹음과 영상 편집의 토탈 음악 매니지먼트 서비스 솔류션을 제공하며, 3D 사운드 디지털 음원 시장, 아티스트의 정규 앨범 제작, 스마트폰/휴대폰 음악 녹음/녹화(음원, 벨소리, 컬러링) 분야의 새로운 음원 시장을 창출하는 효과가 있다.
도 1은 종래의 음향기기 시스템의 구성도이다.
도 2는 사람의 청각 시스템에서 음원을 기준으로 두 귀에 들리는 음파의 시간 차이(ITD, Interaural Time Difference) 및 음압의 세기 차이(ILD, Interaural Level Difference)를 설명하는 도면이다.
도 3은 본 발명의 실시예에 따른 입체음향 조절기를 내포한 멀티 뷰어 3D 영상 플레이어 시스템 구성도이다.
도 4는 입체음향 조절기를 내포한 멀티 뷰어 3D 영상 플레이어의 내부 구성도이다.
도 5는 증강현실의 가상 공간의 (X,Y,Z) 좌표계에서 공간적 위치가 각각 다른 복수개의 스피커와 이동 가능한 청취자 객체의 3차원 거리, 방향각(angle)에 따라 입체감과 몰입감이 있도록 앞,뒤,좌,우에서 재생되는 각 발성점을 가진 스피커에서 음원의 소리의 세기의 볼륨의 상승/하강 및 가상 공간에서 공간의 넓이와 크기 및 오디오 비쥬얼 객체들의 크기가 확대/축소되어 달라지는 3D Sound 디스플레이 화면을 설명하는 도면이다.
도 6은 입체음향 조절기를 내포한 멀티 뷰어 영상 및 3D 입체음향 재생 방법을 설명하는 플로챠트이다.
도 7 내지 도 10은 본 발명의 제1 실시예에 따른 입체음향 조절기를 내포한 멀티 뷰어 영상 및 3D 입체음향 플레이어의 화면이다.
도 11 내지 도 13은 본 발명의 제2 실시예에 따른 파노라마 스타일의 입체음향 조절기를 내포한 멀티 뷰어 영상 및 3D 입체음향 플레이어의 화면이다.
하기 설명에서는 구체적인 입체음향과 같은 특정(特定) 사항들이 나타나고 있는데, 이는 본 발명의 보다 전반적인 이해를 돕기 위해 제공된 것일 뿐 이러한 특정 사항들 없이도 본 발명이 실시될 수 있음은 이 기술 분야에서 통상의 지식을 가진 자에게는 자명하다 할 것이다. 그리고 본 발명을 설명함에 있어, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
이하, 본 발명의 바람직한 실시예를 첨부된 도면을 참조하여 발명의 구성 및 동작을 상세하게 설명한다.
도 3은 본 발명의 실시예에 따른 입체음향 조절기를 내포한 멀티 뷰어 영상 및 3D 입체음향 플레이어 시스템 구성도이다.
입체음향 조절기를 내포한 멀티 뷰어 영상 및 3D 입체음향 플레이어 시스템은 여러 장소에 설치되어 음악회의 동영상을 촬영하는 적어도 하나 이상의 카메라(C1,C2,C3), 적어도 하나 이상의 카메라(C1,C2,C3)로부터 촬영된 영상을 압축하여 인코딩하는 비디오 인코더(100), 비디오 인코더(100)로부터 인코딩된 영상을 패킷타이징(packetizing)하여 패킷화된 스트림으로 생성하는 패킷 타이저(101), 적어도 하나 이상의 마이크(M1,M2,M3,M4,M5)로부터 촬영된 음성을 압축하여 인코딩하는 오디오 인코더(102), 오디오 인코더(102)로부터 인코딩된 음성을 패킷화된 스트림으로 생성하는 패킷 타이저(103), 영상 스트림과 음성 스트림 및 3D 사운드와 관련된 3D 객체 및 부가 정보를 멀티플렉싱(multiplexing)하여 패킷 전송 스트림(transport stream)을 생성하는 멀티플렉서(104)를 포함하는 전송 서버, 및
전송 서버로부터 유무선 통신망으로 수신된 패킷 전송 스트림을 디멀티플렉싱(demultiplexing)하여 영상 스트림과 음성 스트림 및 3D 사운드와 관련된 3D 객체 및 부가 정보를 독출하는 디멀티프렉서(200), 1/2/4채널 선택에 따라 적어도 하나 이상의 영상 채널 및 3D 렌더링 및 음향 채널로 각각 다채널 영상과 음성과 관련된 3D 객체 데이타를 분배하는 채널 분배기(201), 다채널 영상, 음성을 디패킷타이징(depacketing)하는 디패킷타이저(202), 영상을 디코딩하는 비디오 디코더(203), 음성을 디코딩하는 오디오 디코더(204), 3D 렌더러(207) 및 입체음향 조절기(208)로 구성된다.
예를 들면, 비디오 코덱은 MPEG-4를 사용하고, 오디오 코덱은 MPEG 오디오 코덱 또는 MP3/AAC 코덱이 사용 가능하며, Live 촬영시 자막 데이타를 제공하는 데이타 인코더(107) 및 OD/BIFS 발생기(108)로부터 MPEG4 BIFS(Binary Format for Scene)를 사용하여 3D 객체를 표현하여 멀티플렉서에 의해 멀티플렉싱되어 클라이언트 단말기로 전송할 수 있다.
코덱은 개별 채널 신호 또는 객체 신호를 고효율/고품질로 압축 복원하도록 모노 또는 스테레오 코덱, MPEG-4 AAC(Advanced Audio Coding) v2나 MPEG-D USAC(Unified Speech and Audio Coding)이 사용가능하며, 3D 렌더러의 3D Audio를 재생하기 위해 A/V 디코더와 분리된 형태가 아닌 연동된 형태로 사용되며, MPEG Surround나 SAOC(Spatial Audio Object Coding)에서 표준화된 여러가지 채널 변환툴들이 3D Audio에 사용가능하다.
여러 대의 카메라, 영상을 인코딩하는 비디오 인코더, 음향을 인코딩하는 오디오 인코더, 데이타 인코더, 3D 객체 정보를 제공하는 OD/BIFS 생성기가 멀티플렉싱되어 스트리밍 서버 또는 DVR 서버를 통해 Live로 촬영되는 1/2/3/4채널 영상과 음성을 사용자 단말기의 클라이언트 프로그램으로 전송할 수 있다.
사용자 단말기는 타임 라인에 따라 영상과 음향 신호의 동기화회로의 콘볼류션(Convolution)에 의해 동기화하는 DSP 프로세서를 구비하는 고속 연산이 가능한 컴퓨터 그래픽스 단말기, PC, 스마트폰, 타블렛 PC에 상기 입체음향 조절기를 내포하는 멀티 뷰어 영상 및 3D 입체음향 플레이를 사용하여 3D Sound를 녹음하여 저장된 3D 음반을 제작할 수 있다. 3D 렌더러(207)는 복수의 입체 영상 채널과 함께 3D Audio를 재생하기 위해 비디오 디코더/오디오 디코더와 분리된 형태가 아닌 연동된 형태로 영상/음향 신호가 동기화되어 사용된다.
3D 렌더러(207)는 독출된 3D 데이타를 가상 공간의 (X,Y,Z) 좌표계에서 3차원 공간에서 고정된 위치에 존재하는 복수의 스피커와 이동가능한 청취자 객체가 디스플레이되며, 가상 공간에서 발성점의 위치와 상관없이 본인이 듣고 싶은 방향어디든지 옮겨가는 방향으로 이동하는 청취차 객체와 스피커 객체의 3차원 거리, 방향, 각도를 계산하여 3차원 좌표계에서 이동된 청취자 객체와 스피커와의 거리에 따라 공간의 넓이와 크기 및 오디오 비쥬얼 객체들의 크기를 확대/축소하여 실시간으로 3D 렌더링하여 전후좌우 가깝고 먼 거리감을 표시하며, 청취차 객체와 해당 스피커 객체의 3차원 거리가 가까우면 공간의 넓이와 크기 및 오디오 비쥬얼 객체(가상 스피커 객체, 청취자 객체, 배경화면)의 크기를 크게 하고 거리가 멀어지면 공간의 넓이와 크기 및 오디오 비쥬얼 객체의 크기를 작게 하는 3D 공간감 있게 디스플레이한다.
입체음향 조절기(208)는 가상공간에서 가상 스피커와 이동하는 청취자 객체의 3차원 거리, 각도, 방향에 따라 이퀄라이저(EQ) 기능을 가진 스피커의 소리의 세기를 각 스피커의 볼륨 조절하여 해당 스피커와 거리가 가까워지면 해당 스피커의 소리의 세기를 크게 하고 거리가 멀어지면 해당 스피커의 소리의 세기를 작게 음향을 출력하여 입체감있고 현장감 있는 서라운드 효과를 제공하는 영상과 동기화된 입체음향(3D sound)의 음원을 재생한다.
상기 입체음향 조절기(208)는 가상 공간에서 가상 스피커들(L1,L2,W,R1,R2)의 각 발성점 마다 청취차 객체와의 원거리와 근거리 조절 이외 개별 스피커의 발성점의 소리 자체를 키우고 줄임으로 소리를 강조하는 개별 볼륨 조절기; 및 모든 스피커의 발성점의 소리를 한번에 조절하는 전체 볼륨조절기;를 포함하고, 가상공간 방향 조절 버튼 및 녹음 버튼을 구비하여 가상공간에서 원하는 스피커 방향으로 청취자 객체의 이동에 따라 거리가 가깝거나 멀어짐에 따라 해당 스피커의 소리의 크기가 커지거나 줄어드는 3차원 입체음향(3D Sound)을 녹음하는 것을 특징으로 한다.
상기 입체음향 조절기(208)는 가상공간에 배치된 멀티 채널의 각 스피커의 이퀄라이저의 주파수를 조절하는 스피커별 EQ 조절부를 더 포함한다.
참고로, 입체음향은 음악회 또는 스튜디오 현장의 음향을 모델링하여 음원이 발생한 가상 공간에서 입체감 있고 거리감 있게 스피커와 청취자의 위치, 거리, 각도에 따라 방향감, 거리감, 공간감과 같은 공간 정보를 감지하도록 음향에 공간 정보를 부가한 음향이다. 입체음향 기술은 영상처리 기술과 함께 3D 영화, 3D 게임, 입체영상과 실감 음향 통신이 적용된 가상현실 또는 증강현실 시스템, Multichannel audio program, 실감 음향 통신을 제공하는 3D Audio 콘텐츠를 사용하는 멀티미디어 시스템, 홈 씨어터 시스템, 실감 있고 몰입감 있는 가상현실 화상회의(Telepresence) 시스템, 3DTV, TV for smart phone에 적용이 가능하다.
입체음향 재생 방식은 멀티 채널을 사용한 서라운드 방식과 바이노럴(Binaural) 타입의 2채널 스테레오 방식으로 구현이 가능하다.
참고로, 사람의 두 귀는 소리의 시간차(ITD, Interaural Time Difference)와 소리의 세기차(ILD 또는 IID, Interaural Intensity Difference)가 존재한다.
본 발명의 실시예에서는 멀티 채널을 사용한 서라운드 방식을 가상공간에서 구현하였다.
본 발명의 실시예에서는 멀티 채널을 사용하여 3채널의 영상과 1채널의 입체음향 화면을 디스플레이하며, 1/2/4채널이 선택 가능하고, 입체음향 화면에서는 가상공간에서 오디오 비쥬얼 객체인 복수개의 스피커와 청취차 객체의 3차원 거리, 방향, 각도에 따라 3D 렌더러에 의해 공간의 넓이와 크기 및 오디오 비쥬얼 객체의 크기를 입체감 있게 확대/축소하고, 이와 동시에 입체음향 조절기에 의해 자동으로 스피커의 기 설정된 이퀄라이저 주파수 레벨(주파수별 파워 스펙트럼)에 따라 거리가 근접되거나 멀어짐에 따라 자동으로 볼륨(소리의 세기) 조절하여 볼륨(소리의 세기)를 크게 하거나 작게 하여 입체음향을 구현하였다.
3DTV 방송 시스템과 같이 대역폭이 제한된 여러가지 채널(22.2 채널, 10.2 채널, 5.1 채널) 포맷을 지원하는 스케일러가 포함된 비디오 코덱을 사용하여 스케일러블 채널 구조의 비트스트림을 구성할 수 있다.
도 4는 입체음향 조절기를 내포한 멀티 뷰어 영상 및 3D 입체음향 플레이어의 내부 구성도이다.
입체음향 조절기를 내포한 멀티 뷰어 영상 및 3D 입체음향 플레이어는 다채널 영상과 입체음향(3D sound)을 출력하는 1채널/2채널/4채널로 선택이 가능하고, 3채널의 영상(음악회 영상 V1, V2, V3)을 디코딩하여 디스플레이되고, 1채널은 3D 렌더러 및 입체음향 조절기에 의해 가상 공간에서 배치된 멀티 채널(5.1 채널, 7.1 채널, 10.2 채널, 22.2 채널) 스피커들과 청취자 객체가 가상공간에 위치된 복수의 가상 스피커(오디오 비쥬얼 객체)와의 거리, 방향, 각도에 따라 청취자 객체와 가장 가까운 스피커의 음향신호가 거리에 따라 자동으로 볼륨이 조절되고 영상/음향 신호가 동기화되어 입체음향 신호를 출력한다.
입체음향 조절기를 내포한 멀티 뷰어 영상 및 3D 입체음향 플레이어는 전송 서버로부터 전송된 다채널 영상 또는 3D 음반에 저장된 영상을 수신받아 3개의 비디오 채널로 음악회의 영상을 디코딩하여 선택된 비디오 채널 수에 따라 설정된 적어도 하나 이상의 채널로 디스플레이하는 적어도 하나 이상의 비디오 출력부; 서버로부터 수신된 음원 또는 음반에 저장된 음원을 독출하여 다채널 음향 신호를 수신받아 디코딩하여 출력하는 오디오 출력부; 독출된 3D 데이타를 가상 공간의 (X,Y,Z) 좌표계에서 3차원 공간에서 고정된 위치에 존재하는 복수의 스피커와 이동가능한 청취자 객체가 디스플레이되며, 가상 공간에서 발성점의 위치와 상관없이 본인이 듣고 싶은 방향 어디든지 옮겨가는 방향으로 이동하는 청취차 객체와 스피커 객체의 3차원 거리, 방향, 각도를 계산하여 3차원 좌표계에서 청취차 객체와 선택된 스피커 객체의 거리, 방향, 각도에 따라 공간의 넓이와 크기 및 오디오 비쥬얼 객체들의 크기를 확대/축소하여 실시간으로 3D 렌더링하여 전후좌우 가깝고 먼 거리감을 표시하며, 청취차 객체와 스피커 객체의 3차원 거리가 가까워지면 공간의 넓이와 크기 및 오디오 비쥬얼 객체(가상 스피커 객체, 청취자 객체, 배경화면)의 크기를 크게 하고 거리가 멀어지면 공간의 넓이와 크기 및 상기 객체의 크기를 작게 하는 3D 공간감을 디스플레이하는 3D 렌더러; 가상공간에서 가상 스피커와 청취자 객체의 거리, 각도, 방향에 따라 이퀄라이저(EQ) 기능을 가진 스피커의 소리의 세기(스피커의 볼륨)를 조절하여 해당 스피커와 거리가 가까워지면 해당 스피커의 소리의 세기를 크게 하고 거리가 멀어지면 해당 스피커의 소리의 세기를 작게 음향을 출력하여 입체감있고 현장감 있는 서라운드 효과를 제공하는 입체음향(3D sound)의 음원을 재생하는 입체음향 조절기; 및 타임 라인에 따라 적어도 하나 이상의 비디오 출력부의 영상과 상기 입체음향 조절기에 의해 가상 스피커의 소리의 크기(볼륨)가 조절된 음향을 동기화하여 출력하는 영상/음향 동기화부;로 구성된다.
가상 스피커의 각 발성점 마다 개별 볼륨조절기를 설치하여 청취차 객체와의 원거리와 근거리 조절 이외 스피커의 발성점의 소리 자체를 키우고 줄임으로 소리를 강조할 수 있고, 전체 볼륨조절기는 모든 스피커들의 발성점의 소리를 한번에 조절한다. 이 모든 소리가 나는 공간에서 나는 소리는 전방향 3D 음향이며 그 공간의 크기를 넓이와 고저에 따라 바꿀 수 있다.
가상 공간의 청취자 객체는 증강현실 사용자 인터페이스(AR UI)로 실감 오디오 방송 구현하여 가상 공간에서 스피커 객체에 실제 음악을 듣는 것과 같이 입체음향을 청취하는 사람의 머리와 귀의 구조로 모델링 된 더미 헤드로 디자인될 수 있다.
소리를 듣는 청취자 객체의 양쪽 귀의 방향에 따라 들리는 소리가 달라진다. 가상공간에서 청취자 객체가 오른쪽으로 보면 오른쪽 스피커의 소리가 커지고 왼쪽으로 보면 왼쪽 스피커의 소리가 커진다.
도 5는 증강현실의 가상 공간의 (X,Y,Z) 좌표계에서 공간적 위치가 각각 다른 복수개의 스피커와 이동 가능한 청취자 객체의 3차원 거리, 방향각(angle)에 따라 입체감과 몰입감이 있도록 앞,뒤,좌,우에서 재생되는 각 발성점을 가진 스피커에서 음원의 소리의 세기의 볼륨의 상승/하강 및 가상 공간에서 공간의 넓이와 크기 및 오디오 비쥬얼 객체들의 크기가 확대/축소되어 달라지는 3D Sound 디스플레이 화면을 설명하는 도면이다.
가상 스피커들(L1,L2,W,R1,R2)의 각 발성점 마다 개별 볼륨조절기를 설치하여 청취차 객체와의 원거리와 근거리 조절 이외 개별 가상스피커의 발성점의 소리 자체를 키우고 줄임으로 소리를 강조할 수 있고, 전체 볼륨조절기는 모든 스피커들의 발성점의 소리를 한번에 조절한다. 가상공간 방향 조절 버튼 및 녹음 버튼을 사용하여 청취자 객체의 이동에 따른 3차원 입체음향(3D Sound, 3차원 입체오디오)을 녹음이 가능하다.
가상 스피커는 5.1 채널, 10.2 채널에 예를 가상공간에 구현하면 된다.
실시예에서는 도 5에 도시된 바와 같이, 증강 현실로 구현된 가상 공간에서 5.1 채널 시스템의 front left, center, front right, surround left, surround right, sub woofer 채널로 구분되는 가상 스피커 채널을 구성하여 적용하였다.
다른 실시예에서는, 10.2 채널은 5채널(center, left, right, left surround, right surround)에 수평면상의 해상도를 향상시키기 위한 3채널(left wide, right wide, back surround), 수직면상의 상향 2채널(left height, right height), 천장에 1채널, 측후면 4채널(좌우측 서브우퍼 구조)로 배치된다.
도 6은 입체음향 조절기를 내포한 멀티 뷰어 영상 및 3D 입체음향 재생 방법을 설명하는 플로챠트이다.
입체음향 조절기를 내포한 멀티 뷰어 영상 및 3D 입체음향 재생 방법은 플레이어의 1/2/4 채널의 화면 표시 방식이 선택되면(S100), 서버로부터 전송된 다채널 영상 또는 3D 음반에 저장된 영상을 수신받아 비디오 출력부에 의해 디패킷타이징하고 3개의 비디오 채널로 음악회의 영상을 디코딩하여 디스플레이하고, 동시에 서버로부터 전송된 음원 또는 음반에 저장된 특정 음원을 선택하여 오디오 출력부에 의해 디코딩하여 출력하는(S200) 단계; 3D 렌더러에 의해 독출된 3D 데이타를 가상 공간의 (X,Y,Z) 좌표계에서 3차원 공간에서 고정된 위치에 존재하는 복수의 스피커와 이동가능한 청취자 객체가 디스플레이되며, 가상 공간에서 가상 스피커의 발성점의 위치와 상관없이 본인이 듣고 싶은 방향으로 이동하는 청취차 객체와 스피커 객체의 3차원 거리, 방향, 각도를 계산하고(S300), 가상 공간의 3차원 좌표계에서 청취차 객체와 선택된 스피커 객체의 거리, 방향, 각도에 따라 공간의 넓이와 크기 및 오디오 비쥬얼 객체들의 크기를 확대/축소하여 실시간으로 3D 렌더링하여 전후좌우 가깝고 먼 거리감을 표시하며, 청취차 객체와 스피커 객체의 3차원 거리가 가까워지면 공간의 넓이와 크기 및 오디오 비쥬얼 객체(가상 스피커 객체, 청취자 객체, 배경화면)의 크기를 크게 하고 상기 거리가 멀어지면 공간의 넓이와 크기 및 상기 객체의 크기를 작게 하는 3D 공간감을 디스플레이하는 단계, 및 입체음향 조절기에 의해 가상공간에서 가상 스피커와 청취자 객체의 3차원 거리, 각도에 따라 이퀄라이저(EQ) 기능을 가진 각 스피커의 소리의 세기를 각 스피커의 볼륨 조절하여 해당 스피커와 거리가 가까워지면 해당 스피커의 소리의 세기를 크게 하고 거리가 멀어지면 해당 스피커의 소리의 세기를 작게 음향을 출력하여 입체감있고 현장감 있는 서라운드 효과를 제공하는 입체음향(3D sound)의 음원을 재생하는(S400) 단계, 및 영상/음향 동기화부 타임 라인에 따라 적어도 하나 이상의 비디오 출력부의 영상과 상기 입체음향 조절기에 의해 이동하는 청취자 객체의 거리와 방향각 이동에 따른 가상 스피커의 소리의 크기(볼륨)가 자동으로 조절된 음향을 동기화하여 출력하는(S400) 단계; 및 가상공간에서 청취자 객체의 스피커의 거리, 방향, 각도에 따라 소리의 세기가 조절되어 출력되는 입체음향 데이타를 녹음하여 3D 사운드 데이타를 저장하는(S450) 단계를 포함한다.
상기 방법은 상기 입체음향 조절기에서는 개별 볼륨 조절기에 의해 가상 스피커들(L1,L2,W,R1,R2)의 각 발성점 마다 청취차 객체와의 원거리와 근거리 조절 이외 개별 스피커의 발성점의 소리 자체를 키우고 줄임으로 소리를 강조하는 단계; 전체 볼륨조절기에 의해 모든 스피커의 발성점의 소리를 한번에 조절하는 단계; 및 가상공간 방향 조절 버튼 및 녹음 버튼을 구비하여 가상공간에서 원하는 스피커 방향으로 청취자 객체의 이동에 따라 거리가 가깝거나 멀어짐에 따라 해당 스피커의 소리의 크기가 커지거나 줄어드는 3차원 입체음향(3D Sound)을 녹음하는 단계를 포함한다.
상기 방법은 상기 입체음향 조절기에서는 스피커별 EQ 조절부에 의해 가상공간에 배치된 멀티 채널의 각 스피커의 이퀄라이저의 주파수를 조절하는 단계를 더 포함한다.
도 7 내지 도 10은 입체음향 조절기를 내포한 멀티 뷰어 영상 및 3D 입체음향 플레이어의 화면이다.
입체음향 조절기를 내포한 멀티 뷰어 영상 및 3D 입체음향 플레이어는 4채널 선택시, 3채널 동영상과 1채널 오디오 비쥬얼 객체의 3D 렌더링과 입체음향 제어 화면으로 구성된다.
제2 실시예로, 2채널 선택시, 1채널 동영상과 및 1채널 3D 렌더링과 입체음향 제어 화면으로 구성되며, 1채널 선택시 1채널 3D 렌더링과 입체음향 제어 화면으로 디스플레이 되며, 사용자에 의해 1채널/2채널/4채널을 선택하여 볼 수 있다.
멀티 뷰어 영상 및 3D 입체음향 플레이어는 발성점의 위치와 상관없이 본인이 듣고 싶은 방향 어디든지 옮겨 가는 방향으로 해당 스피커의 소리의 크기가 바뀌며 소리가 나는 발성점 자체의 위치도 이동시킬 수 있어 특정소리를 부각시킬 수 있다.
소리가 나는 발성점의 숫자 역시 스스로 선택할 수 있기 때문에 모든 방향에서 나는 소리를 한번에 재생하여 들을 수 있다.
가상 스피커(스피커 객체)의 각 발성점 마다 개별 볼륨조절기를 설치하여 원거리와 근거리 조절 이외 개별 스피커의 발성점의 소리 자체를 키우고 줄임으로 소리를 강조할 수 있고 전체 볼륨조절기는 모든 스피커들의 발성점의 소리를 한번에 조절한다. 이 모든 소리가 나는 가상 공간에서 나는 소리는 전방향 3D 음향이며 그 공간의 크기를 넓이와 고저에 따라 바꿀 수 있다.
이 입체음향 조절기를 내포하는 멀티 뷰어 영상 및 3D 입체음향 플레이어는 예술 및 음악 수업을 진행하는 진행자와 그가 사용하는 교재와 수업자료,자막,예문, 또는 예술교육에서 각 악기의 포지션의 위치나 오케스트라의 악기별 영상등을 한번에 재생시킬 수 있는 기능을 가지고 있는 혁신적인 영상 음향 재생기이다.
도 11 내지 도 13은 파노라마 형식의 3D 입체음향 조절기를 내포한 멀티 뷰어 영상 및 3D 입체음향 플레이어의 화면이다.
영상 및 3D 입체음향 플레이어는 피노라마 형식으로 구현이 가능하다.
파노라마 스타일 멀티뷰어 영상 및 3D 입체음향 플레이어는 발성점의 위치와 상관없이 본인이 듣고 싶은 방향 어디든지 옮겨가는 방향으로 스피커의 소리의 크기가 바뀌며, 소리가 나는 발성점 자체의 위치도 이동시킬 수 있어 특정소리를 부각시킬 수 있으며, 소리가 나는 발성점의 숫자 역시 스스로 선택할 수 있기 때문에 모든 방향에서 나는 소리를 한번에 재생하여 들을 수 있도록 하였다.
가상 스피커의 각 발성점 마다 개별 볼륨조절기를 설치하여 원거리와 근거리 조절 이외 개별 스피커의 발성점의 소리 자체를 키우고 줄임으로 소리를 강조할 수 있고, 전체 볼륨조절기는 모든 스피커들의 발성점의 소리를 한번에 조절한다.
이 모든 소리가 나는 공간에서 나는 소리는 전방향 3D 음향이며, 입체음향 조절기에 의해 그 공간의 크기를 넓이와 고저에 따라 바꿀 수 있다.
이 멀티 음향 플레이어를 내포하는 멀티영상플레이어는 수업을 진행하는 진행자가 사용하는 예술 및 음악 교재와 수업자료, 자막, 예문, 또는 예술교육에서 각 악기의 포지션의 위치나 오케스트라의 악기별 영상 등을 한번에 재생시키는 기능을 가지고 있는 혁신적인 영상 음향 재생기이다.
파노라마 스타일의 멀티영상재생기의 또 다른 특징중 하나는 볼륨조절기를 포함한 모든 UI(User Interface)를 3D 화상으로 조절가능하도록 하여 소리의 공간감을 넘어 시각적 공간감을 극대화 시키도록 하였다.
(1) 예술 교육 서비스
기존의 온 오프라인 음악 교육 컨텐츠의 경우 실시간 1:1 교육이 아니었고 예술교육은 주관적이므로 학생 개개인에 대한 체계적인 데이터 분석이 이루어져 거기에 맞는 커리큘럼이 형성되는 것은 더더욱 아니었으며 떨어지는 현장감과 발성점의 이동에 따른 소리의 변화 등의 문제를 안고 있었다.
실시간 레슨과 동영상강의를 함께 병행하고 그와 함께 과제를 학생들이 제출하면 그 과제를 개발된 소프트웨어 프로그램과 특수 장비들을 이용하여 철저히 분석하여 객관적 데이터와 문제 해결점을 가장 현장감있게 제시하도록 하였다.
이 시스템은 PC 이외에 스마트폰 안드로이드(Android) OS에서도 서비스되도록 하여 실시간으로 휴대폰으로 녹음, 녹화된 과제를 검토하고 실시간 레슨에 사용되도록 하였다.
(2) 음반 서비스
기존의 음반의 경우 5.1 채널이 아닌 2채널 안에서 3D 서라운드를 내는 음반은 없었으며, 일반 3D 마이크로 녹음된 음원의 경우 클래식 녹음에서 음질적 문제와 이질감을 가지고 있었으나 새로운 녹음 기법을 통하여 3D 서라운드와 기존의 음원이 자연스럽게 섞여 재생할 수 있도록 하였다. 이 기법은 전문 스튜디오에서 오랜기간 대규모 투자금을 바탕으로 한 녹음이 아닌 일반 아티스트 들이 남긴 가벼운 모노와 스테레오 음원에 자연스러운 공간감과 서라운드 효과를 제공하여 보다 가치있는 3D 음원(3D Sound)을 남기도록 하였다.
또한, 기존에 일반적으로 재생되던 음악 플레이어 그리고 그 이외 다른 휴대폰과 스마트 티비 등에서 함께 연동되어 구현될 수 있도록 하였다.
(3) 음악 매니지먼트 서비스:
토탈 뮤직 솔류션은 디지털 미디어 분야 이외에 일반적인 기획사의 역할을 수행할 수 있다. 예를들면, 여러 행사 연주 공연등에 필요한 인력들을 확보하고 데이터화 하여 저장하여 그 성격에 맞게 금관악기 오케스트라 국악과 보컬 밴드에 이르기까지 광범위하게 장르에 구별없이 연주자들을 파견할 수 있으며, 그 연주자들에 대한 프로필과 검증된 자료들을 고객에게 함께 제공하고, 기획단계에서 고객들을 초청하여 함께 기획 설계함으로써 고객 만족도를 최상으로 한다. 아울러 일반 스튜디오에서 하는 녹음, 영상편집에서 디지털 기기에 들어가는 음원과 벨소리,컬러링에 이르기까지 서비스를 제공한다.
이 플레이어는 음악교육분야 , 음반제작 유통 시장 및 그 외 여러 디지털 음원 관련 시장과 휴대폰 스마트폰 기기내의 음원 제작 이외에 광범위한 분야에 모든 음악분야를 응용할 수 있다.
다만 특정 악기 및 작곡 대중음악에 이르기까지 다양한 교육을 받고 싶었으나 일반 동영상 강의로 만족하지 못한 많은 학생과 독학자들과 다른 악기나 이론을 공부하려고 하는 모든 사람들은 이 편리한 시스템의 컨텐츠를 제공받는 동시에 회사에서는 수업료에 해당하는 수익이 발생하며 앨범제작을 위하여 많은 비용을 지불할 수 없는 많은 아티스트 들의 데뷔, 정규 앨범 및 디지털 음원을 새로운 기술로 제작 유통하지만 동시에 그들과의 계약을 통하여 음원 수익이 발생하며 스마트폰의 디지털 음원제작 및 새로운 음원 소프트웨어 재생기를 광고와 함께 배포하여 생기는 광고 수익금 등 여러 다른 분야에서 적용할 수 있다.
전술한 바와 같이 본 발명의 방법은 프로그램으로 구현되어 컴퓨터의 소프트웨어를 이용하여 읽을 수 있는 형태로 기록매체(CD-ROM, RAM, ROM, 메모리 카드, 하드 디스크, 광자기 디스크, 스토리지 디바이스 등)에 저장될 수 있다.
이상에서 설명한 바와 같이, 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진자가 하기의 특허청구범위에 기재된 본 발명의 기술적 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 또는 변형하여 실시할 수 있다.
100: 비디오 인코더
101: 패킷타이저
102: 오디오 인코더
103: 패킷타이저
200: 디멀티프렉서
201: 채널 분배기
202: 디패킷타이저
203: 비디오 디코더
204: 오디오 디코더
207: 3D 렌더러
208: 입체음향 조절기

Claims (11)

  1. 전송 서버로부터 전송된 다채널 영상 또는 3D 음반에 저장된 영상을 독출하여 디패킷타이징하여 적어도 하나 이상의 비디오 채널로 영상을 디코딩하여 디스플레이하는 적어도 하나 이상의 비디오 출력부;
    다채널 음향 신호를 수신받아 디코딩하여 출력하는 오디오 출력부;
    독출된 3D 데이타를 가상 공간의 (X,Y,Z) 좌표계에서 고정된 위치에 존재하는 복수의 스피커와 이동가능한 청취자 객체가 디스플레이되며, 가상 공간에서 발성점의 위치와 상관없이 본인이 듣고 싶은 방향으로 이동하는 청취차 객체와 스피커 객체의 3차원 거리, 방향, 각도를 계산하여 3차원 좌표계에서 거리, 방향, 각도에 따라 공간의 넓이와 크기 및 오디오 비쥬얼 객체들의 크기를 확대/축소하여 실시간으로 3D 렌더링하여 전후좌우 가깝고 먼 거리감을 표시하며, 상기 청취차 객체와 선택된 스피커 객체의 3차원 거리가 가까워지면 공간의 넓이와 크기 및 오디오 비쥬얼 객체(가상 스피커 객체, 청취자 객체, 배경화면)의 크기를 크게 하고 거리가 멀어지면 공간의 넓이와 크기 및 상기 객체의 크기를 작게 하는 3D 공간감을 디스플레이하는 3D 렌더러;
    가상공간에서 가상 스피커와 청취자 객체의 거리, 각도에 따라 이퀄라이저(EQ) 기능을 가진 각 스피커의 소리의 세기(볼륨)를 자동으로 조절하여 해당 스피커와 거리가 가까워지면 해당 스피커의 소리의 세기를 크게 하고 거리가 멀어지면 소리의 세기를 작게 음향을 출력하여 입체감있고 현장감 있는 서라운드 효과를 제공하는 입체음향(3D sound)의 음원을 재생하는 입체음향 조절기; 및
    타임 라인에 따라 적어도 하나 이상의 비디오 출력부의 영상과 상기 입체음향 조절기에 의해 가상 스피커의 소리의 크기(볼륨)가 조절된 음향을 동기화하여 출력하는 영상/음향 동기화부;
    를 포함하는 입체음향 조절기를 내포한 멀티 뷰어 영상 및 3D 입체음향 플레이어 시스템.
  2. 제1항에 있어서,
    상기 가상 스피커는
    각 발성점 마다 개별 볼륨조절기를 구비하고, 청취차 객체와의 원거리와 근거리 조절 이외 발성점의 소리 자체를 키우고 줄임으로 소리를 강조할 수 있고, 전체 볼륨조절기는 모든 스피커의 발성점의 소리를 한번에 조절되는 것을 특징으로 하는 입체음향 조절기를 내포한 멀티 뷰어 영상 및 3D 입체음향 플레이어 시스템.
  3. 제1항에 있어서,
    상기 청취자 객체는
    증강현실 사용자 인터페이스(AR UI)로 구현하여 가상 공간에서 스피커 객체에 실제 음악을 듣는 것과 같이 입체음향을 청취하는 사람의 머리와 귀의 구조로 모델링 된 더미 헤드로 디자인 되는 것을 특징으로 하는 입체음향 조절기를 내포한 멀티 뷰어 영상 및 3D 입체음향 플레이어 시스템.
  4. 제1항에 있어서,
    상기 3D 렌더러와 상기입체음향 조절기를 내포한 멀티 뷰어 영상 및 3D 입체음향 플레이어는 4채널 선택시, 3채널 동영상과 1채널 오디오 비쥬얼 객체의 3D 렌더링과 입체음향 제어 화면으로 구성되고, 2채널 선택시, 1채널 동영상과 및 1채널 3D 렌더링과 입체음향 제어 화면으로 구성되며, 1채널 선택시 1채널 3D 렌더링과 입체음향 제어 화면으로 디스플레이 되어 1채널/2채널/4채널을 선택하여 볼 수 있는 것을 특징으로 하는 입체음향 조절기를 내포한 멀티 뷰어 영상 및 3D 입체음향 플레이어 시스템.
  5. 제1항에 있어서,
    상기 입체음향 조절기는
    가상 스피커들(L1,L2,W,R1,R2)의 각 발성점 마다 청취차 객체와의 원거리와 근거리 조절 이외 개별 스피커의 발성점의 소리 자체를 키우고 줄임으로 소리를 강조하는 개별 볼륨 조절기; 및
    모든 스피커의 발성점의 소리를 한번에 조절하는 전체 볼륨조절기;를 포함하고,
    가상공간 방향 조절 버튼 및 녹음 버튼을 구비하여 가상공간에서 원하는 스피커 방향으로 청취자 객체의 이동에 따라 거리가 가깝거나 멀어짐에 따라 해당 스피커의 소리의 크기가 커지거나 줄어드는 3차원 입체음향(3D Sound)을 녹음하는 것을 특징으로 하는 입체음향 조절기를 내포한 멀티 뷰어 영상 및 3D 입체음향 플레이어 시스템.
  6. 제5항에 있어서,
    상기 입체음향 조절기는
    가상공간에 배치된 멀티 채널의 각 스피커의 이퀄라이저의 주파수를 조절하는 스피커별 EQ 조절부를 더 포함하는 입체음향 조절기를 내포한 멀티 뷰어 영상 및 3D 입체음향 플레이어 시스템.
  7. 입체음향 조절기를 내포한 멀티 뷰어 영상 및 3D 입체음향 플레이어의 1/2/4 채널의 화면 표시 방식이 선택되면, 서버로부터 전송된 다채널 영상 또는 3D 음반에 저장된 영상을 수신받아 비디오 출력부에 의해 디패킷타이징하고 3개의 비디오 채널로 음악회의 영상을 디코딩하여 디스플레이하고, 동시에 서버로부터 전송된 음원 또는 음반에 저장된 특정 음원을 선택하여 오디오 출력부에 의해 디코딩하여 출력하는 단계;
    3D 렌더러에 의해 독출된 3D 데이타를 가상 공간의 (X,Y,Z) 좌표계에서 3차원 공간에서 고정된 위치에 존재하는 복수의 스피커와 이동가능한 청취자 객체가 디스플레이되며, 가상 공간에서 가상 스피커의 발성점의 위치와 상관없이 본인이 듣고 싶은 방향으로 이동하는 청취차 객체와 스피커 객체의 3차원 거리, 방향, 각도를 계산하고, 가상 공간의 3차원 좌표계에서 청취차 객체와 선택된 스피커 객체의 거리에 따라 공간의 넓이와 크기 및 오디오 비쥬얼 객체들의 크기를 확대/축소하여 실시간으로 3D 렌더링하여 전후좌우 가깝고 먼 거리감을 표시하며, 청취차 객체와 스피커 객체의 3차원 거리가 가까우면 공간의 넓이와 크기 및 오디오 비쥬얼 객체(가상 스피커 객체, 청취자 객체, 배경화면)의 크기를 크게 하고 상기거리가 멀어지면 객체의 크기를 작게 하는 3D 공간감을 디스플레이하는 단계;
    입체음향 조절기에 의해 가상공간에서 가상 스피커와 청취자 객체의 3차원 거리, 각도에 따라 이퀄라이저(EQ) 기능을 가진 각 스피커의 소리의 세기(볼륨)를 자동으로 조절하여 해당 스피커와 거리가 가까워지면 해당 스피커의 소리의 세기를 크게 하고 거리가 멀어지면 해당 스피커의 소리의 세기를 작게 음향을 출력하여 입체감있고 현장감 있는 서라운드 효과를 제공하는 입체음향(3D sound)의 음원을 재생하는 단계;
    영상/음향 동기화부에 의해 타임 라인에 따라 적어도 하나 이상의 비디오 출력부의 영상과 상기 입체음향 조절기에 의해 이동하는 청취자 객체의 거리와 방향각 이동에 따른 가상 스피커의 소리의 크기(볼륨)가 자동으로 조절된 음향을 동기화하여 출력하는 단계; 및
    가상공간에서 청취자 객체의 스피커의 거리, 방향, 각도에 따라 소리의 세기가 조절되어 출력되는 입체음향 데이타를 녹음하여 저장하는 단계;
    를 포함하는 입체음향 조절기를 내포한 멀티 뷰어 영상 및 3D 입체음향 재생 방법.
  8. 제7항에 있어서,
    상기 3D 렌더러와 상기입체음향 조절기를 내포한 멀티 뷰어 영상 및 3D 입체음향 플레이어는 4채널 선택시, 3채널 동영상과 1채널 오디오 비쥬얼 객체의 3D 렌더링과 입체음향 제어 화면으로 구성되고, 2채널 선택시, 1채널 동영상과 및 1채널 3D 렌더링과 입체음향 제어 화면으로 구성되며, 1채널 선택시 1채널 3D 렌더링과 입체음향 제어 화면으로 디스플레이 되는 단계를 더 포함하는 입체음향 조절기를 내포한 멀티 뷰어 영상 및 3D 입체음향 재생 방법.
  9. 제7항에 있어서,
    상기 입체음향 조절기에서는 개별 볼륨 조절기에 의해 가상 스피커들(L1,L2,W,R1,R2)의 각 발성점 마다 청취차 객체와의 원거리와 근거리 조절 이외 개별 스피커의 발성점의 소리 자체를 키우고 줄임으로 소리를 강조하는 단계;
    전체 볼륨조절기에 의해 모든 스피커의 발성점의 소리를 한번에 조절하는 단계; 및
    가상공간 방향 조절 버튼 및 녹음 버튼을 구비하여 가상공간에서 원하는 스피커 방향으로 청취자 객체의 이동에 따른 3차원 입체음향(3D Sound)을 녹음하는 단계;
    를 포함하는 입체음향 조절기를 내포한 멀티 뷰어 영상 및 3D 입체음향 재생방법.
  10. 제7항에 있어서,
    상기 입체음향 조절기에서는 스피커별 EQ 조절부에 의해 가상공간에 배치된 멀티 채널의 각 스피커의 이퀄라이저의 주파수를 조절하는 단계를 더 포함하는 입체음향 조절기를 내포한 멀티 뷰어 영상 및 3D 입체음향 재생방법.
  11. 컴퓨터나, 스마트기기(스마트폰, 타블렛 PC)에, 입체음향 조절기를 내포한 멀티 뷰어 영상 및 3D 입체음향 플레이어의 1/2/4 채널의 화면 표시 방식이 선택되면, 서버로부터 전송된 다채널 영상 또는 3D 음반에 저장된 영상을 수신받아 비디오 출력부에 의해 디패킷타이징하고 3개의 비디오 채널로 음악회의 영상을 디코딩하여 디스플레이하고, 동시에 서버로부터 전송된 음원 또는 음반에 저장된 특정 음원을 선택하여 오디오 출력부에 의해 디코딩하여 출력하는 기능;
    3D 렌더러에 의해 독출된 3D 데이타를 가상 공간의 (X,Y,Z) 좌표계에서 3차원 공간에서 고정된 위치에 존재하는 복수의 스피커와 이동가능한 청취자 객체가 디스플레이되며, 가상 공간에서 가상 스피커의 발성점의 위치와 상관없이 본인이 듣고 싶은 방향으로 이동하는 청취차 객체와 스피커 객체의 3차원 거리, 방향, 각도를 계산하고, 가상 공간의 3차원 좌표계에서 청취차 객체와 선택된 스피커 객체의 거리에 따라 공간의 넓이와 크기 및 오디오 비쥬얼 객체들의 크기를 확대/축소하여 실시간으로 3D 렌더링하여 전후좌우 가깝고 먼 거리감을 표시하며, 청취차 객체와 스피커 객체의 3차원 거리가 가까우면 공간의 넓이와 크기 및 오디오 비쥬얼 객체(가상 스피커 객체, 청취자 객체, 배경화면)의 크기를 크게 하고 상기거리가 멀어지면 객체의 크기를 작게 하는 3D 공간감을 디스플레이하는 기능;
    입체음향 조절기에 의해 가상공간에서 가상 스피커와 청취자 객체의 3차원 거리, 각도에 따라 이퀄라이저(EQ) 기능을 가진 각 스피커의 소리의 세기(볼륨)를 자동으로 조절하여 해당 스피커와 거리가 가까워지면 해당 스피커의 소리의 세기를 크게 하고 거리가 멀어지면 해당 스피커의 소리의 세기를 작게 음향을 출력하여 입체감있고 현장감 있는 서라운드 효과를 제공하는 입체음향(3D sound)의 음원을 재생하는 기능;
    영상/음향 동기화부에 의해 타임 라인에 따라 적어도 하나 이상의 비디오 출력부의 영상과 상기 입체음향 조절기에 의해 이동하는 청취자 객체의 거리와 방향각 이동에 따른 가상 스피커의 소리의 크기(볼륨)가 자동으로 조절된 음향을 동기화하여 출력하는 기능;
    가상공간에서 청취자 객체의 스피커의 거리, 방향, 각도에 따라 소리의 세기가 조절되어 출력되는 입체음향 데이타를 녹음하여 저장하는 기능;
    상기 입체음향 조절기에서는 개별 볼륨 조절기에 의해 가상 스피커들(L1,L2,W,R1,R2)의 각 발성점 마다 청취차 객체와의 원거리와 근거리 조절 이외 개별 스피커의 발성점의 소리 자체를 키우고 줄임으로 소리를 강조하는 기능;
    전체 볼륨조절기에 의해 모든 스피커의 발성점의 소리를 한번에 조절하는 기능;
    가상공간 방향 조절 버튼 및 녹음 버튼을 구비하여 가상공간에서 원하는 스피커 방향으로 청취자 객체의 이동에 따른 3차원 입체음향(3D Sound)을 녹음하는 기능;
    상기 입체음향 조절기에서는 스피커별 EQ 조절부에 의해 가상공간에 배치된 멀티 채널의 각 스피커의 이퀄라이저의 주파수를 조절하는 기능; 및
    상기 3D 렌더러와 상기입체음향 조절기를 내포한 멀티 뷰어 영상 및 3D 입체음향 플레이어는 4채널 선택시, 3채널 동영상과 1채널 오디오 비쥬얼 객체의 3D 렌더링과 입체음향 제어 화면으로 구성되고, 2채널 선택시, 1채널 동영상과 및 1채널 3D 렌더링과 입체음향 제어 화면으로 구성되며, 1채널 선택시 1채널 3D 렌더링과 입체음향 제어 화면으로 디스플레이 되는 기능을 실현하기 위한 프로그램을 기록한 컴퓨터나 스마트 기기로 읽을 수 있는 기록매체.
KR20130109931A 2013-09-12 2013-09-12 입체음향 조절기를 내포한 멀티 뷰어 영상 및 3d 입체음향 플레이어 시스템 및 그 방법 KR101381396B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR20130109931A KR101381396B1 (ko) 2013-09-12 2013-09-12 입체음향 조절기를 내포한 멀티 뷰어 영상 및 3d 입체음향 플레이어 시스템 및 그 방법
PCT/KR2014/008450 WO2015037905A1 (ko) 2013-09-12 2014-09-11 입체음향 조절기를 내포한 멀티 뷰어 영상 및 3d 입체음향 플레이어 시스템 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR20130109931A KR101381396B1 (ko) 2013-09-12 2013-09-12 입체음향 조절기를 내포한 멀티 뷰어 영상 및 3d 입체음향 플레이어 시스템 및 그 방법

Publications (1)

Publication Number Publication Date
KR101381396B1 true KR101381396B1 (ko) 2014-04-04

Family

ID=50656538

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20130109931A KR101381396B1 (ko) 2013-09-12 2013-09-12 입체음향 조절기를 내포한 멀티 뷰어 영상 및 3d 입체음향 플레이어 시스템 및 그 방법

Country Status (2)

Country Link
KR (1) KR101381396B1 (ko)
WO (1) WO2015037905A1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101682105B1 (ko) * 2015-05-28 2016-12-02 조애란 입체음향 조절 방법 및 장치
KR20180018464A (ko) * 2016-08-12 2018-02-21 주식회사 에스큐그리고 입체 영상 재생 방법, 입체 음향 재생 방법, 입체 영상 재생 시스템 및 입체 음향 재생 시스템
KR101834925B1 (ko) 2017-09-25 2018-03-06 주식회사 대경바스컴 객체 위치 변화를 벡터로 변환하여 영상 및 음향 신호를 동기화한 가상스튜디오 방송 편집 및 송출 기기와 이를 이용한 방법
WO2018139786A1 (ko) * 2017-01-25 2018-08-02 삼성전자 주식회사 전자 장치 및 전자 장치 제어 방법

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017026559A1 (ko) * 2015-08-13 2017-02-16 주식회사 넥스트이온 디스플레이 장치에 표시되는 영상의 방향 변화에 따라 소리의 위상을 전환시키는 방법 및 시스템
KR102358529B1 (ko) * 2016-05-26 2022-02-04 에스케이텔레콤 주식회사 사운드 제어 장치 및 방법
US20220021998A1 (en) * 2018-11-09 2022-01-20 Whoborn Inc. Method for generating sound and devices for performing same
KR20220103548A (ko) * 2021-01-15 2022-07-22 삼성전자주식회사 오디오 데이터를 처리하는 전자 장치 및 그 동작 방법
CN115175004B (zh) * 2022-07-04 2023-12-08 闪耀现实(无锡)科技有限公司 用于视频播放的方法、装置、可穿戴设备及电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060055962A (ko) * 2004-11-19 2006-05-24 주식회사 대우일렉트로닉스 다채널 스피커 텔레비전 시스템의 이퀄라이저 표시 방법
KR20080005815A (ko) * 2006-07-10 2008-01-15 삼성전자주식회사 디지털 방송수신기의 다중화면 표시장치 및 방법
KR20110111136A (ko) * 2010-04-02 2011-10-10 엘지전자 주식회사 음향 설정에 대응하는 3ｄ 오브젝트를 제공하는 영상표시장치 및 그 동작 제어방법
KR20130010424A (ko) * 2011-07-18 2013-01-28 삼성전자주식회사 콘텐츠 재생 방법 및 장치

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100954033B1 (ko) * 2007-05-07 2010-04-20 광주과학기술원 다시점 화상 시스템에서 시점 종속 다채널 오디오 처리방법 및 장치

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060055962A (ko) * 2004-11-19 2006-05-24 주식회사 대우일렉트로닉스 다채널 스피커 텔레비전 시스템의 이퀄라이저 표시 방법
KR20080005815A (ko) * 2006-07-10 2008-01-15 삼성전자주식회사 디지털 방송수신기의 다중화면 표시장치 및 방법
KR20110111136A (ko) * 2010-04-02 2011-10-10 엘지전자 주식회사 음향 설정에 대응하는 3ｄ 오브젝트를 제공하는 영상표시장치 및 그 동작 제어방법
KR20130010424A (ko) * 2011-07-18 2013-01-28 삼성전자주식회사 콘텐츠 재생 방법 및 장치

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101682105B1 (ko) * 2015-05-28 2016-12-02 조애란 입체음향 조절 방법 및 장치
KR20180018464A (ko) * 2016-08-12 2018-02-21 주식회사 에스큐그리고 입체 영상 재생 방법, 입체 음향 재생 방법, 입체 영상 재생 시스템 및 입체 음향 재생 시스템
KR102388361B1 (ko) * 2016-08-12 2022-04-20 주식회사 에스큐그리고 입체 영상 재생 방법, 입체 음향 재생 방법, 입체 영상 재생 시스템 및 입체 음향 재생 시스템
WO2018139786A1 (ko) * 2017-01-25 2018-08-02 삼성전자 주식회사 전자 장치 및 전자 장치 제어 방법
US11054644B2 (en) 2017-01-25 2021-07-06 Samsung Electronics Co., Ltd Electronic device and method for controlling electronic device
KR101834925B1 (ko) 2017-09-25 2018-03-06 주식회사 대경바스컴 객체 위치 변화를 벡터로 변환하여 영상 및 음향 신호를 동기화한 가상스튜디오 방송 편집 및 송출 기기와 이를 이용한 방법

Also Published As

Publication number Publication date
WO2015037905A1 (ko) 2015-03-19

Similar Documents

Publication Publication Date Title
JP7348320B2 (ja) オーディオ信号処理システム及び方法
KR101381396B1 (ko) 입체음향 조절기를 내포한 멀티 뷰어 영상 및 3d 입체음향 플레이어 시스템 및 그 방법
JP5688030B2 (ja) 三次元音場の符号化および最適な再現の方法および装置
AU2012279357A1 (en) System and method for adaptive audio signal generation, coding and rendering
Shirley et al. Platform independent audio
KR101682105B1 (ko) 입체음향 조절 방법 및 장치
Brandenburg et al. Audio Codecs: Listening pleasure from the digital world
Benicek Methods and Techniques for Capturing Music Concerts for Virtual Reality Experiences
Chinchilla Free the voice! Systems, Devices and Methods for Multi-Dimensional Spatial Recording and Playback
KR101534295B1 (ko) 멀티 뷰어 영상 및 3d 입체음향 제공방법 및 장치
Miller III Recording immersive 5.1/6.1/7.1 surround sound, compatible stereo, and future 3D (with height)
Aro Surround sound in radio drama

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170109

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180328

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190325

Year of fee payment: 6