KR20190112563A - 재생중 입체 오디오를 편집하고 편집된 입체 오디오를 재생하는 방법 및 이를 위한 어플리케이션 - Google Patents

재생중 입체 오디오를 편집하고 편집된 입체 오디오를 재생하는 방법 및 이를 위한 어플리케이션 Download PDF

Info

Publication number
KR20190112563A
KR20190112563A KR1020180034712A KR20180034712A KR20190112563A KR 20190112563 A KR20190112563 A KR 20190112563A KR 1020180034712 A KR1020180034712 A KR 1020180034712A KR 20180034712 A KR20180034712 A KR 20180034712A KR 20190112563 A KR20190112563 A KR 20190112563A
Authority
KR
South Korea
Prior art keywords
audio
mode
sound
monitoring
stereoscopic
Prior art date
Application number
KR1020180034712A
Other languages
English (en)
Inventor
박승민
박준서
곽남훈
Original Assignee
박승민
곽남훈
박준서
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 박승민, 곽남훈, 박준서 filed Critical 박승민
Priority to KR1020180034712A priority Critical patent/KR20190112563A/ko
Publication of KR20190112563A publication Critical patent/KR20190112563A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/00992—Circuits for stereophonic or quadraphonic recording or reproducing
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/26—Pre-filtering or post-filtering
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/36—Monitoring, i.e. supervising the progress of recording or reproducing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/15—Aspects of sound capture and related signal processing for recording or reproduction

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Stereophonic System (AREA)

Abstract

재생중 입체 오디오를 편집하고 편집된 입체 오디오를 재생하는 방법 및 이를 위한 어플리케이션이 개시된다. 본 발명의 일실시예에 따른 입체 오디오 재생 방법은 오디오가 재생되고 있는 중간에 상기 오디오에 대한 음상(SOUND IMAGE)의 위치를 편집 가능한 재생중편집(IN-PLAY EDIT) 인터페이스를 기반으로 편집된 입체 오디오 컨텐츠를 입력받고, 입체 오디오 컨텐츠에 포함된 메타데이터를 기반으로 재생중편집 인터페이스에 의한 모니터링 모드를 검출하고, 모니터링 모드와 입체 오디오 컨텐츠를 출력할 재생 모드를 비교하고, 모드 비교 결과에 상응하는 입체음향필터를 적용하여 입체 오디오 컨텐츠를 재생하는 단계를 포함한다.

Description

재생중 입체 오디오를 편집하고 편집된 입체 오디오를 재생하는 방법 및 이를 위한 어플리케이션{METHOD FOR EDITING STEREO AUDIO DURING PLAYBACK AND PLAYBACK EDITED STEREO AUDIO BASED ON PRO-DISTORTION AND APPLICATION THEREOF}
본 발명은 입체 오디오 편집 및 재생 기술에 관한 것으로, 특히 입체 오디오 편집 시 모니터링 환경과 편집된 입체 오디오의 재생 환경을 고려하여 사용자의 편집의도를 최대한 반영한 입체 오디오를 재생할 수 있는 기술에 관한 것이다.
최근 다양한 소프트웨어를 이용하여 오디오에 입체적 효과를 구현하는 기술이 소개되고 있다. 그러나 소프트웨어를 통해 입체 오디오를 편집하는 과정에서 사용자에게 들리는 모니터링 사운드와 편집이 완료된 입체 오디오가 재생될 때의 사운드는 편집 환경과 재생 환경에 따라 차이가 발생할 수 있다. 예를 들어, 편집 시 사용자가 사용하는 모니터링 음향기기가 이어폰이나 헤드폰 같은 바이너럴 음향기기이고, 편집이 완료된 입체 오디오를 출력하는 재생 음향기기가 스피커라면 음향기기들 간의 감도 차이에 의해 사용자의 편집 의도가 충분히 반영된 사운드가 재생되지 않을 수도 있다.
한국 등록 특허 제10-1599554호, 2016년 2월 25일 등록(명칭: SAC 부가정보를 이용한 3D 바이노럴 필터링 시스템 및 방법)
본 발명의 목적은 입체 오디오를 편집한 사용자의 의도를 충분히 반영하여 입체 오디오의 재생 사운드를 구현하는 것이다.
또한, 본 발명의 목적은 편집에 사용되는 음향기기와 재생에 사용되는 음향기기 간에 감도차이가 존재하여도 재생되는 사운드에서는 차이가 느껴지지 않도록 할 수 있는 입체 오디오 재생 방법을 제공하는 것이다.
또한, 본 발명의 목적은 사용자마다 개인화된 입체음향필터를 제공함으로써 사용자가 선호하는 형태로 입체 오디오 컨텐츠를 생성하는 것이다.
상기한 목적을 달성하기 위한 본 발명에 따른 입체 오디오 재생 방법은, 오디오가 재생되고 있는 중간에 상기 오디오에 대한 음상(SOUND IMAGE)의 위치를 편집 가능한 재생중편집(IN-PLAY EDIT) 인터페이스를 기반으로 편집된 입체 오디오 컨텐츠를 입력받는 단계; 상기 입체 오디오 컨텐츠에 포함된 메타데이터를 기반으로 상기 재생중편집 인터페이스에 의한 모니터링 모드를 검출하고, 상기 모니터링 모드와 상기 입체 오디오 컨텐츠를 출력할 재생 모드를 비교하는 단계; 및 모드 비교 결과에 상응하는 입체음향필터를 적용하여 상기 입체 오디오 컨텐츠를 재생하는 단계를 포함한다.
이 때, 재생하는 단계는 상기 모니터링 모드와 상기 재생 모드가 일치하지 않는 경우, 상기 입체음향필터는 왜곡된 왜곡 입체음향필터일 수 있다.
이 때, 재생하는 단계는 상기 모니터링 모드가 바이노럴(BINAURAL) 모드에 상응하고, 상기 재생 모드가 디스크리트(DISCRETE) 멀티 채널 모드에 상응하는 경우, 상기 입체음향필터는 강화된 왜곡 입체음향필터일 수 있다.
이 때, 재생하는 단계는 상기 모니터링 모드가 디스크리트 멀티 채널 모드에 상응하고, 상기 재생 모드가 바이노럴 모드에 상응하는 경우, 상기 입체음향필터는 약화된 왜곡 입체음향필터일 수 있다.
이 때, 왜곡 입체음향필터는 기본(DEFAULT) 입체음향필터 대비 음상의 높이 및 거리 중 적어도 하나를 왜곡시킬 수 있다.
이 때, 강화된 왜곡 입체음향필터는 상기 음상의 높이 및 거리 중 적어도 하나를 강화시키고, 상기 약화된 왜곡 입체음향필터는 상기 음상의 높이 및 거리 중 적어도 하나를 약화시킬 수 있다.
이 때, 입체 오디오 재생 방법은 상기 입체음향필터를 커스터마이징하는 단계를 더 포함할 수 있다.
이 때, 커스터마이징하는 단계는 음상의 위치를 변경하면서 테스트 사운드를 제공하는 단계; 상기 음상의 사운드가 기준위치에 도달했음을 사용자로부터 입력 받는 단계; 및 상기 입체음향필터를 상기 사용자에 상응하게 재설정하는 단계를 포함할 수 있다.
또한, 본 발명의 일실시예에 따른 재생중 입체 오디오 편집 방법은, 오디오 컨텐츠에 대한 음상(SOUND IMAGE)의 위치를 실시간으로 편집 가능한 재생중편집(IN_PLAY EDIT) 인터페이스를 제공하는 단계; 상기 재생중편집 인터페이스에 기반한 사용자 입력에 따라 입체음향필터링된 오디오 컨텐츠에 상응하는 모니터링 오디오를 실시간으로 재생하는 단계; 및 상기 모니터링 오디오에 대한 모니터링 정보와 상기 사용자 입력에 따른 편집 정보를 기반으로 상기 오디오 컨텐츠에 대한 메타데이터를 생성하는 단계를 포함하고, 상기 모니터링 정보는 상기 모니터링 오디오가 바이노럴(BINAURAL) 모드 및 디스크리트(DISCRETE) 멀티 채널 모드 중 어느 모드로 재생되었는지에 관한 정보를 포함한다.
이 때, 재생중 입체 오디오 편집 방법은 상기 오디오 컨텐츠와 상기 메타데이터를 조합하여 입체 오디오 컨텐츠에 상응하는 컨테이너 파일을 생성하는 단계를 더 포함할 수 있다.
이 때, 바이노럴 모드는 레프트 채널 및 라이트 채널에 상응하는 2채널 모드에 상응하고, 상기 디스크리트 멀티 채널 모드는 복수개의 스피커들에 기반한 멀티 채널 모드에 상응할 수 있다.
또한, 본 발명의 일실시예에 따른 컴퓨터로 판독 가능한 기록매체에 저장된 입체 오디오 재생 어플리케이션은, 오디오가 재생되고 있는 중간에 상기 오디오에 대한 음상(SOUND IMAGE)의 위치를 편집 가능한 재생중편집(IN-PLAY EDIT) 인터페이스를 기반으로 편집된 입체 오디오 컨텐츠를 입력받는 단계; 상기 입체 오디오 컨텐츠에 포함된 메타데이터를 기반으로 상기 재생중편집 인터페이스에 의한 모니터링 모드를 검출하고, 상기 모니터링 모드와 상기 입체 오디오 컨텐츠를 출력할 재생 모드를 비교하는 단계; 및 모드 비교 결과에 상응하는 입체음향필터를 적용하여 상기 입체 오디오 컨텐츠를 재생하는 단계를 실행시킨다.
이 때, 모니터링 모드와 상기 재생 모드가 일치하지 않는 경우, 상기 입체음향필터는 왜곡된 왜곡 입체음향필터일 수 있다.
이 때, 모니터링 모드가 바이노럴(BINAURAL) 모드에 상응하고, 상기 재생 모드가 디스크리트(DISCRETE) 멀티 채널 모드에 상응하는 경우, 상기 입체음향필터는 강화된 왜곡 입체음향필터일 수 있다.
이 때, 모니터링 모드가 디스크리트 멀티 채널 모드에 상응하고, 상기 재생 모드가 바이노럴 모드에 상응하는 경우, 상기 입체음향필터는 약화된 왜곡 입체음향필터일 수 있다.
이 때, 왜곡 입체음향필터는 기본(DEFAULT) 입체음향필터 대비 음상의 높이 및 거리 중 적어도 하나를 왜곡시킬 수 있다.
이 때, 강화된 왜곡 입체음향필터는 상기 음상의 높이 및 거리 중 적어도 하나를 강화시키고, 상기 약화된 왜곡 입체음향필터는 상기 음상의 높이 및 거리 중 적어도 하나를 약화시킬 수 있다.
이 때, 음상의 위치를 변경하면서 테스트 사운드를 제공하는 단계; 상기 음상의 사운드가 기준위치에 도달했음을 사용자로부터 입력 받는 단계; 및 상기 입체음향필터를 상기 사용자에 상응하게 재설정하여 상기 입체음향필터를 커스터마이징하는 단계를 더 실행시킬 수 있다.
또한, 본 발명의 일실시예에 따른 컴퓨터로 판독 가능한 기록매체에 저장된 재생중 편집 어플리케이션은 오디오 컨텐츠에 대한 음상(SOUND IMAGE)의 위치를 실시간으로 편집 가능한 재생중편집(IN_PLAY EDIT) 인터페이스를 제공하는 단계; 상기 재생중편집 인터페이스에 기반한 사용자 입력에 따라 입체음향필터링된 오디오 컨텐츠에 상응하는 모니터링 오디오를 실시간으로 재생하는 단계; 및 상기 모니터링 오디오에 대한 모니터링 정보와 상기 사용자 입력에 따른 편집 정보를 기반으로 상기 오디오 컨텐츠에 대한 메타데이터를 생성하는 단계를 실행시키고, 상기 모니터링 정보는 상기 모니터링 오디오가 바이노럴(BINAURAL) 모드 및 디스크리트(DISCRETE) 멀티 채널 모드 중 어느 모드로 재생되었는지에 관한 정보를 포함한다.
이 때, 오디오 컨텐츠와 상기 메타데이터를 조합하여 입체 오디오 컨텐츠에 상응하는 컨테이너 파일을 생성하는 단계를 더 실행시킬 수 있다.
이 때, 바이노럴 모드는 레프트 채널 및 라이트 채널에 상응하는 2채널 모드에 상응하고, 상기 디스크리트 멀티 채널 모드는 복수개의 스피커들에 기반한 멀티 채널 모드에 상응할 수 있다.
본 발명에 따르면, 입체 오디오를 편집한 사용자의 의도를 충분히 반영하여 입체 오디오의 재생 사운드를 구현할 수 있다.
또한, 본 발명은 편집에 사용되는 음향기기와 재생에 사용되는 음향기기 간에 감도차이가 존재하여도 재생되는 사운드에서는 차이가 느껴지지 않도록 할 수 있는 입체 오디오 재생 방법을 제공할 수 있다.
또한, 본 발명은 사용자마다 개인화된 입체음향필터를 제공함으로써 사용자가 선호하는 형태로 입체 오디오 컨텐츠를 생성할 수 있다.
도 1은 본 발명의 일실시예에 따른 입체 오디오 편집과 재생 시스템을 나타낸 도면이다.
도 2는 본 발명의 일실시예에 따른 재생중 입체 오디오 편집 방법을 나타낸 동작흐름도이다.
도 3 내지 도 4는 본 발명에 따른 재생중편집 인터페이스의 일 예를 나타낸 도면이다.
도 5는 본 발명에 따른 입체 오디오 컨테이너 파일의 일 예를 나타낸 도면이다.
도 6은 본 발명의 일실시예에 따른 입체 오디오 재생 방법을 나타낸 동작흐름도이다.
도 7 내지 도 8은 입체 오디오의 편집환경과 재생환경에 따른 오디오 사운드의 일 예를 나타낸 도면이다.
도 9는 본 발명에 따른 기본 입체음향필터의 일 예를 나타낸 도면이다.
도 10 내지 도 13은 본 발명에 따른 왜곡 입체음향필터의 일 예를 나타낸 도면이다.
도 14는 본 발명에 따른 테스트 사운드를 제공하는 커스터마이징 인터페이스의 일 예를 나타낸 도면이다.
도 15는 본 발명의 일실시예에 따른 입체 오디오 재생 과정을 상세하게 나타낸 동작흐름도이다.
도 16은 본 발명의 일실시예에 따른 입체 오디오 편집 단말 장치를 나타낸 블록도이다.
도 17은 본 발명의 일실시에에 따른 입체 오디오 재생 단말 장치를 나타낸 블록도이다.
본 발명을 첨부된 도면을 참조하여 상세히 설명하면 다음과 같다. 여기서, 반복되는 설명, 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능, 및 구성에 대한 상세한 설명은 생략한다. 본 발명의 실시형태는 당 업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해서 제공되는 것이다. 따라서, 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.
이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 일실시예에 따른 입체 오디오 편집과 재생 시스템을 나타낸 도면이다.
도 1을 참조하면, 본 발명의 일실시예에 따른 입체 오디오 편집과 재생 시스템은 바이노럴 모니터링 기기(111) 또는 디스크리트 모니터링 기기(121)가 연결된 편집 단말(110)과 바이노럴 재생 기기(121) 또는 디스크리트 재생 기기(122)가 연결된 재생 단말(120)을 포함한다.
편집 단말(110)은 본 발명에 따른 재생중 편집 어플리케이션을 통해 오디오 컨텐츠에 대한 음상의 위치를 실시간으로 편집 가능한 재생중편집 인터페이스를 제공하는 단말 장치에 해당할 수 있다.
이 때, 편집 단말(110)은 통신망에 연결되어 서버로부터 재생중 편집 어플리케이션을 획득하고 실행할 수 있는 장치일 수 있다. 예를 들어, 편집 단말(110)은 모든 정보통신기기, 멀티미디어 단말, 유선 단말, 고정형 단말, 이동통신단말기 및 IP(Internet Protocol) 단말 등의 다양한 단말에 해당할 수 있다. 또한, 편집 단말(110)은 휴대폰, PMP(Portable Multimedia Played), MID(Mobile Internet Device), 스마트폰(Smart Phone), 데스크톱(Desktop), 태블릿컴퓨터(Tablet PC), 노트북(Note book), 넷북(Net Book), 개인휴대용 정보단말(Personal Digital Assistant; PDA), 스마트 TV 및 정보통신 기기 등과 같은 다양한 이동통신 사양을 갖는 모바일(Mobile) 단말일 수도 있다.
또한, 편집 단말(110)은 재생중편집 인터페이스에 기반한 사용자 입력에 따라 입체음향필터링된 오디오 컨텐츠에 상응하는 모니터링 오디오를 실시간으로 재생할 수 있다.
예를 들어, 편집 단말(110)은 숫자 및 문자 정보 등의 다양한 정보를 입력 받고, 각종 기능을 설정 및 편집 단말(110)의 기능 제어와 관련하여 입력되는 신호를 입력부를 통해 제어부로 전달할 수 있다. 또한, 편집 단말(110)의 입력부는 사용자의 터치 또는 조작에 따른 입력 신호를 발생하는 키패드와 터치패드 중 적어도 하나를 포함하여 구성할 수 있다. 이 때, 편집 단말(110)의 입력부는 편집 단말(110)의 표시부와 함께 하나의 터치패널(또는 터치 스크린(touch screen))의 형태로 구성되어 입력과 표시 기능을 동시에 수행할 수 있다. 또한, 편집 단말(110)의 입력부는 키보드, 키패드, 마우스, 조이스틱 등과 같은 입력 장치 외에도 향후 개발될 수 있는 모든 형태의 입력 수단이 사용될 수 있다.
이 때, 실시간으로 재생되는 모니터링 오디오는 편집 단말(110)에 연결된 이어폰이나 헤드폰과 같은 바이노럴 모니터링 기기(111) 또는 스피커와 같은 디스크리트 모니터링 기기(112)를 통해 출력될 수 있다.
예를 들어, 편집 단말(110)에 바이노럴 모니터링 기기(111)가 연결되어 있다면 모니터링 오디오를 바이노럴 렌더링하여 출력해줄 수 있고, 편집 단말(110)에 디스크리트 모니터링 기기(112)가 연결되어 있다면 입체음향필터링된 모니터링 오디오를 복수개의 스피커들을 통해 출력해줄 수도 있다.
또한, 편집 단말(110)은 모니터링 오디오에 대한 모니터링 정보와 사용자 입력에 따른 편집 정보를 기반으로 오디오 컨텐츠에 대한 메타데이터를 생성할 수 있다.
이 때, 모니터링 정보는 모니터링 오디오가 바이노럴(BINAURAL) 모드 및 디스크리트(DISCRETE) 멀티 채널 모드 중 어느 모드로 재생되었는지에 관한 정보를 포함할 수 있다. 즉, 편집 단말(110)에 바이노럴 모니터링 기기(111)가 연결된 상태로 모니터링 오디오가 재생되었으면, 모니터링 정보에 바이노럴 모드로 재생되었다는 정보가 포함될 수 있다. 반대로 편집 단말(110)에 디스크리트 모니터링 기기(112)가 연결된 상태로 모니터링 오디오가 재생되었으면, 모니터링 정보에 디스크리트 모드로 재생되었다는 정보가 포함될 수 있다.
이 때, 편집 정보는 사용자 입력에 따라 편집된 음상의 위치 정보를 포함할 수 있다. 예를 들어, 편집 정보에는 음상의 방위, 높이 및 거리 중 적어도 하나에 상응하는 위치 정보가 포함될 수 있다.
이 때, 바이노럴 모드는 레프트 채널 및 라이트 채널에 상응하는 2채널 모드에 상응하고, 디스크리트 멀티 채널 모드는 복수개의 스피커들에 기반한 멀티 채널 모드에 상응할 수 있다.
또한, 편집 단말(110)은 오디오 컨텐츠와 메타데이터를 조합하여 입체 오디오 컨텐츠에 상응하는 컨테이너 파일을 생성할 수 있다. 즉, 편집 단말(110)은 재생 단말(120)로 컨테이너 파일을 전송함으로써 입체 오디오 컨텐츠를 제공할 수 있다.
또한, 도 1에 도시된 것처럼, 재생 단말(120)은 본 발명에 따른 입체 오디오 재생 어플리케이션을 통해 오디오가 재생되고 있는 중간에 오디오에 대한 음상의 위치를 편집 가능한 재생중편집 인터페이스를 기반으로 편집된 입체 오디오 컨텐츠를 입력 받을 수 있다.
이 때, 재생 단말(120)은 통신망에 연결되어 서버로부터 입체 오디오 재생 어플리케이션을 획득하고 실행할 수 있는 장치일 수 있다. 예를 들어, 재생 단말(120)은 모든 정보통신기기, 멀티미디어 단말, 유선 단말, 고정형 단말, 이동통신단말기 및 IP(Internet Protocol) 단말 등의 다양한 단말에 해당할 수 있다. 또한, 재생 단말(120)은 휴대폰, PMP(Portable Multimedia Played), MID(Mobile Internet Device), 스마트폰(Smart Phone), 데스크톱(Desktop), 태블릿컴퓨터(Tablet PC), 노트북(Note book), 넷북(Net Book), 개인휴대용 정보단말(Personal Digital Assistant; PDA), 스마트 TV 및 정보통신 기기 등과 같은 다양한 이동통신 사양을 갖는 모바일(Mobile) 단말일 수도 있다.
또한, 재생 단말(120)은 입체 오디오 컨텐츠에 포함된 메타데이터를 기반으로 재생중편집 인터페이스에 의한 모니터링 모드를 검출하고, 모니터링 모드와 입체 오디오 컨텐츠를 출력할 재생 모드를 비교할 수 있다.
예를 들어, 편집 단말(110)에서 전송된 입체 오디오 컨텐츠에 상응하는 컨테이너 파일을 통해 메타데이터를 획득할 수 있고, 메타데이터에 포함된 모니터링 정보를 기반으로 모니터링 모드를 검출할 수 있다.
이 때, 입체 오디오 컨텐츠는 재생 단말(120)에 연결된 이어폰이나 헤드폰과 같은 바이노럴 재생 기기(121) 또는 스피커와 같은 디스크리트 재생 기기(122)를 통해 출력될 수 있다. 예를 들어, 재생 단말(120)에 바이노럴 재생 기기(121)가 연결되어 있다면 입체 오디오 컨텐츠를 바이노럴 렌더링하여 출력해줄 수 있고, 재생 단말(120)에 디스크리트 재생 기기(122)가 연결되어 있다면 입체 오디오 컨텐츠를 복수개의 스피커들을 통해 출력해줄 수도 있다.
또한, 재생 단말(120)은 모드 비교 결과에 상응하는 입체음향필터를 적용하여 입체 오디오 컨텐츠를 재생할 수 있다.
이 때, 모니터링 모드와 재생 모드가 일치하지 않는 경우, 입체음향필터는 왜곡된 왜곡 입체음향필터일 수 있다.
즉, 모니터링 모드와 재생 모드가 일치하지 않는다는 것은, 편집 단말(110)에 연결된 음향 기기와 재생 단말(120)에 연결된 음향 기기의 종류가 다르다는 것을 의미할 수 있다. 이러한 경우, 음향 기기의 종류에 따른 감도 차이 때문에 편집 단말(110)에서 출력된 모니터링 오디오에서 느껴지는 음상의 위치와 재생 단말(120)에서 출력된 입체 오디오 컨텐츠에서 느껴지는 음상의 위치가 서로 상이할 수 있다.
따라서, 모니터링 모드와 재생 모드가 일치하지 않는 경우, 입체 오디오 컨텐츠의 사운드가 모니터링 오디오의 사운드와 최대한 일치할 수 있도록 왜곡 입체음향필터를 적용할 수 있다.
이 때, 왜곡 입체음향필터는 기본(DEFAULT) 입체음향필터 대비 음상의 높이 및 거리 중 적어도 하나를 왜곡시킬 수 있다.
이 때, 모니터링 모드가 바이노럴 모드에 상응하고, 재생 모드가 디스크리트 멀티 채널 모드에 상응하는 경우, 입체음향필터는 강화된 왜곡 입체음향필터일 수 있다.
이 때, 강화된 왜곡 입체음향필터는 음상의 높이 및 거리 중 적어도 하나를 강화시킬 수 있다.
또는, 모니터링 모드가 디스크리트 멀티 채널 모드에 상응하고, 재생 모드가 바이노럴 모드에 상응하는 경우, 입체음향필터는 약화된 왜곡 입체음향필터일 수 있다.
이 때, 약화된 왜곡 입체음향필터는 음상의 높이 및 거리 중 적어도 하나를 약화시킬 수 있다.
또한, 재생 단말(120)은 입체음향필터를 커스터마이징할 수 있다. 즉, 입체음향필터를 사용자에 적합한 형태로 생성할 수 있다.
이 때, 음상의 위치를 변경하면서 테스트 사운드를 제공할 수 있고, 테스트 사운드를 들은 사용자로부터 음상의 사운드가 기준위치에 도달했음을 입력 받을 수 있다.
이 후, 사용자 입력을 기반으로 따라 입체음향필터를 사용자에 상응하게 재설정할 수 있다.
이와 같이 사용자에게 개인화된 입체음향필터를 제공함으로써 사용자가 선호하는 형태로 입체 오디오 컨텐츠를 생성할 수 있다.
도 2는 본 발명의 일실시예에 따른 재생중 입체 오디오 편집 방법을 나타낸 동작흐름도이다.
도 2를 참조하면, 본 발명의 일실시예에 따른 재생중 입체 오디오 편집 방법은 오디오 컨텐츠에 대한 음상(SOUND IMAGE)의 위치를 실시간으로 편집 가능한 재생중편집(IN-PLAY EDIT) 인터페이스를 제공한다(S210)
이 때, 재생중편집 인터페이스는 오디오 컨텐츠에 대한 음상의 위치를 편집하기 위한 툴(tool)에 상응하는 것으로, 컴퓨터에 설치되어 실행되는 컴퓨터 프로그램에 상응할 수 있다.
이 때, 재생중편집 인터페이스는 오디오 컨텐츠에 대한 음상을 편집하기 위한 재생중 편집 어플리케이션의 실행을 기반으로 제공될 수 있으므로, 재생중 편집 어플리케이션을 실행할 수 있는 단말 장치를 통해 제공될 수 있다.
예를 들어, 재생중편집 인터페이스는 도 3 내지 도 4에 도시된 것처럼 구성될 수 있다.
먼저, 도 3을 참조하면, 재생중편집 인터페이스는 음상의 높이를 조절하기 위한 제1 인터페이스(310), 음상의 거리를 조절하기 위한 제2 인터페이스(320)를 포함할 수 있다.
예를 들어, 사용자가 오디오 재생 메뉴(330)를 통해 오디오 컨텐츠를 실행시키면, 모니터링 정보(360)에 상응하게 연결된 음향기기를 통해 오디오 컨텐츠의 사운드가 출력될 수 있다. 이 때, 사용자는 음향기기를 통해 오디오 컨텐츠를 들으면서 실시간으로 제1 인터페이스(310)와 제2 인터페이스(320)를 조작하여 음상의 높이와 거리를 조절할 수 있다.
이 때, 도 3에는 도시되어 있지 않지만, 오디오 컨텐츠가 영상과 결합되어 있는 미디어 컨텐츠일 경우, 재생중편집 인터페이스를 통해 영상도 함께 재생해줌으로써 사용자가 영상을 보면서 음상의 위치를 편집할 수 있도록 할 수도 있다.
또한, 도 3을 참조하면, 재생중편집 인터페이스는 재생되고 있는 오디오 컨텐츠의 볼륨 정보(340), 채널 정보(350, 351) 및 모니터링 정보(360) 등을 디스플레이 할 수 있다. 이 때, 디스플레이되는 정보들은 편집도 가능할 수 있으며, 모니터링 정보(360)에 경우에는 재생중편집 인터페이스를 실행시키는 단말 장치에 연결된 음향기기가 변경되는 경우, 해당 음향기기에 상응하게 변경시킬 수 있다. 또한, 재생중편집 인터페이스에서 단말 장치에 연결된 음향기기의 종류를 식별하여 모니터링 모드를 변경할 수도 있다.
다른 예를 들어, 도 4를 참조하면, 재생중편집 인터페이스는 음상의 위치를 조절하기 위한 제3 인터페이스(310)를 포함할 수도 있다.
예를 들어, 사용자가 음향기기를 통해 오디오 컨텐츠를 들으면서 실시간으로 제3 인터페이스(410) 상의 음상 위치(411, 412)를 선택하거나 드래그하여 음상의 높이와 거리를 조절할 수도 있다.
또한, 본 발명의 일실시예에 따른 재생중 입체 오디오 편집 방법은 재생중편집 인터페이스에 기반한 사용자 입력에 따라 입체음향필터링된 오디오 컨텐츠에 상응하는 모니터링 오디오를 실시간으로 재생한다(S220)
이 때, 재생중편집 어플리케이션이 실행되고 있는 단말 장치에 연결된 음향 기기를 통해 모니터링 오디오가 재생될 수 있다. 예를 들어, 단말 장치에 이어폰이나 헤드폰이 연결된 경우에는 모니터링 오디오를 바이노럴 렌더링하여 출력해줄 수 있고, 단말 장치에 스피커가 연결된 경우에는 스피커를 통해 모니터링 오디오를 출력해줄 수도 있다.
또한, 본 발명의 일실시예에 따른 재생중 입체 오디오 편집 방법은 모니터링 오디오에 대한 모니터링 정보와 사용자 입력에 따른 편집 정보를 기반으로 오디오 컨텐츠에 대한 메타데이터를 생성한다(S230).
이 때, 편집 정보는 재생중편집 인터페이스에 대한 사용자 입력 값을 기반으로 생성될 수 있다. 즉, 편집 정보에는 사용자가 재생중편집 인터페이스를 조작하여 편집된 음상의 위치정보가 포함될 수 있다. 예를 들어, 편집 정보에는 음상의 방위, 높이 및 거리 중 적어도 하나에 상응하는 위치 정보가 포함될 수 있다.
이 때, 사용자 입력 값은 사용자의 터치 또는 조작에 따른 입력 신호를 발생하는 키패드와 터치패드 중 적어도 하나를 기반으로 입력될 수 있다.
이 때, 터치 입력의 경우, 멀티터치 입력 값에 상응할 수 있다. 즉, 터치 기반의 키패드에서 복수개의 포인트들을 동시에 설정할 수 있는 멀티 터치 기반의 입력 값에 상응하게 사용자 입력이 획득될 수도 있다.
이 때, 모니터링 정보는 모니터링 오디오가 바이노럴(BINARUAL) 모드 및 디스크리트(DISCRETE) 멀티 채널 모드 중 어느 모드로 재생되었는지에 관한 정보를 포함할 수 있다. 즉, 재생중편집 인터페이스를 실행시키는 단말 장치에 이어폰이나 헤드폰과 같은 바이노럴 음향 기기가 연결된 상태로 모니터링 오디오가 재생되었으면, 모니터링 정보에 바이노럴 모드로 재생되었다는 정보가 포함될 수 있다. 반대로 재생중편집 인터페이스를 실행시키는 단말 장치에 복수개의 스피커들에 상응하는 디스크리트 멀티 채널 음향 기기가 연결된 상태로 모니터링 오디오가 재생되었으면, 모니터링 정보에 디스크리트 멀티 채널 모드로 재생되었다는 정보가 포함될 수 있다.
이 때, 바이노럴 모드는 레프트 채널 및 라이트 채널에 상응하는 2채널 모드에 상응하고, 디스크리트 멀티 채널 모드는 복수개의 스피커들에 기반한 멀티 채널 모드에 상응할 수 있다.
또한, 도 2에는 도시하지 아니하였으나, 본 발명의 일실시예에 따른 재생중 입체 오디오 편집 방법은 오디오 컨텐츠와 메타데이터를 조합하여 입체 오디오 컨텐츠에 상응하는 컨테이너 파일을 생성한다.
예를 들어, 도 5를 참조하면, 본 발명의 일실시예에 따른 컨테이너 파일(550)은 입체 오디오 컨텐츠의 편집 정보(510)와 모니터링 정보(520)를 포함하는 메타데이터(530)와 편집되지 않은 오리지널 오디오 컨텐츠(540)로 구성될 수 있다.
또한, 도 2에는 도시하지 아니하였으나, 본 발명의 일실시예에 따른 재생중 입체 오디오 편집 방법은 네트워크와 같은 통신망을 통해 재생중 입체 오디오 편집을 위해 필요한 정보를 송수신할 수 있다. 특히, 본 발명에서는 네트워크를 기반으로 어플리케이션을 제공하는 서버로부터 재생중 편집 어플리케이션을 획득하거나 또는 재생 단말로 편집된 입체 오디오 컨텐츠를 전송할 수도 있다.
또한, 도 2에는 도시하지 아니하였으나, 본 발명의 일실시예에 따른 재생중 입체 오디오 편집 방법은 상술한 바와 같이 본 발명의 실시예에 따른 재생중 입체 오디오 편집 과정에서 발생하는 다양한 정보를 별도의 저장 모듈에 저장한다.
도 6은 본 발명의 일실시예에 따른 입체 오디오 재생 방법을 나타낸 동작흐름도이다.
도 6을 참조하면, 본 발명의 일실시예에 따른 입체 오디오 재생 방법은 오디오가 재생되고 있는 중간에 오디오에 대한 음상(SOUND IMAGE)의 위치를 편집 가능한 재생중편집(IN-PLAY EDIT) 인터페이스를 기반으로 편집된 입체 오디오 컨텐츠를 입력받는다(S610).
이 때, 입체 오디오 컨텐츠는 재생중편집 인터페이스를 통해 입체 오디오 컨텐츠를 편집한 편집 단말을 통해 수신되거나 또는 별도의 서버를 통해 수신될 수도 있다.
이 때, 입체 오디오 컨텐츠는 메타데이터를 포함하는 컨테이너 파일의 형태로 수신될 수 있으며, 재생중편집 인터페이스에 의한 편집 정보를 포함하는 메타데이터와 함께 편집되기 전 오리지널 오디오 컨텐츠가 함께 포함될 수 있다.
또한, 본 발명의 일실시예에 따른 입체 오디오 재생 방법은 입체 오디오 컨텐츠에 포함된 메타데이터를 기반으로 재생중편집 인터페이스에 의한 모니터링 모드를 검출하고, 모니터링 모드와 입체 오디오 컨텐츠를 출력할 재생 모드를 비교한다(S620).
이 때, 메타데이터에 포함된 모니터링 정보를 기반으로 모니터링 모드를 검출할 수 있다.
이 때, 모니터링 모드는 재생중편집 인터페이스를 통해 음상의 위치가 편집되는 동안에 모니터링 오디오가 출력되는 음향 기기의 종류에 상응하게 결정될 수 있다. 예를 들어, 모니터링 오디오가 이어폰이나 헤드폰과 같은 바이노럴 음향 기기를 통해 출력된 경우에는 모니터링 모드가 바이노럴 모드에 상응할 수 있고, 멀티 스피커와 같은 디스크리트 멀티 채널 음향 기기를 통해 출력된 경우에는 모니터링 모드가 디스크리트 멀티 채널 모드에 상응할 수 있다.
이 때, 재생 모드는 입체 오디오 컨텐츠를 출력하는 음향 기기의 종류에 상응하게 결정될 수 있다. 예를 들어, 입체 오디오 컨텐츠가 이어폰이나 헤드폰과 같은 바이노럴 음향 기기를 통해 출력된 경우에는 재생 모드가 바이노럴 모드에 상응할 수 있고, 멀티 스피커와 같은 디스크리트 멀티 채널 음향 기기를 통해 출력된 경우에는 재생 모드가 디스크리트 멀티 채널 모드에 상응할 수 있다.
또한, 본 발명의 일실시예에 따른 입체 오디오 재생 방법은 모드 비교 결과에 상응하는 입체음향필터를 적용하여 입체 오디오 컨텐츠를 재생한다(S630).
이 때, 모드 비교 결과는 크게 모니터링 모드와 재생 모드가 일치하는 경우와 모니터링 모드와 재생 모드가 일치하지 않는 경우로 나뉠 수 있다.
만약, 모니터링 모드와 재생 모드가 일치하는 경우에는 기본 입체음향필터를 적용하여 입체 오디오 컨텐츠를 재생할 수 있다.
이 때, 기본 입체음향필터는 입체 오디오 컨텐츠에 상응하게 획득된 메타데이터와 오리지널 오디오 컨텐츠를 이용하여 입체 오디오 컨텐츠를 생성할 수 있다.
예를 들어, 기본 입체음향필터는 머리전달함수(Head Related Transfer function, HRTF)의 일 예에 해당할 수 있으며, 메타데이터에 포함된 편집 정보를 머리전달함수에 적용될 공간 파라미터로 적용할 수 있다. 따라서, 편집 정보가 적용된 기본 입체음향필터로 오리지널 오디오 컨텐츠를 필터링함으로써 입체 오디오 컨텐츠를 생성할 수 있다.
이 때, 모니터링 모드와 재생 모드가 일치하지 않는 경우, 입체음향필터는 왜곡된 왜곡 입체음향필터일 수 있다.
이 때, 모니터링 모드와 재생 모드가 일치하지 않는다는 것은, 재생중편집 인터페이스를 통해 오디오 컨텐츠를 편집할 때에 모니터링 오디오를 출력하는 음향 기기와 입체 오디오 컨텐츠를 출력하는 음향 기기의 종류가 다르다는 것을 의미할 수 있다. 이러한 경우, 음향 기기의 종류에 따른 감도 차이 때문에 모니터링 오디오에서 느껴지는 음상의 위치와 입체 오디오 컨텐츠에서 느껴지는 음상의 위치가 서로 상이할 수 있다.
예를 들어, 도 7을 참조하면, 바이노럴 모드로 편집된 입체 오디오 컨텐츠(700)가 입력되었다고 가정할 수 있다. 이 때, 입체 오디오 컨텐츠(700)는 이어폰이나 헤드폰과 같은 바이노럴 음향 기기를 기반으로 모니터링되어 편집되었기 때문에 동일한 종류의 바이노럴 재생 기기(710)를 통해 출력된 재생 오디오 사운드 S1(711)은 모니터링 오디오와 음상의 위치가 동일할 수 있다. 그러나, 모니터링 시 사용된 바이노럴 음향 기기와 다른 디스크리트 재생 기기(720)를 통해 출력된 재생 오디오 사운드 S2(721)는 음향 기기의 종류에 따른 감도 차이 때문에 편집 시 출력된 모니터링 오디오와 음상의 위치가 상이할 수 있다.
다른 예를 들어, 도 8을 참조하면, 디스크리트 멀티 채널 모드로 편집된 입체 오디오 컨텐츠(800)가 입력되었다고 가정할 수 있다. 이 때, 입체 오디오 컨텐츠(800)는 멀티 채널 스피커와 같은 디스크리트 멀티 채널 음향 기기를 기반으로 모니터링되어 편집되었기 때문에 동일한 종류의 디스크리트 재생 기기(820)를 통해 출력된 재생 오디오 사운드 S4(821)는 모니터링 오디오와 음상의 위치가 동일할 수 있다. 그러나, 모니터링 시 사용된 디스크리트 멀티 채널 음향 기기와 다른 바이노럴 재생 기기(810)를 통해 출력된 재생 오디오 사운드 S3(811)는 음향 기기의 종류에 따른 감도 차이 때문에 편집 시 출력된 모니터링 오디오와 음상의 위치가 상이할 수 있다.
따라서, 본 발명에서는 음향기기 간 감도 차이에 의해 입체 오디오 컨텐츠의 음향 위치가 편집자의 의도와 다르게 출력되는 것을 방지하기 위해 입체 오디오 컨텐츠의 음상 위치를 왜곡시키는 왜곡 입체음향필터를 사용한다.
이 때, 왜곡 입체음향필터는 의미그대로 입체 오디오 컨텐츠에 대한 음상의 위치를 왜곡시키는 것으로, 왜곡을 통해 음향 기기 종류에 따른 감도 차이를 상쇄시킬 수 있다.
이 때, 모니터링 모드가 바이노럴(BINAURAL) 모드에 상응하고, 재생 모드가 디스크리트(DISCRETE) 멀티 채널 모드에 상응하는 경우, 입체음향필터는 강화된 왜곡 입체음향필터일 수 있다.
또한, 모니터링 모드가 디스크리트 멀티 채널 모드에 상응하고, 재생 모드가 바이노럴 모드에 상응하는 경우, 입체음향필터는 약화된 왜곡 입체음향필터일 수 있다.
이 때, 왜곡 입체음향필터는 기본(DEFAULT) 입체음향필터 대비 음상의 높이 및 거리 중 적어도 하나를 왜곡시킬 수 있다.
이 때, 강화된 왜곡 입체음향필터는 음상의 높이 및 거리 중 적어도 하나를 강화시키고, 약화된 왜곡 입체음향필터는 음상의 높이 및 거리 중 적어도 하나를 약화시킬 수 있다.
예를 들어, 도 9에 도시된 본 발명의 기본 입체음향필터(900)에 경우에는 필터링을 수행하여도 편집값과 적용값이 변화하지 않는 형태의 함수로 나타낼 수 있다. 즉, x축에 어떤 값을 입력하여도 x값과 동일한 값으로 y값이 출력될 수 있다.
그러나, 도 10 내지 도 13에 도시된 본 발명의 왜곡 입체음향필터(1010, 1110, 1210, 1310)를 통해 필터링을 수행하는 경우, 편집값에 비해 적용값이 증가하거나 감소하는 형태의 함수로 나타낼 수 있다.
즉, 도 10이나 도 12에 도시된 강화된 왜곡 입체음향필터(1010, 1210)의 경우, 편집값 x를 입력하였을 때 출력되는 y2값이 기본 입체음향필터(1000, 1200)를 적용하였을 때 출력되는 y1값보다 큰 것을 알 수 있다. 즉, 강화된 왜곡 입체음향필터(1010, 1210)는 편집값으로 입력될 수 있는 음상의 높이나 거리를 증가시킴으로써 오디오 컨텐츠에 대한 음상의 위치를 강하게 왜곡시키는 입체음향필터에 상응할 수 있다.
또한, 도 11이나 도 13에 도시된 약화된 왜곡 입체음향필터(1110, 1310)의 경우, 편집값 x를 입력하였을 때 출력되는 y2값이 기본 입체음향필터(1100, 1300)를 적용하였을 때 출력되는 y1값보다 작은 것을 알 수 있다. 즉, 약화된 왜곡 입체음향필터(1110, 1310)는 편집값으로 입력될 수 있는 음상의 높이나 거리를 감소시킴으로써 오디오 컨텐츠에 대한 음상의 위치를 약하게 왜곡시키는 입체음향필터에 상응할 수 있다.
이 때, 모니터링 오디오를 바이노럴 모드로 듣는 경우, 동일한 모니터링 오디오를 디스크리트 멀티 채널 모드로 들을 때보다 음상의 위치가 더 높고 더 멀게 느껴질 수 있다. 즉, 사용자가 바이노럴 모드로 모니터링하면서 편집한 입체 오디오 컨텐츠를 디스크리트 멀티 채널 모드로 재생하는 경우, 사용자가 의도했던 것보다 음상의 위치가 낮고 가깝게 느껴질 수 있다.
따라서, 이러한 경우에는 강화된 왜곡 입체음향필터를 통해 입체 오디오 컨텐츠의 편집 정보에 포함된 음상의 위치를 더 높고 더 멀게 왜곡함으로써 모니터링 오디오를 통해 느껴졌던 음상의 위치에 상응하게 입체 오디오 컨텐츠를 재생할 수 있다.
예를 들어, 편집 정보에 포함된 음상의 위치가 고도 30도에 거리 2미터라고 가정한다면, 강화된 왜곡 입체음향필터를 통해 음상의 위치를 고도 60도에 거리 4미터로 강하게 왜곡시킬 수 있다.
다른 예를 들어, 강화된 왜곡 입체음향필터는 [수학식 1]에 상응하게 음상의 높이와 거리를 왜곡시킬 수도 있다.
[수학식 1]
H'= 2 * H (H<=30), 1/2 * H + 45 (H>30)
D'= 2 * D
이 때, [수학식 1]의 H는 음상의 높이, H'는 왜곡된 음상의 높이, D는 음상의 거리, D'는 왜곡된 음상의 거리에 상응할 수 있다.
반대로, 모니터링 오디오를 디스크리트 멀티 채널 모드로 듣는 경우, 동일한 모니터링 오디오를 바이노럴 모드로 들을 때보다 음상의 위치가 더 낮고 더 가깝게 느껴질 수 있다. 즉, 사용자가 디스크리트 멀티 채널 모드로 모니터링하면서 편집한 입체 오디오 컨텐츠를 바이노럴 모드로 재생하는 경우, 사용자가 의도했던 것보다 음상의 위치가 높고 멀게 느껴질 수 있다.
따라서, 이러한 경우에는 약화된 왜곡 입체음향필터를 통해 입체 오디오 컨텐츠의 편집 정보에 포함된 음상의 위치를 더 낮고 더 가깝게 왜곡함으로써 모니터링 오디오를 통해 느껴졌던 음상의 위치에 상응하게 입체 오디오 컨텐츠를 재생할 수 있다.
예를 들어, 편집 정보에 포함된 음상의 위치가 고도 60도에 거리 4미터라고 가정한다면, 강화된 왜곡 입체음향필터를 통해 음상의 위치를 고도 30도에 거리 2미터로 약하게 왜곡시킬 수 있다.
다른 예를 들어, 약화된 왜곡 입체음향필터는 [수학식 2]에 상응하게 음상의 높이와 거리를 왜곡시킬 수도 있다.
[수학식 2]
H'= 1/2 * H (H<=60), 2 * H , 2* H - 90 (H>60)
D'= 1/2 * D
이 때, [수학식 2]의 H는 음상의 높이, H'는 왜곡된 음상의 높이, D는 음상의 거리, D'는 왜곡된 음상의 거리에 상응할 수 있다.
또한, 도 6에는 도시하지 아니하였으나, 본 발명의 일실시예에 따른 입체 오디오 재생 방법은 입체음향필터를 커스터마이징한다. 즉, 사용자마다 각각 개인화된 입체음향필터를 제공하는 것일 수 있다.
이 때, 커스터마이징을 위해 별도의 커스터마이징 인터페이스를 제공할 수 있다.
이 때, 커스터마이징 인터페이스를 기반으로 음상의 위치를 변경하면서 테스트 사운드를 제공할 수 있다.
이 때, 음상의 사운드가 기준위치에 도달했음을 사용자로부터 입력 받을 수 있다.
예를 들어, 커스터마이징 인터페이스를 통해 음상의 고도를 0도부터 일정한 간격으로 높여가면서 테스트 사운드를 재생할 수 있다. 이 후, 사용자에게는 재생되고 있는 테스트 사운드의 음상 고도가 특정 지점이라고 판단될 때 세팅버튼을 누르도록 안내할 수 있다. 만약, 음상의 고도가 17도, 24도, 32도, 40도에 해당하는 지점이 사용자에 의해 20도, 30도, 40도, 50도로 세팅되었다고 가정한다면, 세팅된 정보를 기반으로 입체음향필터를 사용자에 상응하게 재설정할 수 있다.
따라서, 향후 메타데이터에 포함된 편집 정보가 20도, 30도, 40도, 50도로 표현되어 있는 경우, 사용자에 상응하게 재설정된 입체음향필터를 통해 17도, 24도, 32도, 40도로 적용하여 입체 오디오 컨텐츠가 생성되도록 할 수 있다.
다른 예를 들어, 도 14에 도시된 것과 같은 커스터마이징 인터페이스를 통해 사용자로부터 음상 고도에 대한 세팅을 입력 받을 수 있다.
먼저, 사용자는 테스트 사운드 메뉴(1410)에서 Test Sound Play 버튼을 클릭하여 테스트 사운드가 재생되도록 할 수 있다. 이 때, 각각의 테스트 사운드의 음상 위치는 미리 설정되어 있을 수 있다.
이 후, 사용자는 음상 위치 설정 메뉴(1420)에서 재생된 테스트 사운드의 음상 위치라고 판단되는 곳을 선택하여 세팅을 수행할 수 있다.
이 때, 테스트 사운드 메뉴(1410)의 Save 버튼을 통해 세팅을 수행할 수 있으며, Edit 버튼을 이용하여 이미 세팅된 정보를 수정할 수도 있다.
이 후, 모든 테스트 사운드에 대한 세팅이 완료되었으면 커스터마이징 실행 및 종료 메뉴(1430)에 포함된 Done 버튼을 선택함으로써 입체음향필터를 사용자에 상응하게 재설정할 수 있다.
또한, 도 6에는 도시하지 아니하였으나, 본 발명의 일실시예에 따른 입체 오디오 재생 방법은 네트워크와 같은 통신망을 통해 입체 오디오 재생을 위해 필요한 정보를 송수신할 수 있다. 특히, 본 발명에서는 네트워크를 기반으로 어플리케이션을 제공하는 서버로부터 입체 오디오 재생 어플리케이션을 획득하거나 또는 편집 단말로부터 편집된 입체 오디오 컨텐츠를 획득할 수도 있다.
또한, 도 6에는 도시하지 아니하였으나, 본 발명의 일실시예에 따른 입체 오디오 재생 방법은 상술한 바와 같이 본 발명의 실시예에 따른 입체 오디오 재생 과정에서 발생하는 다양한 정보를 별도의 저장 모듈에 저장한다.
이와 같은 입체 오디오 재생 방법을 통해 입체 오디오를 편집한 사용자의 의도를 충분히 반영하여 입체 오디오의 재생 사운드를 구현할 수 있다.
또한, 편집에 사용되는 음향기기와 재생에 사용되는 음향기기 간에 감도차이가 존재하여도 재생되는 사운드에서는 차이가 느껴지지 않도록 할 수 있는 입체 오디오 재생 방법을 제공할 수도 있다.
도 15는 본 발명의 일실시예에 따른 입체 오디오 재생 과정을 상세하게 나타낸 동작흐름도이다.
도 15를 참조하면, 본 발명의 일실시예에 따른 입체 오디오 재생 과정은, 입체 오디오 재생 단말에 재생중편집 인터페이스를 통해 편집된 입체 오디오 컨텐츠가 입력되면(S1510), 입체 오디오 컨텐츠에 포함된 메타데이터를 기반으로 모니터링 모드를 검출하여 재생 모드와 비교한다(S1520).
이 후, 모니터링 모드와 재생 모드가 일치하는지 여부를 판단하고(S1525), 모니터링 모드와 재생 모드가 일치하면 기본 입체음향필터를 적용하여(S1530) 입체 오디오 컨텐츠를 재생한다(S1560).
또한, 단계(S1525)의 판단결과, 모니터링 모드와 재생 모드가 일치하지 않으면, 재생 모드가 바이노럴 모드인지 여부를 판단한다(S1535).
단계(S1535)의 판단결과, 재생 모드가 바이노럴 모드가 아니면 강화된 왜곡 입체음향필터를 적용하여(S1540) 입체 오디오 컨텐츠를 재생한다(S1560).
또한, 단계(S1535)의 판단결과, 재생 모드가 바이노럴 모드이면 약화된 왜곡 입체음향필터를 적용하여(S1550) 입체 오디오 컨텐츠를 재생한다(S1560).
도 16은 본 발명의 일실시예에 따른 입체 오디오 편집 단말 장치를 나타낸 블록도이다.
도 16을 참조하면, 본 발명의 일실시예에 따른 입체 오디오 편집 단말 장치는 통신부(1610), 프로세서(1620) 및 메모리(1630)를 포함한다.
통신부(1610)는 네트워크와 같은 통신망을 통해 재생중 입체 오디오 편집을 위해 필요한 정보를 송수신한다. 특히, 본 발명의 일실시예에 따른 통신부(1610)는 네트워크를 기반으로 어플리케이션을 제공하는 서버로부터 재생중 편집 어플리케이션을 획득하거나 또는 재생 단말로 편집된 입체 오디오 컨텐츠를 전송할 수도 있다.
프로세서(1620)는 오디오 컨텐츠에 대한 음상(SOUND IMAGE)의 위치를 실시간으로 편집 가능한 재생중편집(IN-PLAY EDIT) 인터페이스를 제공한다.
이 때, 재생중편집 인터페이스는 오디오 컨텐츠에 대한 음상의 위치를 편집하기 위한 툴(tool)에 상응하는 것으로, 컴퓨터에 설치되어 실행되는 컴퓨터 프로그램에 상응할 수 있다.
이 때, 재생중편집 인터페이스는 오디오 컨텐츠에 대한 음상을 편집하기 위한 재생중 편집 어플리케이션의 실행을 기반으로 제공될 수 있으므로, 재생중 편집 어플리케이션을 실행할 수 있는 단말 장치를 통해 제공될 수 있다.
예를 들어, 재생중편집 인터페이스는 도 3 내지 도 4에 도시된 것처럼 구성될 수 있다.
먼저, 도 3을 참조하면, 재생중편집 인터페이스는 음상의 높이를 조절하기 위한 제1 인터페이스(310), 음상의 거리를 조절하기 위한 제2 인터페이스(320)를 포함할 수 있다.
예를 들어, 사용자가 오디오 재생 메뉴(330)를 통해 오디오 컨텐츠를 실행시키면, 모니터링 정보(360)에 상응하게 연결된 음향기기를 통해 오디오 컨텐츠의 사운드가 출력될 수 있다. 이 때, 사용자는 음향기기를 통해 오디오 컨텐츠를 들으면서 실시간으로 제1 인터페이스(310)와 제2 인터페이스(320)를 조작하여 음상의 높이와 거리를 조절할 수 있다.
이 때, 도 3에는 도시되어 있지 않지만, 오디오 컨텐츠가 영상과 결합되어 있는 미디어 컨텐츠일 경우, 재생중편집 인터페이스를 통해 영상도 함께 재생해줌으로써 사용자가 영상을 보면서 음상의 위치를 편집할 수 있도록 할 수도 있다.
또한, 도 3을 참조하면, 재생중편집 인터페이스는 재생되고 있는 오디오 컨텐츠의 볼륨 정보(340), 채널 정보(350, 351) 및 모니터링 정보(360) 등을 디스플레이 할 수 있다. 이 때, 디스플레이되는 정보들은 편집도 가능할 수 있으며, 모니터링 정보(360)에 경우에는 재생중편집 인터페이스를 실행시키는 단말 장치에 연결된 음향기기가 변경되는 경우, 해당 음향기기에 상응하게 변경시킬 수 있다. 또한, 재생중편집 인터페이스에서 단말 장치에 연결된 음향기기의 종류를 식별하여 모니터링 모드를 변경할 수도 있다.
다른 예를 들어, 도 4를 참조하면, 재생중편집 인터페이스는 음상의 위치를 조절하기 위한 제3 인터페이스(310)를 포함할 수도 있다.
예를 들어, 사용자가 음향기기를 통해 오디오 컨텐츠를 들으면서 실시간으로 제3 인터페이스(410) 상의 음상 위치(411, 412)를 선택하거나 드래그하여 음상의 높이와 거리를 조절할 수도 있다.
또한, 프로세서(1620)는 재생중편집 인터페이스에 기반한 사용자 입력에 따라 입체음향필터링된 오디오 컨텐츠에 상응하는 모니터링 오디오를 실시간으로 재생한다.
이 때, 재생중편집 어플리케이션이 실행되고 있는 단말 장치에 연결된 음향 기기를 통해 모니터링 오디오가 재생될 수 있다. 예를 들어, 단말 장치에 이어폰이나 헤드폰이 연결된 경우에는 모니터링 오디오를 바이노럴 렌더링하여 출력해줄 수 있고, 단말 장치에 스피커가 연결된 경우에는 스피커를 통해 모니터링 오디오를 출력해줄 수도 있다.
또한, 프로세서(1620)는 모니터링 오디오에 대한 모니터링 정보와 사용자 입력에 따른 편집 정보를 기반으로 오디오 컨텐츠에 대한 메타데이터를 생성한다.
이 때, 편집 정보는 재생중편집 인터페이스에 대한 사용자 입력 값을 기반으로 생성될 수 있다. 즉, 편집 정보에는 사용자가 재생중편집 인터페이스를 조작하여 편집된 음상의 위치정보가 포함될 수 있다. 예를 들어, 편집 정보에는 음상의 방위, 높이 및 거리 중 적어도 하나에 상응하는 위치 정보가 포함될 수 있다.
이 때, 사용자 입력 값은 사용자의 터치 또는 조작에 따른 입력 신호를 발생하는 키패드와 터치패드 중 적어도 하나를 기반으로 입력될 수 있다.
이 때, 터치 입력의 경우, 멀티터치 입력 값에 상응할 수 있다. 즉, 터치 기반의 키패드에서 복수개의 포인트들을 동시에 설정할 수 있는 멀티 터치 기반의 입력 값에 상응하게 사용자 입력이 획득될 수도 있다.
이 때, 모니터링 정보는 모니터링 오디오가 바이노럴(BINARUAL) 모드 및 디스크리트(DISCRETE) 멀티 채널 모드 중 어느 모드로 재생되었는지에 관한 정보를 포함할 수 있다. 즉, 재생중편집 인터페이스를 실행시키는 단말 장치에 이어폰이나 헤드폰과 같은 바이노럴 음향 기기가 연결된 상태로 모니터링 오디오가 재생되었으면, 모니터링 정보에 바이노럴 모드로 재생되었다는 정보가 포함될 수 있다. 반대로 재생중편집 인터페이스를 실행시키는 단말 장치에 복수개의 스피커들에 상응하는 디스크리트 멀티 채널 음향 기기가 연결된 상태로 모니터링 오디오가 재생되었으면, 모니터링 정보에 디스크리트 멀티 채널 모드로 재생되었다는 정보가 포함될 수 있다.
이 때, 바이노럴 모드는 레프트 채널 및 라이트 채널에 상응하는 2채널 모드에 상응하고, 디스크리트 멀티 채널 모드는 복수개의 스피커들에 기반한 멀티 채널 모드에 상응할 수 있다.
또한, 프로세서(1620)는 오디오 컨텐츠와 메타데이터를 조합하여 입체 오디오 컨텐츠에 상응하는 컨테이너 파일을 생성한다.
예를 들어, 도 5를 참조하면, 본 발명의 일실시예에 따른 컨테이너 파일(550)은 입체 오디오 컨텐츠의 편집 정보(510)와 모니터링 정보(520)를 포함하는 메타데이터(530)와 편집되지 않은 오리지널 오디오 컨텐츠(540)로 구성될 수 있다.
메모리(1630)는 상술한 바와 같이 본 발명의 실시예에 따른 재생중 입체 오디오 편집을 위한 기능을 지원할 수 있다. 이 때, 메모리(1630)는 별도의 대용량 스토리지로 동작할 수 있고, 동작 수행을 위한 제어 기능을 포함할 수 있다.
한편, 입체 오디오 편집 단말 장치는 메모리가 탑재되어 그 장치 내에서 정보를 저장할 수 있다. 일 구현예의 경우, 메모리는 컴퓨터로 판독 가능한 매체이다. 일 구현 예에서, 메모리는 휘발성 메모리 유닛일 수 있으며, 다른 구현예의 경우, 메모리는 비휘발성 메모리 유닛일 수도 있다. 일 구현예의 경우, 저장장치는 컴퓨터로 판독 가능한 매체이다. 다양한 서로 다른 구현 예에서, 저장장치는 예컨대 하드디스크 장치, 광학디스크 장치, 혹은 어떤 다른 대용량 저장장치를 포함할 수도 있다.
도 17은 본 발명의 일실시에에 따른 입체 오디오 재생 단말 장치를 나타낸 블록도이다.
도 17을 참조하면, 본 발명의 일실시예에 따른 입체 오디오 재생 단말 장치는 통신부(1710), 프로세서(1720) 및 메모리(1730)를 포함한다.
통신부(1710)는 네트워크와 같은 통신망을 통해 입체 오디오 재생을 위해 필요한 정보를 송수신한다. 특히, 본 발명의 일실시예에 따른 통신부(1710)는 네트워크를 기반으로 어플리케이션을 제공하는 서버로부터 입체 오디오 재생 어플리케이션을 획득하거나 또는 편집 단말로부터 편집된 입체 오디오 컨텐츠를 획득할 수도 있다.
프로세서(1720)는 오디오가 재생되고 있는 중간에 오디오에 대한 음상(SOUND IMAGE)의 위치를 편집 가능한 재생중편집(IN-PLAY EDIT) 인터페이스를 기반으로 편집된 입체 오디오 컨텐츠를 입력받는다.
이 때, 입체 오디오 컨텐츠는 재생중편집 인터페이스를 통해 입체 오디오 컨텐츠를 편집한 편집 단말을 통해 수신되거나 또는 별도의 서버를 통해 수신될 수도 있다.
이 때, 입체 오디오 컨텐츠는 메타데이터를 포함하는 컨테이너 파일의 형태로 수신될 수 있으며, 재생중편집 인터페이스에 의한 편집 정보를 포함하는 메타데이터와 함께 편집되기 전 오리지널 오디오 컨텐츠가 함께 포함될 수 있다.
또한, 프로세서(1720)는 입체 오디오 컨텐츠에 포함된 메타데이터를 기반으로 재생중편집 인터페이스에 의한 모니터링 모드를 검출하고, 모니터링 모드와 입체 오디오 컨텐츠를 출력할 재생 모드를 비교한다.
이 때, 메타데이터에 포함된 모니터링 정보를 기반으로 모니터링 모드를 검출할 수 있다.
이 때, 모니터링 모드는 재생중편집 인터페이스를 통해 음상의 위치가 편집되는 동안에 모니터링 오디오가 출력되는 음향 기기의 종류에 상응하게 결정될 수 있다. 예를 들어, 모니터링 오디오가 이어폰이나 헤드폰과 같은 바이노럴 음향 기기를 통해 출력된 경우에는 모니터링 모드가 바이노럴 모드에 상응할 수 있고, 멀티 스피커와 같은 디스크리트 멀티 채널 음향 기기를 통해 출력된 경우에는 모니터링 모드가 디스크리트 멀티 채널 모드에 상응할 수 있다.
이 때, 재생 모드는 입체 오디오 컨텐츠를 출력하는 음향 기기의 종류에 상응하게 결정될 수 있다. 예를 들어, 입체 오디오 컨텐츠가 이어폰이나 헤드폰과 같은 바이노럴 음향 기기를 통해 출력된 경우에는 재생 모드가 바이노럴 모드에 상응할 수 있고, 멀티 스피커와 같은 디스크리트 멀티 채널 음향 기기를 통해 출력된 경우에는 재생 모드가 디스크리트 멀티 채널 모드에 상응할 수 있다.
또한, 프로세서(1720)는 모드 비교 결과에 상응하는 입체음향필터를 적용하여 입체 오디오 컨텐츠를 재생한다.
이 때, 모드 비교 결과는 크게 모니터링 모드와 재생 모드가 일치하는 경우와 모니터링 모드와 재생 모드가 일치하지 않는 경우로 나뉠 수 있다.
만약, 모니터링 모드와 재생 모드가 일치하는 경우에는 기본 입체음향필터를 적용하여 입체 오디오 컨텐츠를 재생할 수 있다.
이 때, 기본 입체음향필터는 입체 오디오 컨텐츠에 상응하게 획득된 메타데이터와 오리지널 오디오 컨텐츠를 이용하여 입체 오디오 컨텐츠를 생성할 수 있다.
예를 들어, 기본 입체음향필터는 머리전달함수(Head Related Transfer function, HRTF)의 일 예에 해당할 수 있으며, 메타데이터에 포함된 편집 정보를 머리전달함수에 적용될 공간 파라미터로 적용할 수 있다. 따라서, 편집 정보가 적용된 기본 입체음향필터로 오리지널 오디오 컨텐츠를 필터링함으로써 입체 오디오 컨텐츠를 생성할 수 있다.
이 때, 모니터링 모드와 재생 모드가 일치하지 않는 경우, 입체음향필터는 왜곡된 왜곡 입체음향필터일 수 있다.
이 때, 모니터링 모드와 재생 모드가 일치하지 않는다는 것은, 재생중편집 인터페이스를 통해 오디오 컨텐츠를 편집할 때에 모니터링 오디오를 출력하는 음향 기기와 입체 오디오 컨텐츠를 출력하는 음향 기기의 종류가 다르다는 것을 의미할 수 있다. 이러한 경우, 음향 기기의 종류에 따른 감도 차이 때문에 모니터링 오디오에서 느껴지는 음상의 위치와 입체 오디오 컨텐츠에서 느껴지는 음상의 위치가 서로 상이할 수 있다.
예를 들어, 도 7을 참조하면, 바이노럴 모드로 편집된 입체 오디오 컨텐츠(700)가 입력되었다고 가정할 수 있다. 이 때, 입체 오디오 컨텐츠(700)는 이어폰이나 헤드폰과 같은 바이노럴 음향 기기를 기반으로 모니터링되어 편집되었기 때문에 동일한 종류의 바이노럴 재생 기기(710)를 통해 출력된 재생 오디오 사운드 S1(711)은 모니터링 오디오와 음상의 위치가 동일할 수 있다. 그러나, 모니터링 시 사용된 바이노럴 음향 기기와 다른 디스크리트 재생 기기(720)를 통해 출력된 재생 오디오 사운드 S2(721)는 음향 기기의 종류에 따른 감도 차이 때문에 편집 시 출력된 모니터링 오디오와 음상의 위치가 상이할 수 있다.
다른 예를 들어, 도 8을 참조하면, 디스크리트 멀티 채널 모드로 편집된 입체 오디오 컨텐츠(800)가 입력되었다고 가정할 수 있다. 이 때, 입체 오디오 컨텐츠(800)는 멀티 채널 스피커와 같은 디스크리트 멀티 채널 음향 기기를 기반으로 모니터링되어 편집되었기 때문에 동일한 종류의 디스크리트 재생 기기(820)를 통해 출력된 재생 오디오 사운드 S4(821)는 모니터링 오디오와 음상의 위치가 동일할 수 있다. 그러나, 모니터링 시 사용된 디스크리트 멀티 채널 음향 기기와 다른 바이노럴 재생 기기(810)를 통해 출력된 재생 오디오 사운드 S3(811)는 음향 기기의 종류에 따른 감도 차이 때문에 편집 시 출력된 모니터링 오디오와 음상의 위치가 상이할 수 있다.
따라서, 본 발명에서는 음향기기 간 감도 차이에 의해 입체 오디오 컨텐츠의 음향 위치가 편집자의 의도와 다르게 출력되는 것을 방지하기 위해 입체 오디오 컨텐츠의 음상 위치를 왜곡시키는 왜곡 입체음향필터를 사용한다.
이 때, 왜곡 입체음향필터는 의미그대로 입체 오디오 컨텐츠에 대한 음상의 위치를 왜곡시키는 것으로, 왜곡을 통해 음향 기기 종류에 따른 감도 차이를 상쇄시킬 수 있다.
이 때, 모니터링 모드가 바이노럴(BINAURAL) 모드에 상응하고, 재생 모드가 디스크리트(DISCRETE) 멀티 채널 모드에 상응하는 경우, 입체음향필터는 강화된 왜곡 입체음향필터일 수 있다.
또한, 모니터링 모드가 디스크리트 멀티 채널 모드에 상응하고, 재생 모드가 바이노럴 모드에 상응하는 경우, 입체음향필터는 약화된 왜곡 입체음향필터일 수 있다.
이 때, 왜곡 입체음향필터는 기본(DEFAULT) 입체음향필터 대비 음상의 높이 및 거리 중 적어도 하나를 왜곡시킬 수 있다.
이 때, 강화된 왜곡 입체음향필터는 음상의 높이 및 거리 중 적어도 하나를 강화시키고, 약화된 왜곡 입체음향필터는 음상의 높이 및 거리 중 적어도 하나를 약화시킬 수 있다.
예를 들어, 도 9에 도시된 본 발명의 기본 입체음향필터(900)에 경우에는 필터링을 수행하여도 편집값과 적용값이 변화하지 않는 형태의 함수로 나타낼 수 있다. 즉, x축에 어떤 값을 입력하여도 x값과 동일한 값으로 y값이 출력될 수 있다.
그러나, 도 10 내지 도 13에 도시된 본 발명의 왜곡 입체음향필터(1010, 1110, 1210, 1310)를 통해 필터링을 수행하는 경우, 편집값에 비해 적용값이 증가하거나 감소하는 형태의 함수로 나타낼 수 있다.
즉, 도 10이나 도 12에 도시된 강화된 왜곡 입체음향필터(1010, 1210)의 경우, 편집값 x를 입력하였을 때 출력되는 y2값이 기본 입체음향필터(1000, 1200)를 적용하였을 때 출력되는 y1값보다 큰 것을 알 수 있다. 즉, 강화된 왜곡 입체음향필터(1010, 1210)는 편집값으로 입력될 수 있는 음상의 높이나 거리를 증가시킴으로써 오디오 컨텐츠에 대한 음상의 위치를 강하게 왜곡시키는 입체음향필터에 상응할 수 있다.
또한, 도 11이나 도 13에 도시된 약화된 왜곡 입체음향필터(1110, 1310)의 경우, 편집값 x를 입력하였을 때 출력되는 y2값이 기본 입체음향필터(1100, 1300)를 적용하였을 때 출력되는 y1값보다 작은 것을 알 수 있다. 즉, 약화된 왜곡 입체음향필터(1110, 1310)는 편집값으로 입력될 수 있는 음상의 높이나 거리를 감소시킴으로써 오디오 컨텐츠에 대한 음상의 위치를 약하게 왜곡시키는 입체음향필터에 상응할 수 있다.
이 때, 모니터링 오디오를 바이노럴 모드로 듣는 경우, 동일한 모니터링 오디오를 디스크리트 멀티 채널 모드로 들을 때보다 음상의 위치가 더 높고 더 멀게 느껴질 수 있다. 즉, 사용자가 바이노럴 모드로 모니터링하면서 편집한 입체 오디오 컨텐츠를 디스크리트 멀티 채널 모드로 재생하는 경우, 사용자가 의도했던 것보다 음상의 위치가 낮고 가깝게 느껴질 수 있다.
따라서, 이러한 경우에는 강화된 왜곡 입체음향필터를 통해 입체 오디오 컨텐츠의 편집 정보에 포함된 음상의 위치를 더 높고 더 멀게 왜곡함으로써 모니터링 오디오를 통해 느껴졌던 음상의 위치에 상응하게 입체 오디오 컨텐츠를 재생할 수 있다.
예를 들어, 편집 정보에 포함된 음상의 위치가 고도 30도에 거리 2미터라고 가정한다면, 강화된 왜곡 입체음향필터를 통해 음상의 위치를 고도 60도에 거리 4미터로 강하게 왜곡시킬 수 있다.
다른 예를 들어, 강화된 왜곡 입체음향필터는 [수학식 1]에 상응하게 음상의 높이와 거리를 왜곡시킬 수도 있다.
[수학식 1]
H'= 2 * H (H<=30), 1/2 * H + 45 (H>30)
D'= 2 * D
이 때, [수학식 1]의 H는 음상의 높이, H'는 왜곡된 음상의 높이, D는 음상의 거리, D'는 왜곡된 음상의 거리에 상응할 수 있다.
반대로, 모니터링 오디오를 디스크리트 멀티 채널 모드로 듣는 경우, 동일한 모니터링 오디오를 바이노럴 모드로 들을 때보다 음상의 위치가 더 낮고 더 가깝게 느껴질 수 있다. 즉, 사용자가 디스크리트 멀티 채널 모드로 모니터링하면서 편집한 입체 오디오 컨텐츠를 바이노럴 모드로 재생하는 경우, 사용자가 의도했던 것보다 음상의 위치가 높고 멀게 느껴질 수 있다.
따라서, 이러한 경우에는 약화된 왜곡 입체음향필터를 통해 입체 오디오 컨텐츠의 편집 정보에 포함된 음상의 위치를 더 낮고 더 가깝게 왜곡함으로써 모니터링 오디오를 통해 느껴졌던 음상의 위치에 상응하게 입체 오디오 컨텐츠를 재생할 수 있다.
예를 들어, 편집 정보에 포함된 음상의 위치가 고도 60도에 거리 4미터라고 가정한다면, 강화된 왜곡 입체음향필터를 통해 음상의 위치를 고도 30도에 거리 2미터로 약하게 왜곡시킬 수 있다.
다른 예를 들어, 약화된 왜곡 입체음향필터는 [수학식 2]에 상응하게 음상의 높이와 거리를 왜곡시킬 수도 있다.
[수학식 2]
H'= 1/2 * H (H<=60), 2 * H , 2* H - 90 (H>60)
D'= 1/2 * D
이 때, [수학식 2]의 H는 음상의 높이, H'는 왜곡된 음상의 높이, D는 음상의 거리, D'는 왜곡된 음상의 거리에 상응할 수 있다.
또한, 프로세서(1720)는 입체음향필터를 커스터마이징한다. 즉, 사용자마다 각각 개인화된 입체음향필터를 제공하는 것일 수 있다.
이 때, 커스터마이징을 위해 별도의 커스터마이징 인터페이스를 제공할 수 있다.
이 때, 커스터마이징 인터페이스를 기반으로 음상의 위치를 변경하면서 테스트 사운드를 제공할 수 있다.
이 때, 음상의 사운드가 기준위치에 도달했음을 사용자로부터 입력 받을 수 있다.
예를 들어, 커스터마이징 인터페이스를 통해 음상의 고도를 0도부터 일정한 간격으로 높여가면서 테스트 사운드를 재생할 수 있다. 이 후, 사용자에게는 재생되고 있는 테스트 사운드의 음상 고도가 특정 지점이라고 판단될 때 세팅버튼을 누르도록 안내할 수 있다. 만약, 음상의 고도가 17도, 24도, 32도, 40도에 해당하는 지점이 사용자에 의해 20도, 30도, 40도, 50도로 세팅되었다고 가정한다면, 세팅된 정보를 기반으로 입체음향필터를 사용자에 상응하게 재설정할 수 있다.
따라서, 향후 메타데이터에 포함된 편집 정보가 20도, 30도, 40도, 50도로 표현되어 있는 경우, 사용자에 상응하게 재설정된 입체음향필터를 통해 17도, 24도, 32도, 40도로 적용하여 입체 오디오 컨텐츠가 생성되도록 할 수 있다.
다른 예를 들어, 도 14에 도시된 것과 같은 커스터마이징 인터페이스를 통해 사용자로부터 음상 고도에 대한 세팅을 입력 받을 수 있다.
먼저, 사용자는 테스트 사운드 메뉴(1410)에서 Test Sound Play 버튼을 클릭하여 테스트 사운드가 재생되도록 할 수 있다. 이 때, 각각의 테스트 사운드의 음상 위치는 미리 설정되어 있을 수 있다.
이 후, 사용자는 음상 위치 설정 메뉴(1420)에서 재생된 테스트 사운드의 음상 위치라고 판단되는 곳을 선택하여 세팅을 수행할 수 있다.
이 때, 테스트 사운드 메뉴(1410)의 Save 버튼을 통해 세팅을 수행할 수 있으며, Edit 버튼을 이용하여 이미 세팅된 정보를 수정할 수도 있다.
이 후, 모든 테스트 사운드에 대한 세팅이 완료되었으면 커스터마이징 실행 및 종료 메뉴(1430)에 포함된 Done 버튼을 선택함으로써 입체음향필터를 사용자에 상응하게 재설정할 수 있다.
메모리(1730)는 상술한 바와 같이 본 발명의 실시예에 따른 입체 오디오 재생을 위한 기능을 지원할 수 있다. 이 때, 메모리(1730)는 별도의 대용량 스토리지로 동작할 수 있고, 동작 수행을 위한 제어 기능을 포함할 수 있다.
한편, 입체 오디오 재생 단말 장치는 메모리가 탑재되어 그 장치 내에서 정보를 저장할 수 있다. 일 구현예의 경우, 메모리는 컴퓨터로 판독 가능한 매체이다. 일 구현 예에서, 메모리는 휘발성 메모리 유닛일 수 있으며, 다른 구현예의 경우, 메모리는 비휘발성 메모리 유닛일 수도 있다. 일 구현예의 경우, 저장장치는 컴퓨터로 판독 가능한 매체이다. 다양한 서로 다른 구현 예에서, 저장장치는 예컨대 하드디스크 장치, 광학디스크 장치, 혹은 어떤 다른 대용량 저장장치를 포함할 수도 있다.
이상에서와 같이 본 발명에 따른 재생중 입체 오디오를 편집하고 편집된 입체 오디오를 재생하는 방법 및 이를 위한 어플리케이션은 상기한 바와 같이 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.
110: 편집 단말 111: 바이노럴 모니터링 기기
112: 디스크리트 모니터링 기기 120: 재생 단말
121, 710, 810: 바이노럴 재생 기기 122, 720, 820: 디스크리트 재생 기기
310: 제1 인터페이스 320: 제2 인터페이스
330: 오디오 재생 메뉴 340: 볼륨 정보
350, 351: 채널 정보 360, 520: 모니터링 정보
410: 제2 인터페이스 411, 412: 음상 위치
510: 편집 정보 530: 메타데이터
540: 오리지널 오디오 컨텐츠 550: 컨테이너 파일
700: 바이노럴 모드로 편집된 입체 오디오 컨텐츠
711, 721, 811, 821: 재생 오디오 사운드
800: 디스크리트 멀티 채널 모드로 편집된 입체 오디오 컨텐츠
900, 1000, 1100, 1200, 1300: 기본 입체음향필터
1010, 12010: 강화된 왜곡 입체음향필터
1110, 1310: 약화된 왜곡 입체음향필터
1410: 테스트 사운드 메뉴 1420: 음상 위치 설정 메뉴
1430: 커스터마이징 실행 및 종료 메뉴
1610, 1710: 통신부 1620, 1720: 프로세서
1630, 1730: 메모리

Claims (20)

  1. 오디오가 재생되고 있는 중간에 상기 오디오에 대한 음상(SOUND IMAGE)의 위치를 편집 가능한 재생중편집(IN-PLAY EDIT) 인터페이스를 기반으로 편집된 입체 오디오 컨텐츠를 입력받는 단계;
    상기 입체 오디오 컨텐츠에 포함된 메타데이터를 기반으로 상기 재생중편집 인터페이스에 의한 모니터링 모드를 검출하고, 상기 모니터링 모드와 상기 입체 오디오 컨텐츠를 출력할 재생 모드를 비교하는 단계; 및
    모드 비교 결과에 상응하는 입체음향필터를 적용하여 상기 입체 오디오 컨텐츠를 재생하는 단계
    를 포함하는 것을 특징으로 하는 입체 오디오 재생 방법.
  2. 청구항 1에 있어서,
    상기 재생하는 단계는
    상기 모니터링 모드와 상기 재생 모드가 일치하지 않는 경우, 상기 입체음향필터는 왜곡된 왜곡 입체음향필터인 것을 특징으로 하는 입체 오디오 재생 방법.
  3. 청구항 2에 있어서,
    상기 재생하는 단계는
    상기 모니터링 모드가 바이노럴(BINAURAL) 모드에 상응하고, 상기 재생 모드가 디스크리트(DISCRETE) 멀티 채널 모드에 상응하는 경우, 상기 입체음향필터는 강화된 왜곡 입체음향필터인 것을 특징으로 하는 입체 오디오 재생 방법.
  4. 청구항 2에 있어서,
    상기 재생하는 단계는
    상기 모니터링 모드가 디스크리트 멀티 채널 모드에 상응하고, 상기 재생 모드가 바이노럴 모드에 상응하는 경우, 상기 입체음향필터는 약화된 왜곡 입체음향필터인 것을 특징으로 하는 입체 오디오 재생 방법.
  5. 청구항 2 내지 4 중 어느 한 항에 있어서,
    상기 왜곡 입체음향필터는
    기본(DEFAULT) 입체음향필터 대비 음상의 높이 및 거리 중 적어도 하나를 왜곡시키는 것을 특징으로 하는 입체 오디오 재생 방법.
  6. 청구항 5에 있어서,
    상기 강화된 왜곡 입체음향필터는 상기 음상의 높이 및 거리 중 적어도 하나를 강화시키고, 상기 약화된 왜곡 입체음향필터는 상기 음상의 높이 및 거리 중 적어도 하나를 약화시키는 것을 특징으로 하는 입체 오디오 재생 방법.
  7. 청구항 1에 있어서,
    상기 입체 오디오 재생 방법은
    상기 입체음향필터를 커스터마이징하는 단계를 더 포함하는 것을 특징으로 하는 입체 오디오 재생 방법.
  8. 청구항 7에 있어서,
    상기 커스터마이징하는 단계는
    음상의 위치를 변경하면서 테스트 사운드를 제공하는 단계;
    상기 음상의 사운드가 기준위치에 도달했음을 사용자로부터 입력 받는 단계; 및
    상기 입체음향필터를 상기 사용자에 상응하게 재설정하는 단계를 포함하는 것을 특징으로 하는 입체 오디오 재생 방법.
  9. 오디오 컨텐츠에 대한 음상(SOUND IMAGE)의 위치를 실시간으로 편집 가능한 재생중편집(IN_PLAY EDIT) 인터페이스를 제공하는 단계;
    상기 재생중편집 인터페이스에 기반한 사용자 입력에 따라 입체음향필터링된 오디오 컨텐츠에 상응하는 모니터링 오디오를 실시간으로 재생하는 단계; 및
    상기 모니터링 오디오에 대한 모니터링 정보와 상기 사용자 입력에 따른 편집 정보를 기반으로 상기 오디오 컨텐츠에 대한 메타데이터를 생성하는 단계를 포함하고,
    상기 모니터링 정보는
    상기 모니터링 오디오가 바이노럴(BINAURAL) 모드 및 디스크리트(DISCRETE) 멀티 채널 모드 중 어느 모드로 재생되었는지에 관한 정보를 포함하는 것을 특징으로 하는 재생중 입체 오디오 편집 방법.
  10. 청구항 9에 있어서,
    상기 재생중 입체 오디오 편집 방법은
    상기 오디오 컨텐츠와 상기 메타데이터를 조합하여 입체 오디오 컨텐츠에 상응하는 컨테이너 파일을 생성하는 단계를 더 포함하는 것을 특징으로 하는 재생중 입체 오디오 편집 방법.
  11. 청구항 9에 있어서,
    상기 바이노럴 모드는 레프트 채널 및 라이트 채널에 상응하는 2채널 모드에 상응하고, 상기 디스크리트 멀티 채널 모드는 복수개의 스피커들에 기반한 멀티 채널 모드에 상응하는 것을 특징으로 하는 재생중 입체 오디오 편집 방법.
  12. 오디오가 재생되고 있는 중간에 상기 오디오에 대한 음상(SOUND IMAGE)의 위치를 편집 가능한 재생중편집(IN-PLAY EDIT) 인터페이스를 기반으로 편집된 입체 오디오 컨텐츠를 입력받는 단계;
    상기 입체 오디오 컨텐츠에 포함된 메타데이터를 기반으로 상기 재생중편집 인터페이스에 의한 모니터링 모드를 검출하고, 상기 모니터링 모드와 상기 입체 오디오 컨텐츠를 출력할 재생 모드를 비교하는 단계; 및
    모드 비교 결과에 상응하는 입체음향필터를 적용하여 상기 입체 오디오 컨텐츠를 재생하는 단계를 실행시키는 컴퓨터로 판독 가능한 기록매체에 저장된 입체 오디오 재생 어플리케이션.
  13. 청구항 12에 있어서,
    상기 모니터링 모드와 상기 재생 모드가 일치하지 않는 경우, 상기 입체음향필터는 왜곡된 왜곡 입체음향필터인 것을 특징으로 하는 컴퓨터로 판독 가능한 기록매체에 저장된 입체 오디오 재생 어플리케이션.
  14. 청구항 13에 있어서,
    상기 모니터링 모드가 바이노럴(BINAURAL) 모드에 상응하고, 상기 재생 모드가 디스크리트(DISCRETE) 멀티 채널 모드에 상응하는 경우, 상기 입체음향필터는 강화된 왜곡 입체음향필터인 것을 특징으로 하는 컴퓨터로 판독 가능한 기록매체에 저장된 입체 오디오 재생 어플리케이션.
  15. 청구항 13에 있어서,
    상기 모니터링 모드가 디스크리트 멀티 채널 모드에 상응하고, 상기 재생 모드가 바이노럴 모드에 상응하는 경우, 상기 입체음향필터는 약화된 왜곡 입체음향필터인 것을 특징으로 하는 컴퓨터로 판독 가능한 기록매체에 저장된 입체 오디오 재생 어플리케이션.
  16. 청구항 13 내지 15 중 어느 한 항에 있어서,
    상기 왜곡 입체음향필터는
    기본(DEFAULT) 입체음향필터 대비 음상의 높이 및 거리 중 적어도 하나를 왜곡시키는 것을 특징으로 하는 컴퓨터로 판독 가능한 기록매체에 저장된 입체 오디오 재생 어플리케이션.
  17. 청구항 16에 있어서,
    상기 강화된 왜곡 입체음향필터는 상기 음상의 높이 및 거리 중 적어도 하나를 강화시키고, 상기 약화된 왜곡 입체음향필터는 상기 음상의 높이 및 거리 중 적어도 하나를 약화시키는 것을 특징으로 하는 컴퓨터로 판독 가능한 기록매체에 저장된 입체 오디오 재생 어플리케이션.
  18. 청구항 12에 있어서,
    음상의 위치를 변경하면서 테스트 사운드를 제공하는 단계;
    상기 음상의 사운드가 기준위치에 도달했음을 사용자로부터 입력 받는 단계; 및
    상기 입체음향필터를 상기 사용자에 상응하게 재설정하여 상기 입체음향필터를 커스터마이징하는 단계를 더 실행시키는 것을 특징으로 하는 컴퓨터로 판독 가능한 기록매체에 저장된 입체 오디오 재생 어플리케이션.
  19. 오디오 컨텐츠에 대한 음상(SOUND IMAGE)의 위치를 실시간으로 편집 가능한 재생중편집(IN_PLAY EDIT) 인터페이스를 제공하는 단계;
    상기 재생중편집 인터페이스에 기반한 사용자 입력에 따라 입체음향필터링된 오디오 컨텐츠에 상응하는 모니터링 오디오를 실시간으로 재생하는 단계; 및
    상기 모니터링 오디오에 대한 모니터링 정보와 상기 사용자 입력에 따른 편집 정보를 기반으로 상기 오디오 컨텐츠에 대한 메타데이터를 생성하는 단계를 실행시키고,
    상기 모니터링 정보는
    상기 모니터링 오디오가 바이노럴(BINAURAL) 모드 및 디스크리트(DISCRETE) 멀티 채널 모드 중 어느 모드로 재생되었는지에 관한 정보를 포함하는 것을 특징으로 하는 컴퓨터로 판독 가능한 기록매체에 저장된 재생중 편집 어플리케이션.
  20. 청구항 19에 있어서,
    상기 오디오 컨텐츠와 상기 메타데이터를 조합하여 입체 오디오 컨텐츠에 상응하는 컨테이너 파일을 생성하는 단계를 더 실행시키는 것을 특징으로 하는 컴퓨터로 판독 가능한 기록매체에 저장된 재생중 편집 어플리케이션.
KR1020180034712A 2018-03-26 2018-03-26 재생중 입체 오디오를 편집하고 편집된 입체 오디오를 재생하는 방법 및 이를 위한 어플리케이션 KR20190112563A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180034712A KR20190112563A (ko) 2018-03-26 2018-03-26 재생중 입체 오디오를 편집하고 편집된 입체 오디오를 재생하는 방법 및 이를 위한 어플리케이션

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180034712A KR20190112563A (ko) 2018-03-26 2018-03-26 재생중 입체 오디오를 편집하고 편집된 입체 오디오를 재생하는 방법 및 이를 위한 어플리케이션

Publications (1)

Publication Number Publication Date
KR20190112563A true KR20190112563A (ko) 2019-10-07

Family

ID=68422137

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180034712A KR20190112563A (ko) 2018-03-26 2018-03-26 재생중 입체 오디오를 편집하고 편집된 입체 오디오를 재생하는 방법 및 이를 위한 어플리케이션

Country Status (1)

Country Link
KR (1) KR20190112563A (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101599554B1 (ko) 2009-03-23 2016-03-03 한국전자통신연구원 Ｓａｃ 부가정보를 이용한 3ｄ 바이노럴 필터링 시스템 및 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101599554B1 (ko) 2009-03-23 2016-03-03 한국전자통신연구원 Ｓａｃ 부가정보를 이용한 3ｄ 바이노럴 필터링 시스템 및 방법

Similar Documents

Publication Publication Date Title
US11075609B2 (en) Transforming audio content for subjective fidelity
US20230179939A1 (en) Grouping and transport of audio objects
JP2010205394A (ja) 音源再生装置及び音源選択再生方法
US20120317594A1 (en) Method and system for providing an improved audio experience for viewers of video
KR102500694B1 (ko) 사용자 맞춤형 현장감 실현을 위한 오디오 콘텐츠를 제작하는 컴퓨터 시스템 및 그의 방법
US11683654B2 (en) Audio content format selection
US20220167103A1 (en) Computer system for realizing customized being-there in assocation with audio and method thereof
KR20180006798A (ko) 디스플레이장치와, 기록매체
US20090088879A1 (en) Audio reproduction device and method for audio reproduction
CA3044260A1 (en) Augmented reality platform for navigable, immersive audio experience
KR20190112563A (ko) 재생중 입체 오디오를 편집하고 편집된 입체 오디오를 재생하는 방법 및 이를 위한 어플리케이션
JP2010074258A (ja) 表示装置及び表示方法
KR102058228B1 (ko) 입체 음향 컨텐츠 저작 방법 및 이를 위한 어플리케이션
KR20190081163A (ko) 입체 음향 컨텐츠 저작 툴을 이용한 선택적 광고 제공 방법 및 이를 위한 어플리케이션
US20150373472A1 (en) Data processing device and data processing program
KR100950177B1 (ko) 외부입력에 대한 카 오디오/비디오 시스템의 제어방법
KR20190082056A (ko) 입체 음향 컨텐츠 저작 툴을 이용한 선택적 광고 제공 방법 및 이를 위한 어플리케이션
KR20190082055A (ko) 입체 음향 컨텐츠 저작 툴을 이용한 광고 제공 방법 및 이를 위한 어플리케이션
EP4262241A1 (en) Reproduction apparatus, reproduction method, information processing apparatus, information processing method, and program
WO2024004651A1 (ja) 音声再生装置、音声再生方法及び音声再生プログラム
KR20190081160A (ko) 입체 음향 컨텐츠 저작 툴을 이용한 광고 제공 방법 및 이를 위한 어플리케이션
CN117544893A (zh) 音频调节方法、装置、电子设备和可读存储介质
US20200120435A1 (en) Audio triangular system based on the structure of the stereophonic panning
CN114121036A (zh) 音轨唯一标识元数据和生成方法、电子设备及存储介质
JP5626426B2 (ja) コミュニケーションプレイバックシステム用端末装置、サーバ、プログラム

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right