KR20090100566A - 오브젝트중심의 입체음향 좌표표시를 갖는 디스플레이장치 - Google Patents

오브젝트중심의 입체음향 좌표표시를 갖는 디스플레이장치 Download PDF

Info

Publication number
KR20090100566A
KR20090100566A KR1020080025826A KR20080025826A KR20090100566A KR 20090100566 A KR20090100566 A KR 20090100566A KR 1020080025826 A KR1020080025826 A KR 1020080025826A KR 20080025826 A KR20080025826 A KR 20080025826A KR 20090100566 A KR20090100566 A KR 20090100566A
Authority
KR
South Korea
Prior art keywords
sound
center channel
speaker
surround
matrix
Prior art date
Application number
KR1020080025826A
Other languages
English (en)
Other versions
KR100934928B1 (ko
Inventor
박승민
Original Assignee
박승민
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to KR1020080025826A priority Critical patent/KR100934928B1/ko
Application filed by 박승민 filed Critical 박승민
Priority to JP2011500702A priority patent/JP2011515942A/ja
Priority to US12/736,201 priority patent/US8953824B2/en
Priority to CA2717674A priority patent/CA2717674C/en
Priority to AU2009226267A priority patent/AU2009226267B2/en
Priority to CN2009801097444A priority patent/CN101978689B/zh
Priority to MX2010010195A priority patent/MX2010010195A/es
Priority to EP09721917.4A priority patent/EP2268012B1/en
Priority to RU2010138990/08A priority patent/RU2495539C2/ru
Priority to PCT/KR2009/001365 priority patent/WO2009116800A2/ko
Publication of KR20090100566A publication Critical patent/KR20090100566A/ko
Application granted granted Critical
Publication of KR100934928B1 publication Critical patent/KR100934928B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/60—Receiver circuitry for the reception of television signals according to analogue transmission standards for the sound signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/60—Receiver circuitry for the reception of television signals according to analogue transmission standards for the sound signals
    • H04N5/607—Receiver circuitry for the reception of television signals according to analogue transmission standards for the sound signals for more than one sound signal, e.g. stereo, multilanguages
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/64—Constructional details of receivers, e.g. cabinets or dust covers
    • H04N5/642—Disposition of sound reproducers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/485—End-user interface for client configuration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/05—Generation or adaptation of centre channel in multi-channel audio systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Stereophonic System (AREA)
  • Television Receiver Circuits (AREA)
  • Details Of Audible-Bandwidth Transducers (AREA)
  • Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)

Abstract

본 발명은 디스플레이 장치 화면에 디스플레이되는 오브젝트 내용에 연동하여 디스플레이 뒤에 있는 다수의 소형 스피커로 구성된 매트릭스 스피커장치에서 오브젝트의 좌표에 맞는 스피커에서 음이 출력되는 오브젝트중심의 입체음향 좌표표시를 갖는 디스플레이장치에 관한 것이다. 본 발명에 의한 장치는 서라운드 스피커 시스템과 영상물을 출력하는 플레이어 및 디스플레이 모니터를 포함한 디스플레이 장치에 있어서, 상기 서라운드 스피커 시스템의 서라운드 디코더에서 출력되는 오디오중 센터채널 스피커에 해당되는 오디오를 입력받아 오브젝트에 따른 음원들로 분리하는 센터 채널 디코더와; 상기 센터 채널 디코더에서 분리된 오브젝트에 따른 음원들의 좌표값을 설정해주는 센터 채널 매트릭스와; 상기 오브젝트에 따른 음원들의 각 좌표값에 맞는 스피커의 출력음을 증폭시켜주는 매트릭스 앰프와; 및상기 디스플레이 모니터뒤에 매트릭스 형태로 위치한 복수의 스피커를 포함하는 것을 특징으로 한다.
매트릭스 스피커, 오브젝트, 서라운드, 디스플레이장치, 입체음향

Description

오브젝트중심의 입체음향 좌표표시를 갖는 디스플레이장치{Display Apparatus having sound effect of three dimensional coordinates corresponding to the object location in a scene}
본 발명은 오브젝트중심의 입체음향 좌표표시를 갖는 디스플레이장치에 관한 것으로서, 보다 자세하게는 디스플레이 장치 화면에 디스플레이되는 오브젝트 내용에 연동하여 디스플레이 뒤에 있는 다수의 소형 스피커로 구성된 매트릭스 스피커장치에서 오브젝트의 좌표에 맞는 스피커에서 음이 출력되는 오브젝트중심의 입체음향 좌표표시를 갖는 디스플레이장치에 관한 것이다.
최근 생활수준의 향상에 따라 가정에서 홈시어터 시스템을 사용하여 영화 및 음악감상을 즐기는 경우가 많다. 홈시어터 시스템을 구현하기 위해서는 도 1과 같이 대형 모니터와 함께 서라운드 사운드를 구현하기 위한 전면 좌우스피커, 서브우퍼, 서라운드 백 스피커 , 서라운드 좌우 스피커 및 센터스피커가 필요하다. 스피커중에서 센터스피커는 전면 좌우스피커의 사이에 위치하여 사운드의 이동을 두드러지게 하고 완전한 사운드 이미지를 제공하는 역할을 하며 주로 대사에 사용되는데, 전면 좌우스피커와 같은 위치에 하도록 하면서 사람 귀높이에 맞추어 TV에 가 깝게 설치(일반적으로 TV의 위 또는 아래에 배치)한다. 이런 센터스피커는 서라운드 사운드 시스템의 핵심이 되는 스피커라고 할 수 있다.
한편, DVD 및 HDTV 보급은 물론 디지털방송 추세에 맞춰 TV 모니터는 브라운관에서 LCD 및 PDP를 거쳐 OLED 방식의 모니터로 발전해 가고 있으며 화면크기도 점차 대형화되어 가고 있다. 이런 추세에 따라 서라운드 환경을 집의 거실이나 방에 설치하고 싶은 경우, 스피커의 배치가 문제가 될 수 있다. 특히 센터 스피커의 경우는 이펙트 성분이 아닌 실질적인 영화의 대부분을 이루고 있는 대사가 포함되어 있는 유일한 채널이기 때문에 서라운드 감상에서 매우 중요하다.
센터 스피커는 대사를 가장 잘 전달할 수 있어야 하므로 스피커의 주파수 응답특성도 중요하지만 어떻게 배치를 하느냐가 보다 중요하다. 사람이 인지할 수 있는 가청주파수는 20 ~ 20,000 Hz로서 사람의 목소리는 대부분 중심주파수인 10,000Hz에 모여 있다. 사람은 심리적으로 10,000Hz이하의 주파수에 대해서는 소리의 방향을 아래쪽으로 느끼게 되며 10,000Hz이상의 주파수에 대해서는 위쪽방향으로 소리를 느끼게 된다. 따라서, 센터 스피커를 화면의 정중앙에 배치되어야 하지만 스피커를 TV 모니터의 정중앙에 배치할 수는 없으므로 TV 위 또는 아래쪽에 배치를 하게 되는데 결과적으로 센터 스피커로서의 음장을 형성하지 못한다. 하지만 극장의 경우는 스크린뒤에 스피커가 배치될 수가 있으므로 정확한 음장을 실현할 수가 있다.
한편, 화면이 점차 대형화되어 가는 추세에 따라서 화면의 크기는 커지고 있지만 센터 스피커의 재생은 화면의 중앙에서만 위치하게 되므로 화면에서 말을 하 는 사람이 좌측 또는 우측에(위쪽 또는 아래쪽 포함)에 편중되어 있을 경우에도 대사의 소리는 중앙에서만 나게 되므로 소리가 나는 위치와 말을 하는 사람의 위치가 맞지가 않아서 현실감 있는 화면 감상이 어렵게 된다.
따라서, 본 발명은 이러한 문제점을 해결하기 위하여 화면에서 말을 하는 사람 또는 소리를 내는 물체등의 오브젝트(object)의 대사나 소리를 출력하는 스피커의 위치를 화면의 오브젝트의 위치와 일치시키도록 하는 것을 목적으로 한다.
또한, 시청자가 소리의 원근감을 느끼도록 하여 보다 입체적인 음향을 감상할 수 있도록 하는 것을 목적으로 한다.
상기 목적으로 본 발명에 의한 장치는 영상이 디스플레이되고 음이 통과될 수 있도록 구멍이 형성되어 있는 디스플레이 모니터와, 디스플레이 화면뒤에 다수의 소형 스피커로 구성된 메트릭스 스피커와, 비디오신호와 오디오신호을 처리하여 화면상의 오브젝트에 연동하여 해당되는 스피커에서 소리가 출력되도록 하는 디코딩장치, 및 영상물에 좌표값을 삽입하여 본 발명의 장치에 의해 입체 음향감을 느낄 수 있도록 데이터를 만드는 인코딩 장치로 구성되는 것을 특징으로 한다.
본 발명에 따라 단일 센터 스피커를 사용하지 않고 멀티 매트릭스 스피커 시스템을 사용하므로 디스플레이 화면이 얼마든지 더 커지더라도 큰 센터 스피커가 불필요하게 되며, 화면에서 사운드 소스 위치에 맞추어 소리가 해당하는 부분에서만 나게 하므로 보다 적극적인 서라운드 구현 방법으로 생동감, 현장감 있는 음장 구현이 가능하다. 또한, 센터 스피커를 감상자의 귀 높이에 위치할 수 있는 것은 물론 대형화되는 화면의 크기에 영향을 받지 않고, 화면의 뒤에 컴팩트한 스피커를 장착할 수 있어, 디스플레이의 두께가 두꺼워지지 않으며 기존 포맷과의 완벽한 호환이 가능하다.
도 2는 본 발명에 의한 장치의 외관도로서 디스플레이 모니터(5)뒤에 소형 스피커(1)들이 배열되어 있는 것을 나타내며 디스플레이 모니터에는 그 뒤의 스피커(2)에서 출력되는 소리가 통과할 수 있도록 육안으로는 보이지 않으나 미세한 구멍들이 나 있다. 디스플레이 모니터는 예를 들어, LCD, OLED, 프로젝션, 및 스크린등이 있다. 이런 스피커(1,2)들은 디스플레이 모니터 전체 화면대비 X, Y축상으로 적절한 갯수가 매트릭스 형태로 설치되어 있어 화면상의 오브젝트의 위치에 따라 이에 연동하여 해당되는 스피커가 소리를 출력하게끔 한다. 이런 오브젝트는 인물이 될 수도 있고, 특정 사물, 예를 들어 오토바이가 움직이면서 내는 소음이 화면상에서 이동되는 것을 입체적으로 인식하기 위하여 물체가 될 수도 있다. 또한, 스피커에서 나오는 소리는 Z축상의 원근감을 느끼도록 하여 앞서 X, Y 축상의 위치에 따른 위치좌표 인식과 합하여 시청자가 입체적 음향을 느끼도록 한다. 디스플레이 모니터 좌우에는 좌우 스피커(3,4)들이 배치되어 있다.
도 3 내지 도 7은 영화 " 미녀는 괴로워 " 에 나오는 장면을 예를 들어서 본 발명의 실시예를 설명하는 것으로서, 화면상에서 등장인물들의 대사소리가 화면상에서 인물이 위치하는 곳에 있는 스피커에서 나오는 것을 나타내고 있으며 이렇게 함으로써 시청자들이 보다 현실감 있는 영화를 감상할 수 있는 것을 보여준다. 이 때 한 장면에서 두 인물이 동시에 소리를 낼 때는 각 인물이 위치한 스피커에서 해당 대사를 출력하는 것을 보여준다.
도 8은 본 발명의 장치에 따른 엔코딩 시스템 구성을 나타내는 블록도이다. 매트릭스 사운드를 구현하기 위해서는 기존 서라운드 엔코딩 시스템에 추가적으로 센터 채널 엔코딩 시스템이 필요한 데, 서라운드 오소링( surround authoring )과정에서 센터 채널만을 추출하여 X-Y-Z 좌표 패너(panner)를 사용하여 디스플레이되는 화상에 맞는 센터 채널 위치정보를 기록하고 이렇게 만들어진 데이터는 센터 채널 엔코더를 통해서 데이터로 저장되어 센터 채널의 오디오 신호와 함께 다른 서브 트랙에 기록된다.
즉, 영화나 DVD 타이틀을 만드는 기존 서라운드 오소링 툴( Authoring Tool)에서 비디오(6), 자막(7), 인터뷰등의 추가 데이터(8), 오디오(9)들은 오소링 툴의 불려오기 포트(10)에 입력되어 비디오 트랙(11), 자막 트랙(12),기타 트랙(13) 및 오디오 트랙(14)로 각각 분리되어 저장되며 ,전면 좌우 스피커, 서브우퍼, 서라운드 좌우 스피커, 서라운드 백 스피커용의 오디오(16)는 서라운드 엔코더(15)를 통해 오디오 트랙(14)에 저장된다. 오디오 트랙(14)에서 센터 채널 분리 패너(17)을 사용하여 오브젝트의 음원만을 분리하고, 센터 채널 X-Y-Z 패너(18)을 사용하여 디스플레이되는 오브젝트에 맞는 센터 채널 위치정보를 기록하고 이렇게 위치정보를 포함하여 만들어진 데이터는 센터 채널 엔코더(19)를 거쳐 기타 트랙(13)에 저장되며 오디오 트랙에 여유가 있는 경우 임베디드되어 오디오 트랙으로 삽입될 수도 있다. 한편, 이렇게 엔코딩 된 데이터는 오소링 툴의 내보내기 포트(20)를 통해 디코 딩 장치로 보내지거나 DVD, BLUEWAY ,하드디스크등의 미디어 기록매체로 저장된 다음, 본 발명에 의한 오브젝트중심의 입체음향 좌표표시를 갖는 디스플레이장치에서 구현될 수 있다.
도 9는 도 8의 엔코딩 과정을 플로우 차트로서 설명한 것이다.
한편, 이런 센터 채널 X-Y-Z 좌표 패너는 크게 일반 모드와 오버레이 모드를 제공한다. 일반 모드는 소리의 움직임을 미리 알고 있는 경우와 소리의 움직임이 고정되어 있는 경우등에서 사용할 수 있으며, 오버레이 모드는 적용하고자 하는 화면을 보면서 소리의 움직임을 만들 수 있는 방식이다. 이런 센터 채널 좌표 패너는 플러그 인 형태로 제공하기 때문에 오소링 과정에서 누구나 쉽게 화면을 보면서 소리의 위치와 움직임을 기록할 수 있으며 기존 오소링 툴에서 센터 채널에 대한 추가적인 작업만을 하기 때문에 복잡해지지 않게 된다.
도 10은 도 8의 오소링 툴에서 작업한 결과 기록매체에 저장된 것의 예시를 나타낸 것이며 도 11은 플러그 인 형태의 오소링 툴의 일반모드를 나타내는 것이며, 도 12는 플러그 인 형태의 오소링 툴의 오버레이 모드(overlay mode)를 나타낸 것이다.
이하 도 12의 오버레이 모드하에서 오소링 툴을 플러그 인 형태로 작업하는 것을 설명한다.
* 화면 배치
화면은 지정된 화면비(Aspect Ratio)에 따라 자동으로 결정된다. 화면 영역은 좌우를 X로 표시하고 상하를 Y로 표시한다. 또한 전후에 해당하는 깊이감은 Y로 표시한다. MIDI를 사용하는 경우 해당하는 값은 1~128로 표시할 수 있으며, 중간값인 64를 X, Y 버스의 경우는 C로 표시하고, Z의 경우는 0 으로 표시한다. 이를 보다 효율적으로 확인하기 위해서 화면상에는 L/R, H/L, F/R과 같이 표시할 수도 있다. 이 값은 X Bus, Y Bus, Z Depth 파라미터를 돌려 선택할 수도 있고, 마우스를 움직이거나 이 파라미터 다이얼을 돌리면, 해당하는 값이 표시된다.
* 소스 표시 및 Attenuate 파라미터
소스의 위치는 공 모양으로 지정하고 감쇄되는 값을 Attenuate 파라미터(21)로 다룬다. 만약 Attenuate 값이 100% 된다면, 화면 전체에서 소리가 나게 되는 것이다. 만약 Attenuate 0%가 된다면, 해당하는 소리는 공 모양이 위치한 스피커 1 개에서만 소리가 나게 된다. 또한 Attenuate는 공 모양에 원을 그리며, 소리가 줄어들게 되는데, 줄에 따라서 -3 dB, -6 dB, -12 dB 형태로 서서히 감소하게 되므로 보다 현실감 있는 소리의 감쇄 효과를 만들 수 있다.
* 소리의 원근감 표시
화면에는 마름모꼴의 사각형이 위치하게 되는데 이 선을 마우스로 드래그하여 자유롭게 만들 수 있다. 이 선은 소리의 원근감을 표시하기 위한 Z Depth 파라미터(26)인데, 이를 사용하여 동일 화면에서 화면에 가까이 한 소리와 멀리 있는 소리의 원근감을 만들어 낼 수 있다. 이 파라미터는 원근감을 갖도록 하기 위한 것으로서, 소스에 해당하는 공 모양을 선택하고, 키보드의 [Ctrl]과 같은 변환키를 사용하여 공을 앞 또는 뒤로 보낼 수 있도록 한다.
* X, Y 인디케이터
공의 움직임에 따라서 X 및 Y 인디케이터(24,25)에 해당하는 위치를 수치로 표현하도록 한다. 여기에 직접 값을 입력할 수 있어, 사운드 소스가 고정되는 경우 빠른 작업도 가능하도록 한다.
* 노말라이즈(normalize) 파라미터
이 파라미터(22)는 소스에 따라서 자동으로 소리를 노말라이즈(평준화)해주는 역할을 한다. 이 값을 조정하여 소리의 전체적인 강도(Loudness)를 조절할 수 있다.
* LFE 파라미터
센터 채널의 경우에도 특수한 효과를 위해서 센터 채널의 저음 부분을 서브우퍼로 보내 보다 극적인 효과를 만들 수 있다. LFE(Low Frequency Effect)파라미터(23)를 사용하여 서브우퍼로 얼마나 많은 저음을 보낼지 결정할 수 있다.
* 모드 스위치
모드 스위치(27)를 사용하여 센터 패너에 대한 모드를 선택할 수 있다. 노멀 모드의 경우는 일반적인 서라운드 형태로 센터 이미지의 움직임을 만들 수 있으며, 오버레이 모드의 경우는 작업하는 현재 화면을 타임코드에 맞게 삽입하여 편리하게 작업할 수 있다. 이 외에 스테레오 모드, 듀얼 모노 모드, 매트릭스 스피커 모드 등이 추가된다.
* Mo.St.Pan Law 스위치
이 스위치는 좌우 발란스에 대한 조절에 관한 것으로, 0 dB, -3 dB, -6 dB, Equal Power 등의 모드에서 이 스위치(28)를 선택할 수 있다. 만약 -6 dB에 위치하 게 되면, 모노 위치(정중앙)에서 0 dB가 기준일 때, 좌측이나 우측으로 완전히 치우치게 되면 레벨이 -6 dB 만큼 자동으로 줄어들게 되며, 화면의 가운데에 앉아서 감상할 때, 좌우로 소리가 편중되는 효과를 보다 극대화할 수 있게 된다.
* 볼륨 파라미터
센터 채널에 대한 전체 출력 값을 조정할 수 있다. 이 볼륨 파라미터(29)를 사용하여 입력되는 레벨이 작더라도 크게 레벨을 증폭시켜서 출력할 수 있다. 노말라이즈 파라미터가 작은 소리를 크게, 큰 소리를 작게 만드는 대신, 볼륨 파라미터는 지정한 값에 따라 소리를 크게하거나 작게할 수 있다.
* 타임코드(Timecode) 및 동일 소스 전환 스위치
타임코드 리더 부분을 통해 현재 작업이 진행되는 시간을 확인할 수 있다. 이 타임코드(30)는 시퀀서의 타임코드와 동일하게 움직이며, 필요에 따라서 타임코드 부분을 마우스로 드래그하거나 필요한 시간을 타이핑하여 원하는 위치로 곧바로 이동할 수 있도록 한다. 소스 전환 스위치는 센터 채널에서 여러 개의 소스를 사용하는 경우, 별도의 센터 패너를 열지 않고도 곧바로 원하는 다른 센터 채널 트랙으로 이동할 수 있도록 한다.
이와같이 오버레이 모드에서 작업을 하면 그 결과치의 데이터가 도 10에 나타난 바와 같다. 즉 현재 화면의 타임코드 트랙(31), 도 3 내지 도 7에 나타나 있는 장면들이 비디오 트랙(32)에 타임코드별로 배치되고 , 오브젝트의 음원이 화면과 정확한 씽크가 이루어지도록 센터 채널 트랙 M1, M2(33,34)등에 배치되고, 화면과 대사가 일치하도록 센터 채널의 좌표가 X 버스 트랙(35), Y 버스 트랙(36) 및 Z 댑스(37) 트랙에 각각 저장되고, 그 밖에 한글 자막(38) 및 영어 자막(39)에 대한 트랙이 추가될 수 있다. 본 발명의 실시예에서는 센터 채널 트랙을 M1,M2 두가지 경우로 설정하여 설명하였지만, 한 화면상에서 오브젝트의 소리가 여러 곳으로 설정될 경우에는 이 경우 수 만큼 센터 채널 트랙의 수가 늘어 날 수 있다. 예를 들어, 모니터 화면에 디스플레이 되는 오브젝트의 숫자가 3 인 경우, 센터채널의 숫자도 3개가 설정되며, 이 오브젝트가 동시에 음원을 출력할 경우에는 센터 채널 트랙의 음원 그래프 표시도 동시에 출력되고 있음을 알 수 있을 것이며, 오브젝트의 화면상의 좌표가 X,Y 버스 트랙에 기입된 것을 알 수 있다.
이렇게 함으로써 오브젝트의 화면상의 위치와 매칭되어 해당 스피커에서 각 화면에 맞는 대사 및 오디오가 출력할 수 있는 것이다
본 발명에 의한 매트릭스 스피커 엔코딩 방식은 기존의 서라운드 사운드 오소링 툴과 호환되면서, 추가적으로 X 버스, Y 버스 및 Z 댑스 에 대한 파라미터 트랙을 추가하면 되는 것이다. 이 추가 트랙은 텍스트 기반의 트래인 자막 트랙 또는 잔여 오디오 트랙, Aux 트랙을 사용하여 응용이 가능하다. 이때 해당하는 파라미터를 X,Y,Z 좌표값의 수치로 표현해 주면 된다. 이런 X,Y,Z 는 각각 좌우,상하, 깊이(원근감)을 입체적으로 표현할 수 있는 파라미터로 화면의 대사에 맞게 정확하게 씽크가 이루어져야 하는데, 각각의 파라미터는 매트릭스 스피커의 최대 사용숫자에 맞출수 있도록 하면 보다 효과적인 오소링 작업이 가능해진다. 일반적으로 가장 많이 사용하는 방법은 MIDI(Musical Instrument Digital Interface)파라미터를 응용하는 방법으로서 1-128의 숫자로 표현하는 방법이다.
이렇게 완성된 데이터는 DVD나 BLUEWAY 등의 미디어로 버닝할 수가 있고, 또한 임베디드 오디오 파일로 만들어 웹, 게임, 방송, 영화등에 사용할 수도 있다.
도 13은 본 발명에 의한 디코딩 장치의 구성을 나타낸 블록도이다.
DVD/BLUEWAY 플레이어(40), TV튜너/위성방송(41)등의 외부 영상기기로부터 입력된 비디오 신호가 영상입력부(43) 및 비디오처리부(44)를 통해 본 발명의 매트릭스 사운드 지원 모니터 (51)에 입력되어 디스플레이되고, DVD /BLUEWAY 플레이어(40), TV튜너/위성방송(41) 및 외부소스(42)의 오디오신호는 음성입력부(45)를 거쳐 서라운드 디코더(47)에 입력된다. 서라운드 디코더에서 센터 채널에 대한 음원은 센터 채널 디코더로 보내지고, 기타 음원은 서라운드 스피커 시스템의 다른 스피커들(52)로 출력된다. 센터 채널 디코더(48)는 상기 서라운드 스피커 시스템의 서라운드 디코더에서 출력되는 오디오중 센터채널 스피커에 해당되는 오디오를 입력받아 오브젝트에 따른 음원들로 분리하여 센터 채널 매트릭스로 보낸다. 센터 채널 매트릭스(49)는 상기 센터 채널 디코더에서 분리된 오브젝트에 따른 음원들의 좌표값을 설정하며, 각 좌표 설정된 음원들은 매트릭스 앰프(50)에서 증폭된 후, 매트릭스 사운드 지원 모니터(51)에 입력되는 비디오신호에 연동하여 X 매트릭스 버스 및 Y 매트릭스 버스를 통해 해당 좌표에 맞는 스피커로 출력된다.
이와 같이 오디오 신호중 해당 오브젝트(사람, 물체)에 맞는 대사 및 음은 센터 채널 디코더를 통해 매트릭스 사운드 지원 모니터의 스피커로 출력되지만 그외 음은 서라운드 디코더(12)에서 다른 스피커(52)(전면 좌우 스피커, 서브우퍼, 서라운드좌우 스피커, 서라운드 백 스피커등)로 출력된다.
도 1은 종래의 서라운드 스피커 시스템의 개요도
도 2 내지 도 7은 영화의 연속장면에서 화면상 인물의 위치에 따라 소리가 나는 스피커의 위치를 보여주는 도면
도 8은 본 발명에 의한 오브젝트중심의 입체음향 좌표표시값을 갖는 기록 매체를 만드는 장치의 구성을 나타내는 블록도
도 9는 도 8에 의한 기록매체를 만드는 방법의 플로우 차트
도 10은 도 8의 오소링 툴에서 작업한 결과 기록매체에 저장된 것의 예시를 나타낸 도면
도 11은 플러그 인 형태의 오소링 툴의 일반모드를 나타내는 도면
도 12는 플러그 인 형태의 오소링 툴의 오버레이 모드(overlay mode)를 나타낸 도면
도 13은 본 발명에 의한 디코딩 장치의 구성을 나타낸 블록도

Claims (4)

  1. 서라운드 스피커 시스템과 영상물을 출력하는 플레이어 및 디스플레이 모니터를 포함한 디스플레이 장치에 있어서,
    상기 서라운드 스피커 시스템의 서라운드 디코더에서 출력되는 오디오중 센터채널 스피커에 해당되는 오디오를 입력받아 오브젝트에 따른 음원들로 분리하는 센터 채널 디코더와;
    상기 센터 채널 디코더에서 분리된 오브젝트에 따른 음원들의 좌표값을 설정해주는 센터 채널 매트릭스와;
    상기 오브젝트에 따른 음원들의 각 좌표값에 맞는 스피커의 출력음을 증폭시켜주는 매트릭스 앰프와; 및
    상기 디스플레이 모니터뒤에 매트릭스 형태로 위치한 복수의 스피커를 포함하여, 디스플레이 모니터에 디스플레이되는 오브젝트의 좌표에 대응하는 스피커에서 음이 출력되는 것을 특징으로 하는 오브젝트중심의 입체음향 좌표표시를 갖는 디스플레이장치.
  2. 제 1항에 있어서, 상기 디스플레이 모니터는 음이 통과할 수 있는 미세 구멍이 있는 것을 특징으로 하는 오브젝트중심의 입체음향 좌표표시를 갖는 디스플레이장치.
  3. 비디오, 자막, 오디오 및 추가데이터들을 불러오기하여 오소링 툴에서 플러그 인 방식으로 엔코딩하여 기록 매체를 만드는 장치에 있어서, 상기 오소링 툴은 상기 기록 매체가 오브젝트 중심의 입체음향 좌표인 X,Y 좌표 및 Z 댑스값을 갖기 위해 X 버스, Y 버스 , 및 Z 댑스 파라미터를 입력하는 툴을 더 포함하는 것을 특징으로 하는 오브젝트중심의 입체음향 좌표표시값을 갖는 기록 매체를 만드는 장치.
  4. 제 3항에 의한 장치로 만들어진 오브젝트중심의 입체음향 좌표표시를 갖는 기록매체.
KR1020080025826A 2008-03-20 2008-03-20 오브젝트중심의 입체음향 좌표표시를 갖는 디스플레이장치 KR100934928B1 (ko)

Priority Applications (10)

Application Number Priority Date Filing Date Title
KR1020080025826A KR100934928B1 (ko) 2008-03-20 2008-03-20 오브젝트중심의 입체음향 좌표표시를 갖는 디스플레이장치
US12/736,201 US8953824B2 (en) 2008-03-20 2009-03-18 Display apparatus having object-oriented 3D sound coordinate indication
CA2717674A CA2717674C (en) 2008-03-20 2009-03-18 Display apparatus having object-oriented 3d sound coordinate indication
AU2009226267A AU2009226267B2 (en) 2008-03-20 2009-03-18 Display device with object-oriented stereo sound coordinate display
JP2011500702A JP2011515942A (ja) 2008-03-20 2009-03-18 対象指向性の３ｄ音声ディスプレイ装置
CN2009801097444A CN101978689B (zh) 2008-03-20 2009-03-18 具有目标中心立体音响坐标显示的显示装置
MX2010010195A MX2010010195A (es) 2008-03-20 2009-03-18 Aparato de visualizacion que tiene indicacion de coordenada de sonido 3d orientada por objeto.
EP09721917.4A EP2268012B1 (en) 2008-03-20 2009-03-18 Display device with object-oriented stereo coordinate sound output
RU2010138990/08A RU2495539C2 (ru) 2008-03-20 2009-03-18 Устройство отображения с объектно-ориентированным 3-мерным представлением координат места возникновения звука
PCT/KR2009/001365 WO2009116800A2 (ko) 2008-03-20 2009-03-18 오브젝트중심의 입체음향 좌표표시를 갖는 디스플레이장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080025826A KR100934928B1 (ko) 2008-03-20 2008-03-20 오브젝트중심의 입체음향 좌표표시를 갖는 디스플레이장치

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020090080427A Division KR101353467B1 (ko) 2009-08-28 2009-08-28 오브젝트중심의 입체음향 좌표표시를 갖는 디스플레이장치

Publications (2)

Publication Number Publication Date
KR20090100566A true KR20090100566A (ko) 2009-09-24
KR100934928B1 KR100934928B1 (ko) 2010-01-06

Family

ID=41091395

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080025826A KR100934928B1 (ko) 2008-03-20 2008-03-20 오브젝트중심의 입체음향 좌표표시를 갖는 디스플레이장치

Country Status (10)

Country Link
US (1) US8953824B2 (ko)
EP (1) EP2268012B1 (ko)
JP (1) JP2011515942A (ko)
KR (1) KR100934928B1 (ko)
CN (1) CN101978689B (ko)
AU (1) AU2009226267B2 (ko)
CA (1) CA2717674C (ko)
MX (1) MX2010010195A (ko)
RU (1) RU2495539C2 (ko)
WO (1) WO2009116800A2 (ko)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101055798B1 (ko) * 2010-02-04 2011-08-09 박승민 2차원 어레이 스피커를 위한 오디오 정보 생성 방법 및 이를 위한 기록매체
RU2518933C2 (ru) * 2010-03-19 2014-06-10 Самсунг Электроникс Ко., Лтд. Способ и устройство для воспроизведения трехмерного звукового сопровождения
KR101410976B1 (ko) * 2013-05-31 2014-06-23 한국산업은행 대사 또는 현장감 전달 목적에 따른 스피커 위치 지정 방법 및 그 장치
KR101488936B1 (ko) * 2013-05-31 2015-02-02 한국산업은행 프론트 채널 사운드가 발생되는 미들 레이어 위치 조정 장치 및 그 방법
RU2540774C2 (ru) * 2010-05-04 2015-02-10 Самсунг Электроникс Ко., Лтд. Способ и устройство для воспроизведения стереофонического звука
WO2015060678A1 (en) * 2013-10-24 2015-04-30 Samsung Electronics Co., Ltd. Method and apparatus for outputting sound through speaker
KR20150047411A (ko) * 2013-10-24 2015-05-04 삼성전자주식회사 틈 스피커를 통해 음향을 출력하는 방법 및 장치
US9679572B2 (en) 2013-04-23 2017-06-13 The Korea Development Bank Method and apparatus for encoding/decoding scalable digital audio using direct audio channel data and indirect audio channel data
US10158958B2 (en) 2010-03-23 2018-12-18 Dolby Laboratories Licensing Corporation Techniques for localized perceptual audio
KR20190090447A (ko) * 2018-01-25 2019-08-02 한국항공대학교산학협력단 사운드 투과가 가능한 멀티비전 디스플레이 장치

Families Citing this family (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7873917B2 (en) * 2005-11-11 2011-01-18 Apple Inc. Locking relationships among parameters in computer programs
WO2011119401A2 (en) 2010-03-23 2011-09-29 Dolby Laboratories Licensing Corporation Techniques for localized perceptual audio
US8879771B2 (en) 2010-04-08 2014-11-04 Nokia Corporation Apparatus and method for sound reproduction
US9053562B1 (en) * 2010-06-24 2015-06-09 Gregory S. Rabin Two dimensional to three dimensional moving image converter
EP2659328B1 (en) * 2010-12-31 2020-07-29 Nokia Technologies Oy Apparatus and method for a sound generating device combined with a display unit
US8862254B2 (en) 2011-01-13 2014-10-14 Apple Inc. Background audio processing
US8842842B2 (en) 2011-02-01 2014-09-23 Apple Inc. Detection of audio channel configuration
US8887074B2 (en) 2011-02-16 2014-11-11 Apple Inc. Rigging parameters to create effects and animation
US8767970B2 (en) 2011-02-16 2014-07-01 Apple Inc. Audio panning with multi-channel surround sound decoding
US8958565B2 (en) * 2011-03-21 2015-02-17 Lg Electronics Inc. Apparatus for controlling depth/distance of sound and method thereof
KR101861590B1 (ko) * 2011-10-26 2018-05-29 삼성전자주식회사 휴대용 단말기에서 입체 데이터를 생성하기 위한 장치 및 방법
EP2804402B1 (en) * 2012-01-11 2021-05-19 Sony Corporation Sound field control device, sound field control method and program
EP2637427A1 (en) 2012-03-06 2013-09-11 Thomson Licensing Method and apparatus for playback of a higher-order ambisonics audio signal
JP2014143678A (ja) * 2012-12-27 2014-08-07 Panasonic Corp 音声処理システム及び音声処理方法
KR101410977B1 (ko) 2013-05-31 2014-07-01 한국산업은행 오브젝트 중심의 스피커를 지정하기 위한 장치 및 방법
KR101469104B1 (ko) * 2013-05-31 2014-12-04 한국산업은행 오브젝트 중심의 스피커 채널을 지정하기 위한 장치 및 방법
KR101478687B1 (ko) * 2013-05-31 2015-01-02 한국산업은행 스탬별 음원 편집 장치 및 방법
KR101458944B1 (ko) * 2013-05-31 2014-11-10 한국산업은행 포커스 정보를 이용한 스피커 좌표 지정 장치 및 방법
KR101410975B1 (ko) 2013-05-31 2014-06-23 한국산업은행 오브젝트 중심의 사운드를 출력하기 위한 장치 및 방법
DE102013015160A1 (de) * 2013-09-11 2015-03-12 Advanced Acoustic Sf Gmbh Integriertes System aus einer modular aufgebauten, zweidimensionalen WFS Schallwandler Anordnung und einer LED Bildwiedergabe
USD784360S1 (en) 2014-05-21 2017-04-18 Dolby International Ab Display screen or portion thereof with a graphical user interface
USD828845S1 (en) 2015-01-05 2018-09-18 Dolby International Ab Display screen or portion thereof with transitional graphical user interface
CN105989845B (zh) 2015-02-25 2020-12-08 杜比实验室特许公司 视频内容协助的音频对象提取
US9807535B2 (en) 2015-10-30 2017-10-31 International Business Machines Corporation Three dimensional audio speaker array
KR20170058839A (ko) * 2015-11-19 2017-05-29 한국전자통신연구원 부가 영상 객체 기반의 음향 객체 제어 장치 및 방법
KR20180102552A (ko) * 2015-11-25 2018-09-17 토마스 미첼 다이르 수직으로-배향되는 콘텐츠에 대한 서라운드 사운드 애플리케이션들 및 디바이스들
US9843881B1 (en) 2015-11-30 2017-12-12 Amazon Technologies, Inc. Speaker array behind a display screen
CN105847715A (zh) * 2016-01-20 2016-08-10 乐视致新电子科技（天津）有限公司 一种多媒体播放设备
KR20170106046A (ko) * 2016-03-11 2017-09-20 삼성전자주식회사 디스플레이 장치 및 디스플레이 장치의 동작 방법
EP3439326B1 (en) * 2016-03-31 2022-01-05 Sony Group Corporation Acoustic reproduction device, method, and program
CN106162447A (zh) * 2016-06-24 2016-11-23 维沃移动通信有限公司 一种音频播放的方法和终端
WO2018070564A1 (ko) * 2016-10-13 2018-04-19 라인 가부시키가이샤 다중 디스플레이를 위한 사운드 출력 방법 및 장치
CN109151660B (zh) * 2018-09-04 2020-02-28 音王电声股份有限公司 一种数字影院还音系统
KR20200107758A (ko) * 2019-03-08 2020-09-16 엘지전자 주식회사 음향 객체 추종을 위한 방법 및 이를 위한 장치
CN112135226B (zh) * 2020-08-11 2022-06-10 广东声音科技有限公司 Y轴音频再生方法以及y轴音频再生系统
CN112153538B (zh) * 2020-09-24 2022-02-22 京东方科技集团股份有限公司 显示装置及其全景声实现方法、非易失性存储介质

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6829018B2 (en) * 2001-09-17 2004-12-07 Koninklijke Philips Electronics N.V. Three-dimensional sound creation assisted by visual information
RU42145U1 (ru) * 2002-03-21 2004-11-20 Гладков Борис Васильевич Многозвенный электроакустический излучатель
KR100626661B1 (ko) * 2002-10-15 2006-09-22 한국전자통신연구원 공간성이 확장된 음원을 갖는 3차원 음향 장면 처리 방법
EP1552724A4 (en) * 2002-10-15 2010-10-20 Korea Electronics Telecomm METHOD FOR GENERATING AND USING A 3D AUDIOSCENCE WITH EXTENDED EFFICIENCY OF SOUND SOURCE
JP4521671B2 (ja) * 2002-11-20 2010-08-11 小野里 春彦 音源映像の表示領域からその音声を出力させる映像音声再生方法
GB0304126D0 (en) * 2003-02-24 2003-03-26 1 Ltd Sound beam loudspeaker system
US6939012B2 (en) * 2003-06-02 2005-09-06 Eastman Kodak Company Laser image projector
US7636448B2 (en) * 2004-10-28 2009-12-22 Verax Technologies, Inc. System and method for generating sound events
JP2007027846A (ja) * 2005-07-12 2007-02-01 Oki Electric Ind Co Ltd 動画再生システム及び動画再生方法
JP2007129511A (ja) * 2005-11-04 2007-05-24 Sony Corp 音声出力装置および方法、プログラム、並びに記録媒体
JP4306680B2 (ja) * 2005-12-28 2009-08-05 ソニー株式会社 スピーカ装置及び映像表示装置
JP2007274061A (ja) * 2006-03-30 2007-10-18 Yamaha Corp 音像定位装置およびａｖシステム

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101055798B1 (ko) * 2010-02-04 2011-08-09 박승민 2차원 어레이 스피커를 위한 오디오 정보 생성 방법 및 이를 위한 기록매체
RU2518933C2 (ru) * 2010-03-19 2014-06-10 Самсунг Электроникс Ко., Лтд. Способ и устройство для воспроизведения трехмерного звукового сопровождения
US11350231B2 (en) 2010-03-23 2022-05-31 Dolby Laboratories Licensing Corporation Methods, apparatus and systems for audio reproduction
US10939219B2 (en) 2010-03-23 2021-03-02 Dolby Laboratories Licensing Corporation Methods, apparatus and systems for audio reproduction
US10499175B2 (en) 2010-03-23 2019-12-03 Dolby Laboratories Licensing Corporation Methods, apparatus and systems for audio reproduction
US10158958B2 (en) 2010-03-23 2018-12-18 Dolby Laboratories Licensing Corporation Techniques for localized perceptual audio
US9749767B2 (en) 2010-05-04 2017-08-29 Samsung Electronics Co., Ltd. Method and apparatus for reproducing stereophonic sound
RU2540774C2 (ru) * 2010-05-04 2015-02-10 Самсунг Электроникс Ко., Лтд. Способ и устройство для воспроизведения стереофонического звука
US9148740B2 (en) 2010-05-04 2015-09-29 Samsung Electronics Co., Ltd. Method and apparatus for reproducing stereophonic sound
US9679572B2 (en) 2013-04-23 2017-06-13 The Korea Development Bank Method and apparatus for encoding/decoding scalable digital audio using direct audio channel data and indirect audio channel data
KR101488936B1 (ko) * 2013-05-31 2015-02-02 한국산업은행 프론트 채널 사운드가 발생되는 미들 레이어 위치 조정 장치 및 그 방법
KR101410976B1 (ko) * 2013-05-31 2014-06-23 한국산업은행 대사 또는 현장감 전달 목적에 따른 스피커 위치 지정 방법 및 그 장치
US10038947B2 (en) 2013-10-24 2018-07-31 Samsung Electronics Co., Ltd. Method and apparatus for outputting sound through speaker
KR20150047411A (ko) * 2013-10-24 2015-05-04 삼성전자주식회사 틈 스피커를 통해 음향을 출력하는 방법 및 장치
WO2015060678A1 (en) * 2013-10-24 2015-04-30 Samsung Electronics Co., Ltd. Method and apparatus for outputting sound through speaker
KR20190090447A (ko) * 2018-01-25 2019-08-02 한국항공대학교산학협력단 사운드 투과가 가능한 멀티비전 디스플레이 장치

Also Published As

Publication number Publication date
CN101978689A (zh) 2011-02-16
AU2009226267B2 (en) 2014-05-15
RU2010138990A (ru) 2012-04-27
KR100934928B1 (ko) 2010-01-06
JP2011515942A (ja) 2011-05-19
EP2268012A4 (en) 2011-08-10
WO2009116800A9 (ko) 2010-04-01
RU2495539C2 (ru) 2013-10-10
CA2717674C (en) 2016-07-26
WO2009116800A3 (ko) 2009-11-12
EP2268012B1 (en) 2014-12-03
MX2010010195A (es) 2010-11-30
AU2009226267A1 (en) 2009-09-24
US20110007915A1 (en) 2011-01-13
CN101978689B (zh) 2013-12-04
WO2009116800A2 (ko) 2009-09-24
EP2268012A2 (en) 2010-12-29
US8953824B2 (en) 2015-02-10
CA2717674A1 (en) 2009-09-24

Similar Documents

Publication Publication Date Title
KR100934928B1 (ko) 오브젝트중심의 입체음향 좌표표시를 갖는 디스플레이장치
KR101353467B1 (ko) 오브젝트중심의 입체음향 좌표표시를 갖는 디스플레이장치
CN103354630B (zh) 用于使用基于对象的元数据产生音频输出信号的装置和方法
CN101681663B (zh) 处理音频数据的设备和方法
JP6231102B2 (ja) 主観的忠実度のための音声コンテンツの変換
TW201909658A (zh) 用於適應性音頻信號的產生、譯碼與呈現之系統與方法
JP2006025439A (ja) 立体音響を生成する装置及び方法（ＡｐｐａｒａｔｕｓａｎｄＭｅｔｈｏｄｆｏｒＣｒｅａｔｉｎｇ３ＤＳｏｕｎｄ）
KR20200087130A (ko) 신호 처리 장치 및 방법, 그리고 프로그램
KR101235832B1 (ko) 실감 멀티미디어 서비스 제공 방법 및 장치
WO2006009004A1 (ja) 音響再生システム
CN103609143A (zh) 用于捕获和回放源自多个声音源的声音的方法
Roquet Acoustics of the one person space: headphone listening, detachable ambience, and the binaural prehistory of VR
JP2010074258A (ja) 表示装置及び表示方法
JP2018028646A (ja) 会場別カラオケ
Obadiah The Application of Binaural System on Virtual Reality Technology Through the Animation of Wayang Kulit Yogyakarta Performance
US10499178B2 (en) Systems and methods for achieving multi-dimensional audio fidelity
WO2018155352A1 (ja) 電子機器の制御方法、電子機器、電子機器の制御システム、及び、プログラム
KR0132814B1 (ko) 디스크 재생장치의 음향모드 조정방법
Kamekawa et al. Are full-range loudspeakers necessary for the top layer of Three-Dimensional audio?
JP2010278819A (ja) 音響再生システム
WO2024004651A1 (ja) 音声再生装置、音声再生方法及び音声再生プログラム
US20180035236A1 (en) Audio System with Binaural Elements and Method of Use with Perspective Switching
Dockwray et al. Experimental Sound Mixing for “The Well”, a Short Film Made for Tablets
KR20080018409A (ko) 웹 기반의 2채널 출력을 위한 입체 음향 편집 시스템
Ekman Difference between musicians and sound engineers in estimation of egocentric source distance in a concert hall stereophonic recording

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
A107 Divisional application of patent
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20121220

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20131203

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20141202

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20151202

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20161122

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20171204

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20190104

Year of fee payment: 10