KR102387298B1 - 송신 장치, 송신 방법, 수신 장치 및 수신 방법 - Google Patents

송신 장치, 송신 방법, 수신 장치 및 수신 방법 Download PDF

Info

Publication number
KR102387298B1
KR102387298B1 KR1020177033660A KR20177033660A KR102387298B1 KR 102387298 B1 KR102387298 B1 KR 102387298B1 KR 1020177033660 A KR1020177033660 A KR 1020177033660A KR 20177033660 A KR20177033660 A KR 20177033660A KR 102387298 B1 KR102387298 B1 KR 102387298B1
Authority
KR
South Korea
Prior art keywords
content
sound pressure
audio
decrease
increase
Prior art date
Application number
KR1020177033660A
Other languages
English (en)
Other versions
KR20180009338A (ko
Inventor
이쿠오 츠카고시
도루 치넨
Original Assignee
소니그룹주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니그룹주식회사 filed Critical 소니그룹주식회사
Priority to KR1020227012171A priority Critical patent/KR102465286B1/ko
Publication of KR20180009338A publication Critical patent/KR20180009338A/ko
Application granted granted Critical
Publication of KR102387298B1 publication Critical patent/KR102387298B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/018—Audio watermarking, i.e. embedding inaudible data in the audio signal
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • G10L19/167—Audio streaming, i.e. formatting and decoding of an encoded audio signal representation into a data stream for transmission or storage purposes
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • G10L19/18—Vocoders using multiple modes
    • G10L19/20—Vocoders using multiple modes using sound class specific coding, hybrid encoders or object based coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S5/00—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation 
    • H04S5/02—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation  of the pseudo four-channel type, e.g. in which rear channel signals are derived from two-channel stereo signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Stereophonic System (AREA)
  • Reduction Or Emphasis Of Bandwidth Of Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Television Systems (AREA)

Abstract

수신측에서 오브젝트 콘텐트의 음압 조정을 양호하게 행할 수 있도록 한다. 소정수의 오브젝트 콘텐트의 부호화 데이터를 갖는 오디오 스트림을 생성하고, 이 오디오 스트림을 포함하는 소정 포맷의 컨테이너를 송신한다. 오디오 스트림의 레이어 및/또는 컨테이너의 레이어에, 각 오브젝트 콘텐트에 대한 음압의 증감의 허용 범위를 나타내는 정보를 삽입한다. 수신측에서는, 이 정보에 기초하여, 허용 범위 내에서 각 오브젝트 콘텐트의 음압의 증감 처리를 한다.

Description

송신 장치, 송신 방법, 수신 장치 및 수신 방법 {TRANSMISSION DEVICE, TRANSMISSION METHOD, RECEPTION DEVICE AND RECEPTION METHOD}
본 기술은 송신 장치, 송신 방법, 수신 장치 및 수신 방법에 관한 것이며, 특히 소정수의 오브젝트 콘텐트의 부호화 데이터를 갖는 오디오 스트림을 송신하는 송신 장치 등에 관한 것이다.
종래, 입체(3D) 음향 기술로서, 부호화 샘플 데이터를 메타데이터에 기초하여 임의의 위치에 존재하는 스피커에 매핑시켜 렌더링하는 기술이 제안되어 있다(예를 들어, 특허문헌 1 참조).
일본 특허 공표 제2014-520491호 공보
5.1 채널, 7.1 채널 등의 채널 부호화 데이터와 함께, 부호화 샘플 데이터 및 메타데이터를 포함하는 다양한 타입의 오브젝트 콘텐트의 부호화 데이터를 송신하고, 수신측에 있어서 임장감을 높인 음향 재생을 가능하게 하는 것이 고려된다. 예를 들어, 다이알로그 랭귀지 등의 오브젝트 콘텐트는, 배경음이나 시청 환경에 따라서는 알아듣기 어려운 경우가 있다.
본 기술의 목적은, 수신측에서 오브젝트 콘텐트의 음압 조정을 양호하게 행할 수 있도록 하는 데 있다.
본 기술의 개념은,
소정수의 오브젝트 콘텐트의 부호화 데이터를 갖는 오디오 스트림을 생성하는 오디오 인코드부와,
상기 오디오 스트림을 포함하는 소정 포맷의 컨테이너를 송신하는 송신부와,
상기 오디오 스트림의 레이어 및/또는 상기 컨테이너의 레이어에, 각 오브젝트 콘텐트에 대한 음압의 증감의 허용 범위를 나타내는 정보를 삽입하는 정보 삽입부를 구비하는 송신 장치에 있다.
본 기술에 있어서, 오디오 인코드부에 의해, 소정수의 오브젝트 콘텐트의 부호화 데이터를 갖는 오디오 스트림이 생성된다. 정보 삽입부에 의해, 오디오 스트림의 레이어 및/또는 컨테이너의 레이어에, 각 오브젝트 콘텐트에 대한 음압의 증감의 허용 범위를 나타내는 정보가 삽입된다.
예를 들어, 각 오브젝트 콘텐트에 대한 음압의 증감의 허용 범위를 나타내는 정보는, 음압의 상한값 및 하한값의 정보이다. 또한, 예를 들어 오디오 스트림의 부호화 방식은, MPEG-H 3D Audio이며, 정보 삽입부는, 오디오 프레임에, 각 오브젝트 콘텐트에 대한 음압의 증감의 허용 범위를 나타내는 정보를 갖는 익스텐션 엘리먼트를 포함시키도록 되어도 된다.
이와 같이 본 기술에 있어서는, 오디오 스트림의 레이어 및/또는 컨테이너의 레이어에, 각 오브젝트 콘텐트에 대한 음압의 증감의 허용 범위를 나타내는 정보가 삽입된다. 그 때문에, 수신측에서는, 이 삽입 정보를 사용함으로써, 각 오브젝트 콘텐트의 음압의 증감의 조정을 허용 범위 내에서 행하는 것이 용이하게 된다.
또한, 본 기술에 있어서, 예를 들어 소정수의 오브젝트 콘텐트의 각각은 소정수의 콘텐트 그룹 중 어느 하나에 속하고, 정보 삽입부는, 오디오 스트림의 레이어 및/또는 컨테이너의 레이어에, 각 콘텐트 그룹에 대한 음압의 증감의 허용 범위를 나타내는 정보를 삽입하도록 되어도 된다. 이 경우, 음압의 증감의 허용 범위를 나타내는 정보를 콘텐트 그룹의 수만큼 보내면 되며, 각 오브젝트 콘텐트에 대한 음압의 증감의 허용 범위를 나타내는 정보를 효율적으로 송신하는 것이 가능하게 된다.
또한, 본 기술에 있어서, 예를 들어 각 오브젝트 콘텐트에 대한 음압의 증감의 허용 범위를 나타내는 정보에는, 복수의 팩터 타입 중 어느 것을 적용할지를 나타내는 팩터 타입 정보가 부가되도록 되어도 된다. 이 경우, 오브젝트 콘텐트마다, 적절한 팩터 타입의 적용이 가능하게 된다.
또한, 본 기술의 다른 개념은,
소정수의 오브젝트 콘텐트의 부호화 데이터를 갖는 오디오 스트림을 포함하는 소정 포맷의 컨테이너를 수신하는 수신부와,
유저 선택에 관한 오브젝트 콘텐트에 대한 음압 증감을 행하는 음압 증감 처리를 제어하는 제어부를 구비하는 수신 장치에 있다.
본 기술에 있어서 수신부에 의해, 소정수의 오브젝트 콘텐트의 부호화 데이터를 갖는 오디오 스트림을 포함하는 소정 포맷의 컨테이너가 수신된다. 제어부에 의해, 유저 선택에 관한 오브젝트 콘텐트에 대한 음압 증감을 행하는 음압 증감 처리가 제어된다.
이와 같이 본 기술에 있어서는, 유저 선택에 관한 오브젝트 콘텐트에 대한 음압 증감의 처리가 행해진다. 그 때문에, 예를 들어 소정의 오브젝트 콘텐트의 음압을 증가시키고, 그 밖의 오브젝트 콘텐트의 음압을 감소시킨다고 하는 것도 가능하게 되어, 소정수의 오브젝트 콘텐트의 음압의 조정을 효과적으로 행하는 것이 가능하게 된다.
또한, 본 기술에 있어서, 예를 들어 오디오 스트림의 레이어 및/또는 컨테이너의 레이어에, 각 오브젝트 콘텐트에 대한 음압의 증감의 허용 범위를 나타내는 정보가 삽입되어 있고, 제어부는, 오디오 스트림의 레이어 및/또는 컨테이너의 레이어로부터 각 오브젝트 콘텐트에 대한 음압의 증감의 허용 범위를 나타내는 정보를 추출하는 정보 추출 처리를 추가로 제어하고, 음압 증감 처리에서는, 추출된 정보에 기초하여 유저의 선택에 관한 오브젝트 콘텐트에 대한 음압 증감을 행하도록 되어도 된다. 이 경우, 각 오브젝트 콘텐트의 음압의 조정을 허용 범위 내에서 행하는 것이 용이하게 된다.
또한, 본 기술에 있어서, 예를 들어 음압 증감 처리에서는, 유저 선택에 관한 오브젝트 콘텐트에 대하여 음압을 증가시킬 때 다른 오브젝트 콘텐트에 대하여 음압을 감소시키고, 유저 선택에 관한 오브젝트 콘텐트에 대하여 음압을 감소시킬 때 다른 오브젝트 콘텐트에 대하여 음압을 증가시키도록 되어도 된다. 이 경우, 유저에게 조작 수고를 끼치지 않고, 오브젝트 콘텐트 전체의 음압을 일정하게 유지하는 것이 가능하게 된다.
또한, 본 기술에 있어서, 예를 들어 제어부는, 음압 증감 처리로 음압 증감되는 오브젝트 콘텐트의 음압 상태를 나타내는 유저 인터페이스 화면을 표시하는 표시 처리를 추가로 제어하도록 되어도 된다. 이 경우, 유저는, 각 오브젝트 콘텐트의 음압 상태를 용이하게 확인할 수 있어, 음압 설정을 용이하게 행할 수 있다.
본 기술에 따르면, 수신측에서 오브젝트 콘텐트의 음압 조정을 양호하게 행할 수 있다. 또한, 본 명세서에 기재된 효과는 어디까지나 예시이지 한정되는 것은 아니며, 또한 부가적인 효과가 있어도 된다.
도 1은 실시 형태로서의 송수신 시스템의 구성예를 도시하는 블록도이다.
도 2는 MPEG-H 3D Audio의 전송 데이터의 구성예를 도시하는 도면이다.
도 3은 MPEG-H 3D Audio의 전송 데이터에 있어서의 오디오 프레임의 구조예를 도시하는 도면이다.
도 4는 익스텐션 엘리먼트의 타입(ExElementType)과, 그 값(Value)의 대응 관계를 나타내는 도면이다.
도 5는 각 콘텐트 그룹에 대한 음압의 증감의 허용 범위를 나타내는 정보를 익스텐션 엘리먼트로서 포함하는 콘텐트 인핸스먼트 프레임의 구조예를 도시하는 도면이다.
도 6은 콘텐트 인핸스먼트 프레임의 구조예에 있어서의 주요 정보의 내용을 도시하는 도면이다.
도 7은 음압의 증감의 허용 범위를 나타내는 정보가 나타내는 음압의 값(팩터값)의 일례를 도시하는 도면이다.
도 8은 오디오 콘텐트 인핸스먼트 디스크립터의 구조예를 도시하는 도면이다.
도 9는 서비스 송신기가 구비하는 스트림 생성부의 구성예를 도시하는 블록도이다.
도 10은 트랜스포트 스트림 TS의 구조예를 도시하는 도면이다.
도 11은 서비스 수신기의 구성예를 도시하는 블록도이다.
도 12는 오디오 디코드부의 구성예를 도시하는 블록도이다.
도 13은 각 오브젝트 콘텐트의 현재의 음압 상태를 나타내는 유저 인터페이스 화면의 일례를 도시하는 도면이다.
도 14는 유저의 단위 조작에 대응한, 오브젝트 인핸서에 있어서의 음압의 증감 처리의 일례를 도시하는 흐름도이다.
도 15는 오브젝트 콘텐트의 음압 조정예의 효과를 설명하기 위한 도면이다.
도 16은 음압의 증감의 허용 범위를 나타내는 정보가 나타내는 음압의 값(팩터값)의 다른 예를 도시하는 도면이다.
도 17은 각 콘텐트 그룹에 대한 음압의 증감의 허용 범위를 나타내는 정보를 익스텐션 엘리먼트로서 포함하는 콘텐트 인핸스먼트 프레임의 다른 구조예를 도시하는 도면이다.
도 18은 콘텐트 인핸스먼트 프레임의 구조예에 있어서의 주요 정보의 내용을 도시하는 도면이다.
도 19는 오디오 콘텐트 인핸스먼트 디스크립터의 다른 구조예를 도시하는 도면이다.
도 20은 유저의 단위 조작에 대응한, 오브젝트 인핸서에 있어서의 음압의 증감 처리의 다른 예를 도시하는 흐름도이다.
도 21은 MMT 스트림의 구조예를 도시하는 도면이다.
이하, 발명을 실시하기 위한 형태(이하, 「실시 형태」라고 함)에 대하여 설명한다. 또한, 설명을 이하의 순서로 행한다.
1. 실시 형태
2. 변형예
<1. 실시 형태>
[송수신 시스템의 구성예]
도 1은, 실시 형태로서의 송수신 시스템(10)의 구성예를 도시하고 있다. 이 송수신 시스템(10)은, 서비스 송신기(100)와 서비스 수신기(200)에 의해 구성되어 있다. 서비스 송신기(100)는, 트랜스포트 스트림 TS를, 방송파 혹은 네트워크의 패킷에 실어 송신한다.
트랜스포트 스트림 TS는, 오디오 스트림, 혹은 비디오 스트림과 오디오 스트림을 갖고 있다. 오디오 스트림은, 채널 부호화 데이터와 함께, 소정수의 오브젝트 콘텐트의 부호화 데이터(오브젝트 부호화 데이터)를 갖고 있다. 이 실시 형태에 있어서, 오디오 스트림의 부호화 방식은, MPEG-H 3D Audio로 된다.
서비스 송신기(100)는, 오디오 스트림의 레이어 및/또는 컨테이너로서의 트랜스포트 스트림 TS의 레이어에, 각 오브젝트 콘텐트에 대한 음압의 증감의 허용 범위를 나타내는 정보(상한값, 하한값의 정보)를 삽입한다. 예를 들어, 소정수의 오브젝트 콘텐트의 각각은 소정수의 콘텐트 그룹 중 어느 하나에 속하고, 서비스 송신기(200)는, 오디오 스트림의 레이어 및/또는 컨테이너의 레이어에, 각 콘텐트 그룹에 대한 음압의 증감의 허용 범위를 나타내는 정보를 삽입한다.
도 2는, MPEG-H 3D Audio의 전송 데이터의 구성예를 도시하고 있다. 이 구성예에서는, 하나의 채널 부호화 데이터와 6개의 오브젝트 부호화 데이터를 포함하고 있다. 하나의 채널 부호화 데이터는, 5.1 채널의 채널 부호화 데이터(CD)이며, SCE1, CPE1.1, CPE1.2, LFE1의 각 부호화 샘플 데이터를 포함하고 있다.
6개의 오브젝트 부호화 데이터 중, 최초의 3개의 오브젝트 부호화 데이터는, 다이알로그 랭귀지 오브젝트의 콘텐트 그룹의 부호화 데이터(DOD)에 속해 있다. 이 3개의 오브젝트 부호화 데이터는, 제1, 제2, 제3 언어의 각각에 대응한 다이알로그 랭귀지 오브젝트(Object for dialog language)의 부호화 데이터이다.
이 제1, 제2, 제3 언어에 대응한 다이알로그 랭귀지 오브젝트의 부호화 데이터는, 각각 부호화 샘플 데이터 SCE2, SCE3, SCE4와, 그것을 임의의 위치에 존재하는 스피커에 매핑시켜 렌더링하기 위한 메타데이터(Object metadata)를 포함하고 있다.
또한, 6개의 오브젝트 부호화 데이터 중, 남은 3개의 오브젝트 부호화 데이터는, 사운드 이펙트 오브젝트의 콘텐트 그룹의 부호화 데이터(SEO)에 속해 있다. 이 3개의 오브젝트 부호화 데이터는, 제1, 제2, 제3 효과음의 각각에 대응한 사운드 이펙트 오브젝트(Object for sound effect)의 부호화 데이터이다.
이 제1, 제2, 제3 효과음에 대응한 사운드 이펙트 오브젝트의 부호화 데이터는, 각각 부호화 샘플 데이터 SCE5, SCE6, SCE7과, 그것을 임의의 위치에 존재하는 스피커에 매핑시켜 렌더링하기 위한 메타데이터(Object metadata)를 포함하고 있다.
부호화 데이터는, 종류별로 그룹(Group)이라고 하는 개념으로 구별된다. 이 구성예에서는, 5.1 채널의 채널 부호화 데이터는 그룹 1(Group 1)로 된다. 또한, 제1, 제2, 제3 언어에 대응한 다이알로그 랭귀지 오브젝트의 부호화 데이터는, 각각 그룹 2(Group 2), 그룹 3(Group 3), 그룹 4(Group 4)로 된다. 또한, 제1, 제2, 제3 효과음에 대응한 사운드 이펙트 오브젝트의 부호화 데이터는, 각각 그룹 5(Group 5), 그룹 6(Group 6), 그룹 7(Group 7)로 된다.
또한, 수신측에 있어서 그룹 간에서 선택할 수 있는 것은 스위치 그룹(SW Group)에 등록되어 부호화된다. 이 구성예에서는, 다이알로그 랭귀지 오브젝트의 콘텐트 그룹에 속하는 그룹 2, 그룹 3, 그룹 4는 스위치 그룹 1(SW Group 1)로 된다. 또한, 사운드 이펙트 오브젝트의 콘텐트 그룹에 속하는 그룹 5, 그룹 6, 그룹 7은 스위치 그룹 2(SW Group 2)로 된다.
도 3은, MPEG-H 3D Audio의 전송 데이터에 있어서의 오디오 프레임의 구조예를 도시하고 있다. 이 오디오 프레임은, 복수의 MPEG 오디오 스트림 패킷(mpeg Audio Stream Packet)을 포함하고 있다. 각 MPEG 오디오 스트림 패킷은, 헤더(Header)와 페이로드(Payload)에 의해 구성되어 있다.
헤더는, 패킷 타입(Packet Type), 패킷 라벨(Packet Label), 패킷 길이(Packet Length) 등의 정보를 갖는다. 페이로드에는, 헤더의 패킷 타입에서 정의된 정보가 배치된다. 이 페이로드 정보에는, 동기 스타트 코드에 상당하는 "SYNC"와, 3D 오디오의 전송 데이터의 실제 데이터인 "Frame"과, 이 "Frame"의 구성을 나타내는 "Config"가 존재한다.
"Frame"에는, 3D 오디오의 전송 데이터를 구성하는 채널 부호화 데이터와 오브젝트 부호화 데이터가 포함된다. 여기서, 채널 부호화 데이터는, SCE(Single Channel Element), CPE(Channel Pair Element), LFE(Low Frequency Element) 등의 부호화 샘플 데이터로 구성된다. 또한, 오브젝트 부호화 데이터는, SCE(Single Channel Element)의 부호화 샘플 데이터와, 그것을 임의의 위치에 존재하는 스피커에 매핑시켜 렌더링하기 위한 메타데이터에 의해 구성된다. 이 메타데이터는, 익스텐션 엘리먼트(Ext_element)로서 포함된다.
이 실시 형태에서는, 익스텐션 엘리먼트(Ext_element)로서, 각 콘텐트 그룹에 대한 음압의 증감의 허용 범위를 나타내는 정보를 갖는 엘리먼트(Ext_content_enhancement)를 새롭게 정의한다. 이에 수반하여 "Config"에, 그 엘리먼트의 구성 정보(content_enhancement config)를 새롭게 정의한다.
도 4는, 익스텐션 엘리먼트(Ext_element)의 타입(ExElementType)과, 그 값(Value)의 대응 관계를 도시하고 있다. 예를 들어, 128을, 새롭게 "ID_EXT_ELE_content_enhancement"의 타입의 값으로서 정의한다.
도 5는, 각 콘텐트 그룹에 대한 음압의 증감의 허용 범위를 나타내는 정보를 익스텐션 엘리먼트로서 포함하는 콘텐트 인핸스먼트 프레임(Content_Enhancement_frame())의 구조예(syntax)를 도시하고 있다. 도 6은, 그 구성예에 있어서의 주요 정보의 내용(semantics)을 도시하고 있다.
「num_of_content_groups」의 8비트 필드는, 콘텐트 그룹의 수를 나타낸다. 이 콘텐트 그룹의 수만큼, 「content_group_id」의 8비트 필드, 「content_type」의 8비트 필드, 「content_enhancement_plus_factor」의 8비트 필드 및 「content_enhancement_minus_factor」의 8비트 필드가 반복하여 존재한다.
「content_group_id」 필드는, 콘텐트 그룹의 ID(식별)를 나타낸다. 「content_type」의 필드는, 콘텐트 그룹의 타입을 나타낸다. 예를 들어, "0"은 「dialog language」를 나타내고, "1"은 「sound effect」를 나타내고, "2"는 「BGM」을 나타내고, "3"은 「spoken subtitles」를 나타낸다.
「content_enhancement_plus_factor」의 필드는, 음압의 증감에 있어서의 상한값을 나타낸다. 예를 들어, 도 7의 테이블에 도시하는 바와 같이, "0x00"은 1(0dB), "0x01"은 1.4(+3dB), …, "0xFF"는 infinite(+infinit dB)를 나타낸다. 「content_enhancement_minus_factor」의 필드는, 음압의 증감에 있어서의 하한값을 나타낸다. 예를 들어, 도 7의 테이블에 도시하는 바와 같이, "0x00"은 1(0dB), "0x01"은 0.7(-3dB), …, "0xFF"는 0.00(-infinit dB)을 나타낸다. 또한, 도 7의 테이블은, 서비스 수신기(200)에 있어서 공유되고 있다.
또한, 이 실시 형태에서는, 각 콘텐트 그룹에 대한 음압의 증감의 허용 범위를 나타내는 정보를 갖는 오디오 콘텐트 인핸스먼트 디스크립터(Audio_Content_Enhancement descriptor)를 신규 정의한다. 그리고, 이 디스크립터를, 프로그램 맵 테이블(PMT: Program Map Table)의 관리 하에 존재하는 오디오 엘리먼터리 스트림 루프 내에 삽입한다.
도 8은, 오디오 콘텐트 인핸스먼트 디스크립터의 구조예(Syntax)를 도시하고 있다. 「descriptor_tag」의 8비트 필드는, 디스크립터 타입을 나타낸다. 여기서는, 오디오 콘텐트 인핸스먼트 디스크립터인 것을 나타낸다. 「descriptor_length」의 8비트 필드는, 디스크립터의 길이(사이즈)를 나타내며, 디스크립터의 길이로서, 이후의 바이트수를 나타낸다.
「num_of_content_groups」의 8비트 필드는, 콘텐트 그룹의 수를 나타낸다. 이 콘텐트 그룹의 수만큼, 「content_group_id」의 8비트 필드, 「content_type」의 8비트 필드, 「content_enhancement_plus_factor」의 8비트 필드 및 「content_enhancement_minus_factor」의 8비트 필드가 반복하여 존재한다. 또한, 각 필드의 정보의 내용에 대해서는, 상술한 콘텐트 인핸스먼트 프레임(도 5 참조)에서 설명한 것과 마찬가지이다.
도 1로 되돌아가, 서비스 수신기(200)는, 서비스 송신기(100)로부터 방송파 혹은 네트워크의 패킷에 실어 보내져 오는 트랜스포트 스트림 TS를 수신한다. 이 트랜스포트 스트림 TS는, 비디오 스트림 외에, 오디오 스트림을 갖고 있다. 오디오 스트림은, 3D 오디오의 전송 데이터를 구성하는, 채널 부호화 데이터와, 소정수의 오브젝트 콘텐트의 부호화 데이터(오브젝트 부호화 데이터)를 갖고 있다.
오디오 스트림의 레이어 및/또는 컨테이너로서의 트랜스포트 스트림 TS의 레이어에, 각 오브젝트 콘텐트에 대한 음압의 증감의 허용 범위를 나타내는 정보가 삽입되어 있다. 예를 들어, 소정수의 콘텐트 그룹에 대한 음압의 증감의 허용 범위를 나타내는 정보가 삽입되어 있다. 여기서, 하나의 콘텐트 그룹에는, 하나 또는 복수의 오브젝트 콘텐트가 속해 있다.
서비스 수신기(200)는, 비디오 스트림에 디코드 처리를 실시하여 비디오 데이터를 얻는다. 또한, 서비스 수신기(200)는, 오디오 스트림에 디코드 처리를 실시하여 3D 오디오의 오디오 데이터를 얻는다.
서비스 수신기(200)는, 유저 선택에 관한 오브젝트 콘텐트에 대한 음압 증감을 처리한다. 이때, 서비스 수신기(200)는, 오디오 스트림의 레이어 및/또는 컨테이너로서의 트랜스포트 스트림 TS의 레이어에 삽입되어 있는 각 오브젝트 콘텐트에 대한 음압의 증감의 허용 범위에 기초하여, 음압의 증감의 범위를 제한한다.
[서비스 송신기의 스트림 생성부]
도 9는, 서비스 송신기(100)가 구비하는 스트림 생성부(110)의 구성예를 도시하고 있다. 이 스트림 생성부(110)는, 제어부(111)와, 비디오 인코더(112)와, 오디오 인코더(113)와, 멀티플렉서(114)를 갖고 있다.
비디오 인코더(112)는, 비디오 데이터 SV를 입력하고, 이 비디오 데이터 SV에 대하여 부호화를 실시하여, 비디오 스트림(비디오 엘리먼터리 스트림)을 생성한다. 오디오 인코더(113)는, 오디오 데이터 SA로서, 채널 데이터와 함께, 소정수의 콘텐트 그룹의 오브젝트 데이터를 입력한다. 각 콘텐트 그룹에는, 하나 또는 복수의 오브젝트 콘텐트가 속해 있다.
오디오 인코더(113)는, 오디오 데이터 SA에 대하여 부호화를 실시하여 3D 오디오의 전송 데이터를 얻고, 이 3D 오디오의 전송 데이터를 포함하는 오디오 스트림(오디오 엘리먼터리 스트림)을 생성한다. 3D 오디오의 전송 데이터에는, 채널 부호화 데이터와 함께, 소정수의 콘텐트 그룹의 오브젝트 부호화 데이터가 포함된다.
예를 들어, 도 2의 구성예에 도시하는 바와 같이, 채널 부호화 데이터(CD)와, 다이알로그 랭귀지 오브젝트의 콘텐트 그룹의 부호화 데이터(DOD)와, 사운드 이펙트 오브젝트의 콘텐트 그룹의 부호화 데이터(SEO)가 포함된다.
오디오 인코더(113)는, 제어부(111)에 의한 제어 하, 오디오 스트림에, 각 콘텐트 그룹에 대한 음압의 증감의 허용 범위를 나타내는 정보를 삽입한다. 이 실시 형태에서는, 오디오 프레임에, 익스텐션 엘리먼트(Ext_element)로서, 각 콘텐트 그룹에 대한 음압의 증감의 허용 범위를 나타내는 정보를 갖는 신규 정의하는 엘리먼트(Ext_content_enhancement)를 삽입한다(도 3, 도 5 참조).
멀티플렉서(114)는, 비디오 인코더(112)로부터 출력되는 비디오 스트림 및 오디오 인코더(113)로부터 출력되는 소정수의 오디오 스트림을, 각각 PES 패킷화하고, 또한 트랜스포트 패킷화하여 다중하여, 다중화 스트림으로서의 트랜스포트 스트림 TS를 얻는다.
멀티플렉서(114)는, 제어부(111)의 제어 하, 컨테이너로서의 트랜스포트 스트림 TS에, 각 콘텐트 그룹에 대한 음압의 증감의 허용 범위를 나타내는 정보를 삽입한다. 이 실시 형태에서는, PMT의 관리 하에 존재하는 오디오 엘리먼터리 스트림 루프 내에, 각 콘텐트 그룹에 대한 음압의 증감의 허용 범위를 나타내는 정보를 갖는 신규 정의하는 오디오 콘텐트 인핸스먼트 디스크립터(Audio_Content_Enhancement descriptor)를 삽입한다(도 8 참조).
도 9에 도시하는 스트림 생성부(110)의 동작을 간단하게 설명한다. 비디오 데이터는, 비디오 인코더(112)에 공급된다. 이 비디오 인코더(112)에서는, 비디오 데이터 SV에 대하여 부호화가 실시되어, 부호화 비디오 데이터를 포함하는 비디오 스트림이 생성된다. 이 비디오 스트림은, 멀티플렉서(114)에 공급된다.
오디오 데이터 SA는, 오디오 인코더(113)에 공급된다. 이 오디오 데이터 SA에는, 채널 데이터와 함께, 소정수의 콘텐트 그룹의 오브젝트 데이터가 포함된다. 여기서, 각 콘텐트 그룹에는, 하나 또는 복수의 오브젝트 콘텐트가 속해 있다.
오디오 인코더(113)에서는, 오디오 데이터 SA에 대하여 부호화가 실시되어 3D 오디오의 전송 데이터가 얻어진다. 이 3D 오디오의 전송 데이터에는, 채널 부호화 데이터와 함께, 소정수의 콘텐트 그룹의 오브젝트 부호화 데이터가 포함된다. 그리고, 오디오 인코더(113)에서는, 이 3D 오디오의 전송 데이터를 포함하는 오디오 스트림이 생성된다.
이때, 오디오 인코더(113)에서는, 제어부(111)에 의한 제어 하, 오디오 스트림에, 각 콘텐트 그룹에 대한 음압의 증감의 허용 범위를 나타내는 정보가 삽입된다. 즉, 오디오 프레임에, 익스텐션 엘리먼트(Ext_element)로서, 각 콘텐트 그룹에 대한 음압의 증감의 허용 범위를 나타내는 정보를 갖는 신규 정의하는 엘리먼트(Ext_content_enhancement)가 삽입된다(도 3, 도 5 참조).
비디오 인코더(112)에서 생성된 비디오 스트림은, 멀티플렉서(114)에 공급된다. 또한, 오디오 인코더(113)에서 생성된 오디오 스트림은, 멀티플렉서(114)에 공급된다. 멀티플렉서(114)에서는, 각 인코더로부터 공급되는 스트림이 PES 패킷화되고, 또한 트랜스포트 패킷화되어 다중되어, 다중화 스트림으로서의 트랜스포트 스트림 TS가 얻어진다.
이때, 멀티플렉서(114)에서는, 제어부(111)의 제어 하, 컨테이너로서의 트랜스포트 스트림 TS에, 각 콘텐트 그룹에 대한 음압의 증감의 허용 범위를 나타내는 정보가 삽입된다. 즉, PMT의 관리 하에 존재하는 오디오 엘리먼터리 스트림 루프 내에, 각 콘텐트 그룹에 대한 음압의 증감의 허용 범위를 나타내는 정보를 갖는 신규 정의하는 오디오 콘텐트 인핸스먼트 디스크립터(Audio_Content_Enhancement descriptor)가 삽입된다(도 8 참조).
[트랜스포트 스트림 TS의 구성]
도 10은, 트랜스포트 스트림 TS의 구조예를 도시하고 있다. 이 구조예에서는, PID1로 식별되는 비디오 스트림의 PES 패킷 「video PES」가 존재함과 함께, PID2로 식별되는 오디오 스트림의 PES 패킷 「audio PES」가 존재한다. PES 패킷은, PES 헤더(PES_header)와 PES 페이로드(PES_payload)를 포함하고 있다. PES 헤더에는, DTS, PTS의 타임 스탬프가 삽입되어 있다.
오디오 스트림의 PES 패킷의 PES 페이로드에는 오디오 스트림(Audio coded stream)이 삽입된다. 이 오디오 스트림의 오디오 프레임에, 각 콘텐트 그룹에 대한 음압의 증감의 허용 범위를 나타내는 정보를 갖는 콘텐트 인핸스먼트 프레임(Content_Enhancement_frame())이 삽입된다.
또한, 트랜스포트 스트림 TS에는, PSI(Program Specific Information)로서, PMT(Program Map Table)가 포함되어 있다. PSI는, 트랜스포트 스트림에 포함되는 각 엘리먼터리 스트림이 어느 프로그램에 속해 있는지를 기재한 정보이다. PMT에는, 프로그램 전체에 관련된 정보를 기술하는 프로그램 루프(Program loop)가 존재한다.
또한, PMT에는, 각 엘리먼터리 스트림에 관련된 정보를 갖는 엘리먼터리 스트림 루프가 존재한다. 이 구성예에서는, 비디오 스트림에 대응한 비디오 엘리먼터리 스트림 루프(video ES loop)가 존재함과 함께, 오디오 스트림에 대응한 오디오 엘리먼터리 스트림 루프(audio ES loop)가 존재한다.
비디오 엘리먼터리 스트림 루프(video ES loop)에는, 비디오 스트림에 대응하여, 스트림 타입, PID(패킷 식별자) 등의 정보가 배치됨과 함께, 그 비디오 스트림에 관련된 정보를 기술하는 디스크립터도 배치된다. 이 비디오 스트림의 「Stream_type」의 값은 「0x24」로 설정되고, PID 정보는, 상술한 바와 같이 비디오 스트림의 PES 패킷 「video PES」에 부여되는 PID1을 나타내는 것으로 된다. 디스크립터의 하나로서, HEVC 디스크립터가 배치된다.
또한, 오디오 엘리먼터리 스트림 루프(audio ES loop)에는, 오디오 스트림에 대응하여, 스트림 타입, PID(패킷 식별자) 등의 정보가 배치됨과 함께, 그 오디오 스트림에 관련된 정보를 기술하는 디스크립터도 배치된다. 이 오디오 스트림의 「Stream_type」의 값은 「0x2C」로 설정되고, PID 정보는, 상술한 바와 같이 오디오 스트림의 PES 패킷 「audio PES」에 부여되는 PID2를 나타내는 것으로 된다. 디스크립터의 하나로서, 각 콘텐트 그룹에 대한 음압의 증감의 허용 범위를 나타내는 정보를 갖는 오디오 콘텐트 인핸스먼트 디스크립터(Audio_Content_Enhancement descriptor)가 배치된다.
[서비스 수신기의 구성예]
도 11은, 서비스 수신기(200)의 구성예를 도시하고 있다. 이 서비스 수신기(200)는, 수신부(201)와, 디멀티플렉서(202)와, 비디오 디코드부(203)와, 영상 처리 회로(204)와, 패널 구동 회로(205)와, 표시 패널(206)을 갖고 있다. 또한, 이 서비스 수신기(200)는, 오디오 디코드부(214)와, 음성 출력 회로(215)와, 스피커 시스템(216)을 갖고 있다. 또한, 이 서비스 수신기(200)는, CPU(221)와, 플래시 ROM(222)과, DRAM(223)과, 내부 버스(224)와, 리모컨 수신부(225)와, 리모컨 송신기(226)를 갖고 있다.
CPU(221)는, 서비스 수신기(200)의 각 부의 동작을 제어한다. 플래시 ROM(222)은, 제어 소프트웨어의 저장 및 데이터의 보관을 행한다. DRAM(223)은, CPU(221)의 워크 에리어를 구성한다. CPU(221)는, 플래시 ROM(222)으로부터 판독한 소프트웨어나 데이터를 DRAM(223) 상에 전개하여 소프트웨어를 기동시켜, 서비스 수신기(200)의 각 부를 제어한다.
리모컨 수신부(225)는, 리모컨 송신기(226)로부터 송신된 리모트 컨트롤 신호(리모컨 코드)를 수신하고, CPU(221)에 공급한다. CPU(221)는, 이 리모컨 코드에 기초하여, 서비스 수신기(200)의 각 부를 제어한다. CPU(221), 플래시 ROM(222) 및 DRAM(223)은, 내부 버스(224)에 접속되어 있다.
수신부(201)는, 서비스 송신기(100)로부터 방송파 혹은 네트워크의 패킷에 실어 보내져 오는 트랜스포트 스트림 TS를 수신한다. 이 트랜스포트 스트림 TS는, 비디오 스트림 외에, 오디오 스트림을 갖고 있다. 오디오 스트림은, 3D 오디오의 전송 데이터를 구성하는, 채널 부호화 데이터와, 소정수의 오브젝트 콘텐트의 부호화 데이터(오브젝트 부호화 데이터)를 갖고 있다.
오디오 스트림의 레이어 및/또는 컨테이너로서의 트랜스포트 스트림 TS의 레이어에, 소정수의 콘텐트 그룹에 대한 음압의 증감의 허용 범위를 나타내는 정보가 삽입되어 있다. 또한, 하나의 콘텐트 그룹에, 하나 또는 복수의 오브젝트 콘텐트가 속해 있다.
여기서, 오디오 프레임에, 익스텐션 엘리먼트(Ext_element)로서, 각 콘텐트 그룹에 대한 음압의 증감의 허용 범위를 나타내는 정보를 갖는 신규 정의하는 엘리먼트(Ext_content_enhancement)가 삽입되어 있다(도 3, 도 5 참조). 또한, PMT의 관리 하에 존재하는 오디오 엘리먼터리 스트림 루프 내에, 각 콘텐트 그룹에 대한 음압의 증감의 허용 범위를 나타내는 정보를 갖는 신규 정의하는 오디오 콘텐트 인핸스먼트 디스크립터(Audio_Content_Enhancement descriptor)가 삽입되어 있다(도 8 참조).
디멀티플렉서(202)는, 트랜스포트 스트림 TS로부터 비디오 스트림을 추출하고, 비디오 디코드부(203)에 보낸다. 비디오 디코드부(203)는, 비디오 스트림에 대하여 디코드 처리를 행하여 비압축의 비디오 데이터를 얻는다.
영상 처리 회로(204)는, 비디오 디코드부(203)에서 얻어진 비디오 데이터에 대하여 스케일링 처리, 화질 조정 처리 등을 행하여, 표시용 비디오 데이터를 얻는다. 패널 구동 회로(205)는, 영상 처리 회로(204)에서 얻어지는 표시용 화상 데이터에 기초하여, 표시 패널(206)을 구동한다. 표시 패널(206)은, 예를 들어 LCD(Liquid Crystal Display), 유기 EL 디스플레이(organic electroluminescence display) 등으로 구성되어 있다.
또한, 디멀티플렉서(202)는, 트랜스포트 스트림 TS로부터 디스크립터 정보 등의 각종 정보를 추출하고, CPU(221)에 보낸다. 이 각종 정보에는, 상술한 각 콘텐트 그룹에 대한 음압의 증감의 허용 범위를 나타내는 정보를 갖는 오디오 콘텐트 인핸스먼트 디스크립터도 포함된다. CPU(221)는, 이 디스크립터에 의해, 각 콘텐트 그룹에 대한 음압의 증감의 허용 범위(상한값, 하한값)를 인식할 수 있다.
또한, 디멀티플렉서(202)는, 트랜스포트 스트림 TS로부터 오디오 스트림을 추출하고, 오디오 디코드부(214)에 보낸다. 오디오 디코드부(214)는, 오디오 스트림에 대하여 디코드 처리를 행하여, 스피커 시스템(216)을 구성하는 각 스피커를 구동하기 위한 오디오 데이터를 얻는다.
이 경우, 오디오 디코드부(214)는, 오디오 스트림에 포함되는 소정수의 오브젝트 콘텐트의 부호화 데이터 중, 스위치 그룹을 구성하는 복수의 오브젝트 콘텐트의 부호화 데이터에 관해서는, CPU(221)의 제어 하, 유저 선택에 관한 어느 하나의 오브젝트 콘텐트의 부호화 데이터만을 디코드 대상으로 한다.
또한, 오디오 디코드부(214)는, 오디오 스트림에 삽입되어 있는 각종 정보를 추출하고, CPU(221)에 송신한다. 이 각종 정보에는, 상술한 각 콘텐트 그룹에 대한 음압의 증감의 허용 범위를 나타내는 정보를 갖는 엘리먼트도 포함된다. CPU(221)는, 이 엘리먼트에 의해, 각 콘텐트 그룹에 대한 음압의 증감의 허용 범위(상한값, 하한값)를 인식할 수 있다.
또한, 오디오 디코드부(214)는, CPU(221)의 제어 하, 유저 선택에 관한 오브젝트 콘텐트에 대한 음압 증감을 처리한다. 이때, 오디오 스트림의 레이어 및/또는 컨테이너로서의 트랜스포트 스트림 TS의 레이어에 삽입되어 있는 각 오브젝트 콘텐트에 대한 음압의 증감의 허용 범위(상한값, 하한값)에 기초하여, 음압의 증감의 범위를 제한한다. 이 오디오 디코드부(214)의 상세에 대해서는, 후술한다.
음성 출력 처리 회로(215)는, 오디오 디코드부(214)에서 얻어진 각 스피커를 구동하기 위한 오디오 데이터에 대하여, D/A 변환이나 증폭 등의 필요한 처리를 행하여, 스피커 시스템(216)에 공급한다. 스피커 시스템(216)은, 복수 채널, 예를 들어 2 채널, 5.1 채널, 7.1 채널, 22.2 채널 등의 복수의 스피커를 구비한다.
「오디오 디코드부의 구성예」
도 12는, 오디오 디코드부(214)의 구성예를 도시하고 있다. 오디오 디코드부(214)는, 디코더(231)와, 오브젝트 인핸서(232)와, 오브젝트 렌더러(233)와, 믹서(234)를 갖고 있다.
디코더(231)는, 디멀티플렉서(202)에서 추출된 오디오 스트림에 대하여 디코드 처리를 행하여, 채널 데이터와 함께, 소정수의 오브젝트 콘텐트의 오브젝트 데이터를 얻는다. 이 디코더(213)는, 도 9의 스트림 생성부(110)의 오디오 인코더(113)와 거의 반대의 처리를 한다. 또한, 스위치 그룹을 구성하는 복수의 오브젝트 콘텐트에 관해서는, CPU(221)의 제어 하, 유저 선택에 관한 어느 하나의 오브젝트 콘텐트의 오브젝트 데이터만을 얻는다.
또한, 디코더(231)는, 오디오 스트림에 삽입되어 있는 각종 정보를 추출하고, CPU(221)에 송신한다. 이 각종 정보에는, 각 콘텐트 그룹에 대한 음압의 증감의 허용 범위를 나타내는 정보를 갖는 엘리먼트도 포함된다. CPU(221)는, 이 엘리먼트에 의해, 각 콘텐트 그룹에 대한 음압의 증감의 허용 범위(상한값, 하한값)를 인식할 수 있다.
오브젝트 인핸서(232)는, 디코더(231)에서 얻어진 소정수의 오브젝트 데이터 중, 유저 선택에 관한 오브젝트 콘텐트에 대하여 음압 증감의 처리를 한다. 음압의 증감 처리 시에는, 유저 조작에 따라, CPU(221)로부터 오브젝트 인핸서(232)로, 음압의 증감 처리를 해야 할 대상의 오브젝트 콘텐트를 나타내는 타깃 콘텐트(target_content)와, 증가인지 감소인지를 나타내는 커맨드(command)가 제공됨과 함께, 당해 타깃 콘텐트에 대한 음압의 증감의 허용 범위(상한값, 하한값)가 제공된다.
오브젝트 인핸서(232)는, 유저의 단위 조작마다, 타깃 콘텐트(target_content)의 오브젝트 콘텐트의 음압을, 커맨드(command)가 나타내는 방향(증가 또는 감소)으로, 소정의 폭만큼 변화시킨다. 이 경우, 이미 음압이 허용 범위(상한값, 하한값)로 표시되는 한계치에 있을 때에는, 음압은 변화시키지 않고 그대로 둔다.
또한, 오브젝트 인핸서(232)는, 음압의 변화 폭(소정의 폭)을, 예를 들어 도 7의 테이블을 참조하여 행한다. 예를 들어, 현재의 상태가 1(0dB)에 있고, 유저의 단위 조작이 증가인 경우에는, 1.4(+3dB)의 상태로 변화시킨다. 또한, 예를 들어 현재의 상태가 1.4(+3dB)에 있고, 유저의 단위 조작이 증가인 경우에는, 1.9(+6dB)의 상태로 변화시킨다.
또한, 예를 들어 현재의 상태가 1(0dB)에 있고, 유저의 단위 조작이 감소인 경우에는, 0.7(-3dB)의 상태로 변화시킨다. 또한, 예를 들어 현재의 상태가 0.7(-3dB)에 있고, 유저의 단위 조작이 증가인 경우에는, 0.5(-6dB)의 상태로 변화시킨다.
또한, 오브젝트 인핸서(232)는, 음압의 증감 처리 시에는, 각 오브젝트 데이터의 음압 상태를 나타내는 정보를, CPU(221)에 보낸다. CPU(221)는, 이 정보에 기초하여, 표시부, 예를 들어 표시 패널(206)에, 각 오브젝트 콘텐트의 현재의 음압 상태를 나타내는 유저 인터페이스 화면을 표시하고, 유저의 음압 설정의 편에 제공하게 된다.
도 13은, 음압 상태를 나타내는 유저 인터페이스 화면의 일례를 도시하고 있다. 이 예에서는, 오브젝트 콘텐트로서, 다이알로그 랭귀지 오브젝트(DOD)와 사운드 이펙트 오브젝트(SEO)의 2개가 존재하는 경우를 도시하고 있다(도 2 참조). 해칭을 부여하여 나타내는 마크 부분에서 현재의 음압 상태가 표시된다. 또한, 「plus_i」는 상한값을 나타내고, 「minus_i」는 하한값을 나타내고 있다.
도 14의 흐름도는, 유저의 단위 조작에 대응한, 오브젝트 인핸서(232)에 있어서의 음압의 증감 처리의 일례를 도시하고 있다. 오브젝트 인핸서(232)는, 스텝 ST1에 있어서, 처리를 개시한다. 그 후, 오브젝트 인핸서(232)는, 스텝 ST2의 처리로 이행한다.
이 스텝 ST2에 있어서, 오브젝트 인핸서(232)는, 커맨드(command)는 증가 명령인지 여부를 판단한다. 증가 명령일 때, 오브젝트 인핸서(232)는, 스텝 ST3의 처리로 이행한다. 이 스텝 ST3에 있어서, 오브젝트 인핸서(232)는, 타깃 콘텐트(target_content)의 오브젝트 콘텐트의 음압을, 상한값에 없을 때에는, 소정 폭만큼 증가시킨다. 오브젝트 인핸서(232)는, 스텝 ST3의 처리 후, 스텝 ST4에 있어서, 처리를 종료한다.
또한, 스텝 ST2에서 증가 명령이 아닐 때, 즉 감소 명령일 때, 오브젝트 인핸서(232)는, 스텝 ST5의 처리로 이행한다. 이 스텝 ST5에 있어서, 오브젝트 인핸서(232)는, 타깃 콘텐트(target_content)의 오브젝트 콘텐트의 음압을, 하한값에 없을 때에는, 소정 폭만큼 감소시킨다. 오브젝트 인핸서(232)는, 스텝 ST5의 처리 후, 스텝 ST4에 있어서, 처리를 종료한다.
도 12로 되돌아가, 오브젝트 렌더러(233)는, 오브젝트 인핸서(232)를 통하여 얻어진 소정수의 오브젝트 콘텐트의 오브젝트 데이터에 대하여 렌더링 처리를 실시하여, 소정수의 오브젝트 콘텐트의 채널 데이터를 얻는다. 여기서, 오브젝트 데이터는, 오브젝트 음원의 오디오 데이터와, 이 오브젝트 음원의 위치 정보로 구성되어 있다. 오브젝트 렌더러(233)는, 오브젝트 음원의 오디오 데이터를 오브젝트 음원의 위치 정보에 기초하여 임의의 스피커 위치에 매핑함으로써, 채널 데이터를 얻는다.
믹서(234)는, 디코더(231)에서 얻어진 채널 데이터에, 오브젝트 렌더러(233)에서 얻어진 각 오브젝트 콘텐트의 채널 데이터를 합성하고, 스피커 시스템(216)을 구성하는 각 스피커를 구동하기 위한 오디오 데이터(채널 데이터)를 얻는다.
도 11에 도시하는 서비스 수신기(200)의 동작을 간단하게 설명한다. 수신부(201)에서는, 서비스 송신기(100)로부터 방송파 혹은 네트워크의 패킷에 실어 보내져 오는 트랜스포트 스트림 TS가 수신된다. 이 트랜스포트 스트림 TS는, 비디오 스트림 외에, 오디오 스트림을 갖고 있다.
오디오 스트림은, 3D 오디오의 전송 데이터를 구성하는, 채널 부호화 데이터와, 소정수의 오브젝트 콘텐트의 부호화 데이터(오브젝트 부호화 데이터)를 갖고 있다. 이 소정수의 오브젝트 콘텐트의 각각은 소정수의 콘텐트 그룹 중 어느 하나에 속해 있다. 즉, 하나의 콘텐트 그룹에, 하나 또는 복수의 오브젝트 콘텐트가 속해 있다.
이 트랜스포트 스트림 TS는, 디멀티플렉서(202)에 공급된다. 디멀티플렉서(202)에서는, 트랜스포트 스트림 TS로부터 비디오 스트림이 추출되어, 비디오 디코드부(203)에 공급된다. 비디오 디코드부(203)에서는, 비디오 스트림에 대하여 디코드 처리가 실시되어, 비압축의 비디오 데이터가 얻어진다. 이 비디오 데이터는, 영상 처리 회로(204)에 공급된다.
영상 처리 회로(204)에서는, 비디오 데이터에 대하여 스케일링 처리, 화질 조정 처리 등이 행해져, 표시용 비디오 데이터가 얻어진다. 이 표시용 비디오 데이터는 패널 구동 회로(205)에 공급된다. 패널 구동 회로(205)에서는, 표시용 비디오 데이터에 기초하여, 표시 패널(206)을 구동하는 일이 행해진다. 이에 의해, 표시 패널(206)에는, 표시용 비디오 데이터에 대응한 화상이 표시된다.
또한, 디멀티플렉서(202)에서는, 트랜스포트 스트림 TS로부터 디스크립터 정보 등의 각종 정보가 추출되어, CPU(221)에 보내진다. 이 각종 정보에는, 각 콘텐트 그룹에 대한 음압의 증감의 허용 범위를 나타내는 정보를 갖는 오디오 콘텐트 인핸스먼트 디스크립터도 포함된다. CPU(221)에서는, 이 디스크립터에 의해, 각 콘텐트 그룹에 대한 음압의 증감의 허용 범위(상한값, 하한값)가 인식된다.
또한, 디멀티플렉서(202)에서는, 트랜스포트 스트림 TS로부터 오디오 스트림이 추출되어, 오디오 디코드부(214)에 보내진다. 오디오 디코드부(214)에서는, 오디오 스트림에 대하여 디코드 처리가 실시되어, 스피커 시스템(216)을 구성하는 각 스피커를 구동하기 위한 오디오 데이터가 얻어진다.
이 경우, 오디오 디코드부(214)에서는, 오디오 스트림에 포함되는 소정수의 오브젝트 콘텐트의 부호화 데이터 중, 스위치 그룹을 구성하는 복수의 오브젝트 콘텐트의 부호화 데이터에 관해서는, CPU(221)의 제어 하, 유저 선택에 관한 어느 하나의 오브젝트 콘텐트의 부호화 데이터만이 디코드 대상으로 된다.
또한, 오디오 디코드부(214)에서는, 오디오 스트림에 삽입되어 있는 각종 정보가 추출되어, CPU(221)에 송신된다. 이 각종 정보에는, 상술한 각 콘텐트 그룹에 대한 음압의 증감의 허용 범위를 나타내는 정보를 갖는 엘리먼트도 포함된다. CPU(221)에서는, 이 엘리먼트에 의해, 각 콘텐트 그룹에 대한 음압의 증감의 허용 범위(상한값, 하한값)가 인식된다.
또한, 오디오 디코드부(214)에서는, CPU(221)의 제어 하, 유저 선택에 관한 오브젝트 콘텐트에 대한 음압 증감의 처리가 행해진다. 이때, 오디오 디코드부(214)에서는, 각 오브젝트 콘텐트에 대한 음압의 증감의 허용 범위(상한값, 하한값)에 기초하여, 음압의 증감의 범위가 제한된다.
즉, 이 경우, 유저 조작에 따라, CPU(221)로부터 오디오 디코드부(214)로, 음압의 증감 처리를 해야 할 대상의 오브젝트 콘텐트를 나타내는 타깃 콘텐트(target_content)와, 증가인지 감소인지를 나타내는 커맨드(command)가 제공됨과 함께, 당해 타깃 콘텐트에 대한 음압의 증감의 허용 범위(상한값, 하한값)가 제공된다.
그리고, 오디오 디코드부(214)에서는, 유저의 단위 조작마다, 타깃 콘텐트(target_content)의 콘텐트 그룹에 속하는 오브젝트 데이터의 음압이, 커맨드(command)가 나타내는 방향(증가 또는 감소)으로, 소정의 폭만큼 변화된다. 이 경우, 이미 음압이 허용 범위(상한값, 하한값)로 표시되는 한계치에 있을 때에는, 음압은 변화시키지 않고 그대로 두게 된다.
오디오 디코드부(214)에서 얻어진 각 스피커를 구동하기 위한 오디오 데이터는, 음성 출력 처리 회로(215)에 공급된다. 음성 출력 처리 회로(215)에서는, 이 오디오 데이터에 대하여, D/A 변환이나 증폭 등의 필요한 처리가 행해진다. 그리고, 처리 후의 오디오 데이터는 스피커 시스템(216)에 공급된다. 이에 의해, 스피커 시스템(216)으로부터는 표시 패널(206)의 표시 화상에 대응한 음향 출력이 얻어진다.
상술한 바와 같이, 도 1에 도시하는 송수신 시스템(10)에 있어서, 서비스 수신기(200)는, 유저 선택에 관한 오브젝트 콘텐트에 대한 음압 증감의 처리를 한다. 그 때문에, 예를 들어 소정의 오브젝트 콘텐트의 음압을 증가시키고, 그 밖의 오브젝트 콘텐트의 음압을 감소시킨다고 하는 것도 가능하게 되어, 소정수의 오브젝트 콘텐트의 음압의 조정을 효과적으로 행하는 것이 가능하게 된다.
도 15의 (a)는 다이알로그 랭귀지의 오브젝트 콘텐트의 오디오 데이터의 파형을 개략적으로 도시하고, 도 15의 (b)는 그 밖의 오브젝트 콘텐트의 오디오 데이터의 파형을 개략적으로 도시하고 있다. 도 15의 (c)는, 그들 오디오 데이터를 통합한 경우의 파형을 개략적으로 도시하고 있다. 이 경우, 다이알로그 랭귀지의 오디오 데이터의 파형의 진폭보다 그 밖의 복수의 오브젝트 콘텐트의 오디오 데이터의 파형의 진폭이 커진다는 점에서, 다이알로그 랭귀지의 음은, 그 밖의 오브젝트 콘텐트의 음으로 마스킹되어, 매우 알아듣기 어려운 것으로 된다.
도 15의 (d)는 음압을 증가시킨 다이알로그 랭귀지의 오브젝트 콘텐트의 오디오 데이터의 파형을 개략적으로 도시하고, 도 15의 (e)는 음압을 감소시킨 그 밖의 오브젝트 콘텐트의 오디오 데이터의 파형을 개략적으로 도시하고 있다. 도 15의 (f)는, 그들 오디오 데이터를 통합한 경우의 파형을 개략적으로 도시하고 있다.
이 경우, 다이알로그 랭귀지의 오디오 데이터의 파형의 진폭은 그 밖의 복수의 오브젝트 콘텐트의 오디오 데이터의 파형의 진폭보다 커진다는 점에서, 다이알로그 랭귀지의 음은, 그 밖의 오브젝트 콘텐트의 음으로 마스킹되지 않아, 알아듣기 쉬워진다. 또한, 이 경우, 다이알로그 랭귀지의 오브젝트 콘텐트의 음압은 증가되지만, 그 밖의 오브젝트 콘텐트의 음압은 감소되므로, 오브젝트 콘텐트의 전체의 음압이 일정하게 유지된다.
또한, 도 1에 도시하는 송수신 시스템(10)에 있어서, 서비스 송신기(100)는, 오디오 스트림의 레이어 및/또는 컨테이너로서의 트랜스포트 스트림 TS의 레이어에, 각 오브젝트 콘텐트에 대한 음압의 증감의 허용 범위를 나타내는 정보를 삽입한다. 그 때문에, 수신측에서는, 이 삽입 정보를 사용함으로써, 각 오브젝트 콘텐트의 음압의 증감의 조정을 허용 범위 내에서 행하는 것이 용이하게 된다.
또한, 도 1에 도시하는 송수신 시스템(10)에 있어서, 서비스 송신기(100)는, 오디오 스트림의 레이어 및/또는 컨테이너로서의 트랜스포트 스트림 TS에, 소정수의 오브젝트 콘텐트가 속하는 각 콘텐트 그룹에 대한 음압의 증감의 허용 범위를 나타내는 정보를 삽입한다. 그 때문에, 음압의 증감의 허용 범위를 나타내는 정보를 콘텐트 그룹의 수만큼 보내면 되어, 각 오브젝트 콘텐트에 대한 음압의 증감의 허용 범위를 나타내는 정보를 효율적으로 송신하는 것이 가능하게 된다.
<2. 변형예>
또한, 상술한 실시 형태에 있어서는, 각 오브젝트 콘텐트, 따라서 각 콘텐트 그룹에 대한 음압의 증감의 허용 범위를 나타내는 정보의 팩터 타입이 하나인 예를 나타내었다(도 7 참조). 그러나, 각 오브젝트 콘텐트에 대한 음압의 증감의 허용 범위를 나타내는 정보의 팩터 타입을 복수의 타입으로부터 선택 가능하게 하는 것도 고려된다.
도 16은, 각 콘텐트 그룹에 대한 음압의 증감의 허용 범위를 나타내는 정보의 팩터 타입을 복수의 타입으로부터 선택 가능하게 하는 경우에 있어서의 테이블의 일례를 도시하고 있다. 이 예는, 팩터 타입이 「factor_1」, 「factor_2」의 2개인 경우의 예이다.
이 경우, 수신측에서는, 「factor_1」이 지정된 콘텐트 그룹에 관해서는, 테이블의 「factor_1」의 부분이 참조되어, 음압의 상한값, 하한값이 인식되고, 또한 음압의 증감 조정에 있어서의 변화 폭도 인식된다. 또한, 마찬가지로, 수신측에서는, 「factor_2」가 지정된 콘텐트 그룹에 관해서는, 테이블의 「factor_2」의 부분이 참조되어, 음압의 상한값, 하한값이 인식되고, 또한 음압의 증감 조정에 있어서의 변화 폭도 인식된다.
예를 들어, 「content_enhancement_plus_factor」가 "0x02"로 동일해도, 「factor_1」이 지정되어 있는 경우에는 상한값은 1.9(+6dB)로 인식되고, 「factor_2」가 지정되어 있는 경우에는 상한값은 3.9(+12dB)로 인식된다. 또한, 1(0dB)의 상태로부터 증가 명령이 있는 경우, 「factor_1」이 지정되어 있는 경우에는 1.4(+3dB)의 상태로 변화되고, 「factor_2」가 지정되어 있는 경우에는 1.9(+6dB)의 상태로 변화된다. 또한, 어느 팩터인 경우에도, 지정값이 "0x00"인 경우에는, 상한값 혹은 하한값 모두 0dB이며, 이 경우에는 대상의 콘텐트 그룹에 관해서는 음압의 변경이 불가능한 것을 의미한다.
도 17은, 각 콘텐트 그룹에 대한 음압의 증감의 허용 범위를 나타내는 정보의 팩터 타입을 복수의 타입으로부터 선택 가능하게 하는 경우에 있어서의 콘텐트 인핸스먼트 프레임(Content_Enhancement_frame())의 구조예(syntax)를 도시하고 있다. 도 18은, 그 구성예에 있어서의 주요 정보의 내용(semantics)을 도시하고 있다.
「num_of_content_groups」의 8비트 필드는, 콘텐트 그룹의 수를 나타낸다. 이 콘텐트 그룹의 수만큼, 「content_group_id」의 8비트 필드, 「content_type」의 8비트 필드, 「factor_type」의 8비트 필드, 「content_enhancement_plus_factor」의 8비트 필드 및 「content_enhancement_minus_factor」의 8비트 필드가 반복하여 존재한다.
「content_group_id」 필드는, 콘텐트 그룹의 ID(식별)를 나타낸다. 「content_type」의 필드는, 콘텐트 그룹의 타입을 나타낸다. 예를 들어, "0"은 「dialog language」를 나타내고, "1"은 「sound effect」를 나타내고, "2"는 「BGM」을 나타내고, "3"은 「spoken subtitles」를 나타낸다. 「factor_type」의 필드는, 적용 팩터 타입을 나타낸다. 예를 들어, "0"은 「factor_1」을 나타내고, "1"은 「factor_2」를 나타낸다.
「content_enhancement_plus_factor」의 필드는, 음압의 증감에 있어서의 상한값을 나타낸다. 예를 들어, 도 16의 테이블에 도시하는 바와 같이, 적용 팩터 타입이 「factor_1」인 경우에는 "0x00"은 1(0dB), "0x01"은 1.4(+3dB), …, "0xFF"는 infinite(+infinit dB)를 나타내고, 적용 팩터 타입이 「factor_2」인 경우에는 "0x00"은 1(0dB), "0x01"은 1.9(+6dB), …, "0x7F"는 infinite(+infinit dB)를 나타낸다.
「content_enhancement_minus_factor」의 필드는, 음압의 증감에 있어서의 하한값을 나타낸다. 예를 들어, 도 16의 테이블에 도시하는 바와 같이, 적용 팩터 타입이 「factor_1」인 경우에는 "0x00"은 1(0dB), "0x01"은 0.7(-3dB), …, "0xFF"는 0.00(-infinit dB)을 나타내고, 적용 팩터 타입이 「factor_2」인 경우에는 "0x00"은 1(0dB), "0x01"은 0.5(-6dB), …, "0x7F"는 0.00(-infinit dB)을 나타낸다.
도 19는, 각 콘텐트 그룹에 대한 음압의 증감의 허용 범위를 나타내는 정보의 팩터 타입을 복수의 타입으로부터 선택 가능하게 하는 경우에 있어서의 오디오 콘텐트 인핸스먼트 디스크립터(Audio_Content_Enhancement descriptor)의 구조예(syntax)를 도시하고 있다.
「descriptor_tag」의 8비트 필드는, 디스크립터 타입을 나타낸다. 여기서는, 오디오 콘텐트 인핸스먼트 디스크립터인 것을 나타낸다. 「descriptor_length」의 8비트 필드는, 디스크립터의 길이(사이즈)를 나타내고, 디스크립터의 길이로서, 이후의 바이트수를 나타낸다.
「num_of_content_groups」의 8비트 필드는, 콘텐트 그룹의 수를 나타낸다. 이 콘텐트 그룹의 수만큼, 「content_group_id」의 8비트 필드, 「content_type」의 8비트 필드, 「factor_type」의 8비트 필드, 「content_enhancement_plus_factor」의 8비트 필드 및 「content_enhancement_minus_factor」의 8비트 필드가 반복하여 존재한다. 또한, 각 필드의 정보의 내용에 대해서는, 상술한 콘텐트 인핸스먼트 프레임(도 17 참조)에서 설명한 것과 마찬가지이다.
또한, 상술한 실시 형태에 있어서는, 서비스 수신기(200)에 있어서는, 유저 선택에 관한 타깃 콘텐트(target_content)의 오브젝트 콘텐트의 음압을, 커맨드(command)가 나타내는 방향(증가 또는 감소)으로, 소정 폭만큼 변화시키는 예를 나타내었다. 그러나, 타깃 콘텐트(target_content)의 오브젝트 콘텐트의 음압의 증감 처리를 할 때, 자동적으로, 그 밖의 오브젝트 콘텐트의 음압을 역방향으로 증감 처리하는 것도 고려된다.
이와 같이 함으로써, 예를 들어 도 15의 (d), (e)의 처리를, 유저는, 다이알로그 랭귀지의 오브젝트 콘텐트의 증가 조작을 행하는 것만으로, 서비스 수신기(200)에 있어서 실행시키는 것이 가능하게 된다.
도 20의 흐름도는, 그 경우에 있어서의, 유저의 단위 조작에 대응한, 오브젝트 인핸서(232)(도 12 참조)에 있어서의 음압의 증감 처리의 일례를 도시하고 있다. 오브젝트 인핸서(232)는, 스텝 ST11에 있어서, 처리를 개시한다. 그 후, 오브젝트 인핸서(232)는, 스텝 ST12의 처리로 이행한다.
이 스텝 ST12에 있어서, 오브젝트 인핸서(232)는, 커맨드(command)는 증가 명령인지 여부를 판단한다. 증가 명령일 때, 오브젝트 인핸서(232)는, 스텝 ST13의 처리로 이행한다. 이 스텝 ST13에 있어서, 오브젝트 인핸서(232)는, 타깃 콘텐트(target_content)의 오브젝트 콘텐트의 음압을, 상한값에 없을 때에는, 소정 폭만큼 증가시킨다.
이어서, 오브젝트 인핸서(232)는, 스텝 ST14에 있어서, 오브젝트 콘텐트의 전체의 음압을 일정하게 유지하기 위해, 타깃 콘텐트(target_content)가 아닌 다른 오브젝트 콘텐트의 음압을 감소시킨다. 이 경우, 상술한 타깃 콘텐트(target_content)의 오브젝트 콘텐트의 음압의 증가에 걸맞는 분만큼 감소시킨다. 이 경우, 음압 감소에 관한 다른 오브젝트 콘텐트는 하나 또는 복수 중 어느 하나로 된다. 오브젝트 인핸서(232)는, 스텝 ST14의 처리 후, 스텝 ST15에 있어서, 처리를 종료한다.
또한, 스텝 ST12에서 증가 명령이 아닐 때, 즉 감소 명령일 때, 오브젝트 인핸서(232)는, 스텝 ST16의 처리로 이행한다. 이 스텝 ST16에 있어서, 오브젝트 인핸서(232)는, 타깃 콘텐트(target_content)의 오브젝트 콘텐트의 음압을, 하한값에 없을 때에는, 소정 폭만큼 감소시킨다.
이어서, 오브젝트 인핸서(232)는, 스텝 ST17에 있어서, 오브젝트 콘텐트의 전체의 음압을 일정하게 유지하기 위해, 타깃 콘텐트(target_content)가 아닌 다른 오브젝트 콘텐트의 음압을 증가시킨다. 이 경우, 상술한 타깃 콘텐트(target_content)의 오브젝트 콘텐트의 음압의 증가에 걸맞는 분만큼 감소시킨다. 이 경우, 음압 감소에 관한 다른 오브젝트 콘텐트는 하나 또는 복수 중 어느 하나로 된다. 오브젝트 인핸서(232)는, 스텝 ST17의 처리 후, 스텝 ST15에 있어서, 처리를 종료한다.
또한, 상술한 실시 형태에 있어서는, 오디오 스트림의 레이어 및 컨테이너로서의 트랜스포트 스트림 TS의 레이어의 양쪽에, 각 콘텐트 그룹에 대한 음압의 증감의 허용 범위를 나타내는 정보를 삽입하는 예를 나타내었다. 그러나, 이 정보를, 오디오 스트림의 레이어에만, 혹은 컨테이너로서의 트랜스포트 스트림 TS의 레이어에만 삽입하는 것도 고려된다.
또한, 상술한 실시 형태에 있어서는, 컨테이너가 트랜스포트 스트림(MPEG-2 TS)인 예를 나타내었다. 그러나, 본 기술은, MP4나 그 이외의 포맷의 컨테이너로 배신되는 시스템에도 마찬가지로 적용할 수 있다. 예를 들어, MPEG-DASH 베이스의 스트림 배신 시스템, 혹은 MMT(MPEG Media Transport) 구조 전송 스트림을 취급하는 송수신 시스템 등이다.
도 21은, MMT 스트림의 구조예를 도시하고 있다. MMT 스트림에는, 비디오, 오디오 등의 각 어셋의 MMT 패킷이 존재한다. 이 구조예에서는, ID1로 식별되는 비디오의 어셋의 MMT 패킷과 함께, ID2로 식별되는 오디오의 어셋의 MMT 패킷이 존재한다.
오디오의 어셋(오디오 스트림)의 오디오 프레임에, 각 콘텐트 그룹에 대한 음압의 증감의 허용 범위를 나타내는 정보를 갖는 콘텐트 인핸스먼트 프레임(Content_Enhancement_frame())이 삽입된다.
또한, MMT 스트림에는, PA(Packet Access) 메시지 패킷 등의 메시지 패킷이 존재한다. PA 메시지 패킷에는, MMT 패킷 테이블(MMT Package Table) 등의 테이블이 포함되어 있다. MP 테이블에는, 어셋마다의 정보가 포함되어 있다. 오디오의 어셋(오디오 스트림)에 대응하여, 각 콘텐트 그룹에 대한 음압의 증감의 허용 범위를 나타내는 정보를 갖는 오디오 콘텐트 인핸스먼트 디스크립터(Audio_Content_Enhancement descriptor)가 배치된다.
또한, 본 기술은, 이하와 같은 구성도 취할 수 있다.
(1) 소정수의 오브젝트 콘텐트의 부호화 데이터를 갖는 오디오 스트림을 생성하는 오디오 인코드부와,
상기 오디오 스트림을 포함하는 소정 포맷의 컨테이너를 송신하는 송신부와,
상기 오디오 스트림의 레이어 및/또는 상기 컨테이너의 레이어에, 각 오브젝트 콘텐트에 대한 음압의 증감의 허용 범위를 나타내는 정보를 삽입하는 정보 삽입부를 구비하는 송신 장치.
(2) 상기 소정수의 오브젝트 콘텐트의 각각은 소정수의 콘텐트 그룹 중 어느 하나에 속하고,
상기 정보 삽입부는, 상기 오디오 스트림의 레이어 및/또는 상기 컨테이너의 레이어에, 각 콘텐트 그룹에 대한 음압의 증감의 허용 범위를 나타내는 정보를 삽입하는 상기 (1)에 기재된 송신 장치.
(3) 상기 오디오 스트림의 부호화 방식은, MPEG-H 3D Audio이고,
상기 정보 삽입부는, 오디오 프레임에, 상기 각 오브젝트 콘텐트에 대한 음압의 증감의 허용 범위를 나타내는 정보를 갖는 익스텐션 엘리먼트를 포함시키는 상기 (1) 또는 (2)에 기재된 송신 장치.
(4) 상기 각 오브젝트 콘텐트에 대한 음압의 증감의 허용 범위를 나타내는 정보에는, 복수의 팩터 중 어느 하나를 나타내는 팩터 선택 정보가 부가되는 상기 (1) 내지 (3) 중 어느 하나에 기재된 송신 장치.
(5) 소정수의 오브젝트 콘텐트의 부호화 데이터를 갖는 오디오 스트림을 생성하는 오디오 인코드 스텝과,
송신부에 의해, 상기 오디오 스트림을 포함하는 소정 포맷의 컨테이너를 송신하는 송신 스텝과,
상기 오디오 스트림의 레이어 및/또는 상기 컨테이너의 레이어에, 각 오브젝트 콘텐트에 대한 음압의 증감의 허용 범위를 나타내는 정보를 삽입하는 정보 삽입 스텝을 갖는 송신 방법.
(6) 소정수의 오브젝트 콘텐트의 부호화 데이터를 갖는 오디오 스트림을 포함하는 소정 포맷의 컨테이너를 수신하는 수신부와,
유저 선택에 관한 오브젝트 콘텐트에 대한 음압 증감의 처리를 행하는 처리부를 구비하는 수신 장치.
(7) 상기 오디오 스트림의 레이어 및/또는 상기 컨테이너의 레이어에, 각 오브젝트 콘텐트에 대한 음압의 증감의 허용 범위를 나타내는 정보가 삽입되어 있고,
상기 오디오 스트림의 레이어 및/또는 상기 컨테이너의 레이어로부터, 각 오브젝트 콘텐트에 대한 음압의 증감의 허용 범위를 나타내는 정보를 추출하는 정보 추출부를 더 구비하고,
상기 처리부는, 상기 추출된 정보에 기초하여 유저 선택에 관한 오브젝트 콘텐트에 대한 음압 증감을 처리하는 상기 (6)에 기재된 수신 장치.
(8) 상기 처리부는,
상기 유저 선택에 관한 오브젝트 콘텐트에 대하여 음압을 증가시킬 때 다른 오브젝트 콘텐트에 대하여 음압을 감소시키고, 상기 유저 선택에 관한 오브젝트 콘텐트에 대하여 음압을 감소시킬 때 다른 오브젝트 콘텐트에 대하여 음압을 증가시키는 상기 (6) 또는 (7)에 기재된 수신 장치.
(9) 상기 처리부에서 음압 증감 처리되는 오브젝트 콘텐트의 음압 상태를 나타내는 UI 화면을 표시하는 표시 제어부를 더 구비하는 상기 (6) 내지 (8) 중 어느 하나에 기재된 수신 장치.
(10) 수신부에 의해, 소정수의 오브젝트 콘텐트의 부호화 데이터를 갖는 오디오 스트림을 포함하는 소정 포맷의 컨테이너를 수신하는 수신 스텝과,
유저 선택에 관한 오브젝트 콘텐트에 대한 음압 증감을 처리하는 처리 스텝을 갖는 수신 방법.
본 기술의 주된 특징은, 오디오 스트림의 레이어 및/또는 컨테이너의 레이어에, 각 오브젝트 콘텐트에 대한 음압의 증감의 허용 범위를 나타내는 정보를 삽입함으로써, 수신측에 있어서 각 오브젝트 콘텐트의 음압의 증감의 조정을 허용 범위 내에서 적절하게 행할 수 있도록 한 것이다(도 9, 도 10 참조).
10: 송수신 시스템
100: 서비스 송신기
110: 스트림 생성부
111: 제어부
112: 비디오 인코더
113: 오디오 인코더
114: 멀티플렉서
200: 서비스 수신기
201: 수신부
202: 디멀티플렉서
203: 비디오 디코드부
204: 영상 처리 회로
205: 패널 구동 회로
206: 표시 패널
214: 오디오 디코드부
215: 음성 출력 처리 회로
216: 스피커 시스템
221: CPU
222: 플래시 ROM
223: DRAM
224: 내부 버스
225: 리모컨 수신부
226: 리모컨 송신기
231: 디코더
232: 오브젝트 인핸서
233: 오브젝트 렌더러
234: 믹서

Claims (10)

  1. 소정수의 오브젝트 콘텐트의 부호화 데이터를 갖는 오디오 스트림을 생성하는 오디오 인코드부로서, 상기 소정수의 오브젝트 콘텐트의 각각은 소정수의 콘텐트 그룹 중 어느 하나에 속하고, 상기 콘텐트 그룹은 dialog language, sound effect, 및 spoken subtitles을 포함하는, 오디오 인코드부와,
    상기 오디오 스트림을 포함하는 소정 포맷의 컨테이너를 송신하는 송신부와,
    상기 오디오 스트림의 동일 레이어 및/또는 상기 컨테이너의 동일 레이어에, 각 콘텐트 그룹에 대한 음압의 증감의 허용 범위를 나타내는 정보 및 복수의 팩터 타입 중 어느 것을 각 오브젝트 콘텐트에 적용할지를 나타내는 팩터 타입 정보를 삽입하는 정보 삽입부를 구비하는, 송신 장치.
  2. 제1항에 있어서, 상기 오디오 스트림의 부호화 방식은, MPEG-H 3D Audio이고,
    상기 정보 삽입부는, 오디오 프레임에, 상기 각 콘텐트 그룹에 대한 음압의 증감의 허용 범위를 나타내는 정보를 갖는 익스텐션 엘리먼트를 포함시키는, 송신 장치.
  3. 삭제
  4. 소정수의 오브젝트 콘텐트의 부호화 데이터를 갖는 오디오 스트림을 생성하는 오디오 인코드 스텝으로서, 상기 소정수의 오브젝트 콘텐트의 각각은 소정수의 콘텐트 그룹 중 어느 하나에 속하고, 상기 콘텐트 그룹은 dialog language, sound effect, 및 spoken subtitles을 포함하는, 오디오 인코드 스텝과,
    송신부에 의해, 상기 오디오 스트림을 포함하는 소정 포맷의 컨테이너를 송신하는 송신 스텝과,
    상기 오디오 스트림의 동일 레이어 및/또는 상기 컨테이너의 동일 레이어에, 각 콘텐트 그룹에 대한 음압의 증감의 허용 범위를 나타내는 정보 및 복수의 팩터 타입 중 어느 것을 각 오브젝트 콘텐트에 적용할지를 나타내는 팩터 타입 정보를 삽입하는 정보 삽입 스텝을 갖는, 송신 방법.
  5. 소정수의 오브젝트 콘텐트의 부호화 데이터를 갖는 오디오 스트림을 포함하는 소정 포맷의 컨테이너를 수신하는 수신부로서, 상기 소정수의 오브젝트 콘텐트의 각각은 소정수의 콘텐트 그룹 중 어느 하나에 속하고, 상기 콘텐트 그룹은 dialog language, sound effect, 및 spoken subtitles을 포함하는, 수신부와,
    상기 오디오 스트림의 동일 레이어 및/또는 상기 컨테이너의 동일 레이어로부터 각 콘텐트 그룹에 대한 음압의 증감의 허용 범위를 나타내는 정보 및 복수의 팩터 타입 중 어느 것을 각 오브젝트 콘텐트에 적용할지를 나타내는 팩터 타입 정보를 추출하는 정보 추출 처리를 제어하고, 유저 선택에 관한 오브젝트 콘텐트에 대한 음압 증감을 행하는 음압 증감 처리를 제어하는 제어부를 구비하는, 수신 장치.
  6. 제5항에 있어서, 상기 오디오 스트림의 레이어 및/또는 상기 컨테이너의 레이어에, 각 콘텐트 그룹에 대한 음압의 증감의 허용 범위를 나타내는 정보가 삽입되어 있고,
    상기 음압 증감 처리에서는, 상기 추출된 정보에 기초하여 유저 선택에 관한 오브젝트 콘텐트에 대한 음압 증감을 행하는, 수신 장치.
  7. 제5항에 있어서, 상기 음압 증감 처리에서는,
    상기 유저 선택에 관한 오브젝트 콘텐트에 대하여 음압을 증가시킬 때 다른 오브젝트 콘텐트에 대하여 음압을 감소시키고, 상기 유저 선택에 관한 오브젝트 콘텐트에 대하여 음압을 감소시킬 때 다른 오브젝트 콘텐트에 대하여 음압을 증가시키는, 수신 장치.
  8. 제5항에 있어서, 상기 제어부는, 상기 음압 증감 처리에서 음압 증감되는 오브젝트 콘텐트의 음압 상태를 나타내는 유저 인터페이스 화면을 표시하는 표시 처리를 추가로 제어하는, 수신 장치.
  9. 수신부에 의해, 소정수의 오브젝트 콘텐트의 부호화 데이터를 갖는 오디오 스트림을 포함하는 소정 포맷의 컨테이너를 수신하는 수신 스텝으로서, 상기 소정수의 오브젝트 콘텐트의 각각은 소정수의 콘텐트 그룹 중 어느 하나에 속하고, 상기 콘텐트 그룹은 dialog language, sound effect, 및 spoken subtitles을 포함하는, 수신 스텝과,
    상기 오디오 스트림의 동일 레이어 및/또는 상기 컨테이너의 동일 레이어로부터 각 콘텐트 그룹에 대한 음압의 증감의 허용 범위를 나타내는 정보 및 복수의 팩터 타입 중 어느 것을 각 오브젝트 콘텐트에 적용할지를 나타내는 팩터 타입 정보를 추출하는 정보 추출 처리 스텝과,
    유저 선택에 관한 오브젝트 콘텐트에 대한 음압 증감을 행하는 음압 증감 처리 스텝을 갖는, 수신 방법.
  10. 삭제
KR1020177033660A 2015-06-17 2016-06-13 송신 장치, 송신 방법, 수신 장치 및 수신 방법 KR102387298B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020227012171A KR102465286B1 (ko) 2015-06-17 2016-06-13 송신 장치, 송신 방법, 수신 장치 및 수신 방법

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JPJP-P-2015-122292 2015-06-17
JP2015122292 2015-06-17
PCT/JP2016/067596 WO2016204125A1 (ja) 2015-06-17 2016-06-13 送信装置、送信方法、受信装置および受信方法
KR1020177001524A KR101804738B1 (ko) 2015-06-17 2016-06-13 송신 장치, 송신 방법, 수신 장치 및 수신 방법

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020177001524A Division KR101804738B1 (ko) 2015-06-17 2016-06-13 송신 장치, 송신 방법, 수신 장치 및 수신 방법

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020227012171A Division KR102465286B1 (ko) 2015-06-17 2016-06-13 송신 장치, 송신 방법, 수신 장치 및 수신 방법

Publications (2)

Publication Number Publication Date
KR20180009338A KR20180009338A (ko) 2018-01-26
KR102387298B1 true KR102387298B1 (ko) 2022-04-15

Family

ID=57545876

Family Applications (3)

Application Number Title Priority Date Filing Date
KR1020227012171A KR102465286B1 (ko) 2015-06-17 2016-06-13 송신 장치, 송신 방법, 수신 장치 및 수신 방법
KR1020177033660A KR102387298B1 (ko) 2015-06-17 2016-06-13 송신 장치, 송신 방법, 수신 장치 및 수신 방법
KR1020177001524A KR101804738B1 (ko) 2015-06-17 2016-06-13 송신 장치, 송신 방법, 수신 장치 및 수신 방법

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020227012171A KR102465286B1 (ko) 2015-06-17 2016-06-13 송신 장치, 송신 방법, 수신 장치 및 수신 방법

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020177001524A KR101804738B1 (ko) 2015-06-17 2016-06-13 송신 장치, 송신 방법, 수신 장치 및 수신 방법

Country Status (9)

Country Link
US (3) US10553221B2 (ko)
EP (2) EP3731542A1 (ko)
JP (5) JP6308311B2 (ko)
KR (3) KR102465286B1 (ko)
CN (1) CN106664503B (ko)
BR (1) BR112017002758B1 (ko)
CA (2) CA3149389A1 (ko)
MX (1) MX365274B (ko)
WO (1) WO2016204125A1 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2016171002A1 (ja) * 2015-04-24 2018-02-15 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
KR102465286B1 (ko) * 2015-06-17 2022-11-10 소니그룹주식회사 송신 장치, 송신 방법, 수신 장치 및 수신 방법
CN111133775B (zh) * 2017-09-28 2021-06-08 株式会社索思未来 音响信号处理装置以及音响信号处理方法
CN115691518A (zh) 2018-02-22 2023-02-03 杜比国际公司 用于处理嵌入在mpeg-h 3d音频流中的辅媒体流的方法及设备
CN113632501A (zh) * 2019-04-11 2021-11-09 索尼集团公司 信息处理装置和方法、再现装置和方法、以及程序

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080165286A1 (en) 2006-09-14 2008-07-10 Lg Electronics Inc. Controller and User Interface for Dialogue Enhancement Techniques
WO2010087631A2 (en) * 2009-01-28 2010-08-05 Lg Electronics Inc. A method and an apparatus for decoding an audio signal
KR101804738B1 (ko) * 2015-06-17 2017-12-04 소니 주식회사 송신 장치, 송신 방법, 수신 장치 및 수신 방법

Family Cites Families (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5666430A (en) * 1995-01-09 1997-09-09 Matsushita Electric Corporation Of America Method and apparatus for leveling audio output
TW384434B (en) * 1997-03-31 2000-03-11 Sony Corp Encoding method, device therefor, decoding method, device therefor and recording medium
US7206420B2 (en) * 1999-11-29 2007-04-17 Syfx Tekworks Softclip method and apparatus
JP4497534B2 (ja) * 2004-09-21 2010-07-07 株式会社ケンウッド 無線通信装置及び無線通信方法
EP2498255A1 (en) * 2005-02-18 2012-09-12 Panasonic Corporation Stream reproduction device and stream supply device
WO2008056775A1 (fr) * 2006-11-10 2008-05-15 Panasonic Corporation Dispositif de décodage de paramètre, dispositif de codage de paramètre et procédé de décodage de paramètre
EP2092516A4 (en) 2006-11-15 2010-01-13 Lg Electronics Inc METHOD AND APPARATUS FOR AUDIO SIGNAL DECODING
US20100119073A1 (en) * 2007-02-13 2010-05-13 Lg Electronics, Inc. Method and an apparatus for processing an audio signal
JP5541928B2 (ja) * 2007-03-09 2014-07-09 エルジー エレクトロニクス インコーポレイティド オーディオ信号の処理方法及び装置
CN101689368B (zh) * 2007-03-30 2012-08-22 韩国电子通信研究院 对具有多声道的多对象音频信号进行编码和解码的设备和方法
KR101061129B1 (ko) * 2008-04-24 2011-08-31 엘지전자 주식회사 오디오 신호의 처리 방법 및 이의 장치
US8315396B2 (en) * 2008-07-17 2012-11-20 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus and method for generating audio output signals using object based metadata
KR101137360B1 (ko) * 2009-01-28 2012-04-19 엘지전자 주식회사 오디오 신호 처리 방법 및 장치
JP5307770B2 (ja) * 2010-07-09 2013-10-02 シャープ株式会社 音声信号処理装置、方法、プログラム、及び記録媒体
US8989406B2 (en) * 2011-03-11 2015-03-24 Sony Corporation User profile based audio adjustment techniques
KR102374897B1 (ko) * 2011-03-16 2022-03-17 디티에스, 인코포레이티드 3차원 오디오 사운드트랙의 인코딩 및 재현
US9620131B2 (en) * 2011-04-08 2017-04-11 Evertz Microsystems Ltd. Systems and methods for adjusting audio levels in a plurality of audio signals
AU2012279349B2 (en) 2011-07-01 2016-02-18 Dolby Laboratories Licensing Corporation System and tools for enhanced 3D audio authoring and rendering
JP5364141B2 (ja) * 2011-10-28 2013-12-11 楽天株式会社 携帯端末、店舗端末、送信方法、受信方法、決済システム、決済方法、プログラムおよびコンピュータ読み取り可能な記憶媒体
JP5962038B2 (ja) * 2012-02-03 2016-08-03 ソニー株式会社 信号処理装置、信号処理方法、プログラム、信号処理システムおよび通信端末
US20130308800A1 (en) * 2012-05-18 2013-11-21 Todd Bacon 3-D Audio Data Manipulation System and Method
KR20140047509A (ko) * 2012-10-12 2014-04-22 한국전자통신연구원 객체 오디오 신호의 잔향 신호를 이용한 오디오 부/복호화 장치
SG11201504514WA (en) * 2012-11-09 2015-07-30 Stormingswiss Sarl Non-linear inverse coding of multichannel signals
US10356484B2 (en) * 2013-03-15 2019-07-16 Samsung Electronics Co., Ltd. Data transmitting apparatus, data receiving apparatus, data transceiving system, method for transmitting data, and method for receiving data
US9607624B2 (en) 2013-03-29 2017-03-28 Apple Inc. Metadata driven dynamic range control
EP2830050A1 (en) * 2013-07-22 2015-01-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for enhanced spatial audio object coding
EP2830047A1 (en) * 2013-07-22 2015-01-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for low delay object metadata coding
EP3951778A1 (en) * 2013-10-22 2022-02-09 FRAUNHOFER-GESELLSCHAFT zur Förderung der angewandten Forschung e.V. Concept for combined dynamic range compression and guided clipping prevention for audio devices
CN109068263B (zh) * 2013-10-31 2021-08-24 杜比实验室特许公司 使用元数据处理的耳机的双耳呈现
EP2879131A1 (en) * 2013-11-27 2015-06-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Decoder, encoder and method for informed loudness estimation in object-based audio coding systems
CN104900236B (zh) * 2014-03-04 2020-06-02 杜比实验室特许公司 音频信号处理
RU2653858C1 (ru) * 2014-05-28 2018-05-15 Фраунхофер-Гезелльшафт Цур Фердерунг Дер Ангевандтен Форшунг Е.Ф. Процессор данных и транспорт данных пользовательского управления на устройства декодирования и воспроизведения аудио
GB2528247A (en) * 2014-07-08 2016-01-20 Imagination Tech Ltd Soundbar
CN106688251B (zh) * 2014-07-31 2019-10-01 杜比实验室特许公司 音频处理系统和方法
CN105451151B (zh) * 2014-08-29 2018-09-21 华为技术有限公司 一种处理声音信号的方法及装置
US9525392B2 (en) * 2015-01-21 2016-12-20 Apple Inc. System and method for dynamically adapting playback device volume on an electronic device
CN106303897A (zh) * 2015-06-01 2017-01-04 杜比实验室特许公司 处理基于对象的音频信号
US9837086B2 (en) * 2015-07-31 2017-12-05 Apple Inc. Encoded audio extended metadata-based dynamic range control
WO2017028016A1 (en) * 2015-08-14 2017-02-23 Thomson Licensing Method and apparatus for volume control of content
WO2018144367A1 (en) * 2017-02-03 2018-08-09 iZotope, Inc. Audio control system and related methods

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080165286A1 (en) 2006-09-14 2008-07-10 Lg Electronics Inc. Controller and User Interface for Dialogue Enhancement Techniques
WO2010087631A2 (en) * 2009-01-28 2010-08-05 Lg Electronics Inc. A method and an apparatus for decoding an audio signal
KR101804738B1 (ko) * 2015-06-17 2017-12-04 소니 주식회사 송신 장치, 송신 방법, 수신 장치 및 수신 방법

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ISO/IEC DIS 23008-3. Information technology - High efficiency coding and media delivery in heterogeneous environments - Part 3: 3D audio. ISO/IEC JTC 1/SC 29/WG 11. 2014.07.25.*
Jurgen Herre, et al. MPEG-H audio - the new standard for universal spatial/3D audio coding. Journal of the Audio Engineering Society, 2015.01.05. Vol.62,No.12. pp.821-830.*

Also Published As

Publication number Publication date
EP3731542A1 (en) 2020-10-28
JP2022191490A (ja) 2022-12-27
CA3149389A1 (en) 2016-12-22
US20190130922A1 (en) 2019-05-02
KR20220051029A (ko) 2022-04-25
CN106664503B (zh) 2018-10-12
BR112017002758A2 (pt) 2018-01-30
CN106664503A (zh) 2017-05-10
CA2956136A1 (en) 2016-12-22
US11170792B2 (en) 2021-11-09
JP6904463B2 (ja) 2021-07-14
BR112017002758B1 (pt) 2022-12-20
JP2021152677A (ja) 2021-09-30
EP3313103B1 (en) 2020-07-01
JPWO2016204125A1 (ja) 2017-06-29
US20200118575A1 (en) 2020-04-16
EP3313103A1 (en) 2018-04-25
EP3313103A4 (en) 2018-12-19
JP6308311B2 (ja) 2018-04-11
JP7205571B2 (ja) 2023-01-17
MX2017001877A (es) 2017-04-27
MX365274B (es) 2019-05-29
KR102465286B1 (ko) 2022-11-10
US20170162206A1 (en) 2017-06-08
KR20180009338A (ko) 2018-01-26
KR101804738B1 (ko) 2017-12-04
KR20170012569A (ko) 2017-02-02
KR20220155399A (ko) 2022-11-22
US10553221B2 (en) 2020-02-04
US10522158B2 (en) 2019-12-31
JP2020145760A (ja) 2020-09-10
CA2956136C (en) 2022-04-05
JP2018116299A (ja) 2018-07-26
JP6717329B2 (ja) 2020-07-01
WO2016204125A1 (ja) 2016-12-22

Similar Documents

Publication Publication Date Title
KR102387298B1 (ko) 송신 장치, 송신 방법, 수신 장치 및 수신 방법
JP7238925B2 (ja) 送信装置、送信方法、受信装置および受信方法
US10614823B2 (en) Transmitting apparatus, transmitting method, receiving apparatus, and receiving method
JPWO2016052191A1 (ja) 送信装置、送信方法、受信装置および受信方法
KR102668642B1 (ko) 송신 장치, 송신 방법, 수신 장치 및 수신 방법
JPWO2017104519A1 (ja) 送信装置、送信方法、受信装置および受信方法

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)
A107 Divisional application of patent
GRNT Written decision to grant