KR20220035096A - 신호 처리 장치 및 방법, 그리고 프로그램 - Google Patents

신호 처리 장치 및 방법, 그리고 프로그램 Download PDF

Info

Publication number
KR20220035096A
KR20220035096A KR1020227000293A KR20227000293A KR20220035096A KR 20220035096 A KR20220035096 A KR 20220035096A KR 1020227000293 A KR1020227000293 A KR 1020227000293A KR 20227000293 A KR20227000293 A KR 20227000293A KR 20220035096 A KR20220035096 A KR 20220035096A
Authority
KR
South Korea
Prior art keywords
panel
signal
audio signal
unit
panel speaker
Prior art date
Application number
KR1020227000293A
Other languages
English (en)
Inventor
야스히로 도구리
요시아키 오이카와
Original Assignee
소니그룹주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니그룹주식회사 filed Critical 소니그룹주식회사
Publication of KR20220035096A publication Critical patent/KR20220035096A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0316—Speech enhancement, e.g. noise reduction or echo cancellation by changing the amplitude
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/02—Casings; Cabinets ; Supports therefor; Mountings therein
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03G—CONTROL OF AMPLIFICATION
    • H03G11/00—Limiting amplitude; Limiting rate of change of amplitude ; Clipping in general
    • H03G11/002—Limiting amplitude; Limiting rate of change of amplitude ; Clipping in general without controlling loop
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03G—CONTROL OF AMPLIFICATION
    • H03G7/00—Volume compression or expansion in amplifiers
    • H03G7/007—Volume compression or expansion in amplifiers of digital or coded signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/04—Circuit arrangements, e.g. for selective connection of amplifier inputs/outputs to loudspeakers, for loudspeaker detection, or for adaptation of settings to personal preferences or hearing impairments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R7/00—Diaphragms for electromechanical transducers; Cones
    • H04R7/02—Diaphragms for electromechanical transducers; Cones characterised by the construction
    • H04R7/04—Plane diaphragms
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/307—Frequency adjustment, e.g. tone control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2440/00—Bending wave transducers covered by H04R, not provided for in its groups
    • H04R2440/05—Aspects relating to the positioning and way or means of mounting of exciters to resonant bending wave panels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10—General applications
    • H04R2499/15—Transducers incorporated in visual displaying devices, e.g. televisions, computer displays, laptops
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/02—Spatial or constructional arrangements of loudspeakers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R7/00—Diaphragms for electromechanical transducers; Cones
    • H04R7/02—Diaphragms for electromechanical transducers; Cones characterised by the construction
    • H04R7/04—Plane diaphragms
    • H04R7/045—Plane diaphragms using the distributed mode principle, i.e. whereby the acoustic radiation is emanated from uniformly distributed free bending wave vibration induced in a stiff panel and not from pistonic motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/09—Electronic reduction of distortion of stereophonic sound systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • Otolaryngology (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Quality & Reliability (AREA)
  • Stereophonic System (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

본 기술은, 적은 처리 부하로 고품위의 소리를 재생할 수 있도록 하는 신호 처리 장치 및 방법, 그리고 프로그램에 관한 것이다. 신호 처리 장치는, 부호화 데이터를 비다중화하여, 부호화 음성 신호와, 복수의 각 패널 스피커에 대하여 생성된, 패널 스피커에 있어서 과진폭이 발생하는지를 나타내는 과진폭 플래그를 추출하는 비다중화부와, 부호화 음성 신호를 복호하는 복호부와, 과진폭 플래그와, 복호에 의해 얻어진 음성 신호에 기초하여, 복수의 각 패널 스피커의 음성 신호를 조정하는 조정부를 구비한다. 본 기술은 부호화 장치 및 복호 장치에 적용할 수 있다.

Description

신호 처리 장치 및 방법, 그리고 프로그램
본 기술은, 신호 처리 장치 및 방법, 그리고 프로그램에 관한 것으로, 특히 적은 처리 부하로 고품위의 소리를 재생할 수 있도록 한 신호 처리 장치 및 방법, 그리고 프로그램에 관한 것이다.
근년, 텔레비전 등의 영상을 표시하는 패널을 액추에이터에서 가진하여 소리를 재생하는, 소위 패널 스피커 시스템이 보급되고 있다.
이와 같은 패널 스피커 시스템에서는, 스피커로서 기능하는 패널의 과진폭에 의해 패널의 위치에 어긋남이 발생하거나, 패널에 표시되는 영상에 흔들림이나 왜곡이 발생하거나 하는 경우가 있다. 그 때문에, 패널을 일정 이상 진동시키지 않도록, 즉 과진폭이 발생하지 않도록 할 필요가 있다.
특히 영상이 어두운 부분에서는, 패널이 진동하면, 그 패널에서 반사한 광이 흔들려 보이기 때문에, 영상의 흔들림이 눈에 띄기 쉽다.
그래서, 콘텐츠의 재생측의 장치에 있어서, 음성의 신호 레벨로부터 패널의 진동을 예측하고, 소정 이상의 진동을 검출한 경우에는 신호 레벨을 억제하거나, 신호의 일부의 대역을 커트하거나 함으로써 패널의 과진폭을 방지하는 것이 행해지고 있다.
또한, 예를 들어 플랫 패널을 가진기에 의해 진동시켜서 소리를 출력하는 플랫 패널 스피커에 있어서, 음성 주파수 전체에서 가장 진동하기 쉬운 개소를 피하도록 가진기를 배치함으로써, 큰 정재파의 발생을 억제하는 기술도 제안되어 있다(예를 들어, 특허문헌 1 참조).
국제 공개 제2018/123310호
그러나, 상술한 기술에서는 패널 형상의 진동판을 갖는 패널 스피커로 소리를 재생시키는 경우에, 재생측의 처리 부하를 억제하면서 고품위의 소리를 재생하는 것은 곤란하였다.
예를 들어, 재생측의 장치로 과진폭을 검출하면서 음성 재생을 행하기 위해서는, 재생측에서 연산 리소스가 필요하며, 또한 돌발적인 과진폭을 검출하려고 하면 버퍼링 등의 처리 지연도 발생되어 버린다.
또한, 재생측의 장치에 있어서 과진폭을 검출한 경우에, 단순히 신호 레벨을 억제하게 되면, 원하는 음압 레벨을 얻을 수 없어 소리의 품질이 저하되어 버리는 경우도 있다.
본 기술은, 이와 같은 상황을 감안하여 이루어진 것으로, 적은 처리 부하로 고품위의 소리를 재생할 수 있도록 하는 것이다.
본 기술의 제1 측면의 신호 처리 장치는, 부호화 데이터를 비다중화하여, 부호화 음성 신호와, 복수의 각 패널 스피커에 대하여 생성된, 상기 패널 스피커에 있어서 과진폭이 발생하는지를 나타내는 과진폭 플래그를 추출하는 비다중화부와, 상기 부호화 음성 신호를 복호하는 복호부와, 상기 과진폭 플래그와, 상기 복호에 의해 얻어진 음성 신호에 기초하여, 상기 복수의 각 상기 패널 스피커의 음성 신호를 조정하는 조정부를 구비한다.
본 기술의 제1 측면의 신호 처리 방법 또는 프로그램은, 부호화 데이터를 비다중화하여, 부호화 음성 신호와, 복수의 각 패널 스피커에 대하여 생성된, 상기 패널 스피커에 있어서 과진폭이 발생하는지를 나타내는 과진폭 플래그를 추출하고, 상기 부호화 음성 신호를 복호하고, 상기 과진폭 플래그와, 상기 복호에 의해 얻어진 음성 신호에 기초하여, 상기 복수의 각 상기 패널 스피커의 음성 신호를 조정하는 스텝을 포함한다.
본 기술의 제1 측면에 있어서는, 부호화 데이터가 비다중화되어, 부호화 음성 신호와, 복수의 각 패널 스피커에 대하여 생성된, 상기 패널 스피커에 있어서 과진폭이 발생하는지를 나타내는 과진폭 플래그가 추출되고, 상기 부호화 음성 신호가 복호되고, 상기 과진폭 플래그와, 상기 복호에 의해 얻어진 음성 신호에 기초하여, 상기 복수의 각 상기 패널 스피커의 음성 신호가 조정된다.
본 기술의 제2 측면의 신호 처리 장치는, 복수의 각 패널 스피커에 대하여, 상기 패널 스피커에 있어서 음성 신호에 기초하는 소리를 재생했을 때에 과진폭이 발생하는지를 검출하고, 그 검출 결과를 나타내는 과진폭 플래그를 생성하는 과진폭 검출부와, 상기 음성 신호를 부호화하는 부호화부와, 상기 복수의 상기 패널 스피커의 상기 과진폭 플래그와, 상기 부호화에 의해 얻어진 부호화 음성 신호를 다중화하여 부호화 데이터를 생성하는 다중화부를 구비한다.
본 기술의 제2 측면의 신호 처리 방법 또는 프로그램은, 복수의 각 패널 스피커에 대하여, 상기 패널 스피커에 있어서 음성 신호에 기초하는 소리를 재생했을 때에 과진폭이 발생하는지를 검출하여, 그 검출 결과를 나타내는 과진폭 플래그를 생성하고, 상기 음성 신호를 부호화하고, 상기 복수의 상기 패널 스피커의 상기 과진폭 플래그와, 상기 부호화에 의해 얻어진 부호화 음성 신호를 다중화하여 부호화 데이터를 생성하는 스텝을 포함한다.
본 기술의 제2 측면에 있어서는, 복수의 각 패널 스피커에 대하여, 상기 패널 스피커에 있어서 음성 신호에 기초하는 소리를 재생했을 때에 과진폭이 발생하는지가 검출되어, 그 검출 결과를 나타내는 과진폭 플래그가 생성되고, 상기 음성 신호가 부호화되고, 상기 복수의 상기 패널 스피커의 상기 과진폭 플래그와, 상기 부호화에 의해 얻어진 부호화 음성 신호가 다중화되어 부호화 데이터가 생성된다.
도 1은 일반적인 패널 구성에 대하여 설명하는 도면이다.
도 2는 신호 처리 장치의 구성예를 나타내는 도면이다.
도 3은 부호화 데이터의 포맷예를 나타내는 도면이다.
도 4는 부호화 처리를 설명하는 흐름도이다.
도 5는 신호 처리 장치의 구성예를 나타내는 도면이다.
도 6은 인접하는 패널 스피커에 대한 배분예에 대하여 설명하는 도면이다.
도 7은 인접하는 패널 스피커에 대한 배분예에 대하여 설명하는 도면이다.
도 8은 복호 처리를 설명하는 흐름도이다.
도 9는 신호 처리 장치의 구성예를 나타내는 도면이다.
도 10은 부호화 데이터의 포맷예를 나타내는 도면이다.
도 11은 인접 패널 스피커의 상대적인 위치에 대하여 설명하는 도면이다.
도 12는 부호화 처리를 설명하는 흐름도이다.
도 13은 신호 처리 장치의 구성예를 나타내는 도면이다.
도 14는 복호 처리를 설명하는 흐름도이다.
도 15는 신호 처리 장치의 구성예를 나타내는 도면이다.
도 16은 배분처 패널 스피커의 조정에 대하여 설명하는 도면이다.
도 17은 부호화 음성 데이터의 포맷예를 나타내는 도면이다.
도 18은 부호화 OAM의 포맷예를 나타내는 도면이다.
도 19는 부호화 처리를 설명하는 흐름도이다.
도 20은 배분 게인 계산 처리를 설명하는 흐름도이다.
도 21은 신호 처리 장치의 구성예를 나타내는 도면이다.
도 22는 복호 처리를 설명하는 흐름도이다.
도 23은 스트리밍 배신 시스템의 구성예를 나타내는 도면이다.
도 24는 재생 처리 및 배신 처리를 설명하는 흐름도이다.
도 25는 프리렌더링 레벨에 대하여 설명하는 도면이다.
도 26은 컴퓨터의 구성예를 나타내는 도면이다.
이하, 도면을 참조하여, 본 기술을 적용한 실시 형태에 대하여 설명한다.
<제1 실시 형태>
<패널 스피커 시스템에 대하여>
본 기술은, 패널 형상(판 형상)의 진동판을 진동시켜 소리를 출력하는 패널 스피커를 복수 조합하여 이루어지는 패널 스피커 시스템에 관한 것이다.
특히, 본 기술에서는, 콘텐츠의 부호화측에 있어서 패널 스피커의 과진폭의 발생 유무를 검출함으로써, 복호측(재생측)의 처리 부하를 저감시킬 수 있도록 하였다.
또한, 본 기술에서는, 복호측에 있어서, 과진폭의 발생이 검출된 패널 스피커의 일부의 출력을, 그 패널 스피커에 인접하는 다른 패널 스피커에 배분함으로써 원하는 음압 레벨을 확보하여, 고품위의 소리를 재생할 수 있도록 하였다.
이하에, 본 기술에 대하여, 보다 구체적으로 설명한다.
도 1은, 일반적인 패널 스피커 시스템에 있어서의 패널 구성의 예를 나타내고 있다.
패널 구성은, 복수의 패널 스피커를 나란하게 배치함으로써 하나의 큰 패널을 형성하는 경우에 있어서의, 패널 스피커의 개수, 즉 패널 매수, 각 패널 스피커의 배치 위치(배치 패턴), 및 각 패널 스피커의 패널의 크기나 형상 등이다.
도 1의 화살표 Q11로 나타낸 예에서는, 3개의 패널 스피커 P0, 패널 스피커 P1 및 패널 스피커 P2가 도면 중, 가로 방향으로 인접하여 나열되어 있다.
또한, 패널 스피커 P0 내지 패널 스피커 P2의 각 패널 부분에 의해 하나의 패널이 형성되어 있으며, 예를 들어 이 패널이 영상을 표시하는 표시 패널로서도 기능한다.
다시 말해, 표시 패널 전체가 세로 방향으로 긴 영역으로 3분할되어 있으며, 그것들 각 영역이 패널 스피커 P0 내지 패널 스피커 P2로 되어 있다.
특히, 이 예에서는 패널 스피커 P0 내지 패널 스피커 P2의 각각은, 좌측 채널, 센터 채널 및 우측 채널에 대응하고 있다. 따라서, 예를 들어 패널 스피커 P0은, 좌측 채널의 음성 신호에 기초하여 진동하고, 소리를 출력한다.
또한, 화살표 Q12로 나타낸 예에서는, 표시 패널이 6분할되어 있으며, 그것들의 분할된 각 영역의 패널이 패널 스피커 P0 내지 패널 스피커 P5로 되어 있다.
특히, 여기에서는 패널 스피커 P0과 패널 스피커 P1이 좌측 채널에 대응하고, 패널 스피커 P2와 패널 스피커 P3이 센터 채널에 대응하고, 패널 스피커 P4와 패널 스피커 P5가 우측 채널에 대응하고 있다.
또한, 화살표 Q13으로 나타낸 예에서는, 표시 패널이 9분할되어 있으며, 그것들의 분할된 각 영역의 패널이 패널 스피커 P0 내지 패널 스피커 P8로 되어 있다.
특히, 여기에서는 패널 스피커 P0 내지 패널 스피커 P2가 좌측 채널에 대응하고, 패널 스피커 P3 내지 패널 스피커 P5가 센터 채널에 대응하고, 패널 스피커 P6 내지 패널 스피커 P8이 우측 채널에 대응하고 있다.
또한, 도 1에서 도시한 패널 구성이나, 각 패널 구성에 있어서의 패널 스피커에 대한 채널의 할당은 어디까지나 일례이며, 패널 구성이나 채널의 할당은, 어떠한 것이어도 된다.
이와 같이, 패널 스피커 시스템에서는, 다양한 패널 구성이 가능하지만, 텔레비전의 수신 장치의 사양 및 규격은 ARIB(Association of Radio Industries and Businesses: 전파 산업회)의 표준 규격으로 규정되어 있는 점에서, 패널 스피커 시스템을 탑재한 텔레비전의 패널 구성도 표준 규격으로 규정될 가능성이 있다.
따라서, 여기서는 몇몇 종류의 패널 구성과, 각 패널 구성에서의 채널의 할당 방법이 미리 규정되어 있는 것으로서 설명을 행한다.
<부호화측의 신호 처리 장치의 구성예>
도 2는, 본 기술을 적용한 부호화측의 신호 처리 장치의 구성예를 나타내는 도면이다.
도 2에 도시한 신호 처리 장치(11)는, 예를 들어 영상과 음성을 포함하는 콘텐츠 등, 적어도 음성을 포함하는 콘텐츠의 음성 신호를 부호화하고, 그 결과 얻어진 부호화 데이터를 송신(출력)하는 부호화 장치로서 기능한다.
신호 처리 장치(11)는, 패널 과진폭 검출부(21), 코어 신호 부호화부(22) 및 다중화부(23)를 갖고 있다.
패널 과진폭 검출부(21) 및 코어 신호 부호화부(22)에는, 콘텐츠의 음성 신호로서, 멀티 채널 신호를 구성하는 각 채널의 채널 음성 신호가 공급된다. 각 채널의 채널 음성 신호는, 그것들의 각 채널의 소리를 재생하기 위한 음성 신호이다.
패널 과진폭 검출부(21)는, 공급된 각 채널 음성 신호에 기초하여, 미리 규정된 서로 다른 복수의 패널 구성마다, 각 패널 스피커에서 과진폭이 발생하는지를 검출하고, 그 검출 결과를 나타내는 과진폭 플래그를 다중화부(23)에 공급한다.
즉, 패널 구성마다 각 채널의 채널 음성 신호의 출력처가 되는 패널 스피커가 미리 정해져(규정되어) 있다.
패널 과진폭 검출부(21)에서는, 채널 음성 신호에 기초하여 패널 스피커를 구동했을 때, 즉 패널 스피커로 채널 음성 신호에 기초하는 소리를 재생했을 때의 과진폭의 발생 유무가 검출된다.
예를 들어 과진폭 플래그의 값이 「1」인 경우, 패널 스피커에서 과진폭이 발생하는 것을 나타내고 있으며, 과진폭 플래그의 값이 「0」인 경우, 패널 스피커에서 과진폭은 발생하지 않는 것을 나타내고 있다.
코어 신호 부호화부(22)는, 공급된 각 채널 음성 신호를 소정의 음성 부호화 방식으로 부호화하고, 그 결과 얻어진 부호화 음성 신호를 다중화부(23)에 공급한다.
예를 들어 채널 음성 신호의 음성 부호화 방식은, 표준 규격인 ARIB STD-B32로 규정된 음성 부호화 방식 등으로 된다.
또한, 코어 신호 부호화부(22)로 얻어진 부호화 음성 신호를 복호하고, 그 결과 얻어진 복호 후의 채널 음성 신호를 패널 과진폭 검출부(21)가 입력으로서 과진폭의 발생 유무를 검출하도록 해도 된다. 그렇게 하면, 보다 고정밀도로 과진폭을 검출할 수 있다.
다중화부(23)는, 패널 과진폭 검출부(21)로부터 공급된 과진폭 플래그와, 코어 신호 부호화부(22)로부터 공급된 부호화 음성 신호를 소정의 포맷으로 다중화하고, 그 결과 얻어진 부호화 데이터를, 복호측의 장치에 송신한다.
<부호화 데이터의 포맷예>
여기서, 다중화부(23)로 얻어지는 부호화 데이터의 포맷예에 대하여 설명한다. 부호화 데이터는, 예를 들어 도 3에 도시한 포맷으로 다중화된다.
도 3의 예에서는, 문자 「audio_encoded_data()」는, 소정의 오디오 프레임의 부호화 데이터를 나타내고 있으며, 문자 「encoded_channel_data()」는, 소정의 음성 부호화 방식으로 부호화된, 1 오디오 프레임분의 부호화 음성 신호를 나타내고 있다.
또한, 문자 「Number_of_PanelConfig」는, 미리 규정되어 있는 패널 구성의 패턴 수를 나타내고 있으며, 문자 「Num_of_SubPanels[i]」는, i번째의 패널 구성 패턴에 있어서의 구성 패널의 매수, 즉 패널 스피커 수를 나타내고 있다.
또한 문자 「Panel_Control_Flag[i][k]」는, i번째의 패널 구성 패턴에 있어서의 k번째의 패널 스피커의 과진폭 플래그를 나타내고 있으며, 과진폭 플래그는 1비트로 표현된다.
이와 같이 신호 처리 장치(11)에서는, 오디오 프레임(이하, 단순히 '프레임'이라고 칭함)마다 부호화 음성 신호와 과진폭 플래그가 다중화되어 부호화 데이터로 되고, 복호측의 장치로 전송된다.
또한, 각 프레임에서는 미리 규정된 복수의 패널 구성마다, 그것들의 패널 구성의 각 패널 스피커로 채널 음성 신호에 기초하는 소리를 재생했을 때, 과진폭이 발생하는지 여부를 나타내는 과진폭 플래그가 각 패널 스피커에 대하여 생성된다.
<부호화 처리의 설명>
계속해서, 신호 처리 장치(11)의 동작에 대하여 설명한다.
즉, 이하, 도 4의 흐름도를 참조하여, 신호 처리 장치(11)에 의해 행해지는 부호화 처리에 대하여 설명한다. 이 부호화 처리는, 신호 처리 장치(11)에 1프레임분의 채널 음성 신호가 공급되면 개시된다.
스텝 S11에 있어서 패널 과진폭 검출부(21)는, 공급된 각 채널 음성 신호에 기초하여, 미리 규정된 패널 구성마다, 각 패널 스피커에 있어서 과진폭이 발생하는지를 검출한다.
예를 들어 상술한 바와 같이, 미리 복수의 패널 구성이 정해져 있으며, 각 패널 구성에 있어서, 어느 패널 스피커에 어느 채널이 할당될지, 즉 어느 패널 스피커에 어느 채널의 채널 음성 신호가 공급될지도 미리 정해져 있다.
여기서, 소정의 패널 구성일 때의 하나의 패널 스피커에 주목하면, 그 패널 스피커에 공급되는 채널 음성 신호의 신호 레벨이 동일하여도, 패널 스피커의 공진 주파수 부근에서는 패널 스피커의 패널(진동판)은, 보다 크게 진동한다.
그래서 패널 과진폭 검출부(21)에서는, 미리 규정된 패널 구성마다 준비된, 그 패널 구성에서의 각 패널 스피커의 진폭 특성이 사용되어, 채널 음성 신호로부터 패널 스피커의 진폭이 예측(추정)된다.
구체적으로는, 예를 들어 패널 과진폭 검출부(21)는, 패널 구성마다, 각 패널 스피커의 진폭 특성을 근사한 진폭 예측 필터를 미리 유지하고 있다.
패널 과진폭 검출부(21)는, 유지하고 있는 진폭 예측 필터에 의해, 패널 스피커에 공급되는 채널 음성 신호에 대하여 필터링 처리를 행함으로써, 그 패널 스피커에서 채널 음성 신호에 기초하는 소리를 재생했을 때의 패널 스피커의 진폭값을 예측한다.
그리고, 패널 과진폭 검출부(21)는, 예측에 의해 얻어진 패널 스피커의 진폭값(이하, '예측 진폭값'이라고도 칭함)이 소정의 상한값을 초과한 경우, 즉 예측 진폭값이 상한값보다도 큰 경우, 과진폭이 발생한다고 판정하고, 값이 「1」인 과진폭 플래그를 생성한다.
이에 반하여 패널 과진폭 검출부(21)는, 패널 스피커의 예측 진폭값이 상술한 상한값 이하인 경우, 과진폭은 발생하지 않는 것으로 하여, 값이 「0」인 과진폭 플래그를 생성한다.
패널 과진폭 검출부(21)는, 이와 같이 하여 패널 구성마다, 각 패널 스피커에 대하여 과진폭 플래그를 생성하면, 그것들의 과진폭 플래그를 다중화부(23)에 공급한다.
또한, 패널 스피커의 진폭값이 동일하여도, 그 패널 스피커를 구성하는, 진동판으로서도 표시부로서도 기능하는 패널에 표시되는 영상이 어두우면, 그 영상의 흔들림이나 왜곡이 보다 눈에 띄게 된다.
그래서, 예를 들어 패널 스피커의 패널 부분에 표시되는 영상(화상)의 휘도값과, 패널 스피커의 진폭 특성(예를 들어, 진폭의 최댓값)에 기초하여, 패널 스피커의 진폭의 상한값을 동적으로 정하도록 해도 된다.
스텝 S12에 있어서 코어 신호 부호화부(22)는, 공급된 각 채널 음성 신호를 소정의 음성 부호화 방식으로 부호화하고, 그 결과 얻어진 부호화 음성 신호를 다중화부(23)에 공급한다.
스텝 S13에 있어서 다중화부(23)는, 패널 과진폭 검출부(21)로부터 공급된 과진폭 플래그와, 코어 신호 부호화부(22)로부터 공급된 부호화 음성 신호를 소정의 포맷으로 다중화한다. 이에 의해, 예를 들어 도 3에 도시한 부호화 데이터가 얻어진다.
스텝 S14에 있어서 다중화부(23)는, 스텝 S13의 처리에서 얻어진 부호화 데이터를 복호측의 장치에 송신하고, 부호화 처리는 종료된다.
또한, 부호화 데이터는, 유선 또는 무선에 의해 복호측의 장치에 송신되는 것 외에, 예를 들어 리무버블 기록 매체 등에 출력되어 기록되거나, 소정의 콘텐츠 배신 서버 등에 공급되거나 해도 된다.
이상과 같이 하여 신호 처리 장치(11)는, 패널 구성마다 각 패널 스피커에서의 과진폭의 발생 유무를 검출하고, 그 검출 결과를 나타내는 과진폭 플래그를 생성한다. 그리고, 신호 처리 장치(11)는, 과진폭 플래그와 부호화 음성 신호를 다중화하고, 부호화 데이터로 한다.
이와 같이 부호화측인 신호 처리 장치(11)에서 과진폭의 검출을 행함으로써, 복호측의 장치에 있어서의 처리 부하를 저감시킬 수 있다.
또한, 생성된 과진폭 플래그를 부호화 음성 신호와 함께 복호측의 장치로 송신함으로써, 복호측에 있어서는 어느 패널 스피커에서 과진폭이 발생하는지를 파악 할 수 있다.
따라서, 복호측에서는, 과진폭이 발생하는 패널 스피커에 공급되는 음성 신호의 일부, 즉 음성 신호에 기초하는 소리의 음압 레벨의 일부를 인접하는 다른 패널 스피커에 배분함으로써 충분한 음압 레벨을 확보하고, 고품위의 소리를 재생할 수 있게 된다.
<복호측의 신호 처리 장치의 구성예>
계속해서, 부호화측의 신호 처리 장치(11)로부터 송신된 부호화 데이터를 수신하여 복호하는, 복호측의 신호 처리 장치에 대하여 설명한다.
그와 같은 복호측의 신호 처리 장치는, 예를 들어 도 5에 도시한 바와 같이 구성된다.
도 5에 도시한 신호 처리 장치(51)는, 신호 처리 장치(11)로부터 송신된 부호화 데이터를 수신하여 복호하는 복호 장치로서 기능함과 함께, 패널 스피커(52-1) 내지 패널 스피커(52-N)와 서브 우퍼(53)에 대하여 출력 신호를 공급하여 소리를 출력시키는 재생 제어 장치로서도 기능한다.
패널 스피커(52-1) 내지 패널 스피커(52-N) 및 서브 우퍼(53)는, 패널 스피커 시스템을 구성하고, 예를 들어 텔레비전 등, 영상과 음성을 재생하는 재생 장치에 마련되어 있다.
예를 들어 패널 스피커(52-1) 내지 패널 스피커(52-N)를 구성하는 각 패널은, 스피커의 진동판으로서도 기능함과 함께, 콘텐츠의 영상을 표시하는 표시 패널로서도 기능한다.
이 경우, 패널 스피커(52-1) 내지 패널 스피커(52-N)의 각 패널은, 타일형으로 배열되어 하나의 큰 표시 패널로서 기능한다. 패널 스피커(52-1) 내지 패널 스피커(52-N)의 각 패널의 크기나 배치, 패널 매수 등은, 미리 정해진 복수의 패널 구성 중 어느 패널 구성의 것과 동일하게 되어 있다.
또한, 이하, 패널 스피커(52-1) 내지 패널 스피커(52-N)를 특별히 구별할 필요가 없는 경우, 단순히 패널 스피커(52)라고도 칭한다.
서브 우퍼(53)는, 패널 스피커(52)에서 출력되는 소리보다도 낮은 주파수 대역의 소리를 재생하는 스피커이며, 신호 처리 장치(51)로부터 공급된 출력 신호에 기초하여 소리를 출력한다.
또한, 여기에서는 신호 처리 장치(51)와, 패널 스피커(52) 및 서브 우퍼(53)를 포함하는 패널 스피커 시스템이 다른 장치인 예에 대하여 설명한다. 그러나, 이들 신호 처리 장치(51), 패널 스피커(52) 및 서브 우퍼(53)는, 텔레비전 등의 하나의 재생 장치에 마련되어 있어도 된다.
신호 처리 장치(51)는, 비다중화부(61), 코어 신호 복호부(62) 및 패널 출력 조정부(63)를 갖고 있다.
비다중화부(61)는, 신호 처리 장치(11)의 다중화부(23)에 의해 송신된 부호화 데이터를 수신함과 함께, 수신된 부호화 데이터를 비다중화하고, 부호화 데이터로부터 과진폭 플래그 및 부호화 음성 신호를 추출한다.
비다중화부(61)는, 비다중화에 의해 얻어진 각 패널 구성의 과진폭 플래그 중, 패널 스피커(52)의 패널 구성의 과진폭 플래그를 패널 출력 조정부(63)에 공급함과 함께, 비다중화에 의해 얻어진 부호화 음성 신호를 코어 신호 복호부(62)에 공급한다.
코어 신호 복호부(62)는, 비다중화부(61)로부터 공급된, 멀티 채널 신호의 각 채널의 부호화 음성 신호를, 코어 신호 부호화부(22)에서의 음성 부호화 방식에 대응하는 복호 방식으로 복호하고, 그 결과 얻어진 채널 음성 신호를 패널 출력 조정부(63)에 공급한다.
패널 출력 조정부(63)는, 비다중화부(61)로부터 공급된 과진폭 플래그와, 코어 신호 복호부(62)로부터 공급된 채널 음성 신호에 기초하여, 각 패널 스피커(52) 및 서브 우퍼(53)에 공급하는, 패널 스피커(52)의 패널 구성에 따른 출력 신호를 조정한다.
패널 출력 조정부(63)는, 배분 게인 계산부(71) 및 패널 출력 제어부(72)를 갖고 있다.
배분 게인 계산부(71)는, 비다중화부(61)로부터 공급된 과진폭 플래그와, 코어 신호 복호부(62)로부터 공급된 채널 음성 신호에 기초하여, 과진폭이 발생하는 패널 스피커(52)에 공급되는 채널 음성 신호의 일부를 다른 패널 스피커(52)나 서브 우퍼(53)로 배분할 때의 배분 게인을 나타내는 배분 게인 정보를 생성한다.
다시 말해, 배분 게인 계산부(71)는, 과진폭이 발생하는 채널의 채널 음성 신호의 배분처 패널 스피커(52)나 서브 우퍼(53)와, 그 배분 시의 배분 게인을 결정하고, 그 결과를 나타내는 배분 게인 정보를 생성한다.
배분 게인 계산부(71)는, 생성된 배분 게인 정보와 함께 과진폭 플래그를 패널 출력 제어부(72)로 공급한다.
또한, 이하, 과진폭이 발생하는 패널 스피커, 즉 채널 음성 신호의 배분원이 되는 패널 스피커를 배분원 패널 스피커라고도 칭하고, 채널 음성 신호의 배분처 패널 스피커를 배분처 패널 스피커라고도 칭하기로 한다.
또한, 이하, 배분원 패널 스피커에 인접하여 마련된 패널 스피커를, 인접 패널 스피커라고도 칭하기로 한다.
패널 출력 제어부(72)는, 코어 신호 복호부(62)로부터 공급된 채널 음성 신호와, 배분 게인 계산부(71)로부터 공급된 과진폭 플래그 및 배분 게인 정보에 기초하여, 각 패널 스피커(52) 및 서브 우퍼(53)에 공급하는 음성 신호인 출력 신호를 생성한다.
패널 출력 제어부(72)는, 패널 스피커(52)나 서브 우퍼(53)마다 출력 신호를 생성하면, 생성된 그것들의 출력 신호를 패널 스피커(52) 및 서브 우퍼(53)에 공급하고, 콘텐츠의 소리를 재생시킨다.
<배분처와 배분 게인의 결정에 대하여>
여기서, 배분 게인 계산부(71)와 패널 출력 제어부(72)로 행해지는 처리, 즉 배분처의 패널 스피커(52)나 서브 우퍼(53)의 결정과, 배분 게인의 계산, 출력 신호의 생성에 대하여 설명한다.
예를 들어, 소정의 채널 CH1에 대응하는 패널 스피커(52)의 과진폭 플래그의 값이 「0」인 경우, 즉 과진폭이 발생하지 않는 경우, 미리 규정된 방법에 따라서, 그 채널 CH1의 채널 음성 신호가, 대응하는 패널 스피커(52)에 그대로 할당된다.
이 경우, 채널 CH1의 채널 음성 신호가, 그대로 채널 CH1에 대응하는 패널 스피커(52)에 공급되는 출력 신호로 된다.
다시 말해, 채널 CH1의 채널 음성 신호는, 그 채널 CH1에 대응하는 패널 스피커(52)에 인접하는 다른 패널 스피커(52)나 서브 우퍼(53)에는 배분되지 않는다. 따라서, 이 경우, 채널 CH1의 채널 음성 신호의 배분 게인의 계산은 행해지지 않는다.
이에 반하여, 소정의 채널 CH1에 대응하는 패널 스피커(52)의 과진폭 플래그의 값이 「1」이며, 과진폭이 발생하는 경우에는, 그 채널 CH1의 채널 음성 신호의 음압 레벨의 일부가, 채널 CH1에 대응하는 패널 스피커(52)에 인접하는 다른 패널 스피커(52)나 서브 우퍼(53)에 배분된다.
그리고, 배분처의 패널 스피커(52)나 서브 우퍼(53)에 대한 채널 CH1의 채널 음성 신호(음압 레벨)의 배분량을 나타내는 배분 게인이 계산된다.
이 경우, 채널 CH1에 대응하는 패널 스피커(52)와, 배분처로 된 패널 스피커(52)나 서브 우퍼(53)가 채널 CH1의 채널 음성 신호의 출력처로서 결정되게 된다.
배분 게인은, 배분처로 된 패널 스피커(52)나 서브 우퍼(53)에 채널 CH1의 채널 음성 신호를 출력(배분)할 때의, 그 채널 CH1의 채널 음성 신호의 게인이다.
예를 들어 도 6에 도시한 바와 같이, 9개의 패널 스피커(52)가 마련되어 있는 것으로 한다.
도 6에서는, 문자 「P0」 내지 「P8」이 기재된 도면 중의 각 사각형이 하나의 패널 스피커(52)를 나타내고 있다. 이하에서는, 문자 「Pi」(단, i=0, 1, …, 8)가 기재된 사각형에 의해 표시되는 패널 스피커(52)를 패널 스피커 Pi라고도 칭하기로 한다.
이제, 패널 스피커 P0의 과진폭 플래그가 「1」이며, 패널 스피커 P0에서 과진폭이 발생하는 것으로 한다.
이 경우, 원래 패널 스피커 P0에 공급되는 채널 음성 신호의 음압 레벨의 일부가, 그 패널 스피커 P0에 인접하는 패널 스피커 P1, 패널 스피커 P3, 패널 스피커 P4나, 서브 우퍼(53)에 배분된다.
기본적으로는, 배분원 패널 스피커의 채널 음성 신호의 음압 레벨의 일부가 배분되는 경우, 인접 패널 스피커 중, 과진폭 플래그가 「0」인 인접 패널 스피커가 배분처로서 결정(선택)된다.
그러나, 예를 들어 과진폭 플래그가 「0」인 인접 패널 스피커 중, 배분원 패널 스피커의 채널과 동일한 채널의 인접 패널 스피커에 대하여 우선적으로 음압 레벨의 배분이 행해지도록 해도 된다.
또한, 이 예에서는 음압 레벨의 일부가 인접 패널 스피커에 대하여 배분된다. 그 때문에, 어떤 채널에서는, 배분원의 패널 스피커뿐만 아니라, 배분처의 패널 스피커로부터도 그 채널의 소리가 출력되게 되므로, 음상의 정위 위치에 미소한 어긋남이 발생되어 버린다.
그러나, 이 예에서는 재생 대상이 되는 음성 신호는, 각 채널의 채널 음성 신호이기 때문에, 그와 같은 음상 정위 위치의 미소한 어긋남은 청취자에게 지각되는 일은 없으므로, 콘텐츠의 소리의 음상감을 손상시키는 경우는 없다.
여기서, 배분처 패널 스피커에 채널 음성 신호의 음압 레벨의 일부를 배분하는 구체적인 방법의 예에 대하여 설명한다.
예를 들어, 대응하는 채널의 채널 음성 신호에 기초하여 구동했을 때의, 즉 채널 음성 신호에 기초하여 소리를 출력했을 때의 패널 스피커(52)의 진폭이 도 7에 나타내어 있는 바와 같이 되어 있는 것으로 한다.
또한, 도 7에 있어서 횡축에는 각 패널 스피커(52)가 도시되어 있으며, 종축은 패널 스피커(52)의 진폭값, 보다 상세하게는 예측 진폭값을 나타내고 있다.
이 예에서는, 패널 스피커 P0 내지 패널 스피커 P4의 예측 진폭값은, 각각 y0 내지 y4로 되어 있으며, 진폭값의 상한값이 yT로 되어 있다.
따라서, 패널 스피커 P0에서는 예측 진폭값 y0이 상한값 yT를 초과하고 있으므로 과진폭이 발생하지만, 다른 패널 스피커 P1, 패널 스피커 P3 및 패널 스피커 P4에서는, 예측 진폭값 y1, 예측 진폭값 y3 및 예측 진폭값 y4는 상한값 yT 이하이므로 과진폭은 발생하지 않는다.
여기에서는, 패널 스피커 P0에 있어서 과진폭이 발생하므로, 예측 진폭값 y0에 있어서의 상한값 yT를 초과하는 분의 출력 레벨(음압 레벨)이, 인접하는 패널 스피커 P1, 패널 스피커 P3 및 패널 스피커 P4에 배분된다.
인접 패널 스피커에 대한 음압 레벨의 배분에 있어서는, 도면 중의 화살표에 의해 표시된 바와 같이, 예를 들어 배분처 패널 스피커에 있어서의 진폭값의 상한값까지의 여유(잉여), 즉 상한값 yT와 예측 진폭값의 차분에 비례해서 출력 레벨이 배분된다.
또한, 그 때, 배분처의 패널 스피커(52)에 있어서 과진폭이 발생하지 않도록, 즉 배분 후의 최종적인 예측 진폭값이 상한값 yT를 초과하지 않도록 배분이 행해진다.
또한, 인접하는 패널 스피커(52)로 채널 음성 신호의 음압 레벨을 배분할 때, 배분원의 패널 스피커(52)와 배분처의 패널 스피커(52)에서의 게인(배분 게인)의 합이 1이 되도록 된다. 다시 말해, 각 채널의 음압 레벨이 변화되지 않도록 이루어진다.
그러나, 배분처 패널 스피커(52)에서 과진폭이 발생하지 않도록 하면, 배분 게인의 합이 1이 되도록 할 수 없는, 즉 1 미만이 되는 경우가 있다. 그와 같은 때에는, 나머지 음압 레벨은 서브 우퍼(53)에 배분된다.
이상에서 설명한 음압 레벨의 배분의 구체적인 계산예를 이하에 나타낸다.
여기에서는, 패널 스피커 P0에 있어서 과진폭이 발생하는 것으로 한다.
이제, 예를 들어 패널 스피커 P0에 공급되는 채널 음성 신호를 x0으로 하고, 다음 식 (1)에 나타낸 바와 같이, 채널 음성 신호 x0에 소정의 게인 g0을 승산하여 게인 보정을 행함으로써 얻어지는 신호가 패널 스피커 P0의 출력 신호 x0'로 되게 한다.
Figure pct00001
또한, 이하에서는, 게인 g0과 같이, 배분원의 패널 스피커(52)에 공급되는 출력 신호를 생성하기 위한 게인도 배분 게인이라고 칭하기로 한다.
식 (1)로 나타내어지는 패널 스피커 P0의 배분 게인 g0은, 예를 들어 다음 식 (2)에 나타낸 바와 같이, 상한값 yT와 패널 스피커 P0의 예측 진폭값 y0의 비를 계산함으로써 구할 수 있다. 이와 같이 배분 게인 g0을 정함으로써, 패널 스피커 P0의 진폭값은 상한값 yT로 된다.
Figure pct00002
또한, 패널 스피커 P0에 대한 음압 레벨의 배분처 패널 스피커 Pi(단, i=1, 3, 4)의 음압 레벨 배분 전의 출력 신호, 즉 배분처 패널 스피커 Pi에 대응하는 채널의 채널 음성 신호를 xi로 하고, 배분처 패널 스피커 Pi로의 배분 게인을 αi라 한다. 이 경우, 배분처 패널 스피커 Pi에 공급되는, 음압 레벨 배분 후의 최종적인 출력 신호 xi'는 다음 식 (3)으로 표시하게 된다.
Figure pct00003
또한, 식 (3)에 있어서, S는 음압 레벨을 배분 가능한 인접 패널 스피커의 집합을 나타내고 있으며, 인접 패널 스피커 중 과진폭 플래그가 「1」인 것은 집합 S로부터 제외되어 있다.
식 (3)에서는, 과진폭이 발생하는 패널 스피커 P0의 채널 음성 신호 x0에, 배분처 패널 스피커 Pi의 배분 게인 αi를 승산하여 얻어지는 신호, 즉 채널 음성 신호 x0을 배분 게인 αi에 의해 게인 보정하여 얻어지는 신호αix0이, 배분처 패널 스피커 Pi로 배분된 분의 신호로 되어 있다.
그리고, 그 신호αix0과 채널 음성 신호 xi의 합이, 최종적인 배분처 패널 스피커 Pi의 출력 신호 xi'로 된다.
예를 들어, 채널 음성 신호 x0이 소정의 채널 CH0의 소리를 재생하기 위한 신호이며, 채널 음성 신호 xi가 채널 CH1의 소리를 재생하기 위한 신호인 것으로 한다.
이때, 패널 스피커 Pi가 출력 신호 xｉ'에 기초하여 소리를 출력하면, 패널 스피커 Pi로부터는, 채널 CH1의 소리와, 배분 게인 αi의 분만큼의 채널 CH0의 소리가 출력되게 된다.
즉, 원래는 패널 스피커 P0만에 의해 재생되게 되어 있던 채널 CH0의 소리가, 그 패널 스피커 P0과 배분처 패널 스피커 Pi에 의해 재생되게 된다. 또한, 패널 구성에 따라서는, 채널 음성 신호 x0과 채널 음성 신호 xi가 동일한 채널의 신호인 경우도 있다.
이와 같이 함으로써, 패널 스피커 P0에서의 과진폭의 발생을 방지하면서 충분한 음압 레벨을 확보하고, 고품위의 음성 재생을 실현할 수 있다.
배분 게인 계산부(71)에서는, 이와 같은 배분 게인 g0과 배분 게인 αi를 구하는 계산이 행해지지만, 그 때에 배분처 패널 스피커에서 진폭값이 상한값 yT를 초과하지 않도록, 배분 게인 αi의 최댓값 αi MAX가 이하의 식 (4)에 나타낸 바와 같이 하여 정해진다.
Figure pct00004
식 (4)에 있어서 yi는 배분처 패널 스피커 Pi의 원래의 예측 진폭값을 나타내고 있다. 따라서, 이 예에서는 배분처 패널 스피커 Pi의 예측 진폭값 yi와, 배분원의 패널 스피커 P0의 예측 진폭값 y0과, 상한값 yT에 기초하여 최댓값 αi MAX가 정해진다.
또한, 상술한 식 (1)이나 식 (4)에서는, 각 예측 진폭값은, 실제의 채널 음성 신호로부터, 진폭 예측 필터 등을 사용하여 구하면 된다.
이와 같이 하여 각 배분처 패널 스피커 Pi의 배분 게인 αi의 최댓값 αi MAX가 구해지면, 각 배분처 패널 스피커 Pi의 최댓값 αi MAX와 배분 게인 g0에 기초하여, 다음 식 (5)의 계산에 의해 각 배분처 패널 스피커 Pi의 배분 게인 αi가 구해진다.
Figure pct00005
이와 같이 하여 배분 게인 αi를 구하는 것은, 각 배분처 패널 스피커 Pi에 있어서의 진폭의 여유(잉여), 즉 예측 진폭값 yi와 상한값 yT의 차분의 크기에 비례하여, 각 배분처 패널 스피커 Pi에 음압 레벨을 배분하는 것을 의미하고 있다.
또한, 다음 식 (6)에 나타낸 바와 같이 전체 배분 게인의 합이 1이 되도록, 즉 다음 식 (6)이 충족되게 된다.
Figure pct00006
단, 배분 게인 αi가 최댓값 αi MAX를 초과해버리는 경우에는, 그 배분 게인 αi는, 다음 식 (7)에 나타낸 바와 같이 최댓값 αi MAX로 되고, 또한 그 최댓값 αi MAX를 초과해버리는 분의 음압 레벨이 서브 우퍼(53)로 배분된다. 즉, 이하의 식 (8)에 나타낸 β가 서브 우퍼(53)의 배분 게인으로서 구해진다.
Figure pct00007
Figure pct00008
이와 같이 적절히, 서브 우퍼(53)로 음압 레벨을 배분하면, 전체 배분 게인의 합은 1이 된다. 이와 같이 전체 배분 게인의 합이 1이 되도록 함으로써, 배분 전과 동일한 음압 레벨을 확보할 수 있다. 즉, 음압 레벨이 저하되어 버리는 경우는 없다.
또한, 서브 우퍼(53)에 배분 게인 β로 채널 음성 신호 x0의 음압 레벨이 배분된 경우, 서브 우퍼(53)의 최종적인 출력 신호 xSW'는 다음 식 (9)에 나타내게 된다.
Figure pct00009
식 (9)에 있어서 xSW는, 원래 서브 우퍼(53)에 할당된 채널 음성 신호, 즉 서브 우퍼(53)에 대응하는 채널의 채널 음성 신호를 나타내고 있다.
또한, 인접 패널 스피커 중에, 과진폭 플래그가 「0」인 것이 없는 경우에는, 배분원 패널 스피커의 채널 음성 신호의 배분처는 서브 우퍼(53)만으로 된다.
이상과 같이 과진폭 플래그와 채널 음성 신호에 기초하여 음압 레벨을 배분하는 처리는, 각 채널 음성 신호에 대하여 과진폭의 발생 유무를 검출하고, 그 검출 결과에 따라서 과진폭이 발생하지 않도록 진폭 제어를 행하는 처리와 비교하면, 적은 처리 부하(처리량)로 실현하는 것이 가능하다. 특히, 채널수가 많아질수록, 그 처리 부하의 차는 많아지게 된다.
또한, 부호화측인 신호 처리 장치(11)에서 과진폭 플래그를 생성하도록 하였으므로, 복호측인 신호 처리 장치(51)에서는, 과진폭을 검출하기 위한 버퍼링 등을 행할 필요가 없어지므로, 버퍼링 등에 의한 재생 지연도 발생하는 일이 없다.
<복호 처리의 설명>
계속해서, 신호 처리 장치(51)의 동작에 대하여 설명한다.
즉, 이하, 도 8의 흐름도를 참조하여, 신호 처리 장치(51)에 의해 행해지는 복호 처리에 대하여 설명한다. 이 복호 처리는, 신호 처리 장치(51)의 비다중화부(61)에 의해 1프레임분의 부호화 데이터가 수신되면 개시된다.
스텝 S41에 있어서 비다중화부(61)는, 수신된 부호화 데이터를 비다중화하고, 얻어진 과진폭 플래그를 배분 게인 계산부(71)에 공급함과 함께, 얻어진 부호화 음성 신호를 코어 신호 복호부(62)에 공급한다.
스텝 S42에 있어서 코어 신호 복호부(62)는, 비다중화부(61)로부터 공급된 부호화 음성 신호를 코어 신호 부호화부(22)에서의 음성 부호화 방식에 대응하는 복호 방식으로 복호하고, 얻어진 채널 음성 신호를 배분 게인 계산부(71) 및 패널 출력 제어부(72)에 공급한다.
스텝 S43에 있어서 배분 게인 계산부(71)는, 비다중화부(61)로부터 공급된 과진폭 플래그와, 코어 신호 복호부(62)로부터 공급된 채널 음성 신호에 기초하여, 과진폭이 발생하는 패널 스피커(52)에 대한 배분 게인을 계산한다.
예를 들어 배분 게인 계산부(71)는, 과진폭 플래그의 값이 「1」인 패널 스피커(52)에 대하여, 상술한 식 (2)와 마찬가지의 계산을 행하고, 그 패널 스피커(52)의 배분 게인 g0을 산출한다.
또한, 배분 게인 계산부(71)는, 배분원이 되는 패널 스피커(52)에 인접하는, 과진폭 플래그의 값이 「0」인 인접 패널 스피커(52)에 대하여 상술한 식 (5)를 계산함으로써, 배분처 패널 스피커(52)의 배분 게인 αi를 산출한다.
또한, 이때 배분 게인 αi가 최댓값 αi MAX를 초과해버리는 것에 대해서는, 배분 게인 계산부(71)는, 식 (7)에 나타낸 바와 같이 최댓값 αi MAX를 최종적인 배분 게인 αi의 값으로 한다.
또한, 배분 게인 계산부(71)는 상술한 식 (6)이 충족되지 않는 경우에는, 서브 우퍼(53)도 배분처로서 결정하고, 식 (8)을 계산하여 서브 우퍼(53)의 배분 게인 β를 구한다.
이와 같이 하여 배분 게인을 구하면, 배분 게인 계산부(71)는, 구한 배분 게인을 나타내는 배분 게인 정보와, 과진폭 플래그를 패널 출력 제어부(72)에 공급한다.
스텝 S44에 있어서 패널 출력 제어부(72)는, 코어 신호 복호부(62)로부터 공급된 채널 음성 신호와, 배분 게인 계산부(71)로부터 공급된 과진폭 플래그 및 배분 게인 정보에 기초하여, 패널 스피커(52) 및 서브 우퍼(53)의 출력 신호를 생성한다.
예를 들어 패널 출력 제어부(72)는, 과진폭 플래그가 「1」인 패널 스피커(52)에 대해서는, 상술한 식 (1)과 마찬가지의 계산을 행함으로써, 그 패널 스피커(52)에 공급하는 출력 신호를 생성한다.
또한, 예를 들어 패널 출력 제어부(72)는, 과진폭 플래그가 「0」이며, 또한 채널 음성 신호의 배분처로 되어 있는 패널 스피커(52)에 대해서는, 식 (3)과 마찬가지의 계산을 행함으로써, 그 패널 스피커(52)에 공급하는 출력 신호를 생성한다.
한편, 패널 출력 제어부(72)는, 과진폭 플래그가 「0」이며, 또한 채널 음성 신호의 배분처로 되어 있지 않은 패널 스피커(52)에 대해서는, 대응하는 채널의 채널 음성 신호를 그대로 패널 스피커(52)에 공급하는 출력 신호로 한다.
또한, 패널 출력 제어부(72)는, 서브 우퍼(53)가 채널 음성 신호의 배분처로 되어 있는 경우에는, 상술한 식 (9)와 마찬가지의 계산을 행하여 출력 신호를 생성하고, 서브 우퍼(53)가 채널 음성 신호의 배분처로 되지 않는 경우에는, 대응하는 채널의 채널 음성 신호를 그대로 서브 우퍼(53)에 공급하는 출력 신호로 한다.
패널 출력 제어부(72)는, 모든 패널 스피커(52) 및 서브 우퍼(53)에 대하여 출력 신호가 얻어지면, 얻어진 각 출력 신호를 패널 스피커(52) 및 서브 우퍼(53)에 공급하고, 각 채널의 음성, 즉 콘텐츠의 소리를 재생시킨다.
이와 같이 하여 콘텐츠의 소리가 재생되면, 복호 처리는 종료된다.
이상과 같이 하여 신호 처리 장치(51)는, 과진폭 플래그와 채널 음성 신호에 기초하여 배분 게인을 구하고, 각 패널 스피커(52)나 서브 우퍼(53)의 최종적인 출력 신호를 생성한다. 다시 말해, 과진폭 플래그나 채널 음성 신호에 기초하여, 각 패널 스피커(52)나 서브 우퍼(53)에 공급하는 출력 신호를 조정(결정)한다. 이와 같이 함으로써, 적은 처리 부하로 고품위의 소리를 재생할 수 있다.
<제2 실시 형태>
<부호화측의 신호 처리 장치의 구성예>
그런데, 이상에 있어서는 부호화측에 있어서 과진폭 플래그를 생성하고, 복호측에 있어서, 그 과진폭 플래그에 기초하여 배분 게인을 계산하고 있었지만, 배분 게인의 계산도 부호화측에서 행하도록 해도 된다. 그렇게 함으로써, 복호측에 있어서의 처리 부하와 재생 시의 지연을 더 저감시킬 수 있게 된다.
부호화측에서 배분 게인을 계산하는 경우, 부호화측의 신호 처리 장치(11)는, 예를 들어 도 9에 도시한 바와 같이 구성된다. 또한, 도 9에 있어서 도 2에 있어서의 경우와 대응하는 부분에는 동일한 부호를 부여하고 있으며, 그 설명은 적절히 생략한다.
도 9에 도시한 신호 처리 장치(11)는, 패널 과진폭 검출부(21), 코어 신호 부호화부(22), 코어 신호 복호부(101), 배분 게인 계산부(102) 및 다중화부(23)를 갖고 있다.
도 9에 도시한 신호 처리 장치(11)의 구성은, 새롭게 코어 신호 복호부(101) 및 배분 게인 계산부(102)가 마련된 점에서 도 2의 신호 처리 장치(11)의 구성과 다르며, 그 밖의 점에서는 도 2의 신호 처리 장치(11)와 마찬가지의 구성으로 되어 있다.
코어 신호 복호부(101) 및 배분 게인 계산부(102)는, 신호 처리 장치(51)의 코어 신호 복호부(62) 및 배분 게인 계산부(71)에 대응하고 있다.
코어 신호 복호부(101)는, 코어 신호 부호화부(22)로부터 공급된 부호화 음성 신호를, 코어 신호 부호화부(22)에서의 음성 부호화 방식에 대응하는 복호 방식으로 복호하고, 그 결과 얻어진 복호 음성 신호를 패널 과진폭 검출부(21) 및 배분 게인 계산부(102)에 공급한다. 코어 신호 복호부(101)에서는, 소위 국소 복호(로컬 디코드)가 행해진다.
패널 과진폭 검출부(21)는, 코어 신호 복호부(101)로부터 공급된 각 채널의 복호 음성 신호에 기초하여 과진폭 플래그를 생성하고, 배분 게인 계산부(102) 및 다중화부(23)에 공급한다.
배분 게인 계산부(102)는, 코어 신호 복호부(101)로부터 공급된 복호 음성 신호와, 패널 과진폭 검출부(21)로부터 공급된 과진폭 플래그에 기초하여 배분 게인 정보를 생성하고, 다중화부(23)에 공급한다.
다중화부(23)는, 코어 신호 부호화부(22)로부터의 부호화 음성 신호, 패널 과진폭 검출부(21)로부터의 과진폭 플래그 및 배분 게인 계산부(102)로부터의 배분 게인 정보를 다중화하고, 부호화 데이터를 생성한다.
<부호화 데이터의 포맷예>
부호화 데이터에 배분 게인 정보, 즉 배분 게인이 포함되는 경우, 부호화 데이터는, 예를 들어 도 10에 도시한 포맷으로 다중화된다.
도 10에 도시한 예에서는, 문자 「audio_encoded_data()」는, 소정 프레임의 부호화 데이터를 나타내고 있으며, 문자 「encoded_channel_data()」는, 소정의 음성 부호화 방식으로 부호화된, 1프레임분의 부호화 음성 신호를 나타내고 있다.
또한, 문자 「Number_of_PanelConfig」는, 미리 규정되어 있는 패널 구성의 패턴 수를 나타내고 있으며, 문자 「Num_of_SubPanels[i]」는, i번째의 패널 구성 패턴에 있어서의 구성 패널의 매수(패널 스피커 수)를 나타내고 있다.
또한 문자 「Panel_Control_Flag[i][k]」는, i번째의 패널 구성 패턴에 있어서의 k번째의 패널 스피커의 과진폭 플래그를 나타내고 있으며, 과진폭 플래그는 1비트로 표현된다.
또한, 과진폭 플래그 「Panel_Control_Flag[i][k]」의 값이 「1」인 경우에는, 문자 「Panel_Gain[p]」에 의해 나타내어지는 배분처 패널 스피커의 배분 게인과, 문자 「Panel_Gain_SubWf」에 의해 나타내어지는 서브 우퍼의 배분 게인이 저장되어 있다. 여기에서는, 각 배분 게인은 3비트로 양자화되어 표현된다. 또한, 이 예에서는, 실제로는 배분처 패널 스피커로 되어 있지 않은 패널 스피커의 배분 게인도 저장되어 있으며, 그 배분 게인은 「0」으로 되지만, 실제로 배분처 패널 스피커로 된 패널 스피커에 대해서만 배분 게인이 저장되도록 해도 된다.
배분처 패널 스피커의 배분 게인 「Panel_Gain[p]」에 있어서, p는 인접 패널 스피커, 즉 배분처 패널 스피커를 특정하기 위한 인덱스(번호)로 되어 있다.
인접 패널 스피커의 수는, 배분원 패널 스피커에서 볼 때 상하 좌우의 각 방향으로 인접하는 것과, 경사 방향으로 인접하는 것을 포함해 최대 8개가 되므로, 인덱스 p는 0 내지 7까지의 값으로 되어 있다.
각 인덱스 p에 의해 나타내어지는 인접 패널 스피커와, 배분원 패널 스피커의 상대적인 위치 관계는, 예를 들어 도 11에 도시한 바와 같이 미리 정해져 있다.
도 11의 예에서는, 각 사각형은 하나의 패널 스피커를 나타내고 있다. 특히 도면 중, 중앙에 배치되어 있는 사각형이 배분원의 패널 스피커를 나타내고 있으며, 그 주위에 배치된 사각형 내의 수치는 인덱스 p의 값을 나타내고 있다.
따라서, 예를 들어 인덱스 p=6에 의해 나타내어지는 인접 패널 스피커는, 배분원 패널 스피커의 도면 중, 하측에 배치된 패널 스피커이며, 인덱스 p=4에 의해 나타내어지는 인접 패널 스피커는, 배분원 패널 스피커의 도면 중, 우측에 배치된 패널 스피커이다. 또한, 예를 들어 인덱스 p=7에 의해 나타내어지는 인접 패널 스피커는, 배분원 패널 스피커의 도면 중, 우측 비스듬히 아래에 배치된 패널 스피커이다.
<부호화 처리의 설명>
계속해서, 도 9에 도시한 신호 처리 장치(11)의 동작에 대하여 설명한다.
즉, 이하, 도 12의 흐름도를 참조하여, 도 9의 신호 처리 장치(11)에 의해 행해지는 부호화 처리에 대하여 설명한다.
또한, 스텝 S71의 처리는, 도 4의 스텝 S12의 처리와 마찬가지이므로, 그 설명은 생략한다. 단, 스텝 S71에서는, 부호화에 의해 얻어진 부호화 음성 신호가, 코어 신호 부호화부(22)로부터 다중화부(23) 및 코어 신호 복호부(101)에 공급된다.
스텝 S72에 있어서 코어 신호 복호부(101)는, 코어 신호 부호화부(22)로부터 공급된 부호화 음성 신호를 복호하고, 그 결과 얻어진 복호 음성 신호를 패널 과진폭 검출부(21) 및 배분 게인 계산부(102)에 공급한다.
스텝 S73에 있어서 패널 과진폭 검출부(21)는, 코어 신호 복호부(101)로부터 공급된 각 채널의 복호 음성 신호에 기초하여 과진폭이 발생하는지를 검출하여 과진폭 플래그를 생성하고, 배분 게인 계산부(102) 및 다중화부(23)에 공급한다. 또한, 스텝 S73에서는, 도 4의 스텝 S11과 마찬가지의 처리가 행해진다.
스텝 S74에 있어서 배분 게인 계산부(102)는, 코어 신호 복호부(101)로부터 공급된 복호 음성 신호와, 패널 과진폭 검출부(21)로부터 공급된 과진폭 플래그에 기초하여 배분 게인을 계산하고, 그 계산 결과를 나타내는 배분 게인 정보를 다중화부(23)에 공급한다.
스텝 S74에서는, 도 8의 스텝 S43과 마찬가지의 처리가 행해져서, 미리 규정된 패널 구성마다, 과진폭 플래그가 「1」인 각 패널 스피커에 대하여 배분처 패널 스피커나 서브 우퍼의 배분 게인이 계산된다.
스텝 S75에 있어서 다중화부(23)는, 코어 신호 부호화부(22)로부터의 부호화 음성 신호, 패널 과진폭 검출부(21)로부터의 과진폭 플래그 및 배분 게인 계산부(102)로부터의 배분 게인 정보를 다중화하고, 부호화 데이터를 생성한다. 예를 들어 스텝 S75에서는, 도 10에 도시한 포맷의 부호화 데이터가 생성된다.
부호화 데이터가 생성되면, 스텝 S76에 있어서 다중화부(23)는, 부호화 데이터를 복호측의 신호 처리 장치(51)에 송신하고, 부호화 처리는 종료된다.
이상과 같이 하여 신호 처리 장치(11)는, 과진폭 플래그 및 배분 게인 정보를 생성하고, 그것들의 과진폭 플래그 및 배분 게인 정보와, 부호화 음성 신호를 다중화하여 부호화 데이터를 생성한다. 이와 같이 함으로써, 복호측의 처리 부하를 저감시키면서 고품위의 소리를 재생할 수 있게 된다.
<복호측의 신호 처리 장치의 구성예>
또한, 도 9에 도시한 부호화측의 신호 처리 장치(11)로부터 송신된 부호화 데이터를 수신하여 복호하는, 복호측의 신호 처리 장치는, 예를 들어 도 13에 도시한 바와 같이 구성된다.
또한, 도 13에 있어서 도 5에 있어서의 경우와 대응하는 부분에는 동일한 부호를 부여하고 있으며, 그 설명은 적절히 생략한다.
신호 처리 장치(51)는, 비다중화부(61), 코어 신호 복호부(62) 및 패널 출력 조정부(63)를 갖고 있으며, 또한 패널 출력 조정부(63)는 패널 출력 제어부(72)를 갖고 있다.
도 13에 도시한 신호 처리 장치(51)의 구성은, 배분 게인 계산부(71)가 마련되어 있지 않은 점에서 도 5에 도시한 신호 처리 장치(51)의 구성과 다르며, 그 밖의 점에서는 도 5의 신호 처리 장치(51)와 동일한 구성으로 되어 있다.
도 13의 예에서는, 비다중화부(61)는, 비다중화에 의해 부호화 데이터로부터 추출된 과진폭 플래그 및 배분 게인 정보를 패널 출력 제어부(72)에 공급한다.
패널 출력 제어부(72)는, 비다중화부(61)로부터 공급된 과진폭 플래그 및 배분 게인 정보와, 코어 신호 복호부(62)로부터 공급된 채널 음성 신호에 기초하여, 각 패널 스피커(52) 및 서브 우퍼(53)에 공급하는 출력 신호를 조정한다.
다시 말해, 패널 출력 제어부(72)는, 과진폭 플래그, 배분 게인 정보 및 채널 음성 신호에 기초하여, 각 패널 스피커(52)나 서브 우퍼(53)에 공급하는 출력 신호를 생성한다.
<복호 처리의 설명>
계속해서, 신호 처리 장치(51)의 동작에 대하여 설명한다.
즉, 이하, 도 14의 흐름도를 참조하여, 도 13의 신호 처리 장치(51)에 의해 행해지는 복호 처리에 대하여 설명한다.
스텝 S101에 있어서 비다중화부(61)는, 수신된 부호화 데이터를 비다중화하고, 얻어진 과진폭 플래그 및 배분 게인 정보를 패널 출력 제어부(72)에 공급함과 함께, 얻어진 부호화 음성 신호를 코어 신호 복호부(62)에 공급한다.
스텝 S102에 있어서 코어 신호 복호부(62)는, 비다중화부(61)로부터 공급된 부호화 음성 신호를 복호하고, 얻어진 채널 음성 신호를 패널 출력 제어부(72)에 공급한다.
스텝 S103에 있어서 패널 출력 제어부(72)는, 비다중화부(61)로부터 공급된 과진폭 플래그 및 배분 게인 정보와, 코어 신호 복호부(62)로부터 공급된 채널 음성 신호에 기초하여 출력 신호를 생성한다.
또한, 스텝 S103에서는, 도 8의 스텝 S44와 마찬가지의 처리가 행해지고, 각 패널 스피커(52) 및 서브 우퍼(53)에 공급하는 출력 신호가 생성된다.
이와 같이 하여 출력 신호가 생성되면, 패널 출력 제어부(72)는, 각 출력 신호를 패널 스피커(52) 및 서브 우퍼(53)에 공급하여 콘텐츠의 소리를 재생시키고, 복호 처리는 종료된다.
이상과 같이 하여 신호 처리 장치(51)는, 과진폭 플래그나 배분 게인 정보에 기초하여 각 패널 스피커(52)나 서브 우퍼(53)에 공급하는 출력 신호를 생성한다. 이와 같이 함으로써, 적은 처리 부하로 고품위의 소리를 재생할 수 있다.
이상과 같은 제1 실시 형태 및 제2 실시 형태에 의하면, 패널 스피커 시스템에 있어서, 통상과 같은 재생에서는 패널 스피커의 과진폭이 발생해 버리는 경우에서도, 인접 패널 스피커로 출력의 일부를 배분함으로써, 음압 레벨을 낮추지 않거나, 또한 음상감을 손상시키지 않고, 고품위의 소리를 재생할 수 있다.
게다가, 복호측(재생측)의 단말 장치인 신호 처리 장치(51)에 있어서의 리소스의 부하(처리 부하)나 처리 지연을 증가시키지 않고, 패널 구성에 따라서 인접 패널 스피커로 채널 음성 신호의 배분을 행할 수 있다. 이에 의해, 적은 처리량(처리 부하)과 처리 지연으로, 고품위의 음성 재생을 실현할 수 있다.
<제3 실시 형태>
<부호화측의 신호 처리 장치의 구성예>
그런데, 근년, MPEG(Moving Picture Experts Group)-H 3D Audio(ISO/IEC 23008-3) 등, 오브젝트 음원, 즉 오디오 오브젝트(이하, 단순히 '오브젝트'라고 칭함)를 사용한, 소위 오브젝트 오디오의 부호화 방법이나 렌더링 방법 등이 개발되고 있다.
오브젝트 음원의 복원 정보는 OAM(Object Audio Metadata)이라고 불리는 메타데이터로서 전송되고, 재생 시에 OAM 중에 기재된 오브젝트의 위치 정보 등에 기초하여 오브젝트가 렌더링되어 소리가 재생된다.
그런데, 오브젝트 오디오를 패널 스피커 시스템으로 재생하는 경우, 패널 스피커에서 과진폭이 발생하면, 그 패널 스피커의 패널 내에 위치하는 오브젝트의 음상감이 손상되어버린다.
특히, 오브젝트가 이동하고 있는 경우에는, 과진폭하는 패널 스피커 위에 오브젝트가 있으면, 과진폭의 타이밍에 그 오브젝트의 소리가 재생되지 않거나, 오브젝트의 소리 음상 위치가 어긋나거나 하여 재생 품질이 크게 손상되어버리는 경우가 있다.
그래서, 예를 들어 제1 실시 형태나 제2 실시 형태에서의 경우와 마찬가지로 하여, 오브젝트의 소리를 재생하기 위한 오브젝트 신호의 일부를 인접 패널 스피커에 배분하면, 적은 처리 부하로 음상감의 저하를 억제하여, 고품질의 음성 재생을 행할 수 있다.
또한, 이것에 추가하여 오브젝트의 이동 유무나 이동 방향을 고려하여 오브젝트 신호의 배분을 행하면, 음상감의 저하를 더 억제할 수 있다.
이하에서는, 오브젝트 오디오의 재생에 본 기술을 적용한 실시 형태에 대하여 설명한다.
도 15는, 본 기술을 적용한 부호화측의 신호 처리 장치의 구성예를 나타내는 도면이다. 또한, 도 15에 있어서 도 2에 있어서의 경우와 대응하는 부분에는 동일한 부호를 부여하고 있으며, 그 설명은 적절히 생략한다.
도 15에 도시한 신호 처리 장치(131)는, 예를 들어 콘텐츠의 소리의 데이터로서, 오브젝트의 소리를 재생하기 위한 오브젝트 신호와, 각 채널의 채널 음성 신호가 입력되고, 그것들의 오브젝트 신호나 채널 음성 신호를 부호화하는 부호화 장치로서 기능한다.
신호 처리 장치(131)는, 프리렌더러/믹서부(141), 오브젝트 렌더러(142), 패널 과진폭 검출부(21), 오브젝트용 배분 게인 계산부(143), OAM 부호화부(144), 코어 신호 부호화부(22) 및 다중화부(23)를 갖고 있다.
프리렌더러/믹서부(141)에는, 각 오브젝트의 오브젝트 신호와 OAM(오브젝트 음원 메타데이터), 각 채널의 채널 음성 신호 및 프리렌더링 레벨이 공급된다.
OAM은, 오브젝트의 메타데이터이며, OAM에는, 적어도 오브젝트의 3차원 공간 내의 배치 위치를 나타내는 위치 정보, 및 오브젝트의 우선도를 나타내는 우선도 정보가 포함되어 있다.
프리렌더링 레벨은, 부호화측에 있어서 프리렌더링을 행하는 오브젝트 수를 나타내는 정보이며, 예를 들어 프리렌더링 레벨로서 Lev-1, Lev-2 및 Lev-3 중 어느 것이 지정된다.
여기에서는, 프리렌더링되는 오브젝트의 수가 많은 순으로, Lev-1, Lev-2 및 Lev-3으로 되어 있다. 즉, 프리렌더링 레벨이 Lev-1인 경우, 프리렌더링되는 오브젝트의 수는 가장 많아진다. 또한, 프리렌더링 레벨은, 이에 한정되지는 않고, 어떻게 지정되도록 해도 된다.
콘텐츠를 구성하는 오브젝트의 수가 많은 경우, 복호측(재생측)에 있어서 모든 오브젝트를 렌더링하고자 하면, 복호측에서의 처리량이 많아져버리게 된다.
그래서, 프리렌더러/믹서부(141)는, 콘텐츠를 구성하는 오브젝트 중, 우선도가 낮은 오브젝트에 대해서는 부호화측에서 렌더링(프리렌더링)을 행한다.
즉, 프리렌더러/믹서부(141)는, 우선도가 낮은 오브젝트의 OAM에 기초하여, 그것들의 우선도가 낮은 오브젝트의 오브젝트 신호를 각 채널의 채널 음성 신호에 매핑하고, 프리렌더링 완료의 채널 음성 신호를 생성한다.
이와 같은 프리렌더링에 의해 얻어지는 각 채널의 프리렌더링 완료의 채널 음성 신호는, 각 채널의 소리와, 프리렌더링 된 각 오브젝트의 소리를 재생하기 위한 음성 신호이다.
특히 프리렌더링 완료의 채널 음성 신호에 기초하여 음성을 재생한 경우, 각 오브젝트의 소리의 음상은, 그것들의 각 오브젝트의 OAM에 포함되어 있는 위치 정보에 의해 나타내어지는 위치에 정위한다.
또한, 프리렌더러/믹서부(141)에서는, 복수의 오브젝트 중, 우선도 정보에 의해 나타내어지는 우선도가 낮은 것부터 순서대로, 프리렌더링 레벨에 대하여 정해지는 개수의 오브젝트가 선택되어도 가고, 그것들의 선택된 오브젝트가 프리렌더링 대상의 오브젝트로 된다. 또한, 복수의 오브젝트 중, 프리렌더링 대상으로 되지 않은 오브젝트, 즉 나머지의 모든 오브젝트가 프리렌더링의 대상 외의 오브젝트로 된다.
이하에서는, 프리렌더링의 대상 외로 된 오브젝트를 대상 외 오브젝트라고도 칭하고, 프리렌더링 대상으로 된 오브젝트를 대상 오브젝트라고도 칭하기로 한다.
프리렌더러/믹서부(141)는, 프리렌더링 레벨과 OAM에 기초하여, 대상 오브젝트를 선택하면, 그것들의 대상 오브젝트의 OAM과 오브젝트 신호 및 각 채널의 채널 음성 신호에 기초하여 프리렌더링을 행하고, 프리렌더링 완료의 채널 음성 신호를 생성한다. 여기에서는, 예를 들어 프리렌더링으로서, VBAP(Vector Based Amplitude Panning) 등이 행해진다.
프리렌더러/믹서부(141)는, 프리렌더링 완료의 채널 음성 신호와, 대상 외 오브젝트의 오브젝트 신호 및 OAM을 오브젝트 렌더러(142)에 공급한다.
또한, 프리렌더러/믹서부(141)는, 대상 외 오브젝트의 OAM을 오브젝트용 배분 게인 계산부(143) 및 OAM 부호화부(144)에 공급한다.
또한, 프리렌더러/믹서부(141)는, 프리렌더링에 의해 얻어진 프리렌더링 완료의 채널 음성 신호 및 대상 외 오브젝트의 오브젝트 신호를 코어 신호 부호화부(22)에 공급한다.
오브젝트 렌더러(142)는, 프리렌더러/믹서부(141)로부터 공급된 프리렌더링 완료의 채널 음성 신호와, 대상 외 오브젝트의 오브젝트 신호 및 OAM에 기초하여, 대상 외 오브젝트의 렌더링을 행한다.
즉, 오브젝트 렌더러(142)는, OAM에 기초하여 대상 외 오브젝트의 오브젝트 신호를 프리렌더링 완료의 채널 음성 신호에 매핑함으로써, 각 채널의 합성 채널 신호를 생성한다.
예를 들어 오브젝트 렌더러(142)에서는, 렌더링의 처리로서 VBAP 등이 행해지고, 프리렌더링 완료의 채널 음성 신호와 동일한 채널 구성이며, 각 대상 외 오브젝트의 소리를 재생하기 위한 신호가 생성된다. 또한, 그것들의 각 대상 외 오브젝트의 소리를 재생하기 위한 신호와, 프리렌더링 완료의 채널 음성 신호의 동일한 채널의 신호가 가산되어서 합성 채널 신호로 된다.
각 채널의 합성 채널 신호에 기초하여 소리를 재생하면, 채널 음성 신호에 기초하는 소리와, 대상 오브젝트의 소리와, 대상 외 오브젝트의 소리가 재생된다.
특히, 합성 채널 신호에 기초하여 소리를 재생한 경우, 각 대상 외 오브젝트의 소리의 음상은, 그것들의 대상 외 오브젝트의 OAM에 포함되어 있는 위치 정보에 의해 나타내어지는 위치에 정위한다.
오브젝트 렌더러(142)는, 렌더링에 의해 얻어진 각 채널의 합성 채널 신호를, 패널 과진폭 검출부(21) 및 오브젝트용 배분 게인 계산부(143)에 공급한다.
패널 과진폭 검출부(21)는, 오브젝트 렌더러(142)로부터 공급된 합성 채널 신호에 기초하여, 패널 구성마다 각 패널 스피커에 대하여 과진폭 플래그를 생성하고, 오브젝트용 배분 게인 계산부(143) 및 다중화부(23)에 공급한다.
오브젝트용 배분 게인 계산부(143)는, 프리렌더러/믹서부(141)로부터 공급된 OAM, 오브젝트 렌더러(142)로부터 공급된 합성 채널 신호 및 패널 과진폭 검출부(21)로부터 공급된 과진폭 플래그에 기초하여 배분 게인 정보를 생성하고, 다중화부(23)에 공급한다.
OAM 부호화부(144)는, 프리렌더러/믹서부(141)로부터 공급된 대상 외 오브젝트의 OAM을 소정의 부호화 방식에 의해 부호화하고, 그 결과 얻어진 부호화 OAM을 다중화부(23)에 공급한다.
코어 신호 부호화부(22)는, 프리렌더러/믹서부(141)로부터 공급된, 대상 외 오브젝트의 오브젝트 신호와, 프리렌더링 완료의 채널 음성 신호를 소정의 음성 부호화 방식으로 부호화하고, 그 결과 얻어진 부호화 음성 신호를 다중화부(23)에 공급한다.
다중화부(23)는, 패널 과진폭 검출부(21)로부터 공급된 과진폭 플래그, 오브젝트용 배분 게인 계산부(143)로부터 공급된 배분 게인 정보, OAM 부호화부(144)로부터 공급된 부호화 OAM 및 코어 신호 부호화부(22)로부터 공급된 부호화 음성 신호를 소정의 포맷으로 다중화하고, 얻어진 부호화 데이터를 복호측의 장치로 송신한다.
<배분 게인의 계산에 대하여>
여기서, 오브젝트용 배분 게인 계산부(143)에 있어서의 배분 게인의 계산 방법의 구체적인 예에 대하여 설명한다.
오브젝트용 배분 게인 계산부(143)에는, 시간적으로 연속하는 각 프레임에 대하여, 오브젝트(대상 외 오브젝트)의 OAM이 공급된다.
따라서, 오브젝트용 배분 게인 계산부(143)는, 각 시각, 즉 각 프레임의 OAM에 포함되는 위치 정보로부터, 오브젝트가 각 패널 구성의 패널 스피커의 패널 형상에 위치하고 있는지 여부나, 오브젝트의 움직임의 유무를 특정할 수 있다.
예를 들어, 어떤 패널 구성에서는 도 16에 도시한 바와 같이, 패널 스피커 P0 내지 패널 스피커 P8의 합계 9개의 패널 스피커에 의해 하나의 표시 패널이 형성되어 있는 것으로 한다. 또한, 도 16에 있어서 각 사각형은 하나의 패널 스피커를 나타내고 있다.
이때, 화살표 Q31로 나타낸 바와 같이, 오브젝트 OB11이 패널 스피커 P0의 패널 내에 위치하고 있으며, 오브젝트 OB11이 화살표 A11로 나타낸 방향, 즉 패널 스피커 P4의 방향으로 이동하고 있는 것으로 한다.
또한, 오브젝트 OB11의 이동 방향은, 그 오브젝트 OB11의 현재의 프레임과 과거의 프레임 OAM을 참조함으로써 추정할 수 있다. 또한, 데이터의 사전 판독이 가능하면, 오브젝트 OB11의 미래 프레임 OAM을 참조함으로써, 오브젝트 OB11의 움직임을 보다 정확하게 특정하는 것이 가능하다.
이와 같은 상태에 있어서, 패널 스피커 P0에서 과진폭이 발생할 때에, 오브젝트 OB11의 소리를 포함하는, 패널 스피커 P0에 공급되는 합성 채널 신호의 일부를 인접 패널 스피커에 배분할 것을 고려한다. 패널 스피커 P0에 공급되는 합성 채널 신호에 오브젝트 OB11의 소리가 포함되어 있는지 여부는, 그 오브젝트 OB11의 OAM, 특히 OAM에 포함되는 위치 정보에 의해 특정할 수 있다.
이와 같은 경우, 예를 들어 패널 스피커 P0에 인접하는, 패널 스피커 P3이나 패널 스피커 P4, 패널 스피커 P1 등, 복수의 인접 패널 스피커를 배분처로서 선택하면, 오브젝트 OB11의 음상이 복수 위치로 나뉘어져버려, 음상이 넓어지게 된다. 즉, 음상의 정위감(음상감)이 희미해져버린다.
그래서, 예를 들어 오브젝트 OB11이 이동하고 있는 경우에는, 그 오브젝트 OB11의 이동처인 패널 스피커 P4에만 합성 채널 신호를 배분하게 하면 된다. 즉, 오브젝트 OB11의 이동 방향에 기초하여, 패널 스피커 P4가 배분처로서 결정된다.
또한, 이 경우, 패널 스피커 P4의 배분 게인은, 예를 들어 식 (5)와 마찬가지의 계산에 의해 구할 수 있다.
단, 이 경우에는, 배분 가능한 패널 스피커가 하나인, 즉 집합 S에 속하는 인접 패널 스피커가 패널 스피커 P4만이라고 하는 조건에서 식 (5)의 계산을 행하면 된다.
또한, 식 (5)와 마찬가지의 계산에 의해 구한 패널 스피커 P4의 배분 게인 αi가 최댓값 αi MAX를 초과해버리는 경우에는, 그 배분 게인 αi는, 다음 식 (7)에 나타낸 바와 같이 최댓값 αi MAX로 되고, 그 최댓값 αi MAX를 초과해버리는 분의 음압 레벨이 서브 우퍼(53)로 배분된다.
이에 반하여, 예를 들어 화살표 Q32로 나타낸 바와 같이, 오브젝트 OB11이 패널 스피커 P0의 패널 내에 위치하고 있으며, 오브젝트 OB11이 정지하고 있는 것으로 한다.
이와 같은 상태에 있어서, 패널 스피커 P0에서 과진폭이 발생하는 경우, 예를 들어 과진폭 플래그가 「0」인 인접 패널 스피커 중, 오브젝트 OB11의 위치로부터 가장 가까운 위치에 배치되어 있는 패널 스피커만이 배분처 패널 스피커로 된다.
따라서, 이 예에서는 오브젝트 OB11로부터 가장 가까운 위치에 있는 패널 스피커 P3이 배분처 패널 스피커로서 결정(선택)된다.
또한, 과진폭이 발생하는 패널 스피커의 패널 내에 위치하는 오브젝트가 복수 있는 경우에는, 그것들의 복수의 오브젝트 중 우선도가 가장 높은 오브젝트의 위치나 이동 방향에 기초하여 배분처 패널 스피커를 결정하면 된다.
<부호화 데이터의 포맷예>
또한, 신호 처리 장치(131)의 다중화부(23)로 얻어지는 부호화 데이터는, 예를 들어 도 17에 도시한 부호화 음성 데이터와, 도 18에 도시한 부호화 OAM를 포함한다.
예를 들어 도 17에서는, 문자 「audio_encoded_data()」는 부호화 음성 데이터를 나타내고 있으며, 이 부호화 음성 데이터는 프레임마다 복호측으로 전송된다.
또한, 이 예에서는 부호화 음성 데이터 「audio_encoded_data()」는, 부호화 음성 신호, 과진폭 플래그, 배분 게인 정보를 다중화하는 포맷으로 되어 있으며, 이 포맷은 도 10에 도시한 예와 대략 동일한 포맷으로 되어 있다.
즉, 도 17에서는 문자 「encoded_channel_data()」는 1프레임분의 부호화 음성 신호를 나타내고 있으며, 문자 「Number_of_PanelConfig」는, 미리 규정되어 있는 패널 구성의 패턴 수를 나타내고 있다.
또한, 문자 「Num_of_SubPanels[i]」는, i번째의 패널 구성 패턴에 있어서의 구성 패널의 매수(패널 스피커 수)를 나타내고 있으며, 문자 「Panel_Control_Flag[i][k]」는, i번째의 패널 구성 패턴에 있어서의 k번째의 패널 스피커의 과진폭 플래그를 나타내고 있다.
또한, 이 예에서는 오브젝트가 배분원 패널 스피커의 패널 내에 위치하고 있는 경우에는, 단일의 배분처 패널 스피커의 상대적인 위치를 나타내는 정보와, 그 배분처 패널 스피커의 배분 게인이 전송되도록 되어 있으며, 배분 게인 정보의 전송이 효율화되어 있다.
구체적으로는, 문자 「object_exist」는, i번째의 패널 구성 패턴에 있어서의 k번째의 패널 스피커의 패널 내에 있어서의 오브젝트의 유무를 나타내는 오브젝트 존재 플래그를 나타내고 있다.
오브젝트 존재 플래그 「object_exist」는, 과진폭 플래그 「Panel_Control_Flag[i][k]」가 「1」인 경우, 즉 대상이 되는 패널 스피커가 배분원 패널 스피커인 경우에 저장되어 있다.
또한, 오브젝트 존재 플래그 「object_exist」의 값이 「1」인 경우, 즉 배분원 패널 스피커의 패널 내에 오브젝트가 존재하고 있는 경우에는, 문자 「Panel_relative_id」에 의해 나타내어지는 배분처 패널 스피커의 상대적인 위치를 나타내는 번호(인덱스)와, 문자 「Panel_Gain」에 의해 나타내어지는 배분 게인이 더 포함되어 있다.
여기서, 상대적인 위치를 나타내는 번호 「Panel_relative_id」는, 예를 들어 상술한 인덱스 p이며, 3비트로 표현된다. 또한, 배분 게인 「Panel_Gain」도 3비트로 양자화되어 표현되어 있다.
이에 반하여, 오브젝트 존재 플래그 「object_exist」의 값이 「0」인 경우, 즉 배분원 패널 스피커의 패널 내에 오브젝트가 존재하지 않는 경우에는, 도 10에 있어서의 경우와 마찬가지로, 문자 「Panel_Gain[p]」에 의해 나타내어지는 배분처 패널 스피커의 배분 게인이 저장되어 있다.
또한, 과진폭 플래그 「Panel_Control_Flag[i][k]」가 「1」인 경우, 필요에 따라 문자 「Panel_Gain_SubWf」에 의해 나타내어지는 서브 우퍼의 배분 게인도 저장되어 있다.
한편, 도 18에 도시한 부호화 OAM은, 예를 들어 1프레임마다 수 프레임마다등, 소정의 오브젝트 처리 시간마다 전송된다.
도 18의 예에서는, 문자 「object_matadata()」는, 부호화 데이터 중에 있어서의, 1프레임 등의 소정의 시간 구간에 있어서의 오브젝트 음원 메타데이터, 즉 부호화 OAM을 나타내고 있다.
또한, 부호화 OAM에는, 문자 「object_index」에 의해 나타내어지는, 오브젝트를 식별하기 위한 인덱스가 포함되어 있다.
또한 부호화 OAM에는, 문자 「position_azimuth」에 의해 나타내어지는 오브젝트의 위치를 나타내는 방위각, 문자 「position_elevation」에 의해 나타내어지는 오브젝트의 위치를 나타내는 앙각 및 문자 「position_radius」에 의해 나타내어지는 오브젝트의 위치를 나타내는 반경이 포함되어 있다.
그 밖에, 부호화 OAM에는, 문자 「gain_factor」에 의해 나타내어지는 오브젝트의 게인 보정을 위한 게인, 및 문자 「dynamic_object_prority」에 의해 나타내어지는 오브젝트의 렌더링 시의 우선도를 나타내는 우선도 정보 등도 포함되어 있다.
<부호화 처리의 설명>
계속해서, 신호 처리 장치(131)의 동작에 대하여 설명한다.
즉, 이하, 도 19의 흐름도를 참조하여, 신호 처리 장치(131)에 의해 행해지는 부호화 처리에 대하여 설명한다.
스텝 S131에 있어서 프리렌더러/믹서부(141)는, 프리렌더링을 행한다.
즉, 프리렌더러/믹서부(141)는, 공급된 프리렌더링 레벨과 각 오브젝트의 OAM에 기초하여, 프리렌더링의 대상 오브젝트를 선택한다.
그리고, 프리렌더러/믹서부(141)는, 공급된 대상 오브젝트의 오브젝트 신호 및 OAM과, 공급된 각 채널의 채널 음성 신호에 기초하여 VBAP 등을 행함으로써, 각 채널의 프리렌더링 완료의 채널 음성 신호를 생성한다.
프리렌더러/믹서부(141)는, 공급된 대상 외 오브젝트의 오브젝트 신호 및 OAM과, 각 채널의 프리렌더링 완료의 채널 음성 신호를 오브젝트 렌더러(142)에 공급한다.
또한,프리렌더러/믹서부(141)는, 대상 외 오브젝트의 OAM을 오브젝트용 배분 게인 계산부(143) 및 OAM 부호화부(144)에 공급함과 함께, 프리렌더링 완료의 채널 음성 신호 및 대상 외 오브젝트의 오브젝트 신호를 코어 신호 부호화부(22)에 공급한다.
스텝 S132에 있어서 오브젝트 렌더러(142)는, 프리렌더러/믹서부(141)로부터 공급된 각 채널의 프리렌더링 완료의 채널 음성 신호와, 대상 외 오브젝트의 오브젝트 신호 및 OAM에 기초하여 대상 외 오브젝트의 렌더링을 행한다. 예를 들어 스텝 S132에서는, 렌더링의 처리로서 VBAP 등이 행해지고, 각 채널의 합성 채널 신호가 생성된다.
오브젝트 렌더러(142)는, 렌더링에 의해 얻어진 각 채널의 합성 채널 신호를, 패널 과진폭 검출부(21) 및 오브젝트용 배분 게인 계산부(143)에 공급한다.
스텝 S133에 있어서 패널 과진폭 검출부(21)는, 오브젝트 렌더러(142)로부터 공급된 합성 채널 신호에 기초하여, 패널 구성마다 각 패널 스피커에 대하여 과진폭 플래그를 생성하고, 오브젝트용 배분 게인 계산부(143) 및 다중화부(23)에 공급한다. 예를 들어 스텝 S133에서는, 상술한 도 4의 스텝 S11과 마찬가지의 처리가 행해져서 과진폭이 검출되고, 과진폭 플래그가 생성된다.
스텝 S134에 있어서 오브젝트용 배분 게인 계산부(143)는, 프리렌더러/믹서부(141)로부터 공급된 OAM, 오브젝트 렌더러(142)로부터 공급된 합성 채널 신호 및 패널 과진폭 검출부(21)로부터 공급된 과진폭 플래그에 기초하여 배분 게인 계산 처리를 행한다.
또한, 배분 게인 계산 처리의 상세는 후술하지만, 이 배분 게인 계산 처리에서는, 패널 구성마다 배분 게인이 계산되고, 배분 게인 정보가 생성된다.
오브젝트용 배분 게인 계산부(143)는, 배분 게인 계산 처리에 의해 얻어진 배분 게인 정보를 다중화부(23)에 공급한다.
스텝 S135에 있어서 OAM 부호화부(144)는, 프리렌더러/믹서부(141)로부터 공급된 대상 외 오브젝트의 OAM을 부호화하고, 그 결과 얻어진 부호화 OAM을 다중화부(23)에 공급한다.
스텝 S136에 있어서 코어 신호 부호화부(22)는, 프리렌더러/믹서부(141)로부터 공급된, 대상 외 오브젝트의 오브젝트 신호와, 프리렌더링 완료의 채널 음성 신호를 부호화하고, 얻어진 부호화 음성 신호를 다중화부(23)에 공급한다.
스텝 S137에 있어서 다중화부(23)는, 패널 과진폭 검출부(21)로부터 공급된 과진폭 플래그, 오브젝트용 배분 게인 계산부(143)로부터 공급된 배분 게인 정보, OAM 부호화부(144)로부터 공급된 부호화 OAM 및 코어 신호 부호화부(22)로부터 공급된 부호화 음성 신호를 다중화하고, 부호화 데이터를 생성한다. 여기에서는, 예를 들어 도 17 및 도 18에 도시한 포맷으로 부호화 데이터가 생성된다.
스텝 S138에 있어서 다중화부(23)는, 부호화 데이터를 복호측의 장치에 송신하고, 부호화 처리는 종료된다.
이상과 같이 하여 신호 처리 장치(131)는, 과진폭 플래그 및 배분 게인 정보를 생성하고, 그것들의 과진폭 플래그 및 배분 게인 정보나 부호화 음성 신호를 다중화하여 부호화 데이터를 생성한다. 이와 같이 함으로써, 복호측의 처리 부하를 저감시키면서 고품위의 소리를 재생할 수 있게 된다.
<배분 게인 계산 처리의 설명>
여기서, 도 20의 흐름도를 참조하여, 도 19의 스텝 S134에 대응하고, 신호 처리 장치(131)에 의해 행해지는 배분 게인 계산 처리에 대하여 설명한다. 또한, 이 배분 게인 계산 처리는, 미리 규정된 패널 구성마다 행해진다.
스텝 S171에 있어서 오브젝트용 배분 게인 계산부(143)는, 처리 대상으로 되어 있는 패널 구성에 있어서, 그 패널 구성에서의 복수의 패널 스피커 중에서, 처리 대상으로 하는 하나의 패널 스피커를 대상 패널 스피커로서 선택한다.
스텝 S172에 있어서 오브젝트용 배분 게인 계산부(143)는, 패널 과진폭 검출부(21)로부터 공급된, 대상 패널 스피커의 과진폭 플래그에 기초하여, 대상 패널 스피커에서 과진폭이 발생하는지 여부를 판정한다.
스텝 S172에 있어서 과진폭이 발생하지 않는다고 판정된 경우, 즉, 과진폭 플래그가 「0」인 경우, 대상 패널 스피커에 대한 출력의 배분은 불필요하므로, 처리는 스텝 S180으로 진행한다.
이에 반하여, 스텝 S172에 있어서 과진폭이 발생한다고 판정된 경우, 즉, 과진폭 플래그가 「1」인 경우, 스텝 S173에 있어서 오브젝트용 배분 게인 계산부(143)는, 대상 패널 스피커의 패널 내에 오브젝트가 있는지 여부를 판정한다.
예를 들어 오브젝트용 배분 게인 계산부(143)는, 프리렌더러/믹서부(141)로부터 공급된 각 대상 외 오브젝트의 OAM에 기초하여, 그것들의 대상 외 오브젝트의 위치가 대상 패널 스피커의 패널 내에 위치하고 있는지를 특정함으로써 판정의 처리를 행한다.
스텝 S173에 있어서 오브젝트가 없다고 판정된 경우, 그 후, 처리는 스텝 S174로 진행한다.
스텝 S174에 있어서 오브젝트용 배분 게인 계산부(143)는, 대상 패널 스피커에 인접하는 인접 패널 스피커의 과진폭 플래그에 기초하여, 그것들의 인접 패널 스피커 중, 과진폭이 발생하지 않는, 즉 과진폭 플래그가 「0」인 인접 패널 스피커를, 배분처의 패널 스피커로서 선택한다.
이 경우, 배분 게인의 계산 시, 즉 후술하는 스텝 S179에서는, 과진폭이 발생하지 않는 하나 또는 복수의 인접 패널 스피커에 대하여, 그것들의 인접 패널 스피커의 진폭값의 상한값까지의 여유에 비례해서 음압 레벨이 배분되게 된다.
이와 같이 하여 배분처 패널 스피커가 선택(결정)되면, 그 후, 처리는 스텝 S179로 진행한다.
이에 반하여, 스텝 S173에 있어서 대상 패널 스피커의 패널 내에 오브젝트가 있다고 판정된 경우, 그 후, 처리는 스텝 S175로 진행한다.
스텝 S175에 있어서 오브젝트용 배분 게인 계산부(143)는, 프리렌더러/믹서부(141)로부터 공급된 각 대상 외 오브젝트의 OAM에 기초하여, 대상 패널 스피커의 패널 내에 위치하는 대상 외 오브젝트 중에서, 가장 우선도가 높은 대상 외 오브젝트를 선택한다. 여기에서는, 예를 들어 도 18에 도시한 우선도 정보 「dynamic_object_prority」에 기초하여 선택이 행해진다.
또한, 이하, 스텝 S175에서 선택된, 가장 우선도가 높은 대상 외 오브젝트를 특히 선택 오브젝트라고도 칭하기로 한다.
스텝 S176에 있어서 오브젝트용 배분 게인 계산부(143)는, 선택 오브젝트의 OAM에 기초하여, 그 선택 오브젝트가 이동하고 있는지 여부를 판정한다.
여기에서는, 예를 들어 선택 오브젝트의 현 프레임과 과거의 프레임 등, 복수의 프레임의 OAM에 기초하여, 선택 오브젝트의 이동(움직임)의 유무나 이동 방향이 특정되고, 선택 오브젝트가 이동하고 있는지 여부가 판정된다.
예를 들어 선택 오브젝트의 이동 유무나 이동 방향은, 서로 다른 시각(프레임)에 있어서의 선택 오브젝트의 위치의 차분에 기초하여 특정 가능하다. 또한, 신호 처리 장치(131)에 있어서 처리 지연을 허용할 수 있는 것이면, 현 프레임의 다음 프레임 등, 시간적으로 미래의 프레임 OAM도 사용되어 이동의 유무나 이동 방향이 특정되어도 된다.
스텝 S176에 있어서 선택 오브젝트가 이동하고 있다고 판정된 경우, 그 후, 처리는 스텝 S177로 진행된다.
스텝 S177에 있어서 오브젝트용 배분 게인 계산부(143)는, 선택 오브젝트의 이동 방향에 기초하여, 그 선택 오브젝트의 이동처에 있는 인접 패널 스피커를 배분처의 패널 스피커로서 선택한다. 스텝 S177의 처리가 행해지면, 그 후, 처리는 스텝 S179로 진행한다.
한편, 스텝 S176에 있어서 선택 오브젝트가 이동하지 않은, 즉 선택 오브젝트가 정지하고 있다고 판정된 경우, 그 후, 처리는 스텝 S178로 진행한다.
스텝 S178에 있어서 오브젝트용 배분 게인 계산부(143)는, 선택 오브젝트의 위치에 기초하여, 대상 패널 스피커에 인접하는 인접 패널 스피커 중, 선택 오브젝트로부터 가장 가까운 위치에 있는 인접 패널 스피커를 배분처의 패널 스피커로서 선택한다. 스텝 S178의 처리가 행해지면, 그 후, 처리는 스텝 S179로 진행한다.
스텝 S174, 스텝 S177 또는 스텝 S178의 처리가 행해지면, 스텝 S179의 처리가 행해진다.
스텝 S179에 있어서 오브젝트용 배분 게인 계산부(143)는, 배분처로서 선택한 배분처 패널 스피커의 배분 게인을 계산한다.
예를 들어 스텝 S179에서는, 도 8의 스텝 S43과 마찬가지의 처리가 행해져서 배분처 스피커의 배분 게인뿐만 아니라, 배분원 패널 스피커의 배분 게인도 계산되고, 추가로 서브 우퍼에도 배분이 행해질 때에는, 그 서브 우퍼의 배분 게인도 계산된다.
또한, 예를 들어 스텝 S177이나 스텝 S178이 행해진 경우에는, 배분처 패널 스피커는 하나가 되지만, 그와 같은 경우에 있어서도 집합 S에 속하는 인접 패널 스피커가 하나라고 하는 조건에서 식 (5)나 식 (8)과 마찬가지의 계산을 행함으로써, 배분 게인을 얻을 수 있다.
스텝 S179의 처리가 행해졌거나, 또는 스텝 S172에 있어서 과진폭이 발생하지 않는다고 판정된 경우, 스텝 S180에 있어서 오브젝트용 배분 게인 계산부(143)는, 모든 패널 스피커에 대하여 처리를 행했는지 여부를 판정한다.
예를 들어 스텝 S180에서는, 모든 패널 스피커가 대상 패널 스피커로 여겨지고, 스텝 S172 내지 스텝 S179의 처리가 행해진 경우, 모든 패널 스피커에 대하여 처리가 행해졌다고 판정된다.
스텝 S180에 있어서, 아직 모든 패널 스피커에 대하여 처리를 행하지 않았다고 판정된 경우, 처리는 스텝 S171로 되돌아가고, 상술한 처리가 반복해서 행해진다.
이에 반하여, 스텝 S180에 있어서 모든 패널 스피커에 대하여 처리를 행하였다고 판정된 경우, 오브젝트용 배분 게인 계산부(143)는, 스텝 S171 내지 스텝 S180의 처리에서 얻어진 배분 게인을 나타내는 배분 게인 정보를 다중화부(23)에 공급하고, 배분 게인 계산 처리는 종료된다.
배분 게인 계산 처리가 종료되면, 도 19의 스텝 S134가 행해지게 되므로, 그 후, 처리는 도 19의 스텝 S135로 진행한다.
이상과 같이 하여 신호 처리 장치(131)는, 대상 패널 스피커의 패널 내에서의 오브젝트의 유무나, 오브젝트의 이동 유무, 오브젝트의 이동 방향에 기초하여 배분처 패널 스피커를 선택하고, 배분 게인을 계산한다.
이와 같이 함으로써, 보다 적절한 인접 패널 스피커에 음압 레벨을 배분할 수 있어, 더 높은 음상감으로 소리를 재생할 수 있게 된다. 즉, 보다 고품위의 소리를 재생할 수 있게 된다.
또한, 이상에 있어서 설명한 배분 게인 계산 처리를 행하여도 패널 스피커에서 과진폭이 발생하는 경우에는, 예를 들어 우선도가 2번째로 높은 오브젝트를 선택 오브젝트로서, 추가로 스텝 S176 내지 스텝 S179의 처리를 행하도록 해도 된다. 그와 같이 함으로써, 복수의 배분처 패널 스피커로 배분을 행하고, 과진폭의 발생을 방지할 수 있다.
<복호측의 신호 처리 장치의 구성예>
계속해서, 부호화측의 신호 처리 장치(131)로부터 송신된 부호화 데이터를 수신하여 복호하는, 복호측의 신호 처리 장치에 대하여 설명한다.
그와 같은 복호측의 신호 처리 장치는, 예를 들어 도 21에 도시한 바와 같이 구성된다. 또한, 도 21에 있어서 도 5에 있어서의 경우와 대응하는 부분에는 동일한 부호를 부여하고 있으며, 그 설명은 적절히 생략한다.
도 21에 도시한 신호 처리 장치(171)는, 비다중화부(61), OAM 복호부(181), 오브젝트 렌더러(182), 코어 신호 복호부(62), 채널 변환부(183), 믹서부(184) 및 패널 출력 조정부(63)를 갖고 있다. 또한, 패널 출력 조정부(63)는 패널 출력 제어부(72)를 갖고 있다.
비다중화부(61)는, 신호 처리 장치(131)의 다중화부(23)로부터 송신된 부호화 데이터를 수신하여 비다중화함으로써, 부호화 데이터로부터 과진폭 플래그, 배분 게인 정보, 부호화 OAM 및 부호화 음성 신호를 추출한다.
비다중화부(61)는, 과진폭 플래그 및 배분 게인 정보를 패널 출력 제어부(72)에 공급하고, 부호화 OAM을 OAM 복호부(181)에 공급하고, 부호화 음성 신호를 코어 신호 복호부(62)에 공급한다.
OAM 복호부(181)는, 비다중화부(61)로부터 공급된 부호화 OAM을 복호하고, 그 결과 얻어진 OAM을 오브젝트 렌더러(182)에 공급한다.
코어 신호 복호부(62)는, 비다중화부(61)로부터 공급된 부호화 음성 신호를 복호하고, 그 결과 얻어진 오브젝트 신호를 오브젝트 렌더러(182)에 공급함과 함께, 복호에 의해 얻어진 프리렌더링 완료의 채널 음성 신호를 채널 변환부(183)에 공급한다.
오브젝트 렌더러(182)는, OAM 복호부(181)로부터 공급된 OAM과, 코어 신호 복호부(62)로부터 공급된 오브젝트 신호에 기초하여 VBAP 등의 렌더링을 행하고, 그 결과 얻어진 렌더링 오브젝트 신호를 믹서부(184)에 공급한다.
예를 들어 오브젝트 렌더러(182)에서는, 도 15의 신호 처리 장치(131)의 오브젝트 렌더러(142)에 있어서 행해지는 렌더링과 마찬가지의 처리가 행해지고, 각 채널의 렌더링 오브젝트 신호가 생성된다.
채널 변환부(183)는, 코어 신호 복호부(62)로부터 공급된 프리렌더링 완료의 채널 음성 신호를, 그 채널 음성 신호의 채널 구성과는 상이한 다른 채널 구성의 각 채널의 변환 채널 신호로 변환하는 변환 처리를 행한다.
즉, 채널 변환부(183)에서는, 소정 채널 구성의 채널 음성 신호가, 복호측, 즉 패널 스피커(52) 및 서브 우퍼(53)로 재생 가능한 채널 구성(채널수)의 변환 채널 신호로 변환된다.
예를 들어 채널 변환부(183)에서는, 프리렌더링 완료의 채널 음성 신호에 대하여, 변환 처리로서 다운 믹스 또는 업 믹스가 행해지고, 패널 스피커(52) 및 서브 우퍼(53)에 대응하는 채널 구성의 변환 채널 신호가 생성된다. 채널 변환부(183)는, 변환 처리에 의해 얻어진 변환 채널 신호를 믹서부(184)에 공급한다.
또한, 변환 처리는 필요에 따라서 행해지면 되며, 프리렌더링 완료의 채널 음성 신호의 채널 구성인 채여도 되는 경우에는, 그 프리렌더링 완료의 채널 음성 신호가 그대로 변환 채널 신호로서 출력된다.
믹서부(184)는, 오브젝트 렌더러(182)로부터 공급된 렌더링 오브젝트 신호와, 채널 변환부(183)로부터 공급된 변환 채널 신호를 합성하고, 그 결과 얻어진 각 채널의 재생 신호를 패널 출력 제어부(72)에 공급한다.
즉, 믹서부(184)에서는 렌더링 오브젝트 신호와 변환 채널 신호가 동일한 채널의 신호가 가산(믹싱)되고, 각 채널의 재생 신호가 생성된다.
패널 출력 제어부(72)는, 비다중화부(61)로부터 공급된 과진폭 플래그 및 배분 게인 정보와, 믹서부(184)로부터 공급된 재생 신호에 기초하여, 각 패널 스피커(52) 및 서브 우퍼(53)에 공급하는 출력 신호를 결정한다.
즉, 패널 출력 제어부(72)는, 과진폭 플래그, 배분 게인 정보 및 재생 신호에 기초하여, 각 패널 스피커(52)나 서브 우퍼(53)에 공급하는 출력 신호를 생성한다. 이 출력 신호는, 오브젝트 신호나 채널 음성 신호로부터 생성된 신호이기 때문에, 패널 출력 제어부(72)에서는, 오브젝트 신호나 채널 음성 신호의 출력처가 되는 패널 스피커(52)나 서브 우퍼(53)가 조정(결정)된다고도 할 수 있다.
<복호 처리의 설명>
다음으로, 신호 처리 장치(171)의 동작에 대하여 설명한다.
즉, 이하, 도 22의 흐름도를 참조하여, 신호 처리 장치(171)에 의해 행해지는 복호 처리에 대하여 설명한다.
스텝 S211에 있어서 비다중화부(61)는, 수신된 부호화 데이터를 비다중화하고, 과진폭 플래그, 배분 게인 정보, 부호화 OAM 및 부호화 음성 신호를 추출한다.
비다중화부(61)는, 과진폭 플래그 및 배분 게인 정보를 패널 출력 제어부(72)에 공급하고, 부호화 OAM을 OAM 복호부(181)에 공급하고, 부호화 음성 신호를 코어 신호 복호부(62)에 공급한다.
스텝 S212에 있어서 OAM 복호부(181)는, 비다중화부(61)로부터 공급된 부호화 OAM을 복호하고, 얻어진 OAM을 오브젝트 렌더러(182)에 공급한다.
스텝 S213에 있어서 코어 신호 복호부(62)는, 비다중화부(61)로부터 공급된 부호화 음성 신호를 복호하고, 얻어진 오브젝트 신호를 오브젝트 렌더러(182)에 공급함과 함께, 복호에 의해 얻어진 프리렌더링 완료의 채널 음성 신호를 채널 변환부(183)에 공급한다.
스텝 S214에 있어서 오브젝트 렌더러(182)는, OAM 복호부(181)로부터 공급된 OAM과, 코어 신호 복호부(62)로부터 공급된 오브젝트 신호에 기초하여 렌더링을 행하고, 얻어진 렌더링 오브젝트 신호를 믹서부(184)에 공급한다.
스텝 S215에 있어서 채널 변환부(183)는, 코어 신호 복호부(62)로부터 공급된 프리렌더링 완료의 채널 음성 신호에 대하여 변환 처리를 행하고, 그 결과 얻어진 변환 채널 신호를 믹서부(184)에 공급한다.
스텝 S216에 있어서 믹서부(184)는, 오브젝트 렌더러(182)로부터 공급된 렌더링 오브젝트 신호와, 채널 변환부(183)로부터 공급된 변환 채널 신호를 합성하여 각 채널의 재생 신호를 생성한다. 믹서부(184)는, 얻어진 재생 신호를 패널 출력 제어부(72)에 공급한다.
스텝 S217에 있어서 패널 출력 제어부(72)는, 비다중화부(61)로부터 공급된 과진폭 플래그 및 배분 게인 정보와, 믹서부(184)로부터 공급된 재생 신호에 기초하여, 각 패널 스피커(52) 및 서브 우퍼(53)에 공급하는 출력 신호를 생성한다. 예를 들어 스텝 S217에서는, 도 8의 스텝 S44와 마찬가지의 처리가 행해지고, 각 패널 스피커(52) 및 서브 우퍼(53)에 공급하는 출력 신호가 생성된다.
이와 같이 하여 출력 신호가 생성되면, 패널 출력 제어부(72)는, 각 출력 신호를 패널 스피커(52) 및 서브 우퍼(53)에 공급하여 콘텐츠의 소리를 재생시키고, 복호 처리는 종료된다.
이상과 같이 하여 신호 처리 장치(171)는, 과진폭 플래그와 배분 게인 정보에 기초하여 각 패널 스피커(52)나 서브 우퍼(53)에 공급하는 출력 신호를 생성한다. 이와 같이 함으로써, 적은 처리 부하로 고품위의 소리를 재생할 수 있다.
이상에 있어서 설명한 제3 실시 형태에서는, 특히 패널 스피커 시스템으로 오브젝트 오디오를 재생할 때에 패널 스피커에서 과진폭이 발생하는 경우에는, 오브젝트에 가까운 위치에 있는 패널 스피커나, 오브젝트의 이동처 패널 스피커에 재생 신호의 일부가 배분된다. 따라서, 오브젝트의 음상감이나 이동감을 손상시키지 않고 과진폭을 억제하여, 고품위의 소리를 재생할 수 있다.
<제4 실시 형태>
<스트리밍 배신 시스템의 구성예>
그런데, 오브젝트 오디오의 스트리밍 배신 시스템에서는, 재생측의 단말 장치의 패널 구성에 관계없이 오브젝트 오디오, 즉 오브젝트 오디오의 콘텐츠가 배신된다.
그 때문에, 재생측의 패널 스피커의 수, 즉 패널 매수가 적은 경우에서도 다수의 오브젝트의 처리가 필요하거나, 반대로 패널 매수가 충분히 많은 경우에서도 소수의 오브젝트밖에 전송되지 않거나 하여, 오브젝트 오디오를 효과적으로 재생할 수 없다.
그래서, 재생측의 패널 구성을 나타내는 패널 구성 정보와, 재생측의 연산 리소스에 기초하여 구해지는, 재생측에서 처리가 가능한 최대의 오브젝트 수를 나타내는 최대 오브젝트 수 정보를 배신측에 전송함으로써, 콘텐츠의 적절한 배신 및 재생을 행할 수 있도록 해도 된다.
그와 같은 경우, 배신측에서는 패널 구성 정보와 최대 오브젝트 수 정보에 기초하여, 재생측의 패널 구성이나 리소스 환경에 따른 적절한 프리렌더링이나, 과진폭에 따른 재생 신호의 배분 등을 행할 수 있다.
이와 같은 스트리밍 배신 시스템은, 예를 들어 도 23에 도시한 바와 같이 구성된다.
도 23에 도시한 스트리밍 배신 시스템은, 재생측의 단말 장치인 재생 장치(201)와, 오브젝트 오디오의 콘텐츠 배신측의 서버인 배신 장치(202)를 갖고 있다.
이들 재생 장치(201)와 배신 장치(202)는, 인터넷 등의 네트워크를 통해 접속되어 있으며, 배신 장치(202)는, 재생 장치(201)에 대하여 오브젝트 오디오 형식으로 콘텐츠를 배신한다.
재생 장치(201)는, 단말기 정보 송신부(211), 오브젝트 오디오 복호부(212) 및 패널 스피커 시스템(213)을 갖고 있다.
또한, 배신 장치(202)는, 프리렌더링 제어부(221) 및 오브젝트 오디오 부호화부(222)를 갖고 있다.
재생 장치(201)의 단말기 정보 송신부(211)는, 네트워크를 통해 패널 구성 정보 및 최대 오브젝트 수 정보를 배신 장치(202)에 송신한다.
오브젝트 오디오 복호부(212)는, 도 21에 도시한 신호 처리 장치(171)와 같은 구성으로 되어 있어으며, 배신 장치(202)로부터 전송(송신)되어 온 콘텐츠의 부호화 데이터를 수신하고, 복호 처리를 행한다.
패널 스피커 시스템(213)은, 예를 들어 도 21에 도시한 패널 스피커(52) 및 서브 우퍼(53)를 포함하는 스피커 시스템이며, 오브젝트 오디오 복호부(212)로부터 공급된 출력 신호에 기초하여 콘텐츠의 소리를 재생한다.
또한, 배신 장치(202)의 프리렌더링 제어부(221)는, 단말기 정보 송신부(211)로부터 수신한 패널 구성 정보 및 최대 오브젝트 수 정보에 기초하여 프리렌더링 레벨을 결정하고, 오브젝트 오디오 부호화부(222)에 공급한다.
오브젝트 오디오 부호화부(222)는, 프리렌더링 제어부(221)로부터 공급된 프리렌더링 레벨과, 공급된 OAM, 오브젝트 신호 및 채널 음성 신호에 기초하여 부호화 데이터를 생성하고, 재생 장치(201)에 송신한다. 이 오브젝트 오디오 부호화부(222)는, 도 15에 도시한 신호 처리 장치(131)과 같은 구성으로 되어 있다.
<재생 처리 및 배신 처리의 설명>
계속해서, 재생 장치(201)와 배신 장치(202)의 동작에 대하여 설명한다.
즉, 이하, 도 24의 흐름도를 참조하여, 재생 장치(201)에 의한 재생 처리와, 배신 장치(202)에 의한 배신 처리에 대하여 설명한다.
우선, 재생 장치(201)에 의한 재생 처리가 개시되고, 재생 장치(201)가 배신 장치(202)에 대하여 콘텐츠의 스트리밍 배신을 요구하는 초기 처리로서, 최대 오브젝트 수를 구하는 처리가 행해진다.
즉, 재생 장치(201)의 단말기 정보 송신부(211)는, 재생 장치(201)의 연산 리소스에 기초하여, 오브젝트 오디오 복호부(212)가 처리 가능한 오브젝트 수의 최댓값인 최대 오브젝트 수를 구하고, 최대 오브젝트 수 정보를 생성한다.
또한, 단말기 정보 송신부(211)는, 도시하지 않은 메모리 등으로부터, 패널 스피커 시스템(213)의 패널 구성을 나타내는 패널 구성 정보를 판독한다.
그렇게 하면, 스텝 S241에 있어서 단말기 정보 송신부(211)는, 최대 오브젝트 수 정보 및 패널 구성 정보를, 네트워크를 통해 배신 장치(202)에 송신한다.
이에 의해, 재생 장치(201)로부터 배신 장치(202)에 대하여, 콘텐츠의 스트리밍 배신이 요구되게 된다. 또한, 콘텐츠의 재생 중에 연산 리소스가 변화한 경우나, 패널 스피커 시스템(213)이 전환되어 패널 구성이 변화한 경우 등에 있어서는, 콘텐츠의 재생 중에 최대 오브젝트 수 정보 및 패널 구성 정보가 송신되도록 해도 된다.
또한, 배신 장치(202)에서는, 스텝 S261에 있어서 프리렌더링 제어부(221)는, 단말기 정보 송신부(211)로부터 송신되어 온 최대 오브젝트 수 정보 및 패널 구성 정보를 수신한다.
스텝 S262에 있어서 프리렌더링 제어부(221)는, 수신된 최대 오브젝트 수 정보 및 패널 구성 정보에 기초하여, 콘텐츠의 스트리밍 배신 시의 프리렌더링 레벨을 결정한다.
예를 들어 패널 스피커 시스템(213)을 구성하는 패널 스피커 수(패널 매수)가 적은 경우, 다수의 오브젝트의 오브젝트 신호를 재생 장치(201)에 전송하여도, 동적으로 오브젝트를 렌더링하는 효과는 적다.
따라서, 예를 들어 패널 구성 정보에 의해 나타내어지는 패널 매수, 즉 패널 스피커(52)의 수가 적은 경우에는, 효율적으로 처리를 행하도록 하기 위해서, 프리렌더링되는 오브젝트, 즉 상술한 대상 오브젝트의 수는 많아지게 된다.
또한, 재생 장치(201)측에 있어서 렌더링되는 오브젝트, 즉 대상 외 오브젝트의 수가, 최대 오브젝트 수를 초과하는 경우, 재생 장치(201)에서는, 최대 오브젝트 수를 초과한 분의 대상 외 오브젝트는 파기된다. 이때, 우선도가 낮은 것부터 순서대로 파기되는 대상 외 오브젝트가 선택된다.
따라서, 최대 오브젝트 수가 적은 경우에는, 프리렌더링되는 오브젝트, 즉 대상 오브젝트가 많아지도록 이루어진다.
여기서, 최대 오브젝트 수 정보에 의해 나타내어지는 최대 오브젝트 수, 패널 구성 정보에 의해 나타내어지는 패널 매수에 대하여 정해지는 프리렌더링 레벨의 구체적인 예를 도 25에 나타낸다.
도 25의 예에서는, 프리렌더링 레벨은, 상술한 Lev-1, Lev-2 및 Lev-3 중 어느 것으로 된다.
특히, 프리렌더링 레벨이 Lev-1로 된 경우, 가장 대상 오브젝트의 수는 많고，프리렌더링 레벨이 Lev-3으로 된 경우, 가장 대상 오브젝트의 수는 적다.
도 25에서는, 최대 오브젝트 수가 많아질수록, 또한 패널 매수가 많아질수록, 대상 오브젝트의 수는 적어지게, 즉 재생 장치(201)측에서 렌더링되는 대상 외 오브젝트의 수가 많아지게 되어 있다.
예를 들어 패널 매수가 1 내지 2매로 적고, 최대 오브젝트 수도 1 내지 15개로 적은 경우에는, 프리렌더링 레벨은 Lev-1로 된다.
이와 같이 하여 프리렌더링 레벨이 결정되면, 프리렌더링 제어부(221)는, 결정한 프리렌더링 레벨을 오브젝트 오디오 부호화부(222)에 공급한다.
도 24의 흐름도의 설명으로 되돌아가서, 스텝 S263에 있어서 오브젝트 오디오 부호화부(222)는, 프리렌더링 제어부(221)로부터 공급된 프리렌더링 레벨과, 공급된 OAM, 오브젝트 신호 및 채널 음성 신호에 기초하여 부호화 처리를 행한다.
스텝 S263에서는, 도 19를 참조하여 설명한 부호화 처리가 행해진다. 즉, 부호화 데이터가 생성되고, 얻어진 부호화 데이터가 오브젝트 오디오 부호화부(222)에 의해 재생 장치(201)에 송신된다.
이와 같이 하여 부호화 처리가 행해지면, 배신 장치(202)에 의한 배신 처리는 종료된다.
또한, 부호화 처리가 행해지면, 재생 장치(201)에서는, 스텝 S242에 있어서 오브젝트 오디오 복호부(212)는, 배신 장치(202)로부터 송신되어 온 부호화 데이터를 수신한다.
스텝 S243에 있어서 오브젝트 오디오 복호부(212)는, 수신된 부호화 데이터에 기초하여 복호 처리를 행하고, 패널 스피커 시스템(213)에 공급하는 출력 신호를 생성한다.
스텝 S243에서는, 도 22를 참조하여 설명한 복호 처리가 행해지고, 패널 스피커 시스템(213)을 구성하는 각 패널 스피커(52) 및 서브 우퍼(53)에 공급하는 출력 신호가 생성된다.
오브젝트 오디오 복호부(212)는, 이와 같이 하여 생성된 출력 신호를 패널 스피커 시스템(213)에 공급한다.
스텝 S245에 있어서 패널 스피커 시스템(213)은, 오브젝트 오디오 복호부(212)로부터 공급된 출력 신호에 기초하여, 콘텐츠의 소리를 재생하고, 재생 처리는 종료된다.
이상과 같이 하여 재생 장치(201)는, 최대 오브젝트 수 정보와 패널 구성 정보를 배신 장치(202)에 송신한다. 또한, 배신 장치(202)는, 재생 장치(201)로부터 수신한 최대 오브젝트 수 정보와 패널 구성 정보에 기초하여 프리렌더링 레벨을 결정하고, 부호화 데이터를 생성한다.
이와 같이 함으로써, 적은 처리 부하로 고품위의 소리를 재생할 수 있을뿐만 아니라, 재생 장치(201)측의 연산 리소스나 패널 구성에 따라서, 보다 효율적으로 콘텐츠의 배신 및 재생을 행할 수 있다.
<컴퓨터의 구성예>
그런데, 상술한 일련의 처리는, 하드웨어에 의해 실행할 수도 있고, 소프트웨어에 의해 실행할 수도 있다. 일련의 처리를 소프트웨어에 의해 실행하는 경우에는, 그 소프트웨어를 구성하는 프로그램이, 컴퓨터에 인스톨된다. 여기서, 컴퓨터에는, 전용의 하드웨어에 내장되어 있는 컴퓨터나, 각종 프로그램을 인스톨함으로써, 각종 기능을 실행하는 것이 가능한, 예를 들어 범용의 퍼스널 컴퓨터 등이 포함된다.
도 26은, 상술한 일련의 처리를 프로그램에 의해 실행하는 컴퓨터의 하드웨어의 구성예를 나타내는 블록도이다.
컴퓨터에 있어서, CPU(Central Processing Unit)(501), ROM(Read Only Memory)(502), RAM(Random Access Memory)(503)은, 버스(504)에 의해 서로 접속되어 있다.
버스(504)에는 또한, 입출력 인터페이스(505)가 접속되어 있다. 입출력 인터페이스(505)에는, 입력부(506), 출력부(507), 기록부(508), 통신부(509) 및 드라이브(510)가 접속되어 있다.
입력부(506)는, 키보드, 마우스, 마이크로폰, 촬상 소자 등을 포함한다. 출력부(507)는, 디스플레이, 스피커 등을 포함한다. 기록부(508)는, 하드 디스크나 불휘발성의 메모리 등을 포함한다. 통신부(509)는, 네트워크 인터페이스 등을 포함한다. 드라이브(510)는, 자기 디스크, 광 디스크, 광자기 디스크, 또는 반도체 메모리 등의 리무버블 기록 매체(511)를 구동한다.
이상과 같이 구성되는 컴퓨터에서는, CPU(501)가, 예를 들어 기록부(508)에 기록되어 있는 프로그램을, 입출력 인터페이스(505) 및 버스(504)를 통해 RAM(503)에 로드하여 실행함으로써, 상술한 일련의 처리가 행해진다.
컴퓨터(CPU(501))가 실행하는 프로그램은, 예를 들어 패키지 미디어 등으로서의 리무버블 기록 매체(511)에 기록하여 제공할 수 있다. 또한, 프로그램은, 로컬 에어리어 네트워크, 인터넷, 디지털 위성 방송과 같은, 유선 또는 무선의 전송 매체를 통해 제공할 수 있다.
컴퓨터에서는, 프로그램은, 리무버블 기록 매체(511)를 드라이브(510)에 장착함으로써, 입출력 인터페이스(505)를 통해 기록부(508)에 인스톨할 수 있다. 또한, 프로그램은, 유선 또는 무선의 전송 매체를 통해 통신부(509)로 수신하고, 기록부(508)에 인스톨할 수 있다. 그 밖에, 프로그램은, ROM(502)이나 기록부(508)에, 미리 인스톨해 둘 수 있다.
또한, 컴퓨터가 실행하는 프로그램은, 본 명세서에서 설명하는 순서를 따라서 시계열로 처리가 행해지는 프로그램이어도 되고, 병렬로, 혹은 호출이 행해졌을 때 등의 필요한 타이밍에 처리가 행해지는 프로그램이어도 된다.
또한, 본 기술의 실시 형태는, 상술한 실시 형태에 한정되는 것은 아니며, 본 기술의 요지를 일탈하지 않는 범위에 있어서 다양한 변경이 가능하다.
예를 들어, 본 기술은, 하나의 기능을 네트워크를 통해 복수의 장치로 분담, 공동하여 처리하는 클라우드 컴퓨팅의 구성을 취할 수 있다.
또한, 상술한 흐름도에서 설명한 각 스텝은, 하나의 장치로 실행하는 것 외에, 복수의 장치로 분담하여 실행할 수 있다.
또한, 하나의 스텝에 복수의 처리가 포함되는 경우에는, 그 하나의 스텝에 포함되는 복수의 처리는, 하나의 장치로 실행하는 것 외에, 복수의 장치로 분담하여 실행할 수 있다.
또한, 본 기술은, 이하의 구성으로 하는 것도 가능하다.
(1)
부호화 데이터를 비다중화하여, 부호화 음성 신호와, 복수의 각 패널 스피커에 대하여 생성된, 상기 패널 스피커에 있어서 과진폭이 발생하는지를 나타내는 과진폭 플래그를 추출하는 비다중화부와,
상기 부호화 음성 신호를 복호하는 복호부와,
상기 과진폭 플래그와, 상기 복호에 의해 얻어진 음성 신호에 기초하여, 상기 복수의 각 상기 패널 스피커의 음성 신호를 조정하는 조정부
를 구비하는 신호 처리 장치.
(2)
상기 조정부는, 상기 복호에 의해 얻어진 소정의 상기 음성 신호의 출력처로서 정해져 있는 출력처 패널 스피커에서 과진폭이 발생하는 경우, 상기 출력처 패널 스피커와, 과진폭이 발생하지 않는 다른 패널 스피커를 상기 소정의 상기 음성 신호의 출력처로서 결정하는
상기 (1)에 기재된 신호 처리 장치.
(3)
상기 조정부는, 상기 음성 신호에 기초하여, 상기 소정의 상기 음성 신호를 상기 다른 패널 스피커로 출력할 때의 배분 게인을 계산하는
상기 (2)에 기재된 신호 처리 장치.
(4)
상기 다른 패널 스피커는, 상기 출력처 패널 스피커에 인접하여 배치된 상기 패널 스피커인
상기 (2) 또는 (3)에 기재된 신호 처리 장치.
(5)
상기 다른 패널 스피커는, 서브 우퍼인
상기 (2) 내지 (4) 중 어느 한 항에 기재된 신호 처리 장치.
(6)
상기 음성 신호는 멀티 채널 신호이며, 상기 복수의 상기 패널 스피커마다, 출력되는 채널의 상기 음성 신호가 정해져 있는
상기 (1) 내지 (5) 중 어느 한 항에 기재된 신호 처리 장치.
(7)
상기 음성 신호는 오디오 오브젝트의 오브젝트 신호인
상기 (2)에 기재된 신호 처리 장치.
(8)
상기 소정의 상기 음성 신호의 출력처로 하는 상기 다른 패널 스피커는, 상기 소정의 상기 음성 신호에 대응하는 상기 오디오 오브젝트의 움직임의 유무에 기초하여 결정되는
상기 (7)에 기재된 신호 처리 장치.
(9)
상기 오디오 오브젝트가 정지하고 있는 경우, 상기 오디오 오브젝트의 위치로부터 가장 가까운 위치에 배치되어 있는 상기 패널 스피커가 상기 다른 패널 스피커로 되는
상기 (8)에 기재된 신호 처리 장치.
(10)
상기 오디오 오브젝트가 이동하고 있는 경우, 상기 오디오 오브젝트의 이동 방향에 기초하여 상기 다른 패널 스피커가 결정되는
상기 (8)에 기재된 신호 처리 장치.
(11)
상기 부호화 데이터에는, 상기 소정의 상기 음성 신호를 상기 다른 패널 스피커로 출력할 때의 배분 게인이 포함되어 있으며,
상기 조정부는, 상기 과진폭 플래그와, 상기 복호에 의해 얻어진 음성 신호와, 상기 배분 게인에 기초하여, 상기 복수의 각 상기 패널 스피커의 음성 신호를 조정하는
상기 (2)에 기재된 신호 처리 장치.
(12)
상기 부호화 데이터에는, 복수의 상기 패널 스피커를 포함하는, 서로 다른 복수의 패널 구성마다, 상기 패널 스피커의 상기 과진폭 플래그가 포함되어 있는
상기 (1) 내지 (11) 중 어느 한 항에 기재된 신호 처리 장치.
(13)
신호 처리 장치가,
부호화 데이터를 비다중화하여, 부호화 음성 신호와, 복수의 각 패널 스피커에 대하여 생성된, 상기 패널 스피커에 있어서 과진폭이 발생하는지를 나타내는 과진폭 플래그를 추출하고,
상기 부호화 음성 신호를 복호하고,
상기 과진폭 플래그와, 상기 복호에 의해 얻어진 음성 신호에 기초하여, 상기 복수의 각 상기 패널 스피커의 음성 신호를 조정하는
신호 처리 방법.
(14)
부호화 데이터를 비다중화하여, 부호화 음성 신호와, 복수의 각 패널 스피커에 대하여 생성된, 상기 패널 스피커에 있어서 과진폭이 발생하는지를 나타내는 과진폭 플래그를 추출하고,
상기 부호화 음성 신호를 복호하고,
상기 과진폭 플래그와, 상기 복호에 의해 얻어진 음성 신호에 기초하여, 상기 복수의 각 상기 패널 스피커의 음성 신호를 조정하는
스텝을 포함하는 처리를 컴퓨터에 실행시키는 프로그램.
(15)
복수의 각 패널 스피커에 대하여, 상기 패널 스피커에 있어서 음성 신호에 기초하는 소리를 재생했을 때에 과진폭이 발생하는지를 검출하고, 그 검출 결과를 나타내는 과진폭 플래그를 생성하는 과진폭 검출부와,
상기 음성 신호를 부호화하는 부호화부와,
상기 복수의 상기 패널 스피커의 상기 과진폭 플래그와, 상기 부호화에 의해 얻어진 부호화 음성 신호를 다중화하여 부호화 데이터를 생성하는 다중화부
를 구비하는 신호 처리 장치.
(16)
상기 음성 신호는 멀티 채널 신호이며, 상기 복수의 상기 패널 스피커마다, 출력되는 채널의 상기 음성 신호가 정해져 있는
상기 (15)에 기재된 신호 처리 장치.
(17)
소정의 상기 음성 신호의 출력처로서 정해져 있는 출력처 패널 스피커에서의 과진폭이 검출된 경우, 상기 음성 신호에 기초하여, 상기 소정의 상기 음성 신호를 상기 출력처 패널 스피커와 다른 패널 스피커로 출력할 때의 배분 게인을 계산하는 배분 게인 계산부를 더 구비하고,
상기 다중화부는, 상기 과진폭 플래그와, 상기 부호화 음성 신호와, 상기 배분 게인을 다중화하여 상기 부호화 데이터를 생성하는
상기 (15) 또는 (16)에 기재된 신호 처리 장치.
(18)
상기 과진폭 검출부는, 복수의 상기 패널 스피커를 포함하는, 서로 다른 복수의 패널 구성마다, 상기 패널 스피커의 상기 과진폭 플래그를 생성하는
상기 (15) 내지 (17) 중 어느 한 항에 기재된 신호 처리 장치.
(19)
신호 처리 장치가,
복수의 각 패널 스피커에 대하여, 상기 패널 스피커에 있어서 음성 신호에 기초하는 소리를 재생했을 때에 과진폭이 발생하는지를 검출하여, 그 검출 결과를 나타내는 과진폭 플래그를 생성하고,
상기 음성 신호를 부호화하고,
상기 복수의 상기 패널 스피커의 상기 과진폭 플래그와, 상기 부호화에 의해 얻어진 부호화 음성 신호를 다중화하여 부호화 데이터를 생성하는
신호 처리 방법.
(20)
복수의 각 패널 스피커에 대하여, 상기 패널 스피커에 있어서 음성 신호에 기초하는 소리를 재생했을 때에 과진폭이 발생하는지를 검출하여, 그 검출 결과를 나타내는 과진폭 플래그를 생성하고,
상기 음성 신호를 부호화하고,
상기 복수의 상기 패널 스피커의 상기 과진폭 플래그와, 상기 부호화에 의해 얻어진 부호화 음성 신호를 다중화하여 부호화 데이터를 생성하는
스텝을 포함하는 처리를 컴퓨터에 실행시키는 프로그램.
11: 신호 처리 장치
21: 패널 과진폭 검출부
22: 코어 신호 부호화부
23: 다중화부
51: 신호 처리 장치
52-1 내지 52-N, 52: 패널 스피커
53: 서브 우퍼
61: 비다중화부
62: 코어 신호 복호부
63: 패널 출력 조정부
71: 배분 게인 계산부
72: 패널 출력 제어부

Claims (20)

  1. 부호화 데이터를 비다중화하여, 부호화 음성 신호와, 복수의 각 패널 스피커에 대하여 생성된, 상기 패널 스피커에 있어서 과진폭이 발생하는지를 나타내는 과진폭 플래그를 추출하는 비다중화부와,
    상기 부호화 음성 신호를 복호하는 복호부와,
    상기 과진폭 플래그와, 상기 복호에 의해 얻어진 음성 신호에 기초하여, 상기 복수의 각 상기 패널 스피커의 음성 신호를 조정하는 조정부를
    구비하는 신호 처리 장치.
  2. 제1항에 있어서,
    상기 조정부는, 상기 복호에 의해 얻어진 소정의 상기 음성 신호의 출력처로서 정해져 있는 출력처 패널 스피커에서 과진폭이 발생하는 경우, 상기 출력처 패널 스피커와, 과진폭이 발생하지 않는 다른 패널 스피커를 상기 소정의 상기 음성 신호의 출력처로서 결정하는
    신호 처리 장치.
  3. 제2항에 있어서,
    상기 조정부는, 상기 음성 신호에 기초하여, 상기 소정의 상기 음성 신호를 상기 다른 패널 스피커로 출력할 때의 배분 게인을 계산하는
    신호 처리 장치.
  4. 제2항에 있어서,
    상기 다른 패널 스피커는, 상기 출력처 패널 스피커에 인접하여 배치된 상기 패널 스피커인
    신호 처리 장치.
  5. 제2항에 있어서,
    상기 다른 패널 스피커는, 서브 우퍼인
    신호 처리 장치.
  6. 제1항에 있어서,
    상기 음성 신호는 멀티 채널 신호이며, 상기 복수의 상기 패널 스피커마다, 출력되는 채널의 상기 음성 신호가 정해져 있는
    신호 처리 장치.
  7. 제2항에 있어서,
    상기 음성 신호는 오디오 오브젝트의 오브젝트 신호인
    신호 처리 장치.
  8. 제7항에 있어서,
    상기 소정의 상기 음성 신호의 출력처로 하는 상기 다른 패널 스피커는, 상기 소정의 상기 음성 신호에 대응하는 상기 오디오 오브젝트의 움직임의 유무에 기초하여 결정되는
    신호 처리 장치.
  9. 제8항에 있어서,
    상기 오디오 오브젝트가 정지하고 있는 경우, 상기 오디오 오브젝트의 위치로부터 가장 가까운 위치에 배치되어 있는 상기 패널 스피커가 상기 다른 패널 스피커로 되는
    신호 처리 장치.
  10. 제8항에 있어서,
    상기 오디오 오브젝트가 이동하고 있는 경우, 상기 오디오 오브젝트의 이동 방향에 기초하여 상기 다른 패널 스피커가 결정되는
    신호 처리 장치.
  11. 제2항에 있어서,
    상기 부호화 데이터에는, 상기 소정의 상기 음성 신호를 상기 다른 패널 스피커로 출력할 때의 배분 게인이 포함되어 있으며,
    상기 조정부는, 상기 과진폭 플래그와, 상기 복호에 의해 얻어진 음성 신호와, 상기 배분 게인에 기초하여, 상기 복수의 각 상기 패널 스피커의 음성 신호를 조정하는
    신호 처리 장치.
  12. 제1항에 있어서,
    상기 부호화 데이터에는, 복수의 상기 패널 스피커를 포함하는, 서로 다른 복수의 패널 구성마다, 상기 패널 스피커의 상기 과진폭 플래그가 포함되어 있는
    신호 처리 장치.
  13. 신호 처리 장치가,
    부호화 데이터를 비다중화하여, 부호화 음성 신호와, 복수의 각 패널 스피커에 대하여 생성된, 상기 패널 스피커에 있어서 과진폭이 발생하는지를 나타내는 과진폭 플래그를 추출하고,
    상기 부호화 음성 신호를 복호하고,
    상기 과진폭 플래그와, 상기 복호에 의해 얻어진 음성 신호에 기초하여, 상기 복수의 각 상기 패널 스피커의 음성 신호를 조정하는
    신호 처리 방법.
  14. 부호화 데이터를 비다중화하여, 부호화 음성 신호와, 복수의 각 패널 스피커에 대하여 생성된, 상기 패널 스피커에 있어서 과진폭이 발생하는지를 나타내는 과진폭 플래그를 추출하고,
    상기 부호화 음성 신호를 복호하고,
    상기 과진폭 플래그와, 상기 복호에 의해 얻어진 음성 신호에 기초하여, 상기 복수의 각 상기 패널 스피커의 음성 신호를 조정하는
    스텝을 포함하는 처리를 컴퓨터에 실행시키는 프로그램.
  15. 복수의 각 패널 스피커에 대하여, 상기 패널 스피커에 있어서 음성 신호에 기초하는 소리를 재생했을 때에 과진폭이 발생하는지를 검출하고, 그 검출 결과를 나타내는 과진폭 플래그를 생성하는 과진폭 검출부와,
    상기 음성 신호를 부호화하는 부호화부와,
    상기 복수의 상기 패널 스피커의 상기 과진폭 플래그와, 상기 부호화에 의해 얻어진 부호화 음성 신호를 다중화하여 부호화 데이터를 생성하는 다중화부를
    구비하는 신호 처리 장치.
  16. 제15항에 있어서,
    상기 음성 신호는 멀티 채널 신호이며, 상기 복수의 상기 패널 스피커마다, 출력되는 채널의 상기 음성 신호가 정해져 있는
    신호 처리 장치.
  17. 제15항에 있어서,
    소정의 상기 음성 신호의 출력처로서 정해져 있는 출력처 패널 스피커에서의 과진폭이 검출된 경우, 상기 음성 신호에 기초하여, 상기 소정의 상기 음성 신호를 상기 출력처 패널 스피커와 다른 패널 스피커로 출력할 때의 배분 게인을 계산하는 배분 게인 계산부를 더 구비하고,
    상기 다중화부는, 상기 과진폭 플래그와, 상기 부호화 음성 신호와, 상기 배분 게인을 다중화하여 상기 부호화 데이터를 생성하는
    신호 처리 장치.
  18. 제15항에 있어서,
    상기 과진폭 검출부는, 복수의 상기 패널 스피커를 포함하는, 서로 다른 복수의 패널 구성마다, 상기 패널 스피커의 상기 과진폭 플래그를 생성하는
    신호 처리 장치.
  19. 신호 처리 장치가,
    복수의 각 패널 스피커에 대하여, 상기 패널 스피커에 있어서 음성 신호에 기초하는 소리를 재생했을 때에 과진폭이 발생하는지를 검출하여, 그 검출 결과를 나타내는 과진폭 플래그를 생성하고,
    상기 음성 신호를 부호화하고,
    상기 복수의 상기 패널 스피커의 상기 과진폭 플래그와, 상기 부호화에 의해 얻어진 부호화 음성 신호를 다중화하여 부호화 데이터를 생성하는
    신호 처리 방법.
  20. 복수의 각 패널 스피커에 대하여, 상기 패널 스피커에 있어서 음성 신호에 기초하는 소리를 재생했을 때에 과진폭이 발생하는지를 검출하여, 그 검출 결과를 나타내는 과진폭 플래그를 생성하고,
    상기 음성 신호를 부호화하고,
    상기 복수의 상기 패널 스피커의 상기 과진폭 플래그와, 상기 부호화에 의해 얻어진 부호화 음성 신호를 다중화하여 부호화 데이터를 생성하는
    스텝을 포함하는 처리를 컴퓨터에 실행시키는 프로그램.
KR1020227000293A 2019-07-19 2020-07-03 신호 처리 장치 및 방법, 그리고 프로그램 KR20220035096A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019133695 2019-07-19
JPJP-P-2019-133695 2019-07-19
PCT/JP2020/026170 WO2021014933A1 (ja) 2019-07-19 2020-07-03 信号処理装置および方法、並びにプログラム

Publications (1)

Publication Number Publication Date
KR20220035096A true KR20220035096A (ko) 2022-03-21

Family

ID=74193802

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020227000293A KR20220035096A (ko) 2019-07-19 2020-07-03 신호 처리 장치 및 방법, 그리고 프로그램

Country Status (6)

Country Link
US (1) US20220262374A1 (ko)
EP (1) EP4002870A4 (ko)
JP (1) JPWO2021014933A1 (ko)
KR (1) KR20220035096A (ko)
CN (1) CN114128309B (ko)
WO (1) WO2021014933A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117063487A (zh) * 2021-03-31 2023-11-14 索尼集团公司 显示装置、输出方法以及显示模块

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018123310A1 (ja) 2016-12-27 2018-07-05 ソニー株式会社 フラットパネルスピーカおよび表示装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101053018A (zh) * 2004-11-01 2007-10-10 皇家飞利浦电子股份有限公司 包括幅度包络的参数音频编码
KR100644715B1 (ko) * 2005-12-19 2006-11-10 삼성전자주식회사 능동적 오디오 매트릭스 디코딩 방법 및 장치
JP5511785B2 (ja) * 2009-02-26 2014-06-04 パナソニック株式会社 符号化装置、復号装置およびこれらの方法
JP5304504B2 (ja) * 2009-07-17 2013-10-02 ソニー株式会社 信号符号化装置、信号復号装置、信号処理システム、これらにおける処理方法およびプログラム
KR20130088756A (ko) * 2010-06-21 2013-08-08 파나소닉 주식회사 복호 장치, 부호화 장치 및 이러한 방법
CA3083753C (en) * 2011-07-01 2021-02-02 Dolby Laboratories Licensing Corporation System and tools for enhanced 3d audio authoring and rendering
EP3893521B1 (en) * 2011-07-01 2024-06-19 Dolby Laboratories Licensing Corporation System and method for adaptive audio signal generation, coding and rendering
CN202364332U (zh) * 2011-11-24 2012-08-01 厦门华侨电子股份有限公司 一种改善平板电视机机振的装置
WO2013151155A1 (ja) * 2012-04-06 2013-10-10 株式会社ニコン データ処理装置、及びデータ処理プログラム
KR102243395B1 (ko) * 2013-09-05 2021-04-22 한국전자통신연구원 오디오 부호화 장치 및 방법, 오디오 복호화 장치 및 방법, 오디오 재생 장치
TR201901476T4 (tr) * 2014-07-25 2019-02-21 Fraunhofer Ges Forschung Ses sinyali kodlama ekipmanı, ses sinyali dekode etme cihazı ve bunların yöntemleri.
TWI607655B (zh) * 2015-06-19 2017-12-01 Sony Corp Coding apparatus and method, decoding apparatus and method, and program
GB2560878B (en) * 2017-02-24 2021-10-27 Google Llc A panel loudspeaker controller and a panel loudspeaker
KR102455501B1 (ko) * 2017-12-20 2022-10-14 엘지디스플레이 주식회사 디스플레이 장치

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018123310A1 (ja) 2016-12-27 2018-07-05 ソニー株式会社 フラットパネルスピーカおよび表示装置

Also Published As

Publication number Publication date
CN114128309B (zh) 2024-05-07
EP4002870A1 (en) 2022-05-25
JPWO2021014933A1 (ko) 2021-01-28
US20220262374A1 (en) 2022-08-18
WO2021014933A1 (ja) 2021-01-28
EP4002870A4 (en) 2022-09-28
CN114128309A (zh) 2022-03-01

Similar Documents

Publication Publication Date Title
US11900955B2 (en) Apparatus and method for screen related audio object remapping
EP3145220A1 (en) Rendering virtual audio sources using loudspeaker map deformation
US10271156B2 (en) Audio signal processing method
US20120133748A1 (en) Signal processing method and apparatus therefor using screen size of display device
WO2014099285A1 (en) Object clustering for rendering object-based audio content based on perceptual criteria
CN110537220B (zh) 信号处理设备和方法及程序
US9905231B2 (en) Audio signal processing method
KR20240033290A (ko) 오디오 렌더링을 위한 사전 렌더링된 신호를 위한 방법, 장치 및 시스템
US20230091281A1 (en) Method and device for processing audio signal, using metadata
WO2021241190A1 (ja) メディア配信装置およびメディア配信方法、並びにプログラム
KR20220035096A (ko) 신호 처리 장치 및 방법, 그리고 프로그램
US20230007423A1 (en) Signal processing device, method, and program
KR20210092728A (ko) 정보 처리 장치 및 방법, 그리고 프로그램
CN113366865B (zh) 用于音频对象聚类的自适应响度规范化
KR20220067771A (ko) 고해상도 영상의 스트리밍을 위한 영상 전송 장치와 영상 재생 장치 및 그 동작 방법
KR20140128563A (ko) 복호화 객체 리스트 갱신 방법
KR20140128562A (ko) 사용자의 재생 채널의 위치에 따른 객체 신호 복호화 방법
KR20140128561A (ko) 사용자의 재생 채널 환경에 따른 선택적 객체 복호화 방법
KR20140128182A (ko) 예외 채널 근방의 객체 신호의 렌더링 방법

Legal Events

Date Code Title Description
E902 Notification of reason for refusal