KR20170100500A - 신호 처리 장치 및 신호 처리 방법, 및 프로그램 - Google Patents

신호 처리 장치 및 신호 처리 방법, 및 프로그램 Download PDF

Info

Publication number
KR20170100500A
KR20170100500A KR1020177015860A KR20177015860A KR20170100500A KR 20170100500 A KR20170100500 A KR 20170100500A KR 1020177015860 A KR1020177015860 A KR 1020177015860A KR 20177015860 A KR20177015860 A KR 20177015860A KR 20170100500 A KR20170100500 A KR 20170100500A
Authority
KR
South Korea
Prior art keywords
unit
encoded data
decoding
section
storage unit
Prior art date
Application number
KR1020177015860A
Other languages
English (en)
Other versions
KR102510865B1 (ko
Inventor
지사토 겜모치
Original Assignee
소니 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 주식회사 filed Critical 소니 주식회사
Publication of KR20170100500A publication Critical patent/KR20170100500A/ko
Application granted granted Critical
Publication of KR102510865B1 publication Critical patent/KR102510865B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/005—Correction of errors induced by the transmission channel, if related to the coding algorithm
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • G10L19/167—Audio streaming, i.e. formatting and decoding of an encoded audio signal representation into a data stream for transmission or storage purposes
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/0017—Lossless audio signal coding; Perfect reconstruction of coded audio signal by transmission of coding error
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • G11B20/12—Formatting, e.g. arrangement of data block or words on the record carriers
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B7/00—Recording or reproducing by optical means, e.g. recording using a thermal beam of optical radiation by modifying optical properties or the physical structure, reproducing using an optical beam at lower power by sensing optical properties; Record carriers therefor
    • G11B7/007—Arrangement of the information on the record carrier, e.g. form of tracks, actual track shape, e.g. wobbled, or cross-section, e.g. v-shaped; Sequential information structures, e.g. sectoring or header formats within a track
    • G11B7/00736—Auxiliary data, e.g. lead-in, lead-out, Power Calibration Area [PCA], Burst Cutting Area [BCA], control information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/10—Flow control; Congestion control
    • H04L47/26—Flow control; Congestion control using explicit feedback to the source, e.g. choke packets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W8/00—Network data management
    • H04W8/02—Processing of mobility data, e.g. registration information at HLR [Home Location Register] or VLR [Visitor Location Register]; Transfer of mobility data, e.g. between HLR, VLR or external networks
    • H04W8/04—Registration at HLR or HSS [Home Subscriber Server]
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • G11B20/10527—Audio or video recording; Data buffering arrangements
    • G11B2020/1062—Data buffering arrangements, e.g. recording or playback buffers
    • G11B2020/1075—Data buffering arrangements, e.g. recording or playback buffers the usage of the buffer being restricted to a specific kind of data
    • G11B2020/10787—Data buffering arrangements, e.g. recording or playback buffers the usage of the buffer being restricted to a specific kind of data parameters, e.g. for decoding or encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/54—Store-and-forward switching systems 
    • H04L12/56—Packet switching systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Mobile Radio Communication Systems (AREA)
  • Communication Control (AREA)

Abstract

본 기술은, 송신되어 오는 부호화 데이터를 실시간으로 재생할 때, 통신 상황에 따라, 부호화 데이터의 압축률이 변화하여 송신되어 오는 경우에도, 수신 장치측에서 버퍼 오버 플로우를 발생시키지 않도록 할 수 있도록 하는 신호 처리 장치 및 신호 처리 방법, 및 프로그램에 관한 것이다. 송신되어 온 음성 데이터를 포함하는 부호화 데이터를 수신 버퍼에 버퍼링시킨다. 이때, 수신 버퍼에 버퍼링되어 있는 부호화 데이터의 양을, 부호화 방식에 따른 처리 단위로 관리하도록 한다. 본 기술은, 통신 시스템을 이용한 리얼 타임의 콘텐츠 재생 시스템에 적용할 수 있다.

Description

신호 처리 장치 및 신호 처리 방법, 및 프로그램{SIGNAL PROCESSING DEVICE, SIGNAL PROCESSING METHOD, AND PROGRAM}
본 기술은, 신호 처리 장치 및 신호 처리 방법, 및 프로그램에 관한 것으로, 특히, 무선 송신되어 오는 데이터를 통신 상황에 따라, 압축률을 변화시켜서 송신되어 오는 부호화 데이터를 재생할 때, 재생 개시 시의 압축률에 구애되지 않고 재생 지연 시간을 일정하게 할 수 있도록 한 신호 처리 장치 및 신호 처리 방법, 및 프로그램에 관한 것이다.
Bluetooth Advanced Audio Distribution Profile(이후, Bluetooth A2DP라고도 칭함)이라고 불리는, 실시간으로 무선 전송하면서 재생하는 재생 시스템이 있다. 이 재생 시스템에 있어서는, 수신기측에서는, 부호화된 오디오 데이터(이하, 간단히, 부호화 데이터라고도 칭함)를 수신기측의 버퍼(이하, 간단히, 수신 버퍼라고도 칭함)에 일정량 축적하고 나서 재생함으로써, 소리 끊어짐을 방지한다는 기술이 채용되어 있다(특허문헌 1 참조).
상술한 특허문헌 1의 기술에 있어서의 재생 개시의 판단은, 축적된 데이터 양(바이트 수나 워드 수 등)에 따른 것으로 되어 있고, 예를 들어 수신 버퍼에 있어서의 버퍼링 사이즈의 6할에 상당하는 부호화 데이터를 수신(축적)하면 재생을 개시한다고 하는 판단이 이루어지고 있다. 또한, 전송 상황을 추정하여 압축률을 변경하는 것도 제안되어 있다.
그러나, 이러한 시스템에서는, 부호화 처리의 압축률을 바꾸면 재생 개시까지의 시간, 즉, 지연 시간이 변화하고, 또한, 재생 중에 압축률을 변화시키면 수신측의 수신 버퍼의 버퍼링 사이즈를 초과할 가능성이 있었다.
그래서, 수신 버퍼에 있어서의 데이터 오버플로우를 회피하도록, 송수신을 적응적으로 변화시키는 기술이 제안되어 있다(특허문헌 2 참조). 즉, 이 특허문헌 2에 있어서의 방법은, 수신 버퍼가 규정 이상의 바이트 수의 데이터를 버퍼링했을 경우, 수신측의 장치가 송신측에 스테이터스를 송신하고, 송신측에서 송신하는 데이터 플로우를 제어하여 변화시킴으로써, 수신 버퍼에 있어서의 오버플로우를 회피하는 것이다.
일본 특허 공개 제2003-309541호 공보 일본 특허 공개 제2014-131301호 공보
그러나, 특허문헌 2의 기술을 사용한 경우, 송신측에서는, 송신할 수 없는 데이터가 발생할 가능성이 있고, 이때, 송신측의 버퍼에 축적될 것이 상상된다. 그 때문에 전송 환경이 악화되고, 송신이 밀렸을 경우, 송신측의 버퍼가 축적되지 않은 경우와 비교하여, 빨리 오버플로우 할 가능성이 있고, 또한, 압축률에 따라서 재생 개시 시간을 변화시키는 것에는 대응할 수 없다.
예를 들어, 송수신이 밀렸을 경우 등에 발생하는 소리 끊어짐 후에, 지연 시간을 일정하게 유지하기 위해서는, 수신측에서 부호화 데이터를 통상보다도 빠르게 소비하거나 파기할 필요가 있다.
지연 시간이 변화하는 요인은, 예를 들어 무선 전송에서 전송 환경이 악화되었을 경우에는, 송신 미완료 데이터를 송신측에서 일정량 축적함으로써 발생한다.
축적된 송신 미완료 데이터는 본래, 수신 버퍼에 축적되어, 재생되게 될 부호화 데이터이기 때문에 조기에 송수신되는 것이 바람직하다. 그로 인해, 전송 환경이 회복하고 나서 통상보다도 송신 간격을 채워서 연속하여 송신하는 일이 행해진다. 그런데, 수신측에서 통상보다도 재생 속도를 빨리하는 등 대책을 마련하지 않는 한 지연 시간은, 송신측의 버퍼 용량과 수신측의 버퍼 용량의 차분 등의 영향으로 변화해버린다.
그러나, 재생 개시 시의 압축률과 소리 끊어짐 후의 처리 시의 압축률이 같다는 보증은 없기 때문에, 데이터양으로 관리할 경우에는, 부호화 데이터를 사용하여 지연 시간의 보상을 할 수 없을 우려가 있었다.
또한, 재생하면서 빨리 보내기나 씨닝하면서 재생하는 방법으로 복귀하는 것도 생각할 수 있지만, 복귀 중의 재생음은, 빨리 보내기나 씨닝하면서 재생됨으로써, 음정이 변화해버리기 때문에, 시청자에게 위화감을 안길 우려가 있었다.
본 기술은, 이러한 상황을 감안하여 이루어진 것이며, 특히, 송신되어 오는 부호화 데이터를 실시간으로 재생할 때, 통신 상황에 따라, 부호화 데이터의 압축률이 변화하여 송신되어 오는 경우에도, 수신측에서 지연 시간의 영향을 받는 일 없이 재생할 수 있도록 하는 것이다.
본 기술의 일측면의 신호 처리 장치는, 송신되어 오는 소정의 부호화 방식으로 부호화된 데이터를 포함하는 부호화 데이터를 수신하는 수신부와, 상기 수신부에 의해 수신된 부호화 데이터를 저장하는 저장부와, 상기 저장부에 저장된 부호화 데이터를 상기 소정의 부호화 방식에 대응하는 방법으로 복호하는 복호부와, 상기 저장부에 저장된 부호화 데이터의, 상기 복호부에 있어서 복호될 때의, 상기 소정의 부호화 방식에 있어서의 복호 처리 단위의 수에 따라, 상기 복호부에 의한 복호를 허가하도록 제어하는 복호 관리부를 포함한다.
상기 복호 관리부에는, 상기 저장부에 저장된 부호화 데이터의, 상기 복호 처리 단위의 수가 소정의 역치보다도 큰 경우, 상기 복호부에 의한 복호를 허가하도록 제어시키도록 할 수 있다.
상기 저장부의 출력을, 상기 복호부 또는, 그 이외로 전환하는 전환부를 더 포함시키도록 할 수 있고, 상기 복호 관리부에는, 상기 저장부에 저장된 부호화 데이터의, 상기 복호 처리 단위의 수가 소정의 역치보다도 큰 경우, 상기 전환부를 제어하여, 상기 저장부의 출력을, 상기 복호부에 접속시키게 함으로써, 상기 복호부에 의한 복호를 허가하도록 제어시키게 할 수 있다.
상기 저장부에 저장된 부호화 데이터의, 상기 복호 처리 단위의 수에 기초하여, 전송 환경의 악화에 의해 상기 부호화 데이터의 송신 상태가 밀린 후, 상기 전송 환경이 복귀하고, 정리되어서 상기 부호화 데이터가 송신되어 옴으로써, 상기 복호부에 의해 모든 상기 부호화 데이터를 복호할 수 없는 상태에 빠지지 않도록 하는 대책인 복귀 대책 처리를 행하는 복귀 대책 모드를 온으로 할지 여부를 판정하고, 상기 복귀 대책 처리를 행하는 복귀 대책부를 더 포함시키도록 할 수 있다.
상기 복귀 대책부에는, 상기 저장부에 저장된 부호화 데이터의, 상기 복호 처리 단위의 수가 0일 때, 상기 복귀 대책 모드를 온으로 시키도록 할 수 있고, 상기 복귀 대책 모드가 온일 때, 상기 저장부에 저장되어 있는 상기 부호화 데이터의 상기 복호 처리 단위의 수가, 상기 소정의 역치에 기초한 기준값보다도 클 때, 상기 저장부에 저장되어 있는 부호화 데이터의 일부를, 상기 복호 처리 단위로 파기하는 파기 관리부를 더 포함시키도록 할 수 있다.
상기 파기 관리부에는, 상기 저장부에 저장되어 있는 부호화 데이터 중, 상기 복호 처리 단위의 수로, 상기 소정의 역치에 기초한 기준값보다도 많은 만큼의 부호화 데이터를, 상기 복호 처리 단위로 파기시키도록 할 수 있다.
상기 파기 관리부에는, 상기 저장부에 저장되어 있는 부호화 데이터 중, 상기 복호 처리 단위의 수 단위 시간 당의 증가량에 대응지어서 설정되는 양의 상기 부호화 데이터를 상기 복호 처리 단위로 파기시키도록 할 수 있다.
상기 저장부의 출력을 상기 복호부, 또는 그 이외로 전환하는 전환부와, 상기 저장부에 저장되어 있는 부호화 데이터의 일부를, 상기 복호 처리 단위로 파기하는 파기부를 더 포함시키도록 할 수 있고, 상기 파기 관리부에는, 상기 저장부에 저장되어 있는 부호화 데이터의 일부를, 상기 복호 처리 단위로 파기할 때, 상기 전환부를 제어하고, 상기 저장부의 출력을, 상기 파기부에 접속시키게 함으로써, 상기 저장부에 저장되어 있는 부호화 데이터의 일부를, 상기 복호 처리 단위로 파기시키도록 할 수 있다.
상기 복귀 대책부는, 상기 저장부에 저장된 부호화 데이터의, 상기 복호 처리 단위의 수의 소정 기간에 있어서의 평균 및 분산에 기초하여, 소정의 시간 간격으로 상태 변수를 산출하고, 소정의 기준값과의 차분 절댓값이 소정의 역치보다도 작은 상태가 계속될 때, 상기 복귀 대책 모드를 오프로 시키도록 할 수 있다.
상기 복귀 대책부에 의해, 상기 소정의 시간 간격으로 산출되는 상기 상태 변수와 소정의 기준값의 차분 절댓값이, 소정의 역치와 비교되어, 그 비교 결과를 저장하는 배열을 더 포함시키도록 할 수 있고, 상기 복귀 대책부에는, 상기 배열에 저장된 비교 결과에 기초하여, 상기 소정의 시간 간격으로 산출되는 상태 변수가, 소정의 기준값과의 차분 절댓값이 소정의 역치보다도 작은 상태가 계속될 때, 상기 복귀 대책 모드를 오프로 시키도록 할 수 있다.
상기 부호화 데이터는, 스피커에 의해 음성으로서 출력하기 위한 음성 데이터를 부호화한 것으로 할 수 있고, 상기 복호부에 의해 복호된 상기 음성 데이터에 기초한, 상기 스피커로부터의 음성의 출력 레벨을 조정하는 뮤트 제어부를 더 포함하고, 상기 복귀 대책 모드가 온일 경우, 상기 뮤트 제어부에는, 상기 복호부에 의해 복호된 상기 음성 데이터에 기초한, 상기 스피커로부터의 음성의 출력 레벨이 저하되도록 조정시킬 수 있다.
본 기술의 일 측면의 신호 처리 방법은, 송신되어 오는 소정의 부호화 방식으로 부호화된 데이터를 포함하는 부호화 데이터를 수신하고, 수신된 부호화 데이터를 저장하고, 저장된 부호화 데이터를 상기 소정의 부호화 방식에 대응하는 방법으로 복호하고, 저장된 부호화 데이터의, 복호될 때의 상기 소정의 부호화 방식에 있어서의 복호 처리 단위의 수에 따라, 복호를 허가하도록 제어하는 스텝을 포함한다.
본 기술의 일 측면의 프로그램은, 송신되어 오는 소정의 부호화 방식으로 부호화된 데이터를 포함하는 부호화 데이터를 수신하는 수신부와, 상기 수신부에 의해 수신된 부호화 데이터를 저장하는 저장부와, 상기 저장부에 저장된 부호화 데이터를 상기 소정의 부호화 방식에 대응하는 방법으로 복호하는 복호부와, 상기 저장부에 저장된 부호화 데이터의, 상기 복호부에 있어서 복호될 때의 상기 소정의 부호화 방식에 있어서의 복호 처리 단위의 수에 따라, 상기 복호부에 의한 복호를 허가하도록 제어하는 복호 관리부로서 컴퓨터를 기능시킨다.
본 기술의 일 측면에 있어서는, 송신되어 오는 소정의 부호화 방식으로 부호화된 데이터를 포함하는 부호화 데이터가 수신되어, 수신된 부호화 데이터가 저장되고, 저장된 부호화 데이터가 상기 소정의 부호화 방식에 대응하는 방법으로 복호되어, 저장된 부호화 데이터의, 복호될 때의 상기 소정의 부호화 방식에 있어서의 복호 처리 단위의 수에 따라, 복호가 허가되도록 제어된다.
본 기술의 일측면의 신호 처리 장치는, 각각 독립한 장치여도 되고, 신호 처리를 실현하는 블록이어도 된다.
본 기술의 일측면에 의하면, 송신되어 오는 부호화 데이터를 실시간으로 재생할 때, 통신 상황에 따라, 부호화 데이터의 압축률이 변화하여 송신되어 오는 경우에도, 수신 장치측에서 지연 시간의 영향을 받는 일 없이 재생하는 것이 가능하게 된다.
도 1은, 본 기술을 적용한 오디오 재생 시스템의 제1 실시 형태의 구성예를 설명하는 도면이다.
도 2는, 도 1의 오디오 재생 시스템에 있어서의 재생 처리를 설명하는 흐름도이다.
도 3은, 도 1의 오디오 재생 시스템에 있어서의 복귀 대책 처리를 설명하는 흐름도이다.
도 4는, 도 1의 오디오 재생 시스템에 있어서의 복귀 대책 처리에 있어서의 기록 프레임 수의 시간 변화를 설명하는 도면이다.
도 5는, 본 기술을 적용한 오디오 재생 시스템의 제2 실시 형태의 구성예를 설명하는 도면이다.
도 6은, 도 5의 오디오 재생 시스템에 있어서의 복귀 대책 처리를 설명하는 흐름도이다.
도 7은, 도 5의 오디오 재생 시스템에 있어서의 복귀 대책 처리에 있어서의 기록 프레임 수의 시간 변화를 설명하는 도면이다.
도 8은, 범용의 퍼스널 컴퓨터의 구성예를 설명하는 도면이다.
<오디오 재생 시스템의 제1 실시 형태의 구성예>
도 1은, 본 기술을 적용한 오디오 재생 시스템의 구성예를 나타내고 있다.
도 1의 오디오 재생 시스템은, Bluetooth 모듈(11), 수신 재생부(12), 스피커(13) 및 송신부(21)로 구성되어 있다. 도 1의 오디오 재생 시스템에 있어서는, 송신부(21)가 Bluetooth Advanced Audio Distribution Profile(이후, Bluetooth A2DP라고도 칭함)에 의해 부호화된 오디오 데이터인 부호화 데이터를 송신하고, 수신 재생부(12)가 Bluetooth 모듈(11)을 통하여 이것을 수신하고, 복호하여 음성으로서 스피커(13)로부터 출력시킨다. 이때, 수신 재생부(12)는 Bluetooth A2DP에 있어서의 오디오 부호화 방식의 최소 처리 단위인 프레임 단위로 부호화 데이터의 버퍼링을 관리함으로써, 통신 상황에 따라, 부호화 데이터의 압축률이 변화하여 송신되어 오는 경우에도, 지연 시간의 영향을 받는 일 없이 재생할 수 있도록 한다.
Bluetooth 모듈(11)은 송신부(21)로부터 송신되어 온 Bluetooth A2DP의 패킷을 수신하고, L2CAP(Logical Link Control and Adaptation Protocol) 프로토콜에 따라, 링크·매니저, 기저 대역 및 RF(Radio Frequency)의 각 층의 처리를 행하고, 기저 대역 패킷을, HCI(Host Controller Interface) 경유로 수신 재생부(12)의 수신 처리부(31)에 출력한다.
수신 재생부(12)는, 예를 들어 소위 HostCPU(Host Central Processing Units)이고, 수신 처리부(31), 코덱부(32), 수신 버퍼(33), 재생 제어부(34), 스위치(35), 복호부(36), 데이터 파기부(37) 및 뮤트 제어부(38)를 구비하고 있다.
또한, 도 1의 예에 있어서는, Bluetooth 모듈(11) 및 수신 재생부(12)는 개별로 설치된 구성예가 나타나 있지만, 이것들은 일체의 구성이어도 된다.
또한, 본 실시 형태에 있어서는, 설명을 간단하게 하기 위해서, 송신측에서, 하나의 패킷에서 송신하는 프레임 수를 A2DP의 미디어 페이로드의 선두 부분에 기록하는 예를 사용하여 설명하는 것으로 하지만, 송신측에서 기록하지 않고, 예를 들어 수신측에서 미디어 페이로드를 파싱하여, 프레임 수를 산출하도록 해도 되는 것이다.
수신 처리부(31)는 HCI 경유로 Bluetooth 모듈(11)로부터 수신 데이터를 수신하고, L2CAP 및 AVDTP(AV Distribution Transport Protocol)의 처리를 행하여, 미디어 페이로드를 복원하고, 코덱부(32)에 출력한다.
코덱부(32)는 프레임 수 산출부(32a)를 구비하고 있고, 수신 처리부(31)로부터 공급되어 오는 미디어 페이로드에 기록된 부호화 데이터의 프레임 수의 정보를 산출시켜서 복원하고, 재생 제어부(34)에 수신 프레임 수의 정보로서 공급한다. 또한, 코덱부(32)는 미디어 페이로드에 기록된, 부호화 데이터를 복원하고, 수신 버퍼(33)에 저장시킨다.
또한, 여기서 말하는 프레임이란, 오디오 부호화 방식, 예를 들어 AAC(Advanced Audio Coding)나, ATRAC(Adaptive TRansform Acoustic Coding) 등으로, 각각 규격화된 부호화 변환의 처리 단위를 가리키는 것이다. 또한, 이후에 있어서, 프레임 단위로 처리하는 것을 전제로 하여 설명하는 것으로 하지만, 처리 단위는 부호화 방식에 따라서 프레임 이외의 것이어도 된다. 또한, 부호화 방식에 대해서도, 상술한 이외의 부호화 방식이어도 된다.
재생 제어부(34)는 코덱부(32)로부터 공급되어 오는 수신 프레임 수로부터, 복호부(36)로부터 공급되어 오는, 사용 프레임 수 및 데이터 파기부(37)로부터 공급되어 오는, 파기 프레임 수를 감산함으로써, 수신 버퍼(33)에 저장되어 있는 부호화 데이터를 프레임 수로 나타낸 기록 프레임 수를 갱신한다. 또한, 여기서 말하는 사용 프레임 수란, 복호부(36)에 의해, 수신 버퍼(33)에 기록되어 있는 기록 프레임이 판독되어서 재생된 프레임 수이다. 여기서, 파기 프레임 수란, 데이터 파기부(36)에 의해, 수신 버퍼(33)에 기록되어 있는 부호화 데이터 중, 파기한 부호화 데이터에 대응하는 프레임 수이다.
또한, 재생 제어부(34)는 아직 재생을 개시하지 않은 경우, 기록 프레임 수가, 소정의 역치에 도달했는지 여부를 확인하고, 소정의 역치에 도달한 경우, 재생 허가 모드를 온으로 함과 함께, 스위치(35)를 제어하여, 수신 버퍼(33)에 기록되어 있는 부호화 데이터를 복호부(36)에 공급시켜서 재생을 개시시킨다. 이 소정의 역치는 설계시에 미리 설정해 두어도 되고, 사용자에 의해 조정되도록 해도 되는 것이다. 재생 제어부(34)는 뮤트 제어부(38)를 제어하여, 복호부(36)로부터 스피커(13)로 출력되는 음성 출력에 뮤트를 가한다.
또한, 재생 제어부(34)는 재생 관리부(34a), 복귀 대책부(34b), 판정 배열(34c) 및 파기 관리부(34d)를 구비하고 있다. 재생 관리부(34a)는 상술한 기록 프레임 수를 산출함과 함께, 기록 프레임 수와, 소정의 역치를 비교하고, 소정의 역치보다도 큰 경우, 재생 허가 모드의 플래그를 온으로 하고, 스위치(35)를 단자(35a)에 접속하여, 수신 버퍼(33)에 기록되어 있는 부호화 데이터를 순차 복호부(36)에 공급시켜서, 오디오의 재생을 허가한다.
복귀 대책부(34b)는 기록 프레임 수가 0인지 여부에 기초하여, 복귀 대책 모드의 플래그를 온으로 설정한다. 기록 프레임 수가 0이 된다는 것은, 전송 상태가 악화됨으로써 송신부(21)로부터 송신되어 오는 데이터를 수신할 수 없는 상태가 되고, 수신 버퍼(33)에 기록되어 있는 부호화 데이터가 없어진 것으로 간주된다. 이러한 경우, 전송 상태가 회복되면, 미송신이었던 부호화 데이터가 보내져 옴으로써, 재생할 수 있는 상태로 복귀하게 된다.
그러나, 이와 같이 오디오를 재생할 수 있는 상태로 복귀할 때, 미송신이었던 부호화 데이터가 단숨에 대량으로 보내져 옴으로써, 수신 버퍼(33)에 있어서 버퍼 오버 플로우가 발생할 우려가 있다. 그래서, 복귀 대책부(34b)는 복귀 대책 모드의 플래그를 온으로 하고, 파기 관리부(34d)와 협동하여, 이 복귀 대책 처리를 실행하고, 예를 들어 수신 버퍼(33)의 부호화 데이터를 파기하거나 하여 버퍼 오버 플로우의 발생을 억제한다. 또한, 복귀 대책부(34b)는 복귀 대책 처리를 실행하는 데 있어서, 파기해야 할 프레임이 없는 상태에 있어서의, 기록 프레임 수의 변화의 지표를 나타내는 상태 변수를 구하고, 상태 변수와 소정의 역치의 비교 결과를, FIFO를 포함하는 판정 배열(34c)에 순차 기억시켜 간다. 그리고, 복귀 대책부(34b)는 판정 배열(34c)에 기억되어 있는 비교 결과에 기초하여, 복귀 대책 모드를 종료시킬지 여부를 판정한다.
파기 관리부(34d)는 복귀 대책 모드의 플래그가 온이 되면, 기록 프레임 수에 따라, 수신 버퍼(33)에 기록되어 있는 부호화 데이터 중, 파기해야 할 프레임 수를 산출한다. 그리고, 파기 관리부(34d)는 스위치(35)을 제어하여, 단자(35b)에 접속시켜, 수신 버퍼(33)에 기억된 부호화 데이터 중, 산출된 파기해야 할 프레임 수의 부호화 데이터를 데이터 파기부(37)에 공급하여 파기시킨다.
스위치(35)는 재생 제어부(34)에 의해 제어되고, 수신 버퍼(33)의 출력이 복호부(36)에 출력되도록 단자(35a)에 접속하는 상태, 데이터 파기부(37)에 출력되도록 단자(35b)에 접속하는 상태, 또는 그들의 어느 쪽에도 출력되지 않도록 단자(35a, 35b) 중 어디에도 접속하지 않는 상태의, 어느 것인가로 전환한다.
복호부(36)는 스위치(35)가 재생 제어부(34)에 의해 제어되어, 수신 버퍼(33)로부터 부호화 데이터가 공급 가능한 상태가 되면, 디코드 설정에 따라, 일정 시간마다 수신 버퍼(33)로부터 부호화 데이터를 취출하고, 복호 처리하여, 뮤트 제어부(38)을 개재하고, 스피커(13)에 출력하여, 음성으로서 출력시킨다. 예를 들어, 수신 버퍼(33)는 FIFO(Fast In Fast Out) 형식으로 구성되어 있고, 복호부(36)는 순차 오래된 것부터 순서대로 부호화 데이터를 취출하여 음성으로서 재생하고, 스피커(13)로부터 출력한다.
또한, 데이터 파기부(37)는 스위치(35)가 재생 제어부(34)에 의해 제어되어, 수신 버퍼(33)로부터 부호화 데이터가 공급 가능한 상태가 되면, 수신 버퍼(33)로부터 부호화 데이터를 판독하여, 파기한다.
<도 1의 수신 재생부에 의한 재생 처리>
이어서, 도 1의 오디오 재생 시스템에 의한 재생 처리에 대하여 설명한다. 또한, 여기서는, 송신부(21)로부터 순차, L2CAP 및 AVDTP의 처리에 의해 음성을 재생하기 위한 부호화 데이터가 송신되어, 수신 재생부(12)가 이것을 수신하여 음성으로서 재생하는 처리에 대하여 설명한다.
스텝 S11에 있어서, Bluetooth 모듈(11)은 송신부(21)로부터 음성 데이터를 포함하는 Bluetooth A2DP의 패킷이 송신되어 와서 수신되었는지 여부를 판정한다. 그리고, 예를 들어 송신부(21)로부터 음성 데이터를 포함하는 Bluetooth A2DP의 패킷이 무선 통신에 의해 송신되어 와서 수신된 경우, 처리는 스텝 S12로 진행한다.
스텝 S12에 있어서, Bluetooth 모듈(11)은, Bluetooth A2DP의 패킷을 수신하고, L2CAP(Logical Link Control and Adaptation Protocol) 프로토콜에 따라, 링크·매니저, 기저 대역 및 RF(Radio Frequency)의 각 층의 처리를 행하여, 기저 대역 패킷을, HCI(Host Controller Interface) 경유로 수신 재생부(12)의 수신 처리부(31)에 출력한다. 수신 처리부(31)는 수신한 기저 대역 패킷으로부터 미디어 페이로드 데이터를 복원하여 코덱부(32)에 공급한다.
스텝 S13에 있어서, 코덱부(32)는 프레임 수 산출부(32a)를 제어하여, 수신한 미디어 페이로드 데이터로부터, 음성 신호의 처리 단위가 되는, 오디오 부호화 방식의 프레임 수를 수신 프레임 수로서 산출시켜, 재생 제어부(34)에 공급한다. 또한, 코덱부(32)는 미디어 페이로드 데이터로부터 부호화 데이터를 디코드하여 복원하고, 수신 버퍼(33)에 공급하여 저장시킨다.
스텝 S14에 있어서, 재생 제어부(34)는 재생 관리부(34a)를 제어하고, 복호부(36)에 의해, 수신 버퍼(33)로부터 판독되어서, 재생 처리된 사용 프레임 수 및 데이터 파기부(37)에 의해, 수신 버퍼(33)로부터 판독되어, 파기된 파기 프레임 수의 합을, 직전의 기록 프레임 수로부터 감산시킨다. 또한, 재생 제어부(34)는 재생 관리부(34a)를 제어하고, 감산 결과에, 수신 프레임 수를 가산시킴으로써, 수신 버퍼(33)에 기록되어 있는 현재의 기록 프레임 수를 산출시킨다. 즉, 현재의 기록 프레임 수=직전의 기록 프레임 수-(파기 프레임 수+사용 프레임 수)+수신 프레임 수로서 표현된다. 재생 관리부(34a)는 이후에 있어서, 이 처리를 반복함으로써, 현재의 기록 프레임 수를 순차 갱신한다. 또한, 최초의 처리에서는, 직전의 기록 프레임 수, 사용 프레임 수 및 파기 프레임 수는 모두 0인 것으로 되므로, 수신 프레임 수가, 기록 프레임 수가 된다.
스텝 S15에 있어서, 재생 제어부(34)는 복귀 대책부(34b)를 제어하여, 복귀 대책 처리를 실행시켜, 전송 환경의 악화에 의해 부호화 데이터가 수신되지 못하고, 소리 끊어짐이 발생한 후, 전송 환경이 복귀되어, 부호화 데이터를 수신하는 것이 가능하게 되고, 음성을 다시 출력할 수 있게 되었을 때를 위한 복귀 대책 처리를 실시하도록 시킨다. 또한, 복귀 대책 처리에 대해서는, 도 3의 흐름도를 참조하여, 상세를 후술한다.
스텝 S16에 있어서, 재생 제어부(34)는 재생 관리부(34a)를 제어하여, 재생 허가 모드의 플래그가 온이 아니고, 재생 허가 모드의 플래그가 온인지 여부를 새롭게 판정할 필요가 있는지 여부를 판정시킨다. 스텝 S16에 있어서, 재생 허가 모드가 온이 아니고, 새롭게 재생 허가 모드를 온으로 할지 여부를 판정시킬 필요가 있는 경우, 재생 관리부(34a)는 재생 허가 모드인지 여부를 판정할 필요가 있는 것으로 간주하고, 처리는 스텝 S17로 진행한다.
스텝 S17에 있어서, 재생 관리부(34a)는 수신 버퍼(33)에 현재 기록되어 있는 기록 프레임 수가, 소정의 역치보다도 큰지 여부에 기초하여, 재생 허가 모드를 온으로 할지 여부를 판정한다. 스텝 S17에 있어서, 예를 들어 기록 프레임 수가 소정의 역치보다도 큰 경우, 스텝 S18에 있어서, 재생 관리부(34a)는 재생 허가 모드의 플래그를 온으로 설정한다. 또한, 스텝 S17에 있어서, 예를 들어 기록 프레임 수가 소정의 역치보다도 작은 경우, 스텝 S19에 있어서, 재생 관리부(34a)는 재생 허가 모드의 플래그를 오프로 한다.
스텝 S20에 있어서, 재생 관리부(34a)는 재생 허가 모드가 온인지 여부를 판정하고, 재생 허가 모드가 온일 경우, 처리는 스텝 S21로 진행한다.
스텝 S21에 있어서, 재생 관리부(34a)는 스위치(35)을 제어하여, 수신 버퍼(33)로부터 복호부(36)에 부호화 데이터가 공급 가능한 상태로 제어하고, 부호화 데이터를 복호부(36)에 공급한다. 복호부(36)는 부호화 데이터를 판독하여 복호하고, 음성 데이터를 생성하고, 뮤트 제어부(38)를 통하여 스피커(13)로부터 음성을 출력시켜서, 재생시킨다.
또한, 최초의 처리에 있어서는, 뮤트 제어부(38)는 디폴트로 뮤트를 오프의 상태로 하고 있으므로, 스피커(13)로부터 음성이 출력되게 된다. 또한, 이후에 있어서, 뮤트 제어부(38)가 뮤트를 온의 상태로 하고 있는 경우, 복호부(36)로부터 음성 신호는 스피커(13)에 출력되지만, 스피커(13)로부터 음성은 출력되지 않는다.
스텝 S22에 있어서, 수신 처리부(31)는 처리의 종료가 지시되었는지 여부를 판정하고, 종료가 지시된 경우, 처리를 종료한다. 또한, 스텝 S22에 있어서, 처리의 종료가 지시되지 않은 경우, 처리는 스텝 S23으로 진행한다.
스텝 S23에 있어서, 수신 처리부(31)는 소정 시간이 경과했는지 여부를 판정하고, 소정 시간이 경과할 때까지, 동일한 처리를 반복하여, 소정 시간이 경과한 경우, 처리는 스텝 S11로 복귀된다. 즉, 스텝 S11 내지 S23의 일련 처리는, 종료가 지시될 때까지, 소정의 시간 간격으로 반복 실행된다.
또한, 스텝 S11에 있어서, 패킷이 수신되지 않은 경우, 스텝 S12 내지 S14의 처리가 스킵된다. 또한, 스텝 S16에 있어서, 재생 허가 모드가 온인지 여부를 판정할 필요가 없는 경우, 스텝 S17 내지 S19의 처리가 스킵된다.
또한, 스텝 S20에 있어서, 재생 허가 모드가 아닌 경우, 스텝 S21의 처리는 스킵되어서, 재생 처리가 이루어지지 않는다.
이상의 처리에 의해, 수신 버퍼(33)에 축적되는 부호화 데이터를 순차 판독하고, 복호하여 재생할 수 있도록 허가하는 재생 허가 모드의 플래그를 온으로 할지 여부를, 기록 프레임 수라는, 부호화 방식의 처리 단위인 프레임 단위로 판정되도록 하였다. 이에 의해, 통신 중에 부호화 방식이 변경되는, 또는 압축률이 변경된다고 하는 상황이 되어도, 프레임 수라고 하는 처리 단위로 관리할 수 있으므로, 지연 시간을 일정한 범위에서 보상하는 것이 가능하게 되고, 수신 버퍼(33)의 버퍼 오버 플로우의 발생을 억제하는 것이 가능하게 된다.
<도 1의 수신 재생부에 의한 복귀 대책 처리>
이어서, 도 3의 흐름도를 참조하여, 복귀 대책 처리에 대하여 설명한다. 이 복귀 대책 처리는, 오디오 신호의 재생 중에, 전송 환경이 악화되어서 전송이 밀려 소리 끊어짐이 발생한 후, 전송 환경이 개선되어, 밀린 만큼의 부호화 데이터가 단숨에 송신되어 옴으로써, 수신 버퍼(33)의 오버플로우 등이 발생하고, 지연 시간의 보상을 할 수 없다는 상태를 회피하기 위한 대책 처리이다.
스텝 S41에 있어서, 재생 제어부(34)는 복귀 대책부(34b)를 제어하여, 복귀 대책 모드가 온인지 여부를 판정시킨다. 보다 상세하게는, 복귀 대책부(34b)는 복귀 대책 모드의 플래그가 온이 되어 있는지 여부를 판정한다. 스텝 S41에 있어서, 예를 들어 복귀 대책 모드의 플래그가 온으로 되어 있지 않은 경우, 처리는 스텝 S52로 진행한다.
스텝 S52에 있어서, 복귀 대책부(34b)는 재생 관리부(34a)에 문의하여, 재생 허가 모드의 플래그가 온으로 되어 있는지 여부를 판정한다. 스텝 S52에 있어서, 재생 허가 모드라고 간주된 경우, 처리는 스텝 S53으로 진행한다.
스텝 S53에 있어서, 복귀 대책부(34b)는 기록 프레임 수가 0인지 여부를 판정한다. 즉, 전송 환경의 악화에 수반하여, 송신되어 오는 부호화 데이터를 수신할 수 없고, 축적하고 있던 부호화 데이터를 재생하여 다 써버렸는지 여부가 판정된다. 스텝 S53에 있어서, 기록 프레임 수가 0이라고 판정된 경우, 처리는 스텝 S54로 진행한다. 즉, 이 경우, 전송 환경이 악화되어, 충분히 부호화 데이터가 수신되지 못하는 상태가 계속되어, 재생이 불능한 상태가 되어 있다.
스텝 S54에 있어서, 복귀 대책부(34b)는 복귀 대책 모드의 플래그를 온으로 하여 복귀 대책 모드에 들어가고, 복귀 대책 모드에서의 초기화 처리를 행한다. 여기에서의 초기화 처리는, 예를 들어 후술하는 상태 변수 및 복귀 대책 모드의 종료를 판정하기 위한 판정 배열(34c)의 각 값을 초기화하는 처리이다.
스텝 S55에 있어서, 복귀 대책부(34b)는 뮤트 제어부(38)를 제어하여, 이후에 있어서, 복호부(36)로부터 출력되는 오디오 데이터에 의한 스피커(13)로부터의 음성의 출력을 억제한다. 즉, 이후에 있어서는, 전송 환경이 악화되어서 전송이 밀린 만큼의 부호화 데이터가 집중적으로 송신되어 오게 되기 때문에, 수신 버퍼(33)의 오버플로우를 회피하기 위해서, 후술하는 처리에 의해, 일부의 부호화 데이터가 파기된다고 하는 처리가 이루어지게 된다. 이로 인해, 재생되는 음성이, 노이즈 섞임이 되거나, 또는 이상 소리로서 출력될 우려가 있기 때문에, 이 동안의 음성 출력을 억제하기 위하여 뮤트 제어부(38)에 의한 뮤트를 온의 상태로 한다.
스텝 S56에 있어서, 재생 제어부(34)는 수신 버퍼(33)의 기록 프레임 수가 0으로 되어 있으므로, 재생 허가 모드의 플래그를 오프로 설정하고, 재생 허가 모드를 종료시켜서, 복귀 대책 처리를 종료시킨다.
또한, 이 후, 도 2의 흐름도에 의한 일련의 처리 후, 다시, 복귀 대책 처리가 개시되면, 스텝 S41에 있어서는, 복귀 대책 모드의 플래그가 온으로 되어 있으므로, 복귀 대책 모드인 것으로 간주되어, 처리는 스텝 S42로 진행한다.
스텝 S42에 있어서, 재생 제어부(34)는 파기 관리부(34d)를 제어하여, 파기해야 할 프레임 수를 산출시킨다. 보다 상세하게는, 파기 관리부(34d)는, 예를 들어 재생 허가 모드의 플래그를 세울 때에, 기록 프레임 수와 비교하는 소정의 역치에 일정량의 마진을 갖게 한 기준값으로서 파기 역치를 설정하고, 기록 프레임 수 중, 이 파기 역치를 초과한 프레임 수를, 파기해야 할 프레임 수로서 산출한다. 또한, 파기 관리부(34d)는, 예를 들어 기준 프레임 수를 초과한 경우, 설계 시에 설정하는 소정의 프레임 수를 파기해야 할 프레임 수로서 산출하도록 해도 된다.
스텝 S43에 있어서, 복귀 대책부(34b)는 상태 변수를 산출하여 갱신한다. 여기서, 상태 변수란, 예를 들어 설계 시에 결정된 소정의 관측 시간 내의 기록 프레임 수의 평균 및 분산이 소정의 범위 내의 값인지 여부를 나타내는 지표를 수치화한 것이다. 예를 들어, 설계 시에 결정된 소정의 관측 시간 내의 기록 프레임 수의 평균이, 재생 허가 모드의 플래그를 판정하기 위한 소정의 역치의 ±10％ 이내로 평균이 수렴되어 있는 지 여부를 나타내는 지표를 수치화한 값이나, 분산이 설계 시에 정한 기준 범위에 들어 있는지 여부를 나타내는 지표를 수치화한 값이 상태 변수로서 사용된다.
여기에서는, 복귀 대책부(34b)는, 예를 들어 각 기준을 비율로 비교하고, 그 비교 결과를 곱한 값을 상태 변수로 한다. 보다 구체적으로는, 재생 제어부(34)는, 예를 들어 상술한 소정의 관측 시간 내의 기록 프레임 수의 평균이, 재생 허가 모드의 플래그를 판정할 때의 역치 90％이며, 상술한 소정의 관측 시간 내의 기록 프레임 수의 분산이 기준값의 80％인 경우, 양자를 곱해서 72％(=90％×80％=0.72)로 한다. 이와 같이, 상태 변수는, 평균이 재생 허가 모드의 플래그를 판정하는 소정의 역치에 가깝고, 또한, 분산이 기준값에 가까운 값일수록, 즉 설정한 값에 가까울수록 100％(=1.0)에 가까운 값으로서 설정된다.
또한, 상태 변수는, 예를 들어 소정의 시간당의 기록 프레임 수의 변화량과, 소정의 시간당의 사용 프레임 수의 변화량의 비율 등이어도 된다. 즉, 이 경우, 소정의 시간당의 기록 프레임 수의 변화량과, 소정의 시간당의 사용 프레임 수의 변화량은 적절하게 설정되어 있으면, 양쪽의 변화는 동일에 가까운 값이 되고, 상태 변수인 양쪽의 비율은, 역시 1(=100％)에 가까운 값이 된다.
스텝 S44에 있어서, 파기 관리부(34d)는 파기해야 할 프레임 수의 산출 결과에 기초하여, 파기해야 할 프레임이 존재하는지 여부를 판정한다. 예를 들어, 파기해야 할 프레임수가 존재하는 경우, 처리는 스텝 S45로 진행한다.
스텝 S45에 있어서, 파기 관리부(34d)는 수신 버퍼(33)에 기록되어 있는 부호화 데이터 중, 파기해야 할 프레임 수분의 부호화 데이터를 파기하고, 처리가 종료된다. 보다 구체적으로는, 파기 관리부(34d)는 스위치(35)를 제어하여, 단자(35b)에 접속시킴으로써, 부호화 데이터를 데이터 파기부(37)에 공급시킨다. 데이터 파기부(37)는 공급되어 온 부호화 데이터를 파기한다.
또한, 부호화 데이터를 파기하는 데 있어서는, 예를 들어 복수의 프레임 분의 부호화 데이터를 파기하는 경우에 대해서는, 수 프레임 간격을 두고, 씨닝하도록 파기하게 해도 된다. 이렇게 함으로써, 남겨지는 프레임 단위의 부호화 데이터의 연속성이나 정합성을 남길 수 있다.
즉, 복귀 대책 모드에 들어가, 전송 상태의 악화에 수반하여, 전송이 밀려 있었던 부호화 데이터가 단숨에 송신되어 옴으로써, 수신 버퍼(33)에 처리 곤란한 양의 부호화 데이터가 축적되는 상태가 이어지면, 상술한 스텝 S41 내지 S45의 처리가 반복되어서, 부호화 데이터가 계속하여 파기되게 된다.
한편, 스텝 S44에 있어서, 파기해야 할 프레임이 없다고 판정된 경우, 즉, 수신 버퍼(33)에 파기해야 할 프레임의 부호화 데이터가 기록되어 있지 않은 상태라고 판정된 경우, 처리는 스텝 S46으로 진행한다.
스텝 S46에 있어서, 복귀 대책부(34b)는 상태 변수와 1의 차분 절댓값이 소정의 역치보다도 작은지 여부, 즉, 전송 상태가 안정되고, 기록 프레임 수가 설정된 동작 상태에 가까운 상태가 되고 있는지 여부를 판정한다. 스텝 S46에 있어서, 예를 들어 상태 변수와 1의 차분 절댓값이 소정의 역치보다도 작고, 전송 상태가 안정되고, 설정된 동작 상태에 가까운 상태가 되고 있다고 판정된 경우, 처리는 스텝 S47로 진행한다.
스텝 S47에 있어서, 복귀 대책부(34b)는 전송 상태가 안정되고, 설정된 동작 상태에 가까운 상태로 되어 있는 것을 나타내는 1의 값을, 복귀 대책 모드의 종료를 판정하기 위한 판정 배열(34c)의 가장 낡은 값에 덮어 써서 저장시킨다.
또한, 스텝 S46에 있어서, 상태 변수와 1의 차분 절댓값이 소정의 역치보다도 작지 않고, 전송 상태가 불안정하고, 설정된 동작 상태에 가까운 상태로 되지 않았다고 간주된 경우, 스텝 S48에 있어서, 복귀 대책부(34b)는 전송 상태가 불안정하고, 설정된 동작 상태에 가까운 상태로 되지 못한 것을 나타내는 0의 값을, 판정 배열(34c)의 가장 낡은 값에 덮어 써서 저장시킨다.
스텝 S49에 있어서, 복귀 대책부(34b)는 판정 배열(34c)의 정보를 판독하고, 예를 들어 저장되어 있는 모든 값이 1인, 즉 판정 배열(34c)에 저장되어 있는 상태 변수와 1의 차분 절댓값이 소정의 역치보다도 작은 상태가 소정 횟수 계속되고 있는지 여부에 의해, 복귀 대책 모드를 종료할 것인지 여부를 판정한다. 스텝 S49에 있어서, 예를 들어 판정 배열(34c)에 저장되어 있는 모든 값이 1이었을 경우, 복귀 대책부(34b)는 복귀 대책 모드를 종료시키는 것으로 간주하고, 처리는 스텝 S50으로 진행한다.
스텝 S50에 있어서, 복귀 대책부(34b)는 복귀 대책 모드의 플래그를 오프로 하여, 복귀 대책 모드를 종료시킨다.
스텝 S51에 있어서, 재생 제어부(34)는 뮤트 제어부(38)를 제어하여, 복호부(36)로부터 출력되는 음성 데이터의 뮤트를 오프로 하여, 스피커(13)에 공급하여 음성으로서 출력할 수 있는 상태로 한다.
또한, 스텝 S49에 있어서, 판정 배열(34c)에 저장되어 있는 모든 값이 1이 아닐 경우, 복귀 대책 모드를 계속시킬 필요가 있기 때문에, 스텝 S50, S51의 처리가 스킵되어서, 복귀 대책 처리를 종료한다.
이상의 처리에 의해, 전송 상태가 불안정해지고, 부호화 데이터가 수신 버퍼(33)에 저장되지 않는 상태가 계속되면, 재생 허가 모드의 플래그가 오프로 되고, 복귀 대책 모드의 플래그가 온으로 되어, 복귀 대책 처리로서, 전송 상태가 회복되었을 때에, 과잉으로 송신되어 오는 부호화 데이터를, 프레임 단위로 파기하도록 하였다. 결과로서, 전송 상태가 회복되고, 재생할 수 있는 상태로 복귀했을 때, 여러 가지 압축률의 부호화 데이터가 송신되어와도, 처리 단위인 프레임 수에 따라, 부호화 데이터가 파기되므로, 부호화 데이터를 사용한 지연 시간의 보상을 실현하는 것이 가능하게 된다.
또한, 복귀 대책 모드에서는, 뮤트 제어부(38)에 의해 뮤트가 가해지도록 하였다. 이로 인해, 전송 상태가 회복되고, 부호화 데이터가 수신 버퍼(33)에 저장되게 되고, 재생 허가 모드의 플래그가 온이 됨으로써, 필요에 따라 파기된 부호화 데이터를 복호하여 재생함으로써 발생하는 노이즈와 같은 음성이 출력되지 않는다. 결과로서, 노이즈와 같은 음성 출력의 발생을 억제할 수 있으므로, 시청자에 불쾌감을 부여하지 않도록 하는 것이 가능하게 된다.
또한, 수신 버퍼(33)에 기록되어 있는 기록 프레임 수 단위로 수신 버퍼(33)의 동작 상태를 관리하므로, 버퍼 오버 플로우의 발생을 적절하게 방지하기 위한 설계가 용이한 것으로 된다.
또한, 복귀 대책 처리는, 재생 처리의 일부 처리로서 이루어지기 때문에, 전송 상태가 개선되어 재생 허가 모드의 플래그가 온으로 되어 부호화 데이터가 순차 복호되어 음성을 출력시키고 있는 상태여도, 병행하여 실행할 수 있다. 이로 인해, 음성을 재생시키면서, 부호화 데이터를 파기할 수도 있고, 이러한 경우, 뮤트 제어부(38)에 의해 스피커(13)로부터의 음성 출력을 완전히 정지시켜 버리는 것이 아니라, 통상보다도 음량을 작게 하여 출력시키게 해도 된다. 이렇게 함으로써, 주된 음성은 출력할 수 있으므로, 시청자는 음성 출력을 시청하는 것이 가능하게 되고, 또한, 다소 노이즈를 포함하는 음성이라도, 음량이 억제되어 있으므로, 불쾌감을 경감하는 것이 가능하게 된다.
<오디오 재생 시스템의 제2 실시 형태의 구성예>
이상의 처리에 의하면, 예를 들어 도 4에서 나타낸 바와 같이, 전송 상태가 악화되고, 기록 프레임 수가 0이 된 상태에서 복귀 대책 모드에 들어가고, 그 후, 시각 t0에서 전송 상태가 회복되게 되면, 시간의 경과와 함께, 수신 버퍼(33)의 기록 프레임 수가 증가되게 된다.
그리고, 전송 상태가 회복되고 나서의, 시각 t0으로부터 시각 t1에 걸쳐서, 기록 프레임 수는 조금씩 상승하고, 파기 역치 Th를 초과했을 때부터, 실제로 송신되어 오는 점선의 동그라미 표시로 나타나는 기록 프레임 수에 비하여, 어느 정도의 프레임 수가 파기됨으로써, 실선의 동그라미 표시로 나타나는 기록 프레임 수가 되도록 제어된다. 또한, 시각 t2의 실선 동그라미 표시로 나타낸 바와 같이, 실제의 기록 프레임 수가, 파기 역치 Th보다도 작아지고 나서, 복귀 대책 모드의 종료 판정이 개시되게 된다.
또한, 도 4는, 복귀 대책 모드에 들어가서 전송 상태가 회복하고 나서의, 시간의 경과에 수반한 기록 프레임 수의 변화를 나타낸 것이고, 횡축이 경과 시간을 나타내고, 종축이 기록 프레임 수를 나타내고 있다. 또한, 실선의 동그라미 표시는, 상술한 복귀 대책 처리에 의해, 필요에 따라 부호화 데이터가 파기됨으로써 조정된 실제의 기록 프레임 수를 나타내고 있고, 점선의 동그라미 표시는, 부호화 데이터의 파기가 이루어지지 않았을 경우의 기록 프레임 수를 나타내고 있다.
즉, 이상의 처리에 있어서, 전송 상태가 악화되고, 복귀 대책 모드에 들어간 후, 시각 t0에 전송 상태가 복귀되면, 조금씩 기록 프레임 수가 증대되고, 시각 t1 내지 t2에 있어서는, 파기 역치 Th를 초과하여, 프레임이 파기되는 상태가 된다. 그리고, 시각 t2를 초과했을 때부터, 실제의 기록 프레임 수가 역치 Th보다도 작아짐으로써 파기가 정지되고, 이 후의 타이밍으로부터 복귀 대책 모드의 종료 판정이 이루어지게 된다.
그러나, 상술한 바와 같이, 복귀 대책 모드가 길어지게 되면, 프레임 단위로 부호화 데이터가 계속해서 파기되어, 뮤트 제어부(38)의 동작 시간이 길어지고, 통상의 음성 출력을 할 수 없는 상태가 계속되게 된다. 이로 인해, 가능한 한 복귀 대책 모드의 종료 판정을 빨리 개시하여, 복귀 대책 모드를 빨리 종료시키는 것이 바람직하다.
그래서, 복귀 대책 모드에 들어간 후, 기록 프레임 수가 단위 시간 당으로 급격하게 증대되고 있는 경우에는, 기록 프레임 수가 파기 역치 Th에 도달하기 전의 단계에서, 프레임 단위로 부호화 데이터를 파기하도록 하고, 프레임 단위로 부호화 데이터가 파기되고 있는 기간을 짧게 해서, 복귀 대책 모드의 종료 판정을 빠른 타이밍으로부터 개시시켜, 복귀 대책 모드를 빨리 종료시키게 해도 된다.
도 5는, 복귀 대책 모드에 들어간 후, 기록 프레임 수가 단위 시간당으로 급격하게 증대하는 경우, 파기 역치 Th에 도달하기 전의 단계에서 프레임 단위로 부호화 데이터를 파기하도록 한 수신 재생부(12)의 구성예를 나타내고 있다. 또한, 도 5의 수신 재생부(12)에 있어서, 도 1의 수신 재생부(12)과 동일한 기능을 구비한 구성에 대해서는, 동일한 명칭 및 동일한 부호를 부여하고 있고, 그 설명은 적절히 생략하기로 한다.
즉, 도 5의 수신 재생부(12)에 있어서, 도 1의 수신 재생부(12)와 상이한 점은, 재생 제어부(34)의 파기 관리부(34d) 대신에, 파기 관리부(51)를 설치한 점이다.
파기 관리부(51)는 기본적으로, 파기 관리부(34d)와 동일한 기능을 구비한 것인데, 파기해야 할 프레임 수의 산출 방법이 상이하다.
즉, 파기 관리부(51)는 단위 시간당의 기록 프레임 수의 증가량에 의해, 삭제해야 할 프레임 수를 산출한다. 이로 인해, 수신 버퍼(33)에 있어서, 기록 프레임 수가 파기 역치 Th를 초과하는 타이밍보다도 이른 단계에서도, 단위 시간당의 기록 프레임 수의 증가량이 큰 경우에는, 증가량에 따른 프레임 단위의 부호화 데이터가 파기됨으로써, 이른 단계로부터 기록 프레임 수가 파기 역치 Th보다도 작은 값이 되고, 프레임을 파기하는 기간을 짧게 할 수 있으므로, 복귀 대책 모드를 조기에 종료하는 것이 가능하게 된다.
결과로서, 복귀 대책 모드의 종료 판정이 일찍 개시되어, 이른 타이밍으로 복귀 대책 모드를 종료시키는 것이 가능하게 되고, 부호화 데이터가 프레임 단위로 파기됨으로써 발생하는 노이즈와 같은 음성의 발생을 감소시켜, 뮤트 제어부(38)에 의한 뮤트가 온으로 되는 기간을 짧게 하는 것이 가능하게 된다.
<도 5의 수신 재생부에 의한 복귀 대책 처리>
이어서, 도 6의 흐름도를 참조하여, 도 5의 수신 재생부(12)에 의한 복귀 대책 처리에 대하여 설명한다. 또한, 재생 처리에 대해서는, 도 1의 수신 재생부(12)와 동일하므로, 그 설명은 생략한다. 또한, 도 6의 흐름도 중, 스텝 S71, S73 내지 S86의 처리는, 도 3의 흐름도에 있어서의 스텝 S41, S43 내지 S56의 처리와 동일하므로, 그 설명은 생략하기로 한다. 즉, 도 6의 흐름도에 있어서, 도 3의 흐름도와 다른 것은, 스텝 S72의 처리이다.
즉, 스텝 S72에 있어서, 파기 관리부(51)는 단위 시간당의 기록 프레임 수의 증가량에 의해, 삭제해야 할 프레임 수를 산출한다.
보다 구체적으로는, 파기 관리부(51)는, 예를 들어 도 7에서 나타낸 바와 같이, 기록 프레임 수의 변화량 ΔFrame과 단위 시간 ΔTime으로부터 단위 시간당의 증가량 ΔFrame/ΔTime을 구하고, 설계 시에 정해진 통상 시의 변화량을 기준에 정해진 변화량과의 비율을 구하여, 이 비율을 변화량 ΔFrame에 곱하여 파기해야 할 프레임 수를 산출한다.
예를 들어, 기록 프레임 수의 변화량 ΔFrame가 8, 단위 시간 ΔTime가 10이고, 기준값이 0.5이었을 경우, 파기 관리부(51)는 ΔFrame/ΔTime를, 0.8로서 산출하고, 기준값의 변화량과의 비율로서, (0.8-0.5)/0.5=0.6을 산출한다. 또한, 파기 관리부(51)는 구해진 값을 기록 프레임 수의 변화량 ΔFrame(=8)으로 승산하고, 소수점 이하를 잘라 버려, 파기 프레임 수를 4로 산출한다.
이상과 같은 처리에 의해, 도 7에서 나타낸 바와 같이, 기록 프레임 수가 파기 역치 Th를 초과하기 전의 단계로부터, 증가량에 따라, 프레임 단위로 부호화 데이터가 파기되게 되므로, 파기 역치 Th를 초과할 때까지, 파기해야 할 프레임이 파기된 상태가 된다. 결과로서, 수신 버퍼(33)에 과잉으로 기록되어 있는 부호화 데이터가, 파기해야 할 프레임 단위로 파기되는 기간을, 도 7의 시각 t11 내지 t12에서 나타낸 바와 같이, 도 4에서 나타내는 시각 t1 내지 t2보다 단기간으로 하는 것이 가능하게 된다.
또한, 도 5의 수신 재생부(12)에 있어서는, 설명을 간단하게 하기 위해서, 경과 시간에 대하여 소정의 1시점에 있어서의 비율을 그대로 계산에 사용했지만, 각 시점에서의 비율을 구하여, 구해진 각 시점에서의 비율의 평균을 사용하게 해도 되고, 이렇게 함으로써, 전송 환경에 의한 도달 시간의 변동 영향을, 보다 저감시키는 것이 가능하게 된다.
또한, 이상에 있어서는, Bluetooth(등록 상표)를 이용한 통신에 있어서의 예에 대하여 설명하였지만, 통신 프로토콜에 대해서는, 이것으로 한정하는 것은 아니고, 그 이외의 통신 프로토콜을 사용한 통신이어도 된다. 또한, 이상에 있어서는, 통신에 의해 오디오 데이터를 송신하는 예에 대하여 설명해 왔지만, 실시간으로 스트림 재생하는 데이터라면, 오디오 데이터 이외의 데이터여도 되고, 예를 들어 비디오 데이터 등이어도 된다.
이상과 같이, 본 기술에 의하면, 수신측의 장치는, 재생을 개시해야 할 타이밍을, 수신 버퍼에 기록되어 있는 부호화 데이터의 복호 처리 단위가 되는 프레임 수를 기준으로 하여 판단할 수 있게 되므로, 지연 시간에 영향을 주는 일 없이, 부호화 데이터의 압축률이 변경되어도, 안정된 재생이 가능하게 된다.
또한, 수신 버퍼에 있어서 기억되어 있는 부호화 데이터의 양이, 재생을 개시해야 할 프레임 수 만큼 일정하게 유지될 수 있게 되기 때문에, 재생 중에 부호화 데이터의 압축률을 변경하는 일이 있어도, 부호화 데이터의 바이트 수를 기준으로 하여 행하는 경우와 비교하여 최저한 확보해야 할 필요한 메모리 사이즈를 저감시키는 것이 가능하게 된다.
또한, 전송이 도중에 끊어지고, 복귀된 후에, 지연을 일정하게 유지하기 위하여 부호화 데이터를 파기할 때, 프레임 수라는 복호 처리 단위로 관리하고 있기 때문에, 예를 들어 송신측에서 전송 상황에 따라서 부호화 데이터의 압축률을 변경하는 경우에도, 복호 처리 단위로 파기 처리를 행할 수 있게 된다.
또한, 1대의 송신기로부터 송신되어 오는 부호화 데이터를, 복수의 수신 재생부(12)에서 수신하여 재생하는 재생 시스템을 구성한 경우, 예를 들어 Bluetooth처럼 slot 간격으로 패킷이 송수신되는 경우에도, 수신측은 재생 허가 모드의 온/오프를 판정할 때의 역치만 일치하고 있다면, 별도 동기 신호를 준비하는 일 없이, 동기하여 재생하는 것이 가능하게 된다.
<소프트웨어에 의해 실행시키는 예>
그런데, 상술한 일련의 처리는, 하드웨어에 의해 실행시킬 수도 있지만, 소프트웨어에 의해 실행시킬 수도 있다. 일련의 처리를 소프트웨어에 의해 실행시키는 경우에는, 그 소프트웨어를 구성하는 프로그램이, 전용의 하드웨어에 내장되어 있는 컴퓨터, 또는 각종 프로그램을 인스톨함으로써, 각종 기능을 실행하는 것이 가능한, 예를 들어 범용의 퍼스널 컴퓨터 등에, 기록 매체로부터 인스톨된다.
도 8은, 범용의 퍼스널 컴퓨터 구성예를 나타내고 있다. 이 퍼스널 컴퓨터는, CPU(Central Processing Unit)(1001)를 내장하고 있다. CPU(1001)에는 버스(1004)를 통하여, 입출력 인터페이스(1005)가 접속되어 있다. 버스(1004)에는, ROM(Read Only Memory)(1002) 및 RAM(Random Access Memory)(1003)이 접속되어 있다.
입출력 인터페이스(1005)에는, 유저가 조작 커맨드를 입력하는 키보드, 마우스 등의 입력 디바이스를 포함하는 입력부(1006), 처리 조작 화면이나 처리 결과의 화상을 표시 디바이스에 출력하는 출력부(1007), 프로그램이나 각종 데이터를 저장하는 하드디스크 드라이브 등을 포함하는 기억부(1008), LAN(Local Area Network) 어댑터 등을 포함하고, 인터넷으로 대표되는 네트워크를 통한 통신 처리를 실행하는 통신부(1009)가 접속되어 있다. 또한, 자기 디스크(플렉시블 디스크를 포함함), 광 디스크(CD-ROM(Compact Disc-Read Only Memory), DVD(Digital Versatile Disc)를 포함함), 광 자기 디스크(MD(Mini Disc)를 포함함), 또는 반도체 메모리 등의 리무버블 미디어(1011)에 대하여 데이터를 판독 기입하는 드라이브(1010)가 접속되어 있다.
CPU(1001)는, ROM(1002)에 기억되어 있는 프로그램 또는 자기 디스크, 광 디스크, 광 자기 디스크, 또는 반도체 메모리 등의 리무버블 미디어(1011)로부터 판독되어서 기억부(1008)에 인스톨되고, 기억부(1008)로부터 RAM(1003)에 로드된 프로그램에 따라서 각종 처리를 실행한다. RAM(1003)에는 또한, CPU(1001)가 각종 처리를 실행하는 데 있어서 필요한 데이터 등도 적절히 기억된다.
이상과 같이 구성되는 컴퓨터에서는, CPU(1001)가 예를 들어 기억부(1008)에 기억되고 있는 프로그램을, 입출력 인터페이스(1005) 및 버스(1004)를 통하여, RAM(1003)에 로드하여 실행함으로써, 상술한 일련의 처리가 행해진다.
컴퓨터(CPU(1001))가 실행하는 프로그램은, 예를 들어 패키지 미디어 등으로서의 리무버블 미디어(1011)에 기록하여 제공할 수 있다. 또한, 프로그램은, 로컬 에리어 네트워크, 인터넷, 디지털 위성 방송이라는, 유선 또는 무선의 전송 매체를 통하여 제공할 수 있다.
컴퓨터에서는, 프로그램은 리무버블 미디어(1011)를 드라이브(1010)에 장착함으로써, 입출력 인터페이스(1005)를 통하여, 기억부(1008)에 인스톨할 수 있다. 또한, 프로그램은, 유선 또는 무선의 전송 매체를 통하여, 통신부(1009)에서 수신하고, 기억부(1008)에 인스톨할 수 있다. 기타, 프로그램은 ROM(1002)이나 기억부(1008)에, 미리 인스톨 해 둘 수 있다.
또한, 컴퓨터가 실행하는 프로그램은, 본 명세서에서 설명하는 순서를 따라서 시계열로 처리가 행해지는 프로그램이어도 되고, 병렬로, 또는 호출이 행해졌을 때 등의 필요한 타이밍에 처리가 행해지는 프로그램이어도 된다.
또한, 본 명세서에 있어서, 시스템이란, 복수의 구성 요소(장치, 모듈(부품) 등)의 집합을 의미하고, 모든 구성 요소가 동일 하우징 중에 있는지 여부는 묻지 않는다. 따라서, 별개의 하우징에 수납되어, 네트워크를 통하여 접속되어 있는 복수의 장치 및 하나의 하우징 중에 복수의 모듈이 수납되어 있는 하나의 장치는, 모두 시스템이다.
또한, 본 기술의 실시 형태는, 상술한 실시 형태에 한정되는 것은 아니고, 본 기술의 요지를 일탈하지 않는 범위에서 다양한 변경이 가능하다.
예를 들어, 본 기술은, 하나의 기능을 네트워크를 통하여 복수의 장치에서 분담, 공동하여 처리하는 클라우드 컴퓨팅의 구성을 취할 수 있다.
또한, 상술한 흐름도에서 설명한 각 스텝은, 하나의 장치에서 실행하는 것 외에, 복수의 장치에서 분담하여 실행할 수 있다.
또한, 하나의 스텝에 복수의 처리가 포함되는 경우에는, 그 하나의 스텝에 포함되는 복수의 처리는, 하나의 장치에서 실행하는 것 외에, 복수의 장치에서 분담하여 실행할 수 있다.
또한, 본 기술은, 이하와 같은 구성도 취할 수 있다.
(1) 송신되어 오는 소정의 부호화 방식으로 부호화된 데이터를 포함하는 부호화 데이터를 수신하는 수신부와,
상기 수신부에 의해 수신된 부호화 데이터를 저장하는 저장부와,
상기 저장부에 저장된 부호화 데이터를 상기 소정의 부호화 방식에 대응하는 방법으로 복호하는 복호부와,
상기 저장부에 저장된 부호화 데이터의, 상기 복호부에 있어서 복호될 때의, 상기 소정의 부호화 방식에 있어서의 복호 처리 단위의 수에 따라, 상기 복호부에 의한 복호를 허가하도록 제어하는 복호 관리부
를 포함하는 신호 처리 장치.
(2) 상기 복호 관리부는, 상기 저장부에 저장된 부호화 데이터의, 상기 복호 처리 단위의 수가 소정의 역치보다도 큰 경우, 상기 복호부에 의한 복호를 허가하도록 제어하는
(1)에 기재된 신호 처리 장치.
(3) 상기 저장부의 출력을, 상기 복호부, 또는 그 이외로 전환하는 전환부를 더 포함하고,
상기 복호 관리부는, 상기 저장부에 저장된 부호화 데이터의, 상기 복호 처리 단위의 수가 소정의 역치보다도 큰 경우, 상기 전환부를 제어하여, 상기 저장부의 출력을, 상기 복호부에 접속시키게 함으로써, 상기 복호부에 의한 복호를 허가하도록 제어하는
(1) 또는 (2)에 기재된 신호 처리 장치.
(4) 상기 저장부에 저장된 부호화 데이터의, 상기 복호 처리 단위의 수에 기초하여, 전송 환경의 악화에 의해 상기 부호화 데이터의 송신 상태가 밀린 후, 상기 전송 환경이 복귀되고, 정리되어서 상기 부호화 데이터가 송신되어 옴으로써, 상기 복호부에 의해 모든 상기 부호화 데이터를 복호할 수 없는 상태에 빠지지 않도록 하는 대책인 복귀 대책 처리를 행하는 복귀 대책 모드를 온으로 할지 여부를 판정하고, 상기 복귀 대책 처리를 행하는 복귀 대책부를 더 포함하는
(1) 내지 (3) 중 어느 한 항에 기재된 신호 처리 장치.
(5) 상기 복귀 대책부는, 상기 저장부에 저장된 부호화 데이터의, 상기 복호 처리 단위의 수가 0일 때, 상기 복귀 대책 모드를 온으로 하고,
상기 복귀 대책 모드가 온일 때, 상기 저장부에 저장되어 있는 상기 부호화 데이터의, 상기 복호 처리 단위의 수가, 상기 소정의 역치에 기초한 기준값보다도 클 때, 상기 저장부에 저장되어 있는 부호화 데이터의 일부를, 상기 복호 처리 단위로 파기하는 파기 관리부를 더 포함하는
(4)에 기재된 신호 처리 장치.
(6) 상기 파기 관리부는, 상기 저장부에 저장되어 있는 부호화 데이터 중, 상기 복호 처리 단위의 수로, 상기 소정의 역치에 기초한 기준값보다도 많은 쪽의 부호화 데이터를, 상기 복호 처리 단위로 파기하는
(5)에 기재된 신호 처리 장치.
(7) 상기 파기 관리부는, 상기 저장부에 저장되어 있는 부호화 데이터 중, 상기 복호 처리 단위 수의 단위 시간당의 증가량에 대응 지어 설정되는 양의 상기 부호화 데이터를 상기 복호 처리 단위로 파기하는
(5)에 기재된 신호 처리 장치.
(8) 상기 저장부의 출력을 상기 복호부, 또는 그 이외로 전환하는 전환부와,
상기 저장부에 저장되어 있는 부호화 데이터의 일부를, 상기 복호 처리 단위로 파기하는 파기부를 더 포함하고,
상기 파기 관리부는, 상기 저장부에 저장되어 있는 부호화 데이터의 일부를, 상기 복호 처리 단위로 파기할 때, 상기 전환부를 제어하여, 상기 저장부의 출력을, 상기 파기부에 접속시키게 함으로써, 상기 저장부에 저장되어 있는 부호화 데이터의 일부를, 상기 복호 처리 단위로 파기하는
(5)에 기재된 신호 처리 장치.
(9) 상기 복귀 대책부는, 상기 저장부에 저장된 부호화 데이터의, 상기 복호 처리 단위 수의 소정의 기간에 있어서의 평균 및 분산에 기초하여, 소정의 시간 간격으로 상태 변수를 산출하고, 소정의 기준값과의 차분 절댓값이 소정의 역치보다도 작은 상태가 계속될 때, 상기 복귀 대책 모드를 오프로 하는
(4)에 기재된 신호 처리 장치.
(10) 상기 복귀 대책부에 의해, 상기 소정의 시간 간격으로 산출되는 상기 상태 변수와 소정의 기준값의 차분 절댓값이, 소정의 역치와 비교되어, 그 비교 결과를 저장하는 배열을 더 포함하고,
상기 복귀 대책부는, 상기 배열에 저장된 비교 결과에 기초하여, 상기 소정의 시간 간격으로 산출되는 상태 변수가, 소정의 기준값과의 차분 절댓값이 소정의 역치보다도 작은 상태가 계속될 때, 상기 복귀 대책 모드를 오프로 하는
(4)에 기재된 신호 처리 장치.
(11) 상기 부호화 데이터는, 스피커에 의해 음성으로서 출력하기 위한 음성 데이터를 부호화한 것이고,
상기 복호부에 의해 복호된 상기 음성 데이터에 기초한, 상기 스피커로부터의 음성의 출력 레벨을 조정하는 뮤트 제어부를 더 포함하고,
상기 복귀 대책 모드가 온일 경우, 상기 뮤트 제어부는, 상기 복호부에 의해 복호된 상기 음성 데이터에 기초한, 상기 스피커로부터의 음성의 출력 레벨이 저하되도록 조정하는
(1) 내지 (4) 중 어느 한 항에 기재된 신호 처리 장치.
(12) 송신되어 오는 소정의 부호화 방식으로 부호화된 데이터를 포함하는 부호화 데이터를 수신하고,
수신된 부호화 데이터를 저장하고,
저장된 부호화 데이터를 상기 소정의 부호화 방식에 대응하는 방법으로 복호하고,
저장된 부호화 데이터의 복호될 때의, 상기 소정의 부호화 방식에 있어서의 복호 처리 단위의 수에 따라, 복호를 허가하도록 제어하는
스텝을 포함하는
신호 처리 방법.
(13) 송신되어 오는 소정의 부호화 방식으로 부호화된 데이터를 포함하는 부호화 데이터를 수신하는 수신부와,
상기 수신부에 의해 수신된 부호화 데이터를 저장하는 저장부와,
상기 저장부에 저장된 부호화 데이터를 상기 소정의 부호화 방식에 대응하는 방법으로 복호하는 복호부와,
상기 저장부에 저장된 부호화 데이터의, 상기 복호부에 있어서 복호될 때의, 상기 소정의 부호화 방식에 있어서의 복호 처리 단위의 수에 따라, 상기 복호부에 의한 복호를 허가하도록 제어하는 복호 관리부로
하여금 컴퓨터를 기능시키는 프로그램.
11: Bluetooth 모듈
12: 수신 재생부
13: 스피커
21: 송신부
31: 수신 처리부
32: 코덱부
32a: 프레임 수 산출부
33: 수신 버퍼
34: 재생 제어부
34a: 재생 관리부
34b: 복귀 대책부
34c: 판정 배열
34d: 파기 관리부
35: 스위치
35a, 35b: 단자
36: 복호부
37: 데이터 파기부
38: 뮤트 제어부
51: 파기 관리부

Claims (13)

  1. 송신되어 오는 소정의 부호화 방식으로 부호화된 데이터를 포함하는 부호화 데이터를 수신하는 수신부와,
    상기 수신부에 의해 수신된 부호화 데이터를 저장하는 저장부와,
    상기 저장부에 저장된 부호화 데이터를 상기 소정의 부호화 방식에 대응하는 방법으로 복호하는 복호부와,
    상기 저장부에 저장된 부호화 데이터의, 상기 복호부에 있어서 복호될 때의, 상기 소정의 부호화 방식에 있어서의 복호 처리 단위의 수에 따라, 상기 복호부에 의한 복호를 허가하도록 제어하는 복호 관리부
    를 포함하는 신호 처리 장치.
  2. 제1항에 있어서, 상기 복호 관리부는, 상기 저장부에 저장된 부호화 데이터의 상기 복호 처리 단위의 수가 소정의 역치보다도 큰 경우, 상기 복호부에 의한 복호를 허가하도록 제어하는, 신호 처리 장치.
  3. 제1항에 있어서,
    상기 저장부의 출력을, 상기 복호부, 또는 그 이외로 전환하는 전환부를 더 포함하고,
    상기 복호 관리부는, 상기 저장부에 저장된 부호화 데이터의 상기 복호 처리 단위의 수가 소정의 역치보다도 큰 경우, 상기 전환부를 제어하여, 상기 저장부의 출력을 상기 복호부에 접속시키게 함으로써, 상기 복호부에 의한 복호를 허가하도록 제어하는, 신호 처리 장치.
  4. 제1항에 있어서, 상기 저장부에 저장된 부호화 데이터의 상기 복호 처리 단위의 수에 기초하여, 전송 환경의 악화에 의해 상기 부호화 데이터의 송신 상태가 밀린 후, 상기 전송 환경이 복귀하고, 정리되어서 상기 부호화 데이터가 송신되어 옴으로써, 상기 복호부에 의해 모든 상기 부호화 데이터를 복호할 수 없는 상태에 빠지지 않도록 하는 대책인 복귀 대책 처리를 행하는 복귀 대책 모드를 온으로 할지 여부를 판정하고, 상기 복귀 대책 처리를 행하는 복귀 대책부를 더 포함하는, 신호 처리 장치.
  5. 제4항에 있어서,
    상기 복귀 대책부는, 상기 저장부에 저장된 부호화 데이터의, 상기 복호 처리 단위의 수가 0일 때, 상기 복귀 대책 모드를 온으로 하고,
    상기 복귀 대책 모드가 온일 때, 상기 저장부에 저장되어 있는 상기 부호화 데이터의, 상기 복호 처리 단위의 수가, 상기 소정의 역치에 기초한 기준값보다도 클 때, 상기 저장부에 저장되어 있는 부호화 데이터의 일부를, 상기 복호 처리 단위로 파기하는 파기 관리부를 더 포함하는, 신호 처리 장치.
  6. 제5항에 있어서, 상기 파기 관리부는, 상기 저장부에 저장되어 있는 부호화 데이터 중, 상기 복호 처리 단위의 수로, 상기 소정의 역치에 기초한 기준값보다도 많은 쪽의 부호화 데이터를, 상기 복호 처리 단위로 파기하는, 신호 처리 장치.
  7. 제5항에 있어서, 상기 파기 관리부는, 상기 저장부에 저장되어 있는 부호화 데이터 중, 상기 복호 처리 단위 수의 단위 시간당의 증가량에 대응 지어 설정되는 양의 상기 부호화 데이터를 상기 복호 처리 단위로 파기하는, 신호 처리 장치.
  8. 제5항에 있어서,
    상기 저장부의 출력을 상기 복호부, 또는 그 이외로 전환하는 전환부와,
    상기 저장부에 저장되어 있는 부호화 데이터의 일부를, 상기 복호 처리 단위로 파기하는 파기부를 더 포함하고,
    상기 파기 관리부는, 상기 저장부에 저장되어 있는 부호화 데이터의 일부를, 상기 복호 처리 단위로 파기할 때, 상기 전환부를 제어하여, 상기 저장부의 출력을, 상기 파기부에 접속시키게 함으로써, 상기 저장부에 저장되어 있는 부호화 데이터의 일부를, 상기 복호 처리 단위로 파기하는, 신호 처리 장치.
  9. 제4항에 있어서, 상기 복귀 대책부는, 상기 저장부에 저장된 부호화 데이터의, 상기 복호 처리 단위 수의 소정의 기간에 있어서의 평균 및 분산에 기초하여, 소정의 시간 간격으로 상태 변수를 산출하고, 소정의 기준값과의 차분 절댓값이 소정의 역치보다도 작은 상태가 계속될 때, 상기 복귀 대책 모드를 오프로 하는, 신호 처리 장치.
  10. 제4항에 있어서,
    상기 복귀 대책부에 의해, 상기 소정의 시간 간격으로 산출되는 상기 상태 변수와 소정의 기준값의 차분 절댓값이, 소정의 역치와 비교되어, 그 비교 결과를 저장하는 배열을 더 포함하고,
    상기 복귀 대책부는, 상기 배열에 저장된 비교 결과에 기초하여, 상기 소정의 시간 간격으로 산출되는 상태 변수가, 소정의 기준값과의 차분 절댓값이 소정의 역치보다도 작은 상태가 계속될 때, 상기 복귀 대책 모드를 오프로 하는, 신호 처리 장치.
  11. 제4항에 있어서,
    상기 부호화 데이터는, 스피커에 의해 음성으로서 출력하기 위한 음성 데이터를 부호화한 것이고,
    상기 복호부에 의해 복호된 상기 음성 데이터에 기초한, 상기 스피커로부터의 음성의 출력 레벨을 조정하는 뮤트 제어부를 더 포함하고,
    상기 복귀 대책 모드가 온일 경우, 상기 뮤트 제어부는, 상기 복호부에 의해 복호된 상기 음성 데이터에 기초한, 상기 스피커로부터의 음성의 출력 레벨이 저하되도록 조정하는, 신호 처리 장치.
  12. 송신되어 오는 소정의 부호화 방식으로 부호화된 데이터를 포함하는 부호화 데이터를 수신하고,
    수신된 부호화 데이터를 저장하고,
    저장된 부호화 데이터를 상기 소정의 부호화 방식에 대응하는 방법으로 복호하고,
    저장된 부호화 데이터의 복호될 때의, 상기 소정의 부호화 방식에 있어서의 복호 처리 단위의 수에 따라, 복호를 허가하도록 제어하는
    스텝을 포함하는 신호 처리 방법.
  13. 송신되어 오는 소정의 부호화 방식으로 부호화된 데이터를 포함하는 부호화 데이터를 수신하는 수신부와,
    상기 수신부에 의해 수신된 부호화 데이터를 저장하는 저장부와,
    상기 저장부에 저장된 부호화 데이터를 상기 소정의 부호화 방식에 대응하는 방법으로 복호하는 복호부와,
    상기 저장부에 저장된 부호화 데이터의, 상기 복호부에 있어서 복호될 때의, 상기 소정의 부호화 방식에 있어서의 복호 처리 단위의 수에 따라, 상기 복호부에 의한 복호를 허가하도록 제어하는 복호 관리부
    로 하여금 컴퓨터를 기능시키게 하는 프로그램.
KR1020177015860A 2014-12-26 2015-12-11 신호 처리 장치 및 신호 처리 방법, 및 프로그램 KR102510865B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JPJP-P-2014-264253 2014-12-26
JP2014264253A JP2016126037A (ja) 2014-12-26 2014-12-26 信号処理装置、および信号処理方法、並びにプログラム
PCT/JP2015/084762 WO2016104178A1 (ja) 2014-12-26 2015-12-11 信号処理装置、および信号処理方法、並びにプログラム

Publications (2)

Publication Number Publication Date
KR20170100500A true KR20170100500A (ko) 2017-09-04
KR102510865B1 KR102510865B1 (ko) 2023-03-17

Family

ID=56150208

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020177015860A KR102510865B1 (ko) 2014-12-26 2015-12-11 신호 처리 장치 및 신호 처리 방법, 및 프로그램

Country Status (7)

Country Link
US (3) US10089996B2 (ko)
EP (2) EP3239977B1 (ko)
JP (1) JP2016126037A (ko)
KR (1) KR102510865B1 (ko)
CN (2) CN107112019B (ko)
TW (1) TWI701922B (ko)
WO (1) WO2016104178A1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016126037A (ja) * 2014-12-26 2016-07-11 ソニー株式会社 信号処理装置、および信号処理方法、並びにプログラム
WO2021095754A1 (ja) * 2019-11-12 2021-05-20 ソニー株式会社 データ処理装置、データ処理方法およびデータ処理プログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020026310A1 (en) * 2000-08-25 2002-02-28 Matsushita Electric Industrial Co., Ltd. Real-time information receiving apparatus
JP2003309541A (ja) 2002-04-15 2003-10-31 Sony Corp データ転送システム、データ転送装置及びデータ転送方法、並びにコンピュータ・プログラム
EP1473939A1 (en) * 2002-12-11 2004-11-03 Sony Corporation Transmitting/receiving system, transmitting apparatus, transmitting method, receiving apparatus, receiving method, recording medium, and program
EP1777965A1 (en) * 2004-08-05 2007-04-25 Matsushita Electric Industrial Co., Ltd. Image decoding device and image encoding device
JP2014131301A (ja) 2009-01-29 2014-07-10 Qualcomm Incorporated データ・オーバフローを回避するように受信機バッファを適応させるための方法および装置

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69222754T2 (de) * 1992-03-27 1998-02-26 Alsthom Cge Alcatel Videodekoder
DE19527187A1 (de) * 1995-07-26 1997-01-30 Philips Patentverwaltung RDS-TMC-Rundfunkempfänger
JP3713141B2 (ja) * 1998-05-19 2005-11-02 インターナショナル・ビジネス・マシーンズ・コーポレーション プログラムの不正実行防止方法
US7457676B1 (en) * 2000-06-14 2008-11-25 Marvell International Ltd. Vehicle for recording and reproducing digital data
KR100952892B1 (ko) 2000-12-06 2010-04-16 리얼네트웍스 인코포레이티드 비디오 데이타의 인트라코딩 방법 및 장치
JP4296753B2 (ja) * 2002-05-20 2009-07-15 ソニー株式会社 音響信号符号化方法及び装置、音響信号復号方法及び装置、並びにプログラム及び記録媒体
JP3977784B2 (ja) 2003-07-22 2007-09-19 日本電信電話株式会社 リアルタイムパケット処理装置及びその方法
US7237181B2 (en) * 2003-12-22 2007-06-26 Qualcomm Incorporated Methods and apparatus for reducing error floors in message passing decoders
EP1763175B1 (en) 2004-07-20 2013-01-02 Panasonic Corporation Stream data reception/reproduction device and stream data reception/reproduction method
US7397812B2 (en) 2004-08-31 2008-07-08 General Motors Corporation System and method for wireless broadcast of multimedia files to vehicles
JP4337707B2 (ja) * 2004-10-27 2009-09-30 ソニー株式会社 情報再生装置、バッファ制御方法およびプログラム
JP4474310B2 (ja) * 2005-03-24 2010-06-02 パナソニック株式会社 デバイス切替システム、送信元および配信先デバイス
US8238376B2 (en) * 2005-04-13 2012-08-07 Sony Corporation Synchronized audio/video decoding for network devices
US20090196356A1 (en) * 2005-09-14 2009-08-06 Mitsunori Houki Multi-stream decoder apparatus
US7974713B2 (en) * 2005-10-12 2011-07-05 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Temporal and spatial shaping of multi-channel audio signals
JP4751245B2 (ja) 2006-06-20 2011-08-17 パナソニック株式会社 音声伝送装置および音声伝送方法
US20090019635A1 (en) * 2007-07-19 2009-01-22 Ching-Song Chen Portable sauna room assembly
US8401311B2 (en) * 2008-03-11 2013-03-19 Sony Corporation Image processing device, method, and program
US20090274248A1 (en) * 2008-05-01 2009-11-05 Interdigital Patent Holdings, Inc. Method and apparatus for contention-free interleaving using a single memory
KR20100011285A (ko) * 2008-07-24 2010-02-03 삼성전자주식회사 프리 디코더를 구비하는 디스플레이 구동회로 및 그구동방법
KR20110134127A (ko) * 2010-06-08 2011-12-14 삼성전자주식회사 오디오 데이터 디코딩 장치 및 방법
JP5698644B2 (ja) * 2011-10-18 2015-04-08 株式会社Ｎｔｔドコモ 動画像予測符号化方法、動画像予測符号化装置、動画像予測符号化プログラム、動画像予測復号方法、動画像予測復号装置及び動画像予測復号プログラム
JP5772623B2 (ja) 2012-01-20 2015-09-02 富士通株式会社 動画像符号化装置、動画像符号化方法及び動画像符号化プログラム
US9553913B2 (en) * 2014-05-30 2017-01-24 Apple Inc. Seamless video pipeline transition between WiFi and cellular connections for real-time applications on mobile devices
JP2016126037A (ja) 2014-12-26 2016-07-11 ソニー株式会社 信号処理装置、および信号処理方法、並びにプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020026310A1 (en) * 2000-08-25 2002-02-28 Matsushita Electric Industrial Co., Ltd. Real-time information receiving apparatus
JP2003309541A (ja) 2002-04-15 2003-10-31 Sony Corp データ転送システム、データ転送装置及びデータ転送方法、並びにコンピュータ・プログラム
EP1473939A1 (en) * 2002-12-11 2004-11-03 Sony Corporation Transmitting/receiving system, transmitting apparatus, transmitting method, receiving apparatus, receiving method, recording medium, and program
EP1777965A1 (en) * 2004-08-05 2007-04-25 Matsushita Electric Industrial Co., Ltd. Image decoding device and image encoding device
JP2014131301A (ja) 2009-01-29 2014-07-10 Qualcomm Incorporated データ・オーバフローを回避するように受信機バッファを適応させるための方法および装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Definition of the Opus Audio Codec. Internet Engineering Task Force (IETF) RFC 6716, 2012.09. *
H. 265: High efficiency video coding. Recommendation ITU-T H.265, 2013.04. *

Also Published As

Publication number Publication date
US20180374492A1 (en) 2018-12-27
TWI701922B (zh) 2020-08-11
US20190221222A1 (en) 2019-07-18
US20170365269A1 (en) 2017-12-21
US10522162B2 (en) 2019-12-31
WO2016104178A1 (ja) 2016-06-30
KR102510865B1 (ko) 2023-03-17
EP3239977A4 (en) 2018-05-23
EP3239977B1 (en) 2020-07-01
US10089996B2 (en) 2018-10-02
CN107112019A (zh) 2017-08-29
CN113035206A (zh) 2021-06-25
TW201626769A (zh) 2016-07-16
JP2016126037A (ja) 2016-07-11
CN107112019B (zh) 2021-03-16
EP3742438A1 (en) 2020-11-25
US10319388B2 (en) 2019-06-11
CN113035206B (zh) 2024-03-29
EP3239977A1 (en) 2017-11-01

Similar Documents

Publication Publication Date Title
US7630612B2 (en) Video stream adaptive frame rate scheme
US8594184B2 (en) Method and apparatus for controlling video-audio data playing
WO2019101089A1 (zh) 视频发送、接收方法和装置及终端
US20140105285A1 (en) Wireless channel aware adaptive video bit rate encoding
JP2006135974A (ja) 適応的バッファ遅延を有する音声受信機
US11284299B2 (en) Data processing apparatus, data processing method, and program
US7548585B2 (en) Audio stream adaptive frequency scheme
KR20170139513A (ko) 송신 디바이스, 송신 방법 및 프로그램
KR20110065100A (ko) 멀티미디어 스트리밍 서비스를 지원하는 방법 및 장치
KR20170100500A (ko) 신호 처리 장치 및 신호 처리 방법, 및 프로그램
RU2766575C2 (ru) Передающий модуль, способ передачи, приемный модуль, способ приема и программа
KR102422794B1 (ko) 재생지연 조절 방법 및 장치와 시간축 변형방법 및 장치
US8791981B2 (en) Bit rate control apparatus and method thereof
JP5652776B2 (ja) 情報処理装置
JP4338083B2 (ja) ディジタル音声再生装置
JP2007221597A (ja) ストリーム受信装置及びストリーム受信方法
JP2006135793A (ja) データ配信装置及びその制御方法、プログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant