KR20160145711A - 정보 손실을 감소시킨 전자 통신들을 위한 시스템들, 방법들 및 디바이스들 - Google Patents

정보 손실을 감소시킨 전자 통신들을 위한 시스템들, 방법들 및 디바이스들 Download PDF

Info

Publication number
KR20160145711A
KR20160145711A KR1020167031813A KR20167031813A KR20160145711A KR 20160145711 A KR20160145711 A KR 20160145711A KR 1020167031813 A KR1020167031813 A KR 1020167031813A KR 20167031813 A KR20167031813 A KR 20167031813A KR 20160145711 A KR20160145711 A KR 20160145711A
Authority
KR
South Korea
Prior art keywords
signal
segment
surrogates
representation
signal processor
Prior art date
Application number
KR1020167031813A
Other languages
English (en)
Inventor
해리 레빗
Original Assignee
아우디맥스, 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 아우디맥스, 엘엘씨 filed Critical 아우디맥스, 엘엘씨
Publication of KR20160145711A publication Critical patent/KR20160145711A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H04L1/08—Arrangements for detecting or preventing errors in the information received by repeating transmission, e.g. Verdan system
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B1/00—Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission
    • H04B1/02—Transmitters
    • H04B1/04—Circuits
    • H04B1/0475—Circuits with means for limiting noise, interference or distortion
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/005—Correction of errors induced by the transmission channel, if related to the coding algorithm
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B1/00—Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission
    • H04B1/06—Receivers
    • H04B1/08—Constructional details, e.g. cabinet
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/018—Audio watermarking, i.e. embedding inaudible data in the audio signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Acoustics & Sound (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Telephonic Communication Services (AREA)
  • Mobile Radio Communication Systems (AREA)
  • Dc Digital Transmission (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Cable Transmission Systems, Equalization Of Radio And Reduction Of Echo (AREA)
  • Error Detection And Correction (AREA)

Abstract

정보 손실을 감소시킨 전자 통신들을 위한 시스템들, 방법들 및 디바이스들이 개시된다. 일 실시예에 따르면, 방법은 (1) 적어도 하나의 신호 프로세서가 신호의 제1 세그먼트를 식별하는 단계; (2) 적어도 하나의 신호 프로세서가 신호의 제1 세그먼트의 표현을 발생시키는 단계; (3) 적어도 하나의 신호 프로세서가 신호의 제1 세그먼트의 표현에서 제1 복수의 써로게이트 후보들을 식별하는 단계; (4) 적어도 하나의 신호 프로세서가 신호의 제2 세그먼트의 표현을 발생시키는 단계; 및 (5) 적어도 하나의 신호 프로세서가 제1 복수의 써로게이트 후보들을 신호의 제2 세그먼트의 표현 내의 제1 복수의 써로게이트들로서 인코딩하는 단계를 포함할 수 있다.

Description

정보 손실을 감소시킨 전자 통신들을 위한 시스템들, 방법들 및 디바이스들{SYSTEMS, METHODS AND DEVICES FOR ELECTRONIC COMMUNICATIONS HAVING DECREASED INFORMATION LOSS}
관련 출원들
본 출원은 2014년 4월 17일에 출원된 미국 임시 특허 출원 일련 번호 61/981,010에 대한 우선권을 주장한다. 그것은 2014년 2월 10일에 출원된 미국 임시 특허 출원 일련 번호 61/938,072, 및 2015년 2월 9일에 출원된 미국 특허 출원 일련 번호 14/617,527과 관련된다. 이 문헌들 각각의 개시내용들은 이로써 전체적으로 참조로 포함된다.
발명의 분야
본 발명은 일반적으로 전자 통신들에 관한 것이고, 더욱 구체적으로는, 정보 손실을 감소시킨 통신 시스템들, 방법들 및 디바이스들에 관한 것이다.
현재의 세계에서, 우리는 현대의 통신 시스템들, 예컨대 이동 전화들/디바이스들, 라디오들, 텔레비전들 등에 광범위하게 의존한다. 이러한 디바이스들의 인기, 및 우리의 일상 생활에서의 그들의 중요성이 신속하게 증가하고 있다.
정보 손실을 감소시킨 통신 시스템들, 방법들 및 디바이스들이 개시된다. 일 실시예에서, 시스템들, 방법들 및 디바이스들은 예를 들어, 왜곡, 통신 드롭아웃들, 마스킹 등으로 인한 정보 손실의 잠재적 기간들에 송신 경로를 가로지르는 것을 보상하기 위해 신호(들) 또는 신호 요소(들)를 송신의 수개의 세그먼트들 또는 부분들(예를 들어, 시간 윈도우들)로 인코딩함으로써 하나 이상의 신호들, 신호 요소들 등을 위한 리던던시를 제공할 수 있다(예를 들어, 신호(들) 또는 신호 요소(들)의 다수의 인스턴스들은 다수의 송신 시간들 동안에 제공됨). 수신 디바이스는 인에이블되면, 인코딩된 신호(들) 또는 신호 요소(들)를 디코딩하고 부가 처리를 수행할 수 있다. 그러한 처리는 신호(들) 또는 신호 요소(들)의 지각적으로 동일한 근사를 재생할 수 있다. 이것은 정보 손실의 결과로서 수신되지 않는 손실된 신호 정보의 재생에 유리할 수 있으며, 그것에 의해 송신 경로를 따라 경험되는 정보 손실, 예컨대 드롭아웃들, 왜곡, 마스킹 등을 감소시킨다. 수신 디바이스는 인에이블되지 않으면, 원래 신호의 인코딩되지 않은 버전으로부터의 지각적 차이 없이, 잠재적 정보 손실을 받는 원래 신호를 재생할 수 있다.
본 발명의 목적은 신호, 예컨대 오디오 신호가 하나 이상의 수신기들에의 송신 전에 처리될 수 있는 시스템들, 방법들 및 디바이스들을 제공하는 것이다. 신호 처리는 송신 경로에서 신호(예를 들어, 스피치를 포함하는 신호)에 대한 정보 손실을 감소시킬 수 있다.
본 발명의 추가 목적은 부가 정보를 포함하는 처리된 신호가 미처리된 신호와 지각적으로 구별불가능할 수 있음으로써, 처리된 신호를 디코딩하기 위해 인에이블되지 않은 수신 디바이스들의 사용자들에 대한 신호 품질에 지각적으로 영향을 미치는 것 없이 송신된 신호의 무결성을 개선하는 시스템들, 방법들 및 디바이스들을 제공하는 것이다. 신호를 디코딩할 수 있는 디바이스들은 "인에이블된 디바이스들"로 언급될 수 있다.
일 실시예에서, 하나의 세그먼트 또는 시간 윈도우에 대한 써로게이트 후보는 다른 세그먼트 또는 시간 윈도우 내의 주파수 요소로 인코딩될 수 있거나, 주파수 요소를 대체할 수 있다. 일 실시예에서, 주파수 요소는 이웃 주파수 요소에 의해 마스킹될 수 있다.
일 실시예에서, 협대역 필터들의 뱅크의 사용은 시간 대 주파수 변환들을 사용하는 것보다 덜 계산 집약적일 수 있고, 또한 윈도우 경계들에서 불연속성들의 문제를 감소시키거나 제거할 수 있다.
일 실시예에서, 신호는 1회 이상 지연될 수 있고, 각각의 지연된 버전은 협대역 필터들의 뱅크에 의해 필터링될 수 있고 지연된 신호들의 스펙트럼 표현들은 각각의 필터 뱅크에서 낮은 레벨 협대역 필터들의 출력들을 제거함으로써 생성될 수 있다.
일 실시예에서, 지연(i+1)을 갖는 신호의 스펙트럼 표현은 메모리에 저장되고 지연(i)을 갖는 오디오 신호의 스펙트럼 표현 내의 써로게이트로 임베딩될 수 있다. 지연(i+2)을 갖는 오디오 신호의 스펙트럼 표현은 지연(i+1)을 갖는 오디오 신호의 스펙트럼 표현 내의 써로게이트로 저장되고, 또한 지연(i)을 갖는 오디오 신호의 스파스 스펙트럼 표현(sparse spectrum representation) 내의 써로게이트로서 저장되고, 지연(i+3) 등에 대해서도 같은 방식이 적용될 수 있다.
일 실시예에서, 저장된 써로게이트들은 정보 손실(예를 들어, 왜곡, 드롭아웃들 등)을 받는 지연된 신호들을 대체하기 위해 디코딩되고 사용될 수 있다. 일 실시예에서, 송신에서의 지연은 입력 오디오 신호에 적용되는 최대 지연과 같을 수 있다.
일 실시예에서, 정보 손실이 없으면, 저장된 써로게이트들의 일부 또는 전부는 신호를 송신할 시에 취득되는 임의의 잡음을 감소시키기 위해 디코딩되고 평균화될 수 있다.
일 실시예에서, 송신 채널의 것보다 더 큰 대역폭을 갖는 신호를 송신하기 위해, 채널 대역폭을 초과하는 신호 내의 높은 주파수 요소들은 송신 채널의 주파수 범위 내의 주파수들에서 써로게이트들로 인코딩될 수 있다. 코딩은 동일한 부분(지연) 내이거나 부분들(지연들)에 걸칠 수 있다.
일 실시예에서, 써로게이트 후보들은 상이한 신호로 인코딩될 수 있다. 예를 들어, 2개의 신호는 약간의 지연 등을 가지고 병렬로 송신될 수 있고 한 신호로부터의 써로게이트 후보들은 다른 신호에 인코딩될 수 있다.
통신 네트워크를 통한 송신을 위해 신호를 처리하는 방법들이 개시된다. 일 실시예에서, 방법은 (1) 적어도 하나의 신호 프로세서가 신호의 제1 세그먼트를 식별하는 단계; (2) 적어도 하나의 신호 프로세서가 신호의 제1 세그먼트의 표현을 발생시키는 단계; (3) 적어도 하나의 신호 프로세서가 신호의 제1 세그먼트의 표현에서 제1 복수의 써로게이트 후보들을 식별하는 단계; (4) 적어도 하나의 신호 프로세서가 신호의 제2 세그먼트의 표현을 발생시키는 단계; 및 (5) 적어도 하나의 신호 프로세서가 제1 복수의 써로게이트 후보들을 신호의 제2 세그먼트의 표현 내의 제1 복수의 써로게이트들로서 인코딩하는 단계를 포함할 수 있다.
일 실시예에서, 제2 세그먼트는 제1 세그먼트에 앞설 수 있다. 다른 실시예에서, 제2 세그먼트는 제1 세그먼트를 따를 수 있다.
일 실시예에서, 적어도 하나의 신호 프로세서가 신호의 제1 세그먼트를 식별하는 단계는 적어도 하나의 신호 프로세서가 신호를 복수의 세그먼트들로 분할하는 단계를 포함할 수 있으며, 각각의 세그먼트는 동일한 시간 지속기간을 갖는다.
일 실시예에서, 제1 세그먼트 및 제2 세그먼트는 상이한 지속기간들을 가질 수 있다.
일 실시예에서, 제1 세그먼트 및 제2 세그먼트 중 적어도 하나에 대한 지속기간은 동적으로 결정될 수 있다.
일 실시예에서, 신호의 제1 세그먼트의 표현을 발생시키는 단계는 복수의 협대역 필터들이 신호의 제1 세그먼트를 필터링하는 단계; 및 미리 결정된 임계값 아래의 레벨을 갖는 복수의 필터들의 출력을 감쇠시키는 단계를 포함할 수 있다.
일 실시예에서, 제1 세그먼트의 표현 및 제2 세그먼트의 표현은 시간 대 주파수 변환을 사용하여 스펙트럼 표현들로서 발생될 수 있다.
일 실시예에서, 방법은 통신 네트워크를 통해 신호의 제1 세그먼트 및 제1 복수의 써로게이트들을 포함하는 신호의 제2 세그먼트를 송신하는 단계를 더 포함할 수 있다. 신호의 송신은 검출, 발생, 및 인코딩 단계들 중 적어도 하나 동안에 지연될 수 있다.
일 실시예에서, 신호의 제1 세그먼트 및 제1 복수의 써로게이트들을 포함하는 신호의 제2 세그먼트는 송신 전에 조합될 수 있다. 다른 실시예에서, 신호의 제1 세그먼트 및 제1 복수의 써로게이트들을 포함하는 신호의 제2 세그먼트는 병렬로 송신될 수 있다. 다른 실시예에서, 제1 복수의 써로게이트들을 포함하는 신호의 제2 세그먼트는 통신 네트워크를 통해 송신될 수 있다.
일 실시예에서, 신호는 오디오 신호를 포함할 수 있다.
일 실시예에서, 방법은 또한 적어도 하나의 신호 프로세서가 신호의 제3 세그먼트의 표현을 발생시키는 단계; 적어도 하나의 신호 프로세서가 신호의 제2 세그먼트의 표현에서 제2 복수의 써로게이트 후보들을 식별하는 단계; 및 적어도 하나의 신호 프로세서가 제1 복수의 써로게이트 후보들을 제1 복수의 써로게이트들로서 인코딩하고 제2 복수의 써로게이트 후보들을 신호의 제3 세그먼트의 표현 내의 제2 복수의 써로게이트들로서 인코딩하는 단계를 포함할 수 있다.
통신 네트워크를 통한 송신을 위해 신호를 처리하는 방법들이 개시된다. 일 실시예에서, 방법은 (1) 적어도 하나의 신호 프로세서가 신호를 복수의 시간 윈도우들로 분할하는 단계; (2) 적어도 하나의 신호 프로세서가 제1 시간 윈도우의 표현을 발생시키는 단계; (3) 적어도 하나의 신호 프로세서가 제1 시간 윈도우의 표현에서 제1 복수의 써로게이트 후보들을 식별하는 단계; (4) 적어도 하나의 신호 프로세서가 제2 시간 윈도우의 표현을 발생시키는 단계; 및 (5) 적어도 하나의 신호 프로세서가 제1 복수의 써로게이트 후보들을 제2 시간 윈도우의 표현 내의 제1 복수의 써로게이트들로서 인코딩하는 단계를 포함할 수 있다.
일 실시예에서, 방법은 적어도 하나의 신호 프로세서가 제3 시간 윈도우의 표현을 발생시키는 단계; 적어도 하나의 신호 프로세서가 제2 시간 윈도우의 스펙트럼 표현에서 제2 복수의 써로게이트 후보들을 식별하는 단계; 및 적어도 하나의 신호 프로세서가 제1 복수의 써로게이트 후보들을 제1 복수의 써로게이트들로서 인코딩하고 제2 복수의 써로게이트 후보들을 제3 시간 윈도우의 표현 내의 제2 복수의 써로게이트들로서 인코딩하는 단계를 더 포함할 수 있다.
일 실시예에서, 제1 시간 윈도우의 표현, 제2 시간 윈도우의 표현, 및 제3 시간 윈도우의 표현은 스펙트럼 표현들일 수 있다.
일 실시예에서, 방법은 통신 네트워크를 통해 제1 시간 윈도우, 인코딩된 제1 복수의 써로게이트들을 포함하는 제2 시간 윈도우, 및 인코딩된 제1 복수의 써로게이트들 및 인코딩된 제2 복수의 써로게이트들을 포함하는 제3 시간 윈도우를 송신하는 단계를 더 포함할 수 있다.
일 실시예에서, 통신 네트워크를 통한 송신을 위해 신호를 처리하는 방법은 (1) 적어도 하나의 신호 프로세서가 신호의 세그먼트(i)를 식별하는 단계; (2) 적어도 하나의 신호 프로세서가 신호의 세그먼트(i) 내의 써로게이트들로서 인코딩되도록 세그먼트(i) 후의 신호의 N개의 세그먼트에서 복수의 써로게이트 후보들을 식별하는 단계; (3) 적어도 하나의 신호 프로세서가 신호의 N개의 세그먼트의 표현들을 발생시키는 단계; 및 (4) 적어도 하나의 신호 프로세서가 신호의 N개의 세그먼트의 표현들을 신호의 세그먼트(i)의 스펙트럼 표현에 인코딩되는 복수의 써로게이트들로서 인코딩하는 단계를 포함할 수 있다.
통신 네트워크를 통해 수신되는 신호를 처리하는 방법들이 개시된다. 일 실시예에서, 방법은 (1) 전자 디바이스에서의 적어도 하나의 신호 프로세서가 복수의 세그먼트들을 포함하는 신호를 수신하는 단계; (2) 적어도 하나의 신호 프로세서가 제1 세그먼트에서 정보 손실을 검출하는 단계; (3) 적어도 하나의 신호 프로세서가 제2 세그먼트에 임베딩되는 제1 세그먼트를 표현하는 제1 복수의 써로게이트들을 검색하는 단계; 및 (4) 적어도 하나의 신호 프로세서가 검색된 제1 복수의 써로게이트들로부터 제1 세그먼트의 추정값을 발생시키는 단계를 포함할 수 있다.
일 실시예에서, 제2 세그먼트는 제1 세그먼트가 수신되기 전에 수신될 수 있다. 다른 실시예에서, 제2 세그먼트는 제1 세그먼트가 수신된 후에 수신될 수 있다.
일 실시예에서, 적어도 하나의 신호 프로세서가 제2 세그먼트의 스펙트럼 표현에 임베딩되는 제1 세그먼트를 표현하는 제1 복수의 써로게이트들을 검색하는 단계는 적어도 하나의 신호 프로세서가 제2 세그먼트의 표현을 발생시키는 단계; 및 적어도 하나의 신호 프로세서가 제2 세그먼트의 표현에서 제1 복수의 써로게이트들을 식별하는 단계를 포함할 수 있다.
일 실시예에서, 방법은 적어도 하나의 신호 프로세서가 제3 세그먼트로부터 제1 세그먼트를 표현하는 제2 복수의 써로게이트들을 검색하는 단계를 더 포함할 수 있고, 적어도 하나의 신호 프로세서는 제1 복수의 써로게이트들 및 제2 복수의 써로게이트들로부터 제1 세그먼트의 추정값을 발생시킬 수 있다.
일 실시예에서, 적어도 하나의 신호 프로세서가 제3 세그먼트로부터 제1 세그먼트를 표현하는 제2 복수의 써로게이트들을 검색하는 단계는 적어도 하나의 신호 프로세서가 제3 세그먼트의 표현을 발생시키는 단계; 및 적어도 하나의 신호 프로세서가 제3 세그먼트의 표현에서 제2 복수의 써로게이트들을 식별하는 단계를 포함할 수 있다. 제1 시간 윈도우의 표현, 제2 시간 윈도우의 표현, 및 제3 시간 윈도우의 표현은 스펙트럼 표현들일 수 있다.
일 실시예에서, 제1 세그먼트 내의 송신 에러는 제1 세그먼트가 분실될 때 발생할 수 있다. 다른 실시예에서, 제1 세그먼트 내의 송신 에러는 제1 세그먼트가 왜곡될 때 발생할 수 있다.
일 실시예에서, 세그먼트들 중 적어도 하나에 대한 재생은 검출, 검색, 및 발생 단계들 중 적어도 하나 동안에 지연될 수 있다.
통신 시스템에서 신호를 송신하는 통신 디바이스들이 개시된다. 일 실시예에서, 통신 디바이스는 메모리; 및 적어도 하나의 신호 프로세서를 포함할 수 있고, 적어도 하나의 신호 프로세서는 신호를 수신하는 것; 신호의 제1 세그먼트의 표현을 발생시키는 것; 제1 세그먼트의 표현에서 제1 복수의 써로게이트 후보들을 식별하는 것; 제2 세그먼트의 발생시키는 것; 및 제1 복수의 써로게이트 후보들을 제2 세그먼트의 표현 내의 제1 복수의 써로게이트들로서 인코딩하는 것을 수행한다.
일 실시예에서, 신호는 입력 디바이스, 예컨대 마이크로폰, 카메라 등으로부터 수신될 수 있다. 다른 실시예에서, 신호는 메모리로부터 수신될 수 있다. 또 다른 실시예에서, 신호는 통신 네트워크로부터 수신될 수 있다.
일 실시예에서, 적어도 하나의 신호 프로세서는 이하를 더 수행할 수 있다: 제3 세그먼트의 표현을 발생시키는 것; 제2 세그먼트의 표현에서 제2 복수의 써로게이트 후보들을 식별하는 것; 및 제1 복수의 써로게이트 후보들을 제1 복수의 써로게이트들로서 인코딩하고 제2 복수의 써로게이트 후보들을 제3 세그먼트의 표현 내의 제2 복수의 써로게이트들로서 인코딩하는 것.
일 실시예에서, 적어도 하나의 신호 프로세서는 신호의 세그먼트들을 필터링하는 복수의 필터들을 사용하여 제1 세그먼트, 제2 세그먼트, 및/또는 제3 세그먼트의 표현을 발생시킬 수 있고, 미리 결정된 임계값 아래의 레벨을 갖는 복수의 필터들의 출력을 감쇠시킬 수 있다.
일 실시예에서, 제1 세그먼트, 제2 세그먼트, 및/또는 제3 세그먼트의 표현은 시간 대 주파수 변환을 사용하여 스펙트럼 표현들로 적어도 하나의 신호 프로세서에 의해 발생될 수 있다.
통신 시스템에서 수신된 신호를 처리하는 통신 디바이스가 개시된다. 일 실시예에 따르면, 통신 디바이스는 메모리; 및 적어도 하나의 신호 프로세서를 포함할 수 있고, 적어도 하나의 신호 프로세서는 복수의 세그먼트들을 포함하는 신호를 수신하는 것; 제1 세그먼트의 신호에서 송신 에러를 검출하는 것; 제2 세그먼트에 임베딩되는 제1 세그먼트를 표현하는 제1 복수의 써로게이트들을 검색하는 것; 및 검색된 제1 복수의 써로게이트들로부터 제1 세그먼트의 추정값을 발생시키는 것을 수행한다.
일 실시예에서, 적어도 하나의 신호 프로세서는 이하를 더 수행할 수 있다: 제3 세그먼트에 인코딩되는 제1 세그먼트에 대한 제2 복수의 써로게이트들을 검색하는 것; 및 제1 복수의 써로게이트들 및 2 복수의 써로게이트들로부터 제1 세그먼트의 추정값을 발생시키는 것.
일 실시예에서, 통신 디바이스는 제1 세그먼트의 추정값을 재생하는 출력을 더 포함할 수 있다.
일 실시예에서, 디바이스는 제2 감각 신호가 감지되기 위해 제2 감각 신호가 제1 감각 신호에 의해 지각적으로 마스킹되도록 제2 감각 신호로 감각 신호(예를 들어, 오디오, 비디오, 촉각 등)를 인코딩할 수 있다.
본 발명, 그것의 목적들 및 장점들의 더 완전한 이해를 위해, 첨부 도면들과 관련하여 해석되는 이하의 설명들이 이제 참조된다.
도 1은 일 실시예에 따른 정보 손실을 감소시킨 전자 통신들을 위한 예시적 시스템을 도시한다.
도 2는 일 실시예에 따른 인에이블된 송신 및/또는 수신 디바이스에 대한 블록도를 도시한다.
도 3은 일 실시예에 따른 정보 손실을 감소시키는 전자 통신을 위한 방법을 도시한다.
도 4는 일 실시예에 따른 정보 손실을 감소시킨 전자 통신을 위한 방법을 도시한다.
도 5는 일 실시예에 따른 인접 시간 윈도우들의 시퀀스 내에서 콘텐츠 및 신호 처리를 도시하는 표이다.
도 6은 일 실시예에 따른 정보 손실을 감소시킨 전자 통신들을 위한 방법을 도시한다.
본 발명의 수개의 실시예들 및 그들의 장점들은 동일한 참조 번호들이 동일한 요소들을 지칭하는 도 1 내지 도 6을 참조함으로써 이해될 수 있다.
도 1은 일 실시예에 따른 정보 손실을 감소시키는 시스템을 도시한다. 시스템(100)은 예를 들어 송신 디바이스(110), 통신 네트워크(120), 및 수신 디바이스들(130 및 140)을 포함할 수 있다.
일 실시예에서, 송신 디바이스(110) 및 수신 디바이스들(130/140)은 아날로그 및 디지털 신호들을 포함하는, 오디오, 비디오, 텍스트, 데이터, 및 다른 것들과 같은 신호들을 송신하고 및/또는 수신할 수 있는 임의의 적절한 디바이스일 수 있다. 예들은 이동 전화들/디바이스들, 일반 전화들, 보청기들, 개인 증폭 디바이스들, 보조 청각 디바이스들, 비디오 및 오디오 회의 시스템들, 보이스 오버 IP 디바이스들(voice over IP devices), 스트리밍 무선 디바이스들, 송수신 겸용 라디오들(two-way radios), 태블릿 컴퓨터들, 데스크톱 및 노트북 컴퓨터들, 워크스테이션들, 전자 판독 디바이스들 등을 포함한다. 이러한 개시내용의 목적들을 위해, 송신 디바이스(110) 및 수신 디바이스들(130/140)이 모두 오디오 또는 오디오/비디오 신호들을 송신하고 수신할 수 있지만, 각각은 대화 또는 송신의 일부에서의 그 역할에 기초하여 참조될 것이다.
통신 네트워크(120)는 송신 디바이스(110)와 하나 이상의 수신 디바이스(130/140) 사이에서 통신을 허용할 수 있다. 예들은 기존 전화 시스템들(plain old telephone systems)(POTS), 셀룰러 네트워크들, WiFi 네트워크들, 인터넷, 위성 네트워크들, 근거리 무선 통신 네트워크들, 블루투스 네트워크들, 및 그것의 임의의 조합들을 포함한다. 임의의 적절한 통신 네트워크는 필요에 따라 및/또는 원하는 대로 사용될 수 있다.
일 실시예에서, 송신 디바이스(110)는 하나 이상의 수신 디바이스(130/140)에 신호의 송신 전에 신호 처리를 수행하도록 인에이블될 수 있다. 다른 실시예에서, 처리는 셀룰러 타워들, 네트워크들, 리피터들 등과 같은, 송신 디바이스와 수신 디바이스 사이의 송신 경로를 따라 위치되는 디바이스/시스템에서 발생할 수 있다. 처리는 송신 디바이스(110) 및/또는 수신 디바이스(130/140)에서 발생하는 처리에 더하거나, 처리 대신일 수 있다.
일 실시예에서, 수신 디바이스(130)는 정보 손실을 감소시키기 위해 수신된 신호들을 처리하고/디코딩하도록 인에이블될 수 있는 반면에, 수신 디바이스(140)는 그러한 처리 능력을 포함하지 않을 수 있다.
처리가 송신 및 수신 디바이스들에서 발생하는 것으로 이러한 개시내용에 설명될 수 있지만, 처리는 이러한 디바이스들에서 분리할 수 있는 부가 또는 대안 하드웨어(도시되지 않음)를 수반할 수 있다는 점이 인식되어야 한다. 게다가, 송신 경로 내의 부가 또는 대안 하드웨어(예를 들어, 리피터들, 증폭기들, 컴퓨터 서버들, 중앙국 시스템들, 셀룰러 타워들, 전화 교환국들 등)는 필요에 따라 및/또는 원하는 대로 통신 신호들을 추가로 또는 대안으로 처리할 수 있다. 예를 들어, 리피터는 정보 손실을 감소시키기 위해 착신 신호를 처리할 수 있다. 유사하게, 송신 경로를 따르는 송신기는 예를 들어 신호의 "스파스 스펙트럼 표현"을 발생시키고 송신할 수 있으며, 그러한 스파스 스펙트럼 표현을 역 동작을 수행할 수 있는 후속 수신기에 통신할 수 있다.
일 실시예에서, "스파스 스펙트럼 표현"은 주파수 요소들의 서브세트를 사용하여 미처리된 신호의 전체 스펙트럼에 근사할 수 있다. 16개 이상의 주파수 요소들이 스피치의 스파스 스펙트럼 표현에 사용되면, 결과적인 오디오 신호는 미처리된 오디오 신호와 지각적으로 구별불가능할 수 있다. 스파스 스펙트럼 표현의 중요한 성질은 더 적은 비트들이 신호의 미처리된 표현에 대한 것보다 디지털 저장, 변환, 처리 및/또는 송신을 위해 요구되는 것이다. 이것은 제한된 채널 용량(예를 들어, 낮은 대역폭, 제한된 비트 속도)을 갖는 통신 경로들을 통한 신호들의 송신뿐만 아니라 이전에 송신된 신호들의 데이터 압축된 버전들을 저장할 시에 특히 유리하다. 신호 양해도 또는 사운드 품질의 손실 없이 더 적은 비트들의 송신은 또한 통신 네트워크들의 성능 메트릭스와 연관되는 부가 개선들을 제공할 수 있다. 실현될 수 있는 개선된 성능의 예들은 더 좋은 네트워크 이용, 증가된 네트워크 처리량 등을 포함하지만, 이들에 제한되지 않는다.
도 2는 인에이블된 송신 및/또는 수신 디바이스에 대한 블록도를 도시한다. 일 실시예에 따르면, 송신 및/또는 수신 디바이스(200)는 소프트웨어, 펌웨어, 하드웨어 또는 그것의 조합으로 구현될 수 있다. 일 실시예에서, 시스템의 일부는 실행가능 프로그램과 같이, 소프트웨어로 구현될 수 있고, 특수 또는 일반 목적 컴퓨터, 예컨대 개인용 컴퓨터, 마이크로컴퓨터, 디지털 신호 프로세서, 퍼스널 데이터 어시스턴트(personal data assistant), 스마트폰, 워크스테이션, 미니 컴퓨터 또는 메인프레임 컴퓨터에 의해 실행될 수 있다. 예를 들어, 일 실시예에서, 송신 및/또는 수신 디바이스(200)는 인터페이스(235)를 통해 통신 결합되는 컨트롤러(205), 메모리(210), 수신기/송신기(215), 하나 이상의 입력/출력(input/output)(I/O) 디바이스들(230), 신호 분석 구성요소(225), 및 신호 처리 구성요소(220)를 포함할 수 있다. 로컬 인터페이스(235)는 본 기술분야에 공지되어 있는 바와 같이, 예를 들어 하나 이상의 버스들 또는 다른 유선 또는 무선 연결들일 수 있지만, 이들에 제한되지 않는다.
일 실시예에서, 신호 처리(220) 및 신호 분석(225)은 동일한 모듈, 하드웨어, 및/또는 소프트웨어에 의해 수행될 수 있다. 다른 실시예에서, 인에이블되지 않은 디바이스는 신호 처리(220) 및 신호 분석(225) 중 하나 이상을 포함할 필요가 없을 수 있다.
일 실시예에서, 본원에 개시되는 "써로게이트들"은 처리된 신호 내의 써로게이트들을 디코딩하지 않거나, 디코딩할 수 없는 수신 디바이스의 사용자가 처리된 신호의 사운드 품질 및/또는 양해도의 변화를 지각하지 않도록 인코딩될 수 있다. 본원에 사용되는 바와 같이, "써로게이트"는 신호의 성분이 예를 들어 왜곡, 드롭아웃들 등의 결과로서 손실되면, 손실된 성분의 써로게이트가 정보 손실을 경감하거나 제거하기 위해 그것의 대신에 사용될 수 있도록 리던던시를 제공하기 위해 인코딩되는, 스피치 사운드 요소들, 시간 요소들, 또는 주파수 요소들과 같은 하나 이상의 신호 요소(들)를 언급한다. 손실되거나 저하될 가능성이 있는 신호 성분들의 써로게이트들은 동일한 신호 또는 다른 신호의 표현 내에서(예를 들어, 신호 표현의 주파수, 시간, 또는 위상 코디네이트들에서) 인코딩될 수 있다.
도 3을 참조하면, 일 실시예에 따른 정보 손실을 감소시키는 방법이 제공된다. 단계(305)에서, 신호가 수신될 수 있다. 신호는 오디오 신호, 비디오 신호, 조합 등일 수 있다. 신호는 직접적으로(예를 들어, 인간이 말함) 또는 간접적으로(라우드스피커에 전달되거나 유선 또는 무선 자기 또는 전자기 링크에 의해 전달됨) 등으로 수신될 수 있다.
단계(310)에서, 신호의 제1 세그먼트 또는 부분(예를 들어, 시간 윈도우)가 식별될 수 있다. 일 실시예에서, 신호는 미리 결정된 속도로 샘플링될 수 있고, 다수의 세그먼트들로 분할될 수 있고, 연속적으로 식별될 수 있는 등등이다. 다른 실시예에서, 신호의 제1 세그먼트는 동적으로 결정될 수 있다. 신호의 제1 세그먼트를 식별하는 다른 방식들은 필요에 따라 및/또는 원하는 대로 사용될 수 있다.
단계(315)에서, 제1 세그먼트 내의 신호의 표현이 발생될 수 있다. 일 실시예에서, 표현은 스펙트럼 표현일 수 있다. 아래에 더 상세히 논의되는 바와 같이, 표현은 스펙트럼 표현일 수 있다. 일 실시예에서, 스펙트럼 표현은 신호의 세그먼트를 시간 도메인으로부터 주파수 도메인으로 변환함으로써 획득될 수 있다. 다른 실시예에서, 협대역 필터들의 뱅크가 사용될 수 있고, 낮은 출력 레벨들을 갖는 협대역 필터들의 출력은 시간 도메인 처리를 사용하여 오디오 신호의 스파스 스펙트럼 표현을 생성하기 위해 감쇠되거나 제거될 수 있다.
단계(320)에서, 적어도 하나의 써로게이트 후보는 신호의 제1 세그먼트의 표현에서 식별될 수 있다. 아래에 더 상세히 논의되는 바와 같이, 써로게이트는 써로게이트 후보가 드롭아웃 또는 왜곡의 결과로서 저하되거나 손실되면, 그것이 써로게이트를 디코딩함으로써 대체될 수 있도록 신호 내의 다른 곳에 임베딩될 수 있는, 신호의 인코딩된 버전, 또는 신호의 요소("써로게이트 후보")를 언급한다.
단계(325)에서, 제2 세그먼트 내의 신호의 표현이 발생될 수 있다. 이것은 상기 논의된 바와 같이 동일한 방식으로 수행될 수 있다.
단계(330)에서, 제1 세그먼트 내의 써로게이트 후보(들)는 신호의 제2 세그먼트 내의 써로게이트들로서 인코딩되고 임베딩될 수 있다. 다른 실시예에서, 써로게이트 후보(들)는 제2 신호의 세그먼트로 인코딩되고 임베딩될 수 있다.
단계(335)에서, 신호의 제1 세그먼트 및 신호의 제2 세그먼트가 송신될 수 있다. 일 실시예에서, 신호의 제2 세그먼트는 송신 전에 신호의 제1 세그먼트와 조합될 수 있다. 다른 실시예에서, 신호의 제2 세그먼트는 신호의 제1 세그먼트 대신에 송신될 수 있다. 또 다른 실시예에서, 신호의 제2 세그먼트는 신호의 제1 세그먼트와 병렬로 송신될 수 있다.
일 실시예에서, 제1 세그먼트의 써로게이트들을 포함하는 제2 세그먼트는 제1 세그먼트가 송신되기 전에 송신될 수 있다. 따라서, 제1 세그먼트에 대한 정보 손실이 있으면, 제2 세그먼트 내의 제1 세그먼트에 대한 써로게이트들은 제1 세그먼트를 재생하기 위해 사용될 수 있다.
다른 실시예에서, 제1 세그먼트의 써로게이트들을 포함하는 제2 세그먼트는 제1 세그먼트 후에 송신될 수 있고, 제1 세그먼트에 대한 정보 손실이 있으면, 제2 세그먼트 내의 제1 세그먼트에 대한 써로게이트들은 제1 세그먼트를 재생하기 위해 사용될 수 있다. 이것은 신호의 재생을 지연시키는 것을 수반할 수 있다.
도 4는 일 실시예에 따른 정보 손실을 감소시키는 방법을 도시한다. 편의상, 이러한 방법은 신호의 세그먼트들 또는 부분들을 포함하는 시간 윈도우들을 사용하여 설명되며; 이러한 방법은 시간 윈도우들의 사용에 제한되지 않고, 그것은 신호 세그먼트들, 신호 부분들 등에 사용될 수 있다는 점이 인식되어야 한다.
단계(405)에서, 입력 신호(fin(t))는 송신 디바이스에 전송될 수 있다. 일 실시예에서, 오디오 신호는 송신 및/또는 수신 디바이스, 예를 들어, 이동 전화/디바이스, 일반 전화, 보청기, 개인 증폭 디바이스, 보조 청각 디바이스, 비디오 및 오디오 회의 시스템, 보이스 오버 IP 디바이스, 스트리밍 무선 디바이스, 송수신 겸용 라디오, 태블릿 컴퓨터, 데스크톱 또는 노트북 컴퓨터, 워크스테이션들 등에 전송될 수 있다. 일 실시예에서, 오디오 신호는 직접적으로(예를 들어, 인간이 말함) 또는 간접적으로(라우드스피커에 의해 전달되거나 유선 또는 무선 자기 또는 전자기 링크에 의해 전달됨) 등으로 전달될 수 있다.
일 실시예에서, 송신 디바이스는 임의적 신호 전처리를 수행할 수 있다. 예를 들어, 다양한 오디오 신호 성능 특성들, 예컨대 신호 대 잡음 비, 신호 강도, 사운드 품질, 양해도 등을 개선하는 전처리 기술들은 신호 전처리 동안에 적용될 수 있다. 이것은 신호 사전 백색화(signal pre-whitening), 신호 부스팅, 신호 증폭, 주파수 필터링, 주파수 전위, 잡음 감쇠 등을 포함할 수 있다. 상술한 종래의 전처리 기술들, 또는 다른 기술들 중 하나 또는 임의의 조합은 필요에 따라 및/또는 원하는 대로 이용될 수 있다.
일 실시예에서, 신호는 시간 도메인에 표현되는 신호로 전송될 수 있다. 예를 들어, 입력 시간 함수(fin(t))는 송신 디바이스에 전달되는 신호의 특징을 이룰 수 있다.
단계(410)에서, 입력 신호(fin(t))는 인접 시간 윈도우들의 시퀀스(W1, W2, W3, ... Wi)로 분할될 수 있으며 시간 윈도우(Wi) 내의 시간 함수는 fini(t)에 의해 표현된다. 시간 윈도우는 신호의 다수의 이산 요소들을 포함할 수 있다. 예를 들어, 신호는 유한 지속기간, 예컨대 20 밀리초(ms)를 각각 갖는 시간 윈도우들의 시퀀스로 분할될 수 있다. 각각의 20 ms 시간 윈도우는 신호의 디지털 200 샘플들을 포함할 수 있다. 이것은 10,000 샘플들/초의 샘플링 속도에 대응한다. 나이퀴스트-섀넌 샘플링 이론(Nyquist-Shannon sampling theorem)에 따른 이러한 샘플링 속도를 갖는 디지털 시스템은 에일리어싱 없이 10,000/2 Hz = 5 kHz까지의 주파수들을 송신할 수 있다. 나이퀴스트-섀넌 샘플링 이론의 설명 및 그것의 개발예는 [H, Nyquist, "Certain Topics In Telegraph Transmission Theory", Trans AIEE, vol. 47, pp. 617-44 Apr. 1928 (reprinted as a classic paper in Proc. IEEE, Vol. 90, No. 2, Feb. 2002)] 및 [C. E. Shannon, "Communication In The Presence Of Noise", Proc. Institute of Radio Engineers, vol. 37, no. 1, pp.　10-21, Jan. 1949 (reprinted as a classic paper in:　Proc. IEEE, Vol. 86, No. 2, (Feb 1998))]에 제공된다. 이러한 문헌들 각각의 개시내용은 이로써 전체적으로 참조로 포함된다.
일 실시예에서, 주어진 시간 지속기간의 신호는 시간 윈도우 내에 포함되는 신호 요소들의 감소된 세트를 사용하여 거의 재생성될 수 있다. 주어진 시간 지속기간의 신호는 또한 이웃 시간 윈도우 내에 포함되는 신호 요소들의 감소된 세트를 사용하여 거의 재생성될 수 있다. 시퀀스 내의 시간 윈도우들은 시간 지속기간이 같을 수 있거나, 그들은 상이한 시간 지속기간들을 가질 수 있다. 윈도우들은 오버래핑되거나, 오버래핑되지 않을 수 있다.
일 실시예에서, 시간 신호와 연관되는 특정 파라미터들, 예컨대 원도우들의 수, 윈도우들의 시간 지속기간, 각각의 윈도우 내의 변수들의 파라미터들 등이 미리 결정될 수 있다. 예를 들어, 시간 윈도우들은 길이가 각각 20 밀리초(ms)인 시퀀스 내의 16 윈도우들과 같은, 신호를 수신하기 전에 결정되는 파라미터들을 가질 수 있다. 다른 실시예에서, 시간 윈도우 파라미터들은 신호의 샘플링 속도에 기초하여 결정되는 것과 같이, 동적으로 결정될 수 있다(예를 들어, 신호는 시간 기간에 획득되는 이산 샘플들의 시퀀스로 변환됨). 다른 실시예에서, 시간 윈도우 파라미터들은 신호의 식별된 시간 길이에 기초하여 동적으로 결정될 수 있다. 다른 실시예에서, 시간 윈도우 파라미터들은 송신된 신호의 드롭아웃들의 과거, 현재 및/또는 예상된 주파수에 기초하여 동적으로 결정될 수 있다. 다른 실시예에서, 시간 윈도우 파라미터들은 디바이스 제한들(예를 들어, 송신/수신 디바이스의 처리 능력들 또는 메모리 능력들)에 기초하여, 또는 송신 채널의 정보 용량(예를 들어, 대역폭 제약들, 비트 속도 등)에 의해 동적으로 결정될 수 있다. 신호를 시간 윈도우들의 시퀀스로 분할하는 다른 방식들은 필요에 따라 및/또는 원하는 대로 사용될 수 있다.
시간 윈도우들의 지속기간 및 샘플들의 수는 필요에 따라 및/또는 원하는 대로 변화되고 선택될 수 있다.
단계(415)에서, 신호 분석은 시간 함수를 표현, 예컨대 스펙트럼 표현으로 변환하기 위해 윈도우(Wi) 내의 입력 오디오 신호(fini(t)) 상에 수행될 수 있으며, 이 변환은 주파수 도메인에서 특징지어질 수 있다. 변환은 예를 들어 시간 신호의 대응 이산 스펙트럼 표현(Fini(f))을 획득하기 위해 예를 들어 fini(t)의 이산 푸리에 변환을 획득함으로써 달성될 수 있다.
스펙트럼 표현을 획득하기 위해 사용될 수 있는 적절한 변환들은 예를 들어 연속 푸리에 변환, 이산 푸리에 변환, 고속 푸리에 변환, 연속 웨이블릿 변환, 이산 웨이블릿 변환, 고속 웨이블릿 변환, 및 관련 변환들의 연속, 이산, 단기, 및 고속 버전들 예컨대 라플라스, 스틸체스(Stieltjes), Z 변환, 힐버트, 가보르, 위그너, 멜린, 및 보렐 변환들 등을 포함할 수 있다. 임의의 다른 적절한 변환 또는 수학적 연산은 필요에 따라 및/또는 원하는 대로 사용될 수 있다. 이러한 변환들의 단기 버전들은 유한 지속기간, 예들 들어 20 ms의 시간 신호들에 적절하다.
일 실시예에서, 시간 대 주파수 변환은 또한 시간 도메인에서의 필터링에 의해 구현될 수 있다. 이산 푸리에 변환과 유사한 하나의 그러한 변환은 이산 푸리에 변환에서의 이산 주파수들과 같은 중심 주파수들을 갖는 인접 협대역 필터들의 뱅크를 사용하여 시간 신호를 필터링한다. 각각의 협대역 필터의 임펄스 응답은 이산 푸리에 변환에서 시간 신호를 곱할 시에 사용되는 직교 정현파 신호들의 세트 내의 대응 주파수 요소의 시간 파형과 같다. 그 다음, 각각의 협대역 필터의 출력은 이산 푸리에 변환에서 시간 윈도우의 지속기간과 같은 시간 간격을 통해 통합된다.
일 실시예에서, 각각의 협대역 필터는 귀의 평균화 시간과 같은 평균화 시간을 가질 수 있다. 협대역 필터들의 대역폭들은 임계 청취 대역이 주파수에 따라 증가하는 동일한 방식으로 주파수에 따라 증가할 수 있다. 각각의 협대역 필터의 평균화 시간은 귀의 평균화 시간이 주파수에 따라 변화되는 동일한 방식으로 그것의 중심 주파수의 함수로 변화될 수 있다. 각각의 협대역 필터의 위상 시프트는 청취의 위상 특성들이 주파수에 따라 변화되는 동일한 방식으로 주파수에 따라 변화될 수 있다. 이러한 실시예에서, 필터 뱅크에 의해 제공되는 오디오 신호의 주파수 표현은 인간의 귀 내의 오디오 신호들의 주변 필터링에 의해 제공되는 오디오 신호의 주파수 표현과 근사한다.
높은 출력 레벨을 갖는 협대역 필터는 낮은 출력 레벨을 갖는 인근 필터의 출력을 마스킹할 것이다. 일 실시예에서, 높은 출력 레벨들을 갖는 필터들에 의해 마스킹되는 낮은 출력 레벨들을 갖는 필터들의 출력들은 필터 뱅크의 출력에서의 오디오 신호의 스펙트럼 표현이 이산 푸리에 변환, 또는 다른 시간 대 주파수 변환을 사용하여 오디오 신호의 주파수 도메인 분석에서 스펙트럼의 스파스 스펙트럼 표현과 유사하도록 감쇠될 수 있다.
일 실시예에서, 높은 출력 레벨들을 갖는 필터들에 의해 마스킹되는 낮은 출력 레벨들을 갖는 필터들의 출력들은 높은 레벨 출력들을 갖는 필터들의 출력들의 합이 필터링되지 않은 신호와 지각적으로 구별불가능하도록 감쇠될 수 있지만, 필터 뱅크 내의 협대역 필터들의 적은 비율만이 활성일 수 있다.
다른 실시예에서, 위에 설명된 실시예에서 활성이 아닌 협대역 필터들은 제한된 수의 능동 필터들을 갖는 다른 필터 뱅크들의 써로게이트들로 대체될 수 있다.
일 실시예에서, 높은 레벨 출력들을 갖는 필터들은 감쇠될 수 있고 낮은 레벨 출력들을 갖는 필터들은 스파스 스펙트럼 써로게이트들을 복구하기 위해 증폭될 수 있다.
일 실시예에서, 각각의 협대역 필터의 출력 레벨은 오디오 신호의 주파수 표현이 시간에 따라 어떻게 변화되는지를 판단하기 위해 시간의 규칙적인 간격들로 샘플링될 수 있다.
일 실시예에서, 각각의 협대역 필터의 출력 레벨은 인간의 귀가 지각할 수 있는 오디오 신호의 스펙트럼 표현의 시변 변화들을 결정하기 위해 귀의 평균화 시간과 같은 시간 간격들로 샘플링된다.
하나의 표현에서, 오디오 신호는 필터 뱅크(i+j)일 때까지 하나의 필터 뱅크(i)에 전달되고 그 다음에 지연되어 필터 뱅크(i+1)에 전달되고, 그 다음에 지연되어 필터 뱅크(i+2)에 전달될 수 있는 등등이다. 그 다음, 필터 뱅크(i)의 출력은 필터 뱅크(i+j)가 도달될 때까지 지연된다. 각각의 필터 뱅크의 출력에서의 스파스 스펙트럼 표현은 필터 뱅크(i)의 출력 스펙트럼 표현 내의 써로게이트로 임베딩된다. 그 다음, 필터 뱅크(i) 내의 모든 필터들의 출력들은 이때 수신 디바이스에 송신되는 필터 뱅크들(i+1 내지 i+j)의 써로게이트들을 포함하는 시간 신호를 발생시키기 위해 합산된다.
송신된 신호는 임베딩된 써로게이트들을 갖지 않는 필터 뱅크(i)의 합산된 출력과 지각적으로 구별가능하지 않을 것이다.
일 실시예에서, 수신 디바이스는 시간 대 주파수 변환들, 예컨대 이산 푸리에 변환을 사용하여, 또는 송신된 신호를 발생시킬 시에 사용되는 필터들과 동일한 필터링 특성들을 갖는 협대역 필터들의 뱅크를 사용하는 시간 도메인 분석에 의해 수신된 시간 신호를 디코딩할 수 있다.
다른 실시예에서, 이산 푸리에 변환, 또는 관련된 변환은 상이한 처리 단계들에서 더 유리한 변환을 구현하는 변환과 유사한 시간 도메인과 함께 사용될 수 있다.
일 실시예에서, 2개의 프로세스는 병렬로 진행될 수 있다. 예를 들어, 단계(415)에서 발생되는 스펙트럼 표현은 두 단계(435 및 440)로 계속될 수 있다.
단계(420)에서, 수개의 시간 윈도우들(Wi 내지 Wi +j) 내의 신호의 하나 이상의 "써로게이트들"이 생성될 수 있다. 예시의 목적들을 위해, j = 3은 대부분의 예들에서 사용된다. 써로게이트는 써로게이트 후보가 드롭아웃 또는 왜곡의 결과로서 저하되거나 손실되면, 그것이 써로게이트를 디코딩함으로써 대체될 수 있도록 신호의 다른 곳에 임베딩될 수 있는, 신호의 인코딩된 버전, 또는 신호의 요소("써로게이트 후보")를 언급한다. 신호의 다양한 시간 및/또는 주파수 위치들 내의 써로게이트들의 인코딩 및 임베딩은 왜곡들 또는 드롭아웃들의 결과로서 정보 손실을 감소시킬 시에 유용할 수 있는 리던던시를 제공한다. 써로게이트들은 동일한 윈도우 또는 상이한 윈도우 내의 신호의 표현 내에 리던던시를 제공하기 위해 인코딩될 수 있다. 써로게이트들은 주파수 및/또는 시간에 특징지어지는 변환들일 수 있다.
일 실시예에서, 스파스 스펙트럼 표현들은 수개의 시간 윈도우들로부터 신호들을 재생하기 위해 사용된다. 스파스 스펙트럼 표현은 전체 스펙트럼 표현보다 더 적은 스펙트럼 요소들을 사용한다. 스파스 스펙트럼 표현들은 저장을 위해 상당히 더 적은 비트들을 필요로 할 수 있으므로, 수개의 이전 시간 윈도우들로부터의 신호는 윈도우의 이용가능 정보 용량(예를 들어, 대역폭 또는 비트 카운트)을 초과하는 것 없이 인코딩되고 현재 시간 윈도우에 저장될 수 있다.
써로게이트들은 송신된 신호에 스테가노그래피 임베딩되기 위해 인코딩될 수 있다. 스테가노그래피 임베딩(steganographic embedding)에 의해 임베딩된 써로게이트를 디코딩하기 위해 인에이블되지 않은 수신 디바이스의 사용자가 지각할 수 없는 임베딩이 의미된다. 오디오 신호들을 위한 스테가노그래피 임베딩의 하나의 형태는 신호 내의 더 강한 주파수 요소들(예컨대 스펙트럼 피크)에 의해 마스킹되고 인간의 귀에 들리지 않을 수 있지만, 전자 디바이스에 의해 검출되고 디코딩될 수 있는 주파수 요소들에서 써로게이트들을 인코딩하는 것이다. 오디오 신호들을 위한 스테가노그래피 임베딩의 다른 형태는 신호 내의 더 강한 시간 요소들(예컨대 강조된 스피치 사운드)에 의해 마스킹되고 인간의 귀에 들리지 않을 수 있지만, 전자 디바이스에 의해 검출되고 디코딩될 수 있는 시간 요소들에서 써로게이트들을 인코딩하는 것이다. 스테가노그래피의 제3 형태는 송신된 신호의 스펙트럼의 위상 벡터에 써로게이트들을 임베딩할 수 있다. 귀가 귀 내 위상 차이들에 둔감하므로, 송신된 신호 내의 임베딩된 써로게이트들은 인에이블되지 않은 수신기의 사용자에게 들리지 않을 수 있다.
다른 실시예에서, 써로게이트들 각각은 입력 오디오 신호의 강한 주파수 요소의 차폐 범위 내에서 인코딩될 수 있다. 예를 들어, 써로게이트는 인간의 귀에 들리지 않을 수 있지만, 전자 디바이스에 의해 검출되고 디코딩될 수 있도록 써로게이트를 마스킹하기 위해 입력 신호 내의 대응하는 강한 주파수 요소의 미리 결정된 주파수 범위 내에(예를 들어, 50 Hz 위에서, 퍼센티지 위에서 등) 임베딩될 수 있다. 써로게이트는 대응하는 강한 주파수 요소에 대해 미리 결정되거나 동적으로 결정된 세기(예를 들어, 50% 더 낮은 세기, 3 dB 더 낮은 세기 등)에 있을 수 있다. 대응하는 강한 주파수 요소의 마스킹 범위 내에서 써로게이트의 세기, 전력 및/또는 진폭을 최적화하거나 최대화하는 것은 써로게이트가 수신 시에 전자적으로 검출가능하지만 잡음이 송신된 신호에 존재하는 가능성을 개선할 수 있다.
다른 실시예에서, 써로게이트(들)는 강한 사운드의 시간 차폐 범위 내에 써로게이트를 임베딩함으로써, 시간 함수 내에서 인코딩될 수 있다. 써로게이트들은 또한 강한 스펙트럼 및 시간 특징들의 조합을 갖는 사운드들의 시간 및 스펙트럼 차폐 범위 둘 다 내에 임베딩될 수 있다.
일 실시예에서, 써로게이트(들)는 입력 신호의 스펙트럼 표현의 위상 벡터로 인코딩될 수 있다. 특히, 써로게이트의 각각의 구성요소의 진폭 및 주파수는 입력 신호의 스펙트럼 표현 내의 하나 이상의 스펙트럼 성분들의 위상으로 저장될 수 있다. 이러한 실시예는 인간 청각 시스템이 귀 내 위상 차이들에 민감하지 않으므로 수신된 오디오 신호의 지각에 최소 영향을 미칠 수 있다.
다른 실시예에서, 스테가노그래피는 써로게이트(들)(예를 들어, 원래의 주파수, 진폭, 세기, 위상 등)에 관한 데이터를 인코딩하기 위해 사용될 수 있다. 이러한 데이터는 디코딩 동안에 써로게이트를 재생하거나 조정하기 위해 사용될 수 있다.
또 다른 실시예에서, 불가청 범위(예를 들어, + 20 kHz)에 대한 고정 오프셋이 사용될 수 있다.
상기 기술들 중 하나 이상에 대한 조합이 사용될 수 있다. 더욱이, 써로게이트들을 인코딩하는 임의의 다른 적절한 방법은 필요에 따라 및/또는 원하는 대로 사용될 수 있다.
유사한 형태들의 스테가노그래피 임베딩, 예컨대 비디오 이미지 내의 더 강한 이웃 픽셀들에 의해 마스킹되는 픽셀들에 비디오 써로게이트들을 임베딩하는 것은 비디오 신호들과 사용될 수 있다. 디지털화된 신호들의 경우, 오디오 또는 비디오, 써로게이트들은 디지털 오디오 또는 비디오 샘플의 최하위 비트들에 임베딩될 수 있다. 상술한 형태들의 스테가노그래피 임베딩, 또는 다른 스테가노그래피 기술들 중 하나 또는 임의의 조합은 필요에 따라 및/또는 원하는 대로 이용될 수 있다.
오디오 신호들에 대해, 써로게이트 인코딩을 위해 선택되는 신호 요소들(써로게이트 후보)은 주파수 또는 시간 변환들의 파라미터들에 기초하여 선택될 수 있다. 예를 들어, 스파스 스펙트럼 써로게이트는 세기에 기초하여 선택되는 주파수 요소들을 포함할 수 있다. 써로게이트(들)를 결정하는 다른 파라미터들 예컨대 진폭, 전력 등이 사용될 수 있다.
일 실시예에서, 스파스 스펙트럼 써로게이트 내의 주파수 요소들의 수는 미리 결정될 수 있다(예를 들어, 스피치 신호에 대해 16개의 스펙트럼 성분). 다수의 스펙트럼 성분들은 음악을 위해 사용될 수 있다. 다른 실시예에서, 요소들의 수는 동적으로 결정될 수 있고 예를 들어 시간 윈도우에 의해 변화될 수 있다.
윈도우(Wi) 내의 신호(Fini(f))의 윈도우(Wi +1) 내의 써로게이트(Fsi(f))는 예를 들어 미처리된 신호와 지각적으로 구별불가능할 수 있고 윈도우(Wi)에 영향을 미치는 드롭아웃 또는 다른 정보 손실의 경우에 미처리된 신호를 대체하기 위해 사용될 수 있는 Fini(f)의 근사 표현을 제공하기 위해 Fini(f)의 가장 강한 스펙트럼 성분들 중 16 이상을 포함할 수 있다. 현재 윈도우에 앞선 현재 윈도우 또는 하나 이상의 윈도우들 내의 신호의 써로게이트들은 이러한 써로게이트들이 현재 윈도우를 따르는 손실된 윈도우들에서 신호들을 대체할 수 있다는 점에서 정보 손실을 감소시킬 시에 가치가 있다.
단계(425)에서, 써로게이트(들)(Fsi(f))는 메모리에 저장될 수 있다. 일 실시예에서, 써로게이트(들)는 저장 디바이스, 예를 들어, 송신 디바이스의 메모리에 저장될 수 있다. 임의의 적절한 메모리(예를 들어, 원격 또는 로컬)는 필요에 따라 및/또는 원하는 대로 사용될 수 있다.
단계(430)에서, 현재 윈도우를 따르는 이웃 시간 윈도우들에 대응하는 써로게이트(들)는 메모리로부터 검색된다. 이것을 수행하기 위해, 송신되는 신호는 현재 윈도우를 뒤따르는 윈도우들로부터 써로게이트들을 인코딩하기 위해 하나 이상의 윈도우들에 의해 지연된다.
이웃 시간 윈도우들은 예를 들어 시퀀스 내에서 결정적으로 짧은 시간 범위에 의해 분리되는 인접 시간 윈도우들 또는 시간 윈도우들로 간주될 수 있다.
일 실시예에서, 써로게이트(들)는 저장 디바이스, 예를 들어 송신 디바이스의 메모리로부터 검색될 수 있다. 실시예들은 예를 들어 3개의 뒤따르는 이웃 시간 윈도우들에 대응하는 써로게이트(들)(Fsi+1(f), Fsi +2(f), 및 Fsi + 3(f))를 검색할 수 있다. 검색될 수 있는 써로게이트들의 수는 필요에 따라 및/또는 원하는 대로 선택될 수 있다.
단계(435)에서, 이웃 시간 윈도우들로부터의 신호들의 써로게이트들은 현재 시간 윈도우(Wi) 내의 입력 신호(Fini(f))의 스펙트럼 표현 내에 임베딩될 수 있다. 윈도우(Wi)의 송신은 각각 윈도우들(Wi -1, Wi -2 및 Wi -3) 내의 입력 신호들(Fini -1(f), Fini -2(f) 및 Fini -3(f))의 써로게이트들(Fsi -1(f), Fsi -2(f), 및 Fsi -3(f))이 윈도우(Wi)의 입력 신호(Fini(f))에 생성되고, 인코딩되고 임베딩되었을 때까지 지연될 수 있다. 그 결과, 이웃 시간 윈도우들에 대한 신호 요소들은 송신 전에 더 빠른 시간 윈도우들에서 중복 발생되고 임베딩될 수 있다. 유사하게, 현재 시간 윈도우(Wi)에서, 입력 신호(Fini(f))를 표현하는 써로게이트(들)는 더 빠른 시간 윈도우들에 임베딩될 수 있다. 일 실시예에서, 써로게이트들(Fsi +1(f), Fsi +2(f), 및 Fsi+3(f))은 예를 들어 시간 윈도우(Wi +4)에서, 입력 신호(Fini +4(f))의 스펙트럼 표현에 임베딩될 수 있다. 따라서, 결과적인 표현(Fouti +4(f))은 Fini +4(f)에 임베딩되는 수개의 시간 윈도우들에 신호들의 써로게이트(들)를 포함할 수 있다. 따라서, Fouti+4(f) 내의 써로게이트 정보는 정보 손실, 예컨대 윈도우(Wi +1), 및/또는 윈도우(Wi +2), 및/또는 윈도우(Wi+3)의 드롭아웃들을 보상하기 위해, 수신 디바이스에서 나중에 추출되고 디코딩될 수 있다.
일 실시예에서, 써로게이트들의 인코딩은 써로게이트(들)를 디코딩하기 위해 인에이블되지 않는 디바이스를 사용하는 사람이 신호의 양해도 및/또는 사운드 품질의 변화를 지각하지 않게 될 수 있다.
현재 시간 윈도우에 포함되는 신호 요소들의 송신은 써로게이트(들)와 연관되는 생성, 저장, 및 검색을 완료하기 위해 지연될 수 있다. 지연은 드롭아웃들이 발생하기 시작할 때까지 드롭아웃이 있을 것 같지 않고 써로게이트들의 인코딩이 요구되지 않는 것이 공지되면 임의적일 수 있다.
단계(440)에서, 인코딩된 스펙트럼 표현(Fouti(f))은 시간 도메인으로 변환될 수 있다. 일 실시예에서, 역 푸리에 변환은 변환을 위해 이용될 수 있다. 그 결과, 임베딩된 써로게이트들을 갖는 인코딩된 스펙트럼 표현은 시간 함수(fouti(t))에 의해 표현된다. 인코딩된 신호(fouti(t))는 초기 입력 신호(fini(t))와 지각적으로 구별불가능할 수 있다.
일 실시예에서, 역변환은 시간 도메인에 대한 변환을 달성하기 위해 적용될 수 있다. 역변환들의 예들은 역 연속 푸리에 변환들, 역 이산 푸리에 변환들, 역 고속 푸리에 변환들, 역 연속 웨이블릿 변환들, 역 이산 웨이블릿 변환들, 역 고속 웨이블릿 변환들, 및 관련 변환들의 연속, 이산, 단기, 및 고속 역 버전들 예컨대 라플라스, 스틸체스, Z 변환, 힐버트, 가보르, 위그너, 멜린, 및 보렐 변환들 등을 포함하지만, 이들에 제한되지 않는다. 임의적 체크는 수신 디바이스가 시간 도메인 신호 대신에 송신된 신호의 스펙트럼 표현 또는 다른 코딩을 수신할 수 있는지를 판단하기 위해 이루어질 수 있다. 이러한 변환들의 단기 버전들은 유한 지속기간, 예를 들어 20 ms 지속기간의 시간 신호들에 적절하다.
이산 푸리에 변환과 유사한 시간 도메인에서, 위에 설명된 인접 협대역 필터들의 세트의 합산된 출력은 유사한 주파수 대 시간 변환을 제공한다.
일 실시예에서, 역 주파수 대 시간 변환을 적용하기 전에, 써로게이트들은 또한 증폭될 수 있다. 이것은 송신 디바이스가 가능한 최상의 품질 신호를 인에이블된 및/또는 인에이블되지 않은 수신 디바이스에 송신가능하게 할 수 한다.
단계(445)에서, 연속 시간 윈도우들(fouti(t), fouti +1(t), fouti +2(t), fouti+3(t) 등) 내의 시간 신호들은 오디오 신호 송신의 종래의 방법들에 의해 하나 이상의 수신 디바이스들에 송신될 수 있는 연속 출력 시간 함수(fout(t))를 형성하기 위해 함께 연결될 수 있다.
일 실시예에서, fouti(t), fouti +1(t) 및 fouti +2(t)는 fouti +3(t)가 처리될 때까지 메모리에 저장될 수 있다. j 윈도우들의 지연은 j 연속 윈도우들와 동수를 수반하는 왜곡들 또는 드롭아웃들이 예상되면 사용될 수 있다. 디바이스의 메모리 용량은 j까지의 윈도우들을 저장하고 처리가능할 수 있다. 예를 들어, j 윈도우들(fouti(t) 및 fouti+1(t))의 지연이 연결될 수 있는 후에, 다음에 송신되는 연속 시간 함수(fout(t))를 형성하기 위해 fouti +1(t) 및 fouti +2(t)가 연결될 수 있으며, fouti +2(t) 및 fouti +3(t)가 연결될 수 있는 등등일 수 있다.
fouti(t), fouti +1(t), fouti +2(t) 및 fouti +3(t)가 함께 연결될 때, 인접 시간 윈도우들 사이의 경계들에서의 불연속성들은 가청 클릭들을 야기할 수 있다. 오버랩-애드로 공지되어 있는 스무딩 오퍼레이션은 인접 시간 윈도우들 사이의 경계들에서 불연속성들을 제거하기 위해 신호 처리에 통상 사용된다. 방법은 윈도우들이 오버랩되도록 채널 1 내의 윈도우들의 시작 지점들이 채널 2 내의 동시 윈도우의 중앙에 발생하면서 신호들이 2개의 병렬 채널들에서 분석되는 것을 필요로 한다. 일 실시예에서, 예를 들어 25% 오버랩을 갖는 오버랩-애드 절차가 사용될 수 있으며 여기서 채널 1 내의 윈도우(Wi+1)의 첫번째 쿼터는 채널 2 내의 윈도우(Wi +2)의 마지막 쿼터를 오버랩하고 채널 2 내의 윈도우(Wi+1)의 마지막 쿼터는 채널 1 내의 윈도우(Wi)의 첫번째 쿼터를 오버랩한다. 2개의 채널들의 출력의 가중된 합은 순조로운 전이를 채널 1 내의 윈도우(Wi)로부터 채널 2 내의 윈도우(Wi+1)로 제공하고 채널 1 내의 윈도우(Wi+1)로부터 채널 2 내의 윈도우(Wi+2)로 제공한다. 오버랩-애드 절차가 윈도우 경계들에서 지각가능 불연속성들을 감소시키거나 제거할 수 있지만, 윈도우들의 오버랩 영역들에 임베딩되는 써로게이트들은 왜곡될 수 있다. 25%의 경우 각각의 시간 윈도우의 오버랩 절반은 오버랩-애드 절차에 의해 변경되지 않는다.
25% 미만의 오버랩이 오버랩-애드 절차에 사용되면, 각각의 시간 윈도우의 대응적으로 더 큰 부분은 오버랩-애드 절차에 의해 변경되지 않지만, 윈도우 경계들에서의 불연속성들은 지각가능할 수 있다. 오버랩-애드의 종래의 방법은 윈도우의 각각의 절반에 대해 50% 오버랩을 사용한다. 이러한 조건에 대해, 임베딩된 써로게이트들의 모두가 왜곡될 수 있다.
일 실시예에서, 종래의 이산 푸리에 변환의 수정은 오버랩-애드 절차 후에 여전히 손상되지 않은 절반 윈도우 내의 시간 신호로부터 써로게이트들을 디코딩하기 위해 사용될 수 있다. 종래의 이산 푸리에 변환이 이러한 절반 윈도우에서 신호의 스펙트럼을 획득하기 위해 사용되면, 유도된 이산 주파수 스펙트럼 내의 주파수 요소들 사이의 간격은 전체 윈도우로부터의 시간 신호에 대한 이산 스펙트럼의 것에 두배일 수 있다. 따라서, 주파수 요소들의 더 넓은 간격을 이산 주파수 스펙트럼에서 써로게이트를 포함하는 주파수 요소는 또한 써로게이트가 전체 윈도우에 대한 이산 주파수 스펙트럼에 초기에 임베딩된 때 써로게이트를 포함하는 약한 주파수 요소를 마스킹하는 이웃의 강한 주파수 요소에 신호의 일부를 포함할 것이다.
일 실시예에서, 손상되지 않은 절반 윈도우로부터의 시간 신호의 부분은 전체 윈도우의 것과 지속기간에 있어서 같은 시간 신호를 획득하기 위해 반복될 수 있다. 이러한 시간 신호의 스펙트럼은 써로게이트들이 임베딩되었던 이산 주파수 스펙트럼의 것과 동일한 간격을 갖는 주파수 요소들을 가질 것이다. 수정된 이산 푸리에 변환은 손상되지 않은 써로게이트들을 추출하기 위해 이러한 이산 주파수 스펙트럼을 유도하는데 사용될 수 있다. 이산 푸리에 변환은 시간 신호에 직교 정현파 함수들의 세트를 곱하고 그 다음에 각각의 주파수에서 곱들의 합을 획득한다. 수정된 이산 푸리에 변환에서 직교 정현파 함수들의 세트는 정현파 함수들의 세트의 두번째 절반이 첫번째 절반의 반복이라는 점에서 분석되는 시간 신호와 동일한 구조를 갖는다. 반복된 정현파 함수들의 세트의 직교성을 유지하기 위해, 세트 내의 최저 주파수의 홀수 배수인 각각의 주파수 요소는 세트의 두번째 절반에 대한 부호가 반대이다. 이러한 수정은 정현파 함수들의 홀수 짝수 대칭을 이용한다.
전체 크기 윈도우를 생성하기 위해 절반 윈도우를 반복함으로써, 오버랩-애드 스무딩 오퍼레이션 전에 원래의 전체 윈도우에 포함되는 정보의 절반이 손실될 수 있다. 손상되지 않은 절반 윈도우로부터의 반복된 시간 신호의 스펙트럼이 수정된 이산 푸리에 변환을 사용하여 유도될 때, 최저 주파수의 홀수 배수들인 주파수들을 갖는 그러한 이산 주파수 요소들은 균일하게 제로일 것이다.
25% 오버랩이 윈도우 경계들에서 지각가능 불연속성들을 제거하기 위해 오버랩-애드 절차에 사용되는 일 실시예에서, 써로게이트들은 윈도우 내의 최저 주파수의 짝수 배수들인 주파수 요소들로 인코딩될 수 있다.
일 실시예에서, 역 주파수 대 시간 변환을 적용한 후에, 윈도우의 시작을 식별하는 써로게이트는 변환된 시간 신호에 삽입될 수 있다. 이것은 예를 들어 마스킹의 시간적 스프레드를 사용하여 수행될 수 있다.
윈도우 경계들에서 지각가능 불연속성들을 제거하는 스무딩 후에 및 fout(t)를 송신하기 전에, 이전 분석에 사용되는 윈도우들의 시작 샘플들을 식별하는 써로게이트들은 fout(t)로 인코딩될 수 있다. 써로게이트는 평균적으로, 윈도우의 지속기간에 대응하는 간격들로 인코딩되며, 일부 자유는 써로게이트가 공칭 인코딩 시간의 하나의 윈도우 지속기간 내에서 fout(t)의 가장 강한 시간 세그먼트로 인코딩되는 것을 허용한다.
다양한 기술들은 (예를 들어, 구성요소가 추가 명령어들을 획득할 수 있고, 원격 메모리 스토어들을 액세스하고 사용할 수 있는 등 하도록) 구성요소들이 필요에 따라 및/또는 원하는 대로 임의의 다른 구성요소와 통신하는 것을 허용할 뿐만 아니라 다양한 구성요소들(예를 들어, 프로세서들, 메모리들 등) 사이에 통신을 제공하기 위해 사용될 수 있다. 그러한 통신을 제공하기 위해 사용되는 그러한 기술들은 예를 들어 네트워크, 인터넷, 인트라넷, 엑스트라넷, LAN, 이더넷, 셀룰러 타워 또는 위성을 통한 무선 통신, 또는 통신을 제공하는 임의의 클라이언트 서버 시스템을 포함할 수 있다. 그러한 통신 기술들은 예를 들어 임의의 적절한 프로토콜 예컨대 TCP/IP, UDP, 또는 OSI를 사용할 수 있다. 따라서, 다양한 상이한 구성들이 고려된다.
일 실시예에서, 수신 및 송신 디바이스들에 관한 정보는 예를 들어 초기 설정 동안, 주기적 테스팅, 피드백 평가 등 동안을 포함하여, 통신의 임의의 부분에서 교환될 수 있다.
도 5는 일 실시예에 따른 인접 시간 윈도우들의 시퀀스 내에서 콘텐츠 및 신호 처리를 예시하며, 4개의 연속 시간 윈도우들 내의 신호의 써로게이트들은 송신되는 신호에 임베딩된다. 이러한 예는 3개의 세그먼트들 또는 시간 윈도우들에 대한 3개의 써로게이트들의 사용을 예시하지만, 사용되는 세그먼트들/시간 윈도우들 및/또는 써로게이트들의 수는 필요에 따라 및/또는 원하는 대로 선택될 수 있다는 점이 이해되어야 한다. 게다가, 일 실시예에서, 비연속 시간 윈도우들/세그먼트들, 다른 신호들 내의 시간 윈도우들/세그먼트들 등은 또한 필요에 따라 및/또는 원하는 대로 사용될 수 있다.
행 1(515)에서, 5개의 인접 시간 윈도우들(Wi, Wi+1, Wi+2, Wi+3 및 Wi+4)이 식별된다. Wi +1은 현재 시간 윈도우(Wi) 직후의 시간 윈도우이다. 윈도우(Wi+2)는 윈도우(Wi+1)를 따르고, 윈도우(Wi+3)는 윈도우(Wi+2)를 따르고, 윈도우(Wi+4)는 윈도우(Wi+3)를 따른다.
행 2(520)에서, 각각의 대응 시간 윈도우(fini(t), fini +1(t), fini +2(t), fini+3(t) 및 fini +4(t)) 각각에서, 신호 프로세서(예를 들어, 송신기)에 전송되는 입력 오디오 신호들 각각이 식별될 수 있다.
행 3(525)에서, 각각 입력 시간 함수들(Fini(f) 내지 Fini +4(f))의 스펙트럼 표현들이 식별될 수 있다.
행 4(530)에서, 직전 시간 윈도우 내의 신호들의 써로게이트들이 식별될 수 있다. 예를 들어, 윈도우(Wi +1)는 직전 윈도우에 신호(Fini(f))의 써로게이트(F Si(f))를 포함할 수 있고; 윈도우(Wi+2)는 직전 윈도우에서 신호(Fini +1(f))의 써로게이트(Fsi+1(f))를 포함할 수 있고; 윈도우(Wi+3)는 직전 윈도우에서 신호(Fini +2(f))의 써로게이트(Fsi+2(f))를 포함할 수 있고; 윈도우(Wi+4)는 직전 윈도우에서 신호(Fini +3(f))의 써로게이트(Fsi+3(f))를 포함할 수 있다. 신호들 및 그들의 써로게이트들은 신호 처리의 대부분이 주파수 도메인에 있으므로 그들의 주파수 표현들에 관해 지정될 수 있다. 스파스 스펙트럼 표현들은 수개의 써로게이트들이 각각의 윈도우에 송신되는 신호에 임베딩될 필요가 있으므로 써로게이트들을 위해 사용된다. 실질적으로 더 적은 비트들은 스파스 스펙트럼 표현을 위해 요구될 수 있는 것에 의해, 수개의 써로게이트들이 송신된 신호에 효율적으로 임베딩되는 것을 허용한다.
행 5(535)에서, 관심 있는 시간 윈도우보다 후속하여 2개의 시간 윈도우 뒤에 있는 시간 윈도우 내의 신호들의 써로게이트들이 식별될 수 있다. 예를 들어, 윈도우(Wi+1)는 Wi +1보다 2개의 윈도우 뒤에 있는 신호(Fini - 1(f))의 써로게이트(Fsi- 1(f))를 포함할 수 있다. 윈도우(Wi+2)는 Wi +2보다 2개의 윈도우 뒤에 있는 신호(Fini(f))의 써로게이트(Fsi(f))를 포함할 수 있다. 윈도우(Wi+3)는 Wi +3보다 2개의 윈도우 뒤에 있는 신호(Fini + 1(f))의 써로게이트(Fsi+1(f))를 포함할 수 있다. 윈도우(Wi+4)는 Wi +4보다 2개의 윈도우 뒤에 있는 신호(Fini + 2(f))의 써로게이트(Fsi+2(f))를 포함할 수 있다.
행 6(540)에서, 관심 있는 시간 윈도우보다 후속하여 3개의 시간 윈도우 뒤에 있는 시간 윈도우 내의 신호들의 써로게이트들이 식별될 수 있다. 예를 들어, 윈도우(Wi+1)는 Wi +1보다 3개의 윈도우 뒤에 있는 신호(Fini - 2(f))의 써로게이트(Fsi- 2(f))를 포함할 수 있다. 윈도우(Wi+2)는 Wi +2보다 3개의 윈도우 뒤에 있는 신호(Fini-1(f))의 써로게이트(Fsi-1(f))를 포함할 수 있다. 윈도우(Wi+3)는 Wi +3보다 3개의 윈도우 뒤에 있는 신호(Fini(f))의 써로게이트(Fsi(f))를 포함할 수 있다. 윈도우(Wi+4)는 각각 Wi +4보다 3개의 윈도우 뒤에 있는 신호(Fini + 1(f))의 써로게이트(Fsi+1(f))를 포함할 수 있다.
행 7(550)에서, 출력 신호들 Fouti +1(f) 내지 Fouti +4(f)의 스펙트럼(545)이 각각 식별될 수 있다. 예를 들어, Fouti +4(f)는 윈도우(Wi +4) 내의 3개의 써로게이트들(Fsi+1(f), Fsi +2(f) 및 Fsi + 3(f))이 스테가노그래피 임베딩되는 입력 신호(Fini+4(f))의 스펙트럼을 포함할 수 있다.
행 8(550)에서, 각각 시간의 함수들로 지정되는 출력 신호들(fouti +1(t) 내지 fouti+4(t))이 식별될 수 있다. 그 다음, 이러한 신호들이 송신될 수 있다.
이러한 예시적 실시예에서, 시간 윈도우(Wi+4)에서의 송신된 출력 신호(fouti +4(t))는 각각 시간 윈도우들(Wi+1, Wi+2 및 Wi+3)에서의 입력 신호들(Fini +1(f), Fini +2(f) 및 Fini +3(f))의 써로게이트들(Fsi +1(f), Fsi +2(f) 및 Fsi +3(f))을 포함한다. 이러한 시간 윈도우들 중 어느 것에서의 정보가 (예를 들어, 통신 드롭아웃, 심각한 신호 왜곡, 또는 임의의 다른 형태의 정보 손실의 결과로) 손실되면, 손실된 윈도우에 대응하는 써로게이트는 손실된 정보를 대체하기 위해 사용될 수 있다.
정보 손실의 더 긴 기간들은 다수의 통신 드롭아웃들로 인해, 예를 들어 송신 경로 내의 하나보다 많은 시간 윈도우에 잠재적으로 영향을 미칠 수 있다. 그러나, 일 실시예에서, 다수의 이웃 시간 윈도우들의 다수의 써로게이트들을 인코딩하는 것은 정보 손실의 긴 기간들에서 정보 손실을 감소시킬 수 있다.
행 8(550)에서, 오디오 신호의 특징을 이루는 신호 표현의 송신이 식별된다. 송신되는 오디오 신호는 일 실시예에 따라, 다수의 이웃 시간 윈도우들에서 입력 신호에 근사할 수 있는 하나 이상의 써로게이트(들)를 포함할 수 있다. 각각의 시간 윈도우는 시간 윈도우 내에서 식별되는 신호 요소들의 특징을 이루는 이산 신호 요소들을 포함할 수 있다. 특히, 예를 들어 시퀀스에서, 인접 시간 윈도우들(Wi +1, Wi +2, Wi +3, 및 Wi +4) 각각에 관한 정보를 포함할 수 있는 다수의 신호 표현들은 시간 지속기간 동안 송신될 수 있다. 일 실시예에서, 윈도우(Wi +4) 내의 신호 표현(fouti +4(t))은 시간 도메인에서, 시간 윈도우들(Wi +1, Wi +2 및 Wi +3) 내에 포함되는 신호 요소들; 예를 들어, fini +4(t)의 스펙트럼 표현으로 인코딩되는 임베딩된 써로게이트들(Fsi+1(f), Fsi+2(f) 및 Fsi+3(f))을 포함한다.
예를 들어, 인코딩 함수(C[Fini(f)])는 Fouti(f)를 생성하기 위해 Fini(f)의 위상 벡터로 써로게이트(들)를 인코딩할 수 있다. 이것은 Fini(f)의 위상 벡터로 각각의 대응 써로게이트(주파수 및 진폭)의 코디네이트들을 인코딩함으로써 달성될 수 있다. 따라서, 인코딩된 결과적인 스펙트럼 표현(Fouti(f))이 생성될 수 있다. 이러한 예에서, 위상 벡터를 조작하는 것은 귀가 귀 내 위상 차이들에 민감하지 않으므로 Fouti(f)의 지각에 거의 영향을 미치지 않을 수 있다.
송신 디바이스에서, 또는 송신 전에, 연결 시간 윈도우들(W1, W2 ... Wi) 내의 시간 신호들은 다른 디바이스로의 송신을 위해, 연속 시간 신호(fout(t))를 형성하기 위해 함께 결합될 수 있다. fout(t)의 스펙트럼으로 인코딩되는 다수의 써로게이트들을 포함하는, 결과적인 인코딩된 신호(fout(t))의 시간 표현은 수신 디바이스 또는 다른 신호 프로세서에 나중에 송신될 수 있다. 따라서, 수신 디바이스/신호 프로세서는 frcvd(t)를 수신할 수 있으며, 여기서 frcvd(t) = fout(t) + fN(t)이며, frcvd(t)는 수신기에 의해 수신되는 신호이고; fout(t)는 송신기에 의해 송신되는 신호이고 fN(t)은 송신 경로에서 취득되는 잡음이다. 또한, frcvd(t)가 fout(t) + 일부 잡음(fN(t))을 포함하고; fout(t)가 fin(t)의 스펙트럼 표현으로 인코딩되는 써로게이트들을 갖는 fin(t), 또는 써로게이트들을 인코딩하는 일부 다른 스테가노그래피 방법을 포함하므로, 인코딩된 써로게이트들은 또한 일부 잡음을 가질 수 있다. 써로게이트들은 이전 시간 윈도우들 중 어느 것 또는 모두의 경험된 정보 손실, 예컨대 통신 드롭아웃들의 경우에 수신된 시간 윈도우들(Wi-1, Wi-2, ... Wi-j)로부터 신호 요소들을 거의 재생성하기 위해 사용될 수 있는 리던던트 신호 정보를 포함한다.
다른 실시예에서, 써로게이트들은 시간 윈도우들(Wi+1, Wi+2, ... Wi+j)에서 반대 시퀀스로 수신될 수 있다.
일 실시예에서, 송신 리던던시는 다수의 시간 윈도우들에 걸쳐 써로게이트들의 다수의 인스턴스들을 송신함으로써 달성될 수 있다. 신호들의 다수의 써로게이트들을 송신할 시에 달성되는 리던던시는 정보 손실을 더 보상할 수 있다. 시간 윈도우들의 수를 증가시키는 것은 부가 메모리를 필요로 할 수 있는 부가 써로게이트들의 형태로 부가 리던던시를 필요로 할 수 있고 써로게이트들을 추출하고 디코딩할 시에 더 긴 시간 지연을 필요로 할 수 있다. 예를 들어, 통신 드롭아웃은 J 시간 윈도우들에 걸치는 지속기간 동안 경험될 수 있다. 모든 J 윈도우들의 통신 드롭아웃을 포함하는, J 윈도우들의 임의의 조합을 수반하는 통신 드롭아웃을 보상하는 것은 J 써로게이트들의 저장 및 인코딩 및 J 윈도우들의 지속기간과 같을 수 있는 지연을 필요로 할 수 있다. 다른 실시예에서, 지연은 J 윈도우들보다 더 짧거나 더 길 수 있다.
다수의 써로게이트들은 각각의 써로게이트를 인코딩하기 위해 더 적은 비트들을 사용하여 송신된 신호에 임베딩될 수 있다. 써로게이트들을 인코딩하는 비트들의 수를 감소시키는 것은 더 긴 지속기간의 드롭아웃들이, 복구된 신호의 감소된 품질의 희생만으로 커버되는 것을 허용한다. 일 실시예에서, 써로게이트들은 복구된 신호의 품질이 짧은 지속기간의 드롭아웃들에 대한 왜곡이 없는 연속된 송신 신호와 지각적으로 구별불가능한 적응 전략을 사용하여 인코딩될 수 있다. 긴 지속기간의 드롭아웃들에 대해, 써로게이트들의 적응 인코딩은 복구된 신호가 감소된 신호 품질에 대해서만 중단 없이 이해할 수 있도록 구현될 수 있다.
일 실시예에서, 송신 경로 내의 정보 손실에 다른 방법으로 영향을 받을 수 있는 신호의 부가 코딩은 필요에 따라 및/또는 원하는 대로 제공될 수 있다.
일 실시예에서, 다수의 인접 시간 윈도우들에 걸치는 드롭아웃 동안에 손실될 수 있는 신호 정보에 대한 보상은 수신 디바이스에 의해 수신되는 적어도 하나의 윈도우가 드롭된 시간 윈도우(들)의 써로게이트(들)를 포함하면 제공될 수 있다. 일 실시예에서, 수신 디바이스는 다수의 써로게이트들이 손실된 신호 정보의 더 좋은 근사를 제공하기 위해 수신됨에 따라 다수의 써로게이트들을 조합할 수 있다.
써로게이트들(Fsi+1(f))의 3개의 개별 버전들은 3개의 인접 윈도우들(Wi +2, Wi+3 및 Wi +4)의 그룹에 이용가능하다. 윈도우(Wi+1)의 통신 드롭아웃으로부터의 정보 손실은 윈도우(Wi+4)가 처리될 때 다루어질 수 있다. 윈도우(Wi+4)가 처리될 때 윈도우(Wi+1)의 드롭아웃을 보상하는 것은 3개의 시간 윈도우들의 지속기간과 같은 시간 지연을 도입할 수 있다.
더 적은 윈도우들에서 신호들의 써로게이트들을 이용하는 일 실시예는 정보 손실을 보상할 시에 시간 지연을 축소하지만, 잠재적 드롭아웃들 및 다른 형태들의 정보 손실을 감소시킬 시에, 특히 하나보다 많은 이웃 시간 윈도우가 드롭아웃 또는 정보 손실을 받으면 유효성을 축소할 수 있다.
다수의 시간 윈도우들로부터의 써로게이트들의 사용은 하나보다 많은 이웃 시간 윈도우를 수반하는 정보 손실을 감소시킬 시에 유효성을 개선할 뿐만 아니라, 그것은 또한 송신 경로에서 취득되는 잡음이 수신된 신호에서 신호 대 잡음 비를 감소시키고, 부수적으로, 대응 써로게이트들에서 신호 대 잡음 비를 감소시키므로 수신된 신호들의 신호 대 잡음 비를 개선한다. 상이한 시간 윈도우들로부터 공통 써로게이트들을 평균화하는 것은 신호 대 잡음 비를 개선하는 효율적인 방식이다. 공통 써로게이트들을 조합하는 부가 방법들은 필요에 따라 및/또는 원하는 대로 사용될 수 있다.
도 6은 일 실시예에 따른 수신 디바이스에서 정보 손실을 감소시키는 방법을 도시한다. 도 4와 같이, 및 편의상, 이러한 방법은 신호 시간 윈도우들을 사용하여 설명되며; 이러한 방법은 시간 윈도우들의 사용에 제한되지 않고, 그것은 신호 세그먼트들, 신호 부분들 등에 사용될 수 있다는 점이 인식되어야 한다.
이러한 수신 디바이스에 대한 입력은 위에 설명된 바와 같이 인코딩되고 송신되는 신호일 수 있다. 예시의 목적들을 위해, 신호는 3개의 이웃 윈도우들에 대한 인코딩된 써로게이트들을 포함한다. 도 6에 도시된 수신 디바이스는 신호의 다른 부분들로 인코딩되는 신호 세그먼트들의 써로게이트들과 임베딩되는 신호를 수신하고 디코딩한다.
단계(605)에서, 신호는 수신 디바이스에 의해 수신되고 감시될 수 있다. 일 실시예에서, 수신된 오디오 신호는 시간 함수(frcvd(t))로 수신되며 frcvd(t)는 송신된 신호(fout(t)) + 잡음(fN(t))과 같으며, 그것은 송신 경로에서 취득될 수 있다. 다른 실시예에서, 신호는 수신 디바이스의 능력에 적절한 재생된 신호, 스파스 스펙트럼 표현, 또는 다른 코딩으로 수신될 수 있다.
단계(610)에서, 수신 디바이스가 인에이블되거나 인코딩된 써로게이트들을 다른 방법으로 디코딩할 수 있는지를 판단하기 위해 결정이 이루어질 수 있다.
일 실시예에서, 수신 디바이스가 인에이블되지 않는 것으로 결정되면, 신호는 단계(660)에서 써로게이트들의 처리 또는 디코딩 없이 출력된다.
다른 실시예에서, 디바이스가 인에이블된 디바이스 또는 인에이블되지 않은 디바이스라는 가정이 이루어질 수 있다. 이것은 예를 들어 통신 네트워크, 디바이스 타입 등에 기초할 수 있다. 다른 실시예에서, 디폴트 타입의 수신 디바이스가 사용될 수 있다.
일 실시예에서, 수신 디바이스가 인에이블된 수신 디바이스인 것으로 결정되면, 단계(615)에서, 수신 디바이스는 정보 손실이 하나 이상의 시간 윈도우들 동안에 검출되는지를 판단한다. 예를 들어, 정보 손실을 경험하는 인접 시간 윈도우들의 수, 또는 이전 송신들에 기초하여 정보 손실을 경험할 가능성이 있는 인접 시간 윈도우들의 예상된 수는 이하의 시간 윈도우들이 정보 손실을 최소화하기 위해 써로게이트들을 얼마나 많이 필요로 하는지를 판단하기 위해 사용될 수 있다. 이러한 판단은 써로게이트들을 인코딩하고 송신할 시에 시간 지연을 감소시키기 위해 동적으로 수행될 수 있다. 시간 윈도우들의 수를 결정하는 다른 방법들 및 기술들은 필요에 따라 및/또는 원하는 대로 사용될 수 있다.
일 실시예에서, 정보 손실은 감지된 통신 중단, 정보의 부분 손실, 지정된 시간 기간 동안에 수신되지 않는 정보, 송신기로부터 수신되는 표시 등에 기초하여 결정될 수 있다. 상술한 종래의 정보 손실 검출 기술들, 또는 다른 기술들 중 하나 또는 임의의 조합은 필요에 따라 및/또는 원하는 대로 이용될 수 있다.
일 실시예에서, 정보 손실(예를 들어, 통신 드롭아웃)이 수신 디바이스에 의해 감지되지 않으면(예를 들어, 정보가 손실된 표시 없음), 이때 수신 디바이스는 써로게이트들을 디코딩하는 처리 없이 단계(660)에서 리스너를 위한 신호를 출력할 수 있다. 신호 품질을 개선하는 임의의 다른 신호 처리는 필요에 따라 및/또는 원하는 대로 적용될 수 있다.
일 실시예에서, 신호가 스펙트럼 표현으로 수신되면, 이때 역변환은 단계(660)에서 시간 도메인 신호가 사용자를 위해 출력되기 전에 신호 품질을 개선하기 위해 필요하고 및/또는 요구될 수 임의의 다른 신호 처리와 함께 적용될 수 있다.
단계(620)에서, 수신된 신호(frcvd(t))는 인접 시간 윈도우들의 시퀀스로 분할될 수 있다. 입력 신호(frcvd(t))는 인접 시간 윈도우들(W1, W2, W3, ... Wi)의 시퀀스로 분할될 수 있다, 시간 윈도우(Wi) 내의 시간 함수는 frcvdi(t)에 의해 표현된다. 이와 같이 식별되는 윈도우들은 송신 디바이스에서 시간 윈도우들과 동기화된다. 윈도우(Wi +4) 내의 시간 신호(frcvdi +4(t))는 fouti +4(t) + 일부 잡음(fNi +4(t))을 포함하고, fouti +4(t)는 fini +4(t)의 스펙트럼 표현, 또는 써로게이트들을 인코딩하는 일부 다른 스테가노그래피 방법으로 인코딩되는 써로게이트들(Fsi +1(f), Fsi +2(f) 및 Fsi +3(f))과 함께 fini +4(t)를 포함한다. 써로게이트들은 이전 시간 윈도우들 중 어느 것 또는 모두에서, 경험된 정보 손실, 예컨대 통신 드롭아웃들, 왜곡 등의 경우에, 적어도, 수신된 시간 윈도우들(Wi +1, Wi +2 및 Wi +3)로부터 신호 요소들을 거의 재생성하기 위해 잠재적으로 사용될 수 있는 리던던트 신호 정보를 포함한다.
일 실시예에서, frcvd(t)의 강한 시간 세그먼트들로 인코딩되는 적어도 하나의 써로게이트는 송신 디바이스에 의해 사용되는 시간 윈도우들의 초기 샘플들을 식별하기 위해 식별되고 디코딩될 수 있다. 이러한 정보는 frcvd(t)를 송신 디바이스에 의해 사용되는 대응 시간 윈도우들과 동기화되는 인접 시간 윈도우들(W1, W2, W3, ... Wi)의 시퀀스로 분할하기 위해 사용될 수 있으며 Wi 내의 시간 신호는 frcvdi(t)에 의해 표현된다. 각각의 시간 윈도우 내의 샘플들의 수는 공지되어 있으므로, 윈도우의 시작 샘플을 디코딩할 시의 에러들은 이웃 윈도우들의 초기 샘플들에 관한 데이터로부터 정정될 수 있다.
단계(625)에서, 신호 분석은 시간 함수를 주파수 도메인에 특징이 있을 수 있는 스펙트럼 표현으로 변환하기 위해 수신된 신호 frcvdi(t) 상에 수행될 수 있다. 변환은 frcvdi(t)의 시간 대 주파수 변환에 의해 달성될 수 있다. 써로게이트들을 인코딩할 시에 사용되는 동일한 변환은 위에서 식별된 바와 같이, 신호(Frcvdi(f))의 스펙트럼 표현을 발생시키기 위해 사용될 수 있다. 그 후, Frcvdi(f)는 신호 및 연관된 써로게이트(들)의 추가 분석을 위해 이용될 수 있다.
단계(630)에서, 시작 샘플을 식별하는 시간 함수 내의 적어도 하나의 써로게이트는 또한 주파수 요소들에 임베딩되는 다른 써로게이트들을 발견하는 정보를 차례로 포함하는 써로게이트를 포함하는 주파수 요소를 식별할 수 있다.
단계(635)에서, 하나 이상의 써로게이트들은 스펙트럼 표현(Frcvdi(f))으로부터 추출될 수 있다. 써로게이트들을 추출하고 디코딩하는 것은 강한 주파수 요소들의 마스킹 범위에서 또는 위상 벡터에서, 또는 주파수 대역 오프셋들 등에서 써로게이트(들)를 식별함으로써 달성될 수 있다.
일 실시예에서, 다수의 이웃 시간 윈도우들로부터의 써로게이트들(Fsi +1(f), Fsi+2(f) 및 Fsi +3(f))은 표현(Frcvdi +4(f))으로부터 추출될 수 있다. 추출 후에 잔존하는 스펙트럼 성분들(즉, 써로게이트들이 없는 신호)은 스펙트럼(Ftempi+4(f))을 포함할 수 있으며, Ftempi +4(f)는 Fini +4(f) + 송신 경로(FNi +4(f))에서 취득되는 잡음과 같다.
일 실시예에서, 메모리는 다수의 이웃 시간 윈도우들에 대해 연관되는 일시적 스펙트럼들을 저장하는데 이용될 수 있다. 예를 들어, 일시적 스펙트럼들(Ftempi +1(f), Ftempi +2(f) 및 Ftempi +3(f))은 수신 디바이스의 메모리에 저장될 수 있다. 임의의 적절한 메모리(즉, 원격 또는 로컬)는 필요에 따라 및/또는 원하는 대로 사용될 수 있다. 일 실시예에서, 적층된 메모리(예를 들어, 선입 선출)는 새로운 일시적 스펙트럼들이 저장됨에 따라, 더 오래된 일시적 스펙트럼들이 폐기될 수 있도록 사용될 수 있다.
단계(640)에서, 추출된, 또는 디코딩된 써로게이트들(Fsi +1(f), Fsi +2(f) 및 Fsi+3(f))은 메모리에 저장될 수 있다. 일 실시예에서, 써로게이트(들)는 저장 디바이스, 예컨대 송신 디바이스의 메모리에 저장될 수 있다. 임의의 적절한 메모리(즉, 원격 또는 로컬)는 필요에 따라 및/또는 원하는 대로 사용될 수 있다. 일 실시예에서, 적층된 메모리(예를 들어, 선입 선출)는 새로운 써로게이트들이 저장됨에 따라, 더 오래된 써로게이트들이 폐기될 수 있도록 사용될 수 있다.
일 실시예에서, 메모리는 다수의 이웃 시간 윈도우들로부터의 추출된 써로게이트들을 저장하는데 이용될 수 있다. 예를 들어, 써로게이트들(Fsi +1(f), Fsi +2(f) 및 Fsi +3(f))은 도 5에서 식별되는 바와 같이 각각 윈도우들(Wi +2, Wi +3 및 Wi +4)로부터 추출되고, 메모리에 저장될 수 있다(640).
메모리에서, 써로게이트들(Fsi -1(f), Fsi(f) 및 Fsi +1(f))이 또한 저장될 수 있다. 예를 들어, 도 5에 도시된 바와 같이, 이러한 써로게이트들은 윈도우(Wi +2)와 연관된다. 윈도우(Wi+3)와 연관하여, 써로게이트들(Fsi(f), Fsi +1(f), 및 Fsi+2(f))이 저장될 수 있고 도 5에서 윈도우(Wi +4)로 식별되는 써로게이트들(Fsi +1(f), Fsi +2(f), 및 Fsi +3(f))이 저장될 수 있다. 그러므로, 개별 윈도우들로 수신될 수 있었던 다수의 버전들의 써로게이트(Fsi +1(f))(즉, 시간 윈도우들(Wi +2, Wi+3 및 Wi +4) 내의 신호의 써로게이트들)가 디코딩되고 신호 요소 정보가 나중에 조합될 수 있는 것에 의해, 필요하면, 윈도우(Wi+1)에서 정보의 손실을 보상한다. 개별 시간 윈도우들로부터의 써로게이트(Fsi+1(f))의 버전들은 송신 경로에서 취득되는 잡음의 결과로서 약간 다를 것이다. Fsi +1(f)의 개별 버전들은 송신 프로세스에서 취득되는 잡음을 감소시키기 위해 조합될 수 있다.
단계(645)에서, 일시적 스펙트럼(Ftempi +1(f))은 메모리로부터 검색되고(650) 써로게이트(Fsi+1(f))의 대응하는 이용가능 버전들(즉, 윈도우들(Wi+2, Wi+3 및 Wi+4)로부터 획득되고 메모리에 저장되는 바와 같은 Fsi +1(f)의 개별 버전들)은 메모리로부터 검색된다.
단계(655)에서, 다수의 써로게이트들은 윈도우(Wi+1)가 통신 드롭아웃 또는 다른 형태의 정보 손실을 받으면 임의의 손실된 정보를 대체하기 위해 사용될 수 있다. 손실된 정보는 3개의 Fsi +1(f) 써로게이트들 중 2개가 또한 손실될지라도 수개의 이웃 윈도우들이 통신 드롭아웃을 받으면 검색될 수 있다. 다른 실시예에서, Fsi +1(f)의 하나보다 많은 버전이 이용가능하면, Fsi +1(f)의 개별 버전들은 송신 프로세스에서 취득되는 잡음을 감소시키기 위해 조합될 수 있다. 위에 논의된 바와 같이, 써로게이트들은 또한 송신 프로세스에서 취득되는 일부 잡음을 가질 수 있다. 조합된 Fsi +1(f) 써로게이트(들)는 정보 손실로 인해 입력 신호(예를 들어, 스피치)의 생략된 신호 요소들을 대체하기 위해 더 정확한 근사를 재발생시키도록 이용될 수 있다.
일 실시예에서, 정보 손실이 없지만, 수신된 신호가 송신 프로세스에서 일부 잡음을 취득했으면, 이때 또한 Fini +1(f)의 추정값들인, 추정된 신호(Fini +1(f)) 및 그것의 써로게이트(Fsi+1(f))의 3개의 버전들의 평균값은 개선된 신호 대 잡음 비를 갖는 Fini + 1(f)를 획득하기 위해 평균화될 수 있다.
수신된 신호(frcvd(t))는 송신된 시간 윈도우들과 동기화되는 일련의 시간 윈도우들로 구성된다. 정보 손실, 예컨대 드롭아웃이 있으면, 윈도우(Wi) 내의 수신된 신호(frcvdi(t))는 송신된 신호(fouti(t)) 및 송신 프로세스 동안에 취득되는 잡음(fNi(t))으로 구성된다. 현재 예에서, 3개의 써로게이트들의 세트는 드롭아웃들 및 다른 형태들의 정보 손실에 대한 내성(immunity)을 제공하기 위해 이용될 수 있다.
수신된 신호는 일련의 시간 윈도우들을 포함할 수 있고, 각각의 윈도우는 인코딩된 써로게이트(들)로 구성될 수 있다. 써로게이트(Fsi+1(f))가 중요하면, 써로게이트는 이러한 예에서 고려되는 특정 경우에 대해, 윈도우들(Wi +2, Wi +3 및 Wi +4)로 수신되는 신호 표현들로 인코딩될 수 있다. 상술한 윈도우들을 위해 이용되는 인코딩 함수는 수신된 신호들을 발생시킬 수 있다.
써로게이트들은 수신된 신호로부터 추출되고 그들의 원래 형태로 복구될 수 있다. 그러나, 송신 경로에서 취득되는 잡음은 일부 배경 잡음을 갖는 복구된 신호를 야기할 것이다. 윈도우(Wi +1)가 드롭아웃의 결과로서 손실되면, 윈도우(Wi +1) 내의 신호(Fini +1(f))는 그것의 써로게이트(Fsi+1-(f))로 대체될 수 있다. 각각 송신에서 취득되는 일부 잡음에 있어서, 메모리에 Fsi +1(f)의 3개의 개별 버전들이 있다. Fsi +1(f)의 3개의 버전들의 평균값은 더 높은 신호 대 잡음 비를 갖는 Fini +1(f)의 개선된 추정값일 것이다. 윈도우들(Wi +1 및 Wi+2)이 드롭아웃들의 결과로서 손실되면, 더 낮은 신호 대 잡음 비를 갖는 신호(Fini +1(f))의 복구를 허용하는 Fsi +1(f)의 2개의 나머지 버전들이 있다. 윈도우들(Wi +1, Wi +2 및 Wi +3)이 드롭아웃들의 결과로서 손실되면, 더 나쁜 신호 대 잡음 비를 갖는 신호(Fini +1(f))의 복구를 허용하는 Fsi +1(f)의 하나의 버전만이 잔존한다. 따라서, 드롭아웃들을 갖는 잡음 채널에서의 송신을 위해 드롭아웃의 지속기간과 복구된 신호의 신호 대 잡음 비 사이에서 예측가능 균형이 있다.
일 실시예에서, 수신된 신호로부터 추출되는 입력 신호를 이웃 시간 윈도우들로부터의 입력 신호의 써로게이트들과 평균화하는 것은 잡음 송신 경로 내의 송신 후에 신호 대 잡음 비를 개선할 수 있다. 시간 윈도우 내의 정보가 드롭아웃 또는 다른 형태들의 정보 손실 때문에 손실되면, 이웃 시간 윈도우들 내의 손실된 신호의 써로게이트들 중 하나 이상은 정보 손실을 감소시키기 위해 사용될 수 있다.
송신 경로가 잡음이면, 분실 정보의 대체는 또한 잡음에 영향을 받을 것이다. 하나보다 많은 써로게이트가 이용가능하면, 분실 정보의 개선된 추정은 개별 시간 윈도우들로부터 써로게이트들을 평균화함으로써 가능하다. 이러한 기술은 또한 드롭아웃들 또는 다른 형태들의 정보 손실로 인해 손실된 신호들이 없으면 잡음 송신 경로를 통해 송신되는 신호들에 대한 신호 대 잡음 비를 개선하기 위해 사용될 수 있다. 이러한 구현에서, 수신된 신호(frcvdi(t))로부터 추출되는 잡음 입력 신호(fini(t) + fNi(t))는 신호 대 잡음 비를 개선하기 위해 이웃 윈도우들로부터의 fini(t)의 써로게이트들와 평균화된다.
일 실시예에서, 신호의 근사를 재발생시키는 것은 써로게이트들을 다시 주파수 및 시간에서 그들의 원래 값들로 변환함으로써 달성될 수 있다. 예를 들어, 주파수 대 시간 변환, 예컨대 역 푸리에 변환은 써로게이트들에 적용되어 신호를 시간 도메인으로 복구할 수 있다. 위에 논의된 다른 역 동작들은 필요에 따라 및/또는 원하는 대로 사용될 수 있다. 재발생된 근사는 정보 손실로 인해 입력 신호(예를 들어, 스피치)의 생략된 신호 요소들을 대체하거나, 또는 심각한 왜곡들을 갖는 신호를 대체하기 위해 더 이용될 수 있다.
임의로, 신호는 정보 손실을 감소시키는 처리가 완료된 후에 사람을 위해 출력될 수 있다.
이하, 본 발명의 시스템들, 디바이스들, 및 방법들의 구현의 일반적 양태들이 설명될 것이다.
본 발명의 시스템 또는 본 발명의 시스템의 일부들은 예를 들어 일반 목적 컴퓨터와 같은 "처리 구성요소"의 형태일 수 있다. 본원에 사용되는 바와 같이, 용어 "처리 구성요소"는 적어도 하나의 메모리를 사용하는 적어도 하나의 프로세서를 포함하는 것으로 이해되어야 한다. 적어도 하나의 메모리는 명령어들의 세트를 저장한다. 명령어들은 처리 머신의 메모리 또는 메모리들에 영구적으로 또는 일시적으로 저장될 수 있다. 프로세서는 데이터를 처리하기 위해 메모리 또는 메모리들에 저장되는 명령어들을 실행한다. 명령어들의 세트는 특정 작업 또는 작업들, 예컨대 위에 설명된 그러한 작업들을 수행하는 다양한 명령어들을 포함할 수 있다. 특정 작업을 수행하는 그러한 명령어들의 세트는 프로그램, 소프트웨어 프로그램, 또는 단순히 소프트웨어로 특징지어질 수 있다.
위에 언급된 바와 같이, 처리 머신은 데이터를 처리하기 위해 메모리 또는 메모리들에 저장되는 명령어들을 실행한다. 이러한 데이터의 처리는 예를 들어 처리 머신의 사용자 또는 사용자들에 의한 커맨드들에 응답하고, 이전 처리에 응답하고, 다른 처리 머신에 의한 요청에 응답하고 다른 처리 머신 및/또는 임의의 다른 입력에 응답할 수 있다.
위에 언급된 바와 같이, 본 발명을 구현하기 위해 사용되는 처리 머신은 일반 목적 컴퓨터일 수 있다. 그러나, 위에 설명된 처리 머신은 또한 특수 목적 컴퓨터를 포함하는 매우 다양한 다른 기술들, 예를 들어 마이크로컴퓨터, 미니 컴퓨터 또는 메인프레임을 포함하는 컴퓨터 시스템, 프로그래밍된 마이크로프로세서, 마이크로컨트롤러, 주변 집적 회로 소자, 고객 특정 집적 회로(Customer Specific Integrated Circuit)(CSIC) 또는 주문형 집적 회로(Application Specific Integrated Circuit)(ASIC), 축소 명령 집합 컴퓨터(Reduced Instruction Set Computer)(RISC) 또는 다른 집적 회로, 로직 회로, 디지털 신호 프로세서, 프로그램가능 로직 디바이스 예컨대 FPGA, PLD, PLA 또는 PAL, 또는 임의의 다른 디바이스 또는 본 발명의 프로세스들의 단계들을 구현할 수 있는 디바이스들의 배열 중 어느 것을 이용할 수 있다. 이러한 처리 머신들 중 어느 것 또는 전부는 다양한 디바이스들, 예컨대 이동 전화들/디바이스들, 일반 전화들, 보청기들, 개인 증폭 디바이스들, 보조 청각 디바이스들, 비디오 및 오디오 회의 시스템들, 보이스 오버 IP 디바이스들, 스트리밍 무선 디바이스들, 송수신 겸용 라디오들, 태블릿 컴퓨터들, 데스크톱 및 노트북 컴퓨터들, 워크스테이션들, 전자 판독 디바이스들 등으로 구현될 수 있다.
본 발명을 구현하기 위해 사용되는 처리 머신은 적절한 운영 체제를 이용할 수 있다. 따라서, 본 발명의 실시예들은 iOS 운영 체제, OS X 운영 체제, 안드로이드 운영 체제, 마이크로소프트 Windows™ 8 운영 체제, 마이크로소프트 Windows™ 7 운영 체제, 마이크로소프트 Windows™ Vista™ 운영 체제, 마이크로소프트 Windows™ XP™ 운영 체제, 마이크로소프트 Windows™ NT™ 운영 체제, Windows™ 2000 운영 체제, 유닉스 운영 체제, 리눅스 운영 체제, 제닉스 운영 체제, IBM AIX™ 운영 체제, 휴렛 팩커드 UX™ 운영 체제, 노벨 Netware™ 운영 체제, 선 마이크로시스템스 Solaris™ 운영 체제, OS/2™ 운영 체제, BeOS™ 운영 체제, 맥킨토시 운영 체제, 아파치 운영 체제, OpenStep™ 운영 체제 또는 다른 운영 체제 또는 플랫폼에서 실행하는 처리 머신을 포함할 수 있다.
위에 설명된 바와 같이 본 발명의 방법을 실시하기 위해, 처리 머신의 프로세서들 및/또는 메모리들이 동일한 물리적 또는 지리적 장소에 물리적으로 위치되는 것이 필요하지 않다는 점이 이해된다. 즉, 처리 머신에 의해 사용되는 프로세서들 및 메모리들 각각은 지리적으로 별개의 위치들에 설치되고 임의의 적절한 방식으로 통신하기 위해 연결될 수 있다. 부가적으로, 프로세서 및/또는 메모리 각각은 상이한 물리적 장비들로 구성될 수 있다는 점이 이해된다. 따라서, 프로세서는 하나의 위치 내의 하나의 단일 장비이고 메모리는 다른 위치 내의 다른 단일 장비인 것이 필요하지 않다. 즉, 프로세서는 2개의 상이한 물리적 위치들 내의 2개의 장비들일 수 있는 것이 생각된다. 2개의 별개의 장비들은 임의의 적절한 방식으로 연결될 수 있다. 부가적으로, 메모리는 2개 이상의 물리적 위치들에 메모리 2개 이상의 부분들을 포함할 수 있다.
추가로 설명하기 위해, 처리는 위에 설명된 바와 같이, 다양한 구성요소들 및 다양한 메모리들에 의해 수행된다. 그러나, 위에 설명된 바와 같이 2개의 별개 구성요소들에 의해 수행되는 처리는 본 발명의 추가 실시예에 따라, 단일 구성요소에 의해 수행될 수 있다는 점이 이해된다. 게다가, 위에 설명된 바와 같이 하나의 별개 구성요소에 의해 수행되는 처리는 2개의 별개 구성요소들에 의해 수행될 수 있다. 유사한 방식으로, 위에 설명된 바와 같이 2개의 별개 메모리 부분들에 의해 수행되는 메모리 저장은 본 발명의 추가 실시예에 따라, 단일 메모리 부분에 의해 수행될 수 있다. 게다가, 위에 설명된 바와 같이 하나의 별개 메모리 부분에 의해 수행되는 메모리 저장은 2개의 메모리 부분들에 의해 수행될 수 있다.
게다가, 다양한 기술들은 본 발명의 프로세서들 및/또는 메모리들이 임의의 다른 엔티티와 통신하는 것을 허용할 뿐만 아니라, 다양한 프로세서들 및/또는 메모리들 사이에 통신을 제공하기 위해; 즉 예를 들어 추가 명령어들을 획득하거나 원격 메모리 저장소들을 액세스하고 사용하기 위해 사용될 수 있다. 그러한 통신을 제공하기 위해 사용되는 그러한 기술들은 예를 들어 통신을 제공하는 네트워크, 인터넷, 인트라넷, 엑스트라넷, LAN, 이더넷, 셀룰러 타워 또는 위성을 통한 무선 통신, 또는 임의의 클라이언트 서버 시스템을 포함할 수 있다. 그러한 통신 기술들은 예를 들어 TCP/IP, UDP, 또는 OSI와 같은 임의의 적절한 프로토콜을 사용할 수 있다.
위에 설명된 바와 같이, 명령어들의 세트는 본 발명의 처리에서 사용될 수 있다. 명령어들의 세트는 프로그램 또는 소프트웨어의 형태일 수 있다. 소프트웨어는 예를 들어 시스템 소프트웨어 또는 애플리케이션 소프트웨어의 형태일 수 있다. 소프트웨어는 또한 예를 들어 개별 프로그램들의 집합, 더 큰 프로그램 내의 프로그램 모듈, 또는 프로그램 모듈의 일부의 형태일 수 있다. 사용되는 소프트웨어는 또한 객체 지향 프로그래밍의 형태로 모듈러 프로그래밍을 포함할 수 있다. 소프트웨어는 데이터가 처리되는 상태에서 처리 머신에 무엇을 해야 할지를 통지한다.
게다가, 본 발명의 구현 및 동작에 사용되는 명령어들 또는 명령어들의 세트는 처리 머신이 명령어들을 판독할 수 있도록 적절한 형태일 수 있다는 점이 이해된다. 예를 들어, 프로그램을 형성하는 명령어들은 프로세서 또는 프로세서들이 명령어들을 판독하는 것을 허용하기 위해 기계어 또는 목적 코드로 변환되는 적절한 프로그래밍 언어의 형태일 수 있다. 즉, 특정 프로그래밍 언어로, 프로그래밍 코드 또는 소스 코드의 기록된 라인들은 컴파일러, 어셈블러 또는 인터프리터를 사용하여 기계어로 변환된다. 기계어는 예를 들어 특정 타입의 처리 머신, 즉 특정 타입의 컴퓨터에 특정한 이진 코딩된 머신 명령어들이다. 컴퓨터는 기계어를 이해한다.
임의의 적절한 프로그래밍 언어는 본 발명의 다양한 실시예들에 따라 사용될 수 있다. 예시적으로, 사용되는 프로그래밍 언어는 예를 들어 어셈블리 언어, Ada, APL, 베이직, C, C++, 코볼, dBase, 포스, 포트란, 자바, 모듈러-2, 파스칼, 프롤로그, REXX, 비주얼 베이직, 및/또는 자바스크립트를 포함할 수 있다. 게다가, 단일 타입의 명령어 또는 단일 프로그래밍 언어는 본 발명의 시스템 및 방법의 동작과 함께 이용되는 것이 필요하지 않다. 오히려, 임의의 수의 상이한 프로그래밍 언어들은 필요에 따라 및/또는 원하는 대로 이용될 수 있다.
또한, 본 발명의 실시에 사용되는 명령어들 및/또는 데이터는 요구될 수 있는 바와 같이, 임의의 압축 또는 암호화 기술 또는 알고리즘을 이용할 수 있다. 암호화 모듈은 데이터를 암호화하기 위해 사용될 수 있다. 게다가, 파일들 또는 다른 데이터는 예를 들어 적절한 복호화 모듈을 사용하여 복호화될 수 있다.
위에 설명된 바와 같이, 본 발명은 예를 들어 적어도 하나의 메모리를 포함하는, 컴퓨터 또는 컴퓨터 시스템을 포함하는, 처리 머신의 형태로 예시적으로 구체화될 수 있다. 예를 들어 컴퓨터 운영 체제가 위에 설명된 동작들을 수행할 수 있게 하는 명령어들의 세트, 즉 소프트웨어는 원하는 대로, 매우 다양한 매체들 또는 매체 중 어느 것 상에 포함될 수 있다는 점이 이해되어야 한다. 게다가, 명령어들의 세트에 의해 처리되는 데이터는 또한 매우 다양한 매체들 또는 매체 중 어느 것 상에 포함될 수 있다. 즉, 본 발명에 사용되는 명령어들의 세트 및/또는 데이터를 유지하기 위해 이용되는 특정 매체, 즉 처리 머신 내의 메모리는 예를 들어 다양한 물리적 형태들 또는 송신들 중 어느 것을 채용할 수 있다. 예시적으로, 매체는 본 발명의 프로세서들에 의해 판독될 수 있는 데이터의 임의의 다른 매체 또는 소스뿐만 아니라, 페이퍼, 페이퍼 트랜스페어런시(paper transparencies), 콤팩트 디스크, DVD, 집적 회로, 하드 디스크, 플로피 디스크, 광 디스크, 자기 테이프, RAM, ROM, PROM, EPROM, 와이어, 케이블, 파이버, 통신 채널, 위성 송신, 메모리 카드, SIM 카드, 또는 다른 원격 송신의 형태일 수 있다.
게다가, 본 발명을 구현하는 처리 머신에 사용되는 메모리 또는 메모리들은 요구되는 바와 같이, 메모리가 명령어들, 데이터, 또는 다른 정보를 유지하는 것을 허용하기 위해 매우 다양한 형태들 중 어느 것일 수 있다. 따라서, 메모리는 데이터를 유지하기 위해 데이터베이스의 형태일 수 있다. 데이터베이스는 예를 들어 파일들의 임의의 원하는 배열 예컨대 플랫 파일 배열 또는 관계형 데이터베이스 배열을 사용할 수 있다.
본 발명의 시스템 및 방법에서, 다양한 "사용자 인터페이스들"은 사용자가 본 발명을 구현하기 위해 사용되는 처리 머신 또는 머신들과 인터페이스하는 것을 허용하기 위해 이용될 수 있다. 본원에 사용되는 바와 같이, 사용자 인터페이스는 사용자가 처리 머신과 상호작용하는 것을 허용하는 처리 머신에 의해 사용되는 임의의 하드웨어, 소프트웨어, 또는 하드웨어 및 소프트웨어의 조합을 포함한다. 사용자 인터페이스는 예를 들어 대화 스크린의 형태일 수 있다. 사용자 인터페이스는 또한 사용자가 명령어들의 세트를 처리하고 및/또는 처리 머신에 정보를 제공함에 따라 처리 머신의 동작에 관한 정보를 수신하는 것을 허용하는 마우스, 터치 스크린, 키보드, 키패드, 음성 판독기, 음성 인식기, 대화 스크린, 메뉴 박스, 리스트, 체크박스, 토클 스위치, 푸시버튼 또는 임의의 다른 디바이스 중 어느 것을 포함할 수 있다. 따라서, 사용자 인터페이스는 사용자와 처리 머신 사이에 통신을 제공하는 임의의 디바이스이다. 사용자에 의해 사용자 인터페이스를 통해 처리 머신에 제공되는 정보는 예를 들어 커맨드의 형태, 데이터의 선택, 또는 일부 다른 입력일 수 있다.
위에 논의된 바와 같이, 사용자 인터페이스는 처리 머신이 사용자에 대한 데이터를 처리하도록 명령어들의 세트를 수행하는 처리 머신에 의해 이용된다. 사용자 인터페이스는 사용자로부터 정보를 전달하거나 정보를 수신하기 위해 사용자와 상호작용하는 처리 머신에 의해 전형적으로 사용된다. 그러나, 본 발명의 시스템 및 방법의 일부 실시예들에 따라, 인간 사용자가 본 발명의 처리 머신에 의해 사용되는 사용자 인터페이스와 실제로 상호작용하는 것이 필요하지 않다는 점이 이해되어야 한다. 오히려, 또한 본 발명의 사용자 인터페이스는 인간 사용자보다는, 다른 처리 머신과 상호작용하며, 즉 정보를 전달하고 수신할 수 있는 것이 생각된다. 따라서, 다른 처리 머신은 사용자로 특징지어질 수 있다. 게다가, 본 발명의 시스템 및 방법에 이용되는 사용자 인터페이스는 다른 처리 머신 또는 처리 머신들과 부분적으로 상호작용하는 반면에, 또는 인간 사용자와 부분적으로 상호작용할 수 있는 것이 생각된다.
본 발명은 넓은 유용 및 적용에 민감하다는 점이 본 기술분야의 통상의 기술자들에 의해 용이하게 이해될 것이다. 많은 변화들, 수정들 및 균등 배열들뿐만 아니라, 본원에 설명된 것들과 다른 본 발명의 많은 실시예들 및 개조들은 본 발명의 본질 또는 범위로부터 벗어나는 것 없이, 본 발명 및 그것의 상술한 설명으로부터 분명하거나 이들에 의해 합리적으로 제안될 것이다.
따라서, 본 발명이 그것의 실시예에 관하여 여기서 상세히 설명되었지만, 이 발명은 본 발명의 단지 예시적이고 대표적이며 본 발명의 실시가능 발명을 제공하기 위해 이루어진다는 점이 이해되어야 한다. 따라서, 상술한 발명은 해석되거나 본 발명을 제한하거나 임의의 다른 그러한 실시예들, 개조들, 변화들, 수정들 또는 균등 배열들을 다른 방법으로 배제하도록 의도되지 않는다.

Claims (36)

  1. 통신 네트워크를 통한 송신을 위해 신호를 처리하는 방법으로서,
    적어도 하나의 신호 프로세서가 신호의 제1 세그먼트(segment)를 식별하는 단계;
    상기 적어도 하나의 신호 프로세서가 상기 신호의 상기 제1 세그먼트의 표현을 발생시키는 단계;
    상기 적어도 하나의 신호 프로세서가 상기 신호의 상기 제1 세그먼트의 표현에서 제1 복수의 써로게이트 후보들(surrogate candidates)을 식별하는 단계;
    상기 적어도 하나의 신호 프로세서가 상기 신호의 제2 세그먼트의 표현을 발생시키는 단계; 및
    상기 적어도 하나의 신호 프로세서가 상기 제1 복수의 써로게이트 후보들을 상기 신호의 상기 제2 세그먼트의 표현 내의 제1 복수의 써로게이트들로서 인코딩하는 단계
    를 포함하는 방법.
  2. 제1항에 있어서, 상기 제2 세그먼트는 상기 제1 세그먼트에 앞서는 방법.
  3. 제1항에 있어서, 상기 적어도 하나의 신호 프로세서가 신호의 제1 세그먼트를 식별하는 단계는,
    상기 적어도 하나의 신호 프로세서가 신호를 복수의 세그먼트들로 분할하는 단계를 포함하며, 각각의 세그먼트는 동일한 시간 지속기간(time duration)을 갖는 방법.
  4. 제1항에 있어서, 상기 제1 세그먼트 및 상기 제2 세그먼트는 상이한 지속기간들을 갖는 방법.
  5. 제1항에 있어서, 상기 제1 세그먼트 및 상기 제2 세그먼트 중 적어도 하나에 대한 지속기간은 동적으로 결정되는 방법.
  6. 제1항에 있어서,
    상기 신호의 상기 제1 세그먼트의 표현을 발생시키는 단계는,
    복수의 필터들이 상기 신호의 상기 제1 세그먼트를 필터링하는 단계; 및
    미리 결정된 임계값 아래의 레벨을 갖는 상기 복수의 필터들의 출력을 감쇠시키는 단계를 포함하는 방법.
  7. 제1항에 있어서, 상기 제1 세그먼트의 표현 및 상기 제2 세그먼트의 표현은 시간 대 주파수 변환(time-to-frequency transformation)을 사용하여 스펙트럼 표현들로서 발생되는 방법.
  8. 제1항에 있어서,
    통신 네트워크를 통해 상기 신호의 상기 제1 세그먼트 및 상기 제1 복수의 써로게이트들을 포함하는 상기 신호의 상기 제2 세그먼트를 송신하는 단계를 더 포함하는 방법.
  9. 제8항에 있어서, 상기 신호의 송신은 상기 검출, 발생, 및 인코딩 단계들 중 적어도 하나 동안에 지연되는 방법.
  10. 제8항에 있어서,
    상기 적어도 하나의 신호 프로세서가 송신 전에 상기 신호의 상기 제1 세그먼트와 상기 제1 복수의 써로게이트들을 포함하는 상기 신호의 상기 제2 세그먼트를 조합하는 단계를 더 포함하는 방법.
  11. 제8항에 있어서, 상기 신호의 상기 제1 세그먼트 및 상기 제1 복수의 써로게이트들을 포함하는 상기 신호의 상기 제2 세그먼트는 병렬로 송신되는 방법.
  12. 제1항에 있어서,
    통신 네트워크를 통해 상기 제1 복수의 써로게이트들을 포함하는 상기 신호의 상기 제2 세그먼트를 송신하는 단계를 더 포함하는 방법.
  13. 제1항에 있어서,
    상기 적어도 하나의 신호 프로세서가 상기 신호의 제3 세그먼트의 표현을 발생시키는 단계;
    상기 적어도 하나의 신호 프로세서가 상기 신호의 상기 제2 세그먼트의 표현에서 제2 복수의 써로게이트 후보들을 식별하는 단계; 및
    상기 적어도 하나의 신호 프로세서가 상기 제1 복수의 써로게이트 후보들을 제1 복수의 써로게이트들로서 인코딩하고 상기 제2 복수의 써로게이트 후보들을 상기 신호의 상기 제3 세그먼트의 표현 내의 제2 복수의 써로게이트들로서 인코딩하는 단계를 더 포함하는 방법.
  14. 통신 네트워크를 통한 송신을 위해 신호를 처리하는 방법으로서,
    적어도 하나의 신호 프로세서가 신호를 복수의 시간 윈도우들(time windows)로 분할하는 단계;
    상기 적어도 하나의 신호 프로세서가 제1 시간 윈도우의 표현을 발생시키는 단계;
    상기 적어도 하나의 신호 프로세서가 상기 제1 시간 윈도우의 표현에서 제1 복수의 써로게이트 후보들을 식별하는 단계;
    상기 적어도 하나의 신호 프로세서가 제2 시간 윈도우의 표현을 발생시키는 단계; 및
    상기 적어도 하나의 신호 프로세서가 상기 제1 복수의 써로게이트 후보들을 상기 제2 시간 윈도우의 표현 내의 제1 복수의 써로게이트들로서 인코딩하는 단계
    를 포함하는 방법.
  15. 제14항에 있어서,
    상기 적어도 하나의 신호 프로세서가 제3 시간 윈도우의 표현을 발생시키는 단계;
    상기 적어도 하나의 신호 프로세서가 상기 제2 시간 윈도우의 표현에서 제2 복수의 써로게이트 후보들을 식별하는 단계; 및
    상기 적어도 하나의 신호 프로세서가 상기 제1 복수의 써로게이트 후보들을 제1 복수의 써로게이트들로서 인코딩하고 상기 제2 복수의 써로게이트 후보들을 상기 제3 시간 윈도우의 표현 내의 제2 복수의 써로게이트들로서 인코딩하는 단계를 더 포함하는 방법.
  16. 제14항에 있어서,
    통신 네트워크를 통해 상기 제1 시간 윈도우, 상기 인코딩된 제1 복수의 써로게이트들을 포함하는 상기 제2 시간 윈도우, 및 상기 인코딩된 제1 복수의 써로게이트들 및 인코딩된 제2 복수의 써로게이트들을 포함하는 상기 제3 시간 윈도우를 송신하는 단계를 더 포함하는 방법.
  17. 통신 네트워크를 통한 송신을 위해 신호를 처리하는 방법으로서,
    적어도 하나의 신호 프로세서가 신호의 세그먼트(i)를 식별하는 단계;
    상기 적어도 하나의 신호 프로세서가 상기 신호의 세그먼트(i) 내의 써로게이트들로서 인코딩되도록 세그먼트(i) 후의 상기 신호의 N개의 세그먼트에서 복수의 써로게이트 후보들을 식별하는 단계;
    상기 적어도 하나의 신호 프로세서가 상기 신호의 상기 N개의 세그먼트의 표현들을 발생시키는 단계; 및
    상기 적어도 하나의 신호 프로세서가 상기 신호의 상기 N개의 세그먼트의 표현들을 상기 신호의 세그먼트(i)의 표현에 인코딩되는 복수의 써로게이트들로서 인코딩하는 단계
    를 포함하는 방법.
  18. 통신 네트워크를 통해 수신되는 신호를 처리하는 방법으로서,
    전자 디바이스에서의 적어도 하나의 신호 프로세서가 복수의 세그먼트들을 포함하는 신호를 수신하는 단계;
    상기 적어도 하나의 신호 프로세서가 제1 세그먼트에서 정보 손실을 검출하는 단계;
    상기 적어도 하나의 신호 프로세서가 제2 세그먼트에 임베딩되는 상기 제1 세그먼트를 표현하는 제1 복수의 써로게이트들을 검색하는 단계; 및
    상기 적어도 하나의 신호 프로세서가 상기 검색된 제1 복수의 써로게이트들로부터 상기 제1 세그먼트의 추정값을 발생시키는 단계
    를 포함하는 방법.
  19. 제18항에 있어서, 상기 제2 세그먼트는 상기 제1 세그먼트 전에 수신되는 방법.
  20. 제18항에 있어서, 상기 적어도 하나의 신호 프로세서가 제2 세그먼트에 임베딩되는 상기 제1 세그먼트를 표현하는 제1 복수의 써로게이트들을 검색하는 단계는,
    상기 적어도 하나의 신호 프로세서가 상기 제2 세그먼트의 표현을 발생시키는 단계; 및
    상기 적어도 하나의 신호 프로세서가 상기 제2 세그먼트의 표현에서 상기 제1 복수의 써로게이트들을 식별하는 단계를 포함하는 방법.
  21. 제18항에 있어서,
    상기 적어도 하나의 신호 프로세서가 제3 세그먼트로부터 상기 제1 세그먼트를 표현하는 제2 복수의 써로게이트들을 검색하는 단계를 더 포함하며;
    상기 적어도 하나의 신호 프로세서는 상기 제1 복수의 써로게이트들 및 상기 제2 복수의 써로게이트들로부터 상기 제1 세그먼트의 추정값을 발생시키는 방법.
  22. 제21항에 있어서, 상기 적어도 하나의 신호 프로세서가 상기 제3 세그먼트로부터 상기 제1 세그먼트를 표현하는 제2 복수의 써로게이트들을 검색하는 단계는,
    상기 적어도 하나의 신호 프로세서가 상기 제3 세그먼트의 표현을 발생시키는 단계; 및
    상기 적어도 하나의 신호 프로세서가 상기 제3 세그먼트의 표현에서 상기 제2 복수의 써로게이트들을 식별하는 단계를 포함하는 방법.
  23. 제18항에 있어서, 상기 제1 세그먼트 내의 송신 에러는 상기 제1 세그먼트가 분실될 때 발생하는 방법.
  24. 제18항에 있어서, 상기 제1 세그먼트 내의 송신 에러는 상기 제1 세그먼트가 왜곡될 때 발생하는 방법.
  25. 제18항에 있어서, 상기 세그먼트들 중 적어도 하나에 대한 재생은 상기 검출, 검색, 및 발생 단계들 중 적어도 하나 동안에 지연되는 방법.
  26. 통신 시스템에서 신호를 송신하는 통신 디바이스로서,
    메모리; 및
    적어도 하나의 신호 프로세서를 포함하며, 상기 적어도 하나의 신호 프로세서는,
    신호를 수신하는 것;
    상기 신호의 제1 세그먼트의 표현을 발생시키는 것;
    상기 제1 세그먼트의 표현에서 제1 복수의 써로게이트 후보들을 식별하는 것;
    제2 세그먼트의 표현을 발생시키는 것; 및
    상기 제1 복수의 써로게이트 후보들을 상기 제2 세그먼트의 표현 내의 제1 복수의 써로게이트들로서 인코딩하는 것
    을 수행하는 통신 디바이스.
  27. 제26항에 있어서, 상기 적어도 하나의 신호 프로세서는 상기 신호의 상기 제1 세그먼트를 필터링하기 위해 복수의 필터들을 사용하여 상기 제1 세그먼트의 표현을 발생시키고, 미리 결정된 임계값 아래의 레벨을 갖는 상기 복수의 필터들의 출력을 감쇠시키는 통신 디바이스.
  28. 제26항에 있어서, 상기 제1 세그먼트의 표현 및 상기 제2 세그먼트의 표현은 시간 대 주파수 변환을 사용하여 스펙트럼 표현들로서 상기 적어도 하나의 신호 프로세서에 의해 발생되는 통신 디바이스.
  29. 제26항에 있어서, 상기 신호는 입력 디바이스로부터 수신되는 통신 디바이스.
  30. 제29항에 있어서, 상기 입력 디바이스는 마이크로폰 및 카메라 중 적어도 하나인 통신 디바이스.
  31. 제26항에 있어서, 상기 신호는 상기 메모리로부터 수신되는 통신 디바이스.
  32. 제26항에 있어서, 상기 신호는 통신 네트워크로부터 수신되는 통신 디바이스.
  33. 제26항에 있어서, 상기 적어도 하나의 신호 프로세서는,
    제3 세그먼트의 표현을 발생시키는 것;
    상기 제2 세그먼트의 표현에서 제2 복수의 써로게이트 후보들을 식별하는 것; 및
    상기 제1 복수의 써로게이트 후보들을 제1 복수의 써로게이트들로서 인코딩하고 상기 제2 복수의 써로게이트 후보들을 상기 제3 세그먼트의 표현 내의 제2 복수의 써로게이트들로서 인코딩하는 것을 더 수행하는 통신 디바이스.
  34. 통신 시스템에서 수신된 신호를 처리하는 통신 디바이스로서,
    메모리; 및
    적어도 하나의 신호 프로세서를 포함하며, 상기 적어도 하나의 신호 프로세서는,
    복수의 세그먼트들을 포함하는 신호를 수신하는 것;
    제1 세그먼트에서 상기 신호 내의 송신 에러를 검출하는 것;
    제2 세그먼트에 임베딩되는 상기 제1 세그먼트를 표현하는 제1 복수의 써로게이트들을 검색하는 것; 및
    상기 검색된 제1 복수의 써로게이트들로부터 상기 제1 세그먼트의 추정값을 발생시키는 것
    을 수행하는 통신 디바이스.
  35. 제34항에 있어서, 상기 적어도 하나의 신호 프로세서는,
    제3 세그먼트에 인코딩되는 상기 제1 세그먼트에 대한 제2 복수의 써로게이트들을 검색하는 것; 및
    상기 제1 복수의 써로게이트들 및 상기 제2 복수의 써로게이트들로부터 상기 제1 세그먼트의 추정값을 발생시키는 것을 더 수행하는 통신 디바이스.
  36. 제34항에 있어서,
    상기 제1 세그먼트의 추정값을 재생하는 출력을 더 포함하는 통신 디바이스.
KR1020167031813A 2014-04-17 2015-04-17 정보 손실을 감소시킨 전자 통신들을 위한 시스템들, 방법들 및 디바이스들 KR20160145711A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201461981010P 2014-04-17 2014-04-17
US61/981,010 2014-04-17
PCT/US2015/026319 WO2015161166A1 (en) 2014-04-17 2015-04-17 Systems, methods and devices for electronic communications having decreased information loss

Publications (1)

Publication Number Publication Date
KR20160145711A true KR20160145711A (ko) 2016-12-20

Family

ID=54322880

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020167031813A KR20160145711A (ko) 2014-04-17 2015-04-17 정보 손실을 감소시킨 전자 통신들을 위한 시스템들, 방법들 및 디바이스들

Country Status (10)

Country Link
US (1) US9312893B2 (ko)
EP (1) EP3132537A4 (ko)
JP (1) JP2017520011A (ko)
KR (1) KR20160145711A (ko)
CN (1) CN106664061A (ko)
AU (1) AU2015247503B2 (ko)
CA (1) CA2945791A1 (ko)
MX (1) MX353711B (ko)
WO (1) WO2015161166A1 (ko)
ZA (1) ZA201607292B (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017054856A1 (en) * 2015-09-30 2017-04-06 Telecom Italia S.P.A. Method for managing wireless communication networks by prediction of traffic parameters
DE102016102005B4 (de) * 2016-02-04 2018-08-02 Rheinisch-Westfälische Technische Hochschule Aachen (RWTH) Schaltungsanordnung und Verfahren zur Erzeugung eines hochfrequenten, analogen Sendesignals
US10904050B1 (en) * 2019-07-12 2021-01-26 The Mitre Corporation Data processing for automatic modulation classification of wireless signals
EP3820150B1 (en) * 2019-11-07 2024-01-03 Dotphoton AG Method and device for steganographic processing and compression of image data

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6363257B1 (en) * 1999-02-05 2002-03-26 Agere Systems Guardian Corp. Method, apparatus, and communication protocol for transmitting control data with an improved error correction capability in a digital cordless telephone system
DE19959037B4 (de) * 1999-12-08 2004-04-29 Robert Bosch Gmbh Verfahren zur Dekodierung von digitalen Audiodaten
US7330812B2 (en) * 2002-10-04 2008-02-12 National Research Council Of Canada Method and apparatus for transmitting an audio stream having additional payload in a hidden sub-channel
CN100507485C (zh) * 2003-10-23 2009-07-01 松下电器产业株式会社 频谱编码装置和频谱解码装置
US7688985B2 (en) * 2004-04-30 2010-03-30 Phonak Ag Automatic microphone matching
US7945057B2 (en) * 2005-02-25 2011-05-17 Ferdos Innovations LLC Procedure and device for linearizing the characteristic curve of a vibration signal transducer such as a microphone
US7835474B2 (en) * 2006-02-13 2010-11-16 Honeywell International Inc. System and method for improved noise immunity in impulse and radar communications systems
EP1852849A1 (en) * 2006-05-05 2007-11-07 Deutsche Thomson-Brandt Gmbh Method and apparatus for lossless encoding of a source signal, using a lossy encoded data stream and a lossless extension data stream
US7877253B2 (en) * 2006-10-06 2011-01-25 Qualcomm Incorporated Systems, methods, and apparatus for frame erasure recovery
US8005671B2 (en) * 2006-12-04 2011-08-23 Qualcomm Incorporated Systems and methods for dynamic normalization to reduce loss in precision for low-level signals
US8274995B2 (en) * 2010-05-17 2012-09-25 Telefonaktiebolaget L M Ericsson (Publ) Cyclic prefix for non-contiguous signal transmission
US9455892B2 (en) * 2010-10-29 2016-09-27 Symantec Corporation Data loss monitoring of partial data streams
US9160413B2 (en) * 2011-11-28 2015-10-13 Sony Corporation Transmitter, communications system and method for transmitting data signals
US9275644B2 (en) * 2012-01-20 2016-03-01 Qualcomm Incorporated Devices for redundant frame coding and decoding
MX360512B (es) * 2014-02-10 2018-11-07 Audimax Llc Sistemas, metodos y dispositivos de comunicaciones que tienen inmunidad mejorada al ruido.

Also Published As

Publication number Publication date
WO2015161166A1 (en) 2015-10-22
MX2016013539A (es) 2017-03-20
EP3132537A4 (en) 2018-02-14
CA2945791A1 (en) 2015-10-22
MX353711B (es) 2018-01-25
EP3132537A1 (en) 2017-02-22
AU2015247503A1 (en) 2016-11-10
US9312893B2 (en) 2016-04-12
ZA201607292B (en) 2018-05-30
CN106664061A (zh) 2017-05-10
JP2017520011A (ja) 2017-07-20
US20150303953A1 (en) 2015-10-22
AU2015247503B2 (en) 2018-09-27

Similar Documents

Publication Publication Date Title
US10320490B2 (en) Data sending/receiving method and data transmission system over sound waves
JP5722912B2 (ja) 音響通信方法及び音響通信方法を実行させるためのプログラムを記録した記録媒体
US5886276A (en) System and method for multiresolution scalable audio signal encoding
CN101918999B (zh) 执行音频水印嵌入以及水印检测和提取的方法和设备
JP6608380B2 (ja) 耐雑音性を改良した通信システム、方法および装置
KR101825507B1 (ko) 압축된 오디오 신호의 보수를 위한 시스템, 컴퓨터-판독 가능한 저장 매체 및 방법
JP2002521702A (ja) 放送番組特定システムに於いて使用するための、音声信号に不可聴コードを付加することにより可聴信号をエンコードするシステム及び装置
KR20080002757A (ko) 통신 시스템에서 프레임들을 연결하는 방법
US9312893B2 (en) Systems, methods and devices for electronic communications having decreased information loss
CN104967951A (zh) 一种降低噪声的方法和装置
KR20080110892A (ko) 오디오 코딩 및 디코딩에서의 여기의 프로세싱
US20240153520A1 (en) Neutralizing distortion in audio data
JP2011081033A (ja) 信号処理装置、及び携帯端末装置
KR101748039B1 (ko) 효율적인 음성 통화를 위한 샘플링 레이트 변환 방법 및 시스템
US10971161B1 (en) Techniques for loss mitigation of audio streams
EP3618312B1 (en) Signal processing device, signal processing method and program
Deshpande et al. A substitution-by-interpolation algorithm for watermarking audio
GB2375937A (en) Method for analysing a compressed signal for the presence or absence of information content
Babu Reduction of impulsive noise from speech and audio signals by using sd-rom algorithm
CN114724572B (zh) 确定回声延时的方法和装置
Shokri et al. Audio-speech watermarking using a channel equalizer
JP2006023658A (ja) オーディオ信号符号化装置及びオーディオ信号符号化方法
KR20100062063A (ko) 오디오 신호 디코딩 방법, 이를 적용한 오디오 디코더, 기록매체 및 ａｖ 기기
US20140037103A1 (en) Identifying a change to adjust audio data
JP2015055666A (ja) 音声信号処理装置、その方法及びプログラム