KR100929961B1 - 음향 신호에 부가정보를 삽입하는 시스템 및 삽입방법 - Google Patents

음향 신호에 부가정보를 삽입하는 시스템 및 삽입방법 Download PDF

Info

Publication number
KR100929961B1
KR100929961B1 KR1020080019090A KR20080019090A KR100929961B1 KR 100929961 B1 KR100929961 B1 KR 100929961B1 KR 1020080019090 A KR1020080019090 A KR 1020080019090A KR 20080019090 A KR20080019090 A KR 20080019090A KR 100929961 B1 KR100929961 B1 KR 100929961B1
Authority
KR
South Korea
Prior art keywords
subband
energy
additional information
subbands
signal
Prior art date
Application number
KR1020080019090A
Other languages
English (en)
Other versions
KR20090093529A (ko
Inventor
최혁
최준환
송원석
Original Assignee
서울시립대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 서울시립대학교 산학협력단 filed Critical 서울시립대학교 산학협력단
Priority to KR1020080019090A priority Critical patent/KR100929961B1/ko
Publication of KR20090093529A publication Critical patent/KR20090093529A/ko
Application granted granted Critical
Publication of KR100929961B1 publication Critical patent/KR100929961B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/018—Audio watermarking, i.e. embedding inaudible data in the audio signal
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/0204—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders using subband decomposition
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Stereophonic System (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

본 발명은 음향 신호에 부가정보를 삽입하는 시스템 및 삽입방법에 관한 것으로, 본 발명에 따른 부가정보를 삽입하는 시스템은 음향 신호를 다수의 프레임으로 분할하는 프레임 분할부, 상기 프레임을 서브 프레임으로 분할하는 서브 프레임 분할부, 상기 각각의 서브 프레임을 푸리에 변환하는 푸리에 변환부, 상기 푸리에 변환된 상기 서브 프레임을 서브밴드로 분할하는 서브밴드 분할부, 상기 음향 신호에 대한 부가 정보를 상기 다수의 서브밴드의 에너지를 조절하여 삽입하는 정보 삽입부를 구비하여 음악, 오디오북, 전화통화 등 모든 음향 신호가 전송될 때 관련된 부가정보를 음향 신호에 삽입하여 전달함으로써 길거리, 각종 대중 교통수단 및 대중장소 등의 스피커에서 출력하는 음향 신호로부터 무선 디바이스 등을 이용하여 부가정보를 추출 획득하게 됨으로써 보다 향상된 모바일 환경을 향유할 수 있게 된다.

Description

음향 신호에 부가정보를 삽입하는 시스템 및 삽입방법{System and method of inputting supplement information in acoustic signal}
본 발명은 부가정보가 삽입된 음향 신호의 처리방법에 관한 것으로, 더욱 상세하게는 음향 신호에 부가정보를 삽입하는 시스템 및 삽입방법에 관한 것이다.
근래에 무선 이동통신 기술의 급격한 발달로 개인의 무선 디바이스의 보유는 매우 보편화되어 있다. 이 무선 디바이스에는 다양한 기술 및 서비스들이 융합됨에 따라 기능과 사용 편의성이 지속적으로 향상되고 있다.
한편, 각종 음악과 오디오북들은 청취자가 원하는 오디오 데이터를 확보한 상태에서는 각종 오디오 재생장치를 통하여 언제든지 청취할 수 있다. 하지만 불특정한 다양한 장소, 예를 들어 공공장소, 광고 및 전시장 그리고 라디오 방송,에서 청취가 이루어진 경우에는 청취한 음악을 이후에 재청취하고자 하는 경우에 청취자가 해당 음악 등에 대한 정보를 보유하여야 한다.
하지만 불특정 장소에서 청취만 한 상태에서는 해당 음악에 대한 아무런 정 보를 보유하지 못하기 때문에 재청취를 위하여 해당 음악에 대한 데이터를 확보하기는 매우 문제점이 있다.
본 발명은 음향 신호에 부가정보를 삽입하는 시스템 및 삽입방법을 제공하기 위한 관한 것이다.
음향 신호에 부가정보를 삽입하는 시스템은 음향 신호를 다수의 프레임으로 분할하는 프레임 분할부, 상기 프레임을 서브 프레임으로 분할하는 서브 프레임 분할부, 상기 각각의 서브 프레임을 푸리에 변환하는 푸리에 변환부, 상기 푸리에 변환된 상기 서브 프레임을 서브밴드로 분할하는 서브밴드 분할부, 상기 음향 신호에 대한 부가 정보를 상기 다수의 서브밴드의 에너지를 조절하여 삽입하는 정보 삽입부를 구비한다.
상기 서브밴드 분할부와 상기 정보 삽입부 사이에는 상기 다수의 서브밴드들 중에서 가장 큰 에너지 크기를 가지는 높은 서브밴드와 가장 작은 에너지 크기를 가지는 낮은 서브밴드를 구분하고, 상기 높은 서브밴드와 상기 낮은 서브밴드의 에너지 크기 차이가 미리 설정한 차이값이 되도록 하는 에너지편차 표준화부가 구비할 수 있다.
상기 정보 삽입부는 상기 다수의 서브밴드중 높은 서브밴드와 낮은 서브밴드의 중간 크기의 에너지 크기를 가지는 중간 서브밴드의 에너지 크기를 상기 디지털 신호에 따라 상기 높은 서브밴드 또는 상기 낮은 서브밴드의 에너지 크기로 바꿀 수 있다.
상기 디지털 신호에 헤더를 삽입하는 헤더 삽입부를 구비할 수 있다.
상기 정보 삽입부에서 정보가 삽입된 상기 서브밴드들을 푸리에 역변환시키는 푸리에 역변환부와 상기 서브 프레임들을 결합하는 서브 프레임 결합부와, 상기 프레임들을 결합하는 프레임 결합부를 구비할 수 있다.
음향 신호에 부가정보를 삽입하는 방법은 음향 신호를 다수의 프레임으로 분할하고, 상기 프레임을 다수의 서브 프레임으로 분할하고, 상기 각각의 서브 프레임을 푸리에 변환한 후 다수의 서브밴드로 분할하고, 상기 음향 신호에 대한 부가 정보를 상기 다수의 서브밴드의 에너지를 조절하여 삽입한다.
상기 다수의 서브밴드들 중에서 가장 큰 에너지 크기를 가지는 높은 서브밴드와 가장 작은 에너지 크기를 가지는 낮은 서브밴드를 구분하고, 상기 높은 서브밴드와 상기 낮은 서브밴드의 에너지 크기 차이가 미리 설정한 차이값이 되도록 상기 높은 서브밴드와 상기 낮은 서브밴드 중의 어느 한쪽의 에너지 크기를 조절할 수 있다.
상기 다수의 서브밴드는 상기 높은 서브밴드와 상기 낮은 서브밴드의 중간 크기의 에너지 크기를 가지는 중간 서브밴드를 포함하고, 상기 서브 프레임이 삽입되는 상기 디지털 신호에 따라 상기 중간 서브밴드의 에너지 크기를 상기 높은 서 브밴드 또는 상기 낮은 서브밴드의 에너지 크기로 조절시킬 수 있다.
상기 음향 신호가 스테레오 음향 신호이고, 상기 스테레오 음향 신호중 일측 방향의 음향 신호가 상기 부가 정보가 삽입되도록 변조되면, 타측 방향의 음향 신호를 상기 일측 방향의 음향 신호가 가지는 에너지 크기에 대한 상호관계와 동일해 지도록 변조할 수 있다.
본 실시예에 따른 음향 신호에 부가정보를 삽입하는 시스템 및 삽입방법은 음악, 오디오북, 전화통화 등 모든 음향 신호가 전송될 때 관련된 부가정보를 음향 신호에 삽입하여 전달함으로써 길거리, 각종 대중 교통수단 및 대중장소 등의 스피커에서 출력하는 음향 신호로부터 무선 디바이스 등을 이용하여 부가정보를 추출 획득하게 됨으로써 보다 향상된 모바일 환경을 향유할 수 있게 된다.
도 1은 무선 디바이스에서 청취중인 음향 신호에 대한 부가정보를 획득하는 예를 설명하기 위한 도면이다.
도 1에 도시된 바와 같이 본 실시예는 임의의 어떤 장소에서 스피커(10)를 통하여 출력되는 오디오 신호를 무선 디바이스(11) 사용자가 청취하는 경우 스피커(10)에서 출력되는 음향 신호를 소정 범위 이내에서 무선 디바이스(11)를 이용하여 음향 신호를 수신하면, 이 수신된 음향 신호에서 음향 신호에 포함된 부가정 보(13)를 무선 디바이스(11)가 획득하여 무선 디바이스(11)의 디스플레이를 출력하도록 한다.
이에 따라 사용자는 공간과 장소에 구속되지 않고, 실시간으로 음악, 오디오북과 같은 다양한 음향을 청취하면서 해당 음향에 대한 각종 부가정보를 취득할 수 있기 때문에 보다 진보된 모바일 환경을 향유할 수 있다.
이하에서는 이와 같은 모바일 환경의 제공을 위하여 부가정보를 음향 신호를 삽입하는 방법과 부가정보가 삽입된 음향 신호로부터 부가정보를 취득하는 방법에 대한 실시예를 설명한다.
도 2는 본 실시예에 따른 음향 신호에 부가 정보를 삽입하는 시스템을 도시한 도면이다.
도 2에 도시된 바와 같이 본 실시예에서의 음향 신호에 부가 정보를 삽입하는 시스템은 먼저 음악, 오디오북, 각종 통화시 수신되는 음향 신호를 다수의 프레임으로 분할하는 프레임 분할부(100)와, 각각의 프레임들을 복수개의 서브 프레임으로 분할하는 서브 프레임 분할부(101)와, 각각의 서브 프레임을 푸리에 변환하는 푸리에 변환부(102)를 구비한다.
그리고 푸리에 변환으로 얻어진 각각의 서브 프레임의 주파수 대역에서 다수의 서브밴드들 분할하는 서브밴드 분할부(103)와, 서브밴드들의 에너지 크기를 비교하여 에너지 편차를 표준화하는 에너지편차 표준화부(104)와, 디지털 신호로 된 부가정보를 서브밴드의 에너지 변조로 삽입하는 정보 삽입부(105)를 구비한다.
또한 시스템은 음향 신호에 삽입되는 부가정보, 예를 들어 음악의 경우 곡 명, 가수이름, 청취를 위한 인터넷 접속 정보, 등을 디지털 신호화하는 이진화부(110)와, 이 디지털 신호를 오류정정 부호화하는 오류정정 부호화부(111)와, 오류정정 부호화된 디지털 신호에 헤더를 삽입하는 헤더 삽입부(112)를 구비하고, 헤더가 삽입된 디지털 신호는 정보 삽입부(105)에서 에너지 변조로 음향 신호에 삽입된다.
그리고 시스템은 부가정보가 삽입된 각각의 서브 프레임을 푸리에 역변환하는 푸리에 역변환부(120), 서브 프레임 결합부(121), 프레임 결합부(122)를 각각 구비한다.
이하에서는 각각의 구성 및 시스템의 작용상태에 대하여 상세히 설명한다.
도 3은 본 실시예에 따른 음향 신호를 프레임 및 서브 프레임으로 분할하는 예를 도시한 도면이다. 도 3에 도시된 바와 같이 프레임 분할부(100)는 사용자의 무선 디바이스(11), 예를 들어 녹음 기능을 가지는 휴대폰, PDA, 노트북 컴퓨터, 등에 녹음된 음향 신호를 시간축 상으로 동일한 길이를 가지는 다수의 프레임으로 분할한다. 그리고 서브 프레임 분할부(101)는 분할된 프레임 중 미리 설정한 위치(예를 들어 부가정보가 삽입될 시작위치)의 프레임을 다수의 서브 프레임(P1)(P2)(P3)으로 분할한다.
본 실시예에서 프레임은 3개의 서브 프레임으로 분할될 수 있다. 그러나 서브 프레임의 분할 개수는 보다 다양하게 실시될 수 있다. 그리고 프레임 분할부(100)와 서브 프레임 분할부(101)는 분할시에 사다리꼴 또는 레이즈드 코사인(raised cosine) 형태의 윈도우를 이용하여 프레임들 간에 또는 서브 프레임들 간에 부드러운 중첩이 이루어지도록 한다.
이하에서는 각각의 서브 프레임을 제 1서브 프레임(P1), 제 2서브 프레임(P2), 제 3서브 프레임(P3)이라고 한다. 그리고 각각의 서브 프레임(P1)(P2)(P3)은 샘플링 되어 디지털 데이터화 될 수 있다. 푸리에 변환부(102)는 제 1서브 프레임(P1), 제 2서브 프레임(P2) 그리고 제 3서브 프레임(P3) 각각을 푸리에 변환한다.
도 4는 본 실시예에 따라 각각의 서브 프레임을 푸리에 변환한 후 서브밴드를 분할하는 하나의 예를 도시한 도면이고, 도 5a는 음향 신호에 부가 정보를 삽입하기 전 특정 위치의 서브밴드들의 에너지 레벨을 각 서브 프레임별로 나타낸 도면이고, 도 5b는 음향 신호에 부가 정보를 삽입한 후 특정 위치의 서브밴드들의 에너지 레벨을 각 서브 프레임별로 나타낸 도면이다.
도 4에 도시된 바와 같이 서브밴드 분할부(103)는 각각의 푸리에 변환된 서브 프레임(P1)(P2)(P3)을 소정 주파수 이상의 범위에 위치하며, 부가 정보를 삽입할 주파수 대역을 다수의 서브밴드로 분할한다. 서브밴드의 분할 수는 입력되는 부가정보의 크기에 따라 다양하게 이루어질 수 있다. 그리고 서브밴드의 분할을 위한 소정 주파수 대역의 범위는 인간의 귀에 민감한 4kHz 주변 보다 높거나 낮은 주파수 대역을 이용할 수 있다. 따라서 대략 5 ~ 10 kHz 또는 1 ~ 3kHz 등 보다 다양하게 이용될 수 있다.
도 5a에 도시된 바와 같이 이하에서는 제 1서브 프레임(P1)에서 분할된 특정위치의 서브밴드를 제 1서브밴드(S1)라고 하고, 제 2서브 프레임(P1)에서 분할된 상기 특정위치의 서브밴드를 제 2서브밴드(S2)라고 하고, 제 3서브 프레임(P3)에서 분할된 상기 특정위치의 서브밴드를 제 3서브밴드(S3)라고 한다. 여기서의 특정위치는 동일한 주파수 대역 위치가 될 수 있다.
에너지 편차 표준화부(104)는 푸리에 변환후 얻어진 각각의 서브밴드(S1)(S2)(S3)의 에너지, 예를 들어 표준편차 또는 평균 크기(Amplitude), 를 산출한 후, 제 1서브밴드(S1)와 제 2서브밴드(S2) 그리고 제 3서브밴드(S3)의 에너지 크기를 구분한다. 이때 가장 큰 에너지 크기를 가지는 서브밴드와 가장 작은 에너지 크기를 가지는 서브밴드를 비교하여 두 서브밴드의 에너지 차가 미리 설정한 차이값(d) 또는 그 이상이 되도록 한다.
도 5a에 도시된 바와 같이 예를 들어, 에너지 편차 표준화부(104)는 제 1프레임(F1)의 제 3서브 프레임(P3)의 제 3서브밴드(S3)가 가장 큰 에너지 값을 가지고, 제 2서브 프레임(P2)의 제 2서브밴드(S2)가 가장 작은 에너지 값을 가진다고 판단하고, 제 3서브밴드(S3)와 제 2서브밴드(S2)의 에너지 차이가 미리 설정한 차이값(d) 이상(또는 초과)이라고 판단하면 에너지 편차 표준화가 적용하지 않는다.
그러나 다른 프레임(F2)(F3)(F4)에서 가장 큰 에너지를 가지는 서브밴드와 가장 작은 에너지를 가지는 서브밴드의 에너지 차이가 차이값(d) 미만(또는 이하)인 경우에는 가장 큰 에너지 크기를 가지는 서브밴드의 에너지 값을 키우거나, 또는 가장 작은 에너지 크기를 가지는 서브밴드의 에너지 크기를 줄이거나, 또는 하나의 서브밴드의 에너지 크기를 일부 줄이고, 다른 하나의 서브밴드의 에너지 크기를 늘여서 두 서브밴드의 에너지 차이가 차이값 이상(또는 초과)이 되도록 한다.
즉, 도 5a의 실시예의 경우에는 제 1프레임(F1) 이후부터의 프레임들(F2)(F3)(F4)은 모두 에너지 편차 표준화가 이루어진다. 이러한 에너지 편차 표준화의 결과는 도 5b를 참조할 수 있다.
이와 같은 에너지 편차 표준화과정은 서브 프레임 간의 에너지 크기 차이가 너무 작어서 부가정보를 나타내기 위한 신호가 효과적으로 삽입되지 않은 이후 부가정보의 추출이 제대로 이루어지지 않는 것을 방지한다.
정보 삽입부(105)는 디지털 신호로 된 부가정보를 삽입하는데, 부가정보는 서브밴드(P1)(P2)(P3)의 에너지 변조를 통해 삽입된다. 이 정보 삽입부(105)에 부가정보가 삽입되는 작용에 설명하기 전에 삽입 전 부가정보를 처리하는 구성들에 대하여 먼저 설명한다.
삽입을 위한 부가정보는 이진화부(110)에서 디지털 신호로 부호화 된다. 그리고 이진화부(110)에서 디지털 신호로 된 부가정보는 오류정정 부호화부(111)에서 오류정정부호로 부호화된다. 본 실시예에서는 오류정정부호는 BCH 코드(Bose, Chaudhuri, Hocquenghem Code)를 사용한다. 그러나 그 외에 다른 오류정정부호를 사용할 수 있다.
헤더 삽입부(112)는 부가정보의 가장 앞에 헤더를 삽입하여 최종적으로 삽입될 부가정보에 대한 디지털 시퀀스를 생성한다. 이때 헤더는 고정된 PN 시퀀스(Pseudo Random Noise Sequence)로서 부가 정보의 추출을 위한 시스템은 이 PN 시퀀스를 알고 있어야 한다. 이와 같이 부가정보의 디지털 시퀀스가 완성되면 이 디지털 시퀀스는 정보 삽입부(105)에 전달된다.
그리고 부가 정보의 디지털 시퀀스가 제공되고, 각각의 프레임에 대한 에너지 편차 표준화가 완료되면 이후 정보 삽입부(105)는 부가정보를 음향 신호에 정보 삽입을 진행한다.
정보 삽입부(105)의 정보 삽입은 도 5b에 도시된 바와 같이 삽입할 정보의 디지털 신호가 "0"인 경우에는 제 1프레임(F1) 및 제 2프레임(F2)에서와 같이 중간 에너지 크기를 가지는 서브밴드의 에너지 크기를 낮추어 제일 작은 에너지 레벨을 가지는 서브밴드의 에너지 레벨과 같은 상태로 바꾸고, 삽입할 정보가 "1"인 경우에는 제 3프레임(F3) 및 제 4프레임(F4)에서와 같이 중간 에너지 크기를 가지는 서브밴드의 에너지 크기를 키워서 가장 큰 에너지 크기를 가지는 서브밴드의 에너지 크기와 같은 상태로 바꾼다. 또는 이와 반대의 방법으로 각각의 디지털 신호를 삽입한다.
이러한 삽입방법으로 부가정보의 모든 디지털 시퀀스를 각 프레임의 각 서브밴드별로 차례로 삽입한다. 이러한 삽입방법으로 부가정보를 삽입하게 되면 부가정보의 길이에 따라 서브밴드는 다량으로 분할될 수 있고, 이에 따라 다량의 디지털 데이터가 하나의 프레임에 삽입된다. 즉 예를 들어 하나의 서브 프레임에서 8개의 서브 밴드가 분할되는 경우 하나의 서브 프레임에는 1바이트의 디지털 신호가 저장될 수 있다.
한편, 음향 신호는 모노신호 또는 스테레오 신호일 수 있다. 따라서 만약 음향 신호가 모노신호인 경우에는 전술한 바와 같이 정보 삽입을 수행하지만 스테레오 신호인 경우에는 좌측과 우측 두 신호에 대한 처리가 필요하다.
도 6a는 스테레오 음향 신호에 부가 정보를 삽입하기 전 서브밴드들의 에너지 레벨을 예시적으로 도시한 도면이고, 도 6b는 스테레오 음향 신호에 부가 정보를 삽입한 후 서브밴드들의 에너지 레벨을 예시적으로 도시한 도면이다.
도 6a와 도 6b에 도시된 바와 같이 음향 신호가 스테레오 신호인 경우에 좌측과 우측 신호 중 서브밴드별 에너지 차가 더 큰 쪽을 선택하여 모노신호에 대한 정보 삽입 방법과 동일한 방법으로 정보를 삽입한다. 본 실시예에서는 우측의 에너지 차이가 더 큰 것으로 예시하고 있으므로 우측의 음향 신호에 정보를 삽입한다. 그리고 좌측의 신호는 각 프레임들에서의 에너지 크기에 대한 상호관계가 우측의 에너지 크기에 대한 상호관계와 동일해지도록 강제로 조절한다.
그리고 푸리에 역변환부(120)는 각 서브밴드를 푸리에 역변환하고, 서브 프레임 결합부(121)는 푸리에 역변환된 각 서브밴드를 서브 프레임별로 결합한다. 그리고 각 서브 프레임들은 프레임 결합부(122)에서 결합된 후 최종적으로 음향 신호로 출력된다.
이와 같이 부가정보가 삽입된 음향 신호가 출력되면 이를 청취하는 청취자는 부가정보를 추출할 수 있는 시스템을 가진 모바일 디바이스(11) 등을 이용하여 해당 음향 신호로부터 부가정보를 추출할 수 있다.
이하에서는 음향 신호에 삽입된 부가정보를 추출하는 시스템에 대하여 설명한다. 도 7은 본 실시예에 따라 부가정보가 삽입된 음향 신호에서 부가정보를 추출하는 시스템에 대한 구성도이다.
도 7에 도시된 바와 같이 시스템은 음향 신호에서 최소의 온전히 보존된 프 레임의 시작점을 찾는 프레임 동기화부(200)를 구비한다. 프레임 동기화부(200)는 음향 신호의 초반부를 스킵(skip)하는 초반 스킵부(201), 동기화용 프레임 분할부(202), 동기화용 서브 프레임 분할부(203), 동기화용 푸리에 변환부(204), 동기화용 서브밴드 분할부(205), 프레임 싱크 스코어링부(206), 프레임 싱크 맞춤부(207)를 구비한다.
그리고 시스템은 동기화부(200)에서 프레임 동기화가 완료되면 실제적으로 음향 신호에서 부가정보를 추출하기 프레임 분할부(210), 서브 프레임 분할부(211), 푸리에 변환부(212), 서브밴드 분할부(213), 정보추출부(214), 헤더검출부(215), 오류정정 역부호화부(216) 및 이진화 복원부(217)를 구비한다.
이하에서는 각각의 구성과 이들 구성의 작용에 대하여 구체적으로 설명한다.
동기화부(200)의 초반 스킵부(201)는 음향 신호를 샘플링하여 초기 샘플에서 "n"개 샘플만큼 건너뛴다. 이때의 "n"은 "0"에서 시작하여 1개의 프레임 길이가 될 때까지 반복하여 증가한다.
초반 스킵부(201)에서 스킵이 이루어지면 동기화 프레임 분할부(202)는 음향 신호를 각각의 시간축 상으로 다수의 프레임으로 분할한다. 그리고 동기화 서브 프레임 분할부(203)는 각 프레임을 3개의 서브 프레임으로 분할한다. 또한 동기화 푸리에 변환부(204)는 각 서브 프레임을 푸리에 변환한다. 그리고 서브밴드 분할부(205)는 푸리에 변환 이후 미리 설정된 주파수 대역(즉, 부가 정보 삽입시 이용된 주파수 대역)을 다수의 서브밴드로 분할한다.
그리고 프레임 싱크 스코어링부(206)는 각 서브 프레임에 해당하는 각 서브 밴드의 에너지 크기를 비교하여 에너지 크기가 큰 순서대로 각각의 서브 프레임의 에너지를 산출한다. 이때 중간 에너지 크기를 가지는 서브밴드의 에너지 크기가 가장 큰 에너지 크기를 가지는 서브밴드 또는 가장 작은 에너지 크기를 가지는 서브밴드의 에너지 크기에 근접하면 상대적으로 높은 점수를 부여한다. 반면에 중간 에너지 크기를 가지는 서브밴드의 에너지 크기가 가장 큰 에너지 크기를 가지는 서브밴드 또는 가장 작은 에너지 크기를 가지는 서브밴드의 에너지 크기의 중간 지점에 근접하면 상대적으로 낮은 점수를 부여한다. 그리고 각 서브밴드별로 계산된 점수를 합하여 최종 점수를 계산한다.
이와 같은 과정을 1개의 프레임 길이가 될 때까지 반복한다. 그리고 프레임 싱크 맞춤부(207)는 최종 점수가 최대가 되는 샘플링 위치를 찾고, 초반 건너뜀 길이를 구한다. 그리고 이 초반 건너뜀 길이만큼 신호의 초반부를 건너뜀으로써 프레임 동기화를 완료한다.
프레임 동기화가 완료되면 프레임 분할부(210)는 동기 위치부터 음향 신호를 프레임 단위로 분할한다. 그리고 서브 프레임 분할부(211)는 각 프레임을 3개의 서브 프레임으로 분할한다. 또한 푸리에 변환부(212)는 각 서브 프레임을 푸리에 변환하고, 서브밴드 분할부(213)는 푸리에 변환된 주파수 대역에서 부가 정보 삽입시 이용된 주파수 대역을 다수의 서브밴드로 분할한다.
계속해서 정보 추출부(214)는 각 서브밴드 별로 에너지 크기를 비교하여 디지털 신호를 추출한다. 디지털 신호의 추출은 각 서브 프레임의 해당 서브밴드의 에너지 크기를 계산하여 에너지 크기가 큰 순서대로 각 서브밴드를 구분한다. 이때 중간 크기를 가지는 서브밴드가 가장 큰 에너지 크기를 가지는 서브밴드의 에너지 크기에 가까우면 "1"로 추출하고, 작은 에너지 크기를 가지는 서브밴드의 에너지 크기에 가까우면 "0"으로 추출하거나 또는 그 반대의 방법으로 디지털 신호를 추출하여 각 프레임별로 추출된 디지털 신호를 나열하여 이진수열을 만든다.
또는 다른 실시예로 중간 크기를 가지는 서브밴드의 에너지 크기에 대한 임계값을 미리 설정하여 중간 크기를 가지는 서브밴드가 이 임계값 이상이 되거나 이하가 되는 것을 판단하여 부가정보의 디지털 신호를 판단, 추출할 수 있다.
헤더 검출부(215)는 추출된 이진수열에서 헤더로 삽입한 PN 시퀀스와 가장 가까운 부분을 찾아서 삽입된 정보의 시작점을 찾는다. 그리고 오류정정 역부호화부(216)는 삽입된 정보의 시작점부터 시작하여 오류정정 역부호화를 진행하여 이진수 형태로 표현된 부가정보를 복원한다. 그리고 이진화 복원부(217)는 복원된 부가정보를 원래의 정보형태로 복원함으로써 최종적으로 음향 신호에 삽입된 부가정보의 추출이 이루어진다.
그리고 이후 이를 복원한 시스템은 시스템과 연동된 무선 디바이스(11) 등의 디스플레이 또는 기타의 출력 또는 표시장치를 통하여 표시하게 됨으로써 사용자는 해당 음향 신호에 대한 부가정보를 획득하게 된다.
한편, 전술한 부가정보 추출 시스템의 구성에서 동기화용 프레임 분할부(202)와 프레임 분할부(210), 동기화용 서브 프레임 분할부(203)와 서브 프레임 분할부(211), 동기화용 푸리에 변환부(204)와 푸리에 변환부(212) 그리고 동기화용 서브밴드 분할부(205)와 서브밴드 분할부(213)는 시스템에서 하나의 신호처리 구성 으로 구현되어 하나의 구성이 두 가지의 다른 목적을 얻기 위한 구성으로 작용될 수 있다. 즉 이들 구성은 본 실시예에서 이해의 편의를 위하여 기능적으로 구분한 것으로 하드웨어는 동일한 구성요소일 수 있고, 그 외의 다른 구성들도 실시를 위하여 하드웨어가 병합 또는 구분되어 구현될 수 있다.
이상과 같은 본 실시예에 따른 음향 신호에 부가정보를 삽입하는 시스템 및 삽입방법을 이용한 실험예에서는 "egosys nEar 05" 스피커의 좌우를 50cm 이격시키고, 비트 레이트를 84.8bps로 하여 실험한 결과 스피커의 전방으로 5m 이상의 근거리에서 음향 신호에 포함된 부가정보를 획득할 수 있었다.
따라서 이와 같은 본 실시예의 음향 신호에서 부가정보를 추출하는 시스템 및 추출방법은 음악, 오디오북, 전화통화 등 모든 음향 신호가 전송될 때 관련된 부가정보를 음향 신호에 삽입하여 전달함으로써 길거리, 각종 대중 교통수단 및 대중장소 등의 스피커에서 출력하는 음향 신호로부터 무선 디바이스(11) 등을 이용하여 부가정보를 추출 획득하게 됨으로써 보다 향상된 모바일 환경을 향유할 수 있게 된다.
도 1은 무선 디바이스에서 청취중인 음향 신호에 대한 부가정보를 획득하는 예를 설명하기 위한 도면이다.
도 2는 본 실시예에 따른 음향 신호에 부가 정보를 삽입하는 시스템에 대한 구성도이다.
도 3은 본 실시예에 따른 음향 신호를 프레임 및 서브 프레임으로 분할하는 예를 도시한 도면이다.
도 4는 본 실시예에 따라 각각의 서브 프레임을 푸리에 변환한 후 서브밴드를 분할하는 하나의 예를 도시한 도면이다.
도 5a는 음향 신호에 부가 정보를 삽입하기 전 특정 위치의 서브밴드들의 에너지 레벨을 각 서브 프레임별로 나타낸 도면이다.
도 5b는 음향 신호에 부가 정보를 삽입한 후 특정 위치의 서브밴드들의 에너지 레벨을 각 서브 프레임별로 나타낸 도면이다.
도 6a는 스테레오 음향 신호에 부가 정보를 삽입하기 전 서브밴드들의 에너지 레벨을 예시적으로 도시한 도면이다.
도 6b는 스테레오 음향 신호에 부가 정보를 삽입한 후 서브밴드들의 에너지 레벨을 예시적으로 도시한 도면이다.
도 7은 본 실시예에 따라 부가정보가 삽입된 음향 신호에서 부가정보를 추출하는 시스템에 대한 구성도이다.

Claims (9)

  1. 음향 신호를 다수의 프레임으로 분할하는 프레임 분할부, 상기 프레임을 서브 프레임으로 분할하는 서브 프레임 분할부, 상기 각각의 서브 프레임을 푸리에 변환하는 푸리에 변환부, 상기 푸리에 변환된 상기 서브 프레임을 서브밴드로 분할하는 서브밴드 분할부, 상기 음향 신호에 대한 부가 정보를 상기 다수의 서브밴드의 에너지를 조절하여 삽입하는 정보 삽입부를 구비하는 것을 특징으로 하는 음향 신호에 부가정보를 삽입하는 시스템.
  2. 제 1항에 있어서, 상기 서브밴드 분할부와 상기 정보 삽입부 사이에는 상기 다수의 서브밴드들 중에서 가장 큰 에너지 크기를 가지는 높은 서브밴드와 가장 작은 에너지 크기를 가지는 낮은 서브밴드를 구분하고, 상기 높은 서브밴드와 상기 낮은 서브밴드의 에너지 크기 차이가 미리 설정한 차이값이 되도록 하는 에너지편차 표준화부가 구비되는 것을 특징으로 하는 음향 신호에 부가정보를 삽입하는 시스템.
  3. 제 1항에 있어서, 상기 정보 삽입부는 상기 다수의 서브밴드중 높은 서브밴드와 낮은 서브밴드의 중간 크기의 에너지 크기를 가지는 중간 서브밴드의 에너지 크기를 상기 디지털 신호에 따라 상기 높은 서브밴드 또는 상기 낮은 서브밴드의 에너지 크기로 바꾸는 것을 특징으로 하는 음향 신호에 부가정보를 삽입하는 시스템.
  4. 제 1항에 있어서, 상기 디지털 신호에 헤더를 삽입하는 헤더 삽입부를 구비하는 것을 특징으로 음향 신호에 부가정보를 삽입하는 시스템.
  5. 제 1항에 있어서, 상기 정보 삽입부에서 정보가 삽입된 상기 서브밴드들을 푸리에 역변환시키는 푸리에 역변환부와 상기 서브 프레임들을 결합하는 서브 프레임 결합부와, 상기 프레임들을 결합하는 프레임 결합부를 구비하는 것을 특징으로 하는 음향 신호에 부가정보를 삽입하는 시스템.
  6. 음향 신호를 다수의 프레임으로 분할하고, 상기 프레임을 다수의 서브 프레임으로 분할하고, 상기 각각의 서브 프레임을 푸리에 변환한 후 다수의 서브밴드로 분할하고, 상기 음향 신호에 대한 부가 정보를 상기 다수의 서브밴드의 에너지를 조절하여 삽입하는 것을 특징으로 하는 음향 신호에 부가정보를 삽입하는 방법.
  7. 제 6항에 있어서, 상기 다수의 서브밴드들 중에서 가장 큰 에너지 크기를 가지는 높은 서브밴드와 가장 작은 에너지 크기를 가지는 낮은 서브밴드를 구분하고, 상기 높은 서브밴드와 상기 낮은 서브밴드의 에너지 크기 차이가 미리 설정한 차이값이 되도록 상기 높은 서브밴드와 상기 낮은 서브밴드 중의 어느 한쪽의 에너지 크기를 조절하는 것을 특징으로 하는 음향 신호에 부가정보를 삽입하는 방법.
  8. 제 7항에 있어서, 상기 다수의 서브밴드는 상기 높은 서브밴드와 상기 낮은 서브밴드의 중간 크기의 에너지 크기를 가지는 중간 서브밴드를 포함하고, 상기 서브 프레임이 삽입되는 상기 디지털 신호에 따라 상기 중간 서브밴드의 에너지 크기를 상기 높은 서브밴드 또는 상기 낮은 서브밴드의 에너지 크기로 조절시키는 것을 특징으로 하는 음향 신호에 부가정보를 삽입하는 방법.
  9. 제 6항에 있어서, 상기 음향 신호가 스테레오 음향 신호이고, 상기 스테레오 음향 신호중 일측 방향의 음향 신호가 상기 부가 정보가 삽입되도록 변조되면, 타측 방향의 음향 신호를 상기 일측 방향의 음향 신호가 가지는 에너지 크기에 대한 상호관계와 동일해 지도록 변조하는 것을 특징으로 하는 음향 신호에 부가정보를 삽입하는 방법.
KR1020080019090A 2008-02-29 2008-02-29 음향 신호에 부가정보를 삽입하는 시스템 및 삽입방법 KR100929961B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020080019090A KR100929961B1 (ko) 2008-02-29 2008-02-29 음향 신호에 부가정보를 삽입하는 시스템 및 삽입방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080019090A KR100929961B1 (ko) 2008-02-29 2008-02-29 음향 신호에 부가정보를 삽입하는 시스템 및 삽입방법

Publications (2)

Publication Number Publication Date
KR20090093529A KR20090093529A (ko) 2009-09-02
KR100929961B1 true KR100929961B1 (ko) 2009-12-04

Family

ID=41302002

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080019090A KR100929961B1 (ko) 2008-02-29 2008-02-29 음향 신호에 부가정보를 삽입하는 시스템 및 삽입방법

Country Status (1)

Country Link
KR (1) KR100929961B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107749305A (zh) * 2017-09-29 2018-03-02 百度在线网络技术（北京）有限公司 语音处理方法及其装置

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101466843B1 (ko) * 2010-11-02 2014-11-28 에스케이텔레콤 주식회사 오디오 신호의 변형을 통한 데이터 전달 통신의 음질 개선 시스템 및 방법, 그리고 이에 적용되는 장치

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
J.Herre et al., 'Spatial Audio Coding: Next-generation efficient and compatible coding of multi-channel audio', 117th AES Convention Paper 6186, 2004 October 28–31 San Francisco, CA, USA
JONG-HWA KIM, 'Lossless Wideband Audio Compression:Prediction and Transform', Technische Universitat Berlin. 2004

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107749305A (zh) * 2017-09-29 2018-03-02 百度在线网络技术（北京）有限公司 语音处理方法及其装置
CN107749305B (zh) * 2017-09-29 2021-08-24 百度在线网络技术（北京）有限公司 语音处理方法及其装置

Also Published As

Publication number Publication date
KR20090093529A (ko) 2009-09-02

Similar Documents

Publication Publication Date Title
RU2624549C2 (ru) Формирование сигнала водяного знака и встраивание водяного знака
KR100341197B1 (ko) 오디오 데이터로 부가 정보를 매립하는 방법 및 시스템
CA2887703C (en) Methods and apparatus to perform audio watermark detection and extraction
CA2699004A1 (en) A method and an apparatus of decoding an audio signal
EP3301673A1 (en) Audio communication method and apparatus
CN104361890A (zh) 一种广播音频水印的嵌入与识别方法
KR100964096B1 (ko) 음향 신호에서 부가정보를 추출하는 시스템 및 추출방법
AU2015213670A1 (en) Communications systems, methods and devices having improved noise immunity
KR100929961B1 (ko) 음향 신호에 부가정보를 삽입하는 시스템 및 삽입방법
Cho et al. Robust data hiding for MCLT based acoustic data transmission
JP2008256948A (ja) 音響信号に対する情報の埋め込み装置および音響信号からの情報の抽出装置
US9824694B2 (en) Data carriage in encoded and pre-encoded audio bitstreams
CN111199745A (zh) 广告识别方法、设备、媒体平台、终端、服务器、介质
US9312893B2 (en) Systems, methods and devices for electronic communications having decreased information loss
JP4910920B2 (ja) 音響信号に対する情報の埋め込み装置および音響信号からの情報の抽出装置
Zhang et al. An audio covert communication system for anolog channels
Shafi et al. A novel audio steganography scheme using amplitude differencing
Nishimura Data hiding in speech sounds using subband amplitude modulation robust against reverberations and background noise
Cho et al. Quality enhancement of audio watermarking for data transmission in aerial space based on segmental SNR adjustment
Beack et al. Acoustic data transmission by extension on the time domain approach
JP7385533B2 (ja) 音響受信装置、プログラムおよび音響受信装置における音響信号受信方法
JP4910921B2 (ja) 音響信号に対する情報の埋め込み装置および音響信号からの情報の抽出装置
Modegi Construction of ubiquitous acoustic spaces using audio watermark technology and mobile terminals
Xiong et al. Optimized SS-based Audio Watermarking System Using Partial Embedding Method
JP2011085643A (ja) デコーダ、情報処理装置及び音声圧縮フォーマット判定方法

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20121120

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20131106

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20141118

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20151102

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20161111

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20171010

Year of fee payment: 9

LAPS Lapse due to unpaid annual fee