KR20170130495A - 음장의 앰비소닉스 표현에서 워터마크들을 삽입하고 복구하는 방법 및 장치 - Google Patents

음장의 앰비소닉스 표현에서 워터마크들을 삽입하고 복구하는 방법 및 장치 Download PDF

Info

Publication number
KR20170130495A
KR20170130495A KR1020177030172A KR20177030172A KR20170130495A KR 20170130495 A KR20170130495 A KR 20170130495A KR 1020177030172 A KR1020177030172 A KR 1020177030172A KR 20177030172 A KR20177030172 A KR 20177030172A KR 20170130495 A KR20170130495 A KR 20170130495A
Authority
KR
South Korea
Prior art keywords
directional signals
representation
dimensional
sound field
signals
Prior art date
Application number
KR1020177030172A
Other languages
English (en)
Inventor
샤오밍 천
페터 게오르그 바움
울리히 그리스
미하엘 아놀드
Original Assignee
톰슨 라이센싱
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 톰슨 라이센싱 filed Critical 톰슨 라이센싱
Publication of KR20170130495A publication Critical patent/KR20170130495A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/018—Audio watermarking, i.e. embedding inaudible data in the audio signal
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/11—Application of ambisonics in stereophonic audio systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • Stereophonic System (AREA)
  • Editing Of Facsimile Originals (AREA)

Abstract

차세대 오디오에 대한 잠재적 포맷으로서, 음장의 고차 앰비소닉스(HOA) 표현에서 디지털 워터마크들을 삽입하는 기술들이 제안되었다. 본 발명의 삽입 방법은 음장의 2차원 또는 3차원 앰비소닉스 표현을 워터마킹하기 위해 구성되고, 여기서, 앰비소닉스 표현은 방향성 신호들 및 주변 성분들로 분해되고 추정된 우세한 방향들을 포함하고, 주변 성분들의 차수가 감소될 수 있으며, 워터마크 정보 데이터가 방향성 신호들에 삽입되며, 수신기측에서, 워터마킹된 방향성 신호들로부터 복구된다.

Description

음장의 앰비소닉스 표현에서 워터마크들을 삽입하고 복구하는 방법 및 장치
본 발명은 음장의 2차원 또는 3차원 앰비소닉스 표현에서 워터마크들을 삽입하고 복구하는 방법 및 장치에 관한 것이다.
차세대 오디오에 대한 잠재적 포맷으로서, 음장의 고차 앰비소닉스(HOA: Higher Order Ambisonics) 표현에서 디지털 워터마크들을 삽입하는 기술들이 제안되었다. [7]에서, 워터마크들은 합성/녹음 오디오 신호들 또는 음장의 앰비소닉스 표현에 삽입된다. 워터마킹된 신호가 원래 호스트 신호와 그것의 가중되고 방향 회전된 버전으로 이루어진 부가적 워터마킹이 이용된다. 그러나, 앰비소닉스 도메인 회전에서는 1차(B-포맷)에 대해서만 고려되었다. HOA 도메인에서의 회전이 [8]에 나타낸 바와 같이 또한 가능하므로, 회전을 통한 삽입은 HOA 포맷으로 또한 확장될 수 있다. 그러나, 상이한 방향들은 회전에 대해 상이한 지각적 감도들을 갖는다. 따라서, 지각적 충실도를 유지하기 위해, 매우 작은 회전만이 앰비소닉스 신호들에 대해 허용된다.
녹음/합성 오디오 신호들에 직접 삽입하기 위해, 상이한 워터마크들이 개별 오디오 신호들에 삽입된다. 소스 방향들 및 회전 이후의 방향들 모두가 워터마크 검출(소위 준은닉(semi-blind) 검출)을 위해 알려져야 한다. 여기에서의 문제점은, 상이한 소스 방향들을 개별적으로 회전시킴으로써 지각적 품질과 삽입 강도 사이의 트레이드-오프를 수행하기 위해 개별 소스 방향들에 대해 동조 프로세스가 필요하다는 것이다. 상이한 워터마크들을 개별 신호들에 삽입하는 것은 송신될 수 있는 데이터 레이트를 증가시킨다. 다른 한편, 이러한 삽입 전략은 HOA 압축에 대해 강건하지 못할 수 있다.
HOA 압축이 WO2013/171083 A1 [9]에 나타나 있고, 여기서 음장의 앰비소닉스 표현이 방향성 신호들과 주변 성분들로 분해된다. 방향성 신호들 및 그들의 연관된 방향들이 송신되는 반면에, 주변 성분들의 감소된 차수의 표현만이 송신된다. 따라서, 개별 오디오 신호들에 삽입된 일부 워터마크들은, 압축 이전에 삽입되는 경우에 검출될 수 없다 ([7] 참조). 이러한 문제점은 개별 오디오 신호들에 동일한 워터마크를 삽입함으로써 회피될 수 있지만, 이는 워터마킹 데이터 채널에 대한 가용 데이터 레이트의 감소를 초래한다.
본 발명에 의해 해결한 문제점은, 2D 또는 3D 앰비소닉스 음장 표현의 워터마킹을 개선하는 것이다. 이러한 문제점은 청구항 제1항에 개시된 삽입 방법 및 청구항 제8항에 개시된 복구 방법에 의해 해결된다. 이들 방법들을 활용하는 장치가 청구항 제2항 및 제9항에 개시된다.
본 발명의 바람직한 추가의 실시예들은 각각의 종속항들에 개시된다.
아래의 설명은 우세한 방향성 신호들 및 주변 또는 잔류 성분들로의 앰비소닉스 표현의 분해에 기초한, 음장의 2D 또는 3D 앰비소닉스 표현에서 디지털 워터마크들의 삽입 및 검출을 개시한다. 워터마크 데이터 신호는 기저대역 신호에서 동작하는 임의의 PCM 오디오 워터마킹 기술에 의해 우세한 방향성 신호들에 삽입된다.
워터마크 검출은 디지털 송신에 후속하여 앰비소닉스 디코딩 프로세싱의 일부로서 수행될 수 있다. 대안으로, 워터마크 검출은 렌더링된 음장을 녹음한 이후에 실행될 수 있다. 구면의 마이크로폰이 이용가능한 경우에, 방향성 신호들은 삽입된 워터마크들의 강건성을 향상시키기 위해 다시 추정될 수 있다.
바람직하게는, 이러한 방향성 신호들에서 워터마크 정보의 삽입은, 방향성 신호들이 지각적으로 우세하며 상대적으로 높은 삽입 강도가 결과적인 지각적 충실도를 저하시키지 않고 사용될 수 있기 때문에, HOA 압축에 대한 충실도와 강건성 사이의 더 양호한 트레이드 오프를 제공한다. 또한, 방향성 신호들이 HOA 압축 이후에 어떠한 변화도 없이 전달되기 때문에, 삽입된 워터마크들의 높은 강건성이 보장된다.
원칙적으로, 본 발명의 삽입 방법은 음장의 2차원 또는 3차원 앰비소닉스 표현을 워터마킹하기 위해 구성되고, 여기서, 앰비소닉스 표현은 방향성 신호들 및 주변 성분들로 분해되고 추정된 우세한 방향들을 포함하고, 주변 성분들의 차수가 감소될 수 있으며, 워터마크 정보 데이터가 방향성 신호들에 삽입된다.
원칙적으로, 본 발명의 삽입 장치는 음장의 2차원 또는 3차원 앰비소닉스 표현을 워터마킹하기 위해 구성되고, 장치는:
- 앰비소닉스 표현을 방향성 신호들 및 주변 성분들 및 추정된 우세한 방향들로 분해하고 - 주변 성분들의 차수는 감소될 수 있음 -;
방향성 신호들에 워터마크 정보 데이터를 삽입하도록 구성된다.
원칙적으로, 본 발명의 복구 방법은 상기 삽입 방법에 따라 음장의 2차원 또는 3차원 앰비소닉스 표현에 삽입된 워터마크 정보 데이터를 복구하기 위해 구성되고, 이 방법은:
- 상기 워터마킹된 앰비소닉스 표현을 상기 방향성 신호들, 상기 추정된 우세한 방향들 및 상기 주변 성분들로 분해하는 단계;
상기 워터마킹된 방향성 신호들에서 워터마크 검출을 수행하는 단계를 포함한다.
원칙적으로, 본 발명의 복구 장치는 상기 삽입 방법에 따라 음장의 2차원 또는 3차원 앰비소닉스 표현에 삽입된 워터마크 정보 데이터를 복구하기 위해 구성되고, 이 장치는:
- 상기 워터마킹된 앰비소닉스 표현을 상기 방향성 신호들, 상기 추정된 우세한 방향들 및 상기 주변 성분들로 분해하고;
상기 워터마킹된 방향성 신호들에서 워터마크 검출을 수행하도록 구성된다.
본 발명의 예시적인 실시예들이 첨부한 도면들을 참조하여 설명된다.
도 1은 경사각(
Figure pct00001
) 및 방위각(
Figure pct00002
)을 갖는 구면 좌표계이다.
도 2는 방향성 신호들의 워터마킹이다.
도 3은 HOA 인코더내의 워터마크 삽입기이다.
도 4는 HOA 방향성 신호들에 구체적으로 적용된 [1]에 개시된 바와 같은 위상-기반 워터마크 삽입 프로세싱이다.
도 5는 HOA에서 지각적 인코더내의 워터마크 삽입기이다.
도 6은 워터마킹된 앰비소닉스 계수들로부터의 워터마크 검출이다.
도 7은 HOA 디코딩내의 워터마크 검출이다.
도 8은 독립형 워터마크 검출이다.
도 9는 Eigenmike와 같은 구면 마이크로폰을 통한 녹음에 후속하는 워터마크 검출이다.
도 10은 워터마킹된 HOA 방향성 신호들에 구체적으로 적용된 [1]에 개시된 바와 같은 위상-기반 워터마크 검출 프로세싱이다.
명시적으로 설명되지는 않지만, 아래의 실시예들은 임의의 조합 또는 서브-조합으로 이용될 수 있다.
고차 앰비소닉스 ( HOA )
앰비소닉스는 음장을 표현하기 위해 (수학식 (1)에서
Figure pct00003
차수까지의) 절두된 구면 고조파 전개식을 이용한다:
[수학식 1]
Figure pct00004
여기서,
Figure pct00005
는 임의의 방향(
Figure pct00006
)에 대한 구(sphere)상의 압력을 나타낸다. 도 1은 경사각(
Figure pct00007
) 및 방위각(
Figure pct00008
)을 갖는 구면 좌표계를 도시하고,
Figure pct00009
은 좌표계의 원점(스위트 스폿(sweet spot))으로서 청취 포인트로부터의 거리이다.
각파수(angular wave number)가 주파수 및 파장을 각각 나타내는
Figure pct00010
및
Figure pct00011
로
Figure pct00012
에 의해 표기된다. 구면 고조파들(SH)은
Figure pct00013
에 의해 표기되며,
Figure pct00014
은 전개(앰비소닉스) 계수들이다. SH 전개식을 통해 음장을 표현하는 복잡성과 공간 해상도 사이의 트레이드-오프가 전개식 차수(
Figure pct00015
)에 의해 제어된다. 3차원의 경우들에서,
Figure pct00016
전개 계수들이 존재하는 반면에, 2차원 경우들, 즉,
Figure pct00017
에서는,
Figure pct00018
계수들이 존재한다. HOA는 차수
Figure pct00019
을 갖는 SH 전개식들을 지칭한다. 이에 따라, 전개 계수들은 HOA 계수들로서 지칭되며, 전개 차수를 HOA 차수로 또한 칭한다. 녹음되거나 합성된 오디오 신호들 및 그들의 연관된 부분들을 직접 송신하는 대신에, SH 전개 계수들(
Figure pct00020
)은 앰비소닉스의 맥락에서 렌더링하기 위해 전달된다.
HOA 계수들 및 특정한 라우드스피커 셋업이 주어지면, 렌더러는 라우드스피커들에 의해 전달된 음장의 재생을 시도한다. 다시 말해, 상이한 라우드스피커 셋업들에 적용될 수 있는 HOA의 플렉시빌리티가, 디코딩이 개별 라우드스피커 셋업들에 대해 필요하다는 것을 희생시켜가면서 이루어진다. HOA 및 HOA에 대한 디코딩에 관한 추가의 상세사항들이 WO2011/117399 A1 [10] 또는 [3]에서 발견될 수 있다.
HOA 계수들의 분해를 통한 HOA 압축
압축하지 않고 HOA 계수들을 송신하기 위한 데이터 레이트는
Figure pct00021
bits/s로서 평가될 수 있으며, 여기서,
Figure pct00022
는 각각의 시간 인덱스에 대한 HOA 계수들의 수이고(상기 참조),
Figure pct00023
는 샘플링 주파수이며,
Figure pct00024
는 각각의 HOA 계수들을 나타내는 비트들의 수이다. HOA 압축은 지각적 충실도를 희생하지 않고 데이터 레이트를 감소시키려는 것이다.
[9]는 압축 목적을 위해 송신된 HOA 계수들의 데이터 레이트를 감소시키는 방법을 나타낸다. 음장을 나타내는 HOA 계수들이 방향성 신호들 및 잔류(residual) 주변 성분들로 분해될 수 있으며, 더 낮은 HOA 차수, 즉,
Figure pct00025
가 잔류 또는 주변 성분들을 나타내는데 충분하다는 것이 검증되었다는 것이 본질적인 가정이다.
Figure pct00026
방향성 신호들이 존재하고
Figure pct00027
가 주변 성분들을 나타내기 위해 이용되는 경우에, 결과적인 데이터 레이트는
Figure pct00028
bits/s이다. 결과적으로, HOA 계수들의 분해로 인한 것이고 더 낮은 HOA 차수를 통한 주변 성분들을 나타내는 압축 이득은
Figure pct00029
,
Figure pct00030
이고, 이는
Figure pct00031
및
Figure pct00032
파라미터들을 변화시킴으로써 조절될 수 있다.
방향성 신호들의 방향 정보가 송신될 필요가 있기 때문에, 이는 근사 압축 이득이다. 통상적으로, 파라미터(
Figure pct00033
)는 미리 정의된다.
방향성 신호들에 워터마크 삽입하기
워터마크 정보 데이터는 앰비소닉스 차수에 관계없이 그리고 2차원 또는 3차원 앰비소닉스에 관계없이 방향성 신호들에 삽입된다.
도 2는 녹음되거나 합성된 오디오 신호들로부터 계산되거나 임의의 공지된 앰비소닉스 포맷으로 앰비소닉스 오디오 파일로부터 추출된 앰비소닉스 계수들을 수정함으로써 삽입하는 워터마크를 예시한다([4] 참조). 앰비소닉스 계수들은 스텝 또는 스테이지(21)에서, 추정된 방향성 신호들 및 대응하는 추정된 우세한 방향 정보 데이터, 및 잔류 주변 성분들 또는 신호들로 분해된다. HOA 계수들에 대한 하나의 가능한 분해가 [9]에 개시되어 있으며, 이는 1차 앰비소닉스에 또한 적용가능하다. 방향성 신호들은 다중의 PCM 신호들로서 해석될 수 있다. 따라서, 방향성 신호들은 임의의 PCM 오디오 워터마킹 기술들(예를 들어, [1] 참조)에 대해 이용될 수 있다. 워터마킹될 각각의 방향성 신호에 대해, 개별 마스킹 곡선이 워터마크 삽입 강도를 억제하기 위해 사용될 수 있다.
워터마크 삽입 스텝 또는 스테이지(22)에서, 하나 이상의 워터마크들이 하나 이상의 방향성 신호들에 삽입된다. 워터마킹된 방향성 신호들, 주변 신호들 및 방향 정보 데이터는 앰비소닉스 구성 스텝 또는 스테이지(23)에서 구성되어, 워터마킹된 앰비소닉스 계수들을 발생시킨다.
워터마킹된 방향성 신호들 및 그들의 연관된 추정된 우세한 방향들은, 분해 동안 획득된 잔류 주변 성분들을 갖는 최종 앰비소닉스 표현을 구성하기 위해 사용되는 대응하는 앰비소닉스 표현을 평가하기 위해 사용된다. 유사한 구성 프로세스가 HOA 분해의 문맥에서 [9]에 설명된다. 결과적으로, 삽입된 워터마크 신호들을 갖는 수정된 앰비소닉스 계수들이 [9] 또는 [11]에 나타낸 바와 같은 압축과 같은 프로세싱을 위해 사용될 수 있다.
도 3은 HOA 압축의 프레임워크내에 워터마크 삽입을 수행하는 방법을 예시한다. 이러한 프로세싱이 1차 앰비소닉스에 또한 적용될 수 있지만, HOA는 1차 앰비소닉스보다 잠재적으로 넓은 애플리케이션들을 갖는다. HOA 변환 스텝 또는 스테이지(31)는, 대응하는 포지션 정보 아이템들과 함께 그리고 HOA 차수(
Figure pct00034
)에 기초하여, 수신된 녹음되거나 합성된 오디오 신호들로부터 HOA 계수들을 계산한다. HOA 변환에 이어서, HOA 계수들은 [9]에 나타낸 바와 같이, 스텝 또는 스테이지(32)에서 방향성 신호들 및 주변 신호들 또는 성분들 및 관련 추정된 우세한 방향 정보 데이터로 분해된다. 워터마킹은 임의의 PCM 오디오 워터마킹 기술(예를 들어, [1] 참조)로 방향성 신호들에 대해 스텝 또는 스테이지 33에서 수행된다. 워터마킹될 각각의 방향성 신호에 대해, 개별 마스킹 곡선이 워터마킹 삽입 강도를 억제하기 위해 사용될 수 있다. 주변 신호들은 차수 감소 스텝 또는 스테이지(34)를 통과한다.
차수 감소 이후에 주변 HOA 성분들과 함께, 워터마킹된 방향성 신호들은 스텝 또는 스테이지(35)에서 지각적 코딩에 의해 더 압축된다. 이러한 지각적 코딩의 예들이 AAC, mp3, 또는 USAC(Unified speech and audio coding)이다.
대응하는 신호들의 방향 정보는 스텝/스테이지(36)에서, 워터마킹된 HOA 비트스트림을 형성하도록 지각적으로 코딩된 비트스트림과 멀티플렉싱된다.
Figure pct00035
방향성 신호들이 존재하기 때문에, 상이한 워터마크 신호들이 워터마크 송신을 위해 높은 데이터 레이트를 달성하기 위해 개별 방향성 신호들에 삽입될 수 있다. 대안으로는, 원하는 경우에, 동일한 워터마크 신호가 잠재적 신호 프로세싱 및 음향 경로 송신에 대한 높은 강건성을 위해 개별 방향성 신호들에 삽입될 수 있다. 더욱이 확산 스펙트럼 기술들 및 에러 정정 코드들이 강건성의 추가의 증가를 위해 이용될 수 있다([1] 참조).
도 4는 [1]에 개시된 바와 같은 오디오 신호 위상 수정들을 사용한 워터마크 삽입에 대한 예를 도시한다. 방향성 신호는 세그먼테이션, 윈도잉 및 DFT를 위해 스텝 또는 스테이지(41)를 통과하여 위상 변조 스텝 또는 스테이지(42)로 전달된다. 비밀 키 및 관련 워터마크 심볼 알파벳 사이즈에 기초하여, 비밀 키는 랜덤 위상 생성 스텝 또는 스테이지(44) 및 스텝 또는 스테이지(45)에서 예를 들어, 16384개 샘플들의 레퍼런스 패턴들의 대응하는 생성을 위해 사용된다. 삽입될 워터마크 심볼에 의존하여, 레퍼런스 패턴은 HOA 분해 이후에 하나의 방향성 신호의 위상들을 스텝/스테이지(42)에서 수정하기 위해 선택된다. 워터마킹될 각각의 방향성 신호에 대해, 개별 마스킹 곡선이 워터마크 삽입 강도를 억제하기 위해 사용될 수 있다. 이에 의해, 방향성 신호의 마스킹 곡선은 위상 수정이 어떠한 지각적 저하도 초래하지 않도록 결정된다. 후속하는 IDFT, 윈도잉 및 오버랩-애드 스텝 또는 스테이지(43)가 워터마킹된 방향성 신호를 출력한다. 워터마킹된 방향성 신호들은 도 2에서와 같이 HOA 계수들을 재구성하거나 최종 HOA 비트스트림을 획득하기 위해 프로세싱된다(도 3 참조).
워터마크 페이로드가 에러 정정에 의해 보호될 수 있다. 각각의 워터마크 심볼은 워터마크 정보 데이터 삽입(42)에서 레퍼런스 패턴(45)에 대응한다.
삽입된 워터마크들의 강건성 및 워터마킹된 방향성 신호들의 품질은 연속 지각적 코더에 의해 변화된다. 따라서, 워터마크 강건성, 압축 및 품질 사이의 트레이드-오프를 더 양호하게 제어하기 위한 다른 가능성으로, 도 5에 도시되어 있는 바와 같이, 워터마크 삽입 스텝이 지각적 코더에 또한 직접 통합될 수 있다. 녹음되거나 합성된 오디오 신호들, 포지션들에 관한 데이터 및 HOA 차수의 값(
Figure pct00036
)은 HOA 컨버터(51)에 공급된다. HOA 표현 신호는 방향성 신호 데이터, 관련 추정된 우세한 방향 데이터, 및 주변 신호 데이터를 출력하는 HOA 분해 스텝 또는 스테이지(52)에 공급된다. 바람직하게는, 주변 신호의 차수는 차수 감소 스텝 또는 스테이지(54)에서 감소된다. 방향성 신호 데이터 및 차수-감소된 주변 신호 데이터는 스텝 또는 스테이지(55)에서 지각적으로 인코딩되고, 이에 의해 워터마크 데이터가 삽입된다. AAC 및 AC-3에 대한 오디오 워터마킹에 대한 예들이 [6] 및 [5] 각각에서 발견될 수 있다. 방향 데이터와 함께 지각적으로 인코딩된 방향성 신호 데이터 및 차수-감소된 주변 신호 데이터는 워터마킹된 HOA 비트스트림을 출력하는 멀티플렉서 스텝 또는 스테이지(56)에서 멀티플렉싱된다.
워터마크 검출
가능하면 상이한 신호 프로세싱 절차들 이후에, 앰비소닉스 오디오 파일로부터 추출될 수 있거나 Eigenmike(http://www.mhacoustics.com/products#eigenmike1 참조)와 같은 구면 마이크로폰 어레이에 의해 녹음된 오디오 신호들로부터 변환된 워터마킹된 앰비소닉스 계수들이 이용가능한 경우에, 스텝 또는 스테이지(62)에서의 워터마크 검출은 도 6에 도시되어 있는 바와 같이, 방향성 신호들을 추출함으로써 수행될 수 있다. 앰비소닉스 계수들의 분해는 예를 들어, [9]에 설명된 프로세싱을 사용하여, 스텝/스테이지(21)에서의 프로세싱에 대응하는 스텝 또는 스테이지(61) 또는 워터마크 삽입에서 스텝/스테이지(32)에서 수행된다. 구면 마이크로폰 어레이에 의해 녹음된 신호들의 앰비소닉스 표현으로의 변환에 대한 예가 [12]에 설명되어 있다.
워터마크 삽입이 도 5에서와 같은 압축 프레임워크내에서 발생하면, 워터마크 검출은 도 7에 도시되어 있는 바와 같이 디지털 송신 환경(예를 들어, 셋-탑 박스)에서 HOA 디코딩의 프레임워크내에서 수행될 수 있다. 들어오는 HOA 비트스트림은 디멀티플렉서 스텝 또는 스테이지(76)에서 지각적 디코딩을 위한 비트스트림 및 HOA 계수들의 방향성 신호들에 대한 방향 정보 데이터로 스플릿된다. 스텝 또는 스테이지(75)에서의 지각적 디코딩은 워터마킹된 방향성 신호들 및 가능하면 차수-감소된 주변 HOA 성분들을 전달한다. 그 후, 워터마크는 워터마크 검출 스텝 또는 스테이지(73)에서 워터마킹된 방향성 신호들로부터 검출되고 추출된다. (차수 확장 스텝 또는 스테이지(74)에서의
Figure pct00037
까지의 차수 확장 이후에) 워터마킹된 방향성 신호들 및 주변 HOA 성분들은 원래의 음장의 HOA 표현을 복구하는 방향 정보 데이터와 함께 HOA 구성 스텝 또는 스테이지(72)에서 사용된다. 복구된 HOA 계수들은 원래의 음장에 대한 라우드스피커 신호들을 재생하도록 렌더링하는 HOA 렌더링 스텝 또는 스테이지(71)에서 사용된다.
도 5에 관한 대안의 실시예에서, 스텝/스테이지(73)는 생략되며 워터마크 검출은 상기 지각적 디코딩 스텝/스테이지(75)에서 수행된다.
대안으로, 워터마크 검출은 도 8에 예시되어 있는 바와 같이, HOA 디코딩과 독립적으로 수행될 수 있다. 워터마킹된 HOA 비트스트림이 스텝 또는 스테이지(81)에서 HOA 디코딩되고 스텝 또는 스테이지(82)에서 HOA 렌더링되어, 대응하는 라우드스피커 신호들을 발생시킨다. 이러한 표현된 음장은 음장 녹음 스텝 또는 스테이지(83)에서 녹음될 수 있다. (음장 녹음된) 라우드스피커 신호들은 검출된 워터마크 데이터를 제공하는 워터마크 검출 스텝 또는 스테이지(84)에 공급된다.
추정된 방향성 신호들에 기초하여, 워터마크는 도 9에 도시되어 있는 바와 같이 검출될 수 있다. 라우드스피커들에 의해 재생된 음장은 스텝 또는 스테이지(98)에서의 녹음된 마이크로폰 신호를 HOA 계수들로 변환하는데 요구됨에 따라 사후-프로세싱이 후속하는 구면 마이크로폰 녹음 스텝 또는 스테이지(97)에서 Eigenmike와 같은 전방향성 마이크로폰 또는 마이크로폰 어레이에 의해 녹음된다.
녹음이 전방향성 마이크로폰에 의해 수행되는 경우에, 녹음된 신호는 스텝 또는 스테이지(92)에서 워터마크 검출을 위해 사용된다. 이 경우에, 녹음된 신호는 렌더링된 방향성 신호들과 주변 성분의 중첩이다. 동일한 워터마크가 방향성 신호들에 삽입되는 경우에, 상관-기반 워터마크 검출기들이 상이한 라우드스피커들로부터의 시간 지연들로 인해 상관 어레이에서 여러 피크들을 나타낼 것이다. 이것은 [2]에 나타낸 바와 같이 피크들에서 제약된 워터마크 에너지를 집성하는데 이용될 수 있다.
음장이 구면 마이크로폰 어레이에 의해 녹음되는 경우에, 앰비소닉스 표현은 [12]에 나타낸 바와 같이 스텝/스테이지(98)에서 유도될 수 있다. 이제, 방향성 신호들은 HOA 인코딩과 같은 HOA 분해 스텝 또는 스테이지(91)에서 추정될 수 있다(섹션 HOA 계수들의 분해를 통한 HOA 압축 또는 [9] 참조). 그 후, 방향성 신호들은 워터마크 검출 스텝 또는 스테이지(92)에 전달된다.
워터마크 검출에 대한 상세한 예가 도 10에 도시되어 있다. 도 8 프로세싱에서 또는 전방향성 마이크로폰 경우(도 9의 제1 실시예)에서, 워터마킹된 오디오 신호만이 워터마크 검출을 위해 이용가능하다. 다른 설명된 경우들에서, 워터마킹된 방향성 신호들은 워터마크 검출을 위해 이용가능하다.
방향성 신호 또는 워터마킹된 방향성 신호는 화이트닝 스텝 또는 스테이지(101)를 통과한다. 비밀 키 및 관련 워터마크 심볼 알파벳 사이즈에 기초하여, 비밀 키는 스텝 또는 스테이지(104)에서 랜덤 위상 생성 및 스텝 또는 스테이지(105)에서 예를 들어, 16384 샘플 길이의 레퍼런스 패턴들의 대응하는 생성을 위해 사용된다. 스텝/스테이지(105)로부터의 후보 레퍼런스 패턴들은 상관 스텝/스테이지(102)에서 화이트닝된 워터마킹된 입력 신호의 대응하는 섹션과의 크로스 상관을 위해 선택된다. 스텝/스테이지(102)의 출력 신호로부터, 삽입된 워터마크 심볼은 심볼 검출 스텝 또는 스테이지(103)에서 검출되어 출력된다. 상관값들에 기초한 워터마크 심볼 추정은 [1]에 설명된 바와 같이 수행될 수 있다.
설명된 프로세싱은 단일 프로세서 또는 전자 회로에 의해, 또는 병렬로 동작하거나 완벽한 프로세싱의 상이한 부분들에 대해 동작하는 여러 프로세서들 또는 전자 회로들에 의해 수행될 수 있다.
설명한 프로세싱에 따라 프로세서 또는 프로세서들을 동작시키는 명령어들이 하나 이상의 메모리들에 저장될 수 있다. 그 후, 적어도 하나의 프로세서가 이들 명령어들을 수행하도록 구성된다.
참조들
[1] M. Arnold, X.M Chen, P.G. Baum, U. Gries, G. Doerr,"A Phase-based Audio Watermarking System Robust to Acoustic Path Propagation", IEEE Transactions On Information Forensics and Security, vol.9, pp.411-425, March 2014.
[2] M. Arnold, X.M. Chen, P.G. Baum;"Robust Detection of Audio Watermarks after Acoustic Path Transmission", Proceedings of the ACM Workshop on Multimedia and Security, pp.117-126, September 2010.
[3] J. Boehm,"Decoding for 3-D", 130th Convention of the Audio Eng. Soc., London, UK, May 2011.
[4] M. Chapman, W. Ritsch, Th. Musil, J. Zmolnig, H. Pomberger, F. Zotter, A. Sontacchi, "A standard for interchange of ambisonic signal sets including a file standard with metadata", Proceedings of the Ambisonics Symposium 2009, 2009.
[5] X.M. Chen, M. Arnold, P.G. Baum, G. Doerr,"AC-3 Bit Stream Watermarking", Proceedings of IEEE International Workshop on Information Forensics and Security, pp.181-186, December 2012.
[6] Ch. Neubauer, J. Herre,"Audio watermarking of MPEG-2 AAC bit streams", Audio Engineering Society Convention 108, 2000.
[7] R. Nishimura,"Audio watermarking using spatial masking and ambisonics", IEEE Transactions on Audio, Speech, and Language Processing, vol.20(9), pp.2461-2469, November 2012.
[8] F. Zotter,"Analysis and Synthesis of Sound Radiation with Spherical Arrays", PhD thesis, Institute of Electronic Music and Acoustics, University of Music and Performing Arts Graz, 2009.
[9] WO2013/171083 A1
[10] WO2011/117399 A1
[11] EP 2469742 A1
[12] WO2013/068283 A1

Claims (17)

  1. 음장(sound field)의 2차원 또는 3차원 앰비소닉스(Ambisonics) 표현을 워터마킹하는 방법으로서,
    - 상기 앰비소닉스 표현은 방향성 신호들 및 주변 성분들로 분해되고(21, 32), 추정된 우세한 방향들을 포함하며, 상기 주변 성분들의 차수는 감소될 수 있고(34),
    - 워터마크 정보 데이터가 상기 방향성 신호들에 삽입되는 것(22, 33, 41 내지 45)을 특징으로 하는 방법.
  2. 음장의 2차원 또는 3차원 앰비소닉스 표현을 워터마킹하는 장치로서,
    상기 장치는:
    - 상기 앰비소닉스 표현을 방향성 신호들, 주변 성분들 및 추정된 우세한 방향들로 분해하고(21, 32) - 상기 주변 성분들의 차수는 감소될 수 있음(34) -;
    - 워터마크 정보 데이터를 상기 방향성 신호들에 삽입(22, 33, 41 내지 45)하도록 구성되는, 장치.
  3. 제1항 또는 제2항에 있어서,
    워터마킹된 방향성 신호들 및 가능하면 차수 감소된 주변 성분들이 지각적으로 인코딩(35)되는, 방법 또는 장치.
  4. 제1항 또는 제3항, 또는 제2항 또는 제3항에 있어서,
    상기 방법은 상이한 워터마크 정보 데이터를 개별 방향성 신호들에 삽입하는 단계를 더 포함하는, 방법 또는 장치.
  5. 제1항 또는 제3항, 또는 제2항 또는 제3항에 있어서,
    상기 방법은 동일한 워터마크 정보 데이터를 개별 방향성 신호들에 삽입하는 단계를 더 포함하는, 방법 또는 장치.
  6. 제1항 및 제3항 내지 제5항 중 어느 한 항, 또는 2항 내지 제5항 중 어느 한 항에 있어서,
    워터마킹될 각각의 방향성 신호에 대해, 개별 마스킹 곡선이 워터마킹 삽입 강도를 억제하기 위해 사용되는, 방법 또는 장치.
  7. 제1항 및 제3항 내지 제6항 중 어느 한 항, 또는 제2항 내지 제6항 중 어느 한 항에 있어서,
    워터마크 페이로드가 에러 정정에 의해 보호되며, 각각의 워터마크 심볼은 상기 워터마크 정보 데이터 삽입(22, 33, 42)에서 레퍼런스 패턴(44)에 대응하는, 방법 또는 장치.
  8. 제1항 및 제4항 내지 제7항 중 어느 한 항에 따른 방법에 따라 음장의 2차원 또는 3차원 앰비소닉스 표현에 삽입된 워터마크 정보 데이터를 복구하는 방법으로서,
    - 상기 워터마킹된 앰비소닉스 표현을 상기 방향성 신호들, 상기 추정된 우세한 방향들 및 상기 주변 성분들로 분해하는 단계(61);
    - 상기 워터마킹된 방향성 신호들에서 워터마크 검출을 수행하는 단계(62)
    를 포함하는, 방법.
  9. 제2항 및 제4항 내지 제7항 중 어느 한 항에 따른 방법에 따라 음장의 2차원 또는 3차원 앰비소닉스 표현에 삽입된 워터마크 정보 데이터를 복구하는 장치로서,
    상기 장치는:
    - 상기 워터마킹된 앰비소닉스 표현을 상기 방향성 신호들, 상기 추정된 우세한 방향들 및 상기 주변 성분들로 분해하고(61);
    - 상기 워터마킹된 방향성 신호들에서 워터마크 검출을 수행(62)하도록 구성되는, 장치.
  10. 제3항 내지 제7항 중 어느 한 항에 따른 방법에 따라 음장의 2차원 또는 3차원 앰비소닉스 표현에 삽입된 워터마크 정보 데이터를 복구하는 방법으로서,
    - 상기 추정된 우세한 방향들을 상기 워터마킹된 앰비소닉스 표현으로부터 디멀티플렉싱하는 단계(76);
    - 상기 지각적으로 인코딩된 방향성 신호들 및 상기 가능하면 차수-감소된 주변 성분들을 지각적으로 디코딩하는 단계(75);
    - 상기 워터마킹된 방향성 신호들에서 워터마크 검출을 수행하는 단계(73);
    - 상기 주변 성분들의 차수가 감소된 경우에(34), 상기 차수-감소된 주변 성분들을 대응하여 확장시키는 단계(74);
    - 상기 추정된 우세한 방향들을 사용하여 상기 주변 성분들 및 상기 방향성 신호들을 구성하는 단계(72)
    를 포함하는, 방법.
  11. 제3항 내지 제7항 중 어느 한 항에 따른 장치에 따라 음장의 2차원 또는 3차원 앰비소닉스 표현에 삽입된 워터마크 정보 데이터를 복구하는 장치로서,
    상기 장치는:
    - 상기 추정된 우세한 방향들을 상기 워터마킹된 앰비소닉스 표현으로부터 디멀티플렉싱하고(76);
    - 상기 지각적으로 인코딩된 방향성 신호들 및 상기 가능하면 차수-감소된 주변 성분들을 지각적으로 디코딩하고(75);
    - 상기 워터마킹된 방향성 신호들에서 워터마크 검출을 수행하고(73);
    - 상기 주변 성분들의 차수가 감소된 경우에(34), 상기 차수-감소된 주변 성분들을 대응하여 확장시키고(74);
    - 상기 추정된 우세한 방향들을 사용하여 상기 주변 성분들 및 상기 방향성 신호들을 구성(72)하도록 구성되는, 장치.
  12. 음장의 2차원 또는 3차원 앰비소닉스 표현에 삽입된 워터마크 정보 데이터를 복구하는 방법으로서,
    워터마크 검출(84)이 상기 음장의 HOA 디코딩되고(81), 렌더링되며(82) 라우드스피커 신호 녹음된(83) 버전으로부터 수행되며, 상기 음장의 상기 녹음된 버전은 전방향성 마이크로폰에 의해 생성되고, 상기 방법은:
    - 상기 녹음된 음장 신호들에서 워터마크 검출을 수행하는 단계(84)를 포함하는, 방법.
  13. 음장의 2차원 또는 3차원 앰비소닉스 표현에 삽입된 워터마크 정보 데이터를 음장 라우드스피커 신호들로부터 복구하는 방법으로서,
    - 구면 마이크로폰을 사용하여 상기 라우드스피커 신호들을 캡처하는 단계(97);
    - 상기 구면 마이크로폰의 신호들로부터 HOA 계수들을 생성하는 단계(98);
    - 상기 HOA 계수들을 방향성 신호들 및 주변 성분들로 분해하는 단계(91);
    - 상기 방향성 신호들에서 워터마크 검출을 수행하는 단계(92)
    를 포함하는, 방법.
  14. 제1항 및 제3항 내지 제7항 중 어느 한 항의 방법에 따라 인코딩된, 디지털 오디오 신호.
  15. 제14항에 따른 디지털 오디오 신호를 포함하거나 저장하거나 녹음한, 저장 매체, 예를 들어, 광학 디스크 또는 사전-녹음 메모리.
  16. 컴퓨터 상에서 실행되는 경우에, 제1항 및 제3항 내지 제7항 중 어느 한 항에 따른 방법을 수행하는 명령어들을 포함하는, 컴퓨터 프로그램 제품.
  17. 컴퓨터 상에서 실행되는 경우에, 제1항 및 제3항 내지 제7항 중 어느 한 항에 따른 방법을 수행하는 프로세서에 의해 실행가능한 명령어들을 포함하는, 컴퓨터 프로그램.
KR1020177030172A 2015-03-24 2016-02-18 음장의 앰비소닉스 표현에서 워터마크들을 삽입하고 복구하는 방법 및 장치 KR20170130495A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP15305427.5A EP3073488A1 (en) 2015-03-24 2015-03-24 Method and apparatus for embedding and regaining watermarks in an ambisonics representation of a sound field
EP15305427.5 2015-03-24
PCT/EP2016/053440 WO2016150624A1 (en) 2015-03-24 2016-02-18 Method and apparatus for embedding and regaining watermarks in an ambisonics representation of a sound field

Publications (1)

Publication Number Publication Date
KR20170130495A true KR20170130495A (ko) 2017-11-28

Family

ID=52807762

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020177030172A KR20170130495A (ko) 2015-03-24 2016-02-18 음장의 앰비소닉스 표현에서 워터마크들을 삽입하고 복구하는 방법 및 장치

Country Status (7)

Country Link
US (1) US20180075852A1 (ko)
EP (2) EP3073488A1 (ko)
JP (1) JP2018511083A (ko)
KR (1) KR20170130495A (ko)
CN (1) CN107430865A (ko)
TW (1) TW201635275A (ko)
WO (1) WO2016150624A1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2665208A1 (en) 2012-05-14 2013-11-20 Thomson Licensing Method and apparatus for compressing and decompressing a Higher Order Ambisonics signal representation
CN110110508A (zh) * 2019-05-16 2019-08-09 百度在线网络技术（北京）有限公司 水印信息写入方法和装置以及水印信息读取方法和装置
US20210006976A1 (en) * 2019-07-03 2021-01-07 Qualcomm Incorporated Privacy restrictions for audio rendering

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020071925A (ko) * 2000-11-07 2002-09-13 코닌클리케 필립스 일렉트로닉스 엔.브이. 정보 신호 내에 워터마크를 삽입하기 위한 방법 및 장치
JP2007502451A (ja) * 2003-05-28 2007-02-08 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ ビットストリームに透かしを入れる方法
CN100385459C (zh) * 2006-07-11 2008-04-30 电子科技大学 一种基于有限脊波变换的图像水印方法
US9667365B2 (en) * 2008-10-24 2017-05-30 The Nielsen Company (Us), Llc Methods and apparatus to perform audio watermarking and watermark detection and extraction
BR122020001822B1 (pt) 2010-03-26 2021-05-04 Dolby International Ab Método e dispositivo para decodificar uma representação para campo de som de áudio para reprodução de áudio e meio legível por computador
EP2469741A1 (en) 2010-12-21 2012-06-27 Thomson Licensing Method and apparatus for encoding and decoding successive frames of an ambisonics representation of a 2- or 3-dimensional sound field
EP2565667A1 (en) * 2011-08-31 2013-03-06 Friedrich-Alexander-Universität Erlangen-Nürnberg Direction of arrival estimation using watermarked audio signals and microphone arrays
EP2592845A1 (en) 2011-11-11 2013-05-15 Thomson Licensing Method and Apparatus for processing signals of a spherical microphone array on a rigid sphere used for generating an Ambisonics representation of the sound field
EP2665208A1 (en) * 2012-05-14 2013-11-20 Thomson Licensing Method and apparatus for compressing and decompressing a Higher Order Ambisonics signal representation
WO2015038546A1 (en) * 2013-09-12 2015-03-19 Dolby Laboratories Licensing Corporation Selective watermarking of channels of multichannel audio

Also Published As

Publication number Publication date
EP3274990A1 (en) 2018-01-31
US20180075852A1 (en) 2018-03-15
JP2018511083A (ja) 2018-04-19
TW201635275A (zh) 2016-10-01
EP3073488A1 (en) 2016-09-28
WO2016150624A1 (en) 2016-09-29
CN107430865A (zh) 2017-12-01

Similar Documents

Publication Publication Date Title
KR102131748B1 (ko) 2차원 또는 3차원 음장의 앰비소닉스 표현의 연속 프레임을 인코딩 및 디코딩하는 방법 및 장치
US11830504B2 (en) Methods and apparatus for decoding a compressed HOA signal
TWI590234B (zh) 編碼聲訊資料之方法和裝置，以及解碼已編碼聲訊資料之方法和裝置
US20220377481A1 (en) Methods, apparatus and systems for decompressing a higher order ambisonics (hoa) signal
KR101586317B1 (ko) 신호 처리 방법 및 장치
CA2705549C (en) Methods and apparatus to perform audio watermarking and watermark detection and extraction
KR101444102B1 (ko) 스테레오 오디오의 부호화, 복호화 방법 및 장치
EP3162086B1 (en) Apparatus for determining for the compression of an hoa data frame representation a lowest integer number of bits required for representing non-differential gain values
WO2005094125A1 (en) Frequency-based coding of audio channels in parametric multi-channel coding systems
EP3162087B1 (en) Coded hoa data frame representation that includes non-differential gain values associated with channel signals of specific ones of the data frames of an hoa data frame representation
WO2015140293A1 (en) Method for compressing a higher order ambisonics (hoa) signal, method for decompressing a compressed hoa signal, apparatus for compressing a hoa signal, and apparatus for decompressing a compressed hoa signal
US20050004791A1 (en) Perceptual noise substitution
CN111149157A (zh) 使用经扩展参数对高阶立体混响系数的空间关系译码
EP3809409A1 (en) Method and apparatus for determining for the compression of an hoa data frame representation a lowest integer number of bits required for representing non-differential gain values
KR20170130495A (ko) 음장의 앰비소닉스 표현에서 워터마크들을 삽입하고 복구하는 방법 및 장치
KR20070003544A (ko) 아비트러리다운믹스게인을 이용한 클리핑복원
Nishimura Audio information hiding based on spatial masking
CN112823534B (zh) 信号处理设备和方法以及程序
JP2005006018A (ja) 立体音響信号符号化装置、立体音響信号符号化方法および立体音響信号符号化プログラム
Kirbiz et al. Forensic watermarking during AAC playback
Khanchi Analyzing Audio Watermarking algorithms.
Su Robust Audio Data Hiding based Probabilistic Global Search in MDCT Domain