KR20060124698A - 워터마크 검출 - Google Patents

워터마크 검출 Download PDF

Info

Publication number
KR20060124698A
KR20060124698A KR1020067016341A KR20067016341A KR20060124698A KR 20060124698 A KR20060124698 A KR 20060124698A KR 1020067016341 A KR1020067016341 A KR 1020067016341A KR 20067016341 A KR20067016341 A KR 20067016341A KR 20060124698 A KR20060124698 A KR 20060124698A
Authority
KR
South Korea
Prior art keywords
payload
watermarks
watermark
correlation
information signal
Prior art date
Application number
KR1020067016341A
Other languages
English (en)
Inventor
다비드 케이. 로버츠
Original Assignee
코닌클리케 필립스 일렉트로닉스 엔.브이.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 코닌클리케 필립스 일렉트로닉스 엔.브이. filed Critical 코닌클리케 필립스 일렉트로닉스 엔.브이.
Publication of KR20060124698A publication Critical patent/KR20060124698A/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/0021Image watermarking
    • G06T1/005Robust watermarking, e.g. average attack or collusion attack resistant
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/20Processor architectures; Processor configuration, e.g. pipelining
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00Image coding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2201/00General purpose image data processing
    • G06T2201/005Image watermarking
    • G06T2201/0052Embedding of the watermark in the frequency domain
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2201/00General purpose image data processing
    • G06T2201/005Image watermarking
    • G06T2201/0065Extraction of an embedded watermark; Reliable detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Television Systems (AREA)
  • Image Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

정보신호는 권리정보와 같은, 데이터의 페이로드를 정의하는 복수의 워터마크들(Wi)를 포함한다. 검출기(100)는 정보신호 내 복수의 워터마크들 각각의 존재를 검출하고(60-62), 워터마크들에 의해 나타내어지는 페이로드를 결정하는데 사용될 수 있는 출력(101-103)을 제공한다. 워터마크들에 의해 나타내어지는 페이로드의 정확도에 신뢰도의 측정은 검출 스테이지들(60-62)로부터의 정보(104-106)를 사용하여 계산된다(110). 이것은 디지털 저작권 관리(DRM) 시스템과 같이 페이로드 결과에 의존하는 장비에 페이로드의 질의 측정을 제공한다. 검출 스테이지들(60-62)에서 얻어진 상관 피크들의 형상에 관한 정보는 페이로드의 정확도에 신뢰도의 측정을 도출하는데 사용될 수 있다.
페이로드, 워터마크, 디지털 저작권 관리, 검출 스테이지, 소프트웨어

Description

워터마크 검출{Watermark detection}
본 발명은 정보신호에서 워터마크를 검출하는 것에 관한 것이다.
워터마킹은 어떤 종류의 레이블(label)이 정보신호에 부가되는 기술이다. 워터마크가 부가되는 정보신호는 데이터 파일, 정지 이미지, 비디오, 오디오 혹은 이외 어떤 다른 종류의 미디어 콘텐츠를 의미할 수 있다. 레이블은 정보신호가 분배되기 전에 정보신호 내 내장된다. 레이블은 일반적으로, 정보신호를 열화시키지 않게, 예를 들면 오디오 파일에 부가된 워터마크가 정규 청취 상태 하에서 들리지 않도록, 정규 상태 하에선 감지할 수 없게 부가된다. 그러나, 워터마크는 정보신호가 이를테면 코딩 혹은 압축, 변조 등과 같은, 송신 중에 정규 프로세스들을 거친 후에도 검출될 수 있는 상태에 있을 정도로 강건해야 할 것이다.
간단한 워터마킹 방법은 단일 워터마크의 존재에 대해 테스트하는 검출 방법을 사용하여, 콘텐트 아이템에 단일 워터마크를 내장시킬 수 있다. 이 경우, 워터마크는 이의 유무에 대한 단지 1비트만을 갖는다. 워터마킹 기술의 개발에서, 페이로드로서 알려진 것으로 워터마크들의 조합을 코드를 나타내는데 사용하여 복수의 워터마크들을 정보신호에 내장시키는 것이 알려져 있다. 페이로드는 예를 들면 "카피", "카피 불가" 혹은 콘텐츠 확인 번호와 같은 코드를 나타낼 수 있다. 이러한 류의 방법은 "A Video Watermarking System for Broadcast Monitoring", Ton Kalker et al., Proceedings of the SPIE, Bellingham, Virginia vol.3657, 25 January 1999, p.103-112 논문에 기재되어 있다. 이 방법에서, 페이로드는 복수(예를 들면, 4개)의 기본 워터마크 패턴들을 서로간에 대해 공간적 시프트들을 가지고 내장시킴으로써 엔코딩된다. 테스트되는 신호는 한 버퍼의 상관결과들을 생성하기 위해 기본 워터마크 패턴들 각각과 개별적으로 상관된다. 각 워터마크의 존재는 상관결과들에서 피크로 표시된다. 워터마크는 4개의 모든 기본 워터마크 패턴들이 5σ(결과 버퍼 내 한 세트의 상관 결과들의 표준편차의 5배)의 임계값보다 큰 크기의 상관 피크를 생성한다면 존재하는 것으로 단언된다. 이 임계값은 워터마크도지 않은 콘텐츠가 워터마크된 것으로 잘못 단언될('오 확신') 수락할 만한 낮은 확률을 달성하게 선택된다. 워터마크가 발견된다면 기본 패턴들간의 시프트들을 조사함으로써 페이로드가 디코딩된다. 통상적으로, 워터마크가 신뢰성 있게 검출될 수 있다면, 페이로드는 신뢰성 있게 추출될 수 있는 것으로 한다. 그러나, 실제로, 추출된 페이로드에 에러가 있으면서 워터마크의 존재가 검출되는 것이 가능하다.
대부분의 애플리케이션들에서, 워터마크된 콘텐츠는 워터마크가 콘텐츠에 내장된 점과 워터마크 있음이 검출된 점 사이에서 다양한 처리 조작들을 받을 것이다. 콘텐츠 처리의 공통적인 예는 MPEG 코딩과 같은 유실성 압축이다. 통상적으로, 처리의 효과들은 정규로 워터마크 검출 프로세스 동안 발생할 것으로 예기되는 상 관 피크들을 낮추는 것이다. 따라서, 상관 피크 발견에 기초한 워터마크 검출기술의 수행은 이러한 프로세스들을 받은 콘텐트에서 워터마크들을 검출하려고 할 때 상당히 감소된다.
본 발명은 정보신호 내 워터마크를 실은 페이로드를 추출하는 향상된 방법을 제공하고자 하는 것이다.
따라서, 본 발명의 제 1 특징은, 복수의 워터마크들이 존재하는 정보신호를 처리하는 방법에 있어서,
상기 복수의 워터마크들은 함께 페이로드를 규정하고, 상기 방법은,
상기 정보 신호에서 상기 복수의 워터마크들의 각각의 존재를 검출하는 단계,
상기 워터마크들에 의해 나타내어진 상기 페이로드를 결정하는 단계, 및
상기 워터마크들에 의해 나타내어진 상기 페이로드의 정확도에 신뢰도의 측정을 계산하는 단계를 포함한다.
이것은 (디지털 저작권 관리(Digital Rights Management; DRM) 시스템 등의) 상기 페이로드 결과들에 의존하는 임의의 장비로 상기 페이로드의 품질의 측정을 제공하는 이점을 갖는다. 이것은 예컨대, 콘텐츠-관리/복사-방지 응용들에서 가정되는 틀린 저작권을 피할 수 있다. 더욱이, 그것은 새로운 활동들이 취해질 수 있다; 유일한 응답이 워터마크가 (아마도 보호된 오디오/비디오 콘텐츠를 가리킨다고) 발견되지만 아무런 페이로드도 추출될 수 없는(그래서 정확한 저작권이 결정될 수 없는) 경우들에 대해 규정될 수 있다.
바람직한 실시예에서, 정보 신호는 각각의 예상된 워터마크 패턴과 상관되어 상관 결과들의 세트들을 유도한다. 상관 피크의 형상에 관한 정보는 페이로드의 정확도에서 신뢰도의 측정을 유도하도록 사용될 수 있다.
여기 기술된 기능은 소프트웨어, 하드웨어 혹은 이들의 조합으로 구현될 수 있다. 따라서, 본 발명의 또 다른 면은 방법을 수행하는 소프트웨어를 제공한다. 소프트웨어는 장비의 수명 동안 임의의 시점에서 호스트 장치에 설치될 수 있음을 알 것이다. 소프트웨어는 전자 메모리 디바이스, 하드디스크, 광학 디스크 혹은 이외 머신 독출가능 저장 매체에 저장될 수 있다. 소프트웨어는 머신 독출가능 캐리어 상에 컴퓨터 프로그램 제품으로서 전달되거나, 네트워크 접속을 통해 장치에 직접 다운로드될 수 있다.
본 발명의 다른 특징들은 상기 방법의 단계들 중 임의의 단계를 수행하는 정보 신호를 처리하는 장치 및 상기 장치의 출력에 응답하는 정보 신호를 제공하는 장치를 제공한다.
기술된 실시예는 이미지 혹은 비디오 신호(디지털 시네마 콘텐츠를 포함)를 처리하는 것을 참조하나, 정보신호는 오디오 혹은 이외 임의의 다른 종류의 미디어 콘텐츠를 나타내는 데이터일 수 있음을 알 것이다.
본 발명의 실시예들을 첨부한 도면을 참조하여 단지 예로서 기술한다.
도 1은 콘텐츠의 아이템 내 워터마크를 내장시키는 공지의 방법을 도시한 도면.
도 2는 콘텐츠의 아이템 내 워터마크의 존재를 검출하는 구성을 도시한 도면.
도 3 및 도 4는 검출기 및 방법에서 사용하기 위한 상관결과들의 테이블들을 도시한 도면.
도 5는 한 세트의 상관 결과 데이터의 예를 그래프 형태로 도시한 도면.
도 6은 워터마크 검출기를 실현하는 콘텐츠를 제공하는 장치를 도시한 도면.
배경으로서, 그리고 본 발명을 이해하기 위해서, 워터마크를 내장시키는 프로세스를 도 1을 참조하여 간략히 기술한다. 워터마크 패턴(W(K))은 하나 이상의 기본 워터마크 패턴들(w)을 사용하여 구성된다. 데이터의 페이로드가 워터마크에 의해 실린 경우에는, 다수의 기본 워터마크 패턴들이 사용된다. 워터마크 패턴(w(K))은 내장시킬 페이로드 -복수 비트 코드 K- 에 따라 선택된다. 코드는 다수의 기본 패턴들(w)을 선택하고 이들을 서로간에 특정의 거리 및 방향으로 오프셋시켜 표현된다. 결합된 워터마크 패턴(w(K))은 콘텐츠에 부가될 수 있는 잡음을 나타낸다. 워터마크 패턴(w(K))은 M x M 비트의 크기를 가지며 통상적으로 콘텐트의 아이템보다 훨씬 작다. 결국, MxM 패턴은 콘텐츠 데이터의 포맷에 부합하는 보다 큰 패턴으로 반복된다(틸트된다)(14). 이미지의 경우에, 패턴(w(K))은 결합될 이미지의 크기와 동일하게 되도록 틸트된다(14).
콘텐트 신호가 수신되어 버퍼된다(16). 콘텐츠 신호에서 국부적 활동도 λ(X)의 측정값이 각 화소 위치에서 도출된다(18). 이것은 부가성 잡음의 가시성에 대한 측정을 제공하며 워터마크 패턴(W(K))을 스케일링하는데 사용된다. 이것은 이미지 내 동일 밝기의 영역들과 같이, 워터마크가 콘텐츠에서 감지되는 것을 방지한다. 총 스케일링 율(s)이 곱셈기(22)에서 워터마크에 적용되고 이것은 워터마크의 총 강도를 결정한다. s의 선택은 요구되는 강건도와 워터마크가 얼마나 감지될 수 있을 것인가에 대한 요건간의 절충이다. 마지막으로, 워터마크 신호(W(K))가 콘텐츠 신호에 부가된다(24). 결과로 나타난 신호 내에 워터마크가 내장되어 이 신호는 이 콘텐츠의 정규 분배의 일부로서의 다양한 처리단계들이 행해질 것이다.
도 2는 워터마크 검출기(100)의 개략도이다. 워터마크 검출기는 워터마크될 수 있는 콘텐츠를 수신한다. 다음 설명에서 콘텐츠는 이미지들 도는 비디오 콘텐츠인 것으로 가정한다. 워터마크 검출은 개개의 프레임들마다 혹은 다수 그룹들의 프레임들에 대해 수행될 수 있다. 누적된 프레임들은 MxM 크기의 블록들(예를 들면 M=128)로 분할된 후 MxM 크기의 버퍼에 넣어진다. 이들 초기 단계들은 블록(50)으로서 도시하였다. 버퍼 내 데이터에 고속 푸리에 변환(52)이 행해진다. 검출 프로세스에서 다음 단계는 버퍼 내 보존된 데이터 내 워터마크들의 유무를 판정한다. 버퍼가 특정 워터마크 패턴(W)을 포함하는지 여부를 검출하기 위해서, 버퍼 콘텐츠 및 예상 워터마크 패턴에 상관이 행해진다. 콘텐츠 데이터가 복수의 워터마크 패턴 들을 포함할 수 있어, 다수의 병렬 브랜치들(60, 61, 62)이 도시되었고, 그 각각은 기본 워터마크 패턴들(W0, W1, W2) 중 하나와의 상관을 수행한다. 브랜치들 중 하나가 보다 상세히 도시되었다. 기본 패턴(Wi)의 모든 가능한 시프트 벡터들에 대한 상관값들이 동시에 계산된다. 기본 워터마크 패턴(Wi(i=0,1,2)는 데이터 신호의 상관되기 전에 고속 푸리에 변환(FFT)된다. 한 세트의 상관값들에 역 푸리에 변환(63)을 행한다. 상관연산의 완전한 상세는 미국특허 6,505,223 B1 호에 기재되어 있다.
상관에서 사용되는 푸리에 계수들은 크기와 위상을 나타내는 것으로 실수부와 허수부를 가진 복소수들이다. 검출기의 신뢰도는 크기 정보는 놔두고 위상만을 고려한다면 현격히 향상됨을 알았다. 크기 정규화 조작은 점별로 곱셈 후에 그리고 역 푸리에 변환(63) 전에 수행될 수 있다. 정규화 회로의 동작은 크기로 각 계수를 점별로 나누는 것을 포함한다. 이 총체적 검출기술은 SPOMF(Symmetrical Phase Only Matched Filtering)로서 알려져 있다.
위의 처리로부터 한 세트의 상관결과들이 버퍼(64)에 저장된다. 예로서 작은 한 세트의 상관결과들이 도 3에 도시되었다. 워터마크된 콘텐츠는 상관 결과 데이터에서 피크들이 있는 것에 의해 나타난다. 한 세트의 상관결과들을 조사하여 콘텐츠 데이터 내 워터마크의 존재에 기인하여 있을 수도 있을 피크들을 확인한다. 이상적인 조건 하에서, 워터마크의 있음은, 첨예하고 분리된 피크의 현격한 크기에 의해 나타나지만, 콘텐츠의 분배 동안 이전의 처리 동작들은 워터마크에 기인한 상관 피크가 상관결과들에 몇 개의 인접 위치들에 영향을 미치게 될 것이다. 초기 처 리 스테이지(65)는 상관 피크들을 나타낼 수 있는 상관 결과 데이터의 후보 클러스터들을 확인한다. 후보 피크들을 확인하는 기술은 후술한다.
일단 후보 피크들이 확인되었으면, 다음 처리 단계(85)에서 어느 것이 가장 워터마크에 기인한 것인가를 판정한다. 일단 유효한 피크가 하나 이상의 세트들의 상관 데이터에서 확인되었으면, 벡터 검색 스테이지(70)에서는 워터마크 패턴들간에 벡터를 발견하기 위해서, 즉 서로 다른 패턴들(w0, w1, w2)이 서로간에 오프셋하게 된 거리와 방향을 확인하기 위해서 서로 다른 세트들의 데이터를 매칭한다. 마지막 단계 75에서, 앞의 단계 70에서 확인된 벡터들은 워터마크의 페이로드를 나타내는 코드 K로 변환된다.
각 브랜치(60, 61, 62) 내 피크 검출 스테이지(85)는 워터마크 패턴이 그 브랜치에서 발견되었는지 여부를 나타내는 각각의 신호(101, 102, 103)를 출력한다. 또한, 각 브랜치(60, 61, 62)로부터의 정보(104, 105, 106은 페이로드 신뢰 계산 유닛(110)에 인가된다. 신뢰 계산 유닛(110)은 추출된 페이로드 K를 얼마나 신뢰할 수 있는지의 측정을 결정하기 위해 계산을 수행한다.
신뢰 측정값은 비교기(112)에 인가되고, 비교기는 신뢰 측정값을 수락가능 신뢰 레벨을 나타내는 임계값(111)과 비교한다. 임계값(111)은 애플리케이션에 따라, 임의의 어떤 값으로 설정될 수 있다. 최종 스테이지(115)는 워터마크 검출 신호들을 수신하여, 워터마크 검출신호들(101, 102, 103) 및 신뢰값(113)에 따르는 출력(225)을 제공한다. 3가지 가능한 결과들이 있다.
(a) 워터마크가 발견되지 않는다(하나 이상의 워터마크 검출 신호들(101, 102, 103)은 워터마크가 없음을 나타낸다).
(b) 워터마크가 발견되고 페이로드가 추출된다(모든 워터마크 검출신호들(101, 102, 103)은 워터마크가 발견되었고 신뢰값(113)이 큼을 나타낸다.
(c) 워터마크가 발견되나, 페이로드가 신뢰성 있게 결정될 수 없다(모든 워터마크 검출신호들(101, 102, 103)은 워터마크가 발견되었었고 신뢰값(113)이 낮음을 나타낸다.
출력(225)은 적합한 동작을 제공하기 위해 디지털 저작권 관리 시스템에 의해 사용될 수 있다. 예를 들면, 페이로드가 카피 제약(예를 들면 '카피 불가', '1회만 카피, '무제한 카피')를 나타내고 출력(225)이 위의 (c) 조건을 나타내는 경우, 디지털 저작권 관리 시스템은 콘텐츠가 제공될 수 있게는 하나 콘텐츠가 카피될 수 있게는 하지 않을 것이다.
검출기(100)가 동작할 수 있는 다양한 방법들이 있다. 가장 간단한 형태로, 버퍼(64) 내 상관 결과들은 현저한 피크를 확인하기 위해서 임계값과 비교된다. 전형적으로, 임계값은 5σ의 값에 설정된다(결과 버퍼 내 한 세트의 상관 결과들의 표준편차의 5배).
보다 정교한 방법에서, '불명료해진(smeared)' 상관피크들은 보다 낮은 임계값을 설정하고 현저한 값의 상관결과의 클러스터들을 확인함으로써 검출될 수 있다. 복수의 피크들이 있는 경우, 이들은 가장 사실상의 피크를 나타낼 피크를 확인하기 위해 액세스된다. 이를 달성하는 기술은 나중에 기술된다.
더욱 정교하게는, 상관 피크의 형상이 이를테면 교차-상관에 의해, 예상 형 상에 관한 저장된 정보와 비교될 수 있다. 형상에 양호한 매치는, 심하게 불명료해졌다 할지라도, 상관 피크의 존재를 나타낼 수 있다. 분배시 콘텐츠 신호에 적용된 서로 다른 프로세스들은 각각 특징을 가질 수 있고, 그럼으로써 인식가능해지고 상관 피크의 형상에 영향을 미칠 수 있다. 피크의 형상은 상관 결과들을 그래프 형태로 봄으로써 더 잘 이해될 수 있고, 상관값은 도 5에 도시한 바와 같이 그래프의 기저선 위에 크기로서 작도된다. 피크의 형상에 관한 정보는 신뢰 계산 유닛(110)에 공급된다(104, 105, 106).
이로부터, 상관 결과들이 덜 이상적인 경우에도 워터마크들의 존재를 검출하는 것이 가능함이 이해될 것이다. 그러나, 상관 피크의 불명료해 짐은 페이로드의 계산에 불확실성을 유발시킨다. 상관 피크들의 상대적 위치가 페이로드를 결정하는 방법의 예를 취하면, 불명료해진 혹은 평평해진 피크는 피크의 실제 위치에 모호성을 가져온다. 페이로드 신뢰 계산 유닛(110)은 신뢰 값을 유닛(85)으로부터 얻어진 피크 형상 정보에 근거로 한다.
도 3 및 도 4를 참조하면, 이들은 버퍼(64)에 저장하게 될 종류의 2세트의 상관 결과 데이터를 도시한다. 도 3은 첨예하고, 잘 정의된 상관 피크(160)이 발생한 경우 수집하게 될 데이터의 종류를 도시한 것이다. 표 1은 도 3의 결과 데이터의 에러 값들의 확률을 도시한 것이다. 페이로드 에러 확률들은 모두가 버퍼에 가장 큰 점을 중심으로 한 여러 가정된 피크 크기들에 대해 식(8)(부록 참조)에 의해 주어진다. C의 값들은 상관 피크 클러스터에 포함된 결과 값들의 수를 나타낸다. 3개의 서로 다른 크기의 클러스터들을 고찰한다. C=1은 단일 점일 뿐이고, C=9는 상 관 피크를 중심으로 한 3x3 정사각형이고, C=25는 상관 피크를 중심으로 한 5x5 정사각형이다. 간단하게 하기 위해서, 모든 가능한 페이로드 시프트들이 동일하게 있는 것으로 가정한다.
<표 1> 도 3에 대한 Pr(에러)
Figure 112006057847326-PCT00001
반대로, 도 4는 낮고 넓게 불명료해진(평탄해진) 상관 피크에 대한 상관 결과 데이터를 도시하며 표2는 이 데이터에 대한 에러 값들의 확률을 나타낸다.
<표 2> 도 4에 대한 Pr(에러)
Figure 112006057847326-PCT00002
도 3의 버퍼에 피크 형상은 도 4의 평탄하게 된 피크에 비해(표 2) 추출된 페이로드(표 1)의 정확성에 훨씬 큰 신뢰로 이어진다. 이들 예에서 피크를 형성하게 취해진 상관 결과들의 클러스터는 가장 큰 값을 갖는 상관결과를 중심으로 한 결과들의 정사각 격자이다. 예를 들면, 도 4를 보면, 이것은 값 4.9190을 가진 결과(130) 주위로 결과들의 정사각형이 될 것이다. 클러스터들을 확인해 내기 위해서 보다 효율적인 기술이 사용되는 경우(후술함), 이 검출 기술에 의해 확인된 클러스터가 사용될 수 있다. 결과들의 클러스터들은 위의 예들에서처럼, 정사각형일 필요는 없다.
도 2를 참조하면, 비교기(112)로부터의 출력(113)은 선(116)으로 나타낸 바와 같이, 페이로드 계산유닛(75)에 적용될 수 있다. 페이로드의 신뢰값이 임계 신뢰 값(111) 미만이면, 페이로드 계산유닛(75)은 페이로드 K를 계산하지 않게 지시를 받을 수 있다. 이에 따라, 페이로드가 부정확하게 될 상황들에서, 이것은 전혀 출력되지 않는다.
도 2의 유닛(65)에서 사용하기 위해, 상관결과들에서 후보 상관 피크들을 확인하는 프로세스를 기술한다. 클러스터링 알고리즘은 다수의 클러스터들의 점들을 형성하고, 이들 중 하나는 사실상의 상관피크에 대응할 수 있다. 이들 클러스터들의 가능도들이 비교되고, 가장 낮은 가능도를 가진 클러스터가 원하는 상관 피크인 것으로 취해진다. 알고리즘은 다음의 단계들을 포함한다.
1. 임계값을 설정하고 이 임계값 이상의 상관 데이터의 모든 점들을 찾는다. 이 기준을 만족하는 모든 점들은 ptsAboveThresh 리스트에 저장된다. 제시되는 임계값은 3.3σ(σ=버퍼 내 결과들의 표준편차)이지만 이것은 어떤 바람직한 값으로 설정될 수 있다. 바람직한 범위는 2.5-4σ이다. 임계값이 너무 낮게 설정된다면, 많은 수의 점들은 워터마크의 있음에 해당되지 않고 리스트에 저장되지 않을 것이다. 반대로, 값이 너무 높게 설정되면 유효하나 불명료하게 된 피크에 대응하는 점들이 리스트에 부가되지 않을 위험이 있다.
2. 가장 큰 절대값을 가진 점을 찾는다.
3. 후보 클러스터들, 즉 상관 점들의 클러스터들을 형성한다. 후보 클러스터들은 '유효' 값을 가질 뿐만 아니라(임계값보다 큰 값), 유효값의 적어도 한 다른 점에 매우 가까이 놓인 점들을 수집함으로써 형성된다. 이것은 다음과 같이 하여 달성된다:
(i) ptsAboveThresh 리스트로부터 제 1 점을 제거하고 이를 새로운 클러스터의 제 1 점 p에 넣는다;
(ii) 점 p의 거리 d 내에 있는 점들에 대해서 ptsAboveThresh를 탐색한다. ptsAboveThresh 리스트에서 이러한 모든 점들을 제거하고 이들을 클러스터에 추가한다.
(iii) 클러스터 내 다음 점을 현재의 점 p로서 취한다. 새로운 점 p의 거리 d 내에 있는 ptsAboveThresh 내 모든 점들을 클러스터에 추가하기 위해서 단계 (ii)를 반복한다.
(iv) ptsAboveThresh가 클러스터 내 모든 점들에 대해 처리될 때까지 단계 (iii)을 반복한다.
(v) 결과적인 클러스터가 단지 하나의 점으로 구성되고 이 점이 위의 단계 2에서 발견된 가장 큰 피크와 같지 않다면 이 클러스터를 폐기한다.
(vi) ptsAboveThresh가 빌 때까지 단계 (i) 내지 단계 (v)를 반복한다.
이 절차의 끝에서, 단계 1에서 ptsAboveThresh에 처음에 넣었던 모든 점들은,
- 클러스터에 가까운 ptsAboveThresh 리스트로부터 다른 점들을 포함하는 클러스터에 할당되거나,
- 이들이 유사 높이의 이웃들을 갖지 않아 클러스터의 부분이 아니기 때문에 폐기되었다.
클러스터는 단일 점이 상관 버퍼 내 모든 점들의 가장 큰 절대 크기를 갖는다면 이 점을 포함하게 허용될 뿐이다. 이것은 첨예하고 불명료해지지 않은 상관 피크가 폐기되는 것을 방지하고, 사실상의 잡음을 나타내는 그 외 다른 이격된 피크들이 사용되는 것을 방지한다.
도 3 및 도 4를 참조하면, 이들은 검출기에 의해 계산될 유형의 여러 세트들의 상관 데이터의 어떤 예를 도시한다. 도 4에 도시한 한 세트의 데이터에서, 값들은 -3.8172 내지 4.9190의 범위이다. 워터마크들은 음의 값으로 내장될 수도 있고, 따라서 음의 값들 또한 현저하다. 4.9190의 가장 큰 값이 박스(130) 내에 보여졌다. 이것이 5의 전형적인 검출 임계값 미만일지라도, 가장 큰 값은 유사한 값의 다른 상관 값들에 의해 둘러싸인다. 이것은 분배 체인동안 처리에 의해 불명료해진 피크를 나타낸다. 위에 기술한 절차에 이어서, 그리고 3.3의 임계값 T와 1의 거리를 설정하면, 고리(140) 내의 상관 값들은 이 기준을 충족함을 알 수 있다. 프로세스를 계속 진행하면, 의미있는 값의 결과들은 모두가 서로 간에 옆에 놓여진다. 도 3에 도시한 데이터를 보면, 값들은 -3.7368 내지 10.7652의 범위이다. 동일 검출 기준을 적용하면, 한 점(160)만이 임계값을 초과한다. 이 점의 값은 명백히 임계값을 초과하고 따라서 유효한 피크인 것으로 간주된다. 이웃한 값들을 조사하여, 이것인 첨예한 상관 피크를 나타냄을 알 수 있다.
페이로드 코드 K로서 나타내어지는 내장된 정보는 예를 들면 저작권 보유자 혹은 콘텐츠의 디스크립션을 확인할 수 있다. DVD 복사방지에서, 소재가 '1회만 복 사', '복사불가', '무제한 복사', '더 이상 복사 불가' 등으로서 레이블되게 한다. 도 10은 광학 디스크, 메모리 디바이스 혹은 하드디스크와 같은 저장매체(200)에 저장된 콘텐츠 신호를 검색 및 표현하는 장치를 도시한 것이다. 콘텐츠 신호는 콘텐츠 검색 유닛(201)에 의해 검색된다. 콘텐츠 신호(202)는 처리 유닛(205)에 인가되고, 이 유닛은 데이터를 디코딩하여 이를 표현(211, 213)하기 위해 렌더링한다. 콘텐츠 신호(202)는 또한 앞서 기술한 유형의 워터마크 검출유닛(220)에 인가된다. 처리유닛(205)은 미리 결정된 워터마크가 신호에서 검출된 경우에만 콘텐츠 신호를 처리하는 것이 허용되게 구성된다. 워터마크 검출유닛(220)으로부터 보내진 제어신호(225)는 콘텐츠의 처리가 허용될 것인지 아니면 거절될 것인지를 여부를 처리유닛(205)에 알리거나, 콘텐츠에 연관된 어떤 복제 제약을 처리유닛(205)에 알린다. 대안적으로, 처리유닛(205)은 미리 결정된 워터마크가 신호에서 검출되지 않을 경우에만 콘텐츠 신호를 처리하는 것이 허용되게 구성될 수 있다.
위의 설명에서, 한 세트의 3개의 워터마크들이 고찰되었다. 그러나, 임의의 수의 워터마크들을 실은 콘텐츠 데이터에서 상관 피크를 발견하기 위한 기술이 적용될 수 있음을 알 것이다.
위의 실시예에서, 상관 기술은 콘텐츠에서 워터마크의 존재를 검출하는데 사용된다. 워터마크의 존재를 검출하는 그외 많은 다른 알려진 방법들이 있으며, 본 발명은 당업자가 잘 아는 방식으로 이들 중 어느 것에 적용될 수 있다.
위의 설명에서, 그리고 도면들을 참조하여, 권리 정보와 같은 데이터의 페이로드를 정의하는 복수의 워터마크들(Wi)를 포함하는 정보신호를 기술하였다. 검출 기(100)는 정보 신호에서 복수의 워터마크들 각각의 존재(0-62)를 검출하고 워터마크들에 의해 나타내어지는 페이로드를 결정하는데(70, 75) 사용될 수 있는 출력(101-103)을 제공한다. 워터마크들에 의해 나타내어지는 페이로드의 정확도에 신뢰도의 측정은 검출 스테이지들로부터 정보(104-106)을 사용하여 계산된다(110). 이것은 디지털 저작권 관리(DRM) 시스템과 같은 페이로드 결과들에 의존하는 임의의 장비에 페이로드의 질의 측정을 제공한다. 검출 스테이지들(60-62)에서 얻어진 상관 피크들의 형상에 관한 정보는 페이로드의 정확도에 신뢰도의 측정을 도출하는데 사용된다.
부록
여기서는 필립스에서 개발한 JAWS와 같은 상관 기반 검출 방법을 위한 페이로드의 정확성의 신뢰도 측정을 도출한다.
페이로드에 대응하는 시프트의 최대 귀납적(MAP) 추정
Figure 112006057847326-PCT00003
는 다음과 같다.
Figure 112006057847326-PCT00004
이것은 SPOMF 결과 y의 버퍼, 상관 피크 형상 s가 주어지고, 콘텐츠가 워터마크되었을 때(Hw), 추정된 페이로드 시프트는 가장 큰 확률인 1임을 말해준다. 워터마크 상관 피크는 C 이웃 점들로 구성되는 것으로 가정할 수 있어, 피크 형상 벡터 S τ 의 요소들은,
Figure 112006057847326-PCT00005
이고 피크의 형상은 파라미터들의 벡터
Figure 112006057847326-PCT00006
에 의해 제어된다. 각각의 가능한 페이로드 시프트 τi가 사전확률 Pr[τi]를 갖는다고 하면, 다음과 같이 된다.
Figure 112006057847326-PCT00007
어떤 응용들에서, 모든 가능한 페이로드 시프트들은 동일 사전확률들을 가져
Figure 112006057847326-PCT00008
의 선택에 영향을 미치지 않는다고 가정하는 것이 가능할 수 있다. 그러나, 이것은 모든 응용들에서 해당하지 않을 것이다. 예를 들면, 복제방지에서 '카피 불가', '무제한 카피', '1회만 카피', '더 이상 카피 불가'라는 메시지들에 대응하여 아마도 4개의 가능한 페이로드들만이 사용된다. 또한, 이들 4개의 페이로드들은 보호된 콘텐츠보다 훨씬 더 '무제한 카피' 콘텐츠'가 있을 수 있으므로 동일 확률을 가질 필요가 없고, 그 역도 마찬가지다.
워터마크되지 않은 소재(
Figure 112006057847326-PCT00009
)의 경우, y의 N 요소들은 근사적으로 독립 가우시안 화이트 잡음을 보였다. 워터마크된 소재(Hw)의 경우, 실험은 SPOMF 결과들이 다시 가우시안 잡음임을 보였으나 피크도 존재함을 보였다. 그러므로, Hw 하에 PDF는 다음과 같다.
Figure 112006057847326-PCT00010
이것을 식(2)에 대입하면, 다음과 같다.
Figure 112006057847326-PCT00011
이 식은 i의 값에 관하여 상수인 모든 항들을 제외시킴으로써 더욱 간단해 질 수 있다. 이것은 순환 시프트들에 기인해서, 위의 식에서 제1 및 제3 합산들을 다 포함한다. 결과는 다음과 같다.
Figure 112006057847326-PCT00012
이것은 페이로드 시프트의 최상의 추정은 각 시프트의 사전 확률, 및 SPMF 버퍼 콘텐츠 y와 피크 형상 s 간에 교차-상관에 따름을 보여준다. 식(1)의 피크 형상 모델을 식(4)에 대입하면 다음과 같다.
Figure 112006057847326-PCT00013
추출된 페이로드의 신뢰도 측정은
Figure 112006057847326-PCT00014
의 선택에서 에러의 확률로부터 도출될 수 있다. 에러는 적어도 한 시프트 τi가 정확한 페이로드에 대응하는 시프트 τC보 다 큰 확률
Figure 112006057847326-PCT00015
을 갖는다면 에러가 된다.
Figure 112006057847326-PCT00016
식 (5)를 사용하면, pc,i는 다음과 같이 될 수 있다.
Figure 112006057847326-PCT00017
τC가 정확한 페이로드에 대응하는 시프트이면, 식(1)로부터 다음과 같다.
Figure 112006057847326-PCT00018
여기서 n(.)은 AWGN이다. 마찬가지로,
Figure 112006057847326-PCT00019
이들 두 식을 식(7)에 대입하면 다음과 같다.
Figure 112006057847326-PCT00020
여기서
Figure 112006057847326-PCT00021
은 평균이 제로이고 표준편차가
Figure 112006057847326-PCT00022
인 가우시안 분포이고, 임계값 Ti는 다음에 의해 주어진다.
Figure 112006057847326-PCT00023
제 1 합은 상관 피크의 총 에너지이다. 이 에너지 항이 클수록, pc,i의 값이 커지고 따라서 식(6)에서 페이로드 에러 확률은 작아진다. 제2 합은 비-제로 시프트들에 대한 피크 형상의 자기상관이다. 이 항이 클수록, 즉 상관 피크가 더 불명료해질수록, 에러 확률은 커진다.
pc,i에 대한 식은 이제 다음과 같이 쓸 수 있다.
Figure 112006057847326-PCT00024
여기서 φ(Z)은 제로 평균, 단위 표준편차 가우시안 랜덤 변수의 누적 확률분포이다. 마지막으로, 이것을 에러 확률 식(식(6))에 대입하면 다음과 같다.
Figure 112006057847326-PCT00025
페이로드 시프트 결정에 있어 에러로 될 이 확률은 추출된 워터마크 페이로드의 신뢰도의 측정을 준다.

Claims (15)

  1. 페이로드를 정의하는 복수의 워터마크들(Wi)이 있는 정보신호를 처리하는 방법에 있어서,
    상기 정보신호에서 상기 복수의 워터마크들(Wi) 각각의 존재를 검출하는 단계(60-62);
    상기 워터마크들에 의해 나타내어진 상기 페이로드를 결정하는 단계(70, 75); 및
    상기 워터마크들에 의해 나타내어진 상기 페이로드의 정확도로 신뢰도를 계산하는 단계(110)를 포함하는, 정보신호 처리 방법.
  2. 제 1 항에 있어서,
    상기 신뢰도 측정을 임계 신뢰도 값(111)과 비교하고(112) 상기 임계 신뢰도 값과의 비교에 기초하여 출력(113)을 제공하는 단계를 더 포함하는, 정보신호 처리 방법.
  3. 제 2 항에 있어서,
    상기 출력(113)이 상기 신뢰도 측정이 상기 임계 신뢰도 값 미만임을 나타내는 경우 상기 복수의 워터마크들에 의해 나타내어진 상기 페이로드를 결정하지 않는 단계를 더 포함하는, 정보신호 처리 방법.
  4. 제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
    각 워터마크의 존재(60-62)를 검출하는 상기 단계는,
    각 워터마크에 대해서, 상기 워터마크에 관하여 상기 정보신호의 복수의 상대적 위치들 각각에 대해 상기 워터마크들(Wi) 중 하나를 상기 정보신호와 상관시킴으로써 상관결과들의 세트(64)를 도출하는 단계; 및
    각 워터마크에 대해 상기 상관 결과들의 세트(64)에서 상관 피크(65, 85)를 검출하는 단계를 포함하는, 정보신호 처리 방법.
  5. 제 4 항에 있어서,
    상기 페이로드에서 상기 신뢰도 측정은 상기 상관 피크의 영역에서 상기 상관 결과들에 기초하는, 정보신호 처리 방법.
  6. 제 5 항에 있어서,
    상기 신뢰도 측정은 상기 상관 피크의 총 에너지에 관계되는, 정보신호 처리 방법.
  7. 제 5 항 또는 제 6 항에 있어서,
    상기 신뢰도 측정은 상기 상관 피크의 형상에 관계되는, 정보신호 처리 방법.
  8. 제 4 항 내지 제 7 항 중 어느 한 항에 있어서,
    상기 상관 피크들을 나타낼 상관 결과들(65)의 클러스터들을 확인하고 진정한 상관 피크를 가장 잘 나타낼 상기 클러스터를 식별하기 위해서 상기 클러스터들을 처리하는 단계를 더 포함하는, 정보신호 처리 방법.
  9. 제 8 항에 있어서,
    상관 결과들(65)의 클러스터들을 식별하는 상기 단계는 상기 임계값을 초과하는 상기 세트 내 모든 상관결과들을 결정하고 이어서 이들 상관결과들 중 어느 것이 서로의 미리 결정된 거리 내에 위치되는지를 판정하는 단계를 포함하는, 정보신호 처리 방법.
  10. 제 4 항 내지 제 9 항 중 어느 한 항에 있어서,
    워터마크들의 존재를 검출하는 상기 단계는 상기 상관 결과들의 세트의 적어도 일부를 상기 결과들에서 상관 피크의 예상 형상에 관한 정보와 비교하는 단계를 포함하는, 정보신호 처리 방법.
  11. 제 1 항 내지 제 10 항 중 어느 한 항에 따른 방법을 수행하기 위한 소프트웨어.
  12. 페이로드를 정의하는 복수의 워터마크들(Wi)가 있는 정보신호를 처리하는 장치에 있어서,
    상기 정보신호에서 상기 복수의 워터마크들(Wi) 각각의 존재를 검출하는 수단(60-62);
    상기 워터마크들에 의해 나타내어진 상기 페이로드를 결정하는 수단(70, 75); 및
    상기 워터마크들에 의해 나타내어진 상기 페이로드의 정확도로 신뢰도 측정을 계산하는 수단(110)을 포함하는, 정보신호 처리 장치.
  13. 제 12 항에 있어서,
    제 2 항 내지 제 10 항에 따른 방법의 단계들 중 임의의 단계를 수행하는 수단을 더 포함하는, 정보신호 처리 장치.
  14. 제 12 항 또는 제 13 항에 있어서,
    상기 검출수단, 상기 결정수단 및 상기 계산수단은 이들 기능들을 수행하기 위한 소프트웨어를 실행하도록 구성되는 프로세서를 포함하는, 정보신호 처리 장치.
  15. 정보신호를 제공하는 장치에 있어서,
    상기 정보신호 내에 유효 워터마크가 있는지에 따라 상기 장치의 동작을 디 스에이블링하는 수단을 포함하고, 제 12 항 내지 제 14 항 중 어느 한 항에 따른 장치를 포함하는, 정보신호 제공 장치.
KR1020067016341A 2004-02-14 2005-02-08 워터마크 검출 KR20060124698A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
GBGB0403329.6A GB0403329D0 (en) 2004-02-14 2004-02-14 Watermark detection
GB0403329.6 2004-02-14

Publications (1)

Publication Number Publication Date
KR20060124698A true KR20060124698A (ko) 2006-12-05

Family

ID=32011933

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020067016341A KR20060124698A (ko) 2004-02-14 2005-02-08 워터마크 검출

Country Status (10)

Country Link
US (1) US20070165851A1 (ko)
EP (1) EP1714244A1 (ko)
JP (1) JP2007523544A (ko)
KR (1) KR20060124698A (ko)
CN (1) CN1918596A (ko)
BR (1) BRPI0507635A (ko)
GB (1) GB0403329D0 (ko)
RU (1) RU2367018C2 (ko)
TW (1) TW200536325A (ko)
WO (1) WO2005078656A1 (ko)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8175120B2 (en) 2000-02-07 2012-05-08 Ipr Licensing, Inc. Minimal maintenance link to support synchronization
US7936728B2 (en) 1997-12-17 2011-05-03 Tantivy Communications, Inc. System and method for maintaining timing of synchronization messages over a reverse link of a CDMA wireless communication system
US6222832B1 (en) 1998-06-01 2001-04-24 Tantivy Communications, Inc. Fast Acquisition of traffic channels for a highly variable data rate reverse link of a CDMA wireless communication system
US7394791B2 (en) 1997-12-17 2008-07-01 Interdigital Technology Corporation Multi-detection of heartbeat to reduce error probability
US9525923B2 (en) 1997-12-17 2016-12-20 Intel Corporation Multi-detection of heartbeat to reduce error probability
US7773566B2 (en) 1998-06-01 2010-08-10 Tantivy Communications, Inc. System and method for maintaining timing of synchronization messages over a reverse link of a CDMA wireless communication system
US8134980B2 (en) 1998-06-01 2012-03-13 Ipr Licensing, Inc. Transmittal of heartbeat signal at a lower level than heartbeat request
US8155096B1 (en) 2000-12-01 2012-04-10 Ipr Licensing Inc. Antenna control system and method
US6954448B2 (en) 2001-02-01 2005-10-11 Ipr Licensing, Inc. Alternate channel for carrying selected message types
US7551663B1 (en) 2001-02-01 2009-06-23 Ipr Licensing, Inc. Use of correlation combination to achieve channel detection
KR100665077B1 (ko) 2001-06-13 2007-01-09 탄티비 커뮤니케이션즈 인코포레이티드 하트비트 요구보다 낮은 레벨로의 하트비트 신호의 전송
US7321761B2 (en) 2004-12-03 2008-01-22 Interdigital Technology Corporation Method and apparatus for preventing unauthorized data from being transferred
US20070242852A1 (en) * 2004-12-03 2007-10-18 Interdigital Technology Corporation Method and apparatus for watermarking sensed data
DE102007038338A1 (de) * 2007-08-14 2009-02-19 Rohde & Schwarz Gmbh & Co. Kg Verfahren und Vorrichtung zur Protokollierung von Kommunikationsverbindungen bei sehr hohen Datenraten
EP2387033A1 (en) * 2010-05-11 2011-11-16 Thomson Licensing Method and apparatus for detecting which one of symbols of watermark data is embedded in a received signal
KR101424049B1 (ko) * 2010-11-29 2014-07-29 주식회사 씨케이앤비 워터마크 생성 방법, 이를 포함하는 방송 콘텐츠 생성 방법 및 워터마크 삽입 시스템
RU2633122C2 (ru) * 2012-03-22 2017-10-11 Сони Корпорейшн Устройство приема, способ приема, программа, устройство обработки дешифрования, система обработки приема и устройство обработки информации
WO2014182963A2 (en) * 2013-05-08 2014-11-13 Digimarc Corporation Methods and arrangements involving substrate marking
RU2669406C1 (ru) * 2017-11-23 2018-10-11 Общество с ограниченной ответственностью "АВТЭКС" (ООО "АВТЭКС") Способ определения последовательности нуклеотидов
US11039160B2 (en) * 2019-03-21 2021-06-15 The Nielsen Company (Us), Llc Methods and apparatus for delivering extended payloads with composite watermarks

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6404926B1 (en) * 1997-09-02 2002-06-11 Sony Corporation Apparatus and method of processing image data, transmission medium, and recording medium
ATE441164T1 (de) 2000-07-12 2009-09-15 Motorola Ltd Wassergezeichnete digitale bilder
GB2370437A (en) 2000-12-20 2002-06-26 Motorola Inc Method for watermarking a digital image

Also Published As

Publication number Publication date
WO2005078656A1 (en) 2005-08-25
RU2367018C2 (ru) 2009-09-10
GB0403329D0 (en) 2004-03-17
TW200536325A (en) 2005-11-01
CN1918596A (zh) 2007-02-21
RU2006129315A (ru) 2008-02-20
BRPI0507635A (pt) 2007-07-10
JP2007523544A (ja) 2007-08-16
US20070165851A1 (en) 2007-07-19
EP1714244A1 (en) 2006-10-25

Similar Documents

Publication Publication Date Title
KR20060124698A (ko) 워터마크 검출
US7840816B2 (en) Identifying material stored using a signature as a retrieval index
US20070165852A1 (en) Watermark detection
US20060294382A1 (en) Detecting a watermark using a subset of available detection methods
KR20140097306A (ko) 임시 워크마크들에 기초한 워터마크 추출
WO2001069518A1 (en) Digital watermark screening and detection strategies
JP2007528017A (ja) 電子透かしの埋め込み及び検出
CN109461110B (zh) 确定图片的溯源信息的方法及装置
US20090019286A1 (en) Watermark Detection
Soni et al. multiCMFD: fast and efficient system for multiple copy-move forgeries detection in image
KR20060123094A (ko) 워터마킹 시스템에서의 탬퍼 검출 방법 및 장치
Kim et al. Short N-secure fingerprinting code for image
US20070160261A1 (en) Watermark detection by correlation shape analysis
MXPA06009113A (es) Deteccion de marcas de agua
MXPA06009116A (en) Watermark detection by correlation shape analysis
MXPA06009115A (es) Deteccion de marcas de agua
MXPA06009114A (en) Watermark detection
Lim et al. Content-based Authentication using Hash Function in Digital Images
CN101339648A (zh) 指纹码的生成、嵌入与检测方法和装置及系统

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid