KR20130032309A - 숨겨진 이미지 시그널링 - Google Patents

숨겨진 이미지 시그널링 Download PDF

Info

Publication number
KR20130032309A
KR20130032309A KR1020127031585A KR20127031585A KR20130032309A KR 20130032309 A KR20130032309 A KR 20130032309A KR 1020127031585 A KR1020127031585 A KR 1020127031585A KR 20127031585 A KR20127031585 A KR 20127031585A KR 20130032309 A KR20130032309 A KR 20130032309A
Authority
KR
South Korea
Prior art keywords
image
smartphone
domain
keys
fourier
Prior art date
Application number
KR1020127031585A
Other languages
English (en)
Other versions
KR101542756B1 (ko
Inventor
지오프리 비. 로아즈
Original Assignee
디지맥 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US12/774,512 external-priority patent/US8401224B2/en
Application filed by 디지맥 코포레이션 filed Critical 디지맥 코포레이션
Publication of KR20130032309A publication Critical patent/KR20130032309A/ko
Application granted granted Critical
Publication of KR101542756B1 publication Critical patent/KR101542756B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/32101—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N1/32144—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title embedded in the image data, i.e. enclosed or integrated in the image, e.g. watermark, super-imposed logo or stamp
    • H04N1/32149—Methods relating to embedding, encoding, decoding, detection or retrieval operations
    • H04N1/32154—Transform domain methods
    • H04N1/32187—Transform domain methods with selective or adaptive application of the additional information, e.g. in selected frequency coefficients
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0021—Image watermarking
    • G06T1/005—Robust watermarking, e.g. average attack or collusion attack resistant
    • G06T1/0064—Geometric transfor invariant watermarking, e.g. affine transform invariant
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G06V10/225—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition based on a marking or identifier characterising the area
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B1/00—Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission
    • H04B1/38—Transceivers, i.e. devices in which transmitter and receiver form a structural unit and in which at least one part is used for functions of transmitting and receiving
    • H04B1/40—Circuits
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/32101—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N1/32144—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title embedded in the image data, i.e. enclosed or integrated in the image, e.g. watermark, super-imposed logo or stamp
    • H04N1/32149—Methods relating to embedding, encoding, decoding, detection or retrieval operations
    • H04N1/32309—Methods relating to embedding, encoding, decoding, detection or retrieval operations in colour image data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2201/00—General purpose image data processing
    • G06T2201/005—Image watermarking
    • G06T2201/0052—Embedding of the watermark in the frequency domain
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2201/00—General purpose image data processing
    • G06T2201/005—Image watermarking
    • G06T2201/0601—Image watermarking whereby calibration information is embedded in the watermark, e.g. a grid, a scale, a list of transformations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/32101—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N1/32128—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title attached to the image data, e.g. file header, transmitted message header, information on the same page or in the same computer file as the image
    • H04N1/32133—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title attached to the image data, e.g. file header, transmitted message header, information on the same page or in the same computer file as the image on the same paper sheet, e.g. a facsimile page header
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3269—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of machine readable codes or marks, e.g. bar codes or glyphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3269—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of machine readable codes or marks, e.g. bar codes or glyphs
    • H04N2201/327—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of machine readable codes or marks, e.g. bar codes or glyphs which are undetectable to the naked eye, e.g. embedded codes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3273—Display

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Image Processing (AREA)

Abstract

적합하게 구비된 모바일 디바이스(예를 들면, 스마트폰)에 의해 감지될 수 있지만, 인간들이 감지할 수 없는 하나 이상의 공간 영역들을 규정하기 위해 이미지가 인코딩된다. 이러한 모바일 디바이스가 이들 영역들 중 하나를 감지할 때, 그것은 응답으로 조치를 취한다(예를 들면, 연관된 톤을 렌더링하고, 링크된 비디오를 플레이하는 것, 등). 인코딩의 하나의 형태는 더 높은 공간 주파수들에서 이미지의 컬러 콘텐트의 수정을 이용한다. 하나의 실시예에서, 인코딩은 제 1 색차 채널에서 신호 에너지를 부가함으로써 이미지의 변환 도메인 표현을 변경하는 것을 포함하고, 부가된 신호 에너지는 주로 변환 도메인 공간의 분할된 호 영역 내에 있다. 또 다른 배열에서, 스마트폰 디스플레이는 장면으로부터 캡쳐된 이미지 데이터, 및 이미지 데이터의 변환 표현 둘 모두를 제공한다.

Description

숨겨진 이미지 시그널링{HIDDEN IMAGE SIGNALING}
관련 출원 데이터
본 기술은 미국 특허들 6,122,403, 6,408,082 및 6,590,996에 상세된 양수인의 이전 업무, 및 공개된 출원들 20060115110, 20070189533, 20080112596, 20080300011, 20090116683, 20100046842, 20100048242, 20100150434, 20100317399, 20100261465, 20110098029, 20100165158, 20110098056 및 20100228632에 대한 향상들을 포함하고, 상이한 실시예들에서 그들을 이용한다. 독자는 이러한 종래 업무에 친숙하고, 현재 상세된 기술을 이용하여 이러한 교시들을 구현들로 통합할 수 있음이 추정된다.
본 기술은 주로 인쇄된 오브젝트들 상에서 발견될 수 있는 바와 같은 이미지들과 상호작용하는 스마트폰에 관한 것이다.
스마트폰들은 점점 더 "시각 검색" 애플리케이션들로 이용되고 있다. 하나의 시각 검색 애플리케이션은 인쇄된 이미지 화상들(printed imagery)(잡지 또는 제품 패키징에서와 같은)에서 스테가노그래피적으로(steganographically) 인코딩된(즉, 숨겨진) 디지털 워터마크 데이터를 디코딩하고, 전화가 연관된 정보 및 서비스들에 링크하거나, 다른 조치를 취하는 것을 가능케 한다. 대표적인 디지털 워터마크 기술, 및 시각 검색 애플리케이션들은 상기 언급된 특허 문서들에 상세된다.
원근 왜곡은 때때로 디지털 워터마크 데이터의 적당한 디코딩에 방해가 될 수 있다. 즉, 워터마킹된 오브젝트가 상대적으로 큰 축을 벗어난 각도(off-axis angle)(즉 15도 또는 30도보다 큰)로 스마트폰에 의해 이미지처리되면, 숨겨진 워터마크 데이터는 원근 시야각에 의해 충분히 왜곡되어, 디코딩 알고리즘이 이를 인식하지 못하게 된다.
관련된 문제는 소비자 혼란이다. 소비자가 스마트폰을 이용하여 잡지 페이지를 이미지처리하고, 어떠한 워터마크도 즉시 검출되지 않으면, 그것은 스마트폰이 응답해야할 워터마크를 포함하지 않기 때문인가? 또는 그것은 잡지 페이지가 적합하지 않은 원근으로 제공되기 때문인가?
따라서, 소비자들에게 정확한 스마트폰의 위치설정(positioning)을 요구하지 않고 워터마크 데이터의 존재를 알리는 것이 바람직하다.
또한, 소비자들이 상대적으로 적은 원근 왜곡(예를 들면, 15도 또는 30도보다 작은)을 가지는 이미지 화상들를 캡쳐하는데 도움을 주는 것이 바람직하다.
본 기술의 하나의 양태에 따라, 숨겨진 데이터의 존재는 30도, 45도, 또는 60도, 또는 그 이상을 초과하는 원근각들에도 불구하고 확실하게 검출된다.
본 기술의 또 다른 양태에 따라, 스마트폰은 사용자가 스마트폰을 위치 설정하는데 도움을 주는 피드백(예를 들면, 디스플레이 스크린)을 제공하여 캡쳐된 이미지 화상들가 상대적으로 적은 원근 왜곡을 갖도록 한다.
본 기술의 상기 및 많은 다른 특징들 및 잇점들은 첨부된 도면들을 참조하여 진행되는 다음의 상세한 설명으로부터 더 용이하게 명백해질 것이다.
도 1은 다양한 키들로 인코딩된 복수의 핫스팟 영역들을 포함하는 이미지를 도시한 도면. 이들은 YB-Dome 공간 크로마키들로서 간주될 수 있다. 도시된 것들은 공간적으로 중첩하는 "아날로그" 크로마-인코딩된 영역들이다. 이들은 필수적으로 인간 눈에 "보이지 않지만", 디지털 워터마크 검출기로 볼 수 있다.
도 1a는 스마트폰이 상이한 음악 사운드들을 생성하도록 상호작용할 수 있는 도 1과 유사한 또 다른 이미지를 도시한 도면.
도 2는 도 1a의 이미지와 결부하여 이용될 수 있는 방법의 흐름도.
도 3은 도 1의 이미지에서 하나 이상의 핫스팟 영역들의 검출에 의해 스마트 폰에서 트리거될 수 있는 상이한 거동들 중 몇몇을 도시한 도면. 도시된 것들은 오디오-모드, 및 핫맵(GLO) 모드 둘 모두이다.
도 4는 본 기술에 따라 인코딩된 이미지 화상들과의 사용자 상호작용이 모션(motion)을 이용할 수 있음을 도시한 도면.
도 5는 공간 주파수 도메인에서 이미지의 휘도 및 듀얼 색차 채널들로의 분해 및 Y-B 채널에서 키의 임베딩을 도시한 도면. 특히, 상세된 것은 얼마나 이러한 신호가 기존의 아트워크(artwork)와 공유할 필요 없이 임의의 주파수 대역들을 인수할 수 있는지를 포함하는, YB-Dome 신호 공간의 할당이다.
도 6은 이미지 공간 주파수의 함수로서, 도 5의 3개의 채널들에 대한 인간 시각 시스템의 감도를 도시한 차트.
도 7은 복수의 상이한 키들이 단일 색차 채널 내에 인코딩될 수 있음을 도시한 도면.
도 8은 스마트폰의 시야의 서브-영역이 이미지 화상들에서의 키들을 검출하기 위해 이용될 수 있음을 도시한 도면.
도 9a 및 도 9b는 이러한 왜곡이 결정되도록 허용하는 이미지의 원근 또는 다른 왜곡에 의해 키가 어떻게 워핑(warping)될 수 있는지를 도시한 도면들.
도 10a 및 도 10b는 키들을 표현하기 위해 이용될 수 있는 푸리에 공간의 분할된 호(arc) 내의 상이한 스펙트럼 신호 에너지들을 도시한 도면들.
도 11a 내지 도 11c는 키들이 고조파 관계들(harmonic relationships)을 가질 수 있고, 이진 인코딩과 관련하여 이용될 수 있음을 도시한 도면들.
도 12는 푸리에 공간에서의 또 다른 키 표현을 도시한 도면.
도 13은 공간-주파수 도메인에서의 또 다른 마커 신호들을 도시한 도면.
도 14는 도 13의 마커 신호들을 포함하는 인쇄된 오브젝트의 믹싱된 도메인 뷰를 도시한 도면.
도 1에 도시된 바와 같이, 이미지(10)는 적합하게 구비된 모바일 디바이스(예를 들면, 스마트폰/셀 폰)에 의해 감지될 수 있지만, 인간이 감지할 수 없는 하나 이상의 영역들(CK1, CK2 등)을 규정하기 위해 본 기술의 하나의 양태에 따라 인코딩된다. 이러한 모바일 디바이스가 이들 영역들 중 하나를 감지할 때, 그것은 응답하여 조치를 취한다.
이미지(10)의 콘텐트는 임의의 것일 수 있다. 상세들(숨겨진 영역들을 제외한)은 설명의 명확성을 위해 도시되지 않는다.
영역들은 임의의 형태일 수 있고; 단지 몇 개가 도시되었다. 나타내어진 바와 같이, 그들은 층상 방식으로 중첩할 수 있다. 각각의 영역은 그것과 연관된 키(예를 들면, CK1, CK2 등)를 갖는다. 바람직한 실시예가 색차-기반 임베딩 장치를 이용하기 때문에, 이들 키들은 크로마 키들로 칭해질 수 있다. 그러나, 다른 임베딩 장치들이 대안적으로 이용될 수 있다.
(도면 제목의 "YB"는 Yellow-Blue를 나타낸다. "Dome"은 아래에서 더 상세된 바와 같이, 키들이 분명하게 되는 푸리에-공간에서의 호-형태의 영역을 나타낸다.)
도 1a는 7개의 영역을 이용하는, 상징적인 이오 지마 사진에 숨겨진, 그러나 설명의 목적을 위해 볼 수 있는 것으로서 도시된 일 대표적인 삽화를 도시한다. 가장 좌측 영역이 스마트폰에 의해 감지될 때, 그것은 피치("C")로 음표를 렌더링한다. 인접한 영역은 폰으로 하여금 "E"로 피치를 렌더링하도록 한다. 유사하게, 다음의 하나는 "G"로 렌더링한다.
가장 위의 부분은 유사하게 폰으로 하여금 피치("C")로 음표를 렌더링하도록 한다. 그러나, 그 바로 아래 영역은 폰으로 하여금 음표(
Figure pct00001
)을 렌더링하도록 한다. 보다 아래는 상기 언급된 "G" 영역이다.
사용자가 적합하게 프로그래밍된 스마트폰을 좌측으로부터 우측으로 이미지에 걸쳐 수평으로 스윕(sweep)하여 폰의 카메라가 차례로 영역들의 수평 행을 "보게"되면, C-major 코드 진행이 들린다. 역으로, 사용자가 이미지에서 나타내어진 영역들에 걸쳐 수직으로 아래쪽으로 폰을 스윕하면, C-minor 코드 진행이 들린다.
특히, 이 예에서, 영역들은 4개의 상이한 키들로 인코딩된다. 동일한 키(CK1)는 가장 좌측 및 가장 위의 영역들 모두를 위해 이용되는데, 이는 그들이 모두 동일한 고른 음(musical tone)에 대응하기 때문이다. 상이한 키들(CK2, CK3 및 C4)은 다른 3개의 영역들을 위해 이용된다.
도시된 예에서, 이미지(10)은 또한 항상 요구되지는 않을지라도, 보조 데이터의 복수의-비트 페이로드(예를 들면, 32- 또는 128비트)를 스테가노그래피적으로 전달하도록 공지된 방식으로 디지털적으로 워터마킹된다(DWM). 이들 복수의 비트들은 무슨 응답이 어떤 키와 연관되어야 하는지를 결정하는 스마트폰에 의해 고려되는 데이터 구조를 식별할 수 있다.
복수 비트의 보조 데이터에 의한 데이터 구조의 식별은 다양한 수단에 의한 것일 수 있다. 하나는 로컬 또는 원격 표, 또는 데이터베이스 리코드에 대한 포인터(예를 들면, 어드레스)이다. 이 예에서, 데이터 구조는 CK1이 검출되면, 폰이 "C"의 고른 음(즉, 262Hz)을 렌더링해야 함을 나타낸다. 완전한 표는 폰에 다음과 같은 상이한 키들에 응답하도록 지시할 수 있다:
CK1 262Hz 톤을 렌더링한다
CK2 330Hz 톤을 렌더링한다
CK3 392Hz 톤을 렌더링한다
CK4 311Hz 톤을 렌더링한다
이 표는 단지 대표적인 것이고, 예시적인 응답들은 단순히 설명적인 편의를 위해 종종 발생할 수 있는 것보다도 더 기본적인 것이다.
톤은 대응하는 키 영역의 초기 검출을 통해 시작하는 고정된 지속기간 예를 들면, 1초 동안 들릴 수 있거나, 영역이 스마트폰 카메라의 시야(field of view) 내에 있는 동안 지속될 수 있다. 후자의 경우에, 복수의 음표들의 코드들은 카메라를 위치 설정함으로써 렌더링되어, 카메라가 도시된 영역들의 일부 또는 전부를 시청(viewing)할 수 있게 한다. 카메라가 이미지로부터 멀리 이동함에 따라, 코드는 더 많은 음표들로 증가될 수 있고, 카메라가 더 가까이 이동함에 따라, 더 적은 음표들로 리졸빙(resolving)한다.
무슨 응답들이 상이한 키들과 연관되어야 하는지를 나타내기 위한 보조 데이터의 이용은 심지어 "고정된" 이미지로, 사용자 경험의 단순하고 동적인 재프로그래밍을 허용한다. 예를 들면, 표의 데이터를 예시적인 보조 데이터(워터마크) 포인트들로 단순하게 변경시킴으로써, 이미지는 이미지 화상들의 수정 없이 모두 모든 상이한 세트의 응답들을 트리거할 수 있다.
바로 설명된 방법을 상세하는 흐름도가 도 2에 도시된다.
도 3 및 도 4는 또한 스마트폰 카메라가 이미지의 상이한 숨겨진 영역들을 검출하고, 카메라가 이동함에 따라 상이한 출력들을 생성할 수 있는 바로 논의된 특징을 도시한다.
도 3의 "GLO"는 그래픽 레이턴트 오버레이(Graphic Latent Overlay)의 두문자어이다. 본 기술은 공개된 특허 명세서들 20080300011 및 20090116683을 포함하는 문서들에서 상세되고, 모바일 폰으로 캡쳐된 이미지 화상들에서의 제 1 형상(feature)(공통적으로 스테가노그래피적으로 인코딩된 형상)의 검출이 폰 스크린 상에서 제 2 그래픽 형상 - 제 1 형상이 검출되었던 이미지 상에 오버레이된 - 의 디스플레이를 트리거링하는 장치들에 대해 언급한다. 몇몇 예들에서, 오버레이된 형상은 폰의 시야에서 제 1 형상의 위치에 의존하는 위치에서의 스크린 상에 제공된다. 오버레이된 형상은 또한 제 1 형상의 명백한 워핑과 대응하도록 워핑될 수 있다.
관련 기술들이 특허 공보들 20110098029 및 20110098056에 상세되고, 이러한 오버레이된 형상들은 "보블들(baubles)"로 칭해진다(그리고 캡쳐된 이미지 화상들의 보이는 및/또는 스테가노그래픽 형상들에 기초할 수 있다).
따라서, 키 영역이 감지될 때, 고른 음을 플레이하는 대신에, 폰은 캡쳐된 이미지 화상들 상에 그래픽 디스플레이를 오버레이함으로써 응답할 수 있다.
물론, 고른 음들을 플레이하고 그래픽 디스플레이들을 오버레이하는 것은 키 영역의 검출dl 트리거할 수 있는 셀 수 없는 거동들 중 몇 가지이다. 임의의 상상가능한 조치 또는 스크립트는 숨겨진 영역들 중 하나 이상("핫스팟들"로서 간주될 수 있는)이 감지될 때, 유사하게 트리거될 수 있다.
특정한 예로서, 하키 팀의 멤버들의 사진을 고려하자. 각각의 플레이어의 얼굴의 타원 영역은 상이한 숨겨진 키(CK1 내지 CK20)로 마킹된다. 사용자가 스마트폰 카메라를 특정 플레이어의 얼굴에 향하게 할 때, 대응 키가 검출된다. 워터마크는 또한 이미지로부터 검출된다(그리고 전체 이미지에 미칠 수 있다). 워터마크 페이로드는 키들(CK1 내지 CK20) 각각에 대한 엔트리를 가지는, 상기 표 1과 같은 표를 가리킨다. 이 표는 차례로 그 각각의 플레이어에 대한 시즌 하이라이트들을 도시하는, NHL 웹 서버 또는 클라우드에 존재하는, 플래시 비디오 프리젠테이션들로의 링크들을 저장할 수 있다. 사용자가 팀 사진에서 상이한 얼굴들을 시청하기 위해 스마트폰 카메라를 이동시킬 때, 과거 시즌으로부터의 상이한 비디오 플레이들이 사용자의 폰 상에서 렌더링된다.
(워터마크 페이로드는 또한 다른 목적들에 도움이 될 수 있다. 예를 들면, 페이로드는 복수의 키들이 캡쳐된 이미지 화상들 내에서 검출되면, 스마트폰이 응답을 제공하지 않도록 지시하는 하나 이상의 플래그 비트들을 포함할 수 있다. 대안적으로, 그들은 카메라를 이미지에서 하나의 특별한 형상(얼굴)에 더 가까이 향하게 하는 것을 스마트폰이 사용자에게 촉구하도록 지시할 수 있다. 워터마크 시그널링의 모든 종래의 이용들은 또한 본 장치들과 결부하여 이용될 수 있다).
이미지들이 공통적으로 공간(또는 픽셀) 도메인에서 감지되는 동안, 당업자들에게 익숙한 바와 같이, 복수의 다른 표현들이 또한 유용하다. 일반적으로, 이들 다른 표현들은 "변환 도메인들(transform domains)"로 칭해진다. 하나의 대중적인 변환 도메인은 푸리에 공간이다(이미지들에 대해 이용될 때, 공통적으로 공간 주파수 도메인으로 칭해진다). 예를 들면, 이산 푸리에 변환(discrete Fourier transform; DFT), 또는 이산 코사인 변환(DCT)을 이미지(전체적로서, 또는 더 공통적으로 정사각형 영역들 예를 들면, 8×8 픽셀들 또는 32×32 픽셀들로 분할된)에 적용함으로써, 이미지는 한 세트의 계수들로 분해된다. - 각각은 대응하는 공간-주파수 구성요소의 진폭을 나타낸다. 결과적인 세트의 정보는 도 5에 도시된 바와 같이, 복소-절반 평면 좌표 시스템상에 도시될 수 있다.
도 5의 좌측 부분은 샘플 이미지(예를 들면, 먼저 제공된 이오 지마 이미지)의 대표적인 공간 주파수 도메인 표현을 도시한다. 이 이미지는 보조 데이터를 전달하는 종래의 디지털 워터마크로 인코딩된다(적합한 워터마크는 특허 6,590,996에 상세된다). 워터마크 신호 에너지는 이미지 에너지의 나머지 사이에 산재되고, 도 5에서 개별적으로 식별가능하지 않다.
이미지는 휘도, 및 듀얼 색차 채널: R-G(적색-녹색) 및 Y-B(노란색-청색)과 같은 구성요소 이미지 평면들로 분할될 수 있고 - 그들 각각은 그 자신의 푸리에 공간 표현을 갖는다. 푸리에-공간에서 이들 3개의 채널들은 도 5의 우측에 도시된다.
예시된 실시예에서, 키들의 이미지 영역들로의 인코딩은 색차 채널들(예를 들면, Y-B) 중 하나에 에너지를 부가함으로써 달성된다. 이것은 불쾌한 시각 효과 없이 행해질 수 있는데, 이는 인간 시각 시스템(HVS)이 휘도보다 컬러에 덜 민감하기 때문이다.
이것은 도(degree) 당 사이클들에서 공간 주파수의 함수로서, 휘도, 적색-녹색 색차, 및 노란색-청색 색차에 대한 HVS 감도를 표시하는 도 6에 도시된다. (이 차트는 12 인치의 시청 거리에서 수집된 데이터에 기초한다). 보여지는 바와 같이, HVS 감도는 도 당 10 사이클들(cpd) 이상의 색차 공간 주파수들에서 급격하게 줄어들고, 도 당 20 사이클들에서 극적으로 내려간다. 도 당 25 또는 30 사이클들 이상에서의 감도는 필수적으로 0이다.
반대로, 카메라들에서 이용된 이미지 센서들은 공통적으로 이러한 공간 주파수들에서 색차 형상들을 구별할 수 있다.
따라서, 도 1 또는 도 1a에서의 CK1과 같은 이미지 영역에서 키를 인코딩하기 위해, 에너지는 바람직하게 10, 20, 25 또는 30cpd 이상의 주파수에서 노란색-청색 색차 채널로 부가될 수 있고 - 여기서, 효과는 일반적으로 인간 관찰자들에 뚜렷하지 않지만, 용이하게 광 센서 데이터로부터 검출될 수 있다.
바람직한 실시예에서, 부가된 에너지는 배타적으로 표시된 주파수 이상일 필요는 없다. 그러나, 바람직하게 부가된 에너지의 대부분은 그 범위(예를 들면, 50% 이상, 75%, 95%, 또는 98%)에 있다.
이 실시예 및 다른 실시예들에서, 부가된 에너지의 크기는 또한 원하는 레벨의 가시성(또는 비가시성)을 달성하기 위해 스케일링(scaling)될 수 있다. 다른 실시예들에서, 부가된 에너지의 크기가 충분히 시각적으로 불쾌하지 않도록 낮으면, 주로 10cpd 아래의 주파수들에서의 신호 에너지가 이용될 수 있다.
푸리에 공간에서 적합한 인코딩의 하나의 예는 검은 밴드들에 의해 도 5의 하부 우측에 도시된다. 이 부가된 신호 에너지는 이들 스펙트럼 주파수들(위상을 포함하는)에서의 기존 이미지 에너지를 지배하지만, 전형적으로 효과는 필수적으로 인간 뷰어들이 감지할 수 없다. 효과는 색차 공간의 영역을 잘라내어 그것을 숨겨진 키를 표현하기 위해 할당하는 것이다. 따라서, 인코딩되고, 적합하게-구비된 스마트폰 검출기는 이미지의 숨겨진 영역의 존재를 빨리 발견하고, 그의 크기를 결정하고, 이러한 발견에 응답할 수 있다.
많은 예들에서, 도 1의 CK1, CK2 등과 같은 상이한 키들을 구별할 수 있는 것이 바람직하다. 이것은 선택된(예를 들면, Y-B) 색차 채널(위상을 포함하는)에서의 신호 에너지의 상이한 푸리에 도메인 존들로 상이한 키들을 표현함으로써 행해질 수 있다. 이러한 배열(arrangement)은 도 7의 상부 오른쪽에 도시된다.
특히, 이 공간 도메인 표시는 10개의 키들(150a 내지 150j)을 도시한다. 도 1에서, 영역(CK1)은 상기 이미지 영역에 아치이맛돌(keystone)-형태의 푸리에 존에 대응하는 신호 에너지를 부가함으로써 인코딩될 수 있다. 마찬가지로, 이미지 영역들(CK2 내지 CK5)은 아치이맛돌 존들(150b 내지 150e)에 의해 나타내어진 공간 주파수들에서의 에너지를 부가함으로써 인코딩된다. 5개의 추가적인 키들은 150f 내지 150j로 라벨링(labeling)된 공간 주파수 존들에 대응하는 에너지를 부가함으로써 표현될 수 있다(논의된 표시는 10개의 상이한 키들을 포함함이 인식될 것이다. 이미지 화상들의 특정 영역은 반드시 푸리에 공간에서 이 도시된 신호 구성요소를 갖지는 않을 것이다. 아마도, 하나 또는 몇 개의 아치이맛돌 형상들이 존재하게 될 것이다).
다시, 예시들은 이들 숨겨진 신호들의 유용한 차원의 위상을 도시하지 않는다. 위상 구성요소는 확실성을 이들 키들의 검출에 제공한다(즉, 신호-대-잡음 비를 증가시키는것).
하나의 특정 실시예에서, 상이한 키들은 반대의 위상 극성(+1/-1과 유사한)을 가질 수 있다. 하나의 키(CK-a)는 존을 가로질러 특정 위상 프로파일을 갖는 아치이맛돌 존(150a)에 의해 표현될 수 있고, 또 다른 키(CK-b)는 동일한 아치이맛돌 존(150a)의 에너지에 의해 표현될 수 있지만, 키(CK-a)에 관하여 180도 역위상인 위상 프로파일을 갖는다. 이것은 키공간의 배가(doubling)을 야기한다(예를 들면, 10개의 존들(150a 내지 150j)은 20개의 구별가능한 키들을 표현할 수 있다).
또 다른 다중-키 배열이 도 7의 하부 우측에 도시된다. 여기서, 푸리에 공간의 N개의 상호-직교 신호들이 이용된다. 예시의 목적들을 위해, 단순한 예는 하나의 신호에 대해, 이미지 주파수(f)에서 사인파이어야 한다. 또 다른 예는 동일한 주파수에서 코사인 신호를 포함할 수 있다. 제 3 예는 주파수(2f)에서 사인 신호를 포함할 수 있고, 등이다(이러한 신호들이 단순한 도면들에서 표현하기 어렵다고 할지라도, 푸리에 공간에서의 직교 신호들의 디자인은 당업자의 능력 내에 있다. 하나의 관점에서, 2개의 키들은 그들의 위상 프로파일들의 곱이 0으로 되면, 직교한다).
전형적으로, 이미지의 모든 키들은 동일한 크기, 일반적으로 렌더링된 이미지 화상들에서 인간들이 감지할 수 없는 키들을 렌더링하는 레벨에서 인코딩된다. 모든 키들에 걸쳐 일정한 크기를 갖는 것은 검출시에 유용할 수 있는데, 이는 하나의 키의 검출이 다른 키들의 존재를 식별하는데 도움을 주기 위해 이용될 수 있는 크기 정보를 제공하기 때문이다.
몇몇 실시예들에서, 임의의 키들은 상이한 크기들을 가질 수 있다(예를 들면, 그들은 부분적으로 "온(on)"일 수 있다). 이것은 인코딩 공간을 더 확장하기 위해 이용될 수 있다. 예를 들면, 키(CK-c)는 키(CK-d)의 절반 크기를 가질 수 있지만, 그렇지 않으면 키들은 스펙트럼 주파수 콘텐트 및 위상 프로파일에서 동일하다. 단일 키들의 이진 값들(예를 들면, +위상 및 -위상) 대신에, 4변수(quaternary) 및 다른 다중-값의 심볼들이 이용될 수 있다.
상이한 크기들 사이의 관계들(예를 들면, 몇몇 키들은 100% "온"이고; 다른 키들은 50% "온"이며, 또 다른 키들은 25% "온"이다)이 검출기에 의해 공지되면, 이 지식은 다시 키들을 식별할 때, 기준으로서 이용될 수 있다. (이들은 "아날로그 키들"로서 간주될 수 있다.)
다중 키들을 이용하는 시스템에서, 각각은 상이한 조치를 트리거할 수 있다(예를 들면, 도 1a 예에서의 상이한 톤들). 다중 키들이 이미지 영역에 오버레이될 때(예를 들면, CK5가 도 1의 CK1에 중첩된다), 또 다른 조치들이 트리거될 수 있다. 따라서, 10 키 시스템에서, 10개의 개별적인 키들에 대응하는 10개의 응답들이 존재할 수 있다. 9개의 또 다른 응답들은 키(1)가 키들(2 내지 10) 중 하나와 오버레이되는 영역들에 대응할 수 있다. 8개의 또 다른 응답들은 키(2)가 키들(3 내지 10) 중 하나와 오버레이되는 영역들에 대응할 수 있다. 7개의 또 다른 응답들은 키(3)가 키들(4 내지 10)과 공존하는 영역들에 대응할 수 있고, 등등이다. 따라서, 단지 2개의 키들까지의 계층들을 고려하는 시스템에서, 55개의 상이한 상태들이 규정될 수 있다. (3개 이상의 키들이 오버레이되면, 가능한 상태들의 기하학적 증가가 자연스럽게 발생한다.)
키들이 상이한 크기들을 가지면, 키들에 의해 트리거링된 응답들은 그에 따라 변동할 수 있다. 예를 들면, 도 1a의 고른 음의 예에서, 키(CK3)가 다른 키들의 크기의 절반이면, 그의 대응하는 톤은 다른 키들에 의해 트리거링된 응답들의 양의 절반으로 렌더링될 수 있다.
스마트폰 검출기는 그것이 접하기를 기대하는 상이한 키들 - 숨겨진 신호들의 존재를 찾고 있는 - 을 위해 푸리에-도메인 탬플릿들(Fourier-domain templates)을 적용할 수 있다. 이것은 - 최종 출력 신호들이 임계치를 초과하는지의 여부를 판단하는 - 개별적인 키 탬플릿들 각각으로 곱셈들을 수행하는 상관 검출기를 포함할 수 있다.
탬플릿(들)는(은) (푸리에 공간에서 키들의 결과적인 왜곡을 갖는) 이미지 화상들의 왜곡의 경우에 키들의 검출을 허용하는, 찾는 키들(sought-for keys)의 정확한 경계들보다 더 많은 푸리에 공간을 포함할 수 있다.
전형적으로, 스마트폰 카메라들은 직사각형의 시야(예를 들면, 2048×1536 픽셀들)를 갖는다. 몇몇 예들에서, 스마트폰 카메라가 이 시야의 단지 서브-영역에서 키들에 반응을 보이는 것이 바람직하다. 완전한 카메라의 시야가 이미지 프레임(190)인 이러한 배열은 도 8에 도시되지만, 응답들은 단지 서브-영역(192) 내에서 발견된 키들에 의해 트리거링된다. 서브-영역의 형태는 임의의 것일 수 있고; 예시된 직사각형(폭이 약 250픽셀이고 높이가 약 900픽셀인)은 단지 예시적이다.
또 다른 배열에서, 존(192)은 원형 또는 타원형이다. 또한, 영역(192)로부터의 샘플링된 이미지 데이터의 이용을 제어하는 소프트웨어는 가장 정확한 검출을 위해 영역의 중심에서 모든 픽셀들을 이용하지만, 영역(192)의 주변 근처에서 픽셀들의 더 희박한 샘플링을 이용하는 중심 필터(foveal filter)를 적용할 수 있어서, 감도 또는 예민함이 감소되게 된다. (고려로부터 더 먼 픽셀들을 버리는 대신에, 밖에 놓인 픽셀들의 그룹들은 중심 효과를 생성하기 위해 평균화될 수 있다: 존의 중심에서의 조밀한 픽셀 정보, 및 더 먼 거리들에서의 더 낮은 해상도 픽셀 정보.)
(이러한 중심 필터링은 형상 및 오브젝트 인식, 머신 비전(machine vision), 워터마크 디코딩, 지문 계산, 이미지 기반 콘텍스트 결정, 및 먼저 언급된 특허 공보들에 상세된 다른 유형들의 처리를 포함하는 많은 상이한 유형들의 이미지 처리에 대한 서두(preamble)일 수 있다.)
본 기술을 이용하는 카메라-구비된 검출기는 예를 들면, 수십의 이미지처리된 픽셀들 또는 그 미만(예를 들면, 5 내지 10 "왁셀들(waxels)" - 워터마크 신호 요소들)의 정확성에 대해서 영역 경계들을 식별하는 키 영역들의 공간 크기를 감지할 수 있다. 따라서, 검출기는 예를 들면, 이미지 화상들 내의 그들의 위치들의 가상 맵을 생성하는 숨겨진 키들을 "이미지처리(imaging)" 할 수 있다.
키들의 기하학적 형태들이 먼저 공지되면(예를 들면, 키들이 원형, 또는 정사각형, 또는 등변 삼각형들이면), 캡쳐된 이미지 화상들에서의 그들의 형태들은 이미지의 임의의 축을 벗어난 시청을 특징 지우기 위해 이용될 수 있다. 이 정보는 차례로 이미지 화상들에 인코딩된 임의의 워터마크 신호의 검출을 돕기 위해 이용될 수 있다.
예를 들면, 디바이스 프로세서는 공지된 키 형태들의 왜곡에 대응하여 이미지 데이터를 재-샘플링할 수 있다. 키가 동일한 길이의 2개의 평행 에지들을 포함하도록 공지되지만, 제 1 에지가 제 2 에지보다 50% 짧게 되도록 캡쳐된 이미지 화상들에서 나타나면, 제 1 에지를 따르는 이미지 포인트들은 제 2 에지를 따르는 이미지 포인트들의 두배의 공간 주파수에서 처리기에 의해 재샘플링되고 - 보간된 샘플링 레이트들은 중간 평행 라인들을 따라서 이용된다. 그 다음, 워터마크 디코딩 처리는 재샘플링된 이미지에 적용될 수 있다 -이로 부터 원근 워프(perspective warp)의 이 양태는 효과적으로 제거된다.
원근법을 다루기 위한 더 복잡한 방식은 기하학적인 키 형태들의 지식을 요구하지 않는다. 오히려, 그것은 키의 푸리에 도메인 표현의 지식에 의존한다.
예시하기 위해, 원래의 이미지는 도 9a에 도시된 푸리에 도메인 형태를 가지는 키를 포함할 수 있다. 이미지가 축을 벗어난 원근으로부터 캡쳐되면, 예를 들면, 도 9b에 도시된 푸리에 도메인 표현을 야기하는 키 형태는 부풀어오를 수 있다. 도 9a로부터 도 9b까지의 변환은 카메라에 의해 시청되는 이미지의 분명한 변환을 드러낸다(예를 들면, 인접(affine) 및 원근 워핑).
프로그래밍된 처리기(예를 들면, 스마트폰에서의)는 푸리에 공간에서 호와 같은 형상에 대한 무작위 검색(brute-force search)을 수행할 수 있고 그 다음, 발견된 호의 형태로부터 이미지의 대응하는 워프 파라미터들을 추적할 수 있다. 또 다른 방식은 특허들 6,408,082 및 6,590,996에 상세된 기술과 유사한 기술을 이용하여 푸리에 도메인 이미지 데이터 내에 왜곡된 호 존을 위치시키기 위해 푸리에-멀린-기반 처리(Fourier-Mellin-based processing)를 이용한다.
- 적어도 총 센스로 - 이러한 방법들에 의한 워프 파라미터들의 준비된 결정을 허용하는 상세된 키들은 전형적으로 푸리에 공간에서 뚜렷하다. 일단 그에 의해 이미지 시청 원근법의 대략적인 느낌이 식별되면(예를 들면, 5도 또는 10도까지), 이미지 데이터는 그에 따라 예를 들면, 축상(on-axis)의 카메라 원근법으로부터 캡쳐된 것처럼 재샘플링될 수 있다. 그 다음, 디지털 워터마크 신호들(예를 들면, 단지 언급된 특허들 당)에서 공통적으로 발견된 교정 신호들은 큰 페이로드 워터마크 데이터의 정확한 판독을 허용하는 재샘플링된 이미지 화상들에 남아있는 작은 왜곡들을 해결하기 위해 이용될 수 있다.
기술자는 언급된 워터마크 기술에서의 교정 신호들이 검색-공간 가속기의 역할을 함을 인식할 것이다. 여기에서 상세된 키 기술은 보완 교정 신호로서 시청될 수 있고, 검출기들은 축을 벗어난 카메라 각도들을 검색하도록 동조될 수 있다. 이 목적을 위한 키들은 푸리에 Y-B 크기 공간에서 펄(pearl)과 같은 형상들의 쌍을 이루고 엇갈린 줄들(paired staggered strings)의 형태(즉, 도 12에 도시된 바와 같은, 푸리에 공간에서 2개의 동심원들의 링들의 피크들)를 취할 수 있다. 그 다음, 검출기는, 이미지가 축을 벗어난 단계를 이룬 각도들(예를 들면, 0도에서 45도까지, 5도 스텝들로)로 시청되면 키 형상들이 푸리에 도메인에 나타날 이들 키 형상들(또는 다른 공지된 키 형상들)에 대응하고 푸리에-멀린 분석을 이용하는 일 군의 탬플릿들을 적용할 수 있다.
이 동작은 예를 들면, 250ms 또는 그보다 작은 클라우드-기반 처리기에 의한 빠른 수행을 위해 적합하다. 스마트폰은 카메라 뷰의 중심으로부터 클라우드 처리기(픽셀 도메인에서의, 또는 푸리에 공간으로의 변환 - 워터마크 신호를 손상시키지 않는 압축으로 가능한 - 이후에)로 32×32 픽셀 영역을 전송할 수 있다. 클라우드 처리기는 차례로 키 신호를 찾기 위해 수신된 데이터에 언급된 탬플릿들을 적용하고, 시청각의 추정을 폰으로 리턴(return)시킨다. 그 다음, 폰은 이 추정된 시청각에 따라 이미지를 재샘플링하고, 워터마크 페이로드를 추출하기 위해 언급된 워터마크 디코딩 처리에 적용한다.
(폰과 클라우드 사이의 작업의 다른 구분들은 마찬가지로 예를 들면, 클라우드가 워터마크 페이로드를 추출하는 것을 포함하는 처리의 모든 것을 행하는 것으로 가능하다).
몇몇 실시예들에서, 키들은 이미지/문서 인증에서의 도움을 위해 "덧없는" 속성들을 갖도록 디자인될 수 있다. 예를 들면, 숨겨진 키들은 이미지처리 센서들이 검출하기 위한 높은 주파수 한계에 있거나 그 근처에 있는 스펙터럼 주파수들로 구성될 수 있다. 이들 신호들의 크기들은 또한 키들이 원래 이미지에서 간신히 검출가능하도록 맞춤화될 수 있다. 이러한 원래 이미지가 스캐닝되고 재인쇄되면, 이 낮은 진폭 및/또는 높은 주파수 데이터는 아마도 악화되어, 더 이상 검출가능하지 않게 될 것이다. CCD, CMOS 및 다른 이미지 센서들은 결합 시스템에서 원하는 속성들을 달성하기 위해, 이러한 기술을 염두에 두고 디자인될 수 있다.
이 기술의 하나의 애플리케이션은 예를 들면, 금고를 열고, 알람을 설정하는 것 등을 위해 통상적으로 이용된 부류들과 유사한 키패드와 같은 것이다. 예를 들면, 스마트폰은 인쇄 매체 또는 또 다른 스크린으로부터 이미지 화상들의 프레임을 캡쳐할 수 있고, 이미지 화상들 또는 다른 보조 데이터로부터 디코딩된 워터마크를 참조하여, 터치패드에 나타나는 그래픽을 오버레이할 수 있다. 사용자는 스크린 상에 디스플레이된 상이한 버튼들을 터치할 수 있다. 터치에 민감한 스크린은 이들 터치들에 대응하는 캡쳐된 이미지 화상들에서의 픽셀 영역들이 결정될 수 있는 출력 조정 데이터(output coordinate data)를 제공한다. 캡쳐된 이미지 화상들의 이들 영역들에서 검출된 숨겨진 키들이 주의되고, 이들 키들의 시퀀스는 "조합(combination)" 또는 사용자에 의해 입력된 다른 코드(예를 들면, CK4, CK2, CK5, CK9)를 규정한다. 입력된 코드가 저장된 시퀀스와 매치(match)하면, 조치가 취해진다. 또는 키스트로크들(keystrokes)에 따라 다른 조치(예를 들면, 공개된 출원 20100261465에 상세된 바와 같은 온도조절기의 재프로그래밍)가 취해질 수 있다.
일 변형 실시예에서, 숨겨진 키들의 아웃라인들은 캡쳐된 이미지로부터 식별되고, 그래픽 오버레이들로서 볼 수 있게 되었다. 다시, 이들은 원하는 시퀀스로 터치될 수 있다. 키들을 참조하여 워터마크와 결부하여 반응 조치가 취해질 수 있다.
또 다른 변형에서, 그래픽 오버레이는 또 다른 키들이 터치됨에 따라 변화할 수 있다.
상세된 배열이 감지된 키 영역들에 대응하는 조치들이 결정될 수 있는 보조 데이터를 전달하기 위해 디지털 워터마킹을 이용할지라도, 이것은 필요하지 않다. 다른 통신 수단 예를 들면, RFID 칩들, 바코드들, 헤더 데이터 등이 이용될 수 있다. 대안적으로, 이미지 화상들의 지문이 계산되고, 이미지를 식별하기 위해 데이터베이스의 참조 정보와 매치될 수 있고, 식별은 또한 키들과 적절한 응답들 사이의 연관들이 결정될 수 있는 메타데이터를 식별하도록 서빙할 수 있다(이미지/비디오 지문채취의 예들은 특허 공보들 7,020,304(Digimarc), 7,486,827(Seiko_Epson), 20070253594(Vobile), 20080317278(Thomson), 및 20020044659(NEC)에 상세된다).
다른 배열들에서, 보조 데이터는 필요하지 않다. 대신에, 상이한 키들은 지시하지 않거나, 그렇지 않은 경우, 보조 데이터에 의해 나타내어진 스마트폰 또는 어딘가 다른 곳에 저장된 데이터 표와 같은, 알려진 참조에 의해 부여받은 의미가 될 수 있다. 키가 검출될 때, 어떤 거동이 수행되어야 하는지를 결정하기 위한 참조가 이루어진다.
상세된 배열들이 전형적으로 푸리에 변환(예를 들면, FFT)을 이용하지만, 임의의 수의 다른 이미지 변환들이 대안적으로 이용될 수 있다. 예들은 DCT, 웨이블렛(wavelet), 하(Haar), 허프(Hough) 등을 포함한다.
도 1a에 도시된 코드 진행과 같은, 고른 음의 시그니처들(tonal signatures)은 이미지의 진실성, 또는 다른 속성의 빠른 검사로서 이용될 수 있다.
숨겨지거나 보이지 않는 키들에 대한 참조가 행해졌다고 하더라도, 이것은 모두 정도의 문제이고, 이는 특정 애플리케이션들의 요구들을 충족시키기 위해 동조될 수 있다. 예를 들면, 몇몇 애플리케이션들에서, 일부 가시성이 수용가능하다.
여기에서 이용된 바와 같이, "주로(primarily)"는 절반(50%) 이상을 의미한다. "대부분(Predominantly)"은 75% 이상을 의미한다. "필수적으로(Essentially)"는 95% 이상을 의미한다. "거의 독점적으로(Almost exclusively)"는 98% 이상을 의미하고, "독점적으로(exclusively)"는 100%를 의미한다.
분할된 호 영역들의 예들은 도 5 및 도 6에서 완전한 검은색으로 도시된 영역들이다. 이들 존들은 복소평면의 원점을 포함하지 않는다. - 따라서, 축들에 관해 대칭(mirroring)되면, 중간에서 갭(gap)이 존재할 것이다. 또 다른 방식으로 설명하면, 분할된 호 영역은 전형적으로 - 최소 이미지 주파수에 대응하는 - 원점으로부터 비-제로 거리로 떨어진, 결합 둘레의 부분으로서의 역할을 하는 호 세그먼트에 의해 어느 정도 특징화된다. 실제로 이야기하면, 분할된 호 영역은 마찬가지로 - 최대 이미지 주파수를 나타내는 - 원점으로부터 유한 반지름인 외부 둘레에 의해 경계가 정해진다. 마찬가지로, 분할된 호 영역은 전형적으로 수평(u) 또는 수직(v) 축들의 임의의 부분을 포함하지 않는다. 일 특정 구현에서, 하나의 분할된 호 영역이 존재할 수 있거나, 여러 개의 영역이 존재할 수 있다(많은 예들에서, 이러한 영역들은 v 축과 같은, 축 주위로 미러링될 수 있다).
부가된/삭감된 신호 에너지는 전형적으로 분할된 호 영역 내에 위치된다. 그러나, 완전히 그 영역을 점유할 필요는 없다. 일례가 도 10a의 변환 도메인 평면(100)에 도시된다. 호 영역(102)은 내부 둘레(104) 및 외부 둘레(106)에 의해 규정된다. 이 영역(102)은 원점(108)을 포함하지 않는다. 그것은 또한 수평 또는 수직 축들(110, 112)을 포함하지 않는다. 이 분할된 호 영역(102) 내에는 스펙트럼 에너지에서 증가되는 하나 이상의 공간 주파수 존들(114)이 존재한다. 단일 주파수가 변형 실시예들에서 이용될 수 있다고 하더라도, 각각의 이러한 존은 전형적으로 단일 주파수 이상(예를 들면, 임펄스 함수)를 포함한다. 각각의 존은 변환 평면에서 공통적으로 적어도 하나, 및 일반적으로 2개의 방향들에서의 크기를 갖는다.
도 10a에 도시된 변환 도메인 신호 에너지 존들이 특정 대칭성(예를 들면, 축(116) 주위로)을 가질지라도, 이것은 요구되지 않는다. 예를 들면, 도 10b는 또 다른 배열을 도시한다. 비-대칭적인 배열들은 다양한 예들에서 바람직하다.
몇몇 예들에서, 이미지를 인코딩하는데 이용된 다양한 공간 주파수 존들은 고조파 관계들을 가질 수 있다. 도 11a 및 도 11b는 하나의 이러한 배열을 도시한다. 도 11a는 제 1 존(130)을 도시한다. 도 11b는 제 2 존(132)을 도시한다. 존(132)은 존(130)의 주파수들의 2배인 주파수들을 포함한다. 또 다른 고조파들이 유사하게 이용될 수 있다.
마찬가지로, 상이한 존들의 이용은 이진 신호 인코딩을 위해 이용될 수 있다. 존(130)은 예를 들면, 십진법으로 "1"에 대응하는 최하위 비트(least significant bit)를 표현할 수 있다. 존(132)은 예를 들면, 십진법으로 "2"에 대응하는 다음 최하위 비트를 표현할 수 있다. 따라서, 도 11c에서와 같이, 존들 둘 모두에서 신호 에너지의 부가는 십진법으로 "3"에 대응하는, 등등이다.
일 변형 실시예에서, 하나의 색차 채널에 부가된 신호 에너지는 상보적인 방식으로, 다른 색차 채널로부터 신호 에너지를 차감함으로써 매치된다. 이러한 형태의 임베딩은 또한 공개된 특허 출원 20100150434에 상세된다. 이 방식은 가시적인 저하 없이 더 낮은 주파수 색차 신호들의 이용을 허용하고, 상기 교시들에 따라 처리될 때, 검출기에서 증가된 신호-대-잡음 비를 생성한다(이 기술에 따른 비디오에서, 상보적인 차감 동작은 비디오 시퀀스에서 동일한 프레임, 또는 다음 프레임에 적용될 수 있다).
단일 키로 전체적인 이미지를 마킹하는 것이 가능하지만, 더 전형적으로 이미지의 서브-부분이 그렇게 마킹된다. 공통적으로, 이미지 영역의 20% 미만이 임의의 특정 키로 마킹된다. 더 전형적으로(도 1 및 도 1a에 도시된 바와 같은), 인접한 키 영역은 전체 이미지 프레임의 10% 미만, 5%, 3% 또는 1.5%를 포함한다.
실제 애플리케이션에서, 어도비 일러스트레이터 등과 같은 아트워크 저작 도구들은 틀림없이 이미지 화상들에 키들을 부가하기 위해 이용될 것이다. 숨겨진 키들은 사용자에게 형태들을 나타내기 위해 윤곽 점선들, 구별가능한 교차-해칭(cross-hatching)에 의한 것과 같은 가시적인 방식으로 사용자의 스크린 상에 표현될 수 있다. 이들은 어도비에 의해 대중화된 것과 같은 도구들을 이용하여 공지된 방식으로 드래그(drag)되고 크기가 조절될 수 있다. 저작 소프트웨어는 또한 인쇄 미리보기 특징을 포함하고, 상기 특징은 인쇄 작업 흐름에 내재하는 임의의 컬러 공간 변환 및 다른 왜곡들을 근사시키는 숨겨진 형태의 키들을 포함하는, 스크린 상에 이미지 화상들를 렌더링한다. (상이한 인쇄 미리보기 옵션들은 인쇄 처리의 유형 또는 정확도 예를 들면, 높은 해상도/완전히 포화(saturate)됨; 낮은 해상도/낮은 포화 등에 의존하여 제공될 수 있다). 소프트웨어는 2개의 뷰들(저작 및 인쇄 미리보기)이 함께 제공되는 시청 모드를 포함할 수 있다.
대응하는 테스트 애플리케이션 소프트웨어는 아티스트에 의해 이용된 스마트폰에 제공될 수 있고, 상기 소프트웨어는 이미지 화상들로부터 부가된 키들을 감지하고, 아티스트에 다시 양적인 데이터를 제공한다. 아트워크에 대한 변경들이 행해짐에 따라, 이 소프트웨어 애플리케이션은 즉각적인 피드백을 제공할 수 있다. 진단 윈도우들은 스마트폰 스크린, 또는 저작 단말(폰이 무선으로, 또는 USB 등에 의해 링크될 수 있는) 상에 디스플레이될 수 있다. 이들 진단 윈도우들은 키 신호 세기들, 키 영역들의 분명한 사이즈들, 키 검출에 대한 신뢰 수준들 등을 나타낼 수 있다.
혼합된-도메인 디스플레이들
본 기술의 또 다른 양태에 따라, 스마트폰은 카메라에 의해 캡쳐된 가공되지 않은 이미지 화상들 뿐만 아니라, 카메라-캡쳐된 이미지 화상들에 기초한 변환-도메인 정보(예를 들면, 공간-주파수, 또는 푸리에, 도메인에서의) 둘 모두를 포함하는 디스플레이를 제공한다.
이전의 논의는 스테가노그래픽 워터마크 검출기가 워터마크가 존재하는지의 여부를 결정하는데 도움을 주기 위해 이미지 화상들로 인코딩될 수 있는 예시적인 참조 신호들을 상세했다. 그들 참조 신호들은 그들로 하여금 일반적인 인간 뷰어들이 감지할 수 없도록 하는 공간-주파수 도메인 - 충분히 높은 주파수들, 및/또는 색차를 갖는 - 에서 인코딩된다.
본 기술의 또 다른 양태들에 따라, 특정 이러한 변환 도메인-기반 정보가 뷰어에게 드러난다.
도 13은 인쇄된 호스트 이미지 화상들에 부가되는 참조 신호(210)의 일 예시적인 공간-주파수 도메인 뷰를 도시하고, 상기 참조 신호(210)는 수평 축에 의해 표현된 실수 구성요소들, 및 수직 축에 의해 표현된 허수 구성요소들(소위 "u, v" 평면으로 언급된다)을 갖는다. 예시된 참조 신호는 너무 높아서 인간들이 감지할 수 없지만, 스마트폰 카메라의 이미지 센서에 의해 생성된 데이터에서 검출가능한 주파수들(즉, 원점으로부터의 거리들)에서의 공간 도메인 임펄스들의 오각형의 배열들(212)을 포함한다. (호스트 이미지 화상들의 대응하는 공간-주파수 도메인 뷰는 도 13에 도시되지 않지만, 전형적으로 u, v 평면을 통해 산재한 - 대체적으로 수평 및 수직 축들을 따라 집중된 - 신호를 포함한다.)
도 13 뷰에서, 마커들(212)은 원(215) 상에 중심이 있다. 인간의 시각(이용되는 특정 컬러 도메인에서의)의 한계는 작은 원(217)에 의해 도시된다. 원(217)의 바깥쪽의 공간-주파수 구성요소들로 구성된 형상들(예를 들면, 마커들(212))은 주파수에서 너무 높아서 인간 뷰어들에게 식별가능하지 않다. (마커들(212)이 공간-주파수에서 더 낮았으면, 그들은 양호한 헤링본 무늬(herringbone weave)와 유사한 픽셀 패턴에 대응할 것이다. 그러나, 더 높은 주파수들에서, 눈은 무늬 패턴을 식별할 수 없다. 오히려, 무늬는 명백한 편평함으로 된다.)
4개의 오각형의 마커 배열들이 도시되지만, 물론 더 적거나 더 많은 수가 또한 이용될 수 있다. 유사하게, 마커들은 오각형의 형태로 될 필요가 없다.
스마트폰 카메라가 참조 패턴(210)을 검출할 때, 그것은 그에 의해 카메라와 인쇄된 오브젝트 사이의 상대적 거리, 및 오브젝트에 관한 카메라의 임의의 회전과 경사를 식별할 수 있다. 예를 들면, 카메라가 더 가까이 오브젝트로 이동되면, 확대된 이미지 구성요소들은 더 낮은 구성요소 공간 주파수들을 가지는 것으로서 감지된다. 따라서, 오각형의 마커들이 더 가까이 원점으로 이동한다. 카메라가 회전되면(참조 신호가 원래 호스트 이미지 화상들에서 인코딩되었던 방향에 대하여), 오각형의 마커들은 유사하게 회전하는 것으로 보인다. 카메라가 기울어져서 - 인쇄된 이미지 화상들의 부분이 인쇄된 이미지 화상들의 다른 부분들보다 센서에 더 가까우면 - 오각형들이 스큐(skew)된다. (더 이상 그들의 중심들(214)이 u, v 원점에 관하여 중심을 둔 원(215) 상에 놓이지 않고; 대신에 그들은 타원 상에 놓인다).
도 14는 일 예시적인 스마트폰 디스플레이(220)를 도시한다. 이 예시에서, 스마트폰은 시리얼 박스 - 스크린의 대부분을 점유하는 아트워크(222) - 의 이미지처리 부분이다. 스크린 상의 중첩된 부분은 위의 2개의 오각형의 참조 마커들을 포함하여 검출된 참조 신호의 반 평면 묘사이다. 예시된 디스플레이는 또한 원형 점선들로 윤곽된 - 2개의 고정된 타겟 영역들(224)을 포함한다. 폰을 시리얼 박스를 향해 움직이거나 시리얼 박스로부터 멀리하고, 필요에 따라 기울이고/회전시킴으로써 사용자는 오각형의 마커들(212)로 하여금 2개의 타겟팅 영역들(224)로 이동하게 한다. 이 위치에서, 시리얼 박스로부터의 워터마크 신호의 판독이 최적화된다. (즉, 스마트폰 카메라는 박스의 평면 뷰를 캡쳐하도록 위치된다.) 스마트폰은 워터마크를 즉시 판독할 것이고(아마도 마커들이 타겟팅 영역들로 정렬되기 전에), 폰은 검출된 데이터에 응답하여 대응하는 조치를 취할 것이다.
바람직하게, 변환 도메인 오버레이는 검출된 참조 신호의 세기에 따라 변동하는 가시성(세기)으로 나타난다. 어떠한 참조 신호도 검출되지 않으면(예를 들면, 패턴 검출기에 의해 출력된 검출 메트릭에 의해), 어떠한 오버레이도 제공되지 않는다. 더 강한 신호들로, 오버레이된 마커 신호들은 배경 이미지(222)와 비교하여 - 더 큰 콘트라스트로 제공된다. 몇몇 실시예들에서, 마커들은 검출된 참조 신호의 세기에 의존하여, 색차 또는 광도에서 변동하는 컬러로 나타난다.
하나의 특정한 구현에서, 캡쳐된 이미지 화상들의 공간-주파수 표현이 임계값이 되어, 임계값 아래의 임의의 공간-주파수 구성요소가 디스플레이되지 않는다. 이것은 디스플레이가 캡쳐된 시리얼 박스 아트워크(222)의 푸리에 도메인 표현에 의해 저하되는 것을 방지한다. 대신에, 단지 오버레이된 신호가 마커 신호들에 대응한다.
유사하게, 공간-주파수 데이터는 고역 스펙트럼적으로 필터링되고, 따라서 임계 공간 주파수(예를 들면, 도 13의 원(217)에 의해 나타내어진 공간 주파수) 이상인 이미지 구성요소들만이 도시된다.
원형 타겟 영역들(224)은 필수적이지 않다. 다른 시각적 가이드들이 제공될 수 있거나, 그들은 완전하게 생략될 수 있다. 후자의 경우에, 사용자는 폰을 위치시키도록 지시받을 수 있어서, 마커들(224)은 고르게 될 수 있다(즉, 수평-크로스). 변환된 데이터가 스펙트럼적으로 필터링되면(이전 단락에서 설명된 바와 같이), 사용자는 마커들이 단지 나타날 때까지, 폰을 대상을 향하거나 대상으로부터 떨어지게 위치시키도록 지시받을 수 있다. (실제 관행에서, 마커들(212)의 5개의 포인트들은 약간 작은 요정 그름들(pixie figures) - 특히 컬러로 렌더링될 때, 머리, 2개의 손 및 2개의 발을 갖는 - 로 보인다. 따라서, 사용자는 "요정 인간을 찾아라"라는 지시받을 수 있다. 그들의 외모는 각각의 마커의 5개의 구성요소 요소들에 상이한 컬러들을 부여함으로써 특히 뚜렷하게 되고, 매력적인, 반짝이는 효과를 생성하는 - 시간에 따라 컬러들을 변화시킨다.
도 14에 묘사된 특정 실시예에서, 공간-주파수 정보는 직사각형 박스(226)에 도시된다. 공간-주파수 정보에 대한 프레임의 역할을 하는 것에 부가하여, 이 박스는 또한 변환 도메인 분석이 수행되는 아트워크(222) 내에 픽셀들의 직사각형 서브-영역을 규정하는 역할을 한다. 즉, 이미지 화상들의 전체 프레임을 푸리에 도메인으로 변환하는 대신에, 박스(226) 내의 단지 그들 픽셀들만이 그렇게 변환된다. 이것은 폰 처리기에 대한 부담을 감소시킨다. (박스(226)는 중심 영역(fovea region) - 처리기가 그의 주의를 집중시켜, 그것이 사용자가 폰을 최적으로 위치시키는데 도움을 주는 픽셀들의 서브-영역 - 으로서 간주될 수 있다). 영역(226)에서 픽셀들의 휘도는 - 사용자에 대한 영역을 더 강조하기 위해 - 약간 증가 또는 감소될 수 있다.
끝맺는 코멘트들
이 명세가 전에 양수인의 이전 특허 출원들에 관한 그의 관계를 언급했지만, 그것은 반복할 만하다. 이들 개시 자료들은 함께 판독되어야 하고 전체적으로 함께 해석되어야 한다. 출원인은 각각의 개시물의 형상들이 다른 것들에서의 형상들과 조합되어야 함을 의도하고, 그에 의해 명확하게 교시한다. 따라서, 예를 들면, 이 명세에 설명된 배열들 및 상세들은 공개된 출원들 20110098029, 20110098056, 및 20100228632에 설명된 시스템들 및 방법들의 변형 구현들에서 이용될 수 있고, 그들 특허 출원들의 배열들 및 상세들은 본 명세에 설명된 시스템들 및 방법들의 구현들에서 이용될 수 있다. 다른 언급된 문서들에 대해서도 유사하다. 따라서, 본 출원에 개시된 방법들, 요소들 및 개념들이 그들 언급된 문서들에 상세된 방법들, 요소들 및 개념들과 조합됨이 이해되어야 한다. 몇몇이 특히 본 명세에 상세되었다고 할지라도, 많은 다른 것들은 - 많은 수의 치환들 및 조합들, 및 간결에 대한 요구 때문에 - 상세되지 않는다. 그러나, 이러한 모든 조합들의 구현은 이들 교시들로부터 기술자에게 간단하다.
본 명세에 개시된 상이한 실시예들 내의 요소들 및 교시들은 또한 교환되고 조합되어야 하는 것으로 의미된다.
예시적인 예들을 참조하여 우리의 발명적인 업무의 원리들이 설명되고 예시되면, 기술은 그렇게 제한되지 않은 것으로 인식될 것이다.
예를 들면, 스마트폰에 대해 반복된 참조가 행해졌다고 하더라도, 임의의 디바이스가 이용될 수 있음이 이해될 것이다. 이전에 언급된 문서들은 이러한 시스템들에서 이용될 수 있는 다양한 디바이스들의 일부, 및 다양한 하드웨어 구성들을 상세한다.
특히 고려된 스마트폰들은 애플 아이폰 4, 및 구글의 안드로이드 상세를 따르는 스마트폰들(예를 들면, HTC 회사가 제조한 Verizon Droid Eris 폰, 및 모토로라 Droid 2 폰)을 포함한다. 용어 "스마트폰"(또는 "셀 폰")은 모든 이러한 디바이스들, 심지어 엄격하게 말하여 셀룰러, 또는 전화들이 아닌 것들도 포함하도록 해석되어야 한다.
(터치 인터페이스를 포함하는 아이폰의 상세들은 애플의 공개된 특허 출원 20080174570에 제공된다.)
이 개시에 참조된 스마트폰들 및 다른 컴퓨터들의 디자인은 기술자에게 친숙하다. 일반적인 조건에서, 각각은 하나 이상의 처리기들, 하나 이상의 메모리들(예를 들면, RAM), 저장장치(예를 들면, 디스크 또는 플래시 메모리), 사용자 인터페이스(예를 들면, 그래픽 사용자 인터페이스를 제공하기 위한 소프트웨어 지령들과 함께, 키패드, TFT LCD 또는 OLED 디스플레이 스크린, 터치 또는 다른 제스처 센서들(gesture sensors), 카메라 또는 다른 광 센서, 나침반 센서, 3D 자력계, 3-축 가속도계, 하나 이상의 마이크로폰들, 등을 포함할 수 있는), 이들 요소들 사이의 상호접속부들(예를 들면, 버스들), 및 다른 디바이스들과 통신하기 위한 인터페이스(GSM, CDMA, W-CDMA, CDMA2000, TDMA, EV-DO, HSDPA, WiFi, WiMax와 같은 무선, 또는 이더넷 로컬 영역 네트워크, T-1 인터넷 접속 등을 통하는 것과 같은, 블루투스, 및/또는 유선일 수 있는)를 포함한다.
이 명세에 상세된 처리들 및 시스템 구성요소들은 다양한 프로그래밍가능한 처리기들을 위한 범용 처리기 지령들을 포함하는 컴퓨팅 디바이스들을 위한 지령들로서 구현될 수 있고, 상기 다양한 프로그래밍가능한 처리기들은 마이크로처리기들(예를 들면, Atom 및 A4), 그래픽 처리 유닛들(nVidia Tegra APX 2600과 같은 GPU), 및 디지털 신호 처리기들(예를 들면, 텍사스 인스트루먼츠 TMS320 시리즈 디바이스들) 등을 포함한다. 이들 지령들은 소프트웨어, 펌웨어 등으로서 구현될 수 있다. 이들 지령들은 또한 다양한 형태들의 처리기 회로로 구현될 수 있고, 상기 다양한 형태들의 처리기 회로는 프로그래밍가능한 로직 디바이스들, 필드 프로그래밍가능한 게이트 어레이들(예를 들면, Xilinx Virtex 시리즈 디바이스들), 필드 프로그래밍가능한 오브젝트 어레이들, 및 디지털, 아날로그 및 혼합된 아날로그/디지털 회로를 포함하는 주문형 반도체들(application specific circuits)을 포함한다. 지령들의 실행은 처리기들 사이에 분배될 수 있고/있거나 디바이스 내의 처리기들을 가로지르거나 디바이스들의 네트워크를 가로질러 행해질 수 있다. 콘텐트 신호 데이터의 처리는 또한 상이한 처리기 및 메모리 디바이스들 사이에 분배될 수 있다. "클라우드" 컴퓨팅 리소스들이 또한 이용될 수 있다. "처리기들", "구성요소들" 등에 대한 참조들은 특정한 형태의 구현을 요구하기 보다는 기능성을 언급하는 것으로 이해되어야 한다.
상세된 기능성을 구현하기 위한 소프트웨어 지령들은 여기에 제공된 예를 들면, C, C++, 비주얼 베이직, 자바, 피톤(Python), Tcl, 펄(Perl), 스킴(Scheme), 루비(Ruby) 등으로 기록된 설명들로부터 기술자들에 의해 용이하게 저작될 수 있다. 본 기술의 특정 구현들에 따른 셀 폰들 및 다른 디바이스들은 상이한 기능들 및 단계들을 수행하기 위한 소프트웨어 모듈들을 포함할 수 있다.
공지된 브라우저 소프트웨어, 통신 소프트웨어, 및 매체 처리 소프트웨어는 여기에 상세된 많은 이용들을 위해 적응될 수 있다.
콘텐트 소유자들이 특정 속성들 및 경험들을 콘텐트에 속하게 하는(임의의 조치들의 워터마크-트리거링된 발동(invocation)을 통한) 서비스는 전형적으로 사용자 디바이스 상의 소프트웨어(OS에서의 또는 애플리케이션 소프트웨어로서)를 이용한다. 대안적으로, 이 서비스는 원격 리소스들을 이용하여 부분적으로 구현될 수 있다.
소프트웨어 및 하드웨어 구성 데이터/지령들은 네트워크를 가로질러 액세스될 수 있는, 자기 또는 광 디스크들, 메모리 카드들, ROM 등과 같은, 유형의 매체에 의해 전달된 하나 이상의 데이터 구조들내에 공통적으로 지령들로서 저장될 수 있다. 몇몇 실시예들은 임베딩된 시스템들 - 운영 체계 소프트웨어 및 애플리케이션 소프트웨어가 사용자에게 식별가능하지 않은(기본 셀 폰들에서는 흔히 있는 일이지만) 특수 목적 컴퓨터 시스템 - 로서 구현될 수 있다. 본 명세에 상세된 기능성은 운영 체계 소프트웨어, 애플리케이션 소프트웨어로 및/또는 임베딩된 시스템 소프트웨어로서 구현될 수 있다.
상이한 기능성은 상이한 디바이스들 상에서 구현될 수 있다. 예를 들면, 스마트폰이 원격 서비스 제공자에서 서버와 통신하는 시스템에서, 상이한 업무들은 포괄적으로 하나의 디바이스 또는 다른 디바이스들에 의해 수행될 수 있거나, 실행은 디바이스들 사이에 분배될 수 있다. 콘텐트로부터의 워터마크 데이터의 추출은 이러한 방식으로 분배될 수 있는 처리의 하나의 예이다. 따라서, 특정 디바이스(예를 들면, 스마트폰)에 의해 수행되는 동작의 설명이 제한적인 것이 아니고 예시적인 것임이 이해되어야 한다: 또 다른 디바이스(예를 들면, 원격 서버), 또는 디바이스들 사이의 공유된 것에 의한 동작의 수행이 또한 분명히 고려된다.
(동일한 방식으로, 특정 디바이스 상에 저장되는 데이터의 설명은 또한 예시적이다; 데이터는 로컬 디바이스, 원격 디바이스, 클라우드에, 분배된, 등 어디에나 저장될 수 있다.)
이 개시가 단계들의 특정한 순서 및 요소들의 특정한 조합들을 상세했다고 할지라도, 다른 고려된 방법들이 단계들을 재순서화(가능한 몇몇은 생략하고 다른 것들을 부가하여) 할 수 있고 다른 고려된 조합들은 몇몇 요소들을 생략할 수 있고 다른 것들을 부가할 수 있는, 등이 인식될 것이다.
완전한 시스템들로서 개시되었다 할지라도, 상세된 배열들의 서브-조합들이 또한 개별적으로 고려된다.
본 기술이 정적인 이미지 화상들의 콘텍스트로 설명되었다고 할지라도, 그것은 마찬가지로 예를 들면, 많은 연속적인 프레임들, 또는 필드들을 포함하는 비디오와 함께 이용하기에 적절하다. (정적인 이미지들은 예를 들면 인쇄되거나, 전자 디스플레이 스크린 상에 제공된 임의의 공지된 형태를 취할 수 있다.)
포괄적인 개시를 제공하기 위해, 과도하게 이 명세를 늘이지 않고, 출원인은 특허 출원들 및 여기에서 참조된 다른 문서들을 참조로 통합한다. (이러한 자료들은 상기 언급된 것이 특정한 그들의 교시들과 연관되어 있을지라도, 그들의 전부들로 통합된다.) 이들 참조들은 여기에서 상세된 배열들(arrangements)에 통합될 수 있는 기술들 및 교시들을 개시하고, 여기에서 상세된 기술들 및 교시들이 통합될 수 있다. 판독자는 이러한 종래의 업무에 친숙하다고 가정된다.
인식될 바와 같이, 본 명세는 많은 신규 배열들을 상세했다. 현실적인 제약들로 인해, 많은 이러한 배열들이 이 출원의 원래 출원에 청구되지 않고, 출원인은 우선권을 주장하는 바로 다음의 출원들에서 이러한 다른 대상 문제를 청구하도록 의도한다. 몇몇의 발명적인 배열들의 불완전한 샘플링은 다음 단락들에서 리뷰된다:
하나의 배열은 메모리에 저장된 소프트웨어에 의해 구성되는 처리기를 가지는 디바이스를 이용하여 컬러 이미지 화상들를 마킹하는 방법이다. 방법은 - 공간 또는 픽셀 도메인의 이미지 화상들 내에서 - 적어도 하나의 2차원 이미지 서브-영역을 식별하는 단계를 포함한다. 그 다음, 하나 이상의 크로마 키들은 그의 변환 도메인 표현을 변경함으로써 서브-영역에서 인코딩되고, 이 변경은 변환 도메인 공간의 분할된 호 영역 내에 주로 놓이는 이미지 신호 에너지의 부가를 포함한다.
또 다른 배열에서, 이러한 변경된 이미지 화상들는 상이한 보조 정보와 함께 송신되거나 저장된다. 이러한 또 다른 배열에서, 보조 정보와 결부하여 인코딩된 크로마 키(들)는 모바일 디바이스에 의해 감지된 서브-영역이 이미지 센서를 포함할 때, 이미지 서브-영역에 대한 응답을 협력적으로 규정하도록 작용한다.
또 다른 배열은 처리기 부분, 및 카메라 부분을 포함하는 휴대가능한 사용자 디바이스를 이용하는 방법이다. 방법은 변환 도메인의 대응하는 데이터를 생성하기 위해 카메라 부분에 의해 캡쳐된 이미지 화상들를 변환시키는 단계를 포함한다. 그 다음, 이 변환 도메인 정보는 변환 도메인의 분할된 호 영역에서 신호 에너지("키")의 존재를 검출하도록 분석된다.
또 다른 배열에서, 방법은 부가적으로 복수 비트의 보조 데이터를 수신하는 단계, 및 이러한 복수 비트의 보조 데이터를 이용함으로써, 검출된 키에 대응하는 응답을 결정하는 단계를 포함한다.
또 다른 배열은 센서(예를 들면, 스마트폰 카메라의)를 이용하여 장면으로부터 이미지 데이터를 캡쳐하는 단계; 상기 장면의 적어도 부분의 변환-도메인 표현을 계산하는 단계; 및 상기 변환-도메인 표현에 기초하여 표현을 스크린 상에 제공하는 단계를 포함한다. (이러한 표현은 픽셀들 - 그들의 위치들은 캡쳐된 이미지 데이터의 공간 주파수 속성들에 기초한다 - 을 포함할 수 있다. 유사하게, 이러한 표현은 픽셀들 - 그들의 휘도 또는 컬러는 변환된 이미지 데이터의 공간 주파수 계수들의 진폭들에 기초한다 - 을 포함할 수 있다.)
또 다른 배열은 센서(예를 들면, 스마트폰 카메라의)를 이용하여 오브젝트로부터 이미지 데이터를 캡쳐하는 단계; 캡쳐된 이미지 데이터의 적어도 부분에 기초하여 변환-도메인 표현을 계산하는 단계; 상기 변환-도메인 표현에 기초하여 디스플레이를 스크린상에 제공하는 단계; 및 상기 제공된 변환-도메인 표현을 참조하여, 오브젝트에 관해 사용자가 센서를 이동시키는 것을 가이드(guide)하는 단계를 포함한다.
또 다른 배열은 2D 이미지 센서를 포함하는 디바이스를 이용하여 장면으로부터 이미지 데이터를 캡쳐하는 단계로서, 상기 센서는 그를 가로지르는(예를 들면, 종래의 CMOS 또는 CCD 센서에서와 같이) 감지 요소들의 균일한 밀도를 가지는, 상기 이미지 데이터 캡쳐 단계; 이미지 데이터에 중심 필터 기능을 적용하는 단계로서, 이미지 데이터의 더 희박한 샘플링은 중심 존(중심 존 내에 유지되는 이미지 데이터의 더 조밀한 샘플링과 비교하여) 바깥쪽에 유지되는, 상기 중심 필터 기능 적용 단계; 및 중심-필터링된 이미지 데이터를 추가로 처리하는 단계를 포함한다.
장치들, 서브-조합들, 상기 방법들을 구현하거나 이용하는 컴퓨터 판독가능한 매체는 또한 분명하게 고려된다.
이 기술의 원리들이 적용될 수 있는 많은 실시예들의 관점에서, 상세된 실시예들은 단지 예시적이고 본 발명적인 업무의 범위를 제한하는 것으로서 취해지지 말아야 함이 인식되어야 한다. 오히려, 다음의 청구항들, 및 그에 대한 등가물들의 범위 및 사상에 포함되는 모든 이러한 실시예들을 청구하고자 한다. (이들 청구항들은 이 개시에서 발명적인 것으로서 간주하는 것의 단지 서브세트만을 포함한다). 추후에 부가적인 청구항을 제출할 권리를 보유하고 있기 때문에, 청구되지 않은 어떠한 대상에 대한 포기도 의도되지 않는다.
10: 이미지 100: 변환 도메인 평면
102: 호 영역 114: 공간 주파수 존들
212: 마커들 222: 배경 이미지

Claims (29)

  1. 프로세서를 가지는 디바이스를 이용하여 컬러 이미지 화상들(color imagery)를 마킹(marking)하는 방법으로서, 상기 프로세서는 메모리에 저장된 소프트웨어에 의해, 상기 방법의 적어도 특정 단계들을 수행하도록 구성된, 상기 방법에 있어서:
    공간 또는 픽셀 도메인의 이미지 화상들 내에, 적어도 하나의 2차원 이미지 서브-영역을 식별하는 단계;
    상기 디바이스 프로세서가 하나 이상의 크로마 키들(chroma keys)의 변환 도메인 표현을 변경함으로써 상기 서브-영역의 하나 이상의 크로마 키들을 인코딩하는 단계로서, 상기 변경은 제 1 색차 채널에서 이미지 신호 에너지를 부가하는 것을 포함하고, 상기 부가된 이미지 신호 에너지는 주로 변환 도메인 공간의 분할된 호 영역 내에 있는, 상기 크로마 키 인코딩 단계; 및
    상이한 보조 정보와 함께, 상기 변경된 이미지 화상들를 송신하고, 저장하거나 제공하는 단계를 포함하고,
    상기 보조 정보와 결부하여, 상기 인코딩된 크로마 키(들)는(은) 이미지 센서를 포함하는 모바일 디바이스에 의해 감지될 때, 상기 이미지 서브-영역에 대한 응답을 협력적으로 규정하도록 작용(serving)하는, 컬러 이미지 화상들 마킹 방법.
  2. 제 1 항에 있어서,
    상기 분할된 호 영역은 도(degree) 당 적어도 10 사이클들의 낮은 공간 주파수를 갖는, 컬러 이미지 화상들 마킹 방법.
  3. 제 1 항에 있어서,
    상기 분할된 호 영역은 도 당 적어도 20 사이클들의 낮은 공간 주파수를 갖는, 컬러 이미지 화상들 마킹 방법.
  4. 제 1 항에 있어서,
    상기 분할된 호 영역은 도 당 적어도 25 사이클들의 낮은 공간 주파수를 갖는, 컬러 이미지 화상들 마킹 방법.
  5. 제 1 항에 있어서,
    상기 분할된 호 영역은 도 당 적어도 30 사이클들의 낮은 공간 주파수를 갖는, 컬러 이미지 화상들 마킹 방법.
  6. 제 1 항에 있어서,
    부가되고 감산된 이미지 신호 에너지들은 대부분 상기 분할된 호 영역 내에 있는, 컬러 이미지 화상들 마킹 방법.
  7. 제 1 항에 있어서,
    부가되고 감산된 이미지 신호 에너지들은 필수적으로 상기 분할된 호 영역 내에 있는, 컬러 이미지 화상들 마킹 방법.
  8. 제 1 항에 있어서,
    부가되고 감산된 이미지 신호 에너지들은 거의 독점적으로 상기 분할된 호 영역 내에 있는, 컬러 이미지 화상들 마킹 방법.
  9. 제 1 항에 있어서,
    부가되고 감산된 이미지 신호 에너지들은 독점적으로 상기 분할된 호 영역 내에 있는, 컬러 이미지 화상들 마킹 방법.
  10. 제 1 항에 있어서,
    상기 2차원 서브-영역은 20%보다 적은 이미지 프레임을 포함하는, 컬러 이미지 화상들 마킹 방법.
  11. 제 1 항에 있어서,
    상기 2차원 서브-영역은 10%보다 적은 이미지 프레임을 포함하는, 컬러 이미지 화상들 마킹 방법.
  12. 제 1 항에 있어서,
    상기 2차원 서브-영역은 5%보다 적은 이미지 프레임을 포함하는, 컬러 이미지 화상들 마킹 방법.
  13. 제 1 항에 있어서,
    상기 2차원 서브-영역은 3%보다 적은 이미지 프레임을 포함하는, 컬러 이미지 화상들 마킹 방법.
  14. 제 1 항에 있어서,
    상기 2차원 서브-영역은 1.5%보다 적은 이미지 프레임을 포함하는, 컬러 이미지 화상들 마킹 방법.
  15. 제 1 항에 있어서,
    상기 보조 신호는 상기 이미지에 스테가노그래피적으로(steganographically) 인코딩된 디지털 워터마크 정보를 포함하는, 컬러 이미지 화상들 마킹 방법.
  16. 제 1 항에 있어서,
    상기 모바일 디바이스에 의해 상기 이미지 서브-영역을 감지하고, 상기 보조 정보의 이용을 통해 상기 서브-영역과 연관된 응답을 식별하는 단계를 추가로 포함하는, 컬러 이미지 화상들 마킹 방법.
  17. 프로세서, 및 이미지 화상들를 캡쳐하기 위한 카메라 부분을 가지는 휴대가능한 사용자 디바이스를 이용하는 방법으로서, 상기 프로세서는 상기 방법의 적어도 임의의 단계들을 수행하도록 구성되는, 상기 방법에 있어서:
    변환 도메인에서 대응하는 데이터를 생성하도록 상기 카메라 부분에 의해 캡쳐된 이미지 화상들를 변환하는 단계;
    상기 변환 도메인의 분할된 호 영역의 키를 상기 변환 도메인에서 검출하기 위해 탬플릿(template)를 적용하는 단계;
    복수-비트의 보조 데이터를 수신하는 단계;
    상기 복수-비트의 보조 데이터의 이용을 통해, 상기 검출된 키에 대응하는 응답을 결정하는 단계; 및
    상기 응답을 개시하는 단계를 포함하는, 휴대가능한 사용자 디바이스 이용 방법.
  18. 스마트폰 카메라의 센서를 이용하여 장면으로부터 이미지 데이터를 캡쳐하는 단계;
    상기 장면의 적어도 부분의 푸리에 표현을 계산하는 단계; 및
    상기 푸리에 표현을 포함하는 디스플레이를 스마트폰 스크린 상에 제공하는 단계를 포함하는, 방법.
  19. 제 18 항에 있어서,
    상기 스마트폰 스크린 상에 제공된 상기 푸리에 표현은 u, v 평면의 일부의 묘사를 포함하는, 방법.
  20. 제 18 항에 있어서,
    상기 계산에 의해 상기 장면에서 식별된 푸리에 도메인 마커 신호의 형상(feature)에 기초하여 상기 푸리에 표현의 콘트라스트, 색차 또는 휘도를 변화시키는 단계를 포함하는, 방법.
  21. 제 18 항에 있어서,
    상기 푸리에 표현을 임계값으로 하여, 상기 장면의 적어도 특정 푸리에 구성요소들이 상기 스크린 디스플레이 상에 제공되지 않게 하는 단계를 포함하는, 방법.
  22. 제 18 항에 있어서,
    상기 푸리에 표현을 고역 필터링하여, 임계 공간 주파수 아래의 푸리에 구성요소들이 상기 스크린 디스플레이 상에 제공되지 않게 하는 고역 필터링 단계를 포함하는, 방법.
  23. 제 18 항에 있어서,
    상기 제공 단계는 (a) 상기 장면의 부분; 및 (b) 상기 푸리에 표현 둘 모두를 포함하는 디스플레이를 상기 스마트폰 스크린상에 제공하는 단계를 포함하는, 방법.
  24. 스마트폰 카메라의 센서를 이용하여 오브젝트(object)로부터 이미지 데이터를 캡쳐하는 단계;
    상기 캡쳐된 이미지 데이터의 적어도 부분에 기초하여 변환 도메인 표현을 계산하는 단계;
    상기 변환 도메인 표현을 포함하는 디스플레이를 스마트폰 스크린 상에 제공하는 단계; 및
    상기 제공된 변환 도메인 표현을 참조하여, 상기 오브젝트에 관해 사용자가 상기 스마트폰을 이동시키는 것을 가이드(guide)하는 단계를 포함하는, 방법.
  25. 제 24 항에 있어서,
    상기 변환 도메인은 공간 주파수 도메인을 포함하는, 방법.
  26. 제 24 항에 있어서,
    상기 가이드 단계는 (a) 상기 변환 도메인 표현, 및 (b) 상기 카메라가 상기 오브젝트의 특정 뷰를 가질 때, 상기 변환 도메인 표현이 정렬되게 하는 시각 가이드 둘 모두를 포함하는 디스플레이를 상기 스마트폰 스크린상에 제공하는 단계를 포함하는, 방법.
  27. 제 26 항에 있어서,
    상기 특정 뷰는 상기 오브젝트의 평면 뷰를 포함하는, 방법.
  28. 2D 이미지 센서를 포함하는 스마트 폰을 이용하여 장면으로부터 이미지 데이터를 캡쳐하는 단계로서, 상기 2D 이미지 센서는 상기 2D 이미지 센서를 가로질러 감지 요소들의 균일한 밀도를 가지는, 상기 이미지 데이터 캡쳐 단계;
    상기 이미지 데이터에 중심 필터링 기능을 적용하고, 중심 존 밖에서 한 세트의 낮은 해상도 이미지 데이터, 및 상기 중심 존 내에서 한 세트의 높은 해상도 이미지 데이터를 생성하는 단계; 및
    중심-필터링된 이미지 데이터를 추가로 처리하는 단계를 포함하는, 방법.
  29. 제 28 항에 있어서,
    상기 추가 처리 단계는 상기 중심-필터링된 이미지 데이터의 변환 도메인 표현을 계산하고, 상기 변환 도메인 표현을 포함하는 디스플레이를 상기 스마트폰의 스크린 상에 제공하는 것을 포함하는, 방법.
KR1020127031585A 2010-05-05 2011-05-02 숨겨진 이미지 시그널링 KR101542756B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US12/774,512 2010-05-05
US12/774,512 US8401224B2 (en) 2010-05-05 2010-05-05 Hidden image signalling
US201161467862P 2011-03-25 2011-03-25
US61/467,862 2011-03-25
PCT/US2011/034829 WO2011139980A1 (en) 2010-05-05 2011-05-02 Hidden image signaling

Publications (2)

Publication Number Publication Date
KR20130032309A true KR20130032309A (ko) 2013-04-01
KR101542756B1 KR101542756B1 (ko) 2015-08-12

Family

ID=44904012

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020127031585A KR101542756B1 (ko) 2010-05-05 2011-05-02 숨겨진 이미지 시그널링

Country Status (6)

Country Link
US (4) US8331724B2 (ko)
EP (1) EP2567346B1 (ko)
JP (1) JP5802997B2 (ko)
KR (1) KR101542756B1 (ko)
CN (1) CN103038781B (ko)
WO (1) WO2011139980A1 (ko)

Families Citing this family (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8903847B2 (en) 2010-03-05 2014-12-02 International Business Machines Corporation Digital media voice tags in social networks
EP2567346B1 (en) 2010-05-05 2017-06-14 Digimarc Corporation Hidden image signaling
US8688090B2 (en) 2011-03-21 2014-04-01 International Business Machines Corporation Data session preferences
US20120244842A1 (en) 2011-03-21 2012-09-27 International Business Machines Corporation Data Session Synchronization With Phone Numbers
US20120246238A1 (en) 2011-03-21 2012-09-27 International Business Machines Corporation Asynchronous messaging tags
WO2013149267A2 (en) * 2012-03-29 2013-10-03 Digimarc Corporation Image-related methods and arrangements
US8620021B2 (en) 2012-03-29 2013-12-31 Digimarc Corporation Image-related methods and arrangements
US20130314541A1 (en) * 2012-04-16 2013-11-28 Digimarc Corporation Methods and arrangements for object pose estimation
US9618327B2 (en) * 2012-04-16 2017-04-11 Digimarc Corporation Methods and arrangements for object pose estimation
ES2668904T3 (es) 2012-05-24 2018-05-23 Panasonic Intellectual Property Corporation Of America Procedimiento de comunicación de información
KR20150082204A (ko) * 2012-10-16 2015-07-15 비디노티 에스아 이미지 캡쳐 및 심층 어노테이션 방법 및 시스템
US9094616B2 (en) 2012-10-16 2015-07-28 Vidinoti Sa Method and system for image capture and facilitated annotation
US8988574B2 (en) 2012-12-27 2015-03-24 Panasonic Intellectual Property Corporation Of America Information communication method for obtaining information using bright line image
US8913144B2 (en) 2012-12-27 2014-12-16 Panasonic Intellectual Property Corporation Of America Information communication method
US9608725B2 (en) 2012-12-27 2017-03-28 Panasonic Intellectual Property Corporation Of America Information processing program, reception program, and information processing apparatus
US8922666B2 (en) 2012-12-27 2014-12-30 Panasonic Intellectual Property Corporation Of America Information communication method
JP5715301B2 (ja) 2012-12-27 2015-05-07 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 表示方法および表示装置
US10303945B2 (en) 2012-12-27 2019-05-28 Panasonic Intellectual Property Corporation Of America Display method and display apparatus
US9560284B2 (en) 2012-12-27 2017-01-31 Panasonic Intellectual Property Corporation Of America Information communication method for obtaining information specified by striped pattern of bright lines
US9087349B2 (en) 2012-12-27 2015-07-21 Panasonic Intellectual Property Corporation Of America Information communication method
US9085927B2 (en) 2012-12-27 2015-07-21 Panasonic Intellectual Property Corporation Of America Information communication method
US10951310B2 (en) 2012-12-27 2021-03-16 Panasonic Intellectual Property Corporation Of America Communication method, communication device, and transmitter
US9088360B2 (en) 2012-12-27 2015-07-21 Panasonic Intellectual Property Corporation Of America Information communication method
US10523876B2 (en) 2012-12-27 2019-12-31 Panasonic Intellectual Property Corporation Of America Information communication method
US9608727B2 (en) 2012-12-27 2017-03-28 Panasonic Intellectual Property Corporation Of America Switched pixel visible light transmitting method, apparatus and program
US9262954B2 (en) 2012-12-27 2016-02-16 Panasonic Intellectual Property Corporation Of America Visible light communication signal display method and apparatus
WO2014103161A1 (ja) 2012-12-27 2014-07-03 パナソニック株式会社 情報通信方法
EP2940901B1 (en) 2012-12-27 2019-08-07 Panasonic Intellectual Property Corporation of America Display method
US10530486B2 (en) 2012-12-27 2020-01-07 Panasonic Intellectual Property Corporation Of America Transmitting method, transmitting apparatus, and program
US9311640B2 (en) 2014-02-11 2016-04-12 Digimarc Corporation Methods and arrangements for smartphone payments and transactions
US8866953B2 (en) 2013-03-20 2014-10-21 Lg Electronics Inc. Mobile device and method for controlling the same
US8704939B1 (en) * 2013-03-20 2014-04-22 Lg Electronics Inc. Mobile device and method for controlling the same
EP2976710A4 (en) 2013-03-20 2016-10-26 Lg Electronics Inc PORTABLE DEVICE AND METHOD FOR CONTROLLING THEREOF
US9818150B2 (en) 2013-04-05 2017-11-14 Digimarc Corporation Imagery and annotations
CN103529941A (zh) * 2013-07-15 2014-01-22 李华容 一种基于二维图形的手势识别设备及手势识别方法
US8958602B1 (en) * 2013-09-27 2015-02-17 The United States Of America As Represented By The Secretary Of The Navy System for tracking maritime domain targets from full motion video
US9482657B2 (en) * 2013-11-07 2016-11-01 Ppg Industries Ohio, Inc. Formulation of complex coating mixtures with effect pigments
US10230782B2 (en) 2013-11-18 2019-03-12 Microsoft Technology Licensing, Llc Unbalanced mapping between desktop and mobile pages
CN105338339B (zh) * 2014-07-29 2018-02-27 联想(北京)有限公司 信息处理方法及电子设备
US9613244B2 (en) 2015-05-07 2017-04-04 Datalogic IP Tech, S.r.l. 2D indicia pose estimation and consequent grid localization and/or synchronization
KR101648966B1 (ko) * 2015-05-11 2016-08-30 강릉원주대학교산학협력단 인지적 한계를 기초로 핑거프린트의 생성 또는 정합을 수행하는 장치 및 방법
KR101981924B1 (ko) * 2015-11-30 2019-08-30 한국전자통신연구원 미디어 콘텐츠 식별 방법
US9563798B1 (en) 2016-08-23 2017-02-07 V.L. Engineering, Inc. Reading invisible barcodes and other invisible insignia using physically unmodified smartphone
CN106973385A (zh) * 2016-11-29 2017-07-21 维沃移动通信有限公司 一种共享热点方法及移动终端
CN107707924B (zh) * 2017-09-27 2020-04-28 天津大学 一种基于频率约束的相机与屏幕通信方法
CN111435849B (zh) * 2019-01-11 2021-11-09 华为技术有限公司 一种通信方法及设备
CN111246469B (zh) * 2020-03-05 2020-10-16 北京花兰德科技咨询服务有限公司 人工智能保密通信系统及通信方法
CN113448483A (zh) * 2020-03-26 2021-09-28 北京破壁者科技有限公司 互动方法、装置、电子设备和计算机存储介质
CN112861561B (zh) * 2021-03-09 2022-11-11 上海交通大学 一种基于屏幕调光特征的二维码安全增强方法及装置

Family Cites Families (57)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB8518803D0 (en) * 1985-07-25 1985-08-29 Rca Corp Locating target patterns within images
US5432349A (en) * 1993-03-15 1995-07-11 The United State Of America As Represented By The Secretary Of The Navy Fourier transform microscope for x-ray and/or gamma-ray imaging
US6408082B1 (en) 1996-04-25 2002-06-18 Digimarc Corporation Watermark detection using a fourier mellin transform
US5748763A (en) 1993-11-18 1998-05-05 Digimarc Corporation Image steganography system featuring perceptually adaptive and globally scalable signal embedding
US5862260A (en) 1993-11-18 1999-01-19 Digimarc Corporation Methods for surveying dissemination of proprietary empirical data
US6516079B1 (en) 2000-02-14 2003-02-04 Digimarc Corporation Digital watermark screening and detecting strategies
US6614914B1 (en) 1995-05-08 2003-09-02 Digimarc Corporation Watermark embedder and reader
US5646997A (en) 1994-12-14 1997-07-08 Barton; James M. Method and apparatus for embedding authentication information within digital data
US6590996B1 (en) 2000-02-14 2003-07-08 Digimarc Corporation Color adaptive watermarking
US6988202B1 (en) 1995-05-08 2006-01-17 Digimarc Corporation Pre-filteriing to increase watermark signal-to-noise ratio
US5613004A (en) 1995-06-07 1997-03-18 The Dice Company Steganographic method and device
US5822360A (en) 1995-09-06 1998-10-13 Solana Technology Development Corporation Method and apparatus for transporting auxiliary data in audio signals
US5859920A (en) 1995-11-30 1999-01-12 Eastman Kodak Company Method for embedding digital information in an image
US7412072B2 (en) 1996-05-16 2008-08-12 Digimarc Corporation Variable message coding protocols for encoding auxiliary data in media signals
US5889868A (en) 1996-07-02 1999-03-30 The Dice Company Optimization methods for the insertion, protection, and detection of digital watermarks in digitized data
DE69734207T2 (de) 1996-07-16 2006-06-14 Koninkl Philips Electronics Nv Detektion eines eingebetteten wasserzeichens in einem informationssignal
US5825892A (en) 1996-10-28 1998-10-20 International Business Machines Corporation Protecting images with an image watermark
US8005254B2 (en) * 1996-11-12 2011-08-23 Digimarc Corporation Background watermark processing
JP2000048478A (ja) 1998-05-26 2000-02-18 Yamaha Corp ディジタルコピー制御方法及びそれを用いた装置
US6442283B1 (en) 1999-01-11 2002-08-27 Digimarc Corporation Multimedia data embedding
US7013021B2 (en) 1999-03-19 2006-03-14 Digimarc Corporation Watermark detection utilizing regions with higher probability of success
US6442284B1 (en) 1999-03-19 2002-08-27 Digimarc Corporation Watermark detection utilizing regions with higher probability of success
US6535617B1 (en) * 2000-02-14 2003-03-18 Digimarc Corporation Removal of fixed pattern noise and other fixed patterns from media signals
US6763124B2 (en) 2000-04-19 2004-07-13 Digimarc Corporation Embedding digital watermarks in spot colors
US7305104B2 (en) 2000-04-21 2007-12-04 Digimarc Corporation Authentication of identification documents using digital watermarks
US6714683B1 (en) 2000-08-24 2004-03-30 Digimarc Corporation Wavelet based feature modulation watermarks and related applications
US6760464B2 (en) 2000-10-11 2004-07-06 Digimarc Corporation Halftone watermarking and related applications
US20030026453A1 (en) 2000-12-18 2003-02-06 Sharma Ravi K. Repetition coding of error correction coded messages in auxiliary data embedding applications
US6483927B2 (en) 2000-12-18 2002-11-19 Digimarc Corporation Synchronizing readers of hidden auxiliary data in quantization-based data hiding schemes
US6845170B2 (en) * 2001-01-11 2005-01-18 Sony Corporation Watermark resistant to resizing and rotation
US6836569B2 (en) * 2001-04-13 2004-12-28 Erwan Le Pennec Method and apparatus for processing or compressing n-dimensional signals by foveal filtering along trajectories
US7046819B2 (en) 2001-04-25 2006-05-16 Digimarc Corporation Encoded reference signal for digital watermarks
JP4005780B2 (ja) * 2001-07-12 2007-11-14 興和株式会社 電子透かしの埋め込みおよび検出
US6724914B2 (en) 2001-10-16 2004-04-20 Digimarc Corporation Progressive watermark decoding on a distributed computing platform
JP3907439B2 (ja) * 2001-10-26 2007-04-18 キヤノン株式会社 携帯端末システム及び携帯端末及び画像処理装置及びその動作方法
CN100375079C (zh) * 2002-04-28 2008-03-12 联想(北京)有限公司 使用手机实现购物前随时随地鉴真的服务方法及系统
ES2424480T3 (es) 2002-05-14 2013-10-02 Schreiner Group Gmbh & Co. Kg Patrones de autenticación visibles para documento impreso
US7519819B2 (en) 2002-05-29 2009-04-14 Digimarc Corporatino Layered security in digital watermarking
US7129981B2 (en) * 2002-06-27 2006-10-31 International Business Machines Corporation Rendering system and method for images having differing foveal area and peripheral view area resolutions
CN1771513A (zh) * 2003-04-11 2006-05-10 皇家飞利浦电子股份有限公司 水印检测方法
US8301893B2 (en) * 2003-08-13 2012-10-30 Digimarc Corporation Detecting media areas likely of hosting watermarks
US8140848B2 (en) 2004-07-01 2012-03-20 Digimarc Corporation Digital watermark key generation
JP2006038779A (ja) * 2004-07-30 2006-02-09 Hitachi High-Technologies Corp パターン形状評価方法、評価装置、及び半導体装置の製造方法
WO2006017659A2 (en) * 2004-08-06 2006-02-16 Digimarc Corporation Fast signal detection and distributed computing in portable computing devices
US8891811B2 (en) 2004-09-17 2014-11-18 Digimarc Corporation Hierarchical watermark detector
JP4911903B2 (ja) * 2005-02-21 2012-04-04 インターナショナル・ビジネス・マシーンズ・コーポレーション 表示装置、表示システム、表示方法、及びプログラム
JP2007124088A (ja) * 2005-10-26 2007-05-17 Olympus Corp 画像撮影装置
JP4695972B2 (ja) * 2005-12-14 2011-06-08 キヤノン株式会社 画像処理装置、撮像装置および画像処理方法
KR100776663B1 (ko) * 2006-08-30 2007-11-19 한국전자통신연구원 워터마크 추출 기능을 갖는 카메라가 장착된 휴대 단말장치 및 그 방법
US7991157B2 (en) 2006-11-16 2011-08-02 Digimarc Corporation Methods and systems responsive to features sensed from imagery or other data
US8565815B2 (en) 2006-11-16 2013-10-22 Digimarc Corporation Methods and systems responsive to features sensed from imagery or other data
JP5203787B2 (ja) * 2008-04-17 2013-06-05 株式会社日立ハイテクノロジーズ データ解析装置
US9117268B2 (en) 2008-12-17 2015-08-25 Digimarc Corporation Out of phase digital watermarking in two chrominance directions
US8121618B2 (en) 2009-10-28 2012-02-21 Digimarc Corporation Intuitive computing methods and systems
US8175617B2 (en) 2009-10-28 2012-05-08 Digimarc Corporation Sensor-based mobile search, related methods and systems
EP2567346B1 (en) * 2010-05-05 2017-06-14 Digimarc Corporation Hidden image signaling
US9398210B2 (en) * 2011-02-24 2016-07-19 Digimarc Corporation Methods and systems for dealing with perspective distortion in connection with smartphone cameras

Also Published As

Publication number Publication date
JP2013532406A (ja) 2013-08-15
US8331724B2 (en) 2012-12-11
US8890950B2 (en) 2014-11-18
CN103038781B (zh) 2017-05-10
KR101542756B1 (ko) 2015-08-12
US20150156384A1 (en) 2015-06-04
EP2567346B1 (en) 2017-06-14
WO2011139980A1 (en) 2011-11-10
EP2567346A4 (en) 2016-01-06
JP5802997B2 (ja) 2015-11-04
EP2567346A1 (en) 2013-03-13
US20140009629A1 (en) 2014-01-09
US8532334B2 (en) 2013-09-10
US20120077542A1 (en) 2012-03-29
CN103038781A (zh) 2013-04-10
US20130100301A1 (en) 2013-04-25

Similar Documents

Publication Publication Date Title
KR101542756B1 (ko) 숨겨진 이미지 시그널링
US20220335561A1 (en) Embedding signals in a raster image processor
US8401224B2 (en) Hidden image signalling
US10997685B2 (en) Methods and systems for signal processing
Fang et al. Screen-shooting resilient watermarking
JP6512706B2 (ja) 透かし入り二次元コード、認証システム、認証方法、及びプログラム
Hua et al. A hybrid NSCT domain image watermarking scheme
US10424039B2 (en) Digital watermarks
Liu et al. Toward a two-dimensional barcode with visual information using perceptual shaping watermarking in mobile applications
Thongkor et al. Robust image watermarking for camera-captured image using image registration technique
Mettripun et al. Robust image watermarking based on luminance modification
Manjunatha et al. A survey on image forgery detection techniques
Kang et al. Research on Screen Shooting Resilient Watermarking based on Dot-Matric
Baldessari et al. Blind Print-Cam Data Hiding Exploiting Color Perception
Favorskaya et al. Synchronization Correction Enforced by JPEG Compression in Image Watermarking Scheme for Handheld Mobile Devices
Ananth et al. Analysis, Implementation and Performance Validation of Steganography based Movie piracy Identification using Alpha Blending and Triangular similarity to Location of the person Involved
CN112733987A (zh) 二维码及其识别方法、识别装置和电子设备
Chiluka et al. DIGITAL WAVELET TRANSFORM BASED IMAGE FORGERY DETECTION USING POST-PROCESSING
Oltmans Full spectrum coding: A machine readable marking method for security document images

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180628

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20190624

Year of fee payment: 5