KR20040092456A - 화상 처리 시스템 - Google Patents

화상 처리 시스템 Download PDF

Info

Publication number
KR20040092456A
KR20040092456A KR1020040027756A KR20040027756A KR20040092456A KR 20040092456 A KR20040092456 A KR 20040092456A KR 1020040027756 A KR1020040027756 A KR 1020040027756A KR 20040027756 A KR20040027756 A KR 20040027756A KR 20040092456 A KR20040092456 A KR 20040092456A
Authority
KR
South Korea
Prior art keywords
information
image information
unit
color
frequency component
Prior art date
Application number
KR1020040027756A
Other languages
English (en)
Other versions
KR100605432B1 (ko
Inventor
도꾸다신야
야마구찌다까시
Original Assignee
가부시끼가이샤 도시바
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 가부시끼가이샤 도시바 filed Critical 가부시끼가이샤 도시바
Publication of KR20040092456A publication Critical patent/KR20040092456A/ko
Application granted granted Critical
Publication of KR100605432B1 publication Critical patent/KR100605432B1/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/32101—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N1/32144—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title embedded in the image data, i.e. enclosed or integrated in the image, e.g. watermark, super-imposed logo or stamp
    • H04N1/32149—Methods relating to embedding, encoding, decoding, detection or retrieval operations
    • H04N1/32203—Spatial or amplitude domain methods
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01F—MEASURING VOLUME, VOLUME FLOW, MASS FLOW OR LIQUID LEVEL; METERING BY VOLUME
    • G01F19/00—Calibrated capacity measures for fluids or fluent solid material, e.g. measuring cups
    • G01F19/002—Measuring spoons or scoops
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47G—HOUSEHOLD OR TABLE EQUIPMENT
    • A47G19/00—Table service
    • A47G19/02—Plates, dishes or the like
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0021—Image watermarking
    • G06T1/0028—Adaptive watermarking, e.g. Human Visual System [HVS]-based watermarking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/32101—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N1/32144—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title embedded in the image data, i.e. enclosed or integrated in the image, e.g. watermark, super-imposed logo or stamp
    • H04N1/32149—Methods relating to embedding, encoding, decoding, detection or retrieval operations
    • H04N1/32203—Spatial or amplitude domain methods
    • H04N1/32208—Spatial or amplitude domain methods involving changing the magnitude of selected pixels, e.g. overlay of information or super-imposition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/32101—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N1/32144—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title embedded in the image data, i.e. enclosed or integrated in the image, e.g. watermark, super-imposed logo or stamp
    • H04N1/32149—Methods relating to embedding, encoding, decoding, detection or retrieval operations
    • H04N1/32203—Spatial or amplitude domain methods
    • H04N1/32251—Spatial or amplitude domain methods in multilevel data, e.g. greyscale or continuous tone data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/32101—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N1/32144—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title embedded in the image data, i.e. enclosed or integrated in the image, e.g. watermark, super-imposed logo or stamp
    • H04N1/32149—Methods relating to embedding, encoding, decoding, detection or retrieval operations
    • H04N1/32288—Multiple embedding, e.g. cocktail embedding, or redundant embedding, e.g. repeating the additional information at a plurality of locations in the image
    • H04N1/32293—Repeating the additional information in a regular pattern
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/32101—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N1/32144—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title embedded in the image data, i.e. enclosed or integrated in the image, e.g. watermark, super-imposed logo or stamp
    • H04N1/32149—Methods relating to embedding, encoding, decoding, detection or retrieval operations
    • H04N1/32309—Methods relating to embedding, encoding, decoding, detection or retrieval operations in colour image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2201/00—General purpose image data processing
    • G06T2201/005—Image watermarking
    • G06T2201/0051—Embedding of the watermark in the spatial domain
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2201/00—General purpose image data processing
    • G06T2201/005—Image watermarking
    • G06T2201/0083—Image watermarking whereby only watermarked image required at decoder, e.g. source-based, blind, oblivious

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Fluid Mechanics (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Image Processing (AREA)
  • Cleaning In Electrography (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Threshing Machine Elements (AREA)
  • Purification Treatments By Anaerobic Or Anaerobic And Aerobic Bacteria Or Animals (AREA)

Abstract

기록 매체 M에 기록되어 있는 가시 상태의 주화상 정보에 비가시 상태의 부정보가 매립되어 있는 합성 화상 정보를 판독하고, 상기 기록 매체 M으로부터 판독한 합성 화상 정보로부터 상기 부정보를 복원할 때에 이용하는 키 정보에 고유한 공간 주파수 성분을 추출하고, 이 추출한 공간 주파수 성분으로부터 상기 부정보를 재구성한다.

Description

화상 처리 시스템{IMAGE PROCESSING SYSTEM}
본 발명은, 예를 들면 가시 상태의 주화상 정보(인물의 얼굴 화상 등)에 대하여 별도의 부가적인 부정보(시큐러티 정보 등)를 비가시 상태로 매립 합성하여 합성 화상 정보를 작성하고, 이 작성한 합성 화상 정보를 기록 매체 상에 기록하거나 그 기록한 합성 화상 정보로부터 그 내부에 매립된 부정보를 복원하는 화상 처리 시스템, 및 이 화상 처리 시스템에 이용되는 화상 처리 장치 및 화상 처리 방법에 관한 것이다.
최근, 정보의 전자화나 인터넷의 보급에 수반하여, 화상의 위조나 변조 방지를 위해 전자 워터마크, 전자 서명 등의 기술이 중요시되고 있다. 특히, 주화상 정보에 부가적인 부정보(부화상 정보)를 비가시 상태로 매립하는 전자 워터마크 기술은 ID 카드 등의 개인 인증 매체나 저작권 정보를 매립한 사진에 대한 부정 복사, 위조, 개찬 대책으로서 제안되어 있다.
예를 들면, 일본 특개평 9-248935호 공보에는 인쇄물로 출력되는 화상 데이터에 대하여 사람이 감지하기 어려운 높은 공간 주파수 성분 및 색차 성분의 특성을 이용하여 데이터를 매립하는 전자 워터마크 삽입 방법이 기재되어 있다. 또한, 일본 특개 2001-268346호 공보에는 광학 필터로 확인할 수 있는 전자 워터마크의 인쇄 장치가 기재되어 있다.
상기 일본 특개평 9-248935호 공보에서는, 미리 열화의 정도를 예측하고, 그 정도에 따라 매립의 강도를 크게 하는 방법에 관하여 기술되어 있다. 그러나, 이 방법에는 부(副)정보가 폭로될 위험성을 증대시킨다고 하는 문제가 있다.
또한, 기록 장치의 관점에서는 종래 면허증 등의 각종 신분 증명서, 회원증 등으로 대표되는 개인 인증 매체에서의 개인 인증용 얼굴 화상을 기록할 때에는 승화형 열전사 기록 방식을 이용하는 것이 일반적이다.
일반적으로, 승화형 열전사 기록 방식은 승화성 재료로 염색할 수 있는 재료가 한정되어 있고, 한정된 기록 매체에만 적응할 수 있다고 하는 결점이 있다. 그 때문에, 개인 인증 매체에서의 개인 인증용 얼굴 화상을 기록하는 기록 매체의 선택의 자유도가 낮아, 결과적으로 얻기 쉬운 것을 선택하지 않으면 안되기 때문에,시큐러티성이 저하하는 경우가 많다. 또한, 일반적으로 승화성 염료는 내광성, 내용제성 등의 화상 내구성이 뒤떨어지고 있다.
한편, 용융형 열전사 기록 방식은 착색 재료를 일반적으로 내광성이 좋다고 하는 것을 선택하는 것이 가능하게 된다. 또한, 기록 매체의 선택의 자유도가 높고, 특수성이 높은 기록 매체를 이용하여 시큐러티성을 높일 수 있다. 그러나, 용융형 열전사 기록 방식에서는 전사한 도트의 사이즈를 변화시켜서 계조 기록을 행하는 도트 면적 계조법을 이용하기 때문에, 승화형 열전사 기록열의 계조 성능을 내는 것이 곤란하다.
그 대책으로서, 예를 들면 일본 특공평 6-59739호 공보에는 전사 도트의 배열을 소위 지그재그 형태로 나열하여 기록하는 방법(이후, 이것을 교대 구동 기록 방식이라고 칭함)이 기재되어 있다.
그러나, 상기 일본 특공평 6-59739호 공보에서는 용융형 열전사 기록 방식에서 계조 기록 성능을 향상시키기 위한 기록 방법을 개시하고 있지만, 전자 워터마크 기술을 이용하여 워터마크 정보를 매립한 얼굴 화상 정보를 기록하면, 지그재그 형태로 데이터가 씨닝(thinning)되어, 그 부분의 정보가 소실되기 때문에, 전자 워터마크 정보가 파괴되는 결점이 있다.
그래서, 본 발명은 기록 매체에 출력하는 아날로그 데이터를 대상으로 하여, 주화상 정보에 대하여 별도의 부가적인 부정보를 비가시 상태로 매립한 합성 화상 정보를 작성하여, 기록 후에도 기록한 합성 화상 정보 내의 전자 워터마크 정보를 유지할 수 있는 화상 처리 시스템, 화상 처리 장치 및 화상 처리 방법을 제공하는것을 목적으로 한다.
또한, 본 발명은 용융형 열전사 기록 방식에서, 고계조 성능을 유지한 상태로 기록 화상으로의 전자 워터마크 기술이 적용 가능하여, 그 워터마크 정보(부정보)는 기록 후에도 파손되지 않고 보존되어, 복원 가능한 화상 처리 시스템, 화상 처리 장치 및 화상 처리 방법을 제공하는 것을 목적으로 한다.
또한, 본 발명은 화상 정보의 열화 등에 대하여 내성을 갖는 전자 워터마크의 복원 처리가 가능한 화상 처리 시스템, 화상 처리 장치 및 화상 처리 방법을 제공하는 것을 목적으로 한다.
또한, 본 발명은 부정보가 폭로되는 위험성을 증대시키지 않고, 매립된 부정보의 복원성 및 시인성을 향상시킬 수 있는 화상 처리 장치 및 화상 처리 방법을 제공하는 것을 목적으로 한다.
도 1은 본 발명의 제1 실시예에 따른 화상 처리 시스템의 전체의 구성을 개략적으로 도시하는 블록도.
도 2는 제1 전처리부로부터 후처리부까지의 처리의 흐름을 설명하는 흐름도.
도 3은 기록한 도트의 배열 상태를 도시하는 도면.
도 4는 작성된 개인 인증 매체의 일례를 모식적으로 도시하는 평면도.
도 5a는 기록하는 화상 정보의 구체예를 도시하는 도면.
도 5b는 기록되는 도트의 구체예를 도시하는 도면.
도 6a는 제1 전처리 및 제2 전처리의 개념을 설명하는 도면.
도 6b는 제1 전처리 및 제2 전처리의 개념을 설명하는 도면.
도 7a는 제1 전처리 및 제2 전처리의 구체예를 설명하는 도면.
도 7b는 제1 전처리 및 제2 전처리의 구체예를 설명하는 도면.
도 7c는 제1 전처리 및 제2 전처리의 구체예를 설명하는 도면.
도 7d는 제1 전처리 및 제2 전처리의 구체예를 설명하는 도면.
도 8은 전자 워터마크 매립 처리 전체의 흐름을 설명하는 도면.
도 9는 전자 워터마크 매립 처리의 수순을 모식적으로 도시하는 흐름도.
도 10a는 키 정보의 주파수 성분을 설명하는 모식도.
도 10b는 키 정보의 주파수 성분을 설명하는 모식도.
도 11은 부정보의 재구성 처리의 과정을 도시하는 모식도.
도 12는 부정보의 재구성 처리의 과정을 도시하는 모식도.
도 13은 부정보의 재구성 처리의 과정을 도시하는 모식도.
도 14는 본 발명의 제2 실시예에 따른 제2 화상 처리 장치의 구성을 개략적으로 도시하는 블록도.
도 15는 잉크의 계조성을 설명하는 특성도.
도 16은 본 발명의 제3 실시예에 따른 제2 화상 처리 장치의 구성을 개략적으로 도시하는 블록도.
도 17은 색 특징량 추출 처리 및 색 합성 처리의 흐름을 설명하기 위한 도면.
도 18은 본 발명의 제4 실시예에 따른 제2 화상 처리 장치의 구성을 개략적으로 도시하는 블록도.
도 19는 추출 신호 증폭 처리의 흐름을 설명하기 위한 도면.
<도면의 주요 부분에 대한 부호의 설명>
100 : 제1 화상 처리 장치
101 : 주화상 입력부
102 ; 제1 전처리부
103 : 제2 전처리부
104 : 전자 워터마크 매립 처리부
105 : 후처리부
106 : 기록부
110 : 제2 화상 처리 장치
111 : 기록 화상 입력부
112 : 주파수 성분 추출부
113 : 재구성부
114 : 판정부
115 : 복원부
401 : 개인 인증 매체
403 : 합성 화상 정보
본 발명의 화상 처리 시스템은, 가시 상태의 주화상 정보에 대하여 비가시 상태의 부정보를 매립함으로써 작성한 합성 화상 정보를 기록 매체 상에 기록하는 제1 화상 처리 장치와, 이 제1 화상 처리 장치에 의해 기록 매체에 기록된 상기 합성 화상 정보로부터 상기 부정보를 복원하는 제2 화상 처리 장치로 구성되는 시스템으로서, 상기 제1 화상 처리 장치는 주화상 정보에 대하여 그 제1 화상 처리 장치에서의 화상 기록의 화소 형성 처리에 대응한 전처리를 행하는 전처리부와, 주화상 정보, 부정보 및 상기 부정보를 복원할 때에 이용하는 키(key) 정보를 이용하여 색차 변조 처리를 행함으로써 부정보를 비가시 상태로 주화상 정보에 매립한 합성화상 정보를 작성하는 매립 처리부와, 이 매립 처리부에 의해 작성된 합성 화상 정보를 기록 매체 상에 기록하는 기록부를 갖고, 상기 제2 화상 처리 장치는 상기 제1 화상 처리 장치의 기록부에 의해 상기 합성 화상 정보가 기록된 기록 매체로부터 상기 합성 화상 정보를 입력하는 화상 입력부와, 이 화상 입력부에 의해 입력된 합성 화상 정보로부터 상기 키 정보에 고유한 공간 주파수 성분을 추출하는 주파수 성분 추출부와, 이 주파수 성분 추출부에 의해 추출된 공간 주파수 성분으로부터 상기 부정보를 재구성하는 재구성부를 갖는다.
본 발명의 화상 처리 시스템은 가시 상태의 주화상 정보에 대하여 비가시 상태의 부정보를 매립함으로써 작성한 합성 화상 정보를 기록 매체 상에 기록하는 제1 화상 처리 장치와, 이 제1 화상 처리 장치에 의해 기록 매체에 기록된 상기 합성 화상 정보로부터 상기 부정보를 복원하는 제2 화상 처리 장치로 구성되는 시스템으로서, 상기 제1 화상 처리 장치는 주화상 정보에 대하여 그 제1 화상 처리 장치에서의 화상 기록의 화소 형성 처리에 대응한 제1 전처리를 행하는 제1 전처리부와, 이 제1 전처리부에 의해 제1 전처리를 행한 주화상 정보에 대하여 기하학적 변환을 행하는 제2 전처리부와, 주화상 정보, 부정보, 그 부정보를 복원할 때에 이용하는 키 정보를 이용하여 색차 변조 처리를 행함으로써 상기 부정보를 비가시 상태로 주화상 정보에 매립한 합성 화상 정보를 작성하는 매립 처리부와, 이 매립 처리부에 의해 작성된 합성 화상 정보에 대하여 상기 제2 전처리부에서의 변환 처리의 역변환 처리를 행하는 역변환부와, 이 역변환부에 의해 역변환 처리된 합성 화상 정보를 기록 디바이스의 주(主)주사 방향의 짝수번째의 화소와 홀수번째의 화소를기록 라인마다 교대로 형성하는 교대 구동 기록 방식에 의해 기록 매체 상에 기록하는 기록부를 갖고, 상기 제2 화상 처리 장치는 상기 제1 화상 처리 장치의 기록부에 의해 상기 합성 화상 정보가 기록된 기록 매체로부터 상기 합성 화상 정보를 입력하는 화상 입력부와, 이 화상 입력부에 의해 입력된 합성 화상 정보로부터 상기 키 정보에 고유한 공간 주파수 성분을 추출하는 주파수 성분 추출부와, 이 주파수 성분 추출부에 의해 추출된 공간 주파수 성분으로부터 상기 부정보를 재구성하는 재구성부를 갖는다.
본 발명의 화상 처리 장치로서, 가시 상태의 주화상 정보와, 상기 주화상 정보에 비가시 상태로 매립되는 부정보와, 상기 부정보를 복원할 때에 이용하는 키 정보를 이용한 색차 변조 처리에 의해 작성되어 있는 합성 화상 정보가 기록되어 있는 기록 매체로부터 상기 합성 화상 정보를 입력하는 화상 입력부와, 상기 화상 입력부에 의해 입력된 합성 화상 정보로부터 상기 키 정보에 고유한 공간 주파수 성분을 추출하는 주파수 성분 추출부와, 이 주파수 성분 추출부에 의해 추출된 공간 주파수 성분으로부터 상기 부정보를 재구성하는 재구성부를 갖는다.
본 발명의 화상 처리 장치는, 가시 상태의 주화상 정보와, 상기 주화상 정보에 비가시 상태로 매립되는 부정보와, 상기 부정보를 복원할 때에 이용하는 키 정보를 이용한 색차 변조 처리에 의해 작성되어 있는 합성 화상 정보가 기록되어 있는 기록 매체로부터 상기 합성 화상 정보를 입력하는 화상 입력부와, 색 성분 정보를 저장하는 색 성분 정보 저장부와, 이 색 성분 정보 저장부에 저장되어 있는 색 성분 정보에 기초하여 상기 화상 입력부에 의해 입력된 합성 화상 정보로부터 색성분을 추출하는 색 성분 추출부와, 이 색 성분 추출부에 의해 추출된 색 성분으로부터 상기 키 정보에 고유한 공간 주파수 성분을 추출하는 주파수 성분 추출부와, 이 주파수 성분 추출부에 의해 추출된 공간 주파수 성분으로부터 상기 부정보를 재구성하는 재구성부를 갖는다.
본 발명의 화상 처리 장치는 가시 상태의 주화상 정보와, 상기 주화상 정보에 비가시 상태로 매립되는 부정보와, 상기 부정보를 복원할 때에 이용하는 키 정보를 이용한 색차 변조 처리에 의해 작성되어 있는 합성 화상 정보가 기록되어 있는 기록 매체로부터 상기 합성 화상 정보를 입력하는 화상 입력부와, 상기 화상 입력부에 의해 입력된 합성 화상 정보로부터 국소 영역을 추출하는 영역 추출부와, 이 영역 추출부에 의해 추출된 국소 영역으로부터 그 국소 영역 내의 색 특징량을 추출하는 색 특징량 추출부와, 이 색 특징량 추출부에 의해 추출된 색 특징량에 기초하여 색 성분을 합성하여 색 성분 합성 화상 정보를 생성하는 색 합성부와, 이 색 합성부에 의해 생성된 색 성분 합성 화상 정보로부터 상기 키 정보에 고유한 공간 주파수 성분을 추출하는 주파수 성분 추출부와, 이 주파수 성분 추출부에 의해 추출된 공간 주파수 성분으로부터 상기 부정보를 재구성하는 재구성부를 갖는다.
본 발명의 화상 처리 장치는, 가시 상태의 주화상 정보와, 상기 주화상 정보에 비가시 상태로 매립되는 부정보와, 상기 부정보를 복원할 때에 이용하는 키 정보를 이용한 색차 변조 처리에 의해 작성되어 있는 합성 화상 정보가 기록되어 있는 기록 매체로부터 상기 합성 화상 정보를 입력하는 화상 입력부와, 상기 화상 입력부에 의해 입력된 합성 화상 정보로부터 국소 영역을 추출하는 영역 추출부와,이 영역 추출부에 의해 추출된 국소 영역으로부터 그 국소 영역 내의 색 특징량을 추출하는 색 특징량 추출부와, 이 색 특징량 추출부에 의해 추출된 색 특징량에 기초하여 재구성 파라미터를 결정하는 재구성 파라미터 결정부와, 상기 화상 입력부로부터 입력된 합성 화상 정보로부터 상기 키 정보에 고유한 공간 주파수 성분을 추출하는 주파수 성분 추출부와, 상기 재구성 파라미터 결정부에 의해 결정된 재구성 파라미터를 이용하여 상기 주파수 성분 추출부에 의해 추출된 공간 주파수 성분으로부터 상기 부정보를 재구성하는 재구성부를 갖는다.
본 발명의 화상 처리 방법은 가시 상태의 주화상 정보와, 상기 주화상 정보에 비가시 상태로 매립되는 부정보와, 상기 부정보를 복원할 때에 이용하는 키 정보를 이용한 색차 변조 처리에 의해 작성되어 있는 합성 화상 정보가 기록되어 있는 기록 매체로부터 상기 합성 화상 정보를 입력하고, 상기 기록 매체로부터 입력된 상기 합성 화상 정보로부터 상기 키 정보에 고유한 공간 주파수 성분을 추출하고, 이 주파수 성분을 추출함으로써 추출된 공간 주파수 성분으로부터 상기 부정보를 재구성하는 것을 특징으로 한다.
본 발명의 화상 처리 방법은 가시 상태의 주화상 정보와, 상기 주화상 정보에 비가시 상태로 매립되는 부정보와, 상기 부정보를 복원할 때에 이용하는 키 정보를 이용한 색차 변조 처리에 의해 작성되어 있는 합성 화상 정보가 기록되어 있는 기록 매체로부터 상기 합성 화상 정보를 입력하고, 색 성분 정보 저장부에 저장되어 있는 색 성분 정보에 기초하여 상기 기록 매체로부터 입력된 합성 화상 정보로부터 색 성분을 추출하고, 이 추출된 색 성분으로부터 상기 키 정보에 고유한 공간 주파수 성분을 추출하고, 이 추출된 공간 주파수 성분으로부터 상기 부정보를 재구성하는 것을 특징으로 한다.
본 발명의 화상 처리 방법은 가시 상태의 주화상 정보와, 상기 주화상 정보에 비가시 상태로 매립되는 부정보와, 상기 부정보를 복원할 때에 이용하는 키 정보를 이용한 색차 변조 처리에 의해 작성되어 있는 합성 화상 정보가 기록되어 있는 기록 매체로부터 상기 합성 화상 정보를 입력하고, 상기 기록 매체로부터 입력된 합성 화상 정보로부터 국소 영역을 추출하고, 상기 합성 화상 정보로부터 추출된 국소 영역으로부터 그 국소 영역 내의 색 특징량을 추출하고, 상기 국소 영역으로부터 추출된 색 특징량에 기초하여 색 성분을 합성하여 색 성분 합성 화상 정보를 생성하고, 이 생성된 색 성분 합성 화상 정보로부터 상기 키 정보에 고유한 공간 주파수 성분을 추출하고, 이 추출된 공간 주파수 성분으로부터 상기 부정보를 재구성하는 것을 특징으로 한다.
본 발명의 화상 처리 방법은 가시 상태의 주화상 정보와, 상기 주화상 정보에 비가시 상태로 매립되는 부정보와, 상기 부정보를 복원할 때에 이용하는 키 정보를 이용한 색차 변조 처리에 의해 작성되어 있는 합성 화상 정보가 기록되어 있는 기록 매체로부터 상기 합성 화상 정보를 입력하고, 상기 기록 매체로부터 입력된 합성 화상 정보로부터 국소 영역을 추출하고, 상기 합성 화상 정보로부터 추출된 국소 영역으로부터 그 국소 영역 내의 색 특징량을 추출하고, 상기 국소 영역으로부터 추출된 색 특징량에 기초하여 재구성 파라미터를 결정하고, 상기 기록 매체로부터 입력된 합성 화상 정보로부터 상기 키 정보에 고유한 공간 주파수 성분을추출하고, 상기 색 특징량에 기초하여 결정된 재구성 파라미터를 이용하여 상기 주파수 성분을 추출함으로써 추출된 공간 주파수 성분으로부터 상기 부정보를 재구성하는 것을 특징으로 한다.
본 발명의 추가의 목적 및 이점은 이하의 상세한 설명에 제시될 것이며, 일부는 상세한 설명으로부터 자명하게 되거나 혹은 발명의 실시에 의해서 이해될 것이다. 본 발명의 목적 및 이점은 실시예 및 실시예의 결합에 의해 실현될 수 있다.
<실시예>
이하, 본 발명의 실시예에 대하여 도면을 참조하여 설명한다.
우선, 제1 실시예에 대하여 설명한다.
도 1은 제1 실시예에 따른 화상 처리 시스템의 전체의 구성을 개략적으로 도시하는 것이다. 도 1에 도시하는 화상 처리 시스템은, 예를 들면 ID 카드 등의 개인 인증 매체에서의 개인 인증용 얼굴 화상의 처리에 적용된다. 도 1에 도시하는 화상 처리 시스템은, 제1 화상 처리 장치(100)와 제2 화상 처리 장치(110)로 구성되어 있다. 상기 제1 화상 처리 장치(100)는 사람의 육안으로 가시 상태인 주화상 정보에 대하여, 사람의 육안으로 비가시 상태로 부정보(부화상 정보)를 매립함으로써 작성한 합성 화상 정보를 기록 매체 M 상에 가시 상태로 기록한다. 상기 제2 화상 처리 장치(110)는 상기 제1 화상 처리 장치(100)에 의해 기록 매체 M에 기록된 합성 화상 정보로부터 그것에 매립된 부정보를 복원한다.
상기 제1 화상 처리 장치(100)는 주화상 입력부(101), 제1 전처리부(102),제2 전처리부(103), 전자 워터마크 매립 처리부(104), 후처리부(105), 및 기록부(106)에 의해 구성되어 있다.
이하, 상기 제1 화상 처리 장치(100)의 각 부의 기능에 대하여 상세히 설명한다.
상기 주화상 입력부(101)는 개인 인증 매체의 소지자 본인의 얼굴 화상을 취득하여, 디지털 화상 정보로 변환한다. 또한, 상기 주화상 입력부(101)는 개인 인증 매체의 소지자 본인의 얼굴 화상을 카메라에 의해 입력하거나 혹은 얼굴 사진을 스캐너 등의 화상 입력 장치로 취득함으로써, 개인의 얼굴 화상 정보를 디지털화한다. 이 시점에서의 주화상 정보(얼굴 화상 정보)는 R(적), G(녹), B(청)의 3 플레인으로 구성되어 있다.
상기 제1 전처리부(102)는 주화상 입력부(101)로 취득된 얼굴 화상 정보(이하, 주화상 정보라고도 칭함)를 후술하는 기록부(106)의 화소 형성 처리에 적합한 형상으로 변환한다.
상기 제2 전처리부(103)는 제1 전처리부(102)에서 변환된 화상 정보를 전자 워터마크 매립 처리에 적합한 형상으로 변환한다.
상기 전자 워터마크 매립 처리부(104)는 제2 전처리부(103)에서 변환된 화상 정보로 키 정보를 이용하여 전자 워터마크 정보를 매립한다.
상기 후처리부(105)는 전자 워터마크가 매립된 화상 정보에 대하여 제2 전처리부(103)의 반대 처리를 행하고, 후술하는 기록부(106)의 화소 형성 처리에 적합한 형상으로 복귀시킨다.
상기 기록부(106)는 후처리부(105)에서 변환된 화상 정보에 기초하여 기록 매체 M으로 전자 워터마크가 매립된 합성 화상 정보를 인쇄 기록한다.
또한, 상기 제1 전처리부(102)로부터 후처리부(105)는 주화상 정보로의 전자 워터마크를 매립하고, 상기 기록부(106)에 의한 화소 형성 처리에 적합한 형상으로의 변환을 행한다. 이하, 이들 처리의 흐름을 도 2에 도시하는 흐름도를 참조하여 설명한다.
우선, 제1 전처리부(102)는 주화상 입력부(101)에서 취득된 주화상 정보에 대하여, 기록부(106)의 화소 형성 처리에 대응한 제1 전처리를 행하고, 제1 전처리 완료된 주화상 정보를 작성한다(단계 S201). 여기서는 제1 전처리(102)는 주화상 정보에 대하여 씨닝(무효화) 처리를 행한다.
다음으로, 제2 전처리부(103)는 상기 단계 S201에서 작성된 제1 전처리 완료 주화상 정보에 대하여 기하학 변환 처리를 행하여, 피매립 화상 정보를 작성한다(단계 S202). 여기서는 상기 제2 전처리부(103)는 제1 전처리 완료 주화상 정보에 대하여, 회전처리를 행하고, 또한 제1 전처리에서 씨닝한 화소 부분을 제거하여 유효 화상 사이즈를 압축한다.
다음으로, 전자 워터마크 매립 처리부(104)는 상기 단계 S202에서 작성된 피매립 화상 정보(제2 전처리 완료 주화상 정보)에 대하여, 전자 워터마크 매립 처리를 행한다(단계 S203). 여기서는 상기 전자 워터마크 매립 처리부(104)는 피매립 화상 정보에 대하여 부정보를 사람의 시각으로 감지할 수 없게 비가시 상태로 매립한 합성 화상 정보를 작성한다.
다음으로, 후처리부(105)는 상기 단계 S203에서 작성된 합성 화상 정보에 대하여 후처리를 행함으로써, 기록 화상 정보를 작성한다(단계 S204). 여기서는, 상기 후처리부(105)는 합성 화상 정보에 대하여 역회전처리를 행하고, 또한 상기 단계 S202의 제2 전처리에서 제거한 화소 부분을 부가하여 유효 화상 사이즈의 신장을 행한다.
또, 전자 워터마크의 매립 처리는 R(적), G(녹), B(청)의 데이터에 한정되는 것은 아니다. 예를 들면, 전자 워터마크의 매립 처리는 후술하는 색 변환을 먼저 행해 두고, C(시안), M(마젠타), Y(옐로우)의 3 플레인의 데이터에 대하여 매립 처리를 행하는 형태라도 된다.
상기 기록부(106)는 후처리부(105)에서 작성된 기록 화상 정보를 개인 인증 매체가 되는 기록 매체 M 상에 인쇄 기록함으로써, 개인 인증 매체를 작성한다. 구체적으로는, 상기 기록부(106)는 먼저 기록 화상 정보의 각 화소의 R(적), G(녹), B(청)를 기록용 C(시안), M(마젠타), Y(옐로우)로 색 변환한다. 색 변환의 방법으로는, 기록 디바이스의 특성에 맞추어서, 3×3이나 3×9의 색 변환 매트릭스, 내지는 LUT(룩 업 테이블)를 사용한다. 다음으로, 상기 기록부(106)는 C, M, Y의 화상 정보로부터, 기록 디바이스를 제어하는 구동 신호를 생성한다. 예를 들면, 용융형 열전사 기록 방식의 경우, 서멀 헤드의 구동 전압 제어 신호나 구동 펄스 신호 등이 생성된다. 또한, 상기 기록부(106)는 서멀 헤드의 열 제어 등도 행한다. 마지막으로, 상기 기록부(106)는 기록 매체 M으로 서멀 헤드에 대표되는 기록 디바이스의 주주사 방향의 짝수번째의 화소와 홀수번째의 화소를 기록 라인마다교대로 형성함으로써 합성 화상 정보를 기록한다.
기록 매체 M 상에 형성되는 도트의 배열은, 도 3에 도시된 바와 같다. 도 3 중 A-A' 라인을 보면, 각 도트는 1 도트마다는 아니고, 피치 d(서멀 헤드의 발열체의 피치의 1/√2)로 인접한 상태에서, 45° 방향으로 1열로 배열하고 있다.
도 4는 기록부(106)에 의해 작성된 ID 카드 등의 개인 인증 매체(401)의 일례를 나타낸다. 개인 인증 매체(401)에는 소유자의 개인 인증용 얼굴 화상(402)이 기록되어 있다. 이 얼굴 화상(402)은, 예를 들면 도 2에서 설명한 처리에 의해 작성되어 인쇄 기록된 것이다. 또한, 개인 인증 매체(401)에는 식별 번호(No.), 성명, 생년월일, 유효 기한 등의 개인 관리 정보(403)도 기록되어 있다. 이들 개인 관리 정보(403)는 도 2에서의 단계 S203의 전자 워터마크 매립 처리의 부정보로서 이용된다. 이에 의해, 개인 인증 매체(401)의 인증용 얼굴 화상(402)과 개인 관리 정보(403)가 관련되어 있다. 이 때문에, 개인 인증 매체(401)는 일부를 개찬하거나 위조하는 것이 곤란해도 시큐러티성을 높이는 것이 가능하게 된다.
또한, 상기 제2 화상 처리 장치(110)는 기록 화상 입력부(111), 복원부(115) 및 판정부(114)에 의해 구성되어 있다.
이하, 상기 제2 화상 처리 장치(110)의 각 부의 기능에 대하여 상세히 설명한다.
상기 기록 화상 입력부(111)는, 예를 들면 도 4의 개인 인증 매체(401)에 기록되어 있는 합성 화상 정보(403)를 판독 입력하고, 디지털의 화상 정보로 변환한다. 상기 기록 화상 입력부(111)는 개인 인증 매체(401)에 기록되어 있는 합성 화상 정보(403)를 카메라 등의 화상 입력 장치로 취득하고, 디지털의 합성 화상 정보로 변환한다. 이 시점에서의 화상 정보는 주화상 입력부(101)의 경우와 마찬가지로, R(적), G(녹), B(청)의 3 플레인으로 구성되어 있다.
상기 복원부(115)는 기록 화상 입력부(111)에서 받아들인 합성 화상 정보로부터 전자 워터마크 정보(부정보)를 복원한다. 상기 복원부(115)는, 또한 주파수 성분 추출부(112) 및 재구성부(113)에 의해 구성되어 있다.
상기 주파수 성분 추출부(112)는 기록 화상 입력부(111)에서 받아들인 합성 화상 정보로부터 키 정보의 공간 주파수 성분을 추출한다. 상기 주파수 성분 추출부(112)는 기록 화상 입력부(111)에서 받아들인 합성 화상 정보에 대하여 주파수 필터링을 행하고, 매립되어 있는 키 정보의 주파수 성분에 대하여 그 진폭(=강도) 정보와 위상 정보를 추출한다.
상기 재구성부(113)는 주파수 성분 추출부(112)에서 추출된 공간 주파수 성분으로부터 전자 워터마크 정보(부정보)를 재구성한다. 상기 재구성부(113)는 주파수 성분 추출부(112)에서 추출된 공간 주파수 성분의 진폭 정보 및 위상 정보에 대하여 집계 처리 및 공간 필터링을 행하여, 키 정보에 대한 변조 성분 즉 부정보를 재구성한다.
상기 판정부(114)는 복원부(115)에서 복원된 전자 워터마크 정보에 기초하여 그 개인 인증 매체의 진위성을 판정한다. 상기 판정부(114)는 복원부(115)에서 복원된 부정보(개인 관리 정보)와, 기록 화상 입력부(111)에서 받아들인 개인 인증 매체(401) 상의 개인 관리 정보(403)를 대조하여, 그 개인 인증 매체(401)의 진위성을 판정한다.
다음으로, 본 제1 실시예에 따른 교대 구동 기록 방식, 및 도트를 지그재그 형태로 배열시켜 기록하는 용융형 열전사 기록 방식에 대하여 설명한다.
용융형 열전사 기록 방식에서는, 도트의 유무로 화상을 형성한다. 이 때문에, 상기 용융형 열전사 기록 방식에서는, 다계조 화상을 표현하는 경우, 도트의 면적을 변화시키는 면적 변조 처리를 행함으로써, 외관의 농도를 제어하고 있다. 따라서, 용융형 열전사 기록 방식에서는, 도트의 사이즈를 정확하게 변조하는 것이 요구된다. 이것을 실현하기 위해서는 교대 구동 기록 방식이 바람직하다.
교대 구동 기록 방식은, 기록 헤드(라인형 서멀 헤드)의 홀수 라인의 홀수번째의 발열체와 짝수 라인의 짝수번째의 발열체를 기록 라인마다 교대로 구동하는 방식이다. 예를 들면, 이러한 교대 구동 기록 방식에서는 기록해야 할 화상 정보가 도 5a에 도시한 바와 같이 격자 형상으로 배열되어 저장되어 있는 경우, 실제로 기록되는 화상 정보가 도 5b에 도시한 바와 같이 지그재그 형태로 배열되어 화상이 형성된다. 따라서, 기록해야 할 화상 정보의 홀수 라인의 짝수번째의 정보 및 짝수 라인의 홀수번째의 정보가 누락되게 된다.
이것은 단순하게 기록하고자 하는 화상 정보에 전자 워터마크 처리를 이용하여 부정보를 비가시 상태로 매립하여도, 원래의 화상 정보의 1/2의 면적만 유효하게 된다는 것을 나타내고 있다. 즉, 원래의 화상 정보의 1/2이 무효로 되고, 그 무효로 된 부분의 정보가 누락된다. 이것은 전자 워터마크가 파괴되거나 또는 개변되는 것을 의미한다. 일반적으로, 이와 같이 전자 워터마크가 파괴된 경우, 부정보를 복원하는 것은 매우 곤란하여 시큐러티성을 유지할 수 없게 된다.
그래서, 본 제1 실시예에서는 단계 S203의 전자 워터마크 매립 처리를 행할 때에, 단계 S201의 제1 전처리 및 단계 S202의 제2 전처리를 행하고, 또한 단계 S203의 전자 워터마크 매립 처리 후에 단계 S204의 후처리를 행함으로써, 교대 구동 기록 시의 전자 워터마크의 파괴를 방지한다.
제1 전처리 및 제2 전처리의 개념에 대하여 도 6a 및 도 6b를 이용하여 설명한다.
상기 제1 전처리(단계 S201)에서는 교대 구동 기록 방식일 때에 에너지가 인가되지 않는 화소에 대응하는 화상 정보를 씨닝한다. 도 6a는 기록해야 할 화상 정보 전체의 화소 배열의 예를 나타내고 있다. 도 6a에서 검은 부분(601)은 기록되는 화소(씨닝되지 않는 정보)에 대응하고, 흰 부분(602)은 기록되지 않는 화소(씨닝되는 정보)에 대응하고 있다.
상기 제2 전처리(단계 S202)에서는 제1 전처리를 행한 화상 정보의 배열에 대하여, 예를 들면 45°의 회전처리 및 씨닝한 정보를 제거하는 처리를 행하고, 유효한 화상 정보 사이즈의 압축 처리를 행한다. 도 6b는 도 6a에 도시하는 화소 배열의 화상 정보를 45° 회전시킨 경우의 화상 정보를 도시한다. 도 6b에 도시한 바와 같이, 도 6a에 도시하는 화소 배열의 화상 정보를 45° 회전시키면, 검은 부분(601)(씨닝되지 않는 정보)과 흰 부분(602)(씨닝되는 정보)은 주주사 방향으로 정렬되어 나열한다. 이 상태에서, 제2 처리에서는 도 6b에 도시하는 흰 부분(602)(씨닝되는 부분)을 제거하여 재배열시킨다. 이에 의해, 제2 처리에서는교대 구동 기록 방식의 영향이 없는 화상 정보만의 배열이 작성된다.
또한, 도 7a, 도 7b, 도 7c 및 도 7d에 도시하는 구체예를 들어 제1 전처리 및 제2 전처리를 설명한다. 도 7a는 기록하고자 하는 화상 정보의 구체예를 도시하는 도면이다. 도 7b는 도 7a에 도시하는 화상 정보에 대하여 씨닝 처리를 실시한 화상 정보를 도시하는 도면이다. 도 7c는 도 7b에 도시하는 화상 정보를 45도의 회전처리를 실시한 화상 정보를 도시하는 도면이다. 도 7d는 도 7c에 도시하는 화상 정보에 대하여 화소의 재배치 처리를 실시한 화상 정보를 도시하는 도면이다.
우선, 도 7a에서는 기록하고자 하는 화상 정보에서의 각 화소(aij(i=1∼4, j=1∼4))의 배열을 나타내고 있다. 상기 제1 전처리에서는 도 7a에 도시하는 화상 정보에 대하여 상술한 바와 같은 씨닝 처리를 행한다. 이에 의해, 도 7a에 도시하는 화상 정보의 화소 배열에서 홀수 라인의 짝수번째의 정보(화소 a12, a14, a32, a34) 및 짝수 라인의 홀수번째의 정보(화소 a21, a23, a41, a43)가 씨닝된다. 그 결과, 도 7a에 도시하는 화상 정보는 도 7b에 도시한 바와 같이 ×표시가 붙은 배열 요소가 삭제된 화상 정보가 된다.
또한, 상기 제2 전처리에서는 상기 제1 전처리에서 씨닝 처리된 화상 정보를 45° 회전시킨다(회전처리). 도 7b에 도시하는 화상 정보를 45° 회전하면, 도 7c에 도시한 바와 같은 화상 정보가 형성된다. 또한, 상기 제2 전처리에서는 도 7c에 도시하는 화상 정보에 대하여 유효한 화소를 재배열한다. 도 7c에 도시하는 예에서는 ×표시의 부분을 제거한 남은 정보(화소 a11, a13, a22, a24, a31, a33, a42, a44)가 유효한 화소로 되어 있다. 이 때문에, 도 7c에 도시하는 화상 정보는도 7d에 도시한 바와 같이 상기 제2 전처리에 의해 유효한 화소가 재배열된다. 또, 비어 있는 간극의 배열 요소에는 도 7d에 도시한 바와 같이 기록하지 않는 의미의 정보(이 경우에는 「0」)가 저장된다.
또한, 도 7d에 도시하는 예에서는, 도면 중에 도시하는 굵은 테두리 부분이 실제로 기록되는 화상 정보가 된다. 따라서, 도 7a에 도시하는 화상 정보와 도 7d에 도시하는 화상 정보를 비교하면, 실제로 기록되거나, 혹은 교대 구동 기록의 영향을 받지 않는 화상 정보의 화소가 배열되는 영역이 작아지고 있다. 도 7d에 도시하는 굵은 테두리 부분에 부정보가 들어가도록 전자 워터마크 매립 처리를 행함으로써 부정보는 완전하게 유지된다.
또, 후처리(단계 S204)에 관해서는 상기 제1, 제2 전처리와 완전히 반대의 처리를 행하게 된다. 또한, 본 제1 실시예에서는 용융형 열전사 기록 방식을 일례로서 설명하였지만, 기록 화소의 도트 면적 변조에 의해 계조 표현을 행하는 기록 방식에 대해서는 어떤 방식에서도 본 제1 실시예의 화상 처리는 적용 가능하다.
도 8은 본 화상 처리 시스템의 처리 수순을 모식적으로 도시한 것이다.
도 8에서, 주화상 정보(801)는, 예를 들면 개인 인증용 얼굴 화상 정보로 이루어진다. 또한, 부정보(802)는, 예를 들면 주화상 정보(801)의 시큐러티성을 높이는 정보(금회는 숫자 「174」)이고, 성명이나 생일 등을 코드화하여 화상으로 한 것이나 회사의 로고 마크 등의 도형 등이 이용된다. 키 정보(803)는 전자 워터마크 매립 처리에 의해 비가시 상태로 매립된 부정보를 후에 복원하기 위한 키가 되는 정보이다.
최초로, 주화상 정보(801)에 대해서는 제1 전처리 및 제2 전처리를 행한다. 이에 의해, 피매립 화상 정보(804)가 작성된다. 다음으로, 피매립 화상 정보(804)와 부정보(802)와 키 정보(803)를 이용하여 전자 워터마크 매립 처리(805)를 행한다. 이에 의해, 전자 워터마크 포함 화상 정보(806)가 작성된다. 그리고, 제1 전처리와 제2 전처리의 역변환 처리를 행하는 후처리를 행함으로써, 합성 화상 정보(807)를 작성한다. 마지막으로, 작성한 합성 화상 정보(807)를 기록(인쇄) 처리(808)함으로써, 개인 인증 매체(809)가 완성된다.
다음으로, 전자 워터마크 매립 처리에 대하여 설명한다.
본 실시예의 전자 워터마크 매립 처리에는, 일반적인 전자 워터마크 매립 처리의 방법이 적용 가능하다. 특히, 본 실시예의 전자 워터마크 매립 처리는 부정보와 주화상 정보를 중첩 처리함으로써 전자 워터마크의 매립을 행하는 방법과 성질이 잘 어울린다.
예를 들면, 본 실시예에 적용되는 전자 워터마크 매립 처리 방법은, 일본 특개평 11-168616호 공보나 일본 특개 2001-268346호 공보 등에 기술되어 있다. 또한, 이들 방법은 기본적으로 주화상 정보가 컬러(풀컬러) 화상인 것을 전제로 기술되어 있다. 이 때문에, 이들 방법에 대하여, 또한 예를 들면 일본 특개평 11-355554호 공보에 기술되어 있는 기술을 적용함으로써, 흑백 화상에 대해서도 부정보(부화상 정보)를 비가시 상태로 매립하는 것이 가능하게 된다.
또한, 개인 인증 매체에 인쇄되어 있는 얼굴 화상(합성 화상 정보)의 진위 판정을 행하는 경우, 상기 합성 화상 정보로부터 부정보를 복원하고, 그 부정보의진위를 판정하는 것이 필요해진다. 이 부정보의 복원 처리에 대해서도 상기 일본 특개평 11-168616호 공보, 일본 특개 2001-268346호 공보 혹은 일본 특개평 11-355554호 공보 등의 문헌에 기재되어 있다. 즉, 상기한 바와 같은 문헌에 기재되어 있는 복원 처리를 키 정보를 이용하여 행함으로써, 본 화상 처리 시스템에 의해 개인 인증 매체에 인쇄되어 있는 합성 화상 정보로부터 비가시 상태로 기록되어 있는 부정보가 복원된다.
다음으로, 전자 워터마크 매립 처리의 일례로서, 일본 특개평 11-168616호 공보에 기술되어 있는 색차 변조 방식을 이용한 전자 워터마크 매립 처리를 본 실시예에 적용하는 경우에 대해 설명한다.
도 9는 일본 특개평 11-168616호 공보에 기술되어 있는 색차 변조 방식을 이용한 전자 워터마크 매립 처리의 흐름을 설명하기 위한 도면이다. 도 9에 도시하는 전자 워터마크 매립 처리에서는 이하의 (1)∼(3)의 특성을 이용함으로써, 화질 열화를 초래하지 않고 주화상 정보에 부정보를 비가시 상태로 매립하는 것이 가능하게 되어 있다.
(1) 사람의 시각 특성
사람의 시각 특성은 화상의 주파수가 높아질수록 계조 식별 능력이 저하한다. 또한, 사람의 시각 특성은 휘도 정보보다도 색차 정보쪽의 판별이 곤란하다.
(2) 보색의 관계에 기초한 사람의 시각 특성
예를 들면, 적색과 시안색(=녹색+청색)은 가법 혼색의 경우, 보색의 관계에 있다. 이 때문에, 사람의 눈에는 적색과 시안색이 인접해 있어도 판별하기 어려워무채색(백)으로 보인다.
(3) 색차에 대한 사람의 시각 특성(고주파 캐리어 패턴 화상에 보색의 관계 및 색차 정보(색차 변조 처리))
사람의 눈에는 미세(정밀)한 색차의 차이를 식별할 수 없는 사람의 시각 특성이 있다. 따라서, 고주파 캐리어 패턴 화상을 이용함으로써 적색이 많은 화소와 시안색이 많은 화소가 반복하여 배치되어 있는 경우, 사람의 눈으로서는 이들의 미세(정밀)한 색차의 차이를 식별할 수 없어, 색차량은 플러스 마이너스 「0」이라고 판단한다. 이 방식으로 작성한 합성 화상 정보(전자 워터마크 포함 화상)는 저장하는 화상 포맷에 의존하지 않는다. 이 때문에, 합성 화상 정보의 화상 포맷으로서는 현재 유통하고 있는 BMP나 TIFF, JPEG 등의 화상 포맷뿐만 아니라, 장래의 새로운 화상 포맷에도 문제없이 적용할 수 있다.
여기서, 도 9에 도시하는 전자 워터마크 매립 처리의 흐름에 대해서 간단히 설명한다. 상세한 내용에 대해서는 일본 특개평 11-168616호 공보의 기술 내용을 참조하면 된다.
피매립 화상 정보(주화상 정보)(901)는 매립 정보가 매립되는 화상 정보이다. 개인 인증 매체에서는 주화상 정보(901)는 소유자의 얼굴 사진(얼굴 화상)에 상당한다. 또한, 주화상 정보(901)는, 예를 들면 1화소당 24비트(R, G, B 각 8 비트)의 정보를 갖고 있다. 매립 화상 정보(부정보)(902)는 매립하는 정보를 2치 화상으로 변환한 것이다. 개인 인증 매체에서는 상기 부정보(902)는, 예를 들면 식별 번호 등에 상당한다. 또한, 상기 부정보(902)는, 예를 들면 1 화소당 1 비트의정보를 가지고 있다. 마스크 화상 정보(키 정보)(903)는 합성 처리 시 및 매립 화상 정보의 복원(재생) 시에 이용하는 화상 정보이다. 상기 키 정보(903)는, 예를 들면 1 화소당 1 비트의 정보를 갖고 있다.
우선, 평활화 처리(904)에서는 매립 화상 정보(902)의 흑 화소를 「1」, 백 화소를 「0」으로 하여 평활화 처리를 행한다. 예를 들면, 평활화 처리(904)에서는 x 방향에 대하여 주목 화소의 양 단의 화소에 대하여 3×1 화소의 영역을 추출하여, 가중 평균을 취한다. 다음으로, 위상 변조 처리(905)에서는 평활화 처리 단계 904에서의 평활화 처리의 결과를 기초로 마스크 화상 정보(903)에 대하여 위상 변조를 행한다.
다음으로, 색차 변조 처리(907)에서는 위상 변조 처리(905)에서의 위상 변조 결과를 기초로, 색차량 ΔCd를 이용하여 색차 변조 처리를 행한다. 예를 들면, 색차 변조 처리(907)에서는, R(적), G(녹), B(청)의 3 성분을 별도로 계산한다. 다음으로, 중첩 처리(908)에서는 색차 변조 처리(907)에서의 색차 변조 결과와 피매립 화상 정보(901)로부터 중첩 처리를 행함으로써 합성 화상 정보(909)를 작성한다.
이상의 설명에서도 알 수 있듯이, 도 9의 피매립 화상 정보(901)와 매립 화상 정보(902)와 마스크 화상 정보(903)는 도 8에서 설명한 본 실시예에서의 주화상 정보(801)와 부정보(802)와 키 정보(803)와 완전히 같은 것이다. 따라서, 기본적으로는 도 9에 도시한 전자 워터마크 매립 처리 방식을 본 실시예에 적용 가능한 것은 분명하다.
단, 본 실시예에서는 제1 전처리 및 제2 전처리를 주화상 정보에 대하여 미리 행한다. 이 때문에, 유효한 화상 정보의 배열 사이즈가 도 7d의 굵은 선 테투리로 도시한 바와 같이, 주화상 정보의 본래의 사이즈보다도 작아지고 있다. 따라서, 도 9의 전자 워터마크 매립 처리와 같이, 피매립 화상 정보(901')와 색차 변조 처리의 결과로 얻어진 중첩용 화상 정보(910)를 중첩 처리함으로써 합성 화상 정보(909)를 작성하는 경우, 중첩용 화상 정보(910)의 유효 부분(이 경우에는 「174」)의 영역이 피매립 화상 정보(901')의 해칭 부분에 완전히 포함될 필요가 있다.
중첩 처리에 관해서는 피매립 화상 정보(901'), 중첩용 화상 정보(910), 합성 화상 정보(909)를 하기와 같이 정의한다.
피매립 화상 정보 : SRCC(x, y) (A-1)
중첩용 화상 정보 : STLC(x, y) (A-2)
합성 화상 정보 : DESC(x, y) (A-3)
x, y는 화상의 좌표치
C={R(적), G(녹), B(청)} 플레인을 나타냄
각각의 값은 24 비트 컬러 연산의 경우, 0∼255의 정수값
그렇게 하면, 합성 화상 정보 DESC(x, y)는 피매립 화상 정보 SRCC(x, y) 및 중첩용 화상 정보 STLC(x, y)를 이용하여, 다음식으로 나타낸다.
DESR(x, y)=SRCR(x, y)+STLR(x, y) (B-1)
DESG(x, y)=SRCG(x, y)+STLG(x, y) (B-2)
DESB(x, y)=SRCB(x, y)+STLB(x, y) (B-3)
본 실시예에서는, 가법 혼색에서의 연산으로서 색의 기본 원색에 R(적), G(녹), B(청)을 이용했지만, 감법 혼색에서의 연산으로서는 색의 기본 원색에 C(시안), M(마젠더), Y(옐로우)를 이용하여도 본질적으로는 변하지 않는다.
다음으로, 상술한 전자 워터마크 매립 처리에 의해 작성된 합성 화상 정보에 대한 부정보의 복원 처리에 대하여 설명한다. 부정보의 복원은 매립 처리 시에 이용한 키 정보에 기초하여 특정한 공간 주파수 성분을 합성 화상 정보로부터 추출하고, 그 공간 주파수 성분으로부터 부정보를 재구성함으로써 행한다.
키 정보로서는 기하학 모양 등으로 구성된 2치(흑백)의 화상 정보를 이용할 수 있다. 예를 들면, 1×2 화소를 단위 구형으로 하는 흑백의 체크 무늬나 미리 정해둔 시드를 기초로 작성한 의사 난수 패턴 등이다.
키 정보에 기초하여 특정한 공간 주파수 성분을 추출하는 방법으로서는, 공간 주파수 필터를 이용할 수 있다. 키 정보에 대응하는 공간 주파수 필터의 계수는 이하의 (1)∼(4)의 수순으로 계산한다. 또, 계수의 계산은 미리 행하여 결과를 저장해 두어도 되고, 추출 처리를 행하기 전, 혹은 그 때마다 계산하여 이용해도 된다.
(1) 키 정보의 사이즈는 주화상 정보의 해상도와, 기록 매체 상에 기록되어있는 합성 화상 정보의 해상도와, 기록 화상 입력부(111)의 판독 해상도를 기초로 하여 신축(伸縮)된다.
(2) 신축된 키 정보는 푸리에 변환을 행하여 주파수 영역으로 전개된다. 또, 변환은 정수로 행해도 되고, 실수나 복소수로 확장해도 된다.
(3) 전개된 값을 참조함으로써 필터의 통과 대역이 조정된다.
(4) 조정 후의 값에 대하여 푸리에 역변환을 행하고, 얻어진 값을 주파수 필터 계수로 한다.
상기 (1)∼(4)의 처리에 대하여 도 10a 및 도 10b에 도시하는 구체예를 참조하여 설명한다. 도 10a 및 도 10b는 키 정보의 주파수 성분의 예를 도시하는 모식도이다.
도 10a에서는 백색 동그라미(1001)가 백, 흑색 동그라미(1002)가 흑을 나타내고, 참조 부호 1003은 주주사 방향의 기본 주파수 파형, 참조 부호 1004는 부주사 방향의 기본 주파수 파형을 나타내고 있다. 도 10b에서는 백색 동그라미(1005)는 주색이 많고, 흑색 동그라미(1006)는 보색이 많은 도트를 나타내고 있다. 이 경우, 주색이 적(R)인 경우, 보색은 시안(C)이 된다. 또한, 참조 부호 1007은 주주사 방향의 기본 주파수 파형, 참조 부호 1008은 부주사 방향의 기본 주파수 파형을 나타내고 있다.
예를 들면, 주화상 정보의 해상도가 200dpi, 합성 화상 정보의 인쇄 해상도와 기록 화상 입력부(111)의 판독 해상도가 400dpi라고 한다. 이 경우, 상기 (1)의 처리에서는, 도 10a에 도시하는 키 정보를 이용하여 매립 처리를 행하면, 기록화상 입력부(111)에 의해 취득되는 합성 화상 정보가 도 10b에 도시된 바와 같다.
매립된 키 정보는 도 10b에 도시하는 형상(1009)으로 변환되어 있고, 그 기본 주파수는 키 정보의 사이즈를 판독 해상도와 인쇄 해상도와의 비만큼 신장한 경우의 주파수와 동등하게 되어 있다. 따라서, 필터 계수를 계산할 때, 미리 기록, 판독에서의 해상도의 변화를 옮겨 넣어 둔다.
상기 (2)∼(4)에서는 합성 화상 정보로부터 키 정보의 공간 주파수 성분을 추출하는 주파수 필터를 설계한다. 여기서, 키 정보는 원래 2치이다. 이 때문에, 엣지(=백 화소와 흑 화소가 접하는 경계)의 기울기가 급경사라고 하는 특징을 갖고 있다. 공간 영역에서 엣지가 급경사일수록 주파수 영역에서는 고조파를 많이 포함하게 된다. 이 때문에, 급경사인 엣지가 많은 화상 정보를 그대로 이용하여 계산된 주파수 필터 계수를 사용하면, 고조파측에 실린 노이즈가 그대로 지나치게 된다. 이 경우, S/N비가 악화하여 부정보의 복원에 지장을 초래한다.
이 때문에, 상기 (3)에 나타내는 조정 작업이 필요해진다. 이 내용은 개개의 키 정보 및 시스템의 운용 환경에 의존한다. 일반적으로는, 노이즈를 억제하기 위해서 고조파를 저지하고, 기본 주파수에 가까운 주파수만을 통과시킨다. 노이즈가 적은 환경에서는 고조파도 통과시킴으로써 키 정보의 복잡성을 적극적으로 이용하여, 시큐러티성을 높인다고 하는 접근 방법도 있다.
기록 화상 입력부(111)에서 취득된 합성 화상 정보로부터 상기 방법에 의해 미리 계산된 주파수 필터 계수를 이용하여 키 정보의 공간 주파수 성분을 추출하기 위해서는, 이하에 나타낸 수학식 1에 의한 컨볼루션 적분을 행한다.
여기서, I는 기록 화상 입력부(111)에서 취득된 합성 화상 정보, g는 주파수 필터 계수, K는 추출된 키 정보의 공간 주파수 성분이다.
또, 특정한 공간 주파수 성분을 추출하는 방법은, 상기한 공간 주파수 필터를 이용하는 방법에 한정되는 것은 아니고, 주지의 푸리에 변환이나 웨이블렛 변환 등을 이용하여, 일단 별도의 공간으로 맵핑하여 처리를 실시한 후, 반대로 맵핑함으로써 추출하는 방법을 이용해도 상관없다.
다음으로, 상기한 바와 같이 하여 추출된 공간 주파수 성분으로부터 부정보를 재구성하는 재구성 처리에 대하여 설명한다. 이 재구성 처리는 이하의 (1)∼(3)의 수순으로 행한다.
(1) 추출된 공간 주파수 성분으로부터 제로 크로스점(부호가 변화하는 포인트)이 추출된다.
(2) 제로 크로스점을 사영하여, 공간 주파수 성분의 기준 위상이 구해진다.
(3) 공간 주파수 성분의 각 좌표에 대하여 기준 위상으로부터의 편차를 계산하여, 소정의 임계치 이상 어긋나 있는 좌표의 화소값이 흑, 그렇지 않은 것이 백으로 치환된다.
도 11∼도 13은 재구성 처리의 각 과정에서의 모식도를 도시하고 있다. 도 11은 추출된 키 정보의 공간 주파수 성분의 진폭을 도시하고, 백 부분(1101)이 +측, 흑 부분(1102)이 -측을 의미한다. 도 12는 +-의 부호가 변하는 점(제로 크로스점)의 좌표를 사영하여 그 수를 집계한 결과를 도시하고, 소정의 임계치 TH 이상의 수가 있는 좌표를 기준 위상의 제로 크로스점으로서 추출하고 있다. 도 13은 각 좌표에서의 공간 주파수 성분에 대하여 기준 위상으로부터의 편차를 계산하고, 편차량에 따라 화소값을 치환한 결과를 나타내고 있다.
이상과 같은 처리를 행함으로써, 합성 화상 정보로부터 부정보를 흑백 2치의 화상 정보로서 복원할 수 있다.
또, 상기 일본 특개 2001-268346호 공보에 개시되어 있는 방법에 의해 합성 화상 정보를 작성한 경우, 부정보(부화상 정보)의 복원 처리는 이하의 (1)∼(3)의 수순으로 행한다.
(1) 소정의 키 정보 Ki(1≤i≤N)에 기초하여 특정한 공간 주파수 성분 Fi가 추출된다. 여기서, N은 부정보(부화상 정보)의 매립에 사용한 키 정보 Ki의 총수이다.
(2) 추출 결과 Fi에 대하여 키 정보 Ki에 대응하는 소정의 임계치 THi로 2치화 처리가 행해진다.
(3) 상기 (1)∼(2)의 수순을 복원에 필요한 Nd개(Nd≤N)의 키 정보에 대하여 행하고, 소정의 수순에 기초하여 결과를 합성한다.
상기 일본 특개 2001-268346호 공보에 개시되어 있는 방법은, 부정보(부화상 정보)의 매립 시에 복수의 키 정보를 이용할 수 있고, 또한 부정보(부화상 정보)의 복원 시에 필요해지는 키 정보의 조합을 임의로 선택할 수 있다고 하는 특징을 갖고 있다.
따라서, 상기 방법을 이용하여 작성된 합성 화상 정보로부터 부정보(부화상 정보)를 복원할 때, 키 정보에 대응하는 공간 주파수 성분의 추출, 및 부정보(부화상 정보)의 단편의 2치화에 따른 재구성이라는 수순을 소정 횟수 행하고, 이들 단편을 합성하는 수순을 실시한다.
복원 시에 필요해지는 키 정보, 임계치, 합성 방법에 대해서는, 미리 매립 시에 각각 결정해둔다. Nd개의 키 정보 Ki에 대해서는 매립 시에 사용한 것 모두(N개의 키 정보 모두)를 필요로 하도록 해도 되고, 이들 중에서 소정의 수순 또는 랜덤하게 선택한 몇개(Nd≤N인 Nd 개)에 한하여도 된다.
임계치 THi에 대해서는, 모든 키 정보 Ki(i=1, …, N)로 공통의 값이어도 되고, 각각의 키 정보 Ki에 대하여 개별의 값이어도 된다. 부정보(부화상 정보)의 단편의 합성에 대해서는 각각의 단편을 상하 좌우로 연결하는 방법이어도 되고, 단편끼리를 가산이나 배타적 논리합 등으로 합성하는 방법이어도 되고, 이들 연결, 합성 등의 연산이 혼재하는 방법이어도 된다. 또한, 연산 전에 각각의 단편에 소정의 가중치를 곱해도 된다.
이상 설명한 바와 같은 화상 처리 시스템을 이용함으로써, 전자 워터마크를 매립한 개인 인증 매체를 작성하고 확인할 수 있어, 종래보다도 시큐러티성이 높은 시스템을 실현할 수 있다.
이상 설명한 바와 같이, 상기 제1 실시예에 따르면, 개인 인증 매체에 출력하도록 하는 아날로그 데이터를 대상으로 하여, 주화상 정보에 별도의 부가적인 부정보(부화상 정보)를 비가시 상태로 매립한 합성 화상 정보를 작성할 수 있어, 기록 후에도 기록한 합성 화상 정보 내의 전자 워터마크 정보를 유지할 수 있다.
또한, 용융형 열전사 기록 방식을 이용한 화상 기록 장치에서 고계조 성능을 유지한 상태로, 기록 화상으로의 전자 워터마크 기술이 적용 가능하고, 그 전자 워터마크 정보(부정보)는 기록 후에도 파손되지 않고 보존되어 복원 가능하다.
다음으로, 제2 실시예에 대하여 설명한다.
도 14는 제2 실시예에 따른 제2 화상 처리 장치(110)의 구성을 나타내는 것이다. 이 제2 화상 처리 장치(110)는 화상 입력부(11), 색 성분 정보 저장부(12), 색 성분 추출부(13), 주파수 성분 추출부(14), 재구성부(15), 및 표시부(16)에 의해 구성되어 있고, 이하 각 부의 기능에 대하여 상세히 설명한다.
화상 입력부(11)는, 예를 들면 도 4의 개인 인증 매체(401)에 기록되어 있는 합성 화상 정보(403)를 카메라 등의 화상 입력 장치로 취득, 디지털의 합성 화상 정보로 변환한다. 이 화상 정보는, 예를 들면 R, G, B의 3 플레인으로 구성되어 있다.
색 성분 정보 저장부(12)는 전자 워터마크의 복원에 사용하는 색 성분의 정보를 저장한다. 색 성분 추출부(13)는 색 성분 정보 저장부(12)로부터 판독한 색 성분 정보에 기초하여 화상 입력부(11)에 의해 입력된 화상 정보로부터 전자 워터마크의 복원에 사용하는 색 성분을 추출한다.
주파수 성분 추출부(104)는 색 성분 추출부(13)에 의해 추출된 색 성분에 대하여 주파수 필터링을 행하여, 매립되어 있는 키 정보의 공간 주파수 성분에 대하여, 그 진폭(=강도) 정보와 위상 정보를 추출한다.
재구성부(15)는 주파수 성분 추출부(14)에서 추출된 공간 주파수 성분의 진폭 정보 내지는 위상 정보에 대하여 집계 처리 및 공간 필터링을 행하여, 키 정보에 대한 변조 성분 즉 부정보를 재구성한다.
표시부(16)는 재구성부(15)에 의해 재구성된 부정보를 표시한다(혹은 입력된 화상 정보와 부정보를 동시에 표시해도 된다).
색 성분 정보 저장부(12)에는, 미리 가장 계조성이 높은 색 성분에 관한 정보, 예를 들면 C, M, Y 등 인쇄에 이용하는 잉크의 색이나, R, G, B 등 화상 취득 시에 이용하는 광학 필터의 색 중에서 가장 계조성이 높은 색 성분이 어떤 색인지를 특정할 수 있는 정보를 저장한다. 이 정보는 색명 등의 문자열이어도 되고, 그 색에 대응하는 전자파의 파장 등의 수치나 색 성분 정보 저장부(12) 내에서의 관리를 위해 부여한 번호나 어드레스 등이어도 된다.
이하, 계조성이 높은 색 성분에 대하여 프린터의 잉크를 예로 들어 설명한다. 일반적으로, 프린터의 잉크는 조성이 색마다 서로 다르다. 이 때문에, 잉크가 나타내는 물리적 특성도 색마다 서로 다르다. 계조성은 물리적 특성에 의존한다. 이 때문에, 결과적으로 계조성도 잉크의 색마다 서로 다르다.
예를 들면, 승화형과 같은 인가 에너지를 제어함으로써 인쇄 대상에 부착하는 잉크의 농도를 변화시키는 방식의 프린터에서는, 인가 에너지와 농도와의 관계는 도 15에 도시한 바와 같은 특성을 도시한다. 일반적으로, 인가 에너지가 작은 영역과 큰 영역에서는 농도는 그다지 변화하지 않고, 그 중간 영역에서는 인가 에너지에 따른 농도가 된다. 계조성은 잉크의 농도의 제어성 및 실현 가능한 농도 범위에 따라 결정된다. 전자에 대해서는 인가 에너지와 그에 대응하는 농도를 플롯했을 때에 기울기가 완만할수록, 양호한 계조성을 나타낸다. 또한, 후자에 대해서는 최소 농도와 최대 농도와의 차가 클수록, 양호한 계조성을 나타낸다.
예를 들면, 도 15에서는 3 종류의 잉크의 인가 에너지 농도 특성이 도시되고 있다. 도 15에 도시하는 예에서, 잉크 1(특성 A)은 실현 가능한 농도 범위가 좁고, 잉크 3(특성 C)은 제어성이 낮다. 이 때문에, 이 중에서는 잉크 2(특성 B)가 가장 양호한 계조성을 나타낸다.
이상으로 설명한 계조성에 대해서는, 예를 든 방식에만 특유한 것은 아니다. 예를 들면, 용융형과 같이 농도가 아니고, 화점(畵点)의 면적 등을 변화시키는 방식이어도, 잉크마다의 물리적 특성의 차이에 따라 계조성에 차이가 난다는 점은 마찬가지이다.
또한, 상술한 설명에서는 프린터의 잉크를 예로 들어 설명하였다. 이에 대하여, 화상 취득 시에 이용하는 광학 필터에 대해서도 각각 통과 대역폭이나 감쇠율이 다른 등 물리적 특성에 차이가 있다. 이 때문에, 계조성에 차이가 난다는 점은 마찬가지이다.
다음으로, 전자 워터마크의 복원과 계조성과의 관계에 대하여 설명한다. 색차 변조 처리를 행함으로써 매립된 전자 워터마크의 복원은 색 성분 추출→공간 주파수 성분 추출→부정보 재구성이라는 처리 과정을 거침으로써 행할 수 있다. 처리의 상세에 대해서는 이미 설명하였기 때문에, 개략적으로만 기술한다.
색 성분 추출 처리 및 공간 주파수 성분 추출 처리에서는 취득한 화상으로부터 색차를 추출하고, 부정보 재구성 처리에서 색차를 그것에 대응하는 정보, 예를 들면 비트의 온/오프 등으로 변환함으로써 전자 워터마크를 복원한다.
한편, 색차에 의해 표현 가능한 정보는 계조성에 의존한다. 즉, 계조성이 낮으면 표현 가능한 정보는 적어지고 계조성이 높으면 많아진다. 계조성은 디지털 정보를 아날로그 정보로 변환할 때, 또는 그 반대의 변환을 행할 때에, 각각의 색 성분마다 변화한다. 따라서, 가장 계조성이 높은 색 성분을 이용함으로써, 색차에 의해 표현되는 정보량의 열화를 억제할 수 있어, 전자 워터마크의 복원성을 향상시킬 수 있다.
이와 같이, 디지털과 아날로그의 변환 시에 열화가 적은 색 성분을 이용함으로써, 매립된 부정보의 복원성을 향상시킬 수 있다.
다음으로, 제3 실시예에 대하여 설명한다.
도 16은 제3 실시예에 따른 제2 화상 처리 장치(110)의 구성을 나타내는 것이다. 이 제2 화상 처리 장치(110)는 화상 입력부(21), 영역 추출부(22), 색 특징량 추출부(23), 색 합성부(24), 주파수 성분 추출부(25), 재구성부(26), 및 표시부(27)에 의해 구성되어 있고, 이하 각 부의 기능에 대하여 상세히 설명한다.
화상 입력부(21)는, 예를 들면 도 4의 개인 인증 매체(401)에 기록되어 있는 합성 화상 정보(403)를 카메라 등의 화상 입력 장치에서 취득, 디지털의 합성 화상 정보로 변환한다. 이 화상 정보는, 예를 들면 R, G, B의 3 플레인으로 구성되어 있다.
영역 추출부(22)는 화상 입력부(21)에 의해 입력된 화상 정보 상에 소정의 사이즈를 갖는 영역을 설정한다. 설정하는 영역의 사이즈로서는, 매립 시에 사용한 키 정보의 공간 주파수 성분의 기본 파장에 상당하는 화소수를 이용한다.
색 특징량 추출부(23)는 R, G, B의 각 플레인에 대하여 영역 추출부(22)에 의해 설정된 영역 내에 존재하는 화소의 값을 집계하여, 색의 특징량을 계산한다. 색 합성부(24)는 색 특징량 추출부(23)의 집계 결과에 기초하여 R, G, B 각 플레인의 합성 시의 가중치를 산출하고, 또한 합성 처리를 행한다.
주파수 성분 추출부(25)는 색 합성부(24)에 의해 합성된 색 성분에 대하여 주파수 필터링을 행하고, 매립되어 있는 키 정보의 공간 주파수 성분에 대하여, 그 진폭(=강도) 정보와 위상 정보를 추출한다.
재구성부(26)는 주파수 성분 추출부(25)에서 추출된 공간 주파수 성분의 진폭 정보 내지는 위상 정보에 대하여 집계 처리 및 공간 필터링을 행하고, 키 정보에 대한 변조 성분 즉 부정보를 재구성한다. 표시부(27)는 재구성부(26)에 의해 재구성된 부정보를 표시한다(혹은 입력된 화상 정보와 부정보를 동시에 표시해도 된다).
영역 추출부(22), 색 특징량 추출부(23) 및 색 합성부(24)에서의 처리의 흐름의 개략적인 내용을 도 17에 나타낸다. 영역 추출부(22)에서는 먼저 화상 입력부(21)에서 취득된 디지털의 화상 정보 상에 주목 화소를 중심으로 한 색 특징량의 추출 대상 영역 S를 설정한다(단계 31).
본 실시예에서는 영역 S의 사이즈로서 매립 시에 사용한 키 정보의 공간 주파수 성분의 기본 파장에 상당하는 화소수, 즉 기본 파장에 대하여 기록 및 판독에서의 해상도의 변화를 옮겨 넣은 값을 이용한다. 예를 들면, 기본 파장이 2 화소, 주화상 및 기록 시의 해상도가 200dpi, 판독 해상도가 400dpi였다고 하면, 영역 S의 사이즈는 4 화소가 된다. 주목 화소는 화상의 좌측으로부터 우측 및 아래로부터 위로 순차 이동해가는 것으로 하고, 그 이동량은 영역의 사이즈의 분으로 한다.
또, 최초의 주목 화소의 위치는 화상 입력 시에서의 개인 인증 매체가 놓여진 위치와, 개인 인증 매체 내에서의 얼굴 화상의 기록 위치로부터 미리 계산해둔다.
다음으로, 각 플레인마다 영역 내부의 화소의 값을 이용하여 영역 S 마다의 색 특징량을 구한다(단계 32). 색 특징량은 그 영역 내의 색을 대표하는 수치이다. 본 실시예에서는 색 특징량으로서 각 플레인마다의 영역 내부의 화소의 휘도 평균값을 이용한다. 예를 들면, m×n 화소의 영역 S에서의 R, G, B의 각 플레인에서의 화소의 값을 각각 Rij, Gij, Bij(i=1…m, j=1…n)로 하면, 색 특징량 RF, GF, BF는 하기 수학식 2와 같이 된다.
색 합성부(24)에서는 각 플레인마다의 색 특징량에 대응하는 색 합성 파라미터 PC를 결정하고(단계 33), 그 색 합성 파라미터 PC에 기초하여, 영역 내의 각 화소에 대하여 색 합성 처리를 행한다(단계 34). 본 실시예에서는 색 특징량으로부터 색 합성 파라미터 PC를 결정할 때에, 색 특징량을 인덱스로 하여 색 합성 파라미터 PC를 저장한 3차원 배열을 이용한다.
예를 들면, m×n 화소의 영역 S에서의 R, G, B의 각 플레인에서의 화소의 값을 각각 Rij, Gij, Bij(i=1…m, j=1…n)로 하고, 색 특징량을 각각 RF, GF, BF로 하면, 색 합성 파라미터 PR, PG, PB는 이하와 같이 결정한다.
PC=AC[RF, GF, BF](C=R, G, B)
여기서, AC(C=R, G, B)는 3차원 배열이고, 각 플레인에 대응하는 색 합성 파라미터를 저장한다. 예를 들면, AR은 R 플레인의 색 합성 파라미터 PR를 저장한다.
색 합성 파라미터 PC(C=R, G, B)의 값은, 이하의 (1)∼(4)의 처리에 의해 미리 결정해 두는 것으로 한다.
(1) 파라미터를 결정하기 위한 색 패치가 작성된다. 색 패치는 소정의 면적의 영역을 단일 색으로 빈틈없이 칠한 인쇄물이고, 또한 해당 영역에는 전자 워터마크 매립 처리를 실시한 것으로 한다.
(2) 색 패치를 화상 입력부(21) 또는 동등한 성능을 갖는 화상 입력부에 의해 취득하여, R, G, B의 각 플레인의 색 특징량이 산출된다.
(3) R, G, B의 각 플레인 각각으로부터 전자 워터마크를 복원하고, 복원한 신호의 진폭의 평균값이 산출된다. 이 때, 색 합성은 행하지 않는다.
(4) 상기 (2)에서 산출한 색 특징량에 대응하는 색 합성 파라미터를, 상기(3)에서 산출한 값으로부터 결정한다. 예를 들면, 어떤 플레인의 진폭 평균값이 소정의 임계치 ε보다도 크면, 그 플레인의 색 합성 파라미터를 「1」, 다른 플레인의 색 합성 파라미터를 「0」으로 한다. 반대로, 모든 플레인의 진폭 평균값이 임계치 ε보다도 작은 경우에는, 전체 플레인의 색 합성 파라미터를 1/3로 한다.
다음으로, 상기에서 결정한 색 합성 파라미터를 이용하여, 영역 내의 화소각각에 대하여 색 합성 연산을 행한다. 본 실시예에서는 색 합성 연산으로서 각 플레인의 화소값에 각각 대응하는 색 합성 파라미터를 가중치로서 곱하여 가산한 선형합을 이용한다. 예를 들면, m×n 화소의 영역 S에서의 R, G, B의 각 플레인에서의 화소의 값을 각각 Rij, Gij, Bij(i=1…m, j=1…n)로 하고, 그 영역 S에서의 색 합성 파라미터를 각각 PR, PG, PB로 하면, 색 합성의 결과의 값 Tij는 이하와 같이 계산한다.
Tij=PRRij+PGGij+PBBij(i=1…m, j=1…n)
이상의 처리를 입력 화상 전체에 대하여 실시하여 색 합성 화상 T를 얻는다. 이하, 주파수 성분 추출부(25)에서는 색 합성 화상 T로부터 전자 워터마크 매립 처리 시에 이용한 키 정보에 기초하여 특정한 공간 주파수 성분을 추출한다. 또한, 재구성부(26)에서는 부정보를 재구성한다.
또, 상기한 설명에서는 최초의 주목 화소의 위치는 개인 인증 매체가 놓여진 위치와 얼굴 화상의 기록 위치에 의해 결정했지만, 이 방법에만 한정되는 것은 아니다. 예를 들면, 얼굴 화상 내 또는 주변에 특정한 패턴을 미리 기록해두고, 그패턴의 위치를 검출한 결과를 이용하여 최초의 주목 화소의 위치가 결정되도록 해도 된다.
그 외에, 키 정보의 공간 주파수 성분의 사이즈가 얼굴 화상의 사이즈에 대하여 충분히 작은 경우, 영역 분할은 행하지 않고, 주목 화소를 중심으로 한 소정의 범위로부터 색 특징량이 계산되도록 해도 된다.
또한, 상기한 설명에서는 색 특징량으로서 영역 내의 화소의 휘도 평균을 이용하고 있지만, 이것에만 한정되는 것은 아니다. 예를 들면, 색 특징량은 중앙값, 최빈값 등이어도 되고, 이들에 분포 형상을 나타내는 값, 예를 들면 표준 편차나 분산 등을 가중치로 하여 수정을 더한 것이어도 된다. 혹은 색 특징량은 소정의 함수 내지 알고리즘을 적용한 결과의 값 등이어도 된다.
또한, 상기한 설명에서는 색 합성 파라미터는 3차원 배열에 의해 결정하는 것으로 하였지만, 이 방법에만 한정되는 것은 아니다. 예를 들면, 색 합성 파라미터는 하기와 같은 함수에 기초하여 결정하는 방법이어도 된다.
PC=fC(RF, GF, BF)(C=R, G, B)
여기서, fC(C=R, G, B)는, 색 특징량으로부터 색 합성 파라미터를 결정하는 색 연산 함수를 나타내고 있다. 색 연산 함수 fC(C=R, G, B)로서는, 예를 들면 RF, GF, BF에 각각 소정의 가중치를 곱한 선형 합 PC=WC1RF+WC2GF+WC3BF(C=R, G, B)이어도 되고, RF 2와 같은 고차항이나 RFGF와 같은 교차항을 갖는 다항식이어도 된다. 혹은RF'=log(RF)와 같이, 대수 변환하고나서 계산해도 된다.
또한, 상기한 설명에서는 색 합성 연산에는 가중치 부여 선형 합을 이용하였지만, 이 방법에만 한정되는 것은 아니다. 예를 들면, 색 합성 연산은, Rij 2와 같은 고차항이나 RijGij와 같은 교차항을 갖는 다항식을 이용해도 되고, Rij'=log(Rij)와 같이, 각각을 대수 변환하고나서 계산해도 된다. 혹은 색 특징량 및 색 합성 파라미터를 인덱스로 하여 색 합성치를 저장한 6차원 배열 AT를 이용하여 =Tij[Rij, Gij, Bij, PR, PG, PB]로 해도 된다.
이와 같이, 입력된 화상 정보의 색 성분을 합성하여 열화의 영향을 경감함으로써, 매립된 부정보의 복원성을 향상시킬 수 있다.
다음으로, 제4 실시예에 대하여 설명한다.
도 18은 제4 실시예에 따른 제2 화상 처리 장치(110)의 구성을 나타내는 것이다. 이 제2 화상 처리 장치(110)는 화상 입력부(41), 영역 추출부(42), 색 특징량 추출부(43), 증폭 계수 결정부(44), 주파수 성분 추출부(45), 추출 신호 증폭부(46), 재구성부(47), 및 표시부(48)에 의해 구성되어 있고, 이하 각 부의 기능에 대하여 상세히 설명한다.
화상 입력부(41)는, 예를 들면 도 4의 개인 인증 매체(401)에 기록되어 있는 합성 화상 정보(403)를 카메라 등의 화상 입력 장치에서 취득하고, 디지털의 합성 화상 정보로 변환한다. 이 화상 정보는, 예를 들면 R, G, B의 3 플레인으로 구성되어 있다.
영역 추출부(42)는 화상 입력부(41)에 의해 입력된 화상 정보 상에 소정의 사이즈를 갖는 영역을 설정한다. 설정하는 영역의 사이즈로서는 매립 시에 사용한 키 정보의 공간 주파수 성분의 기본 파장에 상당하는 화소수를 이용한다.
색 특징량 추출부(43)는 R, G, B의 각 플레인에 대하여 영역 추출부(42)에 의해 설정된 영역 내에 존재하는 화소의 값을 집계하고, 색의 특징량을 계산한다. 증폭 계수 결정부(44)는 색 특징량 추출부(43)의 집계 결과에 기초하여 복원 결과의 재구성 시의 증폭 계수를 결정한다.
주파수 성분 추출부(45)는 화상 입력부(41)에 의해 입력된 화상 정보에 대하여 주파수 필터링을 행하고, 매립되어 있는 키 정보의 공간 주파수 성분에 대하여, 그 진폭(=강도) 정보와 위상 정보를 추출한다.
추출 신호 증폭부(46)는 주파수 성분 추출부(45)에서 추출된 공간 주파수 성분의 진폭 정보 내지는 위상 정보에 대하여, 증폭 계수 결정부(44)에서 결정된 증폭 계수를 이용하여 증폭 처리를 행한다.
재구성부(47)는 추출 신호 증폭부(46)에서 증폭된 공간 주파수 성분의 진폭 정보 내지는 위상 정보에 대하여 집계 처리 및 공간 필터링을 행하여, 키 정보에 대한 변조 성분 즉 부정보를 재구성한다. 표시부(48)는 재구성부(47)에 의해 재구성된 부정보를 표시한다(혹은 입력된 화상 정보와 부정보를 동시에 표시해도 된다).
추출 신호 증폭부(46)에서의 처리의 흐름의 개략을 도 19에 도시한다. 우선, 색 특징량 추출부(43)에서는 상기 제3 실시예에서 설명한 색 특징량 추출부(23)와 마찬가지의 처리를 행하여, 색 특징량을 계산한다(단계 51).
다음으로, 증폭 계수 결정부(44)에서는 각 플레인마다의 색 특징량으로부터 그 영역에서의 증폭 계수(증폭율) M을 결정한다(단계 52). 예를 들면, m×n 화소의 영역 S에서의 R, G, B의 각 플레인에서의 색 특징량을 각각 RF, GF, BF로 하면, 증폭 계수 M은 이하와 같이 결정한다.
M=AM[RF, GF, BF]
여기서, AM은 3차원 배열이고, 색 특징량에 대응하는 증폭 계수를 저장한다.
추출 신호 증폭부(46)에서는 주파수 성분 추출부(45)에서 추출된 공간 주파수 성분에 대하여, 증폭 계수 결정부(44)에서 얻어진 증폭 계수 M을 영역마다 곱하는 처리를 행한다(단계 53). 이 처리를 행함으로써, 추출한 주파수 성분에 대하여 영역마다의 최대값의 변동을 소정의 범위 내로 포함되도록 보정한다.
또, 상기한 설명에서는 증폭 계수 M의 결정에 3차원 배열을 이용하였지만, 이 방법에만 한정되는 것은 아니다. 예를 들면, 증폭 계수 M은 하기와 같은 함수에 기초하여 결정하도록 해도 된다.
M=fM(RF, GF, BF)
여기서, fM은 색 특징량으로부터 증폭 계수를 결정하는 증폭 계수 연산 함수를 나타내고 있다. 증폭 계수 연산 함수 fM에 대해서는, 예를 들면 RF, GF, BF에 각각 소정의 가중치를 곱한 선형 합 M=WM1RF+WM2GF+WM3BF이어도 되고, RF 2와 같은 고차항이나 RFGF와 같은 교차항을 갖는 다항식이어도 된다. 혹은 RF'=log(RF)와 같이, 대수 변환하고나서 계산해도 된다.
이와 같이, 입력된 화상 정보의 색 성분에 따라 재구성 처리를 보정함으로써, 매립된 부정보의 시인성을 향상시킬 수 있다.
또, 상기 제4 실시예에서는 추출한 공간 주파수 성분에 증폭 계수를 곱함으로써 다치의 화상을 생성했지만, 대신에 영역마다의 색 특징량에 따른 2치화 임계치를 저장한 3차원 배열 AB를 이용하여, 영역마다 2치화 처리를 행함으로써 2치의 화상을 생성하도록 해도 된다. 이 방법에 따르면, 복원 결과의 데이터량을 줄이고, 또한 복원 결과의 콘트라스트를 높일 수 있다.
이상 설명한 바와 같이, 상기 제2 내지 제4 실시예에 따르면, 디지털과 아날로그와의 변환 시에 열화가 적은 색 성분을 이용함으로써, 인쇄물에 출력하는 아날로그 데이터를 대상으로 하여, 주화상 정보에 별도의 부가적인 부정보를 비가시 상태로 매립한 합성 화상 정보를 작성할 때에, 합성 화상 정보로부터 부정보가 폭로되는 위험성을 증대시키지 않고, 인쇄된 합성 화상 정보로부터 매립된 부정보를 복원하는 성능을 향상시킬 수 있다.
또한, 입력된 화상 정보의 색 성분을 합성하여 열화의 영향을 경감함으로써, 마찬가지의 위험성을 증대시키지 않고, 인쇄된 합성 화상 정보로부터 매립된 부정보를 복원하는 성능을 향상시킬 수 있다.
또한, 입력된 화상 정보의 색 성분에 따라 재구성 처리를 보정함으로써, 마찬가지의 위험성을 증대시키지 않고, 인쇄된 합성 화상 정보로부터 복원한 부정보의 시인성을 향상시킬 수 있다.
상기한 바와 같이, 본 발명의 각 실시예에 따르면, 기록 매체에 출력하는 아날로그 데이터를 대상으로서, 주화상 정보에 대하여 별도의 부가적인 부정보를 비가시 상태로 매립한 합성 화상 정보를 작성할 수 있어, 기록 후에도 기록한 합성 화상 정보 내의 전자 워터마크 정보를 유지할 수 있는 화상 처리 시스템, 화상 처리 장치 및 화상 처리 방법을 제공할 수 있다.
또한, 본 발명의 각 실시예에 따르면, 용융형 열전사 기록 방식에서, 고계조 성능을 유지한 그대로 기록 화상으로의 전자 워터마크 기술을 적용 가능하고, 그 워터마크 정보(부정보)는 기록 후에도 파손되지 않고 보존되어, 복원 가능한 화상 처리 시스템, 화상 처리 장치 및 화상 처리 방법을 제공할 수 있다.
또한, 본 발명의 각 실시예에 따르면, 화상 정보의 열화 등에 대하여 내성을 갖는 전자 워터마크의 복원 처리가 가능하게 되는 화상 처리 시스템, 화상 처리 장치 및 화상 처리 방법을 제공할 수 있다.
또한, 본 발명의 각 실시예에 따르면, 매립된 부정보가 폭로되는 위험성을 증대시키지 않고서, 부정보의 복원성 및 시인성을 향상시킬 수 있는 화상 처리 장치 및 화상 처리 방법을 제공할 수 있다.
본 발명의 당업자는 부가적인 장점과 변형을 용이하게 할 것이다. 따라서, 본 발명의 범위는 본원에 개시된 상세한 내용과 실시예에 한정되지는 않는다. 따라서, 다양한 변형은 첨부한 특허 청구 범위 및 그 균등물에 의해 정의되는 바와 같은 일반적인 발명의 개념의 범위나 정신으로부터 벗어나지 않고 이루어질 수 있다.
본 발명에 따르면, 입력된 화상 정보의 색 성분을 합성하여 열화의 영향을 경감함으로써, 매립된 부정보의 복원성을 향상시킬 수 있다.

Claims (25)

  1. 가시 상태의 주화상 정보에 대하여, 비가시 상태의 부정보를 매립함으로써 작성한 합성 화상 정보를 기록 매체 상에 기록하는 제1 화상 처리 장치와, 이 제1 화상 처리 장치에 의해 기록 매체에 기록된 상기 합성 화상 정보로부터 상기 부정보를 복원하는 제2 화상 처리 장치로 구성되는 화상 처리 시스템으로서,
    상기 제1 화상 처리 장치는,
    주화상 정보에 대하여 상기 제1 화상 처리 장치에서의 화상 기록의 화소 형성 처리에 대응한 전처리를 행하는 전처리부와,
    주화상 정보, 부정보, 및 상기 부정보를 복원할 때에 이용하는 키 정보를 이용하여 색차 변조 처리를 행함으로써 부정보를 비가시 상태로 주화상 정보에 매립한 합성 화상 정보를 작성하는 매립 처리부와,
    상기 매립 처리부에 의해 작성된 합성 화상 정보를 기록 매체 상에 기록하는 기록부를 구비하고,
    상기 제2 화상 처리 장치는,
    상기 제1 화상 처리 장치의 기록부에 의해 상기 합성 화상 정보가 기록된 기록 매체로부터 상기 합성 화상 정보를 입력하는 화상 입력부와,
    상기 화상 입력부에 의해 입력된 합성 화상 정보로부터 상기 키 정보에 고유한 공간 주파수 성분을 추출하는 주파수 성분 추출부와,
    상기 주파수 성분 추출부에 의해 추출된 공간 주파수 성분으로부터 상기 부정보를 재구성하는 재구성부를 구비하는 화상 처리 시스템.
  2. 가시 상태의 주화상 정보에 대하여, 비가시 상태의 부정보를 매립함으로써 작성한 합성 화상 정보를 기록 매체 상에 기록하는 제1 화상 처리 장치와, 이 제1 화상 처리 장치에 의해 기록 매체에 기록된 상기 합성 화상 정보로부터 상기 부정보를 복원하는 제2 화상 처리 장치로 구성되는 화상 처리 시스템으로서,
    상기 제1 화상 처리 장치는,
    주화상 정보에 대하여 상기 제1 화상 처리 장치에서의 화상 기록의 화소 형성 처리에 대응한 제1 전처리를 행하는 제1 전처리부와,
    상기 제1 전처리부에 의해 제1 전처리를 행한 주화상 정보에 대하여 기하학적 변환을 행하는 제2 전처리부와,
    주화상 정보, 부정보, 그 부정보를 복원할 때에 이용하는 키 정보를 이용하여 색차 변조 처리를 행함으로써 상기 부정보를 비가시 상태로 주화상 정보에 매립한 합성 화상 정보를 작성하는 매립 처리부와,
    상기 매립 처리부에 의해 작성된 합성 화상 정보에 대하여 상기 제2 전처리부에서의 변환 처리의 역변환 처리를 행하는 역변환부와,
    상기 역변환부에 의해 역변환 처리된 합성 화상 정보를, 기록 디바이스의 주(主)주사 방향의 짝수번째의 화소와 홀수번째의 화소를 기록 라인마다 교대로 형성하는 교대 구동 기록 방식에 의해 기록 매체 상에 기록하는 기록부를 구비하고,
    상기 제2 화상 처리 장치는,
    상기 제1 화상 처리 장치의 기록부에 의해 상기 합성 화상 정보가 기록된 기록 매체로부터 상기 합성 화상 정보를 입력하는 화상 입력부와,
    상기 화상 입력부에 의해 입력된 합성 화상 정보로부터 상기 키 정보에 고유한 공간 주파수 성분을 추출하는 주파수 성분 추출부와,
    상기 주파수 성분 추출부에 의해 추출된 공간 주파수 성분으로부터 상기 부정보를 재구성하는 재구성부를 구비하는 화상 처리 시스템.
  3. 제2항에 있어서,
    상기 제1 전처리부는 상기 제1 화상 처리 장치에서의 화상 기록의 화소 형성 처리에 대응하여 주화상 정보를 씨닝하는 처리를 행하는 화상 처리 시스템.
  4. 제3항에 있어서,
    상기 제2 전처리부는 상기 제1 전처리부에 의해 씨닝 처리된 주화상 정보를 미리 설정한 각도로 회전시킨 후, 상기 주화상 정보가 씨닝된 부분을 제거하여 주화상 정보의 유효 부분을 압축하여 재구성하는 기하학적 변환을 행하는 화상 처리 시스템.
  5. 제2항에 있어서,
    상기 주파수 성분 추출부는 상기 키 정보의 사이즈를 상기 기록 매체에 기록되어 있는 합성 화상 정보의 해상도와 상기 제2 화상 처리 장치에서의 상기 화상입력부의 판독 해상도를 기초로 신축(伸縮)한 후, 상기 키 정보에 대하여 푸리에 변환을 행함으로써 주파수 영역으로 전개하고, 이 전개된 값을 참조함으로써 필터의 통과 대역을 조정하고, 이 조정 후의 값에 대하여 푸리에 역변환을 행함으로써 얻어진 값을 주파수 필터 계수로 하고, 이 주파수 필터 계수를 이용하여 상기 화상 입력부에 의해 입력된 합성 화상 정보로부터 상기 키 정보의 공간 주파수 성분을 추출하는 화상 처리 시스템.
  6. 제2항에 있어서,
    상기 재구성부는 상기 주파수 성분 추출부에 의해 추출된 공간 주파수 성분으로부터 부호가 변화하는 변화점을 추출하고, 상기 추출된 변화점을 사영함으로써 공간 주파수 성분의 기준 위상을 구하고, 상기 주파수 성분 추출부에 의해 추출된 공간 주파수 성분의 각 좌표에 대하여 상기 구한 기준 위상으로부터의 편차를 계산하고, 소정의 임계치 이상 어긋나 있는 좌표의 화소값을 제1 값, 그렇지 않은 화소값을 제2 값으로 치환함으로써 부정보를 재구성하는 화상 처리 시스템.
  7. 제2항에 있어서,
    상기 재구성부에 의해 재구성된 부정보에 기초하여 상기 기록 매체의 진위성을 판정하는 판정부를 더 구비하는 화상 처리 시스템.
  8. 가시 상태의 주화상 정보와, 상기 주화상 정보에 비가시 상태로 매립되는 부정보와, 상기 부정보를 복원할 때에 이용하는 키 정보를 이용한 색차 변조 처리에 의해 작성되어 있는 합성 화상 정보가 기록되어 있는 기록 매체로부터 상기 합성 화상 정보를 입력하는 화상 입력부와,
    상기 화상 입력부에 의해 입력된 합성 화상 정보로부터 상기 키 정보에 고유한 공간 주파수 성분을 추출하는 주파수 성분 추출부와,
    상기 주파수 성분 추출부에 의해 추출된 공간 주파수 성분으로부터 상기 부정보를 재구성하는 재구성부를 구비하는 화상 처리 장치.
  9. 제8항에 있어서,
    상기 주파수 성분 추출부는 상기 키 정보의 사이즈를 상기 기록 매체에 기록되어 있는 합성 화상 정보의 해상도와 상기 화상 입력부의 판독 해상도를 기초로 신축한 후, 상기 키 정보에 대하여 푸리에 변환을 행함으로써 주파수 영역으로 전개하고, 이 전개된 값을 참조함으로써 필터의 통과 영역을 조정하고, 이 조정 후의 값에 대하여 푸리에 역변환을 행함으로써 얻어진 값을 주파수 필터 계수로 하고, 이 주파수 필터 계수를 이용하여 상기 화상 입력부에 의해 입력된 합성 화상 정보로부터 상기 키 정보의 공간 주파수 성분을 추출하는 화상 처리 시스템.
  10. 제8항에 있어서,
    상기 재구성부는 상기 주파수 성분 추출부에 의해 추출된 공간 주파수 성분으로부터 부호가 변화하는 변화점을 추출하고, 이 추출된 변화점을 사영함으로써공간 주파수 성분의 기준 위상을 구하고, 상기 주파수 성분 추출부에 의해 추출된 공간 주파수 성분의 각 좌표에 대하여 상기 구해진 기준 위상으로부터의 편차를 계산하여, 소정의 임계치 이상 어긋나 있는 좌표의 화소값을 제1 값, 그렇지 않은 화소값을 제2 값으로 치환함으로써 부정보를 재구성하는 화상 처리 시스템.
  11. 제8항에 있어서,
    상기 재구성부에 의해 재구성된 부정보에 기초하여 상기 기록 매체의 진위성을 판정하는 판정부를 더 구비하는 화상 처리 시스템.
  12. 가시 상태의 주화상 정보와, 상기 주화상 정보에 비가시 상태로 매립되는 부정보와, 상기 부정보를 복원할 때에 이용하는 키정보를 이용한 색차 변조 처리에 의해 작성되어 있는 합성 화상 정보가 기록되어 있는 기록 매체로부터 상기 합성 화상 정보를 입력하는 화상 입력부와,
    색 성분 정보를 저장하는 색 성분 정보 저장부와,
    상기 색 성분 정보 저장부에 저장되어 있는 색 성분 정보에 기초하여 상기 화상 입력부에 의해 입력된 합성 화상 정보로부터 색 성분을 추출하는 색 성분 추출부와,
    상기 색 성분 추출부에 의해 추출된 색 성분으로부터 상기 키 정보에 고유한 공간 주파수 성분을 추출하는 주파수 성분 추출부와,
    상기 주파수 성분 추출부에 의해 추출된 공간 주파수 성분으로부터 상기 부정보를 재구성하는 재구성부를 구비하는 화상 처리 장치.
  13. 제12항에 있어서,
    상기 합성 화상 정보로부터 추출하는 색 성분은, 상기 합성 화상 정보의 기록 시의 계조 특성이 가장 높은 잉크의 색에 대응하는 색 성분이고, 그 색 성분의 정보를 상기 색 성분 정보 저장부에 저장하는 화상 처리 장치.
  14. 제12항에 있어서,
    상기 합성 화상 정보로부터 추출하는 색 성분은, 상기 합성 화상 정보의 입력 시의 계조 특성이 가장 높은 잉크의 색에 대응하는 색 성분이고, 그 색 성분의 정보를 상기 색 성분 정보 저장부에 저장하는 화상 처리 장치.
  15. 가시 상태의 주화상 정보와, 상기 주화상 정보에 비가시 상태로 매립되는 부정보와, 상기 부정보를 복원할 때에 이용하는 키 정보를 이용한 색차 변조 처리에 의해 작성되어 있는 합성 화상 정보가 기록되어 있는 기록 매체로부터 상기 합성 화상 정보를 입력하는 화상 입력부와,
    상기 화상 입력부에 의해 입력된 합성 화상 정보로부터 국소 영역을 추출하는 영역 추출부와,
    상기 영역 추출부에 의해 추출된 국소 영역으로부터 그 국소 영역 내의 색 특징량을 추출하는 색 특징량 추출부와,
    상기 색 특징량 추출부에 의해 추출된 색 특징량에 기초하여 색 성분을 합성하여 색 성분 합성 화상 정보를 생성하는 색 합성부와,
    상기 색 합성부에 의해 생성된 색 성분 합성 화상 정보로부터 상기 키 정보에 고유한 공간 주파수 성분을 추출하는 주파수 성분 추출부와,
    상기 주파수 성분 추출부에 의해 추출된 공간 주파수 성분으로부터 상기 부정보를 재구성하는 재구성부를 구비하는 화상 처리 장치.
  16. 가시 상태의 주화상 정보와, 상기 주화상 정보에 비가시 상태로 매립되는 부정보와, 상기 부정보를 복원할 때에 이용하는 키 정보를 이용한 색차 변조 처리에 의해 작성되어 있는 합성 화상 정보가 기록되어 있는 기록 매체로부터 상기 합성 화상 정보를 입력하는 화상 입력부와,
    상기 화상 입력부에 의해 입력된 합성 화상 정보로부터 국소 영역을 추출하는 영역 추출부와,
    상기 영역 추출부에 의해 추출된 국소 영역으로부터 그 국소 영역 내의 색 특징량을 추출하는 색 특징량 추출부와,
    상기 색 특징량 추출부에 의해 추출된 색 특징량에 기초하여 재구성 파라미터를 결정하는 재구성 파라미터 결정부와,
    상기 화상 입력부에 의해 입력된 합성 화상 정보로부터 상기 키 정보에 고유한 공간 주파수 성분을 추출하는 주파수 성분 추출부와,
    상기 재구성 파라미터 결정부에 의해 결정된 재구성 파라미터를 이용하여 상기 주파수 성분 추출부에 의해 추출된 공간 주파수 성분으로부터 상기 부정보를 재구성하는 재구성부를 구비하는 화상 처리 장치.
  17. 제16항에 있어서,
    상기 재구성 파라미터는 상기 공간 주파수 성분을 증폭하는 증폭 계수이고, 상기 재구성부는 상기 증폭 계수를 이용하여 상기 공간 주파수 성분을 증폭하는 증폭부를 포함하는 화상 처리 장치.
  18. 제16항에 있어서,
    상기 재구성 파라미터는 상기 공간 주파수 성분을 2치화하는 임계치이고, 상기 재구성부는 상기 임계치를 이용하여 상기 공간 주파수 성분을 2치화하는 2치화부를 포함하는 화상 처리 장치.
  19. 가시 상태의 주화상 정보와, 상기 주화상 정보에 비가시 상태로 매립되는 부정보와, 상기 부정보를 복원할 때에 이용하는 키 정보를 이용한 색차 변조 처리에 의해 작성되어 있는 합성 화상 정보가 기록되어 있는 기록 매체로부터 상기 합성 화상 정보를 입력하고,
    상기 기록 매체로부터 입력된 합성 화상 정보로부터 상기 키 정보에 고유한 공간 주파수 성분을 추출하고,
    상기 주파수 성분을 추출함으로써 추출된 공간 주파수 성분으로부터 상기 부정보를 재구성하는 것을 특징으로 하는 화상 처리 방법.
  20. 제19항에 있어서,
    상기 주파수 성분을 추출하는 과정은, 상기 키 정보의 사이즈를 상기 기록 매체에 기록되어 있는 합성 화상 정보의 해상도와 상기 기록 매체로부터 상기 합성 화상 정보를 입력했을 때의 판독 해상도를 기초로 신축한 후, 상기 키 정보에 대하여 푸리에 변환을 행함으로써 주파수 영역으로 전개하고, 이 전개된 값을 참조함으로써 필터의 통과 영역을 조정하고, 이 조정 후의 값에 대하여 푸리에 역변환을 행함으로써 얻어진 값을 주파수 필터 계수로 하고, 이 주파수 필터 계수를 이용하여 상기 기록 매체로부터 입력된 합성 화상 정보로부터 상기 키 정보의 공간 주파수 성분을 추출하는 것을 특징으로 하는 화상 처리 방법.
  21. 제19항에 있어서,
    상기 재구성하는 과정은, 상기 공간 주파수 성분으로부터 부호가 변화하는 변화점을 추출하고, 이 추출된 변화점을 사영함으로써 공간 주파수 성분의 기준 위상을 구하고, 상기 공간 주파수 성분의 각 좌표에 대하여 상기 기준 위상으로부터의 편차를 계산하고, 소정의 임계치 이상 어긋나 있는 좌표의 화소값을 제1 값, 그렇지 않은 화소값을 제2 값으로 치환함으로써 부정보를 재구성하는 화상 처리 방법.
  22. 제19항에 있어서,
    상기 재구성된 부정보에 기초하여 상기 기록 매체의 진위성을 판정하는 과정을 더 포함하는 것을 특징으로 하는 화상 처리 방법.
  23. 가시 상태의 주화상 정보와, 상기 주화상 정보에 비가시 상태로 매립되는 부정보와, 상기 부정보를 복원할 때에 이용하는 키 정보를 이용한 색차 변조 처리에 의해 작성되어 있는 합성 화상 정보가 기록되어 있는 기록 매체로부터 상기 합성 화상 정보를 입력하고,
    색 성분 정보 저장부에 저장되어 있는 색 성분 정보에 기초하여 상기 기록 매체로부터 입력된 합성 화상 정보로부터 색 성분을 추출하고,
    상기 추출된 색 성분으로부터 상기 키 정보에 고유한 공간 주파수 성분을 추출하고,
    상기 추출된 공간 주파수 성분으로부터 상기 부정보를 재구성하는 것을 특징으로 하는 화상 처리 방법.
  24. 가시 상태의 주화상 정보와, 상기 주화상 정보에 비가시 상태로 매립되는 부정보와, 상기 부정보를 복원할 때에 이용하는 키 정보를 이용한 색차 변조 처리에 의해 작성되어 있는 합성 화상 정보가 기록되어 있는 기록 매체로부터 상기 합성 화상 정보를 입력하고,
    상기 기록 매체로부터 입력된 합성 화상 정보로부터 국소 영역을 추출하고,
    상기 합성 화상 정보로부터 추출된 국소 영역으로부터 그 국소 영역 내의 색 특징량을 추출하고,
    상기 국소 영역으로부터 추출된 색 특징량에 기초하여 색 성분을 합성하여 색 성분 합성 화상 정보를 생성하고,
    상기 생성된 색 성분 합성 화상 정보로부터 상기 키 정보에 고유한 공간 주파수 성분을 추출하고,
    상기 추출된 공간 주파수 성분으로부터 상기 부정보를 재구성하는 것을 특징으로 하는 화상 처리 방법.
  25. 가시 상태의 주화상 정보와, 상기 주화상 정보에 비가시 상태로 매립되는 부정보와, 상기 부정보를 복원할 때에 이용하는 키 정보를 이용한 색차 변조 처리에 의해 작성되어 있는 합성 화상 정보가 기록되어 있는 기록 매체로부터 상기 합성 화상 정보를 입력하고,
    상기 기록 매체로부터 입력된 합성 화상 정보로부터 국소 영역을 추출하는 것과,
    상기 합성 화상 정보로부터 추출된 국소 영역으로부터 그 국소 영역 내의 색 특징량을 추출하고,
    상기 국소 영역으로부터 추출된 색 특징량에 기초하여 재구성 파라미터를 결정하고,
    상기 기록 매체로부터 입력된 합성 화상 정보로부터 상기 키 정보에 고유한공간 주파수 성분을 추출하고,
    상기 색 특징량에 기초하여 결정된 재구성 파라미터를 이용하여 상기 주파수 성분을 추출함으로써 추출된 공간 주파수 성분으로부터 상기 부정보를 재구성하는 화상 처리 방법.
KR1020040027756A 2003-04-25 2004-04-22 화상 처리 시스템 KR100605432B1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JPJP-P-2003-00122346 2003-04-25
JP2003122346 2003-04-25
JP2004075020A JP4227048B2 (ja) 2003-04-25 2004-03-16 画像処理システム
JPJP-P-2004-00075020 2004-03-16

Publications (2)

Publication Number Publication Date
KR20040092456A true KR20040092456A (ko) 2004-11-03
KR100605432B1 KR100605432B1 (ko) 2006-07-31

Family

ID=32964985

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020040027756A KR100605432B1 (ko) 2003-04-25 2004-04-22 화상 처리 시스템

Country Status (8)

Country Link
US (1) US6883982B2 (ko)
EP (1) EP1471722B1 (ko)
JP (1) JP4227048B2 (ko)
KR (1) KR100605432B1 (ko)
AT (1) ATE428263T1 (ko)
CA (1) CA2465088A1 (ko)
DE (1) DE602004020416D1 (ko)
TW (1) TWI280489B (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101023616B1 (ko) * 2007-08-17 2011-03-21 가부시끼가이샤 도시바 화상 처리 방법 및 화상 처리 장치

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7162035B1 (en) 2000-05-24 2007-01-09 Tracer Detection Technology Corp. Authentication method and system
KR100878518B1 (ko) * 2001-12-03 2009-01-13 삼성전자주식회사 워터마크 삽입방법, 전송방법, 복원방법 및 그 장치
JP4167590B2 (ja) * 2003-12-22 2008-10-15 株式会社東芝 画像処理方法
US7657847B2 (en) * 2004-06-09 2010-02-02 Panasonic Corporation Copy control information deciding apparatus
US7394567B2 (en) * 2004-10-21 2008-07-01 Seiko Epson Corporation Data embedding scheme for duplex color laser printer
JP4630765B2 (ja) * 2005-08-26 2011-02-09 株式会社東芝 画像処理方法および画像処理装置
JP2007104642A (ja) 2005-09-07 2007-04-19 Toshiba Corp 画像処理方法、画像処理装置および記録物
US7742619B2 (en) * 2005-12-21 2010-06-22 Texas Instruments Incorporated Image watermarking based on sequency and wavelet transforms
JP4550749B2 (ja) 2006-03-07 2010-09-22 株式会社東芝 画像処理方法および画像処理装置
JP2008085875A (ja) * 2006-09-28 2008-04-10 Toshiba Corp 画像処理方法および画像処理装置
KR20080049360A (ko) * 2006-11-30 2008-06-04 삼성전자주식회사 색역 정보 전송방법 및 이를 적용한 영상기기
US8126288B2 (en) * 2007-01-31 2012-02-28 A School Juridical Person Fujita Educational Institution Image processing apparatus
ES2447890T3 (es) * 2007-02-05 2014-03-13 Nds Limited Sistema de integración de datos
JP5002392B2 (ja) * 2007-06-27 2012-08-15 株式会社東芝 画像処理装置および画像処理方法
EP2009897B1 (en) 2007-06-27 2014-12-24 Kabushiki Kaisha Toshiba Image processing apparatus, image processing method, image forming apparatus, image forming method, and recorded material
JP2009088614A (ja) 2007-09-27 2009-04-23 Toshiba Corp 画像処理方法および画像処理装置
US7995196B1 (en) 2008-04-23 2011-08-09 Tracer Detection Technology Corp. Authentication method and system
US8786665B2 (en) * 2010-04-27 2014-07-22 Lifesize Communications, Inc. Streaming a videoconference from a server including boundary information for client layout adjustment
US8786667B2 (en) 2011-04-26 2014-07-22 Lifesize Communications, Inc. Distributed recording of a videoconference in multiple formats
US8780166B2 (en) 2011-04-26 2014-07-15 Lifesize Communications, Inc. Collaborative recording of a videoconference using a recording server
US8868902B1 (en) * 2013-07-01 2014-10-21 Cryptite LLC Characteristically shaped colorgram tokens in mobile transactions
US9332309B2 (en) * 2012-06-08 2016-05-03 Apple Inc. Sync frame recovery in real time video transmission system
WO2013188807A2 (en) * 2012-06-14 2013-12-19 Digimarc Corporation Methods and systems for signal processing
US10826900B1 (en) * 2014-12-31 2020-11-03 Morphotrust Usa, Llc Machine-readable verification of digital identifications
US10050796B2 (en) * 2016-11-09 2018-08-14 Arizona Board Of Regents On Behalf Of Northern Arizona University Encoding ternary data for PUF environments
JP7315949B2 (ja) 2019-04-26 2023-07-27 学校法人 関西大学 高強度ゲル体およびその作製方法ならびにハイドロゲルおよびその作製方法
CN111986127B (zh) * 2019-05-22 2022-03-08 腾讯科技（深圳）有限公司 一种图像处理方法、装置、计算机设备和存储介质
JP2023042893A (ja) * 2021-09-15 2023-03-28 株式会社リコー 画像処理装置、読取装置、画像形成装置、および特徴量検出方法

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0659739A (ja) 1992-08-07 1994-03-04 Sumitomo Heavy Ind Ltd 二重テーブル旋回装置
US5407893A (en) * 1993-08-19 1995-04-18 Konica Corporation Material for making identification cards
US6614914B1 (en) * 1995-05-08 2003-09-02 Digimarc Corporation Watermark embedder and reader
US6681029B1 (en) * 1993-11-18 2004-01-20 Digimarc Corporation Decoding steganographic messages embedded in media signals
US6345104B1 (en) * 1994-03-17 2002-02-05 Digimarc Corporation Digital watermarks and methods for security documents
JP3224480B2 (ja) * 1994-09-30 2001-10-29 キヤノン株式会社 カラー画像処理装置
US5995638A (en) * 1995-08-28 1999-11-30 Ecole Polytechnique Federale De Lausanne Methods and apparatus for authentication of documents by using the intensity profile of moire patterns
US6095566A (en) * 1996-03-14 2000-08-01 Kabushiki Kaisha Toshiba Image recorded product, image recording system, image reproducing system, and recording medium for use to superimpose-record/reproduce additional information
JP3547892B2 (ja) 1996-03-14 2004-07-28 株式会社東芝 画像記録装置及び画像記録方法
US6788347B1 (en) * 1997-03-12 2004-09-07 Matsushita Electric Industrial Co., Ltd. HDTV downconversion system
US5974150A (en) * 1997-09-30 1999-10-26 Tracer Detection Technology Corp. System and method for authentication of goods
JPH11168616A (ja) 1997-12-03 1999-06-22 Toshiba Corp 画像情報処理方法および画像情報処理装置
JP4015753B2 (ja) 1998-06-11 2007-11-28 株式会社東芝 画像情報処理方法
EP0921675B1 (en) * 1997-12-03 2006-07-05 Kabushiki Kaisha Toshiba Method of processing image information and method of preventing forgery of certificates or the like
US6519340B1 (en) * 1998-03-17 2003-02-11 The University Of Connecticut Method and apparatus for encryption using partial information
CA2269651A1 (en) * 1998-05-12 1999-11-12 Lucent Technologies, Inc. Transform domain image watermarking method and system
US5946414A (en) * 1998-08-28 1999-08-31 Xerox Corporation Encoding data in color images using patterned color modulated image regions
JP2000182086A (ja) 1998-12-18 2000-06-30 Toshiba Corp 券発行方法および券照合方法
US6556688B1 (en) * 1999-03-15 2003-04-29 Seiko Epson Corporation Watermarking with random zero-mean patches for printer tracking
EP1208537B1 (en) * 1999-10-26 2005-03-02 Koninklijke Philips Electronics N.V. Image processing method, system and apparatus for noise reduction in an image sequence representing a threadlike structure
JP4495824B2 (ja) 2000-03-21 2010-07-07 株式会社東芝 情報処理方法
JP4038956B2 (ja) 2000-03-23 2008-01-30 凸版印刷株式会社 画像生成システム及び画像生成方法
JP4218920B2 (ja) * 2000-04-07 2009-02-04 キヤノン株式会社 画像処理装置及び画像処理方法並びに記憶媒体
JP4554771B2 (ja) 2000-06-20 2010-09-29 パナソニック株式会社 正当性認証システム、個人証発行システム及び個人証
WO2002043000A2 (en) * 2000-11-22 2002-05-30 S. H. Hi Start Ltd. Hiding images in halftone pictures
EP1215880A3 (en) * 2000-12-07 2003-08-13 Sony United Kingdom Limited Embedding data in material
US6937772B2 (en) * 2000-12-20 2005-08-30 Eastman Kodak Company Multiresolution based method for removing noise from digital images
JP4828739B2 (ja) * 2001-08-17 2011-11-30 株式会社東芝 熱転写記録方法、プリンタシステムおよび熱転写記録装置
US6829393B2 (en) * 2001-09-20 2004-12-07 Peter Allan Jansson Method, program and apparatus for efficiently removing stray-flux effects by selected-ordinate image processing

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101023616B1 (ko) * 2007-08-17 2011-03-21 가부시끼가이샤 도시바 화상 처리 방법 및 화상 처리 장치

Also Published As

Publication number Publication date
TWI280489B (en) 2007-05-01
JP4227048B2 (ja) 2009-02-18
EP1471722A3 (en) 2005-07-06
KR100605432B1 (ko) 2006-07-31
EP1471722B1 (en) 2009-04-08
US6883982B2 (en) 2005-04-26
ATE428263T1 (de) 2009-04-15
JP2004343712A (ja) 2004-12-02
US20040215965A1 (en) 2004-10-28
DE602004020416D1 (de) 2009-05-20
EP1471722A2 (en) 2004-10-27
TW200426606A (en) 2004-12-01
CA2465088A1 (en) 2004-10-25

Similar Documents

Publication Publication Date Title
KR100605432B1 (ko) 화상 처리 시스템
JP4167590B2 (ja) 画像処理方法
US7489800B2 (en) Image processing method
EP1370065A2 (en) Method and apparatus for reproducing a colour image based on monochrome images derived therefrom
JPH0797822B2 (ja) ハーフトーンのイメージにデジタル・データをコード化するためのシステム
WO2008035401A1 (fr) Dispositif d&#39;intégration d&#39;un filigrane électronique et dispositif de détection
JP2005159438A (ja) 画像処理方法
JP4064863B2 (ja) 画像処理方法
JP4746663B2 (ja) 画像処理装置および画像処理方法
US20040086196A1 (en) Method for digital image alteration detection and original digital image recovery
JP4088191B2 (ja) 画像処理方法および画像記録装置
JP4686578B2 (ja) 画像処理方法
JP2006042058A (ja) 画像処理方法、画像印刷方法、画像印刷装置および印刷物
JP2001094755A (ja) 画像処理方法
JP5454094B2 (ja) 画像変換方法、画像変換装置、画像変換システム及び画像変換プログラム
Haiping Bi-level Image Watermarking and Distortion Measure
CA2545472A1 (en) Image processing method

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130701

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20140630

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20150619

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20160624

Year of fee payment: 11

FPAY Annual fee payment

Payment date: 20170616

Year of fee payment: 12

FPAY Annual fee payment

Payment date: 20190617

Year of fee payment: 14