KR101347577B1 - 화상처리장치, 화상형성장치 및 화상처리방법 - Google Patents

화상처리장치, 화상형성장치 및 화상처리방법 Download PDF

Info

Publication number
KR101347577B1
KR101347577B1 KR1020080121307A KR20080121307A KR101347577B1 KR 101347577 B1 KR101347577 B1 KR 101347577B1 KR 1020080121307 A KR1020080121307 A KR 1020080121307A KR 20080121307 A KR20080121307 A KR 20080121307A KR 101347577 B1 KR101347577 B1 KR 101347577B1
Authority
KR
South Korea
Prior art keywords
image
area
pixel
incident light
scan
Prior art date
Application number
KR1020080121307A
Other languages
English (en)
Other versions
KR20100038025A (ko
Inventor
콴 도
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to US12/512,170 priority Critical patent/US8330997B2/en
Publication of KR20100038025A publication Critical patent/KR20100038025A/ko
Application granted granted Critical
Publication of KR101347577B1 publication Critical patent/KR101347577B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00681—Detecting the presence, position or size of a sheet or correcting its position before scanning
    • H04N1/00742—Detection methods
    • H04N1/0075—Detecting a change in reflectivity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4023—Scaling of whole images or parts thereof, e.g. expanding or contracting based on decimating pixels or lines of pixels; based on inserting pixels or lines of pixels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00681—Detecting the presence, position or size of a sheet or correcting its position before scanning
    • H04N1/00729—Detection means
    • H04N1/00734—Optical detectors
    • H04N1/00737—Optical detectors using the scanning elements as detectors

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Image Input (AREA)

Abstract

화상처리장치의 화상처리방법이 개시되어 있다. 이 화상처리장치의 화상처리방법은, 대상체를 스캔하여 스캔 화상을 출력하는 단계와; 대상체의 스캔 시 외부로부터 광이 입사하면 이 외부 입사광의 입사 각도 변화에 따라서 상이하게 형성되는 픽셀값 분포 패턴을 기초로 하여, 스캔 화상에서 외부 입사광에 의한 비화상 영역을 검출하는 단계와; 스캔 화상으로부터 비화상 영역을 제거하여 대상체에 의한 화상 영역을 도출하는 단계를 포함하는 것을 특징으로 한다.

Description

화상처리장치, 화상형성장치 및 화상처리방법{IMAGE PROCESSING APPARATUS, IMAGE FORMING APPARATUS AND IMAGE PROCESSING METHOD}
본 발명은 대상체에 대하여 스캔 화상을 독취하는 화상처리장치, 화상형성장치 및 화상처리방법에 관한 것으로서, 상세하게는 스캔 화상을 독취할 때에 대상체의 바운더리(boundary)를 검출하는 구조의 화상처리장치, 화상형성장치 및 화상처리방법에 관한 것이다.
화상처리장치는 대상체에 대하여 화상을 독취하고 이 독취한 화상을 처리하는 장치로서, 일반적으로 스캐너(scanner)로 구현될 수 있다.
화상처리장치는 소정의 대상체를 투명한 평판 상에 안착시키고, 이 평판 하부에서 이동하는 스캐닝유닛에 의해 대상체의 스캔화상을 독취한다. 화상처리장치는 컴퓨터본체 등의 호스트에 접속되며, 독취한 스캔화상을 호스트에 전송할 수 있다.
화상처리장치는 스캐닝유닛이 광빔을 대상체로 투사하여 스캔화상을 독취하므로, 이 광빔이 외부로 누출되지 않도록 투명 평판 및 대상체를 덮는 커버를 가진다.
그런데, 대상체를 스캔할 때에, 대상체가 두꺼운 책이므로 대상체 자체의 두께 때문에 커버를 덮기에 곤란하거나, 또는 책의 여러 페이지를 스캔하는 경우와 같이 사용자의 편의를 위해 커버를 덮지 않는 경우가 있다. 이러한 경우에는 화상처리장치의 외부로부터 광이 입사하게 되며, 이 때문에 스캐닝유닛에 의한 스캔 화상은 대상체에 의한 화상 영역 및 상기한 외부 입사광에 의한 비화상 영역이 함께 포함된다.
종래의 화상처리장치는 스캔 화상에서 이러한 비화상 영역을 화상 영역으로 판단하여 처리하므로, 이렇게 처리된 스캔 화상은 대상체의 실제 바운더리를 왜곡하게 된다. 따라서, 스캔 화상에서 이러한 비화상 영역을 제외할 수 있다면, 실제 바운더리를 왜곡 없이 도출함으로써 최초 스캔 화상으로부터 대상체의 화상 영역을 확정할 수 있을 것이다.
이에, 본 발명은 스캐닝유닛에 의한 스캔 화상으로부터 외부 입력광에 의한 스캔 영역을 포함하는 비화상 영역을 제거함으로써, 대상체에 의한 화상 영역의 실제 바운더리를 도출하는 화상처리장치, 화상형성장치 및 화상처리방법을 제공하는 것을 목적으로 한다.
상기 목적을 달성하기 위해 본 발명의 실시예에 따른 화상처리장치의 화상처리방법은, 대상체를 스캔하여 스캔 화상을 출력하는 단계와; 상기 대상체의 스캔 시 외부로부터 광이 입사하면 상기 외부 입사광의 입사 각도 변화에 따라서 상이하게 형성되는 픽셀값 분포 패턴을 기초로 하여, 상기 스캔 화상에서 상기 외부 입사광에 의한 비화상 영역을 검출하는 단계와; 상기 스캔 화상으로부터 상기 비화상 영역을 제거하여 상기 대상체에 의한 화상 영역을 도출하는 단계를 포함하는 것을 특징으로 한다.
여기서, 상기 출력된 스캔 화상이 포함하는 픽셀의 그레이 레벨 패턴에 기초하여 상기 스캔 화상의 에지 픽셀을 검출하는 단계를 더 포함하며, 상기 대상체에 의한 화상 영역을 도출하는 단계는, 상기 검출된 에지 픽셀의 분포에 따라서 상기 스캔 화상을 복수 영역으로 구획하여 상기 비화상 영역을 제거하는 단계를 포함할 수 있다.
여기서, 상기 비화상 영역을 검출하는 단계는, 상기 외부 입사광의 입사 각도가 90도인 경우와 90도 미만인 경우에 각각 형성되는 상기 픽셀값 분포 패턴을 기준으로 상기 외부 입사광에 의한 비화상 영역을 판단하는 단계를 포함할 수 있다.
여기서, 상기 외부 입사광에 의한 비화상 영역을 판단하는 단계는, 상기 스캔 화상의 로우(row) 구간을 따른 복수 픽셀의 픽셀값이 흑색에서 백색으로 증가하여 상기 백색 구간이 연속하다가 소정 픽셀값으로 감소하는 패턴이 칼럼(column)을 따라서 반복되면, 입사 각도가 90도인 상기 외부 입사광에 의해 형성된 것으로 판단하는 단계를 포함할 수 있다.
또한, 상기 외부 입사광에 의한 비화상 영역을 판단하는 단계는, 상기 스캔 화상의 일 스캔 영역에 대하여 색상의 산란도가 기 설정값 이상이고 상기 검출된 에지 픽셀이 없거나 기 설정값 이하이면, 상기 스캔 영역은 입사 각도가 90도 미만인 상기 외부 입사광에 의해 형성된 것으로 판단하는 단계를 포함할 수 있다.
또한, 상기 대상체에 의한 화상 영역을 도출하는 단계는, 상기 에지 픽셀의 분포 패턴을 기초로 하여 상기 에지 픽셀에 의한 예비 바운더리를 지정하는 단계와; 상기 예비 바운더리에 의한 상기 스캔 화상의 구획 영역 중에서 상기 비화상 영역을 판별하여 상기 화상 영역의 바운더리를 결정하는 단계를 포함할 수 있다.
또한, 상기 비화상 영역은 상기 외부 입사광 및 상기 대상체에 의해 형성되지 않은 제1비화상 영역과, 상기 외부 입사광에 의해 형성된 제2비화상 영역을 포함하며, 상기 화상 영역의 바운더리를 결정하는 단계는, 상기 구획 영역이 상기 제1비화상 영역 또는 상기 제2비화상 영역인지 여부를 판단하여, 상기 구획 영역을 선택적으로 제거 또는 보존하는 단계를 포함할 수 있다.
여기서, 상기 구획 영역을 선택적으로 제거 또는 보존하는 단계는, 상기 구획 영역이 포함하는 흑색 픽셀의 점유율이 기 설정값 이상인지 판단하는 단계와; 상기 판단 결과에 기초하여, 상기 구획 영역에 90도 또는 90도 미만으로 입사된 상기 외부 입사광에 의한 픽셀값 분포 패턴이 존재하는지 여부를 판단하는 단계를 포함할 수 있다.
여기서, 상기 구획 영역을 선택적으로 제거 또는 보존하는 단계는, 상기 외부 입사광에 의한 픽셀값 분포 패턴이 존재하는 것으로 판단하면, 상기 에지 픽셀이 기 설정값 이상인지 여부를 판단하는 단계와; 상기 에지 픽셀이 기 설정값 이상 이면 상기 구획 영역을 보존하고, 상기 에지 픽셀이 기 설정값 미만이면 상기 구획 영역을 제거하는 단계를 더 포함할 수 있다.
또한, 상기 외부 입사광에 의한 픽셀값 분포 패턴이 존재하는지 판단하는 단계는, 상기 흑색 픽셀의 점유율이 기 설정값 이상이면, 90도로 입사된 상기 외부 입사광에 의한 픽셀값 분포 패턴이 존재하는지 여부를 판단하는 단계와; 상기 흑색 픽셀의 점유율이 기 설정값 미만이면, 90도 미만으로 입사된 상기 외부 입사광에 의한 픽셀값 분포 패턴이 존재하는지 여부를 판단하는 단계를 포함할 수 있다.
또한, 상기 스캔 화상의 에지 픽셀을 검출하는 단계는, 상기 스캔 화상이 포함하는 복수 픽셀 중 어느 하나의 픽셀이 인접하는 픽셀과의 그레이 레벨 변화량이 기 설정값 이상이면, 상기 어느 하나의 픽셀을 상기 에지 픽셀로 판단하는 단계를 포함할 수 있다.
또한, 상기 목적을 달성하기 위해 본 발명의 실시예에 따른 화상처리장치는, 대상체를 스캔하여 스캔 화상을 출력하는 스캐닝유닛과; 상기 스캐닝유닛에 의한 스캔 시 외부로부터 광이 입사하면 상기 외부 입사광의 입사 각도 변화에 따라서 상이하게 형성되는 픽셀값 분포 패턴을 기초로 하여 상기 스캔 화상에서 상기 외부 입사광에 의한 비화상 영역을 검출하며, 상기 스캔 화상으로부터 상기 비화상 영역을 제거하여 상기 대상체에 의한 화상 영역을 도출하는 화상처리부를 포함하는 것을 특징으로 한다.
여기서, 상기 화상처리부는, 상기 출력된 스캔 화상이 포함하는 픽셀의 그레이 레벨 패턴에 기초하여 상기 스캔 화상의 에지 픽셀을 검출하며, 상기 검출된 에 지 픽셀의 분포에 따라서 상기 스캔 화상을 복수 영역으로 구획하여 상기 비화상 영역을 제거할 수 있다.
여기서, 상기 화상처리부는, 상기 외부 입사광의 입사 각도가 90도인 경우와 90도 미만인 경우에 각각 형성되는 상기 픽셀값 분포 패턴을 기준으로 상기 외부 입사광에 의한 비화상 영역을 판단할 수 있다.
여기서, 상기 화상처리부는, 상기 스캔 화상의 로우(row) 구간을 따른 복수 픽셀의 픽셀값이 흑색에서 백색으로 증가하여 상기 백색 구간이 연속하다가 소정 픽셀값으로 감소하는 패턴이 칼럼(column)을 따라서 반복되면, 입사 각도가 90도인 상기 외부 입사광에 의해 형성된 것으로 판단할 수 있다.
또한, 상기 화상처리부는, 상기 스캔 화상의 일 스캔 영역에 대하여 색상의 산란도가 기 설정값 이상이고 상기 검출된 에지 픽셀이 없거나 기 설정값 이하이면, 상기 스캔 영역은 입사 각도가 90도 미만인 상기 외부 입사광에 의해 형성된 것으로 판단할 수 있다.
또한, 상기 화상처리부는, 상기 에지 픽셀의 분포 패턴을 기초로 하여 상기 에지 픽셀에 의한 예비 바운더리를 지정하며, 상기 예비 바운더리에 의한 상기 스캔 화상의 구획 영역 중에서 상기 비화상 영역을 판별하여 상기 화상 영역의 바운더리를 결정할 수 있다.
또한, 상기 비화상 영역은 상기 외부 입사광 및 상기 대상체에 의해 형성되지 않은 제1비화상 영역과, 상기 외부 입사광에 의해 형성된 제2비화상 영역을 포함하며, 상기 화상처리부는, 상기 구획 영역이 상기 제1비화상 영역 또는 상기 제2 비화상 영역인지 여부를 판단하여, 상기 구획 영역을 선택적으로 제거 또는 보존할 수 있다.
여기서, 상기 화상처리부는, 상기 구획 영역이 포함하는 흑색 픽셀의 점유율이 기 설정값 이상인지 판단하고, 상기 판단 결과에 기초하여 상기 구획 영역에 90도 또는 90도 미만으로 입사된 상기 외부 입사광에 의한 픽셀값 분포 패턴이 존재하는지 여부를 판단할 수 있다.
여기서, 상기 화상처리부는, 상기 외부 입사광에 의한 픽셀값 분포 패턴이 존재하는 것으로 판단하면, 상기 에지 픽셀이 기 설정값 이상인지 여부를 판단하며, 상기 에지 픽셀이 기 설정값 이상이면 상기 구획 영역을 보존하고, 상기 에지 픽셀이 기 설정값 미만이면 상기 구획 영역을 제거할 수 있다.
여기서, 상기 화상처리부는, 상기 흑색 픽셀의 점유율이 기 설정값 이상이면 90도로 입사된 상기 외부 입사광에 의한 픽셀값 분포 패턴이 존재하는지 여부를 판단하며, 상기 흑색 픽셀의 점유율이 기 설정값 미만이면 90도 미만으로 입사된 상기 외부 입사광에 의한 픽셀값 분포 패턴이 존재하는지 여부를 판단할 수 있다.
또한, 상기 화상처리부는, 상기 스캔 화상이 포함하는 복수 픽셀 중 어느 하나의 픽셀이 인접하는 픽셀과의 그레이 레벨 변화량이 기 설정값 이상이면, 상기 어느 하나의 픽셀을 상기 에지 픽셀로 판단할 수 있다.
또한, 상기 목적을 달성하기 위해 본 발명의 실시예에 따른 화상형성장치는, 상기한 구조에 따른 화상처리장치와; 상기 화상처리장치로부터 출력된 상기 대상체에 의한 화상을 인쇄매체 상에 인쇄하는 인쇄유닛을 포함하는 것을 특징으로 한다.
또한, 상기 목적을 달성하기 위해 본 발명의 실시예에 따른 화상처리장치의 화상처리방법은, 대상체를 스캔하여 스캔 화상을 출력하는 단계와; 상기 스캔 화상에서, 상기 대상체의 스캔 시 외부로부터 입사하는 광의 입사 각도에 따라서 상이하게 형성되는 스캔 영역을 검출하는 단계와; 상기 스캔 영역의 검출 결과에 기초하여 상기 스캔 화상을 처리하는 단계를 포함하는 것을 특징으로 한다.
여기서, 상기 스캔 영역을 검출하는 단계는, 상기 외부 입사광의 입사 각도가 90도인 경우와 90도 미만인 경우에 각각 형성되는 픽셀값 분포 패턴을 기준으로 상기 외부 입사광에 의한 스캔 영역을 판단하는 단계를 포함할 수 있다.
여기서, 상기 외부 입사광에 의한 스캔 영역을 판단하는 단계는, 상기 스캔 화상의 로우 구간을 따른 복수 픽셀의 픽셀값이 흑색에서 백색으로 증가하여 상기 백색 구간이 연속하다가 소정 픽셀값으로 감소하는 패턴이 칼럼을 따라서 반복되면, 입사 각도가 90도인 상기 외부 입사광에 의해 형성된 것으로 판단하는 단계를 포함할 수 있다.
또한, 상기 출력된 스캔 화상이 포함하는 픽셀의 그레이 레벨 패턴에 기초하여 상기 스캔 화상의 에지 픽셀을 검출하는 단계를 더 포함할 수 있다.
여기서, 상기 외부 입사광에 의한 스캔 영역을 판단하는 단계는, 상기 스캔 화상의 일 영역에 대하여, 색상의 산란도가 기 설정값 이상이고 상기 에지 픽셀이 없거나 기 설정값 이하이면, 상기 영역은 입사 각도가 90도 미만인 상기 외부 입사광에 의해 형성된 것으로 판단하는 단계를 포함할 수 있다.
또한, 상기 스캔 화상의 에지 픽셀을 검출하는 단계는, 상기 스캔 화상이 포 함하는 복수 픽셀 중 어느 하나의 픽셀이 인접하는 픽셀과의 그레이 레벨 변화량이 기 설정값 이상이면, 상기 어느 하나의 픽셀을 상기 에지 픽셀로 판단하는 단계를 포함할 수 있다.
또한, 상기 스캔 화상을 처리하는 단계는, 상기 검출된 에지 픽셀의 분포에 따라서 상기 스캔 화상을 복수 영역으로 구획하는 단계와; 상기 구획된 영역 중 상기 외부 입사광에 의한 스캔 영역을 제거하여, 상기 대상체에 의한 스캔 영역을 도출하는 단계를 포함할 수 있다.
또한, 상기 비화상 영역은 상기 외부 입사광 및 상기 대상체에 의해 형성되지 않은 제1비화상 영역과, 상기 외부 입사광에 의해 형성된 제2비화상 영역을 포함하며, 상기 스캔 화상을 처리하는 단계는, 상기 검출된 에지 픽셀의 분포에 따라서 상기 스캔 화상을 복수 영역으로 구획하는 단계와; 상기 구획 영역이 상기 제1비화상 영역 또는 상기 제2비화상 영역인지 여부를 판단하여, 상기 구획 영역을 선택적으로 제거 또는 보존하는 단계를 포함할 수 있다.
여기서, 상기 구획 영역을 선택적으로 제거 또는 보존하는 단계는, 상기 구획 영역이 포함하는 흑색 픽셀의 점유율이 기 설정값 이상인지 판단하는 단계와; 상기 판단 결과에 기초하여, 상기 구획 영역에 90도 또는 90도 미만으로 입사된 상기 외부 입사광에 의한 픽셀값 분포 패턴이 존재하는지 여부를 판단하는 단계를 포함할 수 있다.
여기서, 상기 구획 영역을 선택적으로 제거 또는 보존하는 단계는, 상기 외부 입사광에 의한 픽셀값 분포 패턴이 존재하는 것으로 판단하면, 상기 에지 픽셀 이 기 설정값 이상인지 여부를 판단하는 단계와; 상기 에지 픽셀이 기 설정값 이상이면 상기 구획 영역을 보존하고, 상기 에지 픽셀이 기 설정값 미만이면 상기 구획 영역을 제거하는 단계를 더 포함할 수 있다.
또한, 상기 외부 입사광에 의한 픽셀값 분포 패턴이 존재하는지 판단하는 단계는, 상기 흑색 픽셀의 점유율이 기 설정값 이상이면, 90도로 입사된 상기 외부 입사광에 의한 픽셀값 분포 패턴이 존재하는지 여부를 판단하는 단계와; 상기 흑색 픽셀의 점유율이 기 설정값 미만이면, 90도 미만으로 입사된 상기 외부 입사광에 의한 픽셀값 분포 패턴이 존재하는지 여부를 판단하는 단계를 포함할 수 있다.
본 발명에 따르면, 스캐닝유닛에 의한 스캔 화상으로부터 외부 입사광에 의해 형성된 비화상 영역을 검출함으로써, 스캔 화상에서 화상 영역의 실제 바운더리를 도출하여 대상체에 의한 화상 영역을 추출할 수 있다. 이에, 사용자가 원하는 대상체에 대한 화상만을 독취함으로써, 화상 데이터의 용량을 절감할 수 있다. 이로써, 스캔 화상을 인쇄매체 상에 형성하는 데에 소요되는 프로세스의 부하 및 현상제 소요 등을 절감할 수 있다.
또한, 외부 입사광의 입사 방식에 따라서 기 설정된 휘도 패턴에 기초하여 스캔 화상의 비화상 영역을 판단함으로써, 스캐닝 시 대상체를 덮는 커버의 개방 여부 또는 개방 각도를 판단하는 구성을 필요로 하지 않는다. 이에, 화상처리 프로세스를 간단하게 구성할 수 있다. 또한, 사용자가 수동으로 비화상 영역을 지정할 필요가 없으므로, 사용 편의성이 향상된다.
이하에서는 첨부도면을 참조하여 본 발명의 실시예에 대해 상세히 설명한다.
도 1은 본 발명의 실시예에 따른 화상처리장치(1)의 사시도이며, 도 2는 화상처리장치(1)에 관한 구성 블록도이다. 본 실시예에서는 화상처리장치(1)가 스캐너(1)인 것으로 표현하나, 이것이 본 발명의 사상을 한정하지 않으며, 화상처리장치(1)는 복합기(미도시)와 같이 화상을 독취하여 처리 가능한 제반 장치로 구현될 수 있다.
도 1 및 도 2에 도시된 바와 같이, 본 발명의 실시예에 따른 스캐너(1)는 대상체(T)를 스캐닝하여 스캔화상을 생성하고, 이 스캔화상을 다양한 방법으로 보정 처리하며, 처리된 최종 스캔화상을 컴퓨터본체(10)로 전송한다. 컴퓨터본체(10)는 스캐너(1)로부터 수신된 최종 스캔화상을 사용자가 가공할 수 있도록 저장한다. 컴퓨터본체(10)는 사용자의 조작에 따라서 스캐너(1)의 동작을 제어하는 제어 신호를 스캐너(1)에 전송할 수 있다.
본 실시예에 따른 스캐너(1)는 그 하위 구성이 한정되지 않으나 다음과 같은 구성요소를 포함한다. 스캐너(1)는 대상체(T)를 스캔하여 스캔화상을 생성 및 출력하는 스캐닝유닛(400)과, 이 출력된 스캔화상을 보정 처리하는 화상처리부(600)를 포함한다.
또한, 스캐너(1)는 외형을 형성하는 케이싱(100)과, 케이싱(100) 상측에 설치된 투명평판(200)과, 투명평판(200)을 덮거나 또는 개방하는 커버(300)와, 스캐닝유닛(400)으로부터의 스캔화상 또는 화상처리부(600)에 의하여 형성되는 후술할 에지 픽셀(edge pixel) 및 예비 바운더리(boundary candidates) 정보 등이 임시 저장되는 버퍼(buffer)(500)를 더 포함할 수 있다.
본 실시예에 따르면, 스캐너(1)는 대상체(T)를 스캔하여 스캔화상을 출력할 때 외부로부터 광이 입사하는 경우, 이 외부 입사광의 입사 각도 변화에 따라서 상이하게 형성되는 픽셀값 분포 패턴에 기초하여, 외부 입사광에 의한 비화상 영역을 스캔화상으로부터 검출한다. 그리고, 스캐너(1)는 이러한 비화상 영역을 고려하여 스캔화상에 대한 보정 처리를 수행한다. 이에 의하여, 스캔화상으로부터 비화상 영역을 제거하고 대상체(T)에 의한 화상 영역 및 그 바운더리를 추출할 수 있다.
여기서, 화상 영역은 스캔화상 중에서 대상체에 의해 형성된 스캔 영역, 즉 사용자가 독취하고자 하는 스캔 영역이다.
반면, 비화상 영역은 대상체(T)에 의해 형성된 것이 아닌 스캔 영역을 의미한다. 본 실시예에 따르면, 비화상 영역은 외부로부터의 광이 입력되지 않고 형성된 제1비화상 영역 및 외부 입력광에 의해 형성된 제2비화상 영역을 포함한다. 제1비화상 영역은 스캔 화상에서 흑색으로 나타나며, 제2비화상 영역은 외부 입력광의 입사 각도에 따라서 다양한 패턴으로 나타날 수 있다. 제1 및 제2비화상 영역이라는 용어는 이후 설명에서 계속 적용함을 밝힌다.
이하, 스캐너(1)의 하위 구성요소들에 관해 자세히 설명한다.
도 1에 도시된 바와 같이, 투명평판(200)은 케이싱(100) 상판에 설치되며 대상체(T)가 적재 또는 안착된다. 이 때 대상체(T)는 그 화상을 독취하고자 하는 일 영역이 투명평판(200)을 향하도록 하며, 스캐닝유닛(400)이 투명평판(200) 하측에 서 광빔을 투사함으로써 대상체(T)를 스캐닝한다. 이러한 광빔이 투명평판(200)을 통과할 때에 왜곡이 발생하여 스캐닝 불량이 일어나지 않도록, 투명평판(200)은 높은 투명도를 가진다.
커버(300)는 투명평판(200)을 포함한 케이싱(100) 상판을 덮음으로써 스캐닝유닛(400)에서 투사된 광빔이 스캐너(1) 외부로 누출되지 않도록 함으로써, 대상체(T)의 스캐닝에 기여한다. 커버(300)는 배면, 즉 투명평판(200)을 향한 판면이, 스캐닝유닛(400)으로부터의 투사된 광빔을 다시 스캐닝유닛(400)에 반사하도록 마련된다.
커버(300)는 그 배면의 색상이 한정되지는 않으나, 스캐닝유닛(400)으로부터의 광빔을 효과적으로 반사할 수 있도록 백색으로 형성된다. 이 때문에, 커버(300)가 덮인 상태에서 출력된 스캔화상의 비화상 영역은 백색으로 나타난다.
스캐닝유닛(400)은 케이싱(100) 내측에서 투명평판(200)의 하측에 설치되며, 투명평판(200)의 판면을 따라서 이동이 가능하다. 스캐닝유닛(400)은 투명평판(200) 상의 대상체(T)를 향해 광빔을 투사하면서 이동하며, 투사한 광빔을 수광하여 대상체(T)의 스캔화상을 얻는다.
도 2에 도시된 바와 같이, 스캐닝유닛(400)은 대상체(T)를 스캐닝하여 1차적으로 얻어진 스캔화상을 화상처리부(600)로 출력한다. 이 스캔화상은 각기 픽셀값을 가지는 복수의 픽셀(pixel)이 행과 열로 배치됨으로써 형성된다.
화상처리부(600)는 스캐닝유닛(400)으로부터 출력된 스캔화상으로부터, 제1비화상 영역 및 제2비화상 영역을 검출하여, 상기한 비화상 영역을 고려하여 스캔 화상에 대한 보정 처리를 수행한다. 자세하게는, 화상처리부(600)는 스캔화상에 대하여 다음과 같은 세 단계를 수행한다.
우선, 화상처리부(600)는 스캔화상이 포함하는 픽셀의 그레이 레벨(gray level) 패턴에 기초하여, 스캔 화상의 픽셀 중에서 에지 픽셀을 검출하는 제1단계를 수행한다.
화상처리부(600)는 스캔화상의 기 설정된 픽셀값의 분포 패턴에 기초하여, 스캔화상 중에서 외부 입사광에 의해 형성되지 않은 제1비화상 영역 및 외부 입사광에 의해 형성된 제2비화상 영역을 검출하는 제2단계를 수행한다. 여기서, 상기한 픽셀값의 분포 패턴은 외부 입사광의 입사 각도에 따라서 상이하게 형성된다.
화상처리부(600)는 제1단계에서 검출된 에지 픽셀의 분포에 따라서 스캔화상을 복수의 영역으로 구획하고, 이 구획 영역 중에서 제2단계에서 검출된 비화상 영역을 제거하여, 화상 영역 및 이 화상 영역의 바운더리를 도출하는 제3단계를 수행한다.
이하, 화상처리부(600)가 수행하는 각 단계에 관해 자세히 설명한다.
제1단계에서, 화상처리부(600)는 스캔화상의 각 픽셀에 대하여, 해당 픽셀이 인접하는 픽셀에 비해 그레이 레벨 변화량이 현저한지 확인한다. 즉, 판단 대상이 되는 픽셀의 그레이 레벨 값을 상호 인접하는 픽셀과 비교하여, 그 차이가 기 설정값 이상이 된다고 판단하면, 해당 픽셀을 에지 픽셀로 판단한다.
에지 픽셀을 검출하는 방법은 다양한 방법이 적용될 수 있다. 예를 들면 소벨(Sobel), 프리윗(Prewitt), 로버트(Robert), 라플라시안(Laplacian) 등의 미분 연산자 마스크를 적용함으로써 각 픽셀에 대응하여 수평 및 수직방향에 대한 미분값의 경사를 구하고, 상기 경사값이 기 설정값 이상인지 여부에 따라서 에지 픽셀 여부를 판단할 수 있다. 그러나, 이는 본 발명의 사상을 한정하지 않으며, 다양한 방법이 적용될 수 있다.
제2단계에서, 화상처리부(600)는 스캔화상 중 대상체에 의한 스캔영역이 아닌 비화상 영역을 검출한다. 이러한 비화상 영역은 전술한 바와 같이 제1비화상 영역 및 제2비화상 영역으로 구분할 수 있다.
제1비화상 영역의 경우 픽셀의 색상이 실질적인 흑색을 가지며, 에지 픽셀이 없거나 또는 소정 수량 이하로 현저히 적은 영역이다. 화상처리부(600)는 이러한 기준에 대응하는 스캔 영역을 제1비화상 영역으로 판단한다.
한편, 제2비화상 영역은 외부 입사광에 의해 형성되는 스캔 영역으로서, 외부 입사광의 입사 각도에 따라서 스캔 화상에 나타나는 픽셀값의 분포 패턴이 상이하다. 화상처리부(600)는 이러한 기 설정된 픽셀값 분포 패턴을 기준으로 하여 제2비화상 영역을 판단할 수 있다.
제3단계에서, 화상처리부(600)는 에지 픽셀의 분포 패턴을 기초로 하여 이러한 에지 픽셀에 의한 예비 바운더리를 복수 개 지정한다. 예를 들면, 스캔 화상을 로우(row) 또는 칼럼(column) 별로 분포하는 에지 픽셀의 수량이 소정 값 이상인 경우에, 상기 분포하는 에지 픽셀에 의한 픽셀 라인을 예비 바운더리로 지정할 수 있다. 또는, 소정의 방향성을 가지고 상호 인접하게 연속하는 에지 픽셀의 수량이 소정 값 이상인 경우, 이를 예비 바운더리로 지정할 수 있다. 이러한 방법은 다양 하게 지정될 수 있으며, 본 발명의 사상을 한정하지 않는다.
화상처리부(600)는 예비 바운더리가 지정되면, 이에 의하여 스캔화상을 구획한다. 화상처리부(600)는 이 구획된 영역에서 비화상 영역을 제거함으로써, 화상 영역 및 그 바운더리를 확정한다.
이하, 본 실시예에 따른 스캐너(1)에서 스캔 화상으로부터 화상 영역의 바운더리를 결정하는 방법의 예시에 대해 도 3 내지 도 8을 참조하여 설명한다.
도 3은 스캐너(1)의 커버(300)가 개방되었을 때에 외부 입사광(L1, L2)이 입사하는 형태를 나타낸 예시도이다.
도 3에 도시된 바와 같이, 커버(300)가 개방된 상태에서 스캐닝이 수행될 때, 외부로부터의 광은 투명평판(200)의 판면, 또는 스캐닝유닛(400)의 진행 방향에 대해 90도로 수직하게 입사하는 형태(L1), 또는 투명평판(200)의 판면에 대해 90도 미만인 각도 D를 가지고 입사하는 형태(L2)가 있다.
L1 형태의 입사광인 경우에는 스캔 화상에 흑색 바탕의 백색의 긴 칼럼(column)이 나타나며, L2 형태의 입사광인 경우에는 스캔 화상에 다양한 색상의 픽셀이 산란된 형태로 나타난다. 화상처리부(600)는 이와 같은 각 패턴을 기준으로 소정 스캔 영역이 L1 또는 L2 형태 중 어느 쪽의 입사광에 의한 것인지 판단할 수 있다. 이하, 각 패턴에 관한 자세한 설명은 후술한다.
도 4는 스캐닝유닛(400)에 의해 출력된 스캔화상의 예시도이다.
도 4에 도시된 바와 같이, 대상체(T)를 스캐닝유닛(400)에 의해 스캐닝하면, 대상체(T)에 의한 화상 영역(P) 및 그 이외의 비화상 영역이 함께 나타난다. 여기 서, 커버(300)를 개방한 상태에서 스캐닝하였다면, 외부 입력광에 의하지 않은 제1비화상 영역 및 외부 입력광에 의한 제2비화상 영역이 함께 나타날 수 있다.
도 4에는 화상 영역(P) 외에도 흑색 바탕에 백색의 긴 칼럼이 나타나 있는데, 이것은 90도의 각도로 입사된 외부 입사광에 의해 형성된 스캔 영역을 예시한 것이다.
도 5는 도 4의 스캔화상으로부터 에지 픽셀을 검출한 상태를 나타낸 예시도이다.
도 5에 도시된 바와 같이, 화상처리부(600)는 전술한 제1단계 과정을 수행하여 스캔 화상의 복수 픽셀 중에서 에지 픽셀을 판별하여 검출한다. 도 5에서는 에지 픽셀이 흑색으로 표현되어 있다. 여기서, 도 5를 도 4에 대비하면, 에지 픽셀이 화상 영역 내에도 산포되어 있으며, 흑색 바탕 및 백색 칼럼 사이의 경계선이 에지 픽셀에 의해 형성된 긴 라인을 형성하는 것을 알 수 있다.
이후, 화상처리부(600)는 스캔화상에서 비화상 영역을 검출하는 제2단계 과정을 수행한다. 화상처리부(600)는 스캔화상에서 제1비화상 영역 및 제2비화상 영역을 검출하며, 외부 입사광의 입사 각도에 따라서 상이한 픽셀값 분포 패턴에 기초하여 제2비화상 영역을 검출한다.
도 6은 도 4의 A 영역의 휘도 레벨을 나타낸 그래프이다.
도 6의 상측 그림은 도 4의 A 영역을 확대한 것이며, 하측 그래프는 A 영역의 로우(row) 위치 별 휘도 레벨을 나타낸 것이다. 도 6의 그래프에서, 가로축은 A 영역의 로우 위치에 대응하며, 세로축은 휘도 레벨을 의미한다. 도 6의 상측 그림 에서 흑색 영역은 휘도가 낮은 픽셀 영역이며, 백색 영역은 휘도가 상대적으로 높은 픽셀 영역을 의미한다.
그래프에서, A 영역의 로우 위치에 따른 픽셀은, 흑색 픽셀 영역인 Z1 구간, 그 픽셀값이 점차 상승하는 Z2 구간, 백색 픽셀 영역인 Z3 구간, 픽셀값이 소정의 레벨까지 재차 감소하는 Z4 구간으로 진행한다.
이와 같은 로우 구간의 픽셀값 변화 패턴이 칼럼을 따라서 반복되면, 화상처리부(600)는 90도로 입사된 외부 입사광에 의해 형성된 스캔 영역으로 판단한다. 이러한 스캔 영역은 도 4의 스캔화상 우측 영역에 나타난 바와 같이, 흑색 바탕의 긴 백색 칼럼 라인으로 나타난다.
한편, Z4 구간은 픽셀값이 재차 상승하는 Z5 구간, 백색 픽셀 영역인 Z6 구간, 그 픽셀값이 점차 하강하는 Z7 구간, 흑색 픽셀 영역인 Z8 구간으로 진행한다. 즉, Z5 내지 Z8 구간은 Z1 내지 Z4 구간과 대칭적인 패턴을 보이므로, 상기한 구간 또한 90도로 입사된 외부 입사광에 의해 형성된 것으로 판단할 수 있다.
한편, 도시되어 있지는 않으나, 스캔화상의 일 영역에 대하여, 색상의 산란도가 기 설정값 이상이고 에지 픽셀이 없는 경우, 화상처리부(600)는 해당 영역을 90도 미만의 각도로 입사된 외부 입사광에 의해 형성된 것으로 판단한다.
상기한 색상의 산란도에 관한 판단은 다양하게 설정될 수 있다. 예를 들면, 복수의 색상 그룹을 설정하고, 해당 영역의 픽셀이 가지는 색상값에 따라서 각 픽셀을 기 설정한 색상 그룹(Hue component)으로 분류한다. 각 색상 그룹 별로 제1설정값 이상인 그룹의 수가 제2설정값 이상인 경우에, 해당 영역의 색상의 산란도가 기 설정값 이상인 것으로 판단할 수 있으며, 이러한 영역에 에지 픽셀이 없는 경우에, 화상처리부(600)는 상기 영역이 90도 미만의 각도로 입사된 외부 입사광에 의한 것으로 판단할 수 있다.
전술한 바와 같은 기 설정 패턴을 기초로 하여, 화상처리부(600)는 제2단계를 통해 스캔화상의 제2비화상 영역을 도출할 수 있으며, 이는 도 7과 같이 나타날 수 있다.
도 7은 도 4의 스캔화상에서 외부 입력광에 의한 스캔 영역을 나타낸 예시도이다.
도 7에 도시된 바와 같이, 화상처리부(600)는 스캔화상으로부터 외부 입력광에 의한 영역, 자세하게는 90도로 입사된 외부 입력광에 의한 제2비화상 영역을 검출할 수 있다. 제2비화상 영역은 도 7에서 흑색으로 표시된 B 영역으로, 그 이외의 영역은 백색으로 표시되어 있다.
이후, 화상처리부(600)는 예비 바운더리 지정 및 비화상 영역의 제거에 의해, 화상 영역의 바운더리를 확정하는 제3단계를 수행한다.
도 8은 스캔화상이 에지 픽셀의 분포에 따라서 지정된 예비 바운더리에 의해 구획된 모습을 나타낸 예시도이다.
도 8에 도시된 바와 같이, 화상처리부(600)는 도 5와 같이 검출된 에지 픽셀의 분포에 기초하여 예비 바운더리(H3, H4, V3)를 설정한다. 이러한 예비 바운더리(H3, H4, V3)를 지정하는 방법은 한정되지 않으나, 예를 들면 로우 또는 칼럼의 픽셀 라인을 형성하는 에지 픽셀이 수가 기 설정값 이상인 경우에 상기한 픽셀 라 인을 예비 바운더리(H3, H4, V3)로 지정한다.
또한, 화상처리부(600)는 예비 바운더리(H3, H4, V3)가 지정되면, 이 예비 바운더리(H3, H4, V3)가 각기 로우 및 칼럼 방향으로 평행하도록 스캔화상의 기울기를 조정한다. 그리고, 기울기가 조정된 스캔화상의 최외곽 바운더리를 또다른 예비 바운더리(H1, H2, V1, V2)로 지정한다.
화상처리부(600)는 예비 바운더리(H1, H2, H3, H4, V1, V2, V3)를 지정하면, 이에 의하여 구획된 스캔화상의 각 스캔 영역에 대해 비화상 영역인지 여부를 판단한다. 이러한 판단은 칼럼 또는 로우 방향으로 순차적으로 수행될 수 있다.
도 8의 예를 들면, 화상처리부(600)는 스캔화상의 칼럼 방향으로, H1과 H3 사이의 영역에 제2비화상 영역이 존재하며, H3와 H4 사이의 영역에 비화상 영역의 조건에 해당하지 않는 스캔 영역 및 제2비화상 영역이 존재하며, H4와 H2 사이의 영역에 제2비화상 영역이 존재한다고 판단한다. 이에, 화상처리부(600)는 H1-H3 영역 및 H4-H2 영역을 제거하고, H3-H4 영역을 보존한다.
여기서, 비화상 영역의 조건에 해당하지 않는 스캔 영역이란, 전술한 비화상영역의 조건에 해당하지 않으며 화상 영역으로 기대되는 화상 정보를 포함하는 영역을 의미한다.
그리고, 화상처리부(600)는 보존된 H3-H4 영역의 로우 방향으로, V1과 V3 사이의 영역에 비화상 영역의 조건에 해당하지 않는 스캔 영역이 존재하며, V3와 V2 사이의 영역에 제2비화상 영역이 존재한다고 판단한다. 이에, 화상처리부(600)는 H3-H4 영역에서, V1-V3 영역을 보존하고 V3-V2 영역을 제거한다.
이에 의하여, 화상처리부(600)는 지정한 예비 바운더리(H1, H2, H3, H4, V1, V2, V3) 중에서 H3-H4 및 V1-V3를 화상 영역의 실제 바운더리로 확정하며, 이러한 실제 바운더리에 의해 형성된 영역을 화상 영역으로 확정할 수 있다.
이와 같이, 화상처리부(600)는 위와 같은 프로세스에 의해 화상 영역 및 그 바운더리를 확정함으로써, 스캔화상으로부터 외부 입력광 등에 의한 비화상 영역을 제거하고 대상체의 화상 영역을 추출할 수 있다.
이러한 구성에 의하여, 본 실시예에 따른 스캐너(1)에서 스캔 화상으로부터 비화상 영역을 검출하여 적용하는 과정에 대해 도 9를 참조하여 설명한다. 도 9는 이러한 과정을 개략적으로 나타낸 제어 흐름도이다.
도 9에 도시된 바와 같이, 스캐닝유닛(400)은 대상체(T)를 스캔하여 스캔화상을 출력한다(S100).
화상처리부(600)는 이 출력된 스캔화상의 픽셀값 분포 패턴에 기초하여, 외부 입사광에 의한 스캔 영역을 포함하는 비화상 영역을 상기한 스캔화상으로부터 검출한다(S110).
화상처리부(600)는 이 검출된 비화상 영역을 고려하여 스캔화상에 대한 보정 처리를 수행한다(S120).
이하, 본 실시예에 따른 스캐너(1)에서 스캔화상으로부터 비화상 영역을 제거하여 화상 영역의 바운더리를 결정하는 과정에 대해 도 10을 참조하여 설명한다. 도 10은 이러한 과정을 나타낸 제어 흐름도이다.
도 10에 도시된 바와 같이, 스캐닝유닛(400)은 대상체(T)를 스캔하여 스캔화 상을 출력한다(S200).
화상처리부(600)는 스캔화상으로부터 픽셀의 그레이 패턴에 기초하여 에지 픽셀을 검출한다(S210).
화상처리부(600)는 스캔화상으로부터 입사 각도에 따른 픽셀값 분포 패턴 별로 외부 입사광에 의한 스캔영역을 포함한 비화상 영역을 검출한다(S220).
화상처리부(600)는 에지 픽셀의 분포 패턴을 기초로 예비 바운더리를 지정하며(S230), 이 예비 바운더리에 의해 스캔화상을 복수의 영역으로 구획한다(S240).
화상처리부(600)는 구획된 영역이 비화상 영역인지 여부를 판단한다(S250). 화상처리부(600)는 비화상 영역으로 판단한 경우에 해당 영역을 제거하며(S260), 비화상 영역이 아니라고 판단한 경우에 해당 영역을 보존한다(S270). 화상처리부(600)는 나머지 구획된 영역이 있는지 확인하여(S280), 모든 구획 영역에 대해 상기한 과정을 반복한다.
화상처리부(600)는 스캔화상 중에서 제거되지 않고 보존된 영역을 화상 영역으로 지정하고, 그에 따른 바운더리를 결정한다(S290).
이러한 과정에 의해서, 커버(300)가 개방됨에 따라서 스캐닝 중에 외부로부터 광이 입력되더라도, 스캔화상에서 이러한 외부 입력광에 의한 영역을 제거하고, 대상체에 의한 화상 영역 및 그 바운더리를 결정할 수 있다.
한편, 상기와 같이 도 10에 나타난 과정 중에서, 예비 바운더리에 의해 구획된 스캔 화상의 영역을 비화상 영역으로 판단하는 방법은 본 발명의 사상 내에서 다양하게 지정될 수 있다. 이하, 구획된 소정의 스캔 영역이 비화상 영역인지 여부 를 판단하는 방법의 일 실시예에 관해, 도 11을 참조하여 설명한다.
도 11은 상기한 과정을 나타내는 제어 흐름도로서, 도 10에 나타난 과정 중에서 S250 내지 S270의 과정을 보다 자세히 나타낸 흐름도이다.
도 11에 도시된 바와 같이, 화상처리부(600)는 예비 바운더리에 의해 구획된 복수의 영역 중에서, 어느 하나의 구획 영역에 대한 판단을 개시한다(S300).
우선, 화상처리부(600)는 대상 영역의 바탕이 흑색인지 판단한다(S310). 바탕이 흑색인지 판단하는 방법은 다양하게 지정될 수 있으며, 예를 들면 전체 픽셀 중에서 흑색 픽셀의 점유율, 또는 복수의 흑색 픽셀이 상호 인접하는 빈도에 기초하여 판단할 수도 있다.
대상 영역의 바탕이 흑색이라고 판단하면, 화상처리부(600)는 90도로 입사된 외부 광에 의해 형성된 패턴이 대상 영역에 존재하는지 판단하여(S320), 존재한다고 판단하면 대상 영역을 제거한다.
화상처리부(600)는 90도로 입사된 외부 광에 의해 형성된 패턴이 대상 영역에 존재하지 않는다고 판단하면, 에지 픽셀이 소정 값 이상 존재하는지 판단한다(S330). 이는 대상 영역에 사용자가 독취하고자 하는 정보가 존재하는지 확인하기 위한 것이다.
화상처리부(600)는 에지 픽셀이 소정 값 이상 존재한다고 판단하면, 대상 영역을 보존한다. 반면, 에지 픽셀이 존재하지 않거나 또는 소정 값 미만으로 존재한다고 판단하면, 대상 영역을 제거한다.
한편, 대상 영역의 바탕이 흑색인지 여부를 판단하는 단계(S310)에서 대상 영역의 바탕이 흑색이 아니라고 판단하면, 화상처리부(600)는 90도 미만으로 입사된 외부 광에 의하여 형성된 패턴이 대상 영역에 존재하는지 판단한다(S340).
대상 영역에 90도 미만으로 입사된 외부 광에 의한 패턴이 존재하지 않는다고 판단하면, 화상처리부(600)는 백색 픽셀 및 90도로 입사된 외부 광에 의한 패턴이 있는지 판단하여(S350), 상기한 패턴이 존재하지 않으면 대상 영역을 보존하고, 상기한 패턴이 존재하면 대상 영역을 제거한다. 여기서, 백색 픽셀의 존재 여부를 함께 확인하는 이유는 90도로 입사된 외부 광에 의한 패턴이 흑색 바탕의 백색 칼럼으로 표현되기 때문이다.
대상 영역에 90도 미만으로 입사된 외부 광에 의한 패턴이 존재한다고 판단하면, 화상처리부(600)는 대상 영역에 에지 픽셀이 소정 값 이상인지 판단한다(S360). 화상처리부(600)는 에지 픽셀이 소정 값 이상 존재한다고 판단하면, 대상 영역을 보존한다. 반면, 에지 픽셀이 존재하지 않거나 또는 소정 값 미만으로 존재한다고 판단하면, 대상 영역을 제거한다.
여기서, 90도 미만으로 입사된 외부 광에 의한 패턴은 색상의 산란도가 소정의 제1설정값 이상이고 에지 픽셀이 없거나 소정의 제2설정값 이하인 경우이므로, S340 단계에서 S360 단계가 함께 수행될 수 있으며, 또는 S340 단계에서 색상의 산란도가 상기한 제1설정값 이상인지 여부만을 판단할 수도 있다.
이와 같은 프로세스에 의해 각 구획 영역이 비화상 영역인지를 판단함으로써, 비화상 영역으로 판단된 영역을 제거하고 그렇지 않은 영역을 보존함으로써, 결과적으로 대상체(T)에 의한 화상 영역을 얻을 수 있다.
한편, 도 12는 본 발명의 실시예에 따른 화상형성장치(50)를 나타내는 구성 블록도이다. 본 실시예에 따른 화상형성장치(50)는 복합기로 구현되며, 대상체(T)에 대한 화상을 처리하여 출력하는 화상처리장치(60)와, 화상처리장치(60)로부터 출력된 화상을 인쇄매체 상에 인쇄함으로써 가시 화상으로 구현하는 인쇄유닛(70)을 포함한다.
여기서, 화상처리장치(60)는 앞서 설명한 실시예에 따른 화상처리장치(1)와 동일한 구성을 가지므로, 그 설명을 생략한다. 화상형성장치(50)는 컴퓨터본체(10)와 데이터 송수신이 가능하게 접속되며, 화상처리장치(60)는 상기한 실시예와 같이 처리된 화상을 컴퓨터본체(10)에 전송하거나, 또는 인쇄유닛(70)에 출력할 수 있다.
인쇄유닛(70)은 화상처리장치(60)로부터 출력된 화상을 인쇄매체 상에 인쇄한다. 이를 위한 인쇄유닛(70)의 구성은 한정되지 않으며, 현상제 또는 잉크를 이용하여 인쇄매체 상에 상기한 화상을 가시적으로 형성할 수 있다.
상기한 실시예는 예시적인 것에 불과한 것으로, 당해 기술 분야의 통상의 지식을 가진 자라면 다양한 변형 및 균등한 타 실시예가 가능하다. 따라서, 본 발명의 진정한 기술적 보호범위는 하기의 특허청구범위에 기재된 발명의 기술적 사상에 의해 정해져야 할 것이다.
도 1은 본 발명의 실시예에 따른 화상처리장치의 사시도,
도 2는 도 1의 화상처리장치의 구성 블록도,
도 3은 도 1의 화상처리장치에서 커버 개방 시에 외부 입력광의 입력 형태를 나타낸 예시도,
도 4는 도 1의 화상처리장치에서 스캐닝유닛에 의한 스캔화상을 나타낸 예시도,
도 5는 도 4의 스캔화상으로부터 에지 픽셀을 검출한 상태를 나타낸 예시도,
도 6은 도 4의 A 영역의 로우 위치 별 휘도 레벨 변화를 나타낸 그래프,
도 7은 도 4의 스캔화상으로부터 외부 입력광에 의한 비화상 영역을 검출한 상태를 나타낸 예시도,
도 8은 도 4의 스캔화상에서 예비 바운더리에 의해 구획된 상태를 나타낸 예시도,
도 9는 도 1의 화상처리장치에서 스캔화상으로부터 비화상 영역을 고려한 보정 처리를 수행하는 과정을 개략적으로 나타낸 제어 흐름도,
도 10은 도 1의 화상처리장치에서 스캔화상으로부터 비화상 영역을 제거하여 화상 영역의 바운더리를 결정하는 과정을 나타낸 제어 흐름도,
도 11은 도 1의 화상처리장치에서 예비 바운더리에 의해 구획된 영역이 비화상 영역인지 여부를 판단하는 과정을 나타낸 제어 흐름도,
도 12는 본 발명의 실시예에 따른 화상처리장치를 포함하는 화상형성장치의 구성 블록도이다.
* 도면의 주요 부분에 대한 부호의 설명 *
1 : 화상처리장치 200 : 투명평판
300 : 커버 400 : 스캐닝유닛
600 : 화상처리부 T : 대상체

Claims (34)

  1. 화상처리장치의 화상처리방법에 있어서,
    대상체를 스캔하여 스캔 화상을 출력하는 단계와;
    상기 출력된 스캔 화상이 포함하는 픽셀의 그레이 레벨 패턴에 기초하여 상기 스캔 화상의 에지 픽셀을 검출하는 단계와;
    상기 대상체의 스캔 시 외부로부터 광이 입사하면 상기 외부 입사광의 입사 각도 변화에 따라서 상이하게 형성되는 픽셀값 분포 패턴을 기초로 하여, 상기 스캔 화상에서 상기 외부 입사광에 의한 비화상 영역을 검출하는 단계와;
    상기 스캔 화상으로부터 상기 비화상 영역을 제거하여 상기 대상체에 의한 화상 영역을 도출하는 단계를 포함하며,
    상기 대상체에 의한 화상 영역을 도출하는 단계는,
    상기 검출된 에지 픽셀의 분포에 따라서 상기 스캔 화상을 복수 영역으로 구획하여 상기 비화상 영역을 제거하는 단계를 포함하는 것을 특징으로 하는 화상처리방법.
  2. 삭제
  3. 제1항에 있어서,
    상기 비화상 영역을 검출하는 단계는,
    상기 외부 입사광의 입사 각도가 90도인 경우와 90도 미만인 경우에 각각 형성되는 상기 픽셀값 분포 패턴을 기준으로 상기 외부 입사광에 의한 비화상 영역을 판단하는 단계를 포함하는 것을 특징으로 하는 화상처리방법.
  4. 제3항에 있어서,
    상기 외부 입사광에 의한 비화상 영역을 판단하는 단계는,
    상기 스캔 화상의 로우(row) 구간을 따른 복수 픽셀의 픽셀값이 흑색에서 백색으로 증가하여 상기 백색 구간이 연속하다가 소정 픽셀값으로 감소하는 패턴이 칼럼(column)을 따라서 반복되면, 입사 각도가 90도인 상기 외부 입사광에 의해 형성된 것으로 판단하는 단계를 포함하는 것을 특징으로 하는 화상처리방법.
  5. 제3항에 있어서,
    상기 외부 입사광에 의한 비화상 영역을 판단하는 단계는,
    상기 스캔 화상의 일 스캔 영역에 대하여 색상의 산란도가 기 설정값 이상이고 상기 검출된 에지 픽셀이 없거나 기 설정값 이하이면, 상기 스캔 영역은 입사 각도가 90도 미만인 상기 외부 입사광에 의해 형성된 것으로 판단하는 단계를 포함하는 것을 특징으로 하는 화상처리방법.
  6. 제1항과, 제3항 내지 제5항 중 어느 한 항에 있어서,
    상기 대상체에 의한 화상 영역을 도출하는 단계는,
    상기 에지 픽셀의 분포 패턴을 기초로 하여 상기 에지 픽셀에 의한 예비 바운더리를 지정하는 단계와;
    상기 예비 바운더리에 의한 상기 스캔 화상의 구획 영역 중에서 상기 비화상 영역을 판별하여 상기 화상 영역의 바운더리를 결정하는 단계를 포함하는 것을 특징으로 하는 화상처리방법.
  7. 제6항에 있어서,
    상기 비화상 영역은 상기 외부 입사광 및 상기 대상체에 의해 형성되지 않은 제1비화상 영역과, 상기 외부 입사광에 의해 형성된 제2비화상 영역을 포함하며,
    상기 화상 영역의 바운더리를 결정하는 단계는,
    상기 구획 영역이 상기 제1비화상 영역 또는 상기 제2비화상 영역인지 여부를 판단하여, 상기 구획 영역을 선택적으로 제거 또는 보존하는 단계를 포함하는 것을 특징으로 하는 화상처리방법.
  8. 제7항에 있어서,
    상기 구획 영역을 선택적으로 제거 또는 보존하는 단계는,
    상기 구획 영역이 포함하는 흑색 픽셀의 점유율이 기 설정값 이상인지 판단하는 단계와;
    상기 판단 결과에 기초하여, 상기 구획 영역에 90도 또는 90도 미만으로 입사된 상기 외부 입사광에 의한 픽셀값 분포 패턴이 존재하는지 여부를 판단하는 단 계를 포함하는 것을 특징으로 하는 화상처리방법.
  9. 제8항에 있어서,
    상기 구획 영역을 선택적으로 제거 또는 보존하는 단계는,
    상기 외부 입사광에 의한 픽셀값 분포 패턴이 존재하는 것으로 판단하면, 상기 에지 픽셀이 기 설정값 이상인지 여부를 판단하는 단계와;
    상기 에지 픽셀이 기 설정값 이상이면 상기 구획 영역을 보존하고, 상기 에지 픽셀이 기 설정값 미만이면 상기 구획 영역을 제거하는 단계를 더 포함하는 것을 특징으로 하는 화상처리방법.
  10. 제8항에 있어서,
    상기 외부 입사광에 의한 픽셀값 분포 패턴이 존재하는지 판단하는 단계는,
    상기 흑색 픽셀의 점유율이 기 설정값 이상이면, 90도로 입사된 상기 외부 입사광에 의한 픽셀값 분포 패턴이 존재하는지 여부를 판단하는 단계와;
    상기 흑색 픽셀의 점유율이 기 설정값 미만이면, 90도 미만으로 입사된 상기 외부 입사광에 의한 픽셀값 분포 패턴이 존재하는지 여부를 판단하는 단계를 포함하는 것을 특징으로 하는 화상처리방법.
  11. 제1항과, 제3항 내지 제5항 중 어느 한 항에 있어서,
    상기 스캔 화상의 에지 픽셀을 검출하는 단계는,
    상기 스캔 화상이 포함하는 복수 픽셀 중 어느 하나의 픽셀이 인접하는 픽셀과의 그레이 레벨 변화량이 기 설정값 이상이면, 상기 어느 하나의 픽셀을 상기 에지 픽셀로 판단하는 단계를 포함하는 것을 특징으로 하는 화상처리방법.
  12. 화상처리장치에 있어서,
    대상체를 스캔하여 스캔 화상을 출력하는 스캐닝유닛과;
    상기 스캐닝유닛에 의한 스캔 시 외부로부터 광이 입사하면 상기 외부 입사광의 입사 각도 변화에 따라서 상이하게 형성되는 픽셀값 분포 패턴을 기초로 하여 상기 스캔 화상에서 상기 외부 입사광에 의한 비화상 영역을 검출하며, 상기 스캔 화상으로부터 상기 비화상 영역을 제거하여 상기 대상체에 의한 화상 영역을 도출하는 화상처리부를 포함하고,
    상기 화상처리부는, 상기 출력된 스캔 화상이 포함하는 픽셀의 그레이 레벨 패턴에 기초하여 상기 스캔 화상의 에지 픽셀을 검출하며, 상기 검출된 에지 픽셀의 분포에 따라서 상기 스캔 화상을 복수 영역으로 구획하여 상기 비화상 영역을 제거하는 것을 특징으로 하는 화상처리장치.
  13. 삭제
  14. 제12항에 있어서,
    상기 화상처리부는,
    상기 외부 입사광의 입사 각도가 90도인 경우와 90도 미만인 경우에 각각 형성되는 상기 픽셀값 분포 패턴을 기준으로 상기 외부 입사광에 의한 비화상 영역을 판단하는 것을 특징으로 하는 화상처리장치.
  15. 제14항에 있어서,
    상기 화상처리부는,
    상기 스캔 화상의 로우(row) 구간을 따른 복수 픽셀의 픽셀값이 흑색에서 백색으로 증가하여 상기 백색 구간이 연속하다가 소정 픽셀값으로 감소하는 패턴이 칼럼(column)을 따라서 반복되면, 입사 각도가 90도인 상기 외부 입사광에 의해 형성된 것으로 판단하는 것을 특징으로 하는 화상처리장치.
  16. 제14항에 있어서,
    상기 화상처리부는,
    상기 스캔 화상의 일 스캔 영역에 대하여 색상의 산란도가 기 설정값 이상이고 상기 검출된 에지 픽셀이 없거나 기 설정값 이하이면, 상기 스캔 영역은 입사 각도가 90도 미만인 상기 외부 입사광에 의해 형성된 것으로 판단하는 것을 특징으로 하는 화상처리장치.
  17. 제12항에 있어서,
    상기 화상처리부는,
    상기 에지 픽셀의 분포 패턴을 기초로 하여 상기 에지 픽셀에 의한 예비 바운더리를 지정하며, 상기 예비 바운더리에 의한 상기 스캔 화상의 구획 영역 중에서 상기 비화상 영역을 판별하여 상기 화상 영역의 바운더리를 결정하는 것을 특징으로 하는 화상처리장치.
  18. 제12항에 있어서,
    상기 비화상 영역은 상기 외부 입사광 및 상기 대상체에 의해 형성되지 않은 제1비화상 영역과, 상기 외부 입사광에 의해 형성된 제2비화상 영역을 포함하며,
    상기 화상처리부는,
    상기 구획 영역이 상기 제1비화상 영역 또는 상기 제2비화상 영역인지 여부를 판단하여, 상기 구획 영역을 선택적으로 제거 또는 보존하는 것을 특징으로 하는 화상처리장치.
  19. 제18항에 있어서,
    상기 화상처리부는,
    상기 구획 영역이 포함하는 흑색 픽셀의 점유율이 기 설정값 이상인지 판단하고, 상기 판단 결과에 기초하여 상기 구획 영역에 90도 또는 90도 미만으로 입사된 상기 외부 입사광에 의한 픽셀값 분포 패턴이 존재하는지 여부를 판단하는 것을 특징으로 하는 화상처리장치.
  20. 제19항에 있어서,
    상기 화상처리부는,
    상기 외부 입사광에 의한 픽셀값 분포 패턴이 존재하는 것으로 판단하면, 상기 에지 픽셀이 기 설정값 이상인지 여부를 판단하며,
    상기 에지 픽셀이 기 설정값 이상이면 상기 구획 영역을 보존하고, 상기 에지 픽셀이 기 설정값 미만이면 상기 구획 영역을 제거하는 것을 특징으로 하는 화상처리장치.
  21. 제19항에 있어서,
    상기 화상처리부는,
    상기 흑색 픽셀의 점유율이 기 설정값 이상이면 90도로 입사된 상기 외부 입사광에 의한 픽셀값 분포 패턴이 존재하는지 여부를 판단하며, 상기 흑색 픽셀의 점유율이 기 설정값 미만이면 90도 미만으로 입사된 상기 외부 입사광에 의한 픽셀값 분포 패턴이 존재하는지 여부를 판단하는 것을 특징으로 하는 화상처리장치.
  22. 제12항에 있어서,
    상기 화상처리부는,
    상기 스캔 화상이 포함하는 복수 픽셀 중 어느 하나의 픽셀이 인접하는 픽셀과의 그레이 레벨 변화량이 기 설정값 이상이면, 상기 어느 하나의 픽셀을 상기 에지 픽셀로 판단하는 것을 특징으로 하는 화상처리장치.
  23. 화상형성장치에 있어서,
    제12항과, 제14항 내지 제22항 중 어느 한 항에 따른 화상처리장치와;
    상기 화상처리장치로부터 출력된 상기 대상체에 의한 화상을 인쇄매체 상에 인쇄하는 인쇄유닛을 포함하는 것을 특징으로 하는 화상형성장치.
  24. 화상처리장치의 화상처리방법에 있어서,
    대상체를 스캔하여 스캔 화상을 출력하는 단계와;
    상기 출력된 스캔 화상이 포함하는 픽셀의 그레이 레벨 패턴에 기초하여 상기 스캔 화상의 에지 픽셀을 검출하는 단계와;
    상기 스캔 화상에서, 상기 대상체의 스캔 시 외부로부터 입사하는 광의 입사 각도에 따라서 상이하게 형성되는 스캔 영역을 검출하는 단계와;
    상기 스캔 영역의 검출 결과에 기초하여 상기 스캔 화상을 처리하는 단계를 포함하고,
    상기 스캔 화상을 처리하는 단계는,
    상기 검출된 에지 픽셀의 분포에 따라서 상기 스캔 화상을 복수 영역으로 구획하는 단계와;
    상기 구획된 영역 중 상기 외부 입사광에 의한 스캔 영역을 제거하여, 상기 대상체에 의한 스캔 영역을 도출하는 단계를 포함하는 것을 특징으로 하는 화상처리방법.
  25. 제24항에 있어서,
    상기 스캔 영역을 검출하는 단계는,
    상기 외부 입사광의 입사 각도가 90도인 경우와 90도 미만인 경우에 각각 형성되는 픽셀값 분포 패턴을 기준으로 상기 외부 입사광에 의한 스캔 영역을 판단하는 단계를 포함하는 것을 특징으로 하는 화상처리방법.
  26. 제25항에 있어서,
    상기 외부 입사광에 의한 스캔 영역을 판단하는 단계는,
    상기 스캔 화상의 로우 구간을 따른 복수 픽셀의 픽셀값이 흑색에서 백색으로 증가하여 상기 백색 구간이 연속하다가 소정 픽셀값으로 감소하는 패턴이 칼럼을 따라서 반복되면, 입사 각도가 90도인 상기 외부 입사광에 의해 형성된 것으로 판단하는 단계를 포함하는 것을 특징으로 하는 화상처리방법.
  27. 삭제
  28. 제24항에 있어서,
    상기 외부 입사광에 의한 스캔 영역을 판단하는 단계는,
    상기 스캔 화상의 일 영역에 대하여, 색상의 산란도가 기 설정값 이상이고 상기 에지 픽셀이 없거나 기 설정값 이하이면, 상기 영역은 입사 각도가 90도 미만인 상기 외부 입사광에 의해 형성된 것으로 판단하는 단계를 포함하는 것을 특징으로 하는 화상처리방법.
  29. 제24항에 있어서,
    상기 스캔 화상의 에지 픽셀을 검출하는 단계는,
    상기 스캔 화상이 포함하는 복수 픽셀 중 어느 하나의 픽셀이 인접하는 픽셀과의 그레이 레벨 변화량이 기 설정값 이상이면, 상기 어느 하나의 픽셀을 상기 에지 픽셀로 판단하는 단계를 포함하는 것을 특징으로 하는 화상처리방법.
  30. 삭제
  31. 제28항 또는 제29항에 있어서,
    상기 비화상 영역은 상기 외부 입사광 및 상기 대상체에 의해 형성되지 않은 제1비화상 영역과, 상기 외부 입사광에 의해 형성된 제2비화상 영역을 포함하며,
    상기 스캔 화상을 처리하는 단계는,
    상기 구획 영역이 상기 제1비화상 영역 또는 상기 제2비화상 영역인지 여부를 판단하여, 상기 구획 영역을 선택적으로 제거 또는 보존하는 단계를 포함하는 것을 특징으로 하는 화상처리방법.
  32. 제31항에 있어서,
    상기 구획 영역을 선택적으로 제거 또는 보존하는 단계는,
    상기 구획 영역이 포함하는 흑색 픽셀의 점유율이 기 설정값 이상인지 판단하는 단계와;
    상기 판단 결과에 기초하여, 상기 구획 영역에 90도 또는 90도 미만으로 입사된 상기 외부 입사광에 의한 픽셀값 분포 패턴이 존재하는지 여부를 판단하는 단계를 포함하는 것을 특징으로 하는 화상처리방법.
  33. 제32항에 있어서,
    상기 구획 영역을 선택적으로 제거 또는 보존하는 단계는,
    상기 외부 입사광에 의한 픽셀값 분포 패턴이 존재하는 것으로 판단하면, 상기 에지 픽셀이 기 설정값 이상인지 여부를 판단하는 단계와;
    상기 에지 픽셀이 기 설정값 이상이면 상기 구획 영역을 보존하고, 상기 에지 픽셀이 기 설정값 미만이면 상기 구획 영역을 제거하는 단계를 더 포함하는 것을 특징으로 하는 화상처리방법.
  34. 제32항에 있어서,
    상기 외부 입사광에 의한 픽셀값 분포 패턴이 존재하는지 판단하는 단계는,
    상기 흑색 픽셀의 점유율이 기 설정값 이상이면, 90도로 입사된 상기 외부 입사광에 의한 픽셀값 분포 패턴이 존재하는지 여부를 판단하는 단계와;
    상기 흑색 픽셀의 점유율이 기 설정값 미만이면, 90도 미만으로 입사된 상기 외부 입사광에 의한 픽셀값 분포 패턴이 존재하는지 여부를 판단하는 단계를 포함하는 것을 특징으로 하는 화상처리방법.
KR1020080121307A 2008-10-02 2008-12-02 화상처리장치, 화상형성장치 및 화상처리방법 KR101347577B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US12/512,170 US8330997B2 (en) 2008-10-02 2009-07-30 Image processing apparatus, image forming apparatus and image processing method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020080097112 2008-10-02
KR20080097112 2008-10-02

Publications (2)

Publication Number Publication Date
KR20100038025A KR20100038025A (ko) 2010-04-12
KR101347577B1 true KR101347577B1 (ko) 2014-01-03

Family

ID=42215053

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080121307A KR101347577B1 (ko) 2008-10-02 2008-12-02 화상처리장치, 화상형성장치 및 화상처리방법

Country Status (1)

Country Link
KR (1) KR101347577B1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008124604A (ja) * 2006-11-09 2008-05-29 Matsushita Electric Ind Co Ltd 画像読取装置及びこれを備えた画像形成装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008124604A (ja) * 2006-11-09 2008-05-29 Matsushita Electric Ind Co Ltd 画像読取装置及びこれを備えた画像形成装置

Also Published As

Publication number Publication date
KR20100038025A (ko) 2010-04-12

Similar Documents

Publication Publication Date Title
US7773776B2 (en) Image processing apparatus, image forming apparatus, image reading process apparatus, image processing method, image processing program, and computer-readable storage medium
US8345310B2 (en) Halftone frequency determination method and printing apparatus
JP3576810B2 (ja) 画像処理装置
EP0500174B1 (en) Image processing method and scan/print system for performing the method
JP4405663B2 (ja) 画像処理方法及び装置
US20060152765A1 (en) Image processing apparatus, image forming apparatus, image reading process apparatus, image processing method, image processing program, and computer-readable storage medium
KR20080006112A (ko) 경계 영역의 선명도를 개선하는 하프토닝 방법 및 장치
US7515298B2 (en) Image processing apparatus and method determining noise in image data
KR101249839B1 (ko) 화상처리장치 및 그 화상처리방법
US8330997B2 (en) Image processing apparatus, image forming apparatus and image processing method
JP2022145776A (ja) 画像処理装置及び画像処理方法
JP4502001B2 (ja) 画像処理装置および画像処理方法
KR101347577B1 (ko) 화상처리장치, 화상형성장치 및 화상처리방법
JP6001010B2 (ja) 画像処理装置、画像処理方法、及びプログラム
US8547590B2 (en) Determining a resolution of a device based on a calculated principal spatial frequency response (SFR) selected from a calculated SFR
JP3334047B2 (ja) 画像処理装置およびこれを搭載した画像読取装置と画像形成装置、並びに画像処理方法、および画像処理手順を記憶したコンピュータ読み取り可能な記憶媒体
JP2003244469A (ja) 画像判定装置、画像読み取り装置、画像判定方法、プログラム、プログラムを記録した記憶媒体
JP6611887B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP6794901B2 (ja) 画像処理装置、および、コンピュータプログラム
JP4740913B2 (ja) 画像処理装置、画像処理方法、画像形成装置およびプログラム、記録媒体
JP2003230009A (ja) 画像形成装置
JP2005191890A (ja) 画像処理装置、画像処理方法、画像処理プログラム、画像処理プログラムを記録した記録媒体、および画像処理装置を備えた画像形成装置
JP3792402B2 (ja) 画像処理装置および２値化方法，並びに２値化方法をコンピュータに実行させるプログラムを記録した機械読み取り可能な記録媒体
KR100537829B1 (ko) 스캔 영상의 상역 분리 방법
JPH0662230A (ja) 画像形成装置

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20081202

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20111213

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20081202

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20130408

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20131028

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20131227

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20131230

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
FPAY Annual fee payment

Payment date: 20161129

Year of fee payment: 4

PR1001 Payment of annual fee

Payment date: 20161129

Start annual number: 4

End annual number: 4

FPAY Annual fee payment

Payment date: 20171211

Year of fee payment: 5

PR1001 Payment of annual fee

Payment date: 20171211

Start annual number: 5

End annual number: 5

PC1903 Unpaid annual fee

Termination category: Default of registration fee

Termination date: 20201007