KR940005828B1 - 컬러화상 처리장치 - Google Patents

컬러화상 처리장치 Download PDF

Info

Publication number
KR940005828B1
KR940005828B1 KR1019910007609A KR910007609A KR940005828B1 KR 940005828 B1 KR940005828 B1 KR 940005828B1 KR 1019910007609 A KR1019910007609 A KR 1019910007609A KR 910007609 A KR910007609 A KR 910007609A KR 940005828 B1 KR940005828 B1 KR 940005828B1
Authority
KR
South Korea
Prior art keywords
color
brightness
signal
color image
signals
Prior art date
Application number
KR1019910007609A
Other languages
English (en)
Other versions
KR910020589A (ko
Inventor
히데카즈 세키자와
나오후미 야마모토
하루코 가와카미
츠토무 사이토
Original Assignee
가부시기가이샤 도시바
아오이 죠이치
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 가부시기가이샤 도시바, 아오이 죠이치 filed Critical 가부시기가이샤 도시바
Publication of KR910020589A publication Critical patent/KR910020589A/ko
Application granted granted Critical
Publication of KR940005828B1 publication Critical patent/KR940005828B1/ko

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Image Processing (AREA)
  • Color Image Communication Systems (AREA)

Abstract

내용 없음.

Description

컬러화상 처리장치
제1도는 본 발명의 제1의 실시예를 도시하는 블록도.
제2도는 본 발명의 개요를 도시하는 요부의 기능 블록도.
제3도, 제4도 및 제5도는 상기 실시예의 처리 순서를 도시하는 플로차트.
제6도는 상기 실시예의 히스트그램을 도시하는 도면.
제7도는 상기 실시예의 밝이 측정 결과의 예를 도시하는 도면.
제8도는 색소 평면도.
제9도, 제10도 및 제11도는 본 발명의 제2, 제3 및 제4의 실시예를 도시하는 블록도.
* 도면의 주요부분에 대한 부호의 설명
1 : 신호 변환 수단 2 : 밝이 추정 수단
3 : 밝이 보정 수단 11 : 판독용 광학계
12 : 컬러 센서 13 : 셰이팅 보정 회로
16 : 매트릭스 회로 18 : 출력 장치
15 : CPU 20 : 컨트롤 패널
32 : 화상 메모리
본 발명은 컬러 화상을 판독하여 얻은 화상 신호나 전송된 화상 신호를 처리하여 프린터나 디스플레이에 출력하는 컬러 화상 처리장치에 관한 것으로 특히 은염(銀鹽) 필름을 사용한 카메라로 촬영한 컬러 영상 신호를 판독하여 얻은 컬러 화상 신호나 밝이의 기준이 불명확한 판독 장치로 판독된 컬러 화상 신호를 원화상의 밝이를 측정하여 보정하는 기능을 구비하는 컬러 화상 처리 장치에 관한다.
일반적으로 네거티브 또는 포지티브의 컬러 필름을 사용한 카메라에 의하여 촬영된 컬러 화상을 이미지 센서로 판독하여 얻은 컬러 화상 신호나, 전자 카메라로 촬영한 컬러 화상 신호로부터 원래의 컬러 화상을 컬러 프린터나 컬러 디스플레이 등의 출력 장치로 재현할 경우 촬영 상태의 밝이가 적당하지 아니하면 컬러 화상의 재현성은 현저히 저하된다. 이것은 주로 촬영계 및 판독계에 비교해서 출력 장치의 계조의 다이나믹 렌지가 좁은 탓이고, 예를들면 원화상이 어두운 경우에는 진한 부분이 궤멸되거나 또는 지나치게 밝은 경우에는 진한 색의 부분이 희게 나타나서 재현이 안되는 경우가 있다.
또, 밝이의 기준이 불분명한 판독 장치로 판독한 컬러 화상 신호나 전송되어온 컬러 화상 신호로부터 원래의 컬러 화상을 재현하는 경우에도 판독 장치의 백기준 레벨과 출력 장치의 백기준 레벨을 일치시키지 아니하면 동일하게 재현성은 저하된다.
이러한 결함을 방지하기 위해서는 입력된 컬러 화상 신호로부터 원컬러 화상의 밝이를 측정하여 그것에 따라서 컬러 화상 신호를 보정하면 된다. 그 보정법의 하나로서 평균법 또는 등가 중성 농도법으로 불리우는 방법이 알려지고 있다. 이것은 재현되는 컬러 화상 전체의 색농도의 총합이 중성 회색에 가깝다는 통계적 사실에 따라 화상전체의 색농도의 평균치를 산출하여 이 평균치로부터 밝이를 측정하여 보정을 실시하는 방법이다. 그러나 이 방법은 원화상의 회색에서 거리가 먼 한쪽으로 치우친 색으로 구성되는 경우에는 정확한 밝이 측정을 하기가 곤란해진다. 또 이 방법으로는 화상 전체의 색농도의 총합을 구하고 있으므로 화상 전체의 컬러 화상 신호가 입력되지 아니하면 밝이의 측정을 할 수 없다. 따라서 미리 정해진 속도로 전송되어오는 컬러 화상 신호를 보정하는 등의 경우에는 화상 전체의 컬러 화상 신호를 일단 비축하기 위한 대용량 메모리가 필요하고, 또 측응성이 결여되는 등의 문제가 있다.
한편 컬러 화상 신호(일반적으로는 R, G, B 3원색 신호)의 하나(예를들면 R신호), 또는 휘도에 상당하는 신호의 최대치를 구하고, 그 값을 미리 준비한 기준치와 비교하여 차를 구하고, 이 차에 의하여 밝이 정보를 얻는 방법이 일본 특개소 63-131777호 공보에 기재되어 있다. 이 방법에 있어서도 원컬러 화상에 회색에서 거리가 먼 한쪽으로 치우치는 색(예를들면 녹색으로 구성되는 잔디의 풍경이 많이 포함되는 등의 경우)에서는 역시 정확한 밝이 측정을 하기가 곤란해진다.
그러므로 동 발명자들은 같은 색끼리를 비교함으로써 밝이를 측정하는 것을 개발하여, 1990년 전자 정보 통신 학회 춘계 전국 대회(1990년 3월 18일 21일)에서 발표했다. 이 발표에서 작성된 논문에는 다음과 같이 것이 기재되고 있다.
표준의 밝이 상태에서 판독된 컬러 화상 신호 Si(i=r, g, b)를 농도 신호 Di(=-10g Si)로 변환하고, 다시 휘도 1, 색차 신호 C1, C2를 다음식에 의하여 정의했다.
I=(Dr+Dg+Db)/3
C1=Dr-Dg
C2=Dg-Db
이 상태에서 조명광의 광량만이 △I배 변화한 것으로 하면 상기 식에서 색차 C1, C2마다 미소 영역을 고려하여, 이 미소 영역내에서의 휘도의 분포를 상태와 비교함으로써 밝이의 측정이 가능하다.
본 발명은 상기 발표한 측정 방법을 따라서 원화상이 한쪽으로 치우치는 색으로 구성되는 경우에도 원화상의 밝이를 정확히 측정하고 그것에 따라 정확한 보정을 실시할 수 있고, 또 화상의 일부의 화상 신호로부터도 밝이의 측정이 가능한 컬러 처리 장치를 제공하는 것을 목적으로 한다.
본 발명에 따르면 컬러 화상을 판독하여 얻은 컬러 화상 신호 또는 전송된 컬러 화상 신호를 원화상의 밝이의 영향을 보다 받기 쉬운 제1의 신호와, 원화상의 밝이의 영향을 보다 받기 어려운 제2 및 제3의 신호로 변환하여 제2 및 제3의 신호에 의하여 형성되는 평면(색도 평면)상의 소정의 국소 영역의 제1의 신호치를 미리 정한 표준치를 비교함으로써 원화상에 대한 밝이를 측정하여 밝이 정보를 생성하고, 이 밝이 정보에 따라서 컬러 화상 신호를 보정하도록 한 것을 특징으로 하는 컬러 화상 처리 장치가 제공된다.
보다 구체적으로 설명하면, 예를들어 컬러 화상 신호가 3원색 신호의 경우 이들을 대수 변환하여 제1의 신호인 휘도 신호와 제2 및 제3의 신호인 2개의 색차 신호로 변환한다. 즉 판독된 컬러 화상 신호는 원화상의 농담 정보와 광원의 밝이 정보와의 적(積)으로 표시할 수 있으나, 대수 변환하면 원화상의 농담 정보와 광원의 밝이 정보의 합으로서 표현되므로 대수 변환에 의하여 log 농도 신호로한 3원색 신호끼리의 색차신호를 구하면 각 원색 신호에 공통으로 들어가는 촬영시나 판독시의 광원의 밝이의 영향이 제거된다. 이와 같이 대수 변환한 후 색차를 취하는 대신 각 원색 신호의 비율 계산을 실시하고 광원의 밝이 정보를 제외시켜도 된다.
이 경우의 밝이의 추정은 기본적으로 2개의 색차 신호에 의하여 형성되는 색차 평면상의 소정의 국소 영역의 휘도와 미리 정해진 표준휘도를 비교함으로써 실시한다. 예를들면 색차 평면을 색차 신호의 값에 의하여 복수의 국소 영역(이들을 블록으로 칭한다)으로 나누어서 그 블록마다 색차 신호와 같이 얻어지는 휘도신호를 처리하여 블록 고유의 휘도에 대한 히스트그램을 구하고, 그 히스트그램으로 최대빈도를 주는 휘도와 표준 휘도와의 비교에 의하여 밝이 정보를 생성하고, 다시 최대 빈도를 무게로 하여 블록 마다의 밝이 정보를 평균한다.
또, 밝이의 보정은 대수형 변환된 3원색 신호에 대하여 밝이 추정에 의하여 얻은 밝이 정보에 따른 보정을 실시한다.
이와같이 본 발명에서는 광원의 밝이의 영향을 제거한 상태로 광원의 밝이에 의하여 변화하는 신호치인 예를들면 휘도를 표준치인 표준 휘도와 비교함으로써 밝이 추정이 실시되고, 그것에 따라서 밝이 보정이 실행된다.
또, 색차 평면상의 국소 영역내의 휘도와 표준 휘도를 비교하여 밝이 정보를 생성함으로써 원화상이 한쪽으로 치우치는 색으로 구성되는 경우에 있어서도 색에 의한 밝이의 차이의 영향을 받지 않는 정확한 밝이 추정이 실행된다. 이것에 의하여 화상의 일부의 정보만으로부터도 어느 정도의 정밀도로 밝이가 추정 가능해진다.
또, 색차 평면을 복수의 블록으로 분할하고, 각 블록에 대하여 휘도의 히스트그램을 사용하여 얻은 밝이 정보를 히스트그램 상에서 최대 빈도를 무게로 하여 평균화함으로써 더한층 안정된 밝이의 측정이 가능하다.
이하에 도면을 참조하여 본 발명의 실시예를 설명한다.
제2도는 본 발명의 컬러 화상 처리 장치의 기본 구성을 개념적으로 표시하는 기능 블록도이고, 컬러 화상 신호를 원화상의 밝이의 영향을 보다 받기 쉬운 제1의 신호(예를들면 휘도 신호)와 원화상의 밝이의 영향을 보다 받기 쉬운 어려운 제2 및 제3의 신호(예를들면 색차 신호)로 변화하는 신호 변환 수단(1)과, 제2 및 제3의 신호에 의하여 형성되는 평면상의 소정의 국소 영역의 제1의 신호의 값과 사전에 정해진 표준치를 비교함으로써 상기 원화상에 대한 밝이 정보를 생성하는 밝이 추정 수단(2)과, 이 밝이 정보에 따라서 컬러 화상 신호를 보정하는 밝이 보정 수단(3)으로 구성된다.
제1도는 본 발명의 한 실시예에 따른 컬러 화상 처리 장치를 필름 입력·처리 장치의 블록도이다. 이 도면에 따르면 본 장치는 촬영이 끝난 컬러 필름상의 컬러 화상을 컬러 센서로 판독하여 얻은 컬러 화상 신호로부터 촬영시의 밝이를 측정하여 밝이 보정을 하여 컬러 프린터등에 의하여 출력한다. 이 경우의 밝이란 촬영시의 노광 상태에 대응되고 있다. 노광 상태가 적절하지 아니할때, 또는 적절해도 단순히 일정 광량의 광원을 사용해서 필름상의 컬러 화상을 판독했을 경우에는 재현되는 출력 화상이 지나치게 밝으나, 지나치게 어둡거나 하는 일이 있으므로 이것을 보정한다.
제1도에 있어서, 촬영이 끝난 컬러 필름은 판독용 광학계(11)에 세트된다. 판독용 광학계(11)에 의하여 투영된 필름상의 컬러 화상은 예를들면 CCD 미시지센서로 구성되는 컬러 센서(12)에 의하여 판독되고, 컬러 화상 신호로서 색신호 Si가 출력된다. 여기에서 i는 컬러 센서(12)에서 사용되는 색필터의 색을 표시하고 있고, 예를들면 i=R(적), G(녹색), B(청색)의 3종류이다. 즉 본 예에서는 컬러 화상 신호로서의 색신호 Si는 3원색 신호로서 얻어지는 것이다.
본 장치의 동작은 밝이 추정 동작과 밝이 보정 동작의 2단계로 나누어서 실시된다. 밝이 추정 동작시에는 컬러 필름상의 컬러 화상의 판독은 고속으로 실시되고, 통상의 화상 판독시와는 달리 부주사 방향에서는 샘플링을 실시하여 컬러 센서(12)로부터 색신호 Si가 출력된다. 색신호 Si는 셰이딩 보정 회로(13)에 의하여 규격화, 즉 컬러 센서(12)의 감도 얼룩이나, 판독용 광학계(11)에 의한 판독할 컬러 필름상의 조도 얼룩의 보정이 실시된다. 셰이딩 보정 회로(13)에서 보정 처리된 색신호는 필름 화상을 제거한 상태에 대응하는 신호레벨(광원의 밝이에 대응하고있다)을 "1"로 하고, 광원을 끈 상태에 대응하는 신호 레벨은 "0"이 되도록 규격화되고 있다. 셰이딩 보정 회로(13)로부터 출력된 색신호 Si는 제1도의 색변환 회로(14)에 입력된다.
제1의 색변환 회로(14)는 예를들면 RAM(랜덤 엑서스 메모리)테이블을 사용하여 구성되고, 색신호 Si에 대하여 다음식(1)으로 표시되는 대수 변환을 실시하고, 색신호 Di를 얻는다.
Di=-log[(Si/Sbi)+α]…………………………………………………………(1)
여기에서, Sbi는 필름 베이스에 대응하는 신호차를 표시하고 있고, 이 값으로 Si를 나뉘므로써 필름의 베이스색에 대응하는 신호 성분이 제거된다. α는 대수 변환 결과인 Di가 무한대가 안되게 하기 위한 값이다. 또 판독할 컬러 필름이 포지티브 필름인 경우에는 Sbi의 값은 대략 1이면 되나, 언밀하게는 상이하는 것이 좋다. 따라서 포지티브 필름의 경우에도 베이스색을 실측하고, 보정하는 편이 좋다. 구체적으로는 CPU(15)에 의하여 -log[(X/Sbi)+α](X가 입력변수)를 계산하여 제1의 색변환 회로(14)에 입력한다.
제1의 색변환 회로(14)로부터 출력된 색신호 Di는 밝이 추정 동작시에 있어서 밝이 추정 펌(farm)이 되는 CPU(15)에 입력된다. 여기에서 화상 전체의 색신호 Di의 값으로부터 컬러 필름상의 컬러 화상의 밝이, 즉 입력된 컬러 필름의 촬영시의 노출 조건이 추정된다. 또 이 밝이 추정의 상세에 대하여 후기한다.
CPU(15)에서 밝이 추정에 의하여 얻어지는 밝이 정보는 제1의 색변환 회로(14)에 있어서의 RAM 테이블의 개서 및 매트릭스 회로(16)에 있어서의 매트릭스 계수의 개서에 사용되므로서 밝이 보정이 실행된다.
다음에 실제로 밝이 보정을 실시하여 컬러 필름상의 화상을 컬러 하드 카피로서 얻는 동작에 대하여 설명한다. 이 경우도 광학계(11)에 의하여 투영되는 컬러 필름 상의 화상이 컬러 센서(12)에 의하여 판독되는데, 밝이 추정 동작시와 달리 샘플링되는 일 없이 색신호 Si가 출력된다. 이 색신호 Si가 셰이딩 보정 회로(13) 및 제1의 색변환 회로(14)를 거쳐서 대수 변환된 색신호 Di로서 얻어진다. 색신호 Di는 매트릭스 회로(16)에 출력된다. 이 매트릭스 회로(16)내의 매트릭스 계수는 밝이 추정 동작에 따라서 사전에 적정한 값으로 개서된다. 매트릭스 회로(16)로부터는 각 색의 잉크의 농도에 상당하는 색신호가 출력된다. 여기에서 j는 출력 장치(18)에서 사용하는 잉크의 색을 표시하고 있고, 예를들면 j=Y(황색), M(자홍색), C(녹청색)이다. 이 잉크색 신호 Qj(j=Y, M, C)와 색신호 Di(i=R, G, B)의 관계는 다음식(2)으로 표시된다.
또, Mji는 3×3의 매스킹 매트릭스를 표시하고 있다. 매트릭스 회로(16)에서 출력된 색신호 Qj는 제2의 색변환 회로(17)에 입력되고, 출력 장치(18)로 보내는 잉크량에 상당하는 잉크량 신호 Pj가 얻어진다. Qj와 Pj와의 관계는 다음식(3)으로 표시하는 것과 같다.
Pj=(1-TQj)/(1-T) (3)
단, T는 정수이다. 이 잉크량 정수 Pj는 출력 장치(18)로 공급된다. 또 제2의 색변환 회로(17)의 함수는 출력 장치(18)에 따라서 정해지고, (3)식으로 표시되는 예는 열전사 기록의 예이다. 이 경우에는 정수 T는 0.01정도가 적절하다. 또 출력 장치(18)는 반드시 열전사 기록할 필요는 없고 전자 사진 방식이나 잉크 세트 기록 방식 기타의 기록 방식도 무방하다.
다음에 제3도~ 제5도를 사용하여 본 실시예에 있어서의 컬러 화상 신호의 변환-밝이 추정-밝이 보정의 처리 순서를 설명한다. 제3도, 제4도 및 제5도는 각각 제2도의 신호 변환 수단(1), 밝이 추정 수단(2) 및 밝이 보정 수단(3)에 대응하는 처리의 흐름을 도시한 것으로, 구체적으로는 CPU(15)으로부터의 지시로 제1의 색변환 회로(14) 및 매트릭스 회로(16)에서 실시되는 처리와, CPU(15) 자신의 처리를 나타내고 있다.
우선, 밝이 추정 동작에 앞서, 셰이딩 보정 회로(13)에서 출력되는 색신호 Si는 제1의 색변환 회로(14)에 입력되고, 식(1)에 따라서 대수 변환된 색신호 Di가 되고, CPU(15)에 입력된다(제3도의 S11). CPU(15)에 있어서는 색신호 Di로부터 다음식(4)에 의하여 휘도(1)와 색차(C1, C2)를 계산한다(제3도의 S12).
I=(DR+DG+DB)/3
C1=DR-DG
C2=DG-DB(4)
또, (4)식 대신 다음의 (5)식을 사용하여 적정화를 실행해도 된다.
C1=a1DR-a2DG
C2=b1DG-b2DB(5)
식(5)에서 계수(i1+i2+i3)은 휘도 I를 시각 감도에 맞추기 위한 것으로, 이것에 의하여 추정 오차의 영향을 작게 할수 있다. 또 원화상이 필름등에 기록되고 있는 경우 색차(C1, C2)의 축이 무채색과 일치안되는 일이 있으나, 그와같은 경우에는 계수(a1, a2, b1, b2)에 의하여 무채색축을 일치시키도록 함으로써 추정 정밀도를 높일 수가 있다.
다음에 제4도의 도시와 같이 색차(C1, C2)에 의하여 형성되는 색차 평면이 색차(C1, C2)의 값별로 복수의 블록으로 분할되어 각 블록마다에 휘도 I에 대한 히스트그램, 즉 휘도와 빈도의 관계를 표시하는 히스트그램이 작성된다(S21). 이 히스트그램으로부터 각 블록마다에 휘도가 최대가 되는 휘도 IH및, 이때의 빈도 Hm의 값을 각각 구한다(S22). 다음에 미리 구해놓은 각 블록에 있어서의 적정 밝이시(적정 노출시)의 표준 휘도 I0(표준 밝이 데이타)를 ROM(19)로부터 리드인하여, 각 색블록 마다에 표준 휘도 I0와 빈도의 최대가 되는 휘도 IH의 값을 비교하여 그 차 △I를 구한다(S23).
△I(C1, C2)=IH(C1, C2)-I0(C1, C2) (6)
다음에(S23)에서 구한 색차 평면에서의 각 블록에 있어서의 휘도의 차 △I에 (S24)에서 구한 최대 빈도 Hm(C1, C2)를 무게로 하여 평균치 △IH를 다음의 식으로 구한다(S24).
또 이 평균치 △IH는 필름의 화면 전체의 적정 밝이(적정 노출)로부터의 어긋남을 표시한다.
다음에 이상의 동작으로 추정된 촬영시의 밝이(노출 조건)를 토대로 제1의 변환회로(14)의 RAM 테이블 및 매트릭스회로(16)의 매스킹 매트릭스 계수를 절환함으로써 밝이 보정을 실시한다. 즉 제5도의 도시와 같이 CPU(15)에서 -log[(X/Sbi)+α]-△IH를 계산하여 제1의 변환회로(14)로 되돌려서 RAM 테이블의 내용을 개서한다. 이것으로 제1의 색변환회로(14)의 변환 특성(함수)은 앞의 식(1)에서 다음 식(8)으로 변경되고, 이 식(8)에 따라 대수 변환이 실행된다(S31).
Di=-log[(Si/Sbi)+α]-△IH(8)
또, 촬영시의 밝이(노출 조건)가 적정치에 대하여 2배 또는 1/2정도 어긋나는 경우에는 단순히 밝이만을 보정해도 바라는 색재현은 얻을 수 없다. 이와 같은 경우에는 매트릭스회로(16)의 매스킹 매트릭스 계수를 절환한다(S32). 예를 들면 네가티브 필름에서는 촬영시의 밝이(노출 조건)가 적정치에 대하여 1/2정도 어긋날 경우(△IH가 약 0.3일때)에는 적정시의 매스킹 매트릭스 계수에 대하여 1.4배 정도의 계수(실험치)로 함으로써 콘트라스트가 양호한 화상을 얻을 수 있다. 또 촬영시의 밝이(노출 조건)가 적정에 대하여 2정도 어긋날 경우에는 적정시의 매스킹 매트릭스 계수에 대하여 0.94배 정도의 계수(실험치)로 함으로써 충실한 색재현이 가능하다.
제6(a)도 및 제6(b)도는 표준 밝이시 및 표준 밝이의 2배의 밝이시의 히스트그램을 표시하고 있다. 이 히스트그램에서 △IH는 log 스케일으로 0.3정도 변화하고 있음을 알 수 있다.
제7(a)도 및 제7(b)도는 밝이 추정 결과의 예를 도시하는 것으로, 밝이를 표시하는 횡축에서 (N)는 표준 밝이, (O), (V)는 각각 표준 밝이의 2배 및 1/2의 밝이를 표시하고 있다. 제7(a)도는 원화상이 녹색이 많은 화상의 경우이고, 종래의 평균법(등가중성 농도법)에서는 추정치가 크게 어긋나있는 것에 대하여 본 발명에서는 극히 정확한 밝이 추정이 가능하다. 제7(b)도는 원화상이 여러가지의 색이 존재하는 테스트차트의 경우이고, 이와 같은 화상에서는 평균법도 본 발명도 밝이 추정치에 거의 차가 없다.
또, 상기에서는 네가티브 필름·포지티브 필름의 구별을 하지 않고 설명했으나, 실제의 계에서는 네가티브와 포지티브에서는 제1의 색변환회로(14)의 함수 및 매트릭스회로(16)의 매스킹 매트릭스 계수를 달리할 필요가 있다. 실제로는 제1도에서 콘트롤 패널(20)에서 선택한 네가티브·포지티브의 어느 하나의 정보가 CPU(15)에 입력된다. 그후 상기의 동작에 의하여 얻어진 밝이 정보가 CPU(15)에 입력된다. 이들의 정보에 의하여 제1의 색변환회로(14)의 함수 및 매트릭스회로(16)의 매스킹 매트릭스 계수의 적정한 값이 설정된다.
또, 상기 실시예에서는 필름 입력, 처리장치에 응용한 예를 설명했으나, 통상의 인화지상의 컬러 사진을 반사형의 판독용 광학계를 개재하여 컬러 센서로 판독할 경우에도 동일한 사고 방식이 적용 가능하다. 그 경우, 전면 동일의 컬러 사진에서는 동일한 파라미터로 처리하면 되나, 복수의 사진을 붙인 원고에는 사진보다 어두운 것이나 밝은 것이 혼합되고 있는 경우가 있다. 이와 같은 경우에는 각 사진마다 본 실시예에서 설명한 것과 같이 히스트그램을 구하여 파라미터를 결정하고, 각 사진마다에 상이한 파라미터로 처리하면 된다. 그러나 각 사진마다에 제1의 색변환회로(14)의 테이블을 절환하는 것은 번잡이 따른다. 이것을 피하기 위해서는 제1의 색변환회로(14)의 테이블을 고정하고, 그 출력에 밝이의 어긋남량 △IH를 가산하는 회로를 부가함으로써 순시간에 밝이 보정을 하여 각 시간마다에 적정한 밝이 보정을 하면 된다. 사진을 하나하나 잘라나누는 방법으로는 밝이 추정 동작시에 세로방향 및 가로방향으로 사영하여 얻은 농도 히스트그램(특히 벡레벨의 히스트그램)을 작성하여 이 히스트그램의 정보로부터 각 사진마다를 잘라나누는 방법이 고려된다.
상기 실시예는 밝이만의 추정과 보정을 하고 있으나, 더욱 보다 고도의 색재현의 적정화에는 색의 재현역도 보정할 필요가 있는 경우가 있다. 즉 앞의 실시예에서는 밝이가 크게 다른 경우에 색의 채도(彩度)나 농도의 보정(매스킹 계수의 보정)이 실행되고 있으나 이것을 더욱 고정밀도로 실시하는 실시예를 설명한다.
본 실시예에 의하면 앞의 실시예와 같이 휘도 및 색차 공간에서 히스트그램의 구해지고, 이 시히스트그램과 표준적이 밝이 정보의 차에 의한 밝이 정보가 추정된다. 즉 식(7)에서 평균 휘도의 차(밝이의 차)가 구해진다. 다음에 앞에서 구한 휘도 히스트그램의 내용으로부터 색차 평면에 사영한 광량이 구해진다. 그리고, 제8도에 도시와 같이 소정의 빈도 이상의 색차 평면에서의 최대 색차인 윤곽부(a)가 구해지고, 미리 구해진 표준 색소차 평면에서의 최대 색차인 윤곽부(b)와의 차가 계산되고, 그 차가 최소가 되도록 채도나 농도의 보정, 즉 매스킹 계수의 보정이 실시된다. 그러나 이 경우 본래 채도가 낮은 화상이라도 이 화상은 고채도의 화상으로 변환되어 버리는 경우가 있으므로 콘트롤 패널(20)에 의하여 채도 보정의 기능을 해제할 수 있도록 할 필요가 있다.
다음에 본 발명의 다른 실시예를 설명한다. 제9도는 제2의 실시예의 블록도이고, 밝이 보정을 위하여 제1도에 있어서의 판독용 광학계(11)로부터 광원(21)을 독립시키고, CPU(15)에 의하여 제어를 가능하도록 하는 점이 제1의 실시예와 상이하다.
본 실시예에서는 앞의 실시예와 같이 셰이딩 보정에 필요한 기준이 되는 데이타를 입력하고, 또 판독용 광학계(11)에 컬러 필름을 세트한다. 이 데이타를 앞의 실시예와 동일하게 컬러 센서(12)에서 판독하고, 셰이딩회로(13)에서 보정을 실행하고 제1의 색변환회로(14)에서 색신호 Di로 변환하여 CPU(15)에 입력하여 밝이 추정을 한다. CPU(15)에 의하여 추정된 밝이 추정치 △IH에 의하여 광원(21)의 밝이를 10-△IH/β배가 되도록 제어한다. 또 이때의 β는 엄밀히는 판독할 컬러 필름에 의존하는 값이다. 매트릭스회로(16)의 계수의 설정은 앞의 실시예와 동일해도 좋다. 이와 같은 광원(21)을 제어하여 밝이 보정을 할 수도 있다. 본 실시예에서는 광원(21)의 광량을 제어하여 최적이 밝이로 컬러 센서(12)에 의하여 화상을 판독할 수 있으므로 판독하여 얻어지는 컬러 화상 신호의 양자화 노이즈가 적어지는 이점이 있다.
상기한 2개의 실시예에서는 컬러 필름에 기록된 화상을 판독하여 얻은 컬러 화상 신호를 처리하는 경우에 대하여 설명했으나, 예를 들면 화상 통신이나 텔레비전 회의·텔레비전 전화 시스템등에 있어서 전송된 화상신호나, 플리피디스크·광디스크등의 매체에 기록된 화상신호로 백기준이 불분명한 컬러 화상 신호에 대해서도 본 발명의 밝이 추정 방식을 응용함으로써 원화상의 밝이를 보정할 수 있다. 특히 전송된 화상신호를 처리하는 시스템에서 화상 데이타를 모두 메모리에 기록할 수 없는 경우에도 이하의 제3 및 제4의 실시예의 설명과 같은 연구에 의하여 밝이 추정 및 밝이 보정이 가능하다.
제10도는 제3의 실시예를 도시하는 블록도이고, 전송된 화상신호의 데이타가 단자(31)에 입력된다. 이 화상 데이타는 화상 메모리(32)에 일시 기억된다. 이 화상 메모리(32)는 비교적 유의(有意)한 화상 면적의 화상 데이타를 기억 가능한 용량을 가지는 버퍼 메모리이고, 반드시 1화면(1프레임)분의 용량을 가질 필요는 없다. 한편 입력된 화상 데이타는 제3의 색변환회로(33)에도 입력되고, 이 색변환회로(33)에서 식(Ⅰ)에 표시한 것과 같은 대수 변환을 받은 후 CPU(15)에 입력된다. CPU(15)에 입력된 신호는 제1의 실시예와 동일하게 처리되어 밝이 추정이 실시된다.
본 발명의 밝이 추정 방식에서는 상기와 같이 특정의 색만이 화상으로도 밝이를 추정할 수 있다. 따라서 화상의 일부라 해도 수종류의 색이 있으면 상당히 정확한 밝이 추정을 할 수 있다. 그러므로 화상 데이타가 입력될때마다 밝이 추정 동작을 실시하고 화상 메모리(32)에 화상 데이타가 거의 가득찬 시점에서 밝이 보정치 △IH를 래치(34)로 보내고 이 래치(34)의 출력을 가산기(35)에서 제1의 색변환회로(14)의 출력에 가산함으로써 식(7)에 표시한 것과 같은 밝이 보정을 하면된다. 또 제1의 실시예와 동일하게 매트릭스회로(16)에 데이타를 보내서 콘트라스트 보정도 실시한다. 이와 같이 제1의 실시예와 동일한 방법으로 밝이 추정을 하고 보정을 해서 충실한 컬러 화상을 재현할 수 있다.
본 실시예에서는 화상의 일부의 데이타를 사용하여 밝이 추정을 할수 있고, 전 화상의 정보가 필요없으므로 화상 메모리(32)이 용량이 1화면분의 용량보다 적어도 정확한 밝이 추정이 가능하다. 또 밝이 추정 동작과 밝이 보정 동작을 동시에 진행시킬 수도 있고, 즉응성도 우수하다.
제11도는 제10도의 실시예를 변형한 제4의 실시예를 도시하는 블록도이고, 화상 메모리(32)가 제1의 색변환회로(14)의 후단에 설치되므로써 동일한 색변환회로(14)를 밝이 추정 동작시와 밝이 보정 동작시에 사용하고 장치의 단순화를 도모한 것이다.
또, 상기한 각 실시예에서는 색차 평면을 복수의 블록으로 분할하여 각 블록에 대하여 밝이 정보를 구했으나, 어떤 1개의 블록(국소 영역에 대해서만 밝이 정보를 구해도 어느 정도의 발기 추정이 가능하고, 본 발명의 소기의 목적을 달성할 수가 있다.
또, 각 실시예에서는 3원색 신호를 대수 변환한 후 색차를 취함으로써 원화상의 밝이(광원의 밝이)의 영향을 제거한 색차 신호를 얻었으나, 3원색 신호의 비율 계산(나누기 계산)을 실시하여 광원의 밝이의 정보를 제외할 수도 있다.
이상의 설명과 같이 본 발명에 의하면 광원의 밝이의 영향을 제거한 상태로 색차평면등의 평면상에서 블록마다 휘도와 표준 휘도를 비교함으로써 안정된 밝이 정보를 추정할 수 있게 된다.
또, 이 비교는 어떤 국소 영역에 대하여 또는 각 블록에 대하여 실시되기 때문에 휘도와 표준 휘도를 비교하여 밝이 정보를 추정함으로 원화상이 한쪽으로 치우치는 색으로 구성되는 화상이라도 정확한 밝이의 추정이 가능하다. 즉 예를 들면 녹색의 어두운 색은 녹색끼리로 비교되기 때문에 색에 의한 밝이의 차이가 없어지고, 정확한 밝이 정보를 얻을 수 있다. 이 경우 빈도를 무게로 하여 색차마다의 밝이 정보를 평균하는 처리를 실시하면 보다 더 한층의 안정된 밝이 추정이 가능하다.
이와 같이 얻어진 밝이 정보의 추정치를 기초로 밝이 보정 및 색보정을 실시하으로써 적정한 밝이로 촬영 또는 판독한 경우와 변함이 없는 재현성이 높은 출력 화상을 얻을 수 있다.
또, 화상의 일부 데이타를 사용해서도 밝이 추정이 가능함으로 전송된 화상 데이타나 파일의 화상 데이타의 일부 데이타로부터 밝이 정보를 추정하여 화상 전체의 밝이 보정을 실시함으로써 대용량의 화상 메모리를 필요로 하지 않고 또한 고속 처리가 가능하다.

Claims (10)

  1. 컬러 화상 신호를 원화상의 밝이의 영향을 받기 쉬운 제1의 신호와 원화상의 밝이의 영향을 보다 받기 어려운 제2 및 제3의 신호로 변환하는 신호 변환 수단(1 ; 14,15)과, 상기 제2 및 제3의 신호에 의하여 형성되는 평면상의 소정의 국소 영역의 상기 제1의 신호의 값과 사전에 정한 표준치를 비교함으로써 상기 원화상에 대한 밝이 정보를 생성하는 밝이 추정 수단(2 ; 15)과, 상기 밝이 정보에 따라 컬러 화상 신호를 보정하는 밝이 보정 수단(3 ; 16)으로 구성되는 것을 특징으로 하는 컬러 화상 처리장치.
  2. 제1항에 있어서, 상기 신호 변환 수단은 상기 컬러 화상 신호를 상기 제1의 신호에 상당하는 휘도 신호와 상기 제2 및 제3의 신호에 상당되는 제1 및 제2 색차신호로 변환하는 색변환 테이블을 가지는 색변환회로(14)에 의하여 구성되는 것을 특징으로 하는 컬러 화상 처리장치.
  3. 제2항에 있어서, 상기 신호 변환 회로(14)의 변환 테이블은 상기 컬러 화상 신호원인 컬러 필름의 베이스 색에 대응하는 신호 성분을 상기 컬러 화상 신호로부터 제거하기 위한 상기 추정 수단의 밝이 정보에 의하여 절환되는 것을 특징으로 하는 컬러 화상 처리장치.
  4. 제2항에 있어서, 상기 신호 변환 회로는 고정 테이블과 상기 고정 테이블의 고정 출력과 실제치와의 밝이의 어긋남의 양을 상기 고정 출력에 가산하는 수단을 가지는 것을 특징으로 하는 컬러 화상 처리장치.
  5. 제1항에 있어서, 상기 추정 수단은 표준 밝이 데이타를 기억한 기억 수단과, 상기 신호 변환 수단으로부터의 상기 제1의 신호 및 상기 제2 및 제3의 신호로부터 휘도 및 제1 및 제2색차를 계산하고, 상기 제1 및 제2색차에 의하여 형성되는 평면에 대응하는 색차 평면의 국소 영역에 대응한 상기 휘도와 상기 기억 수단으로부터 판독된 표준 밝이 데이타를 비교함으로써 밝이 정보를 생성하는 수단(15)에 의하여 구성되는 것을 특징으로 하는 컬러 화상 처리장치.
  6. 제1항에 있어서, 상기 보정 수단은 상기 추정 수단(15)으로부터 출력되는 밝이 정보에 의하여 매트릭스 계수가 개서되고, 밝이 정보에 따라서 상기 컬러 화상 신호를 컬러 잉크의 농도에 상당하는 색신호로 변환하는 컬러 매트릭스회로(16)에 의하여 구성되는 것을 특징으로 하는 컬러 화상 처리장치.
  7. 제1항에 있어서, 상기 컬러 화상 신호는 컬러 필름이 컬러 센서에 의하여 판독되므로써 얻어지고, 상기 추정 수단은 상기 컬러 필름을 조명하는 광원의 밝이를 제어하기 위하여 상기 밝이 정보를 상기 광원에 출력하는 것을 특징으로 하는 컬러 화상 처리장치.
  8. 컬러 화상 신호를 구성하는 3원색 신호를 대수 변환하는 수단(1 ; 14)과, 대수 변환된 3원색 신호를 휘도 신호와 2개의 색차 신호로 변환하는 수단(33)과, 상기 2개의 색차 신호에 의하여 형성되는 색차 평면상의 소정의 블록의 휘도와 사전에 정해진 표준 휘도를 비교함으로써 상기 원화상에 대한 밝이 정보를 생성하는 밝이 추정 수단(15)과, 상기 밝이 정보에 따라 컬러 화상 신호를 보정하는 밝이 보정 수단(16, 34, 35)으로 구성되는 것을 특징으로 하는 컬러 화상 처리장치.
  9. 제8항에 있어서, 상기 밝이 추정 수단(15)은 상기 휘도 신호 평면을 복수의 블록으로 분할하고, 각 블록마다에 휘도에 대한 히스트그램을 구하고, 최대 빈도를 부여하는 휘도와 표준 휘도와의 비교에 의하여 블록마다의 밝이 정보를 생성하고, 또 최대 빈도를 무게로 하여 블록마다의 밝이 정보의 평균화를 취함으로써 최종적인 밝이 정보로 하는 것을 특징으로 하는 컬러 화상 처리장치.
  10. 제8항에 있어서, 상기 밝이 보정 수단(16, 34, 35)은 상기 대수 변환된 3원색 신호에 대하여 상기 밝이 추정 수단(15)에 의하여 얻어지는 밝이 정보에 따른 보정 처리를 실시하는 것을 특징으로 하는 컬러 화상 처리장치.
KR1019910007609A 1990-05-14 1991-05-11 컬러화상 처리장치 KR940005828B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2-123522 1990-05-14
JP2123522A JP3011432B2 (ja) 1990-05-14 1990-05-14 カラー画像処理装置

Publications (2)

Publication Number Publication Date
KR910020589A KR910020589A (ko) 1991-12-20
KR940005828B1 true KR940005828B1 (ko) 1994-06-23

Family

ID=14862698

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1019910007609A KR940005828B1 (ko) 1990-05-14 1991-05-11 컬러화상 처리장치

Country Status (4)

Country Link
US (1) US5278641A (ko)
EP (1) EP0457537A3 (ko)
JP (1) JP3011432B2 (ko)
KR (1) KR940005828B1 (ko)

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6546131B1 (en) * 1990-12-19 2003-04-08 Canon Kabushiki Kaisha Image processing method and apparatus for achieving tone reproduction suited to the image
DE4310727C2 (de) * 1992-04-06 1996-07-11 Hell Ag Linotype Verfahren und Einrichtung zur Analyse von Bildvorlagen
DE4309802A1 (de) * 1993-03-28 1994-09-29 Robert Prof Dr Ing Massen Produktionsnahe Farbkontrolle mit bildgebenden Sensoren
US5495428A (en) * 1993-08-31 1996-02-27 Eastman Kodak Company Method for determining color of an illuminant in an image based on histogram data
US5450502A (en) * 1993-10-07 1995-09-12 Xerox Corporation Image-dependent luminance enhancement
JP2702408B2 (ja) * 1994-07-15 1998-01-21 日本電気ホームエレクトロニクス株式会社 画像変換システム
US6043909A (en) 1996-02-26 2000-03-28 Imagicolor Corporation System for distributing and controlling color reproduction at multiple sites
US7728845B2 (en) 1996-02-26 2010-06-01 Rah Color Technologies Llc Color calibration of color image rendering devices
US6445462B2 (en) * 1996-04-08 2002-09-03 Canon Kabushiki Kaisha Output control method and apparatus, and output system
KR100200628B1 (ko) * 1996-09-30 1999-06-15 윤종용 화질 개선 회로 및 그 방법
JP4240236B2 (ja) * 1996-11-13 2009-03-18 セイコーエプソン株式会社 画像処理装置、画像処理方法、画像処理プログラムを記録した媒体および印刷装置
US6351558B1 (en) 1996-11-13 2002-02-26 Seiko Epson Corporation Image processing system, image processing method, and medium having an image processing control program recorded thereon
DE19647322A1 (de) 1996-11-15 1998-05-20 Kabelschlepp Gmbh Kettenglied aus verschiedenen Werkstoffen und Verfahren zu dessen Herstellung
WO1999010866A1 (en) 1997-08-25 1999-03-04 Imagicolor Corp A system for distributing and controlling color reproduction at multiple sites
JP2002520968A (ja) 1998-07-15 2002-07-09 イメイション・コーポレイション 画像表示システム及び方法
US6807298B1 (en) * 1999-03-12 2004-10-19 Electronics And Telecommunications Research Institute Method for generating a block-based image histogram
US7262765B2 (en) * 1999-08-05 2007-08-28 Microvision, Inc. Apparatuses and methods for utilizing non-ideal light sources
US6807301B1 (en) * 2000-02-25 2004-10-19 Fujitsu Limited Image production controlling device, image producing device, image production controlling method, and a storage medium
US7102648B1 (en) 2000-04-11 2006-09-05 Rah Color Technologies Llc Methods and apparatus for calibrating a color display
JP4064038B2 (ja) * 2000-06-09 2008-03-19 富士フイルム株式会社 固体撮像素子を用いた画像取得装置および画像取得方法並びにその方法を実行するためのプログラムを記録した記録媒体
WO2005020130A2 (en) * 2000-08-18 2005-03-03 Paul Reed Smith Guitars, Limited Partnership Method of color accentuation with compensation and adjustment
US7292369B2 (en) * 2000-12-28 2007-11-06 Seiko Epson Corporation Logo data generating method and system
US6847377B2 (en) * 2001-01-05 2005-01-25 Seiko Epson Corporation System, method and computer program converting pixels to luminance levels and assigning colors associated with luminance levels in printer or display output devices
US6950211B2 (en) * 2001-07-05 2005-09-27 Corel Corporation Fine moire correction in images
JP3992177B2 (ja) * 2001-11-29 2007-10-17 株式会社リコー 画像処理装置、画像処理方法及びコンピュータ・プログラム
US20050213125A1 (en) * 2002-08-19 2005-09-29 Paul Reed Smith Guitars, Limited Partnership Method of color accentuation with compensation and adjustment
US20050212726A1 (en) * 2004-03-16 2005-09-29 Pioneer Plasma Display Corporation Method, display apparatus and burn-in reduction device for reducing burn-in on display device
JP4359844B2 (ja) * 2004-11-24 2009-11-11 ノーリツ鋼機株式会社 フィルムのベース濃度検出方法及びその装置
JP4740602B2 (ja) * 2005-01-19 2011-08-03 イーストマン コダック カンパニー オートホワイトバランス装置及びホワイトバランス調整方法
US7894686B2 (en) * 2006-01-05 2011-02-22 Lsi Corporation Adaptive video enhancement gain control
JP4476955B2 (ja) * 2006-03-17 2010-06-09 富士通マイクロエレクトロニクス株式会社 シェーディング補正回路とその制御方法
KR101018237B1 (ko) * 2009-02-03 2011-03-03 삼성전기주식회사 단색 영상의 영향을 고려한 자동 화이트 밸런스 조정 장치 및 방법
US20140168253A1 (en) * 2012-12-18 2014-06-19 Canon Kabushiki Kaisha Color processing apparatus and method
US11386588B2 (en) * 2016-12-27 2022-07-12 Sony Corporation Product design system and design image correction apparatus
CN113099191B (zh) * 2021-03-22 2023-04-07 浙江大华技术股份有限公司 一种图像处理方法及装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ATE29816T1 (de) * 1983-12-14 1987-10-15 Hell Rudolf Dr Ing Gmbh Verfahren und schaltungsanordnung zur selektiven korrektur von farbtoenen und farben.
US4736245A (en) * 1984-12-12 1988-04-05 Fuji Photo Film Co., Ltd. Calibration method for color film inspection system
DE3629396C2 (de) * 1986-08-29 1993-12-23 Agfa Gevaert Ag Verfahren zur elektronischen Bildverarbeitung
JPH0722311B2 (ja) * 1986-11-13 1995-03-08 キヤノン株式会社 カラ−画像読み取り装置
JP2647398B2 (ja) * 1987-12-09 1997-08-27 キヤノン株式会社 画像信号処理装置
JP2756280B2 (ja) * 1988-11-14 1998-05-25 キヤノン株式会社 カラー画像処理装置

Also Published As

Publication number Publication date
KR910020589A (ko) 1991-12-20
US5278641A (en) 1994-01-11
JP3011432B2 (ja) 2000-02-21
EP0457537A2 (en) 1991-11-21
JPH0420072A (ja) 1992-01-23
EP0457537A3 (en) 1992-03-04

Similar Documents

Publication Publication Date Title
KR940005828B1 (ko) 컬러화상 처리장치
JP3673549B2 (ja) カラーネガティブ走査及び原シーンのカラーへの変換
JP3907783B2 (ja) 色変換方法
EP1139653B1 (en) Color image reproduction of scenes with preferential color mapping
US5371615A (en) Image-dependent color correction using black point and white point in a natural scene pictorial image
JPH09197577A (ja) デジタル感度補正処理
JP2000261686A (ja) 画像処理装置、方法及び記録媒体
JP2000324353A (ja) 画像処理装置、方法及び記録媒体
JP3086535B2 (ja) 画像処理方法および装置
US6801296B2 (en) Image processing method, image processing apparatus and image recording apparatus
JP2002262125A (ja) デジタル映画用フイルムイメージの処理
US5966505A (en) Image outputting method and converting information producing method
JPH11249241A (ja) 画像処理方法及び画像処理装置
US6882451B2 (en) Method and means for determining estimated relative exposure values from optical density values of photographic media
JPH06139323A (ja) ネガフィルムから被写体の色を忠実に再現できる画像処理システムおよび画像処理方法
JPS589136A (ja) 画像観察装置
US6081317A (en) Image reproducing method
JP2749801B2 (ja) カラー画像の解析条件設定方法
JP3614541B2 (ja) デジタルプリンタ及びこれの画像データ変換方法、画像記録方法
Hunt Application of a model of color appearance to practical problems in imaging
JP2000092309A (ja) 画像処理方法および画像処理装置
JPH0595450A (ja) 画像読み取り装置
Yoda et al. Color Image Processing in Fujifilm's Digital Imaging Services
Owens et al. Image quality verification in the development of hardware and media for the kodak digital lab system
JPH117527A (ja) 画像変換方法及び記録媒体

Legal Events

Date Code Title Description
A201 Request for examination
G160 Decision to publish patent application
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20010530

Year of fee payment: 8

LAPS Lapse due to unpaid annual fee