KR100450132B1

KR100450132B1 - 화상처리장치 및 처리방법

Info

Publication number: KR100450132B1
Application number: KR10-2001-0072536A
Authority: KR
Inventors: 호리테츠야; 코니시요시하루
Original assignee: 가부시키가이샤 히타치세이사쿠쇼
Priority date: 2000-11-21
Filing date: 2001-11-21
Publication date: 2004-09-30
Also published as: EP1207685A3; EP1207685A2; TW535416B; US20020060743A1; KR20020039633A; JP2002159014A; CN1147131C; CN1354597A

Abstract

본 발명은, 화상처리장치 및 처리방법에 관한 기술로서, 화상처리장치에 있어서, 촬상광학계와, 3색(R, G, B)의 필터 가운데 1색(녹색)을 중복사용한 4개의 필터로 이루어지는 컬러필터를 복수개 조합하여 각 색깔별로 화소데이터를 생성하는 컬러촬상소자와, 상기 촬상광학계의 화상형성면에 배치한 상기 컬러촬상소자를 상기 화상형성면내에서 소정 화소분을 변이구동하는 변위구동장치와, 화상합성부로 이루어져, 화상합성부는 상기 변위구동의 전후에서 위치관계가 다른 동일색(G)의 화소 데이터만으로 1개의 모노크롬화상을 생성하여 출력하는 컬러촬상소자에 화상이동의 기술을 적용함으로서, 고해상도의 모노크롬화상을 단시간에 취득하는 기술을 제공한다.

Description

화상처리장치 및 처리방법{IMAGE PROCESSING APPARATUS AND METHOD}

본 발명은 화상처리장치 및 처리방법에 관하여, 특히 2차원에 배열된 수광소자를 갖춘 컬러촬상소자에 화소이동의 기술을 적용하여 고해상도의 모노크롬 화상을 생성하는 화상처리장치 및 처리방법에 관한 것이다.

CCD 등의 고체 상태의 촬상소자는 수광소자를 2차원에 배열한 촬상면을 가지고, 이 촬상면에 촬상수광계를 이용하여 피사체상을 결상한다. 이 때문에, 그 촬상소자의 해상도는 수광소자의 배열피치에 의해 결정되게 된다. 따라서, 해상도를 높이기 위해서는 수광소자의 배열밀도를 높이면 된다. 그러나 배열밀도를 고밀도화하는 것은 촬상소자를 제조하는 것을 어렵게 하며, 제조 비용이 상승된다. 또한, 배열밀도를 고밀도화하여, 화소의 형상을 작게 하면 각각의 촬상소자의 감도가 저하한다.

일본국 특개평(10-304235호)공보에는, 고체 상태의 촬상소자의 촬상면을 소정량씩 이동하면서 복수개의 화상을 촬상하고, 이어서, 촬상한 이러한 복수개의 화상을 합성함으로서 고해상도의 컬러화상을 생성하는 방법, 즉「화소이동」의 기술을 적용한 화상생성방법이 제시되어 있다.

도 4는 종래의 모노크롬 화상취득방법을 나타내는 도이다. 모노크롬화상은, 우선 화소이동 기술을 적용하여 복수개의 컬러화상을 생성한 후, 생성한 컬러화상을 이용하여 고해상도의 모노크롬화상을 취득할 수 있다. 도 4A는 컬러촬상소자의 촬상면을 형성하는 수광소자에 대응하여 배열된 R,G,B의 3색으로 이루어지는 원색 형태의 색필터어레이를 나타내는 도이다. 이 배치방법은 베이어(Bayer) 방식으로 알려져 있다. 베이어(Bayer) 방식에서는 우선, 고해상도가 필요한 휘도신호용의 녹색(G) 필터를 바둑판 무늬위에 배치하고, 또한 나머지 부분에 적색(R) 및 청색(B) 필터를 교대로 바둑판 무늬위에 배치한다. 따라서, 수광소자의 배열밀도에 대해서, 녹색(G)은 1/2, 적색(R) 및 청색(B)은 각각 1/4의 배열밀도(해상도)로 이루어져 있다.

종래는 R,G,B의 각 색깔별로 해상도가 동일한 3개의 화상을 생성한다. 즉, 각 색깔별로 해상도가 수광소자의 배열밀도와 동일 수준이 되도록, 화소이동에 의해 각 색상별로 복수개의 화상데이터를 취득하여, 취득한 화상 데이터를 각 색상별로 생성한다. 우선, 녹색(G)에 대해서는, 컬러촬상소자와 피사체상과의 어떤 위치에서의 화상데이터를 취득하고, 이어서, 컬러촬상소자와 피사체상의 상대적 위치관계를 도4B의 화살표에서 나타내듯이 1화소피치 이동한 상태에서 화상데이터를 취득한다. 취득한 2개의 화상데이터의 녹색(G) 부분만을 추출하여 (G)부분으로 이루어지는 1개의 화상을 생성한다. 청색(B)에 대해서는, 컬러촬상소자와 피사체상의 상대적 위치관계를 도4C의 화살표에 나타내듯이 다른 3방향에 1화소 피치마다 이동한 총 4개의 화상 데이터를 취득한 후, 취득한 4개의 화상 데이터의 청색(B) 부분만을 추출하여 (B)부분으로 이루어지는 1개의 화상을 생성한다. 동일한 형태로 적색(R)에 대해서도, 컬러촬상소자와 피사체상의 상대적 위치관계를 도 4C의 화살표에 나타내듯이 다른 3방향에 1화소피치마다 이동한 4개의 화상 데이터를 취득한 후, 취득한 4개의 화상데이터의 적색(R)부분만을 추출하여 (R)부분으로 이루어지는 1개의 화상을 생성한다. 이상와 같이 하여 취득한 모노크롬화상의 해상도는 G는 2배, B와 R은 4배로 되는 동시에, R,G,B 모두 동일한 해상도가 된다.

한편, 컬러촬상소자와 피사체상의 상대적 위치관계를 이동하는 양을 1/2화소피치로 하면, 각 색상도 수광소자의 배열밀도에 대해서 배밀도(倍密度)의 화상 데이터를 취득할 수 있다. 즉, 녹색(G)에 대해서는 도4D에 나태내는 바와 같이, 컬러촬상소자와 피사체상의 상대적 위치관계가 다른 8개의 화상 데이터를 취득하여, (G)부분만으로 이루어지는 1개의 화상 데이터를 생성하면 된다. 또한, 청색(B)에 대해서는, 도4E에 내태내는 바와 같이, 컬러촬상소자와 피사체상의 상대적 위치관계가 다른 16개의 화상 데이터를 취득하여, (B)부분만으로 이루어지는 1개의 화상데이터를 생성하면 된다. 또한 동일한 형태로, (R)에 대해서도, 도 4E에 나태내는 바와 같이, 컬러촬상소자와 피사체상의 상대적 위치관계가 다른 16개의 화상 데이터를 취득하여, (R)부분으로 이루어지는 1개의 화상데이터를 생성하면 된다. 이 경우의 모노크롬 화상의 해상도는 G는 8배, B와 R은 16배가 된다.

이상에서 상술한 바와같이, 화소이동 기술을 이용하여 얻은 고해상도의 RGB 3색의 화상을 합성하여 흑백의 모노크롬 화상을 생성한다. 이 경우, RGB 각 색상의 화상은 동일한 해상도가 되도록 생성되어 있기때문에, 그러한 RGB의 각 색상의 화상에서의 서로 동위치의 3색의 화상데이터를 합성하여 흑백의 모노크롬화상데이터를 생성할 때에, 컬러촬상소자의 분광감도특성, 시감도특성 등을 고려하여 각 화소별로 연산이 실행되어, 전체 화소 데이터를 연산하여 끝낸 후에 흑백의 모노크롬 화상이 생성된다.

이와 같은 방법에 의해서 흑백의 모노크롬 화상을 생성하면, RGB의 3색의 모노크롬 화상을 생성하는 것보다도, 흑백의 모노크롬 화상데이터를 연산하는데에 필요한 시간이 더 걸리며, 모노크롬화상의 생성시간이 길어진다. 예를들면, 상기의 1/2화소피치마다 이동하는 기술에 있어서는, 16개의 촬상시간외에, 그 밖의 흑백의 모노크롬화상데이터를 합성하기 위한 연산시간이 요구된다. 더욱이, 16개의 촬상시간의 각 위치에서의 3색의 촬상은 동시에 실행되기 때문에, 16개분의 촬상시간으로 3색의 모노크롬화상을 취득할 수 있다.

즉, 종래기술에서, 흑백의 모노크롬화상을 생성하는 데에는, 3색의 모노크롬컬러화상을 취득하는 시간보다도 연산시간만이 더 걸리게 된다.

본 발명의 목적은, 화상이동의 기술을 적용하여 고해상도의 모노크롬화상을 단시간으로 생성하도록 한 화상처리장치 및 방법을 제공하는 것에 있다.

흑백의 모노크롬화상을 취득하는 경우, 휘도신호에 기여하는 비율이 가장 큰 녹색(G)만을 이용하여, 피사체의 화상을 취득하여 흑백의 모노크롬화상을 취득한 결과, 화질의 열화(劣化)는 거의 인지되지 않고, 특히 흑백으로 인쇄된 전표류를 판독하는 경우에는 화질열화는 인지되지 않았다. 예를들면, 지면에 표현된 문자와 도면 등을 판독하는 스케너에 있어서는, 일반적으로 모노크롬 화상의 판독이기 때문에, 컬러상을 정확한 흑백의 모노크롬화상으로 변환할 필요는 없어서, 실질적으로 적절한 모노크롬화상을 생성할 수 있으면 된다. 발명자는 이와 같은 경험에 의거하여 본 발명을 고안하였다.

본 발명은 이러한 점을 감안하여 이루어진 것으로, 가장 화소밀도가 높은 색에 대해서만 화소이동의 기술을 이용하여, 고해상도의 색의 모노크롬화상을 얻어서, 그 모노크롬화상만으로 화상처리를 하도록 한 화상처리장치 및 방법을 제공한다.

본 발명의 하나의 실시형태에 의하면, 본 발명의 장치는, 피사체를 촬상하는 촬상수광계와, 3색 필터중의 1색을 중복 사용한 4개의 필터를 조합하는 다수의 필터의 조합이 촬상면상의 각 화소에 각 필터별로 대응하여 배치된 컬러찰상소자와, 촬상광학계와 컬러촬상소자를 소정화소분량만큼 상대적으로 변이시키는 변이구동수단과, 그 변이의 전후에서의 위치관계가 다른 동일색의 화소데이터만으로 모노크롬화소를 생성출력하는 위치를 구비하고 있다.

도 1 은 본 발명에 관한 화상처리장치의 하나의 실시예를 나타내는 블록도이다.

도 2A-2C 는 본 발명에 관한 모노크롬 화상의 취득방법을 나타내는 도이다.

도 3 은 본 발명에 관한 모노크롬 화상의 취득처리 순서를 나타내는 흐름도이다.

도 4A-4E 는 종래의 모노크롬 화상취득방법을 나타내는 도이다.

이하에 본 발명의 하나의 실시예에 대해서 도 1에서 도 3을 이용하여 설명한다.

도 1에 있어서, 촬상광학계(1)는 피시체상을 컬러촬상소자(2)의 촬상면에 결상한다. 컬러촬상소자(2)는, 촬상면상에 2차원으로 배열된 수광소자상에 결상한 피사체상을 공간적으로 샘플링하여 광전변위한 후, 출력처리부(5)로 보낸다. 컬러촬상소자(2)는 2차원화상의 촬상을 하는 범위 CCD 등의 고체 상태의 촬상소자가 적당하다.

변위구동수단(3)은, 예를들면, 압전소자 등의 전기적으로 약간 이동시키는 수단을 이용하여, 컬러촬상소자(2)와 피사체상과의 상대적 위치관계를 변이시켜서, 컬러촬상소자(2)를 결상면상에서 이동할 수 있도록 하고 있다.

제어부(4)는, 1프레임분의 화상데이터가 컬러촬상소자(2)에서 출력처리부(5)로 보내지는 사이에, 변이수단(3)을 구동하여 컬러촬상소자(2)의 위치를 상대적 위치관계가 다른 다음의 프레임위치에 이동한다. 그리고, 다음의 프레임에서의 화상데이터를 취득한다. 이와같이 함으로서, 컬러촬상소자(2)와의 상대적 위치관계룰 바꾼 복수개의 화상 데이터를 취득하고 인접하는 화소데이터를 보간함으로서 해상도를 높인다.

출력처리부(5)는, 컬러촬상소자로부터 보내진 각각의 아날로그 화상 테이터를 증폭하고, 베이스라인부와 신호부를 교대로 샘플링하여 양자의 차를 신호로서검출하는 상관 2중 샘플링을 하며, 그리고, A/D변환 등을 실행하여, 디지털화상데이터로서 출력한다.

화상합성부(6)는 상대적위치관계가 다른 복수의 화상데이터를 서로 인접하는 화소 데이터를 서로보간하여 피사체에 대한 보다 해상도가 높은 1개의 모노크롬화상을 생성한다. 화상의 합성은, 1개의 화상데이터 중에서 화소데이터를 가지고 있지 않는 화소를 다른 위치의 1개의 화상 데이터의 대응화소데이터와 보충하며, 즉 보간을 한다. 이 보간조작은 RGB의 각 색상을 고려한 특별한 연산을 필요로 하지 않는다.

화상처리부(7)는, 전체적으로 화면이 균일한 밝기가 되도록 하기위한 셰이딩(shading)보정, 입출력특성을 조정하기 위한보정, 화상의 윤곽을 강조하기 위한 MTF보정 등을 실시한다. 화상처리부 7은, 필요에 따라서 RGB의 3색의 컬러화상에 의거하여 흑백의 모노크롬화상에의 변환을 할 수 있다. 또한, 화상처리부(7)는 사용자의 지시에 의해 피사체상이 컬러상인지 모노크롬상인지를 선택할 수 있다. 출력부(8)는, 화상처리부(7)에서 출력된 합성화상데이터를 외부인터페이스의 프로토콜에 적합한 포맷으로 출력라인(9)위에 출력한다.

도 2는, 모노크롬화상의 취득방법을 나타내는 도이다. 모노크롬화상은, 우선 화소이동의 화상생성방법을 이용하여 특정색의 복수개의 컬러화상을 생성한 후, 생성한 컬러화상을 이용하여 고해상도의 모노크롬화상을 취득할 수 있다.

도 2A는 컬러촬상소자의 촬상면에 형성한 상기 베이어(Bayer) 방식의 색필터어레이를 나타내는 도이다. 상술한 바와 같이, 베이어 방식에서는, 바둑판 무늬위에 고해상도가 필요한 휘도신호용의 녹색(G) 필터를 배치하고 있으며, 그 배열밀도는 수광소자의 배열밀도의 1/2인 것에 대해서, 적색(R) 및 청색(B) 필터는 각각 1/4의 배열밀도이다. 그래서 화소이동에 의해서 취득하는 화상데이터의 색으로서 녹색(G)을 선택하고, 이 색의 화상데이터를 복수개 취득하여, 취득한 화상데이터를 합성하여 1개의 녹색(G)의 모노크롬화상을 생성한다.

즉, 녹색(G)에 대해서, 컬러촬상소자와 피사체상과의 어떤 위치관계에서의 화상데이터를 취득하고, 이어서, 컬러촬상소자와 피사체상의 상대적 위치관계를 도 2B 화살표에 나타내듯이 1화소피치 이동한 상태에서 화상 데이터를 취득하고, 취득한 2개의 화상 데이터의 녹색(G) 부분을 추출하여, 한 쪽의 화상중에서 G의 화소 데이터가 부족한 화소를 다른 쪽의 화상중의 화소데이터에서 보간하여, 1개의 녹색(G)의 모노크롬화상을 합성한다.

도 3은, 모노크롬화상을 취득하는 처리를 실시하는 제어부(3)의 동작을 나타내는 흐름도이다. 우선, 스텝(1)에서, 피사체상을 촬상한다. 스텝(2)에 있어서, 촬상한 화상중의 녹색(G) 부분을 추출한다. 스텝(3)에 있어서, 컬러촬상소자와 피사체상의 상대적 위치관계를, 예를들면, 도 2B에 나타내듯이 1피치 이동한다. 스텝(4)에서, 피사체상을 촬상한다. 스텝(5)에 있어서, 촬상한 화상중의 녹색(G) 부분을 추출한다. 스텝(6)에서, 상기 스텝(2) 및 (5)에서 추출한 화상중의 녹색(G) 부분을 합성한다. 스텝(7)에서, 합성화상에 각종의 보정을 실시하여 모노크롬화상을 생성한다. 스텝(8)에서, 외부에 출력한다. 더욱이, 후술하는 바와 같이, 화소이동양을 1/2피치로 하는 경우는 스텝(3) 내지 (5)를 소정회수 반복한다.

또한, 청색(B)에 대해서 취득하는 경우는, 컬러촬상소자와 피사체상의 상대적 위치관계를 도 4C의 화살표에 나타내듯이 다른 3방향으로 1화소피치마다 이동한 4개의 화상데이터를 취득한 후, 취득한 4개의 화상 데이터의 청색(B) 부분을 추출하여, 1개의 청색(B)의 모노크롬화상을 합성할 수 있다. 동일한 형태로 적색(R)에 대해서 취득하는 경우에는, 컬러촬상소자와 피사체상의 상대적 위치관계를 도 4C의 화살표에 나타내듯이 다른 3방향으로 1화소피치마다 이동한 4개의 화상 데이터를 취득한 후, 취득한 4개의 화상 데이터의 적색(R) 부분을 추출하여, 1개의 적색(R)의 모노크롬 화상을 합성할 수 있다. 더욱이, B와 R에 관한 이상의 조작은 반드시 필요하지 않고, 필요에 따라서 선택적으로 실행할 수 있는 것이다.

다음으로, 컬러촬상소자와 피사체상의 상대적 위치관계를 이동하는 양을 1/2 화소피치로 하면, 각 색상도 수광소자의 배열밀도에 대해서 배밀도(倍密度)의 화상데이터를 취득할 수 있다.

즉, 녹색(G)에 대해서, 도 2C에 나타내는 바와 같이, 컬러촬상소자와 피사체상의 상대적 위치관계가 다른 8개의 화상데이터를 취득하고, 취득한 8개의 화상데이터의 녹색(G)부분을 추출하여, 1개의 녹색(G)의 모노크롬화상을 합성한다.

더욱이, 청색(B)에 대해서 취득하는 경우는, 도 4E에 나타내는 바와 같이, 컬러촬상소자와 피사체상의 상대적 위치관계가 다른 16개의 화상 데이터를 취득하고, 취득한 16개의 화상 데이터의 청색(B) 부분을 추출하여, 1개의 청색(B) 모노크롬화상을 합성할 수 있다.

또한, 적색(R)에 대해서 취득하는 경우는, 도4E에 나타내는 경우와 동일한형태로 컬러촬상소자와 피사체상의 상대적 위치관계가 다른 16개의 화상 데이터를 취득하고, 취득한 16개의 화상 데이터의 적색(R) 부분을 추출하여, 1개의 적색(R)의 모노크롬 화상을 합성할 수 있다.

베이어(Bayer) 방식의 배열에서는 녹색(G) 필터의 배열밀도는 청색(B) 및 적색(R) 필터의 2배이다. 즉, 녹색(G)의 촬상개수는 8개이지만, 청색(B) 및 적색(R)의 경우의 촬상개수는 16개이다. 따라서, 녹색(R)만을 고밀도화하여 모노크롬화상을 취득하는 경우의 촬상개수는, B 및 R의 경우의 1/2로 충분하며, 그러한 이유로 촬상시간도 1/2로 단축할 수 있다. 게다가, 모노크롬화상생성을 위한 연산시간도 불필요하기 때문에, 모노크롬화상을 생성하기 위한 연산시간은 8개분의 촬상시간만으로 가능하다. 이와 같이 본 발명의 이 실시예에서는, 모노크롬화상의 생성시간은 종래의 1/2이하로 단축할 수 있다.

이와 같이 모노크롬 화상을 취득하는 경우에, 휘도신호가 기여하는 비율이 큰 녹색(G)만을 이용하여도, 판독 대상이 전체적으로 녹색계통인 겨우를 제외하고 양호한 모노크롬 화상을 취득할 수 있다. 특히, 흑백으로 인쇄한 전표류를 판독하는 경우에는 화질열화는 인지되지 않았다.

이상, 화소이동양을 1/2화소피치로 하는 예에 대해서 설명하였지만, 화소이동양을 1/n화소 피치로 하는 경우도 동일한 형태로 적용 가능하며, 모노크롬 화상취득에서 단축되는 시간은, n에 비례해서 커진다.

또한, 여기서는 컬러촬상소자(2)의 원색필터배열로서 베이어 방식을 이용하는 경우에 대해서 설명하였지만, 다른 방식의 배열을 이용하는 경우는, 수광면의 점유율이 최대인 색의 필터를 배치한 수광소자의 출력을 이용하여 모노크롬 화상을 생성하면 된다. 또한, 상기 필터로서 보충적인 색필터(Ye, Mg, Cy)를 이용할 수 있다.

Claims

촬상면상에 피사체상을 결상하기 위한 촬상광학계;

수광소자;

촬상면상에 복수의 컬러부분이 2차원으로 배열된 컬러필터(단수)를 포함하여, 촬상광학계에 의해 결상된 상기 피사체상의 광전변환을 수행하는 컬러촬상소자;

제어부;

상기 제어부의 제어에 의해, 상기 피사체상과 컬러촬상소자를 미리 결정된 방향 및 미리 결정된 피치에 대응하는 거리씩 서로 상대적으로 변위하기 위한 변위구동장치;

상기 제어수단의 제어에 의해, 컬러촬상소자의 컬러필터의 선택된 하나뿐인 컬러부분을 통해 취득한 피사체상의 이미지 데이터와, 촬상광학계와 컬러촬상소자가 변위구동장치에 의해 서로 상대적으로 변위되었을 때에 상기와 동일한 선택된 하나의 컬러부분을 통해 취득한 피사체상의 이미지 데이터를 사용해서 하나의 합성이미지를 생성하기 위한 화상합성부; 및

상기 제어부의 제어에 의해, 화상합성부에서 합성된 하나의 합성이미지를 단일의 모노크롬 이미지로서 출력하기 위한 출력수단

을 포함하여 이루어진 것을 특징으로 하는 화상처리장치.
청구항 1에 있어서, 상기 컬러필터는 3색의 컬러부분이 베이어방식에 따라 배열되는 것을 특징으로 하는 화상처리장치.
청구항 1에 있어서, 상기 미리 결정된 피치는 촬상면상의 1픽셀의 1/n에 대응하는 거리인 것을 특징으로 하는 화상처리장치.(여기서, n은 정수)
청구항 1에 있어서, 상기 선택된 하나의 컬러부분은 녹색인 것을 특징으로 하는 화상처리장치.
청구항 1에 있어서, 상기 변위구동장치는 상기 피사체상과 컬러촬상소자를 서로 상대적으로 미리 결정된 복수의 다른 방향 및 미리 절정된 피치에 대응하는 거리씩 변위하는 것을 특징으로 하는 화상처리장치.
그 촬상면상에 복수의 컬러부분이 2차원에 배열된 컬러필터(단수)를 포함하는 컬러촬상소자의 수광소자상에 촬상광학계에 의해 피사체상을 결상하고;

결상한 피사체상으로부터 상기 복수의 컬러 가운데 1색만 피사체상의 제 1의 화상데이터를 추출하고;

상기 수광소자상상에 결상되는 피사체상을 소정의 방향으로 미리 결정된 피치에 대응하는 거리만큼 변이하고;

변이한 후의 피사체상으로부터 상기와 동일한 1색만 피사체상의 제 2의 화상데이터를 추출하고;

상기 제 1의 화상데이터와, 상기 제 2의 화상데이터를 합성하고, 단일의 합성화상데이터를 생성하며; 그리고

상기 합성화상데이터를 1매의 모노크롬화상으로서 출력하는 것을 특징으로 하는 화상처리방법.
청구항 6에 있어서, 상기 변이하는 스텝과, 상기 제 2의 화상데이터를 추출하는 스텝을 반복하여, 복수의 상기 제 2의 화상데이터를 추출하는 것을 특징으로 하는 화상처리방법.
청구항 3에 있어서, 상기 제어부는 변위구동장치가 촬상면상의 1픽셀의 1/n에 대응하는 거리씩 복수횟수 시프트를 반복하도록 제어하는 것을 특징으로 하는 화상처리장치.(여기서, n은 정수)