KR20080039226A - 화상처리장치, 촬영장치 및 이들에 있어서의 화상처리방법및 당해 방법을 컴퓨터에 실행시키는 프로그램 - Google Patents

화상처리장치, 촬영장치 및 이들에 있어서의 화상처리방법및 당해 방법을 컴퓨터에 실행시키는 프로그램 Download PDF

Info

Publication number
KR20080039226A
KR20080039226A KR1020070102931A KR20070102931A KR20080039226A KR 20080039226 A KR20080039226 A KR 20080039226A KR 1020070102931 A KR1020070102931 A KR 1020070102931A KR 20070102931 A KR20070102931 A KR 20070102931A KR 20080039226 A KR20080039226 A KR 20080039226A
Authority
KR
South Korea
Prior art keywords
image data
characteristic value
physical characteristic
color
noise
Prior art date
Application number
KR1020070102931A
Other languages
English (en)
Inventor
노부유키 마츠시타
켄이치 니시오
Original Assignee
소니 가부시끼 가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 가부시끼 가이샤 filed Critical 소니 가부시끼 가이샤
Publication of KR20080039226A publication Critical patent/KR20080039226A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/58—Edge or detail enhancement; Noise or error suppression, e.g. colour misregistration correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Color Image Communication Systems (AREA)
  • Color Television Image Signal Generators (AREA)
  • Facsimile Image Signal Circuits (AREA)

Abstract

인간의 시각 특성을 고려하는 동시에, 화상신호에 포함되는 노이즈의 성질을 고려하여 효과적으로 노이즈를 제거한다.
화상 데이터에 포함되는 노이즈를 파라미터에 근거하여 제거하는 화상처리장치(100)에 있어서, 화상 데이터를 입력하는 입력단자(110)와, 휘도에 의존하는 물리 특성치를 입력단자(110)로부터 입력된 화상 데이터의 휘도에 근거하여 산출하는 물리 특성치 산출부(150)와, 입력단자(110)로부터 입력된 화상 데이터의 색을 판별하는 색판별부(140)와, 물리 특성치 산출부(150)에 의해 산출된 물리 특성치와 색판별부(140)에 의해 판별된 색에 따른 시각 특성치에 근거하여 파라미터를 결정하는 파라미터 결정부(160)를 구비하는 화상처리장치이다. 이것에 의해, 물리 특성치와 시각 특성치에 근거하여 결정된 파라미터에 의하여 노이즈를 적절히 제거한다.

Description

화상처리장치, 촬영장치 및 이들에 있어서의 화상처리방법 및 당해 방법을 컴퓨터에 실행시키는 프로그램{Image processing apparatus, image capturing apparatus, image processing method in these apparatuses, and program allowing computer to execute the method}
본 발명은, 화상처리장치에 관한 것이며, 특히, 화상신호에 포함되는 잡음(노이즈)을 효과적으로 제거할 수 있는 화상처리장치, 촬영장치 및 이들에 있어서의 화상처리방법 및 당해 방법을 컴퓨터에 실행시키는 프로그램에 관한 것이다.
CCD(Charge Coupled Device) 등의 촬상소자로부터 출력되는 RAW 데이터에는 각종 노이즈가 포함되어 있다. 이들 노이즈를 효과적으로 제거하는 방법으로서 인간의 시각 특성을 고려하여 노이즈 제거의 세기를 변경하는 방법이 널리 알려져 있다.
예를 들면, 노이즈가 중첩된 화상에 있어서, 소정 사이즈의 영역마다 화상의 색을 판단하고, 판단한 색에 따라 파라미터를 결정하고, 결정한 파라미터에 따라서 노이즈 제거 처리를 실행하는 화상처리방법이 제안되고 있다(예를 들면, 특허 문헌 1 참조.).
[특허 문헌 1]특개 2004－40235호 공보(도 1)
상술의 종래 기술에서는, 소정 사이즈의 영역마다 화상의 색에 따라, 노이즈 제거 처리를 위한 파라미터를 변경하기 위해, 노이즈 제거의 세기를 색마다 변경할 수 있다.
그런데, 쇼트(shot) 노이즈는 휘도(레벨) 의존성이 있고, 신호량이 커짐에 따라 노이즈량이 많아진다고 하는 성질이 있다. 이 때문에, RAW 데이터에 포함되는 노이즈가 쇼트 노이즈인 경우에는, 화상의 색과는 관계없는 것으로, 신호량에 따라 노이즈 제거의 세기를 변경할 필요가 있다.
그렇지만, 상술의 종래 기술에서는, 화상의 색에 근거하는 노이즈 제거를 실행할 수 있지만, 화상의 색과는 관계없는 것으로 노이즈 제거의 세기를 변경할 필요가 있는 쇼트 노이즈 등의 노이즈를, 효과적으로 제거할 수 없다고 하는 문제가 있었다.
그래서, 본 발명은, 인간의 시각 특성을 고려하는 동시에, 화상신호에 포함되는 노이즈의 성질을 고려하여 효과적으로 노이즈를 제거하는 것을 목적으로 한다.
본 발명은, 상기 과제를 해결하기 위하여 이루어진 것이며, 그 제 1의 측면은, 화상 데이터에 포함되는 노이즈를 소정의 파라미터에 근거하여 제거하는 노이즈 제거 처리를 실행하는 화상처리장치에 있어서, 화상 데이터를 입력하는 입력수 단과, 휘도에 의존하는 물리 특성치를 상기 입력된 화상 데이터의 휘도에 근거하여 산출하는 물리 특성치 산출수단과, 상기 입력된 화상 데이터의 색을 판별하는 색판별수단과, 상기 물리 특성치 산출수단에 의해 산출된 물리 특성치와 상기 색판별수단에 의해 판별된 색에 따른 시각 특성치에 근거하여 상기 파라미터를 결정하는 파라미터 결정수단을 구비하는 것을 특징으로 하는 화상처리장치, 촬영장치 및 이들에 있어서의 화상처리방법 및 당해 방법을 컴퓨터에 실행시키는 프로그램이다. 이것에 의해, 입력된 화상 데이터의 휘도에 의존하는 물리 특성치와, 입력된 화상 데이터의 색에 따른 시각 특성치에 근거하여 파라미터를 결정하고, 결정된 파라미터에 근거하여, 입력된 화상 데이터에 포함되는 노이즈를 적절히 제거한다고 하는 작용을 초래한다.
또, 이 제 1의 측면에 있어서, 상기 물리 특성치 산출수단은, 상기 입력된 화상 데이터 중 1의 화상 데이터인 주목화소의 휘도에 근거하여 상기 물리 특성치를 산출할 수 있다. 이것에 의해, 상기 결정된 파라미터에 근거하여, 입력된 화상 데이터에 포함되는 주목화소의 노이즈를 적절히 제거한다고 하는 작용을 초래한다.
또, 이 제 1의 측면에 있어서, 상기 색판별수단은, 상기 주목화소와 상기 주목화소의 주변에 위치하는 복수의 주변 화소를 포함하는 화상 데이터의 색에 근거하여 상기 시각 특성치를 산출할 수 있다. 이것에 의해, 상기 결정된 파라미터에 근거하여, 입력된 화상 데이터에 포함되는 주목화소와 그 주변에 위치하는 복수의 주변 화소와의 노이즈를 적절히 제거한다고 하는 작용을 초래한다.
또, 이 제 1의 측면에 있어서, 상기 노이즈 제거 처리는, 상기 주목화소와 상기 주목화소의 주변에 위치하는 복수의 주변 화소를 포함하는 화상 데이터에 근거하여 상기 입력된 화상 데이터에 포함되는 노이즈를 제거할 수 있다. 이것에 의해, 상기 결정된 파라미터에 근거하여, 입력된 화상 데이터에 포함되는 주목화소(target pixel)와 그 주변에 위치하는 복수의 주변 화소와의 노이즈를 적절히 제거한다고 하는 작용을 초래한다.
또, 이 제 1의 측면에 있어서, 상기 시각 특성치는, 상기 물리 특성치 산출수단에 의해 산출된 물리 특성치를 보정하는 계수인 보정치이며, 상기 색판별수단은, 상기 보정치를 상기 입력된 화상 데이터의 색에 근거하여 산출할 수 있다. 이것에 의해, 입력된 화상 데이터의 휘도에 의존하는 물리 특성치를, 입력된 화상 데이터의 색에 따른 보정치에 의하여 보정하고 파라미터를 결정하고, 결정된 파라미터에 근거하여, 입력된 화상 데이터에 포함되는 노이즈를 적절히 제거한다고 하는 작용을 초래한다.
또, 이 제 1의 측면에 있어서, 상기 파라미터 결정수단은, 상기 물리 특성치 산출수단에 의해 산출된 물리 특성치와 상기 색판별수단에 의해 판별된 색에 따른 시각 특성치를 곱셈함으로써 상기 파라미터를 산출할 수 있다. 이것에 의해, 입력된 화상 데이터의 휘도에 의존하는 물리 특성치와, 입력된 화상 데이터의 색에 따른 시각 특성치를 이용하여 적확한 파라미터를 결정한다고 하는 작용을 초래한다.
또, 이 제 1의 측면에 있어서, 상기 입력수단에 의해 입력된 화상 데이터는, 베이야 배열(Bayer array)의 화상 데이터일 수 있다. 이것에 의해, 베이야 배열의 화상 데이터에 대하여 노이즈를 적절히 제거하는 노이즈 제거 처리를 실행한다고 하는 작용을 초래한다.
또, 이 제 1의 측면에 있어서, 상기 입력수단에 의해 입력된 화상 데이터는, 촬상소자로부터 출력된 RAW 데이터일 수 있다. 이것에 의해, 촬상소자 등으로부터 출력된 RAW 데이터에 대하여 노이즈를 적절히 제거한다고 하는 작용을 초래한다.
또, 본 발명의 제 2의 측면은, 노이즈의 물리 특성과 인간의 시각 특성에 근거하여 화상 데이터에 포함되는 노이즈를 제거하는 노이즈 제거 처리를 실행하는 것을 특징으로 하는 화상처리장치이다. 이것에 의해, 화상 데이터에 포함되는 노이즈의 물리 특성과 화상 데이터에 관한 인간의 시각 특성에 근거하여 화상 데이터에 포함되는 노이즈를 적절히 제거한다고 하는 작용을 초래한다.
또, 이 제 2의 측면에 있어서, 상기 노이즈의 물리 특성을 나타내는 값은, 상기 화상 데이터의 휘도에 근거하여 산출되는 물리 특성치이며, 상기 인간의 시각 특성을 나타내는 값은, 상기 화상 데이터의 색에 근거하여 산출되는 시각 특성치이며, 상기 노이즈 제거 처리는, 상기 물리 특성치와 상기 시각 특성치에 근거하여 산출되는 파라미터를 이용하여 상기 화상 데이터에 포함되는 노이즈를 제거할 수 있다. 이것에 의해, 화상 데이터의 휘도에 의존하는 물리 특성치와, 화상 데이터의 색에 따른 시각 특성치에 근거하여 파라미터를 산출하고, 산출된 파라미터에 근거하여, 화상 데이터에 포함되는 노이즈를 적절히 제거한다고 하는 작용을 초래한다.
본 발명에 의하면, 노이즈의 물리 특성과 인간의 시각 특성을 고려하여 효과 적으로 노이즈를 제거할 수 있다고 하는 뛰어난 효과를 얻을 수 있다.
다음으로 본 발명의 실시의 형태에 대하여 도면을 참조하여 상세하게 설명한다.
또한, 본 발명의 실시의 형태에 있어서, 「노이즈 제거 처리」란, 노이즈를 포함하는 화상 데이터에 대하여, 이 노이즈를 경감 또는 제거하는 화상 처리를 의미하는 것으로 한다. 즉, 「노이즈 제거」가, 노이즈를 포함하는 화상 데이터로부터 완전하게 노이즈를 제거하는 것을 의미하는 것만이 아니라, 이 노이즈를 경감하는 것도 포함하는 것으로 한다.
도 1은, 본 발명의 실시의 형태에 있어서의 화상처리장치(100)의 기능 구성예를 나타내는 블럭도이다.
화상처리장치(100)는, 입력단자(110)와, 라인 버퍼(120)와, 주변 화소 참조부(130)와, 색판별부(140)와 물리 특성치 산출부(150)와 파라미터 결정부(160)와 노이즈 제거부(170)와 출력단자(180)를 갖춘다.
입력단자(110)는, RGB의 각 색신호로 이루어지는 칼라 신호 데이터(베이야 배열의 화상 데이터)를 입력하는 입력단자이며, 입력된 화상 데이터를 라인 버퍼(120)에 보내는 것이다. 예를 들면, 베이야 배열의 화상 데이터로서는, CCD(Charge Coupled Device) 등의 촬상소자로부터 출력되는 RAW 데이터가 있다. 또한, RAW 데이터는, 소정의 피사체의 화상을 촬상하는 촬상소자에 의해 촬상된 화상에 대응하는 화상 데이터의 일례이다.
베이야 배열이란, 도 2b 및 도 2c에 나타내는 바와 같이, 수평방향 2화소×수직방향 2화소를 기본 블록으로 하고, 이 기본 블록에 있어서 2개의 초록 화소(G)가 한쪽의 대각 상(上)에 배치되며, 빨강 화소(R)와 파랑 화소(B)가 나머지의 대각 상에 배치되며, 또한, 이 기본 블록이 주기적으로 배치된 화소 배열이다.
라인 버퍼(120)는, 복수 라인 분의 라인 버퍼로 구성되며, 입력단자(110)로부터 입력된 화상 데이터를 라인 단위로 복수 라인만큼 보관 유지하는 것이다.
도 2a는, 입력단자(110)로부터 입력되어 라인 버퍼(120)에 격납되어 있는 화상 데이터(200)를 개념적으로 나타내는 도면이다. 또한, 도 2a에 나타내는 화상 데이터(200)의 사이즈를, 수평 화소수를 W로 하고, 수직 화소수를 H로 한다. 또, 화상 데이터(200)를 구성하는 각 화소의 수직방향의 어드레스를 나타내는 변수를 i로 하고, 수평방향의 어드레스를 나타내는 변수를 j로 한다.
주변 화소 참조부(130)는, 라인 버퍼(120)에 격납되어 있는 수라인 분의 화상 데이터로부터 소정의 사이즈마다 화상 데이터를 차례차례 읽어내는 것이다.
도 2b 및 도 2c는, 라인 버퍼(120)에 격납되어 있는 화상 데이터(200)로부터 읽어내어지는 베이야 배열의 화상 데이터(300 및 400)를 개념적으로 나타내는 도면이다.
예를 들면, 주변 화소 참조부(130)가 읽어내는 소정의 사이즈마다 화상 데이터는, 도 2a에 나타내는 주목화소(201), 도 2a 및 도 2b에 나타내는 주목화소(201)를 포함하는 복수의 주변 화소로 이루어지는 베이야 배열의 화상 데이터(300)(5×5 화소의 윈도우), 도 2a 및 도 2c에 나타내는 주목화소(201)를 포함하는 복수의 주 변 화소로 이루어지는 베이야 배열의 화상 데이터(400)(9×9 화소의 윈도우)이다.
또, 주변 화소 참조부(130)는, 도 2a에 나타내는 바와 같이, 주목화소(201)를 1 화소씩 화살표 방향으로 시프트 시키면서 차례차례 읽어냄으로써, 화상 데이터(200)의 전(全)화소에 대하여 독출을 행한다.
물리 특성치 산출부(150)는, 화상 데이터의 휘도에 근거하여, 화상 데이터의 휘도에 의존하는 값인 물리 특성치(노이즈량)를 산출하는 것이다. 즉, 이 물리 특성치 산출부(150)는, 주변 화소 참조부(130)가 읽어낸 주목화소(201)의 화상 데이터를 참조하여, 이 화상 데이터의 휘도에 따른 물리 특성치를 계산하고, 계산한 물리 특성치를 파라미터 결정부(160)에 출력한다.
색판별부(140)는, 화상 데이터의 색을 판별하고, 물리 특성치를 보정하기 위한 보정치를 산출하는 것이다. 즉, 이 색판별부(140)는, 주변 화소 참조부(130)가 읽어낸 베이야 배열의 화상 데이터(300)를 참조하고, 이 화상 데이터가 나타내는 화상의 색을 판별한다. 그리고, 판별한 색에 근거하여, 주목화소(201)의 물리 특성치를 보정하는 계수인 보정치를 산출하고, 산출한 보정치를 파라미터 결정부(160)에 출력한다. 또한, 이 보정치는, 판별된 색에 따른 시각 특성치이다.
파라미터 결정부(160)는, 물리 특성치 산출부(150)의 출력치와 색판별부(140)의 출력치에 근거하여, 노이즈 제거부(170)가 노이즈 제거 처리를 행하기 위하여 이용하는 임계치(파라미터)를 계산하고, 계산한 임계치를 노이즈 제거부(170)에 출력하는 것이다.
노이즈 제거부(170)는, 예를 들면,ε필터를 이용한 노이즈 제거 방법을 이용 하여 노이즈 제거 처리를 실행하는 노이즈 제거부이며, 파라미터 결정부(160)가 출력한 임계치에 따라서 주변 화소 참조부(130)로부터 공급되는 베이야 배열의 화상 데이터(400)에 대하여 노이즈 제거 처리를 실행하는 것이다.
출력단자(180)는, 노이즈 제거부(170)가 노이즈 제거 처리를 실시한 화상 데이터를 외부에 출력하는 출력단자이다.
다음으로, 색판별부(140)에 대하여 더욱 상세하게 설명한다.
도 3은, 색판별부(140)의 기능 구성예를 나타내는 블럭도이다.
색판별부(140)는, 입력단자(141)와, 동색 평균부(142)와, 화이트 밸런스 보정부(143)와, γ보정부(144)와, 색분리부(145)와, 변환 테이블부(146)와, 출력단자(147)를 갖춘다.
여기에서는, 도 2b에 나타내는 바와 같이, 윈도우 사이즈가 5×5 화소인 베이야 배열의 화상 데이터(300)에 있어서, 주목화소(201)가 R의 경우에 대하여 설명한다. 주목화소(201)가 R의 경우, 주목화소(201)를 중심으로 한 베이야 배열의 화상 데이터(300)에는, R이 9 화소, G가 12화소, B가 4화소 포함된다.
입력단자(141)는, 주변 화소 참조부(130)가 읽어낸 베이야 배열의 화상 데이터(300)를 입력하는 입력단자이다.
동색 평균부(142)는, 입력단자(141)로부터 입력된 베이야 배열의 화상 데이터(300)에 포함되는 R, G, B의 각 입력 신호에 대하여, 각각의 화소 색의 평균치를 구하고 구한 각 화소의 평균치를 화이트 밸런스 보정부(143)에 출력하는 것이다. 즉, 이하에 나타내는 (식 1)~(식 3)에 따라서, 각 입력신호(R, G, B)를 R1, G1, B1 로 변환하고 , 변환한 R1, G1, B1를 화이트 밸런스 보정부(143)에 출력한다.
R1=베이야 배열의 화상 데이터(300)에 포함되는 9개의 R화소치의 평균치(평균 농도)…(식 1)
G1=베이야 배열의 화상 데이터(300)에 포함되는 12개의 G화소치의 평균치(평균 농도)…(식 2)
B1=베이야 배열의 화상 데이터(300)에 포함되는 4개의 B화소치의 평균치(평균 농도)…(식 3)
화이트 밸런스 보정부(143)는, 동색 평균부(142)가 출력한 R1, G1, B1의 각 값에 대하여, 이하에 나타내는 (식 4)~(식 6)에 따라서, R2, G2, B2로 변환하고, 변환한 R2, G2, B2의 각 값을 γ보정부(144)에 출력하는 것이다.
R2=R1×R의 화이트 밸런스 계수…(식 4)
G2=G1…(식 5)
B2=B1×B의 화이트 밸런스 계수…(식 6)
γ보정부(144)는, 화이트 밸런스 보정부(143)가 출력한 R2, G2, B2의 각 값에 대하여, 이하에 나타내는 (식 7)~(식 9)에 따라서, R3, G3, B3로 변환하고, 변환한 R3, G3, B3의 각 값을 색분리부(145)에 출력하는 것이다.
R3=R2×γ계수…(식 7)
G3=G2×γ계수…(식 8)
B3=B2×γ계수…(식 9)
색분리부(145)는, γ보정부(144)가 출력한 R3, G3, B3의 각 값에 대하여, r, g, b의 삼색으로 분리하고, 분리한 R3, G3, B3의 각 값을 변환 테이블부(146)에 출력하는 것이다.
도 4는, 인간의 시각 특성을 고려하여 작성되고 있는 색과 보정치의 변환 테이블(146a)을 나타내는 도면이다.
변환 테이블(146a)은, 색(146b)과, r, g, b의 값(146c)과, 보정치(146d)가 대응지어져 있는 변환 테이블이며, 색분리부(145)가 출력한 R3, G3, B3의 각 값을 보정치(k)로 변환하는 것이다.
변환 테이블부(146)는, 변환 테이블(146a)을 참조하여, 색분리부(145)가 출력한 R3, G3, B3의 각 값에 가장 가까운 값을 r, g, b의 값(146c) 중에서 선택한다. 그리고, 선택한 r, g, b의 값에 대응하는 보정치(k)를 선택하고, 선택한 보정치(k)를 출력단자(147)를 통하여 외부에 출력한다. 또한, R3, G3, B3의 각 값에 가장 가까운 값을 r, g , b의 값(146c) 중에서 선택할 때, 각 값의 색공간(color space) 거리(벡터)를 기준으로 판단한다.
다음으로, 물리 특성치 산출부(150)의 물리 특성치의 계산방법에 대하여 또한 상세하게 설명한다.
최초로, 노이즈의 물리 특성에 대하여 설명한다.
도 5a는, 화상의 휘도(밝기)와 물리 특성치(노이즈량)와의 관계의 일례를 나타내는 그래프이다.
일반적으로, CCD 등의 촬상소자의 출력에 있어서의 노이즈의 크기(신호의 표준 편차)는, 플로어 노이즈, 광학 쇼트 노이즈, 감도가 고르지 못한 노이즈의 에너 지화의 평방근으로 나타낼 수 있다. 구체적으로는, 다음(식 10)으로 나타내어진다.
σ(x)=√(ax2＋bx＋c)…(식 10)
여기서, x는 신호량이며, a는 감도가 고르지 못한 노이즈에 관련하는 정수이며, b는 광학 쇼트 노이즈에 관련하는 정수이며, c는 암전류 쇼트 노이즈와 회로의 열잡음을 주로 하는 플로어 노이즈에 관련하는 정수이며, σ(x)는 물리 특성치이다. 다만, 각종 노이즈를 취급하는 응용예에서는, 그 목적에 따라 상식(上式)(식 10)의 평방근내의 몇 개의 항이 생략되는 경우도 있다.
상식(上式)(식 10)의 근사식으로서, 감도가 고르지 못한 노이즈의 영향을 생략한 것이 다음 식(식 11)으로 된다.
σ(x)=√(bx＋c)…(식 11)
또, 한층 더(식 11) 근사식으로서 다음 식(식 12)이 성립하는 것이 알려져 있다.
σ(x)=b(√x)＋c…(식 12)
또한, 상술의 a, b, c에 대해서는, CCD, 기판, 온도 등에 따라 결정할 수 있는 파라미터이며, 측정한 값을 사용하도록 해도 좋고, 이론치로부터 계산한 값을 사용하도록 해도 좋다.
본 실시의 형태에서는, (식 12)를 이용하여, 주목화소(201)의 신호량(x)으로부터 물리 특성치σ(x)를 계산한다. 이 경우에, 신호량(x)과 물리 특성치σ(x)는, 도 5a에 나타내는 그래프의 곡선(노이즈 커브)을 그린다.
물리 특성치 산출부(150)는, 주변 화소 참조부(130)가 읽어낸 주목화소(201)의 화상 데이터를 참조하여, 예를 들면, (식 12)에 따라, 당해 화상 데이터가 나타내는 화상의 신호량(x)에 따른 물리 특성치σ(x)를 계산하고, 계산한 물리 특성치σ(x)의 값을 파라미터 결정부(160)에 출력한다.
도 5a에는, 일례로서 이하에 나타내는 바와 같이, 광학 쇼트 노이즈에 관련하는 정수(b)를 5로 하고, 플로어 노이즈에 관련하는 정수(c)를 100으로 했을 경우에 있어서의 노이즈 커브를 나타낸다.
σ(x)=5(√x)＋100(신호량(x)：0~800)
이 경우에 있어서, 신호량(x)이 100의 경우에는 물리 특성치σ(x)는 150이며, 신호량(x)이 400의 경우에는 물리 특성치σ(x)는 200인 것으로 가정하고 있다.
다음으로, ε필터를 이용한 노이즈 제거 처리에 대해서의 임계치의 결정 방법에 대하여 설명한다.
도 5b는, 노이즈량의 분포가 정규 분포라고 가정했을 경우에 있어서의 정규 분포표(가우스 함수)와 물리 특성치σ(x)와의 관계를 나타내는 도면이다.
도 5b에 나타내는 바와 같이, 노이즈량의 분포가 정규 분포라고 가정했을 경우, 물리 특성치σ(x)는 신호량(x)에 대한 표준 편차이기 때문에, 노이즈와 임계치와의 사이에는, 이하의 관계가 성립한다.
임계치가 1σ의 경우에는, 임계치의 범위내(±1σ)에 68％의 노이즈가 포함된다. 또, 임계치가 2σ의 경우에는, 임계치의 범위내(±2σ)에 96％의 노이즈가 포함된다. 또, 임계치가 3σ의 경우에는, 임계치의 범위내(±3σ)에 99％의 노이즈가 포함된다.
이와 같은 관계가 노이즈와 임계치와의 사이에는 성립하기 때문에, 노이즈를 포함하는 화상의 노이즈 제거 처리에 있어서, 임계치를 높게 설정했을 경우에는, 노이즈를 많이 제거해 버리기 때문에, 화상의 에지 성분을 보존하는 비율이 감소한다. 이 때문에, 노이즈 제거 처리를 실행하는 경우에는, 노이즈 성분과 에지 성분을 고려하여, 적절한 임계치를 설정할 필요가 있다.
구체적으로는, 임계치를 1σ로 설정하고 노이즈 제거 처리를 실행하면, 32％의 노이즈를 제거할 수 없어 화상에 남아 버리지만, 화상의 에지 성분을 비교적 많이 보존할 수 있다.
또, 임계치로서, 2σ를 이용하여 노이즈 제거 처리를 실행하면, 4％의 노이즈가 남고, 1σ의 경우와 비교하면 노이즈를 28％경감할 수 있다. 다만, 이 경우에는, 1σ의 경우와 비교하면 화상의 에지 성분을 보존할 수 있는 비율이 감소한다.
또한, 바이래터럴 필터(bilateral filter), 웨이브렛 변환 등의 ε필터 이외의 노이즈 제거 방법에 있어서도 임계치의 결정이 중요하다.
파라미터 결정부(160)는, 예를 들면, 색판별부(140)가 출력한 보정치(k)와, 물리 특성치 산출부(150)가 출력한 물리 특성치σ(x)를 곱셈한 값인 임계치kσ(x)를 계산하고, 계산한 임계치kσ(x)를 노이즈 제거부(170)에 출력한다. 이와 같이, 임계치kσ(x)를 결정함으로써, 노이즈의 물리 특성과 인간의 시각 특성을 고려한 적절한 임계치를 이용한 노이즈 제거 처리를 실행할 수 있다.
다음으로, 노이즈 제거부(170)의 노이즈 제거 방법에 대하여 상세하게 설명한다. 또한, 본 실시의 형태에서는, 일례로서 9×9 화소의ε필터를 이용한 노이즈 제거 방법에 대하여 설명한다.
ε필터란, 주목화소를 중심으로 한 윈도우 내에 있는 주변 화소 중에서, 「동료이다」라고 판별한 주변 화소만을 모아 평균화 처리를 행하는 노이즈 제거 방법이다. 「동료」인지 아닌지를 판별하는 방법으로서는, 주목화소와 주변 화소와의 차이의 절대치가 임계치의 범위 내에 있는지 아닌지에 근거하여 판별하는 판별 방법을 이용한다. 주목화소와 주변 화소와의 차이의 절대치가 임계치의 범위 내에 있는 경우에는, 당해 주변 화소를 동료라고 판단하고 평균화 처리의 대상으로 한다. 한편, 주목화소와 주변 화소와의 차이의 절대치가 임계치의 범위 외 이면, 당해 주변 화소가 노이즈라고 판단하여 평균화 처리의 대상으로 하지 않는다. 이와 같이, ε필터는, 주목화소로부터 값이 크게 빗나간 화소를 노이즈라고 판단하여 제거하는 노이즈 제거 방법이다.
도 6은, 주목화소(201)와, 주목화소(201)의 주변화소(202~209)와의 화소 레벨의 관계를 나타내는 도면이다.
예를 들면, 도 6에 나타내는 바와 같이, 주목화소(201)의 주변화소(202~209)가 8개였을 경우, 주목화소(201)(Rc)를 중심으로서, 임계치kσ(Rc)의 범위 내에 존재하는 주변화소(203~206, 209)에 대해서는 동료라고 판단하여 평균화 처리의 대상으로 한다. 한편, 임계치kσ(Rc)의 범위 외에 존재하는 주변화소(202, 207)에 대 해서는, 노이즈라고 판단하여 평균화 처리의 대상으로 하지 않는다.
여기에서는, 도 2c에 나타내는 바와 같이, 윈도우 사이즈가 9×9 화소인 베이야 배열의 화상 데이터(400)에 있어서, 주목화소(201)가 R의 경우에 대하여 설명한다. 주목화소(201)가 R의 경우, 주목화소(201)를 중심으로 한 베이야 배열의 화상 데이터(400)에는, 주목화소(201)를 포함하는 25화소의 R이 포함되어 있다. 또한, 도 2c에 있어서, 주목화소(201)를 Rc로 나타낸다.
노이즈 제거부(170)는, 파라미터 결정부(160)가 출력한 임계치kσ(Rc)에 따라 주변 화소 참조부(130)로부터 공급되는 베이야 배열의 화상 데이터(400)에 대하여 노이즈 제거 처리를 실행한다. 구체적으로는, 베이야 배열의 화상 데이터(400)에 포함되는 25화소의 R에 대하여, 주목화소(201)(Rc)를 중심으로서, 임계치kσ(Rc)의 범위 내에 존재하는 주변화소(R)에 대해서는 동료라고 판단하여 평균화 처리의 대상으로 하고, 한편, 임계치kσ(Rc)의 범위 외에 존재하는 주변화소(R)에 대해서는, 노이즈라고 판단하여 평균화 처리의 대상으로 하지 않고, 노이즈 제거 처리를 실행한다.
다음으로, 본 발명의 실시의 형태에 있어서의 화상처리장치(100)의 동작에 대하여 도면을 참조하여 설명한다.
도 7은, 화상처리장치(100)에 의한 노이즈 제거 처리의 처리 순서를 나타내는 플로차트이다.
입력단자(110)로부터 화상 데이터가 입력되면(스텝(S900)), 입력된 화상 데이터는 라인 버퍼(120)에 격납된다(스텝 S901).
계속하여, 라인 버퍼(120)에 격납되어 있는 화상 데이터(200)를 구성하는 각 화소의 수직방향의 어드레스를 나타내는 변수(i)가 0으로 초기화 되는(스텝(S902)) 동시에, 수평방향의 어드레스를 나타내는 변수(j)가 0으로 초기화된다(스텝(S903)).
계속하여, 주변 화소 참조부(130)가, 위치(i, j)에 존재하는 주목화소(201)를 포함하는 복수의 주변 화소로 이루어지는 베이야 배열의 화상 데이터(400)를 라인 버퍼(120)로부터 읽어낸다(스텝(S904)).
계속하여, 물리 특성치 산출부(150)가, 주변 화소 참조부(130)가 읽어낸 주목화소(201)의 화상 데이터를 참조하여, 주목화소(201)의 신호량(x)에 근거하여, 주목화소(201)의 물리 특성치σ(x)를 계산하고, 계산하여 구한 물리 특성치σ(x)를 파라미터 결정부(160)에 출력한다(스텝(S905)).
계속하여, 색판별부(140)가, 주변 화소 참조부(130)가 읽어낸 베이야 배열의 화상 데이터(300)를 참조하여, 베이야 배열의 화상 데이터(300)의 색을 판별하고, 판별한 색에 근거하여, 보정치(k)를 산출하고, 산출한 보정치(k)를 파라미터 결정부(160)에 출력한다(스텝(S906)).
계속하여, 파라미터 결정부(160)가, 색판별부(140)가 출력한 보정치(k)와 물리 특성치 산출부(150)가 출력한 물리 특성치σ(x)를 곱셈한 값인 임계치kσ(x)를 계산하고, 계산한 임계치kσ(x)를 노이즈 제거부(170)에 출력한다(스텝(S907)).
계속하여, 노이즈 제거부(170)가, 파라미터 결정부(160)가 출력한 임계치kσ(x)에 따라서 주변 화소 참조부(130)로부터 공급되는 베이야 배열의 화상 데이 터(400)에 대하여 노이즈 제거 처리를 실행한다(스텝(S908)).
계속하여, 수평방향의 어드레스(j)가 하나 인크리먼트 되며(스텝(S909)), 주목화소(201)의 위치가 1 화소만큼 진행된다. 그리고, 어드레스(j)가 수평화소수(W)보다 작은지 아닌지가 판단된다(스텝(S910)). j＜W의 경우에는(스텝(S910)), 스텝(S904)~스텝(S909)까지의 동작이 반복된다.
한편, j≥W의 경우에는(스텝 S910), 수직방향의 어드레스(i)가 1개 인크리먼트되며(스텝(S911)), 주목화소(201)의 위치가 수직방향으로 1 화소만큼 진행된다. 그리고, 어드레스(i)가 수직 화소수(H)보다 작은지 아닌지가 판단된다(스텝S912). i＜H의 경우에는(스텝(S912)), 스텝(S903)~스텝(S911)까지의 동작을 반복한다.
i≥H의 경우에는(스텝 S912), 노이즈 제거 처리가 종료한다.
또한, 상술한 실시의 형태에서는, 주목화소(201)가 R의 경우에 대하여 설명했지만, 주목화소(201)가 G, B의 경우도 마찬가지이기 때문에, 주목화소(201)가 G, B의 경우의 설명을 생략한다.
다음으로, 인간의 시각 특성에 대하여 간단하게 설명한다.
일반적인 색에 관한 시각 특성으로서, 사람은 황색이나 녹색의 빛에는 민감한 경우가 많다. 이 때문에, 황색이나 녹색의 노이즈 제거를 강하게 하면 해상감이 저하한다고 느낀다.
한편, 사람은 적색이나 청색의 빛에는 둔한 경우가 많다. 이 때문에, 적색이나 청색의 노이즈 제거를 강하게 해도 해상감은 저하하지 않는다고 생각되고 있다.
또, 피사체에 따른 색에 관한 시각 특성으로서, 사람은 인간의 안색의 변화에는 민감하다. 이 때문에, 일반적으로는, 살색의 노이즈 제거를 강하게 하여 깨끗한 살색으로 하는 경우가 많다.
또한, 사람은 하늘색의 변화에는 민감하다. 이 때문에, 일반적으로는, 하늘색의 노이즈 제거를 강하게 하여 깨끗한 하늘색으로 하는 경우가 많다.
예를 들면, 화상의 색에만 근거하여 노이즈 제거 처리를 위한 파라미터를 결정하는 경우에 있어서, 녹색의 임계치를 낮게 하고, 적색의 임계치를 높게 하여 설정했을 경우, 설정한 색에 따라 노이즈 제거의 세기를 변경할 수 있다. 그러나, 화상신호중에 중첩되는 노이즈의 성질은, 인간의 시각 특성과는 독립의 것이다. 이 때문에, 어두운 빨강이나 밝은 초록 등의 경우에는, 노이즈의 물리 특성을 고려하지 않으면 적절한 노이즈 제거를 할 수 없다.
그래서, 본 실시의 형태에서는, 노이즈의 물리 특성에 대해서는 휘도에 의존하는 값인 물리 특성치를 산출하고 노이즈의 물리 특성을 고려하는 동시에, 인간의 시각 특성에 대해서는 화상의 색에 따라 물리 특성치를 보정함으로써 인간의 시각 특성을 고려한다. 이것에 의하여, 본 실시의 형태에 의하면, 노이즈의 물리 특성과 인간의 시각 특성을 고려하여 효과적으로 노이즈를 제거할 수 있다.
또, 본 실시의 형태에서는, 인간의 시각 특성과 노이즈의 물리 특성과의 쌍방을 고려하여 노이즈 제거 처리의 파라미터를 결정하고, 노이즈 제거 처리를 하기 위해, 외형에 자연스러운 화상을 얻을 수 있다.
또한, 본 실시의 형태에 의하면, 감도가 고르지 못한 노이즈에 관련하는 정 수(a), 광학 쇼트 노이즈에 관련하는 정수(b), 플로어 노이즈에 관련하는 정수(c)는, CCD, 기판, 온도 등에 따라 결정할 수 있는 파라미터이며, 이들을 고려하여 노이즈의 물리 특성치를 구하기 때문에, 다른 시스템간에 있어서도, 노이즈 제거의 효과를 적용할 수 있다.
또, 본 실시의 형태에 의하면, 예를 들면, 노이즈의 분포가 정규 분포라고 가정했을 경우에는, 결정한 임계치에 의하여 노이즈를 어느 정도 제거할 수 있는지를 미리 계산할 수 있다.
또한, 본 실시의 형태에서는, 물리 특성치 산출부(150)가 물리 특성치σ(x)를 구할 때에, 주목화소의 신호량의 값을 그대로 사용했지만, LPF, ε필터, 미디언 필터 등의 노이즈 제거 처리를 실행한 후의 값을 신호량(x)으로서 물리 특성치σ(x)를 계산하도록 해도 좋다.
또, 화이트 밸런스 계수의 영향을 고려하고, 화이트 밸런스 후의 화상 데이터에 근거하여, 물리 특성치σ(x)를 구하도록 해도 좋다.
또한, 화면의 OB(Optical Black) 영역의 표준 편차를 측정함으로써, 촬영시의 쇼트 노이즈를 구하고, 온도 상승에 의한 노이즈의 변화에 쇼트 노이즈를 대응시키도록 해도 좋다.
또, 본 실시의 형태에 있어서, 색판별부(140)가 보정치(k)를 구하는 경우에, 근방의 r, g, b치에 대응한 보정치(k)를, r, g, b치의 색공간(color space) 거리에 따라 보간 한 값을 이용하도록 해도 좋다. 예를 들면, r, g, b치의 색공간(color space) 거리에 있어서의 거리의 비율에 근거하여 보정치(k)를 구할 수 있다.
또한, 색판별부(140)가 보정치(k)를 구하는 경우에 있어서, R, G, B의 각 색으로 이루어지는 화상 데이터를 사용했지만, 보색의 C, M, Y의 각 색으로 이루어지는 화상 데이터를 사용하도록 해도 좋다.
또, 색판별부(140)가 보정치(k)를 구하는 경우에 있어서, 화이트 밸런스치를 고정치로 하고 단순화하도록 해도 좋다.
또한, 색판별부(140)가 보정치(k)를 구하는 경우에 있어서, 윈도우 내의 색의 평균치를 이용했지만, 미디언치, LPF치,ε필터치 등을 이용하도록 해도 좋다.
또, 색판별부(140)가 보정치(k)를 구하는 경우에 있어서, γ커브에 의하여 암부의 노이즈가 강조되는 것을 고려하고, 갈색 등의 어두운 색에 관한 보정치(k)를 크게 설정하도록 해도 좋다.
또한, γ보정부(144)는 γ커브에 의한 영향을 고려하기 위한 것이기 때문에, γ의 역보정을 한 색공간(color space)에 근거하여 색판별을 하도록 하고, γ보정부(144)를 생략하도록 해도 좋다.
또, 본 실시의 형태에서는, 보정치(k)와 물리 특성치σ(x)를 곱셈하여 임계치kσ(x)를 구하지만, 노이즈의 물리 특성과 인간의 시각 특성을 고려한 적절한 임계치를 결정할 수 있으면, 보정치(k)와 물리 특성치σ(x)에 대하여 가산 등의 다른 연산을 실시하여 임계치를 구하도록 해도 좋다.
또, 노이즈 제거부(170)가 ε필터를 이용하여 평균화 처리를 실행하는 경우에, 평균화 처리의 대상으로 되는 각 화소에 가중하여 실행하도록 해도 좋다. 예를 들면, 주목화소와 각 화소와의 거리에 따라 가중을 변화시키도록 할 수 있다.
또한, 본 실시의 형태에서는, ε필터를 이용한 노이즈 제거 방법에 대하여 설명했지만, ε필터 대신에, 웨이브렛(wavelet) 변환, 바이래터럴 필터(bilateral filter), 트라이래터럴 필터(trilateral filter) 등의 소정의 파라미터를 이용하여 노이즈 제거 처리를 실행하는 필터 등을 사용하도록 해도 좋다.
또, 노이즈 제거 방법으로서 웨이브렛 변환을 이용하여, 코어 링의 임계치 결정 방법으로서 본 실시의 형태를 적용하도록 해도 좋다.
또한, 본 실시의 형태를, 대역 분할을 한 후에 행하는 노이즈 제거 처리에 적용하도록 해도 좋다. 또, 대역마다 다른 임계치를 설정하여 노이즈 제거 처리를 실행하도록 해도 좋다.
여기서, ε필터 이외의 필터의 일례로서 바이래터럴 필터에 대하여 설명한다.
바이래터럴 필터는, 레벨차이에 따라 가중하는 필터이다. 여기에서는, 가중함수로서 가우스(Gauss) 함수를 이용한 예를 설명한다.
가우스 함수는, N(μ,σ2)로 나타낼 수 있다(다만, N(평균, 분산)).
여기서,
noise(x)=b(√x)＋c
thresh(x)=k(x)×noise(x)로 했을 경우에,
N(0, (thresh(x))2)의 가우스 함수를 사용하는 필터이다.
즉, 바이래터럴 필터는, 물리 특성치(노이즈량)가 크면, 퍼진 가우스 함수를 사용하고, 색보정치가 크면, 또한 퍼진 가우스 함수를 사용하게 된다.
또한, 본 실시의 형태에서는, 화소 배열로서 베이야 배열로 했을 경우에 대해 설명했지만, 베이야 배열 이외의 화소 배열에 대해서도 본 실시의 형태를 적용할 수 있다.
또, 화상 데이터(300)의 윈도우 사이즈를 5×5로 하고, 화상 데이터(400)의 윈도우 사이즈를 9×9로 하여 설명했지만, 다른 윈도우 사이즈로 하도록 해도 좋고, 대상 영역을 가변의 영역으로 하도록 해도 좋다.
또한, 색판별부(140)가 이용하는 화소 배열의 윈도우 사이즈와, 노이즈 제거부(170)가 이용하는 윈도우 사이즈와의 사이즈를 같은 사이즈로 하도록 해도 좋다.
또, 본 실시의 형태에서는 화상처리장치에 대하여 설명했지만, 이들 구성을 구비하는 디지털 카메라 등의 촬상장치, 퍼스널 컴퓨터 등의 화상처리장치 등에 본 실시의 형태를 적용할 수 있다.
또한, 본 발명의 실시의 형태는 본 발명을 구현화하기 위한 일례를 나타낸 것이며, 이하에 나타내는 바와 같이 특허 청구의 범위에 있어서의 발명 특정 사항과 각각 대응 관계를 가지지만, 이것에 한정되는 것은 아니고, 본 발명의 요지를 일탈하지 않는 범위에 있어서 여러 가지의 변형을 실시할 수 있다.
즉, 청구항 1 내지 10에 있어서, 화상처리장치는, 예를 들면 화상처리장치(100)에 대응한다.
또, 청구항 1 내지 8, 11에 있어서, 입력수단은, 예를 들면 입력단자(110)에 대응한다. 또, 물리 특성치 산출수단은, 예를 들면 물리 특성치 산출부(150)에 대 응한다. 또, 색판별수단은, 예를 들면 색판별부(140)에 대응한다. 또, 파라미터 결정수단은, 예를 들면 파라미터 결정부(160)에 대응한다. 또, 노이즈 제거 처리는, 예를 들면 노이즈 제거부(170)가 실행한다.
또, 청구항 9 또는 10에 있어서, 노이즈의 물리 특성과 인간의 시각 특성에 근거하여 화상 데이터에 포함되는 노이즈를 제거하는 노이즈 제거 처리를 실행하는 화상처리장치는, 예를 들면, 화상처리장치(100)에 대응한다.
또, 청구항 11에 있어서, 촬상장치는, 예를 들면 화상처리장치(100)에 대응한다.
또, 청구항 12 또는 청구항 13에 있어서, 입력순서는, 예를 들면 스텝(S900)에 대응한다. 또, 물리 특성치 산출 순서는, 예를 들면 스텝(S905)에 대응한다. 또, 색판별순서는, 예를 들면 스텝(S906)에 대응한다. 또, 파라미터 결정 순서는, 예를 들면 스텝(S907)에 대응한다.
또한, 본 발명의 실시의 형태에 있어서 설명한 처리 순서는, 이들 일련의 순서를 가지는 방법으로서 파악해도 좋고, 또, 이들 일련의 순서를 컴퓨터에 실행시키기 위한 프로그램 내지 그 프로그램을 기억하는 기록 매체로서 파악해도 좋다.
도 1은, 본 발명의 실시의 형태에 있어서의 화상처리장치(100)의 기능 구성예를 나타내는 블럭도이다.
도 2는, 입력단자(110)로부터 입력되며, 라인 버퍼(120)에 격납되어 있는 화상 데이터(200)와, 화상 데이터(200)로부터 읽어 내어지는 베이야 배열의 화상 데이터(300 및 400)를 개념적으로 나타내는 도면이다.
색판별부(140)의 기능 구성예를 나타내는 블럭도이다.
도 4는, 인간의 시각 특성을 고려하여 작성되고 있는 색과 보정치의 변환 테이블(146a)을 나타내는 도면이다.
도 5는, 화상의 휘도(밝기)와 물리 특성치(노이즈량)와의 관계의 일례를 나타내는 그래프와, 노이즈량의 분포가 정규 분포라고 가정했을 경우에 있어서의 정규 분포표(가우스 함수)와 물리 특성치σ(x)와의 관계를 나타내는 그래프를 나타내는 도면이다.
도 6은, 주목화소(201)와, 주목화소(201)의 주변화소(202~209)와의 화소 레벨의 관계를 나타내는 도면이다.
도 7은, 화상처리장치(100)에 의한 노이즈 제거 처리의 처리 순서를 나타내는 플로차트이다.
〈도면의 주요부분에 대한 부호의 설명〉
100. 화상처리장치 110. 입력단자
120. 라인 버퍼 130. 주변 화소 참조부
140. 색판별부 141. 입력단자
142. 동색 평균부 143. 화이트 밸런스 보정부
144. 보정부 145. 색분리부
146. 변환 테이블부 147. 출력단자
150. 물리 특성치 산출부 160. 파라미터 결정부
170. 노이즈 제거부 180. 출력단자
200. 화상 데이터 201. 주목화소
202~209. 주변 화소
300, 400. 베이야 배열의 화상데이터

Claims (13)

  1. 화상 데이터에 포함되는 노이즈를 소정의 파라미터에 근거하여 제거하는 노이즈 제거 처리를 실행하는 화상처리장치에 있어서,
    화상 데이터를 입력하는 입력수단과,
    휘도에 의존하는 물리 특성치를 상기 입력된 화상 데이터의 휘도에 근거하여 산출하는 물리 특성치 산출수단과,
    상기 입력된 화상 데이터의 색을 판별하는 색판별수단과,
    상기 물리 특성치 산출수단에 의해 산출된 물리 특성치와 상기 색판별수단에 의해 판별된 색에 따른 시각 특성치에 근거하여 상기 파라미터를 결정하는 파라미터 결정수단을 구비하는 것을 특징으로 하는 화상처리장치.
  2. 제 1항에 있어서,
    상기 물리 특성치 산출수단은, 상기 입력된 화상 데이터 중 1의 화상 데이터인 주목화소의 휘도에 근거하여 상기 물리 특성치를 산출하는 것을 특징으로 하는 화상처리장치.
  3. 제 2항에 있어서,
    상기 색판별수단은, 상기 주목화소와 상기 주목화소의 주변에 위치하는 복수의 주변 화소를 포함하는 화상 데이터의 색에 근거하여 상기 시각 특성치를 산출하 는 것을 특징으로 하는 화상처리장치.
  4. 제 2항에 있어서,
    상기 노이즈 제거 처리는, 상기 주목화소와 상기 주목화소의 주변에 위치하는 복수의 주변 화소를 포함하는 화상 데이터에 근거하여 상기 입력된 화상 데이터에 포함되는 노이즈를 제거하는 것을 특징으로 하는 화상처리장치.
  5. 제 1항에 있어서,
    상기 시각 특성치는, 상기 물리 특성치 산출수단에 의해 산출된 물리 특성치를 보정하는 계수인 보정치이며,
    상기 색판별수단은, 상기 보정치를 상기 입력된 화상 데이터의 색에 근거하여 산출하는 것을 특징으로 하는 화상처리장치.
  6. 제 1항에 있어서,
    상기 파라미터 결정수단은, 상기 물리 특성치 산출수단에 의해 산출된 물리 특성치와 상기 색판별수단에 의해 판별된 색에 따른 시각 특성치를 곱셈함으로써, 상기 파라미터를 산출하는 것을 특징으로 하는 화상처리장치.
  7. 제 1항에 있어서,
    상기 입력수단에 의해 입력된 화상 데이터는, 베이야 배열(Bayer array)의 화상 데이터인 것을 특징으로 하는 화상처리장치.
  8. 제 1항에 있어서,
    상기 입력수단에 의해 입력된 화상 데이터는, 촬상소자로부터 출력된 RAW 데이터인 것을 특징으로 하는 화상처리장치.
  9. 노이즈의 물리 특성과 인간의 시각 특성에 근거하여 화상 데이터에 포함되는 노이즈를 제거하는 노이즈 제거 처리를 실행하는 것을 특징으로 하는 화상처리장치.
  10. 제 9항에 있어서,
    상기 노이즈의 물리 특성을 나타내는 값은, 상기 화상 데이터의 휘도에 근거하여 산출되는 물리 특성치이며,
    상기 인간의 시각 특성을 나타내는 값은, 상기 화상 데이터의 색에 근거하여 산출되는 시각 특성치이며,
    상기 노이즈 제거 처리는, 상기 물리 특성치와 상기 시각 특성치에 근거하여 산출되는 파라미터를 이용하여 상기 화상 데이터에 포함되는 노이즈를 제거하는 것을 특징으로 하는 화상처리장치.
  11. 화상 데이터에 포함되는 노이즈를 소정의 파라미터에 근거하여 제거하는 노 이즈 제거 처리를 실행하는 촬상장치에 있어서,
    소정의 피사체의 화상을 촬상하는 촬상소자에 의해 촬상된 화상에 대응하는 화상 데이터를 입력하는 입력수단과,
    휘도에 의존하는 물리 특성치를 상기 입력된 화상 데이터의 휘도에 근거하여 산출하는 물리 특성치 산출수단과,
    상기 입력된 화상 데이터의 색을 판별하는 색판별수단과,
    상기 물리 특성치 산출수단에 의해 산출된 물리 특성치와 상기 색판별수단에 의해 판별된 색에 따른 시각 특성치에 근거하여 상기 파라미터를 결정하는 파라미터 결정수단을 구비하는 것을 특징으로 하는 촬상장치.
  12. 화상 데이터에 포함되는 노이즈를 소정의 파라미터에 근거하여 제거하는 노이즈 제거 처리를 실행하는 화상처리방법에 있어서,
    화상 데이터를 입력하는 입력 순서와,
    휘도에 의존하는 물리 특성치를 상기 입력된 화상 데이터의 휘도에 근거하여 산출하는 물리 특성치 산출 순서와,
    상기 입력된 화상 데이터의 색을 판별하는 색판별순서와,
    상기 물리 특성치 산출 순서로 산출된 물리 특성치와 상기 색판별순서로 판별된 색에 따른 시각 특성치에 근거하여 상기 파라미터를 결정하는 파라미터 결정 순서를 구비하는 것을 특징으로 하는 화상처리방법.
  13. 화상 데이터에 포함되는 노이즈를 소정의 파라미터에 근거하여 제거하는 노이즈 제거 처리를 실행하는 화상처리장치에 있어서,
    화상 데이터를 입력하는 입력 순서와,
    휘도에 의존하는 물리 특성치를 상기 입력된 화상 데이터의 휘도에 근거하여 산출하는 물리 특성치 산출 순서와,
    상기 입력된 화상 데이터의 색을 판별하는 색판별순서와,
    상기 물리 특성치 산출 순서로 산출된 물리 특성치와 상기 색판별순서로 판별된 색에 따른 시각 특성치에 근거하여 상기 파라미터를 결정하는 파라미터 결정 순서를 컴퓨터에 실행시키는 것을 특징으로 하는 프로그램.
KR1020070102931A 2006-10-30 2007-10-12 화상처리장치, 촬영장치 및 이들에 있어서의 화상처리방법및 당해 방법을 컴퓨터에 실행시키는 프로그램 KR20080039226A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2006294784A JP4395789B2 (ja) 2006-10-30 2006-10-30 画像処理装置、撮像装置、画像処理方法およびプログラム
JPJP-P-2006-00294784 2006-10-30

Publications (1)

Publication Number Publication Date
KR20080039226A true KR20080039226A (ko) 2008-05-07

Family

ID=38969936

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070102931A KR20080039226A (ko) 2006-10-30 2007-10-12 화상처리장치, 촬영장치 및 이들에 있어서의 화상처리방법및 당해 방법을 컴퓨터에 실행시키는 프로그램

Country Status (6)

Country Link
US (1) US8036457B2 (ko)
EP (1) EP1919188A3 (ko)
JP (1) JP4395789B2 (ko)
KR (1) KR20080039226A (ko)
CN (1) CN100563303C (ko)
TW (1) TWI354487B (ko)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1889471B1 (en) * 2005-06-08 2010-08-04 Thomson Licensing Method and apparatus for alternate image/video insertion
TWI272016B (en) * 2005-08-09 2007-01-21 Sunplus Technology Co Ltd Method and system for eliminating color noises generated from interpolation
US8254718B2 (en) * 2008-05-15 2012-08-28 Microsoft Corporation Multi-channel edge-aware chrominance noise reduction
JP2010028694A (ja) * 2008-07-24 2010-02-04 Yamaha Corp ダイナミックレンジ圧縮装置およびプログラム
JP4645921B2 (ja) 2008-11-27 2011-03-09 ソニー株式会社 画像信号処理装置および方法、プログラム、並びに撮像装置
JP5453796B2 (ja) * 2008-12-17 2014-03-26 株式会社ニコン 画像処理装置、電子カメラ及び画像処理プログラム
JP4893758B2 (ja) * 2009-01-23 2012-03-07 ソニー株式会社 画像処理装置、画像処理方法および撮像装置
JP5529424B2 (ja) * 2009-03-11 2014-06-25 ソニー株式会社 画像処理装置、画像処理方法及びコンピュータプログラム
JP2010268426A (ja) * 2009-04-15 2010-11-25 Canon Inc 画像処理装置、画像処理方法およびプログラム
JP2011203814A (ja) 2010-03-24 2011-10-13 Sony Corp 画像処理装置および方法、プログラム
JP2011247872A (ja) * 2010-04-27 2011-12-08 Denso Corp 距離測定装置、距離測定方法、および距離測定プログラム
JP5967463B2 (ja) * 2010-09-16 2016-08-10 株式会社リコー 物体識別装置、並びに、これを備えた移動体制御装置及び情報提供装置
JP5637117B2 (ja) * 2011-10-26 2014-12-10 株式会社デンソー 距離測定装置、および距離測定プログラム
KR101981573B1 (ko) 2012-11-22 2019-05-23 삼성전자주식회사 이미지 신호 프로세서 및 이미지 신호 프로세서를 포함하는 모바일 촬영 장치
CN105791668B (zh) * 2014-12-25 2019-03-05 北京展讯高科通信技术有限公司 自动对焦装置
JP6414604B2 (ja) * 2015-01-15 2018-10-31 株式会社島津製作所 画像処理装置
US9495731B2 (en) 2015-04-15 2016-11-15 Apple Inc. Debanding image data based on spatial activity
TWI735959B (zh) * 2019-09-26 2021-08-11 瑞昱半導體股份有限公司 影像處理電路與方法
CN112583997B (zh) * 2019-09-30 2024-04-12 瑞昱半导体股份有限公司 图像处理电路与方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5293225A (en) * 1991-05-31 1994-03-08 Victor Company Of Japan, Ltd. Digital signal processing system for color camera apparatus including separate delays for color signal and brightness signal processing
KR100200628B1 (ko) * 1996-09-30 1999-06-15 윤종용 화질 개선 회로 및 그 방법
JP3726653B2 (ja) * 2000-07-27 2005-12-14 ノーリツ鋼機株式会社 画像処理方法、画像処理装置および画像処理方法を実行するプログラムを記録した記録媒体
DE60141901D1 (de) * 2001-08-31 2010-06-02 St Microelectronics Srl Störschutzfilter für Bayermusterbilddaten
JP3880862B2 (ja) * 2002-01-29 2007-02-14 富士フイルムホールディングス株式会社 撮像装置
JP3862620B2 (ja) 2002-06-28 2006-12-27 キヤノン株式会社 画像処理装置、及び画像処理方法
JP4115244B2 (ja) 2002-10-30 2008-07-09 三洋電機株式会社 画像信号処理装置
JP4411879B2 (ja) 2003-07-01 2010-02-10 株式会社ニコン 信号処理装置、信号処理プログラム、および電子カメラ
JP2005130297A (ja) 2003-10-24 2005-05-19 Olympus Corp 信号処理システム、信号処理方法、信号処理プログラム
JP3934597B2 (ja) * 2003-12-09 2007-06-20 オリンパス株式会社 撮像システムおよび画像処理プログラム
JP2005318387A (ja) 2004-04-30 2005-11-10 Olympus Corp 画像処理装置及びその色判定方法、画像機器
JP2006041687A (ja) 2004-07-23 2006-02-09 Olympus Corp 画像処理装置、画像処理方法、画像処理プログラム、電子カメラ、及びスキャナ
US20060152596A1 (en) * 2005-01-11 2006-07-13 Eastman Kodak Company Noise cleaning sparsely populated color digital images
JP2006294784A (ja) 2005-04-08 2006-10-26 Shindengen Electric Mfg Co Ltd 放熱フィン

Also Published As

Publication number Publication date
CN101175152A (zh) 2008-05-07
CN100563303C (zh) 2009-11-25
US8036457B2 (en) 2011-10-11
US20080123950A1 (en) 2008-05-29
TWI354487B (en) 2011-12-11
EP1919188A2 (en) 2008-05-07
JP2008113222A (ja) 2008-05-15
EP1919188A3 (en) 2010-10-06
JP4395789B2 (ja) 2010-01-13
TW200838285A (en) 2008-09-16

Similar Documents

Publication Publication Date Title
KR20080039226A (ko) 화상처리장치, 촬영장치 및 이들에 있어서의 화상처리방법및 당해 방법을 컴퓨터에 실행시키는 프로그램
JP4284628B2 (ja) 撮像装置、画像処理装置、画像処理方法、画像処理方法のプログラム及び画像処理方法のプログラムを記録した記録媒体
JP3985679B2 (ja) 画像処理方法、画像処理プログラム、画像処理装置
JP5197414B2 (ja) 画像処理装置及び画像処理方法
JP4977395B2 (ja) 画像処理装置及び方法
KR101442242B1 (ko) 불량 화소 및 잡음 제거 방법
US20050248667A1 (en) Extended dynamic range in color imagers
JP4803178B2 (ja) 画像処理装置、コンピュータプログラム製品および画像処理方法
EP1931130A2 (en) Image processing apparatus, image processing method, and program
TW201143378A (en) Temporal filtering techniques for image signal processing
KR101119268B1 (ko) 영상의 컬러 잡음 제거 방법 및 장치
KR20110048922A (ko) 이미지 센서의 통합 노이즈 모델링 방법 및 이를 이용하는 노이즈 저감 방법
WO2004112401A1 (ja) 画像処理方法、画像処理プログラム、画像処理装置
US8379977B2 (en) Method for removing color fringe in digital image
KR20060071893A (ko) 화상 처리 장치, 화상 처리 방법, 촬상 장치, 프로그램, 및기록 매체
US8385642B2 (en) Method for removing color fringe in digital image
US20140028879A1 (en) Image processing device, image processing method, and solid-state imaging device
US8259202B2 (en) Image processing device and image processing program for acquiring specific color component based on sensitivity difference between pixels of an imaging device
JP5103580B2 (ja) 画像処理装置およびデジタルカメラ
JP5178421B2 (ja) 画像処理装置、画像処理方法及び撮像装置
JP5983138B2 (ja) 画像処理装置、撮像装置およびプログラム
Wachira et al. An ordinal direction driven gradient-based RGBW CFA demosaicking technique using a bayerisation process and polyomino theory
KR101372853B1 (ko) 화상처리장치, 화상처리방법 및 촬상장치
JP5290734B2 (ja) ノイズ低減装置及びノイズ低減方法
Takkar et al. Non Linear Image Enhancement

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20071012

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20121005

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20071012

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20130930

Patent event code: PE09021S01D

E601 Decision to refuse application
PE0601 Decision on rejection of patent

Patent event date: 20131209

Comment text: Decision to Refuse Application

Patent event code: PE06012S01D

Patent event date: 20130930

Comment text: Notification of reason for refusal

Patent event code: PE06011S01I