KR20060059797A

KR20060059797A - 촬상 장치 및 화상 처리 방법

Info

Publication number: KR20060059797A
Application number: KR1020050094540A
Authority: KR
Inventors: 다카시 츠치야
Original assignee: 소니 가부시끼 가이샤
Priority date: 2004-11-29
Filing date: 2005-10-07
Publication date: 2006-06-02
Also published as: CN1819623A; CN1819623B; JP2006157450A; US20060115151A1; US7590285B2

Abstract

광학 하프(half) ND 필터에 상당하는 기능을 전기적으로 실현하고, 그 기능을 촬상(撮像) 신호의 처리계에 가지게 함으로써, 효과적인 동시에 유연하게 화상의 다이내믹 레인지(dynamic range)를 압축 가능하도록 한다.

피사체를 촬상하여 얻어진 화상 신호(Rin, Gin, Bin)에 패턴(pattern) 발생부(31)에 의해 발생되는 2차원의 그레이데이션(gradation) 패턴에 따른 게인(gain) 계수(R_GAIN, G_GAIN, B_GAIN)를 승산기(32R, 32G, 32B)에서 곱함으로써, 상기 화상 신호에 의해 나타내게 되는 화상의 명암차를 저감시킨다.

Description

촬상 장치 및 화상 처리 방법{Imaging apparatus and method of processing images}

도 1은 본 발명을 적용한 촬상 장치의 구성을 나타내는 블록도이다.

도 2는 상기 촬상 장치에 있어서의 다이내믹 레인지 압축 처리부의 구성을 나타내는 블록도이다.

도 3은 상기 다이내믹 레인지 압축 처리부의 고정 패턴 발생부에서 발생하는 패턴을 나타내는 도이다.

도 4는 상기 다이내믹 레인지 압축 처리부를 구성하고 있는 고정 패턴 발생부의 구성을 나타내는 블록도이다.

도 5는 상기 고정 패턴 발생부에 의해 발생되는 그레이데이션 패턴의 변화 상태를 모식적(模式的)으로 나타내는 도이다.

도 6은 상기 고정 패턴 발생부로부터 선택적으로 출력되는 그레이데이션 패턴을 모식적으로 나타내는 도이다.

도 7은 상기 다이내믹 레인지 압축 처리부의 다른 구성 예를 나타내는 블록도이다.

<도면의 주요부분에 대한 부호의 설명>

10 :　촬상부 20 : 보정 처리부

30 : 다이내믹 레인지 압축 처리부 31 : 패턴 발생부

31A, 31Ar, 31Ag, 31Ab :　고정 패턴 발생부

31B, 31Br, 31Bg, 31Bb :　게인 변환부

32R, 32G, 32B :　승산기 40 : 카메라 신호 처리부

50 : 기록계나 표시계 100 : 촬상 장치

311 : H 그레이데이션 패턴 생성부 311A, 312A :　메모리

311B, 312B :　라인 패턴 발생기 312 :　V 그레이데이션 패턴 생성부

313 : 믹스부 313A :　가산기

313B : 승산기 313C :　제산기

314 : 출력 실렉터

본 발명은, 화상의 다이내믹 레인지를 압축하는 기능을 가지는 촬상 장치 및 화상 처리 방법에 관한다.

일반적으로, 촬상 장치에서는, 화상의 다이내믹 레인지를 압축하여 화상의 명암차를 저감시키도록 하고 있다.

이러한 다이내믹 레인지를 압축하는 처리로서는, 화상 전체의 계조(階調)를 보정하는 방법과, 화상의 저주파수 성분에 대해서만 계조를 보정하는 방법이 있으며, 전자에 있어서는, 감마(gamma) 보정, 니(knee) 보정, 또는 이른바 히스토그램 (histogram) 등가 등에 의해 계조를 보정하여 다이내믹 레인지를 압축하도록 되어 있다. 이것에 대하여 후자에 있어서는, 감마 보정, 니 보정 등에 의해 다이내믹 레인지를 압축하도록 되어 있다.

다이내믹 레인지를 압축할 필요가 있는 화상이라고 하는 것은, 대개의 경우, 피사체에 2개 이상의 조명이 비치고 있으며, 그것들의 조명 간에 극단적인 강도차가 있는 케이스 이다. 이러한 경우에서도 화상의 다이내믹 레인지를 효과적으로 압축하는 수법으로서, 화상의 에지(edge) 부분은 보존한 채로, 에지 이외의 부분을 평활화하여, 그 평활화된 레벨에 따라 다이내믹 레인지의 압축비를 결정하고, 그 비에 따라 화상 전체의 다이내믹 레인지를 압축하는 수법이 있다(예를 들면, 특허 문헌 1 참조).

이 수법에서는, 평활화된 화상을 제어 신호로 하고 있기 때문에, 화상의 촘촘한 진폭 성분은 압축되지 않고 유지되어, 시인성(視認性)이 좋은 다이내믹 레인지 압축 화상을 얻을 수 있다.

　[특허 문헌 1] 특개 2001－275015호 공보

그런데, 화상의 하이라이트 부분 등을 니 보정이나 히스토그램 등가로 압축하는, 이른바 계조 변환에 의한 수법에서는, 압축되는 하이라이트부나 히스토그램의 적은 휘도역(輝度域)에 있어서는, 다이내믹 레인지가 압축되는 것과 동시에, 피사체의 콘트라스트(contrast)도 저하해 버린다고 하는 결점이 있었다. 또, 이러한 계조 변환에 의한 수법은, 화소의 휘도 정보 만에 의존하고 있기 때문에, 화상 내의 2차원적인 휘도의 분포 상황에 따라 계조를 압축할 수 없었다.

한편, 화상을 촬영할 때에 하이라이트부가 되기 쉬운 영역에는, 예를 들면 화면 상부에 하늘이 찍히어 있는 경우나, 화면의 일부가 건물의 그늘이 되어 있는 경우 등, 화면상의 명암의 위치의 패턴이 미리 정해지고 있으며, 더욱이 그 위치가 그다지 변화하지 않는다고 하는 경우가 있다. 이러한 경우에 화상의 명암차를 보정하는 유효한 수단으로서, 면의 반만큼이 ND 필터로 되어 있는 광학 하프 ND 필터를 렌즈의 앞 또는 뒤쪽에 장착하여, ND의 부분을 하늘이나 해가 비치고 있는 부분에 겹치도록 회전시켜 위치를 조정한다고 하는 방법이 있지만, 이 방법에서는 촬영 중에 필터의 장착이나 회전 등의 번잡한 조작이 필요로 된다고 하는 결점이나, 감쇠 패턴의 형상과 감쇠율이 필터 마다 미리 만들어버려져 있기 때문에, 촬영 중에 하이라이트부의 밝기나 패턴이 변화한 경우에 대응할 수 없다고 하는 결점이 있었다.

그래서, 본 발명의 목적은, 상기와 같은 종래의 문제점에 감안하여, 광학 하프 ND 필터에 상당하는 기능을 전기적으로 실현하여, 그 기능을 촬상 신호의 처리계에 가지게 함으로써, 효과적이고도 유연하게 화상의 다이내믹 레인지를 압축할 수 있도록 한다.

본 발명의 더욱 다른 목적, 본 발명에 의해 얻어지는 구체적인 이점은, 이하에 설명되는 실시의 형태의 설명에서 한층 분명해진다.

본 발명에 관계되는 촬상 장치는, 촬상 수단과, 2차원의 그레이데이션 패턴을 발생하는 패턴 발생 수단과, 상기 촬상 수단에 의해 피사체를 촬상하여 얻어진 화상 신호에 상기 패턴 발생 수단에 의해 발생되는 2차원의 그레이데이션 패턴에 따른 게인을 곱하는 승산 수단을 갖추어 놓은 것을 특징으로 한다.

본 발명에 관계되는 촬상 장치에서는, 예를 들면, 상기 패턴 발생 수단에서 발생하는 2차원의 그레이데이션 패턴의 그레이데이션 변화율을 변경 가능하게 할 수 있다.

또, 본 발명에 관계되는 촬상 장치에서는, 예를 들면, 상기 패턴 발생 수단에서 발생하는 2차원의 그레이데이션 패턴을 변경 가능하게 할 수 있다.

본 발명에 관계되는 화상 처리 방법은, 피사체를 촬상하여 얻어진 화상 신호에 2차원의 그레이데이션 패턴에 따른 게인을 곱함으로써, 상기 화상 신호에 의해 나타내게 되는 화상의 명암차를 저감 시키는 것을 특징으로 한다.

본 발명에 관계되는 촬상 장치는, 칼라 촬상 수단과 2차원의 그레이데이션 패턴을 발생하는 패턴 발생 수단과, 상기 칼라 촬상 수단에 의해 피사체를 촬상하여 얻어진 칼라 화상 신호의 각 색신호에 상기 패턴 발생 수단에 의해 발생되는 2차원의 그레이데이션 패턴에 따른 게인을 곱하는 승산 수단을 갖추어 놓은 것을 특징으로 한다.

본 발명에 관계되는 화상 처리 방법은, 피사체를 촬상하여 얻어진 칼라 화상 신호의 각 색신호에 각각 2차원의 그레이데이션 패턴에 따른 게인을 곱함으로써, 상기 칼라 화상 신호에 의해 나타내게 되는 화상의 화이트 밸런스(white balance)를 변화시키는 것을 특징으로 한다.

이하, 본 발명의 실시의 형태에 대해서, 도면을 참조하여 상세히 설명한다. 또한, 본 발명은 이하의 예에 한정되는 것이 아니고, 본 발명의 요지를 일탈하지 않는 범위에서, 임의로 변경 가능인 것은 말할 필요도 없다.

본 발명은, 예를 들면 도 1에 나타내는 바와 같은 구성의 촬상 장치(100)에 적용된다.

이 촬상 장치(100)는, CCD(Charge Coupled Device) 이미지 센서 등의 고체 촬상 소자에 의해 피사체를 촬상하는 촬상부(10), 이 촬상부(10)에 의해 촬상 출력 신호로서 얻어진 화상 신호가 공급되는 보정 처리부(20), 이 보정 처리부(20)에 의해 쉐이딩(shading) 성분 등의 보정 처리가 행해진 화상 신호가 공급되는 다이내믹 레인지 압축 처리부(30), 이 다이내믹 레인지 압축 처리부(30)에 의해 다이내믹 레인지가 압축된 화상 신호가 공급되는 카메라 신호 처리부(40), 이 카메라 신호 처리부(40)에 의해 감마 보정 등의 카메라 신호 처리를 행한 화상 신호를 VTR 등의 기록계나 표시계(50) 등에 공급하도록 되어 있다.

상기 다이내믹 레인지 압축 처리부(30)는, 그 구체적인 구성 예를 도 2의 블록도에 나타내는 바와 같이, 2차원의 그레이데이션 패턴을 발생하는 패턴 발생부(31)와, 상기 보정 처리부(20)로부터 공급되는 입력 화상 신호(Rin, Gin, Bin)에 상기 패턴 발생부(31)에 의해 발생되는 2차원의 그레이데이션 패턴에 따른 게인 계수(R_GAIN, G_GAIN, B_GAIN)를 곱하는 승산기(32R, 32G, 32B)로 이루어진다.

여기에서, 상기 패턴 발생부(31)는, 고정 패턴 발생부(31A)와 게인 변환부(31B)로 이루어지며, 고정 패턴 발생부(31A)에 있어서, 예를 들면 도 3과 같은 2차 원적인 고정 패턴을 발생하여, 후단의 게인 변환부(31B)에서, 그 고정 패턴의 레벨을 예를 들면 고정 패턴의 흰 부분은 × 1.0, 검은 부분은 × 0.5 등의 게인 계수(R_GAIN, G_GAIN, B_GAIN)로 변환하여 출력한다.

상기 고정 패턴 발생부(31A)는, 예를 들면 도 4에 나타내는 바와 같이, H 그레이데이션 패턴 생성부(311), V 그레이데이션 패턴 생성부(312), H 그레이데이션 패턴과 V 그레이데이션 패턴의 믹스부(313), 출력 실렉터(314)로 이루어진다.

H 그레이데이션 패턴 생성부(311)는, 수평 방향의 1차원 그레이데이션 패턴을 생성하는 모듈이며, 수평 방향의 그레이데이션 데이터를 보지(保持)하는 메모리(311A)와, 상기 메모리(311A)의 어드레스를 발생하여 이 메모리(311A)로부터 읽어낸 데이터로부터 그레이데이션의 레벨을 산출하여 출력하는 라인 패턴 발생기(311B)로 이루어진다. 여기에서, 그레이데이션 패턴은 32개의 꺾인 선에 의해 작성하고 있고, 메모리(311A)에는 각 꺾인 선의 기울기와 절편의 데이터가 보지되고 있다.

또, V 그레이데이션 패턴 생성부(312)는, 수직 평방향의 1차원 그레이데이션 패턴을 생성하는 모듈이며, 수직 방향의 그레이데이션 데이터를 보지하는 메모리(312A)와, 상기 메모리(312A)의 어드레스를 발생하고 이 메모리(312A)로부터 읽어낸 데이터로부터 그레이데이션의 레벨을 산출하여 출력하는 라인 패턴 발생기(312B)로 이루어진다. 여기에서, 그레이데이션 패턴은 32개의 꺾인 선에 의해 작성하고 있고, 메모리(311A)에는 각 꺾인 선의 기울기와 절편의 데이터가 보지되고 있다.

여기에서, 상기 H 그레이데이션 패턴 생성부(311) 및 V 그레이데이션 패턴 생성부(312)는, 각 라인 패턴 발생기(311B, 312B)에 주는 H, V 각각의 그레이데이션 패턴의 변화율의 설정 데이터(h_grad_count_step／v_grad_count_step)를 바꿈으로써, 도 5의 (a), (b), (c)에 나타내는 바와 같이, 각 메모리(311A, 312A)의 내용을 고쳐 쓰지 않고 그레이데이션을 급준(急峻)하게 하기도 하고, 완만하게 하기도 할 수 있다.

또, 상기 H 그레이데이션 패턴 생성부(311) 및 V 그레이데이션 패턴 생성부(312)는, 각 라인 패턴 발생기(311B, 312)에 주는 오프셋 데이터(h_grad_offset／v_grad_offset)에 의해, H, V 각각의 그레이데이션 패턴의 오프셋 위치를 설정할 수 있다. 여기에서 설정한 화소 수분만큼, 패턴이 좌우(H) 또는 상하(V)로 평행 이동 한다.

또, 상기 H 그레이데이션 패턴 생성부(311) 및 V 그레이데이션 패턴 생성부(312)는, 각 라인 패턴 발생기(311B, 312B)에 주는 회전 파라미터(h_grad_rotate／v_grad_rotate에 의해, H, V 각각의 그레이데이션 패턴의 회전량을 설정할 수 있다. 실제로는 회전시키고 있는 것은 아니고, 라인 마다 각 메모리(311A, 312A)의 읽어내기 개시 위치를 변경하고, 서서히 오프셋을 바꾸고 있다. 그 라인마다의 오프셋 량을, 이 파라미터로 설정한다.

이 회전 파라미터와, 상기 오프셋의 설정, 하기의 패턴의 반전을 편성하면, 각 메모리(311A, 312A)를 고쳐 쓰지 않고 그레이데이션 패턴을 360도 회전시킬 수 있다.

더욱이, 상기 H 그레이데이션 패턴 생성부(311) 및 V 그레이데이션 패턴 생성부(312)는, 각 라인 패턴 발생기(311A, 312A)에 주는 반전 파라미터(h_grad_inv／v_grad_inv)에 의해, H, V 각각의 그레이데이션 패턴의 백／흑 레벨을 반전할 수 있다. H의 그레이데이션을 반전시키면 출력 패턴은 좌우로 반전하고, V의 그레이데이션을 반전시키면 상하로 반전한다.

또, 믹스부(313)는, H의 그레이데이션 패턴과 V의 그레이데이션 패턴을 믹스하여 출력하는 모듈이며, 상기 H 그레이데이션 패턴 생성부(311)에 의해 생성된 H의 그레이데이션 패턴과 상기 V 그레이데이션 패턴 생성부(312)에 의해 생성된 V의 그레이데이션 패턴이 공급되는 가산기(313A) 및 승산기(313B)와 상기 가산기(313A)의 출력의 평균치를 산출하는 제산기(313C)로 이루어진다.

더욱이, 출력 실렉터(314)는, 선택 데이터(grad_hv_sel)에 따라 H와 V의 그레이데이션을 믹스 하는 패턴을 선택하는 모듈이며, 믹스부(313)를 개재시켜 공급되는 도 6의 (a), (b), (c), (c)에 나타내는 바와 같은 H의 그레이데이션 패턴, V의 그레이데이션 패턴, (H＋V)/2의 그레이데이션 패턴, H × V의 그레이데이션 패턴을 선택하여 출력할 수 있다.

그리고, 상기 게인 변환부(31B)에서는, 상기 고정 패턴 발생부(31A)로부터 공급되는 고정 패턴(GRAD_PATTERN)을 R, G, B 각각 개별의 게인 계수(R_GAIN, G_GAIN, B_GAIN)로 변환한다. 예를 들면 R에 대하여는, 고정 패턴(GRAD_PATTERN)의 백에 상당하는 부분이 R_GRAD_ND_HI로, 흑에 상당하는 부분이 R_GRAD_ND_LO로 변환되어, 그것이 게인 계수(R_GAIN, G_GAIN, B_GAIN)로 하고, 고 정 패턴의 백과 흑의 중간의 레벨의 신호는, R_GRAD_ND_HI와 R_GRAD_ND_LO를 고정 패턴의 레벨에 따라 α브랜드(blend)하여 출력된다.

또, 게인 변환부(31B)에서는, 그레이데이션 패턴에 의한 RGB의 채널마다의 감쇠율을 설정한다.

상기 승산기(32R, 32G, 32B)는, 상기 보정 처리부(20)로부터 공급되는 입력 화상 신호(Rin, Gin, Bin)에 상기 패턴 발생부(31)에 의해 발생되는 2 차원의 그레이데이션 패턴에 따른 게인 계수(R_GAIN, G_GAIN, B_GAIN)를 곱함으로써, 화상의 다이내믹 레인지를 압축한다.

이 촬상 장치(10)에 있어서, 상기 다이내믹 레인지 압축 처리부(30)는, 상기 촬상부(10)에 의해 피사체를 촬상하여 얻어진 화상 신호(Rin, Gin, Bin)에 상기 패턴 발생부(31)에 의해 발생되는 2차원의 그레이데이션 패턴에 따른 게인 계수(R_GAIN, G_GAIN, B_GAIN)를 승산기(32R, 32G, 32B)로 곱함으로써, 상기 승산기(32R, 32G, 32B)에 의한 승산 출력으로서 얻어지는 화상 신호(Rout, Gout, Bout)에 의해 나타내게 되는 화상의 명암차를 저감시킬 수 있고, 광학적인 ND 필터의 기능을 전기적인 처리에 의해 실현하고 있다.

상기 다이내믹 레인지 압축 처리부(30)는, 상기 패턴 발생부(31)에서 발생하는 2차원의 그레이데이션 패턴의 그레이데이션 변화율을 변경 가능하게 하기도 하고, 2차원의 그레이데이션 패턴을 변경 가능하게 함으로써, 화상내의 2차원적인 휘도의 분포 상황에 따라 계조를 압축할 수 있다.

또, 상기 다이내믹 레인지 압축 처리부(30)는, 게인 변환부(31B)에 있어서, 화상 신호(Rin, Gin, Bin)의 R용, G용, B용에서 각각 별도의 값으로 변환함으로써, 고정 패턴 발생부(31A)에서 발생한 고정 패턴에 따라 화상의 화이트 밸런스(white balance)를 조정할 수도 있다.

이것에 의해, 예를 들면 화면 상부의 하늘의 부분에서, R 및 G만 게인이 내려가도록 설정하면, 하늘의 푸름을 강조할 수 있다.

물론, 상기 화이트 밸런스를 조정하는 기능을 가지는 다이내믹 레인지 압축 처리부(30)는, 도 7에 나타내는 바와 같이, R, G, B 각각에 대하여 고정 패턴 발생부(31Ar, 31Ag, 31Ab) 및 게인 변환부(31Br, 31Bg, 31Bb)를 설치하도록 하여도 실현 가능하다. 이 경우는, 회로 규모가 도 2에 나타낸 것보다 커지지만, R, G, B 각각 개별적으로 패턴을 발생시킬 수 있기 때문에, 보다 유연하게 화상의 화이트 밸런스를 조정하는 것이 가능하게 된다.

본 발명에 의하면, 화상중의 명암의 패턴이 일정해 있는 경우 등에, 효과적으로 명암차가 압축된, 시인성이 좋은 화상을 얻을 수 있다. 또, 필터의 장착이나 회전 등의 기계적인 조작을 하지 않고 , 다이내믹 레인지의 압축 패턴이나 압축률을 변경할 수 있다. 더욱이, 화면 상부의 하늘을 보다 푸르게 하는 등, 특정 패턴 형상에 따라서 화상의 화이트 밸런스를 변경할 수 있다.

Claims

촬상 수단과,

2차원의 그레이데이션 패턴을 발생하는 패턴 발생 수단과,

상기 촬상 수단에 의해 피사체를 촬상하여 얻어진 화상 신호에 상기 패턴 발생 수단에 의해 발생되는 2차원의 그레이데이션 패턴에 따른 게인을 곱하는 승산 수단을 갖추어 놓은 것을 특징으로 하는 촬상 장치.
제 1항에 있어서,

상기 패턴 발생 수단에서 발생하는 2차원의 그레이데이션 패턴의 그레이데이션 변화율을 변경 가능하게 한 것을 특징으로 하는 촬상 장치.
제 1항에 있어서,

상기 패턴 발생 수단에서 발생하는 2차원의 그레이데이션 패턴을 변경 가능하게 한 것을 특징으로 하는 촬상 장치.
피사체를 촬상하여 얻어진 화상 신호에 2차원의 그레이데이션 패턴에 따른 게인을 곱함으로써, 상기 화상 신호에 의해 나타내게 되는 화상의 명암차를 저감시키는 것을 특징으로 하는 화상 처리 방법.
칼라 촬상 수단과,

2차원의 그레이데이션 패턴을 발생하는 패턴 발생 수단과,

상기 칼라 촬상 수단에 의해 피사체를 촬상하여 얻어진 칼라 화상 신호의 각 색신호에 상기 패턴 발생 수단에 의해 발생되는 2차원의 그레이데이션 패턴에 따른 게인을 곱하는 승산 수단을 갖추어 놓은 것을 특징으로 하는 촬상 장치.
피사체를 촬상하여 얻어진 칼라 화상 신호의 각 색신호에 각각 2차원의 그레이데이션 패턴에 따른 게인을 곱함으로써, 상기 칼라 화상 신호에 의해 나타내지는 화상의 화이트 밸런스를 변화시키는 것을 특징으로 하는 화상 처리 방법.