KR20200099575A - 화상 처리 장치, 화상 처리 방법 및 화상 처리 프로그램 - Google Patents

Abstract

화상의 국소 영역마다 반사율의 진폭이 다른 화상에 대해서도 적절하게 콘트라스트를 보정할 수 있는 화상 처리 장치, 화상 처리 방법 및 화상 처리 프로그램을 제공한다.
화상 처리 장치로서, 신호 강도 추출부와, 주변 영역 기준치 산출부와 강조 정도 결정부를 구비하고, 당해 화상 처리 장치에 입력된 입력 화상의 반사율을 신호 강도로 정의하고, 상기 입력 화상의 일부로서 적어도 하나의 픽셀로 이루어진 영역을 소 영역으로 정의하는 경우에 있어서, 상기 신호 강도 추출부는 상기 입력 화상의 신호 강도를 추출하고, 상기 주변 영역 기준치 산출부는, 주목하는 상기 소 영역의 주변에 위치하는 주변 영역의 신호 강도에 따라 주변 영역 기준치를 산출하고, 상기 강조 정도 결정부는 상기 소 영역의 신호 강도를 높이도록 당해 신호 강도의 강조 정도를 결정하고, 상기 강조 정도는 상기 주변 영역 기준치와 소정치와의 차분에 대해 단조 비감소인, 화상 처리 장치가 제공된다.

Description

화상 처리 장치, 화상 처리 방법 및 화상 처리 프로그램

본 발명은 화상 처리 장치, 화상 처리 방법 및 화상 처리 프로그램에 관한 것이다.

화상의 콘트라스트를 보정하는 방법의 하나로서 Retinex 이론에 근거한 Multi Scale Retinex 방법이라는 화상 처리 방법이 제안되고 있으며, 높은 시인성 향상 효과를 실현하는 방법으로 알려져 있다.

일본국 특허공표 2005-515515호 공보

그러나 종래의 Multi Scale Retinex 방법은 화상에 대해 일률적으로 정규화 처리를 수행하기 때문에, 화상의 국소 영역마다 반사율의 진폭이 다른 경우에는 적절하게 콘트라스트를 보정할 수 없는 문제가 있었다(예를 들면, 도 10A 및 도 10B 참조).

본 발명은 이러한 사정을 감안하여 이루어진 것으로, 화상의 국소 영역마다 반사율의 진폭이 다르게 되어 있는 화상에 대해서도 적절하게 콘트라스트를 보정할 수 있는 화상 처리 장치, 화상 처리 방법 및 화상 처리 프로그램을 제공하는 것을 목적으로 한다.

본 발명의 일 관점에 따르면, 화상 처리 장치로서, 신호 강도 추출부와, 주변 영역 기준치 산출부와 강조 정도 결정부를 구비하고, 당해 화상 처리 장치에 입력된 입력 화상의 반사율을 신호 강도로 정의하고, 상기 입력 화상의 일부로서 적어도 하나의 픽셀로 이루어진 영역을 소 영역으로 정의하는 경우에 있어서, 상기 신호 강도 추출부는 상기 입력 화상의 신호 강도를 추출하고, 상기 주변 영역 기준치 산출부는 주목하는 상기 소 영역의 주변에 위치하는 주변 영역의 신호 강도에 따라 주변 영역 기준치를 산출하고, 상기 강조 정도 결정부는 상기 소 영역의 신호 강도를 높이도록 당해 신호 강도의 강조 정도(degree of enhancement)를 결정하고, 상기 강조 정도는 상기 주변 영역 기준치와 소정치와의 차분에 대해 단조 비감소(monotonically non-decreasing)인, 화상 처리 장치가 제공된다.

본 발명에 따른 화상 처리 장치는, 신호 강도 추출부가 입력 화상의 신호 강도를 추출하고, 주변 영역 기준치 산출부가 주목하는 소 영역의 주변에 위치하는 주변 영역의 신호 강도에 따라 주변 영역 기준치를 산출하고, 강조 정도 결정부가 소 영역의 신호 강도를 높이도록 당해 신호 강도의 강조 정도를 결정한다. 그리고 강조 정도는, 주변 영역 기준치와 소정치와의 차분에 대해 단조 비감소인 것을 특징으로 한다. 이러한 구성을 가지는 것에 의해 화상의 국소 영역마다 반사율의 진폭이 다르게 되어 있는 화상에 대해서도 적절하게 콘트라스트를 보정할 수 있다.

이하, 본 발명의 다양한 실시 형태를 예시한다. 이하에 도시되는 실시 형태는 서로 조합 가능하다.

바람직하게는, 주목하는 상기 소 영역의 신호 강도를 R, 상기 주변 영역 기준치를 S, 상기 소정치를 T, 출력 화상으로 출력할 수 있는 신호 강도의 상한치 및 하한치를 각각 OL 및 UL로 정의한 경우에

R≥0 일 때, S≤T≤OL

R<0 일 때, UL≤T≤S

를 만족시킨다.

바람직하게는, 상기 신호 강도는 당해 화상 처리 장치에 입력된 입력 화상에서 반사광 성분 및 조명광 성분을 분리하고 또한 이들에 기초하여 산출된다.

또한, 본 발명의 다른 관점에 따르면, 화상 처리 방법으로서, 신호 강도 추출 단계와 주변 영역 기준치 산출 단계와 강조 정도 결정 단계를 구비하고, 당해 방법에 있어서, 입력된 입력 화상의 반사율을 신호 강도로 정의하고, 상기 입력 화상의 일부로서 적어도 하나의 픽셀로 이루어진 영역을 소 영역으로 정의하는 경우에 있어서, 상기 신호 강도 추출 단계에서는 상기 입력 화상의 신호 강도를 추출하고, 상기 주변 영역 기준치 산출 단계에서는 주목하는 상기 소 영역의 주변에 위치하는 주변 영역의 신호 강도에 따라 주변 영역 기준치를 산출하고, 상기 강조 정도 결정 단계는 상기 소 영역의 신호 강도를 높이도록 당해 신호 강도의 강조 정도를 결정하고, 상기 강조 정도는 상기 주변 영역 기준치와 소정치와의 차분에 대해 단조 비감소인, 화상 처리 방법이 제공된다.

본 발명에 따른 화상 처리 방법에서는, 신호 강도 추출 단계에서 입력 화상의 신호 강도를 추출하고, 주변 영역 기준치 산출 단계에서 주목하는 소 영역의 주변에 위치하는 주변 영역의 신호 강도에 따라 주변 영역 기준치를 산출하고, 강조 정도 결정 단계에서 소 영역의 신호 강도를 높이도록 당해 신호 강도의 강조 정도를 결정한다. 그리고 강조 정도는 주변 영역 기준치와 소정치와의 차분에 대해 단조 비감소인 것을 특징으로 한다. 이런 방법에 의해 화상의 국소 영역마다 반사율의 진폭이 다르게 되어 있는 화상에 대해서도 적절하게 콘트라스트를 보정할 수 있다.

또한, 본 발명의 다른 관점에 따르면, 컴퓨터에 소정의 기능을 실행시키는 화상 처리 프로그램으로서, 상기 소정의 기능은 신호 강도 추출 기능과 주변 영역 기준치 산출 기능과 강조 정도 결정 기능을 구비하고, 상기 컴퓨터에 입력된 입력 화상의 반사율을 신호 강도로 정의하고, 상기 입력 화상의 일부로서 적어도 하나의 픽셀로 이루어진 영역을 소 영역으로 정의하는 경우에 있어서, 상기 신호 강도 추출 기능에 의해 상기 입력 화상의 신호 강도가 추출되고, 상기 주변 영역 기준치 산출 기능에 의해 주목하는 상기 소 영역의 주변에 위치하는 주변 영역의 신호 강도에 따라 주변 영역 기준치가 산출되고, 상기 강조 정도 결정 기능에 의해 상기 소 영역의 신호 강도를 높이도록 당해 신호 강도의 강조 정도가 결정되며, 상기 강조 정도는 상기 주변 영역 기준치와 소정치와의 차분에 대해 단조 비감소인, 화상 처리 프로그램이 제공된다.

본 발명에 따른 화상 처리 프로그램에서는, 신호 강도 추출 기능에 의해 입력 화상의 신호 강도가 추출되고, 주변 영역 기준치 산출 기능에 의해 주목하는 소 영역의 주변에 위치하는 주변 영역의 신호 강도에 따라 주변 영역 기준치가 산출되고, 강조 정도 결정 기능에 의해 소 영역의 신호 강도를 높이도록 당해 신호 강도의 강조 정도가 결정된다. 그리고 강조 정도는 주변 영역 기준치와 소정치와의 차분에 대해 단조 비감소인 것을 특징으로 한다. 이러한 기능을 컴퓨터에 실행시키는 프로그램은 화상의 국소 영역마다 반사율의 진폭이 다르게 되어 있는 화상에 대해서도 적절하게 콘트라스트를 보정할 수 있다.

도 1은 실시 형태에 따른 화상 처리 장치를 이용한 시스템의 구성 개요를 도시하는 기능 블록도이다.
도 2는 신호 강도 추출부, 주변 영역 기준치 산출부, 강조 정도 결정부, 변환 출력부에 의한 처리 흐름을 도시하는 블록선도이다.
도 3은 주변 영역 기준치 산출부가 주변 영역 기준치를 결정하는 양태를 도시하는 개념도이다.
도 4는 강조 정도 결정부가 강조 정도를 결정하는 양태를 도시하는 개념도이다.
도 5는 제1 실시 형태에 관한 것으로, 신호 강도 추출부의 처리 흐름(상세)을 도시하는 블록선도이다.
도 6은 제1 실시 형태에 관한 것으로, 주변 영역 기준치 산출부 및 강조 정도 결정부의 처리 흐름(상세)을 도시하는 블록선도이다.
도 7은 변환 출력부의 처리 흐름(상세)을 도시하는 블록선도이다.
도 8은 입력 화상의 일례이다.
도 9는 실시 형태에 따른 화상 처리 장치에 의해 화상 처리를 적용한 경우의 출력 화상(실시예)이다.
도 10은 종래 기술에 따른 화상 처리를 적용한 경우의 출력 화상(비교예)이다.
도 11은 제1 실시 형태에 따른 화상 처리 장치를 이용한 시스템에서의 프레임 메모리의 사용을 도시하는 설명도이다.
도 12는 제2 실시 형태에 따른 화상 처리 장치를 이용한 시스템에서의 프레임 메모리의 사용을 도시하는 설명도이다.
도 13은 제2 실시 형태에 관한 것으로, 신호 강도 추출부 주변 영역 기준치 산출부 및 강조 정도 결정부의 처리 흐름(상세)을 도시하는 블록선도이다.

이하, 본 발명의 실시 형태를 도면을 참조하여 상세하게 설명한다. 특히, 본 명세서에서 "부"는 예를 들어, 광의의 회로에 의해 실시되는 하드웨어 자원과 이러한 하드웨어 자원에 의해 구체적으로 실현될 수 있는 소프트웨어의 정보 처리를 조합한 것을 가리킨다.

또한 광의의 회로는 회로(circuit), 회로류(circuitry), 프로세서(Processor) 및 메모리(Memory) 등을 적어도 적당히 조합함으로써 실현되는 회로이다. 즉, 특정 용도에 대한 집적회로(Application Specific Integrated Circuit: ASIC), 프로그래머블 논리 디바이스(예를 들어, 단순 프로그래머블 논리 디바이스(Simple Programmable Logic Device: SPLD), 복합 프로그래머블 논리 디바이스(Complex Programmable Logic Device: CLPD) 및 필드 프로그래머블 게이트 어레이(Field Programmable Gate Array : FPGA)) 등을 포함하는 것을 유의하기 바란다.

또한, 본 명세서에서는 화상 처리 장치에 입력된 입력 화상으로부터 반사광 성분 및 조명광 성분을 분리하고 또한 이들에 기초하여 산출되는 반사율을 신호 강도(대수 값(對數値), log)로 정의하고, 입력 화상의 일부로서 적어도 하나의 픽셀로 이루어진 영역을 소 영역으로 정의한다. 또한, 화상은 정지 화상/동영상을 모두 포함하며, 동영상의 경우에는 특별히 지정이 없는 한, 그 중의 하나의 프레임을 가리키는 것으로 한다.

또한, 하기에 설명하는 실시 형태에 있어서는 다양한 정보와 이를 포함하는 개념을 취급하지만, 이들은 0 또는 1로 구성된 2진수의 비트 집합체로 신호 값의 높낮이에 의해 나타내어지고 광의의 회로에서 통신·연산이 실행될 수 있는 것이다. 구체적으로는 "소 영역", "픽셀 데이터", "신호 강도", "반사율", "주변 영역 기준치", "강조 정도", "명도" 등이 관련 정보/개념에 포함될 수 있다. 이 내용은 다시 필요에 따라 설명한다.

1. 제1 실시 형태

1.1 시스템(1)(전체 구성)

도 1은 본 발명의 제1 실시 형태에 따른 화상 처리 장치(3)를 이용한 시스템(1)의 구성 개요를 도시하는 도면이다. 시스템(1)은 입력 화상원(2)과 화상 처리 장치(3)와 표시부(4)를 포함한다.

1.1.1 입력 화상원(2)

입력 화상원(2)은 화상 처리 장치(3)의 화상 처리의 대상이 되는 입력 화상을 출력하고, 화상 처리 장치(3)의 송수신부(34)(후술)에 송신한다. 예를 들어, 일반적인 컴퓨터와 휴대용 단말기이어도 되고, 실시간으로 외부의 상황을 화상화하는 비젼 센서(vision sensor)(카메라, 내시경 시스템 등) 이어도 되고, 동영상을 재생하는 재생 기계이어도 된다. 또한, 정보 처리 관점에서 이 입력 화상은 2차원 화소(畵素)의 집합체(픽셀 데이터 배열)이다. 또한, 도 1에서는 입력 화상원(2)이 화상 처리 장치(3)와 별체인 것으로 도시되어 있지만, 이에 한정되지 않고 입력 화상원(2)이 화상 처리 장치(3)에 포함되도록 실시하여도 된다.

1.1.2 화상 처리 장치(3)

화상 처리 장치(3)는 입력 화상원(2)에서 송신된 화상 데이터에 대하여 소정의 화상 처리를 실행하는 장치이다. 화상 처리 장치(3)는 제어부(31)와, 기억부(32)와, 입력부(33)와, 송수신부(34)와 신호 강도 추출부(35)와 주변 영역 기준치 산출부(36)와 강조 정도 결정부(37)와 변환 출력부(38)를 구비하고, 이들이 통신 버스(3B)를 통해 연결되어 있다. 이하에서, 구성 요소(31 ~ 38)를 각각 상세하게 설명한다.

<제어부(31)>

제어부(31)는 화상 처리 장치(3)에 관련된 전체 동작의 처리 및 제어를 실시한다. 제어부(31)는, 예를 들면 도시하지 않은 중앙 처리 장치(Central Processing Unit: CPU)이다. 제어부(31)는 기억부(32)에 기억된 소정의 프로그램을 판독하여 화상 처리 장치(3) 내지는 시스템(1)에 관한 다양한 기능을 실현한다. 예를 들어, 소정의 프로그램을 판독하여 입력 화상원(2)의 표시 화상을 포함하는 그래픽 사용자 인터페이스(Graphical User Interface: GUI)의 화면을 표시부(4)에 표시하는 것이 포함된다.

또한, 도 1에서는 단일의 제어부(31)로 표기되어 있지만, 실제로는 이에 한정되는 것은 아니라 기능별로 여러 제어부(31)를 갖도록 실시하여도 된다. 또한 이들의 조합이어도 된다.

<기억부(32)>

기억부(32)는 상술한 바와 같이, 제어부(31)에 의해 실현시키기 위한 다양한 프로그램 등을 기억한다. 이것은 예를 들어 하드 디스크 드라이브(Hard Disk Drive: HDD) 또는 솔리드 스테이트 드라이브(Solid State Drive: SSD) 등의 저장 장치로 실시될 수 있다. 또한 기억부(32)는 프로그램의 연산에 따른 일시적으로 필요한 정보(인수 배열 등)를 기억하는 랜덤 액세스 메모리(Random Access Memory: RAM) 등의 메모리로도 실시될 수 있다. 또한 이들의 조합이어도 된다.

<입력부(33)>

입력부(33)는 예를 들면, 화상 처리 장치(3) 자체에 포함되는 것이어도 되고 외장형이어도 된다. 예를 들어, 입력부(33)는 터치 패널로 실시될 수 있다. 또는 스위치 버튼, 마우스, 키보드 등의 사용자 인터페이스를 채용하여도 된다. 입력부(33)를 통해 조작자의 지시(명령)를 받는다. 당해 지시는 통신 버스(3B)를 통해 제어부(31)에 전송되고, 제어부(31)가 필요에 따라 소정의 제어 및 연산을 실행할 수 있다. 당해 지시의 일례로서 조작자는 입력부(33)를 통해 표시부(4)에 표시되어 있는 입력 화상원(2)이 출력중인 동영상을 일시 정지할 수 있다.

<송수신부(34)>

송수신부(34)는 화상 처리 장치(3)와, 화상 처리 장치(3) 이외의 외부 기기와의 통신을 위한 유닛이다. 즉, 송수신부(34)를 통해 입력 화상원(2)에서 입력 화상이 되는 화상 데이터를 수신하고 이를 화상 처리(자세한 설명은 후술함)한 후, 출력 화상으로 표시부(4)에 송신될 수 있다. 또한, 송수신부(34)에 의한 통신은 화상 데이터에 한정되는 것은 아니다. 예를 들어, 유선 LAN 네트워크 통신, Bluetooth 통신, 무선 LAN 네트워크 통신 등을 포함한 복수의 통신 수단의 집합체로서 통신 대상에 대해 적절한 통신 규격을 포함하도록 실시하는 것이 바람직하다.

<신호 강도 추출부(35)>

도 2는 본 발명의 제1 실시 형태에 따른 신호 강도 추출부(35), 주변 영역 기준치 산출부(36), 강조 정도 결정부(37), 변환 출력부(38)에 의한 처리 흐름을 도시되는 블록선도이다.

신호 강도 추출부(35)는 송수신부(34)를 통해 입력 화상원(2)에서 수신된 입력 화상I(x, y)에 대해 Retinex 이론에 관한 연산을 실행하여 신호 강도인 반사율 R(x, y)를 산출한다. Retinex 이론에서는 입력 화상I(x, y)는 조명광 성분L(x, y)과 반사율 R(x, y)로 이루어진다고 생각한다. 그리고 조명광 성분L(x, y)과 반사율 R(x, y)는 다음과 같이 결정된다.

여기서, 식 중의 G_n(G_n)은 n번째 가우시안 필터, W_n(W_n)은 가중 계수이다. 보다 구체적인 처리 절차는 제1.2절에서 다시 자세히 설명한다. 또한 입력 화상I(x, y)가 반사광 성분이며, 본 실시 형태에서는, 입력 화상으로 명도 V(x, y)를 이용한 예를 설명한다.

<주변 영역 기준치 산출부(36)>

도 3A 내지 도 3C는 주변 영역 기준치 산출부(36)가 주변 영역 기준치를 결정하는 양태를 도시하는 개념도이다. 도시와 같이 주변 영역 기준치 산출부(36)는 신호 강도 추출부(35)에 의해 추출된 반사율 R(x, y)를 이용하여 기준치 S(x, y)를 산출한다.

입력 화상I(x, y)가 width×height[픽셀]의 화상이라고 하면 반사율 R(x, y)도 width×height[픽셀]의 픽셀 데이터 배열이다. 그리고 반사율 R(x, y)에 대해 ω×ω[픽셀]을 갖는 ROI(Region of Interest)를 설정한다. 여기서, ROI의 중심에 위치하는 픽셀을 대상 픽셀 p_[i, j](특허 청구의 범위에 있어서의 "주목하는 소 영역"의 일례)라고 부르는 것으로 한다. 도 3A 내지 도 3C에서는 대상 픽셀 p_[i, j]의 일례로서 대상 픽셀 p_[a, b], 대상 픽셀 p_[c, d], 대상 픽셀 p_[e, f]가 표시된다.

주변 영역 기준치 산출부(36)는 대상 픽셀 p_[i, j]에 따른 반사율 R(i, j)가 0 이상인 경우, 이를 상기 ROI의 대상 픽셀 p_[i, j] 이외의 복수의 픽셀(주변 영역)의 반사율 R(x, y) 중의 최대치R_M으로 치환된 픽셀 데이터 배열을 생성하려고 한다(local_max() 필터). 한편, 대상 픽셀 p_[i, j]에 따른 반사율 R(i, j)가 부(負)인 경우, 이를 상기 ROI의 대상 픽셀 p_[i, j] 이외의 복수의 픽셀(주변 영역)의 반사율 R(x, y) 중의 최소치R_m으로 대체된 픽셀 데이터 배열을 생성하려고 한다(local_min()필터). 즉, 도 3A 내지 도 3C에 도시된 바와 같이 상기의 처리를 전 픽셀에 대해 실행하는 것으로 각 ROI의 최대치R_M 또는 최소치R_m을 픽셀 데이터로 가지고 있는 것과 같은 픽셀 데이터 배열인 기준치 S(x, y)가 산출된다. 또한, 대상 픽셀 p_[i, j]가 반사율 R(x, y)의 단부(端部)에 위치한 것과 같은 경우에도 그만큼의 주변 영역이 좁아지는 것만으로는 처리상의 문제는 생기지 않는다. 처리 절차는 제1.2절에서 다시 자세히 설명한다.

또한, ω의 값은 예를 들어, width, height 또는 이 둘의 평균치에 따라 결정되는 것이 바람직하다. 예를 들어, width, height 또는 이 둘의 평균치를 α라고 하면 0.05≤ω/α≤0.50을 만족시킨다. 구체적으로 예를 들어, ω/α=0.05, 0.06, 0.07, 0.08, 0.09, 0.10, 0.15, 0.20, 0.25, 0.30, 0.35, 0.40, 0.45, 0.50이며, 여기에서 예시한 수치의 어느 두 수치 사이의 범위내이어도 된다. ω/α가 너무 작으면 최종적인 출력 화상 O(x, y)에 노이즈가 눈에 띄고, 반대로 ω/α가 너무 크면 일률적으로 반사율을 보정하는 경우와 차이가 없으므로 주의가 필요하다.

<강조 정도 결정부(37)>

도 4A 및 도 4B는 강조 정도 결정부(37)가 강조 정도 g(x, y)를 결정하는 양태를 도시하는 개념도이다. 강조 정도 결정부(37)는 주변 영역 기준치 산출부(36)에서 산출된 기준치 S(x, y)와 소정치(일반적으로 출력 화상 O(x, y)로 출력할 수 있는 반사율 R(x, y)의 상한치OL 또는 하한치UL)를 비교하여 강조 정도 g(x, y)를 결정한다. 도 4A에서는 R(x, y)≥0의 경우를 예로, S(x, y)와 OL의 차분에서 g(x, y)를 산출한다. 여기에서 차분이 클수록 g(x, y)는 커진다. 그리고 도 4B에 도시된 바와 같이, 입력 화상 I(x, y)의 반사율 R(x, y)에 강조 정도 g(x, y)를 곱하는 것으로 보정된 반사율 R_c(x, y)가 규정된다. 보다 구체적인 처리 절차는 제1.2절에서 다시 자세히 설명한다.

또한 반사율 R(x, y)를 높이도록 강조 정도 g(x, y)가 결정되며, 기준치 S(x, y)와 상한치OL의 차분의 크기가 강조 정도 g(x, y)의 크기에 의존하는 것에 유의하기 바란다. 다시 말해, 강조 정도 g(x, y)는 기준치 S(x, y)와 상한치OL의 차분에 대해 단조 증가(單調增加)(특허 청구 범위에 있어서의 "단조 비감소"의 일례)이다.

<변환 출력부(38)>

변환 출력부(38)는 신호 강도 추출부(35)에서 추출된 반사율 R(x, y)와 강조 정도 결정부(37)에서 결정된 강조 정도 g(x, y)로부터 콘트라스트 보정이 이루어진 출력 화상 O(x, y)를 출력한다. 즉, 변환 출력부(38)는 상기 보정된 반사율 R_c(x, y)를 이용하여 출력 화상 O(x, y)를 출력한다.

1.1.3 표시부(4)

표시부(4)는 화상 처리 장치(3)에 의해 화상 처리된 화상 데이터가 입력되면 각 픽셀 데이터(각 픽셀이 갖는 휘도 등의 정보)에 따라 이것을 영상으로 표시하는 매체이며, 예를 들면 LCD 모니터, CRT 모니터, 유기 EL 모니터 등이 될 수 있다. 또한, 화상 처리 장치(3)가 표시부(4)를 포함하여도 된다. 보다 구체적으로는 화상 처리 장치(3)에서 변환 출력부(38)로부터 출력된 출력 화상 O(x, y)가 통신 버스(3B) 및 송수신부(34)를 통해 표시부(4)에 송신되고 표시부(4)가 당해 출력 화상을 표시한다.

1.2 화상 처리 방법

이어서, 제1.1절에서 설명한 화상 처리 장치(3)를 이용한 화상 처리 방법에 대해 설명한다. 특히 여기에서는 송수신부(34)보다 입력된 입력 화상I(x, y)가 화상 처리를 거쳐 변환 출력부(38)에서 출력 화상 O(x, y)가 출력될 때까지에 대해 자세히 설명한다. 특히 다음의 처리는 입력 화상I(x, y)의 소정의 대상 픽셀 p_[i, j](즉, 픽셀 데이터I(i, j)를 갖는 것)에 대해 생각한다.

1.2.1 반사율 R(x, y)의 추출

도 5는 신호 강도 추출부(35)의 처리 흐름(상세)을 도시되는 블록선도이다. 이하, 도 5의 각 단계에 따라 설명한다.

[시작]

(단계 S1-1)

입력 화상I(x, y)의 주목 영역(여기에서는 입력 화상I의 전체 픽셀: 동영상일 경우 1 프레임 분) 내에서 대상 픽셀의 명도 V(i, j)를 각각 추출하여 그 대수 값 log{V(i, j)}를 취득한다(단계 S1-2a ~ c로 넘어간다).

(단계 S1-2a~c)

이어서, 추출된 명도 V(i, j)에 가우시안 필터G_1 ~ G_3 및 가중 계수W_1 ~ W_3을 곱한다. 또한, 가우시안 필터G_1 ~ G_3은 커널 크기가 다른 것으로, 가중 계수W_1 ~ W_3은 식(3)을 충족시키는 것이다(단계 S1-3로 넘어간다).

W_1+W_2+W_3=1 (3)

(단계 S1-3)

이어 단계 S1-2a~c에서 얻어진 각 값의 대수 값을 취하고, 그 합을 얻는 것으로 조명광 성분L(i, j)을 계산한다(단계 S1-4로 넘어간다).

(단계 S1-4)

이어서, 단계 S1-1에서 취득한 대수 값 log{V (i, j)}에서 단계 S1-3에서 산출된 조명광 성분L(i, j)을 감산하여 신호 강도인 반사율 R(i, j)가 추출된다.

[종료]

1.2.2 강조 정도 g(x, y)의 결정

도 6은 주변 영역 기준치 산출부(36) 및 강조 정도 결정부(37)의 처리 흐름(상세)을 도시되는 블록선도이다. 이하, 도 6의 각 단계에 따라 설명한다.

[시작]

(단계 S2-1)

주변 영역 기준치 산출부(36)는 신호 강도 추출부(35)에 의해 추출된 반사율 R(i, j)가 0 이상 또는 미만인지를 판별한다. R(i, j)≥0이면, 단계 S2-2a에 따른 처리를 실행하고 R(i, j)<0이면, 단계 S2-2b를 실행한다(단계 S2-2a, b에 계속된다).

(단계 S2-2a)

주변 영역 기준치 산출부(36)는 반사율 R(i, j)에 대응하는 기준치 S(i, j)를 결정한다. 다시 말해, 대상 픽셀 p_[i, j]에 대하여 규정되는 ROI에서 여러개의 픽셀(대상 픽셀 p_[i, j] 및 그 주변 영역)의 반사율 R(x, y) 중의 최대치R_M가 기준치 S(i, j)로 된다(단계 S2-3a에 계속된다).

(단계 S2-3a)

강조 정도 결정부(37)는 단계 S2-2a에서 결정된 기준치 S(i, j)의 역수치인 1/S(i, j)를 산출한다(단계 S2-4a에 계속된다).

(단계 S2-4a)

강조 정도 결정부(37)는 역수치 1/S(i, j)에 log(OL/β)를 곱하여 g(i, j)를 산출한다. 여기서, β는 미리 규정된 오프셋(offset) 정수이다.

(단계 S2-2b)

주변 영역 기준치 산출부(36)는 반사율 R(i, j)에 대응하는 기준치 S(i, j)를 결정한다. 다시 말해, 대상 픽셀 p_[i, j]에 대해 규정되는 ROI에서 복수의 픽셀(대상 픽셀 p_[i, j] 및 그 주변 영역)의 반사율 R(x, y) 중의 최소치 R_m이 채용된다.

(단계 S2-3b)

강조 정도 결정부(37)는 단계 S2-2b에서 결정된 기준치 S(i, j)의 역수치인 1/S(i, j)를 산출한다(단계 S2-4b에 계속된다)

(단계 S2-4b)

강조 정도 결정부(37)는 역수치 1/S(i, j)에 log(UL/β)를 곱하여 g(i, j)를 산출한다. 여기서 β는 미리 규정된 오프셋 정수이다.

[종료]

1.2.3 출력 화상 O(x, y)의 생성

도 7은 변환 출력부(38)의 처리 흐름(상세)을 도시되는 블록선도이다. 이하, 도 7의 각 단계에 따라 설명한다.

[시작]

(단계 S3-1)

변환 출력부(38)는 강조 정도 결정부(37)에 의해 결정된 강조 정도 g(i, j)에 반사율 R(i, j)를 곱하는 것에 의해 보정된 반사율 R_c(i, j)를 도출한다(단계 S3-2에 계속된다).

(단계 S3-2)

단계 S3-1에서 도출된 보정된 반사율 R_c(i, j)에 logβ를 가산한다(단계 S3-3에 계속된다).

(단계 S3-3)

단계 S3-2에서 도출된 보정된 반사율 R_c(i, j)에 logβ를 가산한 값의 진수(眞數)를 추출하여 보정된 명도 U(i, j)가 결정된다. 즉, 색상·채도 등 색 성분을 유지하면서 콘트라스트의 보정된 출력 화상 O(x, y)의 대상 픽셀 p_[i, j]의 픽셀 데이터 O(i, j)가 결정된다.

[종료]

이와 같이, 제1.2.1 ~ 3절에서 상세히 설명한 각 단계에 따른 처리를 각 픽셀에 대해 반복하여 입력 화상 I(x, y)가 화상 처리된 출력 화상 O(x, y)가 출력된다.

1.3 실시예

제1 실시 형태에 따른 화상 처리 장치(3)를 이용한 화상 처리의 실시예에 대해 설명한다. 예를 들면, 도 8에 도시된 바와 같은 화상을 입력 화상 I(x, y)라고 하면, 제1 실시 형태에 따른 화상 처리 장치(3)에 따르면, 도 9에 도시된 바와 같은 출력 화상 O(x, y )를 얻을 수 있다(실시예). 또한, 전체 픽셀에 한결같이 강조 정도를 결정하는 바와 같은 종래 기술에 따른 화상 처리에 따르면, 도 10A 및 도 10B에 도시된 바와 같은 출력 화상을 얻을 수 있다(비교예).

도 8의 입력 화상 I(x, y)는 좌측이 우측에 비해 상대적으로 반사율 R(x, y)의 값이 낮은 것을 특징으로 한다. 이러한 입력 화상 I(x, y)에 대해, 도 9에 도시된 실시예에서는 좌측과 우측에 각각 적절한 강조 정도 g(x, y)를 추가하는 것에 의해 좌측, 우측 각각이 두드러진 출력 화상 O(x, y)를 얻을 수 있다.

한편, 도 10A에 도시된 비교예에서 강한 강조 정도 g(x, y)를 균일하게 첨가하고 있기 때문에 좌측에 대해서는 콘트라스트가 향상하고 시인성이 높아지고 있지만, 우측의 콘트라스트가 한계에 도달하여 시인성이 좋지 않다. 또한, 도 10B에 도시된 비교예에서는 우측의 콘트라스트를 줄이기 위해 도 10A보다 약한 강조 정도 g(x, y)를 균일하게 첨가하고 있기 때문에 좌측의 콘트라스트가 작고 시인성이 나쁘다고 할 수 있다. 이와 같이, 종래 기술과 비교하여 제1 실시 형태에 따른 화상 처리 장치(3)를 이용한 화상 처리에서는 화상의 국소 영역마다 반사율의 진폭이 다른 화상에 대해서도 적절하게 콘트라스트 보정 가능하며, 보다 시인성이 높은 출력 화상 O(x, y)를 생성할 수 있는 것으로 확인되었다.

2. 제2 실시 형태

이어서, 제2 실시 형태에 따른 시스템(1)에 대해 설명한다. 제2 실시 형태에 따른 시스템(1)의 전체 구성은 제1 실시 형태에 따른 시스템(1)과 같다. 그러나, 화상 처리 장치(3)의 신호 강도 추출부(35) 및 주변 영역 기준치 산출부(36)의 화상 처리 방법이 다른 것에 유의하기 바란다. 이 점에 대해서는 이하 설명한다.

그런데, 제1 실시 형태에 따른 화상 처리 장치(3)에서는 신호 강도 추출부(35)에서 가우시안 필터 G_n이 사용되고 있다. 가우시안 필터 G_n은 대상 픽셀 p_[i, j]의 주위의 픽셀의 픽셀 데이터도 연산에 사용하기 때문에, 해당 픽셀 p_[i, j]의 연산 시에 주위의 픽셀 데이터를 기억해둘 필요가 있다. 뿐만 아니라, 주변 영역 기준치 산출부(36)에도 local_max() 필터 및 local_min() 필터를 사용하는데 있어서 대상 픽셀 p_[i, j]의 주위의 픽셀에 관한 픽셀 데이터의 기억이 필요하다. 이러한 경우, 일반적으로 프레임 메모리가 사용된다. 즉, 도 11에 도시된 바와 같이, 제1 실시 형태에 따른 화상 처리 장치(3)에서는 프레임 메모리가 2회의 타이밍에 사용되게 된다.

한편, 제2 실시 형태에 따른 화상 처리 장치(3)에서는, 도 12에 도시된 바와 같이, 프레임 메모리의 사용을 일회성으로 억제하는 연구가 이루어지고 있다. 구체적으로는 입력 화상 I(x, y)의 대상 픽셀 p_[i, j]에 대해 명도 V(i, j)에서 반사율 R(i, j)를 일단 도출하지 않고 기준치 S(i, j)가 근사적으로 도출되어 있다(도 13 참조).

구체적으로는 제1 실시 형태에 따른 화상 처리 장치(3)에서도 사용하고 있는 가우시안 필터, local_max() 필터, local_min() 필터를 한 번에 사용한다. 즉, 이 필터를 명도 V(i, j)에 적용하고 그 대수 값을 취하도록 하면, log{local_max(V (i, j))}와 log{G*V(i, j)}의 차분 또는 log{local_min(V(i, j))}와 log{G*V(i, j)}의 차분이 기준치 S(i, j)로 도출된다.

3. 변형예

본 실시 형태는 다음의 양태에 따라 실시할 수 있다.

첫째, 본 실시 형태에서는 화상 처리의 범위(주목 영역)를 입력 화상 I(x, y)(동영상이라면 1 프레임)의 전체 픽셀로 설명하고 있지만, 사용하는 픽셀을 부분적으로 선택하여도 된다. 예를 들어, 주목 영역을 일부의 사각형 영역으로 해도 되고, 소정 크기의 사각형 소 영역별로 대표 픽셀(예를 들어, 왼쪽 위와 같은 특정 위치거나 소 영역의 중앙치)을 적절히 선택하여 축소 화상을 생성하고 이를 주목 영역으로 실시하여도 된다.

둘째, 기준치 S(i, j)를 결정함에 있어서, ROI를 복수의 픽셀(대상 픽셀 p_[i, j] 및 주변 영역)의 반사율 R(x, y) 중의 최대치 R_M 또는 최소치 R_m 대신에 이들의 근방 오차를 포함한 값인 R_M±ΔR_M과 R_m±ΔR_m을 채용하고 있다. 근방 오차는 예를 들면,

0≤ΔR_M≤R_M/20 (4)

0≤ΔR_m≤R_m/5 (5)

를 만족시키는 것이 바람직하다.

구체적으로 예를 들면, ΔR_M/R_M=0.001, 0.002, 0.003, 0.004, 0.005, 0.01, 0.02, 0.03, 0.04, 0.05이며, 여기에서 예시한 수치의 어느 두 수치 사이의 범위내 이어도 된다. 또한 ΔR_m/R_m=0.01, 0.02, 0.03, 0.04, 0.05, 0.10, 0.15, 0.20이며, 여기에서 예시한 수치의 어느 두 수치 사이의 범위 내이어도 된다.

셋째, 강조 정도 결정부(37)는 상한치OL 또는 하한치UL 대신에 소정치 T에 따라 강조 정도 g(x, y)를 결정해도 된다. 또한, 이 경우, 소정치 T는 다음 식 (6)과 (7)을 만족시키는 것이다.

R≥0 인 경우, S(x, y)≤T≤OL (6)

R<0 인 경우, UL≤T≤S(x, y) (7)

넷째, 본 실시 형태에서, 대상 픽셀 p_[i, j]마다 화상 처리를 실행하고 있지만 여러개의 대상 픽셀로 이루어진 소 영역마다 화상 처리를 실행하여도 된다.

다섯째, 상술한 각종 처리에서는 2차원 배열을 상정하고 있지만 최종적으로 원하는 화상이 표시부(4)에 표시되는 것이면, 연산 도중에 있어서 1차원 배열로 기억되어도 된다. 또한 1차원 배열 또는 2차원 배열을 사용하여 연산하는 대신에 순차적 연산을 해도 된다.

여섯째, 반사율 R(x, y)를 조정하는 강조 정도 g(x, y)와, 조명광 성분을 조정하는 조명광 조정 파라미터 중 적어도 하나를 조절하여 상기의 화상 처리를 실행할 수 있도록 실시해도 된다. 즉, Retinex 이론의 관계식인 I(x, y)=L(x, y)R(x, y)을 고려했을 때, R(x, y)의 값을 강조 정도 g(x, y)에 의해 더 크게 하는 수단과, R(x, y)의 값을 크게 하는 대신에 L (x, y)의 값을 조명광 조정 파라미터에 따라 크게 하는 것으로 결과적으로 R(x, y)를 높인 것과 같은 수단과 모두를 혼합한 방법을 생각할 수 있다는 것이다.

일곱째, 컴퓨터에 소정의 기능을 실행시키는 화상 처리 프로그램으로서, 상기 소정의 기능은 신호 강도 추출 기능과 주변 영역 기준치 산출 기능과 강조 정도 결정 기능을 구비하고, 상기 컴퓨터에 입력된 입력 화상에 포함된 소정의 픽셀 데이터를 신호 강도로 정의하고, 상기 입력 화상의 일부로서 적어도 하나의 픽셀로 이루어진 영역을 소 영역으로 정의하는 경우에 있어서, 상기 신호 강도 추출 기능에 의해 상기 입력 화상의 신호 강도가 추출되고, 상기 주변 영역 기준치 산출 기능에 의해 주목하는 상기 소 영역의 주변에 위치하는 주변 영역의 신호 강도에 따라 주변 영역 기준치가 산출되고, 상기 강조 정도 결정 기능에 의해 상기 소 영역의 신호 강도를 높이도록 당해 신호 강도의 강조 정도가 결정되며, 상기 강조 정도는 상기 주변 영역 기준치와 소정치와의 차분에 대해 단조 증가인 프로그램을 제공할 수도 있다. 또한, 해당 프로그램의 기능을 구현한 컴퓨터 판독 가능한 비 일시적인 기록 매체로서 제공할 수도 있다. 또한, 이러한 프로그램을 인터넷 등을 통해 제공할 수도 있다. 또한, 시스템(1)을 구성하는 각 부분은 동일한 인클로저에 포함되어도 되고, 여러개의 인클로저에 분산 배치되어도 된다.

4. 결언

위와 같이, 본 실시 형태에 따르면, 화상의 국소 영역마다 반사율의 진폭이 다른 화상에 대해서도 적절하게 콘트라스트를 보정할 수 있는 화상 처리 장치, 화상 처리 방법 및 화상 처리 프로그램을 제공할 수 있다.

본 발명에 따른 다양한 실시 형태를 설명하였지만, 이들은 예시로 제시한 것이며, 발명의 범위를 한정하는 것은 의도하고 있지 않다. 당해 신규 실시 형태는 다른 다양한 형태로 실시될 수 있으며, 발명의 요지를 벗어나지 않는 범위에서 다양한 생략, 대체, 변경을 실시할 수 있다. 당해 실시 형태와 그 변형은 발명의 범위와 요지에 포함되는 것과 동시에, 특허 청구 범위에 기재된 발명과 균등한 범위에 포함되는 것이다.

1: 시스템, 2: 입력 화상원, 3: 화상 처리 장치, 3B: 통신 버스, 31: 제어부, 32: 기억부, 33: 입력부, 34: 송수신부, 35: 신호 강도 추출부, 36: 주변 영역 기준치 산출부, 37: 강조 정도 결정부, 38: 변환 출력부, 4: 표시부, G_n: 가우시안 필터, I: 입력 화상, L: 조명광 성분, O: 출력 화상, OL: 상한치, R: 반사율, R_M: 최대치, R_c: 반사율, R_m: 최소치, S: 기준치, T: 소정치, U: 명도, UL: 하한치, V: 명도, W_n: 가중 계수, g: 강조 정도

Claims (5)

1. 화상 처리 장치로서,
   신호 강도 추출부와, 주변 영역 기준치 산출부와 강조 정도 결정부를 구비하고,
   상기 화상 처리 장치에 입력된 입력 화상의 반사율을 신호 강도로 정의하고, 상기 입력 화상의 일부로서 적어도 하나의 픽셀로 이루어진 영역을 소 영역으로 정의한 경우,
   상기 신호 강도 추출부는 상기 입력 화상의 신호 강도를 추출하고,
   상기 주변 영역 기준치 산출부는 주목하는 상기 소 영역의 주변에 위치하는 주변 영역의 신호 강도에 따라 주변 영역 기준치를 산출하고,
   상기 강조 정도 결정부는 상기 소 영역의 신호 강도를 높이도록 상기 신호 강도의 강조 정도를 결정하고,
   상기 강조 정도는 상기 주변 영역 기준치와 소정치와의 차분에 대해 단조 비감소인 화상 처리 장치.
2. 제1항에 있어서,
   주목하는 상기 소 영역의 신호 강도를 R, 상기 주변 영역 기준치를 S, 상기 소정치를 T, 출력 화상으로서 출력할 수 있는 신호 강도의 상한치 및 하한치를 각각 OL 및 UL로 정의한 경우,
   R≥0 일 때, S≤T≤OL
   R<0 일 때, UL≤T≤S
   를 만족시키는, 화상 처리 장치.
3. 제1항 또는 제2항에 있어서,
   상기 신호 강도는 상기 화상 처리 장치에 입력된 입력 화상으로부터 반사광 성분 및 조명광 성분을 분리하고 또한 이들에 기초하여 산출되는, 화상 처리 장치.
4. 화상 처리 방법으로서,
   신호 강도 추출 단계와 주변 영역 기준치 산출 단계와 강조 정도 결정 단계를 구비하고,
   상기 방법에 있어서 입력된 입력 화상의 반사율을 신호 강도로 정의하고, 상기 입력 화상의 일부로서 적어도 하나의 픽셀로 이루어진 영역을 소 영역으로 정의한 경우,
   상기 신호 강도 추출 단계는, 상기 입력 화상의 신호 강도를 추출하고,
   상기 주변 영역 기준치 산출 단계에서는 주목하는 상기 소 영역의 주변에 위치하는 주변 영역의 신호 강도에 따라 주변 영역 기준치를 산출하고,
   상기 강조 정도 결정 단계는 상기 소 영역의 신호 강도를 높이도록 상기 신호 강도의 강조 정도를 결정하고,
   상기 강조 정도는 상기 주변 영역 기준치와 소정치와의 차분에 대해 단조 비감소인, 화상 처리 방법.
5. 컴퓨터에 소정의 기능을 실행시키는 화상 처리 프로그램으로서,
   상기 소정의 기능은 신호 강도 추출 기능과 주변 영역 기준치 산출 기능과 강조 정도 결정 기능을 구비하고,
   상기 컴퓨터에 입력된 입력 화상의 반사율을 신호 강도로 정의하고, 상기 입력 화상의 일부로서 적어도 하나의 픽셀로 이루어진 영역을 소 영역으로 정의한 경우,
   상기 신호 강도 추출 기능에 의해 상기 입력 화상의 신호 강도가 추출되고,
   상기 주변 영역 기준치 산출 기능에 의해 주목하는 상기 소 영역의 주변에 위치하는 주변 영역의 신호 강도에 따라 주변 영역 기준치가 산출되고,
   상기 강조 정도 결정 기능에 의해 상기 소 영역의 신호 강도를 높이도록 상기 신호 강도의 강조 정도가 결정되고,
   상기 강조 정도는 상기 주변 영역 기준치와 소정치와의 차분에 대해 단조 비감소인, 화상 처리 프로그램.

Images