KR101809476B1 - 화상 처리 장치 - Google Patents

Abstract

화상 처리 장치는 미리 정해진 촬상 기간에 피사체를 주기적으로 촬상하는 촬상 소자의 유효 화소 영역 내의 각각의 화소에 대하여, 촬상 소자에 의해 출력된 현재 촬상 기간의 화소 신호와 한 촬상 기간 이전의 촬상 기간의 화소 신호 간의 차이 값을 계산하는 수단; 유효 화소 영역 전체를 범위로 하여 피사체의 움직임을 탐지하기 위한 수단; 유효 화소 영역 내의 각각의 화소를 주목 화소로 순차적으로 설정하는 수단; 순차적으로 설정된 주목 화소를 포함하는 국소 화소 영역을 범위로 하여 피사체의 움직임을 탐지하는 수단; 상기 두 탐지 결과를 기초로, 현재 촬상 기간의 화소 신호와 하나의 촬상 기간 이전의 촬상 기간의 화소 신호에 대한 혼합비를 결정하는 수단; 및 주목 화소 각각에 대하여, 혼합비 결정 수단에 의해 결정된 혼합비를 기초로 현재 촬상 기간의 화소 신호를 보정하는 수단을 포함한다.

Description

화상 처리 장치{IMAGE PROCESSING DEVICE}

본 발명은 촬상 소자로부터 출력되는 신호를 처리하여 화상을 생성하는 화상 처리 장치에 관한 것이다.

촬상 소자에 의해 출력된 신호를 처리하여 화상을 생성하는 화상 처리 장치가 공지되어 있다. 이러한 화상 처리 장치의 하나의 공지된 예는 움직이는 물체의 잔상을 억제함과 동시에 화상 내의 노이즈를 제거한다. 이러한 종류의 화상 처리 장치의 구체적인 구성은, 예컨대, JP 2000-209507A(이하 "특허 문헌 1"이라 함)에 기재되어 있다.

특허 문헌 1에 기재된 화상 처리 장치는 순환형 노이즈 제거 회로를 포함한다. 특허 문헌 1에 기재된 순환형 노이즈 제거 회로는 촬상 소자로부터의 현재 화상 신호 출력과 한 프레임 또는 한 필드 전의 화상 신호 간의 차이를 얻기 위해 감산기를 이용하고, 그 차이에 피드백 계수를 곱하기 위해 곱셈기를 이용하며, 그리고 그 곱셈의 결과를 현재 화상 신호에 더하기 위한 가산기를 이용하여, 화상 신호 내의 노이즈 성분을 제거한다. 이 순환형 노이즈 제거 유닛은 또한 감산기로부터의 차이 값에 따라 각각의 화소에 대한 피드백 계수를 제어한다. 잔상은 감산기로부터의 차이 값이 더 클수록 피드백 계수를 줄임으로써 감소되고, 노이즈는 그 차이 값이 작을수록 피드백 계수를 증가시킴으로 감소된다.

그러나, 특허 문헌 1에 기재된 구성에서는, 피사체의 움직임 성분을 랜덤 노이즈로부터 충분하게 분리시키는 것이 불가능하기 때문에, 움직이는 피사체의 잔상을 충분히 억제하는 것이 불가능하다.

본 발명은 상기 사정을 감안하여 이루어진 것으로, 본 발명의 목적은 움직이는 피사체의 잔상을 억제함과 동시에 화상 내의 노이즈를 제거하는데 적합한 화상 처리 장치를 제공하는 것이다.

본 발명의 하나의 실시예에 따른 화상 처리 장치는 사전 결정된 촬상 기간에 주기적으로 피사체를 촬상하는 촬상 소자의 유효 화소 영역의 각 화소에 대하여, 촬상 소자에 의해 출력되는 현재의 촬상 기간의 화소 신호와 한 기간 전의 촬상 기간의 화소 신호 간의 차이를 계산하는 차이 값 계산 수단; 전체 유효 화소 영역을 하나의 범위로 하여 피사체의 움직임을 탐지하는 제1 모션 탐지 수단; 유효 화소 영역 내의 각각의 화소를 주목 화소(pixel of interest)로 순차적으로 설정하는 주목 화소 설정 수단; 순차적으로 설정된 주목 화소를 포함하는 국소 화소 영역을 하나의 범위로 하여 피사체의 움직임을 탐지하는 제2 모션 탐지 수단; 각각의 주목 화소에 대하여, 제1 모션 탐지 수단의 탐지 결과 및 제2 모션 탐지 수단의 탐지 결과를 기초로 하여, 현재의 촬상 기간의 화소 신호와 한 기간 전의 촬상 기간의 화소 신호에 대한 혼합비를 결정하는 혼합비 결정 수단; 및 각각의 주목 화소에 대하여, 혼합비 결정 수단에 의해 결정된 혼합비를 기초로 하여 현재의 촬상 기간의 화소 신호를 보정하는 화소 신호 보정 수단을 포함한다.

본 발명의 하나의 실시예에 따른 화상 처리 장치는 사전 결정된 촬상 기간에 피사체를 주기적으로 촬상하는 촬상 소자의 유효 화소 영역 내의 각각의 화소에 대하여, 촬상 소자에 의해 출력된 현재의 촬상 기간의 화소 신호와 한 기간 전의 촬상 기간의 화소 신호 간의 차이를 계산하는 차이 값 계산 수단; 유효 화소 영역 내에서 차이 값이 제1 조건을 충족하는 화소 개수를 세고, 그 세어진 화소수를 제1 카운트 값으로 설정하는 제1 카운팅 수단; 유효 화소 영역 내의 각각의 화소를 주목 화소로 순차적으로 설정하는 주목 화소 설정 수단; 순차적으로 설정된 주목 화소 및 그 주목 화소 부근의 주변 화소들로 이루어진 화소군에서 차이 값이 제2 조건을 충족하는 화소 개수를 세고, 그 세어진 화소수를 제2 카운트 값으로 설정하는 제2 카운팅 수단; 및 각각의 주목 화소에 대하여, 주목 화소가 속하는 화소군 내의 제2 카운트 값 및 제1 카운트 값을 기초로 하여, 현재의 촬상 기간의 화소 신호와 한 기간 전의 촬상 기간의 화소 신호에 대한 혼합비를 결정하는 혼합비 결정 수단; 및 각각의 주목 화소에 대하여, 혼합비 결정 수단에 의해 결정된 혼합비를 기초로 하여 현재 촬상 기간의 화소 신호를 보정하는 화소 신호 보정 수단을 포함한다.

혼합비 결정 수단은 제1 카운트 값을 제1 값으로 변환하고, 제2 카운트 값을 제2 값으로 변환하도록 구성될 수 있다. 이러한 경우에, 혼합비 결정 수단은 제1 값과 제2 값의 차이를 기초로 현재 촬상 기간의 화소 신호 및 한 기간 전의 촬상 기간의 화소 신호에 대한 혼합비를 결정한다.

또한, 제1 값의 수치 범위와 제2 값의 수치 범위는 동일할 수 있다.

또한, 제1 조건은, 예컨대, 차이 값 계산 수단에 의해 계산된 차이 값이 제1 임계값보다 큰 것이다. 또한, 제2 조건은, 예컨대, 상기 차이 값이 제2 임계값보다 작은 것이다. 이 경우에, 제1 카운트 값은 제1 카운트 값이 고정 값보다 작거나 같을 때 수치 값 범위 중 최대 값으로 변환되고, 제1 카운트 값이 고정 값보다 더 클수록 최대 값보다 더 작은 값으로 변환된다. 또한, 제2 카운트 값은 그대로 제2 카운트 값으로 변환된다. 그 다음, 혼합비 결정 수단은 제1 값과 제2 값 간의 차이 값이 제3 임계값보다 크거나 같은 경우에 제1 값과 제2 값을 기초로 혼합비를 결정하고, 제1 값과 제2 값 간의 차이 값이 제3 임계값보다 작은 경우에 제1 값 또는 제2 값을 기초로 혼합비를 결정한다.

촬상 소자의 촬상 시간은, 예컨대, 1 필드 기간 또는 1 프레임 기간이다.

본 발명의 하나의 실시예에 따라, 움직이는 피사체의 잔상을 억제함과 동시에 화상 내의 노이즈를 제거하는데 적합한 화상 처리 장치가 제공된다.

도 1은 본 발명의 하나의 실시예에 따른 전자 내시경 시스템의 외형도이다.
도 2는 본 발명의 하나의 실시예에 따른 전자 내시경 시스템의 블록도이다.
도 3은 본 발명의 하나의 실시예에 따른 프로세서에 포함된 노이즈 제거 회로의 구성을 보여주는 블록도이다.
도 4는 본 발명의 하나의 실시예에 따른 노이즈 제거 회로에 포함된 피드백 계수 계산 유닛의 동작을 보여주는 흐름도이다.
도 5는 전체 필드 내의 모션 탐지를 개념적으로 보여주는 다이어그램(도 5a) 및 국부 영역 내의 모션 탐지를 개념적으로 보여주는 다이어그램(도 5b)이다.
도 6은 제1 카운트 값과 제1 값, m1 간의 변환 함수를 보여주는 그래프(도 6a) 및 제2 카운트 값과 제2 값, m2 간의 변환 함수를 보여주는 그래프(도 6b)이다.

이하, 본 발명의 실시예가 도면을 참조하여 설명된다. 아래의 설명에서 전자 내시경 시스템이 본 발명의 하나의 실시예의 예로서 채택되었다.

도 1은 본 실시예의 전자 내시경 시스템(1)의 외형도이다. 도 1에 도시된 바와 같이, 본 실시예의 전자 내시경 시스템(1)은 전자 내시경(100) 및 프로세서(200)를 포함한다. 프로세서(200)는 전자 내시경(100)으로부터의 신호들을 처리하는 신호 처리 장치 및 전자 내시경(100)을 통해 자연광이 닿지 않는 체강(body cavity) 내부를 조명하는 광원 장치를 일체로 구비한 장치이다. 신호 처리 장치 및 광원 장치는 다른 실시예에서 별도로 구성될 수도 있다.

도 1에 도시된 바와 같이, 전자 내시경(100)은 유연한 시쓰(sheath)로 외장된 삽입부 플렉시블 튜브(11)를 포함한다. 삽입부 플렉시블 튜브(11)의 선단부(굴곡부(14)는 삽입부 플렉시블 튜브(11)의 기단부에 연결된 수동 조작부(13)로부터의 원격 조작에 따라 구부러진다. 이러한 벤딩 메커니즘(bending mechanism)은 일반 내시경에 내장되는 주지의 메커니즘이며, 수동 조작부(13)의 만곡 조작 노브(curvature operation knob)의 회전 조작과 연동하는 조작 와이어의 견인에 의해 굴곡부(14)를 구부러지게 만든다. 경질 수지 케이싱에 의해 외장된 선단부(12)의 기단부는 굴곡부(14)의 선단에 연결되어 있다. 선단부(12)의 방향은 만곡 조작 노브의 회전 조작에 의해 이루어지는 굴곡 동작에 따라 변하고, 그러므로 전자 내시경(100)의 촬상 영역이 이동하게 된다.

프로세서(200)에는 전자 내시경(100)의 기단부에 제공된 커넥터 부(10)에 대응하는 연결 구조를 가지는 커넥터 부(20)가 제공되어 있다. 전자 내시경(100) 및 프로세서(200)는 커넥터 부(20)를 커넥터 부(10)에 기계적으로 연결함으로써 전기적으로 및 광학적으로 연결된다.

도 2는 본 실시예의 전자 내시경 시스템(1)의 구성을 보여주는 블록도이다. 도 2에 도시된 바와 같이, 전자 내시경 시스템(1) 내의 프로세서(200)에 모니터(300)가 연결되어 있다.

도 2에 도시된 바와 같이, 프로세서(200)는 시스템 컨트롤러(202) 및 타이밍 컨트롤러(204)를 가진다. 시스템 컨트롤러(202)는 메모리(222) 내에 저장된 다양한 프로그램들을 실행함으로써 전자 내시경 시스템(1) 전체의 총괄적 제어를 제공한다. 또한, 시스템 컨트롤러(202)는 사용자(오퍼레이터 또는 보조자)에 의해 조작 패널(218)로 입력되는 지시에 따라 전자 내시경 시스템(1)의 다양한 설정을 변경한다. 조작 패널(218)의 구성은 다양한 형태를 취할 수 있음을 이해해야 한다. 조작 패널(218)의 특정 구성의 예상 가능한 예는 프로세서(200)의 전면에 구현된 기능 특정 하드웨어 키(function-specific hardware key) 및 터치패널 타입의 GUI(Graphical User Interface), 및 하드웨어 키와 GUI의 조합을 포함한다. 타이밍 컨트롤러(204)는 각 부분의 동작 타이밍을 조정하기 위한 클록 펄스를 전자 내시경 시스템(1) 내의 회로로 출력한다.

램프(208)는 램프 파워 서플라이 점화기(206)에 의해 시동된 후, 주로 가시광선 영역에서부터 비가시 적외선 영역까지 퍼져있는 스펙트럼을 가지는 광(또는 적어도 가시광선 영역을 포함하는 광)을 방출한다. 크세논 램프, 할로겐 램프, 메탈 할라이드 램프와 같은 고휘도 램프가 램프(208)로서 적합하다. 램프(208)에 의해 방출되는 조사 광은 집광 렌즈(210)에 의해 집광되고, 조리개(212)를 통해 적절한 광량으로 제한된다.

도면에 도시되지 않은 암 또는 기어와 같은 트랜스미션 메커니즘을 통해 조리개(212)에 모터(214)가 기계적으로 연결되어 있다. 모터(214)는, 예컨대, DC 모터이고, 드라이버(216)의 구동 제어 하에서 구동된다. 조리개(212)는 모니터(300)의 디스플레이 스크린상에 디스플레이되는 화상을 적절한 휘도로 설정하기 위해 조리개의 개방 정도를 변경하도록 모터(214)에 의해 작동된다. 램프(208)에 의해 방출되는 광의 광량은 조리개(212)의 개방 정도에 따라 제한된다. 적절하다고 간주되는 기준 화상 휘도는 오퍼레이터에 의해 조작 패널(218) 상에서 수행되는 강도 조절 조작에 따라 설정된다. 강조 조절을 수행하기 위해 드라이버(216)를 제어하는 광 제어 회로는 주지의 회로이고, 본 명세서에서는 설명하지 않을 것이다.

조리개(212)를 통과한 조사광은 LCB(Light Carrying Bundle)(102)의 입사단으로 입사된다. 입사단을 통해 LCB(102)로 들어온 조사광은 LCB(102) 내에서 전반사를 반복적으로 겪으면서 전파된다. LCB(102) 내부로 전파된 조사광은 전자 내시경(100)의 선단부(12) 내에 배치된 LCB(102) 출사단을 통해 출사하고, 배광 렌즈(104)를 통해 피사체를 조사한다.

피사체로부터 되돌아온 광은 대물 렌즈(106)를 통과하고, 솔리드 스테이트 촬상 소자(108)의 수광면 상의 화소에 의해 광학 화상으로 형성된다. 솔리드 스테이트 촬상 소자(108)는 보색 바둑판형 화소 배열을 가지는 인터레이스 방식(interlace type)의 단판식 컬러 CCD(Charge Coupled Device) 이미지 센서이다. 솔리드 스테이트 촬상 소자(108)는 수광면 상의 화소에 의해 형성된 광학 화상의 광량에 따라 전하를 축적하여 엘로우(Ye), 시안(Cy), 그린(G), 및 마젠타(Mg) 보색 신호를 생성하고, 이어서 수직 방향으로 인접한 2개의 화소에 의해 생성된 보색 신호를 합산하여 얻어진 혼합 신호를 출력한다. 이하, 각각의 필드 내의 수평 라인 내의 화소에 대응하고, 순차적으로 솔리드 스테이트 촬상 소자(108)에 의해 출력되는 이 혼합 신호는 "영상 신호"라 칭한다. 솔리드 스테이트 촬상 소자(108)가 CCD 이미지 센서로 제한되지 않으며, CMOS(Complementary Metal Oxide Semiconductor) 이미지 센서 또는 다른 타입의 이미징 센서가 채용될 수 있음을 이해해야 한다. 솔리드 스테이트 촬상 소자(108)는 또한 원색계 필터(베이어 어레이 필터)를 포함하는 소자일 수도 있다.

솔리드 스테이트 촬상 소자(108)로부터 출력되는 영상 신호는 프리앰프(preamplifier)(110)에 의해 신호 증폭된 후, 드라이버 신호 처리 회로(112)를 통해 신호 처리 회로(220)로 입력된다.

전자 내시경(100)은 드라이버 신호 처리 회로(112) 및 메모리(114)를 포함한다. 드라이버 신호 처리 회로(112)는 메모리(114)에 액세스하여 전자 내시경(100)에 관한 고유 정보를 판독한다. 메모리(114)에 기록된 전자 내시경(100)에 관한 고유 정보는, 예컨대, 화소 개수, 감도, 동작 가능한 필드 속도(프레임 속도), 및 솔리드 스테이트 촬상 소자(108)의 모델 번호를 포함한다. 메모리(114)로부터 판독된 고유 정보는 드라이버 신호 처리 회로(112)에 의해 시스템 컨트롤러(202)로 출력된다.

시스템 컨트롤러(202)는 전자 내시경(100)에 관한 고유 정보를 기초로 다양한 산술연산을 수행하여 제어 신호를 생성한다. 시스템 컨트롤러(202)는 생성된 제어 신호를 이용하여 프로세서(200)에 현재 연결된 전자 내시경에 적합한 처리를 수행하도록 프로세서(200) 내의 다양한 회로들의 동작 및 타이밍을 제어한다.

타이밍 컨트롤러(204)는 시스템 컨트롤러(202)에 의해 수행되는 타이밍 제어에 따라 드라이버 신호 처리 회로(112) 및 신호 처리 회로(220)에 클록 펄스를 공급한다. 타이밍 컨트롤러(204)로부터 공급되는 클록 펄스에 따라, 드라이버 신호 처리 회로(112)는 프로세서(200)에 의해 처리되는 영상의 필드 속도(프레임 속도)와 동기화된 타이밍에 따라 솔리드 스테이트 촬상 소자(108)의 구동을 제어한다.

도 2에 도시된 바와 같이, 신호 처리 회로(220)는 전단 신호 처리 회로(220A), 노이즈 제거 회로(220B) 및 후단 신호 처리 회로(220C)를 포함한다.

전단 신호 처리 회로(220A)는 드라이버 신호 처리 회로(112)로부터 수신된 영상 신호에 색상 보완, Y/C 분리와 같은 미리 정해진 신호 처리를 수행함으로써 화소 신호(휘도 신호(Y), 색차 신호(U 및 V))를 생성하고, 생성된 화소 신호를 노이즈 제거 회로(220B)로 출력한다.

도 3은 노이즈 제거 회로(220B)의 구성을 보여주는 블록도이다. 도 3에 도시된 바와 같이, 노이즈 제거 회로(220B)는 제1 필드 메모리(220Ba), 피드백 계수 산출부(220Bb), 곱셈 회로(220Bc1-220Bc3), 제2 필드 메모리(220Bd), 곱셈 회로(220Be1-220Be3) 및 가산 회로(220Bf1-220Bf3)를 포함한다.

제1 필드 메모리(220Ba)는 전단 신호 처리 회로(220A)로부터 화소 신호(휘도 신호(Y))를 수신한다. 적어도 하나의 필드 분의 화소 신호(유효 화소 영역 내의 화소 신호)가 제1 필드 메모리(220Ba) 내에 버퍼링된다.

피드백 계수 산출부(220Bb)는 전단 신호 처리 회로(220A)로부터의 현재 필드의 화소 신호(휘도 신호(Y))를 순차적으로 수신하고, 동시에 제1 필드 메모리(220Ba)로부터의 이러한 화소 신호에 대응하는 한 필드 이전의 화소 신호(휘도 신호(Y))를 순차적으로 수신한다. 여기서, 동일 라인 및 동일 어드레스 내의 화소의 화소 신호를 "대응 화소 신호"라 칭한다. 예를 들어, 홀수의 필드의 제2 수평 라인에서 먼저 출력되는 화소 신호에 대응하는 한 필드 이전의 화소 신호는 바로 이전의 짝수 필드의 제2 수평 라인에서 먼저 출력되었던 화소 신호이다.

(피드백 계수 산출부(220Bb)의 동작 설명)

도 4는 피드백 계수 산출부(220Bb)의 동작을 보여주는 흐름도이다.

[도 4의 S11(휘도 차이 값의 계산)]

도 4에 도시된 바와 같이, 처리 단계(S11)에서, 유효 화소 영역 내의 각각의 화소에 대하여, 현재 필드의 화소 신호(휘도 신호(Y))와 한 필드 이전의 화소 신호(휘도 신호(Y)) 간의 차이 값이 계산된다. 이하, 설명의 편의상, 처리 단계(S11)에서 계산되는 화소 신호(휘도 신호(Y)) 차이 값은 "휘도 차이 값)이라 칭한다. 또한, 현재 필드의 화소 신호(휘도 신호(Y), 색차 신호(U 및 V))는 "현재 필드 화소 신호(nfs)"라 하고, 한 필드 이전의 화소 신호(휘도 신호(Y), 색차 신호(U 및 V))는 "이전 필드 화소 신호(pfs)"라 할 것이다.

[도 4의 S12(제1 카운트 값의 계산)]

도 5a는 전체 필드에서의 움직임 탐지를 개념적으로 보여주는 도면이다. 처리 단계(S12)에서, 도 5a에 도시된 전체 필드에서의 움직임 탐지를 수행하기 위해 아래의 처리가 수행된다.

처리 단계(S12)는 유효 화소 영역 내의 화소 중, 처리 단계(S11)에서 계산된 휘도 차이 값이 제1 임계값보다 큰 화소의 개수를 세는 단계이다. 구체적으로, 처리 단계(S12)에서, 전체 필드에서의 움직임 탐지를 수행하기 위해, 2개의 연속적인 필드에 대하여, 필드 전체를 범위로 하여 휘도 차이 값이 제1 임계값보다 큰 화소의 개수가 세어진다.

[도 4의 S13(제1 값(m1)으로의 변환]

처리 단계(S13)에서, 처리 단계(S12)에서 세어진 제1 카운트 값은 제1 값(m1)으로 변환된다. 여기서, 도 6a는 제1 카운트 값과 제1 값(m1) 간의 변환 함수를 그래프로 보여준다. 도 6a에서, 수직축은 제1 값(m1)을 나타내고, 수평축은 제1 카운트 값은 나타낸다. 제1 값(m1)은 0 내지 9 중 한 값을 취한다.

도 6a에 도시된 바와 같이, 제1 카운트 값은 그것이 고정 값(C) 이하인 경우에는 고정 값(여기서는 "9")으로 변환되고, 그것이 고정 값(C)보다 더 클수록 더 작은 값으로 변환된다. 더 상세하게는, 제1 카운트 값은 그것이 고정 값(C)보다 더 클수록 "9"에 비해 더 작은 값으로 변환되고, 그것이 최대 값을 가질 때(즉, 휘도 차이 값이 유효 화소 영역 내의 모든 화소에서 제1 임계값보다 클 때) "0"으로 변환된다.

추세로서, 제1 값(m1)은 전체 필드에서 피사체가 움직이는 다수의 영역이 존재한다면(휘도 차이 값이 제1 임계값보다 큰 다수의 화소가 존재한다면) 작은 값을 취하고, 전체 필드에서 피사체가 움직이는 영역이 적다면(휘도 차이 값이 제1 임계값보다 큰 화소가 적다면) 큰 값을 취한다. 간결하게 말하자면, 전체 필드가 탐지 영역인 경우에, 제1 값(m1)은 피사체가 움직이고 있을 때 작은 값을 취하고, 피사체가 움직이지 않을 때 큰 값을 취한다.

[도 4의 S14(주목 화소의 설정)]

처리 단계(S14)에서, 유효 화소 영역 내의 하나의 화소가 주목 화소로 설정된다.

[도 5의 S15(국소 영역(화소군)의 설정)]

처리 단계(S15)는 처리 단계(S14)에서 설정되었던 주목 화소 및 그 주목 화소 주변의 주변 화소로 이루어진 화소군을 설정하는 단계이다. 본 실시예에서, 주변 화소는 상, 하, 좌 우, 뿐만 아니라 대각 우상 방향, 대각 우하 방향, 대각 좌상 방향, 및 대각 좌하 방향으로 주목 화소 부근에 위치하는 총 8개의 화소를 의미한다. 즉, 화소군은 3×3 매트릭스로 배열된 9개의 화소로 이루어진다.

[도 4의 S16(제2 카운트 값의 산출)]

도 5b는 국소 영역(화소군에 대응하는 3×3 화소로 이루어진 영역)에서의 움직임 탐지를 개념적으로 보여주는 도면이다. 처리 단계(S16)에서, 도 5b에 도시된 국소 영역에서의 움직임 탐지를 수행하기 위해 아래의 처리가 수행된다.

처리 단계(S16)는, 화소군(1개의 주목 화소 + 8개의 주변 화소) 내에, 처리 단계(S11)에서 계산된 휘도 차이 값이 제2 임계값보다 작은 화소의 개수를 세는 단계이다. 상세하게는, 처리 단계(S16)에서, 국소 영역 내에서의 움직임 탐지를 수행하기 위해, 2개의 연속적인 필드에 대하여, 처리 단계(S15)에서 설정된 화소군을 범위로 하여 휘도 차이 값이 제2 임계값보다 작은 화소의 개수를 센다. 이하, 설명의 편의상, 처리 단계(S16)에서 세어진 화소의 개수를 "제2 카운트 값"이라 한다.

[도 4의 S17(제2 값(m2)으로의 변환)]

처리 단계(S17)에서, 처리 단계(S16)에서 변환된 제2 카운트 값은 제2 값(m2)으로 변환된다. 여기서, 도 6b는 제2 카운트 값과 제2 값(m2) 간의 변환 함수를 그래프로 보여준다. 도 6b에서, 수직축은 제2 값(m2)을 나타내고, 수평축은 제2 카운트 값을 나타낸다. 제1 값(m1)과 마찬가지로, 제2 값(m2)은 또한 0 내지 9 중 한 값을 취한다.

도 6b에 도시된 바와 같이, 제2 카운트 값은 휘도 차이 값이 제2 임계값(0 내지 9의 값)보다 작은 화소의 개소로 변환된다. 즉, 제2 값(m2)은 제2 카운트 값을 그대로 취한다.

제2 값(m2)은 국소 영역 내에서 피사체가 움직이는 다수의 영역이 존재할 때(휘도 차이 값이 제2 임계값보다 큰 화소가 많이 존재할 때) 작은 값을 취하고, 국소 영역 내에서 피사체가 움직이는 영역이 적게 존재할 때(휘도 차이 값이 제2 임계값보다 큰 화소가 적게 존재할 때) 큰 값을 취한다. 더 간결하게 말하자면, 국소 영역이 탐지 영역인 경우에, 제2 값(m2)은 피사체가 움직이고 있을 때 작은 값을 취하고, 피사체가 움직이지 않을 때 큰 값을 취한다.

[도 4의 S18(제1 값(m1)과 제2 값(m2)의 비교)]

처리 단계(S18)에서, 제1 값(m1)과 제2 값(m2)의 차이 값이 계산된다. 그 다음, 산출된 차이 값이 제3 임계값 이상인지 판정된다.

[도 4의 S19(피드백 계수(K)의 산출)]

처리 단계(S19)는 처리 단계(S18)에서 계산된 차이 값이 제3 임계값 이상일 때(S18: YES) 수행된다. 처리 단계(S18)에서 계산된 차이 값은 전형적으로 아래에 설명된 사례 1 및 사례 2에서 제3 임계값 이상이다.

(사례 1)

사례 1은 전체 필드에서 피사체가 움직이는 영역이 많이 존재하고, 국소 영역에서 피사체가 움직이는 영역이 적은 경우이다. 사례 1에서, 예컨대, 피사체가 움직이는 부분은 필드 전체에 넓게 분포되어 있으나, 피사체가 국소 영역에서 볼 때 크게 움직이지 않고 있고, 따라서 전체 필드에서는 피사체가 움직이는 것으로 탐지되지만, 국소영역에서는 피사체가 움직이는 않는 것으로 탐지된다.

(사례 2)

사례 2는 전체 필드에서 피사체가 움직이는 영역은 적고, 국소 영역에서 피사체가 움직이는 영역은 많은 경우이다. 사례 2에서, 피사체는 전체 필드에서 보면 피사체는 크게 움직이지 않지만, 국소 영역에서 보면 피사체가 움직이고 있으므로, 국소 영역에서는 피사체가 움직이는 것으로 탐지되지만, 전체 필드에서는 피사체가 움직이지 않는 것으로 탐지된다.

이러한 방식으로, 처리 단계(S18)에서 산출된 차이 값이 제3 임계값 이상인 경우에, 피사체 움직임 탐지의 결과는 전체 필드를 볼 때와 국소 영역을 볼 때 다를 수 있다. 이러한 이유로, 국소 영역(화소군)에 속하는 주목 화소의 화소 신호에 대하여 전체 필드에서 피사체 움직임을 보는 상황 및 국소 영역에서 피사체 움직임을 보는 상황 두 상황 모두 고려되는 것이 바람직하다. 이러한 관점에서 볼 때, 처리 단계(S19)에서, 국소 영역(화소군)에 속하는 주목 화소의 화소 신호에 적용되어야 할 피드백 계수(K)는 아래의 식을 이용하여 산출된다.

K=[(m1+m2)/2]/9

[도 4의 S20(피드백 계수(K)의 산출)]

처리 단계(S20)는 처리 단계(S18)에서 계산된 차이 값이 제3 임계값보다 작을 때(S18: NO) 수행된다. 처리 단계(S18)에서 계산된 차이 값은 전형적으로 아래에 설명된 사례 3 및 사례 4에서 제3 임계값보다 작다.

(사례 3)

사례 3은 전체 필드에서 피사체가 움직이는 영역이 적고, 국소 영역에서 피사체가 움직이는 영역 또한 적은 경우이다. 사례 3에서, 예컨대, 피사체는 전체 필드에서 보았을 때 뿐만 아니라 국소 영역에서 보았을 때에도 크게 움직이지 않고 있으므로, 임의의 탐지 범위에서 피사체는 움직이지 않고 있다고 탐지된다.

(사례 4)

사례 4는 전체 필드에서 피사체가 움직이는 영역이 많고, 국소 영역에서 피사체가 움직이는 영역 또한 많은 경우이다. 사례 4에서, 예컨대, 움직이는 피사체가 필드 전체에 넓게 분포되어 있고, 국소 영역에서 보았을 때에도 피사체가 움직이고 있으므로, 임의의 탐지 범위에서 피사체가 움직이고 있다고 탐지된다.

이러한 방식으로, 처리 단계(S18)에서 계산된 차이 값이 제3 임계값보다 작은 경우에, 피사체 움직임 탐지의 결과는 전체 필드에서 볼 때와 국소 영역에서 볼 때 동일하다. 이러한 이유로, 국소 영역(화소군)에 속하는 주목 화소의 화소 신호에 대하여, 전체 영역에서 피사체 움직임을 보는 상황 또는 국소 영역에서 피사체 움직임을 보는 상황 중 하나가 고려되는 것이 바람직하다. 이러한 관점에서, 처리 단계(S20)에서, 국소 영역(화소군)에 속하는 주목 화소의 화소 신호에 적용되어야 할 피드백 계수(K)가 아래의 식을 이용하여 계산된다.

K=m1/9

다른 실시예에서, 상기 식은 아래의 식으로 대체될 수 있음을 이해해야 한다.

K=m2/9

[도 4의 S12 및 S22(처리되지 않은 화소 판정)]

처리 단계(S21)에서, 적용되어야 할 피드백 계수(K)가 계산되지 않은 화소가 유효 화소 영역 내에 남아 있는지 없는지 판정된다. 적용되어야 할 피드백 계수(K)가 계산되지 않은 화소가 남아 있다면(S21: YES), 주목 화소는 그 다음 화소(예컨대, 수평 라인 방향으로 인접한 화소)로 설정된다(S22). 다음 주목 화소가 설정된 때, 이 흐름도는 처리 단계(S15)로 되돌아간다. 처리 단계(S15 내지 S22)를 반복하여, 유효 화소 영역 내의 각각의 화소에 대하여 피드백 계수(K)가 순차적으로 산출된다. 유효 화소 영역 내의 모든 화소에 대한 피드백 계수(K)가 산출된 때(S21: NO), 이 흐름도는 이 루프를 빠져나가고 종료한다.

피드백 계수 산출 유닛(220Bb)에서 계산된 피드백 계수(K)는 곱셈 회로(220Bc1-220Bc3) 및 곱셈 회로(220Be1-220Be3)에 입력된다.

곱셈 회로(220Bc1-220Bc3)는 각각 현재 필드 화소 신호(nfs)(휘도 신호(Y)), 현재 필드 화소 신호(nfs)(색차 신호(U)), 및 현재 필드 화소 신호(nfs)(색차 신호(V))를 전단 신호 처리 회로(220A)로부터 수신한다. 곱셈 회로(220Bc1-220Bc3)로 입력된 현재 필드 화소 신호(nfs)(휘도 신호(Y)), 현재 필드 화소 신호(nfs)(색차 신호(U)), 및 현재 필드 화소 신호(nfs)(색차 신호(V))에 각각 (1-피드백 계수(K)의 값이 곱해진다. 이하, 설명의 편의를 위해 곱셈 회로(220Bc1-220Bc3)에 의해 얻어진 곱셈 값들은 각각 "곱셈 값(휘도 신호(Y))[nfs×(1-K)]", "곱셈 값(색차 신호(U)[nfs×(1-K)]", 및 "곱셈 값(색차 신호(V)[nfs×(1-K)]"라 한다.

곱셈 값(휘도 신호(Y))[nfs×(1-K)], 곱셈 값(색차 신호(U)[nfs×(1-K)], 및 곱셈 값(색차 신호(V)[nfs×(1-K)]은 각각 가산 회로(220Bf1-220Bf3)로 입력된다.

제2 필드 메모리(220Bd)는 가산 회로(220Bf1-220Bf3)로부터 출력된 보정된 영상 신호(휘도 신호(Y) 및 색차 신호(U 및 V))를 수신한다. 보정된 영상 신호는 노이즈 제거를 거친 영상 신호임을 이해해야 하고, 노이즈 제거에 대해서는 아래에 더 상세하게 설명될 것이다. 적어도 하나의 필드 분의 화소 신호(유효 화소 영역 내의 화소 신호)는 제2 필드 메모리(220Bd) 내에 버퍼링된다.

곱셈 회로(220Be1-220Be3)는 각각 제2 필드 메모리(220Bd)로부터 이전 필드 화소 신호(pfs)(보정된 휘도 신호(Y)), 이전 필드 화소 신호(pfs)(보정된 색차 신호(U)), 이전 필드 화소 신호(pfs)(보정된 색차 신호(V))를 각각 수신한다. 곱셈 회로(220Be1-220Be3)로부터 입력된 이전 필드 화소 신호(pfs)(보정된 휘도 신호(Y)), 이전 필드 화소 신호(pfs)(보정된 색차 신호(U)), 이전 필드 화소 신호(pfs)(보정된 색차 신호(V)) 각각에 피드백 계수(K)가 곱해진다. 이하, 설명의 편의를 위해, 곱셈 회로(220Be1-220Be3)에 의해 얻어진 곱셈 값을 각각 "곱셈 값(휘도 신호(Y))[pfs×K]", "곱셈 값(색차 신호(U)[pfs×K]", 및 "곱셈 값(색차 신호(V)[pfs×K]"라 한다.

곱셈 값(휘도 신호(Y))[pfs×K], 곱셈 값(색차 신호(U)[pfs×K], 및 곱셈 값(색차 신호(V)[pfs×K]은 각각 가산 회로(220Bf1-220Bf3)로 입력된다.

가산 회로(220Bf1)는 곱셈 회로(220Bc1)로부터 수신된 곱셈 값(휘도 신호(Y))[nfs×(1-K)]과 곱셈 회로(220Be1)로부터 수신된 곱셈 값(휘도 신호(Y))[pfs×K]를 합산하고, 그 결과를 후단 신호 처리 회로(220C)로 출력한다. 가산 회로(220Bf2)는 곱셈 회로(220Bc2)로부터 수신된 곱셈 값(색차 신호(U))[nfs×(1-K)]과 곱셈 회로(220Be2)로부터 수신된 곱셈 값(색차 신호(U))[pfs×K]를 합산하고, 그 결과를 후단 신호 처리 회로(220C)로 출력한다. 가산 회로(220Bf3)는 곱셈 회로(220Bc3)로부터 수신된 곱셈 값(색차 신호(V)[nfs×(1-K)]과 곱셈 회로(220Be3)로부터 수신된 곱셈 값(색차 신호(V))[pfs×K]을 합산하고, 그 결과를 후단 신호 처리 회로(220C)로 출력한다.

즉, 가산 회로(Bf1-Bf3)는 아래의 식을 이용하여 현재 필드 화소 신호(nfs)와 이전 필드 화소 신호(pfs)를 혼합하여 현재 필드 화소 신호(nfs)를 보정한다. 아래의 식에 나타난 바와 같이, 현재 필드 화소 신호(nfs)와 이전 필드 화소 신호(pfs)의 혼합비는 피드백 계수(K)에 따라 결정된다. 피드백 계수(K)는 피사체가 더 많이 움직일수록 더 작은 값을 취하고, 피사체가 더 적게 움직일수록 더 큰 값을 취한다. 피드백 계수(K)가 0에 가까울수록 현재 필드 화소 신호(nfs)의 비율이 높아지므로, 대응하는 화소 내의 노이즈 제거 효과는 감소하지만, 잔상은 억제된다. 또한, 피드백 계수(K)가 1에 가까울수록 이전 필드 화소 신호(pfs)의 비율이 높아지므로, 대응하는 화소 내의 노이즈 제거 효과가 증가한다.

보정된 현재 필드 화소 신호(nfs')= [nfs×(1-K)]+[pfs×K]

후단 신호 처리 회로(220C)는 가산 회로(220Bf1-220Bf3)로부터 수신된 보정된 현재 필드 화소 신호(nfs')(휘도 신호(Y) 및 색차 신호(U 및 V))를 NTSC(National Television System Committee) 또는 PAL(Phase Alternating Line)와 같은 미리 정해진 표준에 부합하는 비디오 신호로 변환하고, 그 변환된 비디오 신호를 모니터(300)로 출력한다. 이 비디오 신호는 모니터(300)로 순차적으로 입력되어, 피사체의 컬러 화상이 모니터(300)의 디스플레이 스크린상에 표시된다.

이러한 방식으로, 본 실시예에 따라, 각각의 화소에 대한 피드백 계수(K)는 전체 필드에서의 피사체 움직임 탐지의 결과 및 국소 영역에서의 피사체 움직임 탐지의 결과를 모두 고려하여 계산되며, 그로 인해 움직이는 피사체의 잔상을 억제함과 동시에 화상 내 노이즈를 제거할 수 있다.

앞선 설명은 본 발명의 예시적인 실시예의 설명이다. 본 발명의 실시예는 상기 설명한 것으로 한정되지 않고, 다양한 수정이 본 발명의 기술적 사상의 범위 내에서 이루어질 수 있다. 예를 들어, 본 발명의 실시예들은 또한 본 명세서에 예시적으로 명시된 실시예 등과 자명한 실시예 등의 적절한 조합을 포함한다.

상기 실시예에서는, 솔리드 스테이트 촬상 소자(108)의 촬상 기간이 필드 기간이지만, 다른 실시예에서는 프레임 기간일 수도 있다.

Claims (6)

1. 화상 처리 장치로서,
   미리 정해진 촬상 기간에 피사체를 주기적으로 촬상하는 촬상 소자의 유효 화소 영역 내의 각각의 화소에 대하여, 상기 촬상 소자에 의해 출력된 현재 촬상 기간의 화소 신호와 한 기간 전의 촬상 기간의 화소 신호 간의 차이 값을 계산하는 차이 값 계산 수단;
   상기 차이 값이 상기 유효 화소 영역 내에서 제1 조건을 충족하는 화소의 개수를 세고, 그 세어진 화소수를 제1 카운트 값으로 설정하는 제1 카운팅 수단;
   상기 유효 화소 영역 내의 각각의 화소를 주목 화소로 순차적으로 설정하는 주목 화소 설정 수단;
   상기 순차적으로 설정된 주목 화소 및 주목 화소 주변의 주변 화소로 이루어진 화소군에서 상기 차이 값이 제2 조건을 충족하는 화소의 개수를 세고 그 세어진 화소수를 제2 카운트 값으로 설정하는 제2 카운팅 수단;
   상기 주목 화소가 속해 있는 상기 화소군에서의 상기 제2 카운트 값 및 상기 제1 카운트 값을 기초로 하여,
   상기 제1 카운트 값을 제1 값으로 변환하고,
   상기 제2 카운트 값을 제2 값으로 변환하고,
   상기 제1 값의 수치 값 범위와 상기 제2 값의 수치 값 범위는 동일하고, 그리고
   상기 제1 값 및 상기 제2 값 간의 차이 값을 기초로 상기 현재 촬상 기간의 상기 화소 신호와 상기 한 기간 전의 촬상 기간의 상기 화소 신호에 대한 혼합비를 결정하는 혼합비 결정 수단; 및
   상기 주목 화소 각각에 대하여, 상기 혼합비 결정 수단에 의해 결정된 혼합비를 기초로 상기 현재 촬상 기간의 상기 화소 신호를 보정하는 화소 신호 보정 수단을 포함하고,
   상기 제1 조건은 상기 차이 값이 제1 임계값보다 큰 것이고,
   상기 제2 조건은 상기 차이 값이 제2 임계값보다 작은 것이고,
   상기 제1 카운트 값은 상기 제1 카운트 값이 고정 값보다 작거나 같을 때 상기 수치 값 범위 내의 최대 값으로 변환되고, 상기 제1 카운트 값이 상기 고정 값보다 클수록 상기 최대 값에 비해 더 작은 값으로 변환되고,
   상기 제2 카운트 값은 상기 제2 카운트 값 그대로 변환되고,
   상기 혼합비 결정 수단은:
   상기 제1 값과 상기 제2 값 간의 상기 차이 값이 제3 임계값보다 크거나 같은 경우에 상기 제1 값 및 상기 제2 값을 기초로 상기 혼합비를 결정하고, 그리고
   상기 제1 값과 상기 제2 값 간의 상기 차이 값이 상기 제3 임계값보다 작은 경우에 상기 제1 값 또는 상기 제2 값을 기초로 상기 혼합비를 결정하는 것을 특징으로 하는 화상 처리 장치.
2. 제 1 항에 있어서, 상기 촬상 기간은 1 필드 기간 또는 1 프레임 기간인 것을 특징으로 하는 화상 처리 장치.
   
3. 삭제
4. 삭제
5. 삭제
6. 삭제

Images