KR100942655B1

KR100942655B1 - 실시간 영상 처리 장치 및 그 방법

Info

Publication number: KR100942655B1
Application number: KR1020080096513A
Authority: KR
Inventors: 전재욱; 진승훈; 김동균; 이상준; 하비엣유엔신
Original assignee: 성균관대학교산학협력단
Priority date: 2008-10-01
Filing date: 2008-10-01
Publication date: 2010-02-17

Abstract

본 발명은 실시간 영상 처리 장치 및 그 방법에 관한 것으로, 소정의 크기를 가지는 제1 윈도우를 생성하고, 상기 제1 윈도우를 구성하는 다수의 픽셀에 대한 화소 값을 입력받는 제1 윈도우 생성부, 제1 윈도우를 구성하는 픽셀과 상기 제1 윈도우의 중심 화소 값의 차를 이용하여 상기 제1 윈도우의 중심 화소와 연결되는 화소들을 검출한 연결 맵을 생성하는 연결 맵 생성부 및 상기 연결 맵에서 중심 화소와 연결되는 화소들에 대한 화소값의 평균값을 획득하여 출력하는 평균값 연산부를 포함하는 영상 처리 장치 및 그 방법을 제공함으로써 실시간으로 입력 영상의 화소값 기준 영상 분할을 가능케 한다.

영상 처리, 연결 맵, 영상 분할

Description

실시간 영상 처리 장치 및 그 방법{Real-time Image Processing Apparatus and Method}

본 발명은 실시간 영상 처리 장치 및 그 방법에 관한 것으로, 구체적으로 일반적인 입력 영상보다 상대적으로 유사한 값을 가지는 화소들의 평균값을 가지는 영상을 출력하는 영상 처리 장치 및 그 방법에 관한 것이다.

본 발명은 실시간 영상 처리 장치 및 그 방법에 관한 것으로, 특히 카메라를 통해 획득한 영상을 실시간으로 분석하는데 도움을 주기 위해 유사한 화소 값을 가지는 인접한 화소의 값을 평균화 하여 영상을 유사한 값의 화소 영역의 집합으로 변환 하는 것이 가능한 하드웨어 구조에 관한 것이다.

일반적인 영상 처리에서 영상은 배경(Background)과 전경(Foreground)으로 나뉘며 이때 영상 처리의 대상은 이 중 전경을 기반으로 수행된다. 영상 처리를 위해 조성한 특수 환경에서는 배경이 단일한 색이거나 빛이 일정하여 배경과 전경을 구분하는데 큰 어려움이 없다.

그러나 일반적인 환경에서는 배경도 전경과 마찬가지로 특정 모양이나 색을 가지게 되며, 이러한 촬영 환경에서는 전경과 배경의 구분이 상당히 어렵다. 이 경우 전경 역시 분석을 위해 일정한 정보를 가진 여러 구역으로 구분되는 것이 바람직하나, 실제로는 빛에 의한 부분적인 변화 혹은 전경 자체가 가진 세밀한 특성으로 인해 이를 화소 정보를 기준으로 구분하는 것이 어렵다.

이러한 문제를 처리하기 위해 Mean Shift와 같은 영상 분할 방법이 소개 되었으나 해당 방법은 각 화소의 유사 화소를 검출하기 위해 화소 값의 차가 일정 이하가 될 때까지 전 영상을 탐색하게 되므로 실시간 처리가 불가능 하며, 저장 장소에 많은 제약을 가지는 하드웨어 구조에도 적합하지 않다. 영상의 실시간 처리는 입력 영상에 대해 빠른 대응을 할 필요가 있는 여러 응용에서 매우 중요하므로, 이러한 제약을 극복하고 입력 영상을 실시간으로 분할하는 것이 가능한 방법이 필요하다.

본 발명은 이러한 문제점을 해소하기 위한 것으로 한 화소와 해당 화소의 주변화소의 집합인 윈도우를 기반으로 해당 영역에 대한 실시간 영상 처리가 가능한 전용 하드웨어 구조를 가진 영상 처리 장치 및 그 방법의 제공을 그 목적으로 한다.

본 발명에 따른 영상 처리 장치는 소정의 크기를 가지는 제1 윈도우를 생성 하고, 상기 제1 윈도우를 구성하는 다수의 픽셀에 대한 화소 값을 입력받는 제1 윈도우 생성부; 상기 제1 윈도우를 구성하는 픽셀과 상기 제1 윈도우의 중심 화소 값의 차를 이용하여 상기 제1 윈도우의 중심 화소와 연결되는 화소들을 검출한 연결 맵을 생성하는 연결 맵 생성부; 및 상기 연결 맵에서 중심 화소와 연결되는 화소들에 대한 화소값의 평균값을 획득하여 출력하는 평균값 연산부를 포함한다.

상기 연결 맵 생성부는 상기 제1 윈도우를 구성하는 픽셀들과 상기 윈도우의 중심 화소 값 간의 화소값 간 차이의 절대값을 계산하는 화소값 차 연산 모듈; 상기 화소값 차이의 절대값이 소정의 문턱치값에 따라 상기 제1 윈도우를 구성하는 픽셀을 저유사 픽셀 또는 고유사 픽셀로 분류한 연결 후보 맵을 생성하는 연결 후보 맵 생성 모듈; 및 상기 연결 후보 맵으로부터 상기 제1 윈도우의 중심 화소 값과 연결된 화소를 검출하는 연결 화소 검출 모듈을 포함하는 것을 특징으로 한다.

이 경우 상기 연결 화소 검출 모듈은 Binary Connected Component Labeling 알고리즘 또는 Region Filling 알고리즘을 이용하여 연결 성분을 검출하는 것을 특징으로 한다. 또한 상기 연결 후보 맵 생성 모듈은 상기 제1 윈도우를 구성하는 픽셀과 상기 제1 윈도우의 중심 화소 값 간의 화소값 차이의 절대값이 문턱치값 이상인 경우 상기 제1 윈도우를 구성하는 픽셀을 저유사 픽셀로 분류하고, 상기 제1 윈도우를 구성하는 픽셀과 상기 제1 윈도우의 중심 화소 값 간의 화소값 차이의 절대값이 문턱치값 미만인 경우 상기 제1 윈도우를 구성하는 픽셀을 고유사 픽셀로 분류하는 것을 특징으로 한다. 상기 저유사 픽셀과 고유사 픽셀은 상기 연결 후보 맵에서 상이한 값으로 구분될 수 있다.

또한 상기 문턱치값은 상기 제1 윈도우를 구성하는 픽셀과 상기 윈도우의 중심 화소 간의 거리에 따라 상이하게 설정될 수 있는 것을 특징으로 한다. 이 때 상기 문턱치값은, 아래 수식에 의하여 설정될 수 있다.

여기서, r은 윈도우를 구성하는 픽셀과 윈도우의 중심 화소 간 거리, x_in, y_in은 윈도우를 구성하는 픽셀의 x, y좌표, x_c, y_c는 윈도우 중심 화소의 x, y좌표, T_out은 기준 화소 차이값, T_in은 기준값을 의미한다.

본 발명에 따른 영상 처리 장치는 소정의 크기를 가지는 제2 윈도우를 생성하고, 상기 제2 윈도우를 구성하는 픽셀 별 화소 값을 입력받는 제2 윈도우 생성부; 와 상기 제2 윈도우를 구성하는 픽셀들의 중앙값을 산출하고, 상기 산출된 중앙값을 상기 제1 윈도우 생성부로 전달하는 중앙값 검출부를 더 포함할 수 있다.

상기 중앙값 검출부는, 상기 제2 윈도우를 구성하는 하나의 행 또는 열 별로 중앙값을 산출하고, 상기 다수의 행 또는 열 별 중앙값들에 대한 중앙값을 산출하는 것을 특징으로 한다.

또한, 본 발명에 따른 영상 처리 장치는 상기 제1윈도우 또는 제2윈도우의 크기를 결정하는 제1 윈도우 계수 또는 제2 윈도우 계수를 입력받는 영상 처리 환경설정부를 더 포함할 수 있다. 이 경우 상기 제1 윈도우 생성부 또는 제2 서브 윈도우 생성부는 상기 입력된 제1 또는 제2 윈도우 계수에 상응하도록 제1 윈도우 또는 제2 윈도우를 생성할 수 있다. 또한 상기 영상 처리 환경설정부는 사용자로부터 상기 문턱치값을 입력받을 수도 있다.

상기 제1 윈도우 생성부 또는 제2 윈도우 생성부는 적어도 하나의 라인 버퍼와 레지스터를 포함하여 구성될 수 있다.

본 발명의 다른 측면에 따른 영상 처리 방법은 소정의 크기를 가지는 제1 윈도우를 생성하고, 상기 제1 윈도우를 구성하는 다수의 픽셀에 대한 화소 값을 입력받는 단계; 상기 제1 윈도우를 구성하는 픽셀과 상기 제1 윈도우의 중심 화소 값의 차를 이용하여 상기 제1 윈도우의 중심 화소와 연결되는 화소들을 검출한 연결 맵을 생성하는 단계; 및 상기 연결 맵에서 중심 화소와 연결되는 화소들에 대한 화소값의 평균값을 획득하여 출력하는 단계를 포함한다.

상기 연결 맵 생성 단계는 상기 제1 윈도우를 구성하는 픽셀들과 상기 윈도우의 중심 화소 값 간의 화소값 간 차이의 절대값을 계산하는 단계; 상기 화소값 차이의 절대값이 소정의 문턱치값에 따라 상기 제1 윈도우를 구성하는 픽셀을 저유사 픽셀 또는 고유사 픽셀로 분류한 연결 후보 맵을 생성하는 단계; 및 상기 연결 후보 맵으로부터 상기 제1 윈도우의 중심 화소 값과 연결된 화소를 검출하는 단계를 포함할 수 있다.

상기 연결 화소 검출 단계는, Binary Connected Component Labeling 알고리즘 또는 Region Filling 알고리즘을 이용하는 것을 특징으로 한다. 또한 상기 연 결 후보 맵 생성 단계는, 상기 제1 윈도우를 구성하는 픽셀과 상기 제1 윈도우의 중심 화소 값 간의 화소값 차이의 절대값이 문턱치값 이상인 경우 상기 제1 윈도우를 구성하는 픽셀을 저유사 픽셀로 분류하고, 상기 제1 윈도우를 구성하는 픽셀과 상기 제1 윈도우의 중심 화소 값 간의 화소값 차이의 절대값이 문턱치값 미만인 경우 상기 제1 윈도우를 구성하는 픽셀을 고유사 픽셀로 분류하는 것을 특징으로 한다. 상기 저유사 픽셀과 고유사 픽셀은 상기 연결 후보 맵에서 상이한 값으로 구분될 수 있다.

상기 문턱치값은 상기 제1 윈도우를 구성하는 픽셀과 상기 윈도우의 중심 화소 간의 거리에 따라 상이하게 설정될 수 있다. 특히 상기 문턱치값은 아래 수식에 의하여 설정될 수 있다.

여기서, r은 윈도우를 구성하는 픽셀과 윈도우의 중심 화소 간 거리, x_in, y_in은 윈도우를 구성하는 픽셀의 x, y좌표, x_c, y_c는 윈도우 중심 화소의 x, y좌표, T_out은 기준 화소 차이값, T_in은 기준값을 의미함

본 발명에 따른 영상 처리 방법은 소정의 크기를 가지는 제2 윈도우를 생성하고, 상기 제2 윈도우를 구성하는 픽셀 별 화소 값을 입력받는 단계; 와 상기 제2 윈도우를 구성하는 픽셀들의 중앙값을 산출하고, 상기 산출된 중앙값을 상기 제1 윈도우 생성부로 전달하는 단계를 더 포함할 수 있다.

상기 중앙값 검출 단계는, 상기 제2 윈도우를 구성하는 하나의 행 또는 열 별로 중앙값을 산출하고, 상기 다수의 행 또는 열 별 중앙값들에 대한 중앙값을 산출하는 것을 특징으로 한다. 상기 제1윈도우 또는 제2윈도우의 크기를 결정하는 제1 윈도우 계수 또는 제2 윈도우 계수를 입력받는 단계를 더 포함하며, 상기 제1 윈도우 생성 단계 또는 제2 서브 윈도우 생성 단계는 상기 입력된 제1 또는 제2 윈도우 계수에 상응하는 제1 윈도우 또는 제2 윈도우를 생성하는 것을 특징으로 한다. 또한, 본 발명에 따른 영상 처리 방법은 사용자로부터 상기 문턱치값을 입력받는 단계를 더 포함하는 것을 특징으로 한다.

상기한 바와 같이 본 발명에 따른 실시간 영상 처리 장치 및 그 방법에 따르면 별도의 컴퓨터 시스템이나 소프트웨어 프로그램을 사용하지 않고 실시간으로 입력 영상의 값 기준 분할이 가능하다.

또한, 본 발명에 따른 실시간 영상 처리 장치 및 그 방법에 따르면 영상의 여러 화소에 동시에 접근하여 병렬 처리를 수행하기 때문에 순차 처리에 적합한 범용 컴퓨터에 비교하여 주어진 응용에 대해서는 우월한 성능을 얻을 수 있다.

이와 같이 제안되는 영상 처리 장치는 하드웨어를 기반으로 구현되어 로봇 비전 (Robot Vision)이나 지능형 카메라 (Intelligent Camera) 혹은 공장 자동화등 산업현장에 실제로 응용 될 수도 있다.

이하, 본 발명에 따른 실시간 영상 처리 장치 및 그 방법에 대하여 첨부된 도면을 참조하여 상세히 설명한다.

도 1은 본 발명의 일 실시예에 따른 실시간 영상 처리 장치의 구성을 나타낸 도면이다.

도 1에 도시된 바와 같이 실시간 영상 처리 장치(10)는 제1 윈도우 생성부(11), 연결 맵 생성부(12), 평균값 연산부(16), 영상 생성부(17) 등을 포함할 수 있다. 이하, 각각의 구성 요소에 대한 동작에 대하여 설명하기로 한다.

제1 윈도우 생성부(11)는 입력되는 프레임에 대하여 소정의 크기를 가지는 윈도우를 생성한다. 제1 윈도우 생성부(11)가 생성한 윈도우를 제1 윈도우로 칭하기로 한다. 본 실시예에 따른 영상 처리 장치(10)는 제1 윈도우에 속하는 픽셀 등의 정보(즉, 화소값)들을 이용하여 영상 처리를 수행한 후 그 결과를 출력한다.

하나의 제1 윈도우에 대한 영상 처리가 수행된 후, 제1 윈도우는 화면 상에서 이동을 한다. 예를 들어 제1 윈도우는 한 픽셀 우측으로 움직이는 이동을 수행할 수 있다. 제1 윈도우의 이동 후 영상 처리 장치는 이동 후 윈도우에 속한 픽셀 등의 정보를 이용하여 영상 처리를 수행한 후 그 결과를 출력한다. 또 다시 윈도우는 화면 상에서 이동을 하게 된다. 이와 같은 과정을 반복함으로써 본 발명에 따른 영상 처리 장치(10)는 윈도우를 전체 화면 상에서 이동시키면서 영상 처리를 수행할 수 있다.

특히, 본 발명에 따른 제1 윈도우 생성부(11)는 주어진 하드웨어 시스템 상에서 구현하기 위해 다수의 라인 버퍼(Line Buffer)와 레지스터(Register)를 기반으로 윈도우를 생성하는 것을 특징으로 할 수 있다. 이 경우 하드웨어 시스템 상에서 윈도우를 생성한다는 표현은 시스템 내부에 기 존재하는 다수의 라인 버퍼와 레지스터를 이용하여 윈도우의 크기만큼의 픽셀에 대한 화소값을 저장할 수 있는 레지스터 기반의 저장 공간을 준비한다는 뜻이다. 상기 구조와 같이 마련된 저장 공간을 이용하여 본 실시예에 따른 영상 처리 장치(10)는 윈도우의 각 화소에 대한 값에 대하여 병렬적으로 동시에 접근할 수 있다. 윈도우 생성부의 구조에 대해서는 도 3에서 더욱 자세히 살펴보기로 한다.

위에서 설명한 제1 윈도우 생성부(11)는 제1 윈도우를 생성하고, 상기 제1 윈도우에 속하는 다수 픽셀들에 대한 화소값을 입력받는다. 입력된 다수 픽셀들에 대한 화소값은 연결 맵 생성부(12)로 전달된다.

연결 맵 생성부(12)는 제1 윈도우를 구성하는 픽셀과 상기 제1 윈도우의 중심 화소 값의 차를 이용하여 상기 제1 윈도우의 중심 화소와 연결되는 화소들을 검출한 연결 맵을 생성하는 구성 요소에 해당한다. 연결 맵을 생성하기 위해 연결 맵 생성부(12)는 화소값 차 연산 모듈(13), 연결 후보 맵 생성 모듈(14) 및 연결 성분 검출 모듈(15)을 포함할 수 있다.

화소값 차 연산부(13)는 제1 윈도우의 중앙에 있는 픽셀의 화소값(중앙화소의 화소값)과 제1 윈도우에 속한 픽셀의 화소값의 차이의 절대값을 획득한다. 획득된 제1 윈도우에 속한 픽셀의 화소값과 중앙픽셀의 화소값 간 차이의 절대값은 연결 후보 맵 생성 모듈(14)로 전달된다.

연결 후보 맵 생성 모듈(14)은 생성된 제1 윈도우와 동일한 크기를 가지면서 화소값 대신 "0", "1"만을 가지는 연결 후보 맵을 생성한다.

여기서 "1"을 가지는 픽셀은 제1 윈도우의 중심 픽셀과 유사한 픽셀, 즉 고유사 픽셀에 해당하며, "0"을 가지는 픽셀은 제1 윈도우의 중심 픽셀과 덜 유사하지 않은 픽셀, 즉 저유사 픽셀을 의미한다. 물론, 이 분야에서 통상의 지식을 가진 자라면 고유사 픽셀, 저유사 픽셀에 대하여 "1","0"이 아닌 다른 방법으로 표현을 할 수도 있을 것이다. 다만, 본 실시예에서는 설명의 편의를 위해 고유사 픽셀은 "1"로, 저유사 픽셀은 "0"으로 표현하기로 한다.

본 실시예에 따른 연결 후보 맵 생성 모듈(14)은 화소값 차 연산부(13)로부터 전달받은 픽셀의 화소값과 중앙픽셀의 화소값 간 차이의 절대값을 이용하여 제1 윈도우 내 픽셀과 중심 화소 간의 유사 여부를 판단할 수 있다.

연결 후보 맵 생성 모듈(14)은 중앙픽셀의 화소값과 임의 픽셀의 화소값 간 차이의 절대값과 문턱치값과 비교함으로써 상기 임의 픽셀이 고유사 픽셀인지 저유사 픽셀인지 분류할 수 있다.

예를 들어, 임의의 A 픽셀과 윈도우의 중앙픽셀의 화소값 차이가 문턱치값보다 작은 경우, 상기 A 픽셀은 고유사 픽셀로 판단되며, 연결 후보 맵에서 A 픽셀은 "1"의 값을 가지게 된다. 반대로 B 픽셀과 윈도우의 중앙픽셀의 화소값 차이가 문턱치값보다 큰 경우, 상기 B 픽셀은 저유사 픽셀로 판단된다. 물론 연결 후보 맵에서 B 픽셀은 "0"의 값을 가지게 된다.

일반적으로 유사한 두 픽셀의 화소값 차이는 크지 않다. 두 픽셀의 화소값 차이의 절대값이 유사도 기준값보다 보다 크다는 것은 두 픽셀의 유사도가 낮다는 것으로 해석이 가능한 것이다.

또한 한 픽셀의 화소값은 해당 픽셀의 근처에서 보다 유사하고, 해당 픽셀과 멀어질수록 덜 유사하다. 이러한 특징을 반영하여 고유사 픽셀과 저유사 픽셀을 구분하기 위한 문턱치값을 윈도우 내 픽셀과 윈도우 내 중앙 화소 간의 거리에 따라 차등 설정하는 것이 보다 바람직하다. 이와 차등 문턱치값을 설정하기 위하여 아래의 수식이 이용될 수 있다.

물론, 위 수학식 1과 같은 수학식을 이용한 방법 뿐만 아니라 거리에 따른 그룹별 문턱치값을 적용하는 방법 등 다양한 형태로 문턱치값을 차등적으로 적용하는 것이 가능하다는 것은 당업자에게 자명하다.

연결 화소 검출 모듈(15)은 연결 후보 맵을 기반으로 연결 성분 검출 알고리 즘을 수행한다. 이를 통하여 연결 화소 검출 모듈(15)은 연결 후보 맵에서 중앙 화소와 연결된 성분만을 검출하여 실제 중앙 화소와 연결된 연결 맵을 생성한다. 연결 성분 검출이 끝나면 연결 후보 맵에서 '1'이었던 원소 중 중앙 화소와 연결된 영역만 '1'값을 유지하고, 그 외의 부분은 '0'으로 채워지게 된다.

이때 연결 성분 검출을 위한 알고리즘으로는 Binary Connected Component Labeling 알고리즘이나 Region Filling 등의 방법 등을 이용할 수 있다. 상기 연결 성분 검출 알고리즘은 본 발명의 주요 내용이 아니므로 자세한 설명은 생략하도록 한다.

평균값 연산부(16)는 연결 맵 생성부(12)에서 생성된 연결 맵을 기반으로 연결 맵에서 '1'인 값을 갖는 화소값과 대응되는 위치의 제1 윈도우 화소값의 평균을 구한다. 결과적으로 이 평균값은 제1 윈도우의 중앙 화소와 유사한 값을 가지는 화소의 값 평균이며, 제1 윈도우의 중앙 화소의 값 대신 이렇게 구해진 평균값이 대체되어 최종 영상에 반영되는 것이다.

영상 생성부(17)는 평균값 연산부(16)에서 재계산된 각 화소의 값을 입력영상과 동일한 형태로 재구성하여 출력한다. 이와 같은 과정을 거쳐 출력되는 영상은 입력영상에 비해 세부적인 디테일이 사라지는 대신, 상대적으로 유사한 값을 가지는 화소들이 입력 영상에 비해 보다 더 유사한 값을 가지게 되어 같은 영역으로 구분 되는 것이 가능해 진다.

도 2는 본 발명의 다른 실시예에 따른 실시간 영상 처리 장치의 구성을 나타 낸 도면이다.

도 2에 도시된 실시간 영상 처리 장치(20)는 도 1의 실시간 영상 처리 장치(10)에 비하여 제2윈도우 생성부(28), 중앙값 검출부(29), 시스템 계수 입력부(30) 등을 더 포함하는 것을 그 특징으로 한다.

도 2의 실시간 영상 처리 장치(20) 중 제1 윈도우 생성부(21), 연결 맵 생성부(22), 평균값 연산부(26), 영상 생성부(27) 등의 동작은 도 1의 각 구성 요소와 동일하므로 자세한 설명은 생략하기로 한다.

시스템 계수 입력부(30)는 키보드, 마우스 또는 기타 인터페이스 등을 통하여 사용자로부터 추후 사용될 제1, 2 윈도우의 크기를 결정하는 제1, 2 윈도우 계수를 입력받는다. 예를 들어 제1윈도우 계수로 5를, 제2 윈도우 계수로 11을 입력 받는 경우, 제1 윈도우는 처리할 화소를 중심으로 5ㅧ5 크기의 윈도우를 사용하고, 제2 윈도우는 처리할 화소를 중심으로 11ㅧ11 크기의 윈도우를 사용하게 된다. 이와 같이 입력된 제1, 2윈도우 계수는 각각 제1 윈도우 생성부와 제2 윈도우 생성부로 전달된다.

또한, 시스템 계수 입력부(30)는 윈도우 중앙 화소와 그 외의 화소가 유사한지 아닌지를 결정 하는데 사용되는 문턱치 값을 입력 받을 수도 있다.

제2 윈도우 생성부(28)는 제1 윈도우 생성부(21)와 같이 시스템 계수 입력부(30)로부터 전달된 제2 윈도우 계수에 따라 제2 윈도우를 생성한다. 제2 윈도우 생성부(28)의 윈도우 생성 방법은 도 1의 제1 윈도우 생성부(11) 및 도 2의 제1 윈도우 생성부(21)의 윈도우 생성 방법과 동일하다.

중앙값 검출부(29)는 제2 윈도우 생성부(28)에서 생성한 제2 윈도우에 속하는 화소값 중 중앙값을 찾아내는 구성 요소에 해당한다. 일반적으로 중앙값을 찾아내기 위해 사용되는 미디언 필터(Median Filter) 알고리즘이 이용될 수 있다. 그러나 이와 같이 미디언 필터 알고리즘을 이용하는 경우 윈도우의 픽셀별 화소 값 전체를 정렬한 후 중앙값을 선택한다. 이와 같이 전체 윈도우의 픽셀별 화소 값을 정렬하는 기법은 그 특성상 실시간 하드웨어 구현에는 적합하지 않다.

따라서 본 발명에 따른 중앙값 검출부(29)는 먼저 제2 윈도우의 각 행을 구성하는 픽셀 값을 정렬하여 중앙값을 획득한다. 중앙값 검출부(29)는 상기 방법을 이용하여 제2 윈도우의 모든 행에 대하여 행 별 중앙값을 획득할 수 있다. 중앙값 검출부(29)는 제2 윈도우의 각 행에 대한 중앙값을 획득한 후, 각 행의 중앙값을 정렬한 후 이들 중 다시 중앙값을 찾는다. 이와 같이 본 발명에 따른 중앙값 검출부(29)의 중앙값 획득 기법은 실시간 하드웨어 구현에 적합하다.

결론적으로 중앙값 검출부(29)는 실제 픽셀의 화소값 대신 픽셀을 중심으로 하는 제2 윈도우의 평균 화소값을 제1 윈도우 생성부(21)로 전달한다. 이와 같은 전처리 영상 처리 작업을 통하여 주변 화소와 비교하여 큰 차이를 가지는 화소를 제거할 수 있어 영역 분할을 위한 영상 처리를 보다 효율적으로 할 수 있다.

본 발명에 따른 실시간 영상 처리 시스템은 원본 영상의 세부적인 디테일을 없애고, 상대적으로 유사한 값을 가지는 화소들로 구성되는 영상의 획득을 목적으로 한다. 제2 윈도우 생성부(28)와 중앙값 검출부(29)는 원본 영상의 임의 픽셀에 대한 화소값 대신 임의 픽셀을 중심으로 하는 윈도우의 중앙값을 이용한다. 따라 서 도 1의 실시간 영상 처리 시스템보다 세부적인 디테일을 더 효과적으로 제거할 수 있는 것이다.

도 3은 본 발명에 따른 윈도우 생성부의 하드웨어적 구성을 나타낸 도면이다.

도 3에 도시된 바와 같이 윈도우 생성부는 레지스터 집합과 라인버퍼로 구성될 수 있다. 도 3에서 레지스터 집합은 nㅧn 개의 레지스터를 구비하고 있는 것을 볼 수 있다. 이와 같은 레지스터를 구비하는 경우 도 3의 윈도우 생성부는 nㅧn 크기의 윈도우를 생성할 수 있게 된다.

이에 비해 라인버퍼는 m개의 열과 n-1개의 행을 가지는 것을 알 수 있다. 이와 같은 라인버퍼에는 입력되는 영상의 픽셀값이 일정량 저장되며, 저장된 영상의 픽셀값 중 윈도우에 속하는 픽셀값은 레지스터로 복사된다.

그 후 다시 화소값이 라인버퍼에 입력되는 경우 마지막 행의 검은 셀에 저장되며, 검은 셀에 저장되어 있던 값들은 한 행씩 올라가 저장된다. 맨 윗 행의 검은 셀에 저장되어 있던 화소값은 버려진다. 화소값이 라인버퍼에 입력되는 경우 이와 같은 동작이 반복된다.

한편, 주기적으로 검은 셀에 저장되어 있던 화소값과 현재 입력되는 화소값은 레지스터 집합의 마지막 열에 저장된다. 도 3에 도시된 바와 같이 라인버퍼의 4개의 셀에 저장되어 있는 화소값과 새롭게 입력되는 화소값은 레지스터 집합의 제4열에 저장된다. 또한, 레지스터 집합에 저장되어 있던 값들은 각각 왼쪽 열로 이 동하게 된다. 물론, 가장 왼쪽 열에 저장되어 있던 화소값은 버려진다.

이러한 동작을 반복함으로써 윈도우가 전체 영상을 이동하는 효과를 얻을 수 있다.

본 발명에 따른 윈도우의 중심 화소 값을 그대로 출력하는 대신 윈도우의 픽셀 중 중심 화소와 연결되는 픽셀 들의 평균값을 출력하는 것이다. 윈도우는 영상의 전체 픽셀이 중심화소가 되도록 이동을 하며, 그 때마다 상기 중심화소와 연결된 픽셀들의 평균값을 출력하는 것이다.

도 4는 본 발명에 따른 영상 처리 장치에 의하여 생성된 연결 후보 맵을 나타낸 도면이다.

연결 후보 맵에서 "0"으로 마킹된 픽셀은 중심화소와 덜 유사한 픽셀을 의미하며, 1"로 마킹된 픽셀은 중심화소와 유사한 픽셀을 의미한다. 어느 픽셀을 "0" 또는 "1"로 마킹할 것인지의 여부는 상기 픽셀의 화소값과 윈도우의 중심 화소의 화소값 간의 차이를 이용하여 결정할 수 있었다.

이와 같이 획득한 연결 후보 맵을 통하여 본 발명에 따른 영상 처리 장치의 연결 성분 검출부는 중심화소와 연결되어 있는 픽셀만을 검출하여 "1"로 마킹한다. 이와 같이 중심화소와 연결되어 있는 픽셀을 검출하는 방법으로는 Binary Connected Component Labeling 알고리즘이나 Region Filling 등의 방법 등이 존재한다.

도 5는 본 발명에 따른 영상 처리 장치에 의하여 생성된 연결 맵을 나타낸 도면이다.

도 5는 도 4의 연결 후보 맵으로부터 중심화소와 "1"로 연결되어 있는 픽셀만을 검출한 이른바 연결 맵을 표시하고 있다. 예를 들어, 도 4에서 ① 영역은 중심화소와 유사한 화소값을 가지는 픽셀들의 집합이다. 그러나, ① 영역의 픽셀들은 중심화소와 연결되어 있지는 않은 픽셀들이다.

따라서 도 5의 연결 맵에서는 ① 영역의 픽셀들이 "1"이 아닌 "0"의 값을 가지는 것을 살펴볼 수 있다. 이와 같이 연결 맵은 제2 윈도우의 중심화소와 유사한 화소값을 가지는 픽셀들(즉, "1"로 마킹된 픽셀)만을 검출한 맵에 해당한다.

도 6은 일반적인 카메라를 이용하여 획득한 원본 영상을 나타낸 도면이며, 도 7은 도 6의 영상을 본 발명에 따른 실시간 영상 처리를 한 결과 영상을 나타낸 도면이다.

도 6에 마킹된 영역을 자세히 검토하면 주위의 픽셀값과 상당히 차이가 나는 픽셀값을 가지고 있음을 알 수 있다. 예를 들어, A 영역을 살펴보면 A 영역의 주위 부분은 방(room)의 천장(ceiling)의 상대적으로 밝게 표현된 배경에 해당한다. 그러나 A 영역은 밝게 표현된 배경 상에 존재하는 검은 무늬에 해당한다.

한편, 도 7은 도 6의 영상을 위에서 설명한 실시간 영상 처리를 한 결과 영상에 해당한다. 도 6에 마킹된 영역에 상응하는 도 7의 영역을 살펴보면 도 7의 마킹 영역은 도 6과 비교하여 주위의 픽셀과 상당히 비슷하게 표현되었음을 알 수 있다.

예를 들어, A 영역을 살펴보면 도 6에서는 A 영역은 주변에 비하여 검은 무늬가 선명하게 표현되어 있으나, 도 7에서 A 영역은 검은 무늬가 뭉개져 주위의 픽셀값과 선명하게 구별되지 않는다는 것을 알 수 있다.

마찬가지로, B 영역의 무늬도 도 6에서는 선명하게 표현되어 있으나, 도 7에서는 B 영역의 무늬가 뭉개져 주위의 이미지와 선명하게 구별되지 않는다는 점을 알 수 있다.

이상에서 살펴본 바와 같이 본 발명에 따른 실시간 영상 처리 시스템은 임의의 픽셀값을 출력하는데 있어서 유사한 화소 값을 가지는 인접한 화소의 값을 평균화하여 출력한다. 이와 같은 영상 처리방법을 이용하는 경우 영상 처리를 위해 특별히 조성하지 않은 일반적인 환경에서도 배경을 보다 쉽고 정확하게 구분할 수 있어 보다 효율적인 영상 처리가 가능하게 된다.

도 8은 본 발명의 또 다른 실시예에 따른 실시간 영상 처리 방법을 나타낸 도면이다.

실시간 영상 처리 장치는 제1, 2 윈도우의 크기 등을 결정하는 시스템 계수를 입력받는다(S801). 실시간 영상 처리 장치는 소정의 크기를 가지는 제2 윈도우를 생성하고(S802), 상기 제2 윈도우에 속하는 픽셀들의 화소값을 순차적으로 입력받는다. 이와 같이 입력되는 픽셀들의 화소값은 적어도 윈도우의 크기만큼 구비된 레지스터와 라인 버퍼에 저장된다.

실시간 영상 처리 장치는 생성한 제2 윈도우에서 중앙값을 찾아내는 단계를 수행한다(S803). 이와 같이 획득되는 제2 윈도우의 중앙값을 산출하는 과정을 통해 주변 화소와 큰 차이를 가지는 화소를 제거할 수 있으며, 이를 통해 영역 분할을 위한 영상 처리를 보다 효율적으로 할 수 있다.

이와 같이 획득한 중앙값을 이용하여 실시간 영상 처리 장치는 제1 윈도우를 생성한다(S804). 실시간 영상 처리 장치는 제1 윈도우를 생성하고 제2 윈도우의 중앙값들을 입력받는다. 즉, 임의의 픽셀에 대한 화소 값에 대하여 원본 영상의 화소 값 대신 제2 윈도우의 중앙값을 이용하여 제1 윈도우를 생성하는 것이다.

실시간 영상 처리 장치는 제2 윈도우의 중앙값들을 가지는 제1 윈도우를 이용하여 연결 맵을 생성한다.

구체적으로 실시간 영상 처리 장치는 제1 윈도우에 속하는 다수의 픽셀 별 화소값을 이용하여 제1 윈도우와 동일한 크기를 가지면서 화소값 대신 "0", "1"만을 가지는 연결 후보 맵을 생성한다(S805).

위에서 설명한 바와 같이 "1"을 가지는 픽셀은 제1 윈도우의 중심 픽셀과 유사한 픽셀, 즉 고유사 픽셀에 해당하며, "0"을 가지는 픽셀은 제1 윈도우의 중심 픽셀과 덜 유사하지 않은 픽셀, 즉 저유사 픽셀을 의미한다. 물론, 이 분야에서 통상의 지식을 가진 자라면 고유사 픽셀, 저유사 픽셀에 대하여 "1","0"이 아닌 다른 방법으로 표현을 할 수도 있을 것이다.

이와 같이 연결 후보 맵을 생성한 후 영상 처리 장치는 연결 후보 맵을 기반으로 연결 성분을 검출하여 연결 맵을 생성한다(S806). 이를 통하여 영상 처리 장 치는 연결 후보 맵에서 중앙 화소와 연결된 성분을 구분하여 실제 중앙 화소와 연결된 연결 맵을 생성한다. 연결 성분 검출이 끝나면 연결 후보 맵에서 '1'이었던 원소 중 중앙 화소와 연결된 영역만 '1'값을 유지하고, 그 외의 부분은 '0'으로 채워지게 된다.

이때 연결 성분 검출을 위한 기법으로는 Binary Connected Component Labeling 알고리즘이나 Region Filling 등의 방법 등을 이용할 수 있다. 상기 연결 성분 검출 기법은 본 발명의 주요 내용이 아니므로 자세한 설명은 생략하도록 한다.

영상 처리 장치는 연결 맵을 기반으로 연결 맵에서 '1'인 값을 갖는 화소값과 대응되는 위치의 윈도우 화소값의 평균을 구한다(S807). 결과적으로 이 평균값은 윈도우의 중앙 화소와 유사한 값을 가지는 화소의 값 평균이며, 윈도우 중앙 화소의 값은 이렇게 구해진 평균값으로 대체되어 출력된다.

영상 처리 장치는 평균값으로 대체 출력된 화소값을 이용하여 입력영상과 동일한 형태로 재구성하여 출력한다(S808). 이와 같은 과정을 거쳐 출력되는 영상은 입력영상에 비해 세부적인 디테일이 사라지는 대신, 상대적으로 유사한 값을 가지는 화소들이 입력 영상에 비해 보다 더 유사한 값을 가지게 되어 같은 영역으로 구분 되는 것이 가능해 진다.

도 9는 도 8의 연결 후보 맵 생성 방법을 보다 자세히 설명한 도면이다.

본 발명에 따른 영상 처리 장치는 제1 윈도우에 속하는 픽셀의 화소값을 입 력받는다(S901).

이 때 픽셀을 P(xin, yin)으로 표시하기로 한다. 즉, 픽셀 P는 (xin, yin)의 좌표를 가지는 것이다.

본 발명에 따른 영상 처리 장치는 다음과 같이 윈도우 내 다수의 픽셀들과 중심 화소 간의 유사 여부를 판단한다. 이 경우 본 발명에서는 픽셀과 중심 화소 간의 거리에 따라 유사 여부를 결정하는 기준인 문턱치값을 다르게 적용하는 것이 보다 바람직하다. 이 때 위에서 제시한 수학식 1을 이용하여 상기 픽셀에 대한 문턱치값(PT)을 결정한다.

또한 영상 처리 장치는 윈도우의 중앙에 있는 픽셀의 화소값(중앙화소의 화소값)과 P(xin, yin) 간 차이의 절대값을 획득한다. 그 후 영상 처리 장치는 중앙화소의 화소값과 임의 픽셀의 화소값 간 차이의 절대값과 문턱치값을 비교함으로써 상기 픽셀이 고유사 픽셀인지 저유사 픽셀인지 분류한다(S903).

만일 중앙화소의 화소값과 임의 픽셀의 화소값 간 차이의 절대값아 문턱치값미만인 경우, 연결 후보 맵에 있어서 상기 픽셀의 화소값은 "1"로 저장한다(S904). 반면 중앙화소의 화소값과 임의 픽셀의 화소값 간 차이의 절대값아 문턱치값보다 이상인 경우, 연결 후보 맵에 있어서 상기 픽셀의 화소값은 "0"으로 저장된다(S905).

영상 처리 장치는 윈도우 내 모든 픽셀 들에 대하여 이러한 작업을 수행한다. 이를 위해 영상 처리 장치는 윈도우 내 모든 픽셀 들에 대하여 S901 내지 S905에 따른 연결 후보 맵에서의 화소값 결정 작업이 이루어졌는지 체크한 다(S906).

만일 모든 픽셀 들에 대하여 작업이 이루어지지 않았다면 영상 처리 장치는 픽셀 P의 좌표를 변화시켜(S907) 윈도우 내 다른 픽셀들에 대하여도 연결 후보 맵에서의 화소값을 결정한다. 물론 S906, S907과 같은 작업을 효율적으로 하기 위하여 다양한 방법 등이 존재할 수 있다.

이상에서 대표적인 실시예를 통하여 본 발명에 대하여 상세하게 설명하였으나, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 상술한 실시예에 대하여 본 발명의 범주에서 벗어나지 않는 한도 내에서 다양한 변형이 가능함을 이해할 것이다. 그러므로 본 발명의 권리 범위는 설명된 실시예에 국한되어 정해져서는 안 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 것들에 의하여 정해져야 한다.

도 1은 본 발명의 일 실시예에 따른 실시간 영상 처리 장치의 구성을 나타낸 도면.

도 2는 본 발명의 다른 실시예에 따른 실시간 영상 처리 장치의 구성을 나타낸 도면.

도 3은 본 발명에 따른 윈도우 생성부의 하드웨어적 구성을 나타낸 도면.

도 4는 본 발명에 따른 영상 처리 장치에 의하여 생성된 연결 후보 맵을 나타낸 도면.

도 5는 본 발명에 따른 영상 처리 장치에 의하여 생성된 연결 맵을 나타낸 도면.

도 6은 일반적인 카메라를 이용하여 획득한 원본 영상을 나타낸 도면.

도 7은 도 6의 영상을 본 발명에 따른 실시간 영상 처리를 한 결과 영상을 나타낸 도면.

도 8은 본 발명의 또 다른 실시예에 따른 실시간 영상 처리 방법을 나타낸 도면.

도 9는 도 8의 연결 후보 맵 생성 방법을 보다 자세히 설명한 도면.

<도면의 주요 부분에 대한 부호 설명>

10, 20 : 영상 처리 장치 11, 21 : 제1 윈도우 생성부

12, 22 : 연결 맵 생성부 13, 23 : 화소값 차 연산 모듈

14, 24 : 연결 후보 맵 생성 모듈 15, 25 : 연결 성분 검출 모듈

16, 26 : 평균값 연산부 17, 27 : 영상 생성부

28 : 제2 윈도우 생성부 29 : 중앙값 생성부

30 : 시스템 계수 입력부

Claims

영상 처리 장치에 있어서,

소정의 크기를 가지는 제1 윈도우를 생성하고, 상기 제1 윈도우를 구성하는 다수의 픽셀에 대한 화소 값을 입력받는 제1 윈도우 생성부;

상기 제1 윈도우를 구성하는 픽셀과 상기 제1 윈도우의 중심 화소 값의 차를 이용하여 상기 제1 윈도우의 중심 화소와 연결되는 화소들을 검출한 연결 맵을 생성하는 연결 맵 생성부; 및

상기 연결 맵에서 중심 화소와 연결되는 화소들에 대한 화소값의 평균값을 획득하여 출력하는 평균값 연산부를 포함하는 영상 처리 장치.
제1항에 있어서,

상기 연결 맵 생성부는,

상기 제1 윈도우를 구성하는 픽셀들과 상기 윈도우의 중심 화소 값 간의 화소값 간 차이의 절대값을 계산하는 화소값 차 연산 모듈;

상기 화소값 차이의 절대값이 소정의 문턱치값에 따라 상기 제1 윈도우를 구성하는 픽셀을 저유사 픽셀 또는 고유사 픽셀로 분류한 연결 후보 맵을 생성하는 연결 후보 맵 생성 모듈; 및

상기 연결 후보 맵으로부터 상기 제1 윈도우의 중심 화소 값과 연결된 화소 를 검출하는 연결 화소 검출 모듈을 포함하는 것을 특징으로 하는 영상 처리 장치.
제2항에 있어서,

상기 연결 화소 검출 모듈은,

이진 결합 컴포턴트 라벨링(Binary Connected Component Labeling) 알고리즘 또는 영역 채움(Region Filling) 알고리즘을 이용하여 연결 성분을 검출하는 것을 특징으로 하는 영상 처리 장치.
제2항에 있어서,

상기 연결 후보 맵 생성 모듈은,

상기 제1 윈도우를 구성하는 픽셀과 상기 제1 윈도우의 중심 화소 값 간의 화소값 차이의 절대값이 문턱치값 이상인 경우 상기 제1 윈도우를 구성하는 픽셀을 저유사 픽셀로 분류하고,

상기 제1 윈도우를 구성하는 픽셀과 상기 제1 윈도우의 중심 화소 값 간의 화소값 차이의 절대값이 문턱치값 미만인 경우 상기 제1 윈도우를 구성하는 픽셀을 고유사 픽셀로 분류하는 것을 특징으로 하는 영상 처리 장치.
제4항에 있어서,

상기 저유사 픽셀과 고유사 픽셀은 상기 연결 후보 맵에서 상이한 값으로 구분되는 것을 특징으로 하는 영상 처리 장치.
제2항에 있어서,

상기 문턱치값은,

상기 제1 윈도우를 구성하는 픽셀과 상기 윈도우의 중심 화소 간의 거리에 따라 상이하게 설정될 수 있는 것을 특징으로 하는 영상 처리 장치.
제6항에 있어서,

상기 문턱치값은,

아래 수식에 의하여 설정되는 것을 특징으로 하는 영상 처리 장치.

(여기서, r은 윈도우를 구성하는 픽셀과 윈도우의 중심 화소 간 거리, x_in, y_in은 윈도우를 구성하는 픽셀의 x, y좌표, x_c, y_c는 윈도우 중심 화소의 x, y좌표, T_out은 기준 화소 차이값, T_in은 기준값을 의미함)
제2항 내지 제7항 중 어느 한 항에 있어서,

소정의 크기를 가지는 제2 윈도우를 생성하고, 상기 제2 윈도우를 구성하는 픽셀 별 화소 값을 입력받는 제2 윈도우 생성부; 와

상기 제2 윈도우를 구성하는 픽셀들의 중앙값을 산출하고, 상기 산출된 중앙값을 상기 제1 윈도우 생성부로 전달하는 중앙값 검출부를 더 포함하는 영상 처리 장치.
제8항에 있어서,

상기 중앙값 검출부는,

상기 제2 윈도우를 구성하는 다수의 행 또는 열에 대해 하나의 행 또는 열 별로 중앙값을 산출하고, 상기 행 또는 열 별로 획득한 다수의 중앙값들의 중앙값을 산출하는 것을 특징으로 하는 영상 처리 장치.
제8항에 있어서,

상기 제1윈도우 또는 제2윈도우의 크기를 결정하는 제1 윈도우 계수 또는 제2 윈도우 계수를 입력받는 영상 처리 환경설정부를 더 포함하며,

상기 제1 윈도우 생성부 또는 제2 서브 윈도우 생성부는 상기 입력된 제1 또 는 제2 윈도우 계수에 상응하도록 제1 윈도우 또는 제2 윈도우를 생성하는 것을 특징으로 하는 영상 처리 장치.
제10항에 있어서,

상기 영상 처리 환경설정부는

사용자로부터 상기 문턱치값을 입력받는 것을 특징으로 하는 영상 처리 장치.
제11항에 있어서,

상기 제1 윈도우 생성부 또는 제2 윈도우 생성부는 적어도 하나의 라인 버퍼와 레지스터를 포함하는 것을 특징으로 하는 영상 처리 장치.
영상 처리 방법에 있어서,

소정의 크기를 가지는 제1 윈도우를 생성하고, 상기 제1 윈도우를 구성하는 다수의 픽셀에 대한 화소 값을 입력받는 단계;

상기 제1 윈도우를 구성하는 픽셀과 상기 제1 윈도우의 중심 화소 값의 차를 이용하여 상기 제1 윈도우의 중심 화소와 연결되는 화소들을 검출한 연결 맵을 생성하는 단계; 및

상기 연결 맵에서 중심 화소와 연결되는 화소들에 대한 화소값의 평균값을 획득하여 출력하는 단계를 포함하는 영상 처리 방법.
제13항에 있어서,

상기 연결 맵 생성 단계는,

상기 제1 윈도우를 구성하는 픽셀들과 상기 윈도우의 중심 화소 값 간의 화소값 간 차이의 절대값을 계산하는 단계;

상기 화소값 차이의 절대값이 소정의 문턱치값에 따라 상기 제1 윈도우를 구성하는 픽셀을 저유사 픽셀 또는 고유사 픽셀로 분류한 연결 후보 맵을 생성하는 단계; 및

상기 연결 후보 맵으로부터 상기 제1 윈도우의 중심 화소 값과 연결된 화소를 검출하는 단계를 포함하는 것을 특징으로 하는 영상 처리 방법.
제14항에 있어서,

상기 연결 화소 검출 단계는,

이진 결합 컴포넌트 라벨링(Binary Connected Component Labeling) 알고리즘 또는 영역 채움(Region Filling) 알고리즘을 이용하는 것을 특징으로 하는 영상 처리 방법.
제14항에 있어서,

상기 연결 후보 맵 생성 단계는,

상기 제1 윈도우를 구성하는 픽셀과 상기 제1 윈도우의 중심 화소 값 간의 화소값 차이의 절대값이 문턱치값 이상인 경우 상기 제1 윈도우를 구성하는 픽셀을 저유사 픽셀로 분류하고,

상기 제1 윈도우를 구성하는 픽셀과 상기 제1 윈도우의 중심 화소 값 간의 화소값 차이의 절대값이 문턱치값 미만인 경우 상기 제1 윈도우를 구성하는 픽셀을 고유사 픽셀로 분류하는 것을 특징으로 하는 영상 처리 방법.
제16항에 있어서,

상기 저유사 픽셀과 고유사 픽셀은 상기 연결 후보 맵에서 상이한 값으로 구분되는 것을 특징으로 하는 영상 처리 방법.
제14항에 있어서,

상기 문턱치값은,

상기 제1 윈도우를 구성하는 픽셀과 상기 윈도우의 중심 화소 간의 거리에 따라 상이하게 설정될 수 있는 것을 특징으로 하는 영상 처리 방법.
제18항에 있어서,

상기 문턱치값은,

아래 수식에 의하여 설정되는 것을 특징으로 하는 영상 처리 방법.

(여기서, r은 윈도우를 구성하는 픽셀과 윈도우의 중심 화소 간 거리, x_in, y_in은 윈도우를 구성하는 픽셀의 x, y좌표, x_c, y_c는 윈도우 중심 화소의 x, y좌표, T_out은 기준 화소 차이값, T_in은 기준값을 의미함)
제14항 내지 제19항 중 어느 한 항에 있어서,

소정의 크기를 가지는 제2 윈도우를 생성하고, 상기 제2 윈도우를 구성하는 픽셀 별 화소 값을 입력받는 단계; 와

상기 제2 윈도우를 구성하는 픽셀들의 중앙값을 산출하고, 상기 산출된 중앙값을 상기 제1 윈도우 생성부로 전달하는 단계를 더 포함하는 영상 처리 방법.
제20항에 있어서,

상기 중앙값 검출 단계는,

상기 제2 윈도우를 구성하는 다수의 행 또는 열에 대해 하나의 행 또는 열 별로 중앙값을 산출하고, 상기 행 또는 열 별로 획득한 다수의 중앙값들의 중앙값을 산출하는 것을 특징으로 하는 영상 처리 방법.
제20항에 있어서,

상기 제1윈도우 또는 제2윈도우의 크기를 결정하는 제1 윈도우 계수 또는 제2 윈도우 계수를 입력받는 단계를 더 포함하며,

상기 제1 윈도우 생성 단계 또는 제2 서브 윈도우 생성 단계는 상기 입력된 제1 또는 제2 윈도우 계수에 상응하는 제1 윈도우 또는 제2 윈도우를 생성하는 것을 특징으로 하는 영상 처리 방법.
제22항에 있어서,

사용자로부터 상기 문턱치값을 입력받는 단계를 더 포함하는 것을 특징으로 하는 영상 처리 방법.