KR20160028244A

KR20160028244A - 적외선 조명을 이용한 객체 추출 방법 및 그 장치

Info

Publication number: KR20160028244A
Application number: KR1020140117067A
Authority: KR
Inventors: 김대은; 이창민
Original assignee: 연세대학교 산학협력단
Priority date: 2014-09-03
Filing date: 2014-09-03
Publication date: 2016-03-11
Also published as: KR101616194B1

Abstract

적외선 조명을 이용한 객체 추출 방법 및 그 장치가 개시된다. 적외선 조명을 이용한 객체 추출 방법은 변조된 적외선 조명이 제공되는 공간에서 객체를 연속 촬영하여 복수의 영상을 획득하는 단계; 상기 복수의 영상에 대한 차영상을 생성하는 단계; 및 상기 차영상을 이용하여 밝기 변화가 임계값 이상인 영역을 객체 영역으로 추출하는 단계를 포함한다.

Description

적외선 조명을 이용한 객체 추출 방법 및 그 장치{Object extraction method and apparatus using IR light}

본 발명은 영상 처리에 관한 것으로, 보다 상세하게 적외선 조명 변조를 이용하여 객체를 추출할 수 있는 방법 및 그 장치에 관한 것이다.

손과 같은 사람의 신체 특정 부위를 추출하는 방법으로는 현재 대부분 RGB 칼러 이미지에 기반하여 피부색을 추출하는 방법이나 골격을 예측하는 방법이 널리 이용되고 있다.

RGB 칼러 이미지를 이용하는 경우, 주/야간 또는 외부 조명 상황에 큰 영향을 받으며, 밤에는 이를 전혀 사용할 수 없는 치명적인 단점을 가지고 있다. 또한 골격을 예측하는 방법은 X-ray 투사 등을 이용하여 골격을 확인해야 하므로, 이를 차량 등에서 실시간으로 손과 같은 특정 객체를 인식하는데 적용하기는 어려운 문제가 있다.

본 발명은 적외선 조명 변조를 이용하여 객체를 추출할 수 있는 적외선 조명을 이용한 객체 추출 방법 및 그 장치를 제공하기 위한 것이다.

또한, 본 발명은 적외선 조명 변조를 이용함으로써 햇빛과 같은 외부 조명의 영향에도 불구하고 정확하게 객체를 추출할 수 있는 적외선 조명을 이용한 객체 추출 방법 및 그 장치를 제공하기 위한 것이다.

본 발명의 일 측면에 따르면, 적외선 조명 변조를 이용하여 객체를 추출할 수 있는 장치가 제공된다.

본 발명의 일 실시예에 따르면, 변조된 적외선 조명을 제공하는 조명부; 상기 변조된 적외선 조명이 제공되는 공간에서 객체를 연속 촬영하여 복수의 영상을 출력하는 카메라; 상기 복수의 영상에 대한 차영상을 각각 생성하는 전처리부; 및 상기 각각의 차영상을 이용하여 밝기 변화가 임계값 이상인 영역을 객체 영역으로 추출하는 객체 추출부를 포함하는 객체 추출 장치가 제공될 수 있다.

상기 조명부와 상기 카메라는 인접하여 위치될 수 있다.

상기 차영상은 상기 복수의 영상의 각 픽셀의 차이에 대한 절대값으로 생성될 수 있다.

상기 차영상의 픽셀값 변화가 일정 수준 이상인 픽셀들을 객체 후보 영역으로 하여 이진 영상으로 변환하는 이진 영상 변환부; 및 상기 이진 영상의 상기 객체 후보 영역에서 에러를 제거하는 필터링부를 더 포함하되, 상기 객체 추출부는 상기 에러가 제거된 이진 영상의 객체 후보 영역을 상기 객체 영역으로 추출하는 것을 특징으로 하는 객체 추출 장치.

상기 이진 영상 변환부는, 상기 차영상의 각 픽셀의 픽셀값이 임계치 미만이면, 상기 픽셀값을 제1 값으로 변환하고, 상기 각 픽셀의 픽셀값이 임계치 이상이면, 상기 픽셀값을 제2 값으로 변환하여 상기 차영상을 이진 영상으로 변환할 수 있다.

상기 필터링부는 상기 이진 영상에 포함된 객체 후보 영역들 중 영역의 크기가 기준치 미만인 객체 후보 영역은 제거할 수 있다.

상기 필터링부는, 상기 이진 영상에 포함된 상기 객체 후보 영역에 포함된 대상 픽셀들 중 상기 대상 픽셀은 상기 객체 후보 영역이 아니며 상기 대상 픽셀의 주변 픽셀들이 모두 상기 객체 후보 영역이면 상기 대상 픽셀을 객체 후보 영역으로 편입시킬 수 있다.

상기 전처리부는, 상기 차영상에서 픽셀값의 변화가 기준치 미만인 픽셀들은 지정된 제1 픽셀값으로 변경할 수 있다.

상기 전처리부는, 상기 차영상을 이용하여 이후 획득된 영상에서 에지 주변 픽셀의 픽셀값을 지정된 제1 픽셀값으로 변경할 수 있다.

본 발명의 다른 실시예에 따르면, 조명 제어 신호에 따라 변조된 적외선 조명을 제공하는 조명부; 상기 변조된 적외선 조명이 제공되는 공간에서 객체를 연속 촬영하여 복수의 영상을 출력하는 카메라; 및 상기 복수의 영상의 픽셀의 변화와 상기 조명 제어 신호를 상호상관함수에 적용한 결과를 이용하여 객체 영역을 추출하는 객체 추출부를 포함하는 객체 추출 장치가 제공될 수 있다.

상기 복수의 영상의 픽셀의 변화와 상기 조명 제어 신호를 상호상관함수에 적용하여 에러가 최소인 영역을 객체 후보 영역으로 추출하는 후보 영역 추출부; 상기 객체 후보 영역을 이용하여 상기 영상을 이진 영상으로 변환하는 이진 영상 변환부; 및 상기 이진 영상의 상기 객체 후보 영역에서 에러를 제거하는 필터링부를 더 포함하되, 상기 객체 추출부는 상기 에러가 제거된 이진 영상의 객체 후보 영역을 상기 객체 영역으로 추출할 수 있다.

상기 이진 영상 변환부는 상기 영상에서 상기 객체 후보 영역의 픽셀을 제1 값으로 변환하고, 나머지 픽셀들은 제2 값으로 변환하여 이진 영상으로 변환할 수 있다.

상기 카메라는 상기 조명 제어 신호에 따라 상기 변조된 적외선 조명에 제공되는 동안 상기 객체를 연속적으로 촬영하여 영상을 생성할 수 있다.

본 발명의 다른 측면에 따르면, 적외선 조명 변조를 이용하여 객체를 추출할 수 있는 방법이 제공된다.

본 발명의 일 실시예에 따르면, 변조된 적외선 조명이 제공되는 공간에서 객체를 연속 촬영하여 복수의 영상을 획득하는 단계; 상기 복수의 영상에 대한 차영상을 생성하는 단계; 및 상기 차영상을 이용하여 밝기 변화가 임계값 이상인 영역을 객체 영역으로 추출하는 단계를 포함하는 적외선 조명을 이용한 객체 추출 방법이 제공될 수 있다.

상기 객체 영역을 추출하는 단계는, 상기 차영상의 픽셀값 변화가 일정 수준 이상인 픽셀들을 객체 후보 영역으로 하여 이진 영상으로 변환하는 단계; 상기 이진 영상의 상기 객체 후보 영역에서 필터링을 통해 에러를 제거하는 단계; 및 상기 에러가 제거된 이진 영상의 객체 후보 영역을 상기 객체 영역으로 추출하는 단계를 포함할 수 있다.

상기 필터링을 통해 에러를 제거하는 단계는,

상기 이진 영상에 포함된 객체 후보 영역들 중 영역의 크기가 기준치 미만인 객체 후보 영역은 제거하는 단계; 및 상기 이진 영상에 포함된 상기 객체 후보 영역에 포함된 대상 픽셀들 중 상기 대상 픽셀은 상기 객체 후보 영역이 아니며 상기 대상 픽셀의 주변 픽셀들이 모두 상기 객체 후보 영역이면 상기 대상 픽셀을 객체 후보 영역으로 편입시키는 단계를 포함할 수 있다.

본 발명의 다른 실시예에 따르면, 조명 제어 신호에 따라 변조된 적외선 조명을 제공이 제공되는 공간에서 객체를 연속 촬영하여 복수의 영상을 출력하는 단계; 및 상기 복수의 영상의 픽셀의 변화와 상기 조명 제어 신호를 상호상관함수에 적용한 결과를 이용하여 객체 영역을 추출하는 단계를 포함하는 적외선 조명을 이용한 객체 추출 방법이 제공될 수 있다.

상기 객체 영역을 추출하는 단계는, 상기 복수의 영상의 픽셀의 변화와 상기 조명 제어 신호를 상호상관함수에 적용하여 에러가 최소인 영역을 객체 후보 영역으로 추출하는 단계; 상기 객체 후보 영역을 이용하여 상기 카메라를 통해 획득된 영상을 이진 영상으로 변환하는 단계; 상기 이진 영상의 상기 객체 후보 영역에서 필터링을 수행하여 에러를 제거하는 단계; 및 상기 에러가 제거된 이진 영상의 객체 후보 영역을 상기 객체 영역으로 추출하는 단계를 포함할 수 있다.

상기 이진 영상으로 변환하는 단계는, 상기 카메라를 통해 획득된 영상에서 상기 객체 후보 영역의 픽셀을 제1 값으로 변환하는 단계; 및 나머지 영역의 픽셀을 제2 값으로 변환하는 단계를 포함할 수 있다.

본 발명의 일 실시예에 따른 적외선 조명을 이용한 객체 추출 방법 및 그 장치를 제공함으로써, 적외선 조명 변조를 이용하여 객체를 빠르고 정확하게 추출할 수 있는 이점이 있다.

또한, 본 발명은 적외선 조명 변조를 이용함으로써 햇빛과 같은 외부 조명의 영향에도 불구하고 정확하게 객체를 추출할 수 있는 이점도 있다.

또한, 본 발명은 간단한 연산으로 빠르게 객체를 추출할 수 있어 차량등에 실시간으로 적용할 수 있는 이점도 있다.

도 1은 본 발명의 일 실시예에 따른 적외선 조명을 이용하여 객체를 추출할 수 있는 객체 추출 장치의 내부 구성을 나타낸 블록도.
도 2는 본 발명의 일 실시예에 따른 필터링을 설명하기 위해 도시한 도면.
도 3은 본 발명의 일 실시예에 따른 변조된 적외선 조명을 이용하여 객체를 추출하는 방법을 나타낸 순서도.
도 4는 본 발명의 다른 실시예에 따른 객체 추출 장치의 구성을 나타낸 블록도.
도 5는 본 발명의 다른 실시예에 따른 상호상관함수 적용을 설명하기 위해 도시한 도면.
도 6은 본 발명의 다른 실시예에 따른 객체 추출 결과를 도시한 도면.
도 7은 본 발명의 다른 실시예에 따른 객체 추출 방법을 나타낸 순서도.

본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.

제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

이하, 본 발명의 실시예를 첨부한 도면들을 참조하여 상세히 설명하기로 한다.

도 1은 본 발명의 일 실시예에 따른 적외선 조명을 이용하여 객체를 추출할 수 있는 객체 추출 장치의 내부 구성을 나타낸 블록도이고, 도 2는 본 발명의 일 실시예에 따른 필터링을 설명하기 위해 도시한 도면이다.

도 1을 참조하면, 본 발명의 일 실시예에 따른 객체 추출 장치(100)는 조명부(110), 카메라(115), 전처리부(120), 이진 영상 변환부(125), 필터링부(130), 객체 추출부(135), 메모리(140) 및 제어부(145)를 포함하여 구성된다.

조명부(110)는 제어부(145)의 제어에 따라 적외선 조명을 변조하여 제공하기 위한 수단이다. 여기서, 조명부(110)는 제어부(145)의 제어에 따라 정해진 일정 주파수내에서 적외선 조명의 밝기를 변조할 수 있다.

예를 들어, 제어부(145)는 미리 정해진 시간 동안 적외선 조명이 단조 증가, 단조 감소를 반복하며 변하도록 조명부(110)를 제어할 수 있다. 이에 따라 조명()은 일정 시간 동안 고속으로 변조된 적외선 광을 제공할 수 있다.

즉, 조명부(110)는 제어부(145)의 제어에 따라 일정 시간 동안 n회 적외선 광을 변조하여 제공할 수 있다. 예를 들어, 조명부(110)는 제어부(145)의 제어에 따라 1초에 2번 진동하도록 적외선 광을 변조하여 제공할 수도 있다.

카메라(115)는 객체를 촬영하기 위한 수단이다.

예를 들어, 카메라(115)는 조명부(110)에 의해 변조된 적외선 조명이 제공되는 상태에서 객체를 촬영하여 영상을 획득할 수 있다. 예를 들어, 카메라(115)는 조명부(110)에 의해 변조된 조명이 제공되는 상태에서 30fps로 객체를 포함하는 영상을 촬영할 수 있다. 카메라(115)에 의해 촬영된 객체를 포함하는 일련의 영상은 조명부(110)에 의해 변조된 적외선 조명(즉, 조명 변화)를 포함할 수 있음은 당연하다.

전처리부(120)는 카메라(115)를 통해 획득되는 일련의 영상들에 대한 차영상을 도출하기 위한 수단이다.

본 발명에 따른 일 실시예에서는 변조되는 적외선 조명하에서 연속적으로 획득되는 영상에서 손을 객체로 추출하는 방법을 중심으로 설명하기로 한다. 다만, 객체는 손 이외에도 다른 물체(예를 들어, 입력을 위한 지정된 형태의 도구)일 수도 있음은 당연하다.

본 발명에 따른 일 실시예에서는 차량과 같은 한정된 공간에서 차량을 제어하기 위한 객체로 손을 이용하는 경우를 가정하므로, 손을 객체로써 추출하는 방법을 중심으로 설명하기로 한다. 연속되는 일련의 영상에서 공통되는 객체(즉, 손)을 찾기 위해, 연속된 복수의 영상을 비교하기 위해 차 영상을 이용할 수 있다.

이에 따라, 전처리부(120)는 인접한 복수의 영상의 차 영상을 생성할 수 있다. 여기서, 차 영상은 인접한 두 영상의 픽셀별로 각각의 차이값에 대한 절대값을 계산한 것이다.

또한, 전처리부(120)는 차영상의 픽셀을 대상으로 픽셀값이 지정된 기준 이하인 경우, 해당 픽셀을 지정된 픽셀값(예를 들어, 0)으로 변경할 수 있다. 또한, 카메라(115)를 통해 획득된 영상에서 에지 주변의 경우 약간의 움직임에도 아주 큰 변화를 보이며 잔상과 같은 효과를 나타낸다. 이에 따라, 전처리부(120)는 이전 생성된 차영상을 이용하여 이후 영상에서 에지 주변 픽셀들의 픽셀값도 지정된 픽셀값(예를 들어, 0)으로 변경하는 과정을 선행할 수 있다.

이진 영상 변환부(125)는 차영상을 이진 영상으로 변환하는 기능을 수행한다.

즉, 차량과 같은 제한된 공간에서 조명부(110)에 가까운 객체는 조명에 대해 상대적으로 영향을 크게 받는 반면, 조명부(110)에 멀리 떨어진 객체는 조명에 의한 영향이 상대적으로 아주 작게 받는다. 이에 따라, 이진 영상 변환부(125)는 차영상을 이용하여 밝기 변화가 일정 수준 이상인 픽셀들을 객체 후보 영역으로 이진화할 수 있다.

이진 영상 변환부(125)는 차영상을 이용하여 객체 후보 영역을 이진화하여 이진 영상으로 변환하는 방법을 보다 상세히 설명하면 다음과 같다.

이진 영상 변환부(125)는 복수의 차영상들에 대한 밝기 변화가 일정 수준 이상인 픽셀들을 객체 후보 영역으로 이진화할 수 있다. 이를 위해 이진 영상 변환부(125)는 차영상에서 각 픽셀의 픽셀값이 임계값 이상인 픽셀의 픽셀값은 제1 값으로 변환하고, 각 픽셀값이 임계값 미만인 픽셀의 픽셀값은 제2 값으로 변환하여 이진 영상으로 변환할 수 있다.

이와 같이, 이진 영상 변환부(125)는 복수의 차영상의 픽셀값을 이용하여 조명의 밝기 변화가 일정 수준 이상인 픽셀들을 객체 후보 영역으로 하여 이진 영상으로 변환할 수 있다.

필터링부(130)는 객체 추출부(135)에 의해 변환된 객체 후보 영역을 포함하는 이진 영상에 대해 에러를 제거하는 기능을 수행한다.

예를 들어, 필터링부(130)는 이진 영상에 포함된 객체 후보 영역 중에서 해당 객체 후보 영역의 크기가 기준치 미만인 객체 후보 영역을 삭제하여 에러를 제거할 수 있다.

예를 들어, 도 2를 참조하면, 도 2의 (a)는 카메라를 통해 획득된 원본 영상을 나타낸다. 도 2의 (b)는 객체 추출부(135)를 통해 변환된 이진 영상을 나타낸다. 도 2의 (b)를 참조하면, 이진 영상에 객체 후보 영역이 두개가 나타난 것을 알 수 있다. 이때, 타입 2(type 2)의 객체 후보 영역은 에러로 실제 추출하고자 하는 객체 영역이 아니므로, 필터링부(130)는 객체 후보 영역들을 대상으로 객체 후보 영역의 크기가 기준치 미만인 경우 해당 객체 후보 영역을 삭제(즉, 해당 객체 후보 영역의 픽셀값을 제2 값으로 변환)하여 에러를 제거할 수 있다.

또한, 필터링부(130)는 이진 영상에 포함된 객체 후보 영역의 각 픽셀들을 대상으로 대상 픽셀은 객체 후보 영역이 아니지만(즉, 대상 픽셀의 픽셀값은 제2 값이나), 주변 픽셀들이 객체 후보 영역인 경우 해당 대상 픽셀을 객체 후보 영역에 포함시켜 에러를 제거할 수 있다.

객체 추출부(135)는 필터링부(130)를 통해 에러가 제거된 이진 영상에서 객체 영역을 추출하는 기능을 한다.

예를 들어, 객체 추출부(135)는 이진 영상에서 픽셀값이 제1 값인 픽셀들을 객체 영역으로 추출할 수 있다.

메모리(140)는 본 발명의 일 실시예에 따른 변조된 적외선 조명을 이용하여 객체를 추출하는 방법을 수행하기 위한 다양한 알고리즘, 해당 방법을 수행하는 도중에서 파생되는 다양한 데이터를 저장한다.

제어부(145)는 본 발명의 일 실시예에 따른 객체 추출 장치(100)의 내부 구성 요소들(예를 들어, 조명부(110), 카메라(115), 전처리부(120), 이진 영상 변환부(125), 필터링부(130), 객체 추출부(135), 메모리(140) 등)을 제어하는 기능을 수행한다.

도 3은 본 발명의 일 실시예에 따른 변조된 적외선 조명을 이용하여 객체를 추출하는 방법을 나타낸 순서도이다.

단계 310에서 객체 추출 장치(100)는 변조된 적외선 조명을 제공한다. 이때, 적외선 조명의 변조는 미리 정해진 패턴에 따라 변조될 수 있다.

단계 315에서 객체 추출 장치(100)는 카메라를 이용하여 객체를 촬영하여 영상을 획득한다. 이때, 객체 추출 장치(100)는 변조된 적외선 조명에서 연속되는 복수의 영상을 획득할 수 있다.

이에 따라, 카메라(115)를 통해 획득되는 연속된 복수의 영상은 변조된 적외선 조명의 변화를 포함할 수 있다.

단계 320에서 객체 추출 장치(100)는 복수의 영상을 이용하여 인접한 영상들간의 차영상을 각각 생성한다. 이미 전술한 바와 같이, 차영상은 인접한 복수의 영상의 픽셀간의 차이에 대한 절대값을 이용하여 생성될 수 있다.

또한, 이미 전술한 바와 같이, 객체 추출 장치(100)는 차영상을 획득한 후 차영상에서 픽셀값의 변화가 기준치 미만인 경우, 지정된 픽셀값으로 대체하거나 이후 영상에서 에지 주변 픽셀의 픽셀값을 지정된 픽셀값으로 대체하는 선행 프로세스를 수행할 수 있다.

단계 325에서 객체 추출 장치(100)는 복수의 차영상의 픽셀값을 이용하여 조명의 밝기 변화가 일정 수준 이상인 픽셀들을 객체 후보 영역으로 하여 이진 영상으로 변환한다.

이는 이미 전술한 바와 동일하므로 상세한 설명은 생략하기로 한다.

단계 330에서 객체 추출 장치(100)는 이진 영상을 필터링하여 에러를 제거한다.

예를 들어, 객체 추출 장치(100)는 이진 영상의 객체 후보 영역을 대상으로 에러를 제거할 수 있다. 즉, 객체 추출 장치(100)는 이진 영상의 객체 후보 영역들 중 영역의 크기가 기준치 미만인 객체 후보 영역은 삭제할 수 있다. 또한, 객체 추출 장치(100)는 이진 영상의 객체 후보 영역을 대상으로 객체 후보 영역에 포함된 객체 후보 영역이 아닌 픽셀들을 객체 후보 영역에 편입시킬 수도 있다. 이는 이미 전술한 바와 동일하므로 중복되는 설명은 생략하기로 한다.

단계 335에서 객체 추출 장치(100)는 필터링을 통해 에러가 제거된 이진 영상에서 최종적으로 객체 영역을 추출한다.

도 1 내지 도 3에서는 객체 추출 장치(100)가 적외선 조명의 변화에 대한 정보가 없는 경우 객체를 추출하는 방법에 대해 설명하였다. 이하, 도 4에서는 적외선 조명의 변화에 대한 정보를 알고 있는 경우, 객체 추출 장치(100)가 객체를 추출하는 방법에 대해 설명하기로 한다.

도 4는 본 발명의 다른 실시예에 따른 객체 추출 장치의 구성을 나타낸 블록도이고, 도 5는 본 발명의 다른 실시예에 따른 상호상관함수 적용을 설명하기 위해 도시한 도면이고, 도 6은 본 발명의 다른 실시예에 따른 객체 추출 결과를 도시한 도면이다.

도 4를 참조하면, 본 발명의 다른 실시예에 따른 객체 추출 장치(400)는 조명부(410), 카메라(415), 후보 영역 추출부(420), 이진 영상 변환부(425), 필터링부(430), 객체 추출부(435), 메모리(440) 및 제어부(445)를 포함하여 구성된다.

도 4의 객체 추출 장치(400)의 조명부(410), 카메라(415), 이진 영상 변환부(425), 필터링부(430), 객체 추출부(435), 메모리(440) 및 제어부(445)의 기능은 도 1에서 설명한 각 구성과 동일하므로 중복되는 설명은 생략하기로 하며, 상이한 구성 및 기능에 대해서만 설명하기로 한다.

조명부(410)는 제어부(445)의 조명 제어 신호에 따라 정해진 주파수에 의해 단조 증가, 단조 감소를 반복하는 사인파(sin pulse) 형태로 적외선 조명을 변화시킨다. 이에 따라, 조명부(410)에 의해 제공되는 변조된 적외선 조명의 밝기 변화는 사인파 형태로 변화하게 된다.

이에 따라, 본 발명의 다른 실시예에서는 변조된 적외선 조명의 밝기 변화의 차이를 이용하는 것이 아니라 변화하는 형태를 이용하여 객체를 추출할 수 있다. 즉, 변조된 적외선 조명을 사인파 형태로 바꾸면 이미지의 변화 또한 사인파의 형태로 나타나게 된다. 도 5에는 적외선 카메라를 통해 획득한 픽셀의 밝기값과 같은 주기로 주어진 사인파형과 상호상관함수 적용 결과가 도시되어 있다.

이에 따라, 본 발명의 다른 실시예에서는 미리 정해진 조명 제어 신호에 맞춰 적외선 조명이 변하는 구간만큼 카메라(415)를 통해 영상을 획득할 수 있다.

후보 영역 추출부(420)는 카메라(415)를 통해 획득된 영상의 각 픽셀값의 변화를 조명 제어 신호와 상호상관함수에 적용하여 조명 변화에 대해 에러를 최소화로 하는 영역을 객체 후보 영역으로 추출하는 기능을 한다. 상호상관함수 및 상호상관함수를 적용하는 방법 자체는 공지이므로 이에 대한 상세한 설명은 생략하기로 한다.

이진 영상 변환부(125)는 추출된 객체 후보 영역을 이용하여 영상을 이진 영상으로 변환하는 기능을 수행한다.

예를 들어, 이전 영상 변환부()는 영상에서 추출된 객체 후보 영역의 픽셀들을 제1 값으로 변경하고, 나머지 픽셀들을 제2 값으로 변경하여 영상을 이진 영상으로 변환할 수 있다.

필터링부(430), 메모리(440) 및 제어부(445)의 기능은 도 1의 객체 추출 장치(100)의 필터링부(130), 메모리(140) 및 제어부(145)의 기능과 동일하므로 중복되는 구성 및 기능에 대한 설명은 생략하기로 한다.

도 6에는 객체를 추출한 결과가 도시되어 있다. 도 6의 (a)는 적외선 카메라를 통해 촬영된 원본 영상을 나타내고, 도 6의 (b)는 객체 추출 결과를 나타낸 영상이다. 도 6에서 보여지는 바와 같이, 객체 추출 장치(400)를 이용하여 단순한 연산으로 매우 빠르고 정확하게 객체(예를 들어, 손)을 추출할 수 있는 것을 알 수 있다.

도 7은 본 발명의 다른 실시예에 따른 객체 추출 방법을 나타낸 순서도이다.

단계 710에서 객체 추출 장치(400)는 조명 제어 신호에 따라 적외선 조명을 변화시킨다. 여기서, 조명 제어 신호는 적외선 조명을 미리 정해진 주파수내에서 사인파 형태로 단조 증가, 단조 감소를 반복하도록 변화시키기 위한 신호이다.

단계 715에서 객체 추출 장치(400)는 카메라를 이용하여 객체를 촬영하여 영상을 획득한다. 이때, 객체 추출 장치(400)는 조명 제어 신호에 따라 적외선 조명이 변하는 구간 동안 적외선 카메라를 이용하여 연속되는 복수의 영상을 획득할 수 있다. 이에 따라, 카메라(415)를 통해 획득되는 연속된 복수의 영상은 변조된 적외선 조명의 밝기 변화를 포함할 수 있다. 즉, 조명 제어 신호에 따른 적외선 조명의 변화에 따른 사인파 형태와 일치하여 복수의 영상의 픽셀값도 변화하게 된다.

단계 720에서 객체 추출 장치(400)는 영상의 픽셀값의 변화와 조명 제어 신호를 상호상관함수에 적용하여 조명 변화에 대한 에러가 최소인 영역을 객체 후보 영역으로 추출한다.

이어, 단계 725에서 객체 추출 장치(400)는 추출된 객체 후보 영역을 이용하여 영상을 이진 영상으로 변환한다.

예를 들어, 이전 영상 변환부(?)는 영상에서 추출된 객체 후보 영역의 픽셀들을 제1 값으로 변경하고, 나머지 픽셀들을 제2 값으로 변경하여 영상을 이진 영상으로 변환할 수 있다.

단계 730에서 객체 추출 장치(400)는 이진 영상을 필터링하여 에러를 제거한다.

이는 도 3에서 설명한 바와 동일하므로 중복되는 설명은 생략하기로 한다.

단계 735에서 객체 추출 장치(400)는 필터링을 통해 에러가 제거된 이진 영상에서 최종적으로 객체 영역을 추출한다.

한편, 본 발명의 실시예에 따른 적외선 조명을 이용한 객체 추출 방법은 다양한 전자적으로 정보를 처리하는 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 저장 매체에 기록될 수 있다. 저장 매체는 프로그램 명령, 데이터 파일, 데이터 구조등을 단독으로 또는 조합하여 포함할 수 있다.

저장 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 소프트웨어 분야 당업자에게 공지되어 사용 가능한 것일 수도 있다. 저장 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media) 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 전자적으로 정보를 처리하는 장치, 예를 들어, 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.

상술한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야에서 통상의 지식을 가진 자라면 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

100: 객체 추출 장치
110: 조명부
115: 카메라
120: 전처리부
125: 이진 영상 변환부
130: 필터링부
135: 객체 추출부
140: 메모리
145: 제어부

Claims

변조된 적외선 조명을 제공하는 조명부;
상기 변조된 적외선 조명이 제공되는 공간에서 객체를 연속 촬영하여 복수의 영상을 출력하는 카메라;
상기 복수의 영상에 대한 차영상을 각각 생성하는 전처리부; 및
상기 각각의 차영상을 이용하여 밝기 변화가 임계값 이상인 영역을 객체 영역으로 추출하는 객체 추출부를 포함하는 객체 추출 장치.
제1 항에 있어서,
상기 조명부와 상기 카메라는 인접하여 위치되는 것을 특징으로 하는 객체 추출 장치.
제1 항에 있어서,
상기 차영상은 상기 복수의 영상의 각 픽셀의 차이에 대한 절대값으로 생성되는 것을 특징으로 하는 객체 추출 장치.
제1 항에 있어서,
상기 차영상의 픽셀값 변화가 일정 수준 이상인 픽셀들을 객체 후보 영역으로 하여 이진 영상으로 변환하는 이진 영상 변환부; 및
상기 이진 영상의 상기 객체 후보 영역에서 에러를 제거하는 필터링부를 더 포함하되,
상기 객체 추출부는 상기 에러가 제거된 이진 영상의 객체 후보 영역을 상기 객체 영역으로 추출하는 것을 특징으로 하는 객체 추출 장치.
제4 항에 있어서,
상기 이진 영상 변환부는,
상기 차영상의 각 픽셀의 픽셀값이 임계치 미만이면, 상기 픽셀값을 제1 값으로 변환하고, 상기 각 픽셀의 픽셀값이 임계치 이상이면, 상기 픽셀값을 제2 값으로 변환하여 상기 차영상을 이진 영상으로 변환하는 것을 특징으로 하는 객체 추출 장치.
제4 항에 있어서,
상기 필터링부는 상기 이진 영상에 포함된 객체 후보 영역들 중 영역의 크기가 기준치 미만인 객체 후보 영역은 제거하는 것을 특징으로 하는 객체 추출 장치.
제4 항에 있어서,
상기 필터링부는,
상기 이진 영상에 포함된 상기 객체 후보 영역에 포함된 대상 픽셀들 중 상기 대상 픽셀은 상기 객체 후보 영역이 아니며 상기 대상 픽셀의 주변 픽셀들이 모두 상기 객체 후보 영역이면 상기 대상 픽셀을 객체 후보 영역으로 편입시키는 것을 특징으로 하는 객체 추출 장치.
제1 항에 있어서,
상기 전처리부는,
상기 차영상에서 픽셀값의 변화가 기준치 미만인 픽셀들은 지정된 제1 픽셀값으로 변경하는 것을 특징으로 하는 객체 추출 장치.
제1 항에 있어서,
상기 전처리부는,
상기 차영상을 이용하여 이후 획득된 영상에서 에지 주변 픽셀의 픽셀값을 지정된 제1 픽셀값으로 변경하는 것을 특징으로 하는 객체 추출 장치.
변조된 적외선 조명이 제공되는 공간에서 객체를 연속 촬영하여 복수의 영상을 획득하는 단계;
상기 복수의 영상에 대한 차영상을 생성하는 단계; 및
상기 차영상을 이용하여 밝기 변화가 임계값 이상인 영역을 객체 영역으로 추출하는 단계를 포함하는 적외선 조명을 이용한 객체 추출 방법.
제10 항에 있어서,
상기 객체 영역을 추출하는 단계는,
상기 차영상의 픽셀값 변화가 일정 수준 이상인 픽셀들을 객체 후보 영역으로 하여 이진 영상으로 변환하는 단계;
상기 이진 영상의 상기 객체 후보 영역에서 필터링을 통해 에러를 제거하는 단계; 및
상기 에러가 제거된 이진 영상의 객체 후보 영역을 상기 객체 영역으로 추출하는 단계를 포함하는 것을 특징으로 하는 적외선 조명을 이용한 객체 추출 방법.
제11 항에 있어서,
상기 이진 영상으로 변환하는 단계는,
상기 차영상에서 픽셀값이 임계치 미만인 픽셀의 픽셀값을 제1 값으로 변환하는 단계; 및
상기 차영상에서 픽셀값이 임계치 이상인 픽셀의 픽셀값을 제2 값으로 변환하는 단계를 포함하는 것을 특징으로 하는 적외선 조명을 이용한 객체 추출 방법.
제11 항에 있어서,
상기 필터링을 통해 에러를 제거하는 단계는,
상기 이진 영상에 포함된 객체 후보 영역들 중 영역의 크기가 기준치 미만인 객체 후보 영역은 제거하는 단계; 및
상기 이진 영상에 포함된 상기 객체 후보 영역에 포함된 대상 픽셀들 중 상기 대상 픽셀은 상기 객체 후보 영역이 아니며 상기 대상 픽셀의 주변 픽셀들이 모두 상기 객체 후보 영역이면 상기 대상 픽셀을 객체 후보 영역으로 편입시키는 단계를 포함하는 적외선 조명을 이용한 객체 추출 방법.
조명 제어 신호에 따라 변조된 적외선 조명을 제공하는 조명부;
상기 변조된 적외선 조명이 제공되는 공간에서 객체를 연속 촬영하여 복수의 영상을 출력하는 카메라; 및
상기 복수의 영상의 픽셀의 변화와 상기 조명 제어 신호를 상호상관함수에 적용한 결과를 이용하여 객체 영역을 추출하는 객체 추출부를 포함하는 객체 추출 장치.
제14 항에 있어서,
상기 복수의 영상의 픽셀의 변화와 상기 조명 제어 신호를 상호상관함수에 적용하여 에러가 최소인 영역을 객체 후보 영역으로 추출하는 후보 영역 추출부;
상기 객체 후보 영역을 이용하여 상기 영상을 이진 영상으로 변환하는 이진 영상 변환부; 및
상기 이진 영상의 상기 객체 후보 영역에서 에러를 제거하는 필터링부를 더 포함하되,
상기 객체 추출부는 상기 에러가 제거된 이진 영상의 객체 후보 영역을 상기 객체 영역으로 추출하는 것을 특징으로 하는 객체 추출 장치.
제15 항에 있어서,
상기 이진 영상 변환부는 상기 영상에서 상기 객체 후보 영역의 픽셀을 제1 값으로 변환하고, 나머지 픽셀들은 제2 값으로 변환하여 이진 영상으로 변환하는 것을 특징으로 하는 객체 추출 장치.
제14 항에 있어서,
상기 카메라는 상기 조명 제어 신호에 따라 상기 변조된 적외선 조명에 제공되는 동안 상기 객체를 연속적으로 촬영하여 영상을 생성하는 것을 특징으로 하는 객체 추출 장치.
조명 제어 신호에 따라 변조된 적외선 조명을 제공이 제공되는 공간에서 객체를 연속 촬영하여 복수의 영상을 출력하는 단계; 및
상기 복수의 영상의 픽셀의 변화와 상기 조명 제어 신호를 상호상관함수에 적용한 결과를 이용하여 객체 영역을 추출하는 단계를 포함하는 적외선 조명을 이용한 객체 추출 방법.
제18 항에 있어서,
상기 객체 영역을 추출하는 단계는,
상기 복수의 영상의 픽셀의 변화와 상기 조명 제어 신호를 상호상관함수에 적용하여 에러가 최소인 영역을 객체 후보 영역으로 추출하는 단계;
상기 객체 후보 영역을 이용하여 상기 카메라를 통해 획득된 영상을 이진 영상으로 변환하는 단계;
상기 이진 영상의 상기 객체 후보 영역에서 필터링을 수행하여 에러를 제거하는 단계; 및
상기 에러가 제거된 이진 영상의 객체 후보 영역을 상기 객체 영역으로 추출하는 단계를 포함하는 적외선 조명을 이용한 객체 추출 방법.
제19 항에 있어서,
상기 이진 영상으로 변환하는 단계는,
상기 카메라를 통해 획득된 영상에서 상기 객체 후보 영역의 픽셀을 제1 값으로 변환하는 단계; 및
나머지 영역의 픽셀을 제2 값으로 변환하는 단계를 포함하는 것을 특징으로 하는 적외선 조명을 이용한 객체 추출 방법.
제10항 내지 제13항, 제18항 내지 제20항 중 어느 하나의 항에 따른 방법을 수행하기 위한 프로그램 코드를 기록한 기록매체 제품.