KR100537028B1 - 실시간 물체추출 시스템 및 방법 - Google Patents

Abstract

카메라에 의해 물체를 실시간 구분하는 방법은 고효율 압축, 영상 합성 등 다양한 분야에서 많이 응용되고 기술로서, 종래에는 주로 단일 색상 배경을 이용해 물체와 배경의 색상이 다르다는 것을 이용하는 크로마키(Chroma Key) 방식이 주로 이용되어 왔다.

그러나 크로마키 방식은 물체가 배경의 색상을 포함하면 동작하지 못하며 조명등에 매우 민감하게 반응하여 사용환경에 매우 제한적이었다.

본 발명의 적외선-키 방식은 이러한 제안을 모두 제거하는 방법으로 특히 어두운 조명 환경에서도 잘 동작하는 특성을 갖는다.

상기 적외선-키 방식은 적외선 반사 특성을 갖는 배경과 이를 검출하는 능동 적외선 카메라로 구성되고, 능동 적외선 카메라는 상용 캠코더에 적외선 카메라와 적외선 LED를 부착하여 간단히 만들 수 있으므로 매우 경제적이다.

또한 이를 이용한 실시간 영상 합성 방식을 제안한다.

Description

실시간 물체추출 시스템 및 방법 {Realtime Object Extraction System and Method}

본 발명은 실시간 물체추출 시스템 및 방법에 관한 것으로서, 더 상세하게는 적외선 반사 특성을 갖는 배경과 이를 검출하는 능동 적외선 카메라로 구성되는 시스템과 상기 능동 적외선 카메라로 촬영한 영상을 실시간으로 합성하는 방법에 관한 것이다.

실시간 영상처리의 주요 목적은 비디오 카메라로부터 입력된 영상에서 물체와 배경을 분리하기 위해서 물체의 형태와 영역을 알아내는 것이다.

이 과정의 결과로 얻어지는 분리된 배경부분이나 물체부분은 컴퓨터 그래픽 영상 등을 합성하여 새로운 영상을 만드는 곳이나 MPEG-4에서 제안하는 물체기반 압축 알고리즘 등에 이용된다.

종래에는 분리과정을 쉽게 하기 위해서 배경을 물체가 가지고 있지 않은 단일한 색상으로 만들고 배경의 색상이 물체와 다르다는 점을 이용하여 영상에서 물체와 배경을 분리하였다.

이러한 분리 방법을 일반적으로 크로마키(Chroma Key)라 부르고, 크로마키의 예로, TV 일기예보에서 아나운서가 그래픽 화면 앞에서 날씨를 설명하는 것을 들 수 있다.

상기한 바와 같이, 종래의 크로마키에서는 배경과 물체와의 분리를 쉽게 하기 위해서 물체에 포함되지 않는 색을 배경색으로 하는 단일 색상 배경을 사용한다.

하지만 배경을 매번 다른 색상으로 칠하여 변경할 수 없기 때문에 한번 배경 색상이 정해지면 물체에 같은 색상을 사용할 수 없다는 단점이 있다.

때문에 크로마키에서는 파란색이나 녹색 등 사람들이 많이 사용하지 않는 색상을 배경색으로 사용한다.

물체의 분리과정에서 배경색의 변화가 적으면 적을수록 배경과 물체의 분리가 쉬워지는데, 배경의 색상은 이를 비추는 조명의 영향을 많이 받는다.

또한 배경의 색을 일정하게 했더라도 사용하는 조명이 균일하지 않으면 영상에 잡히는 배경색이 일정하게 나오지 않기 때문에 배경과 물체의 분리가 어려워진다.

또한 물체의 그림자도 배경색을 변화시키는 요인이 되기 때문에 이를 적절한 조명으로 없애 주어야 한다.

따라서 일반적으로 크로마키에서는 화면이 전체적으로 밝고 균일하도록 조명을 설치하고 그림자가 지는 부분이 없도록 해야 한다.

결국, 종래 크로마키에서는 배경의 색상이 영상에서 일정하게 나오도록 조명의 밝기 및 배치를 잘 조절해야 하는 단점이 있기 때문에 균일하지 않은 조명의 영상을 만들거나 어두운 조명 환경에서는 사용할 수 없는 문제점이 있었다.

본 발명은 상술한 문제점을 해결하기 위한 것으로서, 본 발명의 목적은 종래에서 처럼 배경의 색상을 이용하지 않는 대신 적외선 반사체를 배경으로 사용하고, 능동 적외선 카메라(Active infrared camera)를 사용하여 영상에서 배경영역과 물체영역을 분리하는 적외선-키 방법으로, 종래 크로마키와는 다르게 물체가 가질 수 있는 색상에 제한이 없고, 가시광선 영역에서의 조명도 균일할 필요가 없어서 밝고 어두운 다양한 조명 구성을 사용할 수 있으며, 배경에 특정한 색상을 사용할 필요가 없으므로 배경을 다양한 색상으로 구성할 수 있을 뿐만 아니라 흰색 배경을 사용하게 되면 이를 스크린으로도 활용할 수 있어 영상에 다양한 효과를 줄 수 있는 실시간 물체추출 시스템 및 방법을 제공하는데 있다.

상술한 목적을 달성하기 위하여 본 발명은, 배경으로 사용되는 적외선 반사체;

상기 적외선 반사체와 적외선 반사체 앞의 물체에 적외선 조명을 비추는 적외선 LED와, 상기 적외선 조명이 비춰지는 상태에서 적외선 반사체와 물체를 촬영하여 출력하는 일반 카메라와, 상기 적외선 조명이 비춰지는 상태에서 적외선 반사체와 물체를 렌즈로 잡고 렌즈에 입력되는 적외선의 양이 많고 적음에 따라 밝거나 어두운 명암(Gray) 영상을 출력하는 적외선 카메라로 구성되는 능동 적외선 카메라;

상기 적외선 카메라에서 출력된 영상을 물체부분과 배경부분으로 분리하고, 실사 영상의 배경부분에 그래픽 영상을 합성하는 컴퓨터로 구성됨을 특징으로 하는 실시간 물체추출 시스템을 제공하고자 한다.

본 발명은 또한 적외선 반사체의 배경과 물체(물건 혹은 사람)에 적외선 조명을 비추는 상태에서 일반 카메라와 적외선 카메라로 영상을 촬영하는 제1단계;

상기 적외선 카메라에서 출력되는 명암(Gray) 영상을, 문턱값(Threshold)을 기준으로 이진화하는 영상처리를 수행하여 물체영역과 배경영역을 구분하는 제2단계;

상기 적외선 카메라의 명암 영상에서 각 화소별로 미리 정한 문턱값(Threshold)보다 큰지 작은지를 판별하여 출력 영상에 일반 카메라 영상이 지정될지, 그래픽 영상이 지정될지를 결정하는 제3단계;

상기 일반 카메라 영상의 배경부분에 그래픽 영상이 합성되어 출력 영상으로 출력되는 제4단계로 구성됨을 특징으로 하는 실시간 물체추출 방법을 제공하고자 한다.

이하 본 발명의 실시예에 대하여 첨부된 도면을 참고로 그 구성 및 작용을 설명하기로 한다.

본 발명은 배경으로 사용되는 적외선 반사체(10)와 능동 적외선 카메라(20), 그리고 상기 능동 적외선 카메라(Active IR Camera)로 받아들인 영상을 처리하기 위한 컴퓨터(30)로 구성된다.

전체적인 적외선-키 시스템의 구성도는 도 1과 같이 나타낼 수 있고, 여기서 능동 적외선 카메라(20)는 적외선 조명을 비추는 적외선 LED(22)와 적외선 카메라(28), 그리고 일반 카메라(26)가 조합된 카메라 시스템으로 도 2와 같은 구조를 가지게 된다.

도 2a는 내부 구조를 보여주는 측면도이고, 도 2b는 정면도이다.

도 1에서 적외선 반사체(10)로 이루어진 배경 앞에 물체(물건 혹은 사람)(40)가 위치되고, 이러한 상태에서 적외선 LED(22)에 의해 적외선 조명이 배경과 물체(40)를 비추고 이 장면을 적외선 카메라(28)가 잡는다.

상기 적외선 카메라(28)는 렌즈에 입력되는 적외선의 양이 많고 적음에 따라 밝거나 어두운 명암(Gray) 영상을 출력한다.

한편, 물체(40)인 물건이나 사람은 적외선 반사체(10)에 비해 반사되는 적외선 양이 적기 때문에 적외선 카메라(28)에 잡힌 영상은 배경영역이 밝게 나오고 물체영역은 반사되는 적외선의 양이 상대적으로 적어 어둡게 나오게 된다.

이 명암 영상에 수학식 1과 같이 적절한 문턱값(Threshold)을 기준으로 이진화하는 영상처리를 수행하면 물체영역과 배경영역을 구분할 수 있게 된다.

여기서 는 적외선 카메라(28)로부터 출력된 명암 영상이고, 는 각각 화소의 x좌표와 y좌표를 나타낸다.

는 이진화된 출력영상으로, 1로 표시된 영역은 물체, 0으로 표시된 영역은 배경을 나타낸다.

상기한 방법을 크로마키에서와 같이 그래픽 영상의 합성 등에 사용하기 위해서는 일반 카메라(26)로 촬영하는 영상과 적외선 카메라(28)로 촬영하는 영상이 같은 시점에서 촬영되게 하여야 한다.

즉, 적외선 카메라(28)의 영상에서 분리한 물체와 배경영역이 일반 카메라(26)의 영역과 같아야 두 영상을 합성하여도 어긋남이 없다.

따라서 능동 적외선 카메라(20)에 도 2와 같이 반 거울(Half mirror)(24a)과 거울(24b)을 사용하여 두 카메라(26,28)에 같은 영상이 맺히도록 배치한다.

도 2의 능동 적외선 카메라(20)는 일반적인 상용 캠코더에 적외선 카메라(28)와 적외선 LED(22)를 부착하여 간단히 만들 수 있으므로 매우 경제적이다.

컴퓨터(30)에서 실사 영상과 그래픽 영상을 합성하는 방법이 여러 가지 있을 수 있지만 실사 영상의 배경부분에 그래픽 영상을 합성하는 한가지 예를 흐름도로 나타내면 도 3과 같다.

도 3에서 I(x,y)는 일반 카메라에서 입력되는 영상이고, G(x,y)는 합성할 그래픽 영상이다(S30).

입력된 적외선 카메라 영상 P(x,y)에서 각 화소별로 미리 정한 문턱값(Threshold)보다 큰지 작은지를 판별하여 출력 영상 O(x,y)에 일반 카메라 입력 영상 I(x,y)가 지정될지, 그래픽 영상 G(x,y)가 지정될지를 결정한다(S32).

이때 문턱값은 적외선 영상에서 화소가 배경인지 물체인지를 구분하는 기준이 된다.

P(x,y)가 문턱값보다 크면 적외선이 더 많이 입력되었다는 것이므로 이 픽셀(pixel)은 적외선 반사체인 배경영역이 되고, P(x,y)가 문턱값보다 작으면 적외선이 적게 반사되는 물체부분이 된다.

결국 출력되는 O(x,y)는 I(x,y)의 배경부분에 그래픽 영상 G(x,y)가 합성된 영상이 된다(S34).

TV에서 일기예보를 할 때 크로마키를 사용하면, 아나운서가 설명할 때 손으로는 화면의 일부분을 가리키면서 눈으로는 손으로 가리키는 곳이 아닌 다른 곳을 쳐다본다.

이는 아나운서 자신이 그래픽 영상과 합성되어 나오는 모습을 볼 수 있는 외부의 모니터를 볼 수 있는 것으로, 이처럼 크로마키에서 사용자는 배경에 어떤 그래픽 영상이 나오는 지를 그냥은 알 수 없으며 따로 모니터링할 수 있는 장치가 필요하게 된다.

또한, 일기예보에서처럼 손으로 특정 지점을 가리키는 것과 같이 영상과 상호작용(Interaction)을 할 때에는 손으로 가리키는 지점을 보아서는 결과 영상의 내용을 알 수 없기 때문에 다른 쪽의 모니터링 장치를 쳐다보는 등의 상호작용이 부자연스러워지는 단점이 있다.

본 발명에서 배경에 흰색의 적외선 반사체를 사용하면 이 배경을 스크린으로 활용할 수 있다.

이렇게 하면 일기예보와 같은 응용에서 아나운서와 배경을 분리하는데 영향을 주지 않은 상태에서 배경에 특정 마커를 표시하거나 결과 그래픽 화면을 표시할 수 있어서 아나운서가 손으로 가리키는 배경을 그대로 보고 설명할 수 있고, 설명은 더욱 자연스러워질 수 있다.

이상에서와 같이 적외선 반사체를 배경으로 사용하고, 능동 적외선 카메라를 사용하여 영상에서 배경영역과 물체영역을 분리하는 적외선-키 방법에 의하면,

첫째, 종래 크로마키를 사용하여 물체를 분리하는 방법의 단점인 검출 대상 물체(물체)가 가질 수 있는 색상에 제한이 없다.

둘째, 가시광선 영역에서의 조명이 균일할 필요가 없어서 밝고 어두운 다양한 조명 구성을 사용할 수 있으며 특히 어두운 경우에도 물체를 실시간 구분할 수 있다.

셋째, 배경에 특정한 색상을 사용할 필요가 없으므로 다양한 색상의 배경을 구성할 수 있다.

넷째, 흰색 적외선 반사체를 배경으로 사용하는 경우 이를 동시에 스크린으로 활용할 수 있어 배경(스크린)에 다양한 정보를 표시하거나 영상에 다양한 효과를 줄 수 있다.

도 1은 본 발명에 따른 실시간 물체추출 시스템의 구성도이다.

도 2a와 도 2b는 도 1에 나타낸 능동 적외선 카메라의 구성도이다.

도 3은 본 발명을 이용하여 실사 영상의 배경부분에 그래픽 영상을 합성하는 방법의 순서도이다.

<도면의 주요부분에 대한 부호의 설명>

10 : 적외선 반사체 20 : 능동 적외선 카메라

22 : 적외선 LED 24a : 반 거울(half mirror)

24b : 거울 26 : 일반 카메라

28 : 적외선 카메라 30 : 컴퓨터

40 : 물체

Claims (5)

1. 흰색으로 하여 스크린으로 사용되는 적외선 반사체;

   상기 적외선 반사체와 적외선 반사체 앞의 물체에 적외선 조명을 비추는 적외선 LED와, 상기 적외선 조명이 비춰지는 상태에서 적외선 반사체와 물체를 촬영하여 출력하는 일반 카메라와, 상기 적외선 조명이 비춰지는 상태에서 적외선 반사체와 물체를 렌즈로 잡고 렌즈에 입력되는 적외선의 양이 많고 적음에 따라 밝거나 어두운 명암(Gray) 영상을 출력하는 적외선 카메라로 구성되고, 반 거울 또는 거울을 사용하여 상기 일반 카메라와 적외선 카메라가 같은 시점에서 영상을 촬영할 수 있도록 하는 능동 적외선 카메라;

   상기 적외선 카메라에서 출력된 영상을 물체부분과 배경부분으로 분리하고, 실사 영상의 배경부분에 그래픽 영상을 합성하는 컴퓨터로 구성됨을 특징으로 하는 실시간 물체추출 시스템.
2. 삭제
3. 삭제
4. 적외선 반사체의 배경과 물체(물건 혹은 사람)에 적외선 조명을 비추는 상태에서 일반 카메라와 적외선 카메라로 영상을 촬영하는 제1단계;

   상기 적외선 카메라에서 출력되는 명암(Gray) 영상을, 문턱값(Threshold)을 기준으로 이진화하는 영상처리를 수행하되, 수학식 2에 의해 물체영역과 배경영역을 구분하는 제2단계;

   상기 적외선 카메라의 명암 영상에서 각 화소별로 미리 정한 문턱값(Threshold)보다 큰지 작은지를 판별하여 출력 영상에 일반 카메라 영상이 지정될지, 그래픽 영상이 지정될지를 결정하는 제3단계;

   상기 일반 카메라 영상의 배경부분에 그래픽 영상이 합성되어 출력 영상으로 출력되는 제4단계로 구성됨을 특징으로 하는 실시간 물체추출 방법.

   여기서 는 적외선 카메라의 명암 영상이고 는 각각 화소의 x좌표와 y좌표이며, 는 이진화된 출력영상으로, 1로 표시된 영역은 물체, 0으로 표시된 영역은 배경을 나타냄.
5. 삭제