WO2017086522A1

WO2017086522A1 - 배경스크린이 필요 없는 크로마키 영상 합성 방법

Info

Publication number: WO2017086522A1
Application number: PCT/KR2015/012808
Authority: WO
Inventors: 장래현
Original assignee: (주)한국인터넷소프트웨어
Priority date: 2015-11-18
Filing date: 2015-11-27
Publication date: 2017-05-26
Also published as: KR101733125B1; CN107534762A

Abstract

본 발명의 일실시예에 따른 크로마키 합성 장치의 크로마키 합성 방법은, 배경(background)에 객체(object)가 포함되지 않은 제1 영상을 촬영하고 상기 제1 영상의 색상정보를 판독하여 유지하는 단계; 상기 배경에 상기 객체가 포함된 제2 영상을 촬영하고 상기 제2 영상의 색상정보를 판독하여 유지하는 단계; 상기 제2 영상에서 상기 제1 영상의 색상정보에 해당하는 색상 값을 제거하여, 상기 제2 영상으로부터 상기 배경이 제거되고 상기 객체만 추출된 객체 영상을 획득하는 단계; 상기 배경에 상기 객체가 포함된 적외선 영상을 촬영하고 상기 적외선 영상으로부터 판독하는 깊이 정보를 통해 상기 적외선 영상에서 상기 객체가 트래킹된 객체 깊이 영상을 획득하는 단계; 상기 객체 깊이 영상을 통해 상기 객체 영상을 보정하는 단계; 및 상기 보정된 객체 영상을 선정된 배경 영상과 합성하는 단계를 포함한다.

Description

[규칙 제26조에 의한 보정 12.02.2016]　배경스크린이 필요 없는 크로마키 영상 합성 방법

본 발명은 배경스크린이 필요 없는 크로마키 영상 합성 방법에 관한 것으로 더욱 상세하게는 일반적인 배경에서 객체를 촬영한 컬러 영상과 적외선 영상에서 객체를 추출하여 상기 컬러 영상의 객체 픽셀 구멍을 상기 적외선 영상을 통해 보정하고 상기 적외선 영상의 객체 윤곽선을 상기 컬러 영상을 통해 보정한 후 서로 합성함으로써 배경스크린이 없는 환경에서도 크로마키 합성에 필요한 객체 영상을 보다 편리하고 정확하게 획득할 수 있는 배경스크린이 필요 없는 크로마키 영상 합성 방법에 관한 것이다.

일반적인 크로마키(chroma key) 합성 장치를 살펴보면, 특정한 색(chroma)을 키(key)로 지정한 후, 크로마키(chroma key)를 바탕으로 카메라를 통해 촬상된 객체와 배경스크린 영상에서 배경스크린 영상을 다른 배경영상으로 대체하여 합성된 영상을 생성한다. 크로마키(chroma key)는 영상 합성을 위한 것으로, 특정한 색(chroma)을 키(key)로 지정한 후, 주 영상에서 키(key)에 해당하는 화소(pixel)를 다른 영상으로 대체한다. 이때, 크로마키(chroma key)를 수행하는 알고리즘에서 키(key)는 단일한 크로마(chroma) 값이 아니라, 크로마(chroma) 값의 범위를 의미한다. 따라서, 크로마키(chroma key)를 수행하기 위해서는 키(key)가 될 배경스크린(background screen)이 필요하며, 배경스크린의 크로마(chroma) 값의 변위는 작아야 한다. 그리고 배경스크린과 객체(object)(사람을 포함하여 스크린과 구분되는 모든 물체)는 크로마(chroma)를 기준으로 서로 분리되어 있어야 한다.

이러한 크로마키 기술에 있어서, 배경스크린(background screen)과 객체(object)가 분리되기 위해서는 객체의 색상이 배경의 색상과 같아지지 않도록 미리 계획해야 한다. 아울러, 객체의 색상이 배경의 색상과 다르더라도, 특정 조명조건하에서는 같아질 수 있으므로 조명 조건을 미리 계획해야 한다. 또한, 객체가 특정한 카메라 연출 기법하에서 배경(background)과 동일한 크로마(chroma) 범위에 들 수 있으므로 카메라 기법을 미리 계획해야 한다. 또한, 객체가 다른 객체의 등장으로 인해 반사 또는 그림자, 조명 상태의 변화 등을 유발하여 배경과 동일한 색상 범위에 들 수 있으므로, 이를 미리 계획해야 한다.

또한, 객체와 카메라, 조명 등을 미리 계획하기 위해서는 촬영 전에 배경의 크로마키(chroma key) 값을 예상할 수 있어야 한다. 또한, 모든 카메라는 실물의 색상과 기타 상태를 일정 정도 왜곡하기 때문에, 배경스크린의 크로마키(chroma key) 값도 눈으로 보는 키(key) 값과 카메라(camera)를 통해 들어오는 영상신호의 크로마키(chroma key) 값이 차이가 나므로, 이러한 차이를 최소화해야 미리 계획한 색상 구성대로 촬영할 수 있다. 또한, 객체와 조명, 카메라 연출 기법 등에 의해 배경스크린의 크로마(chroma) 성분이 변화될 수 있기 때문에, 이 경우 기준이 되는 키(key) 값도 변할 수 있으므로 이러한 현상이 발생하지 않도록 미리 계획하여야 한다.

이와 같이 종래기술에 따른 크로마키 기술은 배경스크린을 필수로 한다. 즉, 크로마키 합성에 필요한 객체를 촬영할 때, 객체가 특정 색상을 갖는 배경스크린에서 위치하도록 하여 촬영한 후, 촬영된 영상에 크로마키잉(chroma keying)을 수행하여 객체만을 추출하여 원하는 영상에 합성하는 방식으로 구현되고 있는 바, 특정 크로마를 갖는 배경스크린에서의 촬영은 필수적이다. 따라서 종래의 크로마키 영상합성을 수행하기 위해서는 배경스크린이 구비된 실내 등의 특정한 공간에서만 영상의 촬영이 가능하다는 불편함이 뒤따른다. 이러한 종래기술의 문제점에 따라 배경스크린 없이 촬영한 영상을 보다 유연하면서 정확도가 높게 크로마키 영상 합성을 수행할 수 있도록 하는 기술의 개발이 요구되고 있다.

본 발명은 상기와 같은 종래 기술을 개선하기 위해 안출된 것으로서, 일반적인 배경에서 객체를 촬영한 컬러 영상과 적외선 영상에서 객체를 추출하여 상기 컬러 영상의 객체 픽셀 구멍을 상기 적외선 영상을 통해 보정하고 상기 적외선 영상의 객체 윤곽선을 상기 컬러 영상을 통해 보정한 후 서로 합성함으로써 배경스크린이 없는 환경에서도 크로마키 합성에 필요한 객체 영상을 보다 편리하고 정확하게 획득할 수 있는 배경스크린이 필요 없는 크로마키 영상 합성 방법을 제공하는 것을 목적으로 한다.

상기의 목적을 이루고 종래기술의 문제점을 해결하기 위하여, 본 발명의 일 실시예에 따른 크로마키 합성 장치의 크로마키 합성 방법은, 배경(background)에 객체(object)가 포함되지 않은 제1 영상을 촬영하고 상기 제1 영상의 색상정보를 판독하여 유지하는 단계; 상기 배경에 상기 객체가 포함된 제2 영상을 촬영하고 상기 제2 영상의 색상정보를 판독하여 유지하는 단계; 상기 제2 영상에서 상기 제1 영상의 색상정보에 해당하는 색상 값을 제거하여, 상기 제2 영상으로부터 상기 배경이 제거되고 상기 객체만 추출된 객체 영상을 획득하는 단계; 상기 배경에 상기 객체가 포함된 적외선 영상을 촬영하고 상기 적외선 영상으로부터 판독하는 깊이 정보를 통해 상기 적외선 영상에서 상기 객체가 트래킹된 객체 깊이 영상을 획득하는 단계; 상기 객체 영상의 픽셀과 상기 객체 깊이 영상의 픽셀을 서로의 픽셀 정보를 통해 보정하여 상기 객체 영상과 상기 객체 깊이 영상을 합성하여 크로마키 객체 영상을 획득하는 단계; 및 상기 크로마키 객체 영상을 선정된 배경 영상과 합성하는 단계를 포함한다.

또한, 본 발명의 일실시예에 따른 크로마키 합성 장치의 크로마키 합성 방법에 있어서, 상기 제2 영상에서 상기 제1 영상의 색상정보에 해당하는 색상 값을 제거하여, 상기 제2 영상으로부터 상기 배경이 제거되고 상기 객체만 추출된 객체 영상을 획득하는 단계는, 상기 제2 영상의 각 픽셀의 RGB(YUV) 값에 대응하여 상기 제1 영상의 각 픽셀의 RGB(YUV) 값을 영상의 크기(Width*Height)만큼 매칭하는 단계; 상기 제2 영상의 어느 하나의 픽셀 값을 r1, g1, b1이라 하고, 상기 제1 영상의 어느 하나의 픽셀 값을 r2, g2, b2라 하며, 상기 객체 영상의 어느 하나의 픽셀 값을 r3, g3, b3라 하는 경우, r3=|r2-r1|, g3=|g2-g1|, b3=|b2-b1|을 연산하는 단계; 및 상기 r3, 상기 g3, 상기 b3가 각각 0에 수렴하는 경우 해당 픽셀을 상기 배경으로 판독하고, 선정된 임계값 이상인 경우 해당 픽셀을 상기 객체로 판독하는 단계를 포함한다.

또한, 본 발명의 일실시예에 따른 크로마키 합성 장치의 크로마키 합성 방법

은 상기 r3, 상기 g3, 상기 b3를 연산하는 단계 이후, r3=|r2-r1|-rt, g3=|g2-g1|-gt, b3=|b2-b1|-bt의 수식을 통해 상기 r3, 상기 g3, 상기 b3를 보정하는 단계를 더 포함하고, 상기 수식에서, rt, gt, bt는 각 픽셀의 임계값이고, 선정된 시간 동안 촬영되는 배경 영상의 각 픽셀 값 변화를 감지하고, 상기 감지된 상기 각 픽셀 값 변화에서 최소값과 최대값을 연산하여 상기 각 픽셀의 임계값이 산출되는 것을 특징으로 한다.

또한, 본 발명의 일실시예에 따른 크로마키 합성 장치의 크로마키 합성 방법에 있어서, 상기 배경에 상기 객체가 포함된 적외선 영상을 촬영하고 상기 적외선 영상으로부터 판독하는 깊이 정보를 통해 상기 적외선 영상에서 상기 객체가 트래킹된 객체 깊이 영상을 획득하는 단계는, 상기 객체 영상의 픽셀 정보를 이용하여, 상기 객체 깊이 영상의 윤곽선에 대한 노이즈를 제거하는 단계; 상기 객체 깊이 영상의 픽셀 정보를 이용하여, 상기 객체 영상이 포함하는 픽셀 구멍에 해당하는 픽셀을 매칭시키는 단계; 및 상기 노이즈가 제거된 객체 깊이 영상과 상기 픽셀 구멍이 매칭된 객체 영상을 합성하는 단계를 포함한다.

또한, 본 발명의 일실시예에 따른 크로마키 합성 장치의 크로마키 합성 방법의 상기 객체 영상의 픽셀 정보를 이용하여 상기 객체 깊이 영상의 윤곽선에 대한 노이즈를 제거하는 단계에서, 중심픽셀의 기준으로 이웃하는 8개의 픽셀의 값을 확인하여 상기 8개의 픽셀 중 어느 하나라도 값이 없는 경우 상기 중심픽셀 값을 포기하는 영상처리 모폴로지 연산(Morphological Operation) 중 축소(Erosion) 연산을 통해 상기 객체 깊이 영상에 대한 마스킹 영상 노이즈를 제거하는 것을 특징으로 한다.

또한, 본 발명의 일실시예에 따른 크로마키 합성 장치의 크로마키 합성 방법의 상기 객체 깊이 영상의 픽셀 정보를 이용하여 상기 객체 영상이 포함하는 픽셀 구멍에 해당하는 픽셀을 매칭시키는 단계는, 중심픽셀의 기준으로 이웃하는 8개의 픽셀의 값을 확인하여 상기 8개의 픽셀 중 어느 하나라도 값이 있는 경우 상기 중심픽셀 값으로 설정하는 영상처리 모폴로지 연산(Morphological Operation) 중 확대(Dilation) 연산을 통해 상기 객체 영상에 대한 마스킹 영상 구멍 채우기 기법을 수행하는 것을 특징으로 한다.

본 발명의 크로마키 합성 장치의 크로마키 합성 방법에 따르면, 블루스크린 등의 배경스크린에서 객체를 촬영하지 않고 일반적인 배경에서 객체를 촬영하는 컬러 영상과 적외선 영상만으로 크로마키 영상 합성에 요구되는 객체에 대한 영상을 보다 정확하면서 편리하게 획득할 수 있는 효과를 얻을 수 있다.

도 1은 본 발명의 일실시예에 따른 크로마키 합성 장치의 구성을 도시한 블록도이다.

도 2는 본 발명의 일실시예에 따른 크로마키 합성 방법의 흐름을 도시한 순서도이다.

도 3은 본 발명의 일시예에 따른 크로마키 합성 방법의 흐름을 도시한 다른 순서도이다.

도 4는 본 발명의 일실시예에 따른 제1 영상의 일례를 도시한 도면이다.

도 5는 본 발명의 일실시예에 따른 제2 영상의 일례를 도시한 도면이다.

도 6은 본 발명의 일실시예에 따른 제1 영상과 제2 영상 간의 픽셀 연산을 통해 획득되는 객체 영상을 도시한 도면이다.

도 7은 본 발명의 일실시예에 따라 객체 영상에서 발생하는 문제점을 도시한 도면이다.

도 8은 본 발명의 일실시예에 따라 획득되는 객체 깊이 영상을 도시한 도면이다.

도 9는 본 발명의 일실시예에 따라 객체 깊이 영상에 대하여 전경 마스킹 영상 노이즈가 제거된 객체 깊이 영상을 도시한 도면이다.

도 10은 본 발명의 일실시예에 따른 컬러 객체 영상과 적외선 객체 영상을 합성한 크로마키 객체 영상을 도시한 도면이다.

도 11은 본 발명이 일실시예에 따른 크로마키 객체 영상의 전경 마스킹을 도시한 도면이다.

이하에서는 첨부된 도면을 참조하여 본 발명의 실시예를 상세히 설명한다.

본 발명에 따른 배경 스크린이 필요 없는 크로마키 영상 합성 방법을 수행하는 크로마키 합성 장치는 컴퓨팅 디바이스(110), 카메라(121), 적외선 카메라(122), 모니터(130)를 포함하도록 구성될 수 있다. 모니터(130)는 합성 완료된 크로마키 합성 영상을 출력하기 위한 수단일 뿐 반드시 모니터인 것으로 한정되지 않으며, 스마트 단말기 등과 같은 다른 출력 수단을 통해 크로마키 합성 영상을 출력할 수도 있다.

카메라(121)는 일정 대상을 영상으로 촬영하기 위한 수단으로 캠코더, 디지털 카메라, 웹카메라 등 카메라의 종류에 한정되지 않고, 영상을 촬영하여 컴퓨팅 디바이스(110)에 입력하기 위한 구성이면 충분하다. 적외선 카메라(122) 또한 적외선 영상을 촬영하여 해당 적외선 영상을 컴퓨팅 디바이스(110)에 전송하는 구성으로 구현될 수 있다.

컴퓨팅 디바이스(110)은 카메라(121) 및 적외선 카메라(122)를 통해 촬영된 영상을 입력받아 입력 영상을 생성하고, 상기 입력 영상에서 피사체의 외곽선 및 움직임을 추적하며, 추출될 타겟 피사체를 포함하는 영상을 생성하고, 상기 영상과 다른 배경영상을 합성하기 위한 기능을 수행하며, 영상 입력부(111), 영상 처리부(112), 영상 합성부(113), 영상 저장부(114), 및 영상 출력부(115)를 포함할 수 있다. 컴퓨팅 디바이스(110)는 소정의 연산능력을 구비한 프로세서와 운영체제(OS: Operating System)를 포함하는 디바이스로 구현될 수 있다. 예를 들어, 컴퓨팅 디바이스(110)는 PC, MAC, 노트북, 태블릿 PC, 콘솔 게임기, 스마트폰, 스마트패드 등 프로세서와 운영체제를 구비한 다양한 종류의 디바이스로 구현될 수 있다.

도 2는 본 발명의 일실시예에 따른 크로마키 합성 방법의 흐름을 도시한 순서도이고, 도 3은 본 발명의 일시예에 따른 크로마키 합성 방법의 흐름을 도시한 다른 순서도이다.

본 발명의 일실시예에 따르면, 크로마키 합성 장치는 배경(background)에 객체(object)가 포함되지 않은 제1 영상을 촬영하고 상기 제1 영상의 색상정보를 판독하여 유지한다(단계(210)). 상기 제1 영상은 도 4에 도시된 바와 같이 객체가 포함되지 않도록 구현될 수 있다. 상기 제1 영상의 컬러 값을 판독하여 저장한다. 컬러 영상의 각 픽셀은 RGB(YUV) 컬러로 8바이트의 3가지 값을 가진다.

RGB: Red(8Byte) + Green(8Byte) + Blue(8Byte)

YUV: Y(8Byte) + U(8Byte) + V(8Byte)

Y'UV는 하기와 같이 RGB로부터 계산된다.

Y' = W_RR + W_GG + W_BB - 0.299R + 0.587G + 0.114B

U = U_MAX((B-Y')/(1-W_B))

0.492(B-Y')

V = V_MAX((R-Y')/(1-W_R))

0.877(R-Y')

영상 크기가 1920 x 1080인 Full HD 영상의 경우 저장되는 영상의 크기는 1,920(width) x 1,080(height) x 8(Byte) x 3 = 49,766,400(Byte)의 메모리가 필요할 수 있다. 또한, 각 컬러(RGB, YUV)의 R, G, B, Y, U, V의 각각의 값들은 8Byte 이기 때문에 0 ~ 255의 값을 가진다. 계산의 편의를 위해 위의 값은 0 ~ 1의 실수로 표현하기도 한다.

상기 크로마키 합성 장치는 상기 배경에 상기 객체가 포함된 제2 영상을 촬영하고 상기 제2 영상의 색상정보를 판독하여 유지한다(단계(220)). 상기 제2 영상은 도 5와 같이 제1 영상과 같은 배경을 가지면서 객체가 포함된 영상을 의미한다. 상기 제2 영상 또한 RGB(YUV) 값으로 메모리에 저장할 수 있다.

상기 크로마키 합성 장치는 상기 제2 영상에서 상기 제1 영상의 색상정보에 해당하는 색상 값을 제거하여, 상기 제2 영상으로부터 상기 배경이 제거되고 상기 객체만 추출된 객체 영상을 획득한다(단계(230)). 상기 추출된 객체 영상은 도 6과 같이 구현될 수 있다.

단계(230)은, 상기 제2 영상의 각 픽셀의 RGB(YUV) 값에 대응하여 상기 제1영상의 각 픽셀의 RGB(YUV) 값을 영상의 크기(Width*Height)만큼 매칭하는 단계와, 상기 제2 영상의 어느 하나의 픽셀 값을 r1, g1, b1이라 하고, 상기 제1 영상의 어느 하나의 픽셀 값을 r2, g2, b2라 하며, 상기 객체 영상의 어느 하나의 픽셀 값을 r3, g3, b3라 하는 경우, r3=|r2-r1|, g3=|g2-g1|, b3=|b2-b1|을 연산하는 단계와, 상기 r3, 상기 g3, 상기 b3가 각각 0에 수렴하는 경우 해당 픽셀을 상기 배경으로 판독하고, 선정된 임계값 이상인 경우 해당 픽셀을 상기 객체로 판독하는 단계를 포함한다.

또한, 상기 r3, 상기 g3, 상기 b3를 연산하는 단계 이후, r3=|r2-r1|-rt, g3=|g2-g1|-gt, b3=|b2-b1|-bt의 수식을 통해 상기 r3, 상기 g3, 상기 b3를 보정하는 단계를 더 포함할 수 있다. 상기 수식에서, rt, gt, bt는 각 픽셀의 임계값이고, 선정된 시간 동안 촬영되는 배경 영상의 각 픽셀 값 변화를 감지하고, 상기 감지된 상기 각 픽셀 값 변화에서 최소값과 최대값을 연산하여 상기 각 픽셀의 임계값이 산출될 수 있다.

단계(230)에서, 제2 영상의 한 픽셀의 값 RGB(YUV)에서 제1 영상의 대응되는 한 픽셀 RGB(YUV) 값을 영상의 크기인 width * height 만큼 수행한다. 제2 영상의 한 픽셀을 r1, g1, b1 로 하고 제1 영상의 한픽셀을 r2, g2, b2로 하며, 객체 영상의 한 픽셀을 r3, g3, b3이라고 했을 때, r3=|r2-r1|, g3=|g2-g1|, b3=|b2-b1|의 각 값을 산출한다. 따라서 r3, g3, b3 이 0에 한없이 가까워질 때 해당 픽셀은 배경으로 인식하게 되고 차이가 크면 전경으로 인식할 수 있다. 이때, 제2 영상의 배경의 변화(조도 변화 및 기타 환경변화)로 인하여 의도치 않은 값이 생길 경우 이를 보정하기 위한, 각각의 컬러 값의 임계치 rt, gt, bt를 정해 이를 보정할 수 있다. 따라서 최종 알고리즘은 다음과 같다.

r3=|r2-r1|-rt, g3=|g2-g1|-gt, b3=|b2-b1|-bt

if(r3 < 0 && g3 < 0 && b3 < 0) 조건이 만족하면 배경 픽셀이고 그렇지 않은 경우 전경 픽셀로 인식할 수 있다.

임계치 rt, gt, bt를 구하는데 있어서, 컬러영상 크로마키의 핵심은 rt, gt, bt의 값을 얻는데 있으므로, 본 발명에서는 위의 값을 얻는데 있어 수동방식과 자동방식 두 가지 방식이 구현될 수 있다. 우선, 수동 방식의 경우 위의 3가지 값을 사용자가 직접 입력하여 전체 픽셀에 적용하게 된다. 이때 결과값을 직접 눈으로 확인하여 최상의 결과가 나오는 3가지 값을 지정할 수 있다. 이러한 수동방식은 한번에 값을 얻을 수 있는 장점이 있다. 또한, 자동 방식의 경우 일정한 시간(약 10초) 정도 배경이 될 영상을 촬영하여 각각 픽셀의 값이 변화하는 최소치와 최대치를 구해 각각의 픽셀의 3가지 임계치를 구하게 된다. 이러한 자동방식은 각각 픽셀마다 임계치 값이 다르므로 정확한 결과를 얻을 수 있는 장점이 있다.

단계(230)을 통해 획득된 컬러 객체 영상은 해당 픽셀의 컬러 값을 기준으로 전경 영상을 구하기 때문에 배경 영상과 같은 색상일 경우 도 7에 도시된 바와 같이 빨간색 테두리처럼 홀이 생기게 된다.

이를 보완하기 위하여, 상기 크로마키 합성 장치는 상기 배경에 상기 객체가 포함된 적외선 영상을 촬영하고 상기 적외선 영상으로부터 판독하는 깊이 정보를 통해 상기 적외선 영상에서 상기 객체가 트래킹된 객체 깊이 영상을 획득한다(단계(240)). 상기 객체 깊이 영상은 도 8과 같이 획득될 수 있다.

상기 크로마키 합성 장치는 RGB 영상뿐만 아니라 특정한 적외선 점 패턴을 물체에 투영하여 점 패턴의 특성을 분석하여 깊이 정보를 획득하고 스켈레톤 트래킹을 제공할 수 있다. 상기 크로마키 합성 장치는 깊이 영상 생성을 위해 물체에 반사되어 돌아오는 적외선의 패턴을 수광센서로 검출할 수 있다. 하지만 발광장치와 수광센서간의 거리 차이로 인한 사각지대 발생, 매끄러운 물체 표면으로 인하여 적외선의 난반사가 적게 일어나 수광센서로 레이저가 돌아오지 못하는 경우에 적외선 패턴을 감지할 수 없기 때문에 검출되지 않은 위치에 대한 값은 깊이 영상에서 홀(hole)의 형태로 나타날 수 있다. 또한 깊이 정보의 불연속점과 적외선 송출부가 수직일 경우에는 객체 경계 주변에 홀이 발생할 수 있으므로, 따라서 각각의 깊이 영상을 동영상으로 연속 재생할 경우 경계 주변의 흔들림 현상을 확인할 수 있으며 가상 시점 영상을 생성하기 위해서는 이러한 흔들림 현상을 제거할 수 있다. 깊이 영상은 적외선 영사기에서 조사한 적외선 패턴을 적외선 카메라로 읽어 패턴 매칭 방식으로 생성할 수도 있다.

상기 크로마키 합성 장치는 상기 객체 영상의 픽셀과 상기 객체 깊이 영상의 픽셀을 서로의 픽셀 정보를 통해 보정하여 상기 객체 영상과 상기 객체 깊이 영상을 합성하여 크로마키 객체 영상을 획득한다(단계(250)).

단계(250)은 상기 객체 영상의 픽셀 정보를 이용하여, 상기 객체 깊이 영상의 윤곽선에 대한 노이즈를 제거하는 단계와, 상기 객체 깊이 영상의 픽셀 정보를 이용하여, 상기 객체 영상이 포함하는 픽셀 구멍에 해당하는 픽셀을 매칭시키는 단계와, 상기 노이즈가 제거된 객체 깊이 영상과 상기 픽셀 구멍이 매칭된 객체 영상을 합성하는 단계를 포함한다.

상기 객체 영상의 픽셀 정보를 이용하여, 상기 객체 깊이 영상의 윤곽선에 대한 노이즈를 제거하는 단계에서, 상기 크로마키 합성 장치는 중심픽셀의 기준으로 이웃하는 8개의 픽셀의 값을 확인하여 상기 8개의 픽셀 중 어느 하나라도 값이 없는 경우 상기 중심픽셀 값을 포기하는 영상처리 모폴로지 연산(Morphological Operation) 중 축소(Erosion) 연산을 통해 상기 객체 깊이 영상에 대한 마스킹 영상 노이즈를 제거할 수 있다.

또한, 상기 객체 깊이 영상의 픽셀 정보를 이용하여, 상기 객체 영상이 포함하는 픽셀 구멍에 해당하는 픽셀을 매칭시키는 단계에서, 상기 크로마키 합성 장치는 중심픽셀의 기준으로 이웃하는 8개의 픽셀의 값을 확인하여 상기 8개의 픽셀 중 어느 하나라도 값이 있는 경우 상기 중심픽셀 값으로 설정하는 영상처리 모폴로지 연산(Morphological Operation) 중 확대(Dilation) 연산을 통해 상기 객체 영상에 대한 마스킹 영상 구멍 채우기 기법을 수행할 수 있다.

상기 크로마키 합성 장치는 도 9에 도시된 바와 같이 영상처리 모폴로지 연산중 축소(Erosion) 연산을 통하여 마스킹 영상 잡음 제거할 수 있다.

- 축소연산 (Erosion 알고리즘)

위와 같이 중심픽셀을 기점으로 이웃하는 8개의 픽셀의 값을 확인하여 8개의 픽셀중 하나라도 값이 없는 경우 중심픽셀 값을 포기할 수 있다.

상기 크로마키 합성 장치는 영상처리 모폴로지 연산중 확대(Dilation) 연산을 통하여 마스킹 영상 구멍 채우기 기법을 수행할 수 있다.

- 확대연산 (Dilation 알고리즘)

위와 같이 중심픽셀을 기점으로 이웃하는 8개의 픽셀의 값을 확인하여 8개의 픽셀중 하나라도 값이 있을 경우 중심픽셀 값을 가지게 될 수 있다.

상기 크로마키 합성 장치는 도 10과 도 11에 도시된 바와 같이 컬러 객체 영상과 적외선 객체 영상의 각 단점을 보완하여 두 영상을 합성할 수 있다. 도 11에 있어서, 컬러영상 전경 마스킹 중 검은색의 값은 0, 빨간색의 값은 255이고, 적외선영상 전경 마스킹 중 검은색의 값은 0, 녹색의 값은 255이다. 이때, a)영상과 b)영상의 값을 합치면, 3가지 값이 나오는데, 0, 255, 510이다. 결과값이 0이면 배경이미지로 결정할 수 있고, 결과값이 255이면 전경 컬러로 간주할 수 있다. 또한, 결과값이 510이면 전경 컬러로 결정할 수 있다. 또한, 결과값이 255인 경우는 a)와 b)중 전경 컬러로 간주할 수 있기 때문에 주변 픽셀을 조사하여 255이상이 분포하고 있으면 전경으로 결정하고 0 값이 있을 경우에는 배경으로 결정할 수 있다.

상기 크로마키 합성 장치는 이러한 방법에 따라 획득한 상기 크로마키 객체영상을 선정된 배경 영상과 합성하여 크로마키 영상 합성을 수행할 수 있다(단계(260)).

본 발명에 따른 수면 상태 감지 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CDROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 상기 매체는 프로그램 명령, 데이터 구조 등을 지정하는 신호를 전송하는 반송파를 포함하는 광 또는 금속선, 도파관 등의 전송 매체일 수도 있다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.

그러므로 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.

Claims

배경(background)에 객체(object)가 포함되지 않은 제1 영상을 촬영하고 상기 제1 영상의 색상정보를 판독하여 유지하는 단계;

상기 배경에 상기 객체가 포함된 제2 영상을 촬영하고 상기 제2 영상의 색상정보를 판독하여 유지하는 단계;

상기 제2 영상에서 상기 제1 영상의 색상정보에 해당하는 색상 값을 제거하여, 상기 제2 영상으로부터 상기 배경이 제거되고 상기 객체만 추출된 객체 영상을 획득하는 단계;

상기 배경에 상기 객체가 포함된 적외선 영상을 촬영하고 상기 적외선 영상으로부터 판독하는 깊이 정보를 통해 상기 적외선 영상에서 상기 객체가 트래킹된 객체 깊이 영상을 획득하는 단계;

상기 객체 영상의 픽셀과 상기 객체 깊이 영상의 픽셀을 서로의 픽셀 정보를 통해 보정하여 상기 객체 영상과 상기 객체 깊이 영상을 합성하여 크로마키 객체영상을 획득하는 단계; 및

상기 크로마키 객체 영상을 선정된 배경 영상과 합성하는 단계;를 포함하는 것을 특징으로 하는 크로마키 합성 장치의 크로마키 합성 방법.
제1항에 있어서,

상기 제2 영상에서 상기 제1 영상의 색상정보에 해당하는 색상 값을 제거하여, 상기 제2 영상으로부터 상기 배경이 제거되고 상기 객체만 추출된 객체 영상을 획득하는 단계는,

상기 제2 영상의 각 픽셀의 RGB(YUV) 값에 대응하여 상기 제1 영상의 각 픽셀의 RGB(YUV) 값을 영상의 크기(Width*Height)만큼 매칭하는 단계;

상기 제2 영상의 어느 하나의 픽셀 값을 r1, g1, b1이라 하고, 상기 제1 영상의 어느 하나의 픽셀 값을 r2, g2, b2라 하며, 상기 객체 영상의 어느 하나의 픽셀 값을 r3, g3, b3라 하는 경우, r3=|r2-r1|, g3=|g2-g1|, b3=|b2-b1|를 연산하는 단계; 및

상기 r3, 상기 g3, 상기 b3가 각각 0에 수렴하는 경우 해당 픽셀을 상기 배경으로 판독하고, 선정된 임계값 이상인 경우 해당 픽셀을 상기 객체로 판독하는 단계; 를 포함하는 것을 특징으로 하는 크로마키 합성 장치의 크로마키 합성 방법.
제2항에 있어서,

상기 r3, 상기 g3, 상기 b3를 연산하는 단계 이후,

r3=|r2-r1|-rt, g3=|g2-g1|-gt, b3=|b2-b1|-bt의 수식을 통해 상기 r3, 상기 g3, 상기 b3를 보정하는 단계;를 더 포함하고,

상기 수식에서, rt, gt, bt는 각 픽셀의 임계값이고, 선정된 시간 동안 촬영되는 배경 영상의 각 픽셀 값 변화를 감지하고, 상기 감지된 상기 각 픽셀 값 변화에서 최소값과 최대값을 연산하여 상기 각 픽셀의 임계값이 산출되는 것을 특징으로 하는 크로마키 합성 장치의 크로마키 합성 방법.
제1항에 있어서,

상기 객체 영상의 픽셀과 상기 객체 깊이 영상의 픽셀을 서로의 픽셀 정보를 통해 보정하여 상기 객체 영상과 상기 객체 깊이 영상을 합성하여 크로마키 객체영상을 획득하는 단계는,

상기 객체 영상의 픽셀 정보를 이용하여, 상기 객체 깊이 영상의 윤곽선에 대한 노이즈를 제거하는 단계;

상기 객체 깊이 영상의 픽셀 정보를 이용하여, 상기 객체 영상이 포함하는 픽셀 구멍에 해당하는 픽셀을 매칭시키는 단계; 및

상기 노이즈가 제거된 객체 깊이 영상과 상기 픽셀 구멍이 매칭된 객체 영상을 합성하는 단계;를 포함하는 것을 특징으로 하는 크로마키 합성 장치의 크로마키 합성 방법.
제4항에 있어서,

상기 객체 영상의 픽셀 정보를 이용하여, 상기 객체 깊이 영상의 윤곽선에 대한 노이즈를 제거하는 단계에서, 중심픽셀의 기준으로 이웃하는 8개의 픽셀의 값을 확인하여 상기 8개의 픽셀 중 어느 하나라도 값이 없는 경우 상기 중심픽셀 값을 포기하는 영상처리 모폴로지 연산(Morphological Operation) 중 축소(Erosion)연산을 통해 상기 객체 깊이 영상에 대한 마스킹 영상 노이즈를 제거하는 것을 특징으로 하는 크로마키 합성 장치의 크로마키 합성 방법.
제4항에 있어서,

상기 객체 깊이 영상의 픽셀 정보를 이용하여, 상기 객체 영상이 포함하는 픽셀 구멍에 해당하는 픽셀을 매칭시키는 단계에서, 중심픽셀의 기준으로 이웃하는 8개의 픽셀의 값을 확인하여 상기 8개의 픽셀 중 어느 하나라도 값이 있는 경우 상기 중심픽셀 값으로 설정하는 영상처리 모폴로지 연산(Morphological Operation) 중 확대(Dilation) 연산을 통해 상기 객체 영상에 대한 마스킹 영상 구멍 채우기 기법을 수행하는 것을 특징으로 하는 크로마키 합성 장치의 크로마키 합성 방법.
제1항 내지 제6항 중 어느 한 항의 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체.