KR20050063401A - 인체 루트 위치 검출 방법 - Google Patents

Abstract

본 발명은 마커프리(Marker-free) 모션캡쳐(Motion capture) 과정에서 몸의 중심, 즉, 루트(root)의 위치를 검출하고자 할 때에 동작자의 팔/다리 동작이나 3자의 침입에 의한 편향 없이 루트를 검출할 수 있는 기술에 관한 것으로, 배경으로부터 분리된 동작자의 영상에서 무게 중심법으로 동작자의 중심 위치를 구하는 단계, 머리와 발의 위치를 이용하여 루트 검색 범위를 제한하는 단계, 제한된 범위 내에서 루트의 위치를 추정하는 단계, 머리 또는 발이 검출되지 못했을 때에도 동작자의 무게 중심으로부터 루트의 위치를 추정하는 단계로 구성된다. 본 발명에 의하면, 모션 캡쳐에 있어서 비교적 움직임이 많은 팔이 제외된 영역에 대해 무게 중심법을 적용하여 루트 위치를 검출하고, 또한 제 3 자의 침입이 있는 경우에도 동작자의 몸통에만 한정하여 무게 중심법을 적용하기 때문에 검출되는 루트 위치의 편향이 없게 된다.

Description

인체 루트 위치 검출 방법{METHOD FOR DETECTING ROOT OF BODY}

본 발명은 컴퓨터비전(Computer-vision)을 이용한 마커프리(Marker-free) 모션캡쳐(Motion capture) 기술에 관한 것으로, 특히 마커프리 모션캡쳐 과정에서 검출되는 동작자의 루트가 동작자의 동작이나 제 3 자의 침입에 의해 편향되지 않도록 하는 인체 루트 위치 검출 방법에 관한 것이다.

모션캡쳐 기술은 애니메이션, 영화, 방송물, 게임 등과 같은 3D 영상컨텐츠 제작 분야에서 캐릭터의 자연스럽고 사실성 높은 애니메이션을 생성하기 위해 폭 넓게 사용되고 있다.

특히, 컴퓨터비전을 이용한 마커프리 모션캡쳐는 동작을 매개로 한 가상공간과 사용자간의 인터페이스로 많이 활용된다. 이때, 많은 수의 의미를 구분하기 위해서는 동작자의 모션이 정확하게 복원되어야 하며, 이를 위해서는 동작자의 루트 검출이 매우 중요한 요소로 작용하게 된다.

기존의 루트 검출 방법은 동작자를 배경으로부터 분리한 후, 분리된 동작자의 전 영역을 대상으로 하여 무게 중심법을 적용하여 루트를 검출하였다. 그리고, 다른 접근 방법으로는 동작자의 신체 부위 중 루트의 위치에 색 마커를 부착하고, 해당 색 마커를 검출함으로써 루트가 검출되도록 하는 방법이 있었다.

동작자의 전영역을 대상으로 하여 무게 중심법을 적용하게 되면, 동작자의 팔이나 다리의 움직임에 따라 신체 영역의 무게 중심이 변하게 되므로 검출되는 루트의 위치도 필연적으로 변하게 된다. 특히, 캡쳐 대상 구역에 제 3 자의 침입이 있을 경우에는 동작자와 제 3 자 모두를 신체 영역으로 간주하여 무게 중심을 찾게 되므로 검출되는 루트의 편향이 매우 심하게 된다.

즉, 마커프리 모션캡쳐를 수행할 때에는 팔의 움직임이나 다리의 움직임에 따라 무게 중심이 변하게 되며, 대부분의 기존 방법에서는 무게 중심점을 이용하여 루트를 검출하게 되므로 루트의 편향이 존재한다는 문제가 있었다.

또한, 색 마커를 부착하여 루트를 검출하는 방법은 루트의 위치를 비교적 손쉽게 구할 수는 있으나, 팔의 동작으로 인해 마커가 가려지는 경우에는 루트의 위치 검출이 어렵게 되며, 캡쳐할 때마다 마커를 부착하여야 하므로 캡쳐를 위한 준비 시간이 필요하게 된다.

본 발명은 상술한 문제를 해결하기 위해 안출한 것으로, 마커프리 모션캡쳐 과정에서 동작자의 팔/다리 동작이나 제 3 자의 침입에도 검출 루트가 편향되지 않도록 하는 인체 루트 위치 검출 방법을 제공하는데 그 목적이 있다.

이러한 목적을 달성하기 위한 본 발명의 바람직한 실시예에 따르면, 배경으로부터 분리된 동작자의 영상에서 무게 중심법으로 동작자의 중심 좌표를 구하는 단계와, 동작자 영상의 머리와 발의 위치를 이용하여 루트 검색 범위를 제한하는 단계와, 제한된 범위 내에서 무게 중심법을 적용하여 루트의 위치를 추정하는 단계와, 동작자 영상의 머리 또는 발의 위치를 검출하지 못한 경우에는 동작자 영상의 무게 중심으로부터 루트의 위치를 추정하는 단계를 포함하는 인체 루트 위치 검출 방법을 제공한다.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예에 대하여 상세하게 설명한다.

도 1은 본 발명의 바람직한 실시예에 따라 구현되는 인체 루트 위치 검출 과정을 설명하는 흐름도이다.

먼저, 단계(S100)에서와 같이 동작자를 포함하는 전체 영상 정보가 입력되면, 단계(S102)로 진행하여 전체 배경으로부터 동작자의 영상 정보를 분리한다.

동작자의 영상 정보를 분리하기 위해서는 동작자가 없는 상태에서 배경 영상을 취득하여 RGB 컬러 공간과 HSI 컬러 공간으로 각각 저장해 놓아야 한다. 그리고, 동작자의 영상 정보가 입력되면 차영상을 구함으로써 배경으로부터 동작자 영상 정보를 분리할 수 있게 된다.

단계(S104)에서는 배경으로부터 분리된 동작자의 영상 정보에 대해서 '무게 중심법'을 적용하여 무게 중심 위치를 추정하여 저장해 둔다.

그리고, 단계(S106)로 진행하여 동작자의 머리와 발의 위치 정보를 검출하고 루트 검출을 위한 스캐닝 후보 영역, 즉 '인체 루트 검출 범위'를 설정한다.

끝으로 단계(S108) 및 단계(S110)에서는 이 인체 루트 검출 범위(21) 내에서만 무게 중심법을 재적용하여 머리 및 발 위치를 이용한 루트 검출을 수행함으로써 최종적인 루트 좌표를 검출해 낸다.

한편, 상술한 인체 루트 검출 범위를 설정하는 과정을 도 2를 참조하여 보다 상세히 설명하기로 한다.

도 2는 머리와 발이 모두 검출되는 경우에 인체 루트 검출 범위(21)를 설정하는 과정을 설명하기 위한 도면이다.

도 2에 도시한 바와 같이, 머리를 감싸는 최소외접사각형의 좌측 좌표와 왼쪽편 발의 좌표와 비교하여 좌측으로 더 치우쳐져 있는 부위의 좌표를 좌측 시작점으로 설정한다.

그 다음, 머리를 감싸는 최소외접사각형의 우측 좌표와 오른쪽편 발의 좌표와 비교하여 우측으로 더 치우쳐져 있는 부위의 좌표를 우측 끝점으로 설정한다.

이후, 머리를 감싸는 최소외접사각형의 상단 좌표에서 시작하여 발의 최하단 좌표까지를 인체 루트 검출 범위(21)로 설정한다.

그런데, 마커프리 모션캡쳐 수행 중에는 머리 또는 발이 검출되지 않는 경우도 존재한다.

이와 같이 인체 루트 검출 범위를 설정하기 어려운 경우에는 도 3 및 도 4에 나타난 바와 같이 동작자의 무게 중심과 검출되는 루트와의 평소 거리를 이용하여 루트 위치를 추정한다.

즉, 도 3a 내지 도 3c에 도시한 바와 같이 루트 검색 후보 영역을 제한할 머리와 발에 대한 기준 데이터가 없을 때에는 전체 동작자를 대상으로 한 무게 중심 좌표, 즉 팔의 동작으로 인해 편향된 루트 좌표(31)와 실제 루트 좌표(32)와의 평소 거리 오차를 이용하여 전체 동작자를 대상으로 한 무게 중심 좌표로부터 인체 루트 좌표를 추정한다.

또한, 도 4에 도시한 바와 같이 루트 검색 후보 영역을 제한할 머리와 발에 대한 기준 데이터가 없을 때에는 전체 동작자를 대상으로 한 무게 중심 좌표, 즉 다리의 동작으로 인해 편향된 루트 좌표(41)와 실제 루트 좌표(42)와의 평소 거리 오차를 이용하여 전체 동작자를 대상으로 한 무게 중심 좌표로부터 인체 루트 좌표를 추정한다.

다른 한편, 도 5는 제 3 자의 침입이 발생한 경우의 캡쳐화면으로서, 제 3 자의 침입이 있는 경우에도 상술한 바와 같이 몸톰에만 한정하여 무게 중심법을 적용하면 되기 때문에 검출되는 루트 좌표의 편향(52)이 없게 된다.

본 발명에 의하면, 모션 캡쳐에 있어서 비교적 움직임이 많은 팔이 제외된 영역에 대해 무게 중심법을 적용하여 루트 위치를 검출하고, 또한 제 3 자의 침입이 있는 경우에도 동작자의 몸통에만 한정하여 무게 중심법을 적용하기 때문에 검출되는 루트 위치의 편향이 없게 된다.

이상, 본 발명을 실시예에 근거하여 구체적으로 설명하였지만, 본 발명은 이러한 실시예에 한정되는 것이 아니라, 그 요지를 벗어나지 않는 범위내에서 여러 가지 변형이 가능한 것은 물론이다.

도 1은 본 발명에 따른 인체 루트 위치 검출 과정을 나타낸 흐름도,

도 2는 인체 루트 검출 범위를 나타내는 캡쳐화면의 예시도,

도 3a 내지 도 3c는 팔의 동작에 따른 루트의 편향을 나타내는 캡쳐화면의 예시도,

도 4는 다리의 동작에 따른 루트의 편향을 나타내는 캡쳐화면의 예시도,

도 5는 제 3 자의 침입에 따른 루트의 편향을 나타내는 캡쳐화면의 예시도.

＜도면의 주요부분에 대한 부호의 설명＞

21 : 인체 루트 검출 범위

31 : 팔의 동작으로 인해 편향된 루트 좌표

32 : 실제 루트 좌표

Claims (5)

1. 배경으로부터 분리된 동작자의 영상에서 무게 중심법으로 동작자의 중심 좌표를 구하는 단계와,

   상기 동작자 영상의 머리와 발의 위치를 이용하여 루트 검색 범위를 제한하는 단계와,

   상기 제한된 범위 내에서 무게 중심법을 적용하여 루트의 위치를 추정하는 단계와,

   상기 동작자 영상의 머리 또는 발의 위치를 검출하지 못한 경우에는 상기 동작자 영상의 무게 중심으로부터 루트의 위치를 추정하는 단계

   를 포함하는 인체 루트 위치 검출 방법.
2. 제 1 항에 있어서,

   상기 머리와 발의 위치를 이용하여 루트 검색 범위를 제한하는 단계는,

   상기 동작자 영상의 머리를 감싸는 최소외접사각형의 좌측 좌표와 왼쪽편 발의 좌표와 비교하여 좌측으로 더 치우쳐져 있는 부위의 좌표를 좌측 시작점으로 설정하는 단계와,

   상기 동작자 영상의 머리를 감싸는 최소외접사각형의 우측 좌표와 오른쪽편 발의 좌표와 비교하여 우측으로 더 치우쳐져 있는 부위의 좌표를 우측 끝점으로 설정하는 단계와,

   상기 동작자 영상의 머리를 감싸는 최소외접사각형의 상단 좌표에서 시작하여 발의 최하단 좌표까지를 루트 검색 범위로 결정하는 단계

   를 포함하는 것을 특징으로 하는 인체 루트 위치 검출 방법.
3. 제 1 항에 있어서,

   상기 제한된 범위 내에서 무게 중심법을 적용하여 루트의 위치를 추정하는 단계는 상기 동작자 영상의 팔을 구성하는 화소들이 루트의 위치 결정에 영향을 주지 못하도록 제한을 가하는 것을 특징으로 하는 인체 루트 위치 검출 방법.
4. 제 1 항에 있어서,

   상기 동작자 영상의 무게 중심으로부터 루트의 위치를 추정하는 단계는 루트 검색 범위를 제한할 상기 동작자 영상의 머리와 발에 대한 기준 데이터가 없을 때에 전체 동작자를 대상으로 한 무게 중심 좌표와 실제 루트 좌표와의 평소 거리 오차를 이용하여 전체 동작자를 대상으로 한 무게 중심 좌표로부터 인체 루트 좌표를 추정하는 것을 특징으로 하는 인체 루트 위치 검출 방법.
5. 제 2 항에 있어서,

   상기 루트 검색 범위를 결정하는 단계는 제 3 자가 침입한 경우에 상기 동작자의 머리 부위와 상기 동작자의 발 부위만을 이용하여 루트 검색 범위를 제한함으로써 상기 동작자의 몸통 부위만을 루트 검색 범위로 지정하는 단계인 것을 특징으로 하는 인체 루트 위치 검출 방법.