KR20160022576A - 알지비 센서 및 깊이 센서 기반 3차원 인체 관절 좌표 정합 장치 및 방법 - Google Patents

Abstract

알지비 센서 및 깊이 센서 기반 3차원 인체 관절 좌표 정합 장치 및 방법이 개시된다. 본 발명에 따른 인체 관절 좌표 정합 방법은 전 방향에 배치된 복수의 알지비 센서 및 깊이 센서를 이용하여 관절들 각각에 대한 3차원 관절 좌표들을 획득하는 단계; 센서의 신뢰 범위, 신체 방향 및 신체 정보 중 어느 하나를 이용하여 상기 3차원 관절 좌표들에 대한 적어도 하나의 관절 좌표 신뢰도를 산출하는 단계; 및 상기 적어도 하나의 관절 좌표 신뢰도를 이용하여 상기 관절들마다 상기 3차원 관절 좌표들을 하나의 3차원 관절 좌표로 정합하는 단계를 포함한다.

Description

알지비 센서 및 깊이 센서 기반 3차원 인체 관절 좌표 정합 장치 및 방법 {APPARATUS AND METHOD FOR MATCHING 3D COORDINATE JOINT OF HUMAN BASED ON RGB SENSOR AND DEPTH SENSOR}

본 발명은 신뢰성 있는 인체의 3차원 관절 좌표를 추정하기 위해서 다 시점에서 추출한 인체의 3차원 관절 좌표들을 하나의 3차원 관절 좌표로 정합하는 기술에 관한 것이다.

최근 다양한 UI(User Interface), UX(User Experience) 기술의 발전으로 사용자의 움직임을 인지하여 시스템을 동작하는 다양한 가상현실 시스템이 사용되고 있다. 사용자의 동작을 보다 정확하게 인지하기 위해서는 정확한 인체 관절 추출 기술이 반드시 선행되어야 하고, 이에 따라 인체 관절 추출 기술 연구가 다양하게 진행되고 있다.

우선 인체의 각 관절에 다양한 움직임 캡쳐 센서를 부착하여 사용자의 관절을 추출하는 방법이 개발되어 현재 다양하게 사용되고 있다. 하지만, 움직임 센서 기반의 관절 추출 기술은 시간이 지날수록 오차가 누적되어 정확한 측정이 힘들며, 고가의 움직임 센서를 다수 개 구입해서 사용해야 한다는 단점이 존재한다. 뿐만 아니라, 인체에 다수 개의 센서를 부착함으로써, 사용자 움직임에 불편함을 줄 뿐 아니라 시스템 몰입감을 저해하는 단점이 존재한다.

깊이 영상 및 RGB 영상 센서를 활용한 인체 관절 추출 기술도 다양하게 연구되었다. 영상 기반의 인체 관절 추출 방법은 센서 기반 기술에 비해 저가이고, 인체에 따로 설치하는 부분이 없으므로 사용자의 편의성 및 몰입감이 증가한다는 장점이 존재한다. 하지만, 센서 기반 기술에 비해 복잡도가 높은 편이며 정확성이 낮다는 단점이 존재한다. 또한, 사용자의 전 방향 관절 추출을 하기가 어려우며, 다양한 겹침 현상(occlusion)이 발생하여 정확도 향상이 어려운 단점이 있다.

한국 공개 특허 제10-2007-0057613호, 2007년 6월 7일 공개(명칭: 구 투영기법을 이용한 인체 관절의 3차원 위치 추정 방법)

본 발명의 목적은 다수 개의 알지비(RGB, Red-Green-Blue) 센서 및 깊이 센서를 이용하여 촬영한 인체 관절들을 하나의 통일된 3차원 좌표계에 통합하여 나타냄으로써 높은 정확도 및 높은 몰입도를 갖는 인체 관절 추출을 가능하게 하는 것이다.

또한, 본 발명의 목적은 각 시점에서 획득된 인체 3차원 관절 좌표를 정확하게 정합함으로써 기존의 움직임 캡쳐 센서 기반의 자세인식 기술의 단점 및 영상 기반 자세 인식 기술의 단점을 극복하는 것이다.

또한, 본 발명의 목적은 높은 정확도의 인체 관절 추출 기술을 사용자 동작 기반의 다양한 UI(User Interface) 및 UX(User Experience) 기술에 적용하여 보다 정확하고 효율적인 가상현실 시스템을 제공하는 것이다.

상기한 목적을 달성하기 위한 본 발명에 따른 인체 관절 좌표 정합 방법은, 전 방향에 배치된 복수의 알지비(RGB, Red-Green-Blue) 센서 및 깊이 센서를 이용하여 관절들 각각에 대한 3차원 관절 좌표들을 획득하는 단계; 센서의 신뢰 범위, 신체 방향 및 신체 정보 중 어느 하나를 이용하여 상기 3차원 관절 좌표들에 대한 적어도 하나의 관절 좌표 신뢰도를 산출하는 단계; 및 상기 적어도 하나의 관절 좌표 신뢰도를 이용하여 상기 관절들마다 상기 3차원 관절 좌표들을 하나의 3차원 관절 좌표로 정합하는 단계를 포함한다.

이 때, 정합하는 단계는 상기 적어도 하나의 관절 좌표 신뢰도에 따라 상기 3차원 관절 좌표들에게 신뢰도 가중치를 부여하는 단계를 포함하고, 상기 3차원 관절 좌표들의 상기 신뢰도 가중치를 이용하여 상기 3차원 관절 좌표들을 하나의 3차원 관절 좌표로 정합할 수 있다.

이 때, 산출하는 단계는 상기 센서의 신뢰 범위, 상기 신체 방향 및 상기 신체 정보에 따라 각각 센서 신뢰 범위 기반 관절 좌표 신뢰도, 신체 방향 기반 관절 좌표 신뢰도 및 신체 정보 기반 관절 좌표 신뢰도를 산출할 수 있다.

이 때, 산출하는 단계는 상기 복수의 알지비 센서 및 깊이 센서와 상기 3차원 관절 좌표들의 위치를 고려하여 상기 센서 신뢰 범위 기반 관절 좌표 신뢰도를 산출할 수 있다.

이 때, 센서 신뢰 범위 기반 관절 좌표 신뢰도는 겹침 현상(occluded)이 발생하는 경우에, 상기 겹침 현상에 상응하는 적어도 둘 이상의 3차원 관절 좌표 중 상기 복수의 알지비 센서 및 깊이 센서와 거리가 가까운 3차원 관절 좌표가 더 높은 신뢰도를 가질 수 있다.

이 때, 신체 방향 기반 관절 좌표 신뢰도는 사용자 위치를 기준으로 상기 복수의 알지비 센서 및 깊이 센서가 좌측 센서군 및 우측 센서군 중 어느 하나로 분류되고, 상기 센서군에 기반하여 상기 3차원 관절 좌표들의 신뢰도가 결정될 수 있다.

이 때, 신체 정보 기반 관절 좌표 신뢰도는 기설정된 신체 비율에 상응하는 점들이 위치한 평면을 이용하여 상기 3차원 관절 좌표들 중 연속된 3개의 관절에서 가운데에 상응하는 3차원 관절 좌표를 추정할 수 있다.

이 때, 신체 정보 기반 관절 좌표 신뢰도는 적어도 하나 이상의 연속된 3개의 관절에 대해서 상기 평면을 이용하여 추정된 3차원 관절 좌표가 변화가 없을 때까지 상기 추정을 반복할 수 있다.

이 때, 신뢰도 가중치를 부여하는 단계는 평균, 곱, 가중치 합(weighted sum), 최대값 및 최소값 중 적어도 하나의 방법을 이용하여 상기 신뢰도 가중치를 부여할 수 있다.

또한, 본 발명의 일실시예에 따른 인체 관절 좌표 정합 장치는, 전 방향에 배치된 복수의 알지비 센서 및 깊이 센서를 이용하여 관절들 각각에 대한 3차원 관절 좌표들을 획득하는 좌표 획득부; 센서의 신뢰 범위, 신체 방향 및 신체 정보 중 어느 하나를 이용하여 상기 3차원 관절 좌표들에 대한 적어도 하나의 관절 좌표 신뢰도를 산출하는 신뢰도 산출부; 및 상기 적어도 하나의 관절 좌표 신뢰도를 이용하여 상기 관절들마다 상기 3차원 관절 좌표들을 하나의 3차원 관절 좌표로 정합하는 좌표 정합부를 포함한다.

본 발명에 따르면, 다수 개의 알지비 센서 및 깊이 센서를 이용하여 촬영한 인체 관절들을 하나의 통일된 3차원 좌표계에 통합하여 나타냄으로써 높은 정확도 및 높은 몰입도를 갖는 인체 관절 추출을 가능하게 할 수 있다.

또한, 본 발명은 각 시점에서 획득된 인체 3차원 관절 좌표를 정확하게 정합함으로써 기존의 움직임 캡쳐 센서 기반의 자세인식 기술의 단점 및 영상 기반 자세 인식 기술의 단점을 극복할 수 있다.

또한, 본 발명은 높은 정확도의 인체 관절 추출 기술을 사용자 동작 기반의 다양한 UI(User Interface) 및 UX(User Experience) 기술에 적용하여 보다 정확하고 효율적인 가상현실 시스템을 제공할 수 있다.

도 1은 본 발명의 일실시예에 따른 인체 관절 좌표 정합 방법을 나타낸 동작 흐름도이다.
도 2는 본 발명의 일실시예에 따른 인체 관절 좌표 정합 과정을 나타낸 도면이다.
도 3은 본 발명의 일실시예에 따른 센서 신뢰 범위 기반 관절 좌표 신뢰도의 추출 개념도를 나타낸 도면이다.
도 4는 본 발명의 일실시예에 따른 신체 방향 기반 관절 좌표 신뢰도의 추출 개념도를 나타낸 도면이다.
도 5는 본 발명의 일실시예에 따른 신체 비율 정보를 이용한 관절 좌표 추정 방법을 나타낸 도면이다.
도 6은 본 발명의 일실시예에 따른 관절 좌표 추정 반복 방법을 나타낸 도면이다.
도 7은 본 발명의 일실시예에 따른 인체 관절 좌표 정합 장치를 나타낸 블록도이다.

본 발명을 첨부된 도면을 참조하여 상세히 설명하면 다음과 같다. 여기서, 반복되는 설명, 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능, 및 구성에 대한 상세한 설명은 생략한다. 본 발명의 실시형태는 당 업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해서 제공되는 것이다. 따라서, 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.

이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.

도 1은 본 발명의 일실시예에 따른 인체 관절 좌표 정합 방법을 나타낸 동작 흐름도이다.

도 1을 참조하면, 본 발명의 일실시예에 따른 인체 관절 좌표 정합 방법은 전 방향에 배치된 복수의 알지비(RGB, Red-Green-Blue) 센서 및 깊이 센서를 이용하여 관절들 각각에 대한 3차원 관절 좌표들을 획득할 수 있다(S110).

인체 관절의 좌표를 추출하는 방법으로는 인체의 각 관절에 움직임을 캡쳐할 수 있는 센서를 부착하여 추출하는 방법이 현재 다양하게 사용되고 있다. 하지만 움직임 센서 기반의 관절 추출 기술은 시간이 지날수록 오차가 누적되어 정확한 측정이 어렵다. 또한, 고가의 움직임 센서를 다수 개 구입해서 사용해야 하므로 비용적인 측면에서도 단점이 존재한다. 뿐만 아니라, 인체에 다수 개의 센서를 부착함으로써 사용자의 움직임에 불편함을 줄 수 있고 몰입감을 저해하기 때문에 정확한 관절 측정이 어려울 수 있다.

인체 관절의 좌표를 추출하는 다른 방법 중 한가지로 깊이 영상 및 RGB 영상 센서를 활용한 기술도 다양하게 연구되었다. 영상 기반의 인체 관절 추출 방법은 센서 기반 기술에 비해 적은 비용으로 관절 추출이 가능하다. 또한 인체에 센서를 부착하지 않으므로 사용자의 편의성 및 몰입감을 향상시킬 수 있다. 그러나, 영상 기반의 인체 관절 추출 방법은 센서 기반 기술에 비해 복잡도가 높은 편이며 정확성이 낮다는 단점이 존재한다. 또한, 사용자에 대해서 전 방향 관절 추출이 어렵고, 겹침 현상(occlusion)이 발생할 수 있어 정확도 향상이 어려울 수 있다.

본 발명은 이와 같은 영상 기반의 인체 관절 추출 방법의 정확성을 향상시킬 수 있는 방법을 제공할 수 있다. 따라서 사용자의 전 방향에 대해 인체 관절을 추출할 필요가 있다. 따라서, 사용자를 기준으로 모든 방향에 복수 개의 알지비 센서와 깊이 센서를 배치하여 인체 관절들 각각에 대해서 3차원 관절 좌표들을 획득할 수 있다. 예를 들어, 전 방향에 배치된 센서들이 n개 라고 한다면 인체 관절들 각각에 대해 n개씩 3차원 관절 좌표를 획득할 수 있다.

또한, 본 발명의 일실시예에 따른 인체 관절 좌표 정합 방법은 센서의 신뢰 범위, 신체 방향 및 신체 정보 중 어느 하나를 이용하여 3차원 관절 좌표들에 대한 적어도 하나의 관절 좌표 신뢰도를 산출할 수 있다(S120). 인체 관절들 중 어떤 특정 관절에 대한 3차원 관절 좌표는 전 방향에 배치된 센서들의 수에 따라 복수 개의 좌표로 추출될 수 있다. 따라서 특정 관절에 대한 복수 개의 3차원 관절 좌표들 각각에 대해 신뢰도를 산출하여 추후 모든 좌표들을 하나의 좌표계에 정합할 때 이용할 수 있다.

이 때, 센서의 신뢰 범위, 신체 방향 및 신체 정보에 따라 각각 센서 신뢰 범위 기반 관절 좌표 신뢰도, 신체 방향 기반 관절 좌표 신뢰도 및 신체 정보 기반 관절 좌표 신뢰도를 산출할 수 있다.

이 때, 복수의 알지비 센서 및 깊이 센서와 3차원 관절 좌표들의 위치를 고려하여 센서 신뢰 범위 기반 관절 좌표 신뢰도를 산출할 수 있다. 다양한 시점의 센서에서 획득한 3차원 관절 좌표들에 대해서, 단순한 좌표 값의 평균을 통해 정합을 수행하였을 때에는 신뢰도가 낮은 센서 카메라의 관절 정보가 함께 계산될 수 있다. 따라서 이를 처리하기 위한 센서와 관절의 위치 관계가 중요하게 작용될 수 있다.

이 때, 센서 신뢰 범위 기반 관절 좌표 신뢰도는 겹침 현상이 발생하는 경우에, 겹침 현상에 상응하는 적어도 둘 이상의 3차원 관절 좌표 중 복수의 알지비 센서 및 깊이 센서와 거리가 가까운 3차원 관절 좌표가 더 높은 신뢰도를 가질 수 있다. 이와 같은 신뢰도 부여 방식은 겹침 현상에 의해 가려진 뒤쪽 관절, 즉 거리가 먼 3차원 관절 좌표에 대해 해당 센서에서의 영향력을 감소시키는 효과를 가져올 수 있다. 본 발명에서 고려하는 시스템의 구조는 다수의 시점에서 촬영된 다수 개의 3차원 관절 좌표를 다루므로, 센서와 3차원 관절 좌표 간의 위치관계를 고려하였을 때 각 센서 별로 3차원 관절 좌표에 대한 신뢰도가 다르게 작용할 수 있다. 따라서, 신뢰도에 대한 평균을 취했을 때 보다 정확한 3차원 관절 좌표에의 정합을 가능하게 할 수 있다.

이 때, 신체 방향 기반 관절 좌표 신뢰도는 사용자 위치를 기준으로 복수의 알지비 센서 및 깊이 센서가 좌측 센서군 및 우측 센서군 중 어느 하나로 분류되고, 센서군에 기반하여 3차원 관절 좌표들의 신뢰도가 결정될 수 있다. 본 발명에서의 시스템은 사용자의 전 방향을 촬영할 수 있도록 다수 개의 알지비 센서 및 깊이 센서를 다양한 시점에 설치하여 관절을 추출할 수 있다. 따라서 각 시점마다 촬영되는 사용자의 관절 정보가 다르게 나타날 수 있다. 이와 같이 각 시점마다 다르게 나타나는 관절 정보를 보다 정확하게 추출하기 위해서 센서군을 구분하여 신뢰도를 부여할 수 있다. 예를 들어, 센서의 시점에 따라 사용자의 왼쪽이 더 잘 잡히게 되는 좌측 센서군과 사용자의 오른쪽이 상대적으로 더 잘 잡히게 되는 우측 센서군으로 센서를 구분할 수 있다. 이와 같이 분류된 센서군에서 획득되는 3차원 관절 좌표들에 대해서 좌측 센서군은 사용자의 왼쪽 3차원 관절 좌표들에 높은 신뢰도를 줄 수 있고, 반대로 우측 센서군에는 오른쪽 3차원 관절 좌표들에 높은 신뢰도를 줄 수 있다.

이 때, 상기와 같이 센서군을 분류하기 위해서 본 발명에서는 초기 사용자의 위치를 지정하여줌으로써 사용자의 정면을 촬영하는 센서와 사용자의 후방을 촬영하는 센서의 정보를 획득할 수 있다. 이와 같이 획득한 정면 센서 및 후방 센서를 기반으로 하여 센서군을 분류할 수 있다.

이 때, 초기 사용자의 위치를 지정은 초기에 사용자의 위치를 저장함으로써 수동으로 초기화(initialization)하는 방법과 사용자의 얼굴 인식 및 사용자의 3차원 관절 좌표 분포 중 적어도 하나를 이용하여 자동으로 초기화 하는 방법 중 적어도 하나의 방법을 이용하여 수행할 수 있다. 이렇게 초기화된 초기 사용자의 위치를 바탕으로 센서군을 분류할 수 있다. 그리고 센서군에 따라 획득되는 3차원 관절 좌표의 신뢰도를 설정함으로써, 최종적인 3차원 인체 관절 정합 시에 신뢰도를 바탕으로 높은 정확도를 갖는 3차원 인체 관절 추출 결과를 획득할 수 있다.

이 때, 신체 정보 기반 관절 좌표 신뢰도는 기설정된 신체 비율에 상응하는 점들이 위치한 평면을 이용하여 3차원 관절 좌표들 중 연속된 3개의 관절에서 가운데에 상응하는 3차원 관절 좌표를 추정할 수 있다.

신체 정보 기반 관절 좌표 신뢰도를 산출하기 위해서는 인체 3차원 관절 좌표를 획득하고, 신체 비율 정보를 이용하여 획득한 인체 3차원 관절 좌표를 다시 추정할 수 있다. 이 후 최초에 획득한 인체 3차원 관절 좌표와 신체 비율 정보를 기반으로 추정된 3차원 관절 좌표의 차이를 비교하여 각 3차원 관절 좌표의 신뢰도를 산출할 수 있다. 따라서 신체 비율 정보를 기반으로 인체 3차원 관절 좌표를 다시 추정하는 과정에서 연속된 3개의 관절과 미리 정의된 신체 비율과 일치하는 점들이 놓인 평면을 이용할 수 있다. 연속된 3개의 관절에 대한 3차원 관절 좌표들 중 가운데 관절의 3차원 관절 좌표와 평면 위의 점들 중 가운데 관절의 3차원 관절 좌표와 가장 가까운 점 사이의 오차를 측정하여 인체 3차원 관절 좌표를 다시 추정할 수 있다.

이 때, 신체 정보 기반 관절 좌표 신뢰도는 적어도 하나 이상의 연속된 3개의 관절에 대해서 평면을 이용하여 추정된 3차원 관절 좌표가 변화가 없을 때까지 추정을 반복할 수 있다. 사용자의 몸 전체에 대해 3차원 관절 좌표의 추정을 수행하기 위해서 인체의 모든 연속적인 관절에 대해 3차원 관절 좌표의 추정을 수행할 수 있다. 또한, 추정된 3차원 관절 좌표에 변화가 없을 때까지 반복하여 수행함으로써 최종적으로 신체 비율 정보를 이용하여 추정된 3차원 관절 좌표를 계산할 수 있다.

또한, 본 발명의 일실시예에 따른 인체 관절 좌표 정합 방법은 적어도 하나의 관절 좌표 신뢰도를 이용하여 관절들마다 3차원 관절 좌표들을 하나의 3차원 관절 좌표로 정합할 수 있다(S130). 최종적으로 획득되는 센서 신뢰 범위 기반 관절 좌표 신뢰도, 신체 방향 기반 관절 좌표 신뢰도 및 신체 정보 기반 관절 좌표 신뢰도를 이용하여 관절들 각각에 대해 존재하는 다수의 3차원 관절 좌표들을 하나의 3차원 관절 좌표로 정합할 수 있다.

이 때, 적어도 하나의 관절 좌표 신뢰도에 따라 3차원 관절 좌표들에게 신뢰도 가중치를 부여하는 단계를 포함할 수 있고, 3차원 관절 좌표들의 신뢰도 가중치를 이용하여 3차원 관절 좌표들을 하나의 3차원 관절 좌표로 정합할 수 있다. 본 발명에 의해 획득될 수 있는 3개의 관절 좌표 신뢰도를 바탕으로 관절들 각각에 대한 복수의 3차원 관절 좌표들에 신뢰도 가중치를 줄 수 있다. 따라서, 신뢰도 가중치를 통해 보다 높은 정확도의 3차원 인체 관절 추출을 가능하도록 할 수 있다.

이 때, 평균, 곱, 가중치 합(weighted sum), 최대값 및 최소값 중 적어도 하나의 방법을 이용하여 신뢰도 가중치를 부여할 수 있다.

이와 같은 인체 관절 좌표 정합 방법을 이용하여 인체 관절들을 하나의 통일된 3차원 좌표계에 통합하여 나타냄으로써 높은 정확도 및 높은 몰입도를 갖는 인체 관절 추출이 가능할 수 있다.

도 2는 본 발명의 일실시예에 따른 인체 관절 좌표 정합 과정을 나타낸 도면이다.

도 2를 참조하면, 본 발명의 일실시예에 따른 인체 관절 좌표 정합 과정은 사용자를 기준으로 전 방향에 배치된 알지비 센서 및 깊이 센서(210, 211, 212)를 이용하여 사용자의 관절들 각각에 대한 3차원 관절 좌표들을 획득할 수 있다.

이 때, 알지비 센서 및 깊이 센서(210, 211, 212)는 사용자의 관절들을 전 방향에서 추출할 수 있도록 다수 개가 존재할 수 있다.

이후, 알지비 센서 및 깊이 센서(210, 211, 212)를 통해 획득한 3차원 관절 좌표들을 이용하여 관절 좌표 신뢰도(220)를 산출할 수 있다.

관절 좌표 신뢰도(220)는 센서의 신뢰 범위, 신체 방향 및 신체 정보 중 어느 것을 이용하느냐에 따라 각각 센서 신뢰 범위 기반 관절 좌표 신뢰도, 신체 방향 기반 관절 좌표 신뢰도 및 신체 정보 기반 관절 좌표 신뢰도의 형태로 산출될 수 있다.

이후 관절 좌표 신뢰도(220)를 이용하여 사용자의 관절들마다 추출된 3차원 관절 좌표들을 하나의 3차원 관절 좌표로 정합하여 정확도 높은 3차원 인체 관절 추출(230)을 수행할 수 있다.

도 3은 본 발명의 일실시예에 따른 센서 신뢰 범위 기반 관절 좌표 신뢰도의 추출 개념도를 나타낸 도면이다.

도 3을 참조하면, 본 발명의 일실시예에 따른 센서 신뢰 범위 기반 관절 좌표 신뢰도는 센서와 관절의 위치 관계를 고려하여 산출할 수 있다.

다 시점 센서에서 획득한 3차원 관절 좌표를 정합할 때 단순히 3차원 관절 좌표 값들의 평균을 통해 정합을 수행한다면, 신뢰도가 낮은 3차원 관절 좌표가 함께 계산될 수 있기 때문에 정합된 3차원 관절 좌표의 정확도가 떨어질 수 있다. 따라서, 센서와 관절의 위치관계에 따라 추출된 3차원 관절 좌표의 신뢰도를 산출하는 것이 중요하다.

관절 좌표 추출 개념도(310)는 인체의 모든 관절에 대해서 관절 겹침 현상(330)이 없이 비교적 정확한 관절 좌표도(311)를 획득할 수 있다. 또한, 센서에서 획득할 수 있는 관절의 개수를 모두 충족하며, 각 관절과 센서 사이의 거리가 대부분 동일하기 때문에 획득한 관절 좌표도(311)에 대해서 높은 신뢰도를 부여할 수 있다.

반면에 관절 좌표 추출 개념도(320)는 다수의 관절 겹침 현상(330)의 영향으로 인해 3차원 관절 좌표를 정확하게 획득할 수 없다. 관절 좌표 추출 개념도(320)에 상응하게 추출된 관절 좌표도(321)에서는 관절 겹침 현상(330)의 영향으로 인해 관절 좌표도(311)보다 검출되는 관절의 개수가 적을 수 있다. 또한, 거리를 기준으로 보았을 때, 센서와 각 관절과의 거리 차이 또한 그 편차가 크게 존재할 수 있다. 이러한 경우, 센서는 부족한 관절의 개수와 센서와의 거리의 편차를 고려하여 센서와 가까운 관절에 대해 보다 큰 신뢰도를 부여할 수 있다. 이와 같은 신뢰도 부여 방식은 관절 겹침 현상(330)에 의해 가려진 뒤쪽 관절, 즉 센서와 거리가 먼 3차원 관절 좌표에 대해 해당 센서에서의 영향력을 감소시키는 효과를 가져올 수 있다.

도 4는 본 발명의 일실시예에 따른 신체 방향 기반 관절 좌표 신뢰도의 추출 개념도를 나타낸 도면이다.

도 4를 참조하면, 본 발명의 일실시예에 따른 신체 방향 기반 관절 좌표 신뢰도는 사용자(400)의 위치를 기준으로 복수의 알지비 센서 및 깊이 센서가 좌측 센서군(430) 및 우측 센서군(440) 중 어느 하나로 분류되어 3차원 관절 좌표를 획득하는 것을 알 수 있다.

본 발명에서의 시스템은 사용자(400)의 전 방향을 촬영할 수 있도록 다수 개의 알지비 센서 및 깊이 센서를 다양한 시점에 설치하여 관절을 추출할 수 있다. 따라서 각 시점마다 획득되는 사용자(400)의 적어도 하나의 관절 정보는 차이가 있을 수 있다. 이와 같이 각 시점마다 다르게 나타나는 관절 정보를 하나의 3차원 관절 좌표로 정합할 때 보다 정확한 3차원 관절 좌표를 획득하기 위해서 알지비 센서 및 깊이 센서를 센서군으로 분류하여 각각의 센서군에서 획득한 3차원 관절 좌표에 신뢰도를 부여할 수 있다.

예를 들어, 사용자(400)의 위치에 대한 정면 센서(410)와 후면 센서(420)를 기준으로 알지비 센서 및 깊이 센서를 좌측 센서군(Left View Sensors)(430)과 우측 센서군(Right View Sensors)(440)으로 분류할 수 있다. 이 후 모든 센서들에서 획득되는 3차원 관절 좌표들에 대해서 좌측 센서군(430)은 사용자의 왼쪽 3차원 관절 좌표들에 높은 신뢰도를 줄 수 있고, 반대로 우측 센서군(440)은 사용자의 오른쪽 3차원 관절 좌표들에 높은 신뢰도를 줄 수 있다.

이 때, 좌측 센서군(430) 및 우측 센서군(440)과 같이 센서군을 분류하기 위해서 사용자(400)의 초기 위치를 지정하여줌으로써 사용자(400)의 정면을 촬영하는 정면 센서(410)와 사용자(400)의 정 후방을 촬영하는 후면 센서(420)의 정보를 획득할 수 있다. 이와 같이 획득한 정면 센서(410) 및 후면 센서(420)를 기반으로 센서군을 분류할 수 있다.

또한, 사용자(400)의 위치 지정은 초기에 사용자(400)의 위치를 저장함으로써 수동으로 초기화하는 방법과 사용자(400)의 얼굴 인식 및 사용자(400)의 관절 좌표 분포 중 적어도 하나를 이용하여 자동으로 초기화 하는 방법 중 적어도 하나의 방법을 이용하여 수행할 수 있다. 이렇게 초기화된 사용자(400)의 위치를 바탕으로 센서군을 분류할 수 있다. 그리고 센서군에 따라 획득되는 3차원 관절 좌표의 신뢰도를 설정함으로써, 최종적인 3차원 인체 관절 정합 시에 신뢰도를 바탕으로 높은 정확도를 갖는 3차원 인체 관절 추출 결과를 획득할 수 있다.

도 5는 본 발명의 일실시예에 따른 신체 비율 정보를 이용한 관절 좌표 추정 방법을 나타낸 도면이다.

도 5를 참조하면, 본 발명의 일실시예에 따른 신체 비율 정보를 이용한 관절 좌표 추정 방법은 3차원 관절 좌표들 중 연속된 3개의 관절(510, 520, 530) 중에서 가운데에 위치하는 관절(520)의 3차원 관절 좌표를 추정할 수 있다.

신체 비율 정보를 이용한 신체 정보 기반 관절 좌표 신뢰도를 산출하기 위해서는 인체의 3차원 관절 좌표를 회득하고, 신체 비율 정보를 이용하여 획득한 인체 3차원 관절 좌표를 다시 추정할 수 있다. 이 후 최초에 획득한 인체의 3차원 관절 좌표와 신체 비율 정보를 기반으로 추정된 3차원 관절 좌표의 차이를 비교하여 각 3차원 관절 좌표의 신뢰도를 산출할 수 있다. 따라서 신체 비율 정보를 기반으로 인체의 3차원 관절 좌표를 다시 추정하기 위해서 연속된 3개의 관절(510, 520, 530)과 미리 정의된 신체 비율과 일치하는 점들이 높은 평면(540)을 이용할 수 있다.

연속된 3개의 관절(510, 520, 530)에 대한 3차원 관절 좌표들 중 가운데에 위치한 관절(520)의 3차원 관절 좌표와 평면(540) 위의 점들 중 가운데에 위치한 관절(520)의 3차원 관절 좌표와 가장 가까운 점(521) 사이의 오차를 측정할 수 있다. 이렇게 측정한 오차를 이용하여 인체 3차원 관절 좌표를 다시 추정할 수 있다.

도 6은 본 발명의 일실시예에 따른 관절 좌표 추정 반복 방법을 나타낸 도면이다.

도 6을 참조하면, 본 발명의 일실시예에 따른 관절 좌표 추정 반복 방법은 연속된 3개의 관절(610, 620, 630)에 대해서 신체 비율 정보를 이용하여 추정된 3차원 관절 좌표와 비교하여 변화가 없을 때까지 추정을 반복할 수 있다.

사용자의 몸 전체에 대해 획득한 3차원 관절 좌표에 대해서 신체 정보 기반 관절 좌표 신뢰도를 산출하기 위해서 3차원 관절 좌표들 중 모든 연속된 3개의 관절(610, 620, 630)에 대해 3차원 관절 좌표의 추정을 수행할 수 있다.

예를 들어, 연속된 3개의 관절(610)을 이용하여 연속된 3개의 관절(610) 중 가운데 관절(611)의 3차원 관절 좌표에 대해 추정을 수행할 수 있다. 이후 다음 연속된 3개의 관절(620)을 이용하여 연속된 3개의 관절(620) 중 가운데 관절(621)의 3차원 관절 좌표에 대해 추정을 수행할 수 있다. 이후 그 다음 연속된 3개의 관절(630)을 이용하여 연속된 3개의 관절(630) 중 가운데 관절(631)의 3차원 관절 좌표에 대해 추정을 수행할 수 있다. 이와 같은 방법으로 모든 연속적인 관절에 대해 추정된 3차원 관절 좌표가 변화가 없을 때까지 추정을 반복하여 최종적으로 신체 비율 정보를 이용하여 추정된 3차원 관절 좌표를 계산할 수 있다.

도 7은 본 발명의 일실시예에 따른 인체 관절 좌표 정합 장치를 나타낸 블록도이다.

도 7을 참조하면, 본 발명의 일실시예에 따른 인체 관절 좌표 정합 장치(700)는 좌표 획득부(710), 신뢰도 산출부(720) 및 좌표 정합부(730)를 포함할 수 있다.

좌표 획득부(710)는 전 방향에 배치된 복수의 알지비(RGB, Red-Green-Blue) 센서 및 깊이 센서를 이용하여 관절들 각각에 대한 3차원 관절 좌표들을 획득할 수 있다.

인체 관절의 좌표를 추출하는 방법으로는 인체의 각 관절에 움직임을 캡쳐할 수 있는 센서를 부착하여 추출하는 방법이 현재 다양하게 사용되고 있다. 하지만 움직임 센서 기반의 관절 추출 기술은 시간이 지날수록 오차가 누적되어 정확한 측정이 어렵다. 또한, 고가의 움직임 센서를 다수 개 구입해서 사용해야 하므로 비용적인 측면에서도 단점이 존재한다. 뿐만 아니라, 인체에 다수 개의 센서를 부착함으로써 사용자의 움직임에 불편함을 줄 수 있고 몰입감을 저해하기 때문에 정확한 관절 측정이 어려울 수 있다.

인체 관절의 좌표를 추출하는 다른 방법 중 한가지로 깊이 영상 및 RGB 영상 센서를 활용한 기술도 다양하게 연구되었다. 영상 기반의 인체 관절 추출 방법은 센서 기반 기술에 비해 적은 비용으로 관절 추출이 가능하다. 또한 인체에 센서를 부착하지 않으므로 사용자의 편의성 및 몰입감을 향상시킬 수 있다. 그러나, 영상 기반의 인체 관절 추출 방법은 센서 기반 기술에 비해 복잡도가 높은 편이며 정확성이 낮다는 단점이 존재한다. 또한, 사용자에 대해서 전 방향 관절 추출이 어렵고, 겹침 현상(occlusion)이 발생할 수 있어 정확도 향상이 어려울 수 있다.

본 발명은 이와 같은 영상 기반의 인체 관절 추출 방법의 정확성을 향상시킬 수 있는 방법을 제공할 수 있다. 따라서 사용자의 전 방향에 대해 인체 관절을 추출할 필요가 있다. 따라서, 사용자를 기준으로 모든 방향에 복수 개의 알지비 센서와 깊이 센서를 배치하여 인체 관절들 각각에 대해서 3차원 관절 좌표들을 획득할 수 있다. 예를 들어, 전 방향에 배치된 센서들이 n개 라고 한다면 인체 관절들 각각에 대해 n개씩 3차원 관절 좌표를 획득할 수 있다.

신뢰도 산출부(720)는 센서의 신뢰 범위, 신체 방향 및 신체 정보 중 어느 하나를 이용하여 3차원 관절 좌표들에 대한 적어도 하나의 관절 좌표 신뢰도를 산출할 수 있다. 인체 관절들 중 어떤 특정 관절에 대한 3차원 관절 좌표는 전 방향에 배치된 센서들의 수에 따라 복수 개의 좌표로 추출될 수 있다. 따라서 특정 관절에 대한 복수 개의 3차원 관절 좌표들 각각에 대해 신뢰도를 산출하여 추후 모든 좌표들을 하나의 좌표계에 정합할 때 이용할 수 있다.

이 때, 센서의 신뢰 범위, 신체 방향 및 신체 정보에 따라 각각 센서 신뢰 범위 기반 관절 좌표 신뢰도, 신체 방향 기반 관절 좌표 신뢰도 및 신체 정보 기반 관절 좌표 신뢰도를 산출할 수 있다.

이 때, 복수의 알지비 센서 및 깊이 센서와 3차원 관절 좌표들의 위치를 고려하여 센서 신뢰 범위 기반 관절 좌표 신뢰도를 산출할 수 있다. 다양한 시점의 센서에서 획득한 3차원 관절 좌표들에 대해서, 단순한 좌표 값의 평균을 통해 정합을 수행하였을 때에는 신뢰도가 낮은 센서 카메라의 관절 정보가 함께 계산될 수 있다. 따라서 이를 처리하기 위한 센서와 관절의 위치 관계가 중요하게 작용될 수 있다.

이 때, 센서 신뢰 범위 기반 관절 좌표 신뢰도는 겹침 현상이 발생하는 경우에, 겹침 현상에 상응하는 적어도 둘 이상의 3차원 관절 좌표 중 복수의 알지비 센서 및 깊이 센서와 거리가 가까운 3차원 관절 좌표가 더 높은 신뢰도를 가질 수 있다. 이와 같은 신뢰도 부여 방식은 겹침 현상에 의해 가려진 뒤쪽 관절, 즉 거리가 먼 3차원 관절 좌표에 대해 해당 센서에서의 영향력을 감소시키는 효과를 가져올 수 있다. 본 발명에서 고려하는 시스템의 구조는 다수의 시점에서 촬영된 다수 개의 3차원 관절 좌표를 다루므로, 센서와 3차원 관절 좌표 간의 위치관계를 고려하였을 때 각 센서 별로 3차원 관절 좌표에 대한 신뢰도가 다르게 작용할 수 있다. 따라서, 신뢰도에 대한 평균을 취했을 때 보다 정확한 3차원 관절 좌표에의 정합을 가능하게 할 수 있다.

이 때, 신체 방향 기반 관절 좌표 신뢰도는 사용자 위치를 기준으로 복수의 알지비 센서 및 깊이 센서가 좌측 센서군 및 우측 센서군 중 어느 하나로 분류되고, 센서군에 기반하여 3차원 관절 좌표들의 신뢰도가 결정될 수 있다. 본 발명에서의 시스템은 사용자의 전 방향을 촬영할 수 있도록 다수 개의 알지비 센서 및 깊이 센서를 다양한 시점에 설치하여 관절을 추출할 수 있다. 따라서 각 시점마다 촬영되는 사용자의 관절 정보가 다르게 나타날 수 있다. 이와 같이 각 시점마다 다르게 나타나는 관절 정보를 보다 정확하게 추출하기 위해서 센서군을 구분하여 신뢰도를 부여할 수 있다. 예를 들어, 센서의 시점에 따라 사용자의 왼쪽이 더 잘 잡히게 되는 좌측 센서군과 사용자의 오른쪽이 상대적으로 더 잘 잡히게 되는 우측 센서군으로 센서를 구분할 수 있다. 이와 같이 분류된 센서군에서 획득되는 3차원 관절 좌표들에 대해서 좌측 센서군은 사용자의 왼쪽 3차원 관절 좌표들에 높은 신뢰도를 줄 수 있고, 반대로 우측 센서군에는 오른쪽 3차원 관절 좌표들에 높은 신뢰도를 줄 수 있다.

이 때, 상기와 같이 센서군을 분류하기 위해서 본 발명에서는 초기 사용자의 위치를 지정하여줌으로써 사용자의 정면을 촬영하는 센서와 사용자의 후방을 촬영하는 센서의 정보를 획득할 수 있다. 이와 같이 획득한 정면 센서 및 후방 센서를 기반으로 하여 센서군을 분류할 수 있다.

이 때, 초기 사용자의 위치를 지정은 초기에 사용자의 위치를 저장함으로써 수동으로 초기화(initialization)하는 방법과 사용자의 얼굴 인식 및 사용자의 관절 좌표 분포 중 적어도 하나를 이용하여 자동으로 초기화 하는 방법 중 적어도 하나의 방법을 이용하여 수행할 수 있다. 이렇게 초기화된 초기 사용자의 위치를 바탕으로 센서군을 분류할 수 있다. 그리고 센서군에 따라 획득되는 3차원 관절 좌표의 신뢰도를 설정함으로써, 최종적인 3차원 인체 관절 정합 시에 신뢰도를 바탕으로 높은 정확도를 갖는 3차원 인체 관절 추출 결과를 획득할 수 있다.

이 때, 신체 정보 기반 관절 좌표 신뢰도는 기설정된 신체 비율에 상응하는 점들이 위치한 평면을 이용하여 3차원 관절 좌표들 중 연속된 3개의 관절에서 가운데에 상응하는 3차원 관절 좌표를 추정할 수 있다.

신체 정보 기반 관절 좌표 신뢰도를 산출하기 위해서는 인체 3차원 관절 좌표를 획득하고, 신체 비율 정보를 이용하여 획득한 인체 3차원 관절 좌표를 다시 추정할 수 있다. 이 후 최초에 획득한 인체 3차원 관절 좌표와 신체 비율 정보를 기반으로 추정된 3차원 관절 좌표의 차이를 비교하여 각 3차원 관절 좌표의 신뢰도를 산출할 수 있다. 따라서 신체 비율 정보를 기반으로 인체 3차원 관절 좌표를 다시 추정하는 과정에서 연속된 3개의 관절과 미리 정의된 신체 비율과 일치하는 점들이 놓인 평면을 이용할 수 있다. 연속된 3개의 관절에 대한 3차원 관절 좌표들 중 가운데 관절의 3차원 관절 좌표와 평면 위의 점들 중 가운데 관절의 3차원 관절 좌표와 가장 가까운 점 사이의 오차를 측정하여 인체 3차원 관절 좌표를 다시 추정할 수 있다.

이 때, 신체 정보 기반 관절 좌표 신뢰도는 적어도 하나 이상의 연속된 3개의 관절에 대해서 평면을 이용하여 추정된 3차원 관절 좌표가 변화가 없을 때까지 추정을 반복할 수 있다. 사용자의 몸 전체에 대해 3차원 관절 좌표의 추정을 수행하기 위해서 인체의 모든 연속적인 관절에 대해 3차원 관절 좌표의 추정을 수행할 수 있다. 또한, 추정된 3차원 관절 좌표에 변화가 없을 때까지 반복하여 수행함으로써 최종적으로 신체 비율 정보를 이용하여 추정된 3차원 관절 좌표를 계산할 수 있다.

좌표 정합부(730)는 적어도 하나의 관절 좌표 신뢰도를 이용하여 관절들마다 3차원 관절 좌표들을 하나의 3차원 관절 좌표로 정합할 수 있다. 최종적으로 획득되는 센서 신뢰 범위 기반 관절 좌표 신뢰도, 신체 방향 기반 관절 좌표 신뢰도 및 신체 정보 기반 관절 좌표 신뢰도를 이용하여 관절들 각각에 대해 존재하는 다수의 3차원 관절 좌표들을 하나의 3차원 관절 좌표로 정합할 수 있다.

이 때, 적어도 하나의 관절 좌표 신뢰도에 따라 3차원 관절 좌표들에게 신뢰도 가중치를 부여하는 단계를 포함할 수 있고, 3차원 관절 좌표들의 신뢰도 가중치를 이용하여 3차원 관절 좌표들을 하나의 3차원 관절 좌표로 정합할 수 있다. 본 발명에 의해 획득될 수 있는 3개의 관절 좌표 신뢰도를 바탕으로 관절들 각각에 대한 복수의 3차원 관절 좌표들에 신뢰도 가중치를 줄 수 있다. 따라서, 신뢰도 가중치를 통해 보다 높은 정확도의 3차원 인체 관절 추출을 가능하도록 할 수 있다.

이 때, 평균, 곱, 가중치 합(weighted sum), 최대값 및 최소값 중 적어도 하나의 방법을 이용하여 신뢰도 가중치를 부여할 수 있다.

이와 같은 인체 관절 좌표 정합 장치(700)를 이용하여 인체 3차원 관절 좌표를 정확하게 정합함으로써 기존의 움직임 캡쳐 센서 기반의 자세인식 기술의 단점 및 영상 기반 자세 인식 기술의 단점을 극복하는데 도움이 될 수 있다.

이상에서와 같이 본 발명에 따른 알지비 센서 및 깊이 센서 기반 3차원 인체 관절좌표 정합 장치 및 방법은 상기한 바와 같이 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.

310, 320: 관절 좌표 추출 개념도 311, 312: 관절 좌표도
330: 관절 겹침 현상 400: 사용자
410: 정면 센서 420: 후면 센서
430: 좌측 센서군 440: 우측 센서군
510, 520, 530: 관절
521: 3차원 관절 좌표와 가장 가까운 점
540: 평면 610, 620, 630: 연속된 3개의 관절
611, 621, 631: 가운데 관절 700: 인체 관절 좌표 정합 장치
710: 좌표 획득부 720: 신뢰도 산출부
730: 좌표 정합부

Claims (1)

1. 전 방향에 배치된 복수의 알지비(RGB, Red-Green-Blue) 센서 및 깊이 센서를 이용하여 관절들 각각에 대한 3차원 관절 좌표들을 획득하는 단계;
   센서의 신뢰 범위, 신체 방향 및 신체 정보 중 어느 하나를 이용하여 상기 3차원 관절 좌표들에 대한 적어도 하나의 관절 좌표 신뢰도를 산출하는 단계; 및
   상기 적어도 하나의 관절 좌표 신뢰도를 이용하여 상기 관절들마다 상기 3차원 관절 좌표들을 하나의 3차원 관절 좌표로 정합하는 단계
   를 포함하는 것을 특징으로 하는 인체 관절 좌표 정합 방법.

Images