KR102299936B1 - 카메라로 촬영된 객체 추적을 위한 자세 추정 방법 및 시스템 - Google Patents

Abstract

실시예에 따른 제1 이미지 센서가 가이드 도구와 타겟 객체를 촬영하여 획득한 제1 영상에서 서버 시스템의 프로세서가 자세 추적 어플리케이션을 동작시켜 상기 자세 추적 어플리케이션이 상기 가이드 도구를 추적하기 위한 자세 추정 방법에 있어서, 상기 자세 추적 어플리케이션이 상기 제1 이미지 센서를 캘리브레이션하여 상기 제1 이미지 센서의 내부 파라미터 및 자세를 획득하는 단계; 상기 자세 추적 어플리케이션이 상기 제1 이미지 센서에서 촬영된 제1 영상을 수신하는 단계; 상기 자세 추적 어플리케이션이 상기 제1 영상 내의 상기 타겟 객체에 대하여 제1 공간 좌표계를 설정하는 단계; 상기 자세 추적 어플리케이션이 상기 제1 공간 좌표계를 기초하여 상기 타겟 객체에 대한 상대적인 자세를 계산하여 제1 타겟 상대 자세를 추정하는 단계; 및 상기 자세 추적 어플리케이션이 상기 제1 타겟 상대 자세를 상기 제1 이미지 센서 자세에 대하여 원점 자세로 설정하도록 상기 제1 이미지 센서 자세를 변환하여 제1 이미지 센서 변환 자세를 획득하는 단계;를 포함하는 카메라로 촬영된 객체 추적을 위한 자세 추정 방법을 제공할 수 있다.

Description

카메라로 촬영된 객체 추적을 위한 자세 추정 방법 및 시스템{METHOD AND SYSTEM FOR POSTURE ESTIMATION ABOUT OBJECT TRACKING TAKEN BY CAMERA}

본 발명은 카메라로 촬영된 객체 추적을 위한 자세 추정 방법 및 시스템에 관한 것이다. 보다 상세하게는, 자세 추정을 위한 원점을 변환하여 객체의 자세 추정 절차를 간소화하면서 정확하게 객체의 자세를 추정할 수 있는 카메라로 촬영된 객체 추적을 위한 자세 추정 방법 및 시스템에 관한 것이다.

현대의 컴퓨팅 및 디스플레이 기술들은, 소위 "가상 현실(Virtual Reality, VR)" 또는 "증강 현실(Augmented Reality, AR)" 경험들을 위한 시스템들의 개발을 가능하게 하며, 디지털적으로 재생된 이들의 이미지들 또는 부분들은 이들이 실제인 것 같은 또는 실제인 것으로 인식될 수 있는 방식으로 사용자에게 제시된다.

가상 현실의 시나리오는, 다른 실제의 실 세계 시각 입력에 투명하지 않은 디지털 또는 가상 이미지 정보의 표현을 통상적으로 포함하며, 증강 현실의 시나리오는, 사용자 주위의 실제 세계의 가시화에 대한 증강으로서 디지털 또는 가상 이미지 정보의 표현을 통상적으로 포함한다.

최근, 조작 도구 실제 물체 및 작업 대상 실제 물체에 상호 작용을 할 수 있는 가상 객체를 증강하여 소정의 작업 또는 훈련을 할 수 있는 증강 현실 환경 서비스가 요구되는 실정이다. 특히, 수시로 움직이는 스마트 글라스와 같은 증강 현실 제공 장치를 착용한 사용자가 증강된 조작 도구를 이용하여 증강된 작업 대상에 대한 작업 또는 훈련을 할 수 있는 증강 현실 환경 서비스가 요구 된다. 이때, 조작 도구과 작업 대상에 가상객체를 증강하기 위하여 조작 도구와 작업 대상의 자세를 추정하는 기술이 필요하다. 종래 기술은, 증강 현실 제공 장치의 카메라를 원점으로 하여 조작 도구와 작업 대상에 대한 자세를 추정한다.

그러나, 종래 기술은 증강 현실 제공 장치가 수시로 움직일 때마다 자세 추정을 위한 원점이 변경되어 조작 도구와 작업 대상의 자세 추정의 복잡도와 계산량이 증가하여 실시간 증강 현실을 제공하는데 많은 제약이 있었다. 마찬가지로, 다수의 사용자가 동일한 증강 현실 환경에서 작업 또는 훈련을 할 경우, 종래 기술은 복수의 증강 현실 제공 장치가 움직이기 때문에 조작 도구 및 작업 대상의 추정의 복잡도와 계산량이 기하 급수적으로 증가하여 실시간 증강 현실을 제공하는데 한계가 있었다.

10-2016-0001699 A

본 발명은, 자세 추정을 위한 원점을 변환하여 객체의 자세 추정 절차를 간소화하면서 정확하게 객체의 자세를 추정할 수 있는 방법 및 시스템을 구현하는데 그 목적이 있다.

자세히, 본 발명은, 카메라가 실시간으로 움직여도 실제 객체에 대한 자세를 신속하고 정확하게 추정할 수 있는 방법 및 시스템을 구현하는데 그 목적이 있다.

또한, 본 발명은, 카메라가 실시간으로 움직여도 복수의 실제 객체에 대한 자세를 신속하고 정확하게 추정할 수 있는 방법 및 시스템을 구현하는데 그 목적이 있다.

또한, 본 발명은, 복수의 카메라가 실시간으로 움직여도 복수의 실제 객체에 대한 자세를 신속하고 정확하게 추정할 수 있는 방법 및 시스템을 구현하는데 그 목적이 있다.

또한, 본 발명은, 카메라가 실시간으로 움직여도 복수의 실제 객체에 가상 컨텐츠를 증강하고 증강된 실제 객체 사이에 상호작용하는 혼합 현실 환경을 제공할 수 있는 방법 및 시스템을 구현하는데 그 목적이 있다.

또한, 본 발명은 인접한 환경내에서 카메라가 장착된 증강 현실 제공 장치를 착용한 다수의 사용자가 하나의 증강된 작업 대상에 대해 동시 작업을 할 수 있는 방법 및 시스템을 구현하는데 그 목적이 있다.

실시예에 따른 제1 이미지 센서가 가이드 도구와 타겟 객체를 촬영하여 획득한 제1 영상에서 서버 시스템의 프로세서가 자세 추적 어플리케이션을 동작시켜 상기 자세 추적 어플리케이션이 상기 가이드 도구를 추적하기 위한 자세 추정 방법에 있어서, 상기 자세 추적 어플리케이션이 상기 제1 이미지 센서를 캘리브레이션하여 상기 제1 이미지 센서의 내부 파라미터 및 자세를 획득하는 단계; 상기 자세 추적 어플리케이션이 상기 제1 이미지 센서에서 촬영된 제1 영상을 수신하는 단계; 상기 자세 추적 어플리케이션이 상기 제1 영상 내의 상기 타겟 객체에 대하여 제1 공간 좌표계를 설정하는 단계; 상기 자세 추적 어플리케이션이 상기 제1 공간 좌표계를 기초하여 상기 타겟 객체에 대한 상대적인 자세를 계산하여 제1 타겟 상대 자세를 추정하는 단계; 및 상기 자세 추적 어플리케이션이 상기 제1 타겟 상대 자세를 상기 제1 이미지 센서 자세에 대하여 원점 자세로 설정하도록 상기 제1 이미지 센서 자세를 변환하여 제1 이미지 센서 변환 자세를 획득하는 단계;를 포함하는 카메라로 촬영된 객체 추적을 위한 자세 추정 방법을 제공할 수 있다.

다른 측면에서, 상기 자세 추적 어플리케이션이 상기 제1 공간 좌표계에서 상기 설정된 원점 자세에 기초하여 상기 가이드 도구의 상대적인 자세를 계산하여 가이드 도구 상대 자세를 추정하는 단계; 및 상기 자세 추적 어플리케이션이 상기 추정된 가이드 도구 상대 자세에 기초하여 상기 가이드 도구를 추적하는 단계;를 포함하는 카메라로 촬영된 객체 추적을 위한 자세 추정 방법을 제공할 수 있다.

다른 측면에서, 제2 이미지 센서가 상기 가이드 도구와 상기 타겟 객체를 촬영하여 상기 제2 이미지 센서가 제2 영상을 획득하고, 상기 자세 추적 어플리케이션이 상기 제2 이미지 센서를 각각 캘리브레이션하여 상기 제2 이미지 센서의 내부 파라미터 및 자세를 획득하는 단계; 상기 자세 추적 어플리케이션이 상기 제2 이미지 센서에서 촬영된 제2 영상을 수신하는 단계; 상기 자세 추적 어플리케이션이 상기 제2 영상 내의 상기 타겟 객체에 대하여 제2 공간 좌표계를 설정하는 단계; 상기 자세 추적 어플리케이션이 상기 제2 공간 좌표계를 기초하여 상기 타겟 객체에 대한 상대적인 자세를 계산하여 제2 타겟 상대 자세를 추정하는 단계; 및 상기 자세 추적 어플리케이션이 상기 제2 공간 좌표계에서 상기 제2 타겟 상대 자세를 상기 제2 이미지 센서 자세에 대하여 원점 자세로 설정하도록 상기 제2 이미지 센서 자세를 변환하여 제2 이미지 센서 변환 자세를 획득하는 단계;를 포함하는 카메라로 촬영된 객체 추적을 위한 자세 추정 방법을 제공할 수 있다.

다른 측면에서, 상기 자세 추적 어플리케이션이 상기 제2 공간 좌표계에서 상기 설정된 원점 자세에 기초하여 상기 가이드 도구의 상대적인 자세를 계산하여 제1-2 가이드 도구 상대 자세를 추정하는 단계; 및 상기 자세 추적 어플리케이션이, 상기 제2 영상에서, 상기 제1-2 가이드 도구 상대 자세에 기초하여 상기 가이드 도구를 추적하는 단계;를 포함하는 카메라로 촬영된 객체 추적을 위한 자세 추정 방법을 제공할 수 있다.

또 다른 측면에서 제1 웨어러블 타입 컴퓨팅 디바이스이 제1 이미지 센서로 타겟 객체 및 제1 가이드 도구를 촬영하여 획득한 제1 영상에서 서버 시스템의 프로세서가 혼합 현실 어플리케이션을 동작시켜 상기 혼합 현실 어플리케이션이 상기 제1 가이드 도구를 추적하고 혼합 현실 환경을 제공하는 카메라로 촬영된 객체 추적을 위한 자세 추정 방법에 있어서, 상기 혼합 현실 어플리케이션이 상기 제1 이미지 센서를 캘리브레이션하여 상기 제1 이미지 센서의 내부 파라미터 및 자세를 획득하는 단계; 상기 혼합 현실 어플리케이션이 상기 제1 이미지 센서에서 촬영된 제1 영상을 수신하는 단계; 상기 혼합 현실 어플리케이션이 상기 제1 영상 내의 상기 타겟 객체에 대하여 제1 공간 좌표계를 설정하는 단계; 상기 혼합 현실 어플리케이션이 상기 제1 공간 좌표계를 기초하여 상기 타겟 객체에 대한 상대적인 자세를 계산하여 제1 타겟 상대 자세를 추정하는 단계; 상기 혼합 현실 어플리케이션이 상기 타겟 상대 자세를 상기 제1 이미지 센서 자세에 대하여 원점 자세로 설정하도록 상기 제1 이미지 센서 자세를 변환하여 제1 이미지 센서 변환 자세를 획득하는 단계; 및 상기 혼합 현실 어플리케이션이 상기 제1 공간 좌표계에서 상기 설정된 원점 자세에 기초하여 상기 제1 가이드 도구의 상대적인 자세를 계산하여 제1 가이드 도구 상대 자세를 추정하는 단계;를 포함하는 카메라로 촬영된 객체 추적을 위한 자세 추정 방법을 제공할 수 있다.

다른 측면에서, 상기 혼합 현실 어플리케이션이 상기 추정된 제1 가이드 도구 상대 자세에 기초하여 상기 제1 가이드 도구를 추적하는 단계; 상기 혼합 현실 어플리케이션이 상기 타겟 객체에 대응한 제1 가상 컨텐츠를 생성하고, 상기 추적된 제1 가이드 도구에 대응한 제2 가상 컨텐츠 생성하는 단계; 및 상기 혼합 현실 어플리케이션이, 상기 제1 영상에서, 상기 타겟 객체의 원점 자세에 기초하여 상기 타겟 객체에 상기 제1 가상 컨텐츠를 증강하고, 상기 제1 가이드 도구 상대 자세에 기초하여 상기 제1 가이드 도구에 제2 가상 컨텐츠를 증강하여 혼합 현실 환경을 제공하는 단계;를 더 포함하는 카메라로 촬영된 객체 추적을 위한 자세 추정 방법을 제공할 수 있다.

다른 측면에서, 제2 웨어러블 타입 컴퓨팅 장치가 제2 이미지 센서로 타겟 객체, 제1 가이드 도구 및 제2 가이드 도구를 촬영하여 제2 영상을 획득하고, 상기 혼합 현실 어플리케이션이 상기 제2 이미지 센서를 캘리브레이션하여 상기 제2 이미지 센서의 내부 파라미터 및 자세를 획득하는 단계; 상기 혼합 현실 어플리케이션이 상기 제2 이미지 센서에서 촬영된 제2 영상을 수신하는 단계; 상기 혼합 현실 어플리케이션이 상기 제2 영상 내의 상기 타겟 객체에 대하여 제2 공간 좌표계를 설정하는 단계; 상기 혼합 현실 어플리케이션이 상기 제2 공간 좌표계를 기초하여 상기 타겟 객체에 대한 상대적인 자세를 계산하여 제2 타겟 상대 자세를 추정하는 단계; 상기 혼합 현실 어플리케이션이 상기 제2 타겟 상대 자세를 상기 제2 이미지 센서 자세에 대하여 원점 자세로 설정하도록 상기 제2 이미지 센서 자세를 변환하여 제2 이미지 센서 변환 자세를 획득하는 단계; 상기 혼합 현실 어플리케이션이 상기 제2 공간 좌표계에서 상기 설정된 원점 자세에 기초하여 상기 제2 가이드 도구의 상대적인 자세를 계산하여 제2 가이드 도구 상대 자세를 추정하고, 상기 제2 공간 좌표계에서 상기 설정된 원점 자세에 기초하여 상기 제1 가이드 도구의 상대적인 자세를 계산하여 제1-2 가이드 도구 상대 자세를 추정하는 단계; 상기 혼합 현실 어플리케이션이, 상기 제2 영상에서, 상기 제2 추정된 가이드 도구 상대 자세에 기초하여 상기 제2 가이드 도구를 추적하고, 상기 제1-2 추정된 가이드 도구 상대 자세에 기초하여 상기 제1 가이드 도구를 추적하는 단계; 상기 혼합 현실 어플리케이션이 상기 추적된 제2 가이드 도구에 대응한 제3 가상 컨텐츠 생성하는 단계; 및 상기 혼합 현실 어플리케이션이, 상기 제2 영상에서, 상기 타겟 객체의 원점 자세에 기초하여 상기 타겟 객체에 상기 제1 가상 컨텐츠를 증강하고, 상기 제2 가이드 도구 상대 자세에 기초하여 상기 제2 가이드 도구에 상기 제3 가상 컨텐츠를 증강하고, 상기 제1-2 가이드 도구 상대 자세에 기초하여 상기 제1 가이드 도구에 상기 제2 가상 컨텐츠를 증강하여 혼합 현실 환경을 제공하는 단계;를 더 포함하는 카메라로 촬영된 객체 추적을 위한 자세 추정 방법을 제공할 수 있다.

본 발명의 실시예에 따른 카메라로 촬영된 객체 추적을 위한 자세 추정 방법 및 시스템은, 자세 추정을 위한 원점을 변환하여 객체의 자세 추정 절차를 간소화하면서 정확하게 객체의 자세를 추정할 수 있다.

또한, 카메라로 촬영된 객체 추적을 위한 자세 추정 방법 및 시스템은, 카메라가 실시간으로 움직여도 실제 객체에 대한 자세를 신속하고 정확하게 추정할 수 있다.

또한, 카메라로 촬영된 객체 추적을 위한 자세 추정 방법 및 시스템은, 카메라가 실시간으로 움직여도 복수의 실제 객체에 대한 자세를 신속하고 정확하게 추정할 수 있다.

또한, 카메라로 촬영된 객체 추적을 위한 자세 추정 방법 및 시스템은, 복수의 카메라가 실시간으로 움직여도 복수의 실제 객체에 대한 자세를 신속하고 정확하게 추정할 수 있다.

또한, 카메라로 촬영된 객체 추적을 위한 자세 추정 방법 및 시스템은, 카메라가 실시간으로 움직여도 복수의 실제 객체에 가상 컨텐츠를 증강하고 증강된 실제 객체 사이에 상호작용하는 혼합 현실 환경을 제공할 수 있다.

또한, 카메라로 촬영된 객체 추적을 위한 자세 추정 방법 및 시스템은, 인접한 환경내에서 카메라가 장착된 증강 현실 제공 장치를 착용한 다수의 사용자가 하나의 증강된 작업 대상에 대해 동시 작업을 할 수 있다.

도 1은 본 발명의 실시예에 따른 카메라로 촬영된 객체 추적을 위한 자세 추정 시스템의 개념도이다.
도 2는 본 발명의 실시예에 따른 웨어러블 웨어러블 타입의 컴퓨팅 디바이스의 내부 블록도이다.
도 3은 본 발명의 실시예에 따른 카메라로 촬영된 객체 추적을 위한 자세 추정 방법을 설명하기 위한 흐름도이다.
도 4는 도 3 및 도 5의 각 구성에 대한 자세 정보 획득 및 원점 변경에 따른 각 구성에 대한 상대적인 전환 관계를 설명하기 위한 예시도이다.
도 5은 도 3의 추적을 위한 자세 추정 방법에서 카메라가 추가된 경우 추가된 카메라로 촬영된 객체 추적을 위한 자세 추정 방법을 추가 설명하기 위한 흐름도이다.
도 6은 본 발명의 실시예에 따른 카메라로 촬영된 객체 추적을 위한 자세 추정 방법을 이용한 혼합 현실 환경 제공 방법을 설명하기 위한 예시도이다.
도 7은 도 6의 혼합 현실 환경 제공 방법을 이용하여 의료 수술 현장에 관한 혼합 현실 환경 서비스를 제공하는 모습의 예시도이다.
도 8은 도 6의 혼합 현실 환경 제공 방법에서 혼합 현실 환경을 제공 받는 사용자가 추가된 경우 복수의 사용자에게 혼합 현실 환경 제공 방법을 설명하기 위한 예시도이다.
도 9는 도 8의 혼합 현실 환경 제공 방법을 이용하여 의료 수술 현장에 관한 복수의 사용자에게 혼합 현실 환경 서비스를 제공하는 모습의 예시도이다.

본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 본 발명의 효과 및 특징, 그리고 그것들을 달성하는 방법은 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 다양한 형태로 구현될 수 있다. 이하의 실시예에서, 제1, 제2 등의 용어는 한정적인 의미가 아니라 하나의 구성 요소를 다른 구성 요소와 구별하는 목적으로 사용되었다. 또한, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 또한, 포함하다 또는 가지다 등의 용어는 명세서상에 기재된 특징, 또는 구성요소가 존재함을 의미하는 것이고, 하나 이상의 다른 특징들 또는 구성요소가 부가될 가능성을 미리 배제하는 것은 아니다. 또한, 도면에서는 설명의 편의를 위하여 구성 요소들이 그 크기가 과장 또는 축소될 수 있다. 예컨대, 도면에서 나타난 각 구성의 크기 및 두께는 설명의 편의를 위해 임의로 나타내었으므로, 본 발명이 반드시 도시된 바에 한정되지 않는다.

이하, 첨부된 도면을 참조하여 본 발명의 실시예들을 상세히 설명하기로 하며, 도면을 참조하여 설명할 때 동일하거나 대응하는 구성 요소는 동일한 도면부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.

본 발명은, 카메라를 원점으로 하는 것이 아니라 하나의 고정된 실제 객체에 대한 자세를 원점으로 하여 카메라가 실제 객체의 자세를 추정할 수 있다. 이때, 자세는 6자유도와 위치를 함께 포함하는 용어이다. 상기 자세 추정 방법을 이용하여, 본 발명은 카메라가 실시간으로 움직여도 하나 이상의 실제 객체에 대한 자세를 신속하고 정확히 추정 할 수 있고, 나아가 복수의 카메라가 동일하게 촬영한 복수의 실제 객체에 대한 자세를 신속하고 정확히 추정 할 수 있다. 또한, 상기 자세 추정 방법을 이용하여, 본 발명은 복수의 가상 컨텐츠를 복수의 실제 객체에 증강하고 실시간으로 복수의 가상 컨텐츠의 상호관계를 반영한 혼합현실 환경을 제공할 수 있다. 나아가 본 발명은 복수의 사용자에게 동일한 작업 또는 학습 장소에서 실시간으로 복수의 가상 컨텐츠의 상호관계를 반영한 혼합 현실 환경을 제공할 수 있다.

이하, 이러한 카메라로 촬영된 객체 추적을 위한 자세 추정 시스템의 세부적 구성부터 상세히 설명하기로 한다.

<카메라로 촬영된 객체 추적을 위한 자세 추정 시스템>

도 1은 본 발명의 실시예에 따른 카메라로 촬영된 객체 추적을 위한 자세 추정 시스템의 개념도이고, 도 2는 본 발명의 실시예에 따른 웨어러블 웨어러블 타입의 컴퓨팅 디바이스의 내부 블록도이다.

도 1을 참조하면, 본 발명의 실시예에 따른 카메라로 촬영된 객체 추적을 위한 자세 추정 시스템은, 하나 이상의 웨어러블 타입 컴퓨팅 디바이스(100, 101), 서버 시스템(200), 타겟 객체(300) 및 가이드 도구(400)를 포함할 수 있다.

도 1의 구성요소 중 하나 이상의 웨어러블 타입 컴퓨팅 디바이스(100, 101) 및 서버 시스템(200)은, 네트워크(Network)를 통해 연결될 수 있다. 네트워크는 컴퓨팅 디바이스 및 데이터 중계 서버 시스템(500) 등과 같은 각각의 노드 상호 간에 정보 교환이 가능한 연결 구조를 의미하는 것으로, 이러한 네트워크의 일 예에는 3GPP(3rd Generation Partnership Project) 네트워크, LTE(Long Term Evolution) 네트워크, WIMAX(World Interoperability for Microwave Access) 네트워크, 인터넷(Internet), LAN(Local Area Network), Wireless LAN(Wireless Local Area Network), WAN(Wide Area Network), PAN(Personal Area Network), 블루투스(Bluetooth)

네트워크, 위성 방송 네트워크, 아날로그 방송 네트워크, DMB(Digital Multimedia Broadcasting) 네트워크 등이 포함되나 이에 한정되지는 않는다.

<서버 시스템(200)>

실시예에서 서버 시스템(200)은, 이미지 센서로 촬영된 영상 내의 객체의 자세를 추정하는 일련의 프로세스를 수행할 수 있다. 후술 하겠지만 이미지 센서는 객체를 촬영하여 영상을 획득할 수 있는 카메라일 수 있다.

실시예에 따른 서버 시스템(200)은 데이터 중계서버(210), 프로세서(220), 가상 컨텐츠 데이터베이스(230) 및 공간 정보 데이터베이스(240)를 포함할 수 있다.

데이터 중계서버(210)는, 데이터 중계를 위한 통신설비 등을 포함할 수 있으며, 유무선 통신 네트워크를 통해 커뮤니케이션 데이터를 웨어러블 타입 컴퓨팅 디바이스(100) 간에 송수신하도록 중계할 수 있다.

프로세서(220)는, 각 디바이스의 전박적인 동작을 제어하여 후술할 일련의 동작에 대한 데이터 처리를 수행할 수 있다. 이러한 데이터 프로세서(11)는 ASICs (application specific integrated circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서(microprocessors), 기타 기능 수행을 위한 임의의 형태의 프로세서일 수 있다. 특히, 프로세서(220)는, 웨어러블 타입 컴퓨팅 디바이스(100)의 이미지 센서로 촬영된 영상 내의 실제 객체의 자세를 추정하는 일련의 프로세스를 수행할 수 있다. 이러한 실제 객체의 자세를 추정하는 일련의 프로세스는 후술하는 카메라로 촬영된 객체 추적을 위한 자세 추정 방법의 설명을 따른다. 또한, 프로세서(200)는 추정된 실제 객체의 자세에 기초하여 실제 객체에 가상 컨텐츠를 증강하는 혼합 현실 환경을 제공하는 일련의 프로세스를 수행할 수 있다. 이러한 혼합 현실 환경을 제공하는 일련의 프로세스는 카메라로 촬영된 객체 추적을 위한 자세 추정 방법을 이용한 혼합 현실 환경 제공 방법의 설명을 따른다.

가상 컨텐츠 데이터베이스(230)에는, 증강현실 환경이나, 혼합현실 환경을 구현하기 위한 가상 컨텐츠 데이터가 저장되어 있을 수 있다. 이러한 가상 컨텐츠 데이터베이스(230)는, 상기 가상 컨텐츠를 실제 객체(예컨대, 마커)나 공간좌표에 매칭시켜 가상 컨텐츠로 저장할 수 있다. 또한, 가상 컨텐츠 데이터베이스(230)는, 웨어러블 타입 컴퓨팅 디바이스(100) 요청시 상기 웨어러블 타입 컴퓨팅 디바이스(100)의 주변 물리적 공간에 매칭된 가상 컨텐츠를 전달하는 가상 컨텐츠 소스 역할을 수행할 수 있다.

공간 정보 데이터베이스(230)는, 특정 영역의 물리적 공간을 스캔하거나 3차원 공간 모델링하여 물리적 공간에 대한 정보 데이터를 저장할 수 있다. 또한, 물리적 공간 내에 실제객체, 마커 등을 이미지 학습하여 획득된 특징 정보들이 더 저장될 수 있으며, 특징 정보들은 공간 정보와 매칭되어 저장될 수 있다. 즉, 서버 시스템(200)은, 웨어러블 타입 컴퓨팅 디바이스(100)의 주변 물리적 공간에 대한 가상 컨텐츠 데이터와 공간정보 데이터를 함께 송신하여, 상기 웨어러블 타입 컴퓨팅 디바이스(100, 101)를 통해 혼합 현실 환경을 제공할 수 있다.

메모리(250)는 데이터 중계서버(210), 프로세서(220), 가상 컨첸츠 데이터베이스(230) 및 공간정보 데이터베이스(240)를 동작하기 위한 명령들을 저장할 수 있다. 또한, 메모리(250)는 실제 객체의 자세를 추정하는 일련의 프로세스로 동작하는 명령어들을 포함하는 자세 추적 어플리케이션 또는 추정된 실제 객체의 자세에 기초하여 실제 객체에 가상 컨텐츠를 증강하는 혼합 현실 환경을 제공하는 일련의 프로세스로 동작하는 명령어들을 포함하는 혼합현실 어플리케이션을 저장할 수 있다. 메모리(250)는 이러한 명령들은 프로세서(220)로 하여금 동작들을 수행하게 된다. 또한, 메모리(250)는 하드웨어적으로, ROM, RAM, EPROM, 플래시 드라이브, 하드 드라이브 등과 같은 다양한 저장기기 일 수 있고, 메모리(250)는 인터넷(internet)상에서 상기 메모리(13)의 저장 기능을 수행하는 웹 스토리지(web storage)일 수도 있다.

<웨어러블 타입의 컴퓨팅 디바이스(100, 101)>

웨어러블 타입의 컴퓨팅 디바이스(100, 101)는 스마트 글래스(smart glasses display; 100)나 헤드 마운티드 디스플레이(HMD; 101)를 포함할 수 있다. 설명의 편의를 위해 이하 웨어러블 타입의 컴퓨팅 디바이스(100, 101)는 스마트 글래스(100)인 것으로 설명한다.

웨어러블 타입의 컴퓨팅 디바이스(100)는 착용되는 동안 사용자가 주변 물리적 공간을 볼 수 있도록 광을 투과하면서 사용자의 시야 상에 가상 컨텐츠(예컨대, 가상객체 이미지)를 표시하는 글라스를 포함하는 디스플레이 시스템을 포함할 수 있다.

자세히, 실시예의 웨어러블 타입의 컴퓨팅 디바이스(100)는, 주변 물리적 공간으로부터의 광이 사용자의 눈에 도달하도록 투과함과 동시에, 디스플레이 시스템에 의해 표시된 가상 컨텐츠를 사용자의 눈을 향해 반사시키는 투명한 글래스 디스플레이를 포함할 수 있다.

도 2를 참조하면, 예시적인 구현에 따른 웨어러블 타입 컴퓨팅 디바이스(100)는, 혼합 현실 어플리케이션(111)을 포함하는 메모리(110), 프로세서 어셈블리(120), 통신 모듈(130), 인터페이스 모듈(140), 입력 시스템(150), 센서 시스템(160) 및 디스플레이 시스템(170)을 포함할 수 있다. 또한, 상기 구성요소들은 웨어러블 타입 컴퓨팅 디바이스(100)의 하우징 내에 포함되도록 구현될 수 있다. 또한, 웨어러블 타입 컴퓨팅 디바이스(100)는 하우징 외에 추가 이미지 센서(161-2)를 장착시킬 수 있다.

추가 이미지 센서(161-2)는 웨어러블 타입 컴퓨팅 디바이스(100)에 탈부착 가능한 형태로 구성될 수도 있다.

메모리(110)에는, 혼합 현실 어플리케이션(111)이 저장되며, 혼합 현실 어플리케이션(111)에는 혼합 현실 환경을 제공하기 위한 가상 컨텐츠, 이미지 버퍼, 위치 엔진, 가상 컨텐츠 디스플레이 엔진 등이 포함될 수 있다. 즉, 메모리(110)는 혼합 현실 환경을 생성하기 위해 사용될 수 있는 명령 및 데이터를 저장할 수 있다.

또한, 메모리(110)는, 적어도 하나 이상의 비일시적 컴퓨터 판독 가능 저장매체와, 일시적 컴퓨터 판독 가능 저장매체를 포함할 수 있다. 예를 들어, 메모리(110)는, ROM, EPROM, 플래시 드라이브, 하드 드라이브 등과 같은 다양한 저장기기일 수 있고, 인터넷(internet)상에서 상기 메모리(110)의 저장 기능을 수행하는 웹 스토리지(web storage)를 포함할 수 있다.

프로세서 어셈블리(120)는, 혼합 현실 환경을 생성하기 위한 다양한 작업을 수행하기 위해, 메모리(110)에 저장된 혼합 현실 어플리케이션(111)의 명령들을 실행할 수 있는 적어도 하나 이상의 프로세서를 포함할 수 있다.

실시예에서 프로세서 어셈블리(120)는, 혼합 현실 서비스를 제공하기 위하여 메모리(110)의 혼합 현실 어플리케이션(111)을 통해 구성요소의 전반적인 동작을 컨트롤할 수 있다.

예를 들어, 프로세서 어셈블리(120)는, 이미지 센서(161)를 기반으로 획득된 영상으로부터 실제 객체를 인식할 수 있고, 인식된 실제 객체에 가상 컨텐츠를 매칭한 증강 현실 영상을 생성하고 표시하도록 웨어러블 타입 컴퓨팅 디바이스(100)의 구성요소들을 제어할 수 있다.

이러한 프로세서 어셈블리(120)는, 중앙처리장치(CPU) 및/또는 그래픽 프로세서 장치(GPU)를 포함할 수 있다. 또한, 프로세서 어셈블리(120)는, ASICs (application specific integrated circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세스(microprocessors), 기타 기능 수행을 위한 전기적 유닛 중 적어도 하나를 포함하여 구현될 수 있다.

통신 모듈(130)은, 서버 시스템(200)과 통신하기 위한 하나 이상의 장치를 포함할 수 있다. 이러한 통신 모듈(130)은, 무선 네트워크를 통해 통신할 수 있다.

자세히, 통신 모듈(130)은, 혼합 현실 환경을 구현하기 위한 가상 컨텐츠 소스를 저장한 서버 시스템(200)와 통신할 수 있으며, 사용자 입력을 받은 컨트롤러와 같은 다양한 사용자 입력 컴포넌트와 통신할 수 있다.

이러한 통신 모듈(130)은, 이동통신을 위한 기술표준들 또는 통신방식(예를 들어, LTE(Long Term Evolution), LTE-A(Long Term Evolution-Advanced),5G NR(New Radio), WIFI) 또는 근거리 통신방식 등을 수행할 수 있는 통신장치를 통해 구축된 이동 통신망 상에서 기지국, 외부의 단말, 임의의 서버 중 적어도 하나와 무선으로 데이터를 송수신할 수 있다.

센서 시스템(160)은, 이미지 센서(161), 위치 센서(IMU, 163), 오디오 센서, 거리 센서, 근접 센서, 접촉 센서 등 다양한 센서를 포함할 수 있다.

이미지 센서(161)는, 웨어러블 타입 컴퓨팅 디바이스(100) 주위의 물리적 공간에 대한 이미지 및/또는 영상을 캡처할 수 있다.

실시예에서 이미지 센서(161)는, 실제 객체의 자세 추정 또는 혼합 현실 환경 제공에 관련된 영상을 촬영하여 획득할 수 있다.

또한, 이미지 센서(161)는, 웨어러블 타입 컴퓨팅 디바이스(100)의 전면 또는/및 후면에 배치되어 배치된 방향측을 촬영하여 영상을 획득할 수 있으며, 웨어러블 타입 컴퓨팅 디바이스(100)의 외부를 향해 배치된 카메라를 통해 작업 현장과 같은 물리적 공간을 촬영할 수 있다.

이러한 이미지 센서(161)는, 이미지 센서(161)와 영상 처리 모듈을 포함할 수 있다. 자세히, 이미지 센서(161)는, 이미지 센서(161)(예를 들면, CMOS 또는 CCD)에 의해 얻어지는 정지영상 또는 동영상을 처리할 수 있다.

또한, 이미지 센서(161)는, 영상 처리 모듈을 이용하여 이미지 센서(161)를 통해 획득된 정지영상 또는 동영상을 가공해 필요한 정보를 추출하고, 추출된 정보를 프로세서에 전달할 수 있다.

이러한 이미지 센서(161)는, 적어도 하나 이상의 카메라를 포함하는 카메라 어셈블리일 수 있다. 카메라 어셈블리는, 가시광선 대역을 촬영하는 일반 카메라를 포함할 수 있으며, 적외선 카메라, 스테레오 카메라 등의 특수 카메라를 더 포함할 수 있다. 특히, 웨어러블 타입 컴퓨팅 디바이스(100)는 하우징 외부에 추가 이미지 센서(161-2)를 별도의 장착 기구에 의해 장착 될 수 있다. 추가 이미지 센서(161-2)는 인터페이스 모듈(140)을 통해 웨어러블 타입 컴퓨팅 디바이스(100)와 전기적으로 연결 될 수 있다. 이 경우, 웨어러블 타입 컴퓨팅 디바이스(100)는 하우징 내에 배치된 이미지 센서(161)와 하우징 외에 배치된 추가 이미지 센서(161-2)를 이용하여 스테레오 카메라처럼 동작시켜 물리적 공간에 대한 깊이 영상을 촬영할 수 있다. 획득된 깊이 영상을 이용할 경우, 서버 시스템(200)은 실제 객체의 거리를 정밀하게 측정할 수 있어서 정확한 실제 객체의 자세를 추정 할 수 있고, 혼합 현실 환경 제공을 위한 가상 컨텐츠 증강을 보다 정밀하게 할 수 있다.

IMU(163)는 웨어러블 타입 컴퓨팅 디바이스(100)의 움직임 및 가속도 중 적어도 하나 이상을 감지할 수 있다. 예를 들어, 가속도계, 자이로스코프, 자력계와 같은 다양한 위치 센서의 조합으로 이루어 질 수 있다. 또한, 통신 모듈(130)의 GPS와 같은 위치 통신 모듈(130)과 연동하여, 웨어러블 타입 컴퓨팅 디바이스(100) 주변의 물리적 공간에 대한 공간 정보를 인식할 수 있다.

또한, IMU(163)는, 검출된 위치 및 방향을 기초로 사용자의 시선 방향 및 머리 움직임을 검출 및 추적하는 정보를 검출할 수 있다.

또한, 일부 구현들에서, 혼합 현실 어플리케이션(111)은 이러한 IMU(163) 및 이미지 센서(161)를 사용하여 물리적 공간 내의 사용자의 위치 및 방향을 결정하거나 물리적 공간 내의 특징 또는 객체를 인식할 수 있다.

오디오 센서(165)는, 웨어러블 타입 컴퓨팅 디바이스(100) 주변의 소리를 인식할 수 있다.

자세히, 오디오 센서(165)는, 웨어러블 타입 컴퓨팅 디바이스(100) 사용자의 음성 입력을 감지할 수 있는 마이크로폰을 포함할 수 있다.

실시예에서 오디오 센서(165)는 확장현실 커뮤니케이션 서비스를 통해 전송할 커뮤니케이션 데이터의 음성 데이터를 사용자로부터 입력 받을 수 있다.

인터페이스 모듈(140)은, 웨어러블 타입 컴퓨팅 디바이스(100)를 하나 이상의 다른 장치와 통신 가능하게 연결할 수 있다. 자세히, 인터페이스 모듈(140)은, 하나 이상의 상이한 통신 프로토콜과 호환되는 유선 및/또는 무선 통신 장치를 포함할 수 있다. 이러한 인터페이스 모듈(140)을 통해 웨어러블 타입 컴퓨팅 디바이스(100)는, 여러 입출력 장치들과 연결될 수 있다. 예를 들어, 인터페이스 모듈(140)은, 헤드셋 포트나 스피커와 같은 오디오 출력장치와 연결되어, 오디오를 출력할 수 있다. 예시적으로 오디오 출력장치가 인터페이스 모듈(140)을 통해 연결되는 것으로 설명하였으나, 웨어러블 타입 컴퓨팅 디바이스(100) 내부에 설치되는 실시예도 포함될 수 있다. 이러한 인터페이스 모듈(140)은, 유/무선 헤드셋 포트(port), 외부 충전기 포트(port), 유/무선 데이터 포트(port), 메모리(110) 카드(memory card) 포트, 식별 모듈이 구비된 장치를 연결하는 포트(port), 오디오 I/O(Input/Output) 포트(port), 비디오 I/O(Input/Output) 포트(port), 이어폰 포트(port), 전력 증폭기, RF 회로, 송수신기 및 기타 통신 회로 중 적어도 하나를 포함하여 구성될 수 있다.

입력 시스템(150)은 혼합 현실 환경과 관련된 사용자의 입력(예를 들어, 제스처, 음성 명령, 버튼의 작동 또는 다른 유형의 입력)을 감지할 수 있다.

자세히, 입력 시스템(150)은 버튼, 터치 센서 및 사용자 모션 입력을 수신하는 이미지 센서(161)를 포함할 수 있다.

또한, 입력 시스템(150)은, 인터페이스 모듈(140)을 통해 외부 컨트롤러와 연결되어, 사용자의 입력을 수신할 수 있다.

디스플레이 시스템(170)은, 웨어러블 타입 컴퓨팅 디바이스(100) 주변 물리적 공간으로부터의 광이 사용자의 눈에 도달하도록 투과함과 동시에, 디스플레이 시스템(170)에 의해 표시된 가상 컨텐츠를 사용자의 눈을 향해 반사시키는 투명한 글래스 디스플레이를 포함할 수 있다.

이러한 디스플레이 시스템(170)은, 웨어러블 컴퓨팅 디바이스(100)를 착용한 사용자의 좌안에 대응되는 좌측 디스플레이(171)와, 우안에 대응되는 우측 디스플레이(172)를 포함할 수 있으며, 좌측 디스플레이(171)와 우측 디스플레이(172)는 시차에 오프셋을 둔 서로 다른 이미지를 가상 컨텐츠로 출력함으로써, 사용자는 가상 컨텐츠를 3차원 이미지로 인식할 수 있다.

실시예에서 디스플레이 시스템(170)은, 혼합 현실 환경 서비스와 관련된 다양한 정보를 그래픽 이미지로 출력할 수 있다.

이러한 디스플레이는, 액정 디스플레이(liquid crystal display, LCD), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display, TFT LCD), 유기 발광 다이오드(organic light-emitting diode, OLED), 플렉서블 디스플레이(flexible display), 3차원 디스플레이(3D display), 전자잉크 디스플레이(e-ink display) 중에서 적어도 하나를 포함할 수 있다.

이러한 웨어러블 타입 컴퓨팅 디바이스(100)는, 작업 현장과 같은 물리적 공간에 위치한 현장 작업자가 사용하기에 유리할 수 있다.

< 타겟 객체(300) >

타겟 객체(300)는 고정된 실제 객체 일 수 있다. 혼합 현실 환경에서 타겟 객체(300)는 웨어러블 타입 컴퓨팅 디바이스(100)를 착용한 사용자에게 작업 대상이 되는 가상 컨텐츠가 증강될 수 있다. 일 예로, 혼합 현실 환경이 의료 수술 환경이면, 타겟 객체(300)에 증강되는 가상 컨텐츠는 수술 대상인 환자의 수술 부위가 될 수 있다. 다른 예로, 혼합 현실 환경이 용접 작업 환경이면, 타겟 객체(300)에 증강되는 가상 컨텐츠는 용접이 되는 물체일 수 있다. 다만, 전술한 예시에 한정하는 것은 아니나, 의료 환경과 같이 타겟, 가이드 도구 그리고 증강 컨텐츠 간의 정밀한 상호 작용이 요구되는 환경에서 실시예의 효과는 극대화될 수 있다.

웨어러블 타입 컴퓨팅 디바이스(100)는 타겟 객체(300)에 매칭된 가상 컨텐츠를 서버 시스템(200)으로부터 수신하여, 디스플레이를 통해 증강 현실로 출력할 수 있다. 일반적으로 이미지 센서(161)로 촬영된 영상에 타겟 객체(300)의 자세에 맞게 매칭된 가상 컨텐츠를 증강하려면 사전에 해당 타겟 객체(300)의 자세를 알아야 한다. 여기서, 자세는 객체에 대한 기준 포인트 위치 및 6 자유도를 포함한다. 기준 포인트 위치는 3차원 공간에서의 기준 포인트의 좌표일 수 있다. 타겟 객체(300)의 기준 포인트는 타겟 객체(300)의 자세를 추정하기 위한 기준이 되는 타겟 객체(300) 상의 적어도 하나 이상의 지점을 의미한다. 이러한 기준 포인트는, 타겟 객체(300)에 기초하여 증강현실을 구현할 때 해당 타겟 객체(300)에 매칭된 가상 컨텐츠 증강을 위한 기준 파라미터로 이용될 수 있다. 타겟 객체(300)의 6 자유도는 3차원 공간에서 기준 포인트를 기준으로 운동하는 타겟 객체(300)의 여섯 가지 회전 및 병진 동작 요소를 측정한 자세 추정 정보일 수 있다. 자세히, 6 자유도는, 3차원 직각　좌표계에서 X축 중심의 좌우 회전(roll), Y축 중심의 앞뒤 회전(pitch), Z축 중심의 위아래 회전(yaw) 동작과 앞뒤(forward/back,　surge), 좌우(left/right,　sway), 위아래(up/down,　heave) 병진 동작(translational　motion)에 대한 값을 측정한 정보일 수 있다. 일반적으로 위와 같은 타겟 객체(300)의 자세 정보를 획득하기 위해, 타겟 객체(300)에 매칭되는 마커(미도시)를 이용하는 방법이 이용되고 있다. 여기서, 마커란, 매칭되는 오브젝트의 존재, 위치 및/또는 성격 등을 표시하는 매개체를 의미할 수 있다. 이에 제한되는 것은 아니고, 타겟 객체(300)의 자세 정보를 획득하기 위해서 타겟 객체 형상 자체를 딥러닝 모델을 이용하여 이미지를 학습하는 방법이 이용될 수 있다.

<가이드 도구(400)>

가이드 도구(400)는 사용자가 움직일 수 있는 실제 객체 일 수 있다. 혼합 현실 환경에서 가이드 도구(400)는 웨어러블 타입 컴퓨팅 디바이스(100)를 착용한 사용자가 작업 대상이 되는 가상 컨텐츠에 상호 작용을 할 수 있는 가상 컨텐츠가 증강될 수 있다. 일 예로, 혼합 현실 환경이 의료 수술 환경이면, 가이드 도구(400)에 증강되는 가상 컨텐츠는 수술 도구(메스, 블레이드, 겸자, 파지기, 가위, 스태플러, 혈관 밀봉기, 생검 도구, 봉합 도구, 또는 클립 어플라이어 등)가 될 수 있다. 다른 예로, 혼합 현실 환경이 용접 작업 환경이면, 가이드 도구(400)에 증강되는 가상 컨텐츠는 용접기일 수 있다. 다만, 전술한 예시에 한정하는 것은 아니다.

웨어러블 타입 컴퓨팅 디바이스(100)는 가이드 도구(400)에 매칭된 가상 컨텐츠를 서버 시스템(200)으로부터 수신하여, 디스플레이를 통해 증강 현실로 출력할 수 있다. 일반적으로 이미지 센서(161)로 촬영된 영상에 가이드 도구(400)의 자세에 맞게 매칭된 가상 컨텐츠를 증강하려면 사전에 해당 가이드 도구(400)의 자세를 알아야 한다. 가이드 도구(400)의 기준 포인트 위치는 3차원 공간에서의 기준 포인트의 좌표일 수 잇다. 가이드 도구(400)의 6 자유도는 3차원 공간에서 기준 포인트를 기준으로 운동하는 가이드 도구(400)의 여섯 가지 회전 및 병진 동작 요소를 측정한 자세 추정 정보일 수 있다. 타겟 객체(300)와 마찬가지로 가이드 도구(400)의 자세 정보를 획득하기 위해, 가이드 도구(400)에 매칭되는 마커를 이용하는 방법이 이용되고 있다. 이에 제한되는 것은 아니고, 가이드 도구(400)의 자세 정보를 획득하기 위해서 타겟 객체 형상 자체를 딥러닝 모델을 이용하여 이미지를 학습하는 방법이 이용될 수 있다.

<카메라로 촬영된 객체 추적을 위한 자세 추정 방법>

도 3은 본 발명의 실시예에 따른 카메라로 촬영된 객체 추적을 위한 자세 추정 방법을 설명하기 위한 흐름도이고, 도 4는 도 3 및 도 5의 각 구성에 대한 자세 정보 획득 및 원점 변경에 따른 각 구성에 대한 상대적인 전환 관계를 설명하기 위한 예시도이다.

본 발명의 실시예에 따른 카메라로 촬영된 객체 추적을 위한 자세 추정 방법은, 제1 웨어러블 타입 컴퓨팅 장치(100)의 제1 이미지 센서(161)가 가이드 도구(400)와 타겟 객체(300)를 촬영하여 획득한 제1 영상에서 서버 시스템(200)의 프로세서(220)가 메모리(250)에 저장한 자세 추적 어플리케이션을 동작시켜 자세 추적 어플리케이션이 가이드 도구(400)를 추적할 수 있다.

도 3 및 도 4를 참조하면, 본 발명의 실시예에 따른 카메라로 촬영된 객체 추적을 위한 자세 추정 방법은, 자세 추적 어플리케이션이 제1 이미지 센서(View1)를 캘리브레이션하여 제1 이미지 센서(View1)의 내부 파라미터(K1) 및 자세(P1)를 획득하는 단계(S301)를 포함할 수 있다. 보다 구체적으로, 제1 이미지 센서 자세(P1)는 제1 이미지 센서(View1)가 촬영한 공간의 영상에서 원점일 수 있다.

또한, 본 발명의 실시예에 따른 카메라로 촬영된 객체 추적을 위한 자세 추정 방법은, 자세 추적 어플리케이션이 제1 이미지 센서(View1)에서 촬영된 제1 영상을 수신하는 단계(S302)를 포함할 수 있다. 즉, 제1 웨어러블 타입 컴퓨팅 장치(100)는 제1 이미지 센서(View1)로 촬영한 제1 영상을 서버 시스템(200)에 전송할 수 있다.

또한, 본 발명의 실시예에 따른 카메라로 촬영된 객체 추적을 위한 자세 추정 방법은, 자세 추적 어플리케이션이 제1 영상 내의 타겟 객체(300)에 대하여 제1 공간 좌표계를 설정하는 단계(S303)를 포함할 수 있다. 제1 공간 좌표계는 제1 이미지 센서(View1)를 통해 촬영되는 3차원 공간에 대한 좌표계일 수 있다.

또한, 본 발명의 실시예에 따른 카메라로 촬영된 객체 추적을 위한 자세 추정 방법은, 자세 추적 어플리케이션이 제1 공간 좌표계를 기초하여 타겟 객체(300)에 대한 상대적인 자세를 계산(

)하여 제1 타겟 상대 자세(P2)를 추정하는 단계(S304)를 포함할 수 있다. 보다 구체적으로, 서버 시스템(200)은, 피앤피(Perspective-n-Point, PnP) 및/또는 호모그래피(Homography) 알고리즘 등에 기초한 자세 추정 기법을 적용하여 제1 타겟 상대 자세(P2)를 획득할 수 있다. 제1 타겟 상대 자세(P2)는 제1 이미지 센서(View1)에 대한 상대적인 6자유도(R2)와 기준 포인트의 위치(t2)일 수 있다. 이때 6자유도는 3X3 행렬로 표현되고, 위치는 3X1 벡터로 표현되므로, 제1 타겟 상대 자세(P2)은 수학식 1을 따를 수 있다.

[수학식 1]

또한, 본 발명의 실시예에 따른 카메라로 촬영된 객체 추적을 위한 자세 추정 방법은, 자세 추적 어플리케이션이 제1 타겟 상대 자세(P2)를 제1 이미지 센서 자세(P1)에 대하여 원점 자세로 설정하도록 제1 이미지 센서 자세(P1)를 변환(

)하여 제1 이미지 센서 변환 자세(P1)를 획득하는 단계(S305)를 포함할 수 있다. 보다 구체적으로, 즉, 제1 타겟 상대 자세(P2)는 원점이 된다. 제1 이미지 센서 변환 자세(P1)는 제1 타겟 상대 자세(P2)을 역변환한 수학식 2를 따를 수 있다.

[수학식 2]

또한, 본 발명의 실시예에 따른 카메라로 촬영된 객체 추적을 위한 자세 추정 방법은, 자세 추적 어플리케이션이 제1 공간 좌표계에서 설정된 원점 자세에 기초하여 가이드 도구(400)의 상대적인 자세를 계산(

)하여 가이드 도구 상대 자세(P3)를 추정하는 단계(S306)를 포함할 수 있다. 보다 구체적으로, 서버 시스템(200)은, 피앤피(Perspective-n-Point, PnP) 및/또는 호모그래피(Homography) 알고리즘 등에 기초한 자세 추정 기법을 적용하여 가이드 도구 상대 자세(P3)를 획득할 수 있다. 가이드 도구 상대 자세(P3)는 제1 타겟 상대 자세(P2)에 대한 상대적인 6자유도(R3)와 기준 포인트의 위치(t3)일 수 있다. 만약, 이미지 센서(View1)를 원점으로 하여 타겟 객체(300)와 가이드 도구(400)의 상대적인 자세를 계산 할 경우, 이미지 센서(View1)가 움직이면 원점이 변경되어 다시 새롭게 타겟 객체(300)와 가이드 도구(400)의 상대적인 자세를 계산하여야 해서 계산량이 증가하는 문제가 있다. 본 발명은 고정된 물체인 타겟 객체(300)를 원점으로 하기 때문에 이미지 센서(View1)가 움직이 더라도 원점의 변경이 없으므로 움직이는 가이드 도구(400)와 타겟 객체(300)의 상대적인 자세를 신속하고 정확하게 계산할 수 있다.

또한, 본 발명의 실시예에 따른 카메라로 촬영된 객체 추적을 위한 자세 추정 방법은, 자세 추적 어플리케이션이 추정된 가이드 도구 상대 자세(P3)에 기초하여 가이드 도구를 추적하는 단계(S307)를 포함할 수 있다.

전술한, 본 발명의 실시예에 따른 카메라로 촬영된 객체 추적을 위한 자세 추정 방법은, 자세 추정을 위한 원점을 변환하여 객체의 자세 추정 절차를 간소화하면서 정확하게 객체의 자세를 추정할 수 있다. 또한, 본 발명의 카메라로 촬영된 객체 추적을 위한 자세 추정 방법은, 카메라가 실시간으로 움직여도 실제 객체에 대한 자세를 신속하고 정확하게 추정 할 수 있다. 또한, 본 발명의 카메라로 촬영된 객체 추적을 위한 자세 추정 방법은, 카메라가 실시간으로 움직여도 복수의 실제 객체에 대한 자세를 신속하고 정확하게 추정 할 수 있다.

도 5은 도 3의 추적을 위한 자세 추정 방법에서 카메라가 추가된 경우 추가된 카메라로 촬영된 객체 추적을 위한 자세 추정 방법을 추가 설명하기 위한 흐름도이다.

본 발명의 실시예에 따른 카메라로 촬영된 객체 추적을 위한 자세 추정 방법은, 제1 웨어러블 타입 컴퓨팅 장치(100)와 동일한 환경에 있는 별도의 제2 웨어러블 타입 컴퓨팅 장치(100)의 제2 이미지 센서(161)가 동일한 가이드 도구(400)와 타겟 객체(300)를 촬영하여 획득한 제2 영상에서 서버 시스템(200)의 프로세서(220)가 메모리(250)에 저장한 자세 추적 어플리케이션을 동작시켜 자세 추적 어플리케이션이 가이드 도구(400)를 추적할 수 있다.

도 3 및 도 5를 참조하면, 본 발명의 실시예에 따른 카메라로 촬영된 객체 추적을 위한 자세 추정 방법은, 자세 추적 어플리케이션이 제2 이미지 센서(View2)를 각각 캘리브레이션하여 제2 이미지 센서의 내부 파라미터(K2) 및 자세(P4)를 획득하는 단계(S308)를 포함할 수 있다. 보다 구체적으로, 제2 이미지 센서 자세(P4)는 제2 이미지 센서(View2)가 촬영한 공간의 영상에서 원점일 수 있다.

또한, 본 발명의 실시예에 따른 카메라로 촬영된 객체 추적을 위한 자세 추정 방법은, 자세 추적 어플리케이션이 제2 이미지 센서(View2)에서 촬영된 제2 영상을 수신하는 단계(S309)를 포함할 수 있다. 즉, 제2 웨어러블 타입 컴퓨팅 장치(100)는 제2 이미지 센서(View2)로 촬영한 제2 영상을 서버 시스템(200)에 전송할 수 있다.

또한, 본 발명의 실시예에 따른 카메라로 촬영된 객체 추적을 위한 자세 추정 방법은, 자세 추적 어플리케이션이 제2 영상 내의 타겟 객체에 대하여 제2 공간 좌표계를 설정하는 단계(S310)를 포함할 수 있다. 제2 공간 좌표계는 제2 이미지 센서(View2)를 통해 촬영되는 3차원 공간에 대한 좌표계일 수 있다.

또한, 본 발명의 실시예에 따른 카메라로 촬영된 객체 추적을 위한 자세 추정 방법은, 자세 추적 어플리케이션이 제2 공간 좌표계를 기초하여 타겟 객체(300)에 대한 상대적인 자세(

)를 계산하여 제2 타겟 상대 자세(P2-2)를 추정하는 단계(S311)를 포함할 수 있다. 보다 구체적으로, 서버 시스템(200)은, 피앤피(Perspective-n-Point, PnP) 및/또는 호모그래피(Homography) 알고리즘 등에 기초한 자세 추정 기법을 적용하여 제2 타겟 상대 자세(P2-2)를 획득할 수 있다. 제2 타겟 상대 자세(P2-2)는 제2 이미지 센서(View2)에 대한 상대적인 6자유도(R2-2)와 기준 포인트의 위치(t2-2)일 수 있다. 이때 6자유도는 3X3 행렬로 표현되고, 위치는 3X1 벡터로 표현되므로, 제2 타겟 상대 자세(P2-2)은 수학식 3을 따를 수 있다.

[수학식 3]

또한, 본 발명의 실시예에 따른 카메라로 촬영된 객체 추적을 위한 자세 추정 방법은, 자세 추적 어플리케이션이 제2 공간 좌표계에서 제2 타겟 상대 자세(P2-2)를 제2 이미지 센서 자세(P4)에 대하여 원점 자세로 설정하도록 제2 이미지 센서 자세를 변환(

)하여 제2 이미지 센서 변환 자세(P4)를 획득하는 단계(S312)를 포함할 수 있다. 보다 구체적으로, 제2 이미지 센서 변환 자세(P4)는 제2 타겟 상대 자세(P2-2)을 역변환한 수학식 4를 따를 수 있다.

[수학식 4]

또한, 본 발명의 실시예에 따른 카메라로 촬영된 객체 추적을 위한 자세 추정 방법은, 자세 추적 어플리케이션이 제2 공간 좌표계에서 설정된 원점 자세에 기초하여 가이드 도구의 상대적인 자세를 계산하여 제1-2 가이드 도구 상대 자세(P3-2)를 추정하는 단계(S313)를 포함할 수 있다. 보다 구체적으로, 서버 시스템(200)은, 피앤피(Perspective-n-Point, PnP) 및/또는 호모그래피(Homography) 알고리즘 등에 기초한 자세 추정 기법을 적용하여 제1-2 가이드 도구 상대 자세(P3-2)를 획득할 수 있다. 제2 가이드 도구 상대 자세(P3-2)는 제2 타겟 상대 자세(P2-2)에 대한 상대적인 6자유도(R3-2)와 기준 포인트의 위치(t3-2)일 수 있다.

이 때, 제1 웨어러블 타입 컴퓨팅 장치를 착용한 사용자와 제2 웨어러블 타입 컴퓨팅 장치를 착용한 사용자가 동일한 타겟 객체와 가이드 도구를 동일한 자세로 인식하기 위해서는 모든 시점 간의 상대적인 회전 및 이동 정보를 정확하게 파악해야 한다. 만약에 서버 시스템(200)이 제1 이미지 센서(View1)와 제2 이미지 센서(View2) 각각을 원점으로 하여 타겟 객체(300)와 가이드 도구(400)의 상대적인 자세를 계산 할 경우 가이드 도구(400), 제1 이미지 센서(View1)와 제2 이미지 센서(View2)가 모두 움직여 원점이 변경되기 때문에 모든 시점 간의 상대적인 회전 및 이동 정보를 정확하게 파악하는 계산이 복잡하여 계산량이 증가하는 문제가 있었다. 본 발명은, 서버 시스템(200)이 타겟 객체를 원점으로 하였기 때문에 가이드 도구(400), 제1 이미지 센서(View1)와 제2 이미지 센서(View2)가 모두 움직이더라도 원점의 변화가 없기 때문에 타겟 객체(300)와 가이드 도구(400)의 상대적인 자세를 신속하고 정확하게 계산할 수 있다.

또한, 본 발명의 실시예에 따른 카메라로 촬영된 객체 추적을 위한 자세 추정 방법은, 상기 자세 추적 어플리케이션이, 제2 영상에서, 제1-2 가이드 도구 상대 자세(P3-2)에 기초하여 가이드 도구(400)를 추적하는 단계(S314)를 포함할 수 있다.

따라서, 본 발명의 카메라로 촬영된 객체 추적을 위한 자세 추정 방법은, 복수의 카메라가 실시간으로 움직여도 복수의 실제 객체에 대한 자세를 신속하고 정확하게 추정 할 수 있다.

도 6은 본 발명의 실시예에 따른 카메라로 촬영된 객체 추적을 위한 자세 추정 방법을 이용한 혼합 현실 환경 제공 방법을 설명하기 위한 예시도이고, 도 7은 도 6의 혼합 현실 환경 제공 방법을 이용하여 의료 수술 현장에 관한 혼합 현실 환경 서비스를 제공하는 모습의 예시도이다.

본 발명의 실시예에 따른 혼합 현실 환경 제공 방법은, 제1 웨어러블 타입 컴퓨팅 디바이스(100)이 제1 이미지 센서(161)로 타겟 객체(300) 및 제1 가이드 도구(400)를 촬영하여 획득한 제1 영상에서 서버 시스템(200)의 프로세서(220)가 혼합 현실 어플리케이션을 동작시켜 혼합 현실 어플리케이션이 제1 가이드 도구(400a)를 추적하고 혼합 현실 환경을 제공할 수 있다. 이하 설명에서 도 3 내지 도 5의 본 발명의 실시예에 따른 카메라로 촬영된 객체 추적을 위한 자세 추정 방법에 대한 설명과 동일한 내용은 생략한다.

도 6 및 도 7을 참조하면, 본 발명의 실시예에 따른 혼합 현실 환경 제공 방법은, 혼합 현실 어플리케이션이 제1 이미지 센서를 캘리브레이션하여 제1 이미지 센서의 내부 파라미터 및 자세(P5)를 획득하는 단계(S601)을 포함할 수 있다.

또한, 본 발명의 실시예에 따른 혼합 현실 환경 제공 방법은, 혼합 현실 어플리케이션이 제1 이미지 센서에서 촬영된 제1 영상을 수신하는 단계(S602)를 포함할 수 있다.

또한, 본 발명의 실시예에 따른 혼합 현실 환경 제공 방법은, 혼합 현실 어플리케이션이 제1 영상 내의 타겟 객체에 대하여 제1 공간 좌표계를 설정하는 단계(S603)를 포함할 수 있다.

또한, 본 발명의 실시예에 따른 혼합 현실 환경 제공 방법은, 혼합 현실 어플리케이션이 제1 공간 좌표계를 기초하여 타겟 객체에 대한 상대적인 자세를 계산(

)하여 제1 타겟 상대 자세(P7)를 추정하는 단계(S604)를 포함할 수 있다.

또한, 본 발명의 실시예에 따른 혼합 현실 환경 제공 방법은, 혼합 현실 어플리케이션이 타겟 상대 자세(P7)를 제1 이미지 센서 자세(P5)에 대하여 원점 자세로 설정하도록 제1 이미지 센서 자세(P5)를 변환(

)하여 제1 이미지 센서 변환 자세(P5)를 획득하는 단계(S605)를 포함할 수 있다. 즉, 타겟 상대 자세(P7)는 원점이 된다.

또한, 본 발명의 실시예에 따른 혼합 현실 환경 제공 방법은, 혼합 현실 어플리케이션이 제1 공간 좌표계에서 설정된 원점 자세에 기초하여 제1 가이드 도구의 상대적인 자세를 계산(

)하여 제1 가이드 도구 상대 자세(P6)를 추정하는 단계(S606)를 포함할 수 있다.

또한, 본 발명의 실시예에 따른 혼합 현실 환경 제공 방법은, 혼합 현실 어플리케이션이 추정된 제1 가이드 도구 상대 자세(P6)에 기초하여 제1 가이드 도구를 추적하는 단계(S607)를 포함할 수 있다.

또한, 본 발명의 실시예에 따른 혼합 현실 환경 제공 방법은, 혼합 현실 어플리케이션이 타겟 객체에 대응한 제1 가상 컨텐츠를 생성하고, 추적된 제1 가이드 도구에 대응한 제2 가상 컨텐츠 생성하는 단계(S608)을 포함할 수 있다. 일 예로, 도 7과 같이, 혼합 현실 환경이 의료 수술 현장인 경우, 서버 시스템(200)은 제1 가이드 도구(400)에 대응하여 제1 가상 컨텐츠를 메스로 생성할 수 있고, 타겟 객체(300)에 대응하여 제2 가상 컨텐츠를 수술부위로 생성할 수 있다.

또한, 본 발명의 실시예에 따른 혼합 현실 환경 제공 방법은, 혼합 현실 어플리케이션이, 제1 영상에서, 타겟 객체의 원점 자세에 기초하여 타겟 객체에 제1 가상 컨텐츠를 증강하고, 제1 가이드 도구 상대 자세에 기초하여 제1 가이드 도구에 제2 가상 컨텐츠를 증강하여 혼합 현실 환경을 제공하는 단계(S609)를 포함할 수 있다. 일 예로, 도 7과 같이, 혼합 현실 환경이 의료 수술 현장인 경우, 서버 시스템(200)은 제1 가이드 도구(400)에 제1 가이드 도구 상대 자세(P6)에 맞게 제1 가상 컨텐츠인 메스를 증강할 수 있다. 또한, 서버 시스템(200)은 타겟 객체(300)에 원점 자세에 맞게 제2 가상 컨텐츠인 개복한 모습을 증강할 수 있다. 또한, 제1 가이드 도구(400)가 타겟 객체(300)에 인접하여 절개하는 동작을 할 경우, 서브 시스템(200)은 제1 가상 컨텐츠인 메스가 제2 가상 컨텐츠인 수술 부위에 작용하여 수술부위가 절개되는 모습으로 제2 가상 컨텐츠를 변형할 수 있다.

이와 같이 본 발명은 실제 객체에 대한 자세 추정이 신속하고 정확이 이루어 지기 때문에 가상 컨텐츠 간에 상호 작용이 필요한 실시간성이 요구되는 작업 환경의 콘텐츠에 적용할 수 있다. 즉, 본 발명은 실제 객체에 대한 자세 추정이 신속하고 정확이 이루어 지기 때문에 객체 증강에 있어 객체 추적의 밀림이나 어긋남을 예방할 수 있어 이질감을 줄이는 증강현실 및 증강 가상 콘텐츠를 제공할 수 있다.

따라서, 본 발명의 혼합 현실 환경 제공 방법은, 카메라가 실시간으로 움직여도 복수의 실제 객체에 가상 컨텐츠를 증강하고 증강된 실제 객체 사이에 상호작용하는 혼합 현실 환경을 제공할 수 있다.

도 8은 도 6의 혼합 현실 환경 제공 방법에서 혼합 현실 환경을 제공 받는 사용자가 추가된 경우 복수의 사용자에게 혼합 현실 환경 제공 방법을 설명하기 위한 예시도이고, 도 9는 도 8의 혼합 현실 환경 제공 방법을 이용하여 의료 수술 현장에 관한 복수의 사용자에게 혼합 현실 환경 서비스를 제공하는 모습의 예시도이다.

본 발명의 실시예에 따른 혼합 현실 환경 제공 방법은, 제1 웨어러블 타입 컴퓨팅 장치와 동일한 환경에 있는 별도의 제2 웨어러블 타입 컴퓨팅 장치의 제2 이미지 센서가 제1 가이드 도구, 제2 가이드 도구 및 타겟 객체를 촬영하여 획득한 제2 영상에서 서버 시스템(200)의 프로세서(220)가 혼합 현실 어플리케이션을 동작시켜 혼합 현실 어플리케이션이 제1 가이드 도구, 제2 가이드 도구 및 타겟 객체를 추적하고 혼합 현실 환경을 제공할 수 있다.

또한, 본 발명의 실시예에 따른 혼합 현실 환경 제공 방법은, 혼합 현실 어플리케이션이 제2 이미지 센서를 캘리브레이션하여 제2 이미지 센서의 내부 파라미터 및 자세를 획득하는 단계(S610)를 포함할 수 있다. 제2 이미지 센서 자세(P4)는 제2 이미지 센서가 촬영한 공간의 영상에서 원점일 수 있다.

또한, 본 발명의 실시예에 따른 혼합 현실 환경 제공 방법은, 혼합 현실 어플리케이션이 제2 이미지 센서에서 촬영된 제2 영상을 수신하는 단계(S611)를 포함할 수 있다.

또한, 본 발명의 실시예에 따른 혼합 현실 환경 제공 방법은, 혼합 현실 어플리케이션이 제2 영상 내의 상기 타겟 객체에 대하여 제2 공간 좌표계를 설정하는 단계(S612)를 포함할 수 있다.

또한, 본 발명의 실시예에 따른 혼합 현실 환경 제공 방법은, 혼합 현실 어플리케이션이 제2 공간 좌표계를 기초하여 타겟 객체에 대한 상대적인 자세를 계산하여 제2 타겟 상대 자세를 추정하는 단계(S613)를 포함할 수 있다.

또한, 본 발명의 실시예에 따른 혼합 현실 환경 제공 방법은, 혼합 현실 어플리케이션이 제2 타겟 상대 자세를 제2 이미지 센서 자세에 대하여 원점 자세로 설정하도록 제2 이미지 센서 자세를 변환하여 제2 이미지 센서 변환 자세를 획득하는 단계(S614)를 포함할 수 있다.

또한, 본 발명의 실시예에 따른 혼합 현실 환경 제공 방법은, 혼합 현실 어플리케이션이 제2 공간 좌표계에서 설정된 원점 자세에 기초하여 제2 가이드 도구의 상대적인 자세를 계산하여 제2 가이드 도구 상대 자세를 추정하고, 제2 공간 좌표계에서 설정된 원점 자세에 기초하여 제1 가이드 도구의 상대적인 자세를 계산하여 제1-2 가이드 도구 상대 자세를 추정하는 단계(S614)를 포함할 수 있다.

또한, 본 발명의 실시예에 따른 혼합 현실 환경 제공 방법은, 혼합 현실 어플리케이션이, 제2 영상에서, 제2 추정된 가이드 도구 상대 자세에 기초하여 제2 가이드 도구를 추적하고, 제1-2 추정된 가이드 도구 상대 자세에 기초하여 제1 가이드 도구를 추적하는 단계(S615)를 포함할 수 있다.

또한, 본 발명의 실시예에 따른 혼합 현실 환경 제공 방법은, 혼합 현실 어플리케이션이 추적된 제2 가이드 도구에 대응한 제3 가상 컨텐츠 생성하는 단계(S616)를 포함할 수 있다. 일 예로, 도 9와 같이, 혼합 현실 환경이 의료 수술 현장이고 제1 내지 제3 사용자가 각각 제1 내지 제3 웨어러블 타입 컴퓨팅 장치(100a, 100b, 100c)를 착용할 수 있다. 또한, 제1 사용자(u1)는 제1 가이드 도구(400a)를 타겟 객체(300)에 대하여 조작하고 있다. 제2 사용자(u2)는 제2 가이드 도구(400b)를 타겟 객체(300)에 대하여 조작하고 있다. 앞서 설명한 자세 추정 방법에 따라, 서버 시스템(500)은 타겟 객체(300)의 자세(P10)를 원점으로 하여 제1 웨어러블 타입 컴퓨팅 장치(100a)의 자세인 제1 이미지 센서 변환 자세(P8-1), 제1 가이드 도구(400a)의 자세인 제1 가이드 도구 상대 자세(P8-2), 제2 웨어러블 타입 컴퓨팅 장치(100b)의 자세인 제2 이미지 센서 변환 자세(P9-1), 제2 가이드 도구(400b)의 자세인 제2 가이드 도구 상대 자세(P9-2), 제3 웨어러블 타입 컴퓨팅 장치(100c)의 자세인 제3 이미지 센서 변환 자세(P11)를 추정할 수 있다. 서버 시스템(200)은 제1 가이드 도구(400a)에 대응하여 제1 가상 컨텐츠를 메스로 생성할 수 있고, 타겟 객체(300)에 대응하여 제2 가상 컨텐츠를 개복한 모습으로 생성할 수 있고, 제2 가이드 도구(400b)에 대응하여 제3 가상 컨텐츠를 생검 도구로 생성할 수 있다. 이 때, 제2 웨어러블 타입 컴퓨팅 장치(100b)에 제공되는 제1 가이드 도구(100a)의 제1 가상 컨텐츠가 시각적으로 보여지는 모습은 제1 웨어러블 타입 컴퓨팅 장치(100a)에 제공되는 제1 가이드 도구(100a)의 제1 가상 컨텐츠가 시각적으로 보여지는 모습과 다를 수 있다. 제2 웨어러블 타입 컴퓨팅 장치(100a)이 보는 시각과 제1 웨어러블 타입 컴퓨팅 장치(100a)이 보는 시각이 달라서 제1 가이드 도구(100a)에 대한 상대 자세가 다르기 때문이다.

또한, 본 발명의 실시예에 따른 혼합 현실 환경 제공 방법은, 혼합 현실 어플리케이션이, 제2 영상에서, 타겟 객체의 원점 자세에 기초하여 타겟 객체에 제1 가상 컨텐츠를 증강하고, 제2 가이드 도구 상대 자세에 기초하여 제2 가이드 도구에 제3 가상 컨텐츠를 증강하고, 제1-2 가이드 도구 상대 자세에 기초하여 제1 가이드 도구에 제2 가상 컨텐츠를 증강하여 혼합 현실 환경을 제공하는 단계(S617)를 포함할 수 있다. 일 예로, 도 9와 같이, 다수의 사용자가 있는 의료 수술 현장의 혼합 현실 환경인 경우, 서버 시스템(200)은 제1 가이드 도구(400a)에 제1 가이드 도구 상대 자세(P8-2) 맞게 제1 가상 컨텐츠인 메스를 증강할 수 있다. 또한, 서버 시스템(200)은 타겟 객체(300)에 원점 자세(P10)에 맞게 제2 가상 컨텐츠인 개복한 모습을 증강할 수 있다. 또한, 서버 시스템(200)은 제2 가이드 도구(400b)에 제2 가이드 도구 상대 자세(P9-2) 맞게 제3 가상 컨텐츠인 생검 도구를 증강할 수 있다. 또한, 제1 사용자(100a)가 제1 가이드 도구(400)로 타겟 객체(300)에 인접하여 절개하는 동작을 할 경우, 서브 시스템(200)은 제1 가상 컨텐츠인 메스가 제2 가상 컨텐츠인 수술 부위에 작용하여 수술부위가 절개되는 모습으로 제2 가상 컨텐츠를 변형할 수 있다. 이후, 제2 사용자(100b)가 제2 가이드 도구(400b)로 타겟 객체(300)에 인접하여 생검하는 동작을 할 경우, 서브 시스템(200)은 제3 가상 컨텐츠인 생검 도구가 제2 가상 컨텐츠인 절개되어 변형된 수술 부위에 작용하여 절개된 곳에서 조직을 생검한 모습으로 제2 가상 컨텐츠를 변형할 수 있다.

이와 같이 본 발명은 실제 객체에 대한 자세 추정이 신속하고 정확이 이루어 지기 때문에 가상 컨텐츠 간에 상호 작용이 필요하고 다수의 작업자가 협업이 필요하여 실시간성이 요구되는 작업 환경의 콘텐츠에 적용할 수 있다. 즉, 본 발명은 실제 객체에 대한 자세 추정이 신속하고 정확이 이루어 지기 때문에 객체 증강에 있어 객체 추적의 밀림이나 어긋남을 예방할 수 있어 이질감을 줄이고 더욱 유연하게 서로 다른 시점에서 증강현실 및 증강 가상 콘텐츠를 제공할 수 있다.

따라서, 본 발명은 인접한 환경내에서 카메라가 장착된 증강 현실 제공 장치를 착용한 다수의 사용자가 하나의 증강된 작업 대상에 대해 동시 작업을 할 수 있다.

이상 설명된 본 발명에 따른 실시예는 다양한 컴퓨터 구성요소를 통하여 실행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등과 같은, 프로그램 명령어를 저장하고 실행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의하여 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용하여 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위하여 하나 이상의 소프트웨어 모듈로 변경될 수 있으며, 그 역도 마찬가지이다.

본 발명에서 설명하는 특정 실행들은 일 실시 예들로서, 어떠한 방법으로도 본 발명의 범위를 한정하는 것은 아니다. 명세서의 간결함을 위하여, 종래 전자적인 구성들, 제어 시스템들, 소프트웨어, 상기 시스템들의 다른 기능적인 측면들의 기재는 생략될 수 있다. 또한, 도면에 도시된 구성 요소들 간의 선들의 연결 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것으로서, 실제 장치에서는 대체 가능하거나 추가의 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들로서 나타내어질 수 있다. 또한, “필수적인”, “중요하게” 등과 같이 구체적인 언급이 없다면 본 발명의 적용을 위하여 반드시 필요한 구성 요소가 아닐 수 있다.

또한 설명한 본 발명의 상세한 설명에서는 본 발명의 바람직한 실시 예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자 또는 해당 기술분야에 통상의 지식을 갖는 자라면 후술할 특허청구범위에 기재된 본 발명의 사상 및 기술 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다. 따라서, 본 발명의 기술적 범위는 명세서의 상세한 설명에 기재된 내용으로 한정되는 것이 아니라 특허청구범위에 의해 정하여져야만 할 것이다.

100 웨어러블 타입 컴퓨팅 장치
200 서버 시스템
300 타겟 객체
400 가이드 도구

Claims (7)

1. 제1 이미지 센서가 가이드 도구와 타겟 객체를 촬영하여 획득한 제1 영상에서 서버 시스템의 프로세서가 자세 추적 어플리케이션을 동작시켜 상기 자세 추적 어플리케이션이 상기 가이드 도구를 추적하기 위한 자세 추정 방법에 있어서,
   상기 자세 추적 어플리케이션이 상기 제1 이미지 센서를 캘리브레이션하여 상기 제1 이미지 센서의 내부 파라미터 및 자세를 획득하는 단계;
   상기 자세 추적 어플리케이션이 상기 제1 이미지 센서에서 촬영된 제1 영상을 수신하는 단계;
   상기 자세 추적 어플리케이션이 상기 제1 영상 내의 상기 타겟 객체에 대하여 제1 공간 좌표계를 설정하는 단계;
   상기 자세 추적 어플리케이션이 상기 제1 공간 좌표계를 기초하여 상기 타겟 객체에 대한 상대적인 자세를 계산하여 제1 타겟 상대 자세를 추정하는 단계; 및
   상기 자세 추적 어플리케이션이 상기 제1 타겟 상대 자세를 상기 제1 이미지 센서 자세에 대하여 원점 자세로 설정하도록 상기 제1 이미지 센서 자세를 변환하여 제1 이미지 센서 변환 자세를 획득하는 단계;를 포함하고,
   상기 자세 추적 어플리케이션이 상기 제1 이미지 센서를 캘리브레이션하여 상기 제1 이미지 센서의 내부 파라미터 및 자세를 획득하는 단계는, 상기 제1 영상에 대한 촬영 공간에서 상기 제1 이미지 센서를 원점으로 상기 제1 이미지 센서의 자세를 획득하는 단계를 포함하고,
   상기 자세 추적 어플리케이션이 상기 제1 타겟 상대 자세를 상기 제1 이미지 센서 자세에 대하여 원점 자세로 설정하도록 상기 제1 이미지 센서 자세를 변환하여 제1 이미지 센서 변환 자세를 획득하는 단계는, 상기 제1 타겟 상대 자세를 원점 자세로 변환하는 단계와, 상기 변환된 제1 타겟 상대 자세에 따라서 상기 제1 이미지 센서 자세를 변환하여 상기 제1 이미지 센서 변환 자세를 산출하는 단계를 포함하고,
   상기 자세 추적 어플리케이션이 상기 제1 타겟 상대 자세를 원점 자세로 설정한 제1 공간 좌표계에 대하여 상기 가이드 도구의 상대적인 자세를 산출하여 가이드 도구 상대 자세를 결정하는 단계;
   상기 자세 추적 어플리케이션이 상기 제1 타겟 상대 자세를 원점 자세로 설정한 제1 공간 좌표계에서 상기 타겟 객체에 대응한 제1 가상 컨텐츠를 생성하여 혼합현실 환경을 구현하도록 제공하는 단계; 및
   상기 자세 추적 어플리케이션이 상기 결정된 가이드 도구 상대 자세에 기초하여 상기 가이드 도구에 대응한 제2 가상 컨텐츠를 생성하여 혼합현실 환경을 구현하도록 제공하는 단계를 포함하는
   카메라로 촬영된 객체 추적을 위한 자세 추정 방법.
2. 삭제
3. 제1 항에 있어서,
   제2 이미지 센서가 상기 가이드 도구와 상기 타겟 객체를 촬영하여 상기 제2 이미지 센서가 제2 영상을 획득하고,
   상기 자세 추적 어플리케이션이 상기 제2 이미지 센서를 각각 캘리브레이션하여 상기 제2 이미지 센서의 내부 파라미터 및 자세를 획득하는 단계;
   상기 자세 추적 어플리케이션이 상기 제2 이미지 센서에서 촬영된 제2 영상을 수신하는 단계;
   상기 자세 추적 어플리케이션이 상기 제2 영상 내의 상기 타겟 객체에 대하여 제2 공간 좌표계를 설정하는 단계;
   상기 자세 추적 어플리케이션이 상기 제2 공간 좌표계를 기초하여 상기 타겟 객체에 대한 상대적인 자세를 계산하여 제2 타겟 상대 자세를 추정하는 단계; 및
   상기 자세 추적 어플리케이션이 상기 제2 공간 좌표계에서 상기 제2 타겟 상대 자세를 상기 제2 이미지 센서 자세에 대하여 원점 자세로 설정하도록 상기 제2 이미지 센서 자세를 변환하여 제2 이미지 센서 변환 자세를 획득하는 단계;를 포함하는
   카메라로 촬영된 객체 추적을 위한 자세 추정 방법.
4. 제3 항에 있어서,
   상기 자세 추적 어플리케이션이 상기 제2 공간 좌표계에서 상기 설정된 원점 자세에 기초하여 상기 가이드 도구의 상대적인 자세를 계산하여 제1-2 가이드 도구 상대 자세를 추정하는 단계; 및
   상기 자세 추적 어플리케이션이, 상기 제2 영상에서, 상기 제1-2 가이드 도구 상대 자세에 기초하여 상기 가이드 도구를 추적하는 단계;를 포함하는
   카메라로 촬영된 객체 추적을 위한 자세 추정 방법.
5. 제1 웨어러블 타입 컴퓨팅 디바이스이 제1 이미지 센서로 타겟 객체 및 제1 가이드 도구를 촬영하여 획득한 제1 영상에서 서버 시스템의 프로세서가 혼합 현실 어플리케이션을 동작시켜 상기 혼합 현실 어플리케이션이 상기 제1 가이드 도구를 추적하고 혼합 현실 환경을 제공하는 카메라로 촬영된 객체 추적을 위한 자세 추정 방법에 있어서,
   상기 혼합 현실 어플리케이션이 상기 제1 이미지 센서를 캘리브레이션하여 상기 제1 이미지 센서의 내부 파라미터 및 자세를 획득하는 단계;
   상기 혼합 현실 어플리케이션이 상기 제1 이미지 센서에서 촬영된 제1 영상을 수신하는 단계;
   상기 혼합 현실 어플리케이션이 상기 제1 영상 내의 상기 타겟 객체에 대하여 제1 공간 좌표계를 설정하는 단계;
   상기 혼합 현실 어플리케이션이 상기 제1 공간 좌표계를 기초하여 상기 타겟 객체에 대한 상대적인 자세를 계산하여 제1 타겟 상대 자세를 추정하는 단계;
   상기 혼합 현실 어플리케이션이 상기 타겟 상대 자세를 상기 제1 이미지 센서 자세에 대하여 원점 자세로 설정하도록 상기 제1 이미지 센서 자세를 변환하여 제1 이미지 센서 변환 자세를 획득하는 단계; 및
   상기 혼합 현실 어플리케이션이 상기 제1 공간 좌표계에서 상기 설정된 원점 자세에 기초하여 상기 제1 가이드 도구의 상대적인 자세를 계산하여 제1 가이드 도구 상대 자세를 추정하는 단계;를 포함하고,
   상기 혼합 현실 어플리케이션이 상기 제1 이미지 센서를 캘리브레이션하여 상기 제1 이미지 센서의 내부 파라미터 및 자세를 획득하는 단계는, 상기 제1 영상에 대한 촬영 공간에서 상기 제1 이미지 센서를 원점으로 상기 제1 이미지 센서의 자세를 획득하는 단계를 포함하고,
   상기 혼합 현실 어플리케이션이 상기 타겟 상대 자세를 상기 제1 이미지 센서 자세에 대하여 원점 자세로 설정하도록 상기 제1 이미지 센서 자세를 변환하여 제1 이미지 센서 변환 자세를 획득하는 단계는, 상기 타겟 상대 자세를 원점 자세로 변환하는 단계와, 상기 변환된 타겟 상대 자세에 따라서 상기 제1 이미지 센서 자세를 변환하여 상기 제1 이미지 센서 변환 자세를 산출하는 단계를 포함하고,
   상기 혼합 현실 어플리케이션이 상기 제1 공간 좌표계에서 상기 설정된 원점 자세에 기초하여 상기 제1 가이드 도구의 상대적인 자세를 계산하여 제1 가이드 도구 상대 자세를 추정하는 단계는, 상기 타겟 상대 자세를 원점 자세로 설정한 제1 공간 좌표계에 대하여 상기 제1 가이드 도구의 상대적인 자세를 산출하여 제1 가이드 도구 상대 자세를 결정하는 단계를 포함하고,
   상기 혼합 현실 어플리케이션이, 상기 타겟 상대 자세를 원점 자세로 설정한 제1 공간 좌표계에서 상기 타겟 객체에 대응한 제1 가상 컨텐츠를 생성하여 상기 제1 영상에 대한 혼합현실 환경을 구현하도록 제공하는 단계; 및
   상기 혼합 현실 어플리케이션이, 상기 결정된 제1 가이드 도구 상대 자세에 기초하여 상기 제1 가이드 도구에 대응한 제2 가상 컨텐츠를 생성하여 상기제 1 영상에 대한 혼합현실 환경을 구현하도록 제공하는 단계를 포함하는
   카메라로 촬영된 객체 추적을 위한 자세 추정 방법.
6. 삭제
7. 제5 항에 있어서,
   제2 웨어러블 타입 컴퓨팅 장치가 제2 이미지 센서로 타겟 객체, 제1 가이드 도구 및 제2 가이드 도구를 촬영하여 제2 영상을 획득하고,
   상기 혼합 현실 어플리케이션이 상기 제2 이미지 센서를 캘리브레이션하여 상기 제2 이미지 센서의 내부 파라미터 및 자세를 획득하는 단계;
   상기 혼합 현실 어플리케이션이 상기 제2 이미지 센서에서 촬영된 제2 영상을 수신하는 단계;
   상기 혼합 현실 어플리케이션이 상기 제2 영상 내의 상기 타겟 객체에 대하여 제2 공간 좌표계를 설정하는 단계;
   상기 혼합 현실 어플리케이션이 상기 제2 공간 좌표계를 기초하여 상기 타겟 객체에 대한 상대적인 자세를 계산하여 제2 타겟 상대 자세를 추정하는 단계;
   상기 혼합 현실 어플리케이션이 상기 제2 타겟 상대 자세를 상기 제2 이미지 센서 자세에 대하여 원점 자세로 설정하도록 상기 제2 이미지 센서 자세를 변환하여 제2 이미지 센서 변환 자세를 획득하는 단계;
   상기 혼합 현실 어플리케이션이 상기 제2 공간 좌표계에서 상기 설정된 원점 자세에 기초하여 상기 제2 가이드 도구의 상대적인 자세를 계산하여 제2 가이드 도구 상대 자세를 추정하고, 상기 제2 공간 좌표계에서 상기 설정된 원점 자세에 기초하여 상기 제1 가이드 도구의 상대적인 자세를 계산하여 제1-2 가이드 도구 상대 자세를 추정하는 단계;
   상기 혼합 현실 어플리케이션이, 상기 제2 영상에서, 상기 제2 추정된 가이드 도구 상대 자세에 기초하여 상기 제2 가이드 도구를 추적하고, 상기 제1-2 추정된 가이드 도구 상대 자세에 기초하여 상기 제1 가이드 도구를 추적하는 단계;
   상기 혼합 현실 어플리케이션이 상기 추적된 제2 가이드 도구에 대응한 제3 가상 컨텐츠 생성하는 단계; 및
   상기 혼합 현실 어플리케이션이, 상기 제2 영상에서, 상기 타겟 객체의 원점 자세에 기초하여 상기 타겟 객체에 상기 제1 가상 컨텐츠를 증강하고, 상기 제2 가이드 도구 상대 자세에 기초하여 상기 제2 가이드 도구에 상기 제3 가상 컨텐츠를 증강하고, 상기 제1-2 가이드 도구 상대 자세에 기초하여 상기 제1 가이드 도구에 상기 제2 가상 컨텐츠를 증강하여 혼합 현실 환경을 제공하는 단계;를 더 포함하는
   카메라로 촬영된 객체 추적을 위한 자세 추정 방법.

Images