KR102260754B1 - 증강현실용 가이드 도구의 자세 추정을 위한 캘리브레이션 기구 및 이를 이용한 캘리브레이션 방법 - Google Patents

증강현실용 가이드 도구의 자세 추정을 위한 캘리브레이션 기구 및 이를 이용한 캘리브레이션 방법 Download PDF

Info

Publication number
KR102260754B1
KR102260754B1 KR1020190179224A KR20190179224A KR102260754B1 KR 102260754 B1 KR102260754 B1 KR 102260754B1 KR 1020190179224 A KR1020190179224 A KR 1020190179224A KR 20190179224 A KR20190179224 A KR 20190179224A KR 102260754 B1 KR102260754 B1 KR 102260754B1
Authority
KR
South Korea
Prior art keywords
guide tool
marker
posture
augmented reality
image
Prior art date
Application number
KR1020190179224A
Other languages
English (en)
Inventor
하태진
장형기
김선호
Original Assignee
주식회사 버넥트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 버넥트 filed Critical 주식회사 버넥트
Priority to KR1020190179224A priority Critical patent/KR102260754B1/ko
Application granted granted Critical
Publication of KR102260754B1 publication Critical patent/KR102260754B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Architecture (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명의 실시예에 따른 증강현실용 가이드 도구의 자세 추정을 위한 캘리브레이션 기구 및 이를 이용한 캘리브레이션 방법은, 증강현실을 제공하기 위한 가상객체와 상호작용하는 가이드 도구와, 상기 가이드 도구에 탈착되는 탈착형 마커와, 상기 가이드 도구를 촬영한 자세추정 영상의 백그라운드 환경을 제공하는 캘리브레이션 이미지를 이용하여 컴퓨팅 장치의 프로세서에서 증강현실용 가이드 도구의 자세를 추정하기 위한 캘리브레이션 방법으로서, 상기 탈착형 마커가 부착된 가이드 도구를 촬영하여 자세추정 영상을 획득하는 단계; 상기 자세추정 영상 내에서 상기 탈착형 마커의 적어도 일면에서 AR 마커를 감지하는 단계; 상기 감지된 AR 마커와 상기 가이드 도구 사이의 위치 관계를 캘리브레이션하는 단계; 및 상기 캘리브레이션된 위치 관계를 기초로 상기 AR 마커의 위치 변화에 따른 상기 가이드 도구의 자세를 추정하여 증강현실을 제공하는 단계를 포함한다.

Description

증강현실용 가이드 도구의 자세 추정을 위한 캘리브레이션 기구 및 이를 이용한 캘리브레이션 방법{CALIBRATION MECHANISM AND METHOD FOR POSTURE ESTIMATION OF AUGMENTED REALITY GUIDE TOOL}
본 발명은 증강현실용 가이드 도구의 자세 추정을 위한 캘리브레이션 기구 및 이를 이용한 캘리브레이션 방법에 관한 것이다. 보다 상세하게는, 증강현실용 가이드 도구에 탈착가능한 형상으로 구현되는 상기 가이드 도구의 자세 추정을 위한 캘리브레이션 기구 및 이를 이용한 캘리브레이션 방법에 관한 것이다.
현대의 컴퓨팅 및 디스플레이 기술들은, 소위 "가상 현실(Virtual Reality, VR)" 또는 "증강 현실(Augmented Reality, AR)" 경험들을 위한 시스템들의 개발을 가능하게 하며, 디지털적으로 재생된 이들의 이미지들 또는 부분들은 이들이 실제인 것 같은 또는 실제인 것으로 인식될 수 있는 방식으로 사용자에게 제시된다.
가상 현실의 시나리오는, 다른 실제의 실 세계 시각 입력에 투명하지 않은 디지털 또는 가상 이미지 정보의 표현을 통상적으로 포함하며, 증강 현실의 시나리오는, 사용자 주위의 실제 세계의 가시화에 대한 증강으로서 디지털 또는 가상 이미지 정보의 표현을 통상적으로 포함한다.
예컨대, 증강 현실 장면은, AR 기술의 사용자가 실세계 객체들(예컨대, 사람들, 나무들, 백그라운드의 빌딩들 등을 특징 짓는 실세계 공원 같은 세팅) 상에 또는 그 가운데 중첩되는 하나 또는 그 초과의 가상 객체들을 볼 수 있게 한다.
사전에 모델링되어 있지 않은 현실 공간을 대상으로 증강현실 공간을 만들기 위해서는, 사용자가 카메라를 이용하여 현실 공간에 대한 영상 특징-카메라 자세 정보들을 획득하고, 국소 참조 좌표계(Local reference coordinates) 또는 정합 좌표계를 생성한 후, 이를 기준으로 가상공간의 좌표계를 정합해야 한다.
그런데 종래에는, 정합 좌표계가 임의 위치에 생성되기 때문에 사용자가 수동으로 좌표계의 자세를 보정하는 과정이 필요하다. 또한 현실 공간과 증강 현실 공간 간의 스케일을 정확하게 일치시키는 보정 과정을 통해 현실 공간의 단위(예를 들어, 미터(m))로 모델링한 3차원 가상 객체를 증강현실 공간에 정확하게 증강시킬 수 있다.
기존의 정합 방법의 일 실시예로, GPS/나침반 센서 기반 정합 방법은 센서 정보의 오차로 인해 정합의 정밀도가 매우 낮은 문제점이 있으며, 2D 객체 기반 정합 방법은 사전에 학습된 이미지가 필요하며, 정합 대상이 단순한 형태의 2차원 평면에 국한되기 때문에 임의의 3차원 공간 정합에 적합하지 않은 단점이 있다.
3D 공간 기반 정합은 임의의 위치에 증강을 위한 정합 좌표계가 생성되기 때문에 사용자에 의해서 수동으로 좌표계 자세를 보정하는 과정이 필요하며, 이러한 보정을 수행하기 위해서 사용자는 컴퓨터 비전/그래픽스 등과 관련된 전문적인 지식이 필요하고, 사용자가 부정확하게 입력한 경우 부정확한 입력으로 인하여 정합의 오차가 발생할 수도 있다.
한편, 오늘날 디지털 기술과 문화예술을 융합한 실감형 콘텐츠와 상호작용 기술에 대한 연구는 많은 주목을 받고 있다. 특히, 컴퓨터 그래픽, 컴퓨터 비전 등의 기술을 기반으로 한 증강현실 기술이 발전함에 따라 현실세계에 가상의 디지털 콘텐츠를 결합하려는 시도들이 행해지고 있다.
10-2016-0001699 A
본 발명은, 가상객체를 제공하기 위한 매개체 역할을 수행하는 증강현실용 가이드 도구에 탈착 가능한 마커를 기반으로, 증강현실용 가이드 도구의 자세를 추정하는 캘리브레이션(calibration) 기구 및 이를 이용한 캘리브레이션 방법을 제공하는데 그 목적이 있다.
다만, 본 발명 및 본 발명의 실시예가 이루고자 하는 기술적 과제는 상기된 기술적 과제에 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
본 발명의 실시예에 따른 증강현실용 가이드 도구의 자세 추정을 위한 캘리브레이션 기구 및 이를 이용한 캘리브레이션 방법은, 증강현실을 제공하기 위한 가상객체와 상호작용하는 가이드 도구와, 상기 가이드 도구에 탈착되는 탈착형 마커와, 상기 가이드 도구를 촬영한 자세추정 영상의 백그라운드 환경을 제공하는 캘리브레이션 이미지를 이용하여 컴퓨팅 장치의 프로세서에서 증강현실용 가이드 도구의 자세를 추정하기 위한 캘리브레이션 방법으로서, 상기 탈착형 마커가 부착된 가이드 도구를 촬영하여 자세추정 영상을 획득하는 단계; 상기 자세추정 영상 내에서 상기 탈착형 마커의 적어도 일면에서 AR 마커를 감지하는 단계; 상기 감지된 AR 마커와 상기 가이드 도구 사이의 위치 관계를 캘리브레이션하는 단계; 및 상기 캘리브레이션된 위치 관계를 기초로 상기 AR 마커의 위치 변화에 따른 상기 가이드 도구의 자세를 추정하여 증강현실을 제공하는 단계를 포함한다.
이때, 상기 탈착형 마커가 부착된 가이드 도구를 촬영하여 자세추정 영상을 획득하는 단계는, 상기 탈착형 마커가 부착된 가이드 도구가 상기 캘리브레이션 이미지 상에서 움직이는 동작을 촬영한 동영상을 획득하는 단계를 포함한다.
또한, 상기 감지된 AR 마커와 상기 가이드 도구 사이의 위치 관계를 캘리브레이션하는 단계는, 상기 AR 마커와 상기 가이드 도구의 기준 포인트와의 위치 관계를 캘리브레이션하는 단계를 포함한다.
또한, 상기 감지된 AR 마커와 상기 가이드 도구 사이의 위치 관계를 캘리브레이션하는 단계는, 상기 캘리브레이션 이미지의 센터 서클 내 센터 포인트에 접한 가이드 도구의 위치를 기준 포인트로 설정하는 단계를 포함한다.
또한, 상기 설정된 기준 포인트와 상기 AR 마커 사이의 상대 좌표 관계를 상기 캘리브레이션 이미지의 배경 이미지를 기준으로 설정하는 단계를 포함한다.
또한, 본 발명의 실시예에 따른 증강현실용 가이드 도구의 자세 추정을 위한 캘리브레이션 기구 및 이를 이용한 캘리브레이션 방법은, 가상객체를 증강의 기준이 되는 가이드 도구의 자세 추정을 위한 캘리브레이션 기구로서, AR 마커가 표시된 적어도 하나 이상의 마커 표시면과, 상기 가이드 도구를 수용하는 가이드 도구 수용부를 가지는 탈착형 마커를 포함한다.
또한, 상기 탈착형 마커는 기둥형상으로 측면에 AR 마커가 표시된 상기 마커 표시면이 형성되고, 기둥의 상면과 하면을 통과하는 홀(hole)이 상기 가이드 도구 수용부로 형성된다.
본 발명의 실시예에 따른 증강현실용 가이드 도구의 자세 추정을 위한 캘리브레이션 기구 및 이를 이용한 캘리브레이션 방법은, 가이드 도구와 일체형으로 구현되는 마커가 아닌 탈착 가능한 마커를 제공함으로써, 가이드 도구 상의 어느 위치에 대해서도 유연하게 적용할 수 있는 마커를 제공할 수 있다.
또한, 본 발명의 실시예에 따른 증강현실용 가이드 도구의 자세 추정을 위한 캘리브레이션 기구 및 이를 이용한 캘리브레이션 방법은, 가이드 도구에 탈착 및 고정 가능한 마커를 제공함으로써, 가이드 도구에 부착되는 마커에 대한 미세한 위치 상의 오차를 최소화할 수 있고, 가이드 도구와 해당 가이드 도구의 자세에 따라 상호작용하여 제공되는 가상객체 간의 위치 정합성을 향상시켜 증강현실 영상의 퀄리티를 증대시킬 수 있다.
또한, 본 발명의 실시예에 따른 증강현실용 가이드 도구의 자세 추정을 위한 캘리브레이션 기구 및 이를 이용한 캘리브레이션 방법은, 탈착형 마커와 캘리브레이션 이미지에 기반하여 해당 탈착형 마커가 부착된 가이드 도구의 자세를 추정함으로써, 증강 현실 환경에서의 마커와 가이드 도구 간의 관계를 정확히 캘리브레이션할 수 있고, 이를 통해 가상객체의 증강에 관여하는 가이드 도구의 자세를 쉽고 명확하게 추정할 수 있다.
또한, 본 발명의 실시예에 따른 증강현실용 가이드 도구의 자세 추정을 위한 캘리브레이션 기구 및 이를 이용한 캘리브레이션 방법은, 탈착형 마커와 가이드 도구 간의 정확한 정합을 이끌어 낼 수 있는 캘리브레이션 방법을 제공함으로써, 가이드 도구와 상호작용하여 증강현실로 제공되는 가상객체를 3차원 공간 상에 보다 정확하게 구현할 수 있다.
다만, 본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 명확하게 이해될 수 있다.
도 1은 본 발명의 실시예에 따른 증강현실용 가이드 도구의 자세 추정을 위한 캘리브레이션 시스템의 개념도이다.
도 2는 본 발명의 실시예에 따른 캘리브레이션 이미지의 일례이다.
도 3은 본 발명의 실시예에 따른 탈착형 마커의 일례이다.
도 4는 본 발명의 실시예에 따른 가이드 도구에 탈착형 마커가 부착되는 모습의 일례이다.
도 5는 본 발명의 실시예에 따른 캘리브레이션 기구를 이용하여 증강현실용 가이드 도구의 자세를 추정하는 방법을 설명하기 위한 흐름도이다.
도 6은 본 발명의 실시예에 따른 복수의 고정형 카메라를 이용하여 자세추정 영상을 획득하는 모습의 일례이다.
도 7은 본 발명의 실시예에 따른 가이드 도구의 추정 자세에 기초하여 해당 가이드 도구와 상호작용하는 가상객체를 증강현실로 출력한 모습의 일례이다.
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 본 발명의 효과 및 특징, 그리고 그것들을 달성하는 방법은 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 다양한 형태로 구현될 수 있다. 이하의 실시예에서, 제1, 제2 등의 용어는 한정적인 의미가 아니라 하나의 구성 요소를 다른 구성 요소와 구별하는 목적으로 사용되었다. 또한, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 또한, 포함하다 또는 가지다 등의 용어는 명세서상에 기재된 특징, 또는 구성요소가 존재함을 의미하는 것이고, 하나 이상의 다른 특징들 또는 구성요소가 부가될 가능성을 미리 배제하는 것은 아니다. 또한, 도면에서는 설명의 편의를 위하여 구성 요소들이 그 크기가 과장 또는 축소될 수 있다. 예컨대, 도면에서 나타난 각 구성의 크기 및 두께는 설명의 편의를 위해 임의로 나타내었으므로, 본 발명이 반드시 도시된 바에 한정되지 않는다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예들을 상세히 설명하기로 하며, 도면을 참조하여 설명할 때 동일하거나 대응하는 구성 요소는 동일한 도면부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
도 1을 참조하면, 본 발명의 실시예에 따른 증강현실용 가이드 도구의 자세 추정을 위한 캘리브레이션 시스템은, 증강현실 제공 시스템 및 자세 추정 시스템을 포함할 수 있다.
여기서, 실시예에 따른 증강현실 제공 시스템은, 카메라(100), 컴퓨팅 장치(200) 및 사용자 단말(300)을 포함할 수 있다.
이때, 증강현실 제공 시스템의 각 구성요소는, 네트워크(Network)를 통해 연결될 수 있다. 네트워크는 카메라(100), 컴퓨팅 장치(200) 및 사용자 단말(300) 등과 같은 각각의 노드 상호 간에 정보 교환이 가능한 연결 구조를 의미하는 것으로, 이러한 네트워크의 일 예에는 3GPP(3rd Generation Partnership Project) 네트워크, LTE(Long Term Evolution) 네트워크, WIMAX(World Interoperability for Microwave Access) 네트워크, 인터넷(Internet), LAN(Local Area Network), Wireless LAN(Wireless Local Area Network), WAN(Wide Area Network), PAN(Personal Area Network), 블루투스(Bluetooth) 네트워크, 위성 방송 네트워크, 아날로그 방송 네트워크, DMB(Digital Multimedia Broadcasting) 네트워크 등이 포함되나 이에 한정되지는 않는다.
또한, 본 발명의 실시예에 따른 자세 추정 시스템은, 카메라(100), 컴퓨팅 장치(200), 캘리브레이션 기구(400) 및 가이드 도구(500)를 포함할 수 있다.
이하, 첨부된 도면을 참조하여 각 시스템의 구성요소에 대해 자세히 설명하고자 한다.
- 증강현실 제공 시스템
먼저, 본 발명의 실시예에서 증강현실 제공 시스템은, 카메라(100), 컴퓨팅 장치(200) 및 사용자 단말(300)을 포함할 수 있으며, 카메라(100)를 통해 기 인식된 가이드 도구(500)를 촬영하면, 촬영된 영상에 해당 가이드 도구(500)와 상호작용하는 가상객체를 증강한 증강현실을 사용자 단말(300)을 통해 제공할 수 있다.
여기서, 본 발명의 실시예에 따른 가이드 도구(500)란, 가상객체를 증강하기 위한 매개체로서, 가이드 도구(500)의 자세에 따라 상호작용되며 증강되는 가상객체가 제공될 수 있다.
또한, 카메라(100)는, 외부의 오브젝트를 촬영하여 오브젝트의 형상을 포함하는 이미지를 획득할 수 있다.
또한, 카메라(100)는, 획득한 이미지를 전기 신호로 변환하고 영상처리하여 외부의 단말 및/또는 서버 등으로 송신할 수 있다.
실시예에서, 카메라(100)는, 캘리브레이션 이미지 상에 위치하는 탈착형 마커가 부착된 가이드 도구(500)를 촬영하여 자세추정 영상을 획득할 수 있다. 이에 대한 자세한 설명을 후술하기로 한다.
또한, 본 발명의 실시예에서 카메라(100)는, 적어도 하나 이상의 카메라(100)를 포함할 수 있으며, 촬영 영상의 정확성을 위해 고정형으로 구현됨이 바람직할 수 있다.
또한, 카메라(100)는, 적외선 파장대역의 광을 촬영할 수 있는 적외선 카메라를 포함할 수 있다. 마커가 사람에게 시인될 경우, 심미적인 문제가 발생할 수 있고 보안 등의 문제 또한 발생할 수 있다. 이를 방지하기 위해, 실시예에서 마커는 적외선 잉크(IR 잉크)를 통해 표시될 수 있으며, 카메라(100)는 이를 촬영할 수 있는 적외선 카메라일 수 있다.
다음으로, 컴퓨팅 장치(200)는, 카메라(100) 및/또는 사용자 단말(300)과 연동하여, 증강현실용 가이드 도구(500)의 자세 추정을 위한 캘리브레이션 서비스를 제공하기 위한 각종 프로세스(process)를 동작할 수 있다.
실시예로, 컴퓨팅 장치(200)는, 카메라(100)에서 촬영된 영상에 기초하여 탈착형 마커가 부착된 가이드 도구(500)의 자세를 추정할 수 있다. 이에 대한 자세한 설명은 후술하기로 한다.
또한, 실시예에서 컴퓨팅 장치(200)는, 카메라(100)로 촬영된 영상의 가이드 도구(500)와 상호작용하는 가상객체를 도출할 수 있고, 도출된 가상객체를 증강한 증강현실을 사용자 단말(300) 등으로 송신하여 제공할 수 있다.
이때, 컴퓨팅 장치(200)는, 가이드 도구(500)와 상호작용하는 가상객체를 도출하기 위하여, 외부의 단말 및/또는 서버와의 통신을 통해 가상객체를 획득할 수도 있고, 내부의 데이터베이스로부터 데이터를 독출하여 가상객체를 획득할 수도 있다.
다음으로, 본 발명의 실시예에서 사용자 단말(300)은, 휴대용 단말인 스마트 폰, 디지털방송용 단말기, 휴대폰, PDA(personal digital assistants), PMP(portable multimedia player), 네비게이션, 태블릿 PC(tablet PC), 웨어러블 디바이스(wearable device) 및 스마트 글라스(smart glass) 등을 포함할 수 있다.
또한, 사용자 단말(300)은, 고정형 단말인 데스크 탑 PC, 노트북 컴퓨터(laptop computer), 울트라북(ultrabook)과 같은 퍼스널 컴퓨터 등과 같이 유/무선 통신에 기반한 장치를 더 포함할 수 있다.
실시예에서, 이러한 사용자 단말(300)은, 가이드 도구(500)와 상호작용하는 증강된 가상객체를 컴퓨팅 장치(200)로부터 수신하여, 디스플레이를 통해 증강현실로 출력할 수 있다.
본 발명의 실시예에서는, 사용자 단말(300)이 컴퓨팅 장치(200)로부터 가상객체를 수신하여 출력하는 것으로 설명하나, 실시예에 따라서 사용자 단말(300)이 컴퓨팅 장치(200)가 수행하는 동작의 일부를 수행할 수 있는 등 다양한 실시예가 가능할 것이다.
한편, 일반적으로 카메라(100)로 촬영된 영상에 가이드 도구(500)와 상호작용하는 가상객체를 증강하려면, 사전에 해당 가이드 도구(500)의 기준 포인트, 기준 포인트의 위치, 6 자유도(6 degrees of freedom, 6 DoF) 즉, 자세 추정 정보 및/또는 형태에 대한 정보를 획득해야 한다.
여기서, 실시예에 따른 기준 포인트란, 가이드 도구(500)의 자세를 추정하기 위한 기준이 되는 가이드 도구(500) 상의 적어도 하나 이상의 지점을 의미한다. 이러한 기준 포인트는, 가이드 도구(500)에 기초하여 증강현실을 구현할 때 해당 가이드 도구(500)와 상호작용하는 가상객체 증강을 위한 기준 파라미터로 이용될 수 있다.
예를 들어, 기준 포인트는, 가이드 도구(500)가 '펜(pen)'일 경우, 펜 촉 지점에 위치하는 포인트로서, 펜 촉의 움직임에 따른 가상의 선을 가상객체로 증강하는 방식으로 증강현실이 제공될 수 있다. 다른 예로, 기준 포인트는, 가이드 도구(500)가 '나이프(knife)'일 경우, 칼 날끝(tip) 지점에 위치하는 포인트로서, 나이프의 칼 날끝에 움직임에 따른 타 오브젝트의 잘라짐을 가상객체로 표현하는 방식으로 증강현실이 제공될 수 있다.
이러한 가이드 도구(500)의 기준 포인트의 6 자유도를 영상에서 직접 인식하기 어려우므로, 가이드 도구(500)에 부착된 탈착형 마커(420)를 인식하고 탈착형 마커(420)와 기준 포인트 사이의 위치관계에 따라 기준 포인트의 6 자유도를 추정할 수 있다.
따라서, 가이드 도구(500)에 따른 증강현실 제공 전 탈착형 마커(420)와 기준 포인트 사이의 위치관계를 캘리브레이션할 필요가 있다.
또한, 실시예에 따른 6 자유도란, 3차원 공간에서 운동하는 오브젝트의 여섯 가지 회전 및 병진 동작 요소를 측정한 자세 추정 정보일 수 있다.
자세히, 6 자유도는, 3차원 직각　좌표계에서 X축 중심의 좌우 회전(roll), Y축 중심의 앞뒤 회전(pitch), Z축 중심의 위아래 회전(yaw) 동작과 앞뒤(forward/back,　surge), 좌우(left/right,　sway), 위아래(up/down,　heave) 병진 동작(translational　motion)에 대한 값을 측정한 정보일 수 있다.
다시 돌아와서, 일반적으로 위와 같은 가이드 도구(500)의 자세와 관련된 각종 정보(기준 포인트 및/또는 6 자유도 등)를 획득하기 위해, 가이드 도구(500)에 매칭되는 마커를 이용하는 방법이 이용되고 있다.
여기서, 마커란, 매칭되는 오브젝트의 존재, 위치 및/또는 성격 등을 표시하는 매개체를 의미할 수 있다.
자세히, 이러한 마커를 이용하여 가이드 도구(500)의 자세를 추정하기 위해, 마커와 가이드 도구(500)를 일체형으로 구현하고, 이를 카메라(100)로 촬영한 자세추정 영상으로 마커과 가이드 도구(500) 사이의 위치관계를 캘리브레이션 할 수 있다.
그러나, 위와 같이 마커와 일체형으로 형성되는 가이드 기구를 이용한 자세 추정의 방식은, 구조적으로 마커의 위치가 고정되어 있어 상황에 따라 마커의 위치를 유연하게 조정하는데 한계가 있다. 또한, 마커를 가이드 도구(500)에 장착하는 공정 과정에서, 명시된 소정의 위치 상의 오차를 피하기 어려울 수 있다.
그러므로, 본 발명의 실시예에서는, 가이드 도구(500)에 탈착 및 고정 가능한 마커를 제공하여, 가이드 도구(500) 상의 어느 위치에 대해서도 유연하게 적용 가능하고, 가이드 도구(500)에 부착되는 마커에 대한 미세한 위치 상의 오차를 최소화할 수 있으며, 가이드 도구(500)와 해당 가이드 도구(500)의 자세에 따라 상호작용하여 제공되는 가상객체 간의 위치 정합성을 향상시킬 수 있는 증강현실용 가이드 도구(500)의 자세 추정을 위한 캘리브레이션 기구(400) 및 이를 이용한 캘리브레이션 방법을 제공하고자 한다.
- 자세 추정 시스템
본 발명의 실시예에서 자세 추정 시스템은, 가이드 도구(500)의 자세 추정을 위한 캘리브레이션 서비스를 제공할 수 있다.
자세히, 자세 추정 시스템은, 카메라(100)를 통하여 탈착형 마커가 부착된 가이드 도구(500)를 촬영한 영상을 획득할 수 있고, 획득된 영상에 기초하여 해당 가이드 도구(500)의 자세를 추정해 제공할 수 있다.
즉, 자세 추정 시스템은, 촬영된 영상을 기반으로 가이드 도구(500)의 자세 정보를 생성하여 제공함으로써, 해당 가이드 도구(500)의 자세에 따라 상호작용을 수행하는 가상객체를 3차원 공간 상에 정확히 증강시키게 할 수 있다.
도 1을 더 참조하면, 이러한 자세 추정 시스템은, 카메라(100), 컴퓨팅 장치(200), 캘리브레이션(calibration) 기구 및 가이드 도구(500)를 포함할 수 있다. 이하, 효과적인 설명을 위하여 상술된 내용과 중복되는 기술은 생략될 수 있다.
여기서, 캘리브레이션 기구(400)는, 탈착형 마커를 부착한 가이드 도구(500)의 자세를 추정하기 위해 이용되는 기구일 수 있다.
이러한 캘리브레이션 기구(400)는, 실시예에서 캘리브레이션 이미지(410) 및 탈착형 마커(420)를 포함할 수 있다.
도 2는 본 발명의 실시예에 따른 캘리브레이션 이미지(410)의 일례이다.
도 2를 참조하면, 먼저 캘리브레이션 이미지(410)란, 가이드 도구(500)와 탈착형 마커(420) 사이의 위치관계를 캘리브레이션 하기 위한 백그라운드 환경을 조성하여 제공할 수 있다.
자세히, 캘리브레이션 이미지(410)는, 배경 이미지(411), 센터 포인트(412) 및 센터 서클(413)을 포함할 수 있다.
여기서, 배경 이미지(411)는, 기설정된 조건(예컨대, 다양한 특징(feature)적 요소를 포함하는 이미지 등)을 충족하는 임의의 이미지로 구현될 수 있으며, 가이드 도구(500)의 자세 추정을 위한 백그라운드 환경을 조성할 수 있다. 자세히, 배경 이미지(411)는, 중심을 기준으로 각 방향 별 서로 다른 특징의 오브젝트로 구성되어 있어, 컴퓨팅 장치(200)는 배경 이미지(411)를 학습한 후 배경 이미지(411)를 인식하였을 때 인식된 오브젝트 별 방향을 파악할 수 있다.
따라서, 컴퓨팅 장치(200)는, 배경 이미지(411) 상에서 가이드 도구(500)와 탈착형 마커(420)의 위치변화가 있을 때, 상기 배경 이미지(411)를 기준으로 가이드 도구(500)와 탈착형 마커(420)의 2차원 방위를 검출할 수 있다.
또한, 센터 포인트(412)는, 캘리브레이션 이미지(410)의 중앙에 표시되는 포인트 지점으로서, 캘리브레이션 이미지(410) 상에서 자세를 추정하려는 가이드 도구(500)의 일단이 위치 및 고정되어야 하는 지점을 표시할 수 있다.
자세히, 센터 포인트(412)는, 가이드 도구(500)의 기준 포인트를 위치시키는 지점일 수 있다.
또한, 센터 서클(413)은, 센터 포인트(412)를 직관적으로 인식하게 하는 기호로서, 예컨대, 센터 포인트(412)가 정중앙에 배치된 정원형의 도형일 수 있다.
도 3은 본 발명의 실시예에 따른 탈착형 마커(420)의 일례이다.
한편, 도 3을 참조하면 탈착형 마커(420)는, 가이드 도구(500)에 탈착이 가능한 형태로 구현된 마커로서, 가이드 도구(500) 상에서 임의로 위치 조정이 가능하며, 가이드 도구(500)에서 탈착형 마커(420)를 장착하고자 하는 부분인 툴팁(Tool-tip) 영역 상에 고정될 수 있다.
자세히, 실시예에서 탈착형 마커(420)는, 마커 표시면(421) 및 가이드 도구 수용부(422)를 포함할 수 있다.
여기서, 마커 표시면(421)은, 다면체의 탈착형 마커(420)에서 적어도 한면을 포함할 수 있다. 예를 들어, 다각기둥 형태의 탈착형 마커(420)일 때, 다각기둥의 측면이 마커 표시면(421)일 수 있다.
이러한 마커 표시면(421)은, 카메라(100)로 인식 가능하며 매칭되는 마커 표시면(421)을 특정하는 이미지인 AR 마커를 포함할 수 있다. 즉, AR 마커는, 마커 표시면(421)이 복수 개인 경우, 서로 각기 다른 이미지로 구현되어 매칭되는 각 마커 표시면(421)을 특정할 수 있다.
또한, 가이드 도구 수용부(422)는, 탈착형 마커(420)에 가이드 도구(500)에 수용하기 위한 공간을 포함할 수 있다.
실시예에서, 가이드 도구 수용부(422)는, 가이드 도구(500)를 넣어 고정시키기 위한 홀(hole)의 형태로 구현될 수 있다. 예를 들어, 다각기둥형 탈착형 마커(420)의 중앙에 형성된 가이드 도구(500)에 대응되는 형태의 홀로, 상기 홀에 가이드 도구(500)의 일부가 수용되어 고정되는 방식으로 구현될 수 있다.
실시예에서, 이러한 가이드 도구 수용부(422)는, 소정의 방식에 의해 그 크기가 조절될 수 있으며, 이를 통해 가이드 도구(500)를 수용할 수 있는 형태 또는 가이드 도구(500)를 단단히 조여 고정할 수 있는 형태로 상태 변경이 가능할 수 있다. 본 실시예에서는, 가이드 도구 수용부(422)의 형태를 조절하여 가이드 도구(500)를 수용 또는 고정하기 적합한 형태로 변형하는 방법에 대한 한정이나 제한은 하지 않는다.
다시 돌아와서, 예를 들어 위와 같은 마커 표시면(421)과 가이드 도구 수용부(422)를 포함하는 탈착형 마커(420)는, 6개 이상의 마커 표시면(421)을 포함하는 링(ring) 형태로 구현될 수 있으며, 원형의 홀 형태의 가이드 도구 수용부(422)를 통해 가이드 도구(500)에 대한 탈착이 가능하도록 설계될 수 있다.
한편, 가이드 도구(500)의 자세 추정을 위한 캘리브레이션 서비스를 제공하는 컴퓨팅 장치(200)는, 위와 같은 캘리브레이션 기구(400)와 촬영 영상을 기반으로 가이드 도구(500)와 탈착형 마커(420) 사이의 캘리브레이션된 위치관계 정보를 획득할 수 있다. 따라서, 증강현실 영상에서 탈착형 마커(420)를 인식하여 6자유도를 획득하면, 상기 위치관계 정보를 기준으로 탈착형 마커(420)의 6 자유도에 따라 기준 포인트의 6 자유도를 획득함으로써, 가이드 도구(500)의 자세를 추정할 수 있다.
자세히, 컴퓨팅 장치(200)는, 사전에 카메라(100) 촬영 영상과 캘리브레이션 기구(400)에 기반한 학습 데이터를 기반으로 학습될 수 있고, 이를 통해 새롭게 획득되는 촬영 영상의 탈착형 마커(420)를 부착한 가이드 도구(500)에 대한 기준 포인트 및 6 자유도를 획득할 수 있다.
보다 상세히, 컴퓨팅 장치(200)는, 먼저 카메라(100)를 통해 자세추정 영상을 획득할 수 있다.
여기서, 자세추정 영상이란, 가이드 도구(500)가 삽입된 탈착형 마커(420) 및 캘리브레이션 이미지(410)를 포함하는 촬영 영상일 수 있다.
이때, 자세추정 영상은, 가이드 도구(500)의 자세 추정을 위하여 기설정된 동작을 수행하는 동작이 촬영된 영상일 수 있다.
실시예에서, 가이드 도구(500)의 자세 추정을 위하여 기설정된 동작은, 캘리브레이션 이미지(410)의 센터 포인트(412)에, 탈착형 마커(420)가 부착된 가이드 도구(500)의 일단이 접하여 고정되고, 그 상태에서 상기 일단을 축으로 상기 가이드 도구(500)의 타단이 원형 회전을 수행하는 동작일 수 있다. 다만 이에 한정되는 것은 아니며, 탈착형 마커(420)가 부착된 가이드 도구(500)의 자세를 용이하게 획득할 수 있는 동작의 다양한 실시예가 가능할 수 있다.
다음으로, 컴퓨팅 장치(200)는, 획득된 자세추정 영상에 기초하여 가이드 도구(500)가 삽입된 탈착형 마커(420)에 대한 3차원 위치 및 6 자유도를 추정할 수 있다.
그리고 컴퓨팅 장치(200)는, 추정된 탈착형 마커(420)에 대한 3차원 위치 및 6 자유도를 기반으로, 해당 탈착형 마커(420)에 삽입된 가이드 도구(500)의 기준 포인트 및 6 자유도를 추정할 수 있다.
이후, 컴퓨팅 장치(200)는, 추정된 가이드 도구(500)의 기준 포인트 및 6 자유도를 기반으로, 해당 가이드 도구(500)의 자세를 추정하여 제공할 수 있다. 이에 대한 자세한 설명은 후술하기로 한다.
도 4는 본 발명의 실시예에 따른 가이드 도구(500)에 탈착형 마커(420)가 부착되는 모습의 일례이다.
한편, 도 4를 참조하면 가이드 도구(500)는, 가상객체를 증강하기 위한 매개체로서, 다양한 형태로 구현이 가능하나 적어도 일부가 막대형으로 구현되는 것이 가장 바람직한 실시예일 수 있다.
즉, 가이드 도구(500)는, 사용자가 그립(grip)할 시 해당 가이드 도구(500)에 부착된 탈착형 마커(420)의 적어도 일부가 카메라(100)에 원활히 노출되게 할 수 있으며, 탈착형 마커(420)의 가이드 도구 수용부(422)에 삽입되기에 최적화된 형태일 수 있는 막대형의 구성을 적어도 일부 포함하고 있음이 바람직할 수 있다.
예를 들면, 가이드 도구(500)는, 적어도 일부가 막대형인 펜(pen)의 형태로 구현될 수 있다.
상술된 바와 같이, 본 발명의 실시예에서 자세 추정 시스템은, 카메라(100), 컴퓨팅 장치(200), 캘리브레이션(calibration) 기구 및 가이드 도구(500)에 기반하여 가이드 도구(500)의 자세 추정을 위한 캘리브레이션 서비스를 제공할 수 있고, 이를 통해 증강 현실 환경에서의 마커와 가이드 도구(500) 간의 관계를 정확히 캘리브레이션할 수 있으며, 가이드 도구(500)와 상호작용하여 증강현실로 제공되는 가상객체가 3차원 공간 상에 보다 정확히 구현되게 할 수 있다.
- 캘리브레이션 기구에 기반한 증강현실용 가이드 도구의 자세 추정방법
이하, 첨부된 도면을 참조하여 캘리브레이션 기구(400)를 기반으로 가이드 도구(500)의 자세를 추정하는 방법에 대해 상세히 설명하고자 한다.
도 5는 본 발명의 실시예에 따른 캘리브레이션 기구(400)를 이용하여 증강현실용 가이드 도구(500)의 자세를 추정하는 방법을 설명하기 위한 흐름도이다.
도 5를 참조하면, 먼저 자세 추정 시스템은, 카메라(100)를 이용하여, 탈착형 마커(420)가 부착된 가이드 도구(500)의 자세를 추정하기 위한 자세추정 영상을 획득할 수 있다. (S101)
도 6은 본 발명의 실시예에 따른 복수의 고정형 카메라를 이용하여 자세추정 영상을 획득하는 모습의 일례이다.
자세히, 도 6을 참조하면 자세 추정 시스템은, 복수의 고정형 카메라(100-1, 100-2, 100-3, …)를 포함할 수 있다.
또한, 자세 추정 시스템은, 복수의 고정형 카메라(100-1, 100-2, 100-3, …)가 각기 다른 위치에서 기세팅된 캘리브레이션 기구(400) 및 가이드 도구(500)를 향하도록 설정하여, 해당 캘리브레이션 기구(400) 및 가이드 도구(500)를 다각도로 촬영하게 할 수 있다.
그리고 자세 추정 시스템은, 복수의 고정형 카메라(100-1, 100-2, 100-3, …)를 통해 촬영을 수행하여 해당 캘리브레이션 기구(400) 및 가이드 도구(500)에 기반한 자세추정 영상을 획득할 수 있다.
이때, 자세추정 영상은, 가이드 도구(500)가 삽입된 탈착형 마커(420) 및 캘리브레이션 이미지(410)를 포함하는 촬영 영상으로서, 가이드 도구(500)의 자세 추정을 위한 기설정된 동작을 수행하는 동작을 촬영한 영상일 수 있다.
다음으로, 자세추정 영상을 획득한 자세 추정 시스템은, 컴퓨팅 장치(200)를 이용하여, 획득된 자세추정 영상을 기초로 가이드 도구(500)가 삽입된 탈착형 마커(420)에 대한 적어도 일면의 AR 마커를 감지할 수 있다. (S103)
자세히, 자세 추정 시스템은, 자세추정 영상의 캘리브레이션 이미지(410) 상에서, 가이드 도구(500)의 자세 추정을 위하여 기설정된 동작이 수행되는 탈착형 마커(420)에 대한 적어도 일면의 AR 마커를 지속적으로 감지할 수 있다.
실시예에서, AR 마커는 적외선 파장 대역에서 감지되는 적외선 잉크로 생성된 마커일 수 있다. 이러한 예시의 AR 마커는, 일반 사람의 눈에 감지되지 않으나, 컴퓨팅 장치(200)의 카메라가 적외선 대역의 광을 감지 가능하다면, 컴퓨팅 장치(200)에서만 인식될 수 있다.
이후, 자세 추정 시스템은, 컴퓨팅 장치(200)를 통하여, 자세추정 영상에서 탈착형 마커(420)의 소정의 동작이 수행되는 동안 지속적으로 감지된 AR 마커를 기반으로, 탈착형 마커(420)와 가이드 도구(500) 사이의 위치 관계를 캘리브레이션(calibration) 할 수 있다.
자세히, 먼저 자세 추정 시스템은, 해당 탈착형 마커(420)에 대한 3차원 위치 및 6 자유도 획득할 수 있다. (S105)
실시예에서, 자세 추정 시스템은, 가이드 도구(500)가 삽입된 탈착형 마커(420)에 대하여, 피앤피(Perspective-n-Point, PnP) 및/또는 호모그래피(Homography) 알고리즘 등에 기초한 자세 추정 기법을 적용함으로써, 해당 탈착형 마커(420)에 대한 3차원 위치 및 6 자유도 획득할 수 있다.
이때, 복수의 고정형 카메라(100-1, 100-2, 100-3, …)를 통해 촬영된 자세추정 영상에 기초하여 다양한 알고리즘을 통해 획득된 결과는, 다수의 카메라(100)를 통해 획득된 정보가 모두 사용되는 과정에서 보정되기 때문에 정확성이 향상될 수 있다. 또한, 본 발명의 실시예에서는, 피앤피(Perspective-n-Point, PnP) 및/또는 호모그래피(Homography) 알고리즘 등에 기초한 자세 추정 기법을 기반으로 탈착형 마커(420)에 대한 3차원 위치 및 6 자유도 획득한다고 설명하나, 탈착형 마커(420)에 대한 3차원 위치 및 6 자유도를 획득하는 알고리즘이나 기법은 이에 한정되지 않는다.
다음으로, 자세 추정 시스템은, 컴퓨팅 장치(200)를 통하여, 획득된 탈착형 마커(420)에 대한 3차원 위치 및 6 자유도를 기반으로, 해당 탈착형 마커(420)에 삽입된 가이드 도구(500)의 기준 포인트에 대한 3차원 위치 및 6 자유도를 획득할 수 있고, 이를 통해 해당 가이드 도구(500)에 대한 자세 추정을 수행할 수 있다. (S107)
자세히, 실시예에서 탈착형 마커(420)는, 가이드 도구(500)에서 자세 추정을 하고자 하는 부분인 툴팁(Tool-tip) 영역 상에 부착될 수 있다.
이때, 자세 추정 시스템은, 컴퓨팅 장치(200)를 이용하여, 툴팁 영역 상에 부착된 탈착형 마커(420)에 대한 3차원 위치 및 6 자유도를 기초로, 해당 탈착형 마커(420)가 부착된 가이드 도구(500)의 기준 포인트를 획득할 수 있고, 획득된 기준 포인트에 대한 3차원 위치 및 6 자유도를 획득할 수 있다.
보다 상세히, 자세 추정 시스템은, 먼저 자세추정 영상 및/또는 자세추정 영상의 탈착형 마커(420)를 기반으로, 가이드 도구(500)에 대한 기준 포인트를 획득할 수 있다.
실시예에서, 자세 추정 시스템은, 자세추정 영상의 캘리브레이션 이미지(410)가 포함하는 센터 포인트(412)에 접촉된 가이드 도구(500)의 일단 및/또는 해당 일단에 대칭되는 가이드 도구(500)의 타단을 해당 가이드 도구(500)의 기준 포인트로 설정할 수 있다.
예를 들어, 자세 추정 시스템은, 가이드 도구(500)가 '펜'이고 캘리브레이션 이미지(410)의 센터 포인트(412)에 해당 펜의 펜 촉 부분이 접한 상태로 자세추정 영상이 촬영된 경우, 센터 포인트(412)에 접한 펜 촉 지점 및/또는 해당 펜 촉 지점에 대칭되는 펜의 타 말단 지점을 기준 포인트로 결정할 수 있다.
다른 실시예에서, 자세 추정 시스템은, 자세추정 영상의 탈착형 마커(420)를 기초로 하여, 해당 탈착형 마커(420)와 결합된 것으로 판단되는 가이드 도구(500) 영역을 감지하고, 감지된 가이드 도구(500) 영역 상의 적어도 하나 이상의 지점을 기준 포인트로 설정할 수 있다.
이때, 본 발명의 실시예에서 자세 추정 시스템은, 탈착형 마커(420)에 결합된 가이드 도구(500) 영역을 판단하기 위하여, 딥러닝 뉴럴 네트워크(Deep-learning neural network) 등을 이용한 이미지 분석을 수행할 수 있다. 다만 이에 한정되는 것은 아니다.
예를 들어, 자세 추정 시스템은, 가이드 도구(500)가 '펜'이고 해당 펜의 툴팁 영역 상에 탈착형 마커(420)가 결합된 경우, 해당 탈착형 마커(420)와 결합된 가이드 도구(500) 영역을 이미지 분석을 통해 도출할 수 있고, 도출된 가이드 도구(500) 영역 중 적어도 일 지점(예컨대, 가이드 도구(500) 영역의 양 말단)을 기준 포인트로 설정할 수 있다.
또한, 가이드 도구(500)의 기준 포인트를 획득한 자세 추정 시스템은, 획득된 기준 포인트에 대한 3차원 위치 및 6 자유도를 획득할 수 있다.
자세히, 자세 추정 시스템의 컴퓨팅 장치(200)는, 탈착형 마커(420)에 대한 3차원 위치 및 6 자유도를 기반으로, 기준 포인트에 대한 3차원 위치 및 6 자유도를 획득할 수 있다.
실시예에서, 자세 추정 시스템은, 3차원 공간에서의 탈착형 마커(420)에 대한 3차원 위치를 기준으로 기준 포인트의 3차원 위치를 추정하여 기준 포인트의 3차원 위치를 설정할 수 있다.
예를 들어, 자세 추정 시스템은, 탈착형 마커(420)의 3차원 좌표값으로부터 기준 포인트까지의 거리를 도출하고, 도출된 거리에 기초하여 해당 기준 포인트의 3차원 좌표값을 산출할 수 있다. 그리고 자세 추정 시스템은, 산출된 산출된 기준 포인트의 3차원 좌표값을 해당 기준 포인트의 3차원 위치로 설정할 수 있다.
또한, 실시예에서 자세 추정 시스템은, 탈착형 마커(420)의 6 자유도를 기준으로 기준 포인트의 6 자유도를 추정하여 기준 포인트의 6 자유도를 설정할 수 있다.
예를 들어, 자세 추정 시스템은, 탈착형 마커(420)의 6 자유도 변화량에 비례하여 기준 포인트의 6 자유도 변화량이 제어되도록 기준 포인트의 6 자유도를 설정할 수 있다.
즉, 자세 추정 시스템은, 탈착형 마커(420)에 대한 3차원 위치 및 6 자유도에 기반한 탈착형 마커(420)의 자세와, 가이드 도구(500)의 기준 포인트 및 6 자유도에 기반한 가이드 도구(500)의 자세 간의 전환 관계를 추정하여 최적화시킬 수 있다. 그리고 이를 통해 자세 추정 시스템은, 탈착형 마커(420)와 가이드 도구(500) 간의 위치 관계를 캘리브레이션하여, 탈착형 마커(420)가 부착된 가이드 도구(500)에 대한 자세 추정을 수행할 수 있다.
자세히, 자세 추정 시스템은, 캘리브레이션된 탈착형 마커(420)와 가이드 도구(500) 간의 위치 관계를 기초로, 해당 탈착형 마커(420)가 포함하는 적어도 하나 이상의 AR 마커의 위치 변화에 따른 해당 가이드 도구(500)의 자세를 추정할 수 있다.
보다 상세히, 자세 추정 시스템은, AR 마커의 위치가 변화함에 따라서 변경되는 탈착형 마커(420)에 대한 위치 및 6 자유도에 기반하여, 탈착형 마커(420)가 움직임에 따라 함께 이동되는 가이드 도구(500)의 자세 변화를 추정할 수 있다.
예를 들어, 자세 추정 시스템은, 영상에서 감지되는 AR 마커가 기존 위치에서 우측으로 45 도(˚)만큼 이동된 경우, 이에 따라 변화되는 탈착형 마커(420)에 대한 위치 및 6 자유도를 획득할 수 있다. 그리고 자세 추정 시스템은, 획득된 탈착형 마커(420)와 위치 관계가 캘리브레이션되어 있는 가이드 도구(500)의 기준 포인트에 대한 위치 및 6 자유도를 획득할 수 있다. 이후 자세 추정 시스템은, 획득된 기준 포인트의 위치 및 6 자유도에 기반하여 해당 가이드 도구(500)의 변화된 자세를 추정할 수 있다.
이와 같이, 본 발명의 실시예에서 자세 추정 시스템은, 탈착형 마커(420)와 가이드 도구(500) 사이의 위치 관계를 각각의 기준 포인트에 대한 위치 및 6 자유도에 기초하여 캘리브레이션할 수 있고, 이를 통해 캘리브레이션 기구(400)에 기반한 가이드 도구(500)의 정확한 자세 추정을 수행할 수 있다.
다음으로, 가이드 도구(500)의 자세를 추정한 자세 추정 시스템은, 가이드 도구(500)의 기준 포인트에 대한 위치 및 6 자유도를 기반으로 해당 가이드 도구(500)와 상호작용하는 가상객체를 증강현실로 제공할 수 있다. (S109)
도 7은 본 발명의 실시예에 따른 가이드 도구(500)의 추정 자세에 기초하여 해당 가이드 도구(500)와 상호작용하는 가상객체를 증강현실로 출력한 모습의 일례이다.
자세히, 도 7을 참조하면 자세 추정 시스템은, 컴퓨팅 장치(200)를 통하여, 카메라(100)를 이용해 촬영된 촬영 영상의 가이드 도구(500)와 상호작용하는 소정의 가상객체를 도출할 수 있고, 도출된 소정의 가상객체를 해당 가이드 도구(500)의 자세를 기초로 사용자 단말(300)의 디스플레이를 통해 출력하여 증강현실로 제공할 수 있다.
이때, 자세 추정 시스템은, 가이드 도구(500)와 상호작용하는 가상객체를 도출하기 위하여, 컴퓨팅 장치(200)를 통해 외부의 단말 및/또는 서버와의 통신을 수행하여 가상객체를 획득할 수도 있고, 내부의 데이터베이스로부터 데이터를 독출하여 가상객체를 획득할 수도 있다.
또한, 여기서 자세 추정 시스템은, 촬영 영상의 가이드 도구(500)에 대한 기준 포인트에 기준하여 획득된 가상객체를 영상 상에 증강 표시할 수 있다.
예를 들어, 자세 추정 시스템은, 영상의 기준 포인트의 위치에 매칭하여 도출된 가상객체를 표시할 수 있고, 해당 기준 포인트의 6 자유도가 변화하는 경우 이와 동일하게 6 자유도가 변화하도록 가상객체를 표시할 수 있다.
즉, 자세 추정 시스템은, 가이드 도구(500)의 기준 포인트를 기준으로 해당 가이드 도구(500)와 상호작용하는 가상객체를 증강하여 출력함으로써, 탈착형 마커(420)의 부착 위치에 관계없이 가이드 도구(500)의 자세에 따라 변화되는 가상객체를 증강현실로 표시할 수 있다.
이상, 본 발명의 실시예에 따른 증강현실용 가이드 도구(500)의 자세 추정을 위한 캘리브레이션 기구(400) 및 이를 이용한 캘리브레이션 방법은, 가이드 도구(500)와 일체형으로 구현되는 마커가 아닌 탈착 가능한 마커를 제공함으로써, 가이드 도구(500) 상의 어느 위치에 대해서도 유연하게 적용할 수 있는 마커를 제공할 수 있다.
또한, 본 발명의 실시예에 따른 증강현실용 가이드 도구(500)의 자세 추정을 위한 캘리브레이션 기구(400) 및 이를 이용한 캘리브레이션 방법은, 가이드 도구(500)에 탈착 및 고정 가능한 마커를 제공함으로써, 가이드 도구(500)에 부착되는 마커에 대한 미세한 위치 상의 오차를 최소화할 수 있고, 가이드 도구(500)와 해당 가이드 도구(500)의 자세에 따라 상호작용하여 제공되는 가상객체 간의 위치 정합성을 향상시켜 증강현실 영상의 퀄리티를 증대시킬 수 있다.
또한, 본 발명의 실시예에 따른 증강현실용 가이드 도구(500)의 자세 추정을 위한 캘리브레이션 기구(400) 및 이를 이용한 캘리브레이션 방법은, 탈착형 마커(420)와 캘리브레이션 이미지(410)에 기반하여 해당 탈착형 마커(420)가 부착된 가이드 도구(500)의 자세를 추정함으로써, 증강 현실 환경에서의 마커와 가이드 도구(500) 간의 관계를 정확히 캘리브레이션할 수 있고, 이를 통해 가상객체의 증강에 관여하는 가이드 도구(500)의 자세를 쉽고 명확하게 추정할 수 있다.
또한, 본 발명의 실시예에 따른 증강현실용 가이드 도구(500)의 자세 추정을 위한 캘리브레이션 기구(400) 및 이를 이용한 캘리브레이션 방법은, 탈착형 마커(420)와 가이드 도구(500) 간의 정확한 정합을 이끌어 낼 수 있는 캘리브레이션 방법을 제공함으로써, 가이드 도구(500)와 상호작용하여 증강현실로 제공되는 가상객체를 3차원 공간 상에 보다 정확하게 구현할 수 있다.
또한, 이상에서 설명된 본 발명에 따른 실시예는 다양한 컴퓨터 구성요소를 통하여 실행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등과 같은, 프로그램 명령어를 저장하고 실행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의하여 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용하여 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위하여 하나 이상의 소프트웨어 모듈로 변경될 수 있으며, 그 역도 마찬가지이다.
본 발명에서 설명하는 특정 실행들은 일 실시 예들로서, 어떠한 방법으로도 본 발명의 범위를 한정하는 것은 아니다. 명세서의 간결함을 위하여, 종래 전자적인 구성들, 제어 시스템들, 소프트웨어, 상기 시스템들의 다른 기능적인 측면들의 기재는 생략될 수 있다. 또한, 도면에 도시된 구성 요소들 간의 선들의 연결 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것으로서, 실제 장치에서는 대체 가능하거나 추가의 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들로서 나타내어질 수 있다. 또한, “필수적인”, “중요하게” 등과 같이 구체적인 언급이 없다면 본 발명의 적용을 위하여 반드시 필요한 구성 요소가 아닐 수 있다.
또한 설명한 본 발명의 상세한 설명에서는 본 발명의 바람직한 실시 예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자 또는 해당 기술분야에 통상의 지식을 갖는 자라면 후술할 특허청구범위에 기재된 본 발명의 사상 및 기술 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다. 따라서, 본 발명의 기술적 범위는 명세서의 상세한 설명에 기재된 내용으로 한정되는 것이 아니라 특허청구범위에 의해 정하여져야만 할 것이다.

Claims (7)

  1. 증강현실을 제공하기 위한 가상객체와 상호작용하는 가이드 도구와, 상기 가이드 도구에 탈착되는 탈착형 마커와, 상기 가이드 도구를 촬영한 자세추정 영상의 백그라운드 환경을 제공하는 캘리브레이션 이미지를 이용하여 컴퓨팅 장치의 프로세서에서 증강현실용 가이드 도구의 자세를 추정하기 위한 캘리브레이션 방법으로서,
    상기 탈착형 마커가 부착된 가이드 도구를 촬영하여 자세추정 영상을 획득하는 단계;
    상기 자세추정 영상 내에서 상기 탈착형 마커의 적어도 일면에서 AR 마커를 감지하는 단계;
    상기 감지된 AR 마커와 상기 가이드 도구 사이의 위치 관계를 캘리브레이션하는 단계; 및
    상기 캘리브레이션된 위치 관계를 기초로 상기 AR 마커의 위치 변화에 따른 상기 가이드 도구의 자세를 추정하여 증강현실을 제공하는 단계를 포함하고,
    상기 감지된 AR 마커와 상기 가이드 도구 사이의 위치 관계를 캘리브레이션하는 단계는, 상기 증강현실 제공을 위한 가상객체와 상호작용하는 기준 파라미터로 상기 가이드 도구의 일 지점을 기준 포인트로 결정하는 단계와, 상기 AR 마커와 상기 기준 포인트와의 위치 관계를 캘리브레이션하는 단계를 포함하고,
    상기 캘리브레이션 된 위치 관계를 기초로 상기 AR 마커의 위치 변화에 따른 상기 가이드 도구의 자세를 추정하여 증강현실을 제공하는 단계는, 상기 AR 마커의 위치 변화에 따라서 상기 기준 포인트의 자세를 추정하고, 상기 추정된 기준 포인트의 자세에 따라서 가상객체를 증강하여 표시하는 단계를 포함하는
    증강현실용 가이드 도구의 자세 추정을 위한 캘리브레이션 기구를 이용한 캘리브레이션 방법.
  2. 제 1 항에 있어서,
    상기 탈착형 마커가 부착된 가이드 도구를 촬영하여 자세추정 영상을 획득하는 단계는,
    상기 탈착형 마커가 부착된 가이드 도구가 상기 캘리브레이션 이미지 상에서 움직이는 동작을 촬영한 동영상을 획득하는 단계를 포함하는
    증강현실용 가이드 도구의 자세 추정을 위한 캘리브레이션 기구를 이용한 캘리브레이션 방법.
  3. 삭제
  4. 제 1 항에 있어서,
    상기 가이드 도구의 일 지점을 기준 포인트로 결정하는 단계는,
    상기 캘리브레이션 이미지의 센터 서클 내 센터 포인트에 접한 가이드 도구의 위치를 기준 포인트로 설정하는 단계를 포함하는
    증강현실용 가이드 도구의 자세 추정을 위한 캘리브레이션 기구를 이용한 캘리브레이션 방법.
  5. 제 4 항에 있어서,
    상기 설정된 기준 포인트와 상기 AR 마커 사이의 상대 좌표 관계를 상기 캘리브레이션 이미지의 배경 이미지를 기준으로 설정하는 단계를 포함하는
    증강현실용 가이드 도구의 자세 추정을 위한 캘리브레이션 기구를 이용한 캘리브레이션 방법.
  6. 삭제
  7. 삭제
KR1020190179224A 2019-12-31 2019-12-31 증강현실용 가이드 도구의 자세 추정을 위한 캘리브레이션 기구 및 이를 이용한 캘리브레이션 방법 KR102260754B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190179224A KR102260754B1 (ko) 2019-12-31 2019-12-31 증강현실용 가이드 도구의 자세 추정을 위한 캘리브레이션 기구 및 이를 이용한 캘리브레이션 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190179224A KR102260754B1 (ko) 2019-12-31 2019-12-31 증강현실용 가이드 도구의 자세 추정을 위한 캘리브레이션 기구 및 이를 이용한 캘리브레이션 방법

Publications (1)

Publication Number Publication Date
KR102260754B1 true KR102260754B1 (ko) 2021-06-07

Family

ID=76374714

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190179224A KR102260754B1 (ko) 2019-12-31 2019-12-31 증강현실용 가이드 도구의 자세 추정을 위한 캘리브레이션 기구 및 이를 이용한 캘리브레이션 방법

Country Status (1)

Country Link
KR (1) KR102260754B1 (ko)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090056760A (ko) * 2007-11-30 2009-06-03 광주과학기술원 증강현실 저작 방법 및 시스템과 그 프로그램을 기록한컴퓨터로 읽을 수 있는 기록 매체
KR20160001699A (ko) 2014-06-26 2016-01-06 한국과학기술원 증강현실 상호 작용 서비스 제공 장치 및 방법
KR20160121798A (ko) * 2014-07-10 2016-10-20 세이코 엡슨 가부시키가이샤 직접적인 기하학적 모델링이 행해지는 hmd 보정

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090056760A (ko) * 2007-11-30 2009-06-03 광주과학기술원 증강현실 저작 방법 및 시스템과 그 프로그램을 기록한컴퓨터로 읽을 수 있는 기록 매체
KR20160001699A (ko) 2014-06-26 2016-01-06 한국과학기술원 증강현실 상호 작용 서비스 제공 장치 및 방법
KR20160121798A (ko) * 2014-07-10 2016-10-20 세이코 엡슨 가부시키가이샤 직접적인 기하학적 모델링이 행해지는 hmd 보정

Similar Documents

Publication Publication Date Title
US10984554B2 (en) Monocular vision tracking method, apparatus and non-volatile computer-readable storage medium
US20200250466A1 (en) Method for generating a customized/personalized head related transfer function
CN106679651B (zh) 声源定位方法、装置和电子设备
US11625841B2 (en) Localization and tracking method and platform, head-mounted display system, and computer-readable storage medium
JP4137078B2 (ja) 複合現実感情報生成装置および方法
JP6456347B2 (ja) 平面固有の特徴のターゲットのｉｎｓｉｔｕ生成
WO2017126172A1 (ja) 情報処理装置、情報処理方法、及び記録媒体
CN110660098B (zh) 基于单目视觉的定位方法和装置
WO2018196216A1 (zh) 一种坐标对齐方法、系统和虚拟现实系统
JP2018067115A (ja) プログラム、追跡方法、追跡装置
US10838515B1 (en) Tracking using controller cameras
US11403781B2 (en) Methods and systems for intra-capture camera calibration
US11314975B2 (en) Object identification in data relating to signals that are not human perceptible
CN113129451B (zh) 基于双目视觉定位的全息三维影像空间定量投影方法
KR20130130283A (ko) 증강현실을 위한 스마트폰 자이로센서 기반의 정면객체 생성시스템 및 방법
KR20010055957A (ko) 증강현실 기반의 3차원 트래커와 컴퓨터 비젼을 이용한영상 정합 방법
US11758100B2 (en) Portable projection mapping device and projection mapping system
KR102260754B1 (ko) 증강현실용 가이드 도구의 자세 추정을 위한 캘리브레이션 기구 및 이를 이용한 캘리브레이션 방법
WO2023088127A1 (zh) 室内导航方法、服务器、装置和终端
CN114926542A (zh) 基于光学定位系统的混合现实固定参考系校准方法
WO2021075113A1 (ja) 情報処理装置、情報処理方法及びプログラム
CN113822174B (zh) 视线估计的方法、电子设备及存储介质
CN117934572B (zh) 一种3d骨骼坐标系与vr头显坐标系对齐的方法
US20240071018A1 (en) Smooth object correction for augmented reality devices
US20240175717A1 (en) Information processing method, information processing apparatus, and program

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant