KR20160001699A - 증강현실 상호 작용 서비스 제공 장치 및 방법 - Google Patents

증강현실 상호 작용 서비스 제공 장치 및 방법 Download PDF

Info

Publication number
KR20160001699A
KR20160001699A KR1020150091330A KR20150091330A KR20160001699A KR 20160001699 A KR20160001699 A KR 20160001699A KR 1020150091330 A KR1020150091330 A KR 1020150091330A KR 20150091330 A KR20150091330 A KR 20150091330A KR 20160001699 A KR20160001699 A KR 20160001699A
Authority
KR
South Korea
Prior art keywords
coordinate system
sub
depth
camera
augmented reality
Prior art date
Application number
KR1020150091330A
Other languages
English (en)
Other versions
KR101865655B9 (ko
KR101865655B1 (ko
Inventor
우운택
하태진
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Priority to US15/322,075 priority Critical patent/US10304248B2/en
Priority to PCT/KR2015/006591 priority patent/WO2015199502A1/ko
Publication of KR20160001699A publication Critical patent/KR20160001699A/ko
Application granted granted Critical
Publication of KR101865655B1 publication Critical patent/KR101865655B1/ko
Publication of KR101865655B9 publication Critical patent/KR101865655B9/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/149—Segmentation; Edge detection involving deformable models, e.g. active contour models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20036—Morphological image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Psychiatry (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Social Psychology (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 카메라를 통해 획득된 깊이 정보를 포함하는 3차원 영상을 기반으로 레퍼런스 좌표계(Reference Coordinates)를 생성하는 과정과, 상기 카메라를 통해 획득된 깊이 정보를 포함하는 3차원 이미지로부터 기설정된 오브젝트의 깊이 정보와 색공간(color space) 변환을 기반으로 상기 기설정된 오브젝트에 대응하는 영역을 분할하는 과정과, 분할된 영역의 오브젝트로부터 모션 성분을 가지는 서브 오브젝트를 분리하고, 분리된 상기 서브 오브젝트 및 상기 서브 오브젝트에 연계된 팜(palm) 영역을 기설정된 알고리즘을 기반으로 모델링하여 특징점을 검출하는 과정과, 소정의 유저 인터페이스를 통해 제공되는 오브젝트의 관절 정보를 기반으로 상기 서브 오브젝트의 자세를 추정하여 증강현실 서비스 이용을 위한 3D객체를 제어하는 과정을 포함함을 특징으로 한다.

Description

증강현실 상호 작용 서비스 제공 장치 및 방법{METHOD AND APPARATUS FOR PROVIDING SERVICE FOR AUGMENTED REALITY INTERACTION}
본 발명은 착용형 증강현실 저작을 위한 RGB-D 카메라를 활용한 기하 인식 기반 정합 좌표계 보정을 기반으로 RGB-D 카메라가 부착된 HMD 기반 웨어러블 환경에서의 증강된 가상객체와의 손 상호작용을 지원하는 기술에 관한 것이다.
사전에 모델링되어 있지 않은 현실 공간을 대상으로 증강현실 공간을 만들기 위해서는 사용자가 카메라를 이용하여 현실 공간에 대한 영상 특징-카메라 자세 정보들을 획득하고, 국소 참조 좌표계(Local reference coordinates)(또는 정합 좌표계)를 생성한 후, 이를 기준으로 가상공간의 좌표계를 정합해야 한다. 그런데 정합 좌표계가 임의 위치에 생성되기 때문에 사용자가 수동으로 좌표계의 자세를 보정하는 과정이 필요하다.
또한 현실 공간과 증강 현실 공간 간의 스케일을 정확하게 일치시키는 보정 과정을 통해 현실 공간의 단위 예를 들어, 미터(m)로 모델링한 3차원 가상 객체를 증강현실 공간에 정확하게 증강시킬 수 있다.
기존의 정합 방법의 일 실시예로, GPS/나침반 센서 기반 정합 방법은 센서 정보의 오차로 인해 정합의 정밀도가 매우 낮은 문제점이 있으며, 2D 객체 기반 정합 방법은 사전에 학습된 이미지가 필요하며, 정합 대상이 단순한 형태의 2차원 평면에 국한되기 때문에 임의의 3차원 공간 정합에 적합하지 않은 단점이 있다.
3D 공간 기반 정합은 임의의 위치에 증강을 위한 정합 좌표계가 생성되기 때문에 사용자에 의해서 수동으로 좌표계 자세를 보정하는 과정이 필요하며, 이러한 보정을 수행하기 위해서 사용자는 컴퓨터 비전/그래픽스 등과 관련된 전문적인 지식이 필요하고, 사용자가 부정확하게 입력한 경우 부정확한 입력으로 인하여 정합의 오차가 발생 할 수도 있다.
또한, 종래 증강현실 시스템에 대한 일 예로, 한국등록특허공보 제10-0980202호는 3차원 가상물체와 인터랙션이 가능한 모바일 증강현실 시스템 및 방법에 대한 것으로, 단말기에 부착된 카메라, 상기 단말기의 카메라를 이용하여 손 위에 3차원 가상물체를 생성하는 영상 처리부, 상기 3차원 가상물체 및 상기 손의 영상을 출력하는 디스플레이부 및 상기 손의 움직임에 대응하여 상기 3차원 가상물체를 제어하는 인터랙션부를 포함함으로써, 사용자가 언제 어디서나 모바일 장치를 이용하여 3차원 가상 콘텐츠에 접근할 수 있다. 이와 같이, 해당 기술은 모바일 장치를 이용하여 3차원 가상 콘텐츠로의 접근에 대한 기술로, 가상 공간을 정합하기 위한 정합 좌표계를 자동적으로 생성하고 보정하는 내용을 포함하고 있지 않다.
따라서, 가상 공간을 정합하기 위한 정합 좌표계를 자동적으로 생성하고 보정할 수 있는 방법의 필요성이 대두된다.
한편, 오늘날 디지털 기술과 문화예술을 융합한, 실감형 콘텐츠와 상호작용 기술에 대한 연구는 많은 주목을 받고 있다. 특히, 컴퓨터 그래픽, 컴퓨터 비전 등의 기술을 기반으로 한 증강현실 기술이 발전함에 따라 현실세계에 가상의 디지털 콘텐츠를 결합하려는 시도들이 행해지고 있다. 또한, 카메라와 HMD가 경량화, 소형화됨에 따라, 웨어러블 컴퓨팅 기술이 가속화되고 있다. 현재 연구되고 있는 많은 사용자 인터페이스 기술들 중에, 손은 웨어러블 컴퓨팅 기술을 위한 자연스러운 기술로 주목을 받고 있다.
기존에는 사용자가 관심 있어 하는 객체,공간,상황에 대해서 디지털 정보를 얻기 위한 다양한 인터페이스 기술들이 존재한다. 이러한 인터페이스를 위한 장치로는 마우스,키보드,리모컨 등과 같이 데스크탑 기반 인터페이스가 있다. 이 인터페이스 기술은 2d 스크린상에 보여지는 디지털 기술들을 다루는데에 이용될 수 있다. 하지만 이것은 2D 디스플레이를 목적으로 두고 하기 때문에, 공간적인 측면에서 제한적이다.
우리가 살고 있는 현실공간은 3d 공간이다. 이 현실 공간에서 기존의 2d 디스플레이를 위한 인터페이스를 사용하게 되면, 공간에 대한 차수가 1개가 줄어들었기 때문에, 제한을 가지고 있다.
따라서, 3d 공간에 결합된 가상의 디지털 콘텐츠를 다루기 위해서는 3d 인터페이스 기술이 필요한 실정이다.
카메라가 부착된 HMD는 기존의 데스크탑 환경의 디스플레이와는 달리 사용자에게 1인칭 시점과 같은 환경을 제공한다.
그런데, 이러한 카메라 환경에서, 맨손의 손가락 자세를 추정하는 연구는 다음과 같은 문제를 가지고 있다.
첫번째로는, 손은 26개의 고 차원의 파라메터를 지니고 있는 객체이다( 손바닥: 6DOF, 5개의 손가락: 45= 20DOF). 이 높은 차원을 가지고 있는 손가락의 자세를 추정하기 위해서는 큰 계산량을 필요로 한다.
두번째로는, 손은 텍스쳐가 존재하지 않는 객체이다. 이것은 컬러 정보로부터 특징점 기반의 객체 검출/추적 알고리즘이 손가락 자세 추정에 적용될 수 없다는 것을 의미한다. 이와 같이 카메라 기반으로 손을 검출/추적하고 손가락의 자세를 추정하는 작업은 도전적인 조건을 가지고 있다.
웨어트랙(WearTrack) 시스템은 자세 추정이 가능한 센서가 부착된 HMD와 별도의 마그네틱 트래커를 이용한 웨어러블 시스템이다. 가상터치 스크린 시스템, AR memo, SixthSense과 같은 시스템은 2d 이미지 좌표계를 기반으로 2d 상호작용을 하는 특징을 가진다. 하지만 이것은 2d 기반의 상호작용을 하기 때문에, 3d 공간에서 상호작용을 하지 못한다는 단점을 가지고 있다.
Tinmith과 FingARtips은 장갑위에 추가적인 마커를 부착하여 손의 자세를 추정한다. 그러나 별도의 센서의 크기가 매우 커서, 사용자 입장에서 볼때, 웨어러블 환경에는 적합하지 않다는 단점이 있다.
특징점 기반의 접근방법 또한 개발되었다. 이것은 사전학습을 통하여 패턴을 인식함으로써 손가락의 동작을 추정하는 방식이다. 이 시스템은 키넥트와 같은 RGB-D 카메라를 손을 바라보도록 고정을 시키고, 특정한 패턴을 가지고 있는 장갑을 착용한 사용자의 손의 움직임을 추정한다. 사용자의 손가락 자세를 인식하기 위해서 부가적인 장갑이 필요하다는 단점이 있다.
Digits 시스템은 웨어러블 디바이스에 적합한 손끝 추적 방식을 보여준다. Time of Flight(TOF) 방식의 depth 센서를 손목에 착용하여, 손가락의 자가 가림 현상이 나타나지 않도록 셋팅을 하였다. 이것은 carving 기법을 이용하여, 간단하게 손가락을 분류하고, 손가락 관절 간의 관계를 이용하여 손가락의 자세를 추정하였다. 하지만 이 방식은, HMD외에 손목과 같은 추가적인 부위에 센서를 부착해야 한다는 단점이 있다.
한국등록특허공보 제10-0980202호 (등록일: 2010.08.30)
R. Castle, G. Klein, D.W. Murray, "Video-rate localization in multiple maps for wearable augmented reality," IEEE Proc. International Symposium on Wearable Computers, pp. 15-2, 2008.
따라서 본 발명은 이와 같은 문제를 해결하기 위해 맨손의 손가락 자세를 추정하는 것으로, 손가락이 카메라측으로 굽는 경우 손가락의 자세를 추정하는 것을 목적으로 한다.
또한, 본 발명은 가상공간을 정합하기 위한 정합 좌표계를 실측기반으로 자동적으로 생성/보정할 수 있는 착용형 증강현실 저작을 위한 기하 인식 기반 정합 좌표계 보정 방법 및 그 장치를 제공하는 것을 목적으로 한다.
본 발명의 일 견지에 따르면, 카메라를 통해 획득된 깊이 정보를 포함하는 3차원 영상을 기반으로 레퍼런스 좌표계(Reference Coordinates)를 생성하는 과정과, 상기 카메라를 통해 획득된 깊이 정보를 포함하는 3차원 이미지로부터 기설정된 오브젝트의 깊이 정보와 색공간(color space) 변환을 기반으로 상기 기설정된 오브젝트에 대응하는 영역을 분할하는 과정과, 분할된 영역의 오브젝트로부터 모션 성분을 가지는 서브 오브젝트를 분리하고, 분리된 상기 서브 오브젝트 및 상기 서브 오브젝트에 연계된 팜(palm) 영역을 기설정된 알고리즘을 기반으로 모델링하여 특징점을 검출하는 과정과, 소정의 유저 인터페이스를 통해 제공되는 오브젝트의 관절 정보를 기반으로 상기 서브 오브젝트의 자세를 추정하여 증강현실 서비스 이용을 위한 3D객체를 제어하는 과정을 포함함을 특징으로 한다.
본 발명의 다른 견지에 따르면, 카메라를 통해 획득된 깊이 정보를 포함하는 3차원 영상을 기반으로 레퍼런스 좌표계(Reference Coordinates)를 생성하는 정합 좌표계 보정부와, 상기 카메라를 통해 획득된 깊이 정보를 포함하는 3차원 이미지로부터 기설정된 오브젝트의 깊이 정보와 색공간(color space) 변환을 기반으로 상기 기설정된 오브젝트에 대응하는 영역을 분할하는 오브젝트 분리부와, 분할된 영역의 오브젝트로부터 모션 성분을 가지는 서브 오브젝트를 분리하고, 분리된 상기 서브 오브젝트 및 상기 서브 오브젝트에 연계된 팜(palm) 영역을 기설정된 알고리즘을 기반으로 모델링하여 특징점을 검출하는 오브젝트 처리부와, 소정의 유저 인터페이스를 통해 제공되는 오브젝트의 골격 정보를 기반으로 상기 서브 오브젝트의 자세를 추정하여 증강현실 서비스 이용을 위한 3D객체를 제어하는 제어부를 포함함을 특징으로 한다.
본 발명은 손가락 간의 가림이 없고, 손끝 또한 카메라로부터 항상 보이는 포즈가 되기 때문에, 큰 자가 가림이 일어나지 않으므로 고 자유도의 복잡성을 가진 손가락의 자세를 실시간으로 추정 가능한 효과가 있다.
또한, 본 발명에 따르면, 가상공간을 정합하기 위한 정합 좌표계를 실측기반으로 자동적으로 생성/보정함으로써, 사용자에 의한 보정 작업 없이도 정합 좌표계를 자동적으로 생성 및 보정할 수 있다.
이와 같이, 본 발명은 정합 좌표계를 자동적으로 보정할 수 있기 때문에 증강현실 기반 미술관/박물관, 교실, 산업체, 실내 디자인 등 다양한 분야에서 증강현실 콘텐츠를 저작하는데 필요한 기반기술로서 사용될 수 있다.
도 1은 본 발명의 일 실시 예에 따른 증강현실 상호 작용 서비스 제공 방법에 관한 전체 흐름도이다.
도 2는 본 발명의 일 실시 예에 따른 머리 착용형 디스플레이 기반 증강현실 환경에서 맨 손 상호작용 시 사용자의 시각적 거리 인지 향상 방법이 적용된 화면 예시도.
도 3은 본 발명의 일 실시 예에 따른 증강현실 상호 작용 서비스 제공 방법에 있어서, 정합 좌표계 보정 방법에 대한 동작 흐름도.
도 4는 본 발명의 일 실시 예에 따른 증강현실 상호 작용 서비스 제공 방법에 있어서, 손의 자세를 추정하는 동작 알고리즘을 블록화한 상세 블록도.
도 5는 본 발명의 일 실시 예에 따른 증강현실 상호 작용 서비스 제공 방법에 있어서, 깊이 인지 향상을 위한 시각적 피드백 관련 화면 예시도.
도 6은 본 발명의 일 실시 예에 따른 증강현실 상호 작용 서비스 제공 방법에 있어서, 반투명 회색 그림자 및 가이드 라인 관련 화면 예시도.
도 7은 본 발명의 일 실시 예에 따른 증강현실 상호 작용 서비스 제공 방법에 있어서, 손가락 관절 관련 위치 벡터 관련 예시도.
도 8은 본 발명의 일 실시 예에 따른 증강현실 상호 작용 서비스 제공 방법에 있어서, 사용자의 시각적 거리 인지 향상 방법이 적용된 전체 동작에 관한 화면 예시도.
도 9는 본 발명의 일 실시 예에 따른 증강현실 상호 작용 서비스 제공 방법에 있어서, 정합 좌표계 보정 관련 예시도.
도 10은 본 발명의 일 실시 예에 따른 증강현실 상호 작용 서비스 제공 방법에 있어서, 3D 공간에서의 정합 좌표계의 후보들에 대한 일 예.
도 11은 본 발명의 일 실시 예에 따른 증강현실 상호 작용 서비스 제공 방법에 있어서, 정합 좌표계의 회전축 설정에 대한 일 예.
도 12는 본 발명의 일 실시 예에 따른 증강현실 상호 작용 서비스 제공 방법에 있어서, SLAM 기반의 정합 좌표계와 깊이 카메라 기반의 정합 좌표계 사이의 거리 비율을 이용한 스케일 보정에 대한 일 예.
도 13은 본 발명의 일 실시 예에 따른 증강현실 상호 작용 서비스 제공 방법에 있어서, 위치 보정에 대한 일 예.
도 14는 본 발명의 일 실시 예에 따른 증강현실 상호 작용 서비스 제공 방법에 있어서, 회전 보정에 대한 일 예
도 15는 본 발명의 일 실시 예에 따른 증강현실 상호 작용 서비스 제공 장치에 관한 블록도.
도 16은 본 발명의 일 실시 예에 따른 증강현실 상호 작용 서비스 제공 장치에서 정합 좌표계 보정부에 관한 블록도.
이하 본 발명에 따른 바람직한 실시 예를 첨부한 도면을 참조하여 상세히 설명한다. 하기 설명에서는 구체적인 구성 소자 등과 같은 특정 사항들이 나타나고 있는데 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐 이러한 특정 사항들이 본 발명의 범위 내에서 소정의 변형이나 혹은 변경이 이루어질 수 있음은 이 기술 분야에서 통상의 지식을 가진 자에게는 자명하다 할 것이다.
본 발명은 증강현실 상호 작용 서비스 제공에 관한 것으로, 더욱 상세하게는 착용형 증강현실을 저작하는데 있어서, RGB-D 카메라에 의해 획득된 정보를 이용하여 가상공간을 정합하기 위한 정합 좌표계를 실측기반으로 자동적으로 생성/보정하고, 이를 기반으로 증강현실에서의 가상 객체와의 상호작용을 위한 오브젝트의 자세 추정을 위해 깊이 정보를 포함하는 3차원 이미지로부터 기설정된 오브젝트의 깊이 정보와 색공간(color space) 변환을 기반으로 손 객체를 분할한 후 기설정된 알고리즘을 통해 모션 성분을 가지는 손가락 및 상기 손가락에 연계된 손바닥 영역을 모델링하여 특징점을 검출하고, 소정의 유저 인터페이스를 통해 제공되는 오브젝트의 골격 정보를 기반으로 상기 서브 오브젝트의 자세를 추정하여 증강현실 서비스 이용을 위한 3D객체를 제어함으로써 사용자에게 다양한 3D 콘텐츠를 이용 가능하게 할 뿐만 아니라, 개발자에게 3차원 공간 안의 객체를 효과적으로 제어하는 인터페이스를 제공할 수 있도록 하는 기술을 제공하고자 한다.
또한, 본 발명은 가상 공간을 정합하기 위한 정합 좌표계를 실측 기반으로 자동적으로 생성/보정함으로써, 사용자에 의한 보정 작업 없이도 정합 좌표계를 자동적으로 생성 및 보정 가능하며, 나아가 증강현실 기반 미술관/박물관, 교실, 산업체, 실내 디자인 등 다양한 분야에서 증강현실 콘텐츠를 저작하는데 필요한 기반 기술을 제공하고자 한다.
이하, 본 발명의 일 실시 예에 따른 증강현실 상호 작용 서비스 제공 방법에 대해 도 1 내지 도 8을 참조하여 자세히 살펴보기로 한다.
우선, 도 1은 본 발명의 일 실시 예에 따른 증강현실 상호 작용 서비스 제공 방법에 관한 전체 흐름도이다.
도 1을 참조하면, 먼저 110 과정에서는 카메라를 통해 획득된 깊이 정보를 포함하는 3차원 영상을 기반으로 레퍼런스 좌표계(Reference Coordinates)를 생성한다.
이러한 110 과정의 동작은 현실 공간에 대해 촬영된 깊이 영상 정보를 이용하여 상기 현실 공간에 대한 기하 구조를 분석하여 상기 현실 공간에 대한 정합 좌표계 생성을 통해 수행되는 되는 것으로, RGB-D 카메라 기반 착용형(예컨대, Head Mounted Display) 증강현실 저작을 위한 기하 인식 기반의 정합 좌표계 보정을 위한 것으로, 이는 후술되는 증강현실에서의 가상 객체와의 상호작용을 위한 오브젝트의 자세 추정을 보다 강건히 실시하기 위해 본 발명에 의해 지원되는 인터페이스이다.
이어서, 112 과정에서는 상기 카메라를 통해 획득된 깊이 정보를 포함하는 3차원 이미지로부터 기설정된 오브젝트의 깊이 정보와 색공간(color space) 변환을 수행하고, 이를 기반으로 114 과정에서 기설정된 오브젝트에 대응하는 영역을 분할한다.
여기서, 상기 기설정된 오브젝트는 손 객체를 의미하는 것으로, 본 발명의 일 실시 예에 따라 RGB 이미지와 깊이(depth) 이미지로부터 112 내지 114 과정의 동작을 통해 손 객체가 각각 분할된다.
보다 상세하게는 조명의 영향에 대해서, 강건한 스킨(skin)영역 분할을 위하여, RGB 이미지로부터 RGB 색공간(color space)가 HSV color space로 변환되고, 해당 스킨 컬러 스페이스는 채도(saturation)와 진하기(value) 요소에 대해서 이중 임계치(double threshold)를 수행하여 획득된다.
또한, 깊이 이미지로부터 손이 HMD에 부착된 카메라로부터의 거리(팔거리)만큼의 거리를 임계치(threshold)로 설정한다.
이러한, 깊이 세스멘테이션(depth segmentation)과 RGB 세그멘테이션(rgb segmentation)의 결과의 교집합으로부터 쉽고 강건하게 손의 영역을 분할할 수 있다. 예컨대, 상기 threshold를 60cm 로 설정을 하고, 상기 세그멘테이션된 깊이 영상과, 칼라 영상은 공지의 캘리브레이션(calibration)을 활용하여 얼라이먼트(alignment) 된다.
116 과정에서는 분할된 영역의 오브젝트로부터 모션 성분을 가지는 서브 오브젝트를 분리하고, 118 과정에서 분리된 상기 서브 오브젝트 및 상기 서브 오브젝트에 연계된 팜(palm) 영역을 기설정된 알고리즘을 기반으로 모델링하여 특징점을 검출한다. 이때, 상기 특징점은 손가락 기준점과 깊이 정보 기반 손의 끝점을 포함하며, 상기 손의 끝점은 기모델링된 깊이 템플릿으로부터 템플릿 매칭을 이용하여 추출된다.
이러한 동작은 분할된 손의 이미지로부터, 상기 서브 오브젝트에 대응하는 손가락의 자세를 추정하기 위하여, 손바닥과 손가락이 분리되어야 하므로 수행되는 것으로, 해당 동작에서, 손 이미지는 모콜로지컬(mophological) 연산을 활용하여 손가락과 손바닥이 분리된다.
이때, 상기 모폴로지컬 연산은 이로전(erosion) 및 딜레이션(dilation)을 활용하여 손가락과 손바닥이 분리되며, 상기 이로전은 이미지를 겉으로부터 침식시키는 작업이고, 상기 딜레이션은 이로전과 반대로 팽창시키는 작업으로, 도 2에 도시된 바와 같이, 상기 이로전을 반복적으로 수행하면, 손가락의 영역이 점점 사라진다. 그 이후 딜레이션을 수행함으로써 손바닥의 영역만큼 팽창을 시킴으로써 손바닥 영역을 모델링 할 수 있다. 손바닥의 중심점은 거리 변환(distance transform)을 통해 연산되며, 연산된 중심점은 손가락의 기준점 탐색의 기반이 된다.
또한, 상기 손가락은 손바닥과 함께 116 과정의 동작을 통해 모델링되며, 손가락은 타원피팅에 의해 모델링된다. 하기의 수학식 1에서와 같이, 모델링된 타원(손가락)의 점들과 상기 손바닥의 중심점과의 거리 중 가장 최소인 것을 손가락의 기준점으로 추정한다. 이는 손가락이 어느 정도 구부러진 상황에서도 손가락의 기준점을 강건하게 찾을 수 있다.
Figure pat00001
한편, 도 5에 도시된 바와 같은 절차를 이용하면, 손가락이 손바닥쪽인 안쪽으로 굽었을 때, 손가락의 기준점은 검출이 되지만, 손가락의 끝점은 검출되지 않는다. 이는 상기 타원피팅 모델의 점들이 이미지 상의 손끝을 포함하지 않기 때문이다. 즉, 손가락을 구부릴 때에는, 손끝이 아니라 손가락의 끝쪽 마디의 점이 검출이 된다. 이러한 이유로 인버스 키네매틱(inverse kinematics)을 적용할 때 손가락의 관절의 파라미터를 추정하는데에 큰 에러가 발생한다.
이에, 본 발명의 일 실시 예에서는 손의 끝점을, 2d상의 피팅된 타원으로만 검출하는 것이 아닌, 깊이(depth)정보를 활용하여 검출한다. 이를 위하여 본 발명에서는 영상 처리 응용에서의 공지된 Zero-mean Normalized Cross Correlation(ZNCC) 를 활용하여, 손의 끝점을 추출한다.
이는, 도 6에 도시된 바와 같이 사전에 모델링한 깊이 템플릿(depth-template)로부터 템플릿 매칭(template matching)을 이용하여 손의 끝점을 추출할 수 있다. 도 6의 correlation map의 빨간 부분은, depth template와 가장 일치하는 부분이다. 이 방식은 손가락이 굽었을 때에도, 손 끝의 위치를 검출할 수 있음을 보여준다. 상기 검출된 손끝과 손가락 기준점의 위치는 이후의 모듈에서, inverse kinematics algorithm에 입력이 된다.
마지막으로, 120 과정에서는 소정의 유저 인터페이스를 통해 제공되는 오브젝트의 관절 정보를 기반으로 상기 서브 오브젝트의 자세를 추정하여 증강현실 서비스 이용을 위한 3D객체를 제어한다.
더욱 상세하게는, 손가락 자세 추정을 위해 본 발명에서는 상기에서 언급된 inverse kinematics를 적용하며, Inverse kinematics란, 레퍼런스(reference)좌표계와, 끝점(end point)의 위치가 주어졌을 때, 관절들의 파라미터(parameter)를 추정하는 것으로, 이를 통해 카메라로부터 얻어낸 base point를 레퍼런스 좌표계의 원점으로 지정하고, 손끝의 위치를 end point로 설정한다.
이후, inverse kinematics를 적용하여 관절들의 로테이션 매트릭스(rotation matrix)를 추정하게 된다. 손가락을 움직이게 하는 관절의 parameter는 총 4개이므로, 손가락별 추정하게 될 parameter는 총 4개이다.
여기서, inverse kinematics 알고리즘은 감쇠최소자승법(damped least-square-method)에 기반한 inverse-kinematics algorithm 이다.
이 알고리즘은, 목표지점(카메라로부터 얻어낸 손끝의위치), 현재지점(현재 모델의 손끝의 위치)의 차이를 이용하여 각 관절들이 변화해야 할 량을 추정한다.
도 7을 참조하면, 도 7에 도시된 바와 같이,
Figure pat00002
는 현재 손가락 끝점의 위치벡터이고,
Figure pat00003
는 이미지처리를 통해서 얻어낸 손가락의 끝점의 위치벡터이다(두 벡터의 기준좌표의 원점은 손가락의 기준점이다). θ는 손가락 관절의 회전행렬의 파라미터이고, λ는 damping ratio 파라미터이다. L1,L2,L3는 손가락 각각의 마디의 길이가 된다. Inverse kinematics 알고리즘의 최적화 문제는 하기 수학식 2와 같이 정의할 수 있으며, 예컨대, 1000으로 설정하여 이 파라미터가 높을수록, inverse kinematics 알고리즘의 안정도가 높아진다.
Figure pat00004
이후, 상술한 120 과정의 동작을 통해 3D 객체를 조작한다. 본 발명에 따른 가상 객체 조작은, 사용자의 주로 널리 쓰일 수 있는 손가락의 자세에 따라 이루어진다. 여기서 타겟팅 하고 있는 손가락의 자세는, 손가락의 개수로부터 매핑되는 자세이다.
도 8에 도시된 바와 같이, 집게모양의 손 자세는 지구본의 위치를 결정한다. 그리고, 다섯개의 손가락을 오므리고 펴는 동작으로서, 지구본의 크기를 조작하였다. 이러한 상호작용으로부터, RGB-D 카메라가 부착된 HMD를 착용한 사용자는 증강된 가상의 객체인 가상의 지구본의 위치와 크기를 조절함으로써, 가상의 디지털 정보를 얻을 수 있다.
상술한 본 발명의 일 실시 예에 따른 증강현실 상호작용 서비스 제공 방법에 대해 손의 자세를 추정하는 동작 알고리즘을 블록화하여 단계별로 살펴보면 도 4와 같다. 도 4를 참조하면, 더욱 상세하게는 도 4의 블록별 동작은 다음과 같다.
-손 분리(Hand Segmentation, 410)
RGB 이미지와 depth 이미지로부터 손 객체가 분할된다(401, 402).
먼저, 401로부터 조명의 영향에 대해서, 강건한 skin영역 분할을 위하여, rgb color space가 HSV color space로 변환된다. 이 스킨 컬러 스페이스는, S와 V 요소에 대해서 double threshold를 수행하여 얻어진다.
402로부터 손이 HMD에 부착된 카메라로부터의 거리(팔거리)만큼의 거리를 threshold로 설정하고, 윤곽선을 검출한다.
401, 402로부터의 depth segmentation과 rgb segmentation의 결과의 교집합으로부터 쉽고 강건하게 손의 영역을 분할할 수 있다.
-손바닥과 손가락 모델 링 (411, 412)
Segmentation 된 손의 이미지로부터, 손가락의 자세를 추정하기 위하여, 손바닥과 손가락이 분리되어야 한다. 이 단계에서, 손 이미지는, 모폴로지컬 연산(erosion, dilation)을 수행하고, 추가로 딜레이션에 subtraction 을 연동하여 그 결과로 손가락과 손바닥이 분리된다(palm imgae, finger image).
상기 palm image는 palm center position 동작을 위해 거리 변환(distance transform) 및 중심과 반지름 추출을 수행한다(center and radius extraction).
-손가락 특징 추출(414)
손가락 이미지로부터 윤곽선 검출(contour detection),
타원피팅(elipse fitting),
손가락 끝, 손바닥 기준점 검출(fingertip, finger base, orientation detection)을 통해 방향 및 오더링 개선(direction and ordering refinement)
-이력 관리(416)
손바닥 중심 포지션, 반지름, 손가락 포지션, 방향 및 길이
손실 손가락 검출
-내부 손가락끝 검출(418)
영역 검색, 템플릿 매칭, 손가락끝 추출
- 인버스 키네매틱 (Inverse Kinematics, 420)
관절 각도 판단, 안정화
-증강 및 상호 작용(422)
카메라 트랙킹 및 가상 손 등록,
충돌 검출 및 제스처 해석
한편, 본 발명의 일 실시 예에 따른 증강현실 상호 작용 서비스 제공 방법은 증강현실 콘텐츠를 저작함에 있어서, 기하 인식 기반 정합 좌표계 보정을 통해 좌표계의 자세를 자동적으로 보정하며, 이를 도 3의 흐름도를 통해 자세히 살펴보기로 한다.
도 3은 본 발명의 일 실시 예에 따른 증강현실 상호 작용 서비스 제공 방법에 있어서, 기하 인식 기반 정합 좌표계 보정 방법에 관한 동작 흐름도이다.
도 3을 참조하면, 본 발명에 따른 방법은 깊이 카메라 예를 들어, RGB-D 카메라로부터 깊이 영상 정보를 수신하고, 사용자 입력에 의해 설정된 관심 영역을 수신한다(S310, S320).
이때, 깊이 영상 정보는 깊이 카메라에 의해 촬영되고 생성되는 정보로, 촬영된 영상 특징, 카메라의 자세 정보, 깊이 정보에 의한 거리 맵 이미지, 컬러 등을 포함할 수 있으며, 관심 영역은 모바일 입력 장치를 이용한 사용자 입력에 의해 설정된 후 수신될 수 있다.
관심 영역이 수신되면, 수신된 깊이 영상 정보를 이용하여 관심 영역에 대한 기하 구조를 분석하고, 분석된 기하 구조를 이용하여 기하 구조 기반의 제1 정합 좌표계를 생성한다(S330, S340).
여기서, 단계 S330은 깊이 카메라로부터 수신된 관심 영역에 대한 평면, 접선, 접면, 교점 등을 예측하는 기하 구조 분석을 수행할 수 있으며, 단계 S340은 분석된 현실 공간 또는 관심 영역에 대한 기하 구조 분석을 통해 현실 공간에 대한 정합 좌표계를 생성할 수 있는데, 1) 관심 영역에 대한 기하 구조 분석을 통해 관심 영역의 평면, 접선, 접면, 교점 중 적어도 하나를 예측하며, 예측된 평면, 접선, 접면, 교점 중 적어도 하나를 통해 제1 정합 좌표계를 생성할 수도 있고, 2) 관심 영역에 대한 기하 구조 분석을 통해 원점과 방향을 계산하고, 깊이 카메라의 자세와의 관계를 고려하여 예측된 평면에 대해 정면, 측면, 바닥 중 어느 하나를 정의하며, 가상 공간의 미리 결정된 왼손 좌표계와 일치되도록 계산된 방향 부호를 보정하여 제1 정합 좌표계를 생성할 수도 있다.
기하 구조 기반의 제1 정합 좌표계가 생성되면 생성된 기하 구조 기반의 제1 정합 좌표계를 이용하여 SLAM 기반의 제2 정합 좌표계를 보정한 후 보정된 제2 정합 좌표계 기반으로 가장 3D 객체를 저작한다(S350, S360).
여기서, 단계 S350은 SLAM 기반 카메라의 거리와 깊이 영상 정보를 생성하는 깊이 카메라의 거리 비율 계산을 이용하여 제2 정합 좌표계를 실측 기반으로 보정할 수 있다.
이런 본 발명에 대해 도 4 내지 도 8을 참조하여 설명하며, 깊이 기반 기하 분석을 통한 정합 좌표계 생성과 SLAM 기반 초기 정합 좌표계의 보정에 대해 설명한다.
먼저 깊이 기반 기하 분석을 통한 정합 좌표계 생성에 대해 설명하면 다음과 같다.
깊이 있는 정보를 사용하여 새로운 로컬 좌표를 생성하는 예를 설명하면, 도 10에 도시된 일 예와 같이, 1면과 2면, 3면을 가진 다양한 형상의 조건에서 정합 좌표를 만들기 위해, 원점 위치와 방향을 계산한다.
인터랙티브(Interactive)한 방법으로, 사용자는 모바일 입력 장치를 사용하여 RGB-D 카메라로부터 관심 영역(ROI)의 중심 위치를 결정한다. 결정된 ROI의 중심 위치를 기준으로 깊이 맵 이미지의 영역을 결정하는 50 화소의 반경 원형 커서를 제어한다. 3D 점 군은 깊이 맵에서 재구성되고, 국소 참조 좌표계 즉, 제1 정합 좌표계가 생성된다.
로컬 기준 좌표의 위치를 설정하기 위해서, 관심 영역의 3D 점 군(cloud)으로부터 평면들을 예측한다.
이때, 평면 추정은 하기 수학식 3에 나타낸 바와 같이, 평면 방정식을 구성하는 법선 벡터의 변수 a, b, c, d를 예측하는 최적화 문제로 정의될 수 있으며, 랜덤 샘플 컨센서스(RANSAC: random sample consensus) 알고리즘을 통해 해당 변수를 추정할 수 있다.
Figure pat00005
1) 1면이 있는 경우, 깊이 맵의 2D 커서 포인트를 역투영한 3차원 좌표를 로컬 참조 좌표의 위치로 설정한다. 그러나 교차선이나 모서리 등의 정보가 없기 때문에 3 자유도 회전을 알아낼 수 있는 정보가 부족하다. 그래서 평면(벽 또는 바닥)의 법선벡터 nplane으로부터 좌표계의 1 자유도 회전 만을 설정할 수 있다. 벡터 이외의 다른 회전은, 카메라의 X축 방향벡터(Vcamera's x axis)를 로컬 기준 좌표계의 X축 방향벡터에 할당하여 설정한다. 그리고, 알려지지 않은 회전 파라미터(Vunkonwn rotation)는 하기 수학식 4에 나타낸 바와 같이, 법선벡터와 X축의 외적을 통해 설정될 수 있다.
Figure pat00006
2) 2개의 평면이 교차하는 경우, 로컬 기준 좌표에 3 자유도 위치를 결정하는 방법은, 사용자의 선택 영역에서 사용자가 선택한 점(vo)과 가까운 교차선 위의 3D 좌표를 계산하는 것이다. 아래 <수학식 3>에 나타낸 바와 같이, vo와 3D 점 군의 한 점인 vi 사이의 거리를 최소화하는 점(v*)을 좌표계의 기준 위치로 설정한다.
Figure pat00007
이 때, 두 개의 평면 방정식의 합을 최소화하는데, v1와 v2는 각각 평면π1와 π2에 있는 한 점이며, 만약 vi가 교차선분 위에 있다면 최소화 될 수 있다.
이 방정식은 라그랑주승수(Lagrange Multipliers)의 확장에 의해 유도되고, 그 행렬 값은 QR 분해(QR decomposition)를 통해 계산된다. 좌표계의 회전은 예측된 평면들로부터 2개의 법선벡터 예를 들어, 수직 및 접지면은 좌표계의 방향 예를 들어, 수직 및 바닥 평면을 결정하기 위해 사용된다. 교차 라인의 방향 벡터는 법선벡터의 외적에 의해 설정될 수 있으며, 하기 수학식 6과 같이 나타낼 수 있다.
Figure pat00008
3) 3면이 서로 교차하는 경우, 좌표계 원점의 위치는 3개 평면의 교차지점이다. 방정식 πv=d를 설정한다. 여기서, π는 평면의 계수로 이루어지는 행렬을 의미하며, 하기 수학식 7에 나타낸 바와 같이 πv-d의 값을 최소화함으로써, 좌표계의 기준 위치로 설정할 수 있다.
Figure pat00009
이 때, 최적화 기법인 SVD 분해 기반의 최소 제곱 솔루션은 의사 매트릭스로부터 교차점을 계산하는데 사용할 수 있으며, 회전은 3개 평면의 법선벡터를 통해 설정될 수 있다.
이전 단계에서 추정 회전에서는, 예측된 법선벡터의 순서와 부호가 변할 수 있기 때문에 x, y 및 z 축의 방향을 정확히 알 수 없는데, 본 발명에서 법선벡터의 순서는 점 군의 수를 따른다. 이것은 왼손 또는 오른손 기반의 렌더링 시스템에서 그래픽 렌더링하는데 중요하다.
따라서, 사후 과정으로써 좌표계의 회전을 RGB-D 카메라의 회전 정보를 고려하여 정렬한다. 평면의 법선벡터와 카메라의 방향벡터(전면, 측면, 최대벡터) 사이의 각도 차이를 외적을 통해 계산한 후, 각 카메라의 방향벡터에 대해 최소 각도 차이를 가지는 법선벡터를 찾는다. 법선벡터는 카메라의 방향벡터를 결정하는데, 예를 들어, i번째 법선벡터(Ni)가 정방향 카메라 벡터(CFront)와 최소 각도 차이를 가진다면, Ni는 z 축으로 설정될 수 있다. 이 경우처럼, 다른 법선벡터는 x 및 y 축으로 정의될 수 있으며, 좌표의 방향 부호를 보정할 수 있다. 즉, 카메라의 방향벡터는 하기 수학식 8에 의해 결정될 수 있다.
Figure pat00010
여기서, CSide와 CGround는 측방향 카메라 벡터와 바닥방향 카메라 벡터를 의미한다.
이와 같은 과정을 통해 도 11에 도시된 바와 같이 정합 좌표계의 회전축을 설정할 수 있다.
다음, SLAM 기반 초기 정합 좌표계의 보정에 대해 설명하면 다음과 같다.
상술한 바와 같이, SLAM 기반의 초기 로컬 참조 좌표를 깊이 카메라 좌표계 기반의 국소 참조 좌표계로 정렬하기 위해서는, 스케일을 고려해야 하며, 가상 모델의 크기는 SLAM 초기화에서 임의로 결정될 수 있다.
따라서, SLAM 기반의 좌표계 스케일을 일관성 있는 현실 공간의 스케일 단위로 변환하기 위해, SLAM 기반의 좌표계의 원점 좌표로부터 RGB 카메라까지의 거리를 계산한다. 이는 RGB 카메라 자세 행렬의 위치 벡터 크기이며, 가상 스케일 단위로 표현될 수 있다.
그 다음 깊이 카메라로부터의 깊이 길이를 계산하는데, 이것은 깊이 맵의 값이고 미터 스케일 단위로 표현될 수 있다.
마지막으로, 수학식 7에 나타낸 바와 같이 스케일 비율(λ)을 계산하며, 이와 같은 과정을 통해 수학식 8과 같이 현실에서의 스케일 단위를 SLAM 기반 가상 현실 공간 내의 가상 객체를 증강하는데 적용할 수 있다. 따라서, 본 발명은 수동적인 스케일 보정이 필요 없으며, 이를 통해 스케일 보정이 자동으로 이루어지게 된다.
Figure pat00011
Figure pat00012
즉, 도 12에 도시된 일 예와 같이, SLAM 좌표계의 스케일과 현실에서의 스케일 간의 비율을 고려하여 SLAM 좌표계의 스케일을 보정한다.
스케일을 보정한 후, mm 단위로 SLAM 기반의 초기 국소 참조 좌표계의 위치(λPSLAM)를 계산하고, 깊이 기반 기하 구조 분석으로부터 얻은 새로운 위치(PDepth)로 SLAM 기반 좌표계 위치를 변환하기 위해 오프셋 이동 행렬(TP)을 계산한다. 오프셋 이동 행렬은 하기 수학식 11과 같이 계산될 수 있으며, 오프셋 이동 행렬 TP는 도 13에 도시된 일 예와 같이, RTCtoW을 RTRefine _trans로 이동시키는데 활용될 수 있고, 위치 보정에 대한 수학식은 하기 수학식 12와 같이 나타낼 수 있다.
Figure pat00013
Figure pat00014
여기서, RTCtoW는 SLAM 기반의 가상 공간에서 카메라 좌표계를 가상 공간 좌표계로 변환시키는 행렬을 의미하고, RTRefine _trans는 보정된 국소 참조 좌표계를 의미한다.
따라서, 현실 공간 스케일로 정렬된 좌표계를 기준으로 가상 객체를 증강시킬 수 있다.
그리고, 도 14에 도시된 일 예와 같이, 회전 보정을 수행할 수 있으며, 이를 위해 하기 수학식 13에 나타낸 바와 같이, 초기 로컬 좌표계의 회전(RInit)에 대한 현재 로컬 좌표계의 회전(RCurr)의 차이 행렬(RDiff)을 계산한다. 이렇게 계산된 차이 행렬(RDiff)은 RTRefine _trans를 보정하는데 반영될 수 있으며, 이는 하기 수학식 13과 같이 반영될 수 있다.
Figure pat00015
Figure pat00016
수학식 14를 통해 알 수 있듯이, RTRefine _trans를 보정하는 방법으로, 현재 카메라 회전을 상쇄시키기 위해 R-1 Curr를 RTRefine _trans에 곱하고, 기하 정보를 반영하여 회전을 보정하기 위하여 깊이 추정 좌표계에서 가져온 RDepth을 곱한다. 그리고, 초기 카메라 회전에 대한 상대적인 카메라 회전 트래킹 정보를 반영하기 위해서 차이 행렬(RDiff)를 곱함으로써, 회전 보정을 수행할 수 있다.
이와 같이, 본 발명은 착용형 증강 현실 저작을 위해, RGB-D 카메라를 활용하여 사전에 모델링 되어 있지 않은 임의의 공간을 실시간으로 모델링하고 기하 구조를 분석하여, 정합 좌표계를 실측 기반으로 자동적으로 생성할 수 있으며, 이를 통해 사용자는 정합 좌표계 보정에 대한 부가적인 작업 없이 쉽고 정밀하게 증강현실 저작을 할 수 있다.
이상에서는, 본 발명의 일 실시 예에 따른 증강현실 상호 작용 서비스 제공 방법에 관해 살펴보았다.
이하, 본 발명의 일 실시 예에 따른 증강현실 상호 작용 서비스 제공 장치에 관하여 도 15 내지 도 16을 참조하여 살펴보기로 한다.
도 15는 본 발명의 일 실시 예에 따른 증강현실 상호작용 서비스 장치에 관한 블록도이다.
도 15를 참조하면, 정합 좌표계 보정부(152), 오브젝트 분리부(154), 제어부(156) 및 오브젝트 처리부(158)을 포함한다.
상기 정합 좌표계 보정부(152)는 카메라를 통해 획득된 깊이 정보를 포함하는 3차원 영상을 기반으로 레퍼런스 좌표계(Reference Coordinates)를 생성한다.
상기 오브젝트 분리부(154)는 상기 제어부(156)의 제어 하에 카메라를 통해 획득된 깊이 정보를 포함하는 3차원 이미지로부터 기설정된 오브젝트의 깊이 정보와 색공간(color space) 변환을 기반으로 상기 기설정된 오브젝트에 대응하는 영역을 분할한다.
이때, 상기 오브젝트 분리부(154)는, 상기 기설정된 오브젝트에 대응하는 영역에 대해 RGB 이미지로부터 상기 기설정된 오브젝트에 대응하는 손 이미지 영역의 RGB 색공간을 HSV 색공간으로 변환하여, 변환된 HSV 색공간에서 채도(saturation)와 진하기(value)에 대해 이중 임계치(double threshold) 수행을 통해 획득된 스킨(skin) 색공간을 기반으로 분할을 수행한다.
또한, 상기 오브젝트 분리부(154)에서는, 깊이 이미지로부터 상기 손과 카메라 간 거리에 대응하는 거리를 임계치로 설정하고, 상기 각 이미지로부터 획득된 깊이 세그멘테이션(depth segmentation)과 RGB 세그멘테이션의 결과에 대응하는 교집합을 기반으로 손의 영역 분할이 수행된다.
상기 오브젝트 처리부(158)는 제어부(156)의 제어 하에 상기 오브젝트 분리부(154)에서 분할된 영역의 오브젝트로부터 모션 성분을 가지는 서브 오브젝트를 분리하고, 분리된 상기 서브 오브젝트 및 상기 서브 오브젝트에 연계된 팜(palm) 영역을 기설정된 알고리즘을 기반으로 모델링하여 특징점을 검출한다.
그리고, 상기 오브젝트 처리부(158)는, 상기 오브젝트에 대응하는 손 이미지로부터 상기 서브 오브젝트에 대응하는 손가락의 자세를 추정하기 위하여 모폴로지컬(mophological) 연산을 이용하여 상기 서브 오브젝트에 연계된 팜 영역에 대응하는 손바닥과 손가락 분리를 통해 상기 팜 영역 모델링을 수행한다.
상기 제어부(156)은 증강현실 상호 작용 서비스 제공 장치(150)의 전반적인 동작을 제어하고, 소정의 유저 인터페이스를 통해 제공되는 오브젝트의 골격 정보를 기반으로 상기 서브 오브젝트의 자세를 추정하여 증강현실 서비스 이용을 위한 3D객체를 제어한다.
한편, 상기 정합 좌표계 보정부는 도 16에 도시된 바와 같이, 수신부(160), 생성부(162), 증강부(164), 분석부(166), 보정부(168)를 포함한다.
상기 수신부(160)는 깊이 카메라로부터 깊이 영상 정보를 수신하거나 사용자 입력에 의해 설정되거나 입력되는 정보를 수신한다.
이때, 수신부(160)는 사용자가 착용한 장치 예를 들어, 사용자의 머리에 착용한 HWD(Head worm display)와 같은 안경형 디스플레이장치에 부착된 깊이 카메라 예를 들어 RGB-D(depth) 카메라로부터 깊이 영상 정보(Depth image)를 수신할 수 있으며, 사용자 입력을 통해 설정된 현실 공간에서의 관심 영역(ROI; Region of Interest)을 수신할 수 있다. 여기서, 관심 영역은 모바일 입력 장치를 이용한 사용자 입력에 의해 설정될 수 있다.
본 발명에서의 깊이 영상 정보는 깊이 카메라에 의해 촬영되고 생성되는 정보로, 촬영된 영상 특징, 카메라의 자세 정보, 깊이 정보에 의한 거리 맵 이미지, 컬러 등을 포함할 수 있다.
분석부(166)는 수신부(160)로 수신된 깊이 영상 정보를 이용하여 현실 공간 또는 관심 영역에 대한 기하 구조를 분석한다.
이때, 분석부(166)는 깊이 카메라로부터 수신된 관심 영역에 대한 평면, 접선, 접면, 교점 등을 예측하는 기하 구조 분석을 수행할 수 있다.
생성부(162)는 분석부(166)에 의해 분석된 현실 공간 또는 관심 영역에 대한 기하 구조 분석을 통해 현실 공간에 대한 정합 좌표계를 생성한다.
이때, 생성부(162)는 관심 영역에 대한 기하 구조 분석을 통해 관심 영역의 평면, 접선, 접면, 교점 중 적어도 하나를 예측하며, 예측된 평면, 접선, 접면, 교점 중 적어도 하나를 통해 제1 정합 좌표계를 생성할 수 있다.
이때, 생성부(162)는 관심 영역에 대한 기하 구조 분석을 통해 원점과 방향을 계산하고, 깊이 카메라의 자세와의 관계를 고려하여 예측된 평면에 대해 정면, 측면, 바닥 중 어느 하나를 정의하며, 가상 공간의 미리 결정된 왼손 좌표계와 일치되도록 계산된 방향 부호를 보정하여 제1 정합 좌표계를 생성할 수 있다.
상기 보정부(168)는 생성부(162)에 의해 생성된 현실 공간 또는 관심 영역에 대한 정합 좌표계를 이용하여 가상 공간을 정합하기 위해 미리 생성된 정합 좌표계 예를 들어, 제2 정합 좌표계를 실측 기반으로 보정한다.
이때, 제2 정합 좌표계는 SLAM(Simultaneous Localization and Mapping) 알고리즘으로부터 생성된 정합 좌표계일 수 있으며, 보정부(168)는 SLAM 기반 카메라의 거리와 깊이 영상 정보를 생성하는 깊이 카메라의 거리 비율 계산을 이용하여 제2 정합 좌표계를 실측 기반으로 보정할 수 있다.
증강부(164)는 가상 객체를 보정된 정합 좌표계를 기준으로 증강하는 구성으로, 가상 객체를 증강하여 증강된 가상 객체를 공간에 배치한다.
이때, 증강부(164)는 모바일 입력 장치를 통한 사용자 입력을 이용하여 가상 객체를 공간에 배치할 수 있다.
본 발명에 따른 장치는 도 9a에 도시된 RGB-D 카메라를 이용하여 깊이 영상 정보를 획득하고, 인터랙티브한 방식으로 사용자가 좌표계를 위치시킬 곳을 모바일 입력 장치를 이용하여 포인팅 하여 3D 점 군(Point clouds)을 선택한다. 그리고, 도 9b에 도시된 바와 같이 깊이 영상 정보에 포함된 거리 맵 이미지로부터 사용자가 선택한 영역 즉 관심 영역에 대해서, 기하 분석을 수행하여, 평면, 접선, 접면, 교점 등을 예측함으로써, 평면 형태의 증강현실 공간을 위한 정합 좌표계를 생성한다.
구체적으로, 공간에서 평면이 1개, 2개, 3개 예측되는 경우, 미리 결정된 최적화 방법을 통해 교점, 접선 등을 예측하여 원점과 방향을 계산한다. 그리고 카메라의 자세 예를 들어, 정면, 측면, 상향 등의 관계를 고려하여, 해당 평면이 정면, 측면, 바닥인지 정의하고, 가상공간의 왼손 좌표계와 일치되도록 방향 부호를 보정한다.
그 다음, 도 9c에 도시된 바와 같이, SLAM(Simultaneous Localization and Mapping) 알고리즘으로부터 생성된 초기 정합 좌표계 즉, 상술한 제2 정합 좌표계를 앞서 계산한 정합 좌표계로 보정시킨 후, 카메라 자세를 획득하여 가상 객체를 현실공간에 증강시킨다. 이때, SLAM 기반으로 생성된 좌표계의 가상 스케일을 현실 공간의 스케일로 보정하기 위해서, 초기 정합 좌표계를 기준으로 SLAM 기반 카메라의 거리와 깊이 카메라를 기준으로 한 거리 단위 예를 들어, m의 거리 비율을 계산한다.
이와 같이, 거리 비율을 가상 객체를 증강할 때 적용하면, 도 9d에 도시된 바와 같이, 현실공간의 단위 스케일을 반영하여 가상객체를 정합 좌표계를 기준으로 증강시킬 수 있다. 예컨대, 사용자는 보정된 좌표계를 기준으로 모바일 입력 장치를 이용하여, 가상객체를 공간에 배치할 수 있다.
물론, 이와 같은 내용이 본 발명에 따른 방법에 사용되며, 이후 기술한 본 발명에 따른 방법 또한 본 발명에 따른 장치에 사용될 수 있는 것은 자명하다.
상기와 같이 본 발명에 따른 증강현실 상호작용 서비스 제공 방법 및 장치에 관한 동작이 이루어질 수 있으며, 한편 상기한 본 발명의 설명에서는 구체적인 실시 예에 관해 설명하였으나 여러 가지 변형이 본 발명의 범위를 벗어나지 않고 실시될 수 있다. 따라서 본 발명의 범위는 설명된 실시 예에 의하여 정할 것이 아니고 청구범위와 청구범위의 균등한 것에 의하여 정하여져야 할 것이다.
510: 촬영부 512: 그래디언트 생성부
514: 사용자 인터페이스부 516: 랜더링부
518: 표면 정규 벡터 추출부
[참고 문헌]

Claims (18)

  1. 카메라를 통해 획득된 깊이 정보를 포함하는 3차원 영상을 기반으로 레퍼런스 좌표계(Reference Coordinates)를 생성하는 과정과,
    상기 카메라를 통해 획득된 깊이 정보를 포함하는 3차원 이미지로부터 기설정된 오브젝트의 깊이 정보와 색공간(color space) 변환을 기반으로 상기 기설정된 오브젝트에 대응하는 영역을 분할하는 과정과,
    분할된 영역의 오브젝트로부터 모션 성분을 가지는 서브 오브젝트를 분리하고, 분리된 상기 서브 오브젝트 및 상기 서브 오브젝트에 연계된 팜(palm) 영역을 기설정된 알고리즘을 기반으로 모델링하여 특징점을 검출하는 과정과,
    소정의 유저 인터페이스를 통해 제공되는 오브젝트의 관절 정보를 기반으로 상기 서브 오브젝트의 자세를 추정하여 증강현실 서비스 이용을 위한 3D객체를 제어하는 과정을 포함함을 특징으로 하는 증강현실 상호 작용 서비스 제공 방법.
  2. 제1항에 있어서, 상기 기설정된 오브젝트에 대응하는 영역을 분할하는 과정은,
    RGB 이미지로부터 상기 기설정된 오브젝트에 대응하는 손 이미지 영역의 RGB 색공간을 HSV 색공간으로 변환하여, 변환된 HSV 색공간에서 채도(saturation)와 진하기(value)에 대해 이중 임계치(double threshold) 수행을 통해 획득된 스킨(skin) 색공간을 기반으로 수행됨을 특징으로 하는 증강현실 상호 작용 서비스 제공 방법.
  3. 제2항에 있어서,
    깊이 이미지로부터 상기 손과 카메라 간 거리에 대응하는 거리를 임계치로 설정하고, 상기 각 이미지로부터 획득된 깊이 세그멘테이션(depth segmentation)과 RGB 세그멘테이션의 결과에 대응하는 교집합을 기반으로 손의 영역 분할이 수행됨을 특징으로 하는 증강현실 상호 작용 서비스 제공 방법.
  4. 제1항에 있어서, 상기 레퍼런스 좌표계(Reference Coordinates)를 생성하는 과정은,
    현실 공간에 대해 촬영된 깊이 영상 정보를 이용하여 상기 현실 공간에 대한 기하 구조를 분석하는 과정과,
    상기 분석된 상기 기하 구조를 이용하여 상기 현실 공간에 대한 제1 정합 좌표계를 생성하는 과정과,
    상기 생성된 상기 현실 공간에 대한 제1 정합 좌표계를 이용하여 가상 공간을 정합하기 위해 미리 생성된 제2 정합 좌표계를 실측 기반으로 보정하는 과정을 포함함을 특징으로 하는 증강현실 상호 작용 서비스 제공 방법.
  5. 제1항에 있어서,
    상기 오브젝트에 대응하는 손 이미지로부터 상기 서브 오브젝트에 대응하는 손가락의 자세를 추정하기 위하여 모폴로지컬(mophological) 연산을 이용하여 상기 서브 오브젝트에 연계된 팜 영역에 대응하는 손바닥과 손가락 분리를 통해 상기 팜 영역 모델링을 수행함을 특징으로 하는 증강현실 상호 작용 서비스 제공 방법.
  6. 제5항에 있어서,
    상기 손바닥의 중심점은 거리 변환(distance transform)을 통해 연산되고,
    하기의 수학식을 기반으로 타원피팅에 의해 상기 손가락의 모델링을 수행하여, 모델링된 타원의 점들과 상기 연산된 손바닥 중심점과의 거리 중 가장 최소인 것을 기준점으로 추정함을 특징으로 하는 증강현실 상호 작용 서비스 제공 방법.
    Figure pat00017
  7. 제1항에 있어서, 상기 특징점은,
    상기 서브 오브젝트에 대응하는 손가락 기준점과 깊이 정보 기반 손의 끝점을 포함하고,
    상기 손의 끝점은 기모델링된 깊이 템플릿으로부터 템플릿 매칭을 이용하여 추출됨을 특징으로 하는 증강현실 상호 작용 서비스 제공 방법.
  8. 제1항에 있어서, 상기 서브 오브젝트의 자세를 추정하는 과정은,
    생성된 레퍼런스 좌표계와 끝점의 위치를 기반으로 상기 서브 오브젝트에 대응하는 손가락 관절들의 파라미터를 추정하는 Inverse kinematics를 통해 수행되는 것으로, 상기 카메라로부터 획득된 오브젝트에 대응하는 손의 끝 위치에 대응하는 목표 지점과 현재 공간에 대해 촬영된 손의 끝 위치에 대응하는 현재 지점의 차이를 이용하여 각 관절들의 변화해야할 량을 추정함을 특징으로 하는 증강현실 상호 작용 서비스 제공 방법.
  9. 제4항에 있어서, 상기 기하 구조를 분석하는 과정은,
    깊이 카메라를 이용하여 촬영된 상기 현실 공간에 대한 깊이 영상 정보를 이용하여 상기 현실 공간에 대한 기하 구조를 분석함을 특징으로 하는 증강현실 상호 작용 서비스 제공 방법.
  10. 제9항에 있어서,
    사용자 입력을 통해 설정된 상기 현실 공간에서의 관심 영역을 수신하는 과정을 더 포함하고,
    상기 기하 구조를 분석하는 과정은,
    상기 깊이 영상 정보를 이용하여 상기 관심 영역에 대한 기하 구조를 분석하고,
    상기 제1 정합 좌표계를 생성하는 과정은,
    상기 관심 영역에 대한 기하 구조 분석을 통해 상기 관심 영역의 평면, 접선, 접면, 교점 중 적어도 하나를 예측하며, 상기 예측된 평면, 접선, 접면, 교점 중 적어도 하나를 통해 상기 제1 정합 좌표계를 생성함을 특징으로 하는 증강현실 상호 작용 서비스 제공 방법.
  11. 제10항에 있어서, 상기 제1 정합 좌표계를 생성하는 과정은,
    상기 관심 영역에 대한 기하 구조 분석을 통해 원점과 방향을 계산하고, 상기 깊이 카메라의 자세와의 관계를 고려하여 상기 예측된 평면에 대해 정면, 측면, 바닥 중 어느 하나를 정의하며, 상기 가상 공간의 미리 결정된 좌표계 방향과 일치되도록 상기 계산된 방향 부호를 보정하여 상기 제1 정합 좌표계를 생성함을 특징으로 하는 증강현실 상호 작용 서비스 제공 방법.
  12. 제4항에 있어서, 상기 제2 정합 좌표계는,
    SLAM(Simultaneous Localization and Mapping) 알고리즘으로부터 생성된 정합 좌표계이고,
    상기 실측 기반으로 보정하는 과정은,
    SLAM 기반 카메라의 거리와 상기 깊이 영상 정보를 생성하는 깊이 카메라의 거리 비율 계산을 이용하여 상기 제2 정합 좌표계를 실측 기반으로 보정함을 특징으로 하는 증강현실 상호 작용 서비스 제공 방법.
  13. 카메라를 통해 획득된 깊이 정보를 포함하는 3차원 영상을 기반으로 레퍼런스 좌표계(Reference Coordinates)를 생성하는 정합 좌표계 보정부와,
    상기 카메라를 통해 획득된 깊이 정보를 포함하는 3차원 이미지로부터 기설정된 오브젝트의 깊이 정보와 색공간(color space) 변환을 기반으로 상기 기설정된 오브젝트에 대응하는 영역을 분할하는 오브젝트 분리부와,
    분할된 영역의 오브젝트로부터 모션 성분을 가지는 서브 오브젝트를 분리하고, 분리된 상기 서브 오브젝트 및 상기 서브 오브젝트에 연계된 팜(palm) 영역을 기설정된 알고리즘을 기반으로 모델링하여 특징점을 검출하는 오브젝트 처리부와,
    소정의 유저 인터페이스를 통해 제공되는 오브젝트의 골격 정보를 기반으로 상기 서브 오브젝트의 자세를 추정하여 증강현실 서비스 이용을 위한 3D객체를 제어하는 제어부를 포함함을 특징으로 하는 증강현실 상호 작용 서비스 제공 장치.
  14. 제13항에 있어서, 상기 오브젝트 분리부는,
    상기 기설정된 오브젝트에 대응하는 영역에 대해 RGB 이미지로부터 상기 기설정된 오브젝트에 대응하는 손 이미지 영역의 RGB 색공간을 HSV 색공간으로 변환하여, 변환된 HSV 색공간에서 채도(saturation)와 진하기(value)에 대해 이중 임계치(double threshold) 수행을 통해 획득된 스킨(skin) 색공간을 기반으로 분할을 수행함을 특징으로 하는 증강현실 상호 작용 서비스 제공 장치.
  15. 제14항에 있어서, 상기 오브젝트 분리부에서는,
    깊이 이미지로부터 상기 손과 카메라 간 거리에 대응하는 거리를 임계치로 설정하고, 상기 각 이미지로부터 획득된 깊이 세그멘테이션(depth segmentation)과 RGB 세그멘테이션의 결과에 대응하는 교집합을 기반으로 손의 영역 분할이 수행됨을 특징으로 하는 증강현실 상호 작용 서비스 제공 장치.
  16. 제13항에 있어서, 상기 정합 좌표계 보정부는,
    현실 공간에 대해 촬영된 깊이 영상 정보를 이용하여 상기 현실 공간에 대한 기하 구조를 분석하는 분석부와,
    상기 분석된 상기 기하 구조를 이용하여 상기 현실 공간에 대한 제1 정합 좌표계를 생성하는 생성부 및
    상기 생성된 상기 현실 공간에 대한 제1 정합 좌표계를 이용하여 가상 공간을 정합하기 위해 미리 생성된 제2 정합 좌표계를 실측 기반으로 보정하는 보정부를 포함함을 특징으로 하는 증강현실 상호 작용 서비스 제공 장치.
  17. 제13항에 있어서, 상기 오브젝트 처리부는,
    상기 오브젝트에 대응하는 손 이미지로부터 상기 서브 오브젝트에 대응하는 손가락의 자세를 추정하기 위하여 모폴로지컬(mophological) 연산을 이용하여 상기 서브 오브젝트에 연계된 팜 영역에 대응하는 손바닥과 손가락 분리를 통해 상기 팜 영역 모델링을 수행함을 특징으로 하는 증강현실 상호 작용 서비스 제공 장치.
  18. 제13항에 있어서, 상기 제어부는,
    생성된 레퍼런스 좌표계와 끝점의 위치를 기반으로 상기 서브 오브젝트에 대응하는 손가락 관절들의 파라미터를 추정하는 Inverse kinematics를 통해 수행되는 것으로, 상기 카메라로부터 획득된 오브젝트에 대응하는 손의 끝 위치에 대응하는 목표 지점과 현재 공간에 대해 촬영된 손의 끝 위치에 대응하는 현재 지점의 차이를 이용하여 각 관절들의 변화해야할 량을 추정하여 상기 서브 오브젝트의 자세를 추정함을 특징으로 하는 증강현실 상호 작용 서비스 제공 장치.
KR1020150091330A 2014-06-26 2015-06-26 증강현실 상호 작용 서비스 제공 장치 및 방법 KR101865655B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US15/322,075 US10304248B2 (en) 2014-06-26 2015-06-26 Apparatus and method for providing augmented reality interaction service
PCT/KR2015/006591 WO2015199502A1 (ko) 2014-06-26 2015-06-26 증강현실 상호 작용 서비스 제공 장치 및 방법

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR1020140079107 2014-06-26
KR20140079107 2014-06-26
KR1020150008083 2015-01-16
KR20150008083 2015-01-16

Publications (3)

Publication Number Publication Date
KR20160001699A true KR20160001699A (ko) 2016-01-06
KR101865655B1 KR101865655B1 (ko) 2018-06-11
KR101865655B9 KR101865655B9 (ko) 2021-07-14

Family

ID=55165462

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150091330A KR101865655B1 (ko) 2014-06-26 2015-06-26 증강현실 상호 작용 서비스 제공 장치 및 방법

Country Status (2)

Country Link
US (1) US10304248B2 (ko)
KR (1) KR101865655B1 (ko)

Cited By (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018023727A1 (en) 2016-08-05 2018-02-08 SZ DJI Technology Co., Ltd. Methods and associated systems for communicating with/controlling moveable devices by gestures
KR101898088B1 (ko) * 2017-12-27 2018-09-12 주식회사 버넥트 객체 추적기반의 프레임 영역 녹화 및 재생기술이 적용된 증강현실 시스템
US10217234B2 (en) 2017-01-26 2019-02-26 Samsung Electronics Co., Ltd. Modeling method and apparatus using three-dimensional (3D) point cloud
KR20190080570A (ko) * 2017-12-28 2019-07-08 주식회사 케이티 가상 현실 공간 생성 장치, 방법 및 컴퓨터 프로그램
KR20200003597A (ko) * 2018-07-02 2020-01-10 한국전자통신연구원 증강현실 영상 보정 장치 및 방법
US10664983B2 (en) 2016-09-12 2020-05-26 Deepixel Inc. Method for providing virtual reality interface by analyzing image acquired by single camera and apparatus for the same
KR20200061861A (ko) * 2018-11-26 2020-06-03 재단법인 실감교류인체감응솔루션연구단 다수의 손가락을 이용한 모션 캡쳐 인터페이스 방법 및 장치
KR102148103B1 (ko) * 2019-11-06 2020-08-25 세종대학교산학협력단 스테레오 카메라를 장착한 드론을 이용한 혼합현실 환경 생성 방법 및 장치
KR102218095B1 (ko) * 2019-10-02 2021-02-19 씨제이올리브네트웍스 주식회사 인물 및 평면 인식을 이용한 증강 현실 구현 방법 및 위 방법을 위한 명령어들이 저장된 컴퓨터 판독 가능한 저장 매체
KR102260754B1 (ko) 2019-12-31 2021-06-07 주식회사 버넥트 증강현실용 가이드 도구의 자세 추정을 위한 캘리브레이션 기구 및 이를 이용한 캘리브레이션 방법
KR20210085549A (ko) 2019-12-30 2021-07-08 주식회사 버넥트 카메라로 촬영된 객체 추적을 위한 자세 추정 방법 및 시스템
KR102282730B1 (ko) 2020-12-16 2021-07-29 주식회사 버넥트 객체 맞춤형 영상특징 검출 알고리즘 기반의 객체검출 및 자세추정을 수행하는 방법 및 그 시스템
KR20210098043A (ko) * 2020-01-31 2021-08-10 광주과학기술원 가상 오브젝트의 좌표 추정 방법
KR20210126318A (ko) * 2020-04-10 2021-10-20 주식회사 엘지유플러스 3차원 입체 콘텐츠 서비스 제공 시스템 및 방법
WO2022075686A1 (ko) * 2020-10-06 2022-04-14 삼성전자 주식회사 전자 장치 및 그 동작 방법
KR20220080007A (ko) * 2020-09-09 2022-06-14 베이징 지티아오 네트워크 테크놀로지 컴퍼니, 리미티드 증강 현실 기반 디스플레이 방법, 장치 및 저장 매체
KR20220083162A (ko) * 2020-12-11 2022-06-20 (주)토탈소프트뱅크 Ａｒ 환경에서 가시성 향상을 위한 ｂｃｉ 뇌파 자극물 생성 장치
WO2022146109A1 (ko) * 2020-12-28 2022-07-07 한국과학기술원 도메인 전이학습을 통한 적외선 카메라 기반의 손 자세 추정 방법 및 시스템
KR20220108417A (ko) * 2021-01-27 2022-08-03 주식회사 시온네트웍 Hmd 핸드트래킹을 이용한 실기술 트레이닝 제공방법
KR102433894B1 (ko) 2021-12-30 2022-08-18 주식회사 버넥트 맵 타겟을 생성 및 저장하는 방법 및 그 시스템
KR102436403B1 (ko) * 2021-02-23 2022-08-29 (주)디즈콘 멀티트래킹 증강현실 시스템
WO2023063570A1 (ko) * 2021-10-14 2023-04-20 삼성전자 주식회사 손 동작에 관한 이미지 데이터를 획득하는 전자 장치 및 그 동작 방법
US11645756B2 (en) 2019-11-14 2023-05-09 Samsung Electronics Co., Ltd. Image processing apparatus and method
WO2023158166A1 (ko) * 2022-02-21 2023-08-24 삼성전자 주식회사 전자 장치 및 이의 동작 방법
EP3479200B1 (en) * 2016-06-30 2023-11-22 Microsoft Technology Licensing, LLC Interaction with virtual objects based on determined restrictions
WO2024010304A1 (ko) * 2022-07-06 2024-01-11 삼성전자 주식회사 공간의 위치 좌표계를 동기화하는 증강 현실 디바이스 및 방법
US12045944B2 (en) 2018-06-01 2024-07-23 Ebay Inc. Colored three-dimensional digital model generation

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10551916B2 (en) 2015-09-24 2020-02-04 Facebook Technologies, Llc Detecting positions of a device based on magnetic fields generated by magnetic field generators at different positions of the device
US10599217B1 (en) * 2016-09-26 2020-03-24 Facebook Technologies, Llc Kinematic model for hand position
CN106981000B (zh) 2016-10-13 2020-06-09 阿里巴巴集团控股有限公司 基于增强现实的多人线下交互、点餐方法及系统
US20180350145A1 (en) * 2017-05-30 2018-12-06 Reston Restoration Augmented Reality Devices and Methods Thereof for Rendering Virtual Objects
JP6403843B1 (ja) * 2017-07-13 2018-10-10 株式会社コロプラ 情報処理方法、情報処理プログラム及び情報処理装置
JP6942566B2 (ja) * 2017-08-30 2021-09-29 キヤノン株式会社 情報処理装置、情報処理方法およびコンピュータプログラム
KR102357355B1 (ko) * 2017-10-23 2022-01-28 삼성전자주식회사 가상 오브젝트 생성 방법 및 장치
US10866652B2 (en) 2017-11-13 2020-12-15 Samsung Electronics Co., Ltd. System and method for distributed device tracking
US10235774B1 (en) 2017-11-14 2019-03-19 Caterpillar Inc. Method and system for calibration of an image capturing device mounted on a machine
CN108257216A (zh) * 2017-12-12 2018-07-06 北京克科技有限公司 一种在虚拟现实环境构建实体模型的方法、装置及设备
CN108196679B (zh) * 2018-01-23 2021-10-08 河北中科恒运软件科技股份有限公司 基于视频流的手势捕捉和纹理融合方法及系统
US10902625B1 (en) 2018-01-23 2021-01-26 Apple Inc. Planar surface detection
US10467819B2 (en) * 2018-03-28 2019-11-05 Authanaviz, LLC Real-time spatial authoring in augmented reality using additive and subtractive modeling
CN110473283B (zh) * 2018-05-09 2024-01-23 无锡时代天使医疗器械科技有限公司 牙齿三维数字模型的局部坐标系设定方法
CN110163863B (zh) * 2018-11-06 2022-11-04 腾讯科技（深圳）有限公司 三维物体分割方法、设备和介质
CN109636779B (zh) * 2018-11-22 2021-02-19 华南农业大学 识别家禽体积体尺的方法、装置及存储介质
JP6818968B2 (ja) * 2019-01-11 2021-01-27 三菱電機株式会社 オーサリング装置、オーサリング方法、及びオーサリングプログラム
KR102225342B1 (ko) * 2019-02-13 2021-03-09 주식회사 브이터치 객체 제어를 지원하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
CN111949111B (zh) * 2019-05-14 2022-04-26 Oppo广东移动通信有限公司 交互控制方法、装置、电子设备及存储介质
US11302285B1 (en) * 2019-05-14 2022-04-12 Apple Inc. Application programming interface for setting the prominence of user interface elements
CN111949112A (zh) * 2019-05-14 2020-11-17 Oppo广东移动通信有限公司 对象交互方法及装置、系统、计算机可读介质和电子设备
US11783492B2 (en) * 2020-09-01 2023-10-10 XRSpace CO., LTD. Human body portion tracking method and human body portion tracking system
CN110825234A (zh) * 2019-11-11 2020-02-21 江南大学 一种面向工业场景的投影式增强现实跟踪显示方法和系统
JP7462755B2 (ja) 2020-07-08 2024-04-05 三菱電機エンジニアリング株式会社 位置合わせ装置及び位置合わせ方法
CN111880657B (zh) * 2020-07-30 2023-04-11 北京市商汤科技开发有限公司 一种虚拟对象的控制方法、装置、电子设备及存储介质
CN112132893B (zh) * 2020-08-31 2024-01-09 同济人工智能研究院(苏州)有限公司 一种适用于室内动态环境的视觉slam方法
KR102460361B1 (ko) * 2020-12-29 2022-11-01 광주과학기술원 캘리브레이션 시스템 및 방법
CN113238705A (zh) * 2021-05-10 2021-08-10 青岛小鸟看看科技有限公司 虚拟键盘交互方法及系统
CN117409076B (zh) * 2023-10-17 2024-07-05 苏州华兴源创科技股份有限公司 检测对位方法、装置、计算机设备和存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100980202B1 (ko) 2008-10-30 2010-09-07 한양대학교 산학협력단 3차원 가상물체와 인터랙션이 가능한 모바일 증강현실 시스템 및 방법
KR20110113948A (ko) * 2010-04-12 2011-10-19 전남대학교산학협력단 객체집합 갱신을 이용한 평균이동 알고리즘기반의 객체 추적방법
KR20140001167A (ko) * 2012-06-26 2014-01-06 한국과학기술원 웨어러블 증강현실 환경에서 증강현실 서비스 제공 방법 및 장치
KR20140028064A (ko) * 2011-06-06 2014-03-07 마이크로소프트 코포레이션 펼친 손 또는 오므린 손의 인식 시스템

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2911983B1 (fr) * 2007-01-25 2009-05-29 St Microelectronics Sa Procede de suivi automatique des mouvements de la mains dans une sequence d'images.
JPWO2011142317A1 (ja) * 2010-05-11 2013-07-22 日本システムウエア株式会社 ジェスチャー認識装置、方法、プログラム、および該プログラムを格納したコンピュータ可読媒体
KR101360149B1 (ko) 2010-11-02 2014-02-11 한국전자통신연구원 센서리스 기반 손가락 모션 트래킹 방법 및 그 장치
KR20130099317A (ko) * 2012-02-29 2013-09-06 한국전자통신연구원 인터랙티브 증강현실 구현 시스템 및 증강현실 구현 방법
US8861847B2 (en) * 2012-12-21 2014-10-14 Intel Corporation System and method for adaptive skin tone detection
WO2014128749A1 (ja) * 2013-02-19 2014-08-28 株式会社ブリリアントサービス 形状認識装置、形状認識プログラム、および形状認識方法
US9436872B2 (en) * 2014-02-24 2016-09-06 Hong Kong Applied Science and Technology Research Institute Company Limited System and method for detecting and tracking multiple parts of an object

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100980202B1 (ko) 2008-10-30 2010-09-07 한양대학교 산학협력단 3차원 가상물체와 인터랙션이 가능한 모바일 증강현실 시스템 및 방법
KR20110113948A (ko) * 2010-04-12 2011-10-19 전남대학교산학협력단 객체집합 갱신을 이용한 평균이동 알고리즘기반의 객체 추적방법
KR20140028064A (ko) * 2011-06-06 2014-03-07 마이크로소프트 코포레이션 펼친 손 또는 오므린 손의 인식 시스템
KR20140001167A (ko) * 2012-06-26 2014-01-06 한국과학기술원 웨어러블 증강현실 환경에서 증강현실 서비스 제공 방법 및 장치

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
R. Castle, G. Klein, D.W. Murray, "Video-rate localization in multiple maps for wearable augmented reality," IEEE Proc. International Symposium on Wearable Computers, pp. 15-2, 2008.

Cited By (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3479200B1 (en) * 2016-06-30 2023-11-22 Microsoft Technology Licensing, LLC Interaction with virtual objects based on determined restrictions
US11042167B2 (en) 2016-08-05 2021-06-22 SZ DJI Technology Co., Ltd. Methods and associated systems for communicating with/controlling moveable devices by gestures
CN109564432A (zh) * 2016-08-05 2019-04-02 深圳市大疆创新科技有限公司 通过姿势与可移动设备通信/控制可移动设备的方法和相关系统
WO2018023727A1 (en) 2016-08-05 2018-02-08 SZ DJI Technology Co., Ltd. Methods and associated systems for communicating with/controlling moveable devices by gestures
EP3494449A4 (en) * 2016-08-05 2020-03-11 SZ DJI Technology Co., Ltd. METHODS AND RELATED SYSTEMS FOR COMMUNICATING WITH / CONTROLLING MOVABLE DEVICES BY GESTING
CN109564432B (zh) * 2016-08-05 2022-02-15 深圳市大疆创新科技有限公司 通过姿势与可移动设备通信/控制可移动设备的方法和相关系统
US11691729B2 (en) 2016-08-05 2023-07-04 SZ DJI Technology Co., Ltd. Methods and associated systems for communicating with/controlling moveable devices by gestures
US10664983B2 (en) 2016-09-12 2020-05-26 Deepixel Inc. Method for providing virtual reality interface by analyzing image acquired by single camera and apparatus for the same
US10217234B2 (en) 2017-01-26 2019-02-26 Samsung Electronics Co., Ltd. Modeling method and apparatus using three-dimensional (3D) point cloud
KR101898088B1 (ko) * 2017-12-27 2018-09-12 주식회사 버넥트 객체 추적기반의 프레임 영역 녹화 및 재생기술이 적용된 증강현실 시스템
KR20190080570A (ko) * 2017-12-28 2019-07-08 주식회사 케이티 가상 현실 공간 생성 장치, 방법 및 컴퓨터 프로그램
US12045944B2 (en) 2018-06-01 2024-07-23 Ebay Inc. Colored three-dimensional digital model generation
KR20200003597A (ko) * 2018-07-02 2020-01-10 한국전자통신연구원 증강현실 영상 보정 장치 및 방법
KR20200061861A (ko) * 2018-11-26 2020-06-03 재단법인 실감교류인체감응솔루션연구단 다수의 손가락을 이용한 모션 캡쳐 인터페이스 방법 및 장치
KR102218095B1 (ko) * 2019-10-02 2021-02-19 씨제이올리브네트웍스 주식회사 인물 및 평면 인식을 이용한 증강 현실 구현 방법 및 위 방법을 위한 명령어들이 저장된 컴퓨터 판독 가능한 저장 매체
KR102148103B1 (ko) * 2019-11-06 2020-08-25 세종대학교산학협력단 스테레오 카메라를 장착한 드론을 이용한 혼합현실 환경 생성 방법 및 장치
US11645756B2 (en) 2019-11-14 2023-05-09 Samsung Electronics Co., Ltd. Image processing apparatus and method
US11900610B2 (en) 2019-11-14 2024-02-13 Samsung Electronics Co., Ltd. Image processing apparatus and method
KR20210085549A (ko) 2019-12-30 2021-07-08 주식회사 버넥트 카메라로 촬영된 객체 추적을 위한 자세 추정 방법 및 시스템
KR102260754B1 (ko) 2019-12-31 2021-06-07 주식회사 버넥트 증강현실용 가이드 도구의 자세 추정을 위한 캘리브레이션 기구 및 이를 이용한 캘리브레이션 방법
KR20210098043A (ko) * 2020-01-31 2021-08-10 광주과학기술원 가상 오브젝트의 좌표 추정 방법
KR20220080060A (ko) * 2020-04-10 2022-06-14 주식회사 엘지유플러스 3차원 입체 콘텐츠 서비스 제공 시스템 및 방법
KR102407729B1 (ko) 2020-04-10 2022-06-13 주식회사 엘지유플러스 3차원 입체 콘텐츠 서비스 제공 시스템 및 방법
KR102575567B1 (ko) 2020-04-10 2023-09-07 주식회사 엘지유플러스 3차원 입체 콘텐츠 서비스 제공 시스템 및 방법
KR20210126318A (ko) * 2020-04-10 2021-10-20 주식회사 엘지유플러스 3차원 입체 콘텐츠 서비스 제공 시스템 및 방법
KR20220080007A (ko) * 2020-09-09 2022-06-14 베이징 지티아오 네트워크 테크놀로지 컴퍼니, 리미티드 증강 현실 기반 디스플레이 방법, 장치 및 저장 매체
WO2022075686A1 (ko) * 2020-10-06 2022-04-14 삼성전자 주식회사 전자 장치 및 그 동작 방법
US11830155B2 (en) 2020-10-06 2023-11-28 Samsung Electronics Co., Ltd. Electronic device and operating method thereof
KR20220083162A (ko) * 2020-12-11 2022-06-20 (주)토탈소프트뱅크 Ａｒ 환경에서 가시성 향상을 위한 ｂｃｉ 뇌파 자극물 생성 장치
US11315283B1 (en) 2020-12-16 2022-04-26 VIRNECT inc. Method and system for object detection and posture estimation based on object-customized image feature detection algorithm
KR102282730B1 (ko) 2020-12-16 2021-07-29 주식회사 버넥트 객체 맞춤형 영상특징 검출 알고리즘 기반의 객체검출 및 자세추정을 수행하는 방법 및 그 시스템
WO2022146109A1 (ko) * 2020-12-28 2022-07-07 한국과학기술원 도메인 전이학습을 통한 적외선 카메라 기반의 손 자세 추정 방법 및 시스템
KR20220108417A (ko) * 2021-01-27 2022-08-03 주식회사 시온네트웍 Hmd 핸드트래킹을 이용한 실기술 트레이닝 제공방법
KR102436403B1 (ko) * 2021-02-23 2022-08-29 (주)디즈콘 멀티트래킹 증강현실 시스템
WO2023063570A1 (ko) * 2021-10-14 2023-04-20 삼성전자 주식회사 손 동작에 관한 이미지 데이터를 획득하는 전자 장치 및 그 동작 방법
KR102433894B1 (ko) 2021-12-30 2022-08-18 주식회사 버넥트 맵 타겟을 생성 및 저장하는 방법 및 그 시스템
WO2023158166A1 (ko) * 2022-02-21 2023-08-24 삼성전자 주식회사 전자 장치 및 이의 동작 방법
WO2024010304A1 (ko) * 2022-07-06 2024-01-11 삼성전자 주식회사 공간의 위치 좌표계를 동기화하는 증강 현실 디바이스 및 방법

Also Published As

Publication number Publication date
KR101865655B9 (ko) 2021-07-14
US10304248B2 (en) 2019-05-28
US20170154471A1 (en) 2017-06-01
KR101865655B1 (ko) 2018-06-11

Similar Documents

Publication Publication Date Title
KR101865655B1 (ko) 증강현실 상호 작용 서비스 제공 장치 및 방법
JP7273880B2 (ja) 仮想オブジェクト駆動方法、装置、電子機器及び可読記憶媒体
KR101687017B1 (ko) 머리 착용형 컬러 깊이 카메라를 활용한 손 위치 추정 장치 및 방법, 이를 이용한 맨 손 상호작용 시스템
Erol et al. A review on vision-based full DOF hand motion estimation
JP5422735B2 (ja) 可変姿勢を含む画像シーケンスのリアルタイム利用可能なコンピュータ支援分析方法
US11308347B2 (en) Method of determining a similarity transformation between first and second coordinates of 3D features
US9189855B2 (en) Three dimensional close interactions
US9135502B2 (en) Method for the real-time-capable, computer-assisted analysis of an image sequence containing a variable pose
US8994652B2 (en) Model-based multi-hypothesis target tracker
CN104317391A (zh) 一种基于立体视觉的三维手掌姿态识别交互方法和系统
WO2015199502A1 (ko) 증강현실 상호 작용 서비스 제공 장치 및 방법
JP2018119833A (ja) 情報処理装置、システム、推定方法、コンピュータプログラム、及び記憶媒体
Coleca et al. Self-organizing maps for hand and full body tracking
Chen et al. Fusion hand gesture segmentation and extraction based on CMOS sensor and 3D sensor
Knoop et al. Fusion of 2D and 3D sensor data for articulated body tracking
Lee et al. Registration method for maintenance-work support based on augmented-reality-model generation from drawing data
Zou et al. Automatic reconstruction of 3D human motion pose from uncalibrated monocular video sequences based on markerless human motion tracking
EP3309713B1 (en) Method and device for interacting with virtual objects
Kondori et al. Direct hand pose estimation for immersive gestural interaction
KR102333768B1 (ko) 딥러닝 기반 손 인식 증강현실 상호 작용 장치 및 방법
Usabiaga et al. Global hand pose estimation by multiple camera ellipse tracking
KR20200073031A (ko) 높은 정확도를 갖는 손 동작 추적을 위한 3차원 손 모델 제작 방법
Madaras et al. Position estimation and calibration of inertial motion capture systems using single camera
Fritz et al. Markerless 3d interaction in an unconstrained handheld mixed reality setup
Ismail et al. A review of visual inertial odometry for object tracking and measurement

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
G170 Re-publication after modification of scope of protection [patent]