KR20130099317A - 인터랙티브 증강현실 구현 시스템 및 증강현실 구현 방법 - Google Patents

인터랙티브 증강현실 구현 시스템 및 증강현실 구현 방법 Download PDF

Info

Publication number
KR20130099317A
KR20130099317A KR1020120020726A KR20120020726A KR20130099317A KR 20130099317 A KR20130099317 A KR 20130099317A KR 1020120020726 A KR1020120020726 A KR 1020120020726A KR 20120020726 A KR20120020726 A KR 20120020726A KR 20130099317 A KR20130099317 A KR 20130099317A
Authority
KR
South Korea
Prior art keywords
image
virtual object
augmented reality
extracting
pattern
Prior art date
Application number
KR1020120020726A
Other languages
English (en)
Inventor
허기수
정현태
이동우
박준석
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020120020726A priority Critical patent/KR20130099317A/ko
Priority to US13/647,362 priority patent/US20130222427A1/en
Publication of KR20130099317A publication Critical patent/KR20130099317A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명에 따른 증강현실 구현 시스템이 개시된다. 본 발명에 따른 증강현실 구현 시스템은 영상 출력 장치 및 획득한 특정 공간에 대한 영상으로부터 객체를 도출하여, 상기 도출된 객체에 대응되는 미리 정해진 가상객체를 추출하고, 상기 획득한 영상 내에 상기 가상객체와의 인터랙션을 위한 사용자 도구의 영상이 포함된 경우, 상기 사용자 도구의 동작패턴에 대응되는 동작명령을 상기 가상객체에 반영하고, 상기 획득한 영상에 상기 가상객체가 반영된 새로운 영상을 생성하여, 상기 영상 출력 장치로 출력하는 증강현실 구현 장치를 포함하여 구성된 다.

Description

인터랙티브 증강현실 구현 시스템 및 증강현실 구현 방법{SYSTEM FOR IMPLEMENTING INTERACTIVE AUGMENTED REALITY AND METHOD FOR THE SAME}
본 발명은 증강현실 구현 시스템 및 증강현실 구현 방법에 관한 것으로, 더욱 상세하게는 실제 사물에 가상 세계의 사물을 부가하여 사용자와 상호 작용하도록 하는 증강현실 구현 시스템 및 증강현실 구현 방법에 관한 것이다.
기존의 가상 현실은 가상의 공간과 사물만을 대상으로 하는데 비해서, 증강현실은 현실 세계의 기반위에 가상의 사물을 합성하여 현실 세계만으로는 얻기 어려운 부가적인 정보들을 보강해 제공할 수 있다. 즉, 완전한 가상세계를 전제로 하는 가상현실과는 달리 현실세계의 환경위에 가상의 대상을 결합시켜 현실의 효과를 더욱 증가시키는 것이다.
이러한 특징 때문에 단순히 게임과 같은 분야에만 한정된 적용이 가능한 기존 가상 현실과 달리, 증강현실은 다양한 현실 환경에 응용이 가능하다. 특히, 유비쿼터스 환경에 적합한 차세대 디스플레이 기술로 각광받고 있다. 유비쿼터스 컴퓨팅 환경에서는 증강현실을 통해 일상적인 사물과 장소가 정보처리와 정보교환을 수행하게 된다. 이때, 그 대상이나 사물은 특정한 위치나 장소에 고정되어 있는 것이든 지속적으로 움직이는 것이든 관계없다. 다만 현실의 이미지와 가상의 이미지가 효과적으로 결합하기 위해서는 3차원 공간에서의 실시간 인터랙션이 자연스럽게 이루어져야 한다. 따라서 가상현실에 비해서 증강현실은 사용자에게 좀더 나은 현실감을 제공해야 한다.
예를 들면, 보드게임은 평평한 공간의 놀이판에 간단한 물리적인 도구(카드)를 이용하여 진행되는 놀이로서, 휴대용 단말기에서도 이용 가능한 보드게임이 등장하고 있는데, 닌텐도 DS의 마법천자문 2 최후의 한자마법 및 스마트 폰 어플리케이션인 마법천자문은 사용자가 개인 단말기를 이용하여 학습할 수 있는 환경을 제공한다. 하지만 작은 디스플레이 화면을 통해 게임이 진행되기 때문에 불편한 점이 있고, 여러 사람이 한자 실력을 겨루기 위한 대전을 위해서는 여러 대의 단말기를 필요로 하는 문제가 있다. 또한 사용자와 가상세계와의 실시간 인터랙션을 효과적으로 제공하지 못하는 문제가 있다.
상기와 같은 문제점을 해결하기 위한 본 발명의 목적은, 사용자와의 실시간 인터랙션을 효과적으로 제공하는 증강현실 구현 시스템을 제공하는데 있다.
상기와 같은 문제점을 해결하기 위한 본 발명의 다른 목적은, 사용자와의 실시간 인터랙션을 효과적으로 제공하는 증강현실 구현 방법을 제공하는데 있다.
상기 목적을 달성하기 위한 본 발명의 일 실시예는, 영상 출력 장치 및 획득한 특정 공간에 대한 영상으로부터 객체를 도출하여, 상기 도출된 객체에 대응되는 미리 정해진 가상객체를 추출하고, 상기 획득한 영상 내에 상기 가상객체와의 인터랙션을 위한 사용자 도구의 영상이 포함된 경우, 상기 사용자 도구의 동작패턴에 대응되는 동작명령을 상기 가상객체에 반영하고, 상기 획득한 영상에 상기 가상객체가 반영된 새로운 영상을 생성하여, 상기 영상 출력 장치로 출력하는 증강현실 구현 장치를 포함하는 증강현실 구현시스템을 제공한다.
여기서, 상기 증강현실 구현 장치는, 특정 공간을 촬영한 영상을 획득하는 영상 획득부, 상기 획득한 영상으로부터 객체를 도출하여, 상기 도출된 객체에 대응되는 가상객체를 가상객체 저장소에서 추출하는 가상객체 추출부, 상기 획득한 영상 내에 상기 가상객체와의 인터랙션을 위한 사용자 도구의 영상이 포함된 경우, 상기 사용자 도구의 동작패턴을 도출하고, 상기 도출된 동작패턴에 대응되는 동작명령을 동작패턴 저장소에서 추출하는 동작명령 추출부, 상기 획득한 영상에 상기 추출한 가상객체의 영상을 추가하고, 상기 추출한 동작명령을 상기 가상객체에 반영하여 새로운 영상을 생성하는 영상 처리부 및 상기 영상 처리부에서 생성된 영상을 상기 영상 출력 장치로 출력하는 영상 출력부를 포함하는 것을 특징으로 한다.
여기서, 상기 영상 출력 장치는 수신한 영상에 적외선 특정패턴을 삽입하여 상기 특정공간으로 투사하고, 상기 증강현실 구현 시스템은, 상기 특정공간에 투사된 적외선 특정패턴을 촬영하기 위한 적외선 카메라를 더 포함하고, 상기 영상 획득부는 상기 적외선 카메라에 촬영된 상기 적외선 특정패턴을 획득하고, 상기 동작명령 추출부는, 상기 획득한 적외선 특정패턴에 기초하여 상기 사용자 도구의 동작패턴을 도출하는 것을 특징으로 한다.
여기서, 상기 동작명령 추출부는, 상기 사용자 도구가 손인 경우, 상기 적외선 특정패턴에 기초하여 손영역을 도출한 후에 손끝 영역을 분석함으로써 상기 동작패턴을 추출하는 것을 특징으로 한다.
여기서, 상기 증강현실 구현 시스템은, 상기 특정공간으로부터 상기 객체의 영상 또는 사용자 도구의 영상을 촬영하기 위한 가시광선 카메라를 더 포함하고, 상기 영상 획득부는 상기 가시광선 카메라 및 상기 적외선 카메라로부터 획득한 영상을 정합하는 것을 특징으로 한다.
상기 다른 목적을 달성하기 위한 본 발명의 일 측면은, 특정공간을 촬영한 영상을 획득하는 영상 획득단계, 상기 획득한 영상으로부터 객체를 도출하여, 상기 도출한 객체에 대응되는 가상객체를 가상객체 저장소에서 추출하는 가상객체 추출단계, 상기 획득한 영상 내에 상기 가상객체와의 인터랙션을 위한 사용자 도구의 영상이 포함된 경우, 상기 사용자 도구의 동작패턴을 도출하고, 상기 도출된 동작패턴에 대응되는 동작명령을 동작패턴 저장소에서 추출하는 동작명령 추출단계, 상기 획득한 영상에 상기 추출한 가상객체의 영상을 추가하고, 상기 추출한 동작명령을 상기 가상객체에 반영하여 새로운 영상을 생성하는 영상처리 단계 및 상기 생성된 영상을 상기 영상 출력 장치로 출력하는 영상출력 단계를 포함하는 증강현실 구현방법을 제공한다.
여기서, 상기 특정공간에는 상기 영상 출력 장치에 의해 적외선 특정패턴이 투사하고, 상기 영상 획득단계에서는 적외선 카메라에 의해 촬영된 상기 적외선 특정패턴을 획득하고, 상기 동작명령 추출단계에서는, 상기 획득한 적외선 특정패턴에 기초하여 상기 사용자 도구의 동작패턴을 도출하는 것을 특징으로 한다.
여기서, 상기 동작명령 도출단계는, 상기 사용자 도구가 손인 경우, 상기 적외선 특정패턴에 기초하여 손영역을 추출한 후에 손끝 영역을 분석함으로써 상기 동작패턴을 도출하는 것을 특징으로 한다.
여기서, 상기 객체가 마커 기반의 객체인 경우, 상기 가상객체 추출단계는 상기 도출된 객체의 영상으로부터 마커를 검출하고, 상기 검출된 마커에 대응되는 가상객체를 상기 가상객체 저장소에서 추출하는 것을 특징으로 한다.
상기와 같은 본 발명에 따른 증강현실 구현 시스템 및 증강현실 구현 방법을 이용할 경우에는 객체에 대한 영상을 획득하여, 객체내의 마커 또는 태그에 대응되는 가상 객체를 가상 객체 데이터베이스에서 도출하고, 해당 가상 객체와 인터랙션 하기 위한 사용자의 손동작의 패턴에 따른 동작 명령을 동작 명령 데이터베이스에서 도출하여 해당 가상객체에 반영 함으로써 사용자와의 효과적인 상호작용을 구현할 수 있다.
또한, 적외선 카메라와 프로젝터를 이용하여 프로젝터에서 적외선 특정 패턴을 투사하고, 해당 적외선 특정 패턴이 투사되는 공간에서의 사용자의 손동작을 적외선 카메라를 통해 획득하여, 적외선 특정 패턴의 왜곡을 이용하여, 사용자의 손동작의 패턴을 좀 더 정확하게 빠르게 인식할 수 있는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 증강현실 구현 시스템의 구성요소 및 구성요소와의 관계를 보여주는 블록도이다.
도 2는 본 발명의 일 실시예에 따른 증강현실 구현과정을 보여주는 순서도이다.
도 3은 본 발명의 일 실시예에 따른 증강현실 구현 시스템을 이용하여 서비스를 제공하는 예를 보여주는 개념도이다.
도 4는 본 발명의 일 실시예에 따른 증강현실 구현 시스템의 프로젝터에서 투사된 적외선 특정패턴의 손동작에 따른 변화를 보여주는 개념도이다.
도 5는 본 발명의 일 실시예에 따른 증강현실 구현 시스템의 프로젝터에서 투사된 영상에서 적외선 특정패턴만을 추출한 영상을 보여주는 개념도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 본 발명에 따른 바람직한 실시예를 첨부한 도면들을 참조하여 상세하게 설명한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
도 1은 본 발명의 일 실시예에 따른 증강현실 구현 시스템의 구성요소 및 구성요소와의 관계를 보여주는 블록도이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 증강현실 구현 시스템은 증강현실 구현 장치(10), 카메라(20), 영상 출력 장치(30), 가상객체 데이터베이스(40), 동작패턴 데이터베이스(50)를 포함하여 구성될 수 있다.
또한, 도 1을 참조하면 본 발명의 일 실시예에 따른 증강현실 구현 시스템은 다음과 같이 설명될 수 있다.
증강현실 구현 장치(10)는 카메라(20)를 통해 획득한 현실세계의 영상에 가상의 객체를 부여하여 생성된 새로운 영상을 영상 출력 장치(30)로 출력함으로써, 현실세계와 가상세계간의 인터랙션을 가능하도록 구현하는 장치이다.
예를 들면, 증강현실 구현 장치(10)는 광학 카메라 및 적외선(IR Infrared Rays) 카메라 등 다양한 다수의 센싱 모듈을 이용하여 획득한 영상으로부터 추출한 객체, 예를 들면, 종이카드에 대응하는 가상객체를 결정하기 위해 마커 또는 태그를 이용하여 객체를 식별하고, 프로젝터(30)를 통해 투사되는 가상객체(디지털 콘텐츠)에 대한 사용자의 동작(동영상 클릭, 글쓰기. 게임 등)을 인식하기 위하여, 사용자의 손끝 추적 및 제스처 인식을 수행할 수 있다.
이때, 대상 객체인 종이 카드의 종류를 인식하기 위해서는 일반 잉크 및 특수 잉크(적외선, 자외선)를 이용한 마커 기반, 객체가 가지고 있는 특유의 특징을 이용하는 마커리스 기반, RFID 태그 기반 등 다양한 방법으로 구성될 수 있다. 가상객체와 인터랙션하기 위한 사용자 도구(예를 들면 실감형 도구 또는 사용자의 손)의 추적 및 인식을 위한 영상처리 기법으로 일반적으로 객체 및 손의 색상 특징 및 모양 등 다양한 방법을 이용할 수도 있다. 하지만 본 발명의 실시예는 별도의 마커나 센서를 사용하지 않고 보이지 않은 적외선 특정패턴을 이용하여 사용자 도구의 동작을 추적할 수 있는 방법을 제시한다.
영상 출력장치(30)는 투사기능을 갖는 프로젝터를 사용하여, 증강 현실 구현 장치(10)로부터 수신한 영상을 출력할 수 있다. 이때, 프로젝터는 적외선 특정패턴을 상기 영상이 출력되는 공간에 같이 투사하여 사용자의 손동작이나 실감형 도구들의 움직임의 패턴이 효과적으로 도출되도록 할 수 있다.
카메라(20)는 가시광선(RGB) 카메라와 적외선(IR) 카메라를 포함할 수 있다. 적외선 카메라는 프로젝터(10)로부터 투사되는 적외선 특정패턴, 예를 들면 특정패턴의 적외선 프레임을 감지하여 획득할 수 있다.
예를 들면, 사용자의 손동작이 있는 공간에 적외선 특정패턴이 투사되는 경우, 표면의 불균형으로 인하여 투사된 적외선 특정패턴에 왜곡이 발생하는데, 적외선 카메라는 이러한 왜곡된 적외선 특정패턴을 획득할 수 있고, 이렇게 획득된 적외선 특정패턴의 왜곡은 증강현실 구현장치(10)에서 사용자의 손동작의 패턴을 분석하기 위하여 사용될 수 있다.
또한 도 1을 참조하면 본 발명의 일 실시예에 따른 증가 현실 구현 장치는 (10)는 영상 입력부(110), 가상객체 추출부(120), 동작명령 추출부(130), 영상 처리부(160) 및 영상 출력부(170)를 포함하여 구성될 수 있고, 각 구성요소는 다음과 같이 설명될 수 있다.
영상 획득부(110)는 카메라(20)와 같은 촬영장치를 통하여 특정공간을 촬영한 영상을 획득하는 부분일 수 있다. 이때 입력되는 영상은 상술한 바와같이 RGB 카메라 또는 적외선 카메라로 촬영된 영상일 수 있다. 이때 촬영된 영상은 현실세계의 특정공간을 촬영한 영상일 수 있다. 또한 획득한 영상은 프로젝터(30)로부터 투사되는 적외선 특정패턴의 영상을 포함할 수 있다.
가상객체 추출부(120)는 영상 입력부(110)에서 획득한 영상 내의 객체를 도출하고, 상기 도출된 객체에 대응되는 가상객체를 가상객체 데이터베이스(40) 또는 저장소에서 추출하는 부분일 수 있다.
이때, 객체는 입력된 영상내의 실제로 존재하는 어떤 물건일 수 있는데, 예를 들면 증강현실을 구현하기 위하여 현실세계를 대표하기 위한 물체일 수 있다. 만일 보드게임을 증강현실로서 구현하는 경우, 보드게임을 위한 종이카드가 객체가 될 수 있다.
한편 객체의 종류를 구별할 수 있도록 여러 가지 기법이 사용되는데, 구현 방법에 따라서 마커 기반의 객체, 마커리스 기반의 객체 또는 RFID 태그 기반의 개체 등이 있을 수 있는데, 만일 도출된 객체가 마커 기반의 객체라면, 가상객체 추출부(120)는 객체 구별자로서 객체의 영상에서 마커를 추출하고, 추출된 마커의 패턴에 대응되는 가상객체를 가상객체 데이터베이스(40)로부터 추출할 수 있다.
이때, 가상객체 데이터베이스(40)는 증강 현실 구현장치(10) 내부 또는 외부에 존재할 수 있으며, 마커의 패턴에 대응되는 가상객체의 영상이 저장되는 부분일 수 있다.
동작명령 추출부(130)는 영상 획득부(110)를 통해 입력된 영상에서 가상객체와 상호작용하기 위한 사용자 도구의 동작을 도출하여, 도출된 동작으로부터 사용자 도구의 동작패턴을 추출하고, 추출된 동작패턴에 대응되는 동작명령을 동작패턴 데이터베이스로부터 추출하는 부분일 수 있다.
이때, 사용자 도구의 동작은 사용자의 손동작 또는 실감형 도구(예를 들면, 적외선 펜 등)일 수 있다. 만일, 사용자 도구의 동작 영상이 손동작 영상이라면, 정의된 영상처리 알고리즘을 이용하여 손영역을 추출한 후에 손끝 영역을 분석함으로써 손동작패턴을 추출할 수 있다. 이때, 알려진 영상처리 알고리즘을 이용하여 정확한 손영역을 추출하고 손가락의 형태를 분석할 수 있다. 또한 분석된 손동작은 알려진 패턴 인식 기술을 이용하여 동작패턴 데이터베이스의 패턴과 비교할 수 있다.
예를 들면, 가상객체가 포함된 영상이 투사기능을 갖는 프로젝터(30)로 출력되는 경우, 프로젝터(30)가 가상객체가 투사되는 공간으로 적외선(Infrared) 특정패턴을 함께 투사하도록 할 수 있다.
이와 같이 함께 투사된 특정패턴과 손끝 움직임을 적외선 카메라를 이용하여 입력 받으면, 동작명령 추출부(130)는 특정패턴과 함께 입력된 손동작의 대한 영상을 분석하여 상기 손끝 영역을 분석하여 손동작패턴을 추출 할 수 있다.
또한 손동작 패턴에 대응되는 동작명령에 따라 가상객체가 사라지게 할 수도 있고, 작아지게 할 수도 있을 것이다. 이러한 손동작 패턴에 대응되는 동작명령은 동작패턴 데이터베이스(50)에 미리 정의된 것일 수 있다. 또는 동작명령은 동영상 플레이, 글쓰기 등을 지시하는 것일 수 있다.
영상 처리부(160)는 가상객체 추출부(120)에서 추출한 가상객체의 영상을 입력된 객체의 영상에 추가하여 새로운 영상을 생성하는 부분일 수 있다. 또한 영상 처리부(160)는 동작명령 추출부(130)에서 추출된 사용자의 손동작의 패턴에 대응되는 동작명령을 손 동작이 지시하는 가상객체의 영상에 반영하여 새로운 영상을 생성할 수 있다.
영상 출력부(170)는 영상 처리부(160)에서 생성한 영상을 영상 출력장치(30)로 출력하는 부분일 수 있다. 이때, 영상 출력장치(30)로는 상술한 바와 같이 출력되는 영상을 투사할 수 있는 프로젝터가 사용될 수 있다.
또한, 영상 출력부(170)는 프로젝터의 출력 환경에 적합한 영상 출력을 위해 영상 보정, 주변 환경인식 등을 수행하고, 실제 투사하고자 하는 객체의 색상 및 밝기 등의 값은 투사 공간의 특성에 따라 색상이 달라 보이는 현상이 발생하므로 광학 보상(radiometric compensation)을 수행할 수 하고, 투사 면이 평면이 아닐 경우 발생하는 왜곡에 대한 기하학적 보정(geometric warping)을 수행할 수 있다.
도 2는 본 발명의 일 실시예에 따른 증강현실 구현과정을 보여주는 순서도이다.
도 2를 참조하면 본 발명의 일 실시예에 따른 증강현실 구현 과정은 영상 입력 단계(S210), 가상객체 추출단계(S220), 동작명령 추출 단계(S230), 영상 처리 단계(S240) 및 영상 출력 단계(S250)를 포함하여 구성될 수 있다.
도 2를 참조하면 본 발명의 일 실시예에 따른 증강현실 구현 과정의 각 단계는 다음과 같이 설명될 수 있다.
영상 획득 단계(S210)는 카메라로 촬영된 실세계의 영상을 획득하는 단계일 수 있다. 이때 입력되는 영상은 가시광선 카메라 또는 적외선 카메라로 촬영된 영상일 수 있다.
가상객체 추출단계(S220)는 영상 획득 단계(S210)에서 획득한 영상으로부터 객체를 도출하고, 도출된 객체에 대응되는 가상객체를 가상객체 저장소 또는 가상객체 데이터베이스에서 추출하는 단계일 수 있다.
한편 객체를 구별하기 위해서, 여러 가지 기법이 사용되는데, 구현 방법에 따라서 마커기반의 객체, 마커리스 기반의 객체 또는 RFID 태그 기반의 개체 등이 있을 수 있는데, 만일 도출된 객체가 마커 기반의 객체라면, 객체 구별자는 마커일 수 있다.
예를 들면 마커 기반의 객체의 경우, 객체로부터 마커의 패턴을 추출하고, 추출된 마커의 패턴에 대응되는 가상객체를 가상객체 데이터베이스로부터 추출할 수 있다. 이때, 가상객체 데이터베이스는 증강 현실 구현장치의 내부 또는 외부에 존재할 수 있으며, 마커의 패턴에 대응되는 가상객체의 영상이 저장되는 부분일 수 있다.
동작명령 추출단계(S230)는 영상 획득 단계(S210)에서 획득한 영상으로부터 사용자 도구의 동작을 도출하여 도출된 동작의 패턴을 추출하고, 동작패턴 데이터베이스로부터 상기 추출된 동작패턴에 대응되는 동작명령을 추출하는 단계일 수 있다.
이때, 사용자 도구의 동작은 사용자의 손동작 또는 실감형 도구(예를 들면, 적외선 펜 등)일 수 있다. 예를 들면, 사용자 도구의 영상에 손동작 영상이 포함되어 있는 경우, 입력된 영상에서 가상객체와 상호작용하기 위한 사용자 도구의 동작을 도출하여, 도출된 동작으로부터 사용자 도구의 동작패턴을 추출하고, 추출된 동작패턴에 대응되는 동작명령을 동작패턴 데이터베이스로부터 추출할 수 있다.
또한, 예를 들면, 가상객체가 포함된 영상이 투사기능을 갖는 프로젝터로 출력되는 경우, 프로젝터로 하여금 가상객체가 투사되는 공간으로 비 가시광선 영역의 적외선(Infrared) 특정패턴을 함께 투사하도록 할 수 있다.
이와 같이 함께 투사된 특정패턴과 손끝 움직임을 적외선 카메라를 이용하여 입력 받으면, 동작패턴 추출단계에서 특정패턴과 함께 입력된 손동작의 대한 영상을 분석하여 손끝 영역을 분석하여 손동작패턴을 추출 할 수 있다.
영상 처리 단계(S240)는 추출한 가상객체의 영상을 입력된 객체의 영상에 추가하여 새로운 영상을 생성하는 단계일 수 있다. 또한 영상 처리 단계(S240)에서는 입력된 영상에 손동작이 감지되어, 감지된 손동작패턴에 따른 동작명령이 도출된 경우, 해당 손 동작이 지시하는 가상객체의 영상에 도출된 동작명령을 반영된 새로운 영상을 생성할 수 있다.
영상 출력 단계(S250)는 영상 처리 단계(S240)에서 생성한 영상을 영상 출력장치, 예를 들면, 출력되는 영상을 투사할 수 있는 프로젝터로 출력할 수 있다.
도 3은 본 발명의 일 실시예에 따른 증강현실 시스템을 이용하여 서비스를 제공하는 예를 보여주는 개념도로서, 보드게임 서비스의 예를 도시하였다.
도 3에는, 한자능력학습을 위한 보드게임이 도시되어 있는데, 일반적으로 한자능력학습을 위한 보드게임은 한자연습장, 한자카드, 보드게임 놀이판으로 구성되어 있으며, 순서를 정하고 상대방의 마법천자문 조각을 향해 한 칸씩 카드를 이동하도록 구성된다.
도 3을 참조하면, 본 발명의 일 실시예에 따른 증강현실 시스템을 이용한 보드게임은 테이블 위에 카드(60)와 보드게임 놀이판(70)이 놓여 있고, 이를 프로젝터(30)에 장착된 IR 카메라(21)와 RGB 카메라(22)로 촬영하도록 구성되어 있다. 촬영된 영상은 프로젝터의 화면(31)으로 출력되고 있다.
프로젝터의 화면(31)에는 카드의 영상(61) 및 카드의 마커(62)에 대응하는 가상객체의 영상(63)이 보여진다. 또한 사용자는 프로젝터 화면(31)에서 투사되는 가상객체의 영상(63)을 향하여 손동작(80)을 취함으로써 가상객체가 새로운 동작을 하도록 할 수 있다.
상술한 바와 같이 본 발명에서는 프로젝터와 카메라가 장착된 증강현실 구현 시스템을 통해 프로젝터의 출력 보정 및 정합을 동적으로 빠르게 수행하고 출력 영상과 사용자간의 인터랙션을 저연산 형태로 빠르게 수행할 수 있는 방법을 제안하는데, 본 발명에 따른 절차에 따르면, 다음과 같은 동작이 수행될 수 있을 것이다.
1) 프로젝터와 카메라의 프레임을 동기화 시키고,
2) 동기화된 프로젝터의 출력에 특정 패턴의 프레임을 삽입하고,
3) 동기화된 카메라를 통해 프로젝터에서 투사한 프레임의 출력영상을 획득하고,
4) 획득한 영상을 통해 사용자의 손동작 즉, 인터랙션을 인식할 수 있다.
이하, 도면을 참조하여 좀 더 자세하게 설명한다.
도 4는 본 발명의 일 실시예에 따른 증강현실 구현 시스템의 프로젝터에서 투사된 적외선 특정패턴의 손동작에 따른 변화를 보여주는 개념도이다.
도 4를 참조하면, 프로젝터의 출력 영상에서 사용자의 손가락으로 인터랙션을 하기 위한 방법으로 그리드 형태의 패턴 프레임을 사용하고 있는데, 도 4의(a)는 손가락의 터치 동작에 프로젝션된 패턴 프레임을 도 4의(b)는 손가락이 터치되지 않은 경우의 패턴 프레임을 보여준다.
도 5는 본 발명의 일 실시예에 따른 증강현실 구현 시스템의 프로젝터에서 투사된 영상에서 적외선 특정패턴만을 추출한 영상을 보여주는 개념도이다.
도 5에 도시된 것처럼, 카메라 영상으로부터 패턴 프레임만을 추출하여 패턴의 모양 변화를 인식하면 쉽게 손가락의 끝점을 추출할 수 있으며 이를 바탕으로 손동작(Touch/Drag/Release 등)을 인식할 수 있다. 또한 영상처리의 과정을 쉽게하여 연산량을 줄일 수 있다.
따라서, 카메라 영상으로부터 손 또는 손가락의 모양을 인식하기는 경우 기존에는 피부색, 또는 주변 환경에 따라서 인식률의 변화가 심해지는 단점이 있으나 본 발명에서는 패턴 프레임을 이용함으로써 이런 인식률의 변화를 줄일 수 있으며 안정적인 인식결과를 낼 수 있다.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims (15)

  1. 영상 출력 장치; 및
    획득한 특정 공간에 대한 영상으로부터 객체를 도출하여, 상기 도출된 객체에 대응되는 미리 정해진 가상객체를 추출하고,
    상기 획득한 영상 내에 상기 가상객체와의 인터랙션을 위한 사용자 도구의 영상이 포함된 경우, 상기 사용자 도구의 동작패턴에 대응되는 동작명령을 상기 가상객체에 반영하고,
    상기 획득한 영상에 상기 가상객체가 반영된 새로운 영상을 생성하여, 상기 영상 출력 장치로 출력하는 증강현실 구현 장치를 포함하는 증강현실 구현시스템.
  2. 청구항 1에 있어서, 상기 증강현실 구현 장치는,
    특정 공간을 촬영한 영상을 획득하는 영상 획득부;
    상기 획득한 영상으로부터 객체를 도출하여, 상기 도출된 객체에 대응되는 가상객체를 가상객체 저장소에서 추출하는 가상객체 추출부;
    상기 획득한 영상 내에 상기 가상객체와의 인터랙션을 위한 사용자 도구의 영상이 포함된 경우, 상기 사용자 도구의 동작패턴을 도출하고, 상기 도출된 동작패턴에 대응되는 동작명령을 동작패턴 저장소에서 추출하는 동작명령 추출부;
    상기 획득한 영상에 상기 추출한 가상객체의 영상을 추가하고, 상기 추출한 동작명령을 상기 가상객체에 반영하여 새로운 영상을 생성하는 영상 처리부; 및
    상기 영상 처리부에서 생성된 영상을 상기 영상 출력 장치로 출력하는 영상 출력부를 포함하는 것을 특징으로 하는 증강현실 구현시스템.
  3. 청구항 2에 있어서,
    상기 영상 출력 장치는 수신한 영상에 적외선 특정패턴을 삽입하여 상기 특정공간으로 투사하고,
    상기 증강현실 구현 시스템은,
    상기 특정공간에 투사된 적외선 특정패턴을 촬영하기 위한 적외선 카메라를 더 포함하고,
    상기 영상 획득부는 상기 적외선 카메라에 촬영된 상기 적외선 특정패턴을 획득하고,
    상기 동작명령 추출부는, 상기 획득한 적외선 특정패턴에 기초하여 상기 사용자 도구의 동작패턴을 도출하는 것을 특징으로 하는 증강현실 구현시스템.
  4. 청구항 3에 있어서, 상기 동작명령 추출부는,
    상기 사용자 도구가 손인 경우, 상기 적외선 특정패턴에 기초하여 손영역을 도출한 후에 손끝 영역을 분석함으로써 상기 동작패턴을 추출하는 것을 특징으로 하는 증강현실 구현시스템.
  5. 청구항 3에 있어서, 상기 증강현실 구현 시스템은,
    상기 특정공간으로부터 상기 객체의 영상 또는 사용자 도구의 영상을 촬영하기 위한 가시광선 카메라를 더 포함하고,
    상기 영상 획득부는 상기 가시광선 카메라 및 상기 적외선 카메라로부터 획득한 영상을 정합하는 것을 특징으로 하는 증강현실 구현시스템.
  6. 청구항 2에 있어서, 상기 가상객체 추출부는,
    도출된 객체의 영상으로부터 마커를 검출하고, 상기 검출된 마커에 대응되는 가상객체를 상기 가상객체 저장소에서 추출하는 것을 특징으로 하는 증강현실 구현시스템.
  7. 특정공간을 촬영한 영상을 획득하는 영상 획득부;
    상기 획득한 영상으로부터 객체를 도출하여, 상기 도출한 객체에 대응되는 가상객체를 가상객체 저장소에서 추출하는 가상객체 추출부;
    상기 획득한 영상 내에 상기 가상객체와의 인터랙션을 위한 사용자 도구의 영상이 포함된 경우, 상기 사용자 도구의 동작패턴을 도출하고, 상기 도출된 동작패턴에 대응되는 동작명령을 동작패턴 저장소에서 추출하는 동작명령 추출부;
    상기 획득한 영상에 상기 추출한 가상객체의 영상을 추가하고, 상기 추출한 동작명령을 상기 가상객체에 반영하여 새로운 영상을 생성하는 영상 처리부; 및
    상기 영상 처리부에서 생성된 영상을 영상 출력 장치로 출력하는 영상 출력부를 포함하는 증강현실 구현 장치.
  8. 청구항 7에 있어서,
    상기 특정공간에는 상기 영상 출력 장치에 의해 적외선 특정패턴이 투사하고,
    상기 영상 획득부는 적외선 카메라에 의해 촬영된 상기 적외선 특정패턴을 획득하고,
    상기 동작명령 추출부는, 상기 획득한 적외선 특정패턴에 기초하여 상기 사용자 도구의 동작패턴을 도출하는 것을 특징으로 하는 증강현실 구현 장치.
  9. 청구항 8에 있어서, 상기 동작명령 추출부는,
    상기 사용자 도구가 손인 경우, 상기 적외선 특정패턴에 기초하여 손영역을 추출한 후에 손끝 영역을 분석함으로써 상기 동작패턴을 도출하는 것을 특징으로 하는 증강현실 구현 장치.
  10. 청구항 7에 있어서, 객체가 마커 기반의 객체인 경우,
    상기 가상객체 추출부는 도출된 객체의 영상으로부터 마커를 검출하고, 상기 검출된 마커에 대응되는 가상객체를 상기 가상객체 저장소에서 추출하는 것을 특징으로 하는 증강현실 구현 장치.
  11. 청구항 10에 있어서,
    상기 가상객체 저장소는 상기 증강현실 구현장치 내부 또는 외부에 존재하고, 상기 가상객체 저장소에는 마커에 대응되는 가상객체의 영상이 저장되는 특징으로 하는 증강현실 구현 장치.
  12. 증강현실 구현 장치에서 수행되는 증강현실 구현 방법에 있어서,
    특정공간을 촬영한 영상을 획득하는 영상 획득단계;
    상기 획득한 영상으로부터 객체를 도출하여, 상기 도출한 객체에 대응되는 가상객체를 가상객체 저장소에서 추출하는 가상객체 추출단계;
    상기 획득한 영상 내에 상기 가상객체와의 인터랙션을 위한 사용자 도구의 영상이 포함된 경우, 상기 사용자 도구의 동작패턴을 도출하고, 상기 도출된 동작패턴에 대응되는 동작명령을 동작패턴 저장소에서 추출하는 동작명령 추출단계;
    상기 획득한 영상에 상기 추출한 가상객체의 영상을 추가하고, 상기 추출한 동작명령을 상기 가상객체에 반영하여 새로운 영상을 생성하는 영상처리 단계; 및
    상기 생성된 영상을 상기 영상 출력 장치로 출력하는 영상출력 단계를 포함하는 증강현실 구현방법.
  13. 청구항 12에 있어서,
    상기 특정공간에는 상기 영상 출력 장치에 의해 적외선 특정패턴이 투사되고,
    상기 영상 획득단계에서는 적외선 카메라에 의해 촬영된 상기 적외선 특정패턴을 획득하고,
    상기 동작명령 추출단계에서는, 상기 획득한 적외선 특정패턴에 기초하여 상기 사용자 도구의 동작패턴을 도출하는 것을 특징으로 하는 증강현실 구현방법.
  14. 청구항 13에 있어서, 상기 동작명령 도출단계는,
    상기 사용자 도구가 손인 경우, 상기 적외선 특정패턴에 기초하여 손영역을 추출한 후에 손끝 영역을 분석함으로써 상기 동작패턴을 도출하는 것을 특징으로 하는 증강현실 구현방법.
  15. 청구항 12에 있어서, 상기 객체가 마커 기반의 객체인 경우,
    상기 가상객체 추출단계는 상기 도출된 객체의 영상으로부터 마커를 검출하고, 상기 검출된 마커에 대응되는 가상객체를 상기 가상객체 저장소에서 추출하는 것을 특징으로 하는 증강현실 구현방법.
KR1020120020726A 2012-02-29 2012-02-29 인터랙티브 증강현실 구현 시스템 및 증강현실 구현 방법 KR20130099317A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020120020726A KR20130099317A (ko) 2012-02-29 2012-02-29 인터랙티브 증강현실 구현 시스템 및 증강현실 구현 방법
US13/647,362 US20130222427A1 (en) 2012-02-29 2012-10-08 System and method for implementing interactive augmented reality

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120020726A KR20130099317A (ko) 2012-02-29 2012-02-29 인터랙티브 증강현실 구현 시스템 및 증강현실 구현 방법

Publications (1)

Publication Number Publication Date
KR20130099317A true KR20130099317A (ko) 2013-09-06

Family

ID=49002375

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120020726A KR20130099317A (ko) 2012-02-29 2012-02-29 인터랙티브 증강현실 구현 시스템 및 증강현실 구현 방법

Country Status (2)

Country Link
US (1) US20130222427A1 (ko)
KR (1) KR20130099317A (ko)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101524576B1 (ko) * 2014-09-03 2015-06-03 박준호 웨어러블 디바이스
WO2015187309A1 (en) * 2014-06-03 2015-12-10 Intel Corporation Projecting a virtual image at a physical surface
WO2015199502A1 (ko) * 2014-06-26 2015-12-30 한국과학기술원 증강현실 상호 작용 서비스 제공 장치 및 방법
KR101678510B1 (ko) * 2015-07-10 2016-11-22 한국과학기술원 증강 현실 기반의 의상 디자인 장치
WO2017204581A1 (ko) * 2016-05-26 2017-11-30 경북대학교 산학협력단 혼합현실을 이용한 가상현실 시스템 및 그 구현방법
KR20180096165A (ko) 2017-02-20 2018-08-29 동서대학교 산학협력단 앰비언트 인텔리전스 환경을 위한 스마트 인터랙션 스페이스 모델 시스템 및 그 방법
KR101950408B1 (ko) 2017-12-05 2019-02-20 동서대학교 산학협력단 스마트 인터랙션 스페이스 프레임워크 제공 시스템 및 그 방법
KR101977332B1 (ko) * 2018-08-03 2019-05-10 주식회사 버넥트 증강현실 원격화상통신환경에서 직관적인 가이드를 위한 테이블탑 시스템
US10304248B2 (en) 2014-06-26 2019-05-28 Korea Advanced Institute Of Science And Technology Apparatus and method for providing augmented reality interaction service
KR20190098293A (ko) * 2018-02-12 2019-08-22 박상현 프로젝션 매핑 장치 및 시스템
KR20200081151A (ko) * 2018-12-27 2020-07-07 한국광기술원 증강현실 영상의 출력 및 제어가 가능한 조명장치
KR102192540B1 (ko) * 2019-08-02 2020-12-17 주식회사 토포로그 인터랙티브 콘텐츠 제공 시스템
KR20210120470A (ko) * 2020-03-27 2021-10-07 한국광기술원 현실감 있는 증강현실 영상을 출력하는 장치 및 방법

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101809636B1 (ko) * 2009-09-22 2018-01-18 페이스북, 인크. 컴퓨터 장치의 원격 제어
US9939905B2 (en) * 2012-11-09 2018-04-10 Ross Conrad Labelson Optical control of display screens
US9473913B2 (en) 2013-11-12 2016-10-18 At&T Intellectual Property I, L.P. System and method for small cell based augmented reality
US9993733B2 (en) * 2014-07-09 2018-06-12 Lumo Interactive Inc. Infrared reflective device interactive projection effect system
KR101807512B1 (ko) 2015-02-05 2018-01-18 한국전자통신연구원 맵핑형 3차원 상호작용 장치 및 방법
MX364878B (es) 2015-02-25 2019-05-09 Facebook Inc Identificación de un objeto en un volumen con base en las características de la luz reflejada por el objeto.
US10191553B2 (en) * 2015-03-12 2019-01-29 Dell Products, L.P. User interaction with information handling systems using physical objects
KR101740326B1 (ko) 2015-03-23 2017-06-08 한국전자통신연구원 증강현실 기반 실감체험 장치 및 제공 방법
CN105677030B (zh) * 2016-01-04 2018-11-09 联想(北京)有限公司 一种控制方法及电子设备
CN105578164B (zh) * 2016-01-04 2017-11-28 联想(北京)有限公司 一种控制方法及电子设备
CN105812680A (zh) * 2016-03-31 2016-07-27 联想(北京)有限公司 图像处理方法及电子设备
CN105929938A (zh) 2016-03-31 2016-09-07 联想(北京)有限公司 一种信息处理方法及电子设备
CN106373187B (zh) * 2016-06-28 2019-01-11 上海交通大学 基于ar的二维图像转换至三维场景的实现方法
KR101892740B1 (ko) 2016-10-11 2018-08-28 한국전자통신연구원 통합 이미지 마커 생성 방법 및 그 방법을 수행하는 시스템
KR102395030B1 (ko) 2017-06-09 2022-05-09 한국전자통신연구원 가상 콘텐츠 원격 제어 방법 및 이를 위한 장치
US10509534B2 (en) 2017-09-05 2019-12-17 At&T Intellectual Property I, L.P. System and method of providing automated customer service with augmented reality and social media integration
CN107529091B (zh) * 2017-09-08 2020-08-04 广州华多网络科技有限公司 视频剪辑方法及装置
US10974135B2 (en) * 2017-09-28 2021-04-13 James Andrew Aman Interactive game theater with secret message imaging system
US11354815B2 (en) * 2018-05-23 2022-06-07 Samsung Electronics Co., Ltd. Marker-based augmented reality system and method
US10699489B2 (en) * 2018-10-02 2020-06-30 International Business Machines Corporation Method and system for displaying a virtual item in an augmented reality environment
JP7289754B2 (ja) * 2019-08-08 2023-06-12 キヤノン株式会社 制御装置、制御方法、及びプログラム
CN112053370A (zh) * 2020-09-09 2020-12-08 脸萌有限公司 基于增强现实的显示方法、设备及存储介质
KR102495213B1 (ko) 2020-11-05 2023-02-07 한국전자통신연구원 증강 현실 기반의 스크린 스포츠 체험 장치 및 방법
CN112672185B (zh) * 2020-12-18 2023-07-07 脸萌有限公司 基于增强现实的显示方法、装置、设备及存储介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110150271A1 (en) * 2009-12-18 2011-06-23 Microsoft Corporation Motion detection using depth images
US9619104B2 (en) * 2010-10-01 2017-04-11 Smart Technologies Ulc Interactive input system having a 3D input space
US9454849B2 (en) * 2011-11-03 2016-09-27 Microsoft Technology Licensing, Llc Augmented reality playspaces with adaptive game rules

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015187309A1 (en) * 2014-06-03 2015-12-10 Intel Corporation Projecting a virtual image at a physical surface
WO2015199502A1 (ko) * 2014-06-26 2015-12-30 한국과학기술원 증강현실 상호 작용 서비스 제공 장치 및 방법
US10304248B2 (en) 2014-06-26 2019-05-28 Korea Advanced Institute Of Science And Technology Apparatus and method for providing augmented reality interaction service
KR101524576B1 (ko) * 2014-09-03 2015-06-03 박준호 웨어러블 디바이스
KR101678510B1 (ko) * 2015-07-10 2016-11-22 한국과학기술원 증강 현실 기반의 의상 디자인 장치
CN109196406B (zh) * 2016-05-26 2021-06-04 庆北大学校产学协力团 利用混合现实的虚拟现实系统及其实施方法
WO2017204581A1 (ko) * 2016-05-26 2017-11-30 경북대학교 산학협력단 혼합현실을 이용한 가상현실 시스템 및 그 구현방법
CN109196406A (zh) * 2016-05-26 2019-01-11 庆北大学校产学协力团 利用混合现实的虚拟现实系统及其实施方法
US10587868B2 (en) 2016-05-26 2020-03-10 Kyungpook National University Industry-Academic Cooperation Foundation Virtual reality system using mixed reality and implementation method thereof
KR20180096165A (ko) 2017-02-20 2018-08-29 동서대학교 산학협력단 앰비언트 인텔리전스 환경을 위한 스마트 인터랙션 스페이스 모델 시스템 및 그 방법
KR101950408B1 (ko) 2017-12-05 2019-02-20 동서대학교 산학협력단 스마트 인터랙션 스페이스 프레임워크 제공 시스템 및 그 방법
KR20190098293A (ko) * 2018-02-12 2019-08-22 박상현 프로젝션 매핑 장치 및 시스템
KR101977332B1 (ko) * 2018-08-03 2019-05-10 주식회사 버넥트 증강현실 원격화상통신환경에서 직관적인 가이드를 위한 테이블탑 시스템
US10692390B2 (en) 2018-08-03 2020-06-23 VIRNECT inc. Tabletop system for intuitive guidance in augmented reality remote video communication environment
KR20200081151A (ko) * 2018-12-27 2020-07-07 한국광기술원 증강현실 영상의 출력 및 제어가 가능한 조명장치
KR102192540B1 (ko) * 2019-08-02 2020-12-17 주식회사 토포로그 인터랙티브 콘텐츠 제공 시스템
WO2021025188A1 (ko) * 2019-08-02 2021-02-11 주식회사 토포로그 인터랙티브 콘텐츠 제공 시스템
KR20210120470A (ko) * 2020-03-27 2021-10-07 한국광기술원 현실감 있는 증강현실 영상을 출력하는 장치 및 방법

Also Published As

Publication number Publication date
US20130222427A1 (en) 2013-08-29

Similar Documents

Publication Publication Date Title
KR20130099317A (ko) 인터랙티브 증강현실 구현 시스템 및 증강현실 구현 방법
US12020390B2 (en) Virtual content generation
US8768006B2 (en) Hand gesture recognition
CN105487673B (zh) 一种人机交互系统、方法及装置
US10209881B2 (en) Extending the free fingers typing technology and introducing the finger taps language technology
Shen et al. Vision-based hand interaction in augmented reality environment
CN110310288A (zh) 用于混合现实环境中的对象分割的方法和系统
CN106774850B (zh) 一种移动终端及其交互控制方法
Maisto et al. An accurate algorithm for the identification of fingertips using an RGB-D camera
WO2013028279A1 (en) Use of association of an object detected in an image to obtain information to display to a user
WO2013114806A1 (ja) 生体認証装置及び生体認証方法
CN112991555B (zh) 数据展示方法、装置、设备以及存储介质
CN108027656A (zh) 输入设备、输入方法和程序
CN115061577B (zh) 手部投影交互方法、系统及存储介质
CN112905014A (zh) Ar场景下的交互方法、装置、电子设备及存储介质
CN116954367A (zh) 一种虚拟现实的交互方法、系统及设备
US20150138088A1 (en) Apparatus and Method for Recognizing Spatial Gesture
JP2016099643A (ja) 画像処理装置、画像処理方法および画像処理プログラム
Abdallah et al. An overview of gesture recognition
Annachhatre et al. Virtual Mouse Using Hand Gesture Recognition-A Systematic Literature Review
US11314981B2 (en) Information processing system, information processing method, and program for displaying assistance information for assisting in creation of a marker
Zhang et al. Transforming a regular screen into a touch screen using a single webcam
Xu et al. Bare hand gesture recognition with a single color camera
US11054941B2 (en) Information processing system, information processing method, and program for correcting operation direction and operation amount
Candela et al. HumanTop: A multi-object tracking tabletop

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid