KR101146091B1 - 증강 현실을 위한 입력 인터페이스 장치 및 이를 구비한 증강 현실 시스템 - Google Patents

증강 현실을 위한 입력 인터페이스 장치 및 이를 구비한 증강 현실 시스템 Download PDF

Info

Publication number
KR101146091B1
KR101146091B1 KR1020080075297A KR20080075297A KR101146091B1 KR 101146091 B1 KR101146091 B1 KR 101146091B1 KR 1020080075297 A KR1020080075297 A KR 1020080075297A KR 20080075297 A KR20080075297 A KR 20080075297A KR 101146091 B1 KR101146091 B1 KR 101146091B1
Authority
KR
South Korea
Prior art keywords
virtual
augmented reality
interface device
button
user
Prior art date
Application number
KR1020080075297A
Other languages
English (en)
Other versions
KR20090056792A (ko
Inventor
우운택
하태진
이영호
Original Assignee
광주과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 광주과학기술원 filed Critical 광주과학기술원
Publication of KR20090056792A publication Critical patent/KR20090056792A/ko
Application granted granted Critical
Publication of KR101146091B1 publication Critical patent/KR101146091B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus

Abstract

본 발명은 증강 현실을 위한 입력 인터페이스 장치, 및 이를 구비한 증강 현실 시스템에 관한 것이다. 더욱 상세하게는 본 발명은, 증강 현실에서의 사용자의 상호 작용을 위하여 물리적 인터페이스와 가상 인터페이스를 함께 제공하여 사용자가 증강 현실 환경에서 직관적으로 명령을 입력할 수 있도록 하는 증강 현실을 위한 입력 인터페이스 장치 및 증강 현실 시스템에 관한 것이다.
본 발명은, 상기한 목적을 달성하기 위하여, 증강 현실 시스템의 입력 인터페이스에 있어서, 사용자의 물리적 조작을 가능하게 하는 수동 인터페이스 장치와, 상기 사용자에게 가상 객체로 증강되어 제시되는 가상 버튼을 제공하며 상기 사용자의 선택에 따라 상기 가상 버튼의 조작 여부를 판별하는 가상 인터페이스부를 포함하는 증강 현실을 위한 입력 인터페이스 장치와, 이를 포함하는 증강 현실 시스템을 제공한다.
Figure R1020080075297
증강 현실, AR, 인터페이스, 가상 버튼, 마커, TUI

Description

증강 현실을 위한 입력 인터페이스 장치 및 이를 구비한 증강 현실 시스템{Input Interface Device for Augmented Reality, and Augmented Reality System Therewith}
본 발명은 증강 현실을 위한 입력 인터페이스 장치, 및 이를 구비한 증강 현실 시스템에 관한 것이다. 더욱 상세하게는 본 발명은, 증강 현실에서의 사용자의 상호 작용을 위하여 물리적 인터페이스와 가상 인터페이스를 함께 제공하여 사용자가 증강 현실 환경에서 직관적으로 명령을 입력할 수 있도록 하는 증강 현실을 위한 입력 인터페이스 장치 및 증강 현실 시스템에 관한 것이다.
통상적으로 전자책이란 좁은 의미로는 종이에 인쇄된 책이 아닌 XML, 디지털 이미지, 멀티미디어 등으로 제작해 컴퓨터나 PDA, 휴대폰과 같은 단말기 화면을 통해 보는 디지털 책을 말한다. 한국전자출판협회가 정의한 규정은 전자책을 '도서로 간행되었거나 도서로 간행될 수 있는 저작물의 내용을 디지털 데이터로 CD-ROM, DVD 등의 전자책 기록 매체 또는 저장 장치에 수록하고 유무선 정보통신망을 경유해 컴퓨터 또는 휴대 단말기 등을 이용해 그 내용을 보고 들을 수 있는 것'이라 정의한다.
최근 컴퓨터와 핸드폰, PMP 등과 같은 단말기로 이용할 수 있는 다양한 전자 책이 개발되어 왔다. PDF, XML 등의 1세대 전자책과 Flash 등 멀티미디어가 결합된 2세대 전자책이 활발히 개발되어 기존의 종이책(paper book)을 대체할 수 있는 수단으로 각광받아 왔다. 그러나 이러한 전자책이 기존의 종이책을 완전히 대체할 것이라는 초기 예상과는 달리 종이책의 활용은 더욱 증가되는 추세이다. 그 이유는 디지털 전자책이 소장의 편리함, 이동의 편리함 등의 장점을 갖지만, 기존의 아날로그 책(종이책)이 갖고 있는 다양한 장점을 대체하지는 못하기 때문이다.
컴퓨터 그래픽, 컴퓨터 비전 등의 기술을 기반으로 연구되고 있는 증강/혼합 현실(Augmented/Mixed Reality)이 발전함에 따라, 이러한 기술을 응용하여 종이책과 디지털 콘텐츠를 결합한 다양한 책 제작 시도가 있었다. 일본의 레키모토 (Rekimoto)는 1998년에 2차원 matrix 코드를 이용한 증강현실 시스템을 선보였다(Jun Rekimoto, "Matric: A Realtime Object Identification and Registration Method for Augmented Reality," Asia Pacific Computer Human Interaction ( APCHI 98), pp.63-68, 1998). 2001년 빌링허스트(Mark Billinghurst)와 가토(Kato)는 최초로 책의 형태를 갖춘 매직 북(Magic Book)을 선보였다(Mark Billinghurst, Hero Kato, Ivan poupyrev, "The Magic Book: A Transitional AR Interface," IEEE Computers and Graphics, pp.745-753, 2001). 그 후, 사소(Saso)가 "Little Red"라는 매직 북(magic book)을 선보였으며(enji Lguchi, Masa Inakage, Tomoki Saso, "Little Red MR: Storytelling in Mixed Reality," SIGGRAPH 2003), 시바타(Shibata)는 "Vivid Encyclopedia"를 선보였다(Shibata Fumihisa, Yoshida Yusuke, Furuno Koki, Sakai Toshio, Kiguchi Kenji, Kimura Asako, Tamura Hideyuki, "Vivide Encyclopidea: MR Pictorial Book of Insects", Vitual Reality Society of Japan Annual Conference , pp.611-612, 2004).
현재 뉴질랜드 HIT Lab을 중심으로 연구 개발되고 있는 매직 북(Magicbook)은 책을 실제공간, 증강현실공간, 그리고 가상현실공간을 넘나드는 "변천형 인터페이스"를 사용하고 있다. 하지만, 특수하게 디자인된 정사각 마커를 사용함으로써, 이 마커를 삽입한 책만을 사용할 수 있는 문제점이 발생하였다. 즉, 일반적인 출판물에 마커를 추가하기 전에는 사용할 수 없었다. 2007년에 가토(Kato)가 다시 선보인 Virtual pop-up book은 마커를 사용하지 않고 그림의 특징점(feature)을 이용하여 보다 책에 가까운 형태를 갖추었다(Nobuko Taketa, Kenichi Hayashi, Hirokazu Kato, Shogo Noshida, "Virtual Pop-Up Book Based on Augmented REality," Symposium on Human Interface ( LNCS ), 4558, pp. 475-484, 2007).
그런데 책과 같은 인쇄물을 포함하는 실제 환경에 대한 실제 영상에 가상 객체를 증강시켜 사용자에게 제공함에 있어서는 사용자가 직관적으로 증강 현실 환경에 명령을 입력할 수 있는 인터페이스가 제공될 필요가 있다.
종래 증강 현실 환경에서의 상호 작용을 위한 입력 장치로서, TUI(Tangible User Interface), 테이블 탑 인터페이스(Table-Top Interface), 제스쳐 기반 입력 장치, 데이터 글로브(Data Glove), 모바일 입력 장치 등 다양한 시도가 있었다. 그러나 이러한 입력 인터페이스는 사용자에게 직관적인 입력 환경을 제공할 수 없었으며, 특히 책과 같은 인쇄물을 위한 증강 현실 환경에 특화되어 있지 않다는 문제점이 존재하였다.
상기와 같은 문제점을 해결하기 위하여 본 발명은, 증강 현실 환경에서 사용자가 가상 객체를 직관적으로 조작할 수 있고, 명령을 직관적으로 입력할 수 있는 증강 현실을 위한 입력 인터페이스 장치 및 증강 현실 시스템을 제공함을 그 목적으로 한다.
본 발명은, 상기한 목적을 달성하기 위하여, 증강 현실 시스템의 입력 인터페이스에 있어서, 사용자의 물리적 조작을 가능하게 하는 수동 인터페이스 장치와, 상기 사용자에게 가상 객체로 증강되어 제시되는 가상 버튼을 제공하며 상기 사용자의 선택에 따라 상기 가상 버튼의 조작 여부를 판별하는 가상 인터페이스부를 포함하는 증강 현실을 위한 입력 인터페이스 장치를 제공한다.
바람직하게는, 상기 수동 인터페이스 장치는 상기 증강 현실 시스템에서 상기 수동 인터페이스 장치를 식별하도록 하는 장치 식별 마커와, 손잡이부 및 조작 버튼을 추가로 구비한다.
바람직하게는, 상기 가상 인터페이스부는, 상기 가상 버튼을 생성하여 시각 디스플레이 장치틀 통해 사용자에게 제공하는 가상 버튼 제공부와, 상기 사용자의 행위에 따라 상기 가상 버튼의 선택 여부를 판단하는 가상 입력 결정부를 포함한다.
또한, 본 발명은, 마커를 포함한 실제 환경에 대한 영상을 획득하는 영상 획 득 장치; 및 상기 영상 획득 장치에서 획득된 상기 실제 환경에서의 상기 마커를 트래킹하여 상기 마커에 대한 가상 객체를 상기 실제 환경에 중첩하여 디스플레이 장치로 출력하는 증강 현실 제공 장치를 포함하되, 사용자의 물리적 조작을 가능하게 하는 수동 인터페이스 장치가 구비되는 것을 특징으로 하는 증강 현실 시스템을 제공한다.
바람직하게는, 상기 수동 인터페이스 장치는, 상기 수동 인터페이스 장치를 식별하도록 하는 장치 식별 마커를 구비하고, 상기 증강 현실 제공 장치는 상기 장치 식별 마커를 트래킹하는 수동 인터페이스 트래킹부를 구비하는 것을 특징으로 한다.
또한, 상기 수동 인터페이스 장치는 조작 버튼을 추가로 포함하며, 상기 증강 현실 제공 장치는 상기 조작 버튼으로부터 입력 신호를 무선 또는 유선으로 입력받는 수동 인터페이스 입출력부를 추가로 구비하는 것을 특징으로 한다.
바람직하게는, 상기 증강 현실 제공 장치는, 상기 현실 환경에 증강되어 제시되는 가상 버튼을 제공하며 상기 사용자의 조작에 따라 상기 가상 버튼의 선택 여부를 판별하는 가상 인터페이스부를 추가로 포함한다.
한편, 상기 가상 인터페이스부는, 상기 가상 버튼을 생성하여 시각 디스플레이 장치틀 통해 사용자에게 제공하는 가상 버튼 제공부와, 상기 사용자의 행위에 따라 상기 가상 버튼의 선택 여부를 판단하는 가상 입력 결정부를 포함하는 것을 특징으로 한다.
본 발명에 따르면, 증강 현실을 이용하는 사용자는 수동 인터페이스 장치를 이용하여 직관적으로 증강 현실 환경에서의 가상 객체를 조작할 수 있으며, 가상 버튼을 이용하여 추가적인 명령을 입력할 수 있어 사용자의 조작 편의를 극대화하는 효과가 있다.
이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 우선 각 도면의 구성 요소들에 참조 부호를 부가함에 있어서, 동일한 구성 요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다. 또한, 이하에서 본 발명의 바람직한 실시예를 설명할 것이나, 본 발명의 기술적 사상은 이에 한정하거나 제한되지 않고 당업자에 의해 변형되어 다양하게 실시될 수 있음은 물론이다.
본 발명에 대한 구체적인 설명을 하기에 앞서 증강 현실을 구현하기 위한 기본적인 기술에 대하여 설명한다.
증강 현실을 구현하기 위한 기본적인 기술은, 레지스트레이션(registration), 트래킹(Tracking), 그리고 카메라 보정(Camera calibration)을 포함한다. 레지스트레이션이란 가상 환경에서 가상 객체를 증강시킬 위치와 증강될 가상 객체를 등록하는 과정을 말한다. 통상적으로는 레지스트레이션을 위하여 현실 환경에 가상 객체를 표상하는 마커(2차원적인 마커, 3차원 이미지, 또는 2차원 이 미지를 사용할 수 있음)를 위치시킨 후 해당 마커를 식별하도록 한다. 이를 일반화하여 설명하면, 레지스트레이션을 위하여 현실 세계의 어떤 지점의 3차원 좌표가 필요하며 이 좌표는 카메라를 기준으로 카메라 좌표로 계산될 수 있다. 이러한 3차원 좌표를 얻기 위해서 카메라 입력 영상으로부터 특이점(즉, 마커)을 획득하고 이 특이점의 3차원 좌표를 추적한다. 이를 트래킹이라 하며, 매 영상 프레임 마다 위치를 추적하여 움직이는 카메라의 영상입력에서도 가상의 그래픽 객체의 증강을 가능하게 한다. 한편, 카메라 입력 영상으로부터 획득된 특이점과 카메라의 정확한 상관관계를 계산하기 위해서는 카메라 파라미터를 획득해야 한다. 이 과정을 카메라 보정이라 부른다. 카메라 보정은 카메라의 초점거리 등 내부 변수와 외부 변수를 계산해 내어 카메라 모델을 형성한다.
도 1은 본 발명의 바람직한 실시예에 따른 증강현실 시스템의 블록도이다.
본 발명의 바람직한 실시예에 따른 증강 현실 시스템(100)은, 영상 획득 장치(120), 증강 현실 제공 장치(130), 수동 인터페이스 장치(110), 및 디스플레이 장치(150)를 포함한다. 또한, 증강 현실 시스템(100)에서의 증강 현실 제공을 위하여 현실 환경(106)에는 도서, 포스터, 도화 등을 포함하는 인쇄 매체(102)가 구비된다.
인쇄 매체(102)에는 가상 객체를 표상하는 마커(104)가 구비되며, 마커(104)는 2차원 도안으로 표현된 2차원 마커, 2차원 이미지, 3차원 이미지, 육안으로는 보이지 않고 적외선 카메라 등에 의해서 식별 가능한 비가시적 마커(Invisible Marker) 중 어느 하나일 수 있다. 다만, 본 발명에 있어서 마커(104)란 가상 객체를 표상하기 위하여 현실 환경(106)에 구비되는 것으로 증강 현실 제공 장치(130)에서 식별할 수 있는 것을 의미하므로 전술한 바에 한정되는 것은 아님은 물론이다.
영상 획득 장치(120)는 인쇄 매체(102)를 포함하는 현실 환경(106)에 대한 영상을 획득하여 이를 증강 현실 제공 장치(130)로 전달하는 기능을 수행한다. 상기 현실 환경(106)에는 수동 인터페이스 장치(110)도 포함되며 영상 획득 장치(120)에서 획득된 영상에는 수동 인터페이스 장치(110)의 영상도 포함된다.
수동 인터페이스 장치(110)는 증강 현실에 있어서의 상호 작용을 위한 이산적 또는 연속적 신호를 입력하는 기능을 수행하는 것으로서 사용자가 직접 조작할 수 있는 일종의 TUI(Tangible User Interface)라고 할 수 있다.
증강 현실 제공 장치(130)는, 영상 획득 장치(120)로부터 입력된 현실 환경(106)에 대한 영상에서 마커(104)를 트래킹하여 마커(104)를 인식하고 마커(104)에 대응하는 가상 객체가 디스플레이 장치(150)에 출력되도록 한다. 또한 증강 현실 제공 장치(130)는, 상기 수동 인터페이스 장치(110)로부터 조작 신호를 입력받으며, 사용자가 조작할 수 있는 가상 버튼과 같은 가상 인터페이스를 제공하여 가상 인터페이스의 조작에 따른 조작 신호를 입력받아 처리하는 기능을 수행한다.
증강 현실 제공 장치(130)의 상세 구성을 설명하면 다음과 같다.
마커 트래킹부(132)는 영상 획득 장치(120)에서 획득된 현실 환경(106)의 영상에서 마커(104)를 검출하고 트래킹하는 기능을 수행한다. 또한 마커 트래킹 부(132)는 트래킹된 마커(104)의 위치 정보를 바탕으로 증강 현실 환경에서 가상 객체를 증강시킬 때 기준이 되는 기준 좌표계를 설정한다.
수동 인터페이스 트래킹부(134)는 영상 획득 장치(120)에서 획득된 현실 환경(106)의 영상에서 수동 인터페이스 장치(110)에 부착된 장치 식별 마커를 검출하고 트래킹하는 기능을 수행한다. 이를 위해 수동 인터페이스 장치(110)는 후술하는 바와 같이 현실 환경(106)에서의 수동 인터페이스 장치(110)의 위치 및 방위 정보를 증강 현실 환경에서 파악할 수 있도록 하기 위한 장치 식별 마커를 구비한다.
수동 인터페이스 입출력부(136)는 수동 인터페이스 장치(110)로부터 조작 신호를 입력받는 기능을 수행한다. 후술하는 바와 같이 수동 인터페이스 장치(110)에는 수동 조작 버튼이 구비되며, 수동 인터페이스 입출력부는 상기 수동 인터페이스 장치(110)와 유선 또는 무선으로 연결되어 수동 조작 버튼으로부터 조작 명령에 대한 신호를 입력받는다. 한편, 사용자에게 시각이나 청각 이외에 촉각(Haptic) 정보를 제공할 수 있는데, 이를 위해서는 수동 인터페이스 장치(110)에 촉각 정보를 사용자에게 제공할 수 있는 진동자와 같은 촉각 제시 기구가 구비될 수 있다. 이 경우 수동 인터페이스 입출력부(136)는 수동 인터페이스 장치(110)에 촉각 제시 기구의 작동 신호를 전달할 수 있도록 한다.
가상 인터페이스부(138)는 가상 버튼 제공부(142)와 가상 입력 결정부(140)를 포함한다. 가상 버튼 제공부(142)는 가상 버튼을 생성하여 시각 디스플레이 장치(152)를 통해 사용자에게 제공하는 기능을 수행한다. 가상 버튼은 영상 획득 장치(120)에서 획득된 현실 환경(106)의 영상에 증강되어 출력된다. 한편 가상 입력 결정부(140)는 사용자의 행위에 따라 상기 가상 버튼의 조작 여부를 판단하는 기능을 수행한다. 가상 버튼의 제공 및 가상 버튼 조작 여부의 결정에 대해서는 후술하도록 한다.
가상 객체 저장부(144)는 상기 마커(104)에 대응하는 가상 객체를 저장한다. 가상 객체는 2차원 또는 3차원 이미지, 비디오 매체, 음악이나 음향 효과와 같은 청각 매체, 또는 촉각 매체일 수 있다.
주제어부(146)는 상기 각 구성요소의 작동을 제어하며, 마커(104) 인식에 따른 가상 객체의 선택, 수동 인터페이스 입출력부(136) 및 가상 인터페이스부(138)를 통해 입력된 사용자 명령의 처리 등의 기능을 수행한다.
통합 렌더링부(148)는 영상 획득 장치(120)에서 획득된 현실 환경(106)에 대한 영상에 가상 객체를 결합하여 디스플레이 장치(150)로 출력하는 기능을 수행한다.
디스플레이 장치(150)는 시각 디스플레이 장치(152), 및 청각 디스플레이 장치(154) 중 적어도 어느 하나를 포함한다. 시각 디스플레이 장치(152)로는 영상 획득 장치(120)에서 획득된 현실 환경(106)에 대한 영상에 2차원 또는 3차원 이미지, 동영상과 같은 시각적 가상 객체가 증강되어 출력된다. 또한, 시각 디스플레이 장치(152)에는 가상 버튼 제공부(142)가 가상 버튼을 생성한 경우 가상 버튼이 함께 출력된다. 청각 디스플레이 장치(154)로는 청각적 가상 객체가 출력되어 음악이나 음향 효과가 출력된다.
도 2는 본 발명의 바람직한 실시예에 따른 증강 현실 시스템에 있어서 수동 인터페이스 장치의 사시도이다.
수동 인터페이스 장치(110)는 돌출된 봉 형상의 지시부(112), 장치 식별 마커(114), 손잡이부(116), 및 조작 버튼(118)을 포함한다. 이러한 수동 인터페이스 장치(110)는 일종의 마우스와 같은 입력 수단으로 이해될 수 있는데, 증강 현실에서의 적용을 위해 현실 환경(106)에서의 수동 인터페이스 장치(110)의 위치가 확인될 수 있도록 장치 식별 마커(114)가 구비되는 것이다.
장치 식별 마커(114)는 수동 인터페이스 장치(110)를 표상하며, 수동 인터페이스 장치(110)의 위치 및 방위 정보가 증강 현실 환경에서 판별될 수 있도록 한다. 장치 식별 마커(114)의 크기를 미리 알고 있는 경우 영상 획득 장치(120)를 통해 획득된 영상에서의 장치 식별 마커(114)의 크기를 통해 장치 식별 마커(114)의 위치 정보를 확인하는 것도 가능하다. 또한 수동 인터페이스 트래킹부(134)는 장치 식별 마커(114)의 위치 및 회전 정도를 트래킹함으로써 수동 인터페이스 장치(110)의 위치 및 방위 정보를 확인할 수 있다. 일 실시예로서 장치 식별 마커(114)는 정육면체의 전후좌우면에 부착된 형태로 구비될 수 있다.
지시부(112)는 수동 인터페이스 장치(110)를 이용하여 가상 객체를 선택할 때 수동 인터페이스 장치(110)가 지시하는 지점을 확인할 수 있도록 짧은 봉 형상으로 구비된다. 지시부(112)의 크기를 알고 있다면, 증강 현실 환경에서 수동 인터페이스 장치(110)의 지시부(112)의 말단 위치는 장치 식별 마커(114)의 위치 및 방위 정보로부터 확인될 수 있다. 사용자의 편의를 위해 증강 현실 환경에서는 수동 인터페이스 장치(110)의 지시부(112)의 말단의 위치에 구형의 가상 포인터를 증강 시키는 것도 가능하다.
손잡이부(116)는 사용자가 손으로 잡을 수 있도록 형성되는 부분이다.
조작 버튼(118)은 마우스의 버튼과 동일한 기능을 수행하는 것으로 이해될 수 있다. 조작 버튼(118)을 이용하여 사용자는 증강 현실 환경에서의 조작 명령을 전달할 수 있다.
한편, 도시되지는 않았으나 수동 인터페이스 장치(110)는 수동 인터페이스 입출력부(136)와 신호를 송수신할 수 있는 송수신 장치가 구비된다. 또한, 바람직하게는 수동 인터페이스 장치(110)는 진동자와 같은 촉각 전달기를 구비함이 바람직하다. 수동 인터페이스 장치(110)를 이용하여 증강 현실 환경에서의 가상 객체를 선택할 때, 수동 인터페이스 장치(110)의 지시부(112)가 가상 객체와 충돌하는 경우 수동 인터페이스 입출력부(136)는 수동 인터페이스 장치(110)로 촉각 전달기의 진동 신호를 전송하도록 하는 것도 가능하다.
도 3은 본 발명의 바람직한 실시예에 따른 증강 현실 시스템에 있어서 가상 인터페이스부의 작동을 설명하는 도면이다.
가상 인터페이스부(138)는 전술한 바와 같이 가상 버튼 제공부(142)와 가상 입력 결정부(140)를 포함한다. 도 3은 가상 버튼 제공부(142)에 의하여 생성된 가상 버튼(170)을 시각 디스플레이 장치(152)에 출력되는 상태를 도시한 것이다.
시각 디스플레이 장치(152)에는 통합 렌더링부(148)에서 통합된 현실 환경(106)에 대한 영상과 마커(104)에 대응하는 가상 객체(160)에 대한 영상이 함께 출력된다.
기본적으로 가상 객체(160)와의 상호 작용은 수동 인터페이스 장치(110)를 이용하여 이루어질 수 있다. 수동 인터페이스 트래킹부(134)는 수동 인터페이스 장치(110)의 움직임을 트래킹하여 수동 인터페이스 장치(110)와 가상 객체(160)의 상호 위치 관계를 바탕으로 수동 인터페이스 장치(110)가 가상 객체(160)와 상호 작용 또는 조작하는 것을 가능하게 한다. 한편 사용자는 수동 인터페이스 장치(110)에 구비된 작동 버튼(118)을 이용하여 특정 명령을 입력하는 것도 가능하다.
이와 더불어 본 발명은 가상 버튼 제공부(138)를 통해 가상으로 생성된 가상 버튼(170)을 증강시켜 시각 디스플레이 장치(152)를 통해 사용자에게 제공함을 특징으로 한다.
도 3에 도시된 가상 버튼(170a, 170b, 170c, 170d)은 가상 버튼(170)의 제공되는 양식을 설명한 것일 뿐 가상 버튼(170)의 생성 방식이 반드시 도 3에 도시된 바에 한정될 필요는 없다. 각 가상 버튼(170)의 기능으로서는 가상 객체(160)가 동영상 또는 음향 등이라면 재생, 정지, 일시정지 등과 같은 것일 수 있다.
한편, 가상 버튼(170)의 작동은 수동 인터페이스 장치(110)를 이용하여 수동 인터페이스 장치(110)가 가상 버튼(170)을 선택하도록 함으로써 이루어질 수 있다. 또 다른 방식으로는 사용자가 신체 부위, 예컨대 손가락을 이용하여 가상 버튼(170)을 선택하는 것을 가상입력 결정부(140)가 인지함으로써 가상 버튼(170)의 작동이 이루어지도록 하는 것도 가능하다. 가상 입력 결정부(140)는 사용자의 손가락을 손가락의 색상으로 인지하여, 손가락이 가상 버튼(170)과 소정 거리 이내로 들어오는 경우 가상 버튼(170)을 선택한 것으로 인지할 수 있다.
가상 버튼(170)의 선택은 다음과 같은 방식으로 이루어질 수 있다.
첫째, 가상 버튼(170)은 토글형 작동 방식일 수 있다. 사용자가 수동 인터페이스 장치(110) 또는 신체 부위를 이용하여 가상 버튼(170)을 선택하면, 해당 가상 버튼(170)은 온(On)되고 다른 가상 버튼(170)을 선택하면 이전의 가상 버튼(170)은 오프(Off)되도록 한다.
둘째, 가상 버튼(170)은 푸시형 작동 방식일 수 있다. 사용자가 수동 인터페이스 장치(110) 또는 신체 부위를 이용하여 가상 버튼(170)을 선택하고 있는 동안만 해당 가상 버튼(170)이 작동되도록 한다.
셋째, 가상 버튼(170)은 일회성 토글형 작동 방식일 수 있다. 이 경우에는 사용자가 수동 인터페이스 장치(110) 또는 신체 부위를 이용하여 가상 버튼(170)을 선택하면, 특정 이벤트(예컨대, 음향, 동영상 등)가 미리 설정된 시간 또는 횟수만큼 실행되고 가상 버튼(170)의 오프되는 것으로 할 수 있다.
한편, 위의 설명에서는 가상 버튼 제공부(142)가 가상 버튼(170)을 시각 디스플레이 장치(152)에 증강시키고 사용자가 조작하도록 하는 것을 설명하였으나, 경우에 따라서는 인쇄 매체(102)에 가상 버튼(170) 대신 실제 버튼 이미지를 구비하도록 하여 사용자가 조작할 수 있도록 하는 것도 가능하다.
이상에서 설명한 수동 인터페이스 장치(110)와 가상 인터페이스부(138)를 이용하여 증강 현실 환경에서의 상호 작용의 예를 설명하면 다음과 같다.
도 4는 본 발명의 바람직한 실시예에 따른 증강 현실 시스템을 이용하여 증강 현실을 구현한 예를 도시한다.
시각 디스플레이 장치(152)에 현실 환경에 대한 영상과 증강된 가상 객체의 영상이 함께 출력된다. 인쇄 매체(102)에 표시된 마커에 대응하여 가상 객체(160)가 증강된다. 증강되는 가상 객체(160)의 예로서 도 4에서는 범종을 나타내었다.
사용자는 수동 인터페이스 장치(110)를 이용하여 가상 객체(160)와의 상호 작용을 수행한다. 도 4의 (a)에 있어서는 수동 인터페이스 장치(110)를 이용하여 가상 객체(160)를 지적한 경우, 가상 객체(160)에 대한 정보(180)가 출력되는 것을 예시하였다. 도 4의 (b)에 있어서는 수동 인터페이스 장치(110)에 대응한 조작용 가상 객체(182)를 출력하여 조작용 가상 객체(182)가 가상 객체(160)와 상호작용하는 것을 예시하였다.
도 4의 (a)의 실시 형태에 대해 추가적으로 설명하면, 사용자가 수동 인터페이스 장치(110)를 이용하여 범종의 특정 부분을 지적하면 범종에 대한 정보(180)를 출력한다. 상기 정보(180)는 범종의 특정 부위에 관한 사진, 설명, 동영상 등이 포함될 수 있다. 바람직하게는 수동 인터페이스 장치(110)의 지시부(112)의 말단이 지시하는 지점을 도 4의 (a)에서 가상 객체(160) 위에 흰 점으로 표시된 것과 같이 표시되도록 한다.
도 4의 (b)의 경우에는, 수동 인터페이스 장치(110)에 대응한 조작용 가상 객체(182)를 증강하고, 조작용 가상 객체(182)가 가상 객체(160)와 충돌할 때 종소리에 대한 청각적 가상 객체가 청각 디스플레이 장치(154)를 통해 출력되도록 한다.
도 5는 본 발명의 바람직한 실시예에 따른 증강 현실 시스템에 있어서 가상 객체의 조작을 위한 버튼을 이용한 증강 현실 구현의 일례를 도시한다.
도 5의 (a)는 가상 버튼 제공부(142)에서 제공되는 가상 버튼(170)을 시각 디스플레이 장치(152)에 증강시키고 이를 조작하는 상태를 나타낸다. 인쇄 매체(102)의 마커에 대응하여 가상 객체(160)가 증강된 상태에서 사용자는 수동 인터페이스 장치(110)를 이용하여 가상 객체(160)와의 상호 작용을 한다. 가상 버튼 제공부(142)는 가상 버튼(170)이 시각 디스플레이 장치(152)에 증강되도록 한다. 사용자는 손가락을 이용하여 가상 버튼(170)을 조작한다. 가상 입력 결정부(140)는 사용자의 손가락의 형상 또는 색상 정보를 이용하여 손가락의 위치를 판별하고 손가락이 가상 버튼(170)의 선택 영역에 위치하는 경우 가상 버튼(170)이 선택된 것으로 결정한다. 가상 입력 결정부(140)의 결정에 따라 주제어부(146)는 가상 버튼(170)의 조작 신호에 대응하는 명령을 수행한다. 가상 버튼(170)의 실행예로서는, 증강된 가상 객체(160)에 대한 정보의 제공, 가상 객체(160)의 회전, 가상 객체(160)에 부가된 음향이나 영상 등의 출력 등을 들 수 있다.
도 5의 (b)는 버튼 이미지(190)를 인쇄 매체(102)에 인쇄시킨 상태에서 이를 조작하는 상태를 나타낸다. 인쇄 매체(102)에는 버튼 이미지(190)가 이미 인쇄된 상태이므로 이 경우에는 가상 버튼 제공부(142)는 증강 현실 시스템(100)에 구비되지 않아도 무방하다. 가상 입력 결정부(140)는 버튼 이미지(190)를 트래킹한 상태에서 버튼 이미지(190)가 손가락에 의해 가려지면 해당 버튼 이미지(190)가 선택된 것으로 판단하고 그에 따른 조작 신호를 주제어부(146)로 전달한다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으 로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위 내에서 다양한 수정, 변경 및 치환이 가능할 것이다. 따라서, 본 발명에 개시된 실시예 및 첨부된 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예 및 첨부된 도면에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
도 1은 본 발명의 바람직한 실시예에 따른 증강현실 시스템의 블록도,
도 2는 본 발명의 바람직한 실시예에 따른 증강 현실 시스템에 있어서 수동 인터페이스 장치의 사시도,
도 3은 본 발명의 바람직한 실시예에 따른 증강 현실 시스템에 있어서 가상 인터페이스부의 작동을 설명하는 도면,
도 4는 본 발명의 바람직한 실시예에 따른 증강 현실 시스템을 이용하여 증강 현실을 구현한 예를 도시한 도면,
도 5는 본 발명의 바람직한 실시예에 따른 증강 현실 시스템에 있어서 가상 객체의 조작을 위한 버튼을 이용한 증강 현실 구현의 일례를 도시한 도면이다.
<도면의 주요 부분에 대한 도면부호의 설명>
100 : 증강 현실 시스템 102 : 인쇄 매체
104 : 마커 106 : 현실 환경
110 : 수동 인터페이스 장치 120 : 영상 획득 장치
130 : 증강 현실 제공 장치 132 : 마커 트래킹부
134 : 수동 인터페이스 트래킹부 136 : 수동 인터페이스 입출력부
138 : 가상 인터페이스부 140 : 가상 입력 결정부
142 : 가상 버튼 제공부 144 : 가상 객체 저장부
146 : 주제어부 148 : 통합 렌더링부
150 : 디스플레이 장치 152 : 시각 디스플레이 장치
154 : 청각 디스플레이 장치

Claims (16)

  1. 증강 현실 시스템의 입력 인터페이스에 있어서,
    사용자의 물리적 조작을 가능하게 하는 수동 인터페이스 장치와,
    상기 사용자가 상기 증강 현실 시스템에 명령을 입력하도록 하는 가상 버튼을 생성하여 시각 디스플레이 장치를 통해 사용자에게 제공하는 가상 버튼 제공부와, 상기 수동 인터페이스의 조작에 따라 상기 가상 버튼의 선택 여부를 판단하는 가상 입력 결정부를 포함하는 가상 인터페이스부를 포함하며,
    상기 수동 인터페이스 장치는, 상기 증강 현실 시스템에서 상기 수동 인터페이스 장치를 식별하도록 하는 장치 식별 마커와, 손잡이부 및 조작버튼을 포함하는 것을 특징으로 하는 증강 현실을 위한 입력 인터페이스 장치.
  2. 삭제
  3. 삭제
  4. 제 1 항에 있어서,
    상기 수동 인터페이스 장치는 돌출된 봉 형상의 지시부를 추가로 구비하는 것을 특징으로 하는 증강 현실을 위한 입력 인터페이스 장치.
  5. 삭제
  6. 삭제
  7. 제 1 항 또는 제 4 항에 있어서,
    상기 가상 입력 결정부는, 상기 수동 인터페이스 장치와 함께 또는 상기 수동 인터페이스 장치와 별도로 상기 사용자가 신체 부위를 상기 가상 버튼의 소정 영역 내에 위치시키는 경우 상기 가상 버튼을 선택하는 것으로 결정하는 것을 특징으로 하는 증강 현실을 위한 입력 인터페이스 장치.
  8. 제 7 항에 있어서,
    상기 가상 버튼의 선택여부는, 토글 방식으로 작동되는 토글형, 상기 사용자가 누르고 있는 동안만 작동하는 푸시형, 및 토글된 경우 일회성 이벤트를 실행시키는 일회성 토글형 중 적어도 어느 하나의 방식으로 판단되는 것을 특징으로 하는 증강 현실을 위한 입력 인터페이스 장치.
  9. 마커를 포함한 실제 환경에 대한 영상을 획득하는 영상 획득 장치; 및
    상기 영상 획득 장치에서 획득된 상기 실제 환경에서의 상기 마커를 트래킹하여 상기 마커에 대한 가상 객체를 상기 실제 환경에 중첩하여 디스플레이 장치로 출력하는 증강 현실 제공 장치를 포함하고,
    상기 증강 현실 시스템에서 수동 인터페이스 장치를 식별하도록 하는 장치 식별 마커와, 손잡이부 및 조작버튼을 포함하여 사용자의 물리적 조작을 가능하게 하는 수동 인터페이스 장치; 및
    특정 명령에 대응하도록 상기 현실 환경에 증강되어 제시되는 가상 버튼 또는 상기 현실 환경에 구비되는 버튼 이미지에 대하여 상기 사용자가 수동 인터페이스 장치를 조작한 것에 따라 상기 가상 버튼의 선택 여부 또는 상기 버튼 이미지에 대응하는 조작 명령의 선택 여부를 판별하는 가상 인터페이스부를 추가로 포함하는 것을 특징으로 하는 증강 현실 시스템.
  10. 제 9 항에 있어서,
    상기 증강 현실 제공 장치는 상기 수동 인터페이스 장치의 상기 장치 식별 마커를 트래킹하는 수동 인터페이스 트래킹부를 구비하는 것을 특징으로 하는 증강 현실 시스템.
  11. 제 10 항에 있어서,
    상기 증강 현실 제공 장치는 상기 수동 인터페이스 장치의 상기 조작 버튼으로부터 입력 신호를 무선 또는 유선으로 입력받는 수동 인터페이스 입출력부를 추가로 구비하는 것을 특징으로 하는 증강 현실 시스템.
  12. 삭제
  13. 제 9 항에 있어서,
    상기 가상 인터페이스부는,
    상기 가상 버튼을 생성하여 시각 디스플레이 장치틀 통해 사용자에게 제공하는 가상 버튼 제공부와,
    상기 사용자의 행위에 따라 상기 가상 버튼의 선택 여부를 판단하는 가상 입력 결정부를 포함하는 것을 특징으로 하는 증강 현실 시스템.
  14. 삭제
  15. 제 13 항에 있어서,
    상기 가상 입력 결정부는, 상기 수동 인터페이스 장치와 함께 또는 상기 수동 인터페이스 장치와 별도로 상기 사용자가 신체 부위를 상기 가상 버튼의 소정 영역 내에 위치시키는 경우 상기 가상 버튼을 선택하는 것으로 결정하는 것을 특징으로 하는 증강 현실 시스템.
  16. 삭제
KR1020080075297A 2007-11-30 2008-07-31 증강 현실을 위한 입력 인터페이스 장치 및 이를 구비한 증강 현실 시스템 KR101146091B1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR20070123897 2007-11-30
KR1020070123897 2007-11-30
KR20080014805 2008-02-19
KR1020080014805 2008-02-19

Publications (2)

Publication Number Publication Date
KR20090056792A KR20090056792A (ko) 2009-06-03
KR101146091B1 true KR101146091B1 (ko) 2012-05-16

Family

ID=40988125

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080075297A KR101146091B1 (ko) 2007-11-30 2008-07-31 증강 현실을 위한 입력 인터페이스 장치 및 이를 구비한 증강 현실 시스템

Country Status (1)

Country Link
KR (1) KR101146091B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150144100A (ko) 2014-06-16 2015-12-24 한국과학기술정보연구원 손목 움직임 기반 가상현실 메뉴 제어 시스템 및 방법

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10936650B2 (en) 2008-03-05 2021-03-02 Ebay Inc. Method and apparatus for image recognition services
US9495386B2 (en) 2008-03-05 2016-11-15 Ebay Inc. Identification of items depicted in images
KR100985206B1 (ko) * 2008-09-17 2010-10-05 (주)지아트 증강 현실 수동 조작 도구 및 이를 이용한 증강 현실 저작 방법과 그 시스템
US9164577B2 (en) 2009-12-22 2015-10-20 Ebay Inc. Augmented reality system, method, and apparatus for displaying an item image in a contextual environment
KR101640767B1 (ko) 2010-02-09 2016-07-29 삼성전자주식회사 이종 수행 환경을 위한 네트워크 기반의 실시간 가상 현실 입출력 시스템 및 가상 현실 입출력 방법
KR101250619B1 (ko) * 2010-03-25 2013-04-09 에스케이플래닛 주식회사 가상 사용자 인터페이스를 이용한 증강현실 시스템 및 그 방법
US10127606B2 (en) 2010-10-13 2018-11-13 Ebay Inc. Augmented reality system and method for visualizing an item
KR101225421B1 (ko) * 2011-06-10 2013-01-22 한남대학교 산학협력단 중첩 레이어를 활용한 증강현실 기반의 크로마키 방법
US9449342B2 (en) 2011-10-27 2016-09-20 Ebay Inc. System and method for visualization of items in an environment using augmented reality
US9240059B2 (en) 2011-12-29 2016-01-19 Ebay Inc. Personal augmented reality
US9741145B2 (en) 2012-06-29 2017-08-22 Disney Enterprises, Inc. Augmented reality simulation continuum
US10846766B2 (en) 2012-06-29 2020-11-24 Ebay Inc. Contextual menus based on image recognition
US9336541B2 (en) 2012-09-21 2016-05-10 Paypal, Inc. Augmented reality product instructions, tutorials and visualizations
TWI484452B (zh) * 2013-07-25 2015-05-11 Univ Nat Taiwan Normal 擴增實境學習系統及其方法
KR102356767B1 (ko) * 2020-06-25 2022-01-28 주식회사 지노텍 증강현실 환경에서의 가상 오브젝트 제어 방법 및 이를 수행하는 사용자 단말
KR102520445B1 (ko) * 2022-08-18 2023-04-11 주식회사 에스오씨 인화된 한장의 사진이미지와 연계된 맵핑 컨텐츠 실시간 스트리밍 표출장치 및 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050108569A (ko) * 2004-05-12 2005-11-17 이종원 증강현실에서 텐저블 인터페이스를 이용한 모델링 시스템
US7190378B2 (en) * 2001-08-16 2007-03-13 Siemens Corporate Research, Inc. User interface for augmented and virtual reality systems
US7190331B2 (en) 2002-06-06 2007-03-13 Siemens Corporate Research, Inc. System and method for measuring the registration accuracy of an augmented reality system
KR100834904B1 (ko) 2006-12-08 2008-06-03 한국전자통신연구원 마커 기반의 사용자 인터랙션을 지원하는 증강현실 콘텐츠저작 시스템 및 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7190378B2 (en) * 2001-08-16 2007-03-13 Siemens Corporate Research, Inc. User interface for augmented and virtual reality systems
US7190331B2 (en) 2002-06-06 2007-03-13 Siemens Corporate Research, Inc. System and method for measuring the registration accuracy of an augmented reality system
KR20050108569A (ko) * 2004-05-12 2005-11-17 이종원 증강현실에서 텐저블 인터페이스를 이용한 모델링 시스템
KR100834904B1 (ko) 2006-12-08 2008-06-03 한국전자통신연구원 마커 기반의 사용자 인터랙션을 지원하는 증강현실 콘텐츠저작 시스템 및 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150144100A (ko) 2014-06-16 2015-12-24 한국과학기술정보연구원 손목 움직임 기반 가상현실 메뉴 제어 시스템 및 방법

Also Published As

Publication number Publication date
KR20090056792A (ko) 2009-06-03

Similar Documents

Publication Publication Date Title
KR101146091B1 (ko) 증강 현실을 위한 입력 인터페이스 장치 및 이를 구비한 증강 현실 시스템
JP6116064B2 (ja) 車両インターフェース用ジェスチャ基準制御システム
Kim et al. Touch and hand gesture-based interactions for directly manipulating 3D virtual objects in mobile augmented reality
JP5936155B2 (ja) ３次元ユーザインタフェース装置及び３次元操作方法
CN107810465B (zh) 用于产生绘制表面的系统和方法
JP6288372B2 (ja) インタフェース制御システム、インタフェース制御装置、インタフェース制御方法、及びプログラム
Ha et al. WeARHand: Head-worn, RGB-D camera-based, bare-hand user interface with visually enhanced depth perception
KR100930370B1 (ko) 증강현실 저작 방법 및 시스템과 그 프로그램을 기록한컴퓨터로 읽을 수 있는 기록 매체
Ruppert et al. Touchless gesture user interface for interactive image visualization in urological surgery
Seo et al. Direct hand touchable interactions in augmented reality environments for natural and intuitive user experiences
EP2755194B1 (en) 3d virtual training system and method
Qian et al. Portal-ble: Intuitive free-hand manipulation in unbounded smartphone-based augmented reality
WO2014147858A1 (ja) ３次元ロック解除装置、３次元ロック解除方法及びプログラム
JP5871345B2 (ja) ３次元ユーザインタフェース装置及び３次元操作方法
CN108519817A (zh) 基于增强现实的交互方法、装置、存储介质及电子设备
KR101227255B1 (ko) 마커 크기 기반 인터렉션 방법 및 이를 구현하기 위한 증강 현실 시스템
WO2016076951A1 (en) Spatial interaction in augmented reality
EP3262505B1 (en) Interactive system control apparatus and method
JP2017059062A (ja) 情報処理装置、情報処理方法およびプログラム
KR20140130675A (ko) 화상 처리 디바이스, 및 컴퓨터 프로그램 제품
JP6524589B2 (ja) クリック動作検出装置，方法およびプログラム
CN111383345B (zh) 虚拟内容的显示方法、装置、终端设备及存储介质
JP5791434B2 (ja) 情報処理プログラム、情報処理システム、情報処理装置および情報処理方法
CN110488972B (zh) 用于空间交互中的额外模态的面部跟踪
JP6409861B2 (ja) 情報処理装置、情報処理システム、その制御方法及びプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
N231 Notification of change of applicant
AMND Amendment
E601 Decision to refuse application
J201 Request for trial against refusal decision
AMND Amendment
B601 Maintenance of original decision after re-examination before a trial
N231 Notification of change of applicant
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160610

Year of fee payment: 5

LAPS Lapse due to unpaid annual fee