KR102356767B1 - 증강현실 환경에서의 가상 오브젝트 제어 방법 및 이를 수행하는 사용자 단말 - Google Patents
증강현실 환경에서의 가상 오브젝트 제어 방법 및 이를 수행하는 사용자 단말 Download PDFInfo
- Publication number
- KR102356767B1 KR102356767B1 KR1020200077646A KR20200077646A KR102356767B1 KR 102356767 B1 KR102356767 B1 KR 102356767B1 KR 1020200077646 A KR1020200077646 A KR 1020200077646A KR 20200077646 A KR20200077646 A KR 20200077646A KR 102356767 B1 KR102356767 B1 KR 102356767B1
- Authority
- KR
- South Korea
- Prior art keywords
- virtual object
- augmented reality
- touch input
- overlaid
- user
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0489—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using dedicated keyboard keys or combinations thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
Abstract
본 발명은 증강현실 환경에서의 가상 오브젝트 제어 방법 및 이를 수행하는 사용자 단말에 관한 것으로서, 보다 상세하게는, 사용자가 증강현실 환경에서 구현되는 가상 오브젝트와 보다 용이하게 상호 작용할 수 있도록 하는 증강현실 환경에서의 가상 오브젝트 제어 방법 및 이를 수행하는 사용자 단말에 관한 것이다.
Description
본 발명은 증강현실 환경에서의 가상 오브젝트 제어 방법 및 이를 수행하는 사용자 단말에 관한 것으로서, 보다 상세하게는, 사용자가 증강현실 환경에서 구현되는 가상 오브젝트와 보다 용이하게 상호 작용할 수 있도록 하는 증강현실 환경에서의 가상 오브젝트 제어 방법 및 이를 수행하는 사용자 단말에 관한 것이다.
증강 현실은 실제 환경에 대한 영상에 가상 오브젝트 및 다른 표시형 데이터를 혼합함으로써, 사용자가 상기 가상 오브젝트 등이 실제 환경에 존재하는 것처럼 보이도록 하는 그래픽 기법이다.
또한, 최근 증강현실에 대한 관심이 높아짐에 따라 스마트폰 등의 사용자 단말을 통해서 증강현실을 이용하는 다양한 콘텐츠가 제공되고 있으며, 사용자 단말 간 통신을 통해 증강현실 환경을 공유하여 협업하는 방법에 대해서도 연구되고 있다.
한편, 스마트폰 및 태블릿 PC 등의 터치 인식형 디스플레이 장치를 포함하는 사용자 단말을 통해 증강현실을 체험하는 경우, 특히 가상 오브젝트를 단순히 시각적 효과로서 사용하는 것이 아닌, 업무 상 협업 목적 등에 부합하도록 조작 및 배치하는 부분에 중점을 두는 증강현실 콘텐츠 내에서는 사용자가 구현되는 가상 오브젝트와 상호 작용하기 위해서 직접 가상 오브젝트를 터치하여 제어하거나, 별도로 마련되는 가상 오브젝트에 대한 제어 메뉴를 살펴봐야 한다는 번거로움이 있으며, 대형 디스플레이 장치를 갖춘 사용자 단말을 이용하는 경우 이러한 번거로움이 더 커질 수 있다는 문제점이 있다.
본 발명은 상술한 문제점을 해결하기 위해 고안된 것으로서, 사용자 단말의 디스플레이 장치에 상호 작용을 활성화할 가상 오브젝트를 선택하기 위한 초점 오브젝트를 출력하고, 출력된 초점 오브젝트가 오버레이되는 가상 오브젝트가 선택됨으로써 해당 가상 오브젝트의 상호 작용을 활성화시키며, 디스플레이 장치 상에 출력되는 상호 작용 버튼에 인가되는 사용자 터치 입력에 기초하여 상기 활성화된 가상 오브젝트를 제어할 수 있는 증강현실 환경에서의 가상 오브젝트 제어 방법 및 이를 수행하는 사용자 단말을 제공하고자 한다.
본 발명의 일 실시예에 따른 증강현실 환경에서의 가상 오브젝트 제어 방법은 사용자 터치 입력을 인식할 수 있는 디스플레이 장치를 포함하는 사용자 단말에서 수행되는, 증강현실 환경에서의 가상 오브젝트 제어 방법에 있어서, 상기 디스플레이 장치를 통해 가상 오브젝트를 포함하는 증강현실 영상을 출력하는 단계; 상기 디스플레이 장치를 통해 상기 가상 오브젝트와 상호 작용하기 위한 초점 오브젝트를 출력하는 단계; 상기 사용자 단말의 물리적 움직임에 대응하여 상기 증강현실 영상을 출력하는 단계; 상기 증강현실 영상에서 상기 초점 오브젝트가 상기 가상 오브젝트에 오버레이되는지 여부를 판단하는 단계; 및 상기 초점 오브젝트가 상기 가상 오브젝트에 오버레이되면, 상기 사용자 터치 입력에 기초하여 상기 오버레이된 가상 오브젝트를 제어하는 단계;를 포함할 수 있다.
일 실시예에서, 상기 오버레이 여부를 판단하는 단계는 상기 초점 오브젝트가 상기 가상 오브젝트에 오버레이되면, 상기 오버레이된 가상 오브젝트를 강조하는 단계; 및 상기 강조된 가상 오브젝트에 대한 상호 작용을 활성화하는 단계;를 포함할 수 있다.
일 실시예에서, 상기 오버레이된 가상 오브젝트를 제어하는 단계는, 상기 디스플레이 장치를 통해 상기 가상 오브젝트를 제어하기 위한 축 설정 버튼 및 상호 작용 버튼을 출력하는 단계; 및 상기 축 설정 버튼 및 상호 작용 버튼 중 적어도 하나에 대한 사용자 터치 입력에 기초하여 상기 오버레이된 가상 오브젝트를 제어하는 단계;를 포함할 수 있다.
일 실시예에서, 상기 축 설정 버튼 및 상호 작용 버튼 중 적어도 하나에 대한 사용자 터치 입력에 기초하여 상기 오버레이된 가상 오브젝트를 제어하는 단계는, 상기 축 설정 버튼에 대한 상기 사용자 터치 입력에 기초하여, 상기 가상 오브젝트의 자세 변경 축을 결정하는 단계; 및 상기 상호 작용 버튼에 대한 사용자 터치 입력에 기초하여, 상기 결정된 자세 변경 축을 기준 삼아 상기 오버레이된 가상 오브젝트의 자세를 변경시키는 단계;를 포함할 수 있다.
일 실시예에서, 상기 축 설정 버튼 및 상호 작용 버튼 중 적어도 하나에 대한 사용자 터치 입력에 기초하여 상기 오버레이된 가상 오브젝트를 제어하는 단계는 상기 상호 작용 버튼에 대한 사용자 터치 입력에 기초하여, 상기 오버레이된 가상 오브젝트의 위치를 이동시키거나 또는 상기 오버레이된 가상 오브젝트의 상호 작용 기능을 실행시키는 단계;를 포함할 수 있다.
일 실시예에서, 상기 오버레이된 가상 오브젝트의 위치를 이동시키거나 또는 상기 가상 오브젝트의 상호 작용 기능을 실행시키는 단계는 상기 상호 작용 버튼에 대해서 설정된 시간 이상 지속되는 상기 사용자 터치 입력에 기초하여 상기 오버레이된 가상 오브젝트를 홀드하는 단계; 상기 초점 오브젝트가 상기 증강현실 영상 내에서 가리키는 위치 좌표를 산출하는 단계; 상기 상호 작용 버튼에 대한 상기 사용자 터치 입력이 중단되면, 상기 홀드된 가상 오브젝트를 상기 산출된 위치 좌표에 릴리즈하는 단계; 및 상기 오버레이된 가상 오브젝트가 상호 작용 기능을 포함하는 경우, 상기 상호 작용 버튼에 대해서 설정된 시간 이하의 상기 사용자 터치 입력에 기초하여 상기 상호 작용 기능을 실행하는 단계;를 포함할 수 있다.
일 실시예에서, 상기 축 설정 버튼 및 상호 작용 버튼을 출력하는 단계는 상기 사용자 단말을 파지하는 사용자의 터치 입력이 용이하도록, 상기 출력되는 축 설정 버튼 및 상호 작용 버튼을 상기 디스플레이 장치 외곽에서 소정 거리 이하의 위치에 출력하는 단계;를 포함할 수 있다.
일 실시예에서, 상기 초점 오브젝트를 출력하는 단계는 상기 디스플레이 장치를 통해 초점 오브젝트 이동 버튼을 출력하는 단계; 상기 초점 오브젝트 이동 버튼에 대한 사용자 터치 입력에 기초하여, 상기 초점 오브젝트의 이동을 활성화하는 단계; 및 상기 상호 작용 버튼에 대한 사용자 터치 입력에 기초하여, 상기 이동이 활성화된 초점 오브젝트를 이동시키는 단계;를 포함할 수 있다.
일 실시예에서, 상기 디스플레이 장치를 통해 가상 오브젝트를 포함하는 증강현실 영상을 출력하는 단계는 상기 사용자 단말에 포함되는 촬영 장치로부터 획득되는 현실 영상과 상기 가상 오브젝트를 혼합하여 상기 증강현실 영상을 생성하는 단계;를 포함하고, 상기 사용자 단말의 물리적 움직임에 대응하여 상기 증강현실 영상을 출력하는 단계는 상기 사용자 단말의 물리적 움직임에 따라 상기 촬영 장치로부터 획득되는 현실 영상과 상기 가상 오브젝트를 혼합하여 상기 증강현실 영상을 생성하는 단계;를 포함할 수 있다.
본 발명의 일 실시예에 따른 사용자 단말은 사용자 터치 입력을 인식할 수 있는 디스플레이 장치를 포함하는 사용자 단말에 있어서, 상기 디스플레이 장치를 통해 가상 오브젝트를 포함하는 증강현실 영상을 출력하는 증강현실 영상 생성부; 상기 디스플레이 장치를 통해 상기 가상 오브젝트와 상호 작용하기 위한 초점 오브젝트를 출력하는 초점 오브젝트 생성부; 상기 증강현실 영상에서 상기 초점 오브젝트가 상기 가상 오브젝트에 오버레이되는지 여부를 판단하는 오버레이 판단부; 및 상기 초점 오브젝트가 상기 가상 오브젝트에 오버레이되면, 상기 사용자 터치 입력에 기초하여 상기 오버레이된 가상 오브젝트를 제어하는 가상 오브젝트 제어부;를 포함하고, 상기 증강현실 영상 생성부는 상기 사용자 단말의 물리적 움직임에 대응하여 상기 증강현실 영상을 출력할 수 있다.
본 발명의 일 실시예에 따른 증강현실 환경에서의 가상 오브젝트 제어 방법 및 이를 수행하는 사용자 단말은 초점 오브젝트 및 상호 작용 버튼을 이용하여 가상 오브젝트를 용이하게 제어할 수 있는 이점이 있다.
본 발명의 일 실시예에 따른 증강현실 환경에서의 가상 오브젝트 제어 방법 및 이를 수행하는 사용자 단말은 초점 오브젝트 및 상호 작용 버튼을 이용하여 직관적으로 신속하게 가상 오브젝트와 상호 작용할 수 있으며, 사용자가 사용자 단말을 파지한 상태에서 가상 오브젝트를 제어하기 위한 움직임을 최소화함으로써, 사용자의 편의성을 증대시킬 수 있는 이점이 있다.
도 1은 본 발명의 일 실시예에 따른 사용자 단말(100)의 구성을 나타내는 블록도이다.
도 2 내지 도 5는 본 발명의 일 실시예에 따른 사용자 단말(100)을 통한 가상 오브젝트 제어 방법을 설명하기 위한 그림이다.
도 6은 본 발명의 일 실시예에 따른 초점 오브젝트의 제어 과정을 설명하기 위한 그림이다.
도 7은 본 발명의 일 실시예에 따른 증강현실 환경에서의 가상 오브젝트 제어 과정을 설명하기 위한 순서도이다.
도 2 내지 도 5는 본 발명의 일 실시예에 따른 사용자 단말(100)을 통한 가상 오브젝트 제어 방법을 설명하기 위한 그림이다.
도 6은 본 발명의 일 실시예에 따른 초점 오브젝트의 제어 과정을 설명하기 위한 그림이다.
도 7은 본 발명의 일 실시예에 따른 증강현실 환경에서의 가상 오브젝트 제어 과정을 설명하기 위한 순서도이다.
본 발명을 첨부된 도면을 참조하여 상세히 설명하면 다음과 같다. 여기서, 반복되는 설명, 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능, 및 구성에 대한 상세한 설명은 생략한다. 본 발명의 실시형태는 당 업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해서 제공되는 것이다. 따라서, 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.
명세서 전체에서, 어떤 부분이 어떤 구성 요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다.
또한, 명세서에 기재된 "...부"의 용어는 하나 이상의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
도 1은 본 발명의 일 실시예에 따른 사용자 단말(100)의 구성을 나타내는 블록도이다.
도 1을 살펴보면, 본 발명의 일 실시예에 따른 사용자 단말(100)은 터치 증강현실 영상 생성부(110), 초점 오브젝트 생성부(120), 오버레이 판단부(130) 및 가상 오브젝트 제어부(140)를 포함하여 구성될 수 있다.
또한, 도 1에 도시된 사용자 단말(100)은 일 실시예에 따른 것이고, 그 구성요소들이 도 1에 도시된 실시예에 한정되는 것은 아니며, 필요에 따라 일부 구성요소가 부가, 변경 또는 삭제될 수 있다.
일 실시예에서, 본 발명에 따른 사용자 단말(100)은 특정 기능을 수행하는 어플리케이션을 실행할 수 있고, 사용자의 터치 입력을 감지하도록 설정된 터치 회로를 포함하는 터치 디스플레이 장치 및 현실 세계를 촬영할 수 있는 카메라 모듈을 포함하여 구성되는 디바이스에 해당할 수 있다. 예를 들어, 사용자 단말(100)은 스마트폰, 태블릿 PC, 카메라, 캠코더 등에 해당할 수 있다. 한편, 이러한 예시는 본 발명의 권리범위를 한정하고자 하는 것은 아니며, 특정 어플리케이션을 실행할 수 있고, 사용자의 터치 입력을 인식할 수 있는 터치 디스플레이 장치 및 카메라 모듈을 포함하여 구성되는 디바이스라면, 본 발명에 따른 사용자 단말(100)로 해석되어야 할 것이다.
증강현실 영상 생성부(110)는 상기 디스플레이 장치를 통해 가상 오브젝트(20)를 포함하는 증강현실 영상을 출력할 수 있다.
이 때, 증강현실 영상 생성부(110)는 사용자 단말(100)의 물리적 움직임에 대응하여 상기 증강현실 영상을 출력할 수 있다.
구체적으로는, 증강현실 영상 생성부(110)는 사용자 단말(100)에 포함되는 촬영 장치로부터 획득되는 현실 영상과 가상 오브젝트(20)를 혼합하여 상기 증강현실 영상을 생성할 수 있으며, 사용자에 의해 사용자 단말(100)의 물리적 움직임이 발생하는 경우, 사용자 단말(100)의 물리적 움직임에 따라 상기 촬영 장치로부터 획득되는 현실 영상과 상기 가상 오브젝트를 혼합하여 상기 증강현실 영상을 생성할 수 있다.
초점 오브젝트 생성부(120)는 디스플레이 장치를 통해 상기 가상 오브젝트(20)와 상호 작용하기 위한 초점 오브젝트(10)를 출력할 수 있다.
도 6은 본 발명의 일 실시예에 따른 초점 오브젝트(10)의 제어 과정을 설명하기 위한 그림이다.
도 6을 참조하면, 일 실시예에서, 초점 오브젝트 생성부(120)는 상기 디스플레이 장치를 통해 초점 오브젝트 이동 버튼(60)을 출력할 수 있으며, 상술한 초점 오브젝트 이동 버튼(60)에 대한 사용자 터치 입력에 기초하여, 초점 오브젝트(10)의 이동을 활성화할 수 있다. 또한, 초점 오브젝트(10)의 이동이 활성화되면 상호 작용 버튼(50)에 대한 사용자 터치 입력에 기초하여, 상기 이동이 활성화된 초점 오브젝트(10)를 이동시킬 수 있다.
구체적으로 예를 들면, 사용자는 초점 오브젝트 이동 버튼(60)에 터치 입력함으로써 초점 오브젝트(10)의 이동을 활성화 할 수 있다. 여기에서, 사용자의 터치 입력은 사용자가 소정 시간 이상(예를 들어, 1초 이상) 터치 상태를 유지하는 롱 터치 입력 및 터치한 시점으로부터 비교적 빠른 시간 이내에(예를 들어, 0.5초 이내) 손을 디스플레이 장치로부터 이격하는 탭 입력을 포함할 수 있으며, 사용자는 상술한 롱 터치 입력 또는 탭 입력을 초점 오브젝트 이동 버튼(60)에 인가함으로써 초점 오브젝트(10)의 이동을 활성화 할 수 있다. 이어서, 도 6을 참조하면, 초점 오브젝트(10)의 이동이 활성화된 상태에서, 사용자는 터치 상태를 유지하면서 임의의 방향으로 슬라이딩하는 드래그 입력을 상호 작용 버튼(50)에 인가함으로써 이동이 활성화된 초점 오브젝트(10)를 임의의 방향으로 이동시킬 수 있다. 또한, 초점 오브젝트(10)에 대한 임의의 방향으로의 이동이 완료된 경우, 사용자는 초점 오브젝트 이동 버튼(60)에 다시 한번 롱 터치 입력 또는 탭 입력을 인가함으로써, 이동이 완료된 초점 오브젝트(10)를 해당 위치에 고정시킬 수 있다.
오버레이 판단부(130)는 상기 증강현실 영상에서 초점 오브젝트(10)가 가상 오브젝트(20)에 오버레이되는지 여부를 판단할 수 있다.
일 실시예에서, 오버레이 판단부(130)는 초점 오브젝트(10)가 가상 오브젝트(20)에 오버레이되면, 오버레이된 가상 오브젝트(20)를 강조할 수 있으며, 상기 강조된 가상 오브젝트(20)에 대한 상호 작용을 활성화할 수 있다.
보다 구체적으로, 도 2를 참조하면, 초점 오브젝트(10)가 가상 오브젝트(20)에 오버레이된 상태를 나타내고 있으며, 상술한 바와 같이 초점 오브젝트(10)를 가상 오브젝트(20)에 오버레이하는 방법은 사용자가 사용자 단말(100)을 움직여 디스플레이 장치 상의 일정한 위치에 고정되어 있는 초점 오브젝트(10)를 증강현실 영상 내의 가상 오브젝트(20)에 오버레이하는 과정을 포함할 수 있다. 도 2에서는, 오버레이된 가상 오브젝트(20)의 외곽선을 점선 처리하는 시각 효과를 통해 강조한 예를 나타내고 있으며, 이러한 경우에서, 시각 효과를 통해 강조된 가상 오브젝트(20)는 사용자와의 상호 작용이 활성화된 상태임을 나타내는 것으로 받아들일 수 있다.
가상 오브젝트 제어부(140)는 초점 오브젝트(10)가 가상 오브젝트(20)에 오버레이되면, 상기 사용자 터치 입력에 기초하여 상기 오버레이된 가상 오브젝트(20)를 제어할 수 있다.
일 실시예에서, 가상 오브젝트 제어부(140)는 디스플레이 장치를 통해 가상 오브젝트(20)를 제어하기 위한 축 설정 버튼(40) 및 상호 작용 버튼(50)을 출력할 수 있으며, 축 설정 버튼(40) 및 상호 작용 버튼(50) 중 적어도 하나에 대한 사용자 터치 입력에 기초하여 상기 오버레이된 가상 오브젝트(20)를 제어할 수 있다.
일 실시예에서, 가상 오브젝트 제어부(140)는 사용자 단말(100)을 파지하는 사용자의 터치 입력이 용이하도록, 상기 출력되는 축 설정 버튼(40), 상호 작용 버튼(50) 및 초점 오브젝트 이동 버튼(60) 중 적어도 하나를 상기 디스플레이 장치 외곽에서 소정 거리 이하의 위치에 출력할 수 있다.
보다 구체적으로, 도 2 내지 도 6을 참조하면, 대형 디스플레이를 구비한 사용자 단말(100)의 경우, 사용자의 손과 손 사이의 거리가 비교적 멀어 한 손만으로는 사용자 단말(100)의 무게 중심을 잡기 어렵거나 무게를 지탱하기 어려울 수 있다. 이러한 상황을 발생시키지 않기 위해 축 설정 버튼(40) 및 상호 작용 버튼(50)은 사용자가 사용자 단말(100)을 파지하고 있는 위치와 가깝도록 디스플레이 장치 외곽 측에 근접하도록 출력될 수 있으며, 사용자는 양 손을 이용해 사용자 단말(100)을 파지한 상태로, 손가락 만을 이용하여 상술한 롱 터치 입력, 탭 입력 및 드래그 입력을 수행할 수 있다.
일 실시예에서, 가상 오브젝트 제어부(140)는 축 설정 버튼(40)에 대한 상기 사용자 터치 입력에 기초하여, 가상 오브젝트(20)의 자세 변경 축을 결정할 수 있으며, 상호 작용 버튼(50)에 대한 사용자 터치 입력에 기초하여, 상기 결정된 자세 변경 축을 기준 삼아 상기 오버레이된 가상 오브젝트(20)의 자세를 변경시킬 수 있다.
보다 구체적으로, 도 4를 참조하면, 사용자는 축 설정 버튼(40)에 상술한 탭 입력 또는 롱 터치 입력을 인가함으로써, 자세를 변경할 가상 오브젝트(20)의 자세 변경 축을 설정할 수 있다. 여기에서, 상기 자세 변경 축은 X축, Y축 및 Z축으로 구성될 수 있으나, 이에 한정되는 것은 아니다. 축 설정 버튼(40)에 대한 사용자 터치 입력을 통해 자세 변경 축이 결정되면, 사용자는 상호 작용 버튼(50)에 드래그 입력을 인가하여 가상 오브젝트(20)의 자세를 변경할 수 있다. 도 4의 실시예에서는, 자세 변경 축이 Z축으로 결정된 모습이 나타나 있으며, 이러한 경우 사용자는 상호 작용 버튼(50) 대해서 최초 터치된 위치로부터 좌측 또는 우측으로 슬라이딩하는 동작을 통해 가상 오브젝트(20)를 좌측 또는 우측으로 회전시킬 수 있다.
일 실시예에서, 가상 오브젝트 제어부(140)는 상호 작용 버튼(50)에 대한 사용자 터치 입력에 기초하여, 상기 오버레이된 가상 오브젝트(20)의 위치를 이동시키거나 또는 상기 오버레이된 가상 오브젝트(20)의 상호 작용 기능을 실행시킬 수 있다.
보다 구체적으로, 도 3을 참조하면, 본 발명의 바람직한 실시예에 따르면 가상 오브젝트 제어부(140)는 상호 작용 버튼(50)에 대해서 설정된 시간 이상 지속되는 사용자 터치 입력에 기초하여 상기 오버레이된 가상 오브젝트(20)를 홀드할 수 있다. 여기에서, 설정된 시간 이상 지속되는 사용자 터치 입력은 상술한 롱 터치 입력을 의미할 수 있으며, 상기 홀드된 가상 오브젝트(20)는 디스플레이 장치 상에서 초점 오브젝트(10)와 함께 고정된 위치에 출력되거나, 홀드된 상태에 한하여 출력되지 않을 수 있다.
이어서, 가상 오브젝트 제어부(140)는 초점 오브젝트(10)가 상기 증강현실 영상 내에서 가리키는 위치 좌표를 산출할 수 있으며, 상호 작용 버튼(50)에 대한 상기 사용자 터치 입력이 중단되면, 상기 홀드된 가상 오브젝트(20)를 상기 산출된 위치 좌표에 릴리즈할 수 있다. 여기에서, 사용자에 의한 사용자 단말(100)의 물리적 움직임이 발생하면, 증강현실 영상 생성부 (110)는 디스플레이 장치를 통해 이에 대응하는 증강현실 영상을 출력하게 되며, 초점 오브젝트(10)가 증강현실 영상 내에서 가리키는 위치 좌표는 실시간으로 산출될 수 있다. 이 때, 초점 오브젝트(10) 또는 가상 오브젝트(20)는 디스플레이 장치 상에서 출력되는 위치가 고정되어 있으므로, 사용자는 초점 오브젝트(10) 또는 가상 오브젝트(20)를 증강현실 영상 내 임의의 장소로 이동시킬 수 있으며, 가상 오브젝트(20)를 위치시킬 장소를 결정 후, 상호 작용 버튼(50)에 대한 상기 사용자 터치 입력을 중단하여(롱 터치 입력을 중단) 가상 오브젝트(20)의 홀드 상태를 해제함으로써, 상기 결정한 장소에 위치시킬 수 있따.
이어서, 본 발명의 바람직한 실시예에 따르면, 상기 오버레이된 가상 오브젝트(20)가 상호 작용 기능을 포함하는 경우, 상호 작용 버튼(50)에 대해서 설정된 시간 이하의 상기 사용자 터치 입력에 기초하여 상기 상호 작용 기능을 실행할 수 있다. 보다 구체적으로, 도 5를 참조하면, 도 5의 가상 오브젝트(20)는 상자 형태로서 상단 덮개를 열거나 닫을 수 있는 상호 작용 기능을 포함하고 있다. 이러한 경우, 사용자는 상호 작용 버튼(50)에 탭 입력을 인가함으로써 가상 오브젝트(20)의 상단 덮개를 열거나 닫는 기능을 실행할 수 있다.
도 7은 본 발명의 일 실시예에 따른 증강현실 환경에서의 가상 오브젝트 제어 과정을 설명하기 위한 순서도이다.
도 7을 참조하면, 증강현실 영상 생성부는 디스플레이 장치를 통해 가상 오브젝트를 포함하는 증강현실 영상을 출력할 수 있으며, 이 때, 사용자 단말의 물리적 움직임이 발생할 경우, 사용자 단말의 물리적 움직임에 대응하여 상기 증강현실 영상을 출력하게 된다(S501).
증강현실 영상 생성부는 디스플레이 장치를 통해 상기 가상 오브젝트와 상호 작용하기 위한 초점 오브젝트를 출력할 수 있으며, 이 때, 초점 오브젝트는 디스플레이 장치 상에서 고정된 위치에서만 출력될 수 있으나, 사용자의 터치 입력에 기초하여 출력 위치가 변경될 수 있다(S502).
오버레이 판단부는 증강현실 영상에서 상기 초점 오브젝트가 상기 가상 오브젝트에 오버레이되는지 여부를 판단할 수 있으며, 오버레이 상태인 것으로 판단되는 경우, 해당 가상 오브젝트의 상호 작용을 활성화할 수 있다. 또한, 사용자의 가상 오브젝트 제어 용이성을 더하기 위해서, 사용자가 오버레이 여부를 판단할 수 있는 시각적 강조 효과가 표현될 수 있다(S503).
가상 오브젝트 제어부는 초점 오브젝트가 상기 가상 오브젝트에 오버레이되면, 상기 사용자 터치 입력에 기초하여 상기 오버레이된 가상 오브젝트를 제어할 수 있으며, 본 발명의 바람직한 실시예에 따라 사용자는 축 설정 버튼 또는 상호 작용 버튼에 사용자 터치 입력을 인가함으로써 상기 오버레이된 가상 오브젝트를 제어할 수 있다(S504).
전술한 증강현실 환경에서의 가상 오브젝트 제어 방법은 도면에 제시된 순서도를 참조로 하여 설명되었다. 간단히 설명하기 위하여 상기 방법은 일련의 블록들로 도시되고 설명되었으나, 본 발명은 상기 블록들의 순서에 한정되지 않고, 몇몇 블록들은 다른 블록들과 본 명세서에서 도시되고 기술된 것과 상이한 순서로 또는 동시에 일어날 수도 있으며, 동일한 또는 유사한 결과를 달성하는 다양한 다른 분기, 흐름 경로, 및 블록의 순서들이 구현될 수 있다. 또한, 본 명세서에서 기술되는 방법의 구현을 위하여 도시된 모든 블록들이 요구되지 않을 수도 있다.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
10: 초점 오브젝트
20: 가상 오브젝트
30: 현실 오브젝트
40: 축 설정 버튼
50: 상호 작용 버튼
60: 초점 오브젝트 이동 버튼
100: 사용자 단말
110: 증강현실 영상 생성부
120: 초점 오브젝트 생성부
130: 오버레이 판단부
140: 가상 오브젝트 제어부
20: 가상 오브젝트
30: 현실 오브젝트
40: 축 설정 버튼
50: 상호 작용 버튼
60: 초점 오브젝트 이동 버튼
100: 사용자 단말
110: 증강현실 영상 생성부
120: 초점 오브젝트 생성부
130: 오버레이 판단부
140: 가상 오브젝트 제어부
Claims (10)
- 사용자 터치 입력을 인식할 수 있는 디스플레이 장치를 포함하는 사용자 단말에서 수행되는, 증강현실 환경에서의 가상 오브젝트 제어 방법에 있어서,
상기 디스플레이 장치를 통해 가상 오브젝트를 포함하는 증강현실 영상을 출력하는 단계;
상기 디스플레이 장치를 통해 상기 가상 오브젝트와 상호 작용하기 위한 초점 오브젝트를 출력하는 단계;
상기 사용자 단말의 물리적 움직임에 대응하여 상기 증강현실 영상을 출력하는 단계;
상기 증강현실 영상에서 상기 초점 오브젝트가 상기 가상 오브젝트에 오버레이되는지 여부를 판단하는 단계; 및
상기 초점 오브젝트가 상기 가상 오브젝트에 오버레이되면, 상기 사용자 터치 입력에 기초하여 상기 오버레이된 가상 오브젝트를 제어하는 단계;를 포함하고,
상기 오버레이된 가상 오브젝트를 제어하는 단계는,
상기 디스플레이 장치를 통해 상기 가상 오브젝트를 제어하기 위한 축 설정 버튼 및 상호 작용 버튼을 출력하는 단계; 및
상기 축 설정 버튼 및 상호 작용 버튼 중 적어도 하나에 대한 사용자 터치 입력에 기초하여 상기 오버레이된 가상 오브젝트를 제어하는 단계;를 포함하며,
상기 축 설정 버튼 및 상호 작용 버튼 중 적어도 하나에 대한 사용자 터치 입력에 기초하여 상기 오버레이된 가상 오브젝트를 제어하는 단계는,
상기 축 설정 버튼에 대한 상기 사용자 터치 입력에 기초하여, 상기 가상 오브젝트의 자세 변경 축을 결정하는 단계;
상기 상호 작용 버튼에 대한 사용자 터치 입력에 기초하여, 상기 결정된 자세 변경 축을 기준 삼아 상기 오버레이된 가상 오브젝트의 자세를 변경시키는 단계; 및
상기 상호 작용 버튼에 대한 사용자 터치 입력에 기초하여, 상기 오버레이된 가상 오브젝트의 위치를 이동시키거나 또는 상기 오버레이된 가상 오브젝트의 상호 작용 기능을 실행시키는 단계;를 포함하고,
상기 축 설정 버튼 및 상호 작용 버튼을 출력하는 단계는,
상기 사용자 단말을 양손으로 파지하는 사용자의 터치 입력이 용이하도록, 사용자에 의해 파지된 상기 사용자 단말의 디스플레이 장치의 좌측 하단 영역 및 우측 하단 영역에 상기 축 설정 버튼 및 상호 작용 버튼을 각각 출력하는 단계;를 포함하는 것을 특징으로 하는
증강현실 환경에서의 가상 오브젝트 제어 방법.
- 제1항에 있어서,
상기 오버레이 여부를 판단하는 단계는,
상기 초점 오브젝트가 상기 가상 오브젝트에 오버레이되면, 상기 오버레이된 가상 오브젝트를 강조하는 단계; 및
상기 강조된 가상 오브젝트에 대한 상호 작용을 활성화하는 단계;를 포함하는 것을 특징으로 하는,
증강현실 환경에서의 가상 오브젝트 제어 방법.
- 삭제
- 삭제
- 삭제
- 제1항에 있어서,
상기 오버레이된 가상 오브젝트의 위치를 이동시키거나 또는 상기 가상 오브젝트의 상호 작용 기능을 실행시키는 단계는,
상기 상호 작용 버튼에 대해서 설정된 시간 이상 지속되는 상기 사용자 터치 입력에 기초하여 상기 오버레이된 가상 오브젝트를 홀드하는 단계;
상기 초점 오브젝트가 상기 증강현실 영상 내에서 가리키는 위치 좌표를 산출하는 단계;
상기 상호 작용 버튼에 대한 상기 사용자 터치 입력이 중단되면, 상기 홀드된 가상 오브젝트를 상기 산출된 위치 좌표에 릴리즈하는 단계; 및
상기 오버레이된 가상 오브젝트가 상호 작용 기능을 포함하는 경우, 상기 상호 작용 버튼에 대해서 설정된 시간 이하의 상기 사용자 터치 입력에 기초하여 상기 상호 작용 기능을 실행하는 단계;를 포함하는 것을 특징으로 하는,
증강현실 환경에서의 가상 오브젝트 제어 방법.
- 삭제
- 제1항에 있어서,
상기 초점 오브젝트를 출력하는 단계는,
상기 디스플레이 장치를 통해 초점 오브젝트 이동 버튼을 출력하는 단계;
상기 초점 오브젝트 이동 버튼에 대한 사용자 터치 입력에 기초하여, 상기 초점 오브젝트의 이동을 활성화하는 단계; 및
상기 상호 작용 버튼에 대한 사용자 터치 입력에 기초하여, 상기 이동이 활성화된 초점 오브젝트를 이동시키는 단계;를 포함하는 것을 특징으로 하는,
증강현실 환경에서의 가상 오브젝트 제어 방법.
- 제1항에 있어서,
상기 디스플레이 장치를 통해 가상 오브젝트를 포함하는 증강현실 영상을 출력하는 단계는,
상기 사용자 단말에 포함되는 촬영 장치로부터 획득되는 현실 영상과 상기 가상 오브젝트를 혼합하여 상기 증강현실 영상을 생성하는 단계;를 포함하고,
상기 사용자 단말의 물리적 움직임에 대응하여 상기 증강현실 영상을 출력하는 단계는,
상기 사용자 단말의 물리적 움직임에 따라 상기 촬영 장치로부터 획득되는 현실 영상과 상기 가상 오브젝트를 혼합하여 상기 증강현실 영상을 생성하는 단계;를 포함하는 것을 특징으로 하는,
증강현실 환경에서의 가상 오브젝트 제어 방법.
- 사용자 터치 입력을 인식할 수 있는 디스플레이 장치를 포함하는 사용자 단말에 있어서,
상기 디스플레이 장치를 통해 가상 오브젝트를 포함하는 증강현실 영상을 출력하는 증강현실 영상 생성부;
상기 디스플레이 장치를 통해 상기 가상 오브젝트와 상호 작용하기 위한 초점 오브젝트를 출력하는 초점 오브젝트 생성부;
상기 증강현실 영상에서 상기 초점 오브젝트가 상기 가상 오브젝트에 오버레이되는지 여부를 판단하는 오버레이 판단부; 및
상기 초점 오브젝트가 상기 가상 오브젝트에 오버레이되면, 상기 사용자 터치 입력에 기초하여 상기 오버레이된 가상 오브젝트를 제어하는 가상 오브젝트 제어부;를 포함하고,
상기 증강현실 영상 생성부는,
상기 사용자 단말의 물리적 움직임에 대응하여 상기 증강현실 영상을 출력하며,
상기 가상 오브젝트 제어부는,
상기 디스플레이 장치를 통해 상기 가상 오브젝트를 제어하기 위한 축 설정 버튼 및 상호 작용 버튼을 출력하고,
상기 축 설정 버튼 및 상호 작용 버튼 중 적어도 하나에 대한 사용자 터치 입력에 기초하여 상기 오버레이된 가상 오브젝트를 제어하며,
상기 축 설정 버튼에 대한 상기 사용자 터치 입력에 기초하여, 상기 가상 오브젝트의 자세 변경 축을 결정하고,
상기 상호 작용 버튼에 대한 사용자 터치 입력에 기초하여, 상기 결정된 자세 변경 축을 기준 삼아 상기 오버레이된 가상 오브젝트의 자세를 변경시키며,
상기 상호 작용 버튼에 대한 사용자 터치 입력에 기초하여, 상기 오버레이된 가상 오브젝트의 위치를 이동시키거나 또는 상기 오버레이된 가상 오브젝트의 상호 작용 기능을 실행시키고,
상기 사용자 단말을 양손으로 파지하는 사용자의 터치 입력이 용이하도록, 사용자에 의해 파지된 상기 사용자 단말의 디스플레이 장치의 좌측 하단 영역 및 우측 하단 영역에 상기 축 설정 버튼 및 상호 작용 버튼을 각각 출력하는 것을 특징으로 하는,
사용자 단말.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200077646A KR102356767B1 (ko) | 2020-06-25 | 2020-06-25 | 증강현실 환경에서의 가상 오브젝트 제어 방법 및 이를 수행하는 사용자 단말 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200077646A KR102356767B1 (ko) | 2020-06-25 | 2020-06-25 | 증강현실 환경에서의 가상 오브젝트 제어 방법 및 이를 수행하는 사용자 단말 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20220000104A KR20220000104A (ko) | 2022-01-03 |
| KR102356767B1 true KR102356767B1 (ko) | 2022-01-28 |
Family
ID=79348306
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200077646A KR102356767B1 (ko) | 2020-06-25 | 2020-06-25 | 증강현실 환경에서의 가상 오브젝트 제어 방법 및 이를 수행하는 사용자 단말 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102356767B1 (ko) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014067164A (ja) * | 2012-09-25 | 2014-04-17 | Nintendo Co Ltd | 情報処理装置、情報処理システム、情報処理方法、及び情報処理プログラム |
| JP2017004357A (ja) * | 2015-06-12 | 2017-01-05 | 株式会社コロプラ | フローティング・グラフィカルユーザインターフェース |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101146091B1 (ko) * | 2007-11-30 | 2012-05-16 | 광주과학기술원 | 증강 현실을 위한 입력 인터페이스 장치 및 이를 구비한 증강 현실 시스템 |
| US20180210628A1 (en) * | 2017-01-23 | 2018-07-26 | Snap Inc. | Three-dimensional interaction system |
| KR102333768B1 (ko) | 2018-11-16 | 2021-12-01 | 주식회사 알체라 | 딥러닝 기반 손 인식 증강현실 상호 작용 장치 및 방법 |
-
2020
- 2020-06-25 KR KR1020200077646A patent/KR102356767B1/ko active IP Right Grant
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014067164A (ja) * | 2012-09-25 | 2014-04-17 | Nintendo Co Ltd | 情報処理装置、情報処理システム、情報処理方法、及び情報処理プログラム |
| JP2017004357A (ja) * | 2015-06-12 | 2017-01-05 | 株式会社コロプラ | フローティング・グラフィカルユーザインターフェース |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20220000104A (ko) | 2022-01-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5256109B2 (ja) | 表示装置 | |
| US10146407B2 (en) | Physical object detection and touchscreen interaction | |
| KR20200035103A (ko) | 시선-기반 사용자 상호작용 | |
| EP2642376A1 (en) | Information processing apparatus | |
| US20230315197A1 (en) | Gaze timer based augmentation of functionality of a user input device | |
| EP4246287A1 (en) | Method and system for displaying virtual prop in real environment image, and storage medium | |
| WO2016109409A1 (en) | Virtual lasers for interacting with augmented reality environments | |
| WO2016179912A1 (zh) | 一种应用程序的控制方法、装置及移动终端 | |
| WO2018121193A1 (zh) | Vr设备的控制方法、装置及遥控器 | |
| JP6832847B2 (ja) | ユーザインタフェースのための対話方法 | |
| KR102021851B1 (ko) | 가상현실 환경에서의 사용자와 객체 간 상호 작용 처리 방법 | |
| CN113806054A (zh) | 任务处理方法及装置、电子设备和存储介质 | |
| KR20150080741A (ko) | 연속 값 입력을 위한 제스처 처리 장치 및 그 방법 | |
| JP6360509B2 (ja) | 情報処理プログラム、情報処理システム、情報処理方法、および情報処理装置 | |
| JP2012022458A (ja) | 情報処理装置およびその制御方法 | |
| US20140317549A1 (en) | Method for Controlling Touchscreen by Using Virtual Trackball | |
| KR102356767B1 (ko) | 증강현실 환경에서의 가상 오브젝트 제어 방법 및 이를 수행하는 사용자 단말 | |
| JP5770251B2 (ja) | 操作制御装置 | |
| US11755119B2 (en) | Scene controlling method, device and electronic equipment | |
| KR20200011538A (ko) | 유아이 조절 방법 및 이를 사용하는 사용자 단말기 | |
| KR101425755B1 (ko) | 영상통화 중에 어플리케이션의 인터페이스를 표시하는 방법 | |
| KR101246304B1 (ko) | 증강 현실 서비스 제공 시스템 및 방법 | |
| JP2012018620A (ja) | 情報処理装置およびその制御方法 | |
| KR101211178B1 (ko) | 증강 현실 컨텐츠 재생 시스템 및 방법 | |
| JP2007219217A (ja) | プロジェクタ、プログラムおよび情報記憶媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |