KR102181499B1 - 양손 입력을 지원하는 vr 콘텐츠 저작 방법 및 시스템 - Google Patents

양손 입력을 지원하는 vr 콘텐츠 저작 방법 및 시스템 Download PDF

Info

Publication number
KR102181499B1
KR102181499B1 KR1020190052326A KR20190052326A KR102181499B1 KR 102181499 B1 KR102181499 B1 KR 102181499B1 KR 1020190052326 A KR1020190052326 A KR 1020190052326A KR 20190052326 A KR20190052326 A KR 20190052326A KR 102181499 B1 KR102181499 B1 KR 102181499B1
Authority
KR
South Korea
Prior art keywords
editing function
input
gesture
hand
user
Prior art date
Application number
KR1020190052326A
Other languages
English (en)
Other versions
KR20200110103A (ko
Inventor
박정호
조민영
Original Assignee
주식회사 듀코젠
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 듀코젠 filed Critical 주식회사 듀코젠
Publication of KR20200110103A publication Critical patent/KR20200110103A/ko
Application granted granted Critical
Publication of KR102181499B1 publication Critical patent/KR102181499B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

VR(Virtual Reality) 헤드셋 및 양손 입력을 위한 2대의 VR 입력 장치와 연동하는 VR 콘텐츠 저작용 컴퓨터에 의한 VR 콘텐츠 저작 방법이 개시된다. 본 발명에 따른 양손 입력을 지원하는 VR 콘텐츠 저작 방법은, VR 입력 장치를 쥐는 사용자의 양손을 각각 프라이머리 핸드와 세컨더리 핸드로 정의하는 단계; 프라이머리 핸드에 의해 입력 가능한 제스처와 편집 기능의 매핑 관계를 정의하는 단계; 프라이머리 핸드에 의해 소정의 제1 제스처가 입력되면, 제1 제스처에 대응하는 제1 편집 기능을 선택하여 활성화하는 단계; 활성화된 제1 편집 기능을 나타내는 아이콘을 VR 헤드셋을 착용한 사용자의 시각 전방에 오버레이하여 표시하는 단계; 및 세컨더리 핸드에 의한 입력에 따라 선택된 오브젝트에 대해 활성화된 편집 기능을 실행하여 VR 콘텐츠를 편집하는 단계;를 포함한다.

Description

양손 입력을 지원하는 VR 콘텐츠 저작 방법 및 시스템 {Method and system for authoring virtual reality contents with two hands motion input}
본 발명은 VR 영상 콘텐츠의 저작 환경에 대한 것으로, 더 구체적으로는 저작자가 VR 헤드셋을 쓰고 양손에 VR 입력 장치를 잡고 콘텐츠를 저작함에 있어서 편리하고 효율적으로 작업할 수 있도록 양손 입력을 지원하는 VR 콘텐츠 저작 방법 및 시스템에 대한 것이다.
멀티미디어 콘텐츠의 형태에 따라 저작 환경이나 저작 도구 또한 변화한다. VR(Virtual Reality) 콘텐츠를 만들기 위한 VR 저작 환경은 기본적으로는 3D 그래픽 저작도구를 활용하는 것이 일반적이며, 보통 마우스 등의 고전적 형태의 입력 장치를 이용하여 작업하기 때문에 불편하고 비효율적이다.
VR 헤드셋을 끼고서 양손으로 입력을 하면서 VR 콘텐츠를 편집하는 경우는 저작 작업이 더 복잡해진다. 사용자는 매번 허리를 돌려 아이콘 선택창에서 아이콘을 선택하고 아이콘이 선택된 후 다시 오브젝트로 손을 뻗어 잡는 등의 복잡한 동작을 해야 하기 때문에 그냥 마우스를 이용해서 모니터를 보면서 저작하는 것에 비해서도 효율이 더 떨어지게 된다.
VR 콘텐츠의 사용이 늘면서 전문가뿐만 아니라 일반 사용자들도 VR 콘텐츠를 저작하려는 요구 역시 증가하고 있는바, 일반인들도 손쉽게 VR 콘텐츠를 저작할 수 있는 방법이 필요하다.
본 발명은 상기와 같은 종래 기술의 문제점을 해소하기 위한 것으로, 저작자가 VR 헤드셋을 쓰고서 양손을 이용하면서 몸을 많이 움직이지 않고도 손쉽게 VR 콘텐츠를 저작할 수 있도록 하는 양손 입력을 지원하는 VR 콘텐츠 저작 방법 및 시스템을 제공하기 위한 것이다.
상기와 같은 목적을 달성하기 위하여, 본 발명의 일 실시예에 따른 양손 입력을 지원하는 VR(Virtual Reality) 콘텐츠 저작 방법은, VR 헤드셋 및 양손 입력을 위한 2대의 VR 입력 장치와 연동하는 VR 콘텐츠 저작용 컴퓨터가, 상기 VR 입력 장치를 쥐는 사용자의 양손을 각각 프라이머리 핸드와 세컨더리 핸드로 정의하는 단계; 상기 프라이머리 핸드에 의해 입력 가능한 제스처와 편집 기능의 매핑 관계를 정의하는 단계; 상기 프라이머리 핸드에 의해 소정의 제1 제스처가 입력되면, 상기 제1 제스처에 대응하는 제1 편집 기능을 선택하여 활성화하는 단계; 상기 활성화된 제1 편집 기능을 나타내는 아이콘을 상기 VR 헤드셋을 착용한 사용자의 시각 전방에 오버레이하여 표시하는 단계; 및 상기 세컨더리 핸드에 의한 입력에 따라 선택된 오브젝트에 대해 상기 활성화된 편집 기능을 실행하여 VR 콘텐츠를 편집하는 단계;를 포함할 수 있다.
상기 VR 콘텐츠 저작 방법은, 상기 프라이머리 핸드에 의해 소정의 제2 제스처가 입력되기 전까지 상기 제1 편집 기능이 활성화된 상태를 유지하는 단계; 상기 제2 제스처가 입력되면 상기 제1 제스처에 대응하는 제1 편집 기능을 비활성화하고 상기 제2 제스처에 대응하는 제2 편집 기능을 활성화하는 단계; 및 상기 제2 편집 기능의 활성화에 따라, 상기 제1 편집 기능을 나타내는 아이콘을 제거하고 상기 제2 편집 기능을 나타내는 아이콘을 상기 사용자의 시각 전방에 오버레이하여 표시하는 단계;를 더 포함할 수 있다.
상기 VR 콘텐츠 저작 방법은, 상기 프라이머리 핸드에 의한 소정의 입력이 수신되면, 상기 프라이머리 핸드에 의한 제스처 입력으로 상기 사용자가 원하는 편집 기능을 선택하여 활성화시킬 수 있는 편집 기능 선택 대기 모드로 전환하는 단계;를 더 포함할 수 있다.
본 발명에 의하면, 저작자가 VR 헤드셋을 쓰고서 양손을 이용하면서 몸을 많이 움직이지 않고도 손쉽게 VR 콘텐츠를 저작할 수 있도록 하는 VR 콘텐츠 저작 방법 및 시스템을 제공할 수 있다.
또한, 한손으로 제스처를 입력하여 저작 도구의 특정 기능을 활성화함으로써 매번 아이콘을 선택하는 번거로움 없이 양손을 이용해서 손쉽게 저작이 가능한 VR 콘텐츠 저작 방법 및 시스템을 제공할 수 있다.
도 1은 본 발명의 일 실시예에 따른 양손 입력을 지원하는 VR 콘텐츠 저작 시스템의 구성을 설명하기 위한 도면이다.
도 2는 본 발명의 일 실시예에 따른 양손 입력을 지원하는 VR 콘텐츠 저작 방법을 설명하기 위한 순서도이다.
도 3 내지 도 8은 본 발명의 일 실시예에 따라 양손 입력에 의해 VR 콘텐츠를 편집하는 화면을 예시한 것이다.
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 발명에 대해 구체적으로 설명하기로 한다.
본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 "...수단", "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
아래에서는 첨부한 도면을 참고하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
도 1은 본 발명의 일 실시예에 따른 양손 입력을 지원하는 VR 콘텐츠 저작 시스템의 구성을 설명하기 위한 도면이다.
도 1을 참조하면, VR(Virtual Reality) 장비는 VR 헤드셋(110) 및 양손 입력을 위한 2대의 VR 입력 장치(120, 130)를 포함한다. 이 VR 장비와 연동하는 VR 콘텐츠 저작 장치(100)는 VR 입력 장치(120, 130)를 통한 사용자의 입력에 따라 인물 또는 사물을 나타내는 적어도 하나의 오브젝트를 가상 공간에 추가하고 편집하여 VR 콘텐츠를 생성하고, VR 콘텐츠를 구동시켜 사용자의 시선에 따라 VR 콘텐츠 내 일부 영상을 재생 및 출력한다.
VR 헤드셋(110)은 사용자가 눈에 착용하는 장비로 VR 영상의 원점을 기준으로 사용자의 회전이나 눈의 움직임에 기초하여 사용자의 시선을 감지하는 감지부와 감지된 시선에 따라 VR 영상 구동 중 대응하는 시야 영역을 표시하는 표시부를 구비할 수 있다. 감지부는, VR 헤드셋(110)의 회전을 감지하기 위해 각속도 센서, 자이로 센서 등을 구비할 수 있으며, 눈의 방향(시선)이나 움직임을 감지하는 아이트래킹 센서 등을 구비할 수 있다.
VR 입력 장치(120, 130)는 사용자로부터 선택 신호, 조작 신호 등을 입력받는 구성으로서, 다양한 조작 버튼과 사용자 손의 제스처를 인식할 수 있는 구성요소를 포함할 수 있다. 또한, 왼손에 쥐고 사용하는 제1 VR 입력 장치(120)와 오른손에 쥐고 사용하는 제2 VR 입력 장치(130)로 구성된다. VR 입력 장치(120, 130)는 프라이머리 핸드(primary hand)와 세컨더리 핸드(secondary hand) 양손에 의한 버튼 누름, 각 손가락의 펼침, 각 손가락의 오므림 등의 제스처를 인식할 수 있다.
VR 콘텐츠 저작 장치(100)는 VR 콘텐츠 저작 도구를 이용하여 VR 영상 데이터를 제작하고 편집하기 위한 컴퓨팅 장치로, 사용자 인터페이스 제공부(101), VR 콘텐츠 생성부(102), VR 콘텐츠 재생부(103), 설정정보 저장부(104), VR 콘텐츠 저장부(105), 오브젝트 데이터베이스(106)를 포함할 수 있다.
사용자 인터페이스 제공부(101)는 VR 콘텐츠 저작을 위한 GUI(Graphic User Interface)를 VR 공간에 표시한다. 구체적으로, 새 VR 콘텐츠의 생성, 템플릿 선택, 기 생성된 VR 콘텐츠의 선택, VR 공간에 추가할 오브젝트의 선택이나 편집, 설정 정보 입력 등을 위한 사용자 인터페이스를 생성하여 제공한다.
또한, 사용자의 양손을 프라이머리 핸드와 세컨더리 핸드로 설정하고 각 입력 장치(120, 130)에 양손 중 하나를 매핑하는 설정창의 제공, 프라이머리 핸드에 의해 입력 가능한 제스처들과 각 제스처에 대응하는 편집 기능을 매핑할 수 있는 설정창의 제공, 현재 활성화된 편집 기능을 나타내는 편집 아이콘의 표시, 선택된 오브젝트와 활성화된 편집 기능의 상호작용을 나타내는 그래픽 데이터의 표시 등을 수행할 수 있다.
VR 콘텐츠 생성부(102)는 사용자의 편집에 따라 VR 콘텐츠를 생성하여 VR 콘텐츠 저장부(105)에 저장한다. VR 콘텐츠 재생부(103)는 사용자의 입력에 따라 선택된 VR 콘텐츠나 사용자가 편집중인 VR 콘텐츠를 재생하며, VR 영상을 3차원 좌표계에 매칭시켜 구동시킨다.
설정정보 저장부(104)는 프라이머리 핸드와 세컨더리 핸드의 설정 정보, 각 핸드에 대응하는 VR 입력 장치에 대한 정보, 프라이머리 핸드에 의한 제스처 및 편집 기능의 매핑 정보, 각 편집 기능에 대응하는 편집 아이콘 이미지 등 VR 콘텐츠의 저작에 필요한 각종 설정 정보 및 메타데이터를 저장한다.
제어부(140)는 다른 구성 요소를 제어하여 VR 콘텐츠 저작 방법을 수행하기 위한 저작 도구를 실행하는 구성으로서, VR 영상 구동 중 오브젝트 정보, 사용자의 시선 정보 및 사용자 입력 신호 중 적어도 하나에 기초하여 각각의 특정된 오브젝트에 대한 출력 정보를 처리할 수 있다.
도 2는 본 발명의 일 실시예에 따른 양손 입력을 지원하는 VR 콘텐츠 저작 방법을 설명하기 위한 순서도이다.
먼저, VR 입력 장치(120, 130)를 쥐는 사용자의 양손을 각각 프라이머리 핸드와 세컨더리 핸드로 정의한다(S21). 정의 내용은 설정 정보로서 해당 저장부(104)에 저장될 것이다. 프라이머리 핸드와 세컨더리 핸드의 정의는 미리 정해진 값을 이용하거나 사용자에 의해 설정 또는 변경될 수 있다. 예를 들어, 사용자의 왼손을 프라이머리 핸드로 오른손을 세컨더리 핸드로 정의할 수 있다. 이 경우, VR 콘텐츠 저작 장치(100)는 왼손에 쥐고 사용하는 VR 입력 장치(120)를 통해 수신되는 입력을 프라이머리 핸드에 의한 입력으로 인식하고, 오른손에 쥐고 사용하는 VR 입력 장치(130)를 통해 수신되는 입력을 세컨더리 핸드에 의한 입력으로 인식할 것이다.
본 발명에서, 프라이머리 핸드는 사용자가 원하는 편집 기능을 선택하여 활성화하는데 사용되며, 세컨더리 핸드는 편집 기능을 적용할 오브젝트를 선택하고 선택된 오브젝트에 편집 기능이 실행되도록 조작하는데 사용될 것이다.
단계 S22에서는, 프라이머리 핸드에 의해 입력 가능한 제스처와 편집 기능의 매핑 관계를 정의한다. 회전, 이동, 확대, 삭제, 복제 등 사용자가 자주 쓰는 편집 기능 각각에 대해 제스처를 연결시켜 정의할 수 있다. 예를 들어, 왼손을 주먹쥔 상태로 엄지를 드는 동작을 하면 회전이라는 편집 아이콘이 선택되고, 왼손의 두번째 손가락과 세번째 손가락을 펴는 동작을 하면 삭제라는 편집 아이콘이 선택도록 매핑 관계를 정의할 수 있다. 제스처와 편집 기능의 매핑 관계는 미리 정해진 값을 이용하거나 사용자에 의해 설정 또는 변경될 수 있으며, 정의 내용은 설정 정보로서 해당 저장부(104)에 저장될 것이다.
단계 S23에서, 프라이머리 핸드에 의해 소정의 제스처가 입력되면, 이 제스처에 대응하는 편집 기능을 선택하여 활성화한다. 제스처에 대응하는 편집 기능의 선택은 미리 정의된 매핑 관계를 조회함으로써 수행될 수 있다.
단계 S24에서는, 활성화된 편집 기능을 나타내는 아이콘을 VR 헤드셋을 착용한 사용자의 시각 전방에 오버레이하여 표시한다. 각각의 편집 기능은 이를 나타내는 그래픽 데이터로 표현되는 아이콘을 가지며, 본 발명에서는 현재 선택되어 있는 편집 기능이 어떤 것인지 사용자에게 실시간으로 보여 주기 위해, 편집 아이콘을 VR 공간 내에서 사용자의 시선이 향하는 위치에 표시한다.
이에 따라, 사용자는 아이콘 선택창을 열거나 시선을 돌리지 않고 간단한 조작만으로 편집 아이콘을 선택하여 원하는 편집 기능이 활성화되도록 할 수 있다. 또한, 프라이머리 핸드에 의한 제스처 입력에 의해 선택된 편집 아이콘은 다른 제스처에 의해 다른 편집 기능을 선택하기 전까지 활성화된 상태를 유지하므로 복수의 오브젝트에 대해 동일 편집 기능을 적용하는 작업이 쉬워진다.
단계 S25에서는, 세컨더리 핸드에 의한 입력에 따라 선택된 오브젝트에 대해 현재 활성화된 편집 기능을 실행하여 VR 콘텐츠를 편집한다. 예컨대, 왼손을 주먹을 쥔 상태로 엄지를 드는 제스처를 취함으로써 회전에 해당하는 편집 기능이 활성화된 상태에서, 오른손으로 VR 공간의 오브젝트를 잡아서 회전시킬 수 있다. 오브젝트의 선택은 세컨더리 핸드에 의해 수행될 수 있으며, 사용자의 편집 내용은 VR 콘텐츠 저장부(105)에 저장될 것이다.
한편, 프라이머리 핸드에 의해 활성화되어 있는 편집 기능에 대응하는 제1 제스처와 다른 제2의 제스처가 입력되기 전까지는 상기 편집 기능이 활성화된 상태를 유지함으로써, 활성화된 편집 기능을 여러번 수행시킬 수 있다.
제1 제스처와 다른 제2 제스처가 입력되면 제1 제스처에 대응하는 제1 편집 기능을 비활성화하고 새로운 제2 제스처에 대응하는 제2 편집 기능을 활성화한다. 또한, 제2 편집 기능의 활성화에 따라, 제1 편집 기능을 나타내는 아이콘을 제거하고 제2 편집 기능을 나타내는 아이콘을 상기 사용자의 시각 전방에 오버레이하여 표시한다. 이제부터 사용자는 세컨더리 핸드의 조작으로 제2 편집 기능을 사용할 수 있게 된다.
도 3 내지 도 8은 본 발명의 일 실시예에 따라 양손 입력에 의해 VR 콘텐츠를 편집하는 화면을 예시한 것이다.
도 3은 사용자가 프라이머리 핸드에 입력 장치(120)를 잡고 미리 정해진 소정의 제스처를 입력한 경우의 화면 예시이다. 이 예에서 사용자는 오브젝트의 이동을 지시하는 편집 아이콘에 해당하는 제스처를 취하였으며, VR 콘텐츠 저작 장치(100)는 사용자의 제스처를 인식하고 그에 대응하는 편집 기능을 선택한 후 해당 편집 아이콘(300)을 사용자의 시각 전방에 오버레이하여 제공하고 있다.
사용자가 시선을 돌리면 사용자의 시선 이동에 따라 편집 아이콘(300) 역시 이동시킴으로써, 사용자가 다양한 위치의 오브젝트에 편집 아이콘(300)을 적용하기 편리하도록 할 수 있다.
도 4는 오브젝트 선택창(410)에서 오브젝트를 선택하는 화면을 예시한 것이다. 오브젝트 선택창(410)은 오브젝트 DB(106)에 저장된 데이터를 이용해 생성할 수 있다. 사용자는 세컨더리 핸드로 쥐고 있는 입력 장치(130)를 이용하여 원하는 오브젝트(400)에 빔을 쏘아 선택할 수 있다. VR 공간에는 입력 장치(130)로부터 오브젝트(400)를 연결하는 지시선이 표시되어, 사용자가 자신이 어느 오브젝트를 선택 조작하고 있는지 직관적으로 알 수 있게 한다.
도 5는 오브젝트 선택창(410)에서 선택한 오브젝트(400)를 VR 공간에 삽입하고 세컨더리 핸드를 이용해 원하는 위치에 이동시키는 화면을 예시한 것이다. 사용자의 시선 방향에 보이는 편집 아이콘(300)은 현재 선택되어 활성화된 편집 기능이 무엇인지 보여준다. 현재 오브젝트의 이동이라는 편집 아이콘(300)에 활성화되어 있으므로, 사용자는 화면의 오브젝트(들)을 선택하여 이동시킬 수 있다.
도 6은 도 5의 예에서 소정 오브젝트(400)를 이동시킨 후의 화면을 예시한 것이다. 도 6을 참조하면 오브젝트(400)가 앞쪽에 있는 다른 오브젝트 옆으로 이동되었음을 알 수 있으며, 편집 아이콘(300)은 여전히 사용자의 시선 방향에 표시되어 있는바 다른 오브젝트를 선택하면 다른 오브젝트에도 바로 이동 편집 기능을 적용하여 원하는 위치로 옮길 수 있다.
이와 같이, 본 발명에 따르면 프라이머리 핸드의 손동작 제스처가 유지되는 상태에서 세컨더리 핸드로 저작할 수 있다.
일 실시예에서, 프라이머리 핸드로 편집 아이콘 선택을 하겠다는 사전 동작을 먼저 하도록 정의할 수 있다. 프라이머리 핸드에 의한 소정의 입력이 수신되면, 편집 기능 선택 대기 모드로 전환하는 것이다. 즉, 프라이머리 핸드로 특정 동작(제스처 또는 버튼 클릭)을 하면 사용자가 원하는 편집 아이콘을 새로 선택할 수 있는 모드가 되고 그 상태로 프라이머리 핸드로 제스처를 취하면 편집 아이콘이 선택되는 것이다. 편집 기능 선택 대기 모드에서는 사용자의 제스처를 대기하고 있다가 사용자가 미리 정해진 제스처들 중 하나를 입력하면 그에 해당하는 편집 기능을 활성화하고 그에 따른 편집 아이콘을 화면에 표시한다.
도 7은 오브젝트를 회전시키는 편집 기능을 활성화시키는 화면을 예시한 것이다. 사용자가 프라이머리 핸드를 움직여 회전 기능에 대응하는 제스처를 입력하면, 이 제스처를 인식한 VR 콘텐츠 저작 장치(100)는 제스처에 대응하는 편집 아이콘(700)을 사용자의 시선 방향에 오버레이하여 표시한다. 사용자가 세컨더리 핸드에 잡고 있는 VR 입력 장치(130)를 조작하여 오브젝트(710)를 선택하여 돌리면, 오브젝트(710)와 회전 편집 기능의 상호작용을 수행하면서 오브젝트(710)를 회전시킨다.
회전 편집 기능이 활성화된 상태에서, 즉 회전 편집 아이콘(700)이 표시된 상태에서 사용자가 세컨더리 핸드에 잡고 있는 VR 입력 장치(130)로 다른 오브젝트(720)를 잡아 돌리면 해당 오브젝트(720) 역시 회전시킬 수 있다.
이때, 프라이머리 핸드로 다른 사전 정의된 제스처를 하기 전까지는 손이 움지여 해당 제스처가 살짝 풀어져도 그대로 기존 편집 기능의 활성화 상태가 유지되도록 설정할 수 있다.
한편, 둘 이상의 단계로 순차적으로 이뤄지는 편집 동작도 있을 수 있는데, 회전 편집이 그 예이다. VR 공간의 오브젝트를 회전을 시키기 위해, 먼저 오른손(세컨더리 핸드)으로 오브젝트를 선택하면 자동으로 손 끝 방향으로 빔이 표시되는데, 다음으로 빔이 가리키는 오브젝트의 특정 지점에서 오른손으로 소정 버튼을 누르면 오브젝트의 회전 중심점이 선택된다. 마지막으로, 오른손을 움직이면 오른손의 좌표 이동을 추적하여 회전 중심점을 기준으로 오브젝트를 회전시킬 수 있다.
본 발명의 일 실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속한다.
본 발명은 VR 콘텐츠 저작 기술 분야에 적용될 수 있다.
100: VR 콘텐츠 저작 장치
140: 제어부
101: 사용자 인터페이스 제공부
102: VR 콘텐츠 생성부
103: VR 콘텐츠 재생부
104: 설정정보 저장부
105: VR 콘텐츠 저장부
106: 오브젝트 데이터베이스
110: VR 헤드셋
120: 제1 VR 입력 장치
130: 제2 VR 입력 장치

Claims (3)

  1. VR(Virtual Reality) 헤드셋 및 양손 입력을 위한 2대의 VR 입력 장치와 연동하는 VR 콘텐츠 저작용 컴퓨터가,
    상기 VR 입력 장치를 쥐는 사용자의 양손을 각각 프라이머리 핸드와 세컨더리 핸드로 정의하는 단계;
    상기 프라이머리 핸드에 의해 입력 가능한 제스처와 편집 기능의 매핑 관계를 정의하는 단계;
    상기 프라이머리 핸드에 의해 소정의 제1 제스처가 입력되면, 상기 제1 제스처에 대응하는 제1 편집 기능을 선택하여 활성화하는 단계;
    상기 활성화된 제1 편집 기능을 나타내는 아이콘을 상기 VR 헤드셋을 착용한 사용자의 시각 전방에 오버레이하여 표시하는 단계; 및
    상기 세컨더리 핸드에 의한 입력에 따라 선택된 오브젝트에 대해 상기 활성화된 편집 기능을 실행하여 VR 콘텐츠를 편집하는 단계;를 포함하되,
    상기 세컨더리 핸드가 편집 기능을 실행하는 도중에 상기 프라이머리 핸드가 다른 편집 기능을 선택하는 것을 미리 지원하기 위해, 상기 프라이머리 핸드에 의한 소정의 입력이 수신되면, 상기 프라이머리 핸드에 의한 제스처 입력으로 상기 사용자가 원하는 편집 기능을 선택하여 활성화시킬 수 있는 편집 기능 선택 대기 모드로 전환하며,
    상기 편집 기능 선택 대기 모드에서는 상기 프라이머리 핸드로 사전 정의된 다른 제스처를 실행하기 전까지 상기 세컨더리 핸드가 현재 실행하고 있는 편집 기능을 계속 실행할 수 있도록 지원하며,
    상기 편집 기능 실행시에 상기 세컨더리 핸드에 의해 선택된 오브젝트로 연결되는 지시선을 VR 공간에 표시하며,
    상기 VR 헤드셋에는 눈의 시선이나 움직임을 감지하는 아이트래킹 센서가 구비되어, 상기 VR 공간 내에서 사용자의 시선이 향하는 위치로 상기 아이콘을 이동시키는 것을 특징으로하는, 양손 입력을 지원하는 VR 콘텐츠 저작 방법.
  2. 제1항에 있어서,
    상기 프라이머리 핸드에 의해 소정의 제2 제스처가 입력되기 전까지 상기 제1 편집 기능이 활성화된 상태를 유지하는 단계;
    상기 제2 제스처가 입력되면 상기 제1 제스처에 대응하는 제1 편집 기능을 비활성화하고 상기 제2 제스처에 대응하는 제2 편집 기능을 활성화하는 단계; 및
    상기 제2 편집 기능의 활성화에 따라, 상기 제1 편집 기능을 나타내는 아이콘을 제거하고 상기 제2 편집 기능을 나타내는 아이콘을 상기 사용자의 시각 전방에 오버레이하여 표시하는 단계; 더 포함하는 것을 특징으로 하는, 양손 입력을 지원하는 VR 콘텐츠 저작 방법.
  3. 삭제
KR1020190052326A 2019-03-14 2019-05-03 양손 입력을 지원하는 vr 콘텐츠 저작 방법 및 시스템 KR102181499B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020190029363 2019-03-14
KR20190029363 2019-03-14

Publications (2)

Publication Number Publication Date
KR20200110103A KR20200110103A (ko) 2020-09-23
KR102181499B1 true KR102181499B1 (ko) 2020-11-23

Family

ID=72708408

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190052326A KR102181499B1 (ko) 2019-03-14 2019-05-03 양손 입력을 지원하는 vr 콘텐츠 저작 방법 및 시스템

Country Status (1)

Country Link
KR (1) KR102181499B1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018032274A (ja) 2016-08-25 2018-03-01 株式会社コロプラ ヘッドマウントデバイスの表示内容を制御する方法およびシステムならびに当該方法をコンピュータに実行させるプログラム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110310227A1 (en) * 2010-06-17 2011-12-22 Qualcomm Incorporated Mobile device based content mapping for augmented reality environment
CN103329066B (zh) * 2011-01-19 2017-03-29 惠普发展公司，有限责任合伙企业 用于多模式手势控制的方法和系统
KR20160039939A (ko) * 2014-10-02 2016-04-12 한국과학기술연구원 헤드 마운티드 디스플레이 및 그 제어 방법
US11106273B2 (en) * 2015-10-30 2021-08-31 Ostendo Technologies, Inc. System and methods for on-body gestural interfaces and projection displays
KR20170076534A (ko) * 2015-12-24 2017-07-04 삼성전자주식회사 가상 현실 인터페이스 장치 및 제어 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018032274A (ja) 2016-08-25 2018-03-01 株式会社コロプラ ヘッドマウントデバイスの表示内容を制御する方法およびシステムならびに当該方法をコンピュータに実行させるプログラム

Also Published As

Publication number Publication date
KR20200110103A (ko) 2020-09-23

Similar Documents

Publication Publication Date Title
KR100832355B1 (ko) 3차원 포인팅 방법, 3차원 표시제어방법, 3차원 포인팅장치, 3차원 표시 제어장치, 3차원 포인팅 프로그램, 및3차원 표시제어 프로그램
US10031608B2 (en) Organizational tools on a multi-touch display device
KR101794498B1 (ko) 터치-감지형 디스플레이를 사용하여 오브젝트를 복제하는 방법 및 시스템
US8448083B1 (en) Gesture control of multimedia editing applications
JP6074170B2 (ja) 近距離動作のトラッキングのシステムおよび方法
CN117032519A (zh) 用于与三维环境进行交互的设备、方法和图形用户界面
US9377950B2 (en) Touch-based annotation system with temporary modes
CA2957383A1 (en) System and method for spatial interaction for viewing and manipulating off-screen content
JP2008146243A (ja) 情報処理装置、情報処理方法、及びプログラム
EP4246287A1 (en) Method and system for displaying virtual prop in real environment image, and storage medium
JP2019087284A (ja) ユーザインタフェースのための対話方法
JP2016509722A (ja) アニメーションのモーションシーケンスを生成するための方法、システム及びコンピュータ読み取り可能な記録媒体
Whitlock et al. AuthAR: concurrent authoring of tutorials for AR assembly guidance
KR102181498B1 (ko) 과학 실험용 vr 콘텐츠 저작 방법 및 시스템
KR102181499B1 (ko) 양손 입력을 지원하는 vr 콘텐츠 저작 방법 및 시스템
KR101898162B1 (ko) 다중 센서감지를 통해 다른 기기로 추가기능 및 피드백을 제공하는 기기 및 방법
KR101136327B1 (ko) 휴대 단말기의 터치 및 커서 제어방법 및 이를 적용한 휴대 단말기
WO2017161497A1 (zh) 头戴式显示设备及其操控方法
JP2003223257A (ja) 操作状態表示プログラム、操作状態表示方法および表示制御装置
JP2015038648A (ja) 情報処理装置、制御方法およびプログラム
GB2611402A (en) Devices, methods and graphical user interfaces for three-dimensional preview of objects
JP2807117B2 (ja) ウインドウ表示制御装置

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant