KR101815973B1 - 3차원 공유 공간에서 메뉴 공유 시스템 및 방법 - Google Patents

3차원 공유 공간에서 메뉴 공유 시스템 및 방법 Download PDF

Info

Publication number
KR101815973B1
KR101815973B1 KR1020160072609A KR20160072609A KR101815973B1 KR 101815973 B1 KR101815973 B1 KR 101815973B1 KR 1020160072609 A KR1020160072609 A KR 1020160072609A KR 20160072609 A KR20160072609 A KR 20160072609A KR 101815973 B1 KR101815973 B1 KR 101815973B1
Authority
KR
South Korea
Prior art keywords
menu
user
menus
party
display unit
Prior art date
Application number
KR1020160072609A
Other languages
English (en)
Other versions
KR20170139950A (ko
Inventor
권정흠
남상훈
유범재
Original Assignee
재단법인 실감교류인체감응솔루션연구단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 재단법인 실감교류인체감응솔루션연구단 filed Critical 재단법인 실감교류인체감응솔루션연구단
Priority to KR1020160072609A priority Critical patent/KR101815973B1/ko
Publication of KR20170139950A publication Critical patent/KR20170139950A/ko
Application granted granted Critical
Publication of KR101815973B1 publication Critical patent/KR101815973B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 3차원 공유 공간에서 메뉴 공유 시스템 및 방법에 관한 것으로, 공유 모드가 선택되는 경우, 원격지와 통신하는 통신부, 상기 공유 모드에서 3차원 공유 공간을 성립하는 제어부, 및 상기 3차원 공유 공간 내에 3차원 영상으로 복수의 메뉴를 표시하는 디스플레이부를 포함하되, 상기 3차원 공유 공간은 사용자와 상기 디스플레이부 사이의 물리적인 공간 및 상기 디스플레이부에 표시되는 제3자와의 가상 공간을 포함하는 것을 특징으로 하며, 상기 제어부는 상기 디스플레이부 및 상기 원격지에서 상기 복수의 메뉴가 동시에 표시되도록 제어하는 것을 특징으로 한다. 본 발명에 따르면, 제3자와 공동작업을 효과적으로 수행할 수 있으며, 실시간으로 메뉴를 송수신할 수 있다.

Description

3차원 공유 공간에서 메뉴 공유 시스템 및 방법{Menu sharing system in 3-dimensional shared space and method thereof}
본 발명은 3차원 공유 공간에서 메뉴 공유 시스템 및 방법에 관한 것으로 보다 상세하게는 사용자와 제3자가 표시되는 디스플레이부 사이에 3차원 공유 공간을 성립하고, 상기 3차원 공유 공간에 메뉴를 표시하고, 상기 메뉴를 제3자와 공유하는 시스템 및 방법에 관한 것이다.
3차원 영상 기반의 인터랙티브 미디어에 대한 관심이 증가함에 따라 3차원 공간에서 영상을 표시하기 위한 기술들이 발달하고 있으며, 3차원 공간에서 메뉴를 조작하고 제어하기 위한 다양한 유저 인터페이스가 제시되고 있다.
3차원 영상을 제어하기 위해 2차원에서 이용되고 있는 터치 방식의 유저 인터페이스가 이용되는 경우, 3차원 공간에서의 좌표 측정에서 오류가 자주 발생한다는 문제점이 있다.
또 다른 방식으로 음성 인식 기반의 유저 인터페이스가 제시되고 있으나, 음성 인식의 정확성이 떨어지고, 사용자의 발음이 정확해야 메뉴를 조작할 수 있다는 문제점이 있다.
또한, 원격지의 제3자에게 메뉴를 전송하기 위해 메신저나 메일이 이용될 수 있는데, 이는 실시간으로 제3자에게 전송해야할 메뉴를 제어하거나 공유하기 어렵다는 문제점이 있다.
본 발명은 3차원 공유 공간에 메뉴를 3차원 영상으로 표시하고 원격지의 제3자와 메뉴를 공유하고, 공유된 상태에서 상기 메뉴에 대한 제어를 실시간으로 수행할 수 있는 3차원 공유 공간에서 메뉴 공유 시스템 및 방법을 제공하는데 그 목적이 있다.
상기 목적을 달성하기 위한 본 발명은, 공유 모드가 선택되는 경우, 원격지와 통신하는 통신부, 상기 공유 모드에서 3차원 공유 공간을 성립하는 제어부, 및 상기 3차원 공유 공간 내에 3차원 영상으로 복수의 메뉴를 표시하는 디스플레이부를 포함하되, 상기 3차원 공유 공간은 사용자와 상기 디스플레이부 사이의 물리적인 공간 및 상기 디스플레이부에 표시되는 제3자와의 가상 공간을 포함하는 것을 특징으로 하며, 상기 제어부는 상기 디스플레이부 및 상기 원격지에서 상기 복수의 메뉴가 동시에 표시되도록 제어하는 것을 특징으로 한다.
상기 목적을 달성하기 위한 본 발명은, 공유 모드가 선택되는 경우, 통신부를 통해 원격지와 통신하는 단계, 제어부에 의해 상기 공유 모드에서 3차원 공유 공간을 성립하는 단계, 및 디스플레이부에 의해 상기 3차원 공유 공간에 3차원 영상으로 복수의 메뉴를 표시하는 단계를 포함하되, 상기 3차원 공유 공간은 사용자와 상기 디스플레이부 사이의 물리적인 공간 및 상기 디스플레이부에 표시되는 제3자와의 가상 공간을 포함하는 것을 특징으로 하며, 상기 복수의 메뉴는 상기 디스플레이부 및 상기 원격지에서 동시에 표시되는 것을 특징으로 한다.
본 발명에 따르면, 아코디언 메타포를 이용하여 3차원 영상으로 메뉴를 표시하므로, 제한된 공간에서도 많은 메뉴들을 표시할 수 있다.
또한, 본 발명에 따르면, 원격지의 제3자와 3차원 영상으로 표시된 메뉴를 공유함으로써, 사용자와 제3자가 동시에 메뉴를 볼 수 있고, 상기 메뉴에 대한 제어를 실시간으로 수행할 수 있으며, 사용자의 손동작 또는 제3자의 손동작에 따라 메뉴를 조작하거나 상대방에게 전달할 수 있다. 따라서 원격지의 제3자와 공동작업을 효과적으로 수행할 수 있으며, 실시간으로 의견을 교환하고, 실시간으로 메뉴를 송수신할 수 있다.
또한, 본 발명에 따르면 3차원 공간에서 사용자의 손동작을 인식하여 메뉴를 이동하거나 표시할 수 있으므로, 3차원 공간에서 좌표를 측정하는데 발생하는 오류를 최소화할 수 있다.
또한, 본 발명에 따르면 사용자는 손을 상하좌우로 이동하거나, 손목을 좌우로 회전하거나, 손을 쥐거나 펴는 동작을 통해 간단하게 메뉴를 조작할 수 있으므로, 사용자는 손동작에 따라 직관적으로 메뉴를 조작할 수 있으며, 메뉴를 조작하는데 있어서 특별한 기술이나 능력이 요구되지 않으므로 누구나 편리하게 이용할 수 있다.
도 1 본 발명의 일실시예에 따른 3차원 공유 공간에서 3차원 영상으로 표시되는 메뉴를 나타내는 도면.
도 2 본 발명의 일실시예에 따른 3차원 공유 공간에서 메뉴 공유 시스템을 나타내는 도면.
도 3 본 발명의 일실시예에 따른 3차원 공유 공간에서 메뉴 공유 방법을 나타내는 도면.
도 4 - 본 발명의 또 다른 일실시예에 따른 3차원 공유 공간에서 메뉴 공유 방법을 나타내는 도면.
도 5a 내지 도 5e - 본 발명의 또 다른 일실시예에 따라 표시된 메뉴를 나타내는 도면.
도 6 - 본 발명의 또 다른 일실시예에 따른 3차원 공유 공간에서 메뉴 공유 방법을 나타내는 도면.
본 발명은 3차원 공유 공간에서 3차원 영상으로 메뉴를 표시하고, 상기 메뉴를 공유하고, 공유된 상태에서 사용자의 손동작을 감지하여, 감지된 손동작에 따라 메뉴를 조작하거나, 제3자에게 전달할 수 있는 3차원 공유 공간에서 메뉴 공유 시스템 및 방법에 관한 것이다.
본 발명에서 메뉴란, 하위 메뉴로 진입하기 위한 상위 메뉴, 하위 폴더로 진입하기 위한 상위 폴더 뿐 아니라, 하나의 이미지로 표시될 수 있는 컨텐츠를 모두 포함한다. 예를 들어, 문서, 프로그램, 어플리케이션, 음악 또는 영상을 나타내는 이미지도 본 발명에 따른 메뉴에 포함된다.
이하에서는, 본 발명의 일실시예를 도면을 참조하여 상세히 설명하고자 한다.
도 1은 본 발명의 일실시예에 따른 3차원 공유 공간에서 3차원 영상으로 표시되는 메뉴를 나타내는 도면이다.
도 1의 (a)에 도시된 바와 같이, 본 발명에 따르면, 메뉴는 아코디언 메타포를 이용하여 3차원 영상으로 표시된다. 일실시예로서, 사용자의 정면에서 표시된 메뉴는 접힌 모양으로 상단에 작게 표시되고, 양측면으로 이동할수록 접힌 모양의 메뉴가 하단에 크게 표시되어, 사용자는 메뉴를 볼 때 깊이감을 느낄 수 있다. 또한, 각 메뉴를 접힌 모양으로 표시할 수 있으므로, 제한된 공간에서 많은 수의 메뉴를 표시할 수 있다. 따라서 사용자는 깊이감이 있는 3차원 영상의 메뉴를 볼 수 있으며, 많은 수의 메뉴를 한 눈에 확인할 수 있다. 상기 3차원 영상의 메뉴가 표시되는 방법은 하기 도 2의 (b)에서 보다 상세하게 설명한다.
도 1의 (b)에 도시된 바와 같이, 공유 모드가 선택되고 원격지의 제3자와 통신이 시작되면, 제3자와 연관된 이미지가 디스플레이부에 표시된다. 공유 모드란 사용자와 원격지의 제3자가 메뉴를 동시에 볼 수 있고, 함께 제어할 수 있고, 선택된 메뉴를 상대방에게 전송할 수 있는 모드를 의미한다. 제3자와 연관된 이미지란, 제3자가 미리 설정한 사진, 제3자의 모습을 나타내는 실시간 영상, 제3자의 사진 등이 될 수 있다. 제3자와 연관된 이미지가 디스플레이부에 표시됨으로써, 사용자와 제3자 사이에 3차원 공유 공간이 성립한다. 여기서 3차원 공유 공간이란, 원격지의 제3자와 통신이 시작되어 공유 모드가 선택되는 경우, 사용자와 제3자가 동시에 3차원으로 메뉴를 볼 수 있는 공간을 의미하며, 사용자 측에서는 사용자와 디스플레이부에 표시된 제3자 사이의 공간을 의미하고, 제3자 측에서는 제3자와 제3자의 디스플레이부에 표시된 사용자 사이의 공간을 의미한다. 따라서 3차원 공유 공간은 사용자와 디스플레이부 사이의 물리적인 공간 뿐 아니라, 디스플레이부에 표시된 제3자와의 가상의 공간까지 포함하는 개념이다. 예를 들어, 공유 모드가 선택되면, 디스플레이부에 제3자와 연관된 이미지가 메뉴보다 작게 표시될 수 있다. 따라서 제3자와 연관된 이미지가 작게 표시되므로써 나타날 수 있는 제3자와의 거리감까지 상기 3차원 공유 공간에 포함될 수 있다. 상기 공유 공간에 3차원 영상으로 메뉴가 표시된다.
여기서 통신할 수 있는 제3자의 수는 제한이 없으면, 둘 이상의 원격지의 제3자와 통신이 시작되면, 각각 제3자와 연관된 복수의 이미지가 표시될 수 있다.
공유 모드가 선택되어, 사용자와 제3자 사이에 3차원 공유 공간이 성립되면, 3차원 공유 공간에 도 1의 (a)에 도시된 바와 같이, 3차원 영상으로 메뉴가 표시된다. 사용자와 제3자는 동시에 3차원 영상으로 표시된 메뉴를 볼 수 있고, 상기 메뉴를 제어할 수 있으며, 선택된 메뉴를 상대방에게 전송할 수도 있다. 이와 관련하여 하기 도 2 내지 도 3에서 보다 상세하게 설명한다.
도 2는 본 발명의 일실시예에 따른 3차원 공유 공간에서 메뉴 공유 시스템을 나타내는 도면이다.
도 2의 (a)에 도시된 바와 같이, 사용자 측에 메뉴 공유 시스템(10)이 구비되고, 메뉴 공유 시스템을 통해 사용자와 제3자 사이에 통신이 가능하다. 제3자 측에는 상기 메뉴 공유 시스템과 동일한 시스템(10-1)이 구비될 수도 있고, 사용자와 연관된 이미지 및 3차원 영상의 메뉴를 표시할 수 있는 디스플레이부를 포함하는 별도의 장치가 구비될 수도 있다.
상기 메뉴 표시 시스템(10)은 제어부(11), 디스플레이부(12), 통신부(13), 카메라부(14), 손동작 감지부(15) 및 오디오 입출력부(16)를 포함할 수 있다.
제어부(11)는 디스플레이부(12)에 메뉴를 표시하고, 통신부(13)를 통해 원격지의 제3자와 통신하고, 카메라부(14)를 통해 촬영된 사용자와 연관된 이미지를 통신부(13)를 통해 제3자에게 전송하고, 손동작 감지부(15)에 의해 감지된 사용자의 손동작에 따라 메뉴를 조작하여 디스플레이부(12)에 표시하며, 손동작 감지부(15)에 의해 감지된 사용자의 손동작에 따라 메뉴를 제어하거나 메뉴를 통신부(13)를 통해 제3자에게 전송할 수 있다.
또한, 제어부(11)는 사용자의 선택 또는 제3자의 요청에 따라 공유 모드가 선택되는 경우, 사용자와 제3자가 동시에 3차원 영상으로 표시된 메뉴를 볼 수 있고, 함께 메뉴를 제어할 수 있으며, 제어되는 과정을 동시에 볼 수 있으며, 선택된 메뉴를 상대방에게 전송할 수도 있도록 디스플레이부(12), 통신부(13), 카메라부(14), 손동작 감지부(15) 및 오디오 입출력부(16)를 제어한다.
또한, 제어부(11)는 손동작 감지부(15)에 의해 감지된 사용자의 손동작에 따라 메뉴를 이동하여 표시하는 동안, 강조 메뉴를 3차원 아이콘으로 표시한다. 여기서 강조 메뉴란, 3차원 영상으로 표시된 다수의 메뉴 중, 사용자가 어느 위치의 메뉴를 보고 있는지 나타내는 메뉴로서 선택신호를 입력하면 바로 실행될 수 있는 메뉴를 의미한다. 하기 도 5(b)에서 일실시예로서 보다 상세하게 설명한다.
디스플레이부(12)는 사용자에게 3차원 영상으로 메뉴를 표시하는 장치로서, 디스플레이부(12)의 액정에 표시되는 영상은 3차원 영상으로 표시된 메뉴의 배경이 될 수 있다. 디스플레이부(12)는 각 메뉴의 깊이감을 다르게 표시함으로써, 3차원 영상으로 메뉴를 표시할 수 있다. 또한, 디스플레이부(12)는 메뉴를 아코디언 메타포를 이용하여 표시함으로써, 제한된 공간에서도 많은 수의 메뉴를 표시할 수 있다. 아코디언 메타포란 아코디언과 같이 각 메뉴를 접어서 표시하는 방식을 의미한다. 따라서 정면에 표시되는 메뉴는 접힌 모양으로 원거리로 표시하고, 양측면으로 갈수록 접힌 모양의 메뉴가 점점 근거리로 표시될 수 있다. 디스플레이부(12)는 모든 메뉴를 표시할 수도 있고, 사용자의 손동작에 따라 일부 메뉴를 3차원 영상으로 표시할 수도 있다.
또한, 디스플레이부(12)는 통신부(13)를 통해 전송되는 제3자와 연관된 이미지를 표시한다. 공유 모드가 선택되고 제3자와 통신이 시작되면, 제3자와 연관된 이미지, 예를 들어, 제3자의 사진 또는 실시간 영상이 디스플레이부(12)에 표시되므로써, 사용자와 제3자 사이에 3차원 공유 공간이 성립된다. 3차원 공유 공간이 성립된 후, 3차원 영상의 메뉴가 표시되면 사용자와 제3자는 3차원 영상의 메뉴를 동시에 볼 수 있고, 제어할 수 있고, 선택된 메뉴를 상대방에게 전송할 수도 있다.
통신부(13)는 원격지의 제3자와 신호를 송수신하는 장치로서, 공유 모드가 선택되고 원격지의 제3자와 통신이 시작되면, 사용자와 연관된 이미지를 제3자에게 송신하고, 제3자와 연관된 이미지를 수신함으로써, 3차원 공유 공간이 성립된다. 3차원 공유 공간이 성립되면, 통신부(13)는 디스플레이부(12)에 표시된 메뉴 또는 사용자/제3자가 공유하고자하는 메뉴를 송수신함으로써, 사용자와 제3자가 동시에 메뉴를 볼 수 있으며, 사용자/제3자로부터 입력되는 제어신호에 따라 메뉴가 제어되는 경우, 제어된 메뉴를 송수신할 수 있으며, 전송하고자 하는 메뉴가 선택되는 경우, 선택된 메뉴를 사용자/제3자로부터 입력되는 신호에 따라 전송할 수도 있다. 공유 모드에서, 통신부(13)를 통해 송수신되는 신호에 대해서는 하기 도 3에서 보다 상세하게 설명한다.
카메라부(14)는 사용자와 연관된 이미지를 촬영하는 장치로서, 사용자의 사진을 촬영할 수도 있고, 사용자의 실시간 영상을 촬영할 수도 있다. 촬영된 이미지는 통신부(13)를 통해 원격지의 제3자에게 전송된다. 사용자가 미리 사용자와 연관된 이미지를 별도로 설정한 경우, 카메라부(14)가 촬영한 이미지 대신 사용자가 설정한 이미지가 이용될 수 있다. 공유 모드가 선택되고 제3자와 통신이 시작되는 경우, 제3자 측에 설치된 디스플레이부에 사용자와 연관된 이미지가 표시되므로써, 사용자와 제3자 사이의 3차원 공유 공간이 성립될 수 있다.
손동작 감지부(15)는 3차원 공간에서 사용자의 손동작을 감지하는 장치로서, 사용자의 손에 부착되는 IMU(inertial measurement unit) 센서일 수도 있고, 손동작을 촬영하여 감지하는 카메라 센서일 수도 있으며, sEMG(surface electromyogram) 센서일 수도 있으며, 둘 이상의 센서가 이용될 수도 있다. 손동작 감지부(15)는 3차원 공간에서 사용자의 손동작이 상측, 하측, 좌측, 또는 우측으로 이동하는 동작인지, 손목을 좌측 또는 우측으로 회전하는 동작인지, 또는 손을 쥐거나 펴는 동작인지를 감지한다. 따라서 본 발명은 정확한 3차원 좌표를 감지할 필요가 없어 손동작에 대한 감지 오류를 최소화할 수 있다. 제어부(10)는 손동작 감지부(15)에 의해 감지된 양 손의 손동작을 조합하여 메뉴를 조작하고 디스플레이부(12)에 표시한다. 손동작 감지부(15)를 통해 사용자는 간단한 손동작만으로 편리하게 메뉴를 조작할 수 있으며, 사용자는 손동작의 방향이나 모양의 변화를 통해 직관적으로 메뉴를 조작할 수 있다.
오디오 입출력부(16)는 공유 모드가 선택되어 사용자와 제3자 사이에 통신이 시작되면, 사용자의 음성을 입력받아 통신부(13)를 통해 제3자에게 전송하고, 통신부(13)를 통해 제3자의 음성을 전송받아 출력하는 장치이다. 따라서 사용자와 제3자 사이에 통신이 시작되고, 사용자와 연관된 이미지 및 제3자와 연관된 이미지가 송수신되고, 사용자의 목소리 및 제3자의 음성이 송수신될 수 있다. 사용자는 제3와 연관된 이미지를 보고 제3자의 음성을 들으면서 메뉴에 대한 제어나 메뉴의 전송을 수행할 수 있으므로, 사용자와 제3자 사이에 협업이 더욱 효과적으로 이루어진다.
본 발명에 따른 메뉴 공유 시스템은 사용자로부터 공유 모드를 선택하고 메뉴를 공유하기 위한 신호를 입력받을 수 있는 별도의 사용자 입력부(미도시)를 추가로 포함할 수 있다.
도 2의 (b)에 도시된 바와 같이, 디스플레이부(12)의 액정에 표시되는 영상은 메뉴가 표시되는 배경이 될 수 있으며, 사용자가 실제로 메뉴를 보는 공간은 사용자와 디스플레이부(12) 사이의 물리적인 공간 내의 곡선형 공간이 된다. 따라서 각 메뉴는 깊이감이 다른 3차원 영상으로 표현될 수 있다. 사용자와 디스플레이부 사이의 물리적인 공간 및 디스플레이부에 표시된 제3자와의 가상의 공간을 포함하는 3차원 공유 공간을 통해 사용자는 원격지의 제3자와 함께 있는 효과를 얻을 수 있으며, 사용자와 디스플레이부 사이의 물리적인 공간에 표시되는 3차원 영상의 메뉴를 제어할 수 있다.
도 3은 본 발명의 일실시예에 따른 3차원 공유 공간에서 메뉴 공유 방법을 나타내는 도면이다.
도 3에 도시된 바와 같이, 디스플레이부(12)에 의해 3차원 영상의 메뉴가 표시된다(S20). 일실시예로 아코디언 메타포가 이용되어 복수의 메뉴가 서로 다른 깊이감을 갖도록 표시될 수 있으며, 사용자와 디스플레이부(12) 사이의 물리적인 공간 내에 복수의 메뉴가 3차원 영상으로 표시될 수 있다.
다음, 사용자가 공유 모드를 선택한다(S21). 사용자는 제3자를 지정하여 공유 모드를 선택할 수도 있고, 통신부(13)를 통해 전송된 제3자의 공유 모드 요청에 따라 공유 모드를 선택할 수도 있다. 일실시예로서, 사용자가 한 손의 손바닥을 일정시간 이상 디스플레이부(12) 방향으로 놓음으로써 공유 모드를 선택할 수 있다. 또 다른 실시예로서, 제3자가 한 손의 손바닥을 사용자와 연관된 이미지가 표시된 영역을 향해 일정시간 이상 놓음으로써, 공유 모드를 요청할 수도 있다.
다음, 사용자에 의해 공유 모드가 선택되면, 사용자와 제3자 사이에 통신이 시작되어, 사용자와 연관된 이미지 및 제3자와 연관된 이미지가 송수신되고, 사용자의 음성 및 제3자의 음성이 송수신되며, 3차원 공유 공간이 성립된다(S22). 3차원 공유 공간이 성립되면, 사용자는 제3자와 연관된 이미지를 보면서 제3자의 음성을 들을 수 있다. 여기서 3차원 공유 공간은 사용자와 디스플레이부(12) 사이의 물리적인 공간 뿐 아니라, 디스플레이부(12)에 상기 메뉴보다 작게 표시되는 제3자와의 거리감을 나타내는 가상의 공간까지 포함할 수 있다.
다음, 3차원 공유 공간에 사용자가 공유하고자 하는 메뉴가 3차원 영상으로 표시되며(S23), 아코디언 메타포를 통해 표시될 수 있다. 사용자는 제3자와 공유 모드에서 이용하기 위한 메뉴를 별도로 설정할 수 있다.
다음, 제어부(11)는 사용자 입력부(미도시) 또는 손동작 감지부(15)를 통해 사용자로부터 입력되는 신호에 따라 메뉴를 조작한다(S24). 예를 들어, 메뉴를 제어하는 신호가 입력되는 경우, 입력되는 신호에 따라 디스플레이부(11)에 표시되는 메뉴를 변경하고, 메뉴가 변경되는 과정을 실시간으로 제3자와 공유하여, 메뉴의 제어를 제3자와 동시에 볼 수 있다. 메뉴를 제어하는 방법으로는 하기 도 4 내지 도 5에서 보다 상세하게 설명한다. 또 다른 실시예로서, 메뉴를 선택하여 전송하는 신호가 입력되는 경우, 메뉴를 제3자에게 전송할 수 있다. 또 다른 실시예로, 사용자는 3차원 영상으로 표시된 메뉴 중 강조 메뉴를 상대방으로부터 전송받고자 하는 경우, 양 손을 몸 안쪽으로 회전시킬 수 있으며, 강조 메뉴를 전송받기 원하지 않는 경우, 양 손을 몸 바깥쪽으로 회전시킬 수도 있다.
또는, 공유 모드에서, 제3자가 제3자 측에 구비된 메뉴 공유 시스템을 통해 메뉴를 조작하는 신호를 입력한 경우, 제3자가 입력한 신호에 따라 사용자는 제3자가 제어하는 메뉴를 실시간으로 볼 수 있으며, 제3자에 의해 선택된 메뉴를 전송받을 수도 있다(S25).
따라서 본 발명에 따르면 사용자와 원격지의 제3자는 서로의 이미지를 3차원 영상으로 보면서 음성을 들을 수 있고, 메뉴를 동시에 보고 함께 조작할 수 있으므로, 공동작업이나 회의 등을 편리하게 수행할 수 있다.
도 4는 본 발명의 또 다른 일실시예에 따른 3차원 공유 공간에서 메뉴 공유 방법을 나타내는 도면이다. 도 4에 도시된 바와 같이, 손동작 감지부(15)는 사용자의 손동작을 감지한다(S30). 사용자는 손을 상측, 하측, 좌측, 또는 우측으로 이동하거나, 손목을 회전하거나, 손을 쥐거나 편다. 여기서 사용자의 양 손은 서로 다른 동작을 할 수 있다. 제어부(11)는 손동작 감지부(13)에 의해 감지된 사용자의 양 손의 손동작에 대응하여 메뉴를 조작하고(S31), 조작된 메뉴가 디스플레이부(11)에 표시된다(S32). 공유 모드에서, S31 단계에서 메뉴가 조작되는 과정은 사용자와 제3자가 동시에 볼 수 있으며, 메뉴는 사용자 또는 제3자에 의해 함께 조작될 수 있다.
예를 들어, 사용자가 양 손의 손바닥을 마주보게 하고, 양 손의 손바닥 거리가 넓어지도록 손을 이동하는 경우, 제어부(11)는 메뉴를 호출하여 아코디언 메타포의 3차원 영상으로 메뉴를 표시할 수 있다.
또 다른 예를 들어, 사용자가 오른손을 쥐는 동작을 하고, 왼손을 좌측 또는 우측으로 회전하는 경우, 가장 오른쪽에 표시된 메뉴를 기준으로 메뉴들이 이동하여 표시된다. 왼손을 좌측으로 이동하는 경우 3차원 영상으로 표시되는 메뉴의 개수가 감소하면서 강조 메뉴가 점점 오른쪽으로 이동할 수 있으며, 왼손을 우측으로 이동하는 경우, 3차원 영상으로 표시되는 메뉴의 개수가 증가하면서 강조 메뉴가 점점 왼쪽으로 이동할 수 있다. 반대로 왼손을 쥐고, 오른손을 편 채로 좌우로 회전하는 경우, 가장 왼쪽에 표시된 메뉴를 기준으로 메뉴들이 이동하여 표시되며, 표시되는 메뉴의 개수가 변화할 수 있다.
또 다른 예를 들어, 사용자가 양 손을 쥐는 동작을 하고, 양 손목을 사용자의 몸 바깥쪽으로 회전하는 경우, 제어부(11)는 감지된 손동작을 강조 메뉴에 대한 선택신호로 인식하여, 3차원 아이콘으로 표시된 강조 메뉴를 실행한다.
또 다른 예를 들어, 사용자가 양 손을 쥐는 동작을 하고, 양 손목을 사용자의 몸 안쪽으로 회전하는 경우, 제어부(11)는 현재 표시된 메뉴의 이전 메뉴 또는 상위 메뉴로 돌아가, 이전 메뉴 또는 상위 메뉴를 3차원 영상으로 표시한다.
또 다른 예를 들어, 사용자가 양 손의 손바닥을 마주보게 하고, 양 손의 손바닥 거리가 좁아지도록 손을 이동하는 경우, 제어부(11)는 3차원 영상으로 메뉴를 표시하는 것을 종료한다.
상기 실시예들은 하기 도 5a 내지 도 5e에서 디스플레이부(12)에 표시되는 메뉴를 이용하여 보다 상세하게 설명한다.
도 5a 내지 도 5e는 본 발명의 또 다른 일실시예에 따라 표시된 메뉴를 나타내는 도면이다.
도 5a는 사용자가 양 손의 손바닥을 마주보게 하고, 양 손의 손바닥 거리가 넓어지도록 손을 이동하는 경우를 나타내는 도면으로서, 메뉴를 호출하여 3차원 영상으로 표시하기 위한 동작이다.
도 5b는 사용자가 오른손은 주먹을 쥐고, 왼손은 편 채로 좌우로 손목을 회전하는 경우를 나타내는 도면으로서, 손목이 회전하는 방향에 따라 3차원 영상으로 표시되는 메뉴들을 탐색하는 동작이다. 이러한 동작은 오른손으로 책을 쥐고 왼손으로 책장을 넘기는 형태와 유사하므로, 사용자는 보다 직관적으로 메뉴를 이동시켜 탐색할 수 있다. 메뉴가 탐색되는 동안, 3차원 아이콘으로 표시되는 강조 메뉴도 변경된다. 따라서 사용자는 도 5a와 같이 메뉴를 호출하여 도 5b와 같이 메뉴를 탐색할 수 있다.
도 5c는 양 손은 주먹을 쥐고, 양 손의 손목을 몸 바깥쪽으로 회전하는 경우를 나타내는 도면으로서, 3차원 아이콘으로 표시된 강조 메뉴를 실행시키는 동작이다. 따라서 사용자는 도 5b와 같이 메뉴를 탐색하고, 원하는 메뉴가 강조 메뉴로서 표시되는 경우, 도 5c와 같이 강조 메뉴를 실행시킬 수 있다.
도 5d는 양 손은 주먹을 쥐고, 양 손의 손목을 몸 안쪽으로 회전하는 경우를 나타내는 도면으로서, 현재 표시된 메뉴의 이전 메뉴 또는 상위 메뉴를 표시하는 동작이다. 따라서 사용자는 도 5b와 같이 메뉴를 탐색하는 중 상위 메뉴로 이동하기 위하 도 5d와 같은 동작을 할 수 있다.
도 5e는 양 손의 손바닥을 마주보고 양 손의 거리를 좁히는 경우를 나타내는 도면으로서, 메뉴를 3차원 영상으로 표시하는 것을 종료하는 동작이다. 도 5a 내지 도 5d와 같은 동작을 통해 메뉴를 조작하는 중, 사용자는 도 5e와 같은 동작을 통해 메뉴의 표시를 종료할 수 있다.
상기한 바와 같이, 사용자는 3차원 공간에서 간단한 손동작을 이용하여 메뉴를 호출하고, 탐색하고, 실행하고, 이전 메뉴로 돌아가고, 메뉴 표시를 종료할 수 있으므로, 3차원 영상으로 표시된 메뉴의 조작이 간편하고, 사용자는 양 손의 손동작을 통해 직관적으로 메뉴를 조작할 수 있다.
도 6은 본 발명의 또 다른 일실시예에 따른 3차원 공유 공간에서 메뉴 공유 방법을 나타내는 도면으로서, 제3자와 3차원 영상으로 표시된 메뉴를 공유하고, 메뉴를 전송하는 방법을 나타낸다.
먼저, 제어부(11)는 통신부(13)를 통해 원격지에 있는 제3자와 통신을 시작한다(S41).
손동작 감지부(15)는 메뉴를 호출하기 위한 손동작을 감지하고, 제어부(11)는 감지된 손동작에 따라 메뉴를 3차원 영상으로 표시한다(S42).
다음, 사용자는 공유모드를 실행하여 공유모드로 진입한다(S43), 예를 들어, 사용자는 한 손의 손바닥을 사용자의 앞을 향해 일정시간 이상 놓아 공유모드로 요청할 수 있고, 제3자는 한 손의 손바닥을 사용자의 앞을 향해 일정시간 이상 놓음으로써, 사용자가 요청한 공유모드를 승인할 수 있다. 제3자가 먼저 공유모드로 진입하여 사용자에게 공유모드를 요청할 수도 있다.
사용자는 제3자와 공유할 수 있는 메뉴를 미리 설정할 수 있다. 따라서 사용자가 공유하기 원하는 메뉴들만 제3자가 볼 수 있다. 공유모드에서 제3자는 3차원 영상으로 표시된 메뉴를 사용자와 공유한다.
다음, 손동작 감지부(15)는 사용자의 손동작을 감지하고(S44), 제어부(11)는 감지된 손동작에 따라 메뉴를 조작하고 3차원 영상으로 표시한다(S45). 제3자는 원격지에 구비된 메뉴 공유 시스템을 통해 사용자와 동시에 3차원 영상으로 메뉴를 공유하고 있기 때문에, 사용자의 손동작에 따라 조작되는 메뉴를 실시간으로 볼 수 있다. 또한, 공유모드에서 제3자의 손동작에 따라 메뉴가 조작될 수도 있다. 예를 들어, 사용자 또는 제3자로부터 도 5b 내지 도 5e의 손동작이 감지되고, 감지된 손동작에 따라 메뉴가 조작되면, 사용자 또는 제3자는 실시간으로 조작된 메뉴를 볼 수 있다. 따라서 본 발명에 따르면 사용자와 원격지의 제3자는 메뉴를 동시에 보고 각각 조작할 수 있으므로, 공동작업이나 회의 등을 편리하게 수행할 수 있다.
또 다른 실시예로, 사용자 또는 제3자는 3차원 영상으로 표시된 다수의 메뉴 중 강조 메뉴를 상대방으로부터 전송받고자 하는 경우, 양 손을 몸 안쪽으로 회전시킬 수 있으며, 강조 메뉴를 전송받기 원하지 않는 경우, 양 손을 몸 바깥쪽으로 회전시킬 수도 있다.
상기한 바와 같이, 본 발명은 공유 모드에서 3차원 공유 공간을 성립하고, 상기 3차원 공유 공간 내에 3차원 영상의 메뉴를 표시하여, 사용자와 원격지의 제3자 사이에 메뉴를 동시에 볼 수 있고, 함께 메뉴를 제어할 수 있으며, 선택된 메뉴를 상대방에게 전송할 수 있는 모드를 제공한다. 또한, 본 발명은 사용자의 손동작을 감지하고, 감지된 손동작에 따라 메뉴를 호출하거나, 탐색하거나, 실행하거나, 상위 메뉴로 이동하거나, 메뉴 표시를 종료할 수 있다. 여기서 메뉴는 3차원 영상으로 표시되며, 특히 아코디언 메타포로 표시될 수 있으므로, 보다 많은 수의 메뉴가 제한된 공간에서 표시될 수 있으며, 사용자는 3차원 영상으로 표시된 메뉴를 원격지의 제3자와 공유함으로써, 원격지의 제3자와 보다 편리하게 협업할 수 있으며, 실시간으로 의견을 공유하고, 메뉴를 송수신할 수 있다.
이상에서 설명한 본 발명은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 개량이 가능하며, 상기 실시예 및 첨부된 도면에 의해 한정되는 것은 아니다.

Claims (21)

  1. 공유 모드가 선택되는 경우, 원격지와 통신하는 통신부;
    상기 공유 모드에서 3차원 공유 공간을 성립하는 제어부; 및
    상기 3차원 공유 공간 내에 3차원 영상으로 복수의 메뉴를 표시하는 디스플레이부를 포함하되,
    상기 3차원 공유 공간은 사용자와 상기 디스플레이부 사이의 물리적인 공간 및 상기 디스플레이부에 표시되는 제3자와의 가상 공간을 포함하는 것을 특징으로 하며,
    상기 제어부는 상기 디스플레이부 및 상기 원격지에서 상기 복수의 메뉴가 동시에 표시되도록 제어하고,
    상기 3차원 공유 공간에서 사용자의 손동작을 감지하는 손동작 감지부를 더 포함하되,
    상기 손동작 감지부를 통해 상기 복수의 메뉴를 제어하기 위한 신호 또는 상기 복수의 메뉴 중 전송하기 위한 메뉴를 선택하는 신호가 입력되며,
    상기 제3자와 상기 복수의 메뉴를 공유하는 동안, 상기 제어부는 상기 손동작 감지부에 의해 감지된 손동작에 따라 메뉴를 조작하고,
    감지된 손동작이 사용자가 양 손의 손바닥을 마주보게 하고, 양 손의 손바닥 거리가 넓어지도록 손을 이동하는 동작인 경우, 상기 제어부는 상기 복수의 메뉴를 호출하여 3차원 영상으로 표시하는 것을 특징으로 하는 3차원 공유 공간에서 메뉴 공유 시스템.
  2. 제1항에 있어서,
    상기 제어부는 상기 복수의 메뉴를 제어하고, 상기 복수의 메뉴가 제어되는 과정을 상기 디스플레이부 및 상기 원격지에서 동시에 표시되도록 제어하는 것을 특징으로 하는 3차원 공유 공간에서 메뉴 공유 시스템.
  3. 제1항에 있어서,
    상기 제어부는 상기 복수의 메뉴 중 선택된 메뉴를 상기 통신부를 통해 원격지로 전송하는 것을 특징으로 하는 3차원 공유 공간에서 메뉴 공유 시스템.
  4. 제1항에 있어서,
    상기 제어부는 상기 통신부를 통해 사용자와 연관된 이미지를 상기 원격지로 송신하고, 상기 원격지로부터 제3자와 연관된 이미지를 수신하는 것을 특징으로 하는 3차원 공유 공간에서 메뉴 공유 시스템.
  5. 제4항에 있어서,
    상기 디스플레이부는 상기 제3자와 연관된 이미지를 표시하는 것을 특징으로 하는 3차원 공유 공간에서 메뉴 공유 시스템.
  6. 삭제
  7. 제1항에 있어서,
    상기 손동작 감지부는 IMU(inertial measurement unit) 센서, 카메라 센서 및 sEMG(surface electromyogram) 센서 중 적어도 하나를 포함하는 것을 특징으로 하는 3차원 공유 공간에서 메뉴 공유 시스템.
  8. 제1항에 있어서,
    상기 디스플레이부는 아코디언 메타포를 이용하여 상기 복수의 메뉴를 3차원 영상으로 표시하는 것을 특징으로 하는 3차원 공유 공간에서 메뉴 공유 시스템.
  9. 제1항에 있어서,
    상기 메뉴는 상위 메뉴, 하위 폴더, 문서, 프로그램, 어플리케이션, 음악 또는 영상을 나타내는 이미지인 것을 특징으로 하는 3차원 공유 공간에서 메뉴 공유 시스템.
  10. 삭제
  11. 삭제
  12. 제1항에 있어서,
    감지된 손동작이 사용자가 오른손을 쥐고, 왼손을 좌측 또는 우측으로 회전하는 동작인 경우, 상기 제어부는 상기 디스플레이부에 표시되는 상기 복수의 메뉴의 개수를 변화시키면서 메뉴를 탐색하는 것을 특징으로 하는 3차원 공유 공간에서 메뉴 공유 시스템.
  13. 제1항에 있어서,
    감지된 손동작이 사용자가 양 손을 쥐고, 양 손목을 사용자의 몸 바깥쪽으로 회전하는 동작인 경우, 상기 제어부는 상기 복수의 메뉴 중 강조 메뉴를 실행하는 것을 특징으로 하는 3차원 공유 공간에서 메뉴 공유 시스템.
  14. 제1항에 있어서,
    감지된 손동작이 사용자가 양 손을 쥐고, 양 손목을 사용자의 몸 안쪽으로 회전하는 동작인 경우, 상기 제어부는 현재 표시된 메뉴의 이전 메뉴 또는 상위 메뉴를 표시하는 것을 특징으로 하는 3차원 공유 공간에서 메뉴 공유 시스템.
  15. 제1항에 있어서,
    감지된 손동작이 사용자가 양 손의 손바닥을 마주보게 하고, 양 손의 손바닥 거리가 좁아지도록 손을 이동하는 동작인 경우, 상기 제어부는 상기 복수의 메뉴의 표시를 종료하는 것을 특징으로 하는 3차원 공유 공간에서 메뉴 공유 시스템.
  16. 제1항에 있어서,
    감지된 손동작이 사용자가 양 손목을 사용자의 몸 안쪽으로 회전하는 동작인 경우, 상기 제어부는 상기 복수의 메뉴 중 강조 메뉴를 상기 통신부를 통해 수신하는 것을 특징으로 하는 3차원 공유 공간에서 메뉴 공유 시스템.
  17. 공유 모드가 선택되는 경우, 통신부를 통해 원격지와 통신하는 단계;
    제어부에 의해 상기 공유 모드에서 3차원 공유 공간을 성립하는 단계; 및
    디스플레이부에 의해 상기 3차원 공유 공간에 3차원 영상으로 복수의 메뉴를 표시하는 단계를 포함하되,
    상기 3차원 공유 공간은 사용자와 상기 디스플레이부 사이의 물리적인 공간 및 상기 디스플레이부에 표시되는 제3자와의 가상 공간을 포함하는 것을 특징으로 하며, 상기 복수의 메뉴는 상기 디스플레이부 및 상기 원격지에서 동시에 표시되고,
    손동작 감지부에 의해 상기 3차원 공유 공간에서 사용자의 손동작을 감지하는 단계를 더 포함하되,
    상기 손동작 감지부를 통해 상기 복수의 메뉴를 제어하기 위한 신호 또는 상기 복수의 메뉴 중 전송하기 위한 메뉴를 선택하는 신호가 입력되며,
    상기 제3자와 상기 복수의 메뉴를 공유하는 동안, 상기 제어부는 상기 손동작 감지부에 의해 감지된 손동작에 따라 메뉴를 조작하고,
    감지된 손동작이 사용자가 양 손의 손바닥을 마주보게 하고, 양 손의 손바닥 거리가 넓어지도록 손을 이동하는 동작인 경우, 상기 제어부는 상기 복수의 메뉴를 호출하여 3차원 영상으로 표시하는 것을 특징으로 하는 3차원 공유 공간에서 메뉴 공유 방법.
  18. 제17항에 있어서,
    상기 복수의 메뉴를 제어하기 위한 신호가 입력되는 경우, 상기 제어부가 상기 복수의 메뉴가 제어되는 과정을 상기 디스플레이부 및 상기 원격지에서 동시에 표시하는 단계를 더 포함하는 것을 특징으로 하는 3차원 공유 공간에서 메뉴 공유 방법.
  19. 제17항에 있어서,
    상기 통신부를 통해 상기 복수의 메뉴 중 선택된 메뉴를 원격지로 전송하는 단계를 더 포함하는 것을 특징으로 하는 3차원 공유 공간에서 메뉴 공유 방법.
  20. 제17항에 있어서,
    상기 원격지의 제3자와 연관된 이미지를 상기 디스플레이부에 표시하는 단계를 더 포함하는 것을 특징으로 하는 3차원 공유 공간에서 메뉴 공유 방법.
  21. 제17항에 있어서,
    상기 디스플레이부는 아코디언 메타포를 이용하여 상기 복수의 메뉴를 3차원 영상으로 표시하는 것을 특징으로 하는 3차원 공유 공간에서 메뉴 공유 방법.
KR1020160072609A 2016-06-10 2016-06-10 3차원 공유 공간에서 메뉴 공유 시스템 및 방법 KR101815973B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160072609A KR101815973B1 (ko) 2016-06-10 2016-06-10 3차원 공유 공간에서 메뉴 공유 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160072609A KR101815973B1 (ko) 2016-06-10 2016-06-10 3차원 공유 공간에서 메뉴 공유 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20170139950A KR20170139950A (ko) 2017-12-20
KR101815973B1 true KR101815973B1 (ko) 2018-01-08

Family

ID=60931672

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160072609A KR101815973B1 (ko) 2016-06-10 2016-06-10 3차원 공유 공간에서 메뉴 공유 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR101815973B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200000763A (ko) * 2018-06-25 2020-01-03 서울시립대학교 산학협력단 가상 악기 시각화 기반 미디 음악 편곡 장치, 이를 위한 방법 및 이 방법을 수행하는 프로그램이 기록된 컴퓨터 판독 가능한 기록매체

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102539045B1 (ko) * 2021-08-06 2023-06-02 주식회사 피앤씨솔루션 착용형 증강현실 장치를 위한 대시보드 제어 장치 및 대시보드 제어 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101598227B1 (ko) 2009-07-27 2016-02-26 엘지전자 주식회사 이동 통신 단말기에서의 메뉴 표시 방법 및 이를 적용한 이동 통신 단말기

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101598227B1 (ko) 2009-07-27 2016-02-26 엘지전자 주식회사 이동 통신 단말기에서의 메뉴 표시 방법 및 이를 적용한 이동 통신 단말기

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200000763A (ko) * 2018-06-25 2020-01-03 서울시립대학교 산학협력단 가상 악기 시각화 기반 미디 음악 편곡 장치, 이를 위한 방법 및 이 방법을 수행하는 프로그램이 기록된 컴퓨터 판독 가능한 기록매체
KR102128315B1 (ko) 2018-06-25 2020-06-30 서울시립대학교 산학협력단 가상 악기 시각화 기반 미디 음악 편곡 장치, 이를 위한 방법 및 이 방법을 수행하는 프로그램이 기록된 컴퓨터 판독 가능한 기록매체

Also Published As

Publication number Publication date
KR20170139950A (ko) 2017-12-20

Similar Documents

Publication Publication Date Title
US8823697B2 (en) Tabletop, mobile augmented reality system for personalization and cooperation, and interaction method using augmented reality
KR101522991B1 (ko) 조작입력장치 및 방법, 그리고 프로그램
JP5793426B2 (ja) グラフィカルユーザインターフェースとの物理的相互作用を解釈するためのシステムと方法
CN105051705B (zh) 便携式设备及其控制方法
JP5515067B2 (ja) 操作入力装置および操作判定方法並びにプログラム
US20160098094A1 (en) User interface enabled by 3d reversals
US20170293351A1 (en) Head mounted display linked to a touch sensitive input device
JP2019192242A (ja) 没入型現実インターフェースモードを提供するシステム、デバイス及び方法
Babic et al. Pocket6: A 6dof controller based on a simple smartphone application
KR20170055019A (ko) 가상 환경에서 객체와 상호 작용하는 시스템
US20070216642A1 (en) System For 3D Rendering Applications Using Hands
JP2003256142A (ja) 情報処理装置、情報処理プログラム、情報処理プログラムを記録したコンピュータ読み取り可能な記録媒体、及び情報処理方法
JP2012068854A (ja) 操作入力装置および操作判定方法並びにプログラム
EP2558924B1 (en) Apparatus, method and computer program for user input using a camera
CN109584374A (zh) 用于使用可移动引导标记来提供交互导航辅助的方法、装置和计算机可读存储介质
US20130283214A1 (en) Apparatus and method for providing user interface for recognizing gesture
JP2016071836A (ja) ホログラム表示を実現する対話型表示方法、制御方法及びシステム
KR20110044391A (ko) 입력 장치 및 방법
KR101815973B1 (ko) 3차원 공유 공간에서 메뉴 공유 시스템 및 방법
Menzner et al. Above surface interaction for multiscale navigation in mobile virtual reality
JP2000181601A (ja) 情報表示システム
KR101708455B1 (ko) 핸드 플로트 입체 메뉴 시스템
WO2014178039A1 (en) Scrolling electronic documents with a smartphone
US9898183B1 (en) Motions for object rendering and selection
TW202132951A (zh) 漂浮影像顯示裝置、互動方法與其系統

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant