KR101463540B1 - 휴대용 전자 기기를 이용한 3차원 가상 커서 제어 방법 - Google Patents

휴대용 전자 기기를 이용한 3차원 가상 커서 제어 방법 Download PDF

Info

Publication number
KR101463540B1
KR101463540B1 KR1020120054944A KR20120054944A KR101463540B1 KR 101463540 B1 KR101463540 B1 KR 101463540B1 KR 1020120054944 A KR1020120054944 A KR 1020120054944A KR 20120054944 A KR20120054944 A KR 20120054944A KR 101463540 B1 KR101463540 B1 KR 101463540B1
Authority
KR
South Korea
Prior art keywords
dimensional virtual
cursor
electronic device
portable electronic
virtual object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
KR1020120054944A
Other languages
English (en)
Other versions
KR20130131122A (ko
Inventor
황재인
김익재
안상철
고희동
Original Assignee
한국과학기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술연구원 filed Critical 한국과학기술연구원
Priority to KR1020120054944A priority Critical patent/KR101463540B1/ko
Priority to US13/727,077 priority patent/US20130314320A1/en
Publication of KR20130131122A publication Critical patent/KR20130131122A/ko
Application granted granted Critical
Publication of KR101463540B1 publication Critical patent/KR101463540B1/ko
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04812—Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a three-dimensional [3D] space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1694—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a single or a set of motion sensors for pointer control or gesture input obtained by sensing movements of the portable computer
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional [3D], e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0381—Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은, 휴대용 전자 기기를 이용한 3차원 가상 커서 제어 방법에 관한 것으로, 휴대용 전자 기기에 탑재된 센서를 통해 휴대용 전자 기기의 움직임 및 터치 입력 중 적어도 하나 이상을 감지하는 감지단계; 및 상기 감지된 휴대용 전자 기기의 움직임 및 터치 입력 중 적어도 하나 이상을 3차원 가상 공간에서의 커서의 동작을 제어하는 커서 제어 신호로 변환하여 출력하는 변환단계를 포함함으로써, 사용자가 휴대하는 휴대용 기기를 이용하여 장소나 시간적 제약 없이 필요한 경우에 편리하게 3차원 가상 커서를 제어할 수 있게 된다.

Description

휴대용 전자 기기를 이용한 3차원 가상 커서 제어 방법{Method for controlling three dimensional virtual cursor using portable device}
본 발명은, 3차원 가상 커서 제어 방법에 관한 것으로서, 휴대용 전자 기기의 움직임 또는 터치 입력을 기초로 3차원 가상 공간에서의 커서를 제어하는 방법에 관한 것이다.
마우스나 터치 등의 입력장치 기술은 지속적인 발전, 진화를 거듭하고 있으나, 장기간 사용하는 경우 책상 위에서 사용하는 컴퓨터 마우스나 노트북 컴퓨터 내장형 등 그 사용방법 이 팔목, 손가락 등에 무리를 주는 등 부작용이 있고, 특히 직접 마우스를 사용하기 어려운 열악한 작업환경, 최근 활성화되고 있는 언제 어디서나 컴퓨팅 리소스에 접근할 수 있는 DID(Digital Information Display)나, IPTV 등으로 대표되는 유비쿼터스/모바일 컴퓨팅 시대에는 적합성이 떨어진다라는 한계를 갖고 있다. 이러한 한계를 터치 스크린에 의하여 일정 부분은 극복해왔으나, 이 역시 한계가 있으며, 특히 스크린의 대형화 및 비용적인 면에서 어려움이 있다.
최근 2D 디스플레이에서 3D 디스플레이로 전환되고 있는 추세를 감안할 때, 3D 인터랙션을 수행할 수 있는 입력 인터페이스 기술에 대한 필요성이 높아지고 있다.
이러한 3D 인터랙션을 위한 기술 중 대표적인 것은, 상용으로 나온 3차원 트랙커(Tracker)를 사용하는 기술이다. 미세한 기기의 움직임까지 인식하는 정밀한 센서를 가진 트랙커를 이용하여, 3D 환경에서의 인터랙션이 가능하다. 하지만, 이는 비용면에서 비효율적이라고 할 수 있다. 정밀한 3차원 트랙커는 고가이며 저가의 트랙커라고 하더라도 사용자가 따로 구매해서 사용해야 하는 문제가 있다.
또한 이러한 기술은 3D 환경과 인터랙션을 위한 환경이 구성이 되어야 한다는 전제 하에서 동작할 수 있다. 즉, 트랙커를 구매하여 설치된 곳에서만 3차원 인터랙션이 가능하게 된다. 이러한 제약들로 인해 대중성을 갖는데에 한계가 있다.
따라서, 사용자가 휴대하는 휴대용 전자 기기를 이용하여 보다 용이하고 대중적으로 3D 인터랙션 환경을 구현할 수 있는 기술이 요구되는 실정이다.
본 발명이 이루고자 하는 기술적 과제는, 휴대용 전자 기기의 움직임 또는 터치 입력을 기초로 3차원 가상 공간에서의 커서를 제어할 수 있는 3차원 가상 커서 제어 방법을 제공하는 데에 있다.
본 발명이 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
상기의 기술적 과제를 이루기 위한, 본 발명에 의한, 3차원 가상 커서 제어 방법은 휴대용 전자 기기에 탑재된 센서를 통해 휴대용 전자 기기의 움직임 및 터치 입력 중 적어도 하나 이상을 감지하는 감지단계; 및 감지된 휴대용 전자 기기의 움직임 및 터치 입력 중 적어도 하나 이상을 3차원 가상 공간에서의 커서의 동작을 제어하는 커서 제어 신호로 변환하여 출력하는 변환단계를 포함한다.
보다 바람직하게는, 센서는 자이로센서, 가속도센서 및 자기장센서 중 적어도 하나 이상을 포함하는 관성 센서(IMU) 및 터치센서를 포함할 수 있다.
보다 바람직하게는, 커서의 동작은 커서의 이동, 커서가 가리키는 3차원 가상 물체의 선택, 커서가 가리키는 3차원 가상 물체의 이동, 커서가 가리키는 3차원 가상 물체의 회전, 커서가 가리키는 3차원 가상 물체의 크기 변경 및 현재 디스플레이되는 3차원 가상 공간의 시점 변경 중 적어도 하나 이상을 포함할 수 있다.
보다 바람직하게는, 변환단계는 감지된 휴대용 전자 기기의 움직임 및 터치 입력을 조합하여 커서 제어 신호로 변환하는 단계를 포함할 수 있다.
상기의 기술적 과제를 이루기 위한, 본 발명에 의한, 3차원 가상 커서 제어 기능을 포함하는 프로그램을 수록한 컴퓨터로 읽을 수 있는 기록매체는, 3차원 가상 커서 제어 방법은 휴대용 전자 기기에 탑재된 센서를 통해 휴대용 전자 기기의 움직임 및 터치 입력 중 적어도 하나 이상을 감지하는 감지기능; 및 감지된 휴대용 전자 기기의 움직임 및 터치 입력 중 적어도 하나 이상을 3차원 가상 공간에서의 커서의 동작을 제어하는 커서 제어 신호로 변환하여 출력하는 변환기능을 포함하는 프로그램을 수록한다.
본 발명에 따르면, 사용자가 휴대하는 휴대용 기기를 이용하여 장소나 시간적 제약 없이 필요한 경우에 편리하게 3차원 가상 커서를 제어할 수 있게 된다.
또한, 본 발명은 여러 분야에 광범위하게 적용될 수 있다. 일반 가정에서의 3D TV 시청에 사용될 수 있음은 물론, 기업에서의 3D 프레젠테이션에 이 방법을 사용하여, 시각적인 이해도를 높여 청중에게 프리젠테이션 내용을 보다 쉽게 전달할 수도 있다. 아울러, 공장에서 물건 생산의 한 단계인, 프로토타이핑에 본 발명을 적용할 경우에는, 더욱 안전하고 효율적으로 테스트가 가능할 수도 있을 것이다.
도 1는 본 발명의 바람직한 일 실시예에 따른 휴대용 전자 기기를 이용한 3차원 가상 커서 제어 방법의 흐름을 도시한 도면이다.
도 2a 내지 2b들은 본 발명의 바람직한 일 실시예에 따른 3차원 가상 커서 제어 방법에서 제공되는 제어 명령들을 예시한 도면들이다.
도 3은 본 발명의 바람직한 일 실시예에 따른 3차원 가상 커서 제어 방법에 따라, 3차원 가상 공간에서 휴대용 전자기기의 움직임 또는 터치 입력에 따라 3차원 가상 물체를 선택하는 과정을 예시한 흐름도이다.
도 4은 본 발명의 바람직한 일 실시예에 따른 3차원 가상 커서 제어 방법에 따라, 휴대용 전자기기의 움직임 또는 터치 입력에 따라 선택된 3차원 가상 물체를 제어하는 과정을 예시한 흐름도이다.
도 5a 내지 5d들은 본 발명에 따라 휴대용 전자 기기의 움직임 또는 터치 입력에 따라 디스플레이되는 3차원 가상 공간들을 예시한 도면들이다.
이하의 내용은 단지 본 발명의 원리를 예시한다. 그러므로 당업자는 비록 본 명세서에 명확히 설명되거나 도시되지 않았지만 본 발명의 원리를 구현하고 본 발명의 개념과 범위에 포함된 다양한 장치를 발명할 수 있는 것이다. 또한, 본 명세서에 열거된 모든 조건부 용어 및 실시예들은 원칙적으로, 본 발명의 개념이 이해되도록 하기 위한 목적으로만 명백히 의도되고, 이와 같이 특별히 열거된 실시예들 및 상태들에 제한적이지 않는 것으로 이해되어야 한다. 또한, 본 발명의 원리, 관점 및 실시예들 뿐만 아니라 특정 실시예를 열거하는 모든 상세한 설명은 이러한 사항의 구조적 및 기능적 균등물을 포함하도록 의도되는 것으로 이해되어야 한다. 또한, 이러한 균등물들은 현재 공지된 균등물뿐만 아니라 장래에 개발될 균등물 즉 구조와 무관하게 동일한 기능을 수행하도록 발명된 모든 소자를 포함하는 것으로 이해되어야 한다.
따라서, 프로세서 또는 이와 유사한 개념으로 표시된 기능 블록을 포함하는 도면에 도시된 다양한 소자의 기능은 전용 하드웨어뿐만 아니라 적절한 소프트웨어와 관련하여 소프트웨어를 실행할 능력을 가진 하드웨어의 사용으로 제공될 수 있다. 프로세서에 의해 제공될 때, 기능은 단일 전용 프로세서, 단일 공유 프로세서 또는 복수의 개별적 프로세서에 의해 제공될 수 있고, 이들 중 일부는 공유될 수 있다. 또한, 프로세서, 제어 또는 이와 유사한 개념으로 제시되는 용어의 사용은 소프트웨어를 실행할 능력을 가진 하드웨어를 배타적으로 인용하여 해석되어서는 아니 되고, 제한 없이 디지털 신호 프로세서(DSP) 하드웨어, 소프트웨어를 저장하기 위한 롬(ROM), 램(RAM) 및 비휘발성 메모리를 암시적으로 포함하는 것으로 이해되어야 한다. 주지 관용의 다른 하드웨어도 포함될 수 있다.
상술한 목적, 특징 및 장점들은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 더욱 분명해 질 것이다. 본 발명을 설명함에 있어서, 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략하거나 간략하게 설명하는 것으로 한다.
한편 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라, 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
이하, 첨부된 도면을 참조하여 바람직한 실시예에 따른 본 발명을 상세히 설명하기로 한다.
도 1는 본 발명의 바람직한 일 실시예에 따른 휴대용 전자 기기를 이용한 3차원 가상 커서 제어 방법의 흐름을 도시한 도면이다.
도 1에 따르면, 먼저, 휴대용 전자 기기에 탑재된 센서를 통해 휴대용 전자 기기의 움직임 또는 터치 입력을 감지한다(S110).
본 실시예에 따른 휴대용 전자 기기로는 스마트폰이 대표적이다. 스마트폰은 데스크탑이나 랩탑 수준의 고성능의 정보 처리 능력을 구비한 휴대용 전자통신기기로서, 많은 센서를 가지고 있어 기기 자체의 움직임 내지 터치 입력을 정확하게 센싱할 수 있다. 아울러, 고성능의 정보 처리 능력을 구비함으로써, 센싱한 움직임 내지 터치 입력을 커서 제어 신호로 변환하는 데에 충분한 정보 처리 능력을 구비하고 있어 본 실시예에 따른 휴대용 전자 기기로서 가장 바람직하다.
그러나, 본 실시예에 따른 휴대용 전자기기가 스마트폰으로 한정되는 것은 아니며, 소정의 센서와, 소정의 정보 처리능력 및 통신 모듈을 구비한 휴대용 전자 기기이면 족하다고 할 것이다.
본 실시예에 따른 센서로는 휴대용 전자 기기의 3축 방향의 회전 움직임을 인식할 수 있는 관성 센서(IMU, inertial measurement unit) 및 휴대용 전자기기의 2축 방향의 터치를 인식할 수 있는 터치 센서를 포함하여 구성될 수 있다.
여기에서 관성 센서는 자이로 센서, 가속도 센서 및 자기장 센서 중 적어도 하나 이상을 포함하여 구성될 수 있다.
S110 단계에서 감지된 휴대용 전자 기기의 움직임 및 터치 입력 중 적어도 하나 이상을 3차원 가상 공간에서의 커서의 동작을 제어하는 커서 제어 신호로 변환하여 출력한다(S120).
예컨대, S110 단계에서 3축 방향의 회전 움직임과 2축 방향의 터치 입력에 각각의 3차원 가상 커서의 동작을 감지하는 경우에, 이러한 3축 방향의 회전 움직임과 2축 방향의 터치 입력를 단순하게 합하면, 5자유도의 동작에 불과하기 때문에, 3차원 가상 커서의 동작을 모두 매핑시키에는 부족할 수 있다.
따라서, 3축 방향의 회전 움직임과 2축 방향의 터치 입력을 서로 조합한 결과와, 3차원 가상 커서의 동작을 매핑하는 것이 보다 효율적일 수 있다. 이를 위해, 본 실시예에 따른 변환 단계(S120)에서는 S110 단계에서 감지된 휴대용 전자 기기의 움직임 및 터치 입력을 서로 조합하여 커서 제어 신호로 변환하는 것이 보다 바람직하다.
본 실시예에 따른 커서의 동작으로는, 3차원 가상 커서의 이동, 3차원 가상 커서가 가리키는 3차원 가상 물체의 선택, 3차원 가상 커서가 가리키는 3차원 가상 물체의 이동, 3차원 가상 커서가 가리키는 3차원 가상 물체의 회전, 3차원 가상 커서가 가리키는 3차원 가상 물체의 크기 변경 및 현재 디스플레이되는 3차원 가상 공간의 시점 변경 등이 될 수 있다.
도 2a 내지 2b들은 본 발명의 바람직한 일 실시예에 따른 3차원 가상 커서 제어 방법에서 제공되는 제어 명령들을 예시한 도면들이다.
도 2a에 예시된 연속적 명령(continuous command)은 휴대용 기기의 움직임을 연속적인 입력값으로 인식하는 상태에서의 제어 명령들을 예시한 것으로, Hand Placement, Object Placement, Object Rotation, View change 등이 이에 속할 수 있다.
Hand Placement는 빈 손 모양의 아이콘으로 디스플레이될 수 있으며, 휴대용 기기의 연속적인 움직임을 3차원 공간의 연속적인 이동 좌표값으로 인식하여, 현재 커서가 3차원 가상 물체를 선택하지 않은 상태에서, 휴대용 기기의 연속적인 움직임에 따라 3차원 이동하는 명령을 나타낸다.
Object Placement는 3차원 가상 물체를 쥔 손 모양의 아이콘으로 디스플레이될 수 있으며, 휴대용 기기의 연속적인 움직임을 3차원 공간의 연속적인 이동 좌표값으로 인식하여, 현재 커서가 3차원 가상 공간 내에 위치한 소정의 3차원 가상 물체를 선택한 상태에서, 휴대용 기기의 연속적인 움직임에 따라 3차원 가상 물체의 위치를 3차원 이동시키는 명령을 나타낸다.
Object Rotation은 Object Placement와 마찬가지로, 3차원 가상 물체를 쥔 손 모양의 아이콘으로 디스플레이될 수 있으며, 휴대용 기기의 연속적인 회전방향 및 회전 각도값을 3차원 공간의 연속적인 회전방향 및 회전 각도값으로 인식하여, 현재 커서가 3차원 가상 공간 내에 위치한 소정의 3차원 가상 물체를 선택한 상태에서, 휴대용 기기의 회전에 따라, 가상 물체의 형상을 3차원 회전시키는 명령을 나타낸다.
Object Scaling은 Object Placement와 마찬가지로, 3차원 가상 물체를 쥔 손 모양의 아이콘으로 디스플레이될 수 있으며, 휴대용 기기에 대한 터치 입력(예컨대, 2축 방향의 터치 스크롤)을 3차원 가상 물체의 크기 변경 비율로 인식하여, 현재 커서가 3차원 가상 공간 내에 위치한 소정의 3차원 가상 물체를 선택한 상태에서, 휴대용 기기에 대한 터치 입력의 정도에 따라, 가상 물체의 크기를 일정한 비율로 확대하거나 축소시키는 명령을 나타낸다.
View Change(미도시)는 현재 디스플레이되는 3차원 가상 공간의 상하좌우 경계에서의 휴대용 기기의 연속적인 움직임을 3차원 가상 공간에 대한 시점의 연속적인 이동 좌표값으로 인식하여, 휴대용 기기의 연속적인 움직임에 따라 3차원 공간에 대한 디스플레이 화면의 시점을 3차원 이동시키는 명령을 나타낸다. 구현예에 따라서는, 휴대용 기기의 터치 스크롤 입력에 따라 3차원 가상 커서 또는 현재 선택된 물체와 함께 3차원 가상 공간의 시점을 3차원 이동하도록 구현될 수도 있다.
도 2b에 예시된 이벤트 기반 명령(Event-based command)은 휴대용 전자기기의 움직임 또는 터치 입력에 따라 도 2a에 예시된 연속적 명령 중 어느 하나의 연속적 명령을 수행하는 상태에서 다른 연속적 명령을 수행하는 상태로 변경하는 명령을 예시하는 것으로, 3차원 가상 물체의 선택(Grasp), 3차원 가상 물체의 선택 해제(Release), 3차원 가상 물체의 회전 모드로의 전환(Rotation Mode), 3차원 가상 물체의 크기 변경 모드로의 전환(Scaling Mode) 및 3차원 가상 공산의 시점 변경 모드로의 전환(View change) 등의 동작이 포함될 수 있다.
도 2a 내지 2b에 예시된 연속적 명령 및 이벤트 기반 명령들은 본 발명에 대한 설명의 편의를 위한 하나의 실시예에 불과하며, 본 발명이 이에 한정되는 것은 아니다.
도 3은 본 발명의 바람직한 일 실시예에 따른 3차원 가상 커서 제어 방법에 따라, 3차원 가상 공간에서 휴대용 전자기기의 움직임 또는 터치 입력에 따라 3차원 가상 물체를 선택하는 과정을 예시한 흐름도이다.
먼저, 사용자 입력 수단의 기능을 수행하는 휴대용 전자기기와, 3차원 가상 공간을 사용자에게 디스플레이할 3차원 가상 공간 디스플레이 기기를 무선 네트워크를 통해 연결한다(S301).
그리고, 휴대용 전자기기에 탑재된 관성 센서 및 터치 센서를 이용하여 휴대용 전자기기의 움직임 및 터치 입력을 감지한다(S302).
S302 단계에서 감지된 터치 입력이 휴대용 전자기기의 터치 스크린을 상하방향으로 스크롤하는 터치 스크롤 입력인 경우(S303)에는, 이러한 터치 스크롤 입력에 따라 3차원 가상 공간의 시점 및 3차원 가상 커서를 앞뒤방향으로 함께 이동시킨다(S304).
또는, S302 단계에서 감지된 휴대용 전자기기의 상하좌우 움직임에 따라 3차원 가상 커서를 상하좌우로 이동시킨다(S305).
S305 단계에서 이동시킨 3차원 가상 커서가 3차원 가상 공간 화면의 상하좌우 경계와 만나는 경우(S306)에는, 휴대용 전자기기의 움직임에 따라 3차원 가상 공간의 시점을 3차원 가상 공간 화면의 경계를 벗어나는 방향으로 이동시킬 수 있다(S307).
또는, S305 단계에서 이동시킨 3차원 가상 커서가 3차원 가상 공간 화면의 3차원 가상 물체와 만나는 경우(S308)에 휴대용 전자기기의 터치 스크린을 통해 탭(tab) 입력을 1회 연속으로 입력받으면(S309), 3차원 가상 커서와 만난 3차원 가상 물체를 선택하도록 제어한다(S311)
도 4은 본 발명의 바람직한 일 실시예에 따른 3차원 가상 커서 제어 방법에 따라, 휴대용 전자기기의 움직임 또는 터치 입력에 따라 선택된 3차원 가상 물체를 제어하는 과정을 예시한 흐름도이다.
먼저, 3차원 가상 커서와 만난 3차원 가상 물체를 선택한다(S410). 본 단계의 3차원 가상 물체 선택 과정은 도 3에 도시된 선택 과정에 따라 수행될 수 있으나, 이는 설명의 편의를 위한 하나의 실시예에 불과하며, 본 발명에서는 이를 한정하지 않는다.
그리고, 휴대용 전자기기에 탑재된 관성 센서 및 터치 센서를 이용하여 휴대용 전자기기의 움직임 및 터치 입력을 감지한다(S411).
S411 단계에서 감지된 터치 입력이 휴대용 전자기기의 터치 스크린을 상하방향으로 스크롤하는 터치 스크롤 입력인 경우(S412)에는, 이러한 터치 스크롤 입력에 따라 S410 단계에서 선택된 3차원 가상 물체를 3차원 가상 공간의 시점과 함께 앞뒤방향으로 이동시킨다(S413).
또는, S411 단계에서 감지된 휴대용 전자기기의 상하좌우회전 움직임에 따라 S410 단계에서 선택된 3차원 가상 물체를 상하좌우로 이동시킨다(S414).
그리고, 3차원 가상 물체가 선택된 상태에서 휴대용 전자기기의 터치 스크린을 통해 탭 입력을 3회 연속으로 입력받은 경우에는(S415), 크기 변경 모드(Scaling Mode)로 전환되어, 이후에 휴대용 전자기기의 상하방향의 스크롤 입력을 감지하여(S416), 상방향 스크롤의 경우에는 그 스크롤된 정도만큼, 3차원 가상 물체의 크기를 확대하고, 하방향 스크롤의 경우에는 그 스크롤된 정도만큼, 3차원 가상 물체의 크기를 축소할 수 있다(S416). 그리고, S416 단계의 크기 변경 모드에서 3차원 가상 물체를 제어하는 도중에, 휴대용 전자기기의 터치 스크린을 통해 탭 입력을 1회 입력받은 경우(S417)에는 이러한 크기 변경 모드(Scaling Mode)에서 벗어나, 다시 휴대용 전자기기의 움직임 및 터치 입력에 따라 3차원 가상 물체를 제어할 수 있게 된다.
그리고, 3차원 가상 물체가 선택된 상태에서 휴대용 전자기기의 터치 스크린을 통해 탭 입력을 2회 연속으로 입력받은 경우에는(S418), 회전 모드(Rotation Mode)로 전환되어, 이후에 휴대용 전자기기의 회전을 감지하여(S419), 감지된 회전 방향 및 회전 각도에 따라, 3차원 가상 물체의 형상을 회전시킬 수 있다. 그리고, S419 단계의 회전 모드에서 3차원 가상 물체를 제어하는 도중에, 휴대용 전자기기의 터치 스크린을 통해 탭 입력을 1회 입력받은 경우(S420)에는 이러한 회전 모드(Rotation Mode)에서 벗어나, 다시 휴대용 전자기기의 움직임 및 터치 입력에 따라 3차원 가상 물체를 제어할 수 있게 된다.
그리고, 3차원 가상 물체가 선택된 상태에서 휴대용 전자기기의 터치 스크린을 통해 탭 입력을 1회 입력받은 경우에는(S421), 현재 선택된 3차원 가상 물체의 선택을 해제(Release)할 수 있다(S422).
도 5a 내지 5d들은 본 발명에 따라 휴대용 전자 기기의 움직임 또는 터치 입력에 따라 디스플레이되는 3차원 가상 공간들을 예시한 도면들이다.
도 5a는 Hand Placement 모드에서 3차원 가상 커서를 이동시키는 경우에 디스플레이되는 3차원 가상 공간을 예시한다.
도 5b는 Object Placement 모드에서 3차원 가상 커서에 의해 선택된 물체를 이동시키는 경우에 디스플레이되는 3차원 가상 공간을 예시한다.
도 5c는 Object Rotation 모드에서 3차원 가상 커서에 의해 선택된 물체를 회전시키는 경우에 디스플레이되는 3차원 가상 공간을 예시한다.
도 5d는 Object Scaling 모드에서 3차원 가상 커서에 의해 선택된 물체를 회전시키는 경우에 디스플레이되는 3차원 가상 공간을 예시한다.
본 발명에 의한 3차원 가상 커서 제어 방법에 따르면, 사용자가 휴대하는 휴대용 기기를 이용하여 장소나 시간적 제약 없이 필요한 경우에 편리하게 3차원 가상 커서를 제어할 수 있게 된다.
또한, 본 발명에 의한 3차원 가상 커서 제어 방법은 여러 분야에 광범위하게 적용될 수 있다. 일반 가정에서의 3D TV 시청에 사용될 수 있음은 물론, 기업에서의 3D 프레젠테이션에 이 방법을 사용하여, 시각적인 이해도를 높여 청중에게 프리젠테이션 내용을 보다 쉽게 전달할 수도 있다. 아울러, 공장에서 물건 생산의 한 단계인, 프로토타이핑에 이 발명을 적용할 경우에는, 더욱 안전하고 효율적으로 테스트가 가능할 수도 있을 것이다.
아울러, 본 발명에 의한 3차원 가상 커서 제어 방법은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광데이터 저장장치 등이 있다. 또한, 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.
본 발명은 첨부된 도면에 도시된 일 실시예를 참고로 설명되었으나, 이는 예시적인 것에 불과하며, 당해 기술분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 수 있을 것이다. 따라서, 본 발명의 진정한 보호 범위는 첨부된 청구 범위에 의해서만 정해져야 할 것이다.

Claims (5)

  1. 휴대용 전자 기기에 탑재된 센서를 통해 휴대용 전자 기기의 움직임 및 터치 입력 중 적어도 하나 이상을 감지하는 감지단계; 및
    상기 감지된 휴대용 전자 기기의 움직임 및 터치 입력 중 적어도 하나 이상을 3차원 가상 공간에서의 커서의 동작을 제어하는 커서 제어 신호로 변환하여 출력하는 변환단계;를 포함하고,
    상기 변환단계는 상기 감지된 휴대용 전자 기기의 움직임 및 터치 입력을 조합하여 상기 커서 제어 신호로 변환하는 단계를 포함하는 것을 특징으로 하는 3차원 가상 커서 제어 방법.
  2. 제1항에 있어서,
    상기 센서는 자이로센서, 가속도센서 및 자기장센서 중 적어도 하나 이상을 포함하는 관성 센서(IMU) 및 터치센서를 포함하는 것을 특징으로 하는 3차원 가상 커서 제어 방법.
  3. 제1항에 있어서,
    상기 커서의 동작은 상기 커서의 이동, 상기 커서가 가리키는 3차원 가상 물체의 선택, 상기 커서가 가리키는 3차원 가상 물체의 선택 해제, 상기 커서가 가리키는 3차원 가상 물체의 이동, 상기 커서가 가리키는 3차원 가상 물체의 회전, 상기 커서가 가리키는 3차원 가상 물체의 크기 변경 및 현재 디스플레이되는 3차원 가상 공간의 시점 변경 중 적어도 하나 이상을 포함하는 것을 특징으로 하는 3차원 가상 커서 제어 방법.
  4. 삭제
  5. 제1항에 기재된 방법을 실현하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
KR1020120054944A 2012-05-23 2012-05-23 휴대용 전자 기기를 이용한 3차원 가상 커서 제어 방법 Expired - Fee Related KR101463540B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020120054944A KR101463540B1 (ko) 2012-05-23 2012-05-23 휴대용 전자 기기를 이용한 3차원 가상 커서 제어 방법
US13/727,077 US20130314320A1 (en) 2012-05-23 2012-12-26 Method of controlling three-dimensional virtual cursor by using portable electronic device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120054944A KR101463540B1 (ko) 2012-05-23 2012-05-23 휴대용 전자 기기를 이용한 3차원 가상 커서 제어 방법

Publications (2)

Publication Number Publication Date
KR20130131122A KR20130131122A (ko) 2013-12-03
KR101463540B1 true KR101463540B1 (ko) 2014-11-20

Family

ID=49621207

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120054944A Expired - Fee Related KR101463540B1 (ko) 2012-05-23 2012-05-23 휴대용 전자 기기를 이용한 3차원 가상 커서 제어 방법

Country Status (2)

Country Link
US (1) US20130314320A1 (ko)
KR (1) KR101463540B1 (ko)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150138089A1 (en) * 2013-11-15 2015-05-21 TabiTop, LLC Input devices and methods
US10223634B2 (en) 2014-08-14 2019-03-05 The Board Of Trustees Of The Leland Stanford Junior University Multiplicative recurrent neural network for fast and robust intracortical brain machine interface decoders
US10338687B2 (en) * 2015-12-03 2019-07-02 Google Llc Teleportation in an augmented and/or virtual reality environment
US11221750B2 (en) * 2016-02-12 2022-01-11 Purdue Research Foundation Manipulating 3D virtual objects using hand-held controllers
US20170269712A1 (en) * 2016-03-16 2017-09-21 Adtile Technologies Inc. Immersive virtual experience using a mobile communication device
US10489978B2 (en) * 2016-07-26 2019-11-26 Rouslan Lyubomirov DIMITROV System and method for displaying computer-based content in a virtual or augmented environment
US10255658B2 (en) * 2016-08-09 2019-04-09 Colopl, Inc. Information processing method and program for executing the information processing method on computer
KR102409947B1 (ko) 2017-10-12 2022-06-17 삼성전자주식회사 디스플레이 장치와 사용자 단말 장치 및 이를 포함하는 디스플레이 시스템
US12008987B2 (en) 2018-04-30 2024-06-11 The Board Of Trustees Of The Leland Stanford Junior University Systems and methods for decoding intended speech from neuronal activity
US11073898B2 (en) * 2018-09-28 2021-07-27 Apple Inc. IMU for touch detection
US10949086B2 (en) * 2018-10-29 2021-03-16 The Board Of Trustees Of The Leland Stanford Junior University Systems and methods for virtual keyboards for high dimensional controllers
US10890982B2 (en) 2018-12-18 2021-01-12 Samsung Electronics Co., Ltd. System and method for multipurpose input device for two-dimensional and three-dimensional environments
US11367416B1 (en) * 2019-06-27 2022-06-21 Apple Inc. Presenting computer-generated content associated with reading content based on user interactions
US10949671B2 (en) * 2019-08-03 2021-03-16 VIRNECT inc. Augmented reality system capable of manipulating an augmented reality object and an augmented reality method using the same
US11640204B2 (en) 2019-08-28 2023-05-02 The Board Of Trustees Of The Leland Stanford Junior University Systems and methods decoding intended symbols from neural activity
CN113766293B (zh) * 2020-06-05 2023-03-21 北京字节跳动网络技术有限公司 信息显示方法、装置、终端及存储介质
US11409359B1 (en) * 2021-08-06 2022-08-09 Kinoo, Inc. Systems and methods for collective control of virtual objects
US20240265647A1 (en) * 2021-10-18 2024-08-08 Toshiba Digital Solutions Corporation Content display device, content display program, content display method, and content display system
US20240187463A1 (en) * 2022-12-01 2024-06-06 Microsoft Technology Licensing, Llc Managing inking events from remote inking devices during online meetings

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100106203A (ko) * 2009-03-23 2010-10-01 삼성전자주식회사 멀티 텔레포인터, 가상 객체 표시 장치, 및 가상 객체 제어 방법

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7324085B2 (en) * 2002-01-25 2008-01-29 Autodesk, Inc. Techniques for pointing to locations within a volumetric display
US10150033B2 (en) * 2010-08-20 2018-12-11 Nintendo Co., Ltd. Position calculation system, position calculation device, storage medium storing position calculation program, and position calculation method
JP5692904B2 (ja) * 2010-11-17 2015-04-01 任天堂株式会社 入力システム、情報処理装置、情報処理プログラム、および指示位置算出方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100106203A (ko) * 2009-03-23 2010-10-01 삼성전자주식회사 멀티 텔레포인터, 가상 객체 표시 장치, 및 가상 객체 제어 방법

Also Published As

Publication number Publication date
US20130314320A1 (en) 2013-11-28
KR20130131122A (ko) 2013-12-03

Similar Documents

Publication Publication Date Title
KR101463540B1 (ko) 휴대용 전자 기기를 이용한 3차원 가상 커서 제어 방법
US11635869B2 (en) Display device and method of controlling the same
KR102209099B1 (ko) 터치스크린을 가지는 전자 장치 및 이의 제어 방법
US11899903B2 (en) Display device and method of controlling the same
US9223416B2 (en) Display apparatus, remote controlling apparatus and control method thereof
CN107122092B (zh) 显示装置及用于提供显示装置的图形用户界面的方法
US8839136B2 (en) Method of controlling virtual object or view point on two dimensional interactive display
US9798456B2 (en) Information input device and information display method
KR102378570B1 (ko) 휴대 장치 및 휴대 장치의 화면 변경방법
KR20140073399A (ko) 디스플레이 장치 및 제어 방법
KR20140068573A (ko) 디스플레이 장치 및 그 제어 방법
KR20140013816A (ko) 복수 어플리케이션을 실행하는 디스플레이 장치 및 그 제어 방법
KR102301053B1 (ko) 디스플레이 장치 및 그 제어 방법
KR20140118338A (ko) 복수 어플리케이션을 실행하는 디스플레이 장치 및 그 제어 방법
US10719147B2 (en) Display apparatus and control method thereof
CN103870131A (zh) 一种控制电子设备的方法及电子设备
KR20170007966A (ko) 측면 터치 조합을 이용한 스마트 디바이스 조작 방법 및 장치
US10101905B1 (en) Proximity-based input device
KR102360249B1 (ko) 디스플레이 장치 및 제어 방법
KR20140028352A (ko) 복수 어플리케이션을 실행하는 장치 및 그 방법
KR20140087480A (ko) 복수 어플리케이션을 실행하는 디스플레이 장치 및 그 제어 방법
KR102117450B1 (ko) 디스플레이 장치 및 그 제어 방법
KR20140076395A (ko) 어플리케이션을 실행하는 디스플레이 장치 및 그 제어 방법
KR101507595B1 (ko) 제스처를 이용한 기능 실행 방법 및 이를 위한 휴대용 전자 장치
KR20110137050A (ko) 표시부를 구비한 핸드 헬드 기기 및 상기 표시부에 표시되는 객체를 탐색하는 방법

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

St.27 status event code: A-0-1-A10-A12-nap-PA0109

PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

D13-X000 Search requested

St.27 status event code: A-1-2-D10-D13-srh-X000

D14-X000 Search report completed

St.27 status event code: A-1-2-D10-D14-srh-X000

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

T11-X000 Administrative time limit extension requested

St.27 status event code: U-3-3-T10-T11-oth-X000

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

T11-X000 Administrative time limit extension requested

St.27 status event code: U-3-3-T10-T11-oth-X000

AMND Amendment
E13-X000 Pre-grant limitation requested

St.27 status event code: A-2-3-E10-E13-lim-X000

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

PN2301 Change of applicant

St.27 status event code: A-3-3-R10-R13-asn-PN2301

St.27 status event code: A-3-3-R10-R11-asn-PN2301

PE0801 Dismissal of amendment

St.27 status event code: A-2-2-P10-P12-nap-PE0801

E601 Decision to refuse application
PE0601 Decision on rejection of patent

St.27 status event code: N-2-6-B10-B15-exm-PE0601

T11-X000 Administrative time limit extension requested

St.27 status event code: U-3-3-T10-T11-oth-X000

AMND Amendment
P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

PX0901 Re-examination

St.27 status event code: A-2-3-E10-E12-rex-PX0901

PX0701 Decision of registration after re-examination

St.27 status event code: A-3-4-F10-F13-rex-PX0701

X701 Decision to grant (after re-examination)
GRNT Written decision to grant
PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PR1002 Payment of registration fee

St.27 status event code: A-2-2-U10-U11-oth-PR1002

Fee payment year number: 1

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601

FPAY Annual fee payment

Payment date: 20171101

Year of fee payment: 4

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 4

FPAY Annual fee payment

Payment date: 20181101

Year of fee payment: 5

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 5

FPAY Annual fee payment

Payment date: 20191028

Year of fee payment: 6

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 6

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 7

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 8

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 9

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 10

PN2301 Change of applicant

St.27 status event code: A-5-5-R10-R13-asn-PN2301

St.27 status event code: A-5-5-R10-R11-asn-PN2301

PC1903 Unpaid annual fee

St.27 status event code: A-4-4-U10-U13-oth-PC1903

Not in force date: 20241114

Payment event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE

H13 Ip right lapsed

Free format text: ST27 STATUS EVENT CODE: N-4-6-H10-H13-OTH-PC1903 (AS PROVIDED BY THE NATIONAL OFFICE); TERMINATION CATEGORY : DEFAULT_OF_REGISTRATION_FEE

Effective date: 20241114

PC1903 Unpaid annual fee

St.27 status event code: N-4-6-H10-H13-oth-PC1903

Ip right cessation event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE

Not in force date: 20241114