KR102354559B1 - Multi-kinds interface devices for content control - Google Patents

Multi-kinds interface devices for content control Download PDF

Info

Publication number
KR102354559B1
KR102354559B1 KR1020210111655A KR20210111655A KR102354559B1 KR 102354559 B1 KR102354559 B1 KR 102354559B1 KR 1020210111655 A KR1020210111655 A KR 1020210111655A KR 20210111655 A KR20210111655 A KR 20210111655A KR 102354559 B1 KR102354559 B1 KR 102354559B1
Authority
KR
South Korea
Prior art keywords
pointer
movement
event
foot
layout
Prior art date
Application number
KR1020210111655A
Other languages
Korean (ko)
Inventor
김윤상
이영승
김수영
Original Assignee
한국기술교육대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국기술교육대학교 산학협력단 filed Critical 한국기술교육대학교 산학협력단
Priority to KR1020210111655A priority Critical patent/KR102354559B1/en
Application granted granted Critical
Publication of KR102354559B1 publication Critical patent/KR102354559B1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0334Foot operated pointing devices
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03543Mice or pucks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04812Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus

Abstract

A multi-type interface device for content control, according to the present invention, is configured to control content stored in a device by sensing a position of a foot of a user. The multi-type interface device comprises: a base part on which a left foot and a right foot of a user are seated; a foot position measurement unit which senses positions of the left and right feet of the user located on the base part in real time, respectively; and an interface unit which receives the positions of the left and right feet of the user from the foot position measurement unit, renders the positions as a virtual first pointer and a second pointer on a viewport screen of the device, controls the first pointer and the second pointer according to preset motions of the left and right feet of the user, and generates at least one event for manipulating the content. The multi-type interface device for content control can be used for rehabilitation treatment, and thus, a patient can receive rehabilitation treatment anywhere, any time by using the multi-type interface device.

Description

콘텐츠 제어용 다종 인터페이스 장치{Multi-kinds interface devices for content control}Multi-kinds interface devices for content control

본 발명은 발 동작 기반 콘텐츠를 조작하기 위하여 터치/마우스, 조이스틱, 키보드 이벤트를 발생시킬 수 있는 콘텐츠 제어용 다종 인터페이스 장치에 관한 것이다. The present invention relates to a multi-interface device for content control capable of generating touch/mouse, joystick, and keyboard events to manipulate content based on foot motion.

일반적으로 컴퓨터와 같은 전자 장치로 데이터와 명령을 보내는 구성에서의 인터페이스 장치는, 컴퓨터 화면 위에서 커서 또는 아이콘 등을 이동시키는 방식으로 데이터나 명령을 입력하는 마우스, 글자와 기능에 해당되는 복수의 키를 포함하여 구성되는 키보드, 비디오 게임 등을 위해 물체나 캐릭터의 움직임을 지시하는 조이스틱 등을 포함한다. In general, an interface device in a configuration that transmits data and commands to an electronic device such as a computer uses a mouse for inputting data or commands in a manner that moves a cursor or icon on a computer screen, and a plurality of keys corresponding to letters and functions. and a joystick for instructing the movement of an object or character for a keyboard, a video game, and the like configured to include.

무선통신 네트워크와 로봇공학의 비약적인 발전으로 인해 무인자동차나 로봇장치의 개발이 이루어지고, 이들에 대한 데이터 및 명령의 입력이나 전송을 위한 다양한 인터페이스 장치가 요구되고 있다. 그러나 새로운 형태의 웨어러블 디바이스는 물론이고 종래 사용되던 마우스, 조이스틱 장치 등은 일반 컴퓨터나 단순한 게임기를 넘어 다양한 자동화 장치와 결합하기 위해서는 한계가 있다. Due to the rapid development of wireless communication networks and robotics, unmanned vehicles or robot devices are being developed, and various interface devices for inputting or transmitting data and commands are required. However, not only new types of wearable devices, but also conventionally used mice and joysticks have limitations in combining them with various automation devices beyond a general computer or a simple game machine.

한편, 척추 손상이나 뇌 손상 등의 부상을 입은 환자의 경우 보행장애로 인해 일상생활에 어려움을 끼치고 있다. 이러한 손상된 운동기능을 회복시키기 위해서는 습관에 맞는 계획적인 재활운동을 시작해야 환자가 치료과정에서 습득할 수 있는 나쁜 습관을 배제하고 정상 상태에 가깝게 회복될 수 있다. On the other hand, in the case of a patient who has suffered an injury such as a spinal injury or a brain injury, it is difficult to carry out daily life due to a gait disorder. In order to restore these damaged motor functions, a planned rehabilitation exercise according to the habit must be started so that bad habits that the patient can acquire in the course of treatment are excluded and the patient can be restored to a normal state.

그러나 종래의 재활운동의 경우 재활치료 전문가의 판단에 의해 수행되기 때문에 원하는 시간 및 장소에서 재활치료를 수행하기 어렵고, 비용적 부담이 큰 문제가 있다. 따라서, 집에서도 재활치료를 수행할 수 있도록 발 동작을 기반으로 한 인터페이스를 사용하여 콘텐츠를 조작할 수 있는 기술의 개발이 요구되고 있다. However, in the case of the conventional rehabilitation exercise, since it is performed by the judgment of a rehabilitation therapist, it is difficult to perform rehabilitation treatment at a desired time and place, and there is a problem in that the cost burden is large. Therefore, there is a need for development of a technology capable of manipulating content using an interface based on foot motion so that rehabilitation can be performed even at home.

등록특허공보 10-1860753 (2018.05.17 공고)Registered Patent Publication No. 10-1860753 (2018.05.17 Announcement)

본 발명의 과제는 발 동작 기반 콘텐츠를 조작하기 위하여 터치/마우스, 조이스틱, 키보드 이벤트를 발생시킬 수 있는 콘텐츠 제어용 다종 인터페이스 장치를 제공함에 있다.An object of the present invention is to provide a multi-faceted interface device for content control capable of generating touch/mouse, joystick, and keyboard events in order to manipulate content based on foot motion.

상기의 과제를 달성하기 위한 본 발명에 따른 콘텐츠 제어용 다종 인터페이스 장치는 사용자의 발 위치를 감지하여 디바이스에 저장된 콘텐츠를 제어하기 위한 콘텐츠 제어용 다종 인터페이스 장치에 있어서, 사용자의 좌측 발과 우측 발이 안착되는 베이스부; 상기 베이스부 상에 위치한 상기 사용자의 좌측 발과 우측 발의 위치를 각각 실시간으로 감지하는 발 위치 측정부; 및 상기 발 위치 측정부로부터 사용자의 좌측 발 위치와 우측 발 위치를 수신하여 상기 디바이스의 뷰포트 화면 상에 가상의 제1 포인터와 제2 포인터로 렌더링하고, 상기 사용자의 좌측 발 및 우측 발의 기설정된 동작에 따라 상기 제1 포인터와 제2 포인터를 제어하여 상기 콘텐츠를 조작하기 위한 적어도 하나의 이벤트를 발생시키는 인터페이스부;를 포함할 수 있다. In order to achieve the above object, the multi-interface device for content control according to the present invention is a multi-interface device for content control for controlling content stored in the device by sensing the position of the user's foot, the base on which the user's left foot and right foot are seated wealth; a foot position measuring unit that senses the positions of the user's left and right feet located on the base unit in real time, respectively; and receiving the user's left and right foot positions from the foot position measuring unit and rendering them as virtual first and second pointers on the viewport screen of the device, and preset motions of the user's left and right feet and an interface unit for generating at least one event for manipulating the content by controlling the first pointer and the second pointer according to the present invention.

또한, 상기 인터페이스부는 터치/마우스 이벤트를 발생시키는 좌표 이동형 인터페이스를 포함할 수 있다. Also, the interface unit may include a coordinate movement type interface that generates a touch/mouse event.

또한, 상기 좌표 이동형 인터페이스는 상기 사용자의 좌측 발과 우측 발의 위치에 따라 상기 뷰포트 화면 상에서 상기 제1 포인터와 제2 포인터의 위치를 제어하고, 상기 뷰포트 화면 상에서 출력되는 객체가 기설정된 크기로 생성된 상기 제1 포인터와 제2 포인터의 영역 중 적어도 하나에 위치하였을 때, 좌측 발 및/또는 우측 발의 기설정된 발 동작이 수행되면 상기 객체에 대하여 상기 터치/마우스 이벤트를 제공할 수 있다. In addition, the coordinate movement interface controls the positions of the first pointer and the second pointer on the viewport screen according to the positions of the user's left and right feet, and the object output on the viewport screen is created with a preset size. The touch/mouse event may be provided to the object when a preset foot motion of the left foot and/or the right foot is performed when positioned in at least one of the regions of the first pointer and the second pointer.

또한, 상기 좌표 이동형 인터페이스는 상기 뷰포트 화면 상에 표시되는 커서의 이동을 조작하기 위한 좌표 이동 레이아웃과, 상기 커서를 이용하여 상기 터치/마우스 이벤트를 발생시키기 위한 이벤트 레이아웃을 상기 뷰포트 화면 상에 렌더링하고, 상기 제1 포인터 또는 상기 제2 포인터가 상기 좌표 이동 레이아웃 내에 위치한 상태에서 기설정된 발 동작이 수행되면 상기 제1 포인터 또는 상기 제2 포인터의 움직임과 상기 커서의 움직임을 동기화하여 상기 커서의 움직임을 활성화시키고, 상기 커서의 움직임이 활성화된 상태에서 기설정된 발 동작이 수행되면 상기 제1 포인터 또는 상기 제2 포인터의 움직임과 상기 커서의 움직임에 대한 동기화를 해제하여 상기 커서의 움직임을 비활성화시키며, 상기 제1 포인터 또는 상기 제2 포인터가 상기 이벤트 레이아웃 내에 위치한 상태에서 기설정된 발 동작이 수행되면 상기 뷰포트 화면 상에서 출력되는 객체에 대하여 상기 터치/마우스 이벤트를 제공할 수 있다. In addition, the coordinate movement interface renders a coordinate movement layout for manipulating the movement of the cursor displayed on the viewport screen and an event layout for generating the touch/mouse event using the cursor on the viewport screen, , when a preset foot operation is performed while the first pointer or the second pointer is positioned in the coordinate movement layout, the movement of the cursor is synchronized with the movement of the first or second pointer activation, and when a preset foot operation is performed while the movement of the cursor is activated, the movement of the first pointer or the second pointer and synchronization of the movement of the cursor are released to deactivate the movement of the cursor, When a preset foot motion is performed while the first pointer or the second pointer is positioned in the event layout, the touch/mouse event may be provided to an object output on the viewport screen.

또한, 상기 인터페이스부는 조이스틱 이벤트를 발생시키는 축 제어형 인터페이스를 포함할 수 있다. In addition, the interface unit may include an axis-controlled interface for generating a joystick event.

또한, 상기 축 제어형 인터페이스는 상기 뷰포트 화면 상에서 출력되는 객체에 상하 이동 이벤트를 제공하는 상하 이동제어 레이아웃과, 좌우 이동 이벤트를 제공하는 좌우 이동제어 레이아웃을 렌더링하고, 상기 제1 포인터 또는 상기 제2 포인터가 상기 상하 이동제어 레이아웃에 내에 위치한 상태에서 기설정된 발 동작이 수행되면 상기 제1 포인터 또는 상기 제2 포인터의 움직임과 상기 객체의 움직임을 동기화하여 상기 객체의 상하방향 움직임을 활성화시키고, 상기 객체의 상하방향 움직임이 활성화된 상태에서 기설정된 발 동작이 수행되면 상기 객체의 상하방향 움직임을 비활성화시키며, 상기 제1 포인터 또는 상기 제2 포인터가 상기 좌우 이동제어 레이아웃에 내에 위치한 상태에서 기설정된 발 동작이 수행되면 상기 제1 포인터 또는 상기 제2 포인터의 움직임과 상기 객체의 움직임을 동기화하여 상기 객체의 좌우방향 움직임을 활성화시키고, 상기 객체의 좌우방향 움직임이 활성화된 상태에서 기설정된 발 동작이 수행되면 상기 객체의 좌우방향 움직임을 비활성화시킬 수 있다. In addition, the axis-controlled interface renders a vertical movement control layout that provides a vertical movement event to an object output on the viewport screen and a left-right movement control layout that provides a horizontal movement event, and the first pointer or the second pointer When a preset foot motion is performed while being positioned in the vertical movement control layout, the movement of the first pointer or the second pointer is synchronized with the movement of the object to activate the vertical movement of the object, and When a preset foot motion is performed while the vertical motion is activated, the vertical motion of the object is deactivated, and the preset foot motion is performed while the first pointer or the second pointer is positioned within the left/right movement control layout. When performed, the movement of the first pointer or the second pointer is synchronized with the movement of the object to activate the left-right movement of the object. You can disable the left and right movement of an object.

또한, 상기 인터페이스부는 키보드 이벤트를 발생시키는 키 입력형 인터페이스를 포함할 수 있다. In addition, the interface unit may include a key input type interface for generating a keyboard event.

또한, 상기 키 입력형 인터페이스는 상기 제1 포인터 또는 상기 제2 포인터가 상기 뷰포트 화면 내에 위치한 상태에서 기설정된 발 동작이 수행되면 상기 뷰포트 화면 상에 이벤트 목록을 포함하는 적어도 하나의 키 입력 레이아웃을 생성하고, 상기 제1 포인터 또는 상기 제2 포인터가 상기 키 입력 레이아웃 내에 위치한 상태에서 기설정된 발 동작이 수행되면 키보드 이벤트를 제공할 수 있다. In addition, the key input interface generates at least one key input layout including an event list on the viewport screen when a preset foot motion is performed while the first pointer or the second pointer is positioned within the viewport screen. and a keyboard event may be provided when a preset foot motion is performed while the first pointer or the second pointer is positioned in the key input layout.

또한, 상기 키 입력형 인터페이스는 상기 뷰포트 화면 상에 키보드 이벤트를 제공하는 적어도 하나의 키 입력 레이아웃을 렌더링하고, 상기 제1 포인터 또는 상기 제2 포인터가 상기 키 입력 레이아웃 내에 위치한 상태에서 기설정된 발 동작이 수행되면 상기 뷰포트 화면 상에 기저장된 키보드 이벤트를 제공할 수 있다. In addition, the key input interface renders at least one key input layout that provides a keyboard event on the viewport screen, and a preset foot motion in a state where the first pointer or the second pointer is located in the key input layout When this is performed, a keyboard event stored in advance on the viewport screen may be provided.

본 발명에 따르면, 인터페이스부가 발 동작 기반 콘텐츠를 조작할 때 터치/마우스, 조이스틱, 키보드 이벤트를 발생시킬 수 있도록 제공됨에 따라, 발 동작을 기반으로 한 콘텐츠의 종류를 확대할 수 있게 된다. According to the present invention, as the interface unit is provided to generate touch/mouse, joystick, and keyboard events when manipulating content based on foot motion, types of content based on foot motion can be expanded.

또한, 콘텐츠 제어용 다종 인터페이스 장치를 보행장애가 있는 사용자를 대상으로 한 재활치료용으로 사용할 경우, 원하는 시간 및 장소에서 재활치료가 가능하고 흥미를 유발하여 빠른 회복을 도울 수 있다. In addition, when a multi-interface device for content control is used for rehabilitation treatment for a user with a gait disorder, rehabilitation treatment can be performed at a desired time and place, and interest can be aroused to help quick recovery.

도 1은 본 발명의 일 실시예에 따른 콘텐츠 제어용 다종 인터페이스 장치의 구성도이다.
도 2는 도 1에 도시된 콘텐츠 제어용 다종 인터페이스 장치를 구현한 도면이다.
도 3은 도 2에 도시된 콘텐츠 제어용 다종 인터페이스를 이용한 좌표 이동형 인터페이스의 일실시예를 도시한 도면이다.
도 4는 도 2에 도시된 콘텐츠 제어용 다종 인터페이스를 이용한 좌표 이동형 인터페이스의 다른 실시예를 도시한 도면이다.
도 5는 도 3 및 도 4에 도시된 좌표 이동형 인터페이스의 작동순서를 나타낸 블록이다.
도 6은 도 2에 도시된 콘텐츠 제어용 다종 인터페이스를 이용한 축 제어형 인터페이스의 일실시예를 도시한 도면이다.
도 7은 도 2에 도시된 콘텐츠 제어용 다종 인터페이스를 이용한 축 제어형 인터페이스의 다른 실시예를 도시한 도면이다.
도 8은 도 6 및 도 7에 도시된 축 제어형 인터페이스의 작동순서를 나타낸 블록이다.
도 9는 도 2에 도시된 콘텐츠 제어용 다종 인터페이스를 이용한 키 입력형 인터페이스의 일실시예를 도시한 도면이다.
도 10은 도 9에 도시된 키 입력형 인터페이스에서 기설정된 발 동작이 수행되었을 때의 상태를 도시한 도면이다.
도 11은 도 9에 도시된 키 입력형 인터페이스의 작동순서를 나타낸 블록이다.
1 is a block diagram of a multi-interface device for content control according to an embodiment of the present invention.
FIG. 2 is a diagram of an implementation of the multi-interface device for content control shown in FIG. 1 .
FIG. 3 is a diagram illustrating an embodiment of a coordinate movement type interface using the multiple interfaces for content control shown in FIG. 2 .
FIG. 4 is a diagram illustrating another embodiment of the coordinate movement type interface using the multiple interfaces for content control shown in FIG. 2 .
5 is a block diagram showing an operation sequence of the coordinate movement type interface shown in FIGS. 3 and 4 .
FIG. 6 is a diagram illustrating an embodiment of an axis-controlled interface using the multiple interfaces for content control shown in FIG. 2 .
FIG. 7 is a diagram illustrating another embodiment of an axis-controlled interface using the multiple interfaces for content control shown in FIG. 2 .
8 is a block diagram illustrating an operation sequence of the axis-controlled interface shown in FIGS. 6 and 7 .
FIG. 9 is a diagram illustrating an embodiment of a key input type interface using the multiple interfaces for content control shown in FIG. 2 .
FIG. 10 is a diagram illustrating a state when a preset foot operation is performed in the key input type interface shown in FIG. 9 .
11 is a block diagram illustrating an operation sequence of the key input type interface shown in FIG. 9 .

이하 첨부된 도면을 참조하여, 바람직한 실시예에 따른 콘텐츠 제어용 다종 인터페이스 장치에 대해 상세히 설명하면 다음과 같다. 여기서, 동일한 구성에 대해서는 동일부호를 사용하며, 반복되는 설명, 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능 및 구성에 대한 상세한 설명은 생략한다. 발명의 실시형태는 당업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해서 제공되는 것이다. 따라서, 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다. Hereinafter, with reference to the accompanying drawings, a detailed description of a multi-interface device for content control according to a preferred embodiment is as follows. Here, the same reference numerals are used for the same components, and repeated descriptions and detailed descriptions of well-known functions and configurations that may unnecessarily obscure the gist of the invention will be omitted. The embodiments of the invention are provided in order to more completely explain the invention to those of ordinary skill in the art. Accordingly, the shapes and sizes of elements in the drawings may be exaggerated for clearer description.

도 1은 본 발명의 일 실시예에 따른 콘텐츠 제어용 다종 인터페이스 장치의 구성도이고, 도 2는 도 1에 도시된 콘텐츠 제어용 다종 인터페이스 장치를 구현한 도면이다. FIG. 1 is a block diagram of a multi-interface device for content control according to an embodiment of the present invention, and FIG. 2 is a diagram of an implementation of the multi-interface device for content control shown in FIG. 1 .

도 1 내지 도 2를 참조하면, 콘텐츠 제어용 다종 인터페이스 장치(100)는 사용자의 발 위치를 감지하여 디바이스(200)에 저장된 콘텐츠를 제어하기 위한 것으로서, 베이스부(110)와, 발 위치 측정부(120), 및 인터페이스부(130)를 포함할 수 있다. Referring to FIGS. 1 and 2 , the multi-interface device 100 for content control is for controlling the content stored in the device 200 by sensing the position of the user's foot, and includes a base unit 110 and a foot position measuring unit ( 120 ), and an interface unit 130 .

베이스부(110)는 사용자의 좌측 발과 우측 발이 안착되는 것으로서, 사각의 판 형상으로 형성될 수 있다. 베이스부(110)는 상부에 위치한 사용자의 발 동작 위치 데이터를 추적할 수 있는 영역으로, 내부에는 각종 전자부품을 수용할 수 있도록 수용공간이 형성될 수 있다. The base unit 110 may be formed in a rectangular plate shape as a user's left foot and right foot seated thereon. The base unit 110 is an area that can track the user's foot motion position data located on the upper part, and an accommodating space may be formed therein to accommodate various electronic components.

발 위치 측정부(120)는 베이스부(110) 상에 위치한 사용자의 좌측 발과 우측 발의 위치를 각각 실시간으로 감지할 수 있다. 발 위치 측정부(120)는 카메라 센서, 라이다(LIDAR) 센서, 적외선 센서 등으로 제공되어 베이스부(110)의 상부에 위치한 사용자의 좌측 발 및 우측 발의 위치를 감지할 수 있다. 예를 들어, 발 위치 측정부(120)는 카메라 센서 또는 라이다 센서를 이용하여 사용자의 양측 발을 촬영한 후 이를 3차원 포인트 클라우드로 생성할 수 있으며, 이러한 포인트 클라우드의 위치를 추적하는 방법으로 양측 발의 움직임, 속도, 및 위치 등을 검출할 수 있다. 이 밖에도 적외선 센서를 이용하여 사용자의 양측 발을 향해 적외선을 송출하고, 양측 발에서부터 반사되는 적외선 신호를 감지하는 방법으로 양측 발의 움직임, 속도, 및 위치 등을 검출할 수 있다. The foot position measuring unit 120 may sense the positions of the user's left and right feet positioned on the base unit 110 in real time, respectively. The foot position measuring unit 120 may be provided as a camera sensor, a LIDAR sensor, an infrared sensor, and the like to detect the position of the user's left foot and right foot positioned above the base unit 110 . For example, the foot position measurement unit 120 may use a camera sensor or a lidar sensor to photograph both feet of the user and then create it as a three-dimensional point cloud, and as a method of tracking the position of the point cloud, It is possible to detect the movement, speed, and position of both feet. In addition, by using an infrared sensor to transmit infrared rays toward both feet of the user and detect infrared signals reflected from both feet, the movement, speed, and position of both feet can be detected.

인터페이스부(130)는 발 위치 측정부(120)로부터 사용자의 좌측 발 위치와 우측 발 위치를 수신하여 디바이스(200)의 뷰포트(210) 화면 상에 가상의 제1 포인터(P1)와 제2 포인터(P2)로 렌더링하고, 사용자의 좌측 발 및 우측 발의 기설정된 동작에 따라 제1 포인터(P1)와 제2 포인터(P2)를 제어하여 콘텐츠를 조작하기 위한 적어도 하나의 이벤트를 발생시킬 수 있다. The interface unit 130 receives the user's left foot position and right foot position from the foot position measurement unit 120 , and displays the virtual first pointer P1 and the second pointer on the viewport 210 screen of the device 200 . At least one event for manipulating content may be generated by rendering to (P2) and controlling the first pointer P1 and the second pointer P2 according to preset motions of the user's left and right feet.

예를 들어, 인터페이스부(130)는 터치/마우스 이벤트를 발생시키는 좌표 이동형 인터페이스(131)와, 조이스틱 이벤트를 발생시키는 축 제어형 인터페이스(132)와, 키보드 이벤트를 발생시키는 키 입력형 인터페이스(133)를 포함할 수 있다. 이와 같이, 인터페이스부(130)가 발 동작 기반 콘텐츠를 조작할 때 터치/마우스, 조이스틱, 키보드 이벤트를 발생시킬 수 있도록 제공됨에 따라, 발 동작을 기반으로 한 콘텐츠의 종류를 확대할 수 있게 된다. For example, the interface unit 130 includes a coordinate movement interface 131 that generates a touch/mouse event, an axis control interface 132 that generates a joystick event, and a key input interface 133 that generates a keyboard event. may include As such, since the interface unit 130 is provided to generate touch/mouse, joystick, and keyboard events when manipulating content based on foot motion, types of content based on foot motion can be expanded.

도 3은 도 2에 도시된 콘텐츠 제어용 다종 인터페이스를 이용한 좌표 이동형 인터페이스의 일실시예를 도시한 도면이고, 도 4는 도 2에 도시된 콘텐츠 제어용 다종 인터페이스를 이용한 좌표 이동형 인터페이스의 다른 실시예를 도시한 도면이며, 도 5는 도 3 및 도 4에 도시된 좌표 이동형 인터페이스의 작동순서를 나타낸 블록이다. 3 is a diagram illustrating an embodiment of a coordinate movement type interface using the multi-type interface for content control shown in FIG. 2, and FIG. 4 shows another embodiment of the coordinate movement type interface using the multi-type interface for content control shown in FIG. It is a diagram, and FIG. 5 is a block showing the operation sequence of the coordinate movement type interface shown in FIGS. 3 and 4 .

도 3 내지 도 5를 참조하면, 인터페이스부(130)는 터치/마우스 이벤트를 발생시키는 좌표 이동형 인터페이스(131)를 포함할 수 있다. 이러한 좌표 이동형 인터페이스(131)는 베이스부(110) 상에서 사용자가 Step, Toe, Ball 등과 같이 기설정된 발 동작을 수행할 때, 현재 사용자의 발이 위치한 데이터를 디바이스(200)의 뷰포트(210) 화면 상에서 터치/마우스 이벤트로서 제공하는 것으로서, 뷰포트(210) 화면 상에 출력되는 제1 포인터(P1)와 제2 포인터(P2)를 직접 이동시킴으로써 터치/마우스 이벤트로 제공하는 직접 좌표 이동형 제공방법과, 제1 포인터(P1) 또는 제2 포인터(P2)의 움직임과 뷰포트(210) 화면 상에 표시되는 커서의 움직임을 동기화시키는 방법으로 터치/마우스 이벤트를 제공하는 간접 좌표 이동형 제공방법을 포함할 수 있다. 3 to 5 , the interface unit 130 may include a coordinate movement type interface 131 that generates a touch/mouse event. When the user performs a preset foot motion such as Step, Toe, Ball, etc. on the base unit 110 on the base unit 110 , the coordinate movement interface 131 displays data on the current location of the user's foot on the viewport 210 screen of the device 200 . A direct coordinate movement type providing method provided as a touch/mouse event as a touch/mouse event by directly moving the first pointer (P1) and the second pointer (P2) output on the viewport 210 screen; A method of synchronizing the movement of the first pointer P1 or the second pointer P2 and the movement of the cursor displayed on the viewport 210 screen may include an indirect coordinate movement type providing method for providing a touch/mouse event.

도 3은 직접 좌표 이동형 제공방법을 설명하기 위한 도면으로서, 도 3을 참조하면, 좌표 이동형 인터페이스(131)는 사용자의 좌측 발과 우측 발의 위치에 따라 뷰포트(210) 화면 상에서 제1 포인터(P1)와 제2 포인터(P2)의 위치를 제어하고, 뷰포트(210) 화면 상에서 출력되는 객체가 기설정된 크기로 생성된 제1 포인터(P1)와 제2 포인터(P2)의 영역 중 적어도 하나에 위치하였을 때, 좌측 발 및/또는 우측 발의 기설정된 발 동작이 수행되면 객체에 대하여 터치/마우스 이벤트를 제공할 수 있다. 3 is a view for explaining a direct coordinate movement type providing method. Referring to FIG. 3 , the coordinate movement type interface 131 is a first pointer P1 on the viewport 210 screen according to the positions of the user's left and right feet. and the second pointer P2, and the object output on the viewport 210 screen is located in at least one of the regions of the first pointer P1 and the second pointer P2 created with a preset size. At this time, when a preset foot motion of the left foot and/or the right foot is performed, a touch/mouse event may be provided to the object.

예를 들어, 좌측 발 및 우측 발의 위치 데이터를 불러온 다음 좌측 발 및 우측 발의 위치 데이터가 뷰포트(210) 화면 상에서 위치하는 좌표를 계산한다. 이렇게 계산된 좌표를 참조하여 뷰포트(210) 화면 상에 제1 포인터(P1)와 제2 포인터(P2)로 출력한 후, 제1 포인터(P1)와 제2 포인터(P2)를 중심으로 기설정된 크기를 갖는 원형의 제1 포인터 영역(10)과 제2 포인터 영역(20)을 생성한다. 이러한 제1 포인터 영역(10)과 제2 포인터 영역(20)은 사용자의 발 크기와 비례하여 자동으로 설정될 수 있으며, 제1 포인터 영역(10)은 좌측 발에 의해 생성될 수 있고 제2 포인터 영역(20)은 우측 발에 의해 생성될 수 있다. 즉, 제1 포인터 영역(10)과 제2 포인터 영역(20)은 좌/우를 구분하여 동작할 수 있다. For example, after fetching the position data of the left foot and the right foot, the coordinates at which the position data of the left foot and the right foot are located on the viewport 210 screen are calculated. After referring to the calculated coordinates and outputting the first pointer P1 and the second pointer P2 on the screen of the viewport 210, preset values are set based on the first pointer P1 and the second pointer P2. A circular first pointer area 10 and a second pointer area 20 having a size are generated. The first pointer area 10 and the second pointer area 20 may be automatically set in proportion to the size of the user's foot, and the first pointer area 10 may be generated by the left foot and the second pointer Region 20 may be created by the right foot. That is, the first pointer area 10 and the second pointer area 20 may operate separately from left/right.

이에 따라, 사용자의 좌측 발 및 우측 발의 움직임과 동일하게 제1 포인터 영역(10)과 제2 포인터 영역(20) 또한 뷰포트(210) 화면 상에서 이동할 수 있게 되고, 이 상태에서 뷰포트(210) 화면 상에서 출력되는 객체가 제1 포인터 영역(10)과 제2 포인터 영역(20) 중 적어도 하나에 위치하였을 때, 사용자가 좌측 발 및/또는 우측 발의 기설정된 발 동작을 수행하면 객체에 대하여 터치/마우스 이벤트를 제공할 수 있게 된다. 일례로, 좌측 발에 의해 이동하는 제1 포인터 영역(10) 내에 객체 A, B가 포함되고, 우측 발에 의해 이동하는 제2 포인터 영역(20) 내에 객체 C가 포함된 상태에서 사용자가 좌측 발을 이용하여 터치/마우스 이벤트로써 설정한 특정 발 동작을 수행하면, 제1 포인터 영역(10) 내 위치한 객체 A, B에 대하여 기설정된 터치/마우스 이벤트를 제공할 수 있다. 반대로, 사용자가 우측 발을 이용하여 터치/마우스 이벤트로써 설정한 특정 발 동작을 수행하면, 제2 포인터 영역(20) 내 위치한 객체 C에 대하여 기설정된 터치/마우스 이벤트를 제공할 수 있다. 이 밖에도 양측 발을 이용하여 터치/마우스 이벤트로써 설정한 특정 발 동작을 수행하면, 제1 포인터 영역(10) 및 제2 포인터 영역(20) 내 위치한 객체 A, B, C 모두에 대하여 기설정된 터치/마우스 이벤트를 제공할 수 있다. 여기서, 제공되는 터치/마우스 이벤트는 마우스 장치에서의 좌 클릭 이벤트, 우 클릭 이벤트, 터치 스크린에서의 Short Press 이벤트 등을 포함할 수 있다.Accordingly, the first pointer area 10 and the second pointer area 20 can also be moved on the viewport 210 screen in the same manner as the user's left foot and right foot movement, and in this state, on the viewport 210 screen, When the output object is located in at least one of the first pointer area 10 and the second pointer area 20, if the user performs a preset foot motion of the left foot and/or the right foot, a touch/mouse event with respect to the object be able to provide For example, in a state in which the objects A and B are included in the first pointer area 10 moved by the left foot and the object C is included in the second pointer area 20 moved by the right foot, the user uses the left foot When a specific foot motion set as a touch/mouse event is performed using , a preset touch/mouse event may be provided to objects A and B located in the first pointer area 10 . Conversely, when the user performs a specific foot motion set as a touch/mouse event using the right foot, a preset touch/mouse event may be provided to the object C located in the second pointer area 20 . In addition, when a specific foot motion set as a touch/mouse event is performed using both feet, a preset touch is applied to all objects A, B, and C located in the first pointer area 10 and the second pointer area 20 . /Can provide mouse events. Here, the provided touch/mouse event may include a left click event in a mouse device, a right click event, and a Short Press event in a touch screen.

도 4는 간접 좌표 이동형 제공방법을 설명하기 위한 도면으로서, 도 4를 참조하면, 좌표 이동형 인터페이스(131)는 뷰포트(210) 화면 상에 표시되는 커서(C)의 이동을 조작하기 위한 좌표 이동 레이아웃(220)과, 커서(C)를 이용하여 터치/마우스 이벤트를 발생시키기 위한 이벤트 레이아웃(230)을 뷰포트(210) 화면 상에 렌더링할 수 있다. 그리고, 제1 포인터(P1) 또는 제2 포인터(P2)가 좌표 이동 레이아웃(220) 내에 위치한 상태에서 기설정된 발 동작이 수행되면 제1 포인터(P1) 또는 제2 포인터(P2)의 움직임과 커서(C)의 움직임을 동기화하여 커서(C)의 움직임을 활성화시키고, 커서(C)의 움직임이 활성화된 상태에서 기설정된 발 동작이 수행되면 제1 포인터(P1) 또는 제2 포인터(P2)의 움직임과 커서(C)의 움직임에 대한 동기화를 해제하여 커서(C)의 움직임을 비활성화시킬 수 있다. 그리고, 제1 포인터(P1) 또는 제2 포인터(P2)가 이벤트 레이아웃(230) 내에 위치한 상태에서 기설정된 발 동작이 수행되면 뷰포트(210) 화면 상에서 출력되는 객체에 대하여 터치/마우스 이벤트를 제공할 수 있다. 4 is a view for explaining an indirect coordinate movement type providing method. Referring to FIG. 4 , the coordinate movement type interface 131 is a coordinate movement layout for operating the movement of the cursor C displayed on the viewport 210 screen. 220 and an event layout 230 for generating a touch/mouse event using the cursor C may be rendered on the viewport 210 screen. In addition, when a preset foot motion is performed while the first pointer P1 or the second pointer P2 is positioned in the coordinate movement layout 220 , the movement of the first pointer P1 or the second pointer P2 and the cursor The movement of the cursor C is activated by synchronizing the movement of the cursor C, and when a preset foot operation is performed while the movement of the cursor C is activated, the movement of the first pointer P1 or the second pointer P2 is activated. The movement of the cursor C may be inactivated by releasing synchronization between the movement and the movement of the cursor C. In addition, when a preset foot motion is performed while the first pointer P1 or the second pointer P2 is positioned in the event layout 230 , a touch/mouse event is provided for an object output on the viewport 210 screen. can

즉, 좌표 이동형 인터페이스(131)는 뷰포트(210) 화면에 렌더링되는 좌표 이동 레이아웃(220)과 이벤트 레이아웃(230)을 통해 객체와 상호작용할 수 있다. 예를 들어, 제1 포인터(P1) 또는 제2 포인터(P2)가 좌표 이동 레이아웃(220) 내에 위치한 상태에서 사용자가 기설정된 특정 발 동작을 수행하면, 뷰포트(210) 화면 상에 표시되는 커서(C) 좌표를 C'측으로 이동시킬 수 있는 상태가 된다. 즉, 사용자의 초기 발 위치와 이동한 발 위치의 차이 값에 비례하여 커서(C)의 좌표가 이동하게 된다. 이 상태에서 다시 사용자가 특정 발 동작을 수행하면, 커서(C) 좌표의 이동 가능 상태는 해지될 수 있다. 일례로, 베이스부(110)에 사용자의 좌측 발 또는 우측 발이 접촉하면 커서(C)의 좌표는 이동 가능한 상태가 활성화되고, 좌측 발 또는 우측 발이 베이스부(110)로부터 떨어지면 커서(C)의 좌표는 이동 가능한 상태가 비활성화될 수 있다. 이 과정에서 좌측 발 또는 우측 발이 지면에 닿은 상태에서 이동한 거리(P → P') 만큼 커서(C) 좌표가 이동(C → C')하게 된다. 이때, 커서(C) 좌표가 객체 내에 일정 시간 동안 머무는 경우, 터치/마우스 이벤트에서의 Hover 이벤트가 발생될 수 있다. That is, the coordinate movement interface 131 may interact with the object through the coordinate movement layout 220 and the event layout 230 rendered on the viewport 210 screen. For example, when the user performs a predetermined specific foot motion while the first pointer P1 or the second pointer P2 is positioned in the coordinate movement layout 220, the cursor ( C) It is in a state where the coordinates can be moved to the C' side. That is, the coordinates of the cursor C move in proportion to the difference between the user's initial foot position and the moved foot position. In this state, if the user performs a specific foot motion again, the movable state of the cursor (C) coordinates may be canceled. For example, when the user's left foot or right foot comes into contact with the base unit 110 , the movable state is activated for the coordinates of the cursor C, and when the left foot or the right foot moves away from the base unit 110 , the coordinates of the cursor C The movable state may be deactivated. In this process, the cursor (C) coordinates move (C → C') as much as the distance (P → P') moved while the left foot or right foot touched the ground. In this case, when the cursor (C) coordinates stay in the object for a predetermined time, a hover event in a touch/mouse event may be generated.

이벤트 레이아웃(230)은 제1 이벤트 레이아웃(231)과, 제2 이벤트 레이아웃(232)을 포함할 수 있다. 제1 이벤트 레이아웃(231) 내에 제1 포인터(P1) 또는 제2 포인터(P2)가 위치한 상태에서 사용자가 특정 발 동작을 수행하면, 터치 인터페이스의 Short Press 이벤트 또는 마우스 인터페이스의 좌 클릭 이벤트를 제공할 수 있다. 그리고, 제2 이벤트 레이아웃(232) 내에 제1 포인터(P1) 또는 제2 포인터(P2)가 위치한 상태에서 사용자가 특정 발 동작을 수행하면, 터치 인터페이스의 Long Press 이벤트 또는 마우스 인터페이스의 우 클릭 이벤트를 제공할 수 있다. The event layout 230 may include a first event layout 231 and a second event layout 232 . When the user performs a specific foot motion while the first pointer P1 or the second pointer P2 is positioned in the first event layout 231, a Short Press event of the touch interface or a left-click event of the mouse interface is provided. can And, when the user performs a specific foot motion while the first pointer P1 or the second pointer P2 is positioned in the second event layout 232, a Long Press event of the touch interface or a right-click event of the mouse interface can provide

도 6은 도 2에 도시된 콘텐츠 제어용 다종 인터페이스를 이용한 축 제어형 인터페이스의 일실시예를 도시한 도면이고, 도 7은 도 2에 도시된 콘텐츠 제어용 다종 인터페이스를 이용한 축 제어형 인터페이스의 다른 실시예를 도시한 도면이며, 도 8은 도 6 및 도 7에 도시된 축 제어형 인터페이스의 작동순서를 나타낸 블록이다.FIG. 6 is a diagram showing one embodiment of an axis-controlled interface using the multiple interfaces for content control shown in FIG. 2, and FIG. 7 is another embodiment of the axis-controlled interface using the multiple interfaces for content control shown in FIG. It is a diagram, and FIG. 8 is a block showing the operation sequence of the axis-controlled interface shown in FIGS. 6 and 7 .

도 6 내지 도 8을 참조하면, 인터페이스부(130)는 사용자의 좌측 발 및 우측 발의 기설정된 동작에 따라 조이스틱 이벤트를 발생시키는 축 제어형 인터페이스(132)를 포함할 수 있다. 이러한 축 제어형 인터페이스(132)는 베이스부(110) 상에서 사용자가 Step, Toe, Ball 등과 같이 기설정된 발 동작을 수행할 때, 상하 좌우 이동 이벤트를 제공할 수 있다. 6 to 8 , the interface unit 130 may include an axis-controlled interface 132 that generates a joystick event according to preset motions of the user's left and right feet. The axis-controlled interface 132 may provide up/down/left/right movement events when the user performs a preset foot motion such as Step, Toe, Ball, etc. on the base unit 110 .

예를 들어, 축 제어형 인터페이스(132)는 디바이스(200)는 뷰포트(210) 화면 상에서 출력되는 객체에 상하 이동 이벤트를 제공하는 상하 이동제어 레이아웃(240)과, 좌우 이동 이벤트를 제공하는 좌우 이동제어 레이아웃(250)을 렌더링할 수 있다. 그리고, 제1 포인터(P1) 또는 제2 포인터(P2)가 상하 이동제어 레이아웃(240)에 내에 위치한 상태에서 기설정된 발 동작이 수행되면 제1 포인터(P1) 또는 제2 포인터(P2)의 움직임과 객체의 움직임을 동기화하여 객체의 상하방향 움직임을 활성화시키고, 객체의 상하방향 움직임이 활성화된 상태에서 기설정된 발 동작이 수행되면 객체의 상하방향 움직임을 비활성화시킬 수 있다. 그리고, 제1 포인터(P1) 또는 제2 포인터(P2)가 좌우 이동제어 레이아웃(250)에 내에 위치한 상태에서 기설정된 발 동작이 수행되면 제1 포인터(P1) 또는 제2 포인터(P2)의 움직임과 객체의 움직임을 동기화하여 객체의 좌우방향 움직임을 활성화시키고, 객체의 좌우방향 움직임이 활성화된 상태에서 기설정된 발 동작이 수행되면 객체의 좌우방향 움직임을 비활성화시킬 수 있다. For example, in the axis-controlled interface 132 , the device 200 provides a vertical movement control layout 240 that provides a vertical movement event to an object output on the viewport 210 screen, and a left and right movement control that provides a left and right movement event. Layout 250 may be rendered. In addition, when a preset foot operation is performed while the first pointer P1 or the second pointer P2 is positioned in the vertical movement control layout 240 , the movement of the first pointer P1 or the second pointer P2 is performed. The vertical movement of the object is activated by synchronizing the movement of the object and the vertical movement of the object, and when a preset foot motion is performed while the vertical movement of the object is activated, the vertical movement of the object may be inactivated. And, when a preset foot operation is performed while the first pointer P1 or the second pointer P2 is positioned in the left/right movement control layout 250, the movement of the first pointer P1 or the second pointer P2 The left-right movement of the object is activated by synchronizing the movement of the object with the left-right movement, and when a preset foot motion is performed while the left-right movement of the object is activated, the left-right movement of the object may be inactivated.

구체적으로, 제1 포인터(P1) 또는 제2 포인터(P2)가 상하 이동제어 레이아웃(240) 내에 위치한 상태에서 사용자가 기설정된 특정 발 동작을 수행하면, 객체에 대하여 상하 이동 이벤트를 발생할 수 있는 상태가 된다. 즉, 사용자의 초기 발 위치와 이동한 발 위치의 차이 값에 비례하여 객체를 상하 방향으로 이동시킬 수 있게 된다. 여기서, 상하 방향이란 뷰포트(210) 상에서 Y축을 의미한다. 이 상태에서 사용자가 기설정된 특정 발 동작을 수행하면, 상하 방향으로의 이동 가능 상태는 해지될 수 있다. 일례로, 사용자의 좌측 발 또는 우측 발이 베이스부(110)에 접촉한 상태에서 상하 이동제어 레이아웃(240) 내에 제1 포인터(P1) 또는 제2 포인터(P2)가 위치하면 상하 방향으로의 움직임 가능 상태가 활성화되고, 사용자의 좌측 발 또는 우측 발이 베이스부(110)로부터 떨어지면 상하 방향으로의 움직임은 비할성화 상태가 된다. Specifically, when the user performs a predetermined specific foot motion while the first pointer P1 or the second pointer P2 is positioned within the vertical movement control layout 240, a state in which a vertical movement event can be generated with respect to an object becomes That is, it is possible to move the object in the vertical direction in proportion to the difference value between the user's initial position of the foot and the position of the moved foot. Here, the vertical direction means the Y-axis on the viewport 210 . In this state, if the user performs a predetermined specific foot motion, the vertical movement possible state may be canceled. For example, when the first pointer P1 or the second pointer P2 is positioned in the vertical movement control layout 240 in a state in which the user's left foot or right foot is in contact with the base unit 110, movement in the vertical direction is possible. When the state is activated and the user's left foot or right foot moves away from the base unit 110 , the vertical movement becomes inactive.

이와 마찬가지로, 사용자의 좌측 발 또는 우측 발이 베이스부(110)에 접촉한 상태에서 좌우 이동제어 레이아웃(250) 내에 제1 포인터(P1) 또는 제2 포인터(P2)가 위치하면 좌우 방향으로의 움직임 가능 상태가 활성화되고, 사용자의 좌측 발 또는 우측 발이 베이스부(110)로부터 떨어지면 좌우 방향으로의 움직임은 비할성화 상태가 된다. 여기서, 좌우 방향이란 뷰포트(210) 상에서 X축을 의미한다. Similarly, when the first pointer P1 or the second pointer P2 is positioned in the left and right movement control layout 250 while the user's left foot or right foot is in contact with the base unit 110, movement in the left and right directions is possible. When the state is activated and the user's left foot or right foot is separated from the base unit 110 , the movement in the left and right direction is deactivated. Here, the left-right direction means the X-axis on the viewport 210 .

한편, 상하 이동제어 레이아웃(240)과 좌우 이동제어 레이아웃(250)은 도 6에 도시된 바와 같이 좌측 및 우측에 별도로 제공되거나 도 7에 도시된 바와 같이 하나의 상하/좌우 이동제어 레이아웃(260)으로 제공될 수 있다. On the other hand, the vertical movement control layout 240 and the left and right movement control layout 250 are provided separately on the left and right sides as shown in FIG. 6 or as one vertical/left movement control layout 260 as shown in FIG. 7 . can be provided as

도 9는 도 2에 도시된 콘텐츠 제어용 다종 인터페이스를 이용한 키 입력형 인터페이스의 일실시예를 도시한 도면이고, 도 10은 도 9에 도시된 키 입력형 인터페이스에서 기설정된 발 동작이 수행되었을 때의 상태를 도시한 도면이며, 도 11은 도 9에 도시된 키 입력형 인터페이스의 작동순서를 나타낸 블록이다. 9 is a view showing an embodiment of a key input type interface using the multi-interface for content control shown in FIG. It is a view showing the state, and FIG. 11 is a block showing the operation sequence of the key input type interface shown in FIG.

도 9 내지 도 11을 참조하면, 인터페이스부(130)는 키보드 이벤트를 발생시키는 키 입력형 인터페이스(133)를 포함할 수 있다. 이러한 키 입력형 인터페이스(133)는 베이스부(110) 상에서 사용자가 Step, Toe, Ball 등과 같이 기설정된 발 동작을 수행할 때, 디바이스(200)에 맵핑된 키보드 이벤트를 제공할 수 있다. 여기서, 키보드 이벤트는 키 입력 레이아웃(270)을 생성한 후 제공할 수 있는데, 키 입력 레이아웃(270)은 사용자에 생성되거나 콘텐츠 개발자에 의해 디바이스(200)에 저장될 수 있다. 9 to 11 , the interface unit 130 may include a key input type interface 133 that generates a keyboard event. The key input interface 133 may provide a keyboard event mapped to the device 200 when the user performs a preset foot motion such as Step, Toe, Ball, etc. on the base unit 110 . Here, the keyboard event may be provided after the key input layout 270 is generated, and the key input layout 270 may be generated by a user or stored in the device 200 by a content developer.

사용자에 의해 생성된 키 입력 레이아웃(270)을 사용하기 위한 방법으로서, 키 입력형 인터페이스(133)는 제1 포인터(P1) 또는 제2 포인터(P2)가 뷰포트(210) 화면 내에 위치한 상태에서 기설정된 발 동작이 수행되면 뷰포트(210) 화면 상에 이벤트 목록을 포함하는 적어도 하나의 키 입력 레이아웃(270)을 생성하고, 제1 포인터(P1) 또는 제2 포인터(P2)가 키 입력 레이아웃(270) 내에 위치한 상태에서 기설정된 발 동작이 수행되면 키보드 이벤트를 제공할 수 있다. As a method for using the key input layout 270 created by the user, the key input type interface 133 is displayed in a state where the first pointer P1 or the second pointer P2 is positioned within the viewport 210 screen. When the set foot motion is performed, at least one key input layout 270 including an event list is generated on the viewport 210 screen, and the first pointer P1 or the second pointer P2 is the key input layout 270 . ), a keyboard event may be provided when a preset foot motion is performed in a state located within.

예를 들어, 뷰포트(210) 화면 내에 위치한 제1 포인터(P1) 또는 제2 포인터(P2)의 좌표를 기준으로 하여 사용자의 좌측 발 또는 우측 발을 이동시킨 후, 사용자의 초기 발 위치와 이동한 발 위치의 거리 값을 반지름으로 하여 뷰포트(210) 화면 상에 원형 또는 사각의 키 입력 레이아웃(270)을 생성할 수 있다. 이 밖에도 사용자의 양측 발 중에서 하나의 발에서 기설정된 특정 동작이 수행되었을 때, 두 발 동작 좌표의 중앙인 제1 포인터(P1)와 제2 포인터(P2)의 사이를 키 입력 레이아웃(270)의 중심점으로 설정한 후, 제1 포인터(P1)와 제2 포인터(P2) 사이의 거리 값의 ½을 반지름으로 하여 뷰포트(210) 화면 상에 원형 또는 사각의 키 입력 레이아웃(270)을 생성할 수 있다. 이러한 동작을 반복적으로 수행함으로써, 복수의 키 입력 레이아웃(270)을 생성할 수 있게 된다. For example, after moving the user's left foot or right foot based on the coordinates of the first pointer P1 or the second pointer P2 located in the viewport 210 screen, the user's initial foot position and movement A circular or square key input layout 270 may be generated on the viewport 210 screen by using the distance value of the foot position as the radius. In addition, when a predetermined specific motion is performed on one of both feet of the user, the key input layout 270 is located between the first pointer P1 and the second pointer P2, which are the center of the motion coordinates of the two feet. After setting as the center point, a circular or square key input layout 270 can be created on the viewport 210 screen by using ½ of the distance value between the first pointer P1 and the second pointer P2 as the radius. have. By repeatedly performing this operation, a plurality of key input layouts 270 can be generated.

이렇게 적어도 하나의 키 입력 레이아웃(270)이 생성된 상태에서, 사용자의 좌측 발 또는 우측 발의 이동을 통해 제1 포인터(P1) 또는 제2 포인터(P2)를 키 입력 레이아웃(270) 내에 위치시킨 후 사용자가 기설정된 발 동작을 수행하면, 맵핑된 키보드 이벤트를 제공할 수 있게 된다. In a state in which at least one key input layout 270 is generated in this way, the first pointer P1 or the second pointer P2 is positioned in the key input layout 270 through movement of the user's left foot or right foot. When the user performs a preset foot motion, a mapped keyboard event may be provided.

콘텐츠 개발자에 의해 디바이스(200)에 저장된 키 입력 레이아웃(270)을 사용하기 위한 방법으로서, 키 입력형 인터페이스(133)는 뷰포트(210) 화면 상에 키보드 이벤트를 제공하는 적어도 하나의 키 입력 레이아웃(270)을 렌더링하고, 제1 포인터(P1) 또는 제2 포인터(P2)가 키 입력 레이아웃(270) 내에 위치한 상태에서 기설정된 발 동작이 수행되면 뷰포트(210) 화면 상에 기저장된 키보드 이벤트를 제공할 수 있다. A method for using a keystroke layout (270) stored on a device (200) by a content developer, wherein the keyed interface (133) includes at least one keystroke layout (270) that provides keyboard events on a viewport (210) screen. 270), and when a preset foot motion is performed while the first pointer P1 or the second pointer P2 is positioned within the key input layout 270, a keyboard event stored in advance on the viewport 210 screen is provided. can do.

예를 들어, 키 입력 레이아웃(270)은 뷰포트(210) 화면의 특정 영역을 설정하여 적어도 하나의 키 입력 레이아웃(270)을 미리 렌더링하여 제공할 수 있으며, 사용자의 좌측 발 또는 우측 발의 이동을 통해 제1 포인터(P1) 또는 제2 포인터(P2)를 키 입력 레이 아웃 내에 위치시킨 후 사용자가 기설정된 발 동작을 수행하는 방법으로, 맵핑된 특정 키보드 이벤트를 제공할 수 있게 된다. For example, the key input layout 270 may pre-render and provide at least one key input layout 270 by setting a specific area of the viewport 210 screen, and may be provided by moving the user's left foot or right foot. In a method in which the user performs a preset foot motion after positioning the first pointer P1 or the second pointer P2 in the key input layout, a specific mapped keyboard event can be provided.

전술한 바와 같이, 콘텐츠 제어용 다종 인터페이스 장치(100)는 인터페이스부(130)가 발 동작 기반 콘텐츠를 조작할 때 터치/마우스, 조이스틱, 키보드 이벤트를 발생시킬 수 있도록 제공됨에 따라, 발 동작을 기반으로 한 콘텐츠의 종류를 확대할 수 있게 된다. As described above, the multi-interface device 100 for content control is provided so that the interface unit 130 can generate touch/mouse, joystick, and keyboard events when manipulating content based on foot motion. One type of content can be expanded.

또한, 콘텐츠 제어용 다종 인터페이스 장치(100)를 보행장애가 있는 사용자를 대상으로 한 재활치료용으로 사용할 경우, 원하는 시간 및 장소에서 재활치료가 가능하고 흥미를 유발하여 빠른 회복을 도울 수 있다. In addition, when the multi-interface device 100 for content control is used for rehabilitation treatment for a user with a gait disorder, rehabilitation treatment can be performed at a desired time and place, and interest can be aroused to help quick recovery.

본 발명은 첨부된 도면에 도시된 일 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 당해 기술분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 수 있을 것이다. 따라서, 본 발명의 진정한 보호 범위는 첨부된 청구 범위에 의해서만 정해져야 할 것이다. Although the present invention has been described with reference to an embodiment shown in the accompanying drawings, which is merely exemplary, those skilled in the art will understand that various modifications and equivalent other embodiments are possible therefrom. will be able Accordingly, the true scope of protection of the present invention should be defined only by the appended claims.

110: 베이스부
120: 발 위치 측정부
130: 인터페이스부
131: 좌표 이동형 인터페이스
132: 축 제어형 인터페이스
133: 키 입력형 인터페이스
110: base part
120: foot position measurement unit
130: interface unit
131: coordinate movement interface
132: axis controlled interface
133: key input interface

Claims (9)

사용자의 발 위치를 감지하여 디바이스에 저장된 콘텐츠를 제어하기 위한 콘텐츠 제어용 다종 인터페이스 장치에 있어서,
사용자의 좌측 발과 우측 발이 안착되는 베이스부;
상기 베이스부 상에 위치한 상기 사용자의 좌측 발과 우측 발의 위치를 각각 실시간으로 감지하는 발 위치 측정부; 및
상기 발 위치 측정부로부터 사용자의 좌측 발 위치와 우측 발 위치를 수신하여 상기 디바이스의 뷰포트 화면 상에 가상의 제1 포인터와 제2 포인터로 렌더링하고, 상기 사용자의 좌측 발 및 우측 발의 기설정된 동작에 따라 상기 제1 포인터와 제2 포인터를 제어하여 상기 콘텐츠를 조작하기 위한 적어도 하나의 이벤트를 발생시키는 인터페이스부를 포함하되,
상기 제1 포인터와 제2 포인터를 중심으로 기설정된 크기를 갖는 원형의 제1 포인터 영역과 제2 포인터 영역을 생성하고,
상기 제1 포인터 영역과 제2 포인터 영역은 사용자의 발 크기와 비례하여 설정될 수 있으며,
상기 제1 포인터 영역은 좌측 발에 의해 생성될 수 있고 제2 포인터 영역은 우측 발에 의해 생성되어 제1 포인터 영역과 제2 포인터 영역은 좌/우를 구분하여 동작할 수 있고,
상기 발 위치 측정부는 카메라 센서 또는 라이다 센서를 이용하여 사용자의 양측 발을 촬영한 후 3차원 포인트 클라우드로 생성하여 포인트 클라우드의 위치를 추적하는 방법으로 양측 발의 움직임, 속도 및 위치를 검출하거나, 적외선 센서를 이용하여 사용자의 양측 발을 향해 적외선을 송출하고, 양측 발에서부터 반사되는 적외선 신호를 감지하는 방법으로 양측 발의 움직임, 속도 및 위치를 검출할 수 있으며,
상기 인터페이스부는
터치/마우스 이벤트를 발생시키는 좌표 이동형 인터페이스;
조이스틱 이벤트를 발생시키는 축 제어형 인터페이스;
키보드 이벤트를 발생시키는 키 입력형 인터페이스를 포함하고,
상기 좌표 이동형 인터페이스는,
상기 뷰포트 화면 상에 표시되는 커서의 이동을 조작하기 위한 좌표 이동 레이아웃과, 상기 커서를 이용하여 상기 터치/마우스 이벤트를 발생시키기 위한 이벤트 레이아웃을 상기 뷰포트 화면 상에 렌더링하고,
상기 제1 포인터 또는 상기 제2 포인터가 상기 좌표 이동 레이아웃 내에 위치한 상태에서 기설정된 발 동작이 수행되면 상기 제1 포인터 또는 상기 제2 포인터의 움직임과 상기 커서의 움직임을 동기화하여 상기 커서의 움직임을 활성화시키고, 상기 커서의 움직임이 활성화된 상태에서 기설정된 발 동작이 수행되면 상기 제1 포인터 또는 상기 제2 포인터의 움직임과 상기 커서의 움직임에 대한 동기화를 해제하여 상기 커서의 움직임을 비활성화시키며,
상기 제1 포인터 또는 상기 제2 포인터가 상기 이벤트 레이아웃 내에 위치한 상태에서 기설정된 발 동작이 수행되면 상기 뷰포트 화면 상에서 출력되는 객체에 대하여 상기 터치/마우스 이벤트를 제공하며,
상기 좌표 이동형 인터페이스는 뷰포트 화면에 렌더링되는 좌표 이동 레이아웃과 이벤트 레이아웃을 통해 객체와 상호작용할 수 있고,
상기 제1 포인터 또는 제2 포인터가 좌표 이동 레이아웃 내에 위치한 상태에서 사용자가 기설정된 특정 발 동작을 수행하면, 뷰포트 화면 상에 표시되는 커서(C) 좌표를 C'측으로 이동시킬 수 있는 상태가 되고, 사용자의 초기 발 위치와 이동한 발 위치의 차이 값에 비례하여 커서(C)의 좌표가 이동하되, 커서(C) 좌표가 객체 내에 일정 시간 동안 머무는 경우, 터치/마우스 이벤트에서의 Hover 이벤트가 발생하고,
상기 이벤트 레이아웃은 제1 이벤트 레이아웃과, 제2 이벤트 레이아웃을 포함하고,
상기 제1 이벤트 레이아웃 내에 제1 포인터 또는 제2 포인터가 위치한 상태에서 사용자가 특정 발 동작을 수행하면, 터치 인터페이스의 Short Press 이벤트 또는 마우스 인터페이스의 좌 클릭 이벤트를 제공하고,
상기 제2 이벤트 레이아웃 내에 제1 포인터 또는 제2 포인터가 위치한 상태에서 사용자가 특정 발 동작을 수행하면, 터치 인터페이스의 Long Press 이벤트 또는 마우스 인터페이스의 우 클릭 이벤트를 제공하는 콘텐츠 제어용 다종 인터페이스 장치.
In the content control multi-interface device for controlling the content stored in the device by sensing the position of the user's feet,
a base on which the user's left and right feet are seated;
a foot position measuring unit that senses the positions of the user's left and right feet located on the base unit in real time, respectively; and
Receives the user's left and right foot positions from the foot position measuring unit, renders them as virtual first and second pointers on the viewport screen of the device, and performs preset motions of the user's left and right feet. An interface unit for generating at least one event for manipulating the content by controlling the first pointer and the second pointer accordingly;
generating circular first and second pointer areas having a predetermined size based on the first and second pointers;
The first pointer area and the second pointer area may be set in proportion to the size of the user's foot,
The first pointer area may be generated by the left foot and the second pointer area may be generated by the right foot, so that the first pointer area and the second pointer area can operate by dividing left and right;
The foot position measurement unit detects the movement, speed and position of both feet by using a camera sensor or a lidar sensor to capture the user's both feet and then creates a three-dimensional point cloud to track the position of the point cloud, or It is possible to detect the movement, speed, and position of both feet by sending infrared rays to both feet of the user using sensors and detecting infrared signals reflected from both feet.
the interface unit
a coordinate movement interface that generates a touch/mouse event;
an axis-controlled interface for generating joystick events;
a keystroke interface for generating keyboard events;
The coordinate movement type interface,
Rendering a coordinate movement layout for manipulating movement of the cursor displayed on the viewport screen and an event layout for generating the touch/mouse event using the cursor on the viewport screen,
When a preset foot motion is performed while the first pointer or the second pointer is positioned in the coordinate movement layout, the movement of the cursor is activated by synchronizing the movement of the first pointer or the second pointer with the movement of the cursor. and when a preset foot operation is performed while the movement of the cursor is activated, synchronization of the movement of the first pointer or the second pointer with the movement of the cursor is released to deactivate the movement of the cursor,
When a preset foot motion is performed while the first pointer or the second pointer is positioned in the event layout, the touch/mouse event is provided to the object output on the viewport screen,
The coordinate movement interface can interact with the object through the coordinate movement layout and event layout rendered on the viewport screen,
When the user performs a predetermined specific foot motion while the first pointer or the second pointer is positioned within the coordinate movement layout, the cursor (C) coordinates displayed on the viewport screen can be moved to the C' side, The coordinates of the cursor (C) move in proportion to the difference between the user's initial foot position and the moved foot position, but if the cursor (C) coordinates stay within the object for a certain period of time, a hover event in touch/mouse event occurs do,
The event layout includes a first event layout and a second event layout,
When the user performs a specific foot motion while the first pointer or the second pointer is positioned in the first event layout, a Short Press event of a touch interface or a left-click event of a mouse interface is provided;
When a user performs a specific foot motion while the first pointer or the second pointer is positioned in the second event layout, a content control device that provides a Long Press event of a touch interface or a right-click event of a mouse interface.
삭제delete 제1항에 있어서,
상기 좌표 이동형 인터페이스는,
상기 사용자의 좌측 발과 우측 발의 위치에 따라 상기 뷰포트 화면 상에서 상기 제1 포인터와 제2 포인터의 위치를 제어하고,
상기 뷰포트 화면 상에서 출력되는 객체가 기설정된 크기로 생성된 상기 제1 포인터와 제2 포인터의 영역 중 적어도 하나에 위치하였을 때, 좌측 발 또는 우측 발의 기설정된 발 동작이 수행되면 상기 객체에 대하여 상기 터치/마우스 이벤트를 제공하는 콘텐츠 제어용 다종 인터페이스 장치.
According to claim 1,
The coordinate movement type interface,
controlling the positions of the first pointer and the second pointer on the viewport screen according to the positions of the user's left and right feet;
When the object output on the viewport screen is located in at least one of the regions of the first pointer and the second pointer generated with a preset size, if a preset foot motion of the left foot or the right foot is performed, the touch on the object /Multiple interface device for content control that provides mouse events.
삭제delete 삭제delete 제1항에 있어서,
상기 축 제어형 인터페이스는,
상기 뷰포트 화면 상에서 출력되는 객체에 상하 이동 이벤트를 제공하는 상하 이동제어 레이아웃과, 좌우 이동 이벤트를 제공하는 좌우 이동제어 레이아웃을 렌더링하고,
상기 제1 포인터 또는 상기 제2 포인터가 상기 상하 이동제어 레이아웃에 내에 위치한 상태에서 기설정된 발 동작이 수행되면 상기 제1 포인터 또는 상기 제2 포인터의 움직임과 상기 객체의 움직임을 동기화하여 상기 객체의 상하방향 움직임을 활성화시키고, 상기 객체의 상하방향 움직임이 활성화된 상태에서 기설정된 발 동작이 수행되면 상기 객체의 상하방향 움직임을 비활성화시키며,
상기 제1 포인터 또는 상기 제2 포인터가 상기 좌우 이동제어 레이아웃에 내에 위치한 상태에서 기설정된 발 동작이 수행되면 상기 제1 포인터 또는 상기 제2 포인터의 움직임과 상기 객체의 움직임을 동기화하여 상기 객체의 좌우방향 움직임을 활성화시키고, 상기 객체의 좌우방향 움직임이 활성화된 상태에서 기설정된 발 동작이 수행되면 상기 객체의 좌우방향 움직임을 비활성화시키는 콘텐츠 제어용 다종 인터페이스 장치.
According to claim 1,
The axis-controlled interface comprises:
Rendering a vertical movement control layout that provides a vertical movement event to an object output on the viewport screen, and a left and right movement control layout that provides a left and right movement event,
When a preset foot operation is performed while the first pointer or the second pointer is positioned in the vertical movement control layout, the movement of the first pointer or the second pointer is synchronized with the movement of the object to move the object up and down. Activating the directional movement, and inactivating the vertical movement of the object when a preset foot motion is performed while the vertical movement of the object is activated,
When a preset foot motion is performed while the first pointer or the second pointer is positioned within the left/right movement control layout, the movement of the first pointer or the second pointer is synchronized with the movement of the object to move the left and right sides of the object. A multi-interface device for content control that activates directional movement and deactivates left-right movement of the object when a preset foot motion is performed while the left-right movement of the object is activated.
삭제delete 제1항에 있어서,
상기 키 입력형 인터페이스는,
상기 제1 포인터 또는 상기 제2 포인터가 상기 뷰포트 화면 내에 위치한 상태에서 기설정된 발 동작이 수행되면 상기 뷰포트 화면 상에 이벤트 목록을 포함하는 적어도 하나의 키 입력 레이아웃을 생성하고,
상기 제1 포인터 또는 상기 제2 포인터가 상기 키 입력 레이아웃 내에 위치한 상태에서 기설정된 발 동작이 수행되면 키보드 이벤트를 제공하는 콘텐츠 제어용 다종 인터페이스 장치.
According to claim 1,
The key input type interface,
When a preset foot motion is performed while the first pointer or the second pointer is positioned in the viewport screen, at least one key input layout including an event list is generated on the viewport screen,
A multi-interface device for content control that provides a keyboard event when a preset foot operation is performed while the first pointer or the second pointer is positioned in the key input layout.
제1항에 있어서,
상기 키 입력형 인터페이스는,
상기 뷰포트 화면 상에 키보드 이벤트를 제공하는 적어도 하나의 키 입력 레이아웃을 렌더링하고,
상기 제1 포인터 또는 상기 제2 포인터가 상기 키 입력 레이아웃 내에 위치한 상태에서 기설정된 발 동작이 수행되면 상기 뷰포트 화면 상에 기저장된 키보드 이벤트를 제공하는 콘텐츠 제어용 다종 인터페이스 장치.
According to claim 1,
The key input type interface,
render at least one keystroke layout providing a keyboard event on the viewport screen;
When a preset foot motion is performed while the first pointer or the second pointer is positioned in the key input layout, a content control device for providing a keyboard event pre-stored on the viewport screen.
KR1020210111655A 2021-08-24 2021-08-24 Multi-kinds interface devices for content control KR102354559B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210111655A KR102354559B1 (en) 2021-08-24 2021-08-24 Multi-kinds interface devices for content control

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210111655A KR102354559B1 (en) 2021-08-24 2021-08-24 Multi-kinds interface devices for content control

Publications (1)

Publication Number Publication Date
KR102354559B1 true KR102354559B1 (en) 2022-01-21

Family

ID=80050456

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210111655A KR102354559B1 (en) 2021-08-24 2021-08-24 Multi-kinds interface devices for content control

Country Status (1)

Country Link
KR (1) KR102354559B1 (en)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100001402A (en) * 2008-06-27 2010-01-06 (주) 리버스 Foot mouse for input device
KR20110030524A (en) * 2011-02-25 2011-03-23 서장원 Method for a music game using equipped with motion sensors attached to foot-stage or a touch screen display in an arcade game
KR20120005289A (en) * 2010-07-08 2012-01-16 (주)네오위즈게임즈 Method, apparatus and recording medium for providing performance game
KR101221820B1 (en) * 2012-05-30 2013-01-24 고한덕 Easily useful foot mouse
KR101390213B1 (en) * 2012-05-31 2014-07-09 한양대학교 에리카산학협력단 Exercising-game apparatus using user's activities
KR101860753B1 (en) 2016-06-13 2018-05-24 (주)블루클라우드 User recognition content providing system and operating method thereof
KR20210086705A (en) * 2019-04-11 2021-07-08 텐센트 테크놀로지(센젠) 컴퍼니 리미티드 Operation control method and apparatus, electronic device, and storage medium

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100001402A (en) * 2008-06-27 2010-01-06 (주) 리버스 Foot mouse for input device
KR20120005289A (en) * 2010-07-08 2012-01-16 (주)네오위즈게임즈 Method, apparatus and recording medium for providing performance game
KR20110030524A (en) * 2011-02-25 2011-03-23 서장원 Method for a music game using equipped with motion sensors attached to foot-stage or a touch screen display in an arcade game
KR101221820B1 (en) * 2012-05-30 2013-01-24 고한덕 Easily useful foot mouse
KR101390213B1 (en) * 2012-05-31 2014-07-09 한양대학교 에리카산학협력단 Exercising-game apparatus using user's activities
KR101860753B1 (en) 2016-06-13 2018-05-24 (주)블루클라우드 User recognition content providing system and operating method thereof
KR20210086705A (en) * 2019-04-11 2021-07-08 텐센트 테크놀로지(센젠) 컴퍼니 리미티드 Operation control method and apparatus, electronic device, and storage medium

Similar Documents

Publication Publication Date Title
US11221730B2 (en) Input device for VR/AR applications
US11366512B2 (en) Systems and methods for operating an input device in an augmented/virtual reality environment
EP3639117B1 (en) Hover-based user-interactions with virtual objects within immersive environments
US20200150788A1 (en) Input device
US8432362B2 (en) Keyboards and methods thereof
CN102830795B (en) Utilize the long-range control of motion sensor means
WO2018204072A1 (en) Syndication of direct and indirect interactions in a computer-mediated reality environment
US9798388B1 (en) Vibrotactile system to augment 3D input systems
US10203781B2 (en) Integrated free space and surface input device
KR102147430B1 (en) virtual multi-touch interaction apparatus and method
KR20140128305A (en) System and method for enhanced gesture-based interaction
US9013396B2 (en) System and method for controlling a virtual reality environment by an actor in the virtual reality environment
GB2507963A (en) Controlling a Graphical User Interface
JP5561092B2 (en) INPUT DEVICE, INPUT CONTROL SYSTEM, INFORMATION PROCESSING METHOD, AND PROGRAM
CN111344663B (en) Rendering device and rendering method
KR102021851B1 (en) Method for processing interaction between object and user of virtual reality environment
EP3549127A1 (en) A system for importing user interface devices into virtual/augmented reality
KR20130049152A (en) A stereoscopic interaction system and stereoscopic interaction method
CN108021227B (en) Method for rapidly moving in virtual reality and virtual reality device
EP2538308A2 (en) Motion-based control of a controllled device
KR102354559B1 (en) Multi-kinds interface devices for content control
JP2008015564A (en) Displacement informing device and gui program linking with displacement informing device
JPH08129449A (en) Signal input device
KR20080017194A (en) Wireless mouse and driving method thereof
WO2023095519A1 (en) Display control device, display control method, and program

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant