KR101865362B1 - Control system and method for mixed reality using foot gesture - Google Patents

Control system and method for mixed reality using foot gesture Download PDF

Info

Publication number
KR101865362B1
KR101865362B1 KR1020160166493A KR20160166493A KR101865362B1 KR 101865362 B1 KR101865362 B1 KR 101865362B1 KR 1020160166493 A KR1020160166493 A KR 1020160166493A KR 20160166493 A KR20160166493 A KR 20160166493A KR 101865362 B1 KR101865362 B1 KR 101865362B1
Authority
KR
South Korea
Prior art keywords
gesture
foot
event
unit
sensing
Prior art date
Application number
KR1020160166493A
Other languages
Korean (ko)
Inventor
배재환
Original Assignee
동명대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 동명대학교산학협력단 filed Critical 동명대학교산학협력단
Priority to KR1020160166493A priority Critical patent/KR101865362B1/en
Application granted granted Critical
Publication of KR101865362B1 publication Critical patent/KR101865362B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality

Abstract

The present invention relates to a control system for a mixed reality using a foot gesture and a method thereof. More particularly, the present invention relates to a system for controlling a mixed reality formed by mixing a virtual world and a real world using a gesture instead of a hand and a method thereof. According to the present invention, the control system for a mixed reality using a foot gesture and the method thereof include: an output part for outputting a virtual image to an arbitrary space; a sensing part mounted on a user′s foot for sensing the gesture of the foot; and an event generation part for generating an event command for controlling the virtual image outputted from the output part according to the foot gesture sensed by the sensing part.

Description

발 제스처를 이용한 혼합현실 제어 시스템 및 방법{CONTROL SYSTEM AND METHOD FOR MIXED REALITY USING FOOT GESTURE}TECHNICAL FIELD [0001] The present invention relates to a mixed reality control system and method using a foot gesture,

본 발명은 발 제스처를 이용한 혼합현실 제어 시스템 및 방법에 관한 것으로서, 가상세계와 현실세계를 혼합한 혼합현실을 손이 아닌 발의 제스처를 이용하여 제어할 수 있도록 하는 시스템 및 방법에 관한 것이다.The present invention relates to a mixed reality control system and method using a foot gesture, and more particularly, to a system and method for controlling a mixed reality in which a virtual world and a real world are mixed by using a gesture instead of a hand.

현실세계(Real world)와 가상 세계(virtual world)가 혼합된 상태를 의미하는 혼합현실(MR : Mixed Reality)은 현실을 기반으로 가상 정보를 부가하는 증강 현실(AR : Augmented Reality)과 가상 환경에 현실 정보를 부가하는 증강 가상(AV : Augmented Virtuality)의 의미를 포함한다.Mixed Reality (MR), which means a mixture of the real world and the virtual world, consists of augmented reality (AR), which adds virtual information based on reality, And augmented virtuality (AV) for adding real information.

즉. 혼합현실은 완전 가상 세계가 아닌 현실과 가상이 자연스럽게 연결된 환경을 사용자에게 제공하여, 풍부한 체험을 제공한다.In other words. Mixed reality provides users with a rich experience by providing users with an environment where reality and virtuality are naturally connected, not a fully virtual world.

예컨대, 일기예보나 뉴스전달을 위한 방송국 가상 스튜디오, 스마트폰이나 스마트안경에서 촬영한 영상을 바탕으로 보여주는 지도 정보, 항공기 가상 훈련, 가상으로 옷을 입어불 수 있는 거울 등으로 다양한 분야에서 사용된다.For example, it is used in a variety of fields such as a broadcasting station virtual studio for weather forecasts and news delivery, map information based on images photographed from a smartphone or smart glasses, virtual training of aircraft, and mirrors that can be put on clothes.

이러한 혼합현실에서는 가상 환경을 바꾼다거나 다음 장면으로 전화를 하거나 특정 프로그램을 실행하거나 등등의 다양한 제어가 필요한데 이러한 제어는 마우스를 통한 조작도 가능하지만 일기예보처럼 혼합현실에 본인이 직접 등장하는 경우 손을 사용하여 조작하기 어려운 상황이 있을 수도 있다.In such a mixed reality, various controls such as changing the virtual environment, calling the next scene, running a specific program, or the like are necessary. This control can also be operated through a mouse. However, There may be situations that are difficult to operate using.

한국등록특허 제10-0953931호Korea Patent No. 10-0953931 한국공개특허 제10-2014-0082266호Korean Patent Publication No. 10-2014-0082266

이에 본 발명은 혼합현실을 손이 아닌 발의 제스처를 이용하여 제어할 수 있도록 하는 발 제스처를 이용한 혼합현실 제어 시스템 및 방법을 제공하는데 그 목적이 있다.Accordingly, it is an object of the present invention to provide a mixed reality control system and method using a foot gesture that allows a mixed reality to be controlled using a gesture of a foot rather than a hand.

본 발명에 따른 발 제스처를 이용한 혼합현실 제어 시스템은 실제 세계를 촬영한 이미지나 영상에 가상의 이미지를 중첩하여 출력하거나 실제 세계 공간에 가상의 이미지를 중첩하여 출력하는 출력부; 사용자의 발에 장착되어 상기 발의 움직임 및 이동속도를 포함하는 발 제스처를 감지하는 감지부; 상기 사용자의 발을 촬영하는 카메라부; 및 상기 감지부에서 발 제스처를 감지하는 시점과 동일한 시점에 상기 카메라부를 통해 촬영된 상기 발의 제스처 방향을 판단하여 상기 감지부에서 감지되는 발 제스처 및 상기 판단된 발의 제스처 방향을 내부 또는 외부 메모리에 기저장된 제스처 및 제스처 방향과 비교하여 일치하는 제스처 및 제스처 방향에 따라 상기 출력부에서 출력되는 가상의 이미지를 제어하기 위한 이벤트 명령을 생성하는 이벤트 생성부; 를 포함하고, 상기 출력부는 상기 이벤트 생성부에서 생성된 이벤트 명령에 따라 상기 가상의 이미지에 대한 이벤트를 실행하여 출력하며, 상기 이벤트 명령은 화면 전환 명령, 상기 가상의 이미지 이동 명령, 상기 가상의 이미지 출력 종료 명령 중 적어도 하나를 포함한다.The mixed reality control system using the foot gesture according to the present invention includes an output unit for superimposing a virtual image on an image or an image photographed in an actual world or outputting a superimposed virtual image in a real world space; A sensing unit mounted on a user's foot for sensing a foot gesture including a movement and a movement speed of the foot; A camera unit for photographing the foot of the user; And a control unit for determining a gesture direction of the foot photographed through the camera unit at the same time as a point of time when the sensing unit senses a foot gesture to determine a foot gesture sensed by the sensing unit and a determined gesture direction of the foot, An event generator for generating an event command for controlling a virtual image output from the output unit in accordance with a stored gesture and gesture direction and a corresponding gesture and gesture direction; Wherein the output unit executes an event for the virtual image according to an event command generated by the event generation unit and outputs the event command, the event command includes a screen switching command, the virtual image movement command, And an output end command.

삭제delete

삭제delete

본 발명에서 상기 감지부는 관성측정센서로 구성되는 것을 특징으로 한다.In the present invention, the sensing unit may include an inertia measurement sensor.

본 발명에서 상기 감지부는 상기 사용자의 발 제스처를 감지하면 진동을 발생시키는 진동모듈을 포함한다.In the present invention, the sensing unit includes a vibration module that generates vibration when sensing the user's foot gesture.

본 발명에 따른 발 제스처를 이용한 혼합현실 제어 방법은 출력부가 실제 세계를 촬영한 이미지나 영상에 가상의 이미지를 중첩하여 출력하거나 실제 세계 공간에 가상의 이미지를 중첩하여 출력하는 출력단계; 사용자의 발에 장착된 감지부가 상기 발의 움직임 및 이동속도를 포함하는 발 제스처를 감지하는 감지단계; 카메라부가 상기 사용자의 발을 촬영하는 촬영단계; 이벤트 생성부가 상기 감지부에서 발 제스처를 감지하는 시점과 동일한 시점에 상기 카메라부를 통해 촬영된 상기 발의 제스처 방향을 판단하는 판단단계; 상기 이벤트 생성부가 상기 감지부에서 감지된 발 제스처 및 상기 판단단계에서 판단된 발의 제스처 방향을 내부 또는 외부 메모리에 기저장된 제스처 및 제스처 방향 정보와 비교하는 비교단계; 상기 이벤트 생성부가 상기 비교 결과 상기 감지된 발 제스처와 발의 제스처 방향이 기설정된 제스처 및 제스처 방향 정보 중 어느 하나의 정보와 일치하면 상기 일치하는 제스처 및 제스처 방향 정보에 대응되는 이벤트 명령을 생성하는 이벤트 생성단계; 및 상기 출력부가 상기 이벤트 생성부에서 생성된 이벤트 명령에 따라 상기 가상의 이미지에 대한 이벤트를 실행하여 출력하는 이벤트 실행단계; 를 포함하고, 상기 이벤트 명령은 화면 전환 명령, 상기 가상의 이미지 이동 명령, 상기 가상의 이미지 출력 종료 명령 중 적어도 하나를 포함한다.A mixed reality control method using a foot gesture according to the present invention includes an output step in which an output unit superimposes a virtual image on an image or an image photographed in a real world or superimposes a virtual image on an actual world space and outputs the virtual world; A sensing step of sensing a foot gesture including a movement and a movement speed of the foot, the sensing part being mounted on a user's foot; A photographing step of photographing the user's foot by the camera unit; A determining step of determining an orientation of the foot gesture taken by the camera unit at the same point in time at which the event generating unit senses the foot gesture in the sensing unit; Comparing the gesture direction determined by the foot gesture sensed by the sensing unit and the foot sensed by the sensing unit with gesture and gesture direction information stored in an internal or external memory; Wherein the event generating unit generates an event to generate an event command corresponding to the matching gesture and gesture direction information if the sensed foot gesture and the foot gesture direction coincide with any one of the predetermined gesture and gesture direction information, step; And an output executing step of executing the event for the virtual image according to an event command generated by the event generating unit and outputting the event; Wherein the event command includes at least one of a screen switching command, a virtual image movement command, and a virtual image output end command.

삭제delete

본 발명에 따르면 혼합현실의 화면이나 프로그램을 손을 사용하지 않고 발의 동작만으로 제어가 가능하기 때문에 양손을 자유롭게 사용하면서도 혼합현실을 제어할 수 있다.According to the present invention, it is possible to control a mixed reality by freely using both hands because a mixed reality screen or a program can be controlled only by foot motion without using a hand.

또한, 발 제스처를 인식할 화면에 진동을 발생시켜 사용자가 현재 발 제스처가 인식 중인 것을 인지할 수 있도록 하여 정확한 제어 동작을 수행할 수 있도록 한다.In addition, a vibration is generated on a screen for recognizing the foot gesture, so that the user can recognize that the foot gesture is currently being recognized, so that a correct control operation can be performed.

도 1은 본 발명의 일 실시 예에 따른 맵 매칭 피드백을 수행하는 네비게이션 장치의 개략적인 구성도이다.
도 2는 본 발명의 일 실시예에 따른 가중치값이 적용된 맵 매칭 방법의 예시이다.
도 3은 본 발명의 일 실시예에 따른 맵 매칭 피드백을 수행하는 네비게이션 장치의 가중치값 설정과정의 예시 흐름도이다.1 is a schematic block diagram of a navigation device for performing map matching feedback according to an embodiment of the present invention.
2 is an illustration of a map matching method to which a weight value is applied according to an embodiment of the present invention.
3 is an exemplary flowchart illustrating a process of setting a weight value of a navigation device for performing map matching feedback according to an exemplary embodiment of the present invention.

이하에서, 본 발명의 바람직한 실시예가 첨부된 도면들을 참조하여 설명할 것이다. 또한 본 발명을 설명함에 있어서 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다.Hereinafter, preferred embodiments of the present invention will be described with reference to the accompanying drawings. In the following description, a detailed description of known functions and configurations incorporated herein will be omitted when it may make the subject matter of the present invention rather unclear.

도 1은 본 발명의 일 실시 예에 따른 발 제스처를 이용한 혼합현실 제어 시스템의 개략적인 구성도이다.1 is a schematic block diagram of a mixed reality control system using a foot gesture according to an embodiment of the present invention.

도 1을 참조하면 본 발명의 일 실시 예에 따른 발 제스처를 이용한 혼합현실 제어 시스템(100)은, 출력부(110), 감지부(120) 및 이벤트 생성부(130)를 포함하고, 실시예에 따라 선택적으로 카메라부(140)를 더 포함한다.Referring to FIG. 1, a mixed reality control system 100 using a foot gesture according to an embodiment of the present invention includes an output unit 110, a sensing unit 120, and an event generating unit 130, And a camera unit 140 according to an embodiment of the present invention.

출력부(110)는 혼합현실을 출력하는 구성으로써, 가상의 이미지를 임의의 공간에 출력한다.The output unit 110 is configured to output mixed reality, and outputs a virtual image to an arbitrary space.

혼합현실은 가상과 실재가 함께 제공되는 시스템으로 스크린과 같은 하나의 시스템 표면에 가상과 실재가 중첩되거나 병치되는 것을 말한다.Mixed reality is a system in which virtual reality is provided together with virtual reality and juxtaposition or juxtaposition on one system surface such as a screen.

따라서 출력부(110)는 스크린, 모니터, TV 등의 디스플레이장치로 구현될 수도 있으며, 또는 차량의 앞유리창, 사용자가 착용하는 안경 유리 등의 임의의 표면에 영상을 투시하는 프로젝터 등의 영상 투사 장치로도 구현될 수도 있다.Accordingly, the output unit 110 may be implemented as a display device such as a screen, a monitor, and a TV, or may be an image projection device such as a projector for projecting an image on an arbitrary surface such as a windshield of a vehicle, May also be implemented.

출력부(110)가 스크린, 모니터, TV 등의 디스플레이장치로 구현되는 경우, 실제 세계의 이미지나 영상이 출력되는 가운데 가상의 이미지나 영상을 함께 출력하여 혼합현실이 구현되며, 출력부(110)가 차량의 앞유리창, 사용자가 착용하는 안경 유리 등의 임의의 표면에 영상을 투시하는 프로젝터 등의 영상 투사 장치로 구현되는 경우, 유리나 임의의 공간에 보여지는 실제 세계에 가상의 이미지나 영상이 중첩되어 혼합현실이 구현된다.When the output unit 110 is implemented as a display device such as a screen, a monitor, and a TV, a mixed reality is realized by outputting a virtual image or an image while a real world image or image is being output. Is implemented as an image projection device such as a projector that projects an image on an arbitrary surface such as a windshield of a vehicle or a glass of glasses worn by a user, a virtual image or an image is superimposed on a real world shown on a glass or a random space A mixed reality is realized.

이러한 혼합현실에 구현되는 가상의 이미지나 영상에 대해 다양한 콘텐츠나 기능이 제공될 수 있는데 이러한 다양한 콘텐츠 및 기능을 실행할 수 있도록 사용자의 인터페이스가 제공되어야 한다.A variety of contents and functions can be provided for a virtual image or an image implemented in such a mixed reality. A user interface must be provided to execute such various contents and functions.

이러한 사용자 인터페이스를 제공하기 위한 구성이 감지부(120)와 이벤트 생성부(130)이다.The configuration for providing such a user interface is the sensing unit 120 and the event generating unit 130.

혼합현실을 제어하기 위한 사용자 인터페이스는 사용자의 발을 통해 구현되는데 감지부(120)는 사용자의 발에 장착되어 사용자의 발 제스처를 감지하는 구성이다.The user interface for controlling the mixed reality is implemented through the user's feet. The sensing unit 120 is mounted on the user's feet and detects the user's foot gesture.

감지부(120)에 의해 감지되는 사용자의 발 제스처가 사용자 인터페이스가 되며, 이를 위해 이벤트 생성부(130)는 감지된 사용자의 발 제스처에 따라 혼합현실을 제어하기 위한 명령을 생성한다.The user's foot gesture sensed by the sensing unit 120 becomes a user interface. To this end, the event generation unit 130 generates a command for controlling the mixed reality according to the sensed user's foot gesture.

먼저 감지부(120)는 사용자의 발에 장착되어 사용자의 발의 움직임을 감지하는데 예컨대 관성측정센서와 같은 센서를 이용하여 발의 이동방향 및 이동속도를 감지하여 발 제스처를 감지한다.First, the sensing unit 120 is mounted on a user's foot and senses the movement of the user's foot, and senses the foot gesture by sensing a moving direction and a moving speed of the foot using a sensor such as an inertial measurement sensor.

예를 들어 사용자가 서 있는 상태에서 발을 들어 오른쪽으로 한번 이동시키면, 감지부(120)는 발이 오른쪽으로 이동됐으며 그 속도가 얼마인지를 파악한다.For example, when the user lifts his / her foot and moves to the right one time, the sensing unit 120 determines whether the foot is moved to the right and its speed is high.

그 다음 이벤트 생성부(130)는 감지부(120)에서 감지된 발 제스처에 따라 출력부(110)에서 출력되는 가상의 이미지를 제어하기 위한 이벤트 명령을 생성하는데, 위의 예로 살펴보면, 감지부(120)를 통해 발이 오른쪽으로 빠른 속도로 이동된것으로 감지된 경우, 이벤트 생성부(130)는 이러한 제스처에 따른 이벤트 명령인 다음 화면으로 전환 명령을 생성한다. 또는 감지부를 통해 발이 오른쪽으로 느린 속도로 이동된 것으로 감지된 경우, 이벤트 생성부(130)는 이벤트 명령으로 오른쪽으로 이미지를 천천히 이동시키는 이동 명령을 생성할 수 있다.Next, the event generating unit 130 generates an event command for controlling a virtual image output from the output unit 110 according to the foot gesture sensed by the sensing unit 120. In the above example, 120, the event generation unit 130 generates a switching command to the next screen, which is an event command according to the gesture. Or if it is detected that the foot is moved at a slow speed to the right through the sensing unit, the event generating unit 130 may generate a move command to slowly move the image to the right in the event command.

이렇게 발의 제스처에 따라 이벤트 생성부(130)는 각기 다른 이벤트 명령을 생성하는데 이러한 발의 제스처에 따른 이벤트 명령은 그 패턴이 미리 저장되어 있는 것이 바람직하다.According to the gesture of the foot, the event generation unit 130 generates different event commands, and the pattern of the event command according to the gesture of the foot is preferably stored in advance.

이러한 다양한 발의 제스처에 따른 이벤트 명령은 이벤트 생성부(130)의 내부 메모리 또는 이벤트 생성부(130)와 연동되는 외부 메모리에 저장되며, 이벤트 생성부(130)는 감지부(120)에서 감지된 발 제스처를 메모리에 저장된 제스처 정보와 비교하여 일치하는 제스처 정보가 확인되면, 해당 제스처 정보에 포함된 이벤트 명령을 생성한다.The event command according to the various gestures of the foot is stored in the internal memory of the event generating unit 130 or an external memory linked to the event generating unit 130. The event generating unit 130 generates the event When the gesture information is compared with the gesture information stored in the memory and the matching gesture information is confirmed, an event command included in the gesture information is generated.

이벤트 생성부(130)에서 이벤트 명령이 생성되면, 이를 출력부(110)에 전달하고, 출력부(110)는 송신된 이벤트 명령에 따라 출력되는 가상의 이미지에 대해 이벤트를 적용하여 출력한다.When an event command is generated in the event generation unit 130, the event command is transmitted to the output unit 110. The output unit 110 applies an event to the virtual image output according to the transmitted event command and outputs the event.

예를 들어, 출력부(110)에서 차량의 앞유리에 차량 운행과 관련된 정보 중 연료량 및 주행가능 거리를 표시하고 있을때, 감지부(120)에서 감지된 발 제스처가 발이 오른쪽으로 빠른 속도로 이동된 경우, 이벤트 생성부(130)는 이러한 제스처에 따라 다음 화면으로 전환 명령을 생성하여 출력부(110)에 전송한다.For example, when the fuel amount and the travelable distance of the information related to the vehicle operation are displayed on the windshield of the vehicle at the output unit 110, the foot gesture sensed by the sensing unit 120 moves the feet to the right at a high speed The event generation unit 130 generates a switching instruction to the next screen according to the gesture and transmits the switching instruction to the output unit 110. [

다음 화면으로 전환 명령을 받은 출력부(110)는 차량의 운행과 관련된 정보 중 연료량 및 주행가능 거리 화면의 다음 화면인 주변 위험물 정보 화면을 유리에 출력한다.The output unit 110 receiving the switching command to the next screen outputs the surrounding fuel information screen, which is the next screen of the fuel amount and the travelable distance screen, among the information related to the driving of the vehicle.

이러한 발 제스처를 이용한 혼합현실 제어 시스템(100)에서 관성측정센서로 구현되는 감지부(120)는 발의 제스처 방향을 완벽하게 감지하기 어려울 수 있다.In the mixed reality control system 100 using the foot gesture, the sensing unit 120 implemented as the inertial measurement sensor may be difficult to perfectly detect the direction of the gesture of the foot.

예를 들어, 발을 위로 차올리는 제스처를 취했을 경우, 발을 정면으로 차올렸는지, 오른쪽으로 차올렸는지 왼쪽으로 차올렸는지에 대해서는 관성측정센서로는 파악하기 어려운 단점이 있다.For example, if you take a gesture to lift your foot up, it is difficult to determine whether you have kicked your foot to the front, kicked it to the right, or kicked it to the left.

이러한 단점을 극복하기 위해 발 제스처를 이용한 혼합현실 제어 시스템(100)은 카메라부(140)를 추가로 더 구비할 수 있다.In order to overcome such disadvantages, the mixed reality control system 100 using a foot gesture may further include a camera unit 140. FIG.

카메라부(140)는 사용자의 발 동작을 영상으로 촬영할 수 있는 위치에 장착되며, 카메라부(140)에서 촬영되는 사용자의 발 동작은 이벤트 생성부(130)에 전달되고, 이벤트 생성부(130)는 감지부(120)에서 발 제스처가 감지되면 발 제스처가 감지된 시점과 동일한 시점에 카메라부(140)를 통해 촬영된 발의 제스처 영상을 분석하여 발 제스처의 방향을 판단한다.The camera unit 140 is mounted at a position where the user's foot motion can be photographed. An action of the user photographed by the camera unit 140 is transmitted to the event generating unit 130, When the foot gesture is sensed by the sensing unit 120, the gesture image of the foot photographed through the camera unit 140 is analyzed to determine the direction of the foot gesture at the same time as the foot gesture is sensed.

감지부(120)에서 감지된 발 제스처와 카메라부(140)를 통해 감지된 발 제스처 방향을 통해 이벤트 생성부(130)는 더욱 세분화된 이벤트 명령을 생성할 수 있게 된다.The event generating unit 130 can generate a more detailed event command through the foot gesture detected by the sensing unit 120 and the foot gesture direction sensed through the camera unit 140. [

예를 들어 출력부(110)가 다수의 프로젝터로 구성되어 허공에 공의 이미지를 가상으로 만들어 사용자의 발 제스처에 의해 공을 차서 이동시키는 혼합현실이 있다고 가정하였을때, 감지부(120)는 공을 차는 발의 제스처를 감지하고, 카메라부(140)는 공을 차는 발의 제스처 방향을 감지한다. 이에 따라 이벤트 생성부(130)는 공을 차는 방향에 따라 가상의 공을 이동시키는 명령을 생성하여 출력부(110)에 전달하고 출력부(110)는 사용자의 발이 공을 차는 방향으로 공을 이동시키도록 프로젝터를 제어하여 공의 이미지를 출력한다. For example, when it is assumed that the output unit 110 is composed of a plurality of projectors, and a mixed reality in which an image of the ball is created in the air in the air, and the ball is moved by the user's foot gesture, And the camera unit 140 senses the direction of the gesture of the kicker. Accordingly, the event generating unit 130 generates a command to move the virtual ball according to the direction in which the ball is drawn, and transmits the generated command to the output unit 110, and the output unit 110 moves the ball in a direction And outputs an image of the ball.

또한 감지부(120)에는 진동모듈(미도시)가 포함될 수 있는데, 사용자는 이벤트 명령을 생성하기 위해 발을 이용해 제스처를 취하지만 감지부(120)가 제대로 제스처를 감지하고 있는지에 대해서 파악하기 어렵다.In addition, a vibration module (not shown) may be included in the sensing unit 120. The user takes a gesture using the foot to generate an event command, but it is difficult to grasp whether the sensing unit 120 properly senses the gesture .

따라서 감지부(120)는 진동모듈을 포함하여 사용자의 발의 제스처를 감지하면 진동을 발생시켜 사용자로 하여금 본인이 취한 제스처가 제대로 감지되었는지를 확인 할 수 있도록 해준다.Accordingly, the sensing unit 120 may include a vibration module to generate a vibration when the user senses a gesture of the user's foot, thereby enabling the user to check whether the gesture taken by the user is properly sensed.

또한 감지부(120)는 발 제스처의 종류에 따라 각기 다른 패턴의 진동을 발생시키도록 진동모듈을 제어할 수 있으며, 사용자는 이를 통해 정확한 발 제스처를 취했는지까지도 확인 할 수 있게 된다.In addition, the sensing unit 120 can control the vibration module to generate vibrations of different patterns according to the type of the foot gesture, and the user can confirm whether or not the accurate foot gesture is taken.

이러한 발 제스처를 이용한 혼합현실 제어 시스템을 이용한 혼합현실 제어 방법에 대해 자세하게 알아보도록 한다.The mixed reality control method using the mixed reality control system using the foot gesture will be described in detail.

도 2는 본 발명의 일 실시 예에 따른 발 제스처를 이용한 혼합현실 제어 방법의 흐름도이다.2 is a flowchart of a mixed reality control method using a foot gesture according to an embodiment of the present invention.

도 2를 참조하면, 먼저 출력부(110)가 가상의 이미지를 임의의 공간에 출력하는 출력단계(S101)를 수행한다.Referring to FIG. 2, the output unit 110 performs an output step S101 of outputting a virtual image to an arbitrary space.

출력부(110)를 통해 가상의 이미지가 출력되어 혼합현실이 생성되면, 감지부(120)가 사용자의 발에 장착되어 발 제스처를 감지하는 감지단계(S103)를 수행한다.When a virtual image is output through the output unit 110 to generate a mixed reality, the sensing unit 120 is mounted on the user's foot to perform a sensing step S103 for sensing a foot gesture.

이때, 감지부(120)는 내부에 구비된 진동모듈을 이용하여 발 제스처가 감지되었을때 사용자의 발에 진동을 발생시켜 사용자로 하여금 발 제스처가 제대로 감지되고 있음을 알도록 해준다.At this time, when the foot gesture is sensed by using the vibration module provided inside, the sensing unit 120 generates vibration on the user's foot, thereby allowing the user to know that the foot gesture is properly detected.

감지부(120)가 사용자의 발 제스처를 감지하면 이벤트 생성부(130)가 이를 수신받아 상기 발 제스처를 기설정된 제스처 정보와 비교하는 비교단계(S105)를 수행한다.When the sensing unit 120 senses the user's foot gesture, the event generating unit 130 receives the received foot gesture and compares the foot gesture with preset gesture information (S105).

다음으로, 이벤트 생성부(130)는 비교단계(S105)에서 발 제스처가 기설정된 제스처 정보 중 어느 하나의 제스처 정보와 일치하면 일치하는 제스처 정보에 대응되는 이벤트 명령을 생성하는 이벤트 생성단계(S107)를 수행한다.Next, the event generating unit 130 generates an event command (S107) for generating an event command corresponding to matching gesture information if the foot gesture matches any one of the predetermined gesture information in the comparison step (S105) .

이벤트 생성부(130)는 이벤트 명령을 생성하면 이를 출력부(110)에 전송하고, 출력부(110)는 이벤트 생성부에서 생성된 이벤트 명령에 따라 출력부(110)에서 출력되고 있는 가상의 이미지에 대한 이벤트를 실행하여 출력하는 이벤트 실행단계(S109)를 수행한다.The event generation unit 130 generates an event command and transmits the generated event command to the output unit 110. The output unit 110 outputs the virtual image that is being output from the output unit 110 according to the event command generated by the event generation unit, And executes an event execution step (S109) for outputting an event for outputting the event.

예를 들어 감지부(120)가 발로 "X"자를 표시하는 발 제스처를 감지하였다면, 이벤트 생성부(130)는 기설정된 제스처 정보에서 이러한 발 제스처와 일치하는 제스처 정보를 검색하고 이러한 발 제스처에 대응되는 이벤트 명령인 프로그램 종료 명령을 생성하고, 이를 출력부(110)에 전송하며, 출력부(110)는 프로그램 종료 명령을 수신하여 출력되고 있는 가상의 이미지에 대해 출력을 종료하여 발 제스처에 따른 출력되고 있는 혼합현실을 제어한다.For example, if the sensing unit 120 senses a foot gesture indicating an "X" character, the event generating unit 130 searches for gesture information corresponding to the foot gesture in predetermined gesture information, The output unit 110 receives the program end command and terminates the output of the virtual image being output to output the output according to the foot gesture. To control mixed reality.

이와 같은 과정에서 감지부(120)는 사용자의 발에 장착된 관성측정센서로 구성될 수 있으며, 이와 함께 카메라부(140)를 통해 사용자의 발을 촬영하여 감지부(120)에서 감지된 발 제스처의 방향성을 추가로 판단할 수 있도록 구성될 수도 있다.In this process, the sensing unit 120 may include an inertial measurement sensor mounted on the user's foot. In addition, the sensing unit 120 photographs the user's foot through the camera unit 140, So that it is possible to further determine the directionality of the image.

즉, 감지단계(S103)에서 카메라부(140)가 사용자의 발을 촬영하는 촬영단계를 추가로 포함할 수 있고, 이벤트 생성부(130)가 감지부(120)에서 발 제스처가 감지될 때 카메라부(140)에서 촬영된 발의 영상을 분석하여 발 제스처의 방향성을 판단하는 판단단계를 더 포함한다.That is, in the sensing step S103, the camera unit 140 may further include a photographing step of photographing the user's foot. When the event generating unit 130 detects the foot gesture in the sensing unit 120, And a determination step of determining the directionality of the foot gesture by analyzing the foot image photographed by the unit 140.

그 다음, 이벤트 생성부(130)는 비교단계(S105)에서 이러한 발 제스처 및 발 제스처의 방향을 함께 기설정된 제스처 정보와 비교하고, 이벤트 생성단계(S107)에서 어느 하나의 일치하는 제스처 정보가 확인되면 상기 제스처 정보에 대응되는 이벤트 명령을 생성하여, 발 제스처 뿐만 아니라 제스처의 동작 방향까지 함께 포함하여 이벤트 명령을 생성하는 기능을 부가할 수 있다.Then, in the comparison step (S105), the event generating unit 130 compares the direction of the foot gesture and the foot gesture with predetermined gesture information together, and in the event generating step (S107), when any one of the matching gesture information is confirmed A function of generating an event command corresponding to the gesture information and including an action direction of the gesture as well as a foot gesture may be added.

이러한 과정을 통해 사용자가 손을 사용하지 못하는 경우라도, 발 제스처를 이용하여 혼합현실의 출력을 제어할 수 있게 된다.Through this process, even if the user can not use the hand, the output of the mixed reality can be controlled by using the foot gesture.

이상에서 설명한 본 발명은 바람직한 실시 예들을 통하여 상세하게 설명되었지만, 본 발명은 이러한 실시 예들의 내용에 한정되는 것이 아님을 밝혀둔다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면, 비록 실시 예에 제시되지 않았지만 첨부된 청구항의 기재 범위 내에서 다양한 본 발명에 대한 모조나 개량이 가능하며, 이들 모두 본 발명의 기술적 범위에 속함은 너무나 자명하다 할 것이다. 이에, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.While the invention has been shown and described with reference to certain preferred embodiments thereof, it is to be understood that the invention is not limited to the disclosed embodiments. Those skilled in the art will appreciate that various modifications, additions and substitutions are possible, without departing from the scope of the appended claims, The genius will be so self-evident. Accordingly, the true scope of the present invention should be determined by the technical idea of the appended claims.

100 : 발 제스처를 이용한 혼합현실 제어 시스템
110 : 출력부 120 : 감지부
130 : 이벤트 생성부 140 : 카메라부100: Mixed reality control system using foot gestures
110: output unit 120: sensing unit
130: Event generating unit 140:

Claims (9)

실제 세계를 촬영한 이미지나 영상에 가상의 이미지를 중첩하여 출력하거나 실제 세계 공간에 가상의 이미지를 중첩하여 출력하는 출력부;
사용자의 발에 장착되어 상기 발의 움직임 및 이동속도를 포함하는 발 제스처를 감지하는 감지부;
상기 사용자의 발을 촬영하는 카메라부; 및
상기 감지부에서 발 제스처를 감지하는 시점과 동일한 시점에 상기 카메라부를 통해 촬영된 상기 발의 제스처 방향을 판단하여 상기 감지부에서 감지되는 발 제스처 및 상기 판단된 발의 제스처 방향을 내부 또는 외부 메모리에 기저장된 제스처 및 제스처 방향과 비교하여 일치하는 제스처 및 제스처 방향에 따라 상기 출력부에서 출력되는 가상의 이미지를 제어하기 위한 이벤트 명령을 생성하는 이벤트 생성부; 를 포함하고,
상기 출력부는 상기 이벤트 생성부에서 생성된 이벤트 명령에 따라 상기 가상의 이미지에 대한 이벤트를 실행하여 출력하며,
상기 이벤트 명령은 화면 전환 명령, 상기 가상의 이미지 이동 명령, 상기 가상의 이미지 출력 종료 명령 중 적어도 하나를 포함하는 발 제스처를 이용한 혼합현실 제어 시스템.An output unit for superimposing and outputting a virtual image on an image or an image photographed in the real world, or for superimposing a virtual image on an actual world space and outputting;
A sensing unit mounted on a user's foot for sensing a foot gesture including a movement and a movement speed of the foot;
A camera unit for photographing the foot of the user; And
The gesture direction of the foot photographed by the camera unit at the same time as the sensing point of the foot gesture is sensed, and the foot gesture sensed by the sensing unit and the determined gesture direction of the foot are stored in the internal or external memory An event generation unit for generating an event command for controlling a virtual image outputted from the output unit in accordance with a gesture and a gesture direction which are compared with a gesture and a gesture direction; Lt; / RTI >
Wherein the output unit executes an event for the virtual image according to an event command generated by the event generation unit and outputs the event,
Wherein the event command includes at least one of a screen switching command, a virtual image moving command, and a virtual image output end command. 삭제delete 삭제delete 제 1 항에 있어서,
상기 감지부는 관성측정센서로 구성되는 것을 특징으로 하는 발 제스처를 이용한 혼합현실 제어 시스템.The method according to claim 1,
Wherein the sensing unit comprises an inertia measurement sensor. 제 1 항에 있어서,
상기 감지부는 상기 사용자의 발 제스처를 감지하면 진동을 발생시키는 진동모듈을 포함하는 발 제스처를 이용한 혼합현실 제어 시스템.The method according to claim 1,
Wherein the sensing unit includes a vibration module that generates vibration when the user senses a foot gesture of the user. 출력부가 실제 세계를 촬영한 이미지나 영상에 가상의 이미지를 중첩하여 출력하거나 실제 세계 공간에 가상의 이미지를 중첩하여 출력하는 출력단계;
사용자의 발에 장착된 감지부가 상기 발의 움직임 및 이동속도를 포함하는 발 제스처를 감지하는 감지단계;
카메라부가 상기 사용자의 발을 촬영하는 촬영단계;
이벤트 생성부가 상기 감지부에서 발 제스처를 감지하는 시점과 동일한 시점에 상기 카메라부를 통해 촬영된 상기 발의 제스처 방향을 판단하는 판단단계;
상기 이벤트 생성부가 상기 감지부에서 감지된 발 제스처 및 상기 판단단계에서 판단된 발의 제스처 방향을 내부 또는 외부 메모리에 기저장된 제스처 및 제스처 방향 정보와 비교하는 비교단계;
상기 이벤트 생성부가 상기 비교 결과 상기 감지된 발 제스처와 발의 제스처 방향이 기설정된 제스처 및 제스처 방향 정보 중 어느 하나의 정보와 일치하면 상기 일치하는 제스처 및 제스처 방향 정보에 대응되는 이벤트 명령을 생성하는 이벤트 생성단계; 및
상기 출력부가 상기 이벤트 생성부에서 생성된 이벤트 명령에 따라 상기 가상의 이미지에 대한 이벤트를 실행하여 출력하는 이벤트 실행단계; 를 포함하고,
상기 이벤트 명령은 화면 전환 명령, 상기 가상의 이미지 이동 명령, 상기 가상의 이미지 출력 종료 명령 중 적어도 하나를 포함하는 발 제스처를 이용한 혼합현실 제어 방법.An output step of outputting a virtual image superimposed on an image or an image of an actual world photographed by the output unit or outputting a virtual image superimposed on an actual world space;
A sensing step of sensing a foot gesture including a movement and a movement speed of the foot, the sensing part being mounted on a user's foot;
A photographing step of photographing the user's foot by the camera unit;
A determining step of determining an orientation of the foot gesture taken by the camera unit at the same point in time at which the event generating unit senses the foot gesture in the sensing unit;
Comparing the gesture direction determined by the foot gesture sensed by the sensing unit and the foot sensed by the sensing unit with gesture and gesture direction information stored in an internal or external memory;
Wherein the event generating unit generates an event to generate an event command corresponding to the matching gesture and gesture direction information if the sensed foot gesture and the foot gesture direction coincide with any one of the predetermined gesture and gesture direction information, step; And
An event executing step of causing the output unit to execute and output an event for the virtual image according to an event command generated by the event generating unit; Lt; / RTI >
Wherein the event command includes at least one of a screen switching command, a virtual image movement command, and a virtual image output end command. 삭제delete 제 6 항에 있어서,
상기 감지부는 관성측정센서로 구성되는 것을 특징으로 하는 발 제스처를 이용한 혼합현실 제어 방법.The method according to claim 6,
Wherein the sensing unit comprises an inertia measurement sensor. 제 6 항에 있어서,
상기 감지단계에서,
상기 감지부는 상기 사용자의 발 제스처를 감지하면 상기 감지부에 구비된 진동모듈을 이용해 진동을 발생시키는 발 제스처를 이용한 혼합현실 제어 방법.The method according to claim 6,
In the sensing step,
Wherein the sensing unit senses a user's foot gesture to generate vibration using a vibration module provided in the sensing unit.
KR1020160166493A 2016-12-08 2016-12-08 Control system and method for mixed reality using foot gesture KR101865362B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160166493A KR101865362B1 (en) 2016-12-08 2016-12-08 Control system and method for mixed reality using foot gesture

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160166493A KR101865362B1 (en) 2016-12-08 2016-12-08 Control system and method for mixed reality using foot gesture

Publications (1)

Publication Number Publication Date
KR101865362B1 true KR101865362B1 (en) 2018-06-07

Family

ID=62621312

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160166493A KR101865362B1 (en) 2016-12-08 2016-12-08 Control system and method for mixed reality using foot gesture

Country Status (1)

Country Link
KR (1) KR101865362B1 (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020130708A1 (en) * 2018-12-20 2020-06-25 Samsung Electronics Co., Ltd. Method and apparatus for augmented reality
KR102251142B1 (en) * 2021-04-13 2021-05-11 한림대학교 산학협력단 Gesture data collection and management system
KR102252852B1 (en) * 2020-02-13 2021-05-14 한림대학교 산학협력단 Gesture data collection and management system
KR20210155600A (en) * 2020-06-16 2021-12-23 한국기술교육대학교 산학협력단 Method and system for operating virtual training content using user-defined gesture model

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030016180A (en) * 2001-08-20 2003-02-26 신세다이 가부시키 가이샤 Soccer game apparatus
KR100953931B1 (en) 2008-05-09 2010-04-22 고려대학교 산학협력단 System for constructing mixed reality and Method thereof
KR20110032224A (en) * 2009-09-22 2011-03-30 에스케이텔레콤 주식회사 System and method for providing user interface by gesture, gesture signal generator and terminal thereof
KR20140079025A (en) * 2012-12-18 2014-06-26 현대자동차주식회사 Method for providing a user interface using leg gesture recognition in a vehicle
KR20140082266A (en) 2012-12-24 2014-07-02 한국전자통신연구원 Simulation system for mixed reality contents

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030016180A (en) * 2001-08-20 2003-02-26 신세다이 가부시키 가이샤 Soccer game apparatus
KR100953931B1 (en) 2008-05-09 2010-04-22 고려대학교 산학협력단 System for constructing mixed reality and Method thereof
KR20110032224A (en) * 2009-09-22 2011-03-30 에스케이텔레콤 주식회사 System and method for providing user interface by gesture, gesture signal generator and terminal thereof
KR20140079025A (en) * 2012-12-18 2014-06-26 현대자동차주식회사 Method for providing a user interface using leg gesture recognition in a vehicle
KR20140082266A (en) 2012-12-24 2014-07-02 한국전자통신연구원 Simulation system for mixed reality contents

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020130708A1 (en) * 2018-12-20 2020-06-25 Samsung Electronics Co., Ltd. Method and apparatus for augmented reality
US11501504B2 (en) 2018-12-20 2022-11-15 Samsung Electronics Co., Ltd. Method and apparatus for augmented reality
KR102252852B1 (en) * 2020-02-13 2021-05-14 한림대학교 산학협력단 Gesture data collection and management system
KR20210155600A (en) * 2020-06-16 2021-12-23 한국기술교육대학교 산학협력단 Method and system for operating virtual training content using user-defined gesture model
KR102502195B1 (en) * 2020-06-16 2023-02-21 한국기술교육대학교 산학협력단 Method and system for operating virtual training content using user-defined gesture model
KR102251142B1 (en) * 2021-04-13 2021-05-11 한림대학교 산학협력단 Gesture data collection and management system

Similar Documents

Publication Publication Date Title
KR101865362B1 (en) Control system and method for mixed reality using foot gesture
US9086724B2 (en) Display control system, display control method, computer-readable storage medium having stored thereon display control program, and display control apparatus
JP6598617B2 (en) Information processing apparatus, information processing method, and program
US11372249B2 (en) Information processing device and information processing method
US20200012846A1 (en) Methods and systems for training an object detection algorithm using synthetic images
US9342925B2 (en) Information processing apparatus, information processing method, and program
US20170309257A1 (en) Display control device
US10438411B2 (en) Display control method for displaying a virtual reality menu and system for executing the display control method
JP2015114818A (en) Information processing device, information processing method, and program
US8952956B2 (en) Computer-readable storage medium having stored therein display control program, display control apparatus, display control system, and display control method
JP6399692B2 (en) Head mounted display, image display method and program
US20120229509A1 (en) System and method for user interaction
CN111742281B (en) Electronic device for providing second content according to movement of external object for first content displayed on display and operating method thereof
CN110031975B (en) Method and system for calibrating augmented reality glasses in vehicle and augmented reality glasses
CN107562189B (en) Space positioning method based on binocular camera and service equipment
US20200225490A1 (en) Program, information processing method, information processing system, head-mounted display device, and information processing device
CN110895676B (en) dynamic object tracking
US20170264827A1 (en) Motion-sensor based remote control
US20140152562A1 (en) Display controller, display system, storage medium and method
US20200142506A1 (en) Direct three-dimensional pointing using light tracking and relative position detection
JP2010117917A (en) Motion detection apparatus and operation system
CN113590070A (en) Navigation interface display method, navigation interface display device, terminal and storage medium
JP2006276748A (en) Information presenting device, information presenting method, and computer program
KR20160090042A (en) Arcade game system by 3D HMD
US8708818B2 (en) Display control system, display control method, computer-readable storage medium having stored thereon display control program, and display control apparatus

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant