KR102635076B1 - 컨트롤러 및 그의 동작 방법 - Google Patents

컨트롤러 및 그의 동작 방법 Download PDF

Info

Publication number
KR102635076B1
KR102635076B1 KR1020210156921A KR20210156921A KR102635076B1 KR 102635076 B1 KR102635076 B1 KR 102635076B1 KR 1020210156921 A KR1020210156921 A KR 1020210156921A KR 20210156921 A KR20210156921 A KR 20210156921A KR 102635076 B1 KR102635076 B1 KR 102635076B1
Authority
KR
South Korea
Prior art keywords
vehicle
modality
input
handle
output device
Prior art date
Application number
KR1020210156921A
Other languages
English (en)
Other versions
KR20230070889A (ko
Inventor
박휘성
이기혁
김선범
김연수
박근우
윤은혜
Original Assignee
국방과학연구소
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 국방과학연구소, 한국과학기술원 filed Critical 국방과학연구소
Priority to KR1020210156921A priority Critical patent/KR102635076B1/ko
Publication of KR20230070889A publication Critical patent/KR20230070889A/ko
Application granted granted Critical
Publication of KR102635076B1 publication Critical patent/KR102635076B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/20—Conjoint control of vehicle sub-units of different type or different function including control of steering systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Mathematical Physics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

사용자가 비클(vehicle)을 한 손(one-hand)으로 제어하기 위한 컨트롤러에 있어서, 복수의 모달리티(modality)를 이용하여, 비클의 상태 정보를 출력하고 비클의 조종 정보를 입력 받는 사용자 인터페이스를 포함하고, 복수의 모달리티는, 손의 경사(tilting) 모달리티, 손목의 편위(deviation) 모달리티, 손의 병진(translation) 모달리티, 손가락의 굴곡(flexion) 모달리티를 포함하는 컨트롤러 및 그의 동작 방법을 제공한다.

Description

컨트롤러 및 그의 동작 방법{CONTROLLER AND OPERATING METHOD THEREOF}
본 개시는 컨트롤러 및 그의 동작 방법에 관한 것이다.
원격으로 UGV (Unmanned Ground Vehicle) 등의 기체 또는 비클(vehicle)을 조종할 시 한 손으로 비클 제어와 비클 상태에 대한 모니터링을 동시에 진행해야 하는 상황이 존재한다. 예를 들어 재난 상황의 경우 개별 비클과 개별 비클들로 이루어진 군집을 동시에 운용해야 한다. 이 때 한 손은 터치스크린을 통한 군집 모니터링 및 제어에, 다른 한 손은 조이스틱 등을 통한 개별 비클 모니터링 및 제어에 사용될 수 있다.
군집과 개별 비클을 동시에 제어하기 위해서, 양 손이 각각 다른 역할로 사용되어야 하기 때문에 한 손으로 동시에 기체 상태를 모니터링 (정보 출력) 및 제어 (정보 입력) 할 수 있는 컨트롤러가 필요하다. 그런데, 기존의 컨트롤러는 입력과 출력이 같은 모달리티(modality)를 사용하여 입출력이 서로를 방해한다는 문제가 있다. 예를 들어 조이스틱으로 비클을 조종할 때 입력하려고 하는 방향의 반대 방향으로 기울어지는 힘을 출력하여 출력이 입력을 방해하는 경우가 있다.
이와 관련하여, UGV를 조종함에 있어 스튜어트 플랫폼(stewart platform)을 햅틱 피드백(haptic feedback) 장치로서 활용한 연구가 있다. 이 연구는 스튜어트 플랫폼 위에 손잡이를 두어, UGV의 수평방향 가속도에 비례하여 스튜어트 플랫폼을 기울이는 방식으로, 손잡이를 잡은 사용자가 UGV의 가속도를 느끼고 조종에 활용하도록 하는 방법에 관한 것이다. 이는 사용자 손의 경사(tilting) 모달리티에 UGV의 가속도를 매핑시킨 것으로 생각할 수 있다. 이 장치는 또한, UGV의 수직방향 가속도에 비례하여 서보모터가 손잡이를 상하방향으로 이동시켜 사용자에게 상하방향 가속도에 대한 피드백을 제공한다. 이는 사용자 손의 상하방향 움직임 모달리티에 UGV의 상하방향 가속도를 매핑시킨 것으로 생각할 수 있다. 하지만, 장치를 잡은 손이 아닌 나머지 손으로 일반적인 조이스틱을 조작하여 UGV를 조종했다는 점에서 이 연구가 상기 문제점을 완전히 해결할 수는 없다.
본 발명에 따른 컨트롤러는 한 손의 여러 모달리티를 이용하여 비클의 상태 정보를 인식하는 사용자 인터페이스를 포함하여, 한 손으로 개별 비클을 제어할 수 있다.
본 발명이 이루고자 하는 기술적 과제는 상기된 바와 같은 과제로 한정되지 않으며, 이하의 실시예들로부터 또 다른 기술적 과제들이 유추될 수 있다.
일 실시예에 따라, 사용자가 비클(vehicle)을 한 손(one-hand)으로 제어하기 위한 컨트롤러로서, 복수의 모달리티(modality)를 이용하여, 상기 비클의 상태 정보를 출력하고 상기 비클의 조종 정보를 입력 받는 사용자 인터페이스를 포함하고,상기 복수의 모달리티는, 손의 경사(tilting) 모달리티, 손목의 편위(deviation) 모달리티, 손의 병진(translation) 모달리티, 손가락의 굴곡(flexion) 모달리티를 포함할 수 있다.
일 실시예에 따라, 사용자가 비클(vehicle)을 한 손(one-hand)으로 제어하기 위한 컨트롤러의 동작 방법에 있어서, 복수의 모달리티 각각에 상기 비클의 상태 정보의 출력 또는 상기 비클의 조종 정보의 입력을 할당하는 단계; 및 상기 복수의 모달리티(modality)를 이용하여, 상기 비클의 상태 정보를 출력하거나, 상기 비클의 조종 정보를 입력 받는 단계를 포함하고, 상기 복수의 모달리티는, 손의 경사(tilting) 모달리티, 손목의 편위(deviation) 모달리티, 손의 병진(translation) 모달리티 및 손가락의 굴곡(flexion) 모달리티를 포함할 수 있다.
일 실시예에 따라, 비클(vehicle); 및 사용자가 상기 비클을 한 손(one-hand)으로 제어하기 위한 컨트롤러를 포함하는 비클 제어 시스템에 있어서, 상기 컨트롤러는, 복수의 모달리티(modality)를 이용하여, 상기 비클의 상태 정보를 출력하고 상기 비클의 조종 정보를 입력 받는 사용자 인터페이스를 포함하고, 상기 복수의 모달리티는, 손의 경사(tilting) 모달리티, 손목의 편위(deviation) 모달리티, 손의 병진(translation) 모달리티, 손가락의 굴곡(flexion) 모달리티를 포함하고, 상기 비클은, 상기 상태 정보를 상기 컨트롤러에 제공하고, 상기 컨트롤러로부터 상기 조종 정보를 제공받을 수 있다.
기타 실시예들의 구체적인 사항은 상세한 설명 및 도면들에 포함된다.
기존의 컨트롤러는 입력과 출력에 동일한 모달리티를 사용하여 입출력이 동시에 발생할 경우 서로간의 간섭이 발생하여 조작이 어려웠다. 하지만, 본 발명은 입력과 출력에 서로 독립적인 모달리티를 사용하여 입력과 출력이 동시에 하나의 컨트롤러에서 잘 이루어질 수 있도록 하여 사용자가 한 손으로 비클을 더 용이하게 조종할 수 있도록 한다.
본 발명은 입출력이 동시에 필요한 한 손 컨트롤러에 모두 사용될 수 있다. 본 발명에서 개시된 실시예는 두 종류의 입력과 두 종류의 출력을 동시에 주고받을 수 있도록 하지만, 당업자라면 본 발명에 명시적으로 개시된 입출력 종류가 아니더라도 손의 각 모달리티에 원하는 입출력을 매핑하여 사용할 수 있음을 알 수 있다.
발명의 효과는 이상에서 언급한 효과만으로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 청구범위 기재로부터 당해 기술 분야의 통상의 기술자에게 명확하게 이해될 수 있다.
도 1 은 본 개시에 따른 컨트롤러, 모달리티의 일 실시예 및 사용자와의 관계의를 나타낸다.
도 2 는 복수의 모달리티의 일 예시를 나타낸다.
도 3 은 본 개시에 따른 컨트롤러 및 복수의 모달리티의 일 실시예 및 그들의 관계를 나타낸다.
도 4 는 본 개시에 따른 컨트롤러의 일 실시예를 나타낸다.
도 5 는 본 개시에 따른 컨트롤러의 일 실시예를 나타낸다.
도 6 은 본 개시에 따른 컨트롤러의 일 실시예를 나타낸다.
도 7 은 본 개시에 따른 컨트롤러, 복수의 모달리티, 사용자 및 비클의 관계를 나타낸다.
도 8 은 본 개시에 따른 컨트롤러의 동작 방법의 일 실시예를 나타낸다.
본 개시에 기술된 실시예는 본 개시를 제한하는 것이 아니라 예시하는 것이고, 통상의 기술자는 첨부된 청구범위에 의해 정의된 본 개시의 범주를 벗어나지 않으면서, 다수의 대안적인 실시예를 설계할 수 있다. 실시 예들에서 사용되는 용어는 본 개시에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 개시에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 개시의 전반에 걸친 내용을 토대로 정의되어야 한다.
달리 반대되는 기재가 없는 한, 본 명세서에서 "모달리티(modality)"는 사용자 및 장치 사이 하나의 독립적인 감각 채널 입력 또는 출력을 의미한다. 예를 들어, "인간-컴퓨터 모달리티(human-computer modality)" 에는 사용자의 키보드 입력, 마우스 입력, 터치스크린 입력, 음성 인식, 모션 인식 등이 포함될 수 있다. 또한 "컴퓨터-인간 모달리티(computer-human modality)" 에는 시각, 청각, 촉각, 맛, 후각, 열 등이 포함될 수 있다.
본 명세서에서 사용되는 단수의 표현은 문맥상 명백하게 반대되는 기재가 존재하지 않는 한, 단수는 물론 복수를 모두 포함한다.
본 명세서 전체에서 어떤 부분이 어떤 구성요소들 또는 어떤 단계들을 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한, 어떤 부분이 구성요소들 또는 단계들을 반드시 모두 포함해야 하는 것은 아니고, 청구범위 또는 명세서 전체에 열거된 것 이외의 구성요소 또는 단계가 포함되는 것을 배제하는 것도 아니며, 단지 이들을 더 포함할 수 있음을 의미한다.
또한, 본 명세서에서 사용되는 제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 서수를 포함하는 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 문맥상 명세서의 일 부분에서 일 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리범위를 벗어나지 않으면서 제1 구성요소는 명세서의 다른 부분에서 제2 구성요소로 명명될 수 있고, 반대로 제2 구성요소도 명세서의 다른 부분에서 제1 구성요소로 명명될 수 있다.
본 명세서에서 "매커니즘", "요소", "수단", "구성"과 같은 용어는 넓게 사용될 수 있으며, 기계적이고 물리적인 구성들로서 한정되는 것은 아니다. 상기 용어는 프로세서 등과 연계하여 소프트웨어의 일련의 처리들(routines)의 의미를 포함할 수 있다.
본 명세서(특히 청구범위에서)에서 "상기"의 용어 및 이와 유사한 지시 용어의 사용은 단수 및 복수 모두에 해당하는 것일 수 있다. 또한, 범위(range)를 기재한 경우 상기 범위에 속하는 개별적인 값을 포함하는 것으로서(이에 반하는 기재가 없다면), 상세한 설명에 상기 범위를 구성하는 각 개별적인 값을 기재한 것과 같다. 마지막으로, 방법을 구성하는 단계들에 대하여 명백하게 순서를 기재하거나 반하는 기재가 없다면, 상기 단계들은 적당한 순서로 재배열되어 행해질 수 있고, 반드시 상기 단계들의 기재 순서에 한정되는 것은 아니다. 모든 예들 또는 예시적인 용어(예들 들어, 등등)의 사용은 단순히 기술적 사상을 상세히 설명하기 위한 것으로서 청구범위에 의해 한정되지 않는 이상 상기 예들 또는 예시적인 용어로 인해 범위가 한정되는 것은 아니다. 통상의 기술자는 본 명세서에 개시된 실시예에 설계 조건 및 팩터에 따라 다양한 수정, 조합 및 변경을 부가하여 특허청구범위 또는 그 균등물의 범주에 속하는 새로운 실시예를 구성할 수 있다.
이하에서는 도면을 참조하여 본 개시의 실시예를 설명한다.
도 1 은 본 개시에 따른 컨트롤러(100), 모달리티(190)의 일 실시예 및 사용자(130)와의 관계를 나타낸다. 일 실시예에서, 사용자가 비클을 한 손으로 제어하기 위한 컨트롤러(100)는, 복수의 모달리티(modality)(190)를 이용하여, 비클의 상태 정보를 출력하고 비클의 조종 정보를 입력 받는 사용자 인터페이스(150)를 포함할 수 있다. 예를 들어, 비클의 상태 정보는, 비클의 자세, 속도, 헤딩(heading), 가속도, 각속도, 위치 등 비클의 운동에 관한 파라미터를 포함할 수 있다. 비클의 조종 정보는 비클의 상기 상태 정보를 피드백(feedback) 받은 사용자가 사용자 인터페이스에 입력하는 정보로서, 비클의 조향, 스로틀(throttle), 속도, 회전속도, 가속도, 지향 방향, 목표 위치 등 비클의 운동에 관한 파라미터를 포함할 수 있다.
일 실시예에서, 복수의 모달리티(190)는 손의 경사(tilting) 모달리티, 손목의 편위(deviation) 모달리티, 손의 병진(translation) 모달리티, 손가락의 굴곡(flexion) 모달리티를 포함할 수 있다.
비클(vehicle)은 이동 수단을 구비한 것으로서, 유/무인 이동체(Manned/Unmanned Vehicle), 로봇 등 알려진 모든 형태의 이동체(Vehicle)일 수 있다. 예를 들어, 이동체는 로버(rover), 로봇 청소기, 승용차, 군용 차량 등일 수 있다. 하지만, 이동체는 바퀴를 활용한 이동체에만 한정되지는 않는다. 다른 예를 들어, 이동체는 다리를 활용한 보행 로봇(Legged Robot or Walking Robot), 프로펠러를 활용한 잠수함, 선박, 헬리콥터, 비행기 또는 드론 등 알려진 모든 형태의 이동 수단을 구비한 어떤 것일 수 있다. 다만, 본 개시의 목적 중 하나는 사용자가 무인 이동체의 군집을 한 손으로 제어함과 동시에, 개별 무인 이동체를 나머지 한 손으로 제어하는 것이므로, 이 경우, 비클은, "UGV(Unmanned Ground Vehicle)" 일 수 있음은 물론, "UAV(Unmanned Aerial Vehicle)", "USV(Unmanned Surface Vehicle)", "UUV(Unmanned Underwater Vehicle)" 등 알려진 모든 형태의 무인 이동체일 수 있다.
도 2 는 복수의 모달리티의 일 예시를 나타낸다. 손(210)의 경사 모달리티는 특정한 면(예를 들어, 수평면 등)을 기준으로 하여 손바닥을 기울이는 동작을 의미한다. 예를 들어, 손(210)의 경사 모달리티는 제1 움직임(211) 및 제2 움직임(212)을 포함할 수 있으며, 제1 움직임(211)은 손(210)의 굴곡(flexion) 및 신전(extension)을 포함하고, 제2 움직임(212)은 손(210)의 회내(pronation) 및 회외(supination)를 포함할 수 있다.
손목(220)의 편위 모달리티는 손바닥의 경사를 유지한 상태에서, 손목(220)을 사용자의 손날 쪽 방향 또는 엄지 쪽 방향으로 움직이거나 꺾는 동작을 의미한다. 예를 들어, 손목(220)의 편위 모달리티는 제3 움직임(221)을 포함할 수 있으며, 제3 움직임(221)은 손목(220)을 엄지 쪽으로 움직이는 요측 편위(radial deviation) 및 손날 방향으로 움직이는 척측 편위(ulnar deviation)를 포함할 수 있다.
손의 병진 모달리티는 특정 위치를 기준으로 손의 중심이 이동하는 동작을 의미한다. 예를 들어, 손의 병진 모달리티는 제4 움직임(231)을 포함할 수 있으며, 제4 움직임(231)은 손의 중심이 3차원 공간 좌표계의 직교하는 3개의 축 방향으로 각각 이동하는 움직임을 포함할 수 있다.
손가락의 굴곡 모달리티는 손가락(240, 250)을 구부리는 동작을 의미한다. 예를 들어, 손가락의 굴곡 모달리티는 제5 움직임(241)을 포함할 수 있으며, 제5 움직임(241)은 엄지(240)의 굴곡 및 신전을 포함할 수 있다.
손가락의 굴곡 모달리티는 도 2 에 도시된 엄지(240)의 움직임만을 포함할 수 있는 것은 아니며, 본 개시에 따른 다른 예시에서, 검지(250)의 굴곡 및 신전을 포함하는 제6 움직임도 포함할 수 있고, 다른 손가락의 굴곡 및 신전을 포함하는 움직임도 포함할 수 있음은 당업자에게 자명하다.
본 개시에 따른 실시예에서, 복수의 모달리티는 단순히 상술한 모달리티에 한정되지 않는다. 예를 들어, 복수의 모달리티는 상술한 손 및 손목의 움직임은 물론, 팔꿈치의 굴곡 및 신전, 어깨의 굴곡, 신전, 내회전, 외회전, 내전, 외전 등 및 이들의 조합을 포함할 수 있다.
사용자 인터페이스는 접촉 부재, 사용자가 손으로 물리적 부재를 움켜쥐는 것, 또는 사용자의 손을 벨트, 집게 등으로 잡는 것을 통해 손가락, 손, 손목, 팔 또는 어깨를 접촉 부재에 고정하는 고정 부재, 상기 접촉 부재의 움직임을 측정하는 센서 등 또는 상기 접촉 부재를 움직이는 구동기 등을 포함할 수 있다. 이 때 센서 등은 사용자가 본인의 손가락, 손, 손목, 팔 또는 어깨를 움직여서 함께 고정된 접촉 부재를 움직일 때, 그 움직임을 측정하는 거리 센서, 각도 센서 등을 포함할 수 있다. 또한 이때 구동기 등은 그 구동으로 접촉 부재를 움직여 접촉 부재에 고정된 사용자의 손, 손목, 팔 또는 어깨를 움직일 수 있는 모터 등을 포함할 수 있다. 예를 들어, 일 실시예에 따라, 사용자 인터페이스는 손의 경사 모달리티를 이용하여 비클의 제1 상태 정보를 출력하고, 손의 병진 모달리티를 이용하여 비클의 제2 상태 정보를 출력하고, 손목의 편위 모달리티를 이용하여 비클의 제1 조종 정보를 입력 받고, 손가락의 굴곡 모달리티를 이용하여 비클의 제2 조종 정보를 입력 받을 수 있다. 이 때, 제1 상태 정보 및 제2 상태 정보의 출력은 접촉 부재에 고정된 사용자의 손 또는 손목을 구동기를 이용하여 움직이는 방법으로 수행될 수 있다. 또한 이 때, 제1 조종 정보 및 제2 조종 정보의 입력은 사용자가 본인의 손, 손목 및 손가락을 이용하여 접촉 부재를 움직이고, 센서가 접촉 부재의 움직임 정도를 측정하는 방법으로 수행될 수 있다.
도 3 은 본 개시에 따른 컨트롤러(300) 및 복수의 모달리티(390)의 일 실시예 및 그들의 관계를 나타낸다. 일 실시예에 따라, 사용자 인터페이스(350)는, 핸들(351) 및 트리거(352)를 포함하고, 손의 경사 모달리티(391)는 핸들(351)의 경사에 대응하고, 손목의 편위 모달리티(392)는 핸들(351)의 회전에 대응하고, 손의 병진 모달리티(393)는 핸들(351)의 진동에 대응하고, 손가락의 굴곡 모달리티(394)는 트리거(352)의 움직임에 대응할 수 있다.
예를 들어, 사용자는 핸들(351)을 조작하여 핸들(351)을 기울이고 컨트롤러(300)는 이를 측정할 수 있다. 또한, 컨트롤러(300)는 핸들(351)을 기울여서 핸들(351)을 잡은(또는 핸들(351)에 고정된) 사용자의 손을 경사지도록 할 수 있다. 컨트롤러(300)는 이를 위하여 핸들(351)의 경사 방향을 측정하거나 핸들(351)이 기울어지도록 구동하는 자세 입출력 디바이스(310)를 포함할 수 있다. 구체적으로, 자세 입출력 디바이스(310)는 스튜어트 플랫폼(stewart platform)을 포함할 수 있다. 이 때, 자세 입출력 디바이스(310)는 별도의 구동기(서보 모터 또는 리니어 액추에이터 등)를 이용하여 스튜어트 플랫폼 상에 위치하는 핸들(351)을 기울여서 핸들(351)을 잡은(또는 핸들(351)에 고정된) 사용자의 손을 경사지도록 할 수 있다. 또한, 자세 입출력 디바이스(310)는 사용자가 핸들(351)을 조작하여 핸들(351)을 기울이는 동작에 대응하여, 별도의 자세 측정 센서(가속도계, 경사계, 영상처리를 통해 손의 기울기를 검출하는 이미지 센서 등)를 이용하여 스튜어트 플랫폼 상에 위치하는 핸들(351)의 경사 방향 또는 기울기를 측정할 수 있다.
예를 들어, 사용자는 핸들(351)을 조작하여 핸들(351)을 회전하고 컨트롤러(300)는 이를 측정할 수 있다. 또한, 컨트롤러(300)는 핸들(351)을 회전시켜 핸들(351)을 잡은(또는 핸들(351)에 고정된) 사용자의 손의 손목 편위를 발생시킬 수 있다. 컨트롤러(300)는 이를 위하여 핸들(351)의 회전을 측정하거나 핸들(351)이 회전하도록 구동하는 조향 입출력 디바이스(320)를 포함할 수 있다. 구체적으로, 조향 입출력 디바이스(320)는 별도의 구동기(서보 모터 등)를 이용하여 핸들(351)을 회전시켜 핸들(351)을 잡은(또는 핸들(351)에 고정된) 사용자의 손의 손목 편위를 발생시킬 수 있다. 또한, 조향 입출력 디바이스(320)는 사용자가 핸들(351)을 조작하여 핸들(351)을 회전시키는 동작에 대응하여, 별도의 회전 측정 센서(타코미터, 자이로미터, 영상처리를 동반하는 이미지 센서 등)를 이용하여 핸들(351)의 회전을 측정할 수 있다.
예를 들어, 사용자는 핸들(351)을 조작하여 핸들(351)을 진동시키고 컨트롤러(300)는 이를 측정할 수 있다. 또한, 컨트롤러(300)는 핸들(351)을 진동시켜 핸들(351)을 잡은(또는 핸들(351)에 고정된) 사용자의 손의 병진을 발생시킬 수 있다. 컨트롤러(300)는 이를 위하여 핸들(351)의 진동을 확인하거나 핸들(351)을 진동시키는 경사량 입출력 디바이스(330)를 포함할 수 있다. 구체적으로, 경사량 입출력 디바이스(330)는 보이스 코일 액추에이터(voice coil actuator)를 포함할 수 있다. 이 때, 경사량 입출력 디바이스(330)는 보이스 코일 액추에이터를 이용하여 핸들(351)을 진동시켜 핸들(351)을 잡은(또는 핸들(351)에 고정된) 사용자의 손의 병진을 발생시키도록 할 수 있다. 또한, 경사량 입출력 디바이스(330)는 사용자가 핸들(351)을 조작하여 핸들(351)을 병진 또는 진동시키는 동작에 대응하여, 별도의 병진 측정 센서(스트레인게이지(strain gauge), 가속도계, 영상처리를 동반하는 이미지 센서 등) 또는 진동 측정 센서(가속도계, 경사계, 영상처리를 통해 손의 병진을 검출하는 이미지 센서 등)를 이용하여 핸들(351)의 병진 또는 진동을 측정할 수 있다.
예를 들어, 사용자는 트리거(352)를 조작하여 트리거(352)를 움직이고 컨트롤러(300)는 이를 측정할 수 있다. 또한, 컨트롤러(300)는 트리거(352)를 움직여서 트리거(352)를 잡은(또는 트리거(352)에 고정된) 사용자의 손가락을 굴곡시키도록 할 수 있다. 컨트롤러(300)는 이를 위하여 트리거(352)의 움직임을 확인하거나 트리거(352)가 움직이도록 구동하는 스로틀 입출력 디바이스(340)를 포함할 수 있다. 구체적으로, 스로틀 입출력 디바이스(340)는 별도의 구동기(서보 모터 등)를 이용하여 트리거(352)를 움직여 트리거(352)를 잡은(또는 트리거(352)에 고정된) 사용자의 손가락의 굴곡을 발생시킬 수 있다. 또한, 스로틀 입출력 디바이스(340)는 사용자가 트리거(352)를 조작하여 트리거(352)를 움직이는 동작에 대응하여, 별도의 측정 센서(타코미터, 자이로미터, 영상처리를 동반하는 이미지 센서 등)를 이용하여 트리거(352)를 움직임을 측정할 수 있다.
비클의 상태 정보를 모니터링하고 비클을 동시에 조종하는 경우, 동일한 모달리티에 상태 정보의 입력과 조종 정보의 출력을 모두 할당한다면, 입력 및 출력 서로 간의 간섭이 발생하여 비클의 조작이 어려워질 수 있다. 따라서, 도 4 와 같이, 일 실시예에서, 자세 입출력 디바이스(410)는 비클의 자세에 대응하여 핸들(451)이 기울어지도록 구동하고, 조향 입출력 디바이스(420)는 핸들(451)의 회전을 측정하여 비클의 조향 제어 신호를 발생시키고, 경사량 입출력 디바이스(430)는 비클의 경사량에 대응하여 핸들(451)을 진동시키고, 스로틀 입출력 디바이스(440)는 트리거(452)의 움직임을 측정하여 비클의 스로틀 제어 신호를 발생시킬 수 있다. 예를 들어, 자세 입출력 디바이스(410)는 비클의 자세를 입력 받아 이에 대응하여 핸들(451)이 기울어지도록 구동할 수 있다. 사용자는 핸들(451)에 올려놓은 손을 통해 핸들(451)의 경사 방향을 인식하고, 이에 대응하여 한 손으로 핸들(451)을 원하는 방향으로 회전시킬 수 있다. 조향 입출력 디바이스(420)는 센서를 통해 핸들의 회전 방향, 회전 속도 또는 회전 양을 측정한 다음, 이에 대응하여 컨트롤러(400)는 비클의 조향 제어 신호를 출력할 수 있다. 또한, 사용자는 손가락으로 트리거(452)를 움직일 수 있고, 스로틀 입출력 디바이스(440)는 센서를 통해 트리거(452)의 움직임을 확인한 다음, 이에 대응하여 컨트롤러(400)는 비클의 스로틀 제어 신호를 출력할 수 있다.
일 실시예에서, 경사량 입출력 디바이스(430)는 비클의 경사량을 입력 받아 이에 대응하여 핸들(451)을 진동시킬 수 있다. 경사량 입출력 디바이스(430)는 비클의 경사량에 비례하여 핸들(451)에 전해지는 진동을 더 크거나 작게 할 수 있다. 사용자는 핸들(451)에 올려놓은 손을 통해 핸들(451)의 진동을 인식하고, 이에 대응하여 대응하여 한 손으로 핸들(451)을 원하는 방향으로 회전시키는 등의 조작을 할 수 있다. 이는 경사량 입출력 디바이스(430)가 비클의 경사량에 비례하여 핸들(451)이 기울어지도록 구동하는 다른 실시예에 비하여 사용자가 경사량을 더 잘 인식할 수 있다는 이점이 있다.
도 5 는 본 개시에 따른 컨트롤러(500)의 일 실시예를 도시한다. 상술한 바와 같이, 컨트롤러(500)는 자세 입출력 디바이스(510), 조향 입출력 디바이스(520) 및 경사량 입출력 디바이스(530)를 포함할 수 있다. 도 5 에 나타난 바와 같이, 자세 입출력 디바이스(510)는 스튜어트 플랫폼을 포함할 수 있다. 핸들(551)은 자세 입출력 디바이스(510)의 위에 위치하여, 자세 입출력 디바이스(510)가 핸들의 경사(511, 512)를 입력 받거나, 출력할 수 있도록 배치될 수 있다. 트리거(552)는 핸들(551) 근처(바람직하게는, 핸들에 올라갈 사용자의 손의 손가락 근처)에 위치하여, 사용자가 핸들 위에 손을 올려놓은 상태에서 손을 별도로 움직이지 않고도 손가락을 구부려 트리거(552)를 작동시킬 수 있도록 배치될 수 있다. 조향 입출력 디바이스(520)는 핸들(551)의 회전축 근처 또는 회전축의 동축 아래에 위치하여, 핸들(551)의 회전을 감지하거나 핸들(551)을 회전 구동할 수 있다. 경사량 입출력 디바이스(530)는 보이스 코일 액추에이터를 포함할 수 있고, 핸들(551)에 직접 접촉하거나, 다른 구조(핸들(551)의 회전축 또는 핸들(551)의 지지대 등)를 통해 핸들(551)에 직접적 또는 간접적으로 진동을 전달하거나, 전달받을 수 있다. 사용자는 핸들(551)에 손바닥을 접촉하는 방법으로, 손의 경사 모달리티, 손목의 편위 모달리티, 손의 병진 모달리티를 통해 컨트롤러(500)로부터 비클의 상태 정보를 전달받거나, 컨트롤러(500)로 비클의 조종 정보를 전달할 수 있다.
도 6 은 본 개시에 따른 컨트롤러의 일 실시예를 도시한다. 상술한 바와 같이, 컨트롤러는 스로틀 입출력 디바이스(640)를 포함할 수 있다. 스로틀 입출력 디바이스(640)는 트리거(652)와 회전 축을 공유하거나, 트리거(652) 근처에 위치하여, 트리거(652)의 작동(641)을 입력 받거나, 트리거(652)를 작동(641)할 수 있다.
컨트롤러는 조향 입출력 디바이스를 포함할 수 있고, 조향 입출력 디바이스는 핸들(651)의 회전축 근처 또는 회전축의 동축 아래에 위치하여, 핸들(651)의 회전(621)을 감지하거나 핸들(651)을 회전(621) 구동할 수 있다. 핸들(651)은 손가락을 배치할 수 있는 하나 이상의 홈(653)을 포함할 수 있다. 이는 사용자가 핸들(651)을 더 용이하게 잡고 조작할 수 있도록 하는 이점이 있다.
인체 구조 상 사용자의 손목 관절에는 가동 범위의 제한이 있으므로, 사용자의 손목 편위를 이용한 핸들(651)의 회전(621) 각도에도 제한이 있을 수 있다. 이에 따라 조향 입출력 디바이스는 핸들(651)의 회전(621) 각도를 측정하고, 핸들(651)이 과도하게 회전(621)하는 것을 방지하기 위해 핸들(651)의 회전(621) 각도에 비례하여 핸들(651)을 다시 중립 위치로 복원하는 힘을 발생시키는 모터(670) 및 웜 기어(660)를 포함할 수 있다. 이와 같이 핸들(651)을 중립 위치로 복원하는 부재는 상술한 모터(670)에 제한되지 않고, 스프링, 고무줄 등 복원력을 발생시킬 수 있는 잘 알려진 부재가 될 수 있다.
컨트롤러는 경사량 입출력 디바이스를 포함할 수 있고, 경사량 입출력 디바이스는 핸들(651)에 직접 접촉하거나, 다른 구조(핸들(651)의 회전축 또는 핸들(651)의 지지대 등)를 통해 핸들(651)에 직접적 또는 간접적으로 진동(631)을 전달하거나, 전달받을 수 있다.
도 5 및 도 6 는 본 개시에 따른 컨트롤러 및 그의 구성요소의 다양한 실시예에 대한 설명의 편의를 위해 별도의 도면으로 설명된 것일 뿐, 도 5 및 도 6 에서 설명한 컨트롤러 및 그의 구성요소들은 도 5 및 도 6 서로 간에 배타적이지 않다. 즉, 당업자라면 도 5 및 도 6 에 따로 나타난 구성요소들을 조합하여 본 개시에 따른 컨트롤러를 용이하게 구성할 수 있다.
도 7 은 본 개시에 따른 컨트롤러(700), 복수의 모달리티(720), 사용자(730) 및 비클(760)의 관계를 나타낸다. 일 실시예에 따라, 비클(760) 및 비클(760)을 한 손으로 제어하기 위한 컨트롤러(700)를 포함하는 비클 제어 시스템에 있어서, 컨트롤러(700)는, 복수의 모달리티(720)를 이용하여, 비클(760)의 상태 정보를 출력하고 비클(760)의 조종 정보를 입력 받는 사용자 인터페이스(750)를 포함하고, 복수의 모달리티(720)는, 손의 경사 모달리티, 손목의 편위 모달리티, 손의 병진 모달리티, 손가락의 굴곡 모달리티를 포함하고, 비클(760)은, 상태 정보를 컨트롤러(700)에 제공하고, 컨트롤러(700)로부터 조종 정보를 제공받을 수 있다.
예를 들어, 비클(760)은 컨트롤러(700)와 업계에 잘 알려진 방식으로 유선 또는 무선 통신하여 상태 정보를 컨트롤러(700)에 제공하고, 컨트롤러(700)로부터 조종 정보를 제공받을 수 있다. 상태 정보 또는 조종 정보의 제공은 주기적으로 또는 비주기적으로 일어날 수 있으나, 비클(760)의 충돌 등의 사고를 방지하기 위해 적어도 사용자(730)가 비클(760)을 실시간 또는 실시간에 근접하도록 비클(760)을 제어할 수 있을 정도의 빈도 및 대역폭으로 이루어지는 것이 바람직하다. 컨트롤러(700)는 비클(760)로부터 비클(760)의 상태 정보를 제공받고, 사용자 인터페이스(750)는 복수의 모달리티(720)를 이용하여 사용자(730)에게 비클(760)의 상태 정보를 제공할 수 있다. 사용자(730)는 복수의 모달리티(720)를 이용하여 사용자 인터페이스(750)로 비클(760)의 조종 정보를 제공하고, 컨트롤러(700)는 비클(760)로 비클(760)의 조종 정보를 제공할 수 있다. 이와 같이 컨트롤러(700) 및 사용자 인터페이스(750)는 비클(760)의 상태 정보를 사용자에게 보다 직관적인 방법으로 제공할 수 있고, 사용자는 컨트롤러(700) 및 사용자 인터페이스(750)는 보다 직관적으로 비클(760)을 조종할 수 있다.
도 8 은 본 개시에 따른 컨트롤러의 동작 방법의 일 실시예를 나타낸다. 도 8 의 동작 방법의 각 단계는 도 1 내지 도 7 에서 설명한 컨트롤러에 의해 수행될 수 있으므로, 중복되는 내용에 대해서는 설명을 생략한다.
단계 S810에서, 컨트롤러는 복수의 모달리티 각각에 비클의 상태 정보의 출력 또는 비클의 조종 정보의 입력을 할당할 수 있다. 구체적으로, 사용자 입력에 기초하여, 컨트롤러는 복수의 모달리티 각각에 비클의 상태 정보의 출력 또는 비클의 조종 정보의 입력을 할당할 수 있다. 예를 들어, 컨트롤러는 사용자 입력을 수용하는 별도의 입력 디바이스를 구비할 수 있다. 또 다른 예를 들어, 컨트롤러는 메모리 등 저장 디바이스를 포함하여, 사용자가 파일 등의 형태로 미리 입력해 둔 데이터를 읽은 다음, 복수의 모달리티 각각에 비클의 상태 정보의 출력 또는 비클의 조종 정보의 입력을 할당할 수 있다.
일 실시예에서, 컨트롤러는 손의 경사 모달리티에 제1 상태 정보의 출력을 할당하고, 손의 병진 모달리티에 제2 상태 정보의 출력을 할당하고, 손목의 편위 모달리티에 제1 조종 정보의 입력을 할당하고, 손가락의 굴곡 모달리티에 제2 상태 정보의 입력을 할당할 수 있다. 예를 들어, 제1 상태 정보, 제2 상태 정보, 제1 조종 정보 및 제2 조종 정보는 각각 비클의 자세에 관한 정보, 비클의 경사량에 관한 정보, 비클의 조향에 관한 정보 및 비클의 스로틀에 관한 정보일 수 있다.
단계 S820에서, 컨트롤러는 복수의 모달리티를 이용하여, 비클의 상태 정보를 출력하거나, 비클의 조종 정보를 입력 받을 수 있다. 또한, 컨트롤러는 복수의 모달리티를 이용하여, 비클의 상태 정보를 출력하고, 비클의 조종 정보를 입력 받을 수 있다.
컨트롤러는 손의 경사 모달리티를 이용하여 비클의 제1 상태 정보를 출력하고, 손의 병진 모달리티를 이용하여 비클의 제2 상태 정보를 출력하고, 손목의 편위 모달리티를 이용하여 비클의 제1 조종 정보를 입력 받고, 손가락의 굴곡 모달리티를 이용하여 비클의 제2 조종 정보를 입력 받을 수 있다. 예를 들어, 제1 상태 정보, 제2 상태 정보, 제1 조종 정보 및 제2 조종 정보는 각각 비클의 자세에 관한 정보, 비클의 경사량에 관한 정보, 비클의 조향에 관한 정보 및 비클의 스로틀에 관한 정보일 수 있다.
컨트롤러는, 핸들 및 트리거를 포함하고, 손의 경사 모달리티는 핸들의 경사에 대응하고, 손목의 편위 모달리티는 핸들의 회전에 대응하고, 손의 병진 모달리티는 핸들의 진동에 대응하고, 손가락의 굴곡 모달리티는 트리거의 움직임에 대응할 수 있다.
컨트롤러는 자세 입출력 디바이스, 조향 입출력 디바이스, 경사량 입출력 디바이스 및 스로틀 입출력 디바이스를 더 포함하고, 자세 입출력 디바이스는 핸들의 경사 방향을 측정하거나 핸들이 기울어지도록 구동하고, 조향 입출력 디바이스는 핸들의 회전을 측정하거나 핸들이 회전하도록 구동하고, 경사량 입출력 디바이스는 핸들의 진동을 확인하거나 핸들을 진동시키고, 스로틀 입출력 디바이스는 트리거의 움직임을 확인하거나 트리거가 움직이도록 구동할 수 있다.
자세 입출력 디바이스는 비클의 자세에 대응하여 핸들이 기울어지도록 구동하고, 조향 입출력 디바이스는 핸들의 회전에 기초하여 비클의 조향 제어 신호를 발생시키고, 경사량 입출력 디바이스는 비클의 경사량에 대응하여 핸들을 진동시키고, 스로틀 입출력 디바이스는 트리거의 움직임에 기초하여 비클의 스로틀 제어 신호를 발생시킬 수 있다.
자세 입출력 디바이스는 스튜어트 플랫폼(stewart platform)을 포함할 수 있다.
경사량 입출력 디바이스는 보이스 코일 액추에이터(voice coil actuator)를 포함할 수 있다.
본 실시 예는 기능적인 블록 구성들 및 다양한 처리 단계들로 나타내어질 수 있다. 이러한 기능 블록들은 특정 기능들을 실행하는 다양한 개수의 하드웨어, 소프트웨어, 또는 이들의 조합들로 구현될 수 있다. 예를 들어, 실시 예는 하나 이상의 마이크로프로세서들의 제어 또는 다른 제어 장치들에 의해서 다양한 기능들을 실행할 수 있는, 메모리, 프로세싱, 로직(logic), 룩 업 테이블(look-up table) 등과 같은 직접 회로 구성들을 채용할 수 있다. 구성 요소들이 소프트웨어 프로그래밍 또는 소프트웨어 요소들로 실행될 수 있는 것과 유사하게, 본 실시 예는 데이터 구조, 프로세스들, 루틴들 또는 다른 프로그래밍 구성들의 조합으로 구현되는 다양한 알고리즘을 포함하여, C, C++, 자바(Java), 어셈블러(assembler) 등과 같은 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능적인 측면들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다. 또한, 본 실시 예는 전자적인 환경 설정, 신호 처리, 데이터 처리 또는 이들의 조합 등을 위하여 종래 기술을 채용할 수 있다.

Claims (16)

  1. 사용자가 비클(vehicle)을 한 손(one-hand)으로 제어하기 위한 컨트롤러에 있어서,
    복수의 모달리티(modality)를 이용하여, 상기 비클의 상태 정보를 출력하고 상기 비클의 조종 정보를 입력 받는 사용자 인터페이스를 포함하고,
    상기 복수의 모달리티는,
    손의 경사(tilting) 모달리티, 손목의 편위(deviation) 모달리티, 손의 병진(translation) 모달리티, 및 손가락의 굴곡(flexion) 모달리티를 포함하되,
    상기 사용자 인터페이스는,
    상기 손의 경사 모달리티를 이용하여 상기 비클의 제1 상태 정보를 출력하고,
    상기 손의 병진 모달리티를 이용하여 상기 비클의 제2 상태 정보를 출력하고,
    상기 손목의 편위 모달리티를 이용하여 상기 비클의 제1 조종 정보를 입력 받고, 상기 손가락의 굴곡 모달리티를 이용하여 상기 비클의 제2 조종 정보를 입력 받는, 컨트롤러.
  2. 삭제
  3. 사용자가 비클(vehicle)을 한 손(one-hand)으로 제어하기 위한 컨트롤러에 있어서,
    복수의 모달리티(modality)를 이용하여, 상기 비클의 상태 정보를 출력하고 상기 비클의 조종 정보를 입력 받는 사용자 인터페이스를 포함하고,
    상기 복수의 모달리티는,
    손의 경사(tilting) 모달리티, 손목의 편위(deviation) 모달리티, 손의 병진(translation) 모달리티, 및 손가락의 굴곡(flexion) 모달리티를 포함하되,
    상기 사용자 인터페이스는, 핸들 및 트리거를 포함하고,
    상기 손의 경사 모달리티는 상기 핸들의 경사에 대응하고, 상기 손목의 편위 모달리티는 상기 핸들의 회전에 대응하고, 상기 손의 병진 모달리티는 상기 핸들의 진동에 대응하고, 상기 손가락의 굴곡 모달리티는 상기 트리거의 움직임에 대응하는, 컨트롤러.
  4. 제3항에 있어서,
    자세 입출력 디바이스, 조향 입출력 디바이스, 경사량 입출력 디바이스 및 스로틀 입출력 디바이스를 더 포함하고,
    상기 자세 입출력 디바이스는 상기 핸들의 경사 방향을 측정하거나 상기 핸들이 기울어지도록 구동하고,
    상기 조향 입출력 디바이스는 상기 핸들의 회전을 측정하거나 상기 핸들이 회전하도록 구동하고,
    상기 경사량 입출력 디바이스는 상기 핸들의 진동을 확인하거나 상기 핸들을 진동시키고,
    상기 스로틀 입출력 디바이스는 상기 트리거의 움직임을 확인하거나 상기 트리거가 움직이도록 구동하는, 컨트롤러.
  5. 제4항에 있어서,
    상기 자세 입출력 디바이스는 상기 비클의 자세에 대응하여 상기 핸들이 기울어지도록 구동하고,
    상기 조향 입출력 디바이스는 상기 핸들의 회전에 기초하여 상기 비클의 조향 제어 신호를 발생시키고,
    상기 경사량 입출력 디바이스는 상기 비클의 경사량에 대응하여 상기 핸들을 진동시키고,
    상기 스로틀 입출력 디바이스는 상기 트리거의 움직임에 기초하여 상기 비클의 스로틀 제어 신호를 발생시키는, 컨트롤러.
  6. 제4항에 있어서,
    상기 자세 입출력 디바이스는 스튜어트 플랫폼(stewart platform)을 포함하는, 컨트롤러.
  7. 제4항에 있어서,
    상기 경사량 입출력 디바이스는 보이스 코일 액추에이터(voice coil actuator)를 포함하는, 컨트롤러.
  8. 사용자가 비클(vehicle)을 한 손(one-hand)으로 제어하기 위한 컨트롤러의 동작 방법에 있어서,
    복수의 모달리티(modality) 각각에 상기 비클의 상태 정보의 출력 또는 상기 비클의 조종 정보의 입력을 할당하는 단계; 및
    상기 복수의 모달리티를 이용하여, 상기 비클의 상태 정보를 출력하거나, 상기 비클의 조종 정보를 입력 받는 단계를 포함하고,
    상기 복수의 모달리티는,
    손의 경사(tilting) 모달리티, 손목의 편위(deviation) 모달리티, 손의 병진(translation) 모달리티 및 손가락의 굴곡(flexion) 모달리티를 포함하되,
    상기 입력 받는 단계는,
    상기 손의 경사 모달리티를 이용하여 상기 비클의 제1 상태 정보를 출력하고, 상기 손의 병진 모달리티를 이용하여 상기 비클의 제2 상태 정보를 출력하고, 상기 손목의 편위 모달리티를 이용하여 상기 비클의 제1 조종 정보를 입력 받고, 상기 손가락의 굴곡 모달리티를 이용하여 상기 비클의 제2 조종 정보를 입력 받는 단계를 포함하는, 컨트롤러의 동작 방법.
  9. 삭제
  10. 사용자가 비클(vehicle)을 한 손(one-hand)으로 제어하기 위한 컨트롤러의 동작 방법에 있어서,
    복수의 모달리티(modality) 각각에 상기 비클의 상태 정보의 출력 또는 상기 비클의 조종 정보의 입력을 할당하는 단계; 및
    상기 복수의 모달리티를 이용하여, 상기 비클의 상태 정보를 출력하거나, 상기 비클의 조종 정보를 입력 받는 단계를 포함하고,
    상기 복수의 모달리티는,
    손의 경사(tilting) 모달리티, 손목의 편위(deviation) 모달리티, 손의 병진(translation) 모달리티 및 손가락의 굴곡(flexion) 모달리티를 포함하되,
    상기 컨트롤러는, 핸들 및 트리거를 포함하고,
    상기 손의 경사 모달리티는 상기 핸들의 경사에 대응하고, 상기 손목의 편위 모달리티는 상기 핸들의 회전에 대응하고, 상기 손의 병진 모달리티는 상기 핸들의 진동에 대응하고, 상기 손가락의 굴곡 모달리티는 상기 트리거의 움직임에 대응하는, 컨트롤러의 동작 방법.
  11. 제10항에 있어서,
    상기 컨트롤러는 자세 입출력 디바이스, 조향 입출력 디바이스, 경사량 입출력 디바이스 및 스로틀 입출력 디바이스를 더 포함하고,
    상기 입력 받는 단계는,
    상기 자세 입출력 디바이스는 상기 핸들의 경사 방향을 측정하거나 상기 핸들이 기울어지도록 구동하고, 상기 조향 입출력 디바이스는 상기 핸들의 회전을 측정하거나 상기 핸들이 회전하도록 구동하고, 상기 경사량 입출력 디바이스는 상기 핸들의 진동을 확인하거나 상기 핸들을 진동시키고, 상기 스로틀 입출력 디바이스는 상기 트리거의 움직임을 확인하거나 상기 트리거가 움직이도록 구동하는 단계를 포함하는, 컨트롤러의 동작 방법.
  12. 제11항에 있어서,
    상기 구동하는 단계는,
    상기 자세 입출력 디바이스는 상기 비클의 자세에 대응하여 상기 핸들이 기울어지도록 구동하고, 상기 조향 입출력 디바이스는 상기 핸들의 회전에 기초하여 상기 비클의 조향 제어 신호를 발생시키고, 상기 경사량 입출력 디바이스는 상기 비클의 경사량에 대응하여 상기 핸들을 진동시키고, 상기 스로틀 입출력 디바이스는 상기 트리거의 움직임에 기초하여 상기 비클의 스로틀 제어 신호를 발생시키는 단계를 포함하는, 컨트롤러의 동작 방법.
  13. 제11항에 있어서,
    상기 자세 입출력 디바이스는 스튜어트 플랫폼(stewart platform)을 포함하는, 컨트롤러의 동작 방법.
  14. 제11항에 있어서,
    상기 경사량 입출력 디바이스는 보이스 코일 액추에이터(voice coil actuator)를 포함하는, 컨트롤러의 동작 방법.
  15. 비클(vehicle); 및
    사용자가 상기 비클을 한 손(one-hand)으로 제어하기 위한 컨트롤러를 포함하는 비클 제어 시스템에 있어서,
    상기 컨트롤러는,
    복수의 모달리티(modality)를 이용하여, 상기 비클의 상태 정보를 출력하고 상기 비클의 조종 정보를 입력 받는 사용자 인터페이스를 포함하고,
    상기 복수의 모달리티는,
    손의 경사(tilting) 모달리티, 손목의 편위(deviation) 모달리티, 손의 병진(translation) 모달리티, 손가락의 굴곡(flexion) 모달리티를 포함하되,
    상기 사용자 인터페이스는,
    상기 손의 경사 모달리티를 이용하여 상기 비클의 제1 상태 정보를 출력하고,
    상기 손의 병진 모달리티를 이용하여 상기 비클의 제2 상태 정보를 출력하고,
    상기 손목의 편위 모달리티를 이용하여 상기 비클의 제1 조종 정보를 입력 받고,
    상기 손가락의 굴곡 모달리티를 이용하여 상기 비클의 제2 조종 정보를 입력 받고,
    상기 비클은,
    상기 상태 정보를 상기 컨트롤러에 제공하고, 상기 컨트롤러로부터 상기 조종 정보를 제공받는, 비클 제어 시스템.
  16. 제1항에 있어서,
    상기 비클은 UGV(Unmanned Ground Vehicle)인, 컨트롤러.
KR1020210156921A 2021-11-15 2021-11-15 컨트롤러 및 그의 동작 방법 KR102635076B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210156921A KR102635076B1 (ko) 2021-11-15 2021-11-15 컨트롤러 및 그의 동작 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210156921A KR102635076B1 (ko) 2021-11-15 2021-11-15 컨트롤러 및 그의 동작 방법

Publications (2)

Publication Number Publication Date
KR20230070889A KR20230070889A (ko) 2023-05-23
KR102635076B1 true KR102635076B1 (ko) 2024-02-13

Family

ID=86544585

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210156921A KR102635076B1 (ko) 2021-11-15 2021-11-15 컨트롤러 및 그의 동작 방법

Country Status (1)

Country Link
KR (1) KR102635076B1 (ko)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101897407B1 (ko) 2017-06-14 2018-10-18 국방과학연구소 무인차량의 자율주행을 위한 적응적 동역학 모델 기반 최적 경로계획 방법 및 그 장치
KR102040691B1 (ko) 2018-08-24 2019-11-05 한화시스템 주식회사 무인 차량을 위한 원격 제어 시스템 및 이의 동작 방법
KR102063520B1 (ko) 2019-02-01 2020-02-11 김민성 시뮬레이션 장치

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170035547A (ko) * 2015-09-23 2017-03-31 엘지이노텍 주식회사 원격 제어장치, 원격 제어방법 및 원격 제어시스템

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101897407B1 (ko) 2017-06-14 2018-10-18 국방과학연구소 무인차량의 자율주행을 위한 적응적 동역학 모델 기반 최적 경로계획 방법 및 그 장치
KR102040691B1 (ko) 2018-08-24 2019-11-05 한화시스템 주식회사 무인 차량을 위한 원격 제어 시스템 및 이의 동작 방법
KR102063520B1 (ko) 2019-02-01 2020-02-11 김민성 시뮬레이션 장치

Also Published As

Publication number Publication date
KR20230070889A (ko) 2023-05-23

Similar Documents

Publication Publication Date Title
US11500475B2 (en) Dynamically balanced, multi-degrees-of-freedom hand controller
US10664002B2 (en) Multi-degrees-of-freedom hand held controller
US11281308B2 (en) Multi-degrees-of-freedom hand controller
US10520973B2 (en) Dynamically balanced multi-degrees-of-freedom hand controller
US10434659B2 (en) Systems, devices, articles, and methods for user input
US10875662B2 (en) Method of robot manipulation in a vibration environment
EP3701359A1 (en) Dynamically balanced, multi-degrees-of-freedom hand held controller
Parga et al. Tele-manipulation of robot arm with smartphone
KR102635076B1 (ko) 컨트롤러 및 그의 동작 방법
JP5569953B2 (ja) 高速高精度な接触作業に適用するロボット制御システム、ロボット制御方法、ロボット制御装置、およびプログラム
Parga et al. Smartphone-based human machine interface with application to remote control of robot arm
Abioye et al. Multimodal human aerobotic interaction
KR102225769B1 (ko) 손가락 단위 단방향 움직임을 갖는 햅틱 컨트롤러의 가상 물체 파지 제어 시스템 및 방법
Li et al. A novel orientability index and the kinematic design of the RemoT-ARM: A haptic master with large and dexterous workspace
Abioye et al. The multimodal edge of human aerobotic interaction
US11662835B1 (en) System and methods for controlling motion of a target object and providing discrete, directional tactile feedback
US20240345660A1 (en) User interface device for robots, robot systems and related methods
US20220326727A1 (en) Four-axis mechanical controller
Peng Methods for hardware design, motion retargeting, system integration, and tactile sensing for teleoperated robots
KR20230092588A (ko) 호버링형 가상 현실 햅틱 컨트롤러 및 방법
Beyer Controlling Humanoids: A Comprehensive Analysis of Teleoperation Interfaces

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant