KR102014010B1 - 머신 제어를 위한 제스처 기반 스위치를 위한 방법 및 시스템 - Google Patents

머신 제어를 위한 제스처 기반 스위치를 위한 방법 및 시스템 Download PDF

Info

Publication number
KR102014010B1
KR102014010B1 KR1020177027963A KR20177027963A KR102014010B1 KR 102014010 B1 KR102014010 B1 KR 102014010B1 KR 1020177027963 A KR1020177027963 A KR 1020177027963A KR 20177027963 A KR20177027963 A KR 20177027963A KR 102014010 B1 KR102014010 B1 KR 102014010B1
Authority
KR
South Korea
Prior art keywords
machine
computing device
location
touchscreen
touch screen
Prior art date
Application number
KR1020177027963A
Other languages
English (en)
Other versions
KR20170124580A (ko
Inventor
앤소니 션 줄스
아론 에드싱어
Original Assignee
엑스 디벨롭먼트 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엑스 디벨롭먼트 엘엘씨 filed Critical 엑스 디벨롭먼트 엘엘씨
Publication of KR20170124580A publication Critical patent/KR20170124580A/ko
Application granted granted Critical
Publication of KR102014010B1 publication Critical patent/KR102014010B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2221/00—Indexing scheme relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/21—Indexing scheme relating to G06F21/00 and subgroups addressing additional information or applications relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/2133—Verifying human interaction, e.g., Captcha

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

설명된 예들은 머신 제어를 위한 제스처 기반 스위치를 위한 방법들 및 시스템들에 관련될 수 있다. 일부 머신들은 터치스크린을 포함하는 컴퓨팅 디바이스에 의해 조작될 수 있고, 머신들의 제어를 가능하게 하기 위한 그래픽 사용자 인터페이스(GUI)가 제공된다. 예들 내에서, 차단 스위치가 GUI에 통합될 수 있다. 일례로서, 로봇 디바이스와 같은 머신의 동작을 개시하기 위해, 사용자는 터치스크린에 소정 위치에서 접촉한 다음 패턴을 그릴 필요가 있을 수 있다. 머신의 계속적인 동작을 가능하게 하기 위해, GUI는 사용자에게 "목표" 위치에서 터치스크린과의 접촉을 유지하도록 요구할 수 있다. 터치스크린과의 접촉이 끊어지면(예를 들어, 임계 시간 양보다 많은 시간 동안), 머신 동작이 중지될 수 있고, 머신으로 하여금 동작을 재개하게 하기 위해 터치스크린에서 다시 동작을 개시하는 프로세스가 수행될 수 있다.

Description

머신 제어를 위한 제스처 기반 스위치를 위한 방법 및 시스템
본 명세서에서 달리 지시되지 않는 한, 이 섹션에 기술되는 자료는 본 출원의 청구항들에 대한 선행 기술이 아니며, 이 섹션에 포함되는 것에 의해 선행 기술인 것으로 인정되는 것은 아니다.
로봇 시스템은 특히 재료 취급, 용접, 조립, 및 제조를 포함하는 다양한 용도에 사용될 수 있다. 작업을 완료하기 위해 로봇 시스템에 대한 의존도가 증가함에 따라 더 효율적이고 신뢰할 수 있는 로봇 디바이스들의 추가 개발로 이어졌다. 두 발, 네 발, 및 그리핑 제조 구성들을 포함하여, 여러 가지 유형의 로봇 디바이스들이 개발되었다. 여러 가지 유형이 개발됨에 따라, 효율적인 로봇 시스템에 대한 수요는 로봇 시스템 개발에서 혁신의 장을 여는 데 도움이 되었다.
예시적인 실시예들은 머신 제어를 위한 제스처 기반 스위치를 위한 방법들 및 시스템들에 관련될 수 있다. 예시적인 방법은 컴퓨팅 디바이스의 터치스크린상에서의 입력 제스처를 수신하는 단계를 포함하고, 상기 입력 제스처는 상기 터치스크린상의 제1 위치에서의 접촉과, 이어서 상기 터치스크린상의 패턴을 따라 상기 터치스크린상의 제2 위치로 이동하는 것을 포함한다. 이 예시적인 방법은 또한 상기 입력 제스처가 인증되는 것 및 상기 터치스크린상의 상기 제2 위치에서의 지속적인 접촉이 검출되는 것에 기초하여 상기 컴퓨팅 디바이스에 의한 머신의 동작의 제어를 가능하게 하는 단계, 및 상기 터치스크린상의 상기 제2 위치에서의 상기 지속적인 접촉의 검출의 결여에 기초하여, 상기 컴퓨팅 디바이스에 의한 상기 머신의 동작의 제어를 불가능하게 하는 단계를 포함한다.
다른 예들에서, 컴퓨팅 디바이스에 의한 실행시, 상기 컴퓨팅 디바이스로 하여금 기능들을 수행하게 하는 명령어들을 저장하는 비일시적 컴퓨터 판독 가능 매체가 설명된다. 상기 기능들은 상기 컴퓨팅 디바이스의 터치스크린상에서의 입력 제스처를 수신하는 것을 포함하고, 상기 입력 제스처는 상기 터치스크린상의 제1 위치에서의 접촉과, 이어서 상기 터치스크린상의 패턴을 따라 상기 터치스크린상의 제2 위치로 이동하는 것을 포함한다. 상기 기능들은 또한 상기 입력 제스처가 인증되는 것 및 상기 터치스크린상의 상기 제2 위치에서의 지속적인 접촉이 검출되는 것에 기초하여 머신의 동작의 제어를 가능하게 하는 것, 및 상기 터치스크린상의 상기 제2 위치에서의 상기 지속적인 접촉의 검출의 결여에 기초하여, 상기 머신의 동작의 제어를 불가능하게 하는 것을 포함한다.
또 다른 예에서, 시스템으로서, 터치스크린, 하나 이상의 프로세서, 및 상기 시스템으로 하여금 기능을 수행하게 하기 위해 상기 하나 이상의 프로세서에 의해 실행 가능한 명령어들을 포함하는 데이터 저장소를 포함하는 시스템. 상기 기능들은 터치스크린상에서의 입력 제스처를 수신하는 것을 포함하고, 상기 입력 제스처는 상기 터치스크린상의 제1 위치에서의 접촉과, 이어서 상기 터치스크린상의 패턴을 따라 상기 터치스크린상의 제2 위치로 이동하는 것을 포함한다. 상기 기능들은 또한 상기 입력 제스처가 인증되는 것 및 상기 터치스크린상의 상기 제2 위치에서의 지속적인 접촉이 검출되는 것에 기초하여 머신의 동작의 제어를 가능하게 하는 것, 및 상기 터치스크린상의 상기 제2 위치에서의 상기 지속적인 접촉의 검출의 결여에 기초하여, 상기 머신의 동작의 제어를 불가능하게 하는 것을 포함한다.
이들뿐만 아니라 다른 양태, 이점, 및 대안이 적절한 경우 첨부 도면을 참조하여, 다음의 상세한 설명을 읽음으로써 본 기술분야의 통상의 기술자에게 명백해질 것이다.
도 1은 예시적인 컴퓨팅 디바이스의 블록도이다.
도 2는 예시적인 머신의 간략화된 블록도이다.
도 3은 본 명세서에 설명된 적어도 일부 실시예들에 따른, 머신 제어를 위한 제스처 기반 스위치를 위한 예시적인 방법의 블록도이다.
도 4a 내지 도 4c는 예시적인 컴퓨팅 디바이스 및 예시적인 입력 제스처들을 도시한다.
도 5a는 로봇 디바이스의 무선 제어에 관여하는 컴퓨팅 디바이스를 나타내는 예시적인 시나리오를 도시한다.
도 5b는 로봇 디바이스의 직접적인 무선 제어에 관여하는 컴퓨팅 디바이스를 나타내는 예시적인 시나리오를 도시한다.
도 6은 컴퓨팅 디바이스에 의해 제어되는 또 다른 예시적인 로봇 디바이스를 도시한다.
예시적인 방법들 및 시스템들이 본 명세서에 설명된다. "예", "모범적인" 및 "예시적인"이라는 단어들은 본 명세서에서 "예, 사례 또는 예시의 역할을 하는"을 의미하는 것으로 사용된다는 것을 이해해야 한다. 본 명세서에서 "예", "모범적인" 또는 "예시적인" 것으로 설명된 임의의 실시예 또는 특징은 반드시 다른 실시예 또는 특징에 비해 바람직하거나 유리한 것으로서 해석되어야 하는 것은 아니다. 본 명세서에 설명된 예시적인 실시예들은 제한하려는 것이 아니다. 본 명세서에 일반적으로 설명되고 도면들에 도시된 바와 같은, 본 개시의 양태들은 매우 다양한 상이한 구성들로 배열, 대체, 조합, 분리, 및 설계될 수 있으며, 이들 모두는 본 명세서에서 명시적으로 고려된다는 것을 쉽게 이해할 것이다.
머신의 기계적 차단 스위치(때로는 데드맨 스위치라고 함)는 조작자가 스위치를 수동으로 해제하면 자동으로 동작하도록 프로그램될 수 있는 스위치이다. 이 스위치들은 스위치가 해제되는 경우 머신이 동작하는 것을 중지시킬 안전 장치(fail-safe)의 형태로 사용될 수 있다. 예시적인 차단 스위치들은 기관차, 화물 엘리베이터, 러닝 머신 등에 사용될 수 있다. 일부 머신들에서, 그러한 스위치들은 머신이 여전히 가동하고 일단 제어가 재설정되면 동작을 재개할 준비가 되게 하면서 스로틀을 유휴 상태로 줄이거나 브레이크를 가하는 것과 같이, 알려진 안전 상태로 머신 동작을 되돌린다.
일부 머신들은 터치스크린을 포함하는 컴퓨팅 디바이스에 의해 조작될 수 있고, 머신들의 제어를 가능하게 하기 위한 그래픽 사용자 인터페이스(GUI)가 제공된다. 본 명세서에 설명된 예들 내에서, 차단 스위치가 GUI에 통합될 수 있다. 일례로서, 로봇 디바이스와 같은 머신의 동작을 개시하기 위해, 사용자는 터치스크린에 지정된 위치에서 접촉한 다음 특정 경로를 따라감으로써 "미로" 또는 다른 패턴을 그릴 필요가 있을 수 있다. 머신의 계속적인 동작을 가능하게 하기 위해, GUI는 사용자에게 미로의 "목표" 위치에서 터치스크린과의 접촉을 유지하도록 요구할 수 있다. 터치스크린과의 접촉이 끊어지면(임계 시간 양을 초과하여), 머신 동작이 중지될 수 있고, 머신으로 하여금 동작을 재개하게 하기 위해(그리고 머신의 제어를 되찾기 위해) 터치스크린에서 다시 동작을 개시하는 프로세스가 수행될 수 있다.
구체적인 예로서, 로봇 디바이스는 터치 기반 태블릿 디바이스를 사용하여 제어될 수 있고, 로봇 디바이스를 활성화하기 위해, 사용자는 터치스크린에 접촉하여 미로를 따라가면서 스크린상의 버튼에서 미로를 완료할 필요가 있을 수 있다. 사용자가 버튼 위치에서 터치스크린에 접촉하는 한, 로봇 디바이스는 활성화된 상태로 유지된다. 터치스크린과의 접촉이 끊어지면, 로봇 디바이스는 동작을 중지한다. 로봇 디바이스를 다시 활성화하기 위해, 사용자는 다시 미로를 수행하여 버튼 위치로 돌아간다. 따라서, 로봇 디바이스의 동작을 개시하고 유지하려면 터치스크린상의 능동적인 모션 또는 움직임이 필요하다. 로봇 디바이스의 동작이 신속하게 중지될 수 있고, 다시 시작하려면 사용자 액션이 필요하다.
동작을 개시하기 위해 미로 또는 특정 패턴을 사용하는 것은 로봇 디바이스의 우발적인 또는 의도되지 않은 동작을 방지하는 데 도움이 될 수 있다. 컴퓨팅 디바이스는 동작을 개시하고 유지하기 위해 그러한 멀티-터치 제스처(예를 들어, 패턴에 이어서 지속적인 접촉)를 요구할 수 있다. 다른 제스처들이 사용될 수 있거나, 입력 암호에 이어서 스크린상의 지속적인 접촉의 요구와 같은 다른 입력들이 요구될 수 있다. 로봇 디바이스의 개시에 이어서 스크린상의 접촉이 검출되지 않으면 언제든지, 머신의 제어가 불가능하게 된다. 이러한 동작은 사용자가 지속적인 접촉을 제공하기 위해 존재하는 하나의 손 또는 손가락을 가질 것을 요구할 수 있고, 다른 손 또는 손가락들은 머신의 특정 액션들을 제어하기 위해 다른 제스처들을 위해 사용된다.
예들 중 임의의 예에서, 동작 중에, 목표 또는 스위치 위치로부터 접촉이 제거되면, 컴퓨팅 디바이스상의 디스플레이는 잠금 상태로 되돌아갈 수 있고, 동작이 중지됨을 나타내는 메시지가 디스플레이될 수 있고, 및/또는 컴퓨팅 디바이스는 진동 또는 오디오 경보와 같은 다른 경보들을 제공하여 로봇 디바이스의 동작이 중지되었음을 나타낼 수 있다.
이제 도면을 참조하면, 도 1은 예시적인 컴퓨팅 디바이스(100)의 블록도이다. 컴퓨팅 디바이스의 다수의 가능한 예시적인 구성들 중 하나를 대표하여, 컴퓨팅 디바이스(100)의 블록도는 적어도 본 명세서에 설명된 동작들을 수행하도록 구성된 예시적인 컴퓨팅 디바이스를 나타낸다. 이와 같이, 컴퓨팅 디바이스(100)는 이동 전화, 웨어러블 컴퓨팅 디바이스, 모션 제어 디바이스, 또는 태블릿 컴퓨터를 포함하지만, 이에 한정되지 않는 다양한 형태들로 존재할 수 있다. 또한, 컴퓨팅 디바이스(100)는 본 명세서에서 컴퓨터, 전화, 웨어러블 컴퓨팅 디바이스, 디바이스, 또는 태블릿 등으로 지칭될 수도 있다.
도 1에 도시된 바와 같이, 컴퓨팅 디바이스(100)는 프로세서(들)(102), 데이터 저장소(104), 프로그램 명령어들(106), 센서(들)(108), 통신 인터페이스(들)(110), 및 사용자 인터페이스(들)(112)를 포함한다. 컴퓨팅 디바이스(100)는 위에 열거된 구성 요소들을 갖는 예시 목적으로 도시되지만, 다른 예들에서는 도 1에 도시된 것보다 더 많은 또는 더 적은 구성 요소를 포함할 수 있다. 또한, 컴퓨팅 디바이스(100)의 다양한 구성 요소들은 유선 또는 무선 연결 등을 포함하는 임의의 방식으로 연결될 수 있다. 또한, 일부 실시예들에서, 컴퓨팅 디바이스(100)의 구성 요소들은 단일 엔티티가 아니라 다수의 엔티티상에 배치될 수 있다. 컴퓨팅 디바이스(100)의 다른 구성들이 존재할 수 있다.
지적된 바와 같이, 컴퓨팅 디바이스(100)는 프로세서(들)(102)를 포함할 수 있다. 프로세서(들)(102)는 범용 프로세서(들) 또는 특수 목적 프로세서(들)(예를 들어, 디지털 신호 프로세서, 애플리케이션 특정 집적 회로 등)로서 동작할 수 있다. 또한, 임의의 수의 프로세서가 존재할 수 있고, 프로세서(들)(102)는 데이터 저장소(104)에 저장된 컴퓨터 판독 가능 프로그램 명령어들(106)을 실행하도록 구성될 수 있다. 컴퓨팅 디바이스(100)는 예들 내의 하나 이상의 프로세서를 포함할 수 있다.
데이터 저장소(104)는 메모리를 보유하도록 구성된 임의의 하나 이상의 다양한 유형의 저장소로서 존재할 수 있다. 예를 들어, 데이터 저장소(104)는 프로세서(들)(102)에 의해 판독되거나 액세스될 수 있는 하나 이상의 비일시적 컴퓨터 판독 가능 저장 매체의 형태를 포함하거나 그 형태를 취할 수 있다. 하나 이상의 컴퓨터 판독 가능 저장 매체는 프로세서(들)(102)와 전체적으로 또는 부분적으로 통합될 수 있는 광학, 자기, 유기 또는 다른 메모리 또는 디스크 저장소와 같은 휘발성 및/또는 비휘발성 저장 구성 요소들을 포함할 수 있다. 일부 구현들에서, 데이터 저장소(104)는 단일 물리적 디바이스(예를 들어, 하나의 광학, 자기, 유기 또는 다른 메모리 또는 디스크 저장 유닛)일 수 있다. 다른 예시적인 구현들에서, 데이터 저장소(104)는 유선 또는 무선 통신을 통해 통신할 수 있는 둘 이상의 물리적 디바이스를 사용하여 구현될 수 있다. 또한, 비일시적 컴퓨터 판독 가능 프로그램 명령어들(106) 이외에, 데이터 저장소(104)는, 여러 가능한 것들 중에서도, 진단 데이터와 같은 추가 데이터를 포함할 수 있다.
컴퓨팅 디바이스(100)는 여러 가능한 것들 중에서도, 힘 센서(들), 근접 센서(들), 모션 센서(들), 위치 센서(들), 및 터치 센서(들)와 같은 다양한 센서(들)(108)를 포함할 수 있다. 센서(들)(108)는 모션, 방위, 및 다양한 환경 조건들을 측정하도록 구성될 수 있다. 이와 같이, 상이한 유형의 센서들은 프로세서(들)(102) 및/또는 컴퓨팅 디바이스(100)의 다른 구성 요소들에 높은 정밀도 및 정확도를 갖는 원시 데이터를 제공하도록 구성될 수 있다. 또한, 센서(들)(108)는 정보를 캡처하고 하나 이상의 사용자에게 제공하도록 구성될 수 있다.
센서(들)(108)는 디스플레이상의 접촉의 검출을 통해 명령어들을 수신할 수 있는 터치스크린 디스플레이를 포함할 수 있다. 터치스크린 디스플레이는 스타일러스/펜 및/또는 하나 이상의 손가락으로 스크린과의 접촉을 통해 터치 또는 멀티-터치 제스처를 수신하는 디스플레이일 수 있다. 터치스크린은 저항성, 표면 탄성파(SAW) 또는 용량성 감지 기법들을 통해 접촉을 검출할 수 있다.
통신 인터페이스(들)(110)는 다른 디바이스들과의 통신을 가능하게 하도록 구성된 하나 이상의 구성 요소를 포함할 수 있다. 특히, 통신 인터페이스(들)(110)는, 여러 가능한 것들 중에서도, 이동 전화, 컴퓨팅 디바이스, 서버, 제어 시스템 및/또는 로봇 디바이스와의 통신을 가능하게 할 수 있다. 통신 인터페이스(들)(110)는 디바이스들 간에 데이터를 송신/수신하도록 구성된 각각의 구성 요소들을 포함할 수 있고 또한 송신/수신된 데이터의 레코드들을 유지 및 관리할 수 있다. 통신 인터페이스(들)(110)는 또한 컴퓨팅 디바이스(100)가 유선(예를 들어, USB 연결) 또는 무선 연결을 설정하는 것을 가능하게 할 수 있다. 무선 연결은, 여러 가능한 것들 중에서도, Bluetooth® 무선 기술, IEEE 802.11(임의의 IEEE 802.11 개정들을 포함)에 기재된 통신 프로토콜, 또는 Cellular 기술(GSM, CDMA, UMTS, EV-DO, WiMAX, 또는 LTE 등)과 같은 다양한 기술들 중 하나 이상을 사용하는 것을 수반할 수 있다.
또한, 통신 인터페이스(들)(110)는 근거리 통신(NFC) 기술을 포함할 수 있다. NFC는 연결을 개시하기 위해 임계 거리(예를 들어, 2 내지 3 피트)에 기초하여 동작할 수 있는 단거리 무선 기술들의 세트이다. NFC 기술은 컴퓨팅 디바이스(100)가 다른 디바이스, 서버, 제어 시스템, 로봇 디바이스, 및/또는 NFC 능력을 갖는 다른 엔티티들과의 통신을 개시 및 설정하는 것을 가능하게 할 수 있다. NFC는 컴퓨팅 디바이스(100)가 다른 컴퓨팅 디바이스들과 작은 페이로드의 데이터를 공유하게 할 수 있다. 또한, 컴퓨팅 디바이스(100)는 컴퓨팅 디바이스들이 무선으로 통신하는 것을 가능하게 하는 "클라우드" 네트워크를 통해 다른 디바이스들과 상호 작용할 수 있다.
컴퓨팅 디바이스(100)는 사용자가 컴퓨팅 디바이스(100)를 조작하는 것을 가능하게 하도록 구성된 사용자 인터페이스(들)(112)를 포함할 수 있다. 가능한 예들 중에서, 사용자 인터페이스(들)(112)는 임의의 유형의 그래픽 사용자 인터페이스(GUI), 버튼, 터치스크린 인터페이스, 마이크로폰, 카메라, 모션 센서, 및/또는 입력을 수신하기 위한 임의의 다른 요소들을 포함할 수 있다. 일부 예들에서, 컴퓨팅 디바이스(100)는, 예를 들어, 검색, 호 라우팅, 음성 다이얼링, 간단한 데이터 입력, 문서 준비, 및/또는 음성-텍스트 처리와 같은 음성 사용자 인터페이스(들)를 포함하는 음성 인식 모듈을 포함할 수 있다. 또한, 컴퓨팅 디바이스(100)는 사용자 및/또는 스피커, 그래픽 인터페이스 등과 같은 다른 디바이스들에 출력들을 제공하기 위한 다양한 구성 요소들을 포함할 수도 있다.
도 2는 예시적인 머신(200)의 간략화된 블록도이다. 특히, 머신(200)의 블록도는 적어도 본 명세서에서 설명된 동작들을 수행하도록 구성된 예시적인 로봇 시스템을 나타낼 수 있다. 일부 예들에서, 머신(200)은 자율적으로, 반자율적으로, 및/또는 다양한 인터페이스들을 통해 사용자(들)에 의한 제어를 가능하게 함으로써 동작하도록 구성될 수 있다. 도 1의 컴퓨팅 디바이스는 머신(200)의 동작을 제어하는 데 사용될 수 있다. 또한, 머신(200)은, 여러 가능한 예시적인 구성들 중에서도, 조작 아암 구성, 휴머노이드 로봇, 또는 네 발 로봇 구성을 포함하지만, 이에 한정되지 않는 다양한 물리적 형태들로 존재할 수 있다. 또한, 머신(200)은 본 명세서에서 로봇 디바이스, 이동 로봇, 또는 로봇 등과 같은 다른 가능한 라벨들로서 언급될 수도 있다.
도 2에 도시된 바와 같이, 머신(200)은 기계 시스템(202), 센서 시스템(204), 통신 시스템(206), 파워 서플라이 시스템(208), 및 제어 시스템(210)과 같은 다양한 서브시스템들을 포함하도록 구성될 수 있다. 다른 예들에서, 머신(200)은 더 많은 또는 더 적은 서브시스템들을 포함할 수 있고, 각각의 서브시스템은 다수의 구성 요소들을 포함할 수 있다. 또한, 서브시스템들 및 서브시스템들 내의 구성 요소들은 무선 및/또는 유선 연결을 포함하는 다양한 유형의 연결을 통해 상호 연결될 수 있다.
기계 시스템(202)은 머신(200)이 동작들을 수행하는 것을 가능하게 하는, 바디, 레그, 아암, 조인트, 그리퍼, 휠, 베이스, 조작기 등을 포함하지만 이에 한정되지 않는 다양한 구성 요소들을 포함할 수 있다. 다양한 기계 및/또는 전기 구성 요소들은 머신(200)이 다양한 작업들과 관련된 동작들을 수행하는 것을 가능하게 하도록 상호 연결될 수 있다. 예를 들어, 그리퍼는 다양한 자유도의 동작을 가능하게 하기 위해 다양한 유형의 조인트 및 링크를 사용하여 머신(200)의 베이스에 연결되는 아암에 연결될 수 있다. 또한, 기계 시스템(202)은 기계 시스템(202)의 구성 요소들이 동작들을 수행하는 것을 가능하게 하는 하나 이상의 모터를 포함할 수 있다. 상이한 구성 요소들은 조인트 및/또는 원하는 자유도를 허용하는 다른 유형의 연결을 사용하여 상호 연결될 수 있다.
센서 시스템(204)은 머신(200)의 기계 시스템(202)의 구성 요소들의 환경 및 동작들에 관한 정보를 검출하도록 구성된 하나 이상의 센서를 포함할 수 있다. 하나 이상의 센서가 기계 시스템(202)의 다양한 구성 요소들에 연결될 수 있다. 센서 시스템(204)은 머신(200)의 주변 환경에 관한 정보를 얻기 위해 2차원(2D) 센서(들) 및/또는 3차원(3D) 깊이 센서를 포함하는 하나 이상의 바디 장착 센서를 사용할 수 있다. 센서들은 기계 시스템(202)의 다른 구성 요소들에, 예를 들어 그립 동작들과 관련된 파라미터들을 측정하기 위해 그리퍼들에 결합될 수 있다. 센서들은 물체들 또는 접촉 센서들에 대한 구성 요소들의 근접에 관한 경보들을 제공하는 것을 포함하여, 머신(200)이 작업을 수행하는 것을 도울 수 있다.
센서 시스템(204)은 여러 가능한 센서들 중에서도, 가속도계 및/또는 자이로스코프를 포함할 수 있는 관성 측정 유닛(IMU)을 포함할 수 있다. IMU는 머신(200)의 방위, 위치, 속도 및/또는 가속도를 결정하도록 구성될 수 있다. 또한, 센서 시스템(204)은, 가능한 것들 중에서도, 자력계 및 압력 센서와 같은 다른 유형의 센서들을 포함할 수 있다.
통신 시스템(206)은 머신(200)이 다른 디바이스들과 통신하는 것을 가능하게 하는 하나 이상의 구성 요소를 포함할 수 있다. 통신 시스템(206)은 NFC 기술과 같은 무선 통신 기술을 포함하여, 상이한 유형의 통신 인터페이스들을 포함할 수 있다. 이와 같이, 통신 시스템(206)은 통신 시스템(206)이 정보를 송신 및 수신하는 능력을 가능하게 하는 것을 포함하여, 머신(200)이 다른 디바이스들, 서버들과 통신하는 것을 허용할 수 있다. 일부 예들에서, 통신 시스템(206)은 머신(200)의 제어 시스템(들)이 "클라우드" 네트워크를 통해 다른 디바이스들과 통신하는 것을 가능하게 하는 기술을 포함할 수 있다. 다른 구성 요소들이 통신 시스템(206) 내에 존재할 수 있다.
파워 서플라이(208)는 머신(200)의 구성 요소에 전력을 제공하도록 구성된 다양한 유형의 전원들을 포함할 수 있다. 파워 서플라이(208)는 예를 들어 재충전 가능한 리튬 이온 또는 납산 배터리와 같은 전기 소스들을 포함할 수 있다. 파워 서플라이(208)는 예를 들어, 유압 시스템, 공압 시스템, 태양 전력, 및/또는 배터리 뱅크들을 포함할 수 있다. 다른 파워 서플라이 재료들 및 유형들도 가능하다. 또한, 일부 예들에서, 파워 서플라이(208)는 머신(200)이 예를 들어 컴퓨팅 디바이스(100)와 같은 외부 디바이스들에 전력을 공급하는 것을 가능하게 하는 구성 요소들을 포함할 수 있다.
제어 시스템(210)은 머신(200)의 동작들을 제어하도록 구성된 하나 이상의 구성 요소일 수 있다. 이와 같이, 제어 시스템(210)은 머신(200)의 상이한 동작들을 제어하도록 구성된 하나 이상의 컴퓨팅 디바이스를 포함할 수 있다. 제어 시스템(210) 내의 하나 이상의 컴퓨팅 디바이스는, 여러 가능한 계산 구성 요소들 중에서도, 하나 이상의 프로세서, 데이터 저장소, 및 명령어들(예를 들어, 프로그램 논리)을 포함할 수 있다. 또한, 하나 이상의 프로세서는 하나 이상의 마이크로프로세서를 포함할 수 있다.
지적된 바와 같이, 제어 시스템(210)은 본 명세서에 설명된 기능들을 포함하여, 머신(200)의 다양한 기능들을 실행하기 위해 하나 이상의 프로세서에 의해 실행 가능한 명령어들을 포함할 수 있는 다양한 유형의 메모리를 포함할 수 있다. 메모리는 데이터를 송신/수신하고, 기계 시스템(202), 센서 시스템(204), 통신 시스템(206), 및 파워 서플라이(208) 중 하나 이상과 상호 작용하고/하거나 이를 제어하는 명령어들을 포함하여, 추가 명령어들을 포함할 수 있다.
일부 예들에서, 제어 시스템(210)은 기계 시스템(202)의 구성 요소들을 제어하기 위한 동작들을 결정하기 위해 센서 시스템(204)으로부터 정보를 수신할 수 있다. 제어 시스템(210)은 머신(200) 상에 및/또는 내에 위치할 수 있거나 머신(200)과 물리적으로 분리될 수 있다. 제어 시스템(210)은 통신 시스템(206)의 하나 이상의 구성 요소를 이용하여 머신(200)의 동작들을 제어할 수 있다. 이와 같이, 제어 시스템(210)은 유선 또는 무선 통신을 통해 머신(200)을 제어할 수 있다.
제어 시스템(210)은 NFC 기술을 포함하여, 통신 시스템(206)을 통해 다른 디바이스들과 통신하도록 구성될 수 있다. 예를 들어, 제어 시스템(210)은 NFC와 같은 다양한 유선 및/또는 무선 기술들을 통해 컴퓨팅 디바이스(100)와의 시그널링 및/또는 다른 형태의 통신에 관여할 수 있다.
도 3은 본 명세서에 설명된 적어도 일부 실시예들에 따른, 머신 제어를 위한 제스처 기반 스위치를 위한 예시적인 방법의 블록도이다. 방법(300)은 블록 302 내지 블록 308 중 하나 이상에 의해 예시된 바와 같은 하나 이상의 동작, 기능, 또는 액션을 포함할 수 있다. 블록들이 순차적 순서로 도시되어 있지만, 이들 블록은 일부 예들에서 병렬로, 및/또는 본 명세서에 설명된 것들과 상이한 순서로 수행될 수 있다. 또한, 다양한 블록들은 원하는 구현에 기초하여 더 적은 블록들로 결합될 수 있고, 추가 블록들로 분할될 수 있고, 및/또는 제거될 수 있다.
또한, 본 명세서에 개시된 방법(300) 및 다른 프로세스들 및 방법들에 대해, 흐름도는 본 실시예들의 하나의 가능한 구현의 기능 및 동작을 나타낸다. 이와 관련하여, 각각의 블록은 프로세스에서의 특정 논리 기능들 또는 단계들을 구현하기 위해 프로세서에 의해 실행 가능한 하나 이상의 명령어를 포함하는, 모듈, 세그먼트, 또는 프로그램 코드의 일부를 나타낼 수 있다. 프로그램 코드는, 예를 들어, 디스크 또는 하드 드라이브를 포함하는 저장 디바이스와 같은 임의의 유형의 컴퓨터 판독 가능 매체 상에 저장될 수 있다. 컴퓨터 판독 가능 매체는, 예를 들어, 레지스터 메모리, 프로세서 캐시 및 랜덤 액세스 메모리(RAM)와 같이 단기간 동안 데이터를 저장하는 컴퓨터 판독 가능 매체와 같은 비일시적 컴퓨터 판독 가능 매체를 포함할 수 있다. 컴퓨터 판독 가능 매체는 또한, 예를 들어, 판독 전용 메모리(ROM), 광학 또는 자기 디스크, CD-ROM(compact-disc read only memory)과 같은 보조 또는 영구 장기간 저장소와 같은 비일시적인 매체를 포함할 수 있다. 컴퓨터 판독 가능 매체는 또한 임의의 다른 휘발성 또는 비휘발성 저장 시스템일 수 있다. 컴퓨터 판독 가능 매체는, 예를 들어, 컴퓨터 판독 가능 저장 매체, 유형 저장 디바이스 또는 다른 제조 물품으로 간주될 수 있다.
또한, 본 명세서에 개시된 방법(300) 및 다른 프로세스들 및 방법들에 대해, 도 3의 각각의 블록은 프로세스에서의 특정 논리 기능들을 수행하도록 배선된 회로를 나타낼 수 있다.
방법(300)과 같은 예시적인 방법들은 전체적으로 또는 부분적으로 컴퓨팅 디바이스, 클라우드 및/또는 로봇 시스템 내의 구성 요소 또는 구성 요소들에 의해, 예를 들어 도 1에 도시된 컴퓨팅 디바이스(100)의 구성 요소들 중 하나 이상에 의해, 또는 도 2에 도시된 머신의 구성 요소들 중 하나 이상에 의해 수행될 수 있다. 그러나, 방법(300)과 같은 예시적인 방법들은 다른 엔티티들 또는 엔티티들의 조합에 의해(즉, 다른 컴퓨팅 디바이스들 및/또는 컴퓨팅 디바이스들의 조합에 의해) 수행될 수 있다는 것이 이해되어야 한다.
예를 들어, 방법(300)의 기능들은 컴퓨팅 디바이스(또는 하나 이상의 프로세서와 같은 컴퓨팅 디바이스의 구성 요소들)에 의해 완전히 수행될 수 있거나, 컴퓨팅 디바이스의 다수의 구성 요소들에 걸쳐, 다수의 컴퓨팅 디바이스들에 걸쳐, 그리고/또는 서버에 걸쳐 분산될 수 있다. 일부 예들에서, 컴퓨팅 디바이스는 컴퓨팅 디바이스의 센서들로부터 정보를 수신할 수 있거나, 컴퓨팅 디바이스가 서버인 경우 정보는 정보를 수집하는 또 다른 디바이스로부터 수신될 수 있다. 다른 예들로서, 방법(300)은 컴퓨팅 디바이스에 의해, 서버에 의해, 또는 로봇 디바이스에 의해 수행될 수 있다.
블록 302에서, 방법(300)은 컴퓨팅 디바이스의 터치스크린상에서의 입력 제스처를 수신하는 단계를 포함한다. 컴퓨팅 디바이스는 머신, 로봇 디바이스, 또는 임의의 다른 디바이스들을 제어할 수 있고, 입력 제스처는 제어를 가능하게 하는 인증을 위한 제1 프로세스일 수 있다.
입력 제스처는 터치스크린상의 제1 위치에서의 접촉과, 이어서 터치스크린상의 패턴을 따라 터치스크린상의 제2 위치로 이동하는 것을 포함할 수 있다. 터치스크린상의 패턴을 따라 이동하는 것은 패턴을 따른 터치스크린상의 지속적인 접촉을 포함한다. 입력 제스처는 또한 스와이프 모션들을 사용하여 터치스크린상에 패스코드를 입력하는 것과, 이어서 터치스크린상의 패턴을 따라 제2 위치로 이동하는 것을 포함할 수 있다.
도 4a 내지 도 4c는 예시적인 컴퓨팅 디바이스 및 예시적인 입력 제스처들을 도시한다. 도 4a에서, 터치스크린(404)을 갖는 컴퓨팅 디바이스(402)가 도시되어 있다. 사용자는 영숫자 패스코드와 같은 패스코드(406)를 터치스크린상에 입력하여 디바이스를 잠금 해제 또는 인증할 수 있다. 다른 예들에서, 사용자(408)는 생체 인식 센서(410)에서 생체 인식 입력을 제공함으로써 디바이스를 잠금 해제 또는 인증할 수 있다.
전술한 바와 같이, 컴퓨팅 디바이스(402)와 같은 예시적인 컴퓨팅 디바이스는 사용자로부터 다양한 유형의 입력 또는 접촉 제스처들을 검출 및/또는 수신하도록 구성될 수 있다. 상이한 유형의 제스처들은 도 4a의 컴퓨팅 디바이스(402)의 그래픽 디스플레이상에 도시된 영숫자 패스코드(406)와 같은 패스코드들의 입력, 및/또는 지문 입력(즉, 생체 인식 입력(408))과 같은 생체 인식 입력들을 포함할 수 있다. 하나 이상의 로봇 디바이스의 무선 제어에 관여하도록 구성된 예시적인 컴퓨팅 디바이스들에 의해 다른 유형의 제스처들이 검출 및/또는 수신될 수 있다. 패스코드 입력들은, 예를 들어, 영숫자 키보드 디스플레이를 가로질러 스와이프 모션들을 사용하여 수행될 수 있다.
예를 들어, 도 4b는 터치스크린상의 임의의 패턴을 포함할 수 있는 또 다른 예시적인 입력 제스처들을 도시한다. 예시적인 패턴(412)은 스크린(404)을 가로지르는 지그재그 형태의 모션들로서 도시되어 있다. 형상(원형 패턴)을 따르는 임의의 모션, 또는 커스터마이징된 모션(예를 들어, 필기체 서명을 사용한 이름의 입력)도 포함하는 입력 제스처와 관련된 것으로 임의의 패턴이 사용되거나 상관될 수 있다. 따라서, 사용자는 제1 위치(414)에서 터치스크린(404)에 접촉하고, 이어서 터치스크린(404)상의 패턴(412)을 따라 제2 위치(416)로 이동할 수 있다. 터치스크린상의 패턴(412)을 따라 이동하는 것은, 예를 들어, 사용자가 손가락을 들어올리지 않고 패턴(412)을 따라 터치스크린(404)상의 지속적인 접촉을 포함한다. 일부 예시적인 패턴들은 터치스크린(404)을 여러 번 탭하는 멀티-터치 패턴과 같은, 패턴(412)을 따라 비-지속적인 접촉도 허용할 수 있다.
입력 제스처는, 예를 들어, 머신의 제어를 개시하려는 의도를 결정하기 위해, 우발적인 것 같지 않은 사용자에 의한 일부 적극적인 모션을 요구할 수 있다.
입력 제스처는 머신의 다양한 정보 또는 제어를 제공하도록 해석되고 인증될 수 있다. 예를 들어, 컴퓨팅 디바이스는 로봇 디바이스의 제어를 획득하는 것과 관련된 프로세스를 시작하기 위한 신호로서 입력 제스처를 해석할 수 있다. 유사하게, 입력 제스처는 사용자가 로봇 디바이스의 제어를 수신하도록 허용되는지를 컴퓨팅 디바이스에 확인시킬 수 있다. 또한, 일부 예들에서, 입력 제스처는 로봇 디바이스의 제어 시스템으로 소정량의 제어를 되돌리고 및/또는 컴퓨팅 디바이스에게 제어를 되돌리도록 신호하려는 사용자의 욕구를 나타낼 수 있다. 다른 예들에서, 제스처들은 컴퓨팅 디바이스가 사용 및 처리하는 다른 정보도 나타낼 수 있다.
도 3을 다시 참조하면, 블록 304에서, 방법(300)은 입력 제스처가 인증되는 것 및 터치스크린상의 제2 위치에서의 지속적인 접촉이 검출되는 것에 기초하여 컴퓨팅 디바이스에 의한 머신의 동작의 제어를 가능하게 하는 단계를 포함한다. 따라서, 예들 내에서, 방법(300)은 터치스크린상의 수신된 접촉을 저장된 제스처와 비교함으로써 입력 제스처를 인증하는 단계, 및 수신된 접촉이 저장된 제스처와 실질적으로 매칭할 때 입력 제스처를 인증하는 단계를 포함한다. 실질적으로 매칭하는 것은 정확히 매칭하지 않고, 예를 들어, 허용 오차, 측정 오차, 측정 정확도 제약 및 효과 또는 대략 입력 제스처를 방해하지 않는 양으로 발생하는 것으로 본 기술분야의 기술자에게 알려진 다른 요소들을 포함하여, 편차 또는 변동을 허용하는 것을 포함할 수 있다. 따라서, 일부 편차들은 입력 제스처가 예를 들어 터치스크린상의 예상 영역으로부터 약 0.1cm 내지 약 0.5cm 내에 있는 것을 허용할 수 있다. 다른 편차들은 입력 제스처의 세부 사항들에 따라 더 작거나 클 수 있다.
일단 입력 제스처가 인증되면, 방법(300)은 접촉을 검출하고 접촉이 연속적으로 존재하는지를 모니터링함으로써 터치스크린상의 제2 위치에 지속적인 접촉이 있는지를 결정하는 단계를 포함한다. 지속적인 접촉은, 예를 들어, 연속적으로 또는 중단 없이 존재하는 터치스크린상의 접촉을 포함할 수 있다. 지속적인 접촉은 또한, 예를 들어, 약 1-2초 미만과 같은 임계 시간 양보다 작은 중단(예를 들어, 손가락이 약 1-2초 미만 동안 제2 위치에서 미끄러지거나 미끄러져 떨어지는 경우)과 같은, 접촉의 약간의 편차 또는 변동이 허용되도록, 실질적으로 연속적인 접촉 또는 계속적인 접촉을 허용할 수 있다.
일단 지속적인 접촉이 검출, 예를 들어, 제2 위치에서의 접촉이 검출되고 중단이 없으면(또는 실질적으로 중단이 검출되지 않으면), 머신의 동작의 제어가 컴퓨팅 디바이스에서 가능하게 될 수 있다. 입력 제스처의 인증 후에 지속적인 접촉을 야기하는 제2 위치에서의 접촉이 먼저 검출되면 제어가 가능하게 될 수 있다.
일부 예들에서, 동작의 제어를 가능하게 하기 위해, 컴퓨팅 디바이스는 무선 통신 정보, 개인 암호화 키, 또는 다른 연결 정보를 교환하는 것과 같이, 머신에 연결하기 위한 자격 증명들을 교환하기 위해 머신과 통신할 수 있다.
추가 예들에서, 컴퓨팅 디바이스에 의한 머신의 동작의 제어를 가능하게 하는 것은 컴퓨팅 디바이스가 입력 제스처를 인증하는 것, 터치스크린상의 제2 위치에서의 접촉을 검출하는 것, 접촉이 지속적인 것(예를 들어, 약 1초를 초과하여)을 결정하는 것, 및 그 후 머신과 통신하여 컴퓨팅 디바이스를 머신에 연결하기 위한 자격 증명들을 교환하는 것을 포함한다.
머신의 동작의 제어를 가능하게 하는 것은 머신상의 스위치를 활성화하는 것, 머신의 전원을 켜는 것, 머신의 동작을 제어하도록 프로그램된 컴퓨팅 디바이스상의 애플리케이션을 활성화/잠금 해제하는 것 등을 포함할 수 있다.
컴퓨팅 디바이스는 예상된 입력 제스처를 사용자에게 알리기 위한 패턴을 터치스크린상에 디스플레이할 수 있고, 그 후 입력 제스처의 인증에 기초하여, 컴퓨팅 디바이스는 데드맨 스위치 접촉 영역인 제2 위치를 알려주는 아이콘을 터치스크린상에 디스플레이할 수 있다.
도 4c는 터치스크린(404)상의 예시적인 제2 위치 영역을 도시한다. 예를 들어, 제2 위치(416)는 제2 위치 영역(418) 내의 임의의 위치에서 검출될 수 있다. 제2 위치 영역(418)은 제2 위치에서의 지속적인 접촉의 자격이 있는 접촉의 입력을 위한 경계를 사용자에 알리기 위해 점선으로 된 박스를 사용하여 터치스크린(404)상에 디스플레이될 수 있다.
도 3을 다시 참조하면, 블록 306에서, 방법(300)은 터치스크린상의 제2 위치에서의 지속적인 접촉의 검출의 결여에 기초하여, 컴퓨팅 디바이스에 의한 머신의 동작의 제어를 불가능하게 하는 단계를 포함한다. 따라서, 제2 위치에서의 지속적인 접촉이 검출되지 않으면, 제어는 불가능하게 된다. 언급한 바와 같이, 지속적인 접촉은 약 1-2초 동안 검출의 약간의 변동 또는 편차를 허용할 수 있지만, 접촉이 임의의 그러한 변동을 초과하여(예를 들어, 임계 시간 양을 초과하여) 검출되지 않으면, 제어는 불가능하게 된다.
지속적인 접촉은 인간 조작자가 머신의 동작들을 모니터링하기 위해 존재하도록 보장하기 위해 수행된다. 다른 예들에서, 이것은 컴퓨팅 디바이스 및 머신이 규칙적인 간격으로 통신을 교환하는, "하트비트(heartbeat)"를 유지하는 컴퓨팅 디바이스 및 머신에 의해 수행될 수도 있다. 컴퓨팅 디바이스로부터의 통신을 위한 간격이 임계 값을 초과하면(예를 들어, 수 초를 초과하여), 동작의 제어가 불가능하게 된다. 컴퓨팅 디바이스는 터치스크린 디바이스에서 수신된 입력에 기초하여 통신을 교환하도록 프로그램될 수 있다.
컴퓨팅 디바이스에 의한 머신의 동작의 제어를 불가능하게 하는 것은 머신과 컴퓨팅 디바이스 간의 통신을 불가능하게 하는 것을 포함할 수 있다. 또한, 터치스크린상의 상기 제2 위치에서의 지속적인 접촉의 검출의 결여에 기초하여, 컴퓨팅 디바이스는 머신의 동작을 일시 정지시키는 것, 머신을 안전 구성에 두는 것, 머신을 끄는 것 등과 같은, 특정 기능을 수행하도록 머신에 명령어들을 전송할 수 있다.
머신의 동작의 제어를 불가능하게 하는 것은 또한 머신상의 스위치를 비활성화하는 것, 머신의 전원을 끄는 것, 머신의 동작을 제어하도록 프로그램된 컴퓨팅 디바이스상의 애플리케이션을 비활성화하는/잠그는 것 등을 포함할 수 있다. 다른 예들에서, 동작의 제어를 불가능하게 하는 것은 컴퓨팅 디바이스에서 실행되는 애플리케이션에 의해 특정 프로그램 서브루틴(콜백)을 실행하는 것을 포함할 수 있으며, 이는 제2 위치에서의 접촉의 손실을 결정하는 책임이 있는 것으로 등록된다.
블록 308에서, 방법(300)은 제2 위치에서의 지속적인 접촉의 검출의 결여에 기초하여, 컴퓨팅 디바이스상의 디스플레이를 잠금 상태로 변경하는 것, 머신의 동작이 일시 정지됨을 나타내는 메시지를 디스플레이하는 것, 및 머신의 동작이 일시 정지되었음을 나타내기 위해 진동 또는 오디오 경보를 컴퓨팅 디바이스에서 제공하는 것을 포함하는 하나 이상의 액션이 발생하게 하는 단계를 포함한다. 이것은 사용자에게 머신의 제어가 중지되었음을 알릴 수 있고, 사용자는 머신을 다시 제어하기 위해 컴퓨팅 디바이스를 다시 인증할 필요가 있다.
따라서, 예들 내에서, 머신의 동작을 재개하기 위해 컴퓨팅 디바이스는 컴퓨팅 디바이스의 터치스크린상에서의 제2 입력 제스처를 수신하고, 제2 입력 제스처가 인증되는 것 및 제2 위치에서의 지속적인 접촉이 검출되는 것에 기초하여 머신의 동작을 재개할 수 있다. 제2 제스처는 제1 제스처와 동일할 수 있거나, 상이한 요청 제스처일 수도 있다.
방법(300)을 사용하여, 머신 제어를 위한 시뮬레이션된 데드맨 스위치가 터치스크린 디바이스와 함께 제공된다. 사용자는 터치스크린상의 지정된 위치에 손가락을 놓고 특정 경로를 따라감으로써 "미로"를 그린다. 그 후 사용자는, 예를 들어, 머신의 제어를 계속하기 위해 미로의 "목표" 위치에 그의 손가락을 둘(또는 접촉을 제거하지 않고 손가락을 목표 위치로 당길) 필요가 있다. 손가락 접촉이 끊어지면, 머신의 제어를 되찾기 전에 프로세스가 다시 수행된다. 이는 특정 위치로 유지될 기계 버튼이 있는 전통적인 물리적 데드맨 스위치를 사용하는 대신 머신 제어를 중지하는 신속한 방법을 가능하게 한다. 터치스크린 디바이스를 사용하면, 버튼 위치에서 접촉이 가해지는 한, 머신/로봇이 활성화된 상태로 유지된다. 이는 사용자가 데드맨 스위치를 위한 프록시로서 존재하는 하나의 손 또는 하나의 손가락을 가질 것을 요구하고, 다른 손 또는 손가락들은 터치스크린상의 다른 입력들을 위해 사용될 수 있다.
따라서, 방법(300)은 터치스크린 디바이스상의 비기계 데드맨 스위치에 대한 기능을 가능하게 한다.
지속적인 접촉에 대한 터치스크린 입력들의 해석 및 동작을 가능하게 하는 것은 애플리케이션 레벨에서 수행될 수 있다. 예를 들어, 컴퓨팅 디바이스상의 애플리케이션은 잠금 해제 제스처가 입력되었고, 터치스크린상의 지속적인 접촉이 터치스크린상의 미리 결정된 위치에 존재하여 로봇 디바이스의 동작을 가능하게 하는 것으로 결정하도록 구성될 수 있다. 애플리케이션은 또한 (터치스크린상의 다른 영역들에서 수신되는) 로봇 디바이스의 제어를 위한 터치 입력들과 로봇 디바이스의 제어를 가능하게 하기 위해 필요한 스크린상의 지속적인 터치를 구별하도록 구성될 수 있다. 이를 위해, 애플리케이션은 터치스크린상의 모든 터치를 수신하고, "스위치 위치"에서 검출된 임의의 터치들을 공제하여 머신의 제어를 위해 나머지 터치 입력들을 이용할 수 있다. 따라서, 방법(300)은 터치스크린상에서의 다수의 입력을 수신하는 단계, 다수의 입력 중에서, 일부 입력들을 제2 위치에서의 지속적인 접촉과 구별하는 단계, 및 머신으로 하여금 특정 기능들을 수행하게 하기 위해 추가의 입력들을 이용하는 단계를 포함할 수 있다.
다른 예들에서, 지속적인 접촉에 대한 터치스크린 입력들의 해석 및 동작의 제어를 가능하게 하는 것은 컴퓨팅 디바이스상의 운영 체제(OS) 레벨에서 수행될 수 있다. 예로서, 잠금 해제 제스처 또는 코드의 입력, 및 스위치 위치에서의 지속적인 접촉에 이어서, 컴퓨팅 디바이스의 OS는 머신의 동작을 위해 컴퓨팅 디바이스상의 애플리케이션에 제어를 전달할 수 있다. OS는 스위치 위치에서의 입력들을 모니터링할 수 있으며, 접촉이 검출되지 않으면, OS는 터치스크린상의 임의의 영역에 대한 모든 터치 이벤트를 비활성화할 수 있거나, 스크린을 잠그고 예를 들어 입력 제스처의 입력을 요구하는 초기 상태로 되돌아갈 수 있다. 따라서, 방법(300)은 컴퓨팅 디바이스의 운영 체제가 입력 제스처를 인증하고 지속적인 접촉에 대해 제2 위치에서의 입력을 모니터링하는 단계 - 운영 체제는 컴퓨팅 디바이스상의 애플리케이션에 머신의 제어를 제공함 -, 및 제2 위치에서의 지속적인 접촉의 검출의 결여에 기초하여, 운영 체제가 터치스크린을 잠금으로써 컴퓨팅 디바이스에 의한 머신의 동작의 제어를 불가능하게 하는 단계를 포함할 수 있다.
도 5a는 로봇 디바이스의 무선 제어에 관여하는 컴퓨팅 디바이스를 나타내는 예시적인 시나리오를 도시한다. 예시적인 시나리오(500)는 제어 시스템(506)을 통한 통신에 의해 로봇 디바이스(504)의 소정량의 제어에 관여하고 어쩌면 그 제어를 맡는 컴퓨팅 디바이스(502)를 포함한다. 예를 들어 제조 환경 내의, 로봇 디바이스(504)의 제어를 얻기 위해 컴퓨팅 디바이스(502)를 사용하는 사용자는, 로봇 디바이스(504)의 하나 이상의 동작 또는 다른 양태를 제어하도록 구성된, 제어 시스템(506)에 대한 통신에 의해 로봇 디바이스(504)의 제어를 개시하기 위해 컴퓨팅 디바이스(502)상에서 입력 제스처를 제공하고 그 후 접촉을 유지할 수 있다. 제어 시스템(506)은 로봇 디바이스(504)와 별개로 도시되어 있지만, 로봇 디바이스(504)와 물리적으로 함께 구성될 수 있거나 로봇 디바이스(504)와 무선 또는 유선 통신할 수 있다. 또한, 일부 예들에서, 제어 시스템(506)은 로봇 디바이스(504)의 하나 이상의 내부 구성 요소를 나타내는 것에 불과할 수 있다. 예시적인 시나리오(500)는 무선 연결을 통해 제어 시스템(506)과 통신하고 어쩌면 로봇 디바이스(504)의 소정량의 제어를 수신하는 컴퓨팅 디바이스(502)를 도시한다. 일부 예들에서, 컴퓨팅 디바이스(502)는 NFC 기술을 통해 제어 시스템(506)과 통신할 수 있으며, 이는 컴퓨팅 디바이스(502)가 사용자로부터 하나 이상의 제스처를 검출하는 결과로서 발생할 수 있다.
도 5b는 임의의 제어 시스템 없이(또는 제어 시스템이 로봇 디바이스(504) 내에 포함될 수 있음), 로봇 디바이스(504)의 직접적인 무선 제어에 관여하는 컴퓨팅 디바이스(502)를 나타내는 예시적인 시나리오를 도시한다. 다른 예들에서, 컴퓨팅 디바이스(502)와 로봇 디바이스(504) 사이의 통신 또는 연결은 USB, 이더넷 등을 통한 유선 연결일 수도 있다.
도 6은 컴퓨팅 디바이스(602)에 의해 제어되는 또 다른 예시적인 로봇 디바이스(600)를 도시한다. 컴퓨팅 디바이스(602)는 핸드헬드형일 수 있고 로봇 디바이스(600)를 제어하는 데 사용될 수 있다. 사용자는 로봇 디바이스(600)의 제어를 가능하게 하기 위해 인가, 인증, 또는 다른 입력 제스처를 입력한 다음 터치스크린상의 영역(604)에서 컴퓨팅 디바이스(602)에 접촉할 수 있다. 로봇 디바이스(600)는 컴퓨팅 디바이스(602)에 대한 통신과 관련된 시각 피드백을 또한 제공하도록 구성된 인디케이터(606)를 포함할 수 있다.
본 개시는 다양한 양태들의 예시로서 의도되는, 본 출원에서 설명된 특정 실시예들에 관하여 한정되어서는 안 된다. 본 기술분야의 기술자들에게 명백할 바와 같이, 그 범위를 벗어나지 않고 많은 변경 및 변형이 이루어질 수 있다. 본 명세서에 열거된 것들 이외에, 본 개시의 범위 내에 있는 기능적으로 동등한 방법들 및 장치들은, 전술한 설명으로부터 본 기술분야의 기술자들에게 명백할 것이다. 이러한 변경들 및 변형들은 첨부된 청구항들의 범위 내에 속하는 것으로 의도된다.
상기 상세한 설명은 첨부 도면들을 참조하여 개시된 시스템, 디바이스 및 방법의 다양한 특징 및 기능을 설명한다. 도면들에서, 유사한 기호들은 전형적으로, 문맥이 달리 지시하지 않는 한, 유사한 구성 요소들을 식별한다. 본 명세서 및 도면들에 설명된 예시적인 실시예들은 제한하려는 것이 아니다. 본 명세서에 제시된 주제의 범위를 벗어나지 않고, 다른 실시예들이 이용될 수 있고, 다른 변경들이 이루어질 수 있다. 본 명세서에 일반적으로 설명되고 도면들에 도시된 바와 같은, 본 개시의 양태들은 매우 다양한 상이한 구성들로 배열, 대체, 조합, 분리, 및 설계될 수 있으며, 이들 모두는 본 명세서에서 명시적으로 고려된다는 것을 쉽게 이해할 것이다.
도면들에 도시된 특정 배열들은 제한적인 것으로 간주되어서는 안 된다. 다른 실시예가 주어진 도면에 도시된 각각의 요소를 더 많이 또는 더 적게 포함할 수 있는 것이 이해되어야 한다. 또한, 도시된 요소들 중 일부는 조합되거나 생략될 수 있다. 또한, 예시적인 실시예는 도면들에 도시되지 않은 요소들을 포함할 수 있다.
다양한 양태들 및 실시예들이 본 명세서에 개시되었지만, 다른 양태들 및 실시예들이 본 기술분야의 기술자들에게 명백할 것이다. 본 명세서에 개시된 다양한 양태들 및 실시예들은 제한하려는 것이 아니라 예시를 위한 것이며, 그 범위는 이하의 청구항들에 의해 지시된다.

Claims (20)

  1. 방법으로서,
    컴퓨팅 디바이스의 터치스크린상에서의 입력 제스처를 수신하는 단계 - 상기 입력 제스처는 상기 터치스크린상의 제1 위치에서의 접촉과, 이어서 상기 터치스크린상의 패턴을 따라 상기 터치스크린상의 제2 위치로 이동하는 것을 포함함 -;
    상기 입력 제스처가 인증되는 것 및 상기 터치스크린상의 상기 제2 위치에서의 지속적인 접촉이 검출되는 것에 기초하여 상기 컴퓨팅 디바이스에 의한 머신의 동작의 제어를 가능하게 하는 단계; 및
    상기 터치스크린상의 상기 제2 위치에서의 상기 지속적인 접촉의 검출의 결여에 기초하여, 상기 컴퓨팅 디바이스에 의한 상기 머신의 동작의 제어를 불가능하게 하는 단계를 포함하고,
    상기 입력 제스처는 스와이프 모션들을 사용하여 상기 터치스크린상에 패스코드를 입력하는 것과, 이어서 상기 터치스크린상의 상기 패턴을 따라 상기 제2 위치로 이동하는 것을 포함하는, 방법.
  2. 삭제
  3. 제1항에 있어서, 상기 터치스크린상의 상기 패턴을 따라 이동하는 것은 상기 패턴을 따른 상기 터치스크린상의 지속적인 접촉을 포함하는, 방법.
  4. 제1항에 있어서, 상기 컴퓨팅 디바이스에 의한 상기 머신의 동작의 제어를 가능하게 하는 단계는:
    상기 컴퓨팅 디바이스가 상기 입력 제스처를 인증하는 단계;
    상기 컴퓨팅 디바이스가 상기 터치스크린상의 상기 제2 위치에서의 상기 지속적인 접촉을 검출하는 단계; 및
    상기 컴퓨팅 디바이스가 상기 머신과 통신하여 상기 컴퓨팅 디바이스를 상기 머신에 연결하기 위한 자격 증명들을 교환하는 단계를 포함하는, 방법.
  5. 제1항에 있어서, 상기 컴퓨팅 디바이스에 의한 상기 머신의 동작의 제어를 가능하게 하는 단계는:
    입력 제스처가 상기 터치스크린상의 상기 제2 위치에서 종결되고 상기 터치스크린상의 상기 제2 위치에서의 접촉의 중단 없이 상기 터치스크린상의 상기 제2 위치에서의 계속적인 접촉이 검출되는 것을 결정하는 단계를 포함하는, 방법.
  6. 제1항에 있어서, 상기 컴퓨팅 디바이스에 의한 상기 머신의 동작의 제어를 불가능하게 하는 단계는 상기 머신과 상기 컴퓨팅 디바이스 간의 통신들을 불가능하게 하는 단계를 포함하는, 방법.
  7. 제1항에 있어서, 상기 터치스크린의 상기 제2 위치에서의 상기 지속적인 접촉의 검출의 결여에 기초하여, 상기 머신의 동작을 일시 정지시키는 단계를 더 포함하는, 방법.
  8. 제1항에 있어서,
    상기 지속적인 접촉에 대응하는 상기 제2 위치에서의 터치 입력이 임계 시간 양보다 많은 시간 동안 결여되어 있다고 결정하는 단계; 및
    그에 응답하여 상기 머신의 동작을 일시 정지시키는 단계를 더 포함하는, 방법.
  9. 제1항에 있어서, 상기 머신의 동작을 재개하기 위해:
    상기 컴퓨팅 디바이스의 상기 터치스크린상에서의 제2 입력 제스처를 수신하는 단계; 및
    상기 제2 입력 제스처가 인증되는 것 및 상기 제2 위치에서의 지속적인 접촉이 검출되는 것에 기초하여 상기 머신의 동작을 재개하는 단계를 더 포함하는, 방법.
  10. 제1항에 있어서,
    상기 터치스크린상에서의 다수의 입력들을 수신하는 단계 - 상기 다수의 입력들은 상기 머신이 하나 이상의 액션들을 수행하기 위한 하나 이상의 명령어들을 나타내는 하나 이상의 추가 입력들 및 상기 터치스크린의 상기 제2 위치에서의 상기 지속적인 접촉을 포함함 -;
    상기 다수의 입력들 중에서, 상기 하나 이상의 추가 입력들을 상기 제2 위치에서의 상기 지속적인 접촉과 구별하는 단계; 및
    상기 하나 이상의 추가 입력들을 사용하여 상기 머신으로 하여금 특정 기능들을 수행하게 하는 단계를 더 포함하는, 방법.
  11. 제1항에 있어서,
    상기 컴퓨팅 디바이스의 운영 체제가 상기 입력 제스처를 인증하고 상기 지속적인 접촉에 대해 상기 제2 위치에서의 입력을 모니터링하는 단계;
    상기 운영 체제가 상기 머신의 제어를 상기 컴퓨팅 디바이스상의 애플리케이션에 제공하는 단계; 및
    상기 제2 위치에서의 상기 지속적인 접촉의 검출의 결여에 기초하여, 상기 운영 체제가 상기 터치스크린을 잠그는 것에 의해 상기 컴퓨팅 디바이스에 의한 상기 머신의 동작의 제어를 불가능하게 하는 단계를 더 포함하는, 방법.
  12. 제1항에 있어서, 상기 제2 위치에서의 상기 지속적인 접촉의 검출의 결여에 기초하여, 상기 컴퓨팅 디바이스상의 디스플레이를 잠금 상태로 변경하는 것, 상기 머신의 동작이 일시 정지됨을 나타내는 메시지를 디스플레이하는 것, 및 상기 머신의 동작이 일시 정지되었음을 나타내기 위해 진동 또는 오디오 경보를 상기 컴퓨팅 디바이스에서 제공하는 것을 포함하는 하나 이상의 액션들이 발생하게 하는 단계를 더 포함하는, 방법.
  13. 컴퓨팅 디바이스에 의한 실행시에, 상기 컴퓨팅 디바이스로 하여금 기능들을 수행하게 하는 명령어들을 저장하고 있는 비일시적 컴퓨터 판독 가능 매체로서, 상기 기능들은:
    상기 컴퓨팅 디바이스의 터치스크린상에서의 입력 제스처를 수신하는 것 - 상기 입력 제스처는 상기 터치스크린상의 제1 위치에서의 접촉과, 이어서 상기 터치스크린상의 패턴을 따라 상기 터치스크린상의 제2 위치로 이동하는 것을 포함함 -;
    상기 입력 제스처가 인증되는 것 및 상기 터치스크린상의 상기 제2 위치에서의 지속적인 접촉이 검출되는 것에 기초하여 머신의 동작의 제어를 가능하게 하는 것; 및
    상기 터치스크린상의 상기 제2 위치에서의 상기 지속적인 접촉의 검출의 결여에 기초하여, 상기 머신의 동작의 제어를 불가능하게 하는 것을 포함하고,
    상기 입력 제스처는 스와이프 모션들을 사용하여 상기 터치스크린상에 패스코드를 입력하는 것과, 이어서 상기 터치스크린상의 상기 패턴을 따라 상기 제2 위치로 이동하는 것을 포함하는, 비일시적 컴퓨터 판독 가능 매체.
  14. 제13항에 있어서, 상기 기능들은:
    상기 터치스크린상의 상기 제2 위치에서의 상기 지속적인 접촉의 검출의 결여에 기초하여, 특정 기능을 수행하도록 머신에 명령어들을 전송하는 것을 더 포함하는, 비일시적 컴퓨터 판독 가능 매체.
  15. 제13항에 있어서, 상기 기능들은 상기 터치스크린의 상기 제2 위치에서의 상기 지속적인 접촉의 검출의 결여에 기초하여, 상기 머신의 동작을 일시 정지시키는 것을 더 포함하는, 비일시적 컴퓨터 판독 가능 매체.
  16. 제13항에 있어서, 상기 기능들은:
    상기 지속적인 접촉에 대응하는 상기 제2 위치에서의 터치 입력이 1 내지 2초 동안 결여되어 있다고 결정하는 것; 및
    그에 응답하여 상기 머신의 동작을 일시 정지시키는 것을 더 포함하는, 비일시적 컴퓨터 판독 가능 매체.
  17. 시스템으로서,
    터치스크린;
    하나 이상의 프로세서들; 및
    상기 시스템으로 하여금 기능들을 수행하도록 하기 위해 상기 하나 이상의 프로세서들에 의해 실행 가능한 명령어들을 포함하는 데이터 저장소를 포함하고, 상기 기능들은:
    상기 터치스크린상에서의 입력 제스처를 수신하는 것 - 상기 입력 제스처는 상기 터치스크린상의 제1 위치에서의 접촉과, 이어서 상기 터치스크린상의 패턴을 따라 상기 터치스크린상의 제2 위치로 이동하는 것을 포함함 -;
    상기 입력 제스처가 인증되는 것 및 상기 터치스크린상의 상기 제2 위치에서의 지속적인 접촉이 검출되는 것에 기초하여 머신의 동작의 제어를 가능하게 하는 것; 및
    상기 터치스크린상의 상기 제2 위치에서의 상기 지속적인 접촉의 검출의 결여에 기초하여, 상기 머신의 동작의 제어를 불가능하게 하는 것을 포함하고,
    상기 입력 제스처는 스와이프 모션들을 사용하여 상기 터치스크린상에 패스코드를 입력하는 것과, 이어서 상기 터치스크린상의 상기 패턴을 따라 상기 제2 위치로 이동하는 것을 포함하는, 시스템.
  18. 제17항에 있어서, 상기 머신의 동작의 제어를 가능하게 하는 것은:
    상기 입력 제스처를 인증하는 것;
    상기 터치스크린상의 상기 제2 위치에서의 상기 지속적인 접촉을 검출하는 것; 및
    상기 머신과 통신하여 상기 머신에 연결하기 위한 자격 증명들을 교환하는 것을 포함하는, 시스템.
  19. 제17항에 있어서, 상기 기능들은 상기 머신의 동작을 재개하기 위해:
    상기 터치스크린상에서의 제2 입력 제스처를 수신하는 것; 및
    상기 제2 입력 제스처가 인증되는 것 및 상기 제2 위치에서의 지속적인 접촉이 검출되는 것에 기초하여 상기 머신의 동작을 재개하는 것을 더 포함하는, 시스템.
  20. 제17항에 있어서, 상기 기능들은:
    상기 터치스크린상에 상기 패턴을 디스플레이하는 것; 및
    상기 입력 제스처의 인증에 기초하여, 데드맨 스위치 접촉 영역인 상기 제2 위치를 알려주는 아이콘을 상기 터치스크린상에 디스플레이하는 것을 더 포함하는, 시스템.
KR1020177027963A 2015-03-30 2016-02-02 머신 제어를 위한 제스처 기반 스위치를 위한 방법 및 시스템 KR102014010B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/672,750 US9965042B2 (en) 2015-03-30 2015-03-30 Methods and systems for gesture based switch for machine control
US14/672,750 2015-03-30
PCT/US2016/016049 WO2016160118A1 (en) 2015-03-30 2016-02-02 Methods and systems for gesture based switch for machine control

Publications (2)

Publication Number Publication Date
KR20170124580A KR20170124580A (ko) 2017-11-10
KR102014010B1 true KR102014010B1 (ko) 2019-08-23

Family

ID=55359755

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020177027963A KR102014010B1 (ko) 2015-03-30 2016-02-02 머신 제어를 위한 제스처 기반 스위치를 위한 방법 및 시스템

Country Status (6)

Country Link
US (1) US9965042B2 (ko)
EP (1) EP3278202A1 (ko)
JP (1) JP6405052B2 (ko)
KR (1) KR102014010B1 (ko)
CN (1) CN107408015B (ko)
WO (1) WO2016160118A1 (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9965042B2 (en) * 2015-03-30 2018-05-08 X Development Llc Methods and systems for gesture based switch for machine control
US10019566B1 (en) * 2016-04-14 2018-07-10 X Development Llc Authorizing robot use and/or adapting physical control parameters for a robot
US10572141B2 (en) * 2016-06-10 2020-02-25 Cnh Industrial America Llc Autonomous agricultural system user interface interlock
JP6953778B2 (ja) * 2017-04-28 2021-10-27 オムロン株式会社 協調ロボット、コントローラ、および方法
JP6430088B1 (ja) * 2018-01-31 2018-11-28 三菱電機株式会社 タッチパネル装置
US10986087B2 (en) * 2018-07-17 2021-04-20 International Business Machines Corporation Motion based authentication

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110260829A1 (en) * 2010-04-21 2011-10-27 Research In Motion Limited Method of providing security on a portable electronic device having a touch-sensitive display
US20140033130A1 (en) * 2012-07-25 2014-01-30 Isis Srl Method for controlling and activating a user interface and device and installation using such a method and interface

Family Cites Families (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4991227A (en) * 1988-01-11 1991-02-05 Motorola, Inc. Squelch circuit with variable squelch tail and variable hysteresis
US6610917B2 (en) * 1998-05-15 2003-08-26 Lester F. Ludwig Activity indication, external source, and processing loop provisions for driven vibrating-element environments
US6560513B2 (en) 1999-11-19 2003-05-06 Fanuc Robotics North America Robotic system with teach pendant
US7079551B2 (en) * 2000-10-05 2006-07-18 Kiribati Wireless Ventures, Llc Private network link verification procedure in free space optical communication network
US7027389B2 (en) * 2000-12-11 2006-04-11 Cisco Technology, Inc. Fast failure detection using RTT time considerations on a non-retransmit medium
US7170492B2 (en) * 2002-05-28 2007-01-30 Reactrix Systems, Inc. Interactive video display system
JP2004112113A (ja) * 2002-09-13 2004-04-08 Matsushita Electric Ind Co Ltd リアルタイム通信の適応制御方法、受信報告パケットの連続消失に対する対策方法、受信報告パケットの送出間隔の動的決定装置、リアルタイム通信の適応制御装置、データ受信装置およびデータ配信装置
US7034659B2 (en) * 2002-09-23 2006-04-25 Intermec Ip Corp. Method and system for limiting use of electronic equipment
US7222305B2 (en) * 2003-03-13 2007-05-22 Oracle International Corp. Method of sharing a desktop with attendees of a real-time collaboration
US7643907B2 (en) 2005-02-10 2010-01-05 Abb Research Ltd. Method and apparatus for developing a metadata-infused software program for controlling a robot
US7657849B2 (en) * 2005-12-23 2010-02-02 Apple Inc. Unlocking a device by performing gestures on an unlock image
US8108092B2 (en) 2006-07-14 2012-01-31 Irobot Corporation Autonomous behaviors for a remote vehicle
US8630768B2 (en) * 2006-05-22 2014-01-14 Inthinc Technology Solutions, Inc. System and method for monitoring vehicle parameters and driver behavior
US7536006B2 (en) * 2006-07-21 2009-05-19 Motorola, Inc. Method and system for near-end detection
US7890778B2 (en) * 2007-01-06 2011-02-15 Apple Inc. Power-off methods for portable electronic devices
US8619041B2 (en) * 2008-10-07 2013-12-31 Blackberry Limited Portable electronic device and method of controlling same
WO2011139194A1 (en) * 2010-05-07 2011-11-10 Maquet Critical Care Ab User interface for breathing apparatus
US9262073B2 (en) * 2010-05-20 2016-02-16 John W. Howard Touch screen with virtual joystick and methods for use therewith
WO2011158768A1 (ja) * 2010-06-18 2011-12-22 シャープ株式会社 情報端末装置およびこれを利用した個人認証方法
KR101669967B1 (ko) * 2010-08-23 2016-10-27 엘지전자 주식회사 이동단말기 및 그 제어방법
WO2012166815A1 (en) * 2011-05-31 2012-12-06 Intuitive Surgical Operations, Inc Surgical instrument with control for detected fault condition
EP2757452A4 (en) * 2011-09-16 2015-08-05 INFORMATION PROCESSING DEVICE HAVING UNLOCKING FUNCTION
KR20130039586A (ko) * 2011-10-12 2013-04-22 삼성전자주식회사 터치 디바이스의 잠금 기능 제공 방법 및 장치
US8984276B2 (en) 2012-01-10 2015-03-17 Jpmorgan Chase Bank, N.A. System and method for device registration and authentication
KR101894567B1 (ko) * 2012-02-24 2018-09-03 삼성전자 주식회사 락스크린 운용 방법 및 이를 지원하는 단말기
US10281986B2 (en) 2012-05-03 2019-05-07 Georgia Tech Research Corporation Methods, controllers and computer program products for accessibility to computing devices
ITTV20120139A1 (it) * 2012-07-25 2014-01-26 Isis S R L Metodo per il controllo e l'attivazione di una interfaccia utente contestuale e dispositivo e impianto con tale metodo e interfaccia
CN102789327B (zh) * 2012-08-07 2015-04-08 北京航空航天大学 一种基于手势的移动机器人控制方法
US9179197B2 (en) * 2012-10-10 2015-11-03 Sonos, Inc. Methods and apparatus for multicast optimization
US8694791B1 (en) * 2012-10-15 2014-04-08 Google Inc. Transitioning between access states of a computing device
US8537715B1 (en) * 2012-10-30 2013-09-17 Aruba Networks, Inc. Method and system for network failover and network selection with multi-mode modem in remote access points
DE102012022882A1 (de) * 2012-11-23 2014-05-28 Heidelberger Druckmaschinen Ag Gestensteuerung für Druckmaschinen
WO2014127822A1 (en) 2013-02-21 2014-08-28 Abb Technology Ltd An industrial robot system comprising an enabling unit and a plurality of general purpose devices and a method for controlling the robot system
US8621062B1 (en) * 2013-03-15 2013-12-31 Opscode, Inc. Push signaling to run jobs on available servers
US10040169B2 (en) * 2013-05-09 2018-08-07 Terydon, Inc. System and method for wireless control using a deadman switch
KR20140143555A (ko) * 2013-06-07 2014-12-17 삼성전자주식회사 휴대 장치의 잠금 화면 상에서 빠른 어플리케이션 실행 방법 및 이를 위한 휴대 장치
DE102013012394A1 (de) * 2013-07-26 2015-01-29 Daimler Ag Verfahren und Vorrichtung zur Fernsteuerung einer Funktion eines Fahrzeugs
US9177166B2 (en) * 2013-08-21 2015-11-03 Systel Business Equipment Co., Inc. System and method for authentication
US20150089454A1 (en) * 2013-09-25 2015-03-26 Kobo Incorporated Overscroll stretch animation
US9619770B2 (en) * 2014-04-05 2017-04-11 Parsable, Inc. Systems and methods for digital workflow and communication
US10601978B2 (en) * 2014-06-04 2020-03-24 T-Mobile Usa, Inc. Telecommunication device utilization based on heartbeat communication
US9779151B2 (en) * 2014-09-25 2017-10-03 Business Objects Software Ltd. Visualizing relationships in data sets
US9965042B2 (en) * 2015-03-30 2018-05-08 X Development Llc Methods and systems for gesture based switch for machine control

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110260829A1 (en) * 2010-04-21 2011-10-27 Research In Motion Limited Method of providing security on a portable electronic device having a touch-sensitive display
US20140033130A1 (en) * 2012-07-25 2014-01-30 Isis Srl Method for controlling and activating a user interface and device and installation using such a method and interface

Also Published As

Publication number Publication date
EP3278202A1 (en) 2018-02-07
CN107408015B (zh) 2021-05-11
JP2018507469A (ja) 2018-03-15
US9965042B2 (en) 2018-05-08
JP6405052B2 (ja) 2018-10-17
KR20170124580A (ko) 2017-11-10
US20160291697A1 (en) 2016-10-06
CN107408015A (zh) 2017-11-28
WO2016160118A1 (en) 2016-10-06

Similar Documents

Publication Publication Date Title
KR102014010B1 (ko) 머신 제어를 위한 제스처 기반 스위치를 위한 방법 및 시스템
US9393699B1 (en) Methods and systems for wireless control of a robotic device
TWI546724B (zh) 用以在通訊設備間傳送資訊項目之裝置及方法
CN104969595B (zh) 用于进行安全的进入码输入的方法和终端设备
US11007651B2 (en) Haptic controller with touch-sensitive control knob
CN103092523A (zh) 一种解锁方法及终端
WO2016192521A1 (zh) 一种显示控制方法、装置及终端
CN106506820B (zh) 一种移动终端数据的备份方法及装置
US10642373B2 (en) Throttle functionality of haptic controller
EP3196738A1 (en) Method for controlling blank screen gesture processing and terminal
US20160014260A1 (en) Securely unlocking a device using a combination of hold placement and gesture
CN107186715B (zh) 机械臂的运动控制方法和装置、以及存储介质、计算机
TWI609321B (zh) 觸摸屏解鎖系統及方法
JP2015118663A (ja) 個人認証装置、個人認証方法及び個人認証プログラム
EP3249878B1 (en) Systems and methods for directional sensing of objects on an electronic device
US10589428B1 (en) Automatic distribution of control functions between multiple knob controllers based on proximity and relative positioning of the knobs
CN105678199A (zh) 一种输入装置以及信息输入方法
JP2014106813A (ja) 認証装置、認証プログラム、及び認証方法
US20180050454A1 (en) Proximity-Based Binding
CN111376246A (zh) 一种机器人操作控制方法、手势识别装置以及机器人
CN107199564B (zh) 机械臂的运动控制方法和装置、以及存储介质、计算机
TW201725069A (zh) 電子設備及玩具控制方法
JP6672073B2 (ja) 認証装置、認証方法、およびプログラム
US9987753B1 (en) Linear force control of rotation of a knob controller
US20210263594A1 (en) Input devices with detachable input devices

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant