KR101194883B1 - 비접촉식 스크린 제어 시스템 및 그 시스템에서의 비접촉식 스크린 제어 방법 - Google Patents

비접촉식 스크린 제어 시스템 및 그 시스템에서의 비접촉식 스크린 제어 방법 Download PDF

Info

Publication number
KR101194883B1
KR101194883B1 KR1020100024941A KR20100024941A KR101194883B1 KR 101194883 B1 KR101194883 B1 KR 101194883B1 KR 1020100024941 A KR1020100024941 A KR 1020100024941A KR 20100024941 A KR20100024941 A KR 20100024941A KR 101194883 B1 KR101194883 B1 KR 101194883B1
Authority
KR
South Korea
Prior art keywords
contact
information
screen
hand gesture
recognition
Prior art date
Application number
KR1020100024941A
Other languages
English (en)
Other versions
KR20110105671A (ko
Inventor
김은주
Original Assignee
김은주
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 김은주 filed Critical 김은주
Priority to KR1020100024941A priority Critical patent/KR101194883B1/ko
Publication of KR20110105671A publication Critical patent/KR20110105671A/ko
Application granted granted Critical
Publication of KR101194883B1 publication Critical patent/KR101194883B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

본 발명은 사용자의 비접촉 손동작을 인식하여 사용자가 원하는 화면을 제어함으로써 비접촉식으로 사용자 인터페이스를 수행하기 위한 비접촉식 스크린 제어 시스템 및 그 시스템에서의 비접촉식 스크린 제어 방법에 관한 것으로서, 비접촉식 스크린 제어 시스템은 감지부에서 적어도 하나 이상의 감지 장치를 통해 사용자가 원하는 화면에 취하는 비접촉 손동작을 감지하면, 인식부에서 감지된 신호를 수신하여 비접촉 인식 정보를 생성하여 제어부를 전송하고, 제어부에서 상기 인식부로부터 수신된 비접촉 인식 정보를 이용하여 동작 제어 정보를 생성하고, 생성된 동작 제어 정보에 따라 상기 사용자가 원하는 화면을 제어함에 따라 표시부에서 상기 동작 제어 정보에 따라 제어된 화면을 표시하므로 멀티터치를 수행하지 않더라도 비접촉식으로 보다 편리하게 사용자 인터페이스를 수행할 수 있다.

Description

비접촉식 스크린 제어 시스템 및 그 시스템에서의 비접촉식 스크린 제어 방법{system for controling non-contact screen and method for controling non-contact screen in the system}
본 발명은 비접촉식 스크린 제어 시스템 및 그 시스템에서의 비접촉식 스크린 제어 방법에 관한 것으로서, 특히 사용자의 비접촉 손동작을 인식하여 사용자가 원하는 화면을 제어함으로써 비접촉식으로 사용자 인터페이스를 수행하기 위한 비접촉식 스크린 제어 시스템 및 그 시스템에서의 비접촉식 스크린 제어 방법에 관한 것이다.
기존의 휴대폰이나, 노트북 등의 모바일 기기들은 키보드, 키패드 또는 마우스의 입력을 통해 인터넷이나, 기기에서 제공하는 다양한 메뉴들을 조작할 수 있었다. 그러나 기술이 발달함에 따라 최근에는 터치 스크린을 통해 간단한 터치만으로도 기기 조작이 가능하게 되었다.
일반적으로 터치의 기본 구성요소는 x, y, z라 할 수 있다. 여기서 z는 해당 위치를 누르는 압력 요소이다. 예를 들어, 마우스나 터치 디바이스의 기본 요소는 x, y라고 할 수 있다. 터치의 방식은 싱글터치, 멀티터치, 손가락 또는 객체터치 등으로 구분할 수 있으나, 최근에는 멀티터치가 가능한 터치 스크린을 장착한 모바일 기기들이 많이 개발되고 있는 추세이다.
멀티터치(Multi-touch)는 컴퓨터(또는 모바일 기기) 사용자가 그래픽 응용 프로그램 등에 여러 개의 손가락을 접촉함으로써 조작할 수 있게 하는 상호작용 기술을 의미한다. 이러한 멀티터치는 터치스크린, 터치패드를 통해서 동시에 일어나는 여러 개의 터치 포인트를 인식하는 것으로, 일반적인 하나의 터치 포인트만 인식을 하는 것과는 대비된다. 예를 들어, 멀티터치는 두 손가락을 화면에 대고 벌리거나 좁혀가며 화면 크기를 조절할 수 있다. 이는 스마트폰처럼 좁은 화면에서 매우 편리한 기술이다.
그러나 종래의 멀티터치 기술을 적용한 기기들은 터치스크린, 터치패드 등을 손가락이나 터치펜 등을 통해 반드시 접촉해야지만 기기 조작이 가능하다. 따라서 잦은 터치가 이루어짐에 따라 액정 손상이나, 특정 부분의 인식이 저하될 수 있다. 또한, 최근의 사용자들은 기술 적응력이 빠르고 새로운 것을 추구하는 경향이 있으므로 종래의 멀티터치 기술보다 사용이 편리한 기술이 개발되어지기를 기대하고 있다.
상술한 바와 같은 문제점을 해결하기 위해 본 발명은 사용자의 비접촉 손동작을 인식하여 이를 통해 사용자가 원하는 모바일 기기의 스크린의 화면을 제어하여 비접촉식으로 사용자 인터페이스를 수행하도록 하기 위한 비접촉식 스크린 제어 시스템 및 그 시스템에서의 비접촉식 스크린 제어 방법을 제공함에 있다.
상기 본 발명의 목적들을 달성하기 위한 비접촉식 스크린 제어 시스템은, 적어도 하나 이상의 감지 장치를 갖고, 상기 감지 장치를 통해 사용자가 원하는 화면에 취하는 비접촉 손동작을 감지하는 감지부; 상기 감지부로부터 감지된 비접촉 감지 신호를 분석하여 비접촉 인식 정보를 생성하는 인식부; 상기 비접촉 인식 정보를 이용하여 동작 제어 정보를 생성하고, 생성된 동작 제어 정보에 따라 상기 사용자가 원하는 화면을 제어하는 제어부; 및 상기 동작 제어 정보에 따라 제어된 화면을 표시하는 표시부를 포함하는 것을 특징으로 한다.
또한, 상기 본 발명의 목적들을 달성하기 위한 비접촉식 스크린 제어 시스템에서의 비접촉식 스크린 제어 방법은, 하나 이상의 감지 장치를 통해 사용자가 원하는 화면에 취하는 비접촉 손동작에 의한 신호를 감지하는 단계; 상기 비접촉 손동작에 의한 신호를 감지하면, 미리 설정된 정보를 이용하여 감지된 비접촉 손동작에 의한 비접촉 감지 신호를 분석함으로써 인식된 비접촉 손동작에 대한 비접촉 인식 정보를 생성하는 단계; 생성된 비접촉 인식 정보에 따라 상기 사용자가 원하는 화면을 제어하는 단계; 및 제어된 화면을 표시하는 단계를 포함하는 것을 특징으로 한다.
본 발명은 모바일 기기에 장착된 감지 장치를 통해 사용자의 비접촉식 손동작을 감지하여 감지된 신호를 분석함으로써 얻은 비접촉식 인식 정보를 통해 모바일 기기의 스크린에 표시된 화면을 제어함으로써 멀티터치를 수행하지 않더라도 비접촉식으로 보다 편리하게 사용자 인터페이스를 수행할 수 있으며, 잦은 접촉으로 인한 모바일 기기의 스크린 액정의 손상을 방지할 수 있는 효과가 있다.
또한 본 발명은 비접촉식이므로 손이 모바일 기기로 부터 떨어진 거리를 추가적으로 제어에 활용할 수 있어 기존의 터치 방식인 상하좌우의 2차원적인 움직임을 통한 제어의 한계를 뛰어넘을 수 있어 보다 풍부한 사용자 상호작용을 제공할 수 있다.
도 1은 본 발명의 실시예에 따른 비접촉식 스크린 제어 시스템의 구조를 도시한 도면,
도 2는 본 발명의 실시예에 따른 비접촉식 모바일 기기에 듀얼 센서를 사용하는 경우의 일예를 도시한 도면,
도 3은 본 발명의 실시예에 따라 비접촉식 스크린 제어를 위한 동작 제어 시점에 대한 일예를 도시한 도면,
도 4는 본 발명의 실시예에 따른 센서 인식 범위에 의한 동작 제어 시점에 대한 일예를 도시한 도면,
도 5는 본 발명의 실시예에 따라 비접촉식 스크린 제어 시스템에서 비접촉식 스크린 제어를 위한 방법을 도시한 도면,
도 6은 본 발명의 실시예에 따른 비접촉식 스크린 제어 방법의 일예를 도시한 도면.
이하, 본 발명의 바람직한 실시 예를 첨부한 도면을 참조하여 상세히 설명한다. 본 발명을 설명함에 있어, 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
그러면 본 발명의 실시예에 따른 비접촉식으로 모바일 기기의 스크린을 제어하여 사용자 인터페이스를 수행하기 위한 비접촉식 스크린 제어 시스템의 구조를 첨부된 도면들을 참조하여 구체적으로 설명하기로 한다.
도 1은 본 발명의 실시예에 따른 비접촉식 스크린 제어 시스템의 구조를 도시한 도면이다.
상기 도 1을 참조하면, 비접촉식 스크린 제어 시스템은 예를 들어 스마트폰과 같은 모바일 기기 및 컴퓨터 등에 적용될 수 있으며, 감지부(110), 인식부(120), 제어부(130), 표시부(140) 및 저장부(150)를 포함하여 구성할 수 있다. 또한,4비접촉식 스크린 제어 시스템은 기존의 멀티터치 기능을 갖는 터치 스크린을 장착한 모바일 기기 등에도 적용할 수 있다.
감지부(110)는 비접촉식으로 사용자 인터페이스를 수행하기 위해 손동작을 감지할 수 있는 적어도 하나 이상의 감지 장치(센서(적외선 또는 초음파 센서) 또는 적외선 카메라 등의 카메라)를 포함하며, 감지 장치들로부터 발생되는 비접촉 감지 신호를 획득하여 인식부(120)로 전송한다. 여기서, 상기 비접촉 감지 신호는 가리기 정도, 가려진 시간, 센서와 손과의 거리에 의한 센서의 반응 강도에 따른 신호이다. 이러한 센서(또는 카메라)를 모바일 기기에 장착한 일예를 첨부된 도 2에 도시하였으며, 상기 도 2에 도시된 바와 같이, 모바일 기기(10)의 양측에 센서(또는 카메라)(111a, 111b)를 장착하였음을 알 수 있다. 여기서, 카메라는 일반 카메라뿐만 아니라 어두운 환경에서 영상을 취득할 수 있는 적외선 카메라를 이용할 수 있다.
또한, 감지부(110)는 모바일 기기 등의 추가 버튼 신호 및 특정 손동작 신호등의 동작 제어를 위한 신호를 감지하여 이를 인식부(120)로 전송한다. 예를 들어 추가 버튼 신호는 사용자가 손을 대었다 떼는 동작 또는 대고 있는 동작 등의 사용자의 특정 손동작의 경우 발생되는 신호이다. 여기서, 사용자의 특정 손동작은 모바일 기기에 추가 버튼(터치스크린, 초음파 및 적외선 센서, 카메라 등)(112)을 장착하여 첨부된 도 3(a)에 도시된 바와 같이, 추가버튼에 손가락을 대거나, 도 3(b)에 도시된 바와 같이, 특정 손동작 예를 들어, 비접촉으로 손바닥을 좌에서 우로 천천히 이동하여 모바일 기기의 좌우에 장착된 센서(111a, 111b)를 순차적으로 가렸다 떼는 동작이다. 또는 도 4에 도시된 바와 같이 센서 인식 범위 내에서 손동작이 일어날 때이다.
인식부(120)는 일정시간 동안 감지부(110)로부터 전달된 비접촉 감지 신호를 분석하여 손동작의 움직임 방향(상하좌우 및 원근 등) 및 손동작의 속도를 저장부(150)에 저장된 패턴 정보 및 영상분석 정보를 이용하여 추정하여 비접촉 인식 정보를 생성하고, 생성된 비접촉 인식 정보를 제어부(130)로 전송한다. 또한, 인식부(120)는 주먹에서 바위 등으로의 손 모양을 바꾸는 손동작의 상호변환 여부를 저장부(150)에 저장된 손 모양 정보를 이용하여 인식하고, 인식된 비접촉 인식 정보를 제어부(130)로 전송한다.
또한, 인식부(120)는 감지 장치가 카메라인 경우, 감지부(110)로부터 카메라를 통해 감지된 비접촉 감지 신호를 수신하여 수신된 비접촉 감지 신호에 따라 주먹, 손바닥, 한 손가락 또는 두 손가락 펴기(가위) 등의 손 모양을 구분한다. 즉, 인식부(120)는 각 손 모양이 영상에서 차지하는 크기를 대조하여 쉽게 손 모양을 구분한다. 여기서 카메라의 경우 스테레오 비젼(Stereo Vision) 또는 검출 물체의 크기변화 인식 기술을 이용한 거리 측정 즉, 영상 기반의 거리 측정 기술을 이용하여 비접촉식의 손동작을 감지할 수 있다. 인식부(120)는 미리 설정된 조건을 일부 또는 모두 만족할 때 상기 비접촉 인식 정보를 제어부(130)로 전송한다. 상기 미리 설정된 조건은 다음과 같다.
첫 번째로, 감지부(110)의 추가버튼에 의한 신호를 수신한 경우로서, 한번 대었다 떼는 동작이 일어날 경우 또는 손가락을 지속적으로 대고 있는 경우이다. 일 예로 빠르게 두 번 대었다 떼는 동작이 일어날 경우 인식부(120)는 제어부(130)로 비접촉 인식 정보를 전송하거나 중지할 수 있다. 두 번째로, 특정 손동작이 일어난 경우로서, 예를 들어 손바닥을 좌에서 우로 천천히 이동하여 기기의 좌우에 장착된 센서를 순차적으로 가렸다 떼는 동작이 일어나는 경우이다. 세 번째로, 손동작이 센싱 범위 내에서 발생한 경우이다.
제어부(130)는 인식부(120)로부터 비접촉 인식 정보를 전달 받으면, 동작 제어를 시작하여 수신된 비접촉 인식 정보에 포함된 내용에 따라 사용자가 원하는 화면 조작을 수행할 수 있도록 표시부(140)에 표시된 화면을 제어한다. 즉, 제어부(130)는 비접촉 인식 정보의 내용을 파악하여 동작 제어 정보를 생성하고, 생성된 동작 제어 정보에 따른 화면 제어 신호를 표시부(140)로 전송함으로써 표시부(140)의 화면을 제어할 수 있다. 또한, 제어부(130)는 인식부(120)로부터 동작 제어 시작 정보를 수신함에 따라 동작 제어를 수행한다.
표시부(140)는 사용자에게 제공할 다양한 화면을 표시하며, 상기 제어부(130)로부터 수신된 화면 제어 신호에 따라 제어된 화면을 표시한다. 예를 들어 사용자가 특정 화면을 벌리는 손동작을 취하면, 표시부(140)는 화면을 확대하라는 내용이 포함된 동작 제어 정보를 수신하여 해당 화면을 확대하여 표시하게 된다.
또한, 표시부(140)는 일정시간동안 아무런 신호가 입력되지 않으면, 대기 상태로 전환되며, 제어부(130)로부터 화면 제어 신호가 수신되거나, 센서가 켜지게 되면, 다시 활성화 상태로 전환된다.
저장부(150)는 센서로부터 감지된 패턴 정보, 영상 분석 정보, 손모양 정보 등을 저장하고, 동작 제어 정보를 생성하기 위해 미리 설정된 제어 정보 및 표시부(140)의 화면 구성을 위한 다양한 정보 등을 저장한다.
이와 같이 구성된 모바일 기기의 비접촉식 스크린 제어 시스템에서 비접촉으로 스크린을 제어하기 위한 방법을 첨부된 도면들을 참조하여 구체적으로 설명하기로 한다.
도 5는 본 발명의 실시예에 따라 비접촉식 스크린 제어 시스템에서 비접촉식 스크린 제어를 위한 방법을 도시한 도면이고, 도 6은 본 발명의 실시예에 따른 비접촉식 스크린 제어 방법의 일예를 도시한 도면이다.
사용자는 동작 제어 시작을 알리기 위해 특정 손동작 또는 감지부(110)의 추가 버튼을 누른다. 또한, 사용자는 표시부(130)의 화면에 표시된 화면들 중 원하는 화면을 확대/축소, 선택, 이동, 넘김, 게임 제어 등의 조작을 하기 위해 해당 비접촉 손동작을 취하게 된다.
이에 따라 상기 도 5를 참조하면, 210단계에서 비접촉식 스크린 제어 시스템의 감지부(110)에서는 다수의 감지 장치로부터 상기 특정 손동작 및 추가 버튼에 따른 신호를 감지하여 동작 제어 시작을 위한 신호를 인식부(120)로 전송하거나 비접촉 손동작을 감지하여 감지된 비접촉 감지 신호를 인식부(120)로 전송한다.
220단계에서 비접촉식 스크린 제어 시스템은 인식부(120)에서 감지부(110)로부터 미리 설정된 조건에 따른 동작 제어 시작을 위한 신호가 수신되었는지를 확인한다. 확인 결과 동작 제어 시작을 위한 신호가 수신되지 않은 경우 신호 수신을 대기하고, 동작 제어 시작을 위한 신호가 수신된 경우, 230단계에서 제어부(130)로 동작 제어 시작 정보를 전송하여 제어부(130)로 하여금 동작 제어를 시작하도록 한다. 이에 따라 제어부(130)에서는 동작 제어 정보를 수신하여 동작 제어를 시작하고, 비접촉 인식 정보 수신을 대기한다.
이후, 240단계에서 비접촉 스크린 제어 시스템의 인식부(120)는 감지부(110)로부터 비접촉 감지 신호를 수신하면, 수신된 감지 신호를 분석하여 손의 움직임 방향 및 속도를 추정하고, 손동작 상호변환 여부를 인식함으로써 비접촉 인식 정보를 생성한다. 예를 들어, 감지 장치가 센서인 경우, 상하좌우 센서에 감지된 강도의 차이를 통해 손의 상하좌우 움직임 및 속도를 저장부(150)에 저장된 패턴 정보를 이용하여 추정한다. 감지 장치가 카메라인 경우, 예를 들어 두 대의 카메라에 촬영된 영상에서 저장부(150)에 저장된 영상분석 정보를 이용하여 손 영역의 위치를 분석함으로써 상하좌우 움직임 방향(상하좌우 및 원근) 및 속도 추정 또는 손동작 상호변환을 인식하고, 촬영된 영상에 대하여 스테레오 비전 기술을 적용함으로써 원근을 추정한다. 또한, 예를 들어 한 대의 카메라에 촬영된 물체(예를 들어 손가락)의 크기 변화로부터 원근 추정, 즉 물체의 크기가 커지면 근접한 것으로 물체의 크기가 작아지면 멀어지는 것으로 처리하여 원근을 추정한다.
이에 따라 비접촉식 스크린 제어 시스템의 인식부(120)는 인식된 비접촉 인식 정보를 제어부(130)로 전송한다. 이때, 사용자가 추가버튼을 빠르게 두 번 대었다 떼는 동작을 취하는 경우 인식부(120)는 비접촉 인식 정보를 전송을 중지한다.
그러면, 250단계에서 비접촉식 스크린 제어 시스템의 제어부(130)에서는 수신된 비접촉 인식 정보를 이용하여 동작 제어 정보를 생성한다. 그런 다음 260단계에서 제어부(130)에서는 생성된 동작 제어 정보에 따른 화면 제어 신호를 표시부(140)로 전송하여 사용자가 원하는 화면을 제어한다. 이에 따라 280단계에서 비접촉식 스크린 제어 시스템의 표시부(140)에서는 제어된 해당 화면을 표시한다.
예를 들어, 첨부된 도 6(a)에 도시된 바와 같이, 사용자는 표시부(130)의 화면에 표시된 화면들 중 원하는 화면을 확대/축소시키기 위한 비접촉 손동작을 취한다. 이러한 비접촉 손동작은 여러 가지 형태로 설정될 수 있으며, 본 발명의 실시예에서는 손을 벌리거나 좁히는 동작을 통해 화면의 확대/축소를 나타내는 것으로 설정할 수 있다.
따라서 인식부(120)에서 비접촉 손동작으로 손을 벌리거나 좁히는 동작을 인식하였다면, 제어부(130)는 인식부(120)로부터 손을 벌리거나 좁히는 동작에 대한 비접촉 인식 정보를 전달받아 미리 설정된 정보를 통해 전달받은 비접촉 인식 정보가 어떤 정보인지를 판단하여 동작 제어 정보를 생성하게 된다. 이후, 제어부(130)는 생성된 동작 제어 정보를 표시부(140)로 전달하여 해당 화면을 확대/축소하도록 제어한다. 이에 따라 표시부(140)에서는 사용자가 취한 비접촉 손동작에 따라 해당 화면을 확대/축소하여 표시할 수 있다. 이러한 과정을 통해 비접촉식 스크린 제어 시스템에서는 비접촉식으로 모바일 기기의 사용자 인터페이스를 수행할 수 있게 된다.
다른 예로, 첨부된 도 6(b)에 도시된 바와 같이, 사용자는 표시부(140)의 화면에 표시된 화면들 중 원하는 화면을 움직임 방향(좌/우 또는 상/하)으로 이동시키기 위한 비접촉 손동작을 취하거나, 도 6(c)에 도시된 바와 같이, 화면을 선택하기 위한 가속도(비접촉 손동작 속도)를 활용할 수 있으며, 이러한 경우에도 상술한 바와 같은 도 6(a)의 과정을 통해 해당 화면을 제어하여 표시할 수 있다.
상술한 바와 같은 예시 외에도 본 발명의 실시예에서는 센서가 가려지는 시간 또는 가리기 및 떼기의 반복 등을 화면을 닫거나, 해당 화면만 표시하거나, 더블 클릭과 같은 기능의 인식 정보로 설정할 수 있다. 또한, 본 발명의 실시예에서는 예를 들어, 가위, 바위, 보 동작과 손가락 펴기 동작 및 이들 간의 상호 변환 동작 등의 비접촉 손동작을 게임 제어를 위한 인식 정보로 설정할 수도 있다. 이러한 예시 외에도 다양한 비접촉 손동작을 스크린에 표시된 화면 제어를 위해 설정할 수 있다.
한편, 본 발명의 상세한 설명에서는 구체적인 실시예에 관하여 설명하였으나, 본 발명의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능함은 물론이다. 그러므로 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 안되며 후술하는 발명청구의 범위뿐 만 아니라 이 발명청구의 범위와 균등한 것들에 의해 정해져야 한다.
110 : 인식부 120 : 제어부
130 : 표시부 140 : 저장부

Claims (17)

  1. 적어도 하나 이상의 감지 장치를 갖고, 상기 감지 장치를 통해 사용자가 원하는 화면에 취하는 비접촉 손동작을 감지하는 감지부;
    상기 감지부로부터 감지된 비접촉 감지 신호를 분석하여 비접촉 인식 정보를 생성하는 인식부;
    상기 비접촉 인식 정보를 이용하여 동작 제어 정보를 생성하고, 생성된 동작 제어 정보에 따라 상기 사용자가 원하는 화면을 제어하는 제어부; 및
    상기 동작 제어 정보에 따라 제어된 화면을 표시하는 표시부를 포함하며,
    상기 비접촉 감지 신호는 비접촉 손동작에 의한 센서의 가리기 정도, 가려진 시간, 센서의 반응강도(거리)를 포함하는 것을 특징으로 하는 비접촉식 스크린 제어 시스템.
  2. 제1항에 있어서,
    상기 인식부에서 이용되는 패턴 정보, 영상 분석 정보 및 손 모양 정보와, 상기 동작 제어 정보를 생성하기 위해 미리 설정된 정보 및 상기 생성된 동작 제어 정보를 저장하는 저장부를 더 포함하는 것을 특징으로 하는 비접촉식 스크린 제어 시스템.
  3. 제1항에 있어서,
    상기 인식부는 적어도 하나 이상의 미리 설정된 조건을 만족하는 경우 동작 제어 시작 정보를 생성하여 상기 제어부에서 동작 제어를 시작하도록 생성된 동작 제어 시작 정보를 상기 제어부로 전송함을 특징으로 하는 비접촉식 스크린 제어 시스템.
  4. 제3항에 있어서,
    상기 미리 설정된 조건은 추가 버튼 신호를 수신, 특정 손동작에 대한 감지 신호 수신 및 손동작이 센싱 범위 내에서 발생할 때임을 특징으로 하는 비접촉식 스크린 제어 시스템.
  5. 제1항에 있어서,
    상기 인식부는 상기 감지 장치가 센서인 경우, 상기 감지부로부터 둘 이상의 센서를 통해 감지된 비접촉 감지 신호를 수신하면, 미리 저장된 패턴 정보를 이용하여 상기 센서들에 감지된 강도의 차이를 분석함으로써 손동작의 상하좌우원근 움직임 방향 및 속도를 추정하고, 추정된 결과를 통해 상기 비접촉 인식 정보를 생성함을 특징으로 하는 비접촉식 스크린 제어 시스템.
  6. 제1항에 있어서,
    상기 인식부는 상기 감지장치가 카메라인 경우, 상기 감지부로부터 둘 이상의 카메라로부터 감지된 비접촉 감지 신호를 수신하면, 미리 저장된 영상 분석 정보를 이용하여 손 영역의 위치 분석을 통해 상하좌우원근 움직임 방향 및 속도를 추정하고, 추정된 결과를 통해 상기 비접촉 인식 정보를 생성함을 특징으로 하는 비접촉식 스크린 제어 시스템.
  7. 제1항에 있어서,
    상기 인식부는 상기 감지장치가 카메라인 경우, 상기 감지부로부터 하나의 카메라로부터 감지된 비접촉 감지 신호를 수신하면, 미리 저장된 영상 분석 정보를 이용하여 상기 카메라에 촬영된 물체의 크기 변화로부터 원근을 추정하고, 추정된 정보를 통해 상기 비접촉 인식 정보를 생성함을 특징으로 하는 비접촉식 스크린 제어 시스템.
  8. 제1항에 있어서,
    상기 인식부는 미리 저장된 손 모양 정보를 이용하여 손 모양을 바꾸는 비접촉 손동작의 상호변환 여부를 인식함을 특징으로 하는 특징으로 하는 비접촉식 스크린 제어 시스템.
  9. 삭제
  10. 하나 이상의 감지 장치를 통해 사용자가 원하는 화면에 취하는 비접촉 손동작에 의한 신호를 감지하는 단계;
    상기 비접촉 손동작에 의한 신호를 감지하면, 미리 설정된 정보를 이용하여 감지된 비접촉 손동작에 의한 비접촉 감지 신호를 분석함으로써 인식된 비접촉 손동작에 대한 비접촉 인식 정보를 생성하는 단계;
    생성된 비접촉 인식 정보에 따라 상기 사용자가 원하는 화면을 제어하는 단계; 및
    제어된 화면을 표시하는 단계를 포함하며,
    상기 비접촉 감지 신호는 비접촉 손동작에 의한 센서의 가리기 정도, 가려진 시간, 센서의 반응강도(거리)를 포함하는 것을 특징으로 하는 비접촉식 스크린 제어 시스템에서의 비접촉식 스크린 제어 방법.
  11. 제10항에 있어서,
    적어도 하나 이상의 미리 설정된 조건을 만족하는 경우 동작 제어 시작 정보를 생성하는 단계;
    생성된 동작 제어 시작 정보에 따라 동작 제어를 시작하는 단계를 더 포함하는 것을 특징으로 하는 비접촉식 스크린 제어 시스템에서의 비접촉식 스크린 제어 방법.
  12. 제11항에 있어서,
    상기 미리 설정된 조건은 추가 버튼 신호를 수신, 특정 손동작에 대한 감지 신호 수신 및 손동작이 센싱 범위 내에서 발생할 때임을 특징으로 하는 비접촉식 스크린 제어 방법.
  13. 제10항에 있어서, 상기 비접촉 손동작에 대한 비접촉 인식 정보를 생성하는 단계는,
    상기 감지 장치가 센서인 경우, 둘 이상의 센서를 통해 감지된 감지 신호를 수신하는 단계;
    미리 저장된 패턴 정보를 이용하여 상기 센서들에 감지된 강도의 차이를 분석하는 단계;
    손동작의 상하좌우원근 움직임 방향 및 속도를 추정하는 단계; 및
    추정된 결과를 통해 상기 비접촉 인식 정보를 생성하는 단계를 포함함을 특징으로 하는 비접촉식 스크린 제어 시스템에서의 비접촉식 스크린 제어 방법.
  14. 제10항에 있어서, 상기 비접촉 손동작에 대한 비접촉 인식 정보를 생성하는 단계는,
    상기 감지장치가 카메라인 경우, 둘 이상의 카메라로부터 감지된 감지 신호를 수신하는 단계;
    미리 저장된 영상 분석 정보를 이용하여 손 영역의 위치 분석을 통해 손동작의 상하좌우원근 움직임 방향 및 속도를 추정하는 단계; 및
    추정된 결과를 통해 상기 비접촉 인식 정보를 생성하는 단계를 포함함을 특징으로 하는 비접촉식 스크린 제어 시스템에서의 비접촉식 스크린 제어 방법.
  15. 제10항에 있어서, 상기 비접촉 손동작에 대한 비접촉 인식 정보를 생성하는 단계는,
    상기 감지장치가 카메라인 경우, 하나의 카메라로부터 감지된 감지 신호를 수신하는 단계;
    미리 저장된 영상 분석 정보를 이용하여 상기 카메라에 촬영된 물체의 크기 변화로부터 원근을 추정하는 단계; 및
    추정된 정보를 통해 상기 비접촉 인식 정보를 생성하는 단계를 포함함을 특징으로 하는 비접촉식 스크린 제어 시스템에서의 비접촉식 스크린 제어 방법.
  16. 제10항에 있어서,
    상기 비접촉 손동작에 대한 비접촉 인식 정보를 생성하는 단계는 미리 저장된 손 모양 정보를 이용하여 손 모양을 바꾸는 비접촉 손동작의 상호변환 여부를 인식함으로써 상기 비접촉 인식 정보를 생성함을 특징으로 하는 비접촉식 스크린 제어 시스템에서의 비접촉식 스크린 제어 방법.
  17. 삭제
KR1020100024941A 2010-03-19 2010-03-19 비접촉식 스크린 제어 시스템 및 그 시스템에서의 비접촉식 스크린 제어 방법 KR101194883B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100024941A KR101194883B1 (ko) 2010-03-19 2010-03-19 비접촉식 스크린 제어 시스템 및 그 시스템에서의 비접촉식 스크린 제어 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100024941A KR101194883B1 (ko) 2010-03-19 2010-03-19 비접촉식 스크린 제어 시스템 및 그 시스템에서의 비접촉식 스크린 제어 방법

Publications (2)

Publication Number Publication Date
KR20110105671A KR20110105671A (ko) 2011-09-27
KR101194883B1 true KR101194883B1 (ko) 2012-10-25

Family

ID=45421042

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100024941A KR101194883B1 (ko) 2010-03-19 2010-03-19 비접촉식 스크린 제어 시스템 및 그 시스템에서의 비접촉식 스크린 제어 방법

Country Status (1)

Country Link
KR (1) KR101194883B1 (ko)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9805184B2 (en) 2014-03-03 2017-10-31 Samsung Electronics Co., Ltd. Method of unlocking an electronic device based on motion recognitions, motion recognition unlocking system, and electronic device including the same
KR20190014839A (ko) 2017-08-04 2019-02-13 재단법인 다차원 스마트 아이티 융합시스템 연구단 비접촉 제스처 인식 시스템 및 그 방법
KR20210138414A (ko) 2020-05-12 2021-11-19 양경옥 스마트폰에 표시되는 목적층의 숫자로 엘리베이터 호출 및 운송부하 분석 장치 및 방법
KR20220006796A (ko) 2020-07-09 2022-01-18 양경옥 스마트폰의 목적층 숫자로 부터 엘리베이터를 호출하는 카메라를 구비한 엘리베이터의 제어장치 및 방법
KR20220013803A (ko) 2020-07-27 2022-02-04 양경옥 스마트폰 화면상의 목표 층수를 판독하는 카메라를 구비하여 승객 운송부하를 분석하는 엘리베이터의 제어 장치 및 방법
WO2023033359A1 (ko) * 2021-09-06 2023-03-09 주식회사 토비스 비접촉 터치 기능을 구비한 게임기용 조작 장치, 그의 제어 방법 및 그를 이용한 게임기

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102915113B (zh) * 2012-08-24 2016-01-27 深圳创维－Rgb电子有限公司 一种数据输入支持方法及装置
KR101386655B1 (ko) * 2013-01-30 2014-04-17 전자부품연구원 3d 공간 터치 시스템 및 방법
US9983779B2 (en) 2013-02-07 2018-05-29 Samsung Electronics Co., Ltd. Method of displaying menu based on depth information and space gesture of user
KR101472314B1 (ko) * 2013-05-22 2014-12-12 인하대학교 산학협력단 단일 카메라를 이용한 ３차원 입력장치 및 방법
KR101465894B1 (ko) * 2013-09-13 2014-11-26 성균관대학교산학협력단 손가락에 부착한 마커를 이용하여 제어 명령을 생성하는 이동 단말 및 손가락에 부착한 마커를 이용하여 단말에서 제어 명령을 생성하는 방법
KR101535738B1 (ko) * 2013-10-28 2015-07-09 서울과학기술대학교 산학협력단 비접촉 동작 제어가 가능한 스마트 디바이스 및 이를 이용한 비접촉 동작 제어 방법
KR102171817B1 (ko) 2014-03-14 2020-10-29 삼성전자주식회사 디스플레이 장치 및 제어 방법
KR101465941B1 (ko) * 2014-07-22 2014-11-27 성균관대학교산학협력단 손가락에 부착한 마커를 이용하여 제어 명령을 생성하는 이동 단말 및 손가락에 부착한 마커를 이용하여 단말에서 제어 명령을 생성하는 방법
CN114103874B (zh) * 2021-11-26 2023-05-12 上汽通用五菱汽车股份有限公司 基于光感元件解锁车辆的方法、智能汽车及存储介质

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9805184B2 (en) 2014-03-03 2017-10-31 Samsung Electronics Co., Ltd. Method of unlocking an electronic device based on motion recognitions, motion recognition unlocking system, and electronic device including the same
KR20190014839A (ko) 2017-08-04 2019-02-13 재단법인 다차원 스마트 아이티 융합시스템 연구단 비접촉 제스처 인식 시스템 및 그 방법
KR20210138414A (ko) 2020-05-12 2021-11-19 양경옥 스마트폰에 표시되는 목적층의 숫자로 엘리베이터 호출 및 운송부하 분석 장치 및 방법
KR20220006796A (ko) 2020-07-09 2022-01-18 양경옥 스마트폰의 목적층 숫자로 부터 엘리베이터를 호출하는 카메라를 구비한 엘리베이터의 제어장치 및 방법
KR20220013803A (ko) 2020-07-27 2022-02-04 양경옥 스마트폰 화면상의 목표 층수를 판독하는 카메라를 구비하여 승객 운송부하를 분석하는 엘리베이터의 제어 장치 및 방법
WO2023033359A1 (ko) * 2021-09-06 2023-03-09 주식회사 토비스 비접촉 터치 기능을 구비한 게임기용 조작 장치, 그의 제어 방법 및 그를 이용한 게임기
KR20230035725A (ko) * 2021-09-06 2023-03-14 주식회사 토비스 비접촉 터치 기능을 구비한 게임기용 조작 장치, 그의 제어 방법 및 그를 이용한 게임기
KR102563396B1 (ko) * 2021-09-06 2023-08-04 주식회사 토비스 비접촉 터치 기능을 구비한 게임기용 조작 장치, 그의 제어 방법 및 그를 이용한 게임기

Also Published As

Publication number Publication date
KR20110105671A (ko) 2011-09-27

Similar Documents

Publication Publication Date Title
KR101194883B1 (ko) 비접촉식 스크린 제어 시스템 및 그 시스템에서의 비접촉식 스크린 제어 방법
US9389779B2 (en) Depth-based user interface gesture control
US9448714B2 (en) Touch and non touch based interaction of a user with a device
JP6333568B2 (ja) センサを用いる近接動作認識装置及びその装置を用いた方法
JP5759660B2 (ja) タッチ・スクリーンを備える携帯式情報端末および入力方法
EP2817704B1 (en) Apparatus and method for determining the position of a user input
US20150220150A1 (en) Virtual touch user interface system and methods
US10248217B2 (en) Motion detection system
EP2733591A1 (en) User interface device capable of execution of input by finger contact in plurality of modes, input operation assessment method, and program
US20150220149A1 (en) Systems and methods for a virtual grasping user interface
US10599317B2 (en) Information processing apparatus
US20140055385A1 (en) Scaling of gesture based input
US20170192465A1 (en) Apparatus and method for disambiguating information input to a portable electronic device
KR20160097410A (ko) 동작 인식을 통한 비접촉식 입력 인터페이스 제공 방법 및 그 장치
WO2012111227A1 (ja) タッチ式入力装置、電子機器および入力方法
KR101216833B1 (ko) 비접촉식 스크린 제어 시스템 및 그 시스템에서의 비접촉식 스크린 제어 방법
WO2015174316A1 (ja) 端末、及び端末制御方法
KR101363661B1 (ko) 엣지 슬라이딩 ｕｉ가 적용된 스마트 리모트 컨트롤러
JP2013114645A (ja) 小型情報機器
KR101381366B1 (ko) 동작 인식 리모트 컨트롤러 장치 및 그 구동 방법
CN103092491B (zh) 生成控制命令的方法和装置、以及电子设备
US11853491B1 (en) Systems and methods to transition between pointing techniques
KR20080006780A (ko) 무선마우스기능 구현방법 및 이를 위한 이동통신단말기
KR101165388B1 (ko) 이종의 입력 장치를 이용하여 화면을 제어하는 방법 및 그 단말장치
US20160062643A1 (en) Computer Input Device

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20151119

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20161218

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20180419

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20190925

Year of fee payment: 8