KR100931403B1 - 손 동작에 의한 네트워크 상의 기기 및 정보 제어 시스템 - Google Patents

손 동작에 의한 네트워크 상의 기기 및 정보 제어 시스템 Download PDF

Info

Publication number
KR100931403B1
KR100931403B1 KR1020080060351A KR20080060351A KR100931403B1 KR 100931403 B1 KR100931403 B1 KR 100931403B1 KR 1020080060351 A KR1020080060351 A KR 1020080060351A KR 20080060351 A KR20080060351 A KR 20080060351A KR 100931403 B1 KR100931403 B1 KR 100931403B1
Authority
KR
South Korea
Prior art keywords
controlled device
network
hand gesture
user
control device
Prior art date
Application number
KR1020080060351A
Other languages
English (en)
Inventor
이형래
박지형
정희석
염기원
이중호
신현진
Original Assignee
한국과학기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술연구원 filed Critical 한국과학기술연구원
Priority to KR1020080060351A priority Critical patent/KR100931403B1/ko
Priority to US12/417,848 priority patent/US8723792B2/en
Priority to JP2011516137A priority patent/JP5306457B2/ja
Priority to EP09770402.7A priority patent/EP2291723B1/en
Priority to PCT/KR2009/003450 priority patent/WO2009157730A2/en
Application granted granted Critical
Publication of KR100931403B1 publication Critical patent/KR100931403B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00—Digital computers in general; Data processing equipment in general
    • G06F15/16—Combinations of two or more digital computers each having at least an arithmetic unit, a program unit and a register, e.g. for a simultaneous processing of several programs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

본 발명은 손 동작에 의한 네트워크 상의 기기 및 정보 제어 시스템으로서, 더욱 상세하게는, 손을 이용하여 파일 또는 제어 기기를 선택하고, 디스플레이 장치로 포인트함으로써, 정보 및 데이터를 공유할 수 있을 뿐만 아니라, 다양한 장치들 사이의 결합 및 제어를 용이하게 수행할 수 있는 손 동작에 의한 네트워크 상의 기기 및 정보 제어 시스템에 관한 것이다. 본 발명의 일 실시예에 따른 손 동작에 의한 네트워크 상의 기기 및 정보 제어 시스템은, 데이터 입력 또는 파일 선택을 탐지하는 제어 기기; 상기 제어 기기로부터 전달되는 데이터를 해석하여 디스플레이하는 피 제어 기기; 및 사용자에 의하여 소정의 제어 기기가 선택되고 사용자의 손동작에 의하여 소정의 피 제어 기기가 포인트되면, 상기 피 제어 기기를 포인트하는 손동작을 분석하여 상기 선택된 제어 기기와 상기 포인트된 피제어 기기를 네트워크 결합시키는 관리 서버를 포함한다. 본 발명에 따른 손 동작에 의한 네트워크 상의 기기 및 정보 제어 시스템은 유비쿼터스 컴퓨팅 환경 하에서 다양한 입력 장치 및 디스플레이 장치와 사용자의 상호작용을 현저하게 향상시킬 수 있는 효과가 있다.
멀티-컴퓨터 사용자 인터페이스, 결합 제어, 손 동작

Description

손 동작에 의한 네트워크 상의 기기 및 정보 제어 시스템 {DEVICE AND INFORMATION CONTROLLING SYSTEM ON NETWORK USING HAND GESTURES}
본 발명은 손 동작에 의한 네트워크 상의 기기 및 정보 제어 시스템으로서, 더욱 상세하게는, 손을 이용하여 파일 또는 제어 기기를 선택하고, 디스플레이 장치로 포인트함으로써, 정보 및 데이터를 공유할 수 있을 뿐만 아니라, 다양한 장치들 사이의 결합 및 제어를 용이하게 수행할 수 있는 손 동작에 의한 네트워크 상의 기기 및 정보 제어 시스템에 관한 것이다.
초기의 사용자 인터페이스는 컴퓨터와 상호작용을 하기 위해 텍스트 기반의 인터페이스로 설계되었다. 이것은 일반 사용자로 하여금 일일이 키보드를 사용하여 명령어를 입력하게 하였으며, 이후 마우스와 같은 입력 메커니즘이 도입되면서 사용자 인터페이스는 아이콘 기반의 메뉴로 발전되었다.
오늘날 컴퓨터 환경의 발달로 사용자의 요구가 복잡해짐에 따라 다양한 장치들 간의 인터페이스가 가능한 기술들이 개발되고 있으나, 유비쿼터스 환경 하에서, 일반적으로 특정 입력 장치를 다른 입력 장치와 연결하기 위해서는, 예를 들어, PC를 프로젝터에 연결하거나 다른 곳에 접속하기 위해서는 키보드 또는 마우스를 분 리하거나, 데이터 공유를 위해 USB 저장 매체를 꽂았다 뺐다 하는 번거로운 설정과정이 필요한 실정이다.
따라서, 상기 번거로운 작업을 제거하고 직관적인 상호작용 방식으로 다양한 장치들 간의 네트워크를 형성시킬 수 있는 시스템의 개발이 요구된다.
본 발명의 목적은 유비쿼터스 컴퓨팅 환경 하에서 다양한 입력 장치 및 디스플레이 장치와 사용자의 상호작용을 향상시킬 수 있는 손 동작에 의한 네트워크 상의 기기 및 정보 제어 시스템을 제공하는 것이다.
전술한 목적을 달성하기 위한 본 발명의 일 실시예에 따른 손 동작에 의한 네트워크 상의 기기 및 정보 제어 시스템은, 데이터 입력 또는 파일 선택을 탐지하는 제어 기기; 상기 제어 기기로부터 전달되는 데이터를 해석하여 디스플레이하는 피 제어 기기; 및 사용자에 의하여 소정의 제어 기기가 선택되고 사용자의 손동작에 의하여 소정의 피 제어 기기가 포인트되면, 상기 피 제어 기기를 포인트하는 손동작을 분석하여 상기 선택된 제어 기기와 상기 포인트된 피제어 기기를 네트워크 결합시키는 관리 서버를 포함할 수 있다.
상기 관리 서버는, 상기 제어 기기의 인터넷 프로토콜 어드레스 및 포트 넘버에 기반하여 네트워크 결합을 조절하는 결합 관리 모듈; 및 사용자의 손동작을 촬영한 비젼 정보를 분석하여 사용자의 손 동작을 해석하는 동작 인지 모듈을 포함할 수 있다.
또한 사용자의 손동작을 촬영하며, 손 또는 손가락끝을 탐지 및 추적하는 알고리즘에 기반하여 필터링된 영상을 상기 관리 서버로 제공하는 카메라를 더 포함할 수 있다.
또한 상기 피 제어 기기를 촬영하여, 피 제어 기기의 위치를 추적하는 영상을 상기 관리 서버로 제공하는 카메라를 더 포함할 수 있다.
이때, 상기 카메라는 USB 웹 카메라 또는 네트워크 카메라인 것을 특징으로 한다.
상기 제어 기기는 테이블탑 디스플레이 상의 가상의 키보드 또는 마우스이며, 사용자는 가상 결합을 위한 아이콘을 상기 테이블탑 디스플레이 상에 생성하고, 상기 아이콘을 가상의 키보드 또는 마우스 상에 부착시킨 후, 상기 피제어 기기를 손동작으로 포인트하여 접속시키는 것을 특징으로 한다.
상기 관리 서버는 적어도 둘 이상의 손동작을 인지함으로써, 적어도 하나의 제어 기기와 적어도 하나의 피 제어 기기 사이를 네트워크 결합하는 것을 특징으로 하는 손동작에 의한 네트워크 상의 기기 및 정보 제어 시스템.
전술한 목적을 달성하기 위한 본 발명의 또 다른 실시예에 따른 손동작에 의한 기기 네트워크 방법은 적어도 하나의 제어 기기에서 데이터 입력 또는 파일 선택을 탐지하는 단계; 적어도 하나의 피 제어 기기가 사용자의 손동작에 의하여 포인트되는 단계; 상기 피 제어 기기를 포인트하는 손동작을 분석하여, 포인트된 피 제어 기기를 인식하는 단계; 및 상기 인식된 피 제어 기기와 상기 제어 기기를 네트워크 결합하는 단계를 포함한다.
상기 포인트된 피 제어 기기를 인식하는 단계는, 사용자의 손동작을 촬영한 영상에서 소정의 비젼 정보를 분석하여 획득한 손동작 방향 정보와, 기 저장된 피 제어 기기의 위치 정보에 기반하여, 포인트된 피 제어 기기를 인식할 수 있다.
상기 포인트된 피 제어 기기를 인식하는 단계는, 사용자의 손동작을 촬영한 영상에서 소정의 비젼 정보를 분석하여 획득한 손동작 방향 정보와, 피 제어 기기를 촬영한 영상에서 획득한 피 제어 기기 위치 정보에 기반하여, 포인트된 피 제어 기기를 인식할 수 있다.
상기 인식된 피 제어 기기와 상기 제어 기기를 네트워크 결합하는 단계는, 상기 제어 기기의 네트워크 식별 주소와 상기 피 제어 기기의 네트워크 식별 주소를 이용하여 네트워크 결합하는 것을 특징으로 한다.
상기 결합된 네트워크를 이용하여, 상기 제어 기기에서 상기 피 제어 기기를 제어하는 단계를 더 포함할 수 있다.
본 발명에 따른 손 동작에 의한 네트워크 상의 기기 및 정보 제어 시스템은 유비쿼터스 컴퓨팅 환경 하에서 다양한 입력 장치 및 디스플레이 장치와 사용자의 상호작용을 현저하게 향상시킬 수 있는 효과가 있다.
또한, 본 발명에 따른 손 동작에 의한 네트워크 상의 기기 및 정보 제어 시스템은 손을 이용하여 파일을 선택하고 특정 지점으로 포인트하는 것에 의해 기존의 MS 오피스, 웹 브라우저, 및 멀티-미디어 프로그램과 같은 애플리케이션에서 원격 정보 제어가 가능하다는 효과가 있다.
이하에서는 첨부한 도면을 참조하여 본 발명의 바람직한 실시예들에 따른 손 동작에 의한 네트워크 상의 기기 및 정보 제어 시스템에 대하여 상세하게 설명한다.
도 1은 본 발명의 일 실시예에 따른 손 동작에 의한 네트워크 상의 기기 및 정보 제어 시스템을 도시한 도면이다. 본 발명의 손 동작에 의한 네트워크 상의 기기 및 정보 제어 시스템은 간단한 손동작에 기반하여 네트워크를 통해 다양한 장치, 예를 들어, 월 스크린(wall screen), 이동통신 단말기, 테이블탑, 랩탑 등의 가상 결합을 가능하게 한다.
본 발명은 직관적인 상호작용 방식으로써, 사용자는 간단한 손 동작만으로 파일을 공유하거나 장치들 사이의 결합을 설정 또는 변경할 수 있다. 예를 들어, 한 명의 사용자가 테이블탑 디스플레이 상의 파일을 월 스크린으로 전송하기 원하는 경우, 파일을 테이블탑 디스플레이 상에서 선택한 후, 월 스크린으로 포인트하여, 파일을 월 스크린 상으로 전송할 수 있으며, 손 동작으로 월 스크린과 랩탑 사이에 네트워크 결합을 설정하여, 결합이 완료된 후에 사용자는 2개의 장치들이 물리적으로 결합한 것처럼 랩탑을 사용한 파일의 제어가 가능하다.
네트워크 결합은 장치의 유형과 무관하다. 일반적으로 랩탑, PDA에서 이동통신 단말기에 이르는 개인적 장치는 대형 디스플레이 또는 전자 보드와 같은 공유된 장치들과 결합한다. 본 발명의 네트워크 시스템은 다중 결합을 지원한다. 예를 들어, 3개의 키보드가 제어하도록 하나의 디스플레이에 결합될 수 있다. 또한, 본 발명의 네트워크 시스템은 각각의 장치의 결합 상태를 가리키도록 가상 및 오디오 피드백을 제공할 수 있다.
도 2는 본 발명의 일 실시예에 따른 손 동작에 의한 네트워크 상의 기기 및 정보 제어 시스템을 도시한 도면이며, 도 3은 도 2에 도시한 네트워크 시스템의 구성을 도시한 블록도이다.
도 2 및 도 3을 참조하면, 본 발명의 네트워크 시스템(100)은 관리 서버(200), 제어 기기(300) 및 피제어 기기(400)로 구성된다. 전체의 네트워크는 데이터 전송동안 블록킹을 최소화하도록 비동기 통신에 기반한다.
관리 서버(200)는 사용자가 손으로 특정 제어 기기를 선택한 후, 피제어 기기를 포인트하는 손 동작을 해석하여, 제어 기기(300)와 피제어 기기(400)를 네트워크 결합시키며, 결합 관리 모듈(220) 및 동작 인지 모듈(240)을 포함할 수 있다.
결합 관리 모듈(220)은 각각의 장치의 인터넷 프로토콜 어드레스, 포트 넘버 및 ID 넘버에 기반하여 이종 다중 장치들 사이의 네트워크 결합을 조절한다. 동작 인지 모듈(240)은 사용자의 손 동작을 해석하도록 카메라(미도시)로부터의 비젼 정보를 분석한다. 상기 비젼 정보는 사용자의 손 동작을 촬영한 영상에서 추출된 데이터를 의미한다.
제어 기기(300)는, 사용자의 입력 이벤트, 예를 들어, 키보드 또는 마우스를 통한 데이터 입력 또는 파일 선택을 탐지하며, 이러한 데이터들을 관리 서버(200)의 정보에 따라서 적합한 장치로 전송한다.
제어 기기(300)는, 예를 들어, 테이블탑, 랩탑, PDA 또는 이동통신 단말기 등으로 구성될 수 있으며, 이에 제한되지 않는다.
피제어 기기(400)은 제어 기기로부터 전달되는 데이터를 해석하여 디스플레 이 하며, 이벤트 발생 모듈(420) 및 실행 모듈(440)을 포함할 수 있다. 피제어 기기(400)는 예를 들어, 월 스크린, LCD 또는 PDP 등의 디스플레이 장치가 될 수 있으며, 이에 제한되지 않는다.
이벤트 발생 모듈(420)은 제어 기기(300)로부터의 데이터를 해석하며 키보드 또는 마우스 이벤트와 같은 입력 이벤트를 발생시킨다. 여기서, 이벤트는 사용자가 제어 기기(300)를 조작하였을 때, 컴퓨터와 같은 정보처리장치로 전송되는 신호를 의미한다.
실행 모듈(440)은 제어 기기(300)로부터 전송된 파일을 실행시킨다.
또한, 피제어 기기(400)은 제어 기기(300)의 다중 결합을 지원한다.
손 동작 인지는 본 발명의 네트워크 시스템(100)을 실행하는데 기본적인 구성으로써, 사용자는 손에 어떠한 장치도 부착되지 않은 맨손을 이용하여, 입력 장치로 사용할 수 있다.
카메라(미도시), 예를 들어, USB 웹 카메라 또는 네트워크 카메라와 같은 상업적 카메라는 사용자의 손 동작을 촬영하며, 손 또는 손가락끝을 탐지 및 추적하는 알고리즘에 기반하여, 필터링된 영상을 관리서버(200)로 제공한다.
손 또는 손가락끝을 탐지하기 위해 적합한 배경 제거 및 스킨 영역 추출 기술들이 사용되며 다양한 기하학적 형상 필터들이 도입될 수 있다. 도 4는 사용자의 손가락끝을 탐지하는 영상을 도시한 도면이다.
피제어 기기들은 대개 초기 위치가 고정되므로, 상기 영상의 이미지 상에서 손 또는 손가락의 방향을 분석해 사용자가 지시하는 기기를 인지할 수 있다. 즉, 손 또는 손가락의 방향을 분석하여, 방향 정보를 획득하고, 저장된 피제어 기기의 위치 정보를 분석하여, 포인트된 피제어 기기를 인식하는 것이다. 또한 피제어 기기들의 위치가 이동된다면, 이동된 위치를 재 저장할 수 있는 것은 물론이다.
만약 피제어 기기들이 움직이는 경우, 전체 기기의 위치를 트랙킹하기 위한 카메라가 추가적으로 설치될 수 있으며, 현재 상태의 기기들의 위치를 분석하여, 전술한 바와 같이 사용자의 손 또는 손가락이 지시하는 방향 정보와 함께 분석함으로써, 포인트된 피제어 기기를 인식할 수 있다.
추적 알고리즘에 의해 복잡한 배경 및 동적으로 변화하는 빛 조건에서도 다중의 손 또는 손가락끝의 강력한 탐지 및 추적을 가능하게 되며, 사용자가 손 또는 손가락끝으로 가리키는 장치를 실시간으로 쉽게 구별할 수 있다. 또한, 사용자의 손 또는 손가락끝은 무선의 프리젠테이션 또는 프리젠테이션을 제공하는 공중 마우스로 사용될 수 있다.
본 발명의 손 동작에 의한 네트워크 상의 기기 및 정보 제어 시스템의 실제적인 예로써, 팀 미팅 또는 세미나 프리젠테이션과 같은 협동작업을 효과적으로 수행하기 위해 주로 터치-반응 테이블탑 디스플레이 및 주변 월 스크린으로 구성되는 공간을 가정한다.
팬-틸트-줌(pan-tilt-zoom) IP 카메라가 사용자의 손 동작을 인식하도록 미팅 방의 천장의 중앙에 설치된다.
이 공간에서 작업하면서, 사용자들은 종종 각각 다른 위치, 즉, 참석자들의 개인 장치 또는 테이블탑 디스플레이에 저장되어 있는 파일들을 월 스크린에 공유 할 필요성을 느낀다. 종래의 경우, 상기 데이터를 다른 컴퓨터로 전송하기 위해서는 대개 USB 저장매체, FTP 또는 인터넷을 사용하며, 월 스크린 상의 정보를 제어하도록 월 스크린의 컴퓨터에 연결되어 있는 키보드 또는 마우스를 사용해야 했다.
그러나, 본 발명의 네트워크 시스템을 사용하면, 도 5a 및 도 5b에 도시한 바와 같이, 사용자는 단지 관심있는 파일을 선택하고 월 스크린으로 포인트하는 것에 의해 테이블탑 디스플레이 상의 파일을 월 스크린으로 전송할 수 있다. 이 동작으로, 테이블탑 디스플레이 및 월 스크린은 네트워크를 통해 가상으로 연결되며 상기 파일은 선택된 월 스크린의 컴퓨터로 전송되며 실행된다.
도 6a 및 도 6b는 테이블탑 디스플레이 상의 가상의 키보드와 피제어 기기의 결합을 설명하기 위한 도면들이다.
도 6a 및 도 6b를 참조하면, 테이블탑 디스플레이 상의 가상의 키보드 및 마우스는 월 스크린의 지시된 컴퓨터로 연결될 수 있으며, 사용자는 우선 새로운 가상 결합을 위한 준비를 의미하는 T 형상의 아이콘을 테이블탑 디스플레이 상에 생성한다. 여기서, 아이콘의 형상은 T 형상에 제한되지 않음은 물론이다.
이어서, 사용하려고 하는 가상의 키보드 및 마우스로 상기 아이콘을 부착시킨 후에, 사용자는 월 스크린의 하나를 손가락으로 포인트한다.
계속하여, 결합의 성공을 알리는 사운드 피드백과 함께, 사용자는 마치 테이블탑 디스플레이 상의 키보드 및 마우스가 월 스크린의 컴퓨터에 물리적으로 접속한 것처럼 월 스크린의 내용을 제어할 수 있게 된다.
분리는 가상의 키보드 및 마우스를 제거하는 것에 의해 쉽게 수행될 수 있 다. 상기 과정은 도 6b에 도시한 바와 같이 결합 상태를 시각적으로 확인할 수 있으며, 테이블탑 디스플레이 상의 여러 키보드 및 마우스와 월 스크린 사이의 결합 상태를 지시하는 시각적인 피드백을 제공할 수 있다.
도 7은 본 발명에 따른 손동작에 의한 기기 네트워크 방법 실시예의 순서도를 도시한다.
도 7을 참조하면, 본 발명에 따른 손동작에 의한 기기 네트워크 방법은 적어도 하나의 제어 기기에서 데이터 입력 또는 파일 선택을 탐지하는 단계(S71), 적어도 하나의 피 제어 기기가 사용자의 손동작에 의하여 포인트되는 단계(S72), 상기 피 제어 기기를 포인트하는 손동작을 분석하여, 포인트된 피 제어 기기를 인식하는 단계(S73), 상기 인식된 피 제어 기기와 상기 제어 기기를 네트워크 결합하는 단계(S74)를 포함한다.
또한 상기 결합된 네트워크를 이용하여, 상기 제어 기기에서 상기 피 제어 기기를 제어하는 단계를 더 포함할 수도 있다. 즉, 상기 제어 기기 상의 입력등을 통하여, 피 제어 기기에서의 디스플레이 및 실행을 제어할 수 있다. 예를 들면, 상기 제어 기기의 파일을 선택하고, 상기 피 제어 기기를 포인트함으로써, 상기 제어 기기와 상기 피 제어 기기의 네트워크가 형성되면, 상기 선택된 파일을 상기 피 제어 기기에서 디스플레이할 수 있다. 이 후, 상기 제어 기기상에서 확대 또는 축소 등의 디스플레이 제어, 데이터 수정 등의 데이터 입력 제어 등을 할 수 있다.
사용자의 손동작을 촬영한 영상에서 소정의 비젼 정보를 분석하여 획득한 손동작 방향 정보와, 기 저장된 피 제어 기기의 위치 정보에 기반하여, 포인트된 피 제어 기기를 인식할 수 있다. 즉, 피 제어 기기의 위치를 저장해두고, 저장된 위치 정보와 손동작의 포인트 방향 정보를 이용하여 피 제어 기기를 인식할 수 있다.
또한 사용자의 손동작을 촬영한 영상에서 소정의 비젼 정보를 분석하여 획득한 손동작 방향 정보와, 피 제어 기기를 촬영한 영상에서 획득한 피 제어 기기 위치 정보에 기반하여, 포인트된 피 제어 기기를 인식할 수도 있다. 즉, 피 제어 기기의 위치가 유동적인 경우, 카메라로 피 제어 기기를 촬영하여, 위치 정보를 획득하고, 획득된 위치 정보와 손동작의 포인트 방향 정보를 이용하여 피 제어 기기를 인식할 수 있다.
상기 인식된 피 제어 기기와 상기 제어 기기를 네트워크 결합할 때, 제어 기기의 네트워크 식별 주소와 상기 피 제어 기기의 네트워크 식별 주소를 이용하여 네트워크 결합할 수 있다. 이때, 네트워크 식별 주소의 예시로는 인터넷 프로토콜 어드레스(IP address) 및 포트 번호(Port number)등이 있다.
또한 손동작에 의한 네트워크 상의 기기 및 정보 제어 시스템의 실시예를 설명하는 명세서의 내용은 손동작에 의한 기기 네트워크 실시예에서도 동일하게 적용된다고 할 것이다.
상기한 본 발명의 바람직한 실시예는 예시의 목적을 위해 개시된 것이고, 본 발명에 대한 통상의 지식을 가지는 당업자라면 본 발명의 사상과 범위 안에서 다양한 수정, 변경, 부가가 가능할 것이며, 이러한 수정, 변경 및 부가는 하기의 특허청구범위에 속하는 것으로 보아야 할 것이다.
도 1은 본 발명의 일 실시예에 따른 손 동작에 의한 네트워크 상의 기기 및 정보 제어 시스템을 도시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 손 동작에 의한 네트워크 상의 기기 및 정보 제어 시스템을 도시한 도면이다.
도 3은 도 2에 도시한 네트워크 시스템의 구성을 도시한 블록도이다.
도 4는 사용자의 손가락끝을 탐지하는 영상을 도시한 도면이다.
도 5a 및 도 5b는 사용자가 파일을 선택하고 월 스크린으로 포인트하는 것에 의해 테이블탑 디스플레이 상의 파일을 월 스크린으로 전송하는 과정을 설명하기 위한 도면이다.
도 6a 및 도 6b는 테이블탑 디스플레이 상의 가상의 키보드와 피제어 기기의 결합을 설명하기 위한 도면들이다.
도 7은 본 발명에 따른 손동작에 의한 기기 네트워크 방법 실시예의 순서도를 도시한다.

Claims (12)

  1. 데이터 입력 또는 파일 선택을 탐지하는 제어 기기;
    상기 제어 기기로부터 전달되는 데이터를 해석하여 디스플레이하는 피 제어 기기; 및
    사용자에 의하여 소정의 제어 기기가 선택되고 사용자의 손동작에 의하여 소정의 피 제어 기기가 포인트되면, 상기 피 제어 기기를 포인트하는 손동작을 분석하여 상기 선택된 제어 기기와 상기 포인트된 피제어 기기를 네트워크 결합시키는 관리 서버를 포함하는 것을 특징으로 하는 손동작에 의한 네트워크 상의 기기 및 정보 제어 시스템.
  2. 제 1 항에 있어서,
    상기 관리 서버는,
    상기 제어 기기의 인터넷 프로토콜 어드레스 및 포트 넘버에 기반하여 네트워크 결합을 조절하는 결합 관리 모듈; 및
    사용자의 손동작을 촬영한 비젼 정보를 분석하여 사용자의 손 동작을 해석하는 동작 인지 모듈을 포함하는 것을 특징으로 하는 손동작에 의한 네트워크 상의 기기 및 정보 제어 시스템.
  3. 제1항에 있어서,
    사용자의 손동작을 촬영하며, 손 또는 손가락끝을 탐지 및 추적하는 알고리즘에 기반하여 필터링된 영상을 상기 관리 서버로 제공하는 카메라를 더 포함하는 것을 특징으로 하는 손동작에 의한 네트워크 상의 기기 및 정보 제어 시스템.
  4. 제1항에 있어서,
    상기 피 제어 기기를 촬영하여, 피 제어 기기의 위치를 추적하는 영상을 상기 관리 서버로 제공하는 카메라를 더 포함하는 것을 특징으로 하는 손동작에 의한 네트워크 상의 기기 및 정보 제어 시스템.
  5. 제3항 또는 제4항에 있어서,
    상기 카메라는 USB 웹 카메라 또는 네트워크 카메라인 것을 특징으로 하는 손동작에 의한 네트워크 상의 기기 및 정보 제어 시스템.
  6. 제 1 항에 있어서,
    상기 제어 기기는 테이블탑 디스플레이 상의 가상의 키보드 또는 마우스이 며, 사용자는 가상 결합을 위한 아이콘을 상기 테이블탑 디스플레이 상에 생성하고, 상기 아이콘을 가상의 키보드 또는 마우스 상에 부착시킨 후, 상기 피제어 기기를 손동작으로 포인트하여 접속시키는 것을 특징으로 하는 손동작에 의한 네트워크 상의 기기 및 정보 제어 시스템.
  7. 제 1항에 있어서,
    상기 관리 서버는 적어도 둘 이상의 손동작을 인지함으로써, 적어도 하나의 제어 기기와 적어도 하나의 피 제어 기기 사이를 네트워크 결합하는 것을 특징으로 하는 손동작에 의한 네트워크 상의 기기 및 정보 제어 시스템.
  8. 적어도 하나의 제어 기기에서 데이터 입력 또는 파일 선택을 탐지하는 단계;
    적어도 하나의 피 제어 기기가 사용자의 손동작에 의하여 포인트되는 단계;
    상기 피 제어 기기를 포인트하는 손동작을 분석하여, 포인트된 피 제어 기기를 인식하는 단계;
    상기 인식된 피 제어 기기와 상기 제어 기기를 네트워크 결합하는 단계를 포함하는 것을 특징으로 하는 손동작에 의한 기기 네트워크 방법.
  9. 제 8항에 있어서,
    상기 포인트된 피 제어 기기를 인식하는 단계는,
    사용자의 손동작을 촬영한 영상에서 소정의 비젼 정보를 분석하여 획득한 손동작 방향 정보와, 기 저장된 피 제어 기기의 위치 정보에 기반하여, 포인트된 피 제어 기기를 인식하는 것을 특징으로 하는 손동작에 의한 기기 네트워크 방법.
  10. 제 8항에 있어서,
    상기 포인트된 피 제어 기기를 인식하는 단계는,
    사용자의 손동작을 촬영한 영상에서 소정의 비젼 정보를 분석하여 획득한 손동작 방향 정보와, 피 제어 기기를 촬영한 영상에서 획득한 피 제어 기기 위치 정보에 기반하여, 포인트된 피 제어 기기를 인식하는 것을 특징으로 하는 손동작에 의한 기기 네트워크 방법.
  11. 제 8항에 있어서,
    상기 인식된 피 제어 기기와 상기 제어 기기를 네트워크 결합하는 단계는,
    상기 제어 기기의 네트워크 식별 주소와 상기 피 제어 기기의 네트워크 식별 주소를 이용하여 네트워크 결합하는 것을 특징으로 하는 손동작에 의한 기기 네트워크 방법.
  12. 제 8항에 있어서,
    상기 결합된 네트워크를 이용하여, 상기 제어 기기에서 상기 피 제어 기기를 제어하는 단계를 더 포함하는 것을 특징으로 하는 손동작에 의한 기기 네트워크 방법.
KR1020080060351A 2008-06-25 2008-06-25 손 동작에 의한 네트워크 상의 기기 및 정보 제어 시스템 KR100931403B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020080060351A KR100931403B1 (ko) 2008-06-25 2008-06-25 손 동작에 의한 네트워크 상의 기기 및 정보 제어 시스템
US12/417,848 US8723792B2 (en) 2008-06-25 2009-04-03 System for controlling devices and information on network by using hand gestures
JP2011516137A JP5306457B2 (ja) 2008-06-25 2009-06-25 情報制御システム及び手の動作による機器ネットワーク方法
EP09770402.7A EP2291723B1 (en) 2008-06-25 2009-06-25 System and method for controlling devices and information on network by using hand gestures
PCT/KR2009/003450 WO2009157730A2 (en) 2008-06-25 2009-06-25 System for controlling devices and information on network by using hand gestures

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080060351A KR100931403B1 (ko) 2008-06-25 2008-06-25 손 동작에 의한 네트워크 상의 기기 및 정보 제어 시스템

Publications (1)

Publication Number Publication Date
KR100931403B1 true KR100931403B1 (ko) 2009-12-11

Family

ID=41684164

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080060351A KR100931403B1 (ko) 2008-06-25 2008-06-25 손 동작에 의한 네트워크 상의 기기 및 정보 제어 시스템

Country Status (5)

Country Link
US (1) US8723792B2 (ko)
EP (1) EP2291723B1 (ko)
JP (1) JP5306457B2 (ko)
KR (1) KR100931403B1 (ko)
WO (1) WO2009157730A2 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101771458B1 (ko) * 2010-12-03 2017-08-25 엘지전자 주식회사 데이터 전송 방법 및 이를 이용하는 이동 단말기
WO2024071625A1 (ko) * 2022-09-29 2024-04-04 삼성전자 주식회사 가상 현실 영상을 표시하는 영상 표시 장치 및 그 표시 방법

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120124481A1 (en) * 2010-03-18 2012-05-17 Robert Campbell Interacting with a device
US8738783B2 (en) 2010-06-22 2014-05-27 Microsoft Corporation System for interaction of paired devices
US10104183B2 (en) 2010-06-22 2018-10-16 Microsoft Technology Licensing, Llc Networked device authentication, pairing and resource sharing
US8897491B2 (en) * 2011-06-06 2014-11-25 Microsoft Corporation System for finger recognition and tracking
EP2602691A1 (en) * 2011-12-05 2013-06-12 Alcatel Lucent Method for gesture control, gesture server device and sensor input device
US20140049467A1 (en) * 2012-08-14 2014-02-20 Pierre-Yves Laligand Input device using input mode data from a controlled device
WO2014128749A1 (ja) * 2013-02-19 2014-08-28 株式会社ブリリアントサービス 形状認識装置、形状認識プログラム、および形状認識方法
EP2998831A4 (en) * 2013-05-16 2016-07-20 Futureplay Inc METHOD FOR ADJUSTING MULTIPLE DEVICES AND SERVERS FOR ADJUSTING
US9389691B2 (en) 2013-06-21 2016-07-12 Blackberry Limited Devices and methods for establishing a communicative coupling in response to a gesture
US9451434B2 (en) 2013-11-27 2016-09-20 At&T Intellectual Property I, L.P. Direct interaction between a user and a communication network
US11823151B2 (en) * 2021-09-15 2023-11-21 Xerox Corporation Kiosks with parallel job processing

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030002937A (ko) * 2001-07-02 2003-01-09 엘지전자 주식회사 비접촉식 3차원 무선 조이스틱
KR20030037692A (ko) * 2001-11-05 2003-05-16 한국과학기술원 손 지시 인식을 이용한 원격제어 시스템 및 방법
JP2005278040A (ja) 2004-03-26 2005-10-06 Alpine Electronics Inc 表示装置および表示方向指示方法
KR20060037785A (ko) * 2004-10-28 2006-05-03 엘지전자 주식회사 이동통신 단말기 입력 장치

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10224875A (ja) 1997-02-06 1998-08-21 Matsushita Electric Ind Co Ltd 機能制御方法
KR19990011180A (ko) * 1997-07-22 1999-02-18 구자홍 화상인식을 이용한 메뉴 선택 방법
US6531999B1 (en) 2000-07-13 2003-03-11 Koninklijke Philips Electronics N.V. Pointing direction calibration in video conferencing and other camera-based system applications
JP4304337B2 (ja) * 2001-09-17 2009-07-29 独立行政法人産業技術総合研究所 インタフェース装置
ES2425076T3 (es) 2002-11-20 2013-10-11 Koninklijke Philips N.V. Sistema de interfaz de usuario basado en dispositivo de puntero
US8046701B2 (en) 2003-08-07 2011-10-25 Fuji Xerox Co., Ltd. Peer to peer gesture based modular presentation system
US20050219211A1 (en) * 2004-03-31 2005-10-06 Kotzin Michael D Method and apparatus for content management and control
US7519223B2 (en) * 2004-06-28 2009-04-14 Microsoft Corporation Recognizing gestures and using gestures for interacting with software applications
US20060256008A1 (en) 2005-05-13 2006-11-16 Outland Research, Llc Pointing interface for person-to-person information exchange
US20060241864A1 (en) * 2005-04-22 2006-10-26 Outland Research, Llc Method and apparatus for point-and-send data transfer within an ubiquitous computing environment
US8339363B2 (en) * 2005-05-13 2012-12-25 Robert Bosch Gmbh Sensor-initiated exchange of information between devices
JP2007011531A (ja) * 2005-06-29 2007-01-18 Fujitsu Ltd インタフェース制御プログラム、インタフェース制御方法、インタフェース制御装置、プラグインプログラム
US20070057912A1 (en) * 2005-09-14 2007-03-15 Romriell Joseph N Method and system for controlling an interface of a device through motion gestures
KR100746995B1 (ko) * 2005-09-22 2007-08-08 한국과학기술원 직관적인 실제 공간적 조준에 따른 시스템 및 그식별방법과 통신방법
US20070264976A1 (en) * 2006-03-30 2007-11-15 Sony Ericsson Mobile Communication Ab Portable device with short range communication function
US20070248283A1 (en) * 2006-04-21 2007-10-25 Mack Newton E Method and apparatus for a wide area virtual scene preview system

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030002937A (ko) * 2001-07-02 2003-01-09 엘지전자 주식회사 비접촉식 3차원 무선 조이스틱
KR20030037692A (ko) * 2001-11-05 2003-05-16 한국과학기술원 손 지시 인식을 이용한 원격제어 시스템 및 방법
JP2005278040A (ja) 2004-03-26 2005-10-06 Alpine Electronics Inc 表示装置および表示方向指示方法
KR20060037785A (ko) * 2004-10-28 2006-05-03 엘지전자 주식회사 이동통신 단말기 입력 장치

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101771458B1 (ko) * 2010-12-03 2017-08-25 엘지전자 주식회사 데이터 전송 방법 및 이를 이용하는 이동 단말기
WO2024071625A1 (ko) * 2022-09-29 2024-04-04 삼성전자 주식회사 가상 현실 영상을 표시하는 영상 표시 장치 및 그 표시 방법

Also Published As

Publication number Publication date
EP2291723A4 (en) 2012-12-12
US20100073287A1 (en) 2010-03-25
US8723792B2 (en) 2014-05-13
JP5306457B2 (ja) 2013-10-02
WO2009157730A3 (en) 2010-03-25
EP2291723A2 (en) 2011-03-09
WO2009157730A2 (en) 2009-12-30
JP2011528455A (ja) 2011-11-17
EP2291723B1 (en) 2018-06-20

Similar Documents

Publication Publication Date Title
KR100931403B1 (ko) 손 동작에 의한 네트워크 상의 기기 및 정보 제어 시스템
EP2778881B1 (en) Multi-input control method and system, and electronic device supporting the same
CN108885521B (zh) 跨环境共享
KR102090269B1 (ko) 정보 검색 방법, 그와 같은 기능을 갖는 디바이스 및 기록 매체
JP6054892B2 (ja) 複数のディスプレイに対するアプリケーション画像の表示方法、電子機器およびコンピュータ・プログラム
US7849421B2 (en) Virtual mouse driving apparatus and method using two-handed gestures
US20220222029A1 (en) Remote gesture control, input monitor, systems including the same, and associated methods
WO2013161171A1 (ja) 入力装置、入力支援方法及びプログラム
US20120235926A1 (en) Handheld devices and related data transmission methods
US20120299846A1 (en) Electronic apparatus and operation support method
JP2013539580A (ja) デバイス上の動き制御方法及び装置
WO2013141464A1 (ko) 터치 기반의 입력제어 방법
KR20130042010A (ko) 제스처 인식을 위한 환경-의존 동적 범위 컨트롤
KR102521192B1 (ko) 전자 장치 및 그의 동작 방법
WO2018010021A1 (en) Pointer control in a handheld computer by way of hid commands
CN111770368A (zh) 大屏幕显示设备的控制方法、装置、存储介质和电子设备
CN110618780A (zh) 用于对多个信号源进行交互的交互装置和交互方法
JP2008118301A (ja) 電子黒板システム
US9293108B2 (en) Transmission apparatus and system of using the same
JP2015011679A (ja) 操作入力装置及び入力操作処理方法
Lee et al. Select-and-point: a novel interface for multi-device connection and control based on simple hand gestures
KR101447969B1 (ko) 다중 모니터 단말의 입력 장치
US20190041997A1 (en) Pointer control in a handheld computer by way of hid commands
CN112204512A (zh) 用于在网络化协作工作区中通过web套接字连接进行桌面共享的方法，装置和计算机可读介质
TW201627853A (zh) 多點手寫輸入控制系統及方法

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20121203

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20131129

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20141201

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20151126

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20161201

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20171201

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20181203

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20191203

Year of fee payment: 11