KR20100131213A - 제스쳐-기반의 리모컨 시스템 - Google Patents

Abstract

제스쳐-기반의 리모컨 시스템은 카메라 모듈(300), 이미지 인식 모듈(100), 무선 송신기(400) 및 메인 제어 전자 기기(200)를 포함한다. 이미지 인식 모듈(100)은 카메라 모듈(300)에 전기적으로 연결된다. 무선 송신기(400)는 이미지 인식 모듈(100)에 전기적으로 연결된다. 메인 제어 전자 기기(200)는 이미지 인식 모듈(100)에 분리 가능하도록 연결된다. 메인 제어 전자 기기(200)는 모니터(202)를 포함한다. 모션 제어 명령은 이미지 인식 모듈(100)을 갖는 카메라 모듈(300) 내에서 사용자의 이미지를 인식함에 의하여 얻어진다. 키 제어 명령은 이미지 인식 모듈(100)에 의하여, 상기 모션 제어 명령 및 키 코드 정보로부터 얻어진다. 상기 키 제어 명령은 이미지 인식 모듈(100)에 의하여 무선 송신기(400)로 전송된다. 상기 키 제어 명령은 상기 피제어 전자 기기를 제어하기 위하여, 상기 무선 송신기에 의해 피제어 전자 기기로 전송된다.

제스쳐, 이미지 인식, 리모컨

Description

제스쳐-기반의 리모컨 시스템{Gesture-based remote control system}

본 발명은 리모컨 시스템에 관한 것으로, 보다 자세히는 제스쳐-기반의 리모컨 시스템에 관한 것이다.

서로 다른 대응하는 리모컨들을 사용하여, 많은 서로 다른 홈 기기들을 동작하는 것은 불편하고 복잡하다. 따라서, 많은 서로 다른 키 코드 정보의 데이터베이스는 동일한 리모컨으로 다양한 홈 기기들을 작동하도록 설계되어 있다. 즉, 모드 선택이 충분하다면 하나의 모드 스위치 키를 사용하여 하나의 리모컨을 사용하는 것이다. 또한, 몇몇의 높은 수준의 리모컨들은 키 코드 정보 데이터베이스의 비효율을 극복하기 위하여, 서로 다른 브랜드의 리모컨들의 키 코드들을 에뮬레이트(emulate)하는 방식으로 설계된다. 그러나, 사용자가 상기 반응하는 물리적 리모컨들이 어디에 있는지를 잊어버리면, 상기 홈 기기들을 동작하는 데에 불편이 생긴다.

상기 언급된 문제점을 개선하기 위하여, 본 발명은 적어도 하나의 피제어 전자 기기를 제어하기 위한 제스쳐-기반의 리모컨 시스템을 제공한다.

상기 언급된 목적을 달성하기 위하여, 상기 제스쳐-기반의 리모컨 시스템은 카메라 모듈, 이미지 인식 모듈, 무선 송신기 및 메인 제어 전자 기기를 포함한다.

상기 이미지 인식 모듈은 상기 카메라 모듈에 전기적으로 연결된다.

상기 무선 송신기는 상기 이미지 인식 모듈에 전기적으로 연결된다.

상기 메인 전자 기기는 상기 이미지 인식 모듈에 분리가능 하도록 연결되고 모니터를 갖는다.

모션 제어 명령은 상기 이미지 인식 모듈을 사용하여 상기 카메라 모듈 내의 사용자의 이미지를 인식함으로써 얻어진다.

키 제어 명령은 상기 이미지 인식 모듈에 의하여, 모션 제어 명령 및 키 코드 정보로부터 얻어진다.

상기 키 제어 명령은 상기 피제어 전자 기기를 제어하기 위하여, 상기 무선 송신기에 의해 피제어 전자 기기로 보내진다.

본 발명에 따른 제스쳐-기반의 리모컨 시스템에 따르면, 다양한 동작 옵션들을 포함하고 보다 사용자에게 친근하고 직관적인 사용자 명령 입력 기능이 제공될 수 있다.

신규하다고 생각되는 본 발명의 특징은 특히 첨부된 청구항들에 제시된다. 그러나, 본 발명은 자체로, 다음의 상세한 설명을 참조하여 보다 잘 이해될 수 있을 것이다. 본 발명의 상세한 설명은 수반되는 도면들과 연관하여 본 발명의 예시적인 실시예를 설명한다.

상기 언급된 바와 같이, 사용자들이 반응하는 물리적 리모컨들이 어디에 있는지를 잊어 버린 경우에, 상기 홈 기기들을 동작하는 것은 불편하다. 상기한 문제점을 해결하기 위하여, 본 발명은 상기 전기 기기들을 동작하기 위한 물리적 리모컨을 갖지 않는 제스쳐-기반의 리모컨 시스템을 제공한다. 상기 제스쳐-기반의 리모컨 시스템은 상기 사용자의 제스쳐의 서로 다른 이미지들을 획득하기 위한 카메라 모듈을 제공한다. 상기 제스쳐 이미지들(상기 사용자의 제스쳐의 이미지들)은 상기 물리적 리모컨의 버튼들에 대응되는 제어 신호들을 생성하도록 프로세싱되고, 상기 제어 신호는 상기 전기 기기들을 제어하기 위하여 제공된다.

보다 상세한 설명에서, 온-스크린 디스플레이(OSD)를 갖는 전자 기기(텔레비전과 같은)가 상기 만능 리모컨에 제공된다. 상기 다양한 리모컨들의 많은 다양한 키 코드들은 모방되거나(imitated), 상기 키 코드 데이터베이스들이 상기 만능 리모컨에 의하여 직접 사용된다. 또한, 동작 메뉴들의 컨텐츠는 직접 모니터 상에서 디스플레이되고, 상기 동작 메뉴들은 물리적인 리모컨들 없이, 다양한 전자 기기들을 제어하기 위하여 동작된다.

본 발명에 따른 제스쳐-기반의 리모컨 시스템의 블록도를 나타내는 도 1을 참조한다. 상기 제스쳐-기반의 리모컨 시스템은 카메라 모듈(300), 이미지 인식 모듈(100), 무선 송신기(400), 적외선 포트(500) 및 메인 제어 전자 기기(200)를 포함한다. 이미지 인식 모듈(100)은 카메라 모듈(300), 무선 송신기(400), 적외선 포트(500) 및 메인 제어 전자 기기(200)에 각각 전기적으로 연결된다.

이미지 인식 모듈(100)은 적어도 하나의 피제어 전자 기기(미도시 됨)의 키 코드 정보를 가지며, 상기 키 코드 정보는 이미지 인식 모듈(100) 내에 저장된다. 이미지 인식 모듈(100)은 디지털 이미지 프로세서(102), 마이크로프로세서(104), 아날로그-to-디지털 변환기(114) 및 EEPROM(erasable programmable read-only memory, 112)를 더 포함한다. 마이크로프로세서(104)는 무선 송신기(400), 적외선 포트(500), 메인 제어 전자 기기(200), 디지털 이미지 프로세서(102), 아날로그-to-디지털 변환기(114) 및 EEPROM(112)에 전기적으로 연결된다. 디지털 이미지 프로세서(102)는 카메라 모듈(300)에 전기적으로 연결된다.

특히, 이미지 인식 모듈(100)은 모션 제어 명령을 얻기 위하여, 카메라 모듈(300) 내에서 사용자 이미지를 인식하기 위하여 제공된다. 또한, 키 제어 명령은, 이미지 인식 모듈(100)에 의하여, 상기 모션 제어 명령 및 키 코드 정보로부터 얻어진다. 이미지 인식 모듈(100)은 상기 키 제어 명령을 무선 송신기(400)로 보낸다. 또한, 상기 키 제어 명령은 상기 피제어 전자 기기를 제어하기 위하여, 무선 송신기(400)에 의해 상기 피제어 기기로 보내진다.

이미지 인식 모듈(100)은 적외선 포트(500)를 통하여, 상기 피제어 전자 기 기로부터 상기 키 코드 정보를 수신한다. 상기 키 코드 정보는 해석된 후, EEPROM(112) 내에 저장된다. 키 코드 정보 이외에, 수많은 상기 피제어 전자 기기의 알려진 키 코드 데이터베이스들이 EEPROM(112)에 저장될 수도 있다. 무선 송신기(400)는, 피제어 전자 기기들의 종류에 따라, 상기 피제어 전자 기기들을 제어하기 위한 서로 다른 종류의 IR(infra-red) 또는 RF(radio frequency) 키 제어 명령을 전송할 수 있다.

상기 메인 제어 전자 기기(200)가 상기 피제어 전자 기기(텔레비전과 같은)라면, 이미지 인식 모듈(100)은 서로 다른 전송 인터페이스들(I2C(Inter-IC), SPI(Serial Peripheral Interface) 또는 UART(Universal Asynchronous Receiver/Transmitter))을 통하여, 상기 키 제어 명령들을 메인 제어 전자 기기(200)에 직접 전송할 수 있다. 디지털 신호들 이외에, 이미지 인식 모듈(100)은 아날로그-to-디지털 변환기(114)에 의하여 처리되는 아날로그 신호들을 메인 제어 전자 기기(200)에 전송할 수도 있다.

상기 피제어 전자 기기는 텔레비전, DVD 플레이어, 에어컨 또는 컴퓨터일 수 있다. 메인 제어 전자 기기(200)(텔레비전 같은)는 모니터(202) 및 OSD(204)를 포함한다. 상기 키 제어 명령은 시작 명령, 취소 명령, 증가 명령, 감소 명령 및 클릭 명령을 포함한다. 이미지 인식 모듈(100)은 예를 들어, 직렬 포트를 통하여 메인 제어 전자 기기(200)에 분리 가능하게 연결된다. 이미지 인식 모듈(100)은 상기 동작 프로세스 중에 동작 메시지들을 보여주기 위한 모니터(202) 상에 비디오 신호들을 표시하기 위하여, 메인 제어 전자 기기(200)에 상기 비디오 신호들을 전송한 다.

상기 제스쳐-기반의 리모컨 시스템은 사용자의 제스쳐를 위치 제스쳐, 클리 제스쳐, 슬라이드 제스쳐 및 취소 제스쳐로 판단한다. 서로 다른 제스쳐들의 상세한 설명은 다음과 같다:

1. 위치 제스쳐.

상기 만능의 모방된 제스쳐-기반의 리모컨 시스템은 OSD 기능을 갖는 전자 기기(텔레비전과 같은)를 포함한다. 또한, 상기 제스쳐-기반의 리모컨 시스템을 시작한 후에, 동작 메뉴는 초기에는 비활성 상태로 설정된다. 첫째, 상기 사용자에 대한 최적의 동작 위치가 자동으로 결정되고, 사용자가 양팔을 바깥으로 들어올리고 상하로 양팔을 물결칠 때(도 5에 도시됨), 메인 메뉴가 상기 전자 기기의 모니터 상에 디스플레이된다. 상기 모방 터치된(imitated touched) 키들의 동작 위치들은 4개의 서로 다른 위치들에서 결정된다.

상기 첫번째 위치는 상기 사용자의 머리 위에 위치한다. 상기 두번째 위치는 상기 제1 위치의 두 바깥쪽 사이드에 위치한다. 상기 세번째 위치는 상기 제2 위치의 두 바깥쪽 사이드에 위치한다. 그리고, 상기 네번째 위치는 상기 사용자의 우측 및 좌측 손들 근처에 위치한다(도 6에 도시됨). 특히, 기능 선택 블록들은 제1 위치, 제2 위치 및 제3 위치에 위치한다. 또한, 기능 조절 블록들은 제4 위치에 위치하고, 상기 기능 조절 영역은 상기 동작 메뉴를 스위치(회전)하거나 기능 키들을 전송하는 데에 사용된다.

2. 클릭 제스쳐.

상기 클릭 제스쳐는 기능 선택 영역에 적용된다. 선택 액션은 상기 기능 선택 영역 내의 상기 모방 터치된 키들 중 하나를 한번 클릭하는 것으로 동작한다. 또한, 상기 선택 액션은 상기 모방 터치된 키들 중 하나가 다시 클릭될 때 취소된다. 따라서, 상기 모방 터치된 키들은 토글 키라고 불린다. 또한, 다른 모방 터치된 키가 클릭될 때, 현재 모방 터치된 키는 자동으로 해제된다. 따라서, 동일한 시간에는 모방 터치된 키들 중에서 오직 하나만이 동작한다. 이는 컴퓨터 GUI 메뉴에서의 라디오 버튼과도 유사하다.

3. 슬라이드 제스쳐.

슬라이드 제스쳐는 상기 기능 조절 영역에 적용된다. 우측 사이드의 모방된 키는 오직 우측에서 물결치는 제스쳐만을 지원하고, 좌측 사이드의 모방된 키는 오직 좌측에서 물결치는 제스쳐만을 지원한다. 상기 기능 선택 블록들 중 하나도 선택되지 않을 때, 상기 동작 메뉴는 우측으로 또는 좌측으로 스위칭(회전)된다. 상기 기능 선택 블록들 중에서 하나가 선택되고 사용자가 팔을 우측으로 물결칠 때, 전방향(forward-direction) 기능 키가 전송된다. 반면에, 상기 기능 선택 블록들 중에서 하나가 선택되고 사용자가 팔을 좌측으로 물결칠 때, 후방향 기능 키가 전송된다.

예를 들어, 볼륨 제어를 고려한다. 볼륨 제어 기능(동작 함수는 상기 기능 선택 블록들 중 하나로 설정된다)이 선택되고 상기 사용자가 팔을 우측으로 물결치면, 상기 볼륨은 상승한다. 반면에, 볼륨 제어 기능이 선택되고 상기 사용자가 팔을 좌측으로 물결치면, 상기 볼륨은 하강한다. 또한, 사용자가 양팔을 각각 좌측으 로 및 우측으로 물결치면, 상기 전방향 기능 키 및 상기 후방향 기능 키가 모두 전송된다. 그것은 상기 언급된 동작에 한정되는 것이 아니다.

4. 취소 제스쳐.

상기 사용자가 양팔을 전방향으로 들어올리고 양팔을 좌우 방향으로 물결칠 때(도 7에 도시됨), 상기 취소 제스쳐가 동작되어, 상기 이전 메뉴로 돌아가거나 현재 메뉴를 닫을 수 있다. 상기 만능의 모방된 제스쳐-기반의 리모컨 시스템의 상기 언급된 동작 메뉴는, 메인 메뉴 및 서브 메뉴로 스위칭될 수 있다. 상기 메인 메뉴는 상기 피제어 전자 기기의 스위치 기기 옵션들과 상기 리모컨 시스템의 설정 옵션들에 제공된다. 상기 사용자가 양팔을 좌우로 물결칠 때, 상기 메인 메뉴 내에서, 상기 기능 조절 블록들은 상기 기기 옵션들을 스위치(회전)하도록 작동한다. 특히, 상기 피제어 전자 기기의 기기 옵션들은 텔레비전, DVD 플레이어, 에어컨, 컴퓨터 등이다. 상기 피제어 전자 기기의 기기 옵션들 중 하나가 선택되면, 대응하는 서브 메뉴가 활성화된다(즉, 열린다). 또한, 상기 취소 제스쳐가 동작될 때 상기 메인 메뉴는 닫혀질 수 있다.

상기 서브 메뉴는 상기 대응하는 기기 옵션들의 스위치 동작 옵션들에 제공된다. 상기 서브 메뉴에서, 상기 기능 선택 블록들 내의 동작 옵션들이 작동되도록 선택될 수 있고, 추가적으로, 상기 동작 옵션의 동작은 취소될 수도 있다. 상기 기능 선택 블록들 중 하나도 선택되지 않고 상기 기능 조절 블록들 내에서 모방 터치된 키들 중 하나가 클릭되면, 상기 피제어 전자 기기의 동작 옵션들(볼륨 제어, 채널 선택 또는 색상 규제와 같은)은 스위칭(회전)될 수 있다. 또한, 상기 기능 선택 블록들 중 하나가 선택되고, 상기 기능 조절 블록들 내에서 상기 모방 터치된 키들 중 하나가 클릭될 때, 전방향 기능 키 또는 후방향 기능 키가 전송된다. 상기 취소 제스쳐가 동작될 때(도 8에 도시됨), 상기 서브 메뉴는 상기 메인 메뉴로 복귀하도록 동작한다.

또 다른 사용자가 상기 제스쳐-기반의 리모컨 시스템을 동작하기를 원하면, 상기 메인 메뉴는 닫혀져야 하고 상기 위치 제스쳐(상기 사용자가 양팔을 좌우로 들어올리고, 양팔을 상하로 물결침)는 다시 동작한다. 따라서, 동일한 시간에는 오직 하나의 사용자만이 상기 리모컨 시스템을 동작할 수 있다. 즉, 오직 하나의 사용자만이 상기 카메라 모듈에 의하여, 가시 영역 내에 포착될 수 있다.

체스쳐-기반의 리모컨 시스템을 실행하는 흐름도를 도시하는 도 14를 참조한다. 상기 제스쳐-기반의 리모컨 시스템은 상기 사용자의 제스쳐를 감지하는 것에 의하여, 피제어 전자 기기를 제어할 수 있도록 제공된다. 상기 피제어 전자 기기는 텔레비전, DVD 플레이어, 에어컨, 컴퓨터 등일 수 있다. 첫째, 사용자의 이미지가 카메라 모듈(S10)에 의하여 포착된다(S10). 그 다음, 상기 이미지는 조절되어 조절된 이미지를 얻는다(S20). 그 후, 상기 조절된 이미지 내의 조절된 모션 이미지는 이미지 차분 방법을 사용하여 계산된다(S30). 그 후, 상기 조절된 이미지 내의 움직임 이미지가 감지된다(S40). 그 후, 상기 움직임 이미지 내의 움직임 영역이 정의된다(S50). 그 후, 상기 움직임 영역을 기초로, 대응되는 제어 신호가 생성된다(S60). 결국, 상기 무선 송신기(400)에 의하여, 상기 피제어 전자 기기를 제어하기 위한 제어 신호가 전송된다(S70). 상기 제스쳐-기반의 리모컨 시스템의 동작에 관한 상세한 설명은 다음과 같다.

조절된 이미지를 얻기 위하여 상기 사용자 제스쳐의 이미지를 조절하는 단계(S20)는 다음의 세부 단계를 포함한다: (1) 상기 사용자 제스쳐의 이미지의 처리된 크기를 조절하는 것; (2) 상기 사용자 제스쳐의 이미지의 색상을 변환하는 것(24비트의 완전 색상 이미지를 8비트의 그레이-레벨의 이미지로); (3) 상기 사용자 제스쳐의 이미지의 얼룩 노이즈를 필터링하는 것. 특히, 사용자 제스쳐의 이미지의 얼룩 노이즈는 영상의 저주파 통과 필터에 의하여 필터링될 수 있다.

상기 단계(S30)에서, 상기 조절된 이미지 내의 조절된 모션 이미지는 이미지 차분 방법을 사용하여 계산될 수 있다. 이미지 차분 방법을 사용하는 구성도를 보여주는 도 2가 참조될 수 있다. 보다 나은 성능을 얻기 위하여, 세 개의 연속적인 제스쳐 이미지들이 상기 모션 이미지의 계산을 위하여 제공된다. 상기 세 개의 연속적인 제스쳐 이미지들(상기 사용자 제스쳐의 이미지들)은 각각, 현재의 그레이-레벨 이미지(12), 상기 현재의 그레이-레벨 이미지(12)의 이전에 있는 선행 그레이-레벨 이미지(11), 및 상기 선행 그레이-레벨 이미지(11)의 이전에 있는 차선행 그레이-레벨 이미지(10)이다.

제1 그레이-레벨 문턱값 및 제2 그레이 레벨 문턱값은 상기 그레이-레벨 이미지를 이진(binary) 이미지로 변환하기 위하여 설정된다. 첫째, 상기 현재 그레이-레벨 이미지(12)는 상기 선행 그레이-레벨 이미지에 의하여 차감되어, 제1 그레이-레벨 이미지(미도시 됨)를 얻는다. 그 후, 상기 제1 그레이-레벨 이미지의 각 픽셀의 그레이 값은 제1 그레이-레벨 문턱값과 비교된다. 상기 픽셀의 그레이 값이 상기 제1 그레이-레벨 문턱값과 같거나 그보다 크면, 상기 픽셀은 밝은 픽셀로 설정된다. 반면에, 상기 픽셀의 그레이 값이 상기 제1 그레이-레벨 문턱값과 작으면, 상기 픽셀은 어두운 픽셀로 설정된다. 따라서, 제1 이진 이미지(13)는 밝은 픽셀들과 어두운 픽셀들로 구성된다.

동일한 방법으로, 상기 선행 그레이-레벨 이미지(11)는 차선행 그레이-레벨 이미지(10)로부터 차감되어, 제2 그레이-레벨 이미지(미도시 됨)을 얻는다. 그 후, 상기 제2 그레이-레벨 이미지의 각각의 픽셀의 그레이 값은 상기 제2 그레이-레벨 문턱값과 비교된다. 상기 픽셀의 그레이 값이 상기 제2 그레이-레벨 문턱값과 같거나 그보다 크면, 상기 픽셀은 밝은 픽셀로 설정된다. 반면에, 상기 픽셀의 그레이 값이 상기 제2 그레이-레벨 문턱값과 작으면, 상기 픽셀은 어두운 픽셀로 설정된다. 따라서, 제2 이진 이미지(14)는 밝은 픽셀들과 어두운 픽셀들로 구성된다.

결국, 상기 제1 이진 이미지(13) 및 제2 이진 이미지(14) 사이에 논리 합 연산이 수행되고, 그 결과 제3 이진 이미지(15)가 생성된다. 상기 제3 이진 이미지(15)가 바로 상기 조절된 모션 이미지이다. 따라서, 상기 사용자 제스쳐의 이미지들의 위치들이 감지될 수 있다.

상기 단계(S40)의 상세한 설명은 다음과 같다. 첫째, 상기 제3 이진 이미지(15)는 복수의 분할 섹션들로 분리된다(도 3에 도시 됨). 상기 분할 섹션들 각각이 움직임 섹션인지 아닌지를 판단하기 위한 움직임 문턱값이 설정된다. 바람직한 실시예에 있어서, 상기 분할 섹션의 모션 픽셀들의 양이 상기 움직임 문턱값보다 클 때, 즉 상기 분할 섹션이 움직임 섹션으로 간주될 때, 상기 분할 섹션은 밝은 섹션으로 설정된다. 반면에, 상기 분할 섹션의 모션 픽셀들의 양이 상기 움직임 문턱값보다 작을 때, 즉, 상기 분할 섹션이 움직임 섹션이 아닌 것으로 간주될 때, 상기 분할 섹션은 어두운 섹션으로 설정된다.

예를 들어, 160*120 픽셀의 크기를 갖는 이미지가 192개의 분할 섹션(16*12=192)으로 분리된다. 즉, 상기 분할 섹션들 각각은 100개의 픽셀((160/16)*(120/12)=100)을 갖는다. 상기 움직임 문턱값은 50으로 설정된다고 가정한다. 하나의 분할 섹션에서 상기 모션 픽셀들의 양이 상기 움직임 문턱값을 넘으므로, 상기 분할 섹션은 움직임 섹션이다. 따라서, 과도한 모션 또는 미소한 모션은 잘못된 동작들의 가능성을 감소시키기 위하여 필터링될 수 있다.

상기 단계(S50)의 상세한 설명은 다음과 같이 주어진다. 상기 움직임 이미지 내의 움직임 영역의 좌표 경계는 도 4에 도시된 바와 같이, (LTX, LTY)에서 (RBX, RBY)로 정의된다. 상기 움직임 섹션이 상기 움직임 이미지 내에서, 상에서 하로 그리고 좌에서 우로 처음으로 감지될 때, 상기 움직임 영역의 상단인 LTY가 설정된다. 또한, 상기 움직임 영역의 하단(RBY), 좌측단(LTX) 및 우측단(RBX)도 각각 마찬가지의 방식으로 설정된다. 상기 움직임 영역의 좌표 경계가 (0, 0) 내지 (0, 0)이면, 상기 움직임 섹션이 감지되지 않거나 상기 움직임 섹션이 너무 작다. 따라서, 경과 시간이 설정 시간을 초과할 때, 상기 동작 메뉴(상기 메인 메뉴 및 상기 서브 메뉴가 포함됨)는 자동으로 닫힌다.

이상에서 언급된 바와 같이, 상기 제스쳐-기반의 리모컨 시스템은 사용자의 제스쳐가 위치 제스쳐, 클릭 제스쳐, 슬라이드 제스쳐 및 취소 제스쳐인지를 결정 한다. 상기 클릭 제스쳐는 시간에 독립적인 제스쳐이지만, 상기 슬라이드 제스쳐, 상기 위치 제스쳐 또는 취소 제스쳐는 시간에 종속적인 제스쳐들이다. 이러한 종류의 제스쳐들을 인식하기 위하여, 상기 움직임 영역의 최근의 좌표 및 크기를 저장할 필요가 있다. 상기 움직임 영역이 상기 클릭으로 정의된 블록과 겹치면, 클릭 제스쳐가 인식되어 상기 클릭 명령이 제공된다. 상기 움직임 영역이 횡방향으로(좌측 또는 우측으로) 움직일 때 상기 슬라이드 제스쳐가 인식된다. 특히, 상기 움직임 영역이 연속적으로 횡방향으로, 즉 연속적으로 좌측으로 또는 우측으로 움직인다. 상기 움직임 영역이 상기 기능 조절 블록들 내에서 연속적으로 우측으로 움직이면, 상기 증가 명령이 제공된다. 반면에, 상기 움직임이 상기 기능 조절 블록들 내에서 연속적으로 좌측으로 움직이면, 상기 감소 명령이 제공된다.

상기 움직임 영역이 횡방향으로 계속적으로 변경되면(도 7에 도시 됨), 취소 제스쳐가 생성된다. 상기 움직임 영역이 횡방향에서 종방향으로 또는 종방향에서 횡방향으로 변경되면(도 5에 도시 됨), 상기 위치 제스쳐가 생성된다. 그러나, 상기 움직임 영역이 너무 크거나 상기 움직임 영역이 종방향으로 연속하여 변경되면, 움직이는 물체는 상기 카메라 모듈의 렌즈를 통과하여 지나가게 되므로 비정상 장애를 발생한다. 또한, 다른 정의되지 않은 또는 인식되지 않는 제스쳐 동작은 유효하지 않은 것으로 처리된다.

상기 단계(S60)의 상세한 설명은 다음과 같이 주어진다.

1. 상기 위치 제스쳐는 상기 메인 메뉴 및 상기 서브 메뉴 내에서 동작할 수 있다. 또한, 상기 위치 제스쳐는 실제 동작 영역을 생성하는 움직임 영역에 따라 감지된다. 상기 메인 메뉴는 열리고 상기 모니터 상에서 표시된다. 상기 위치 절차는 도 9에 도시된다.

2. 상기 취소 제스쳐는 상기 메인 메뉴 및 상기 서브 메뉴 내에서, 이전 메뉴로 돌아가거나 현재 메뉴를 닫기 위하여 동작할 수 있다. 상기 취소 절차는 도 10에 도시된다.

3. 상기 슬라이드 제스쳐(추가적으로 증가 제스쳐라고 함)는 상기 메인 메뉴 및 상기 서브 메뉴 내에서 동작할 수 있다. 상기 증가 제스쳐가 상기 메인 메뉴 내에서 동작할 때, 상기 기능 선택 블록들 내의 기기 옵션들은 우측방향으로 스위치(회전)된다. 상기 증가 제스쳐가 상기 서브 메뉴 내에서 동작하고 상기 동작 옵션들 중 하나가 선택되지 않으면, 상기 동작 옵션은 우측방향으로 스위치(회전)된다. 또한, 상기 증가 제스쳐가 상기 서브 메뉴에서 동작하고 상기 기능 옵션들 중에서 하나가 선택되면, 증가 기능이 동작된다. 상기 증가 슬라이드 절차는 도 11에 도시된다.

4. 상기 감소 슬라이드 제스쳐(추가적으로 감소 제스쳐라고 함)는 상기 증가 제스쳐와 유사하게 동작된다. 상기 증가 제스쳐 및 상기 감소 제츠쳐 간의 차이점은 상기 스위치된(회전된) 방향과 그 양이 반대라는 점이다. 상기 감소 슬라이드 절차는 도 12에 도시된다.

5. 상기 클릭 제스쳐는 상기 메인 메뉴 및 상기 서브 메뉴 내에서 동작될 수 있다. 상기 클릭 제스쳐가 상기 메인 메뉴 내에서 동작하고 상기 기능 옵션 블록들 중 하나가 정확하게 선택되면, 상기 기능 선택 블록들의 선택은 유효하다. 상기 클 릭 제스쳐가 상기 서브 메뉴 내에서 동작하면 상기 동작 옵션은 활성화되고, 상기 클릭 제스쳐가 다시 동작하면 상기 동작 옵션은 다시 비활성화된다. 또한, 다른 동작 옵션이 선택될 때, 본 동작 옵션은 닫힌다. 따라서, 동일한 시점에서 상기 동작 옵션들 중 오직 하나만이 동작한다. 상기 클릭 절차는 도 13에 도시된다.

결과적으로, 본 발명은 다음과 같은 특징들을 갖는다.

1. 사용자의 피부색, 의복 및 장식품, 그리고 환경 배경의 복잡성은 본 발명의 제스쳐-기반의 리모컨 시스템을 동작하는 데에 제한 요소가 되지 않는다. 또한, 사용자들은 특정 색상이나 패턴을 갖는 물체들을 보유하거나, 휴대용 발광 기기를 소지하거나, 어떤 특별한 데이터 장갑들을 착용하거나, 특별한 제스쳐들에 의하여 동작하지 않고서도, 상기 비접촉식 마우스 장치를 수동으로 작동할 수 있다.

2. 종래의 TV 또는 디지털 TV가 다기능의 만능 리모컨을 갖출 수 있도록, 상기 제스쳐-기반의 리모컨 시스템이 제공된다. 상기 동작 메뉴들의 컨텐츠는 상기 TV의 모니터 상에 직접 디스플레이되고, 어떠한 물리적 리모컨들 없이 사용자의 제스쳐만을 사용하여 다양한 전자 기기들을 제어하기 위하여 상기 동작 메뉴들이 동작된다.

3. 상기 동작 메뉴들의 동작 위치가 상기 사용자에게 가까이 위치하기 때문에 상기 정의된 동작 옵션들은 쉽게 선택될 수 있다. 또한, 좌측방향 또는 우측방향 움직임과 같이, 단순한 팔 동작에 의하여, 동작 옵션들을 스위칭(회전)하거나, 상기 전방향 기능 키 및 후방향 기능 키를 전송하는 동작을 수행할 수 있다.

4. 더 많은 동작 옵션들을 포함하고 보다 사용자에게 친근하고 직관적일 수 있도록 상기 순환하는 메뉴가 채용될 수 있다.

5. 상기 과도하게 큰 움직임은 자동으로 필터링되어 부정확한 움직임을 배제할 수 있다.

본 발명의 바람직한 실시예를 참조하여 본 발명이 설명되었지만, 본 발명은 상기 상세한 설명에 국한되지 않는다는 점은 이해될 수 있을 것이다. 다양한 대체 및 변경이 전술한 상세한 설명에서 암시되어 있지만, 그 이외의 것들도 당업계에서 보통으로 숙련된 자라면 발견할 수 있을 것이다. 따라서, 이러한 대체 및 변경들은 첨부된 청구항에서 정의되는 발명의 범주 내에 포함되는 것으로 의도되어 있다.

도 1은 본 발명에 따른 제스쳐-기반의 리모컨 시스템의 블록도이다.

도 2는 이미지 차분(difference) 방법을 사용하는 구성도이다.

도 3은 복수의 분할 섹션들의 구성도이다.

도 4는 움직임 영역의 방향을 검색하는 구성도이다.

도 5는 양팔을 바깥으로 들어올리고 양팔을 상하로 물결치는(waving) 위치 제스쳐를 보여주는 정면도이다.

도 6은 사용자의 위치 및 모방 터치(imitated touched)된 키들의 대응되는 위치들을 보여주는 구성도이다.

도 7은 양팔을 전방으로 들어올리고 양팔을 좌우로 물결치는 취소 제스쳐를 보여주는 정면도이다.

도 8은 메뉴 절차를 실행하는 흐름도이다.

도 9는 위치 절차를 실행하는 흐름도이다.

도 10은 취소 절차를 실행하는 흐름도이다.

도 11은 증가 절차를 실행하는 흐름도이다.

도 12는 감소 절차를 실행하는 흐름도이다.

도 13은 클릭 절차를 실행하는 흐름도이다.

도 14는 제스쳐-기반의 리모컨 시스템을 실행하는 흐름도이다.

Claims (11)

1. 카메라 모듈(300);

   상기 카메라 모듈(300)에 전기적으로 연결되는 이미지 인식 모듈(100);

   상기 이미지 인식 모듈(100)에 전기적으로 연결되는 무선 송신기(400); 및

   모니터(202)를 가지며, 상기 이미지 인식 모듈(100)에 분리 가능하도록 연결되는 메인 제어 전자 기기(200)를 포함하며,

   모션 제어 명령은 상기 이미지 인식 모듈(100)을 갖는 카메라 모듈(300) 내에서 사용자의 이미지를 인식함으로써 얻어지고, 키 제어 명령은 상기 이미지 인식 모듈(100)에 의하여 상기 모션 제어 명령 및 키 코드 정보로부터 얻어지며, 상기 키 제어 명령은 상기 이미지 인식 모듈(100)에 의하여 상기 무선 송신기(400)로 전송되고, 상기 키 제어 명령은 피제어 전자 기기를 제어하기 위하여 상기 무선 송신기(400)에 의하여 상기 피제어 전자 기기로 전송되는, 제스쳐-기반의 리모컨 시스템.
2. 제1항에 있어서,

   상기 메인 제어 전자 기기(200)는 텔레비전인, 제스쳐-기반의 리모컨 시스템.
3. 제2항에 있어서,

   상기 텔레비전은 온-스크린 디스플레이(OSD, 204)를 갖는, 제스쳐-기반의 리모컨 시스템.
4. 제1항에 있어서,

   상기 피제어 전자 기기는 텔레비전, DVD 플레이어, 에어컨 또는 컴퓨터인, 제스쳐-기반의 리모컨 시스템.
5. 제1항에 있어서,

   상기 이미지 인식 모듈(100)은 EEPROM(112)을 더 포함하는, 제스쳐-기반의 리모컨 시스템.
6. 제1항에 있어서,

   상기 이미지 인식 모듈(100)에 전기적으로 연결되는 적외선 포트(500)를 더 포함하고,

   상기 이미지 인식 모듈(100)은 상기 피제어 전자 기기로부터 온 상기 키 코드 정보를 상기 적외선 포트(500)를 통하여 수신하는, 제스쳐-기반의 리모컨 시스템.
7. 제1항에 있어서,

   상기 키 제어 명령은 시작 명령, 취소 명령, 증가 명령, 감소 명령 및 클릭 명령을 포함하는, 제스쳐-기반의 리모컨 시스템.
8. 제1항에 있어서,

   상기 이미지 인식 모듈(100)은 상기 메인 제어 전자 기기(200)에 분리 가능하도록 연결되는, 제스쳐-기반의 리모컨 시스템.
9. 제8항에 있어서,

   상기 이미지 인식 모듈(100)은 직렬 포트를 통하여 상기 메인 제어 전자 기기(200)에 연결되는, 제스쳐-기반의 리모컨 시스템.
10. 제1항에 있어서, 상기 이미지 인식 모듈(100)은

    상기 카메라 모듈(300)에 전기적으로 연결되는 디지털 이미지 프로세서(102);

    상기 디지털 이미지 프로세서(102)에 전기적으로 연결되는 마이크로프로세서(104); 및

    상기 마이크로프로세서(104)에 전기적으로 연결되는 아날로그-to-디지털 변환기(114)를 포함하는, 제스쳐-기반의 리모컨 시스템.
11. 제1항에 있어서,

    상기 키 코드 정보는 상기 이미지 인식 모듈(100) 내에 저장되는, 제스쳐-기 반의 리모컨 시스템.

Images