KR20090027048A - 움직임을 인식하는 장치 및 방법 - Google Patents

움직임을 인식하는 장치 및 방법 Download PDF

Info

Publication number
KR20090027048A
KR20090027048A KR20070092224A KR20070092224A KR20090027048A KR 20090027048 A KR20090027048 A KR 20090027048A KR 20070092224 A KR20070092224 A KR 20070092224A KR 20070092224 A KR20070092224 A KR 20070092224A KR 20090027048 A KR20090027048 A KR 20090027048A
Authority
KR
South Korea
Prior art keywords
trajectory
movement
motion
contact
error
Prior art date
Application number
KR20070092224A
Other languages
English (en)
Other versions
KR101472842B1 (ko
Inventor
방원철
조성일
소병석
최은석
조성정
김연배
김규용
최상언
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020070092224A priority Critical patent/KR101472842B1/ko
Priority to US12/076,015 priority patent/US8965729B2/en
Publication of KR20090027048A publication Critical patent/KR20090027048A/ko
Application granted granted Critical
Publication of KR101472842B1 publication Critical patent/KR101472842B1/ko
Priority to US14/591,358 priority patent/US20150123903A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G06F3/0317—Detection arrangements using opto-electronic means in co-operation with a patterned surface, e.g. absolute position or relative movement detection for an optical mouse or pen positioned with respect to a coded surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545—Pens or stylus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/22—Character recognition characterised by the type of writing
    • G06V30/228—Character recognition characterised by the type of writing of three-dimensional handwriting, e.g. writing in the air

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Position Input By Displaying (AREA)

Abstract

본 발명은 움직임을 인식하는 장치 및 방법에 관한 것으로서, 광 센서와 관성 센서를 통하여 입력된 움직임을 이용하여 포인팅과 문자 입력 기능을 수행하는 움직임을 인식하는 장치 및 방법에 관한 것이다.
본 발명의 실시예에 따른 움직임을 인식하는 장치는 입력된 움직임에 따라 발생된 가속도 및 각속도 중 적어도 하나를 이용하여 제 1 움직임을 감지하는 관성 센서와, 상기 움직임에 따른 빛의 반사를 이용하여 제 2 움직임을 감지하는 광 센서와, 상기 제 1 움직임의 궤적과 상기 제 2 움직임의 궤적을 참조하여 상기 움직임의 궤적을 산출하는 궤적 산출부 및 상기 산출된 움직임의 궤적을 송신하는 통신부를 포함한다.
광 센서, 관성 센서, 포인팅, 궤적, 문자

Description

움직임을 인식하는 장치 및 방법{Apparatus and method for recognizing moving signal}
본 발명은 움직임을 인식하는 장치 및 방법에 관한 것으로서, 더욱 상세하게는 광 센서와 관성 센서를 통하여 입력된 움직임을 이용하여 포인팅과 문자 입력 기능을 수행하는 움직임을 인식하는 장치 및 방법에 관한 것이다.
최근의 TV(Television)는 사진, 음악, 동영상 등을 저장한 메모리 장치를 직접 연결하여 TV 화면에서 멀티미디어 컨텐츠를 감상할 수 있도록 하고 있고, IPTV(Internet Protocol Television)에서는 기존의 방송 채널 이외에 인터넷 기반의 다양한 메뉴와 컨텐츠를 제공하고 있어 PC(Personal Computer)에서나 사용하던 입력 수단인 키보드와 마우스를 점차 필요로 하고 있다. 이를 위하여 자이로(gyro)를 이용한 포인팅 장치인 공중 마우스가 거실형 PC용에서 TV용으로 활용 범위를 넓혀 가고 있다.
그러나, IPTV에서 컨텐츠 또는 웹을 검색할 때 반드시 필요로 하는 문자 입력 수단은 리모컨과 별도로 키보드를 추가하는 형태, 휴대폰의 문자 입력 자판을 리모컨에 추가하는 형태, 또는 화면에 나타난 키보드 자판을 공중 마우스로 선택하 는 방식이 존재한다. TV가 아닌 PC에서의 문자 입력 수단으로는 광 마우스를 펜형으로 만들어 필기면에서의 움직임 궤적을 문자로 변환하는 방식, 특수 패드 위에서 움직이는 펜의 절대 위치를 이용하는 방식 및 초음파와 적외선으로 펜의 움직임을 인식하는 방식 등이 있다.
여기서, 문자 입력을 위하여 키보드를 추가로 구비하는 경우 거실 환경에 적합하지 않고, 키보드를 사용하는 자세 또한 편안한 시청 자세를 방해할 수 있고, 휴대폰 자판 형태로 리모컨에 자판 버튼을 추가로 구비하는 경우 사용자 층이 매우 넓은 TV의 사용자 중에 휴대폰 자판에 익숙하지 않아 문자 입력이 번거로울 수 있으며, 화면에 나타난 키보드 자판을 마우스 포인터로 선택하는 방식의 경우 사용자가 화면상의 자판을 신속히 선택하기 어렵다는 점에서 비효율적이다. 또한, 펜형 광 마우스를 이용하여 필기면에서의 움직임 궤적을 문자로 변환하는 방식의 경우 획간 이동을 위하여 펜팁이 필기면에서 분리되는 경우 이에 대한 궤적 산출이 어렵고, 특수 패드를 이용하여 펜의 절대 위치를 이용하는 방식은 특수 패드가 항상 구비되어야 하는 단점이 존재하며, 초음파와 적외선으로 펜의 움직임을 인식하는 방식은 펜과 움직임 인식 장치간의 거리의 제한 사항이 존재한다.
따라서, 마우스 포인팅의 기능을 제공하면서 효과적인 문자 입력을 가능하게 하는 발명의 등장이 요구된다.
본 발명은 광 센서와 관성 센서를 통하여 움직임을 입력 받음으로써 포인팅 기능과 함께 문자 입력의 기능을 제공하는데 그 목적이 있다.
또한, 본 발명은 광 센서와 관성 센서를 통하여 각각 입력된 움직임을 비교하여 관성 센서에서 발생할 수 있는 오프셋(offset)의 표류(drift)를 보상하는데 그 목적이 있다.
본 발명의 목적들은 이상에서 언급한 목적들로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해되어질 수 있을 것이다.
상기 목적을 달성하기 위하여, 본 발명의 실시예에 따른 움직임을 인식하는 장치는 입력된 움직임에 따라 발생된 가속도 및 각속도 중 적어도 하나를 이용하여 제 1 움직임을 감지하는 관성 센서와, 상기 움직임에 따른 빛의 반사를 이용하여 제 2 움직임을 감지하는 광 센서와, 상기 제 1 움직임의 궤적과 상기 제 2 움직임의 궤적을 참조하여 상기 움직임의 궤적을 산출하는 궤적 산출부 및 상기 산출된 움직임의 궤적을 송신하는 통신부를 포함한다.
본 발명의 실시예에 따른 포인터 제어 장치는 관성 센서에 의하여 감지된 제 1 움직임 및 광 센서에 의하여 감지된 제 2 움직임 중 적어도 하나를 수신하는 수신부 및 상기 제 1 움직임의 궤적을 산출하거나 상기 제 2 움직임의 궤적을 상기 제 1 움직임의 궤적에 적용하여 오차가 보상된 상기 제 1 움직임의 궤적을 산출하는 궤적 산출부를 포함한다.
본 발명의 실시예에 따른 움직임을 인식하는 방법은 입력된 움직임에 따라 발생된 가속도 및 각속도 중 적어도 하나를 이용하여 제 1 움직임을 감지하는 단계와, 상기 움직임에 따른 빛의 반사를 이용하여 제 2 움직임을 감지하는 단계와, 상기 제 1 움직임의 궤적과 상기 제 2 움직임의 궤적을 참조하여 상기 움직임의 궤적을 산출하는 단계 및 상기 산출된 움직임의 궤적을 송신하는 단계를 포함한다.
본 발명의 실시예에 따른 포인터 제어 방법은 관성 센서에 의하여 감지된 제 1 움직임 및 광 센서에 의하여 감지된 제 2 움직임 중 적어도 하나를 수신하는 단계 및 상기 제 1 움직임의 궤적을 산출하거나 상기 제 2 움직임의 궤적을 상기 제 1 움직임의 궤적에 적용하여 오차가 보상된 상기 제 1 움직임의 궤적을 산출하는 단계를 포함한다.
기타 실시예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
상기한 바와 같은 본 발명의 움직임을 인식하는 장치 및 방법에 따르면 다음과 같은 효과가 하나 혹은 그 이상 있다.
첫째, 광 센서와 관성 센서를 통하여 움직임을 입력 받음으로써 포인팅 기능과 함께 문자 입력의 기능을 동시에 제공하는 장점이 있다.
둘째, 광 센서와 관성 센서를 통하여 각각 입력된 움직임을 비교하여 관성 센서에서 발생할 수 있는 오프셋(offset)의 표류(drift)를 보상함으로써 오프셋의 표류에 의한 오차를 방지하는 장점도 있다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명하기로 한다.
도 1은 본 발명의 실시예에 따른 움직임을 인식하는 시스템을 나타낸 도면으로서, 움직임을 인식하는 시스템은 움직임을 인식하는 장치(이하, 움직임 인식 장치라 한다)(300), 포인터 제어 장치(400) 및 디스플레이 장치(500)를 포함하여 구성된다.
포인터 제어 장치(400)는 그래픽 객체(110) 및 마우스 포인터(100)를 생성하고, 움직임 인식 장치(300)로부터 수신한 제어 신호에 따라 마우스 포인터(100)의 좌표를 변경하는 역할을 한다.
여기서, 포인터 제어 장치(400)로는 중앙 처리 장치(Central Processing Unit)가 내장된 개인용 컴퓨터(Personal Computer)가 이용될 수 있다. 이에 따라, 사용자는 포인터 제어 장치(400)에 연결된 마우스(120)를 이용하여 마우스 포인터(100)의 움직임을 제어하고, 마우스(120)에 포함된 버튼을 이용하여 드래그-앤-드롭(Drag and Drop)으로 그래픽 객체(110)의 움직임을 제어할 수도 있다.
사용자는 움직임 인식 장치(300)를 이용하여 디스플레이 장치(500)에 구비된 디스플레이부(520)의 소정 지점을 포인팅할 수 있는데 이 때, 움직임 인식 장치(300)는 포인터 제어 장치(400)와 무선 또는 유선으로 서로 통신하여 포인터(100)의 움직임을 위한 제어 신호를 송신한다. 다시 말해, 사용자가 움직임 인식 장치(300)에 움직임을 가하면 움직임 인식 장치(300) 내부에 구비된 움직임 센서가 이를 감지하고, 감지된 움직임에 대한 정보가 포함된 신호가 포인터 제어 장치(400)로 송신되는 것이다. 여기서, 움직임에 대한 정보는 감지된 움직임이거나 감지된 움직임의 궤적일 수 있다.
여기서, 움직임 인식 장치(300)에 구비된 버튼에 의한 제어 신호가 포인터 제어 장치(400)로 송신된 경우 포인터 제어 장치(400)는 마우스(120)의 버튼 선택 이벤트(Button Down Event)를 발생하여 그래픽 객체(110)에 대한 드래그-앤-드롭을 수행할 수도 있다.
도 2는 본 발명의 다른 실시예에 따른 움직임을 인식하는 시스템을 나타낸 도면으로서, 움직임 인식 장치(300)에 의하여 감지된 움직임에 대응하는 문자가 디스플레이부(520)에 표시되는 것을 나타낸 도면이다.
사용자가 움직임 인식 장치(300)를 외부 물체면(220)에 접촉시킨 상태로 움 직임을 가하면, 감지된 움직임은 문자로 변환되어 디스플레이부(520)에 표시되는 것이다. 여기서, 움직임을 문자로 변환하는 것은 움직임 인식 장치(300)에 의하여 수행되거나 포인터 제어 장치(400)에 의하여 수행될 수도 있다.
문자로 변환하기 위한 움직임을 감지하기 위하여 움직임 인식 장치(300)는 광 센서와 관성 센서를 구비할 수 있다. 여기서, 관성 센서는 도 1에 도시된 바와 같이 마우스 포인터(100)의 움직임을 제어하기 위한 움직임을 입력받는 데에 이용될 수 있다.
그리고, 광 센서는 외부 물체면(220)으로부터 반사된 빛을 이용하여 문자 변환을 위한 움직임을 입력받는 데에 이용될 수 있다.
한편, 광 센서는 외부 물체면(220)에 접촉된 상태에서는 움직임 인식 장치(300)의 움직임을 감지할 수 있지만, 외부 물체면(220)에서 분리된 상태에서는 움직임 인식 장치(300)의 움직임을 효과적으로 감지할 수 없거나 전혀 감지하지 못할 수도 있다.
따라서, 광 센서가 외부 물체면(220)과 분리된 상태에서의 움직임을 감지하고 이것이 문자 변환에 이용되는 것이 바람직한데, 본 발명에서 관성 센서는 광 센서가 외부 물체면(220)과 분리된 상태에서의 움직임을 감지하는 역할을 한다.
한편, 관성 센서는 일반적으로 오프셋(offset)의 표류(drift)에 의한 오차가 발생할 수 있는데, 이 오차가 반영된 상태에서 관성 센서에 의하여 감지된 움직임으로는 올바른 문자 변환이 수행되지 않을 수도 있다.
이에 따라, 본 발명에서 움직임 인식 장치(300)는 광 센서가 외부 물 체 면(220)과 접촉된 상태에서 광 센서에 의한 움직임과 관성 센서에 의한 움직임을 비교하여 오프셋의 표류에 의한 오차를 추정하고, 추정된 오차를 광 센서가 외부 물체면(220)과 분리된 상태에서의 관성 센서에 의한 움직임에 반영하여 오차를 보상한다.
도 3은 본 발명의 실시예에 따른 움직임을 인식하는 장치를 나타낸 블록도로서, 움직임 인식 장치(300)는 관성 센서(310), 광 센서(320), 궤적 산출부(330), 모드 입력부(340), 제어부(350), 접촉 센서(360), 저장부(370), 문자 추출부(380) 및 통신부(390)를 포함하여 구성된다.
관성 센서(Inertial Sensor)(310)는 가속도 또는 각속도에 의해 발생되는 질량체의 관성력을 질량체에 연결된 탄성 구조물의 변형으로 표시한 후 적절한 감지 및 신호 처리 기법을 이용하여 구조물의 변형을 전기적인 신호로 표시하는 것으로서, 본 발명의 관성 센서(310)는 움직임 인식 장치(300)에 가해진 움직임을 감지하는 역할을 한다.
즉, 관성 센서(310)는 움직임 인식 장치(300)로 실제 입력된 움직임에 따라 발생된 가속도 및 각속도 중 적어도 하나를 이용하여 실제 입력된 움직임에 대한 추정된 움직임(이하, 제 1 움직임이라 한다)을 감지하는 것이다.
관성 센서(310)에 의해 감지되는 동작은 직선 또는 곡선인 2차원적인 동작뿐만 아니라, 직선 및 곡선의 조합으로 구성된 3차원적인 동작도 포함될 수 있다. 다시 말해, 2차원 또는 3차원적인 하나의 기본 동작에 대해 일련의 전기적인 신호가 생성되는 것으로서, 사용자는 복수 개의 기본 동작을 조합하여 자신이 원하는 동작 을 생성할 수 있다.
광 센서(320)는 빛의 반사를 이용하여 움직임 인식 장치(300)의 움직임을 감지하는 역할을 한다. 예를 들어, 광 마우스는 밑 면에 빛을 비스듬히 조사하는 LED(Light Emitting Diode)와 조사된 빛에 의해 바닥 면에 생긴 그림자를 광 센서 어레이(Array)(320)인 CCD (Charge Coupled Device) 또는 CIS (CMOS Image Sensor)로 감지하여 광 마우스의 움직임을 감지한다. 그러나, 이러한 광 마우스는 바닥면과 떨어지게 되면 광 센서(320)에 맺히는 초점이 맞지 않아 더 이상 움직임을 감지할 수 없게 된다. 이하, 광 센서(320)에 의하여 감지되는 움직임을 제 2 움직임이라 한다.
궤적 산출부(330)는 제 1 움직임의 궤적과 제 2 움직임의 궤적을 참조하여 움직임 인식 장치(300)로 입력된 움직임의 궤적을 산출하는 역할을 한다. 이를 위하여, 궤적 산출부(330)는 포인팅 궤적 산출부(331), 획 궤적 산출부(332) 및 획간 이동 궤적 산출부(333)를 포함하여 구성된다.
포인팅 궤적 산출부(331)는 관성 센서(310)에 의하여 감지된 제 1 움직임의 궤적을 산출하는 역할을 한다. 포인팅 궤적 산출부(331)에 의하여 산출된 제 1 움직임의 궤적(이하, 포인팅 궤적이라 한다)은 통신부(390)를 통하여 송신되어 마우스 포인터(100)의 움직임 제어에 이용될 수 있다.
획 궤적 산출부(332)는 광 센서(320)에 의하여 감지된 제 2 움직임 중 외부 물체면과 접촉된 상태에서의 움직임에 대한 궤적(이하, 제 2 접촉 궤적이라 한다)을 산출하는 역할을 한다. 외부 물체면과의 접촉 여부를 확인하기 위하여 움직임 인식 장치(300)에는 접촉 센서(360)가 구비될 수 있다. 또한, 획 궤적 산출부(332)는 관성 센서(310)에 의하여 감지된 제 1 움직임 중 외부 물체면과 접촉된 상태에서의 움직임에 대한 궤적을 산출하는데, 이하 이를 제 1 접촉 궤적이라 한다.
접촉 센서(360)에 의하여 감지된 접촉 감지 여부 결과는 제어부(350)로 전달되고, 제어부(350)의 제어 명령에 따라 획 궤적 산출부(332)는 제 2 접촉 궤적을 산출하는 것이다.
획간 이동 궤적 산출부(333)는 움직임 인식 장치(300)가 외부 물체면과 분리된 상태에서의 움직임에 대한 궤적을 산출하는 역할을 한다. 접촉 센서(360)에 의하여 감지된 접촉 감지 여부 결과가 제어부(350)로 전달되면, 제어부(350)의 제어 명령에 따라 획간 이동 궤적 산출부(333)는 분리 상태에서의 움직임 궤적(이하, 분리 궤적이라 한다)을 산출하는 것이다.
여기서, 분리 궤적을 산출하기 위하여 이용되는 움직임으로는 제 1 움직임 및 제 2 움직임 중 적어도 하나가 이용될 수 있는데, 광 센서(320)에 의하여 감지되는 제 2 움직임은 분리 상태에서 올바르게 감지되지 않을 수 있으므로 관성 센서(310)에 의하여 감지되는 제 1 움직임이 이용되는 것이 바람직하다. 이하, 분리 궤적은 움직임 인식 장치(300)가 외부 물체면과 분리된 상태에서 관성 센서(310)에 의하여 감지된 움직임에 대한 궤적을 의미한다.
한편, 전술한 바와 같이 관성 센서(310)에는 오프셋의 표류에 의한 오차가 항상 존재하는 것으로 가정할 수 있는데, 이에 따라 접촉 상태에서 산출된 제 2 접촉 궤적과 분리 상태에서 산출된 분리 궤적간에는 스케일의 차이가 존재할 수 있 다.
본 발명의 획간 이동 궤적 산출부(333)는 제 1 접촉 궤적 및 제 2 접촉 궤적을 이용하여 오차가 보상된 분리 궤적을 산출할 수 있다. 즉, 제 1 접촉 궤적과 제 2 접촉 궤적을 이용하여 오프셋의 표류에 의한 오차를 추정하고 추정된 오차를 분리 궤적에 적용하는 것으로서, 제 1 접촉 궤적과 제 2 접촉 궤적간의 차이를 분리 궤적에 적용하여 관성 센서(310)에서 발생하는 오차가 보상된 분리 궤적을 산출하는 것이다.
결국, 입력된 움직임에 따른 궤적은 분리 궤적과 제 2 접촉 궤적을 포함하여 구성되는 것이다.
모드 입력부(340)는 움직임 인식 장치(300)의 모드를 입력받는 역할을 한다. 움직임 인식 장치(300)는 포인팅 장치 또는 문자 인식 장치로 이용될 수 있는데, 모드 입력부(340)는 이에 대한 선택 명령을 입력받는 것이다. 모드 입력부(340)가 포인팅 모드의 선택 명령을 입력받은 경우 포인팅 궤적 산출부(331)는 관성 센서(310)로부터 전달받은 제 1 움직임에 대한 궤적(포인팅 궤적)을 산출하고, 통신부(390)는 이를 송신함으로써 마우스 포인터(100)의 움직임이 제어되도록 한다.
그리고, 모드 입력부(340)가 문자 인식 모드의 선택 명령을 입력받은 경우 궤적 산출부(330)는 관성 센서(310) 및 광 센서(320)로부터 전달받은 제 1 움직임 및 제 2 움직임을 이용하여 제 2 접촉 궤적 및 오차가 보상된 분리 궤적을 산출하고, 통신부(390)는 이를 송신함으로써 디스플레이 장치(500)에 문자가 디스플레이되도록 한다.
한편, 움직임 인식 장치(300)에는 문자 추출부(380) 및 저장부(370)가 구비될 수 있는데, 궤적 산출부(330)에 의하여 산출된 제 2 접촉 궤적 및 오차가 보상된 분리 궤적의 조합을 전달받은 문자 추출부(380)는 전달받은 궤적의 조합에 대응하는 문자를 저장부(370)에서 추출할 수 있다. 이 때, 통신부(390)는 움직임의 궤적이 아니라 문자를 송신하는 것이다.
저장부(370)는 하드 디스크, 플래시 메모리, CF 카드(Compact Flash Card), SD 카드(Secure Digital Card), SM 카드(Smart Media Card), MMC(Multimedia Card) 또는 메모리 스틱(Memory Stick) 등 정보의 입출력이 가능한 모듈로서 움직임 인식 장치(300)의 내부에 구비되어 있을 수도 있고, 별도의 장치에 구비되어 있을 수도 있다. 여기서, 저장부(370)가 별도의 장치에 구비된 경우 통신부(390)는 별도의 장치와 통신하여 움직임 궤적을 송신하고 대응하는 문자를 수신할 수 있다.
제어부(350)는 관성 센서(310), 광 센서(320), 궤적 산출부(330), 모드 입력부(340), 접촉 센서(360), 저장부(370), 문자 추출부(380), 통신부(390) 및 움직임 인식 장치(300)의 전반적인 제어를 수행한다.
도 4는 본 발명의 실시예에 따른 포인터 제어 장치를 나타낸 블록도로서, 포인터 제어 장치(400)는 수신부(410), 좌표 결정부(420), 판단부(430), 궤적 산출부(440), 문자 추출부(450), 저장부(460) 및 송신부(470)를 포함하여 구성된다.
도 1 내지 도 2를 통하여 전술한 바와 같이, 포인터 제어 장치(400)는 움직임 인식 장치(300)로부터 움직임에 대한 정보(이하, 움직임 정보라 한다)를 수신하여 포인터(100)의 좌표를 결정하거나 문자 변환을 수행한다.
포인터의 좌표 결정 또는 문자 변환을 위하여, 포인터 제어 장치(400)의 수신부(410)는 움직임 인식 장치(300)로부터 움직임 정보를 수신한다.
수신된 움직임 정보는 판단부(430)로 전달되고, 판단부(430)는 전달받은 움직임 정보의 종류를 판단한다. 움직임 정보에는 포인터 제어를 위한 움직임 또는 해당 움직임의 궤적, 문자 변환을 위한 움직임 또는 해당 움직임의 궤적 및 문자가 포함된다.
즉, 수신된 움직임 정보가 포인터 제어를 위한 움직임 궤적인 경우 이는 좌표 결정부(420)로 전달되고, 수신된 움직임 정보가 문자 변환을 위한 움직임 궤적인 경우 이는 문자 추출부(450)로 전달되며, 수신된 움직임 정보가 문자인 경우 이는 곧바로 송신부(470)를 통하여 송신된다.
좌표 결정부(420)는 디스플레이 장치(500)의 디스플레이 영역상에 디스플레이되는 포인터(100)의 좌표를 결정하는 역할을 한다. 즉, 현재의 포인터(100)의 위치에 수신된 움직임 정보에 따른 변위를 적용하여 포인터(100)의 절대 좌표를 산출하는 것이다.
결정된 포인터(100)의 좌표에 따라 디스플레이 영역상에 포인터(100)가 매핑되고, 이에 대한 영상 신호가 송신부(470)를 통하여 디스플레이 장치(500)로 전달된다.
한편, 포인터 제어 장치(400)에 디스플레이부(미도시)가 구비된 경우 좌표 결정부(420)에 의하여 결정된 포인터(100)의 좌표에 따라 포인터 제어 장치(400)의 디스플레이부의 디스플레이 영역에 포인터(100)가 디스플레이될 수 있다.
여기서, 움직임 인식 장치(300)의 통신부(390) 및 포인터 제어 장치(400)의 수신부(410)간의 통신 방식으로는 이더넷, USB, IEEE 1394, 직렬 통신(serial communication) 및 병렬 통신(parallel communication)과 같은 유선 통신 방식이 사용될 수 있으며, 적외선 통신, 블루투스, 홈 RF 및 무선 랜과 같은 무선 통신 방식이 사용될 수도 있다.
수신부(410)가 움직임 인식 장치(300)로부터 움직임 궤적이 아닌 움직임(포인터 제어를 위한 움직임 또는 문자 변환을 위한 움직임)을 수신한 경우, 이 때의 움직임은 궤적 산출부(440)로 전달된다. 여기서, 움직임은 관성 센서(310)에 의한 제 1 움직임 및 광 센서(320)에 의한 제 2 움직임을 포함한다.
궤적 산출부(440)의 포인팅 궤적 산출부(441)는 포인팅 궤적을 산출하고, 획 궤적 산출부(442)는 관성 센서(310) 및 광 센서(320)에 의하여 감지된 움직임 중 움직임 인식 장치(300)가 외부 물체면과 접촉된 상태에서의 움직임에 대한 궤적(제 1 접촉 궤적, 제 2 접촉 궤적)을 산출하며, 획간 이동 궤적 산출부(443)는 움직임 인식 장치(300)가 외부 물체면과 분리된 상태에서의 움직임에 대한 궤적(분리 궤적)을 산출한다.
여기서, 획간 이동 궤적 산출부(443)는 제 1 접촉 궤적과 제 2 접촉 궤적을 이용하여 오프셋의 표류에 의한 오차를 추정하고, 추정된 오차를 분리 궤적에 적용하여 오차가 보상된 분리 궤적을 산출하는데, 포인터 제어 장치(400)의 궤적 산출부(440)의 역할은 움직임 인식 장치(300)의 궤적 산출부(330)의 역할과 유사하므로 자세한 설명은 생략하기로 한다.
또한, 수신부(410)가 움직임 궤적이 아닌 움직임을 수신한 경우, 좌표 결정부(420)는 궤적 산출부(440)에 의하여 산출된 궤적을 이용하여 포인터의 좌표를 결정할 수 있다.
도 4에 도시된 바와 같이 포인터 제어 장치(400)에는 문자 추출부(450) 및 저장부(460)가 구비될 수 있는데, 움직임 인식 장치(300)로부터 문자 변환을 위한 궤적이 수신되거나 궤적 산출부(330)에 의하여 궤적이 산출된 경우 판단부(430)는 문자 추출부(450)로 하여금 해당 궤적에 대한 문자를 저장부(460)에서 추출하도록 하고, 움직임 인식 장치(300)로부터 문자가 수신된 경우 판단부(430)는 수신한 문자를 영상으로 변환하여 송신부(470)를 통하여 곧바로 디스플레이 장치(500)로 송신하여 디스플레이되도록 할 수 있다.
포인터 또는 문자에 대한 영상을 생성하기 위한 영상 생성부(미도시)가 포인터 제어 장치(400)에 구비될 수 있다.
도 5는 본 발명의 실시예에 따른 디스플레이 장치를 나타낸 블록도로서, 디스플레이 장치(500)는 수신부(510) 및 디스플레이부(520)를 포함하여 구성된다.
수신부(510)는 좌표상에 매핑된 포인터의 영상 또는 문자 영상을 수신하는 역할을 한다.
그리고, 수신된 영상은 디스플레이부(520)로 전달되고, 디스플레이부(520)는 영상을 디스플레이한다. 디스플레이부(520)는 입력된 영상 신호를 디스플레이할 수 있는 음극선관(CRT, Cathode Ray Tube), 액정 화면(LCD, Liquid Crystal Display), 발광 다이오드(LED, Light-Emitting Diode), 유기 발광 다이오드(OLED, Organic Light-Emitting Diode) 또는 플라즈마 디스플레이(PDP, Plasma Display Panel) 등의 영상 표시 수단이 구비된 모듈로서 전달 받은 영상 정보를 디스플레이하는 역할을 한다.
한편, 도 4 및 도 5는 포인터 제어 장치(400)와 디스플레이 장치(500)가 분리된 것으로 도시되어 있으나 하나의 장치로 구현될 수도 있음은 물론이다.
도 6은 본 발명의 실시예에 따라 감지된 움직임에 대응하는 문자의 궤적을 나타낸 도면이다.
사용자는 움직임 인식 장치(300)에 움직임을 가하여 도 6에 도시된 바와 같은 문자 A를 입력할 수 있다.
일반적으로 문자 A는 3개의 직선으로 구성되는데 도 6에서 a와 b를 잇는 직선(610), c와 d를 잇는 직선(630), a와 e를 잇는 직선(620)이 그것이다. 한편, 하나의 획을 입력한 이후 사용자는 다음 획을 입력하기 위하여 문자의 형태와는 관계없는 움직임을 입력하게 되는데 도 6에서는 b에서 a로 이동하는 구간과 e에서 c로 이동하는 구간이 그것이다.
a와 b를 잇는 구간, c와 d를 잇는 구간, a와 e를 잇는 구간은 접촉 구간으로서 움직임 인식 장치(300)가 외부 물체면에 접촉된 상태에서 감지된 움직임에 따른 구간이고, b와 a를 잇는 구간, e와 c를 잇는 구간은 움직임 인식 장치(300)가 외부 물체면과 분리된 상태에서 감지된 움직임에 따른 구간이다.
본 발명에서 전체 움직임에 대한 궤적으로서 접촉 구간에서 산출되는 움직임 궤적은 광 센서(320)에 의하여 감지된 움직임에 따른 궤적이 이용된다. 한편, 분리 구간에서는 광 센서(320)에 의하여 움직임이 올바르게 감지되지 않으므로 관성 센서(310)에 의하여 감지된 움직임에 따른 궤적이 이용된다.
도 7은 본 발명의 실시예에 따른 획 궤적 구간과 획간 이동 궤적 구간을 나타낸 도면으로서, 여기서 획 궤적 구간(710, 730)은 접촉 구간으로서 실제 문자의 일부를 구성하는 움직임이 입력되는 구간이고, 획간 이동 궤적 구간(720)은 분리 구간으로서 실제 문자의 일부는 아니지만 하나의 획의 마지막 지점에서 다른 획의 시작 지점까지 이동하기 위한 움직임이 입력되는 구간이다.
도 7에서는 획 궤적 구간(710, 730)과 획간 이동 궤적 구간(720)에서 움직임 인식 장치(300)와 외부 물체면과의 거리를 시간의 흐름에 따른 그래프(700)로 나타내고 있는데, 제 1 획 궤적 구간(710)에서 움직임 인식 장치(300)와 외부 물체면과의 거리는 0이고, 획간 이동 궤적 구간(720)으로 진입함에 따라 그 거리가 점차 커지다가 다시 작아지면서 제 2 획 궤적 구간(730)에서 움직임 인식 장치(300)와 외부 물체면과의 거리가 다시 0이 되는 것을 알 수 있다.
획간 이동 궤적 구간(720)에서도 광 센서(320)가 움직임을 전혀 감지하지 못하는 것이 아니라 움직임 인식 장치(300)와 외부 물체면과의 거리에 따라 움직임 감지의 감도가 달라지는 것으로서, 그 거리가 임계 거리(750)를 초과하는 구간인 D2 구간(722)에서는 전혀 움직임이 감지되지 않지만, 임계 거리(750) 미만인 구간인 D1 구간(721) 및 D3 구간(723)에서는 광 센서(320)에 의하여 어느 정도 움직임이 감지될 수도 있다.
획간 이동 궤적 구간(720)에서의 광 센서(320)에 의한 이와 같은 불완전한 움직임 감지에 따라 도 6의 문자를 구성하기 위하여 입력된 움직임은 도 8에 도시된 바와 같이 불완전한 문자의 형태로 인식될 수 있다.
즉, b지점에서 a지점으로의 획간 이동이 불완전하게 수행됨에 따라 두 번째 획의 시작이 a지점이 아닌 a1지점(810)으로 매핑되고, 세 번째 획의 시작이 c지점이 아닌 c1지점(820)으로 매핑되는 것이다.
이에 따라, 획간 이동 궤적 구간(720)에서는 관성 센서(310)에 의하여 감지된 움직임을 이용하여 궤적을 산출하는 것이 바람직한데, 전술한 바와 같이 관성 센서(310)에는 오프셋의 표류에 의한 오차가 존재하는 것으로 간주될 수 있다. 도 9는 이를 나타낸 도면으로서, 관성 센서(310) 중 가속도 센서에 의하여 감지된 움직임에 오프셋의 표류에 의한 오차가 포함되어 있는 경우의 속도 및 위치를 나타낸다.
즉, 입력된 움직임에 따른 가속도의 이상적인 궤적으로서 910과 같은 그래프가 형성되는 경우 이에 따른 속도 그래프는 920과 같이 형성되고, 이에 따른 위치 그래프는 930과 같이 형성될 수 있다.
그러나, 오프셋의 표류에 의한 오차가 포함된 가속도 그래프가 915와 같은 경우 이에 따른 속도 그래프는 925와 같이 형성되고, 이에 따른 위치 그래프는 935와 같이 형성된다.
다시 말해, 가속도를 속도로 변환하고 이를 다시 위치로 변환하기 위하여 적분을 수행하여야 하는데, 최초 가속도 그래프에 미량의 오차가 포함되어 있다고 하더라도 적분이 진행됨에 따라 결국 위치 그래프는 최초 의도했던 그래프와는 상당 한 차이가 발생한 상태로 그 형태가 결정되는 것이다.
이를 위하여, 본 발명의 획간 이동 궤적 산출부(333 또는 443)는 획간 이동 궤적 구간(720) 이전에 위치하는 획 궤적 구간(710)에서 광 센서(320)에 의하여 감지된 움직임에 따른 궤적(제 2 접촉 궤적)과 관성 센서(310)에 의하여 감지된 움직임에 따른 궤적(제 1 접촉 궤적)을 비교하여 추정된 오프셋의 표류에 의한 오차를 획간 이동 궤적 구간(720)에서 관성 센서(310)에 의하여 감지된 움직임에 따른 궤적(분리 궤적)에 적용함으로써, 획간 이동 궤적의 오차를 방지한다. 여기서, 관성 센서(310)와 광 센서(320)에 의하여 감지된 움직임에 따른 궤적의 비교는 획 궤적 산출부(332 또는 442)에 의하여 수행될 수 있다.
도 10은 본 발명의 실시예에 따라 움직임을 인식하는 과정을 나타낸 흐름도이다.
움직임을 인식하기 위하여 움직임 인식 장치(300)의 모드 입력부(340)는 모드를 입력받는다(S1010). 그리고, 제어부(350)는 입력된 모드를 판단하는데(S1020), 선택된 모드가 포인팅 모드인 경우 관성 센서(310)는 입력된 움직임에 따라 발생된 가속도 및 각속도 중 적어도 하나를 이용하여 움직임을 감지한다(S1030).
관성 센서(310)에 의하여 감지된 움직임은 궤적 산출부(330)로 전달되고, 궤적 산출부(330)의 포인팅 궤적 산출부(331)는 전달받은 움직임에 따른 궤적을 산출한다(S1040). 그리고, 산출된 포인팅 궤적은 통신부(390)를 통하여 포인터 제어 장치(400)로 송신된다(S1050).
한편, 선택된 모드가 문자 인식 모드인 경우 광 센서(320) 및 관성 센서(310)는 각각 입력된 움직임을 감지한다(S1060).
접촉 센서(360)는 지속적으로 움직임 인식 장치(300)가 외부 물체면과 접촉하여 있는지 여부를 확인하여 제어부(350)로 통보하고 제어부(350)는 접촉 여부를 판단하는데(S1070), 접촉 센서(360)에 의하여 확인된 접촉 여부 결과에 따라 접촉 구간인 경우 획 궤적 산출부(332)는 획 궤적 구간(710, 730)에 관성 센서(310)로부터 전달받은 움직임에 대한 궤적(제 1 접촉 궤적) 및 광 센서(320)로부터 전달받은 움직임에 대한 궤적(제 2 접촉 궤적)을 산출하고, 제 1 접촉 궤적과 제 2 접촉 궤적간의 차이를 산출한다(S1075).
그리고, 분리 구간인 경우 획간 이동 궤적 산출부(333)는 제 1 접촉 궤적과 제 2 접촉 궤적간의 차이를 획간 이동 궤적 구간(720)에 관성 센서(310)에 의하여 감지된 움직임(제 1 움직임)에 대한 궤적(분리 궤적)에 적용한다(S1080).
궤적 산출부(330)에 의하여 산출된 제 2 접촉 궤적 및 오차가 보상된 분리 궤적은 문자 추출부(380)로 전달되고, 문자 추출부(380)는 전달받은 궤적의 조합에 대응하는 문자를 저장부(370)에서 추출한다(S1090).
그리고, 추출된 문자는 통신부(390)를 통하여 포인터 제어 장치(400)로 송신되고(S1100), 포인터 제어 장치(400)는 수신한 문자에 대한 영상을 생성하여 디스플레이 장치(500)상에서 디스플레이되도록 한다.
한편, 궤적 산출부(330)에 의하여 산출된 궤적이 포인터 제어 장치(400)로 송신되거나 관성 센서(310) 및 광 센서(320)에 의하여 감지된 움직임이 궤적 산출 과정 없이 그대로 포인터 제어 장치(400)로 송신될 수도 있다.
도 11은 본 발명의 실시예에 따라 포인터가 제어되는 과정을 나타낸 흐름도이다.
포인터를 제어하거나 문자를 출력하기 위하여 포인터 제어 장치(400)의 수신부(410)는 우선 움직임 인식 장치(300)로부터 움직임 정보를 수신한다(S1110). 여기서, 움직임 정보는 포인터 제어를 위한 움직임, 문자 변환을 위한 움직임, 포인터 제어를 위한 움직임 궤적, 문자 변환을 위한 움직임 궤적 또는 문자일 수 있다.
판단부(430)는 움직임 정보에 문자가 포함되어 있는 것인지 움직임 또는 움직임 궤적이 포함되어 있는 것인지를 판단한다(S1120). 즉, 수신된 움직임 정보가 관성 센서(310) 및 광 센서(320)에 의하여 감지된 움직임인지, 감지된 움직임에 대한 궤적인지, 문자인지를 판단하는 것이다.
수신된 움직임 정보가 문자인 경우 송신부(470)는 해당 문자에 대한 영상을 디스플레이 장치(500)로 송신한다(S1130).
수신된 움직임 정보가 움직임 또는 움직임 궤적인 경우 판단부(430)는 해당 움직임 또는 움직임 궤적이 포인터의 제어를 위한 것인지 문자 변환을 위한 것인지를 판단한다(S1140).
수신된 움직임 정보가 포인터의 제어를 위한 것인 경우 궤적 산출부(440)는 해당 움직임에 대한 궤적을 산출한다(S1150). 즉, 포인팅 궤적을 산출하는 것이다. 여기서, 움직임 정보에 움직임 궤적이 포함되어 있는 경우 궤적 산출부(440)에 의한 궤적 산출은 생략될 수 있다.
궤적 산출부(440)에 의하여 산출된 궤적 또는 수신부(410)를 통하여 수신된 움직임 궤적은 좌표 결정부(420)로 전달되고, 좌표 결정부(420)는 포인터의 좌표를 결정한다(S1160).
그리고, 송신부(470)는 결정된 좌표에 따른 포인터의 영상을 디스플레이 장치(500)로 송신한다(S1170). 포인터의 영상을 수신함으로써 디스플레이 장치(500)는 수정된 좌표에 포인터를 디스플레이한다.
한편, 판단부(430)의 판단 결과에 따라 수신된 움직임 정보가 문자 변환을 위한 것인 경우 궤적 산출부(440)는 문자 변환을 위한 움직임 궤적을 산출한다(S1180). 즉, 제 1 접촉 궤적과 제 2 접촉 궤적을 참조하여 오차가 보상된 분리 궤적을 산출하는 것이다. 여기서, 움직임 정보에 움직임 궤적이 포함되어 있는 경우 궤적 산출부(440)에 의한 궤적 산출은 생략될 수 있다.
궤적 산출부(440)에 의하여 산출된 궤적 또는 수신부(410)를 통하여 수신된 움직임 궤적은 문자 추출부(450)로 전달되고, 문자 추출부(450)는 저장부(460)를 검색하여 전달받은 궤적에 대응하는 문자를 추출한다(S1190).
그리고, 송신부(470)는 추출된 문자에 대한 영상을 디스플레이 장치(500)로 송신한다(S1200). 문자의 영상을 수신함으로써 디스플레이 장치(500)는 수신한 문자의 영상을 디스플레이한다.
한편, 포인터 제어 장치(400)에 디스플레이부(미도시)가 구비되어 있는 경우 해당 영상은 디스플레이부를 통하여 디스플레이될 수 있다.
이상 첨부된 도면을 참조하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.
도 1은 본 발명의 실시예에 따른 움직임을 인식하는 시스템을 나타낸 도면이다.
도 2는 본 발명의 다른 실시예에 따른 움직임을 인식하는 시스템을 나타낸 도면이다.
도 3은 본 발명의 실시예에 따른 움직임을 인식하는 장치를 나타낸 블록도이다.
도 4는 본 발명의 실시예에 따른 포인터 제어 장치를 나타낸 블록도이다.
도 5는 본 발명의 실시예에 따른 디스플레이 장치를 나타낸 블록도이다.
도 6은 본 발명의 실시예에 따라 감지된 움직임에 대응하는 문자의 궤적을 나타낸 도면이다.
도 7은 본 발명의 실시예에 따른 획 궤적 구간과 획간 이동 궤적 구간을 나타낸 도면이다.
도 8은 획간 이동 궤적 구간에서의 불완전한 움직임 감지에 따른 문자의 궤적을 나타낸 도면이다.
도 9는 관성 센서에서 발생하는 오프셋의 표류에 의한 오차를 나타낸 도면이다.
도 10은 본 발명의 실시예에 따라 움직임을 인식하는 과정을 나타낸 흐름도이다.
도 11은 본 발명의 실시예에 따라 포인터가 제어되는 과정을 나타낸 흐름도 이다.
<도면의 주요 부분에 관한 부호의 설명>
310 : 관성 센서 320 : 광 센서
330 : 궤적 산출부 340 : 모드 입력부
350 : 제어부 360 : 접촉 센서
370 : 저장부 380 : 문자 추출부
390 : 통신부

Claims (24)

  1. 입력된 움직임에 따라 발생된 가속도 및 각속도 중 적어도 하나를 이용하여 제 1 움직임을 감지하는 관성 센서;
    상기 움직임에 따른 빛의 반사를 이용하여 제 2 움직임을 감지하는 광 센서;
    상기 제 1 움직임의 궤적과 상기 제 2 움직임의 궤적을 참조하여 상기 움직임의 궤적을 산출하는 궤적 산출부; 및
    상기 산출된 움직임의 궤적을 송신하는 통신부를 포함하는 움직임을 인식하는 장치.
  2. 제 1항에 있어서,
    상기 제 1 움직임의 궤적은 상기 관성 센서에 의하여 외부 물체면과 접촉된 상태에서 감지된 움직임에 대한 제 1 접촉 궤적 및 상기 외부 물체면과 분리된 상태에서 감지된 움직임에 대한 분리 궤적을 포함하고, 상기 제 2 움직임의 궤적은 상기 광 센서에 의하여 상기 외부 물체면과 접촉한 상태에서 감지된 움직임에 대한 제 2 접촉 궤적을 포함하는 움직임을 인식하는 장치.
  3. 제 2항에 있어서,
    상기 궤적 산출부는 상기 제 1 접촉 궤적과 상기 제 2 접촉 궤적간의 차이를 상기 분리 궤적에 적용하여 상기 관성 센서에서 발생하는 오차가 보상된 분리 궤적 을 산출하는 움직임을 인식하는 장치.
  4. 제 3항에 있어서,
    상기 산출된 움직임의 궤적은 상기 오차가 보상된 분리 궤적과 상기 제 2 접촉 궤적을 포함하는 움직임을 인식하는 장치.
  5. 제 4항에 있어서,
    상기 제 2 접촉 궤적 및 상기 분리 궤적의 조합에 대응하는 문자를 추출하는 문자 추출부를 더 포함하는 움직임을 인식하는 장치.
  6. 제 5항에 있어서,
    상기 통신부는 상기 추출된 문자를 송신하는 움직임을 인식하는 장치.
  7. 제 3항에 있어서,
    상기 오차는 오프셋(offset)의 표류(drift)에 의한 오차를 포함하는 움직임을 인식하는 장치.
  8. 제 1항에 있어서,
    상기 통신부는 상기 제 1 움직임의 궤적을 송신하는 움직임을 인식하는 장치.
  9. 관성 센서에 의하여 감지된 제 1 움직임 및 광 센서에 의하여 감지된 제 2 움직임 중 적어도 하나를 수신하는 수신부; 및
    상기 제 1 움직임의 궤적을 산출하거나 상기 제 2 움직임의 궤적을 상기 제 1 움직임의 궤적에 적용하여 오차가 보상된 상기 제 1 움직임의 궤적을 산출하는 궤적 산출부를 포함하는 포인터 제어 장치.
  10. 제 9항에 있어서,
    상기 산출된 제 1 움직임의 궤적에 의하여 결정된 포인터의 좌표를 결정하는 좌표 결정부를 더 포함하는 포인터 제어 장치.
  11. 제 9항에 있어서,
    상기 제 2 움직임의 궤적 및 상기 오차가 보상된 제 1 움직임의 궤적의 조합에 대응하는 문자를 추출하는 문자 추출부를 더 포함하는 포인터 제어 장치.
  12. 제 9항에 있어서,
    상기 오차는 오프셋(offset)의 표류(drift)에 의한 오차를 포함하는 포인터 제어 장치.
  13. 입력된 움직임에 따라 발생된 가속도 및 각속도 중 적어도 하나를 이용하여 제 1 움직임을 감지하는 단계;
    상기 움직임에 따른 빛의 반사를 이용하여 제 2 움직임을 감지하는 단계;
    상기 제 1 움직임의 궤적과 상기 제 2 움직임의 궤적을 참조하여 상기 움직임의 궤적을 산출하는 단계; 및
    상기 산출된 움직임의 궤적을 송신하는 단계를 포함하는 움직임을 인식하는 방법.
  14. 제 13항에 있어서,
    상기 제 1 움직임의 궤적은 관성 센서에 의하여 외부 물체면과 접촉된 상태에서 감지된 움직임에 대한 제 1 접촉 궤적 및 상기 외부 물체면과 분리된 상태에서 감지된 움직임에 대한 분리 궤적을 포함하고, 상기 제 2 움직임의 궤적은 광 센서에 의하여 상기 외부 물체면과 접촉한 상태에서 감지된 움직임에 대한 제 2 접촉 궤적을 포함하는 움직임을 인식하는 방법.
  15. 제 14항에 있어서,
    상기 움직임의 궤적을 산출하는 단계는 상기 제 1 접촉 궤적과 상기 제 2 접촉 궤적간의 차이를 산출하는 단계; 및
    상기 차이를 상기 분리 궤적에 적용하여 상기 관성 센서에서 발생하는 오차가 보상된 분리 궤적을 산출하는 단계를 포함하는 움직임을 인식하는 방법.
  16. 제 15항에 있어서,
    상기 산출된 움직임의 궤적은 상기 오차가 보상된 분리 궤적과 상기 제 2 접촉 궤적을 포함하는 움직임을 인식하는 방법.
  17. 제 16항에 있어서,
    상기 제 2 접촉 궤적 및 상기 분리 궤적의 조합에 대응하는 문자를 추출하는 단계를 더 포함하는 움직임을 인식하는 방법.
  18. 제 17항에 있어서,
    상기 추출된 문자를 송신하는 단계를 더 포함하는 움직임을 인식하는 방법.
  19. 제 15항에 있어서,
    상기 오차는 오프셋(offset)의 표류(drift)에 의한 오차를 포함하는 움직임을 인식하는 방법.
  20. 제 13항에 있어서,
    상기 제 1 움직임의 궤적을 송신하는 단계를 더 포함하는 움직임을 인식하는 방법.
  21. 관성 센서에 의하여 감지된 제 1 움직임 및 광 센서에 의하여 감지된 제 2 움직임 중 적어도 하나를 수신하는 단계; 및
    상기 제 1 움직임의 궤적을 산출하거나 상기 제 2 움직임의 궤적을 상기 제 1 움직임의 궤적에 적용하여 오차가 보상된 상기 제 1 움직임의 궤적을 산출하는 단계를 포함하는 포인터 제어 방법.
  22. 제 21항에 있어서,
    상기 산출된 제 1 움직임의 궤적에 의하여 결정된 포인터의 좌표를 결정하는 단계를 더 포함하는 포인터 제어 방법.
  23. 제 21항에 있어서,
    상기 제 2 움직임의 궤적 및 상기 오차가 보상된 제 1 움직임의 궤적의 조합에 대응하는 문자를 추출하는 단계를 더 포함하는 포인터 제어 방법.
  24. 제 21항에 있어서,
    상기 오차는 오프셋(offset)의 표류(drift)에 의한 오차를 포함하는 포인터 제어 방법.
KR1020070092224A 2007-09-11 2007-09-11 움직임을 인식하는 장치 및 방법 KR101472842B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020070092224A KR101472842B1 (ko) 2007-09-11 2007-09-11 움직임을 인식하는 장치 및 방법
US12/076,015 US8965729B2 (en) 2007-09-11 2008-03-12 Apparatus and method for recognizing motion
US14/591,358 US20150123903A1 (en) 2007-09-11 2015-01-07 Apparatus and method for recognizing motion

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020070092224A KR101472842B1 (ko) 2007-09-11 2007-09-11 움직임을 인식하는 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20090027048A true KR20090027048A (ko) 2009-03-16
KR101472842B1 KR101472842B1 (ko) 2014-12-16

Family

ID=40432802

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070092224A KR101472842B1 (ko) 2007-09-11 2007-09-11 움직임을 인식하는 장치 및 방법

Country Status (2)

Country Link
US (2) US8965729B2 (ko)
KR (1) KR101472842B1 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8213264B2 (en) 2009-06-08 2012-07-03 Samsung Electronics Co., Ltd. Method and device of measuring location, and moving object
KR101234095B1 (ko) * 2008-12-05 2013-02-19 한국전자통신연구원 동작 인식 장치 및 이를 이용한 동작 인식 방법
WO2014190060A1 (en) * 2013-05-23 2014-11-27 Elwha Llc Mobile device that activates upon removal from storage
US8971869B2 (en) 2013-05-23 2015-03-03 Elwha Llc Mobile device that activates upon removal from storage
KR20180068010A (ko) * 2016-12-13 2018-06-21 동국대학교 산학협력단 문자 입력 방법 및 이를 수행하기 위한 장치

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB0808081D0 (en) * 2008-05-02 2008-06-11 In2Games Ltd Bridging ultrasonic position with accelerometer/gyroscope inertial guidance
US8310547B2 (en) * 2008-12-05 2012-11-13 Electronics And Telecommunications Research Institue Device for recognizing motion and method of recognizing motion using the same
US20100309121A1 (en) * 2009-06-09 2010-12-09 Kai-Fen Huang Electonic apparatus with deviation correction of cursor position
US20110072477A1 (en) * 2009-09-21 2011-03-24 Telefonaktiebolaget L M Ericsson (Publ) Using mobile terminals for text entry in iptv chat sessions
CN101916141A (zh) * 2010-08-27 2010-12-15 林民东 一种基于空间定位技术的交互式输入装置和方法
US9098115B2 (en) * 2011-04-08 2015-08-04 Autodesk, Inc Physical object for intuitive navigation in a three-dimensional space
JP6031735B2 (ja) * 2011-06-13 2016-11-24 ソニー株式会社 情報処理装置、情報処理方法およびコンピュータプログラム
KR101984504B1 (ko) * 2012-02-29 2019-09-03 삼성전자주식회사 정밀한 3차원 위치 및 방향을 추정하는 시스템 및 방법
CN103376913A (zh) * 2012-04-12 2013-10-30 鸿富锦精密工业（深圳）有限公司 具有手写输入功能的电子设备
EP2677401B1 (en) * 2012-06-22 2022-03-09 BlackBerry Limited Image data generation using a handheld electronic device
CN103353304B (zh) * 2013-06-25 2016-02-03 深圳市宇恒互动科技开发有限公司 一种对三维惯性运动感测进行补偿的方法及装置
DE102014106838B4 (de) * 2014-05-15 2022-10-13 Stabilo International Gmbh Driftkompensation / optische Absolutreferenzierung
KR102350382B1 (ko) * 2015-07-16 2022-01-13 삼성전자 주식회사 디스플레이장치 및 그 제어방법
CN110347269B (zh) * 2019-06-06 2022-02-15 华为技术有限公司 一种空鼠模式实现方法及相关设备
CN110335453A (zh) * 2019-07-19 2019-10-15 深圳市飞图视讯有限公司 一种基于模拟激光的无线遥控器装置及系统
US11372518B2 (en) * 2020-06-03 2022-06-28 Capital One Services, Llc Systems and methods for augmented or mixed reality writing

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0588809A (ja) 1991-09-30 1993-04-09 Toshiba Corp 筆記具型ポインテイング装置
KR100360477B1 (ko) 1995-11-11 2003-03-06 삼성전자 주식회사 무선전자펜
EP0960369B1 (en) * 1997-02-12 2001-07-04 Kanitech A/S An input device for a computer
JP3748483B2 (ja) 1997-09-12 2006-02-22 株式会社リコー 姿勢入力装置、姿勢入力機能を備えるペン型入力装置及びそのペン型入力装置を有するペン型入力システム
US8020095B2 (en) * 1997-11-14 2011-09-13 Immersion Corporation Force feedback system including multi-tasking graphical host environment
KR100408518B1 (ko) 2001-04-12 2003-12-06 삼성전자주식회사 컴퓨터용 전자펜 데이타 입력장치 및 좌표 측정 방법
WO2005052718A2 (en) * 2003-11-26 2005-06-09 Rafael - Armament Development Authority Ltd. Helmet system for information or weapon systems
KR20070042858A (ko) 2005-10-19 2007-04-24 (주)모비솔 펜 형태의 디지털 입력 장치
JP2008128674A (ja) * 2006-11-16 2008-06-05 Eastman Kodak Co 角速度較正方法
US20080284726A1 (en) * 2007-05-17 2008-11-20 Marc Boillot System and Method for Sensory Based Media Control

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101234095B1 (ko) * 2008-12-05 2013-02-19 한국전자통신연구원 동작 인식 장치 및 이를 이용한 동작 인식 방법
US8213264B2 (en) 2009-06-08 2012-07-03 Samsung Electronics Co., Ltd. Method and device of measuring location, and moving object
WO2014190060A1 (en) * 2013-05-23 2014-11-27 Elwha Llc Mobile device that activates upon removal from storage
US8958786B2 (en) 2013-05-23 2015-02-17 Elwha Llc Mobile device that activates upon removal from storage
US8971869B2 (en) 2013-05-23 2015-03-03 Elwha Llc Mobile device that activates upon removal from storage
US9788195B2 (en) 2013-05-23 2017-10-10 Elwha Llc Mobile device that activates upon removal from storage
KR20180068010A (ko) * 2016-12-13 2018-06-21 동국대학교 산학협력단 문자 입력 방법 및 이를 수행하기 위한 장치

Also Published As

Publication number Publication date
US8965729B2 (en) 2015-02-24
US20150123903A1 (en) 2015-05-07
US20090070060A1 (en) 2009-03-12
KR101472842B1 (ko) 2014-12-16

Similar Documents

Publication Publication Date Title
KR20090027048A (ko) 움직임을 인식하는 장치 및 방법
US11775076B2 (en) Motion detecting system having multiple sensors
KR101261550B1 (ko) 가상 영역을 이용한 포인팅 장치, 포인터 디스플레이 장치,포인팅 방법 및 포인터 디스플레이 방법
US9729608B2 (en) Information processing device, table, display control method, program, portable terminal, and information processing system
US10120454B2 (en) Gesture recognition control device
US9400560B2 (en) Image display device and display control method thereof
US9134800B2 (en) Gesture input device and gesture input method
US10042438B2 (en) Systems and methods for text entry
KR100818990B1 (ko) 움직임 신호를 변환하는 장치 및 방법
US20100238137A1 (en) Multi-telepointer, virtual object display device, and virtual object control method
US9374547B2 (en) Input apparatus, display apparatus, and control methods thereof
US20200142495A1 (en) Gesture recognition control device
US20150234524A1 (en) Method and apparatus for handwriting input
WO2022017421A1 (zh) 交互方法、显示装置、发射装置、交互系统及存储介质
CN108170299A (zh) 导航装置及影像显示系统
KR101596600B1 (ko) 사용자 패턴 기반의 동작 인식 보정 장치 및 그 방법
KR101104732B1 (ko) 정보제어장치를 이용한 데이터 전송시스템 및 방법, 그 단말기 및 정보제어장치
KR20130125209A (ko) 전자기기 제어장치 및 그 방법
US10175825B2 (en) Information processing apparatus, information processing method, and program for determining contact on the basis of a change in color of an image
KR101491648B1 (ko) 촬영부를 이용한 원격 제어 시스템 및 방법
US11287897B2 (en) Motion detecting system having multiple sensors
KR102378476B1 (ko) 디스플레이 장치에 대한 펜 입력 신호를 제공하는 시스템 및 그 동작 방법
KR20160045660A (ko) 펜형 입력 장치 및 이를 이용한 입력 방법
KR20140009831A (ko) 포인팅 디바이스 변위값 처리 장치 및 그 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20171129

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20181129

Year of fee payment: 5