KR100756026B1 - 카메라를 이용한 조작 장치와 전자 기기 - Google Patents

카메라를 이용한 조작 장치와 전자 기기 Download PDF

Info

Publication number
KR100756026B1
KR100756026B1 KR1020060067443A KR20060067443A KR100756026B1 KR 100756026 B1 KR100756026 B1 KR 100756026B1 KR 1020060067443 A KR1020060067443 A KR 1020060067443A KR 20060067443 A KR20060067443 A KR 20060067443A KR 100756026 B1 KR100756026 B1 KR 100756026B1
Authority
KR
South Korea
Prior art keywords
image
imaging unit
light
electronic device
lens
Prior art date
Application number
KR1020060067443A
Other languages
English (en)
Inventor
민동욱
김혜광
Original Assignee
주식회사 엠씨넥스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 엠씨넥스 filed Critical 주식회사 엠씨넥스
Priority to KR1020060067443A priority Critical patent/KR100756026B1/ko
Application granted granted Critical
Publication of KR100756026B1 publication Critical patent/KR100756026B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G06F3/04166—Details of scanning methods, e.g. sampling time, grouping of sub areas or time sharing with display driving
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means

Abstract

본 발명은 카메라를 이용한 포인팅 장치와 전자 기기에 관한 것으로, 본 발명에 따른 포인팅 장치는 포인팅 장치 본체의 전면에 평행한 방향으로부터의 광을 수광하여 이미지로 변환하여 출력하는 촬상부와, 촬상부로부터 입력되는 이미지로부터 포인팅 의사를 가진 오브젝트를 인식하는 오브젝트 인식부와, 오브젝트 인식부에서 인식된 오브젝트의 시간적 위치 변화를 통해 움직임 정보를 검출하는 오브젝트 움직임 검출부와, 오브젝트 움직임 검출부로부터 입력되는 오브젝트 움직임 정보에 따른 조작 신호 정보를 생성하여 출력하는 조작 신호 생성부를 포함한다.
카메라, 포인팅, 전자 기기, 조작 신호

Description

카메라를 이용한 조작 장치와 전자 기기{Operating Device using camera and Electronic Apparatus}
도 1은 선출원된 포인팅 장치의 오브젝트 인식 과정을 설명하기 위한 도면,
도 2와 도 3은 본 발명에 따른 포인팅 장치에서 오브젝트의 측면 영상을 획득하는 촬상 장치를 설명하기 위한 도면,
도 4는 본 발명에 사용 가능한 촬상부를 개략적으로 도시한 일예,
도 5는 본 발명에 사용 가능한 촬상부를 개략적으로 도시한 다른 예,
도 6은 본 발명에 사용 가능한 촬상부를 개략적으로 도시한 또다른 예,
도 7은 도 6의 실시예에 따른 촬상부의 이미지 센서에 형성되는 고리 형태의 이미지와 그에 매핑되는 평면 형태의 이미지를 도시한 도면,
도 8은 본 발명의 일 실시예에 따른 포인팅 장치의 개략적인 구성을 도시한 블록도,
도 9는 본 발명의 다른 실시예에 따른 포인팅 장치의 개략적인 구성을 도시한 블록도,
도 10내지 도 13은 본 발명에 따른 포인팅 장치에서 획득할 수 있는 오브젝트 움직임 정보를 설명하기 위한 도면,
도 14는 도 9의 실시예에 따른 포인팅 장치가 탑재된 전자기기에서 포인트 의사를 가진 오브젝트의 위치를 산출하는 과정을 설명하기 위한 도면,
도 15는 본 발명의 일 실시예에 따른 전자 기기의 개략적인 구성을 도시한 블록도,
도 16은 본 발명의 다른 실시예에 따른 전자 기기의 개략적인 구성을 도시한 블록도이다.
<도면의 주요 부분에 대한 부호의 설명>
10,21,40,50,60 : 촬상부
20 : 포인팅 장치
22 : 오브젝트
43 : 렌즈
45,55,63,65 : 이미지 센서
51 : 도파관
53 : 반사경
61 : 전방위 센서
140 : 이동통신 단말기
141,142 : 촬영장치
143 : 디스플레이 장치
본 발명은 사용자 인터페이스 장치로 사용될 수 있는 포인팅 장치에 관련되며, 특히 카메라를 이용한 포인팅 장치와 그를 탑재한 전자 기기에 관한 것이다.
생활의 편리함을 추구하는 욕구와 기술의 발달 속에서 전자 기기를 제어하기 위한 다양한 사용자 인터페이스 장치들이 제안되고 있다. 최근 이동통신 단말기나 MP3등의 휴대 기기에도 단순히 키 패드에 마련된 키의 누름 방식, 슬라이드 키 방식뿐 아니라 회전 키나 터치 스크린 방식을 적용하여 그 디자인과 편리함을 동시에 추구하는 등 사용자 인터페이스를 위한 그 수단이 다양화 되고 있다.
한국공개특허공보 제2004-0048942호에는 용량성 센서를 이용하여 회전 사용자 액션을 통하여 가속화된 스크롤링을 제공하는 기술이 공지되어 있다. 회전 입력 장치를 통하여 사용자의 회전 액션을 감지하고, 그 속도에 따라서 전자 기기의 스크롤을 제어하는 기술이다.
본 발명은 이 같은 배경에서 제안된 것으로, 더 편리하고 유용하게 사용자 인터페이스로 사용될 수 있는 카메라를 이용한 포인팅 장치와 그를 탑재한 전자 기기를 제공하는 것을 목적으로 한다.
나아가 전자 기기의 동작을 제어하기 위한 포인팅 의사를 가진 오브젝트의 움직임을 명확하게 인식할 수 있는 카메라를 이용한 포인팅 장치와 그를 탑재한 전자 기기를 제공하는 것을 목적으로 한다.
상기 목적을 달성하기 위한 본 발명의 일 양상에 따른 사용자 인터페이스 장치로 사용될 수 있는 포인팅 장치는, 포인팅 장치 본체의 전면에 평행한 방향으로 부터의 광을 수광하여 이미지로 변환하여 출력하는 촬상부와, 촬상부로부터 입력되는 이미지로부터 포인팅 의사를 가진 오브젝트를 인식하는 오브젝트 인식부와, 오브젝트 인식부에서 인식된 오브젝트의 시간적 위치 변화를 통해 움직임 정보를 검출하는 오브젝트 움직임 검출부와, 오브젝트 움직임 검출부로부터 입력되는 오브젝트 움직임 정보에 따른 조작 신호 정보를 생성하여 출력하는 조작 신호 생성부를 포함한다.
이 같은 양상에 따라 본 발명에 따른 포인팅 장치는, 장치 본체 전면으로 근접하는 포인팅 의사를 가진 오브젝트의 측면 영상을 촬상부를 통해 획득하여 오브젝트의 움직임을 명확하게 인식할 수 있다. 나아가 본 발명에 따른 포인팅 장치는 포인팅 의사를 가진 오브젝트의 움직임을 분석하여 그 분석 결과를 통해 전자 기기의 제어가 가능하다.
본 발명의 다른 양상에 따른 포인팅 장치는, 포인팅 장치 본체의 전면에 평행한 방향으로부터의 광을 수광하여 이미지로 변환하여 출력하며 일정한 거리(D)만큼 이격되어 설치되는 제1, 제2 촬상부와, 제1 촬상부로부터 입력되는 이미지로부터 포인팅 의사를 가진 오브젝트를 인식하는 제1 오브젝트 인식부와, 제2 촬상부로부터 입력되는 이미지로부터 포인팅 의사를 가진 오브젝트를 인식하는 제2 오브젝트 인식부와, 제1, 제2 오브젝트 인식부에서 동시에 인식된 오브젝트의 위치 정보를 산출하여 출력하는 오브젝트 위치 산출부와, 오브젝트 위치 산출부로부터 입력되는 연속된 프레임마다의 오브젝트 위치 정보를 이용하여 오브젝트의 움직임을 분석하고, 그 분석에 따른 조작 신호 정보를 생성하여 출력하는 조작 신호 생성부를 포함하는 것을 특징으로 한다.
이 같은 양상에 따라 본 발명에 따른 포인팅 장치는, 일정한 거리(D)만큼 이격되어 설치되는 제1, 제2 촬상부를 통해 장치 본체의 전면에 근접하는 포인팅 의사를 가진 오브젝트의 측면 영상을 획득하여 오브젝트의 위치 추적 및 인식이 가능하도록 구현됨으로써, 전자 기기의 디스플레이 장치의 포인팅 장치와 무접점 키패드로 활용될 수 있다.
본 발명의 일 양상에 따른 포인팅 장치를 탑재한 전자 기기는, 전자 기기 본체의 전면에 평행한 방향으로부터의 광을 수광하여 이미지로 변환하여 출력하는 촬상부와, 촬상부로부터 입력되는 이미지로부터 포인팅 의사를 가진 오브젝트의 회전운동을 감지하여 화면의 아이템 리스트들을 스크롤하는 조작신호를 출력하는 영상 처리부를 포함한다.
본 발명의 다른 양상에 따른 포인팅 장치를 탑재한 전자 기기는, 전자 기기 본체의 전면에 평행한 방향으로부터의 광을 수광하여 이미지로 변환하여 출력하며 일정한 거리(D)만큼 이격되어 설치되는 제1, 제2 촬상부와, 제1 ,제2 촬상부로부터 동시에 입력되는 이미지로부터 포인팅 의사를 가진 오브젝트 위치 정보를 산출하고 위치 정보를 기초로 오브젝트의 회전운동을 감지하여 화면의 아이템 리스트들을 스크롤하는 조작신호를 출력하는 영상 처리부를 포함한다.
이하, 첨부된 도면을 참조하여 당업자가 용이하게 이해하고 재현할 수 있을 정도로 상세히 설명하기로 한다.
도 1은 선출원된 포인팅 장치의 오브젝트 인식 과정을 설명하기 위한 도면이다. 본 출원인은 카메라를 통해 포인팅 의사를 가진 어떠한 오브젝트를 인식하여 전자 기기를 제어할 수 있는 기술을 이건 출원일 이전에, 특허출원번호 제2006-12401호(출원일자 2006.02.09.)로 출원한 바 있다.
도 1에 도시한 바와 같이, 선출원된 포인팅 장치는 촬상부(10)의 화각 안에 위치한 포인팅 의사를 가진 오브젝트(P)의 영상을 획득하여 촬상부(10)에 대한 오브젝트(P)의 수평, 수직으로의 직선 움직임과 방향, 회전 움직임과 방향 및 광축 방향으로의 움직임을 인식하도록 구현되었다. 여기서, 촬상부(10)에 대한 오브젝트의 광축 방향으로의 움직임은 오브젝트(P)가 촬상부(10)를 향하여 상하로 이동(①, ②, ③)하는 것을 의미한다. 그런데, 본 출원인은 선출원된 포인팅 장치의 성능을 시험하던 중, 오브젝트(P)가 촬상부(10)에 근접한 경우(③) 화면 안에 오브젝트(P)가 꽉 들어차게 되어 소프트웨어적으로 오브젝트 움직임 인식이 어렵다는 결과를 얻게 되었다. 이에 본 출원인은 촬상부를 통해 오브젝트의 측면 영상을 획득하여 오브젝트의 움직임을 명확하게 인식할 수 있는 포인팅 장치를 개발하게 되었다.
도 2와 도 3은 본 발명에 따른 포인팅 장치에서 오브젝트의 측면 영상을 획득하는 촬상부를 설명하기 위한 도면이다. 도시한 바와 같이, 본 발명에 따른 포인팅 장치(20)에 사용되는 촬상부(21)는 장치(20)의 측면에서 입사되는 빛을 수광하여 오브젝트(22)의 측면 영상을 획득하도록 구현된다.
도 2는 본 발명에 따른 포인팅 장치의 정면도로서, 촬상부(21)의 렌즈가 수 직방향으로 일정 범위의 화각(Φ)을 갖는 것을 예시한다. 도시한 바와 같이, 본 발명에 따른 포인팅 장치(20)는 장치(20)의 본체에 대한 오브젝트(22)의 광축 방향으로의 움직임(①)을 명확하게 인식할 수 있다. 본 발명에 따른 포인팅 장치(20)는 오브젝트(22)의 광축 방향으로의 움직임(①)을 인식하여 예컨대, 마우스의 '클릭' 동작에 해당하는 신호를 생성하여 출력할 수 있다.
한편, 도 3은 본 발명에 따른 포인팅 장치의 평면도로서, 촬상부(21)의 렌즈가 수평방향으로 적어도 90도 이상의 화각(θ)을 갖는 것을 예시한다. 도시한 바와 같이, 본 발명에 따른 포인팅 장치(20)는 오브젝트의 수평, 수직으로의 직선 움직임과 방향(①, ②), 오브젝트의 회전 움직임과 방향(③)을 명확하게 인식할 수 있다. 본 발명에 따른 포인팅 장치(20)는 오브젝트의 수평, 수직 방향으로의 움직임과 방향(①, ②)을 인식하여 예컨대, 화면에 디스플레이된 아이템 리스트를 수평, 수직 방향으로 스크롤하도록 하는 신호를 생성하여 출력할 수 있다. 또한, 본 발명에 따른 포인팅 장치(20)는 오브젝트의 회전 움직임과 방향(③)을 인식하여 스크롤의 방향과 속도를 설정할 수 있다.
도 4는 본 발명에 따른 포인팅 장치에 사용 가능한 촬상부를 개략적으로 도시한 일예이다.
도시한 바와 같이, 본 실시예에 따른 촬상부(40)는 입사광을 반사하는 반사부재(41)가 코딩되고, 수평방향으로 90도∼170도 사이의 화각(θ)과 수직방향으로 일정 범위의 (-)에서 (+)까지의 화각(Φ)을 갖는 렌즈(43)와, 렌즈(43)를 통해 광 신호를 입력받아 이미지가 형성되는 이미지 센서(45)를 포함하여 구현될 수 있다. 여기서, 렌즈(43)는 광각 렌즈, 어안 렌즈 또는 전방위(혹은 파노라마) 렌즈로 구현되며, 이미지 센서(45)는 공지된 CCD형 이미지 센서와 CMOS형 이미지 센서로 구현될 수 있다.
통상적으로 촬상부(40)는 사람들이 눈으로 볼 수 있는 가시광선 영역(400-700nm)뿐 아니라 근적외선 영역( ~1150nm)도 감지한다. 도면에 도시하지 않았지만, 본 발명에 따른 포인팅 장치는 촬상부(40)의 피사체를 향한 측에 배치되어 피사체에 적외선 조명을 제공하는 적외선 발광부, 예컨대 지향 특성이 강한 적외선 LED를 포함하여 구현될 수 있다. 이에 따라 촬상부(40)는 렌즈(43)로부터 입력되는 빛 중 적외선 발광부에서 발광된 소정 파장의 빛만을 통과시키는 필터를 더 포함함으로써, 포인팅 장치는 포인팅 의사를 가진 오브젝트의 움직임을 더 명확하게 인식할 수 있다. 여기서, 필터는 소정 파장 대역의 적외선만 통과시키는 적외선 패스 필터일 수 있다. 예를 들어 적외선 발광부가 940nm의 파장을 방출하는 적외선 LED일 경우 필터는 940nm 파장의 적외선만을 통과시키는 적외선 패스 필터이다.
도 5는 본 발명에 사용 가능한 촬상부를 개략적으로 도시한 다른 예이다.
도시한 바와 같이, 본 실시예에 따른 촬상부(50)는 포인팅 장치 본체의 전면에 평행한 방향으로부터의 광을 안내하는 도파관(51)과, 도파관(51)을 통해 안내되는 광의 진행 방향을 변경하는 반사경(53)과, 반사경(53)으로부터 입력되는 광 신호를 입력받아 이미지가 형성되는 이미지 센서(55)를 포함하여 구현될 수 있다. 여기서, 이미지 센서(55)는 공지된 CCD형 이미지 센서와 CMOS형 이미지 센서로 구현될 수 있다. 도면에 도시하지 않았지만, 본 발명에 따른 포인팅 장치는 촬상 부(50)의 피사체를 향한 측에 배치되어 피사체에 적외선 조명을 제공하는 적외선 발광부, 예컨대 지향 특성이 강한 적외선 LED를 포함하여 구현될 수 있다. 이에 따라 촬상부(50)는 반사경(53)으로부터 입력되는 빛 중 적외선 발광부에서 발광된 소정 파장의 빛만을 통과시키는 필터가 장착될 수 있다. 여기서, 필터는 소정 파장 대역의 적외선만 통과시키는 적외선 패스 필터로 구현될 수 있다.
도 6은 본 발명에 사용 가능한 촬상부의 구성을 개략적으로 도시한 또다른 예이다.
도시한 바와 같이, 본 실시예에 따른 촬상부(60)는 입사광을 반사하는 반사부재(R1, R2)가 코딩되고, 전방위 수평 시야각(θ)과 일정 범위의 (-)에서 (+)까지의 수직 시야각(Φ)을 갖는 전방위 렌즈(61)와, 전방위 렌즈(61)로부터 입력되는 광 신호를 입력받아 이미지가 형성되는 이미지 센서(63)를 포함하여 구현될 수 있다. 여기서, 전방위 렌즈(61)는 예를 들어, 360°수평 시야각과 (-)17°에서 (+)66°까지의 수직 시야각을 갖는 렌즈로 구현될 수 있다. 이미지 센서(63)는 전방위 렌즈(61)로부터 광 신호를 입력받아 이미지가 형성되는 공지된 CCD형 이미지 센서와 CMOS형 이미지 센서로 구현될 수 있다. 도면에 도시하지 않았지만, 본 발명에 따른 포인팅 장치는 촬상부(60)의 피사체를 향한 측에 배치되어 피사체에 적외선 조명을 제공하는 적외선 발광부, 예컨대 지향 특성이 강한 적외선 LED를 포함하여 구현될 수 있다. 이에 따라 촬상부(60)는 전방위 렌즈(61)로부터 입력되는 빛 중 적외선 발광부에서 발광된 소정 파장의 빛만을 통과시키는 필터가 장착될 수 있다.
도 7은 도 6의 실시예에 따른 촬상부의 이미지 센서에 형성되는 고리 형태의 이미지와 그에 매핑되는 평면 형태의 이미지를 도시한 도면이다.
도시한 바와 같이, 전방위 렌즈로부터 광 신호가 입력되면 이미지 센서(65)에는 왜곡된 고리 형태의 이미지가 형성된다. 이에 따라, 본 발명에 따른 사용자 인터페이스 장치로 사용될 수 있는 포인팅 장치는 전방위 렌즈로부터 입력되는 고리 형태의 이미지를 평면 형태의 이미지로 변환하고 왜곡된 이미지를 교정한 후 출력하는 이미지 변환 처리부를 더 포함한다. 여기서, 이미지 변환 처리부는 디지털 신호 처리기(DSP) 및 범용의 마이크로 프로세서를 포함하여 구현될 수 있으며, 전용의 하드웨어 혹은 소프트웨어 혹은 이들의 혼합에 의해 구성될 수 있다.
도 8은 본 발명의 일 실시예에 따른 포인팅 장치의 개략적인 구성을 도시한 블록도이다. 도시한 바와 같이, 본 실시예에 따른 포인팅 장치(80)는 촬상부(81)와 오브젝트 인식부(83)와 오브젝트 움직임 검출부(85)와 조작 신호 생성부(87)와 촬상부(81)의 피사체를 향한 측면에 배치되어 피사체에 적외선 조명을 제공하는 적외선 발광부(89)를 포함할 수 있다.
촬상부(81)는 포인팅 장치 본체의 전면에 평행한 방향으로부터의 광을 수광하여 이미지로 변환하여 출력한다. 즉, 촬상부(81)는 포인팅 의사를 가진 오브젝트의 측면영상을 획득한다. 본 발명에 따른 포인팅 장치에 사용 가능한 촬상부(81)에 대한 실시예는 도4 내지 도6을 참조하여 전술한 바와 같다.
오브젝트 인식부(83)는 촬상부(81)로부터 입력되는 이미지로부터 포인팅 의사를 가진 오브젝트를 인식한다. 일례로, 오브젝트 인식부(83)는 촬상부(81)에서 촬영된 이미지으로부터 오브젝트의 에지를 추출한다. 촬영된 이미지에서 오브젝트의 에지는 농담치가 급격하게 변화하는 부분이기 때문에 함수의 변화분을 취하는 미분 연산을 이용하여 에지를 검출할 수 있다. 그 밖에 화소들을 감산한 값에서 최대값을 결정하고, 3x3의 중심화소로부터 주변의 8화소들 각각을 감산하여 각 차이의 절대값중 가장 큰값을 취하여 에지 검출을 수행하는 유사 연산자(homegeneity operator), 화소당 4개의 감산을 통해 에지 검출을 하는 차연산을 이용한 에지 검출 방법 등이 공지되어 있다. 오브젝트 인식부(83)는 검출된 에지의 연속성 정보를 분석하여 특정한 오브젝트를 인식하고, 인식된 오브젝트를 저장된 규격 이미지, 예를 들면 손가락 이미지의 윤곽선 정보와 비교함으로써, 사용자의 손가락을 인식할 수 있다.
오브젝트 움직임 검출부(85)는 오브젝트 인식부(83)에서 인식된 오브젝트의 시간적 위치 변화 정보, 예를 들면 오브젝트의 중간 좌표 변화 정보를 통해 오브젝트의 수평, 수직 방향, 광축 방향 또는 회전 방향의 움직임 정보를 검출한다. 여기서, 오브젝트의 광축 방향으로의 움직임은 오브젝트가 포인팅 장치 본체에 대해 상하로 이동하는 것을 의미한다.
조작 신호 생성부(87)는 오브젝트 움직임 검출부(85)로부터 입력되는 오브젝트 움직임 정보에 따른 조작 신호 정보를 생성하여 출력한다. 일례로, 조작 신호 생성부(87)는 오브젝트의 광축 방향으로의 움직임을 인식하여 예컨대, 마우스의 '클릭' 동작에 해당하는 조작 신호를 생성하여 출력할 수 있다. 또한, 조작 신호 생성부(87)는 포인팅 장치의 본체에 대한 오브젝트의 수평, 수직 방향으로의 움직 임과 방향을 인식하여 예컨대, 화면에 디스플레이된 아이템 리스트를 수평, 수직 방향으로 스크롤하도록 하는 신호를 생성하여 출력할 수 있다. 또한, 조작 신호 생성부(87)는 오브젝트의 회전 움직임과 방향을 인식하여 스크롤의 방향과 속도를 설정할 수 있다.
적외선 발광부(89)는 예컨대, 지향 특성이 강한 적외선 LED로 구현될 수 있다. 적외선 발광부(89)는 본 발명에 따른 포인팅 장치(80)가 장착된 전자기기의 전원에 의해 구동되며, 전자기기의 제어부(120)로부터 입력되는 제어신호에 따라 소정 파장의 적외선을 발광하도록 구현될 수 있다.
본 발명에 따른 사용자 인터페이스 장치로 사용될 수 있는 포인팅 장치(80)는 촬상부(81)로부터 입력되는 고리 형태의 이미지를 평면 형태의 이미지로 변환하고 왜곡된 이미지를 교정한 후 오브젝트 인식부(83)로 출력하는 이미지 변환 처리부(82)를 더 포함하여 구현될 수 있다.
도 9는 본 발명의 다른 실시예에 따른 포인팅 장치의 개략적인 구성을 도시한 블록도이다. 도시한 바와 같이, 본 실시예에 따른 포인팅 장치(90)는 제1, 제2 촬상부(91, 92)와 제1, 제2 적외선 발광부(93, 94)와 제1, 제2 오브젝트 인식부(96, 97)와 오브젝트 위치 산출부(98)와 조작 신호 생성부(99)를 포함하여 구현된다.
제1, 제2 촬상부(91, 92)는 포인팅 장치 본체의 전면에 평행한 방향으로부터의 광을 수광하여 이미지로 변환하여 출력하며, 일정한 거리(D)만큼 이격되어 설치된다. 본 발명에 따른 포인팅 장치에 사용 가능한 제1, 제2 촬상부(91, 92)에 대 한 실시예는 도4 내지 도6을 참조하여 전술한 바와 같다.
제1 적외선 발광부(93)는 제1 촬상부(91)의 피사체를 향한 측면에 배치되어 상기 피사체에 적외선 조명을 제공한다. 제2 적외선 발광부(94)는 제2 촬상부(92)의 피사체를 향한 측면에 배치되어 상기 피사체에 적외선 조명을 제공한다. 제1, 제2 적외선 발광부(93, 94)는 예컨대 지향 특성이 강한 적외선 LED를 포함하여 구현될 수 있다. 제1, 제2 적외선 발광부(93, 94)는 본 발명에 따른 포인팅 장치(90)가 장착된 전자기기의 전원에 의해 구동되며, 전자기기의 제어부(120)로부터 입력되는 제어신호에 따라 소정 파장의 적외선을 발광하도록 구현될 수 있다.
제1 오브젝트 인식부(96)는 제1 촬상부(91)로부터 입력되는 이미지로부터 포인팅 의사를 가진 오브젝트를 인식한다. 제2 오브젝트 인식부(97)는 제2 촬상부(92)로부터 입력되는 이미지로부터 포인팅 의사를 가진 오브젝트를 인식한다. 제1, 제2 오브젝트 인식부(96, 97)는 각각 제1, 제2 촬상부(91, 92)에서 촬영된 이미지으로부터 오브젝트의 에지를 추출한다. 촬영된 이미지에서 오브젝트의 에지는 농담치가 급격하게 변화하는 부분이기 때문에 함수의 변화분을 취하는 미분 연산을 이용하여 에지를 검출할 수 있다. 그 밖에 화소들을 감산한 값에서 최대값을 결정하고, 3x3의 중심화소로부터 주변의 8화소들 각각을 감산하여 각 차이의 절대값중 가장 큰값을 취하여 에지 검출을 수행하는 유사 연산자(homegeneity operator), 화소당 4개의 감산을 통해 에지 검출을 하는 차연산을 이용한 에지 검출 방법등이 공지되어 있다. 제1, 제2 오브젝트 인식부(96, 97)는 검출된 에지의 연속성 정보를 분석하여 특정한 오브젝트를 인식하고, 인식된 오브젝트를 저장된 규격 이미지, 예 를 들면 손가락 이미지의 윤곽선 정보와 비교함으로써, 사용자의 손가락을 인식할 수 있다.
오브젝트 위치 산출부(98)는 제1, 제2 오브젝트 인식부(96, 97)에서 동시에 인식된 오브젝트의 위치 정보를 산출하여 출력한다. 이러한 오브젝트 위치 산출부(98)에서 오브젝트의 위치 정보를 산출하는 수학적 알고리즘에 대한 자세한 설명은 도시한 도면을 참조하여 후술하기로 한다.
조작 신호 생성부(99)는 오브젝트 위치 산출부(98)로부터 입력되는 연속된 프레임마다의 오브젝트 위치 정보를 이용하여 상기 오브젝트의 움직임을 분석하고, 그 분석에 따른 조작 신호 정보를 생성하여 출력한다. 일례로, 조작 신호 생성부(99)는 오브젝트의 광축 방향으로의 움직임을 인식하여 예컨대, 마우스의 '클릭' 동작에 해당하는 신호를 생성하여 출력할 수 있다. 또한, 조작 신호 생성부(99)는 포인팅 장치의 본체에 대한 오브젝트의 수평, 수직 방향으로의 움직임과 방향을 인식하여 예컨대, 화면에 디스플레이된 아이템 리스트를 수평, 수직 방향으로 스크롤하도록 하는 신호를 생성하여 출력할 수 있다. 또한, 조작 신호 생성부(99)는 오브젝트의 회전 움직임과 방향을 인식하여 스크롤의 방향과 속도를 설정할 수 있다.
본 발명에 따른 사용자 인터페이스 장치로 사용될 수 있는 포인팅 장치(90)는 제1, 제2 촬상부(91, 92)로부터 입력되는 고리 형태의 이미지를 평면 형태의 이미지로 변환하고 왜곡된 이미지를 교정한 후 제1, 제2 오브젝트 인식부(96, 97)로 출력하는 제1, 제2 이미지 변환 처리부(951, 952)를 더 포함하여 구현될 수 있다.
도 10내지 도 13은 본 발명에 따른 포인팅 장치에서 획득할 수 있는 오브젝 트 움직임 정보를 설명하기 위한 도면이다.
본 발명에 따른 포인팅 장치는 본체 전면으로 근접하는 포인팅 의사를 가진 오브젝트의 측면 영상을 촬상부를 통해 획득하여 오브젝트의 움직임을 명확하게 인식하도록 구현된다.
먼저, 도 10을 참조하여 설명하면, 본 발명에 따른 포인팅 장치는 촬상부에서 촬영된 이미지 a)와 b)를 통해 오브젝트(P)의 장치에 대한 광축 방향으로의 움직임과 방향을 인식할 수 있다. 본 발명에 따른 포인팅 장치는 이러한 오브젝트(P)의 장치에 대한 광축 방향으로의 움직임을 인식하여 예컨대, 마우스의 '클릭' 동작에 해당하는 신호를 생성하여 출력할 수 있다.
도 11을 참조하여 설명하면, 본 발명에 따른 포인팅 장치는 촬상부에서 촬영된 이미지 a), b), c)를 통해 오브젝트(P)의 장치에 대한 수평 방향으로의 움직임과 방향을 인식할 수 있다. 본 발명에 따른 포인팅 장치는 이러한 오브젝트(P)의 수평 방향으로의 움직임을 인식하여 예컨대, 화면에 디스플레이된 아이템 리스트를 수평 방향으로 스크롤하도록 하는 신호를 생성하여 출력할 수 있다.
도 12를 참조하여 설명하면, 본 발명에 따른 포인팅 장치는 촬상부에서 촬영된 이미지 a), b), c)를 통해 오브젝트(P)의 장치에 대한 수직 방향으로의 움직임과 방향을 인식할 수 있다. 본 발명에 따른 포인팅 장치는 이러한 오브젝트(P)의 수직 방향으로의 움직임을 인식하여 예컨대, 화면에 디스플레이된 아이템 리스트를 수직 방향으로 스크롤하도록 하는 신호를 생성하여 출력할 수 있다.
도 13을 참조하여 설명하면, 본 발명에 따른 포인팅 장치는 촬상부에서 촬영 된 이미지 a), b), c), d)를 통해 오브젝트(P)의 장치에 대한 회전 방향으로의 움직임과 방향을 인식할 수 있다. 본 발명에 따른 포인팅 장치는 이러한 오브젝트(P)의 회전 움직임과 방향을 인식하여 예컨대, 화면에 디스플레이된 아이템 리스트에 대한 회전 스크롤의 방향과 속도를 설정할 수 있다.
도 14는 도 9의 실시예에 따른 포인팅 장치가 탑재된 전자기기에서 포인트 의사를 가진 오브젝트의 위치를 산출하는 과정을 설명하기 위한 도면이다.
본 명세서에서는 사용자 인터페이스 장치로 사용될 수 있는 포인팅 장치가 탑재될 수 있는 장치로 이동통신 단말기를 예시하였지만, 본 발명은 이에 한정되지 않고 예를 들어 MP3, PMP, CDP, PDP, 디지털 텔레비젼이나 VTR, DVD플레이어, 각종 감시 모니터, 프로젝터 등 각종 전자 기기에 적용될 수 있다. 또한, 촬영장치가 복수개 장착된 것을 예시하지만 본 발명에 따른 포인팅 장치는 하나의 촬영장치만으로도 충분하다.
도시한 바와 같이, 본 실시예에 따른 이동통신 단말기(140)는 복수개의 촬영장치(141, 142)가 장착되며, 본 발명에 따른 사용자 인터페이스 장치로 사용될 수 있는 포인팅 장치(도시하지 않음.)는 복수개의 촬영장치(141, 142)로부터 촬영된 이미지으로부터 포인팅 의사를 가진 오브젝트(예컨대, 사용자의 손가락)를 인식하고 검출된 오브젝트를 통해 전자 기기의 동작을 제어하는 신호를 생성한다.
도시한 바와 같이, 사용자가 포인팅 장치가 탑재된 이동통신 단말기(140)의 디스플레이 장치(143)의 임의의 위치에 손가락을 올려 놓은 경우, 포인팅 장치는 일정한 거리(D)만큼 이격되어 설치되는 복수개의 촬영장치(141, 142)를 통해 촬영 된 이미지으로부터 손가락을 인식하고, 검출된 손가락의 위치를 산출한다. 본 발명의 포인팅 장치는 복수개의 촬영장치(141, 142) 중 어느 하나를 예를 들면, 좌측의 촬영장치(141)의 중심을 원점(0,0)으로 하며 일정한 거리(D)만큼 이격되어 설치되는 복수개의 촬영장치(141, 142)를 잇는 직선과 그 직선에 직각을 이루는 직선을 각각 x,y 축으로 정의한 직교좌표계를 설정하여 손가락의 위치(X,Y)를 다음과 같은 수학식1을 통해 산출할 수 있다.
Figure 112006051344793-pat00001
Figure 112006051344793-pat00002
Figure 112006051344793-pat00003
,
Figure 112006051344793-pat00004
여기서, θ1, θ2 는 복수개의 촬영장치(141, 142)가 x축(복수개의 카메라(11, 12)를 잇는 직선)과 손가락의 위치(X,Y)가 이루는 각도이다. 여기서, θ1, θ2 는 다음과 같은 수학식2를 통해 산출할 수 있다.
Figure 112006051344793-pat00005
Figure 112006051344793-pat00006
,
여기서, L은 이미지 센서의 둘레의 길이이고, a, b는 각각의 촬영장치(141, 142)에서 인식한 x 축에서 손가락 위치까지 이미지 센서의 상대적인 둘레의 길이이 다.
도 15는 본 발명의 일 실시예에 따른 전자 기기의 개략적인 구성을 도시한 블록도이다. 도시한 바와 같이, 본 발명에 따른 전자 기기(700)는 촬상부(710)와 적외선 발광부(730)와 영상 처리부(750)와 제어부(760)를 포함한다.
촬상부(710)는 전자 기기 본체의 전면에 평행한 방향으로부터의 광을 수광하여 이미지로 변환하여 출력한다. 일 실시예에 따른 촬상부(710)는 입사광을 반사하는 반사부재가 코딩되고, 수평방향으로 90도∼170도 사이의 화각(θ)과 수직방향으로 일정 범위의 (-)에서 (+)까지의 화각(Φ)을 갖는 렌즈와, 렌즈로부터 입력되는 빛 중 적외선 발광부(730)에서 발광된 소정 파장의 빛만을 통과시키는 필터와, 필터를 통해 광 신호를 입력받아 이미지가 형성되는 이미지 센서를 포함하여 구현될 수 있다. 여기서, 렌즈는 전방위 렌즈로 구현되며, 이미지 센서는 공지된 CCD형 이미지 센서와 CMOS형 이미지 센서로 구현될 수 있다. 여기서, 필터는 소정 파장 대역의 적외선만 통과시키는 적외선 패스 필터로 구현된다.
다른 실시예에 따른 촬상부(710)는 포인팅 장치 본체 전면에 평행한 방향으로부터의 광을 안내하는 도파관과, 도파관을 통해 안내되는 광의 진행 방향을 변경하는 반사경과, 반사경으로부터 입력되는 빛 중 적외선 발광부(730)에서 발광된 소정 파장의 빛만을 통과시키는 필터와, 필터를 통해 광 신호를 입력받아 이미지가 형성되는 이미지 센서를 포함하여 구현될 수 있다. 여기서, 이미지 센서는 공지된 CCD형 이미지 센서와 CMOS형 이미지 센서로 구현될 수 있다. 여기서, 필터는 소정 파장 대역의 적외선만 통과시키는 적외선 패스 필터로 구현된다.
다른 실시예에 따른 촬상부(710)는 입사광을 반사하는 반사부재(R1, R2)가 코딩되고, 전방위 수평 시야각(θ)과 일정 범위의 (-)에서 (+)까지의 수직 시야각(Φ)을 갖는 전방위 렌즈와, 전방위 렌즈로부터 입력되는 빛 중 적외선 발광부(730)에서 발광된 소정 파장의 빛만을 통과시키는 필터와, 필터를 통해 광 신호를 입력받아 이미지가 형성되는 이미지 센서를 포함하여 구현될 수 있다. 여기서, 전방위 렌즈는 예를 들어, 360°수평 시야각과 (-)17°에서 (+)66°까지의 수직 시야각을 갖는 렌즈로 구현될 수 있다. 이미지 센서는 전방위 렌즈로부터 광 신호를 입력받아 이미지가 형성되는 공지된 CCD형 이미지 센서와 CMOS형 이미지 센서로 구현될 수 있다. 여기서, 필터는 소정 파장 대역의 적외선만 통과시키는 적외선 패스 필터로 구현된다.
적외선 발광부(730)는 촬상부(710)의 피사체를 향한 측면에 배치되어 피사체에 적외선 조명을 제공한다. 적외선 발광부(730)는 예컨대 지향 특성이 강한 적외선 LED를 포함하여 구현될 수 있다.
영상 처리부(750)는 촬상부(710)에서 촬영된 영상으로부터 포인팅 의사를 가진 오브젝트를 추출하고, 그 오브젝트 크기와 움직임 정보를 이용하여 오브젝트의 움직임을 분석하고, 그 분석 정보를 출력한다. 영상 처리부(750)는 디지털 신호 처리기(DSP)및 범용의 마이크로 프로세서를 포함하여 구현될 수 있으며, 전용의 하드웨어 혹은 소프트웨어 혹은 이들의 혼합에 의해 구성될 수 있다.
영상 처리부(750)는 촬상부(710)에서 촬영된 이미지으로부터 오브젝트의 에지를 추출한다. 촬영된 이미지에서 오브젝트의 에지는 농담치가 급격하게 변화하 는 부분이기 때문에 함수의 변화분을 취하는 미분 연산을 이용하여 에지를 검출할 수 있다. 그 밖에 화소들을 감산한 값에서 최대값을 결정하고, 3x3의 중심화소로부터 주변의 8화소들 각각을 감산하여 각 차이의 절대값중 가장 큰값을 취하여 에지 검출을 수행하는 유사 연산자(homegeneity operator), 화소당 4개의 감산을 통해 에지 검출을 하는 차연산을 이용한 에지 검출 방법 등이 공지되어 있다. 영상 처리부(750)는 검출된 에지의 연속성 정보를 분석하여 특정한 오브젝트를 인식하고, 인식된 오브젝트를 저장된 규격 이미지, 예를 들면 손가락 이미지의 윤곽선 정보와 비교함으로써, 사용자의 손가락을 인식할 수 있다.
영상 처리부(750)는 촬상부(710)에서 촬영된 이미지으로부터 인식된 오브젝트의 시간적 위치 변화 정보, 예를 들면 오브젝트의 중간 좌표 변화 정보를 통해 오브젝트의 수평, 수직 방향, 광축 방향 또는 회전 방향의 움직임 정보를 검출한다. 여기서, 오브젝트의 광축 방향으로의 움직임은 오브젝트가 포인팅 장치 본체에 대해 상하로 이동하는 것을 의미한다. 영상 처리부(750)는 검출된 오브젝트 크기와 움직임 정보를 이용하여 오브젝트의 움직임을 분석하고, 그 분석 정보를 출력한다. 일례로, 영상 처리부(750)는 오브젝트의 광축 방향으로의 움직임을 인식하여 예컨대, 마우스의 '클릭' 동작에 해당하는 조작신호를 생성하여 출력할 수 있다. 이 경우, 선택된 아이템 리스트의 재생 선택 신호를 출력할 수 있다. 또한, 영상 처리부(750)는 포인팅 장치의 본체에 대한 오브젝트의 수평, 수직 방향으로의 움직임과 방향을 인식하여 예컨대, 화면에 디스플레이된 아이템 리스트를 수평, 수직 방향으로 스크롤하도록 하는 조작신호를 생성하여 출력할 수 있다. 또한, 영상 처리부(750)는 오브젝트의 회전 움직임과 방향을 감지하여 화면의 아이템 리스트들을 스크롤하는 조작신호를 출력한다. 영상 처리부(750)는 오브젝트의 회전 방향과, 회전 속도에 따라 상기 스크롤의 방향과 속도를 설정하여 스크롤 조작 신호를 출력할 수 있다. 그러나 전자기기에서 구현되는 본 발명에 따른 포인팅 장치의 동작은 이에 한정되는 것은 아니며 자명한 변형예들을 포괄하도록 해석된다.
제어부(760)는 영상 처리부(750)로부터 입력되는 조작신호에 따라 전자 기기의 전반적인 동작을 제어한다. 이러한 조작신호에 따른 제어부(760)에서의 동작은 본 발명의 요지에 벗어난 범위의 기술이고 이미 공지된 사항이므로 그 설명은 생략하기로 한다.
본 발명에 따른 사용자 인터페이스 장치로 사용될 수 있는 포인팅 장치가 탑재된 전자 기기(700)는 촬상부(710)로부터 입력되는 고리 형태의 이미지를 평면 형태의 이미지로 변환하고 왜곡된 이미지를 교정한 후 영상 처리부(750)로 출력하는 이미지 변환 처리부(740)를 더 포함하여 구현될 수 있다.
도 16은 본 발명의 다른 실시예에 따른 전자 기기의 개략적인 구성을 도시한 블록도이다. 도시한 바와 같이, 본 발명에 따른 전자 기기(800)는 제1, 제2 촬상부(810, 820)와 제1, 제2 적외선 발광부(830,840)와 영상 처리부(870)와 제어부(890)를 포함한다.
제1, 제2 촬상부(810, 820)는 전자 기기 본체의 전면에 평행한 방향으로부터의 광을 수광하여 이미지로 변환하여 출력하며, 일정한 거리(D)만큼 이격되어 설치된다. 일 실시예에 있어서, 제1, 제2 촬상부(810, 820)는 입사광을 반사하는 반사 부재가 코딩되고, 수평방향으로 90도∼170도 사이의 화각(θ)과 수직방향으로 일정 범위의 (-)에서 (+)까지의 화각(Φ)을 갖는 렌즈와, 렌즈로부터 입력되는 빛 중 제1, 제2 적외선 발광부(830,840)에서 발광된 소정 파장의 빛만을 통과시키는 필터와, 필터를 통해 광 신호를 입력받아 이미지가 형성되는 이미지 센서를 포함하여 구현될 수 있다. 여기서, 광각 렌즈, 어안 렌즈 또는 전방위(혹은 파노라마) 렌즈로 구현되며, 이미지 센서는 공지된 CCD형 이미지 센서와 CMOS형 이미지 센서로 구현될 수 있다. 여기서, 필터는 소정 파장 대역의 적외선만 통과시키는 적외선 패스 필터로 구현된다.
다른 실시예에 따른 제1, 제2 촬상부(810, 820)는 포인팅 장치 본체 전면에 평행한 방향으로부터의 광을 안내하는 도파관과, 도파관을 통해 안내되는 광의 진행 방향을 변경하는 반사경과, 반사경으로부터 입력되는 빛 중 제1, 제2 적외선 발광부(830,840)에서 발광된 소정 파장의 빛만을 통과시키는 필터와, 필터를 통해 광 신호를 입력받아 이미지가 형성되는 이미지 센서를 포함하여 구현될 수 있다. 여기서, 이미지 센서는 공지된 CCD형 이미지 센서와 CMOS형 이미지 센서로 구현될 수 있다. 여기서, 필터는 소정 파장 대역의 적외선만 통과시키는 적외선 패스 필터로 구현된다.
다른 실시예에 따른 제1, 제2 촬상부(810, 820)는 입사광을 반사하는 반사부재(R1, R2)가 코딩되고, 전방위 수평 시야각(θ)과 일정 범위의 (-)에서 (+)까지의 수직 시야각(Φ)을 갖는 전방위 렌즈와, 전방위 렌즈로부터 입력되는 빛 중 제1, 제2 적외선 발광부(830,840)에서 발광된 소정 파장의 빛만을 통과시키는 필터와, 필터를 통해 광 신호를 입력받아 이미지가 형성되는 이미지 센서를 포함하여 구현될 수 있다. 여기서, 전방위 렌즈는 예를 들어, 360°수평 시야각과 (-)17°에서 (+)66°까지의 수직 시야각을 갖는 렌즈로 구현될 수 있다. 이미지 센서는 전방위 렌즈로부터 광 신호를 입력받아 이미지가 형성되는 공지된 CCD형 이미지 센서와 CMOS형 이미지 센서로 구현될 수 있다. 여기서, 필터는 소정 파장 대역의 적외선만 통과시키는 적외선 패스 필터로 구현된다.
제1, 제2 적외선 발광부(830,840)는 각각 제1, 제2 촬상부(810, 820)의 피사체를 향한 측면에 배치되어 피사체에 적외선 조명을 제공한다. 제1, 제2 적외선 발광부(830,840)는 예컨대 지향 특성이 강한 적외선 LED를 포함하여 구현될 수 있다.
영상 처리부(870)는 제1, 제2 촬상부(810, 820)로부터 동시에 입력되는 이미지로부터 포인팅 의사를 가진 오브젝트 위치 정보를 산출하고, 상기 위치 정보를 기초로 오브젝트의 움직임을 분석하고, 그 분석 정보를 출력한다. 영상 처리부(870)는 디지털 신호 처리기(DSP)및 범용의 마이크로 프로세서를 포함하여 구현될 수 있으며, 전용의 하드웨어 혹은 소프트웨어 혹은 이들의 혼합에 의해 구성될 수 있다.
영상 처리부(870)는 제1, 제2 촬상부(810, 820)에서 촬영된 이미지에서 오브젝트의 에지를 추출한다. 촬영된 이미지에서 오브젝트의 에지는 농담치가 급격하게 변화하는 부분이기 때문에 함수의 변화분을 취하는 미분 연산을 이용하여 에지를 검출할 수 있다. 그 밖에 화소들을 감산한 값에서 최대값을 결정하고, 3x3의 중심화소로부터 주변의 8화소들 각각을 감산하여 각 차이의 절대값중 가장 큰값을 취하여 에지 검출을 수행하는 유사 연산자(homegeneity operator), 화소당 4개의 감산을 통해 에지 검출을 하는 차연산을 이용한 에지 검출 방법 등이 공지되어 있다. 영상 처리부(870)는 검출된 에지의 연속성 정보를 분석하여 특정한 오브젝트를 인식하고, 인식된 오브젝트를 저장된 규격 이미지, 예를 들면 손가락 이미지의 윤곽선 정보와 비교함으로써, 사용자의 손가락을 인식할 수 있다.
영상 처리부(870)는 제1, 제2 촬상부(810, 820)에서 촬영된 이미지으로부터 오브젝트의 크기와 연속된 프레임에서 오브젝트의 수평, 수직 방향, 광축 방향 또는 회전 방향의 움직임 정보를 검출한다. 여기서, 오브젝트의 광축 방향으로의 움직임은 오브젝트가 포인팅 장치 본체에 대해 상하로 이동하는 것을 의미한다. 영상 처리부(870)는 검출된 오브젝트 크기와 움직임 정보를 이용하여 오브젝트의 움직임을 분석하고, 그 분석 정보를 출력한다. 일례로, 영상 처리부(870)는 오브젝트의 광축 방향으로의 움직임을 인식하여 예컨대, 마우스의 '클릭' 동작에 해당하는 조작신호를 생성하여 출력할 수 있다. 이 경우, 선택된 아이템 리스트의 재생 선택 신호를 출력할 수 있다. 또한, 영상 처리부(870)는 포인팅 장치의 본체에 대한 오브젝트의 수평, 수직 방향으로의 움직임과 방향을 인식하여 예컨대, 화면에 디스플레이된 아이템 리스트를 수평, 수직 방향으로 스크롤하도록 하는 조작신호를 생성하여 출력할 수 있다. 또한, 영상 처리부(870)는 오브젝트의 회전 움직임과 방향을 감지하여 화면의 아이템 리스트들을 스크롤하는 조작신호를 출력한다. 영상 처리부(750)는 오브젝트의 회전 방향과, 회전 속도에 따라 상기 스크롤의 방향과 속도를 설정하여 스크롤 조작 신호를 출력할 수 있다. 그러나 전자기기에서 구 현되는 본 발명에 따른 포인팅 장치의 동작은 이에 한정되는 것은 아니며 자명한 변형예들을 포괄하도록 해석된다.
제어부(890)는 영상 처리부(870)로부터 입력되는 조작신호에 따라 전자 기기의 전반적인 동작을 제어한다. 이러한 조작신호에 따른 제어부(890)에서의 동작은 본 발명의 요지에 벗어난 범위의 기술이고 이미 공지된 사항이므로 그 설명은 생략하기로 한다.
본 발명에 따른 사용자 인터페이스 장치로 사용될 수 있는 포인팅 장치가 탑재된 전자 기기(800)는 제1, 제2 촬상부(810, 820)로부터 입력되는 고리 형태의 이미지를 평면 형태의 이미지로 변환하고 왜곡된 이미지를 교정한 후 영상 처리부(750)로 출력하는 제1,제2 이미지 변환 처리부(850, 860)를 더 포함하여 구현될 수 있다.
이상에서 상세히 설명한 바와 같이, 본 발명에 따르면 포인팅 장치에 별도의 리모콘이나 마우스와 같은 입력 장비가 없이도 포인팅 의사를 가진 어떠한 오브젝트를 통해 전자 기기의 제어가 가능하여 더 편리하고 유용한 포인팅 장치를 제공할 수 있는 효과가 있다.
나아가 본 발명에 따른 포인팅 장치는, 촬상부를 통해 장치 본체의 전면에 근접하는 포인팅 의사를 가진 오브젝트의 측면 영상을 획득하여 오브젝트가 장치에 근접 또는 접촉시에도 오브젝트의 움직임을 명확하게 인식할 수 있는 유용한 효과가 있다.
또한, 본 발명에 따른 포인팅 장치는, 일정한 거리(D)만큼 이격되어 설치되는 제1, 제2 촬상부를 통해 장치 본체의 전면에 근접하는 포인팅 의사를 가진 오브젝트의 측면 영상을 획득하여 오브젝트의 위치 추적 및 인식이 가능하도록 구현됨으로써, 전자 기기의 디스플레이 장치의 포인팅 장치와 무접점 키패드로 활용될 수 있는 유용한 효과가 있다.
나아가 렌즈를 통하여 집광되는 빛 중 포인팅 장치에 구비된 적외선 발광부에서 발광된 파장 영역에 해당하는 빛을 검출함으로써, 휴대용 전자 기기의 동작을 제어하기 위한 사용자의 움직임 등을 더 명확하게 인식할 수 있는 효과가 있다.
이상에서 본 발명은 바람직한 실시예들을 참조하여 설명되었지만 여기에 한정되는 것은 아니며, 본 발명의 범주를 벗어남이 없이 당업자라면 자명하게 도출가능한 많은 변형예들을 포괄하도록 의도된 첨부된 특허청구범위에 의하여 해석되어져야 한다.

Claims (30)

  1. 조작 장치 본체의 전면에서 광을 수광하여 이미지로 변환하여 출력하는 촬상부와;
    상기 촬상부로부터 입력되는 이미지로부터 포인팅 의사를 가진 오브젝트를 인식하는 오브젝트 인식부와;
    상기 오브젝트 인식부에서 인식된 오브젝트의 시간적 위치 변화를 통해 움직임 정보를 검출하는 오브젝트 움직임 검출부와;
    상기 오브젝트 움직임 검출부로부터 입력되는 오브젝트 움직임 정보에 따른 조작 신호 정보를 생성하여 출력하는 조작 신호 생성부;
    를 포함하는 것을 특징으로 하는 조작 장치.
  2. 제 1 항에 있어서,
    상기 조작 신호 생성부에서 출력되는 조작 신호 정보가,
    적어도 포인팅 의사를 가진 오브젝트의 수평, 수직으로의 직선 움직임 및 방향 정보와 오브젝트의 회전 움직임 및 방향 정보와 광축 방향으로의 움직임 및 방향 정보를 포함하는 것을 특징으로 하는 조작 장치.
  3. 제 1 항에 있어서, 상기 촬상부가 :
    입사광을 반사하는 반사부재가 코딩되고, 수평방향으로 90도∼170도 사이의 화각과 수직방향으로 일정 범위의 (-)에서 (+)까지의 화각을 갖는 렌즈와;
    상기 렌즈로부터 광 신호를 입력받아 이미지가 형성되는 이미지 센서;
    를 포함하는 것을 특징으로 하는 조작 장치.
  4. 제 1 항에 있어서, 상기 촬상부가 :
    조작 장치 본체의 전면에 평행한 방향으로부터의 광을 안내하는 도파관과;
    상기 도파관을 통해 안내되는 광의 진행 방향을 변경하는 반사경과;
    상기 반사경으로부터 광 신호를 입력받아 이미지가 형성되는 이미지 센서;
    를 포함하는 것을 특징으로 하는 조작 장치.
  5. 제 1 항에 있어서, 상기 촬상부가 :
    입사광을 반사하는 반사부재가 코딩되고, 전방위 수평 시야각과 일정 범위의 (-)에서 (+)까지의 수직 시야각을 갖는 전방위 렌즈와;
    상기 전방위 렌즈로부터 광 신호를 입력받아 이미지가 형성되는 이미지 센서;
    를 포함하는 것을 특징으로 하는 조작 장치.
  6. 제 1 항에 있어서, 상기 조작 장치가 :
    상기 촬상부로부터 입력되는 고리 형태의 이미지를 평면 형태의 이미지로 변환하고 왜곡된 이미지를 교정한 후 상기 오브젝트 검출부로 출력하는 이미지 변환 처리부;
    를 더 포함하는 것을 특징으로 하는 조작 장치.
  7. 제 1 항에 있어서, 상기 조작 장치가 :
    상기 촬상부의 피사체를 향한 측면에 배치되어 상기 피사체에 적외선 조명을 제공하는 적외선 발광부;를 더 포함하고,
    상기 촬상부가 :
    집광된 빛 중 상기 적외선 발광부에서 발광된 소정 파장의 빛만을 통과시키는 필터;
    를 더 포함하는 것을 특징으로 하는 조작 장치.
  8. 조작 장치 본체의 전면에서 광을 수광하여 이미지로 변환하여 출력하며, 일정한 거리(D)만큼 이격되어 설치되는 제1, 제2 촬상부와;
    상기 제1 촬상부로부터 입력되는 이미지로부터 포인팅 의사를 가진 오브젝트를 인식하는 제1 오브젝트 인식부와;
    상기 제2 촬상부로부터 입력되는 이미지로부터 포인팅 의사를 가진 오브젝트를 인식하는 제2 오브젝트 인식부와;
    상기 제1, 제2 오브젝트 인식부에서 동시에 인식된 오브젝트의 위치 정보를 산출하여 출력하는 오브젝트 위치 산출부와;
    상기 오브젝트 위치 산출부로부터 입력되는 연속된 프레임마다의 오브젝트 위치 정보를 이용하여 상기 오브젝트의 움직임을 분석하고, 그 분석에 따른 조작 신호 정보를 생성하여 출력하는 조작 신호 생성부;
    를 포함하는 것을 특징으로 하는 조작 장치.
  9. 제 8 항에 있어서,
    상기 조작 신호 생성부에서 출력되는 조작 신호 정보가,
    적어도 포인팅 의사를 가진 오브젝트의 수평, 수직으로의 직선 움직임 및 방향 정보와 오브젝트의 회전 움직임 및 방향 정보와 광축 방향으로의 움직임 및 방향 정보를 포함하는 것을 특징으로 하는 조작 장치.
  10. 제 8 항에 있어서, 상기 제1, 제2 촬상부가 :
    입사광을 반사하는 반사부재가 코딩되고, 수평방향으로 90도∼170도 사이의 화각과 수직방향으로 일정 범위의 (-)에서 (+)까지의 화각을 갖는 렌즈와;
    상기 렌즈로부터 광 신호를 입력받아 이미지가 형성되는 이미지 센서;
    를 포함하는 것을 특징으로 하는 조작 장치.
  11. 제 8 항에 있어서, 상기 제1, 제2 촬상부가 :
    조작 장치 본체의 전면에 평행한 방향으로부터의 광을 안내하는 도파관과;
    상기 도파관을 통해 안내되는 광의 진행 방향을 변경하는 반사경과;
    상기 반사경으로부터 광 신호를 입력받아 이미지가 형성되는 이미지 센서;
    를 포함하는 것을 특징으로 하는 조작 장치.
  12. 제 8 항에 있어서, 상기 제1, 제2 촬상부가 :
    입사광을 반사하는 반사부재가 코딩되고, 전방위 수평 시야각과 일정 범위의 (-)에서 (+)까지의 수직 시야각을 갖는 전방위 렌즈와;
    상기 전방위 렌즈로부터 광 신호를 입력받아 이미지가 형성되는 이미지 센서;
    를 포함하는 것을 특징으로 하는 조작 장치.
  13. 제 8 항에 있어서, 상기 조작 장치가 :
    상기 제1 촬상부로부터 입력되는 고리 형태의 이미지를 평면 형태의 이미지로 변환하고 왜곡된 이미지를 교정한 후 상기 제1 오브젝트 인식부로 출력하는 제1 이미지 변환 처리부와;
    상기 제2 촬상부로부터 입력되는 고리 형태의 이미지를 평면 형태의 이미지로 변환하고 왜곡된 이미지를 교정한 후 상기 제2 오브젝트 인식부로 출력하는 제2 이미지 변환 처리부;
    를 더 포함하는 것을 특징으로 하는 조작 장치.
  14. 제 8 항에 있어서, 상기 조작 장치가 :
    상기 제1 촬상부의 피사체를 향한 측면에 배치되어 상기 피사체에 적외선 조명을 제공하는 제1 적외선 발광부와;
    상기 제2 촬상부의 피사체를 향한 측면에 배치되어 상기 피사체에 적외선 조명을 제공하는 제2 적외선 발광부;를 더 포함하고,
    상기 제1, 제2 촬상부가 :
    집광된 빛 중 상기 적외선 발광부에서 발광된 소정 파장의 빛만을 통과시키는 필터;
    를 더 포함하는 것을 특징으로 하는 조작 장치.
  15. 전자 기기 본체의 전면에서 광을 수광하여 이미지로 변환하여 출력하는 촬상부와;
    상기 촬상부로부터 입력되는 이미지로부터 포인팅 의사를 가진 오브젝트의 회전운동을 감지하여 화면의 아이템 리스트들을 스크롤하는 조작신호를 출력하는 영상 처리부;
    를 포함하는 것을 특징으로 하는 전자 기기.
  16. 제 15 항에 있어서, 상기 촬상부가 :
    입사광을 반사하는 반사부재가 코딩되고, 수평방향으로 90도∼170도 사이의 화각과 수직방향으로 일정 범위의 (-)에서 (+)까지의 화각을 갖는 렌즈와;
    상기 렌즈로부터 광 신호를 입력받아 이미지가 형성되는 이미지 센서;
    를 포함하는 것을 특징으로 하는 전자 기기.
  17. 제 15 항에 있어서, 상기 촬상부가 :
    조작 장치 본체의 전면에 평행한 방향으로부터의 광을 안내하는 도파관과;
    상기 도파관을 통해 안내되는 광의 진행 방향을 변경하는 반사경과;
    상기 반사경으로부터 광 신호를 입력받아 이미지가 형성되는 이미지 센서;
    를 포함하는 것을 특징으로 하는 전자 기기.
  18. 제 15 항에 있어서, 상기 촬상부가 :
    입사광을 반사하는 반사부재가 코딩되고, 전방위 수평 시야각과 일정 범위의 (-)에서 (+)까지의 수직 시야각을 갖는 전방위 렌즈와;
    상기 전방위 렌즈로부터 광 신호를 입력받아 이미지가 형성되는 이미지 센서;
    를 포함하는 것을 특징으로 하는 전자 기기.
  19. 제 15 항에 있어서, 상기 영상 처리부가:
    상기 오브젝트의 회전 방향과, 회전 속도에 따라 상기 스크롤의 방향과 속도 를 설정하여 스크롤 조작 신호를 출력하는 것을 특징으로 하는 전자 기기.
  20. 제 15 항에 있어서, 상기 영상 처리부가:
    상기 전자 기기 본체의 전면에 대한 오브젝트의 광축 방향 운동을 감지하여, 상기 오브젝트가 상기 전자 기기를 향하여 이동한 경우에는 선택된 아이템 리스트의 재생 선택 신호를 출력하는 것을 특징으로 하는 전자 기기.
  21. 제 15 항에 있어서, 상기 전자 기기가 :
    상기 촬상부로부터 입력되는 고리 형태의 이미지를 평면 형태의 이미지로 변환하고 왜곡된 이미지를 교정한 후 상기 영상 처리부로 출력하는 이미지 변환 처리부;
    를 더 포함하는 것을 특징으로 하는 전자 기기.
  22. 제 15 항에 있어서, 상기 전자 기기가 :
    상기 촬상부의 피사체를 향한 측면에 배치되어 상기 피사체에 적외선 조명을 제공하는 적외선 발광부;를 더 포함하고,
    상기 촬상부가 :
    집광된 빛 중 상기 적외선 발광부에서 발광된 소정 파장의 빛만을 통과시키는 필터;
    를 더 포함하는 것을 특징으로 하는 전자 기기.
  23. 전자 기기 본체의 전면에서 광을 수광하여 이미지로 변환하여 출력하며, 일정한 거리(D)만큼 이격되어 설치되는 제1, 제2 촬상부와;
    상기 제1 ,제2 촬상부로부터 동시에 입력되는 이미지로부터 포인팅 의사를 가진 오브젝트 위치 정보를 산출하고, 상기 위치 정보를 기초로 상기 오브젝트의 회전운동을 감지하여 화면의 아이템 리스트들을 스크롤하는 조작신호를 출력하는 영상 처리부;
    를 포함하는 것을 특징으로 하는 전자 기기.
  24. 제 23 항에 있어서, 상기 제1, 제2 촬상부가 :
    입사광을 반사하는 반사부재가 코딩되고, 수평방향으로 90도∼170도 사이의 화각과 수직방향으로 일정 범위의 (-)에서 (+)까지의 화각을 갖는 렌즈와;
    상기 렌즈로부터 광 신호를 입력받아 이미지가 형성되는 이미지 센서;
    를 포함하는 것을 특징으로 하는 전자 기기.
  25. 제 23 항에 있어서, 상기 제1, 제2 촬상부가 :
    조작 장치 본체의 전면에 평행한 방향으로부터의 광을 안내하는 도파관과;
    상기 도파관을 통해 안내되는 광의 진행 방향을 변경하는 반사경과;
    상기 반사경으로부터 광 신호를 입력받아 이미지가 형성되는 이미지 센서;
    를 포함하는 것을 특징으로 하는 전자 기기.
  26. 제 23 항에 있어서, 상기 제1, 제2 촬상부가 :
    입사광을 반사하는 반사부재가 코딩되고, 전방위 수평 시야각과 일정 범위의 (-)에서 (+)까지의 수직 시야각을 갖는 전방위 렌즈와;
    상기 전방위 렌즈로부터 광 신호를 입력받아 이미지가 형성되는 이미지 센서;
    를 포함하는 것을 특징으로 하는 전자 기기.
  27. 제 23 항에 있어서, 상기 영상 처리부가:
    상기 오브젝트의 회전 방향과, 회전 속도에 따라 상기 스크롤의 방향과 속도 를 설정하여 스크롤 조작 신호를 출력하는 것을 특징으로 하는 전자 기기.
  28. 제 23 항에 있어서, 상기 영상 처리부가:
    상기 전자 기기 본체의 전면에 대한 오브젝트의 광축 방향 운동을 감지하여, 상기 오브젝트가 상기 전자 기기를 향하여 이동한 경우에는 선택된 아이템 리스트의 재생 선택 신호를 출력하는 것을 특징으로 하는 전자 기기.
  29. 제 23 항에 있어서, 상기 전자 기기가 :
    상기 제1 촬상부로부터 입력되는 고리 형태의 이미지를 평면 형태의 이미지로 변환하고 왜곡된 이미지를 교정한 후 상기 영상 처리부로 출력하는 제1 이미지 변환 처리부와;
    상기 제2 촬상부로부터 입력되는 고리 형태의 이미지를 평면 형태의 이미지로 변환하고 왜곡된 이미지를 교정한 후 상기 영상 처리부로 출력하는 제2 이미지 변환 처리부;
    를 더 포함하는 것을 특징으로 하는 전자 기기.
  30. 제 23 항에 있어서, 상기 전자 기기가 :
    상기 제1 촬상부의 피사체를 향한 측면에 배치되어 상기 피사체에 적외선 조명을 제공하는 제1 적외선 발광부와;
    상기 제2 촬상부의 피사체를 향한 측면에 배치되어 상기 피사체에 적외선 조명을 제공하는 제2 적외선 발광부;를 더 포함하고,
    상기 제1, 제2 촬상부가 :
    집광된 빛 중 상기 적외선 발광부에서 발광된 소정 파장의 빛만을 통과시키는 필터;
    를 더 포함하는 것을 특징으로 하는 전자 기기.
KR1020060067443A 2006-07-19 2006-07-19 카메라를 이용한 조작 장치와 전자 기기 KR100756026B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020060067443A KR100756026B1 (ko) 2006-07-19 2006-07-19 카메라를 이용한 조작 장치와 전자 기기

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020060067443A KR100756026B1 (ko) 2006-07-19 2006-07-19 카메라를 이용한 조작 장치와 전자 기기

Publications (1)

Publication Number Publication Date
KR100756026B1 true KR100756026B1 (ko) 2007-09-07

Family

ID=38736693

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020060067443A KR100756026B1 (ko) 2006-07-19 2006-07-19 카메라를 이용한 조작 장치와 전자 기기

Country Status (1)

Country Link
KR (1) KR100756026B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101754921B1 (ko) * 2015-10-29 2017-07-10 주식회사 그로비스인포텍 전자파일 표시용 플렉서블 장치

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001282445A (ja) 2000-03-31 2001-10-12 Ricoh Co Ltd 座標入力／検出装置および情報表示入力装置
JP2002251259A (ja) 2001-02-22 2002-09-06 Ricoh Co Ltd タッチパネル装置
KR20040088550A (ko) * 2002-02-28 2004-10-16 코닌클리케 필립스 일렉트로닉스 엔.브이. Ｇｕｉ를 위한 디스플레이를 제공하는 방법
JP2005165830A (ja) 2003-12-04 2005-06-23 Canon Inc 光学式座標入力装置
KR20050111324A (ko) * 2003-02-14 2005-11-24 넥스트 홀딩즈 리미티드 터치 스크린 신호 처리

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001282445A (ja) 2000-03-31 2001-10-12 Ricoh Co Ltd 座標入力／検出装置および情報表示入力装置
JP2002251259A (ja) 2001-02-22 2002-09-06 Ricoh Co Ltd タッチパネル装置
KR20040088550A (ko) * 2002-02-28 2004-10-16 코닌클리케 필립스 일렉트로닉스 엔.브이. Ｇｕｉ를 위한 디스플레이를 제공하는 방법
KR20050111324A (ko) * 2003-02-14 2005-11-24 넥스트 홀딩즈 리미티드 터치 스크린 신호 처리
JP2005165830A (ja) 2003-12-04 2005-06-23 Canon Inc 光学式座標入力装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101754921B1 (ko) * 2015-10-29 2017-07-10 주식회사 그로비스인포텍 전자파일 표시용 플렉서블 장치

Similar Documents

Publication Publication Date Title
KR100660125B1 (ko) 카메라를 이용한 포인팅 장치
US9973741B2 (en) Three-dimensional image sensors
US8491135B2 (en) Interactive projection with gesture recognition
US20140225826A1 (en) Method for detecting motion of input body and input device using same
JP5740822B2 (ja) 情報処理装置、情報処理方法およびプログラム
US20100103099A1 (en) Pointing device using camera and outputting mark
US8614694B2 (en) Touch screen system based on image recognition
US8269750B2 (en) Optical position input system and method
US20130229387A1 (en) Optical touch device, passive touch control system, and input detection method
CN102939617A (zh) 姿势识别装置、姿势识别方法和程序
CN1928799A (zh) 触摸屏定位装置及其定位方法
JP2011239279A (ja) 遠隔制御装置および遠隔制御方法
JP2015176461A5 (ko)
KR100968205B1 (ko) 적외선 카메라 방식의 공간 터치 감지 장치, 방법 및스크린 장치
JP2011095985A (ja) 画像表示装置
KR100843590B1 (ko) 광 포인팅 장치 및 이를 구비한 휴대 단말기
KR100756026B1 (ko) 카메라를 이용한 조작 장치와 전자 기기
KR100860331B1 (ko) 포인터 이동 제어 장치를 포함하는 전자기기
KR100660128B1 (ko) 카메라를 이용한 포인팅 장치와 전자 기기
US9489077B2 (en) Optical touch panel system, optical sensing module, and operation method thereof
KR20120070320A (ko) 스테레오 카메라를 포함하는 디스플레이 시스템 및 이를 이용한 위치검출 방법
JP2011188023A (ja) 情報処理装置、情報処理方法およびプログラム
US20130187854A1 (en) Pointing Device Using Camera and Outputting Mark
JP2018085118A (ja) 情報処理装置、情報処理方法およびプログラム
CN103902028B (zh) 输入设备、交互系统和输入方法

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
G170 Publication of correction
FPAY Annual fee payment

Payment date: 20130828

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20140630

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20150812

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20160714

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20170804

Year of fee payment: 11

FPAY Annual fee payment

Payment date: 20180808

Year of fee payment: 12

FPAY Annual fee payment

Payment date: 20190806

Year of fee payment: 13