KR20020052217A - 이미지 센서를 이용한 전자 기기 - Google Patents

이미지 센서를 이용한 전자 기기 Download PDF

Info

Publication number
KR20020052217A
KR20020052217A KR1020010010005A KR20010010005A KR20020052217A KR 20020052217 A KR20020052217 A KR 20020052217A KR 1020010010005 A KR1020010010005 A KR 1020010010005A KR 20010010005 A KR20010010005 A KR 20010010005A KR 20020052217 A KR20020052217 A KR 20020052217A
Authority
KR
South Korea
Prior art keywords
electronic device
image
image sensor
movement information
information
Prior art date
Application number
KR1020010010005A
Other languages
English (en)
Inventor
고지 이께다
이누즈까다쯔끼
구즈누끼소시로
나까지마게이스께
후지이겐지로
Original Assignee
가나이 쓰토무
가부시키가이샤 히타치세이사쿠쇼
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 가나이 쓰토무, 가부시키가이샤 히타치세이사쿠쇼 filed Critical 가나이 쓰토무
Publication of KR20020052217A publication Critical patent/KR20020052217A/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Input (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Image Analysis (AREA)

Abstract

입력한 화상을 표시하고, 기록 가능한 전자 기기에 있어서, 이미지 센서로 촬상한 화상을 출력하고, 이미지 센서로 촬상한 화상을 위치 정보 검출 장치로 처리함으로써 이미지 센서 그것 또는 이미지 센서가 촬상하는 피사체의 이동 정보를 계산할 수 있는 이미지 센서를 이용하여, 마우스나 태블릿을 새로 부가하지 않아도, 수기 문자나 도형을 입력할 수 있는 전자 기기를 제공한다.

Description

이미지 센서를 이용한 전자 기기{ELECTRONICS DEVICE APPLYING AN IMAGE SENSOR}
본 발명은 카메라를 이용한 전자 기기, 예를 들면 디지털 카메라, 비디오 카메라, PDA, 휴대 전화, 정보 입력 디바이스, 로봇, 산업 기기 등에 관한 것이다.
종래, 카메라를 이용한 전자 기기에 대해서는 JP-A-6-296206에 휴대형 정보 기기에 관한 것이 논의되어 있다. 이 종래예에 대해서, 이하에 설명한다.
카메라로부터의 화상 데이터를 인터페이스를 통해 받아들여, 입력된 화상 데이터를 액정 표시부에 표시 출력함과 동시에, 그대로 또는 화상 압축·신장 회로로 압축하여 데이터 RAM에 기억한다. 또한, 키(Key) 입력으로부터 입력된 메모랜덤 데이터나 주소록 데이터를 데이터 RAM에 기억하고, 이 기억 데이터를 검색하여, 액정 표시부에 표시 출력한다.
또한, JP-A-11-345079에는 광학 동작 센서 IC를 이용한 핸드헬드(hand-held) 포인팅 디바이스의 종래예가 개시되어 있다. 이 예를 이하에 설명한다.
광학 동작 센서 IC의 응답은 디지털화되어, 프레임으로서 메모리에 기억된다. 선단부의 이동에 의해, 화상 정보가 변환된 패턴으로 이루어지는 연속하는 프레임이 생성되고, 이동 방향과 양을 확실하게 하기 위한 자기상관에 의해 비교된다. 접촉 검출기는 핸드헬드 포인팅 디바이스의 선단부의 포인터가 작업면에 접촉할 때를 검출한다. 버튼은 컴퓨터의 마우스 대신의 기능을 하도록, 핸드헬드 포이팅 디바이스의 본체 상에 설치되어 있다.
상기 제1 종래 기술에서는 카메라 화상을 액정 표시부에 표시 출력할 수 있지만, 또한 수기 문자나 도형을 입력하기 위해서는 마우스나 태블릿(tablet) 등의입력 디바이스가 필요하게 되어, 장치의 용적이 커지거나, 분량이 늘어나거나 한다는 문제가 생긴다.
한편, 제2 종래 기술은 포인팅 디바이스를 대상으로 한 것으로, 입력한 화상을 표시하는 것이나 기록하는 것은 할 수 없다.
본 발명의 목적은 입력한 화상을 표시나 기록할 수 있고, 마우스나 태블릿을 새로 부가하지 않아도 수기 문자나 도형을 입력할 수 있는 전자 기기를 제공하기 위한 것이다.
상기 목적을 달성하기 위해, 본 발명에서는 이미지 센서로 촬상한 화상을 출력하는 것과, 그 이미지 센서로 촬상한 화상을 처리하는 것에 의해 이미지 센서의 이동 정보를 계산하도록 한다.
또는, 이미지 센서로 촬상한 화상을 출력하는 것과, 그 이미지 센서로 촬상한 화상을 처리함으로써 이미지 센서의 피사체의 이동 정보를 계산하도록 한다.
마우스 기능을 실현하기 위해, 계산된 이동 정보를 이용하여 포인팅용 커서를 제어한다. 버튼, 음성, 또는 촬상된 화상의 상태와 연동함으로써, 클릭, 더블클릭, 드래그(drag)의 제어를 행할 수 있다.
태블릿 기능을 실현하기 위해, 계산된 이동 정보를 이용하여 도형 입력용 커서를 제어한다. 버튼, 음성, 또는 촬상된 화상의 상태와 연동함으로써, 펜업(pen-up), 펜다운(pen-down)의 제어를 행할 수 있다.
또한, 입력된 도형 정보를 이용하여 문자 인식을 할 수도 있다.
사인(sign) 인증도, 계산된 이동 정보를 이용하여 행하는 것이 가능하다.
로봇이나 산업기기의 제어에 관해서는, 계산된 이동 정보를 이용하여 매니퓨레이터(manipulator)의 제어(또는 서보 제어)를 행하는 것이 가능하다.
이동 정보의 계산 방법은 미리 절대 좌표 정보가 대응된 대상물을 촬상하고, 그 절대 좌표 정보를 구하는 것, 연속하여 촬상된 화상의 대응점 계산을 하는 것, 연속하여 촬상된 화상으로부터 대상의 피사체를 추출하여 그 대상점 계산을 하는 것을 포함한다. 여기에서, 대상의 피사체 특징을 미리 설정하는 것도 가능하다.
연속하여 촬상된 화상의 대응점 계산을 하는 방법은, 연속하여 촬상된 화상 중, 한쪽 화상의 중앙 부근의 부분 화상을 다른 쪽 화상의 보다 큰 부분화상으로부터 탐색함으로써 대응점 계산을 하는 것, 연속하여 촬상된 화상 중, 한쪽 화상의 특징이 많은 부분화상을 다른 쪽 화상의 보다 큰 부분화상으로부터 탐색함으로써 대응점 계산을 하는 것을 포함한다.
또한, 대응점 계산에서는 조명 변동에 강한 상관 연산, 예를 들면 정규화 상호상관이나, 고주파 성분 추출후 일반화 하프(hough) 변환을 행함으로써, 자연광이나 형광등 등의 조명 하에서 안정된 계산이 가능해진다.
또한, 연속한 화상으로부터 회전 정보를 구하고, 그것에 따라 이동 정보를 보정함으로써, 이미지 센서의 이동 방향을 올바르게 반영하는 것이 가능해진다.
가속도 센서를 갖고, 가속도 정보에 따라 이동 정보를 보정함으로써 이동물체 상에서의 진동을 보정한 이미지 센서의 이동 정보를 계산하는 것이 가능하다.
이미지 센서로 촬상한 화상을 출력할 때와, 이동 정보를 계산할 때에, 스캔 속도나 스캔 영역 등의 이미지 센서의 스캔 조건을 변경시켜도 좋다.
도 1은 본 발명의 기본 구성의 한 예.
도 2는 도 1에 있어서의 추적 처리부의 실현예.
도 3은 도 1에 있어서의 인터페이스의 실현예.
도 4는 도 1에 있어서의 인터페이스의 다른 실현예.
도 5는 도 1에 있어서의 추적 처리부의 다른 실현예.
도 6은 도 1에 있어서의 추적 처리부의 다른 실현예.
도 7은 도 1에 있어서의 추적 처리부의 다른 실현예.
도 8은 도 1에 있어서의 추적 처리부의 다른 실현예.
도 9는 본 발명의 다른 한 실시예를 나타내는 블록도.
도 10은 본 발명의 다른 한 실시예를 나타내는 블록도.
도 11은 본 발명의 다른 한 실시예를 나타내는 블록도.
도 12는 본 발명의 다른 한 실시예를 나타내는 블록도.
도 13은 본 발명의 다른 한 실시예를 나타내는 블록도.
도 14는 본 발명의 제어 방법을 설명하는 도면.
도 15는 현재 위치로부터 목표 위치로의 제어 특성을 설명하는 도면.
도 16은 화면 데이터를 이용한 피드백 제어계의 구성예를 도시한 도면.
도 17은 등록 화면 데이터에 기초하는 제어를 행하는 장치 구성예를 도시한 도면.
도 18은 복수 카메라를 구비하는 장치 구성예를 도시한 도면.
도 19는 복수 카메라를 구비하는 피드백 제어계의 구성예를 도시한 도면.
도 20은 이미지 센서를 구비하는 다축 로봇 암(arm)을 도시한 도면.
도 21은 이미지 센서의 시야 범위를 확대하는 구성예를 도시한 도면.
도 22는 본 발명의 한 사용 형태를 도시한 도면.
도 23은 본 발명의 한 사용 형태를 도시한 도면.
도 24는 본 발명의 한 사용 형태를 도시한 도면.
도 25는 본 발명의 한 사용 형태를 도시한 도면.
도 26은 본 발명의 한 사용 형태를 도시한 도면.
도 27은 본 발명의 한 사용 형태를 도시한 도면.
도 28은 본 발명을 비디오 카메라나 디지털 카메라에 응용한 형태를 도시한 도면.
도 29는 본 발명의 전자기기의 상태 천이의 한 형태를 도시한 도면.
도 30은 본 발명의 전자기기의 표시화면의 한 형태를 도시한 도면.
도 31은 본 발명의 전자기기의 표시화면의 한 형태를 도시한 도면.
<도면의 주요 부분에 대한 부호의 설명>
101, 906, 1006, 1106, 1206, 1306 : 이미지 센서
102 : 표시 장치
103 : 위치 정보 검출 장치
301, 401 : A/D 변환기
302, 402 : 신호 처리 회로
403 : 이미지 센서 설정부
901, 1001, 1101, 1201, 1301 : 제어기
902, 1002, 1102, 1202, 1302 : 표시 버퍼
903, 1003, 1103, 1203, 1303 : 액정 드라이버
904, 1004, 1104, 1204, 1304 : LCD
905, 1005, 1105, 1205, 1305 : I/F
907, 1007, 1107, 1207, 1307 : ROM
908, 1008, 1108, 1208, 1308 : RAM
909, 1009, 1109, 1209, 1309 : 추적 처리부
910 : 매니퓨레이터
1010 : 회전각 계측부
1110 : 확대 축소 계측부
1210 : 가속도 센서
다음에, 본 발명의 한 실시예에 대해 상세하게 설명한다. 기본 구성은 도 1에 도시한 바와 같이, 화상 데이터를 입력하는 이미지 센서, 상기 이미지 센서로부터 입력한 화상 데이터를 표시하는 표시 장치, 상기 이미지 센서로부터 입력한 화상 데이터로부터 대상물체의 위치 정보를 검출하는 장치로 구성된다.
본 발명의 특징은 하나(또는 한 조)의 이미지 센서를 화상 표시와 위치 정보 검출에 공용하는 것이다. 이것에 의해, 시각적으로 파악하는 제어 대상의 위치와, 이 제어 대상이 실제로 위치하는 위치 정보를 대응시킴으로써, 시각적인 제어의 지시에 기초하여 구체적인 제어 대상의 제어를 할 수 있다. 이미지 센서로서는 CCD, CMOS, 진공관 타입의 촬상 소자 등을 이용할 수 있다. 표시 장치는 액정 디스플레이, CRT 등을 이용할 수 있다. 위치 정보 검출 장치는, 예를 들면 CPU, 퍼스널 컴퓨터 등을 이용할 수 있다. 이하에서, 제어 대상이 위치하는 장소인 것을 환경이라 칭하기로 한다. 따라서, 이미지 센서가 입력하는 것은 환경에 관한 화상 데이터이고, 표시하는 것은 환경의 화상 데이터이며, 환경에서의 제어 대상의 위치 제어를 행한다.
본 발명의 다른 실시예를 도 13을 이용하여 상세하게 설명한다. 도 13에 도시한 기능 블록간의 접속은 논리적인 접속을 나타내고 있다.
전체적인 동작은 ROM(1307)에 저장되어 있는 프로그램을 제어기(1301)가 판독하여 실행함으로써 행해진다.
도시하지 않은 모드 전환에 의해, 화상 표시 모드로 설정되었을 때, 먼저 이미지 센서(1306)로 촬상된 화상을 인터페이스(1305)를 통해 표시 버퍼(1302)에 전송한다. 이때, RAM(1308)에 일단 저장한 다음 전송해도 좋다. 표시 버퍼(1302)의 화상은 액정 드라이버(1303)에 의해 액정 표시부(1304)에 표시된다.
한편, 이동 모드로 설정되었을 때, 이미지 센서(1306)로 촬상된 화상을 인터페이스(1305)를 통해 RAM(1308)에 저장한다. 추적 처리부(1309)는 저장된 연속 화상으로부터 이동 정보를 계산한다.
여기에서, 추적 처리부(1309)의 처리 내용을 도 2에 도시하고, 상세하게 설명한다. RAM(1308)에 저장된 제1 프레임의 화상으로부터 중앙의 부분화상을 참조 화상으로 한다(201). 다음에, 이 참조 화상이 RAM(1308)에 저장된 제2 프레임의 화상의 어디에 있는지를 구하기 위해, 상기 제2 프레임의 화상으로부터 참조 화상보다 큰 중앙의 부분화상을 탐색 화상으로 한다(202). 탐색 화상으로부터 참조 화상을 구하는 패턴 매칭 처리를 한다(203).
패턴 매칭에서는 참조 화상 및 참조 화상과 동일 사이즈가 되는, 탐색 화상 내의 각 부분화상을 미리 정해진 유사도 계산에 따라 유사도를 구하고, 가장 유사도가 높은 부분화상의 위치를 결정한다. 이 유사도 계산 방법으로서는, 대응하는 화소간의 차의 총합을 구하는 것, 상호상관 등 외에, 정규화 상호상관이나, 참조 화상 및 탐색 화상의 각각으로부터 고주파 성분을 추출하여, 그 고주파 성분의 대응을 일반화 하프 변환 등에 의해 정량화하는 방법 등이 있다.
패턴 매칭 처리 후, 결정된 부분화상과의 유사도가 미리 설정된 임계치보다 클 때, 참조 화상과 그 부분화상과의 위치 어긋남을 이동 정보로서 출력하고, 그렇지 않을 때, 위치 어긋남 없음을 이동 정보로서 출력한다(204).
이후, 상기 제2 프레임의 화상으로부터, 다음 패턴 매칭 처리에 이용하는 참조 화상, 및 RAM(1308)에 저장된 제3 프레임의 화상으로부터 탐색 화상을 각각 동일한 방법으로 설정하고(205), 패턴 매칭 처리를 반복한다.
제어기(1301)는 상기 계산된 이동 정보를 이용하여, 액정 표시부(1304)에 표시하는 도형 입력용 커서의 움직임을 계산하고, 커서 위치를 표시 버퍼(1302)에 전송한다. 상기 커서는 최초 특정 위치에 표시되어 있는 것으로 한다. 또한, 특정 버튼 누름 등의 이벤트에 따라서 초기 위치로 돌아간다.
도형 입력용 커서가 아니라, 포인팅용 커서를 제어해도 좋다.
상기 실시예에서는 추적 처리부에서의 참조 화상을, 제1 프레임의 중앙 부분 화상으로 했지만, 제1 프레임으로부터 고주파 성분 추출 등에 의해 특징 정보를 구하여 특징량이 많은 부분 화상을 참조 화상으로 해도 좋다.
또한, 도시하지 않은 버튼을 이용함으로써, 펜업, 펜다운을 제어하여, 유효한 도형을 입력시킬 수 있다. 이 경우, 버튼을 누르면 펜다운, 펜을 놓으면 펜업으로(또는 그 반대로) 하는 것 이외에, 버튼의 누름에 따라서 토글(toggle)적으로 펜업과 펜다운을 전환하는 방법이라도 좋다. 버튼의 누름/놓음이 아니라, 음성의 대소, 진동의 대소, 화상의 흐려짐의 대소 등에 의해 실현해도 좋다.
상기 도형 입력용 커서의 이동 정보와 펜업·펜다운 정보에 의해 수기 문자 또는 도형을 형성할 수 있다. 이 수기 문자 또는 도형을 그대로 액정 표시부(1304)에 표시해도 좋고, 표시시킨 후, 또는 표시시키지 않고, 문자 인식시켜도 좋다. 대상의 문자로서는 일본어(한자, 히라가나, 가따까나), 외국어(알파벳 외), Graffiti 등의 특수문자, 기호, 암호 등이 있다. 또한, 표시시킨 후, 또는 표시시키지 않고, 사인 인증에 이용해도 좋다. 문자 인식시키는 경우는 펜업·펜다운 정보 없이 문자 인식시켜도 좋다.
문자 인식 후의 원하는 문자의 선택을, 도시하지 않은 버튼으로 실시해도 좋지만, 상기 도형 입력용 커서(또는 포인팅용 커서) 및 펜다운(또는 클릭) 정보로 지정해도 좋다.
표시하는 문자 또는 도형의 속성을 상기 도형 입력용 커서(또는 포인팅용 커서) 및 펜다운(또는 클릭) 정보로 지정해도 좋다.
인터페이스(1305)의 구성예를 도 3에 도시한다. 여기에서는 이미지 센서(1306)의 아날로그 출력 신호를 A/D 변환기(301)에 의해 디지털 신호로 변환하고, 신호 처리 회로(302)에서 특정 신호 처리를 행한다. 도 3에는 기재하지 않고 있지만, 프레임 메모리에 일단 저장해도 좋다.
인터페이스(1306)의 다른 구성을 도 4에 도시한다. 도 4에서는 A/D 변환기, 신호 처리 회로 이외에, 이미지 센서 설정부(403)를 갖는다. 이미지 센서 설정부는 화상 표시 모드인지 이동 모드인지에 따라, 이미지 센서의 스캔 조건(스캔 속도, 스캔 사이즈 등)을 변경하는 것이다. 이것에 의해, 예를 들면 화상 표시 모드에서는 이미지 센서 전체를 30 프레임/초로 스캔하고, 이동 모드에서는 이미지 센서의 일부를 보다 고속 프레임 레이트로 스캔할 수 있다.
이상의 실시예에서는 한손으로의 조작으로 이동 정보를 입력할 수 있다. 또한, 피사체로서의 대상물을 미리 준비할 필요가 없다.
본 발명의 실시형태의 한 예를 도 22에 도시한다. 전자기기(2201)는 액정 디스플레이(2202), 카메라(2204), 버튼(2203)을 갖는다. 상기 전자기기(2201)를 움직이면서, 버튼(2203)을 누르거나 놓거나 함으로써, 액정 디스플레이(2202)에 문자를 표시한다. 또한, 도 23에 도시한 바와 같이, 카메라(2304)로 화상을 입력시킨 후, 전자기기(2301)를 움직이면서, 버튼(2303)을 누르거나 놓거나 함으로써, 입력시킨 화상의 위에 문자를 표시한다.
또한, 도 24에 도시한 바와 같이, 전자기기(2401)를 움직이면서, 버튼(2403)을 누르거나 놓거나 함으로써, 서로 다른 전자기기(2402)에 있는 액정 디스플레이(2405) 상에 문자를 표시시키거나 하는 것도 고려된다. 버튼(2403)은 전자기기(2402)가 아니라 전자기기(2401)측에 있어도 좋다. 전자기기 사이는 도 24와 같이 유선이라도, 도 25와 같이 무선이라도 좋다.
본 발명의 다른 실시예로서, 도 13의 추적 처리부의 처리를 도 5와 같이 한 것을 들 수 있다. 이 경우, 이미지 센서로 촬상하는 것은 미리 절대 좌표가 대응되어 있는 물체일 필요가 있다.
화상 표시 모드로 설정되었을 때의 동작은 상기 실시예와 마찬가지이다.
이동 모드로 설정되었을 때에 관해서도, 이미지 센서(1306)로 촬상된 화상을 인터페이스(1305)를 통해 RAM(1308)에 저장하기까지는 동일하다. 또한, 추적 처리부가 이동 정보를 계산하는 것도 동일하지만, 그 계산 방법이 도 2의 방법이 아니라, 도 5의 방법인 점이 다르다.
본 실시예에서는 촬상한 화상으로부터 절대 좌표 정보를 취득한다.
여기에서, 절대 좌표를 대응시키는데 있어서, (100, 50)과 같은 숫자로서의 표현이라도 좋고, 1차원 또는 2차원 바코드와 같은 기호로서의 표현이라도 좋다.
먼저, 최초의 화상으로부터 OCR 또는 BCR 등의 방법에 기초하여, 촬상한 영역 중심의 절대 좌표를 구한다(501). 다음에, 마찬가지의 방법으로, 다음에 촬상된 화상으로부터 중심의 절대 좌표를 구한다(502). 이 양자로부터 이동 정보를 계산하여 출력한다(503). 이후, 이들 처리를 반복한다.
추적 처리부의 처리를 도 6과 같이 간단하게 촬상한 화상의 절대 좌표를 구하기만 하면 된다. 이 경우, 제어기(1301)가 연속한 화상의 절대 좌표로부터 이동 정보를 계산한다.
이 실시예에서도, 한손으로의 조작으로 이동 정보를 입력할 수 있다. 또한, 좌표 정보를 하나의 프레임에서 구할 수 있기 때문에, 이동 정보의 오차가 축적되는 것은 아니다.
본 발명의 다른 실시예로서, 도 13의 추적 처리부의 처리를 도 5와 같이 한 것을 들 수 있다. 도 7의 추적 처리에서는 이미지 센서로 촬상한 화상 중, 미리 지정한 색 범위에 포함되는 색을 많이 포함한 대상물을 검지하여(701, 702), 그 대상물의 중심 위치를 출력한다.
제어기(1301)는 연속한 화상의 중심 위치로부터 이동 정보를 계산한다.
이 실시예는, 이미지 센서를 고정하고, 손가락이나 펜 등으로 공중에 쓴 문자 또는 기호를 인식하는 경우 등에 이용된다.
대상물의 특징으로서는 색이 아니라 형상이라도 좋다. 또한, 중심 위치가 아니라 외접원(또는 구형) 또는 내접원(또는 구형)의 중심이라도 좋다.
또는, 도 8에 도시한 바와 같이, 연속하는 화상으로부터 이동량이 큰 물체를 검지하여(802), 그 물체의 중심 위치를 출력해도 좋다.
이 실시예에서는 전자기기 자체는 정지하여 사용할 수 있기 때문에, 화면에 표시된 커서 등의 정보를 확인하기 쉽다고 하는 이점이 있다. 또한, 대상물의 특징을 미리 알 수 있기 때문에, 이동 정보 계산에서의 오차를 작게 하는 것을 기대할 수 있다.
본 발명의 실시형태의 한 예를 도 26에 도시한다. 전자기기(2601)는 액정 디스플레이(2602), 카메라(2604), 버튼(2603)을 갖는다. 상기 전자기기(2601)를 예를 들면 왼손으로 잡고, 오른손 손가락(2605)을 움직이면서 버튼(2603)을 누르거나 놓거나 함으로써 액정 디스플레이(2602)에 문자를 표시한다. 오른손 손가락의 손톱에 특정한 모양을 하고 있어도 좋다. 손가락이 아니라, 특정 색, 모양 또는 형상을 갖는 대상물이라도 좋다.
전자메일을 작성하는 예를 나타낸다. 도 29는 문자/도형을 입력할 때의 전자기기의 상태 천이도이다. 상태(2901)는 수기로 입력하고자 하는 문자/도형의 시점이 확정될 때까지의 상태이다. 상태(2902)는 수기 문자/도형 정보를 입력하고 있는 상태이다. 상태(2903)는 수기 문자로부터 인식된 문자/도형의 몇 개의 후보 중, 적절한 후보가 선택되는 것을 기다리고 있는 상태이다.
상태(2901)에서 상태(2902)로의 천이(2904)는 입력하고자 하는 문자/도형의시점이 확정됨으로써 일어난다. 시점의 확정이란, 예를 들면 펜이 정지한 (이동량이 소정 시간, 특정 범위 이하) 것을 판정하거나, 특정 버튼을 누르는 것 등에 의해 행한다.
시점의 확정에 의해, 상태(2902)로 천이하고, 조작자는 의도하는 문자/도형을 손으로 쓴다. 여기에서, 조작자에게 시점의 확정을 알리기 위해, 상태(2901)에서는 궤적을 그리지 않지만, 상태(2902)에서는 궤적을 그리거나, 표시하고 있는 커서의 색 또는 형상을 변화시키거나, 화면 전체의 색을 변화시키거나, 액정 디스플레이의 특정 위치의 표시를 변화시키거나 해도 좋다. 특정 버튼의 누름 등에 의해, 의도하지 않은 묘화 정보를 소거하도록 해도 좋다.
또한, 상태(2902)에서 상태(2903)로의 천이(2905)는 의도한 문자/도형의 수기 입력이 종료된 것을 검지함으로써 일어난다. 수기 입력 종료의 검지 방법으로서는, 예를 들면 펜이 정지한 (이동량이 소정 시간, 특정 범위 이하) 것을 판정하거나, 그때까지 입력된 문자/도형의 중심에서부터 소정의 거리 이상 커서가 이동하거나, 특정 버튼을 누르는 것 등에 의해 행한다. 문자/도형의 입력에 있어서는 특정 이벤트에 의해, 펜다운/펜업을 제어해도 좋다. 이 경우는 펜업의 시간이 소정 시간을 초과한 경우나, 펜업에서의 움직임이 특정 제스처로 인식된 경우에, 수기 입력 종료로 검지해도 좋다.
수기 입력의 종료를 검지한 후, 수기 입력한 문자/도형의 인식 결과를 출력한다. 문자/도형이 한번의 기입으로 되어 있는 경우에는 그것에 따른 인식 알고리즘을 이용함으로써, 하나 또는 복수의 후보를 액정 디스플레이에 표시한다.
상태(2903)로부터 상태(2901)로의 천이(2906)는 상기 표시된 후보 중의 어느 하나가 의도한 문자/도형으로서 선택됨으로써 일어난다. 선택하는 수단으로서는 후보 장소에 대응하는 버튼을 누른다, 수기로 대응하는 후보의 식별자를 나타낸다 등이 있다. 선택된 문자/도형은 그때까지 입력한, 문자/도형 계열의 소정의 위치에 삽입된다.
도 30은 본 발명의 전자기기의 액정 디스플레이의 표시예를 도시한 것이다. 도 30에서, 영역(3001)은 메일의 문자/도형 계열을 표시하는 영역, 영역(3002)은 수기 문자/도형을 표시하기 위한 영역, 영역(3003)은 후보를 표시하는 영역이다. 3004는 커서이다.
또한, 도 31에 본 발명의 전자기기의 액정 디스플레이의 다른 표시예를 도시한다. 이 예에서는, 영역(3101)은 메일의 문자/도형 계열을 표시하는 영역, 영역(3102)은 수기 문자/도형을 표시하거나, 또는 후보를 표시하기 위한 영역이다. 즉, 도 29에서의 상태(2901) 및 상태(2902)에 있어서는, 영역(3102)은 수기 문자/도형을 표시하기 위한 영역, 상태(2903)에 있어서는 후보를 표시하기 위한 영역이다. 3103은 커서이다.
또한, 도 27에 도시한 바와 같이, 카메라(2704)로 화상을 입력시킨 후, 오른손 손가락(2705)을 움직이면서 버튼(2703)을 누르거나 놓거나 함으로써, 입력된 화상 위에 문자를 표시한다.
또, 전자기기를 왼손으로 잡지 않고, 적당한 장소에 두고 이용해도 좋다.
본 발명의 다른 실시예에 대해 도 9를 이용하여 설명한다. 도 9에서는 추적처리부가 출력하는 이동 정보에 기초하여 매니퓨레이터(910)를 제어하는 실시예를 도시한 것이다.
이 실시예는, 예를 들면 이미지 센서가 매니퓨레이터의 앞에 장착되어 있고, 이미지 센서가 촬상하는 화상으로부터, 매니퓨레이터가 어디를 조작하고 있는 지를 인식하는 경우 등에 이용할 수 있다.
매니퓨레이터 대신에, 다관절 로봇이나 서보라도 좋다.
본 발명의 다른 실시예에 대해 도 10을 이용하여 설명한다. 도 10에서는 추적 처리부 이외에, 회전각 계측부(1010)가 있고, 이미지 센서가 초기 위치(또는 앞의 프레임)와 비교하여 몇번 회전했는 지의 정보를 계측한다.
그리고, 추적 처리부에서 계산한 이동 정보에 상기 회전 정보를 고려함으로써 진짜 이동 정보(이동 방향)를 구한다.
예를 들면, 이미지 센서가 초기 위치와 비교하여 x번 회전하고 있다고 계산되었을 때, 추적 처리부에서 계산된 이동 방향에 대하여 x번 보정한 이동 방향을 진짜 이동 방향으로서 계산한다. 제어기(1001)는 그 진짜 이동 방향을 이용하여, 도형 입력용 커서 제어, 포인팅용 커서 제어, 사인 인증, 또는 매니퓨레이터 제어를 실시한다. 회전 정보 자체도 겸용하여, 고도한 인식 또는 제어를 행해도 좋다.
본 발명의 다른 실시예에 대해 도 11을 이용하여 설명한다. 도 11에서는 추적 처리부 이외에, 확대 축소 계측부(1110)가 있고, 이미지 센서와 피사체의 거리가 초기 위치(또는 앞의 프레임)와 비교하여, 얼만큼 증가했는 지의 정보를 계측한다. 즉, 앞의 프레임과 비교하여, 피사체가 확대되어 있으면, 이미지 센서와 피사체의 거리가 접근했다고 인식하고, 반대로 피사체가 축소되어 있으면, 이미지 센서와 피사체의 거리가 증대했다고 인식한다. 거리의 위치량에 관해서는 확대 축소 계측부에서 계측되는 배율과의 대응 관계를 미리 측정해 두고, 그 대응 관계와 확대 축소 계측부에서 구한 배율을 이용하여 구한다.
제어기(1101)는 추적 처리부에서 구한 이동 정보와, 상기 이미지 센서와 피사체의 거리 증가영역 정보를 이용하여, 도형 입력용 커서 제어, 포인팅용 커서 제어, 사인 인증, 또는 매니퓨레이터 제어를 실시한다. 구체적으로는, 도형 입력용 커서 제어의 경우에는, 커서의 위치를 상기 이동 정보에서, 펜업/펜다운 판정을 상기 이미지 센서와 피사체의 거리로 계산한다 등이다. 포인팅용 커서 제어의 경우에는 상기 이미지 센서와 피사체의 거리에 따라, 커서를 이동하지 않도록 해도 좋다. 사인 인증에서는 이미지 센서와 피사체의 거리의 변동 정보도 인증 정보로서 이용할 수 있다. 매니퓨레이터 제어에서는 이미지 센서와 피사체의 거리의 변동 정보를 이용하여, 이미지 센서(또는 피사체)의 보다 상세한 위치를 인식하여 제어에 반영할 수 있다.
도 10에 도시되고 실시예에서 설명한, 회전각 계측부를 추가하여 상기 인식 및/또는 제어를 행해도 좋다.
본 발명의 다른 실시예에 대해 도 12를 이용하여 설명한다. 도 12에서는 추적 처리부 이외에, 가속도 센서(1210)가 있고, 이미지 센서와 피사체의 상대 이동 정보만이 아니라, (지구에 대한) 절대 이동 정보를 계측한다.
본 실시예의 구성의 전자기기를 이동 물체 상에서 이용할 때, 추적 처리부에의해 구해진 이동 정보와 가속도 센서에 의해 얻어진 이동 정보로부터, 이동 물체에 의한 진동의 영향을 구하고, 그 영향을 추적 처리부에 의해 구해진 이동 정보에 반영함으로써, 진동에 의한 의도하지 않은 이동 정보를 삭감한다.
도 14는 이미지 센서와 환경의 상대 위치를 제어하는 장치 구성에 있어서의 제어 방법의 한 예를 도시한다. 현시점에 있어서 화면의 중앙에 표시되어 있는 곳이 이미지 센서가 위치하고 있는 장소라고 하자. 이 화면을 보면서, 이미지 센서가 위치하는 현재 위치로부터, 목표 위치를 화면 상에서 지시한다. 화면 상의 지시 내용은 위치 정보 검출 장치에서 검출한 신호에 기초하여, 현재 위치=(x0, y0)와 목표 위치(x1. y1)의 차분=(dx, dy)을 이동 거리(거리와 방향)로서 산출하여 상기 장치로의 지시 신호로 한다. 또한, 다른 목표 설정으로서는 목표 위치로 이동하기 위한 이동 벡터(방향, 이동 속도 등)를 이용할 수도 있다.
본 발명은 이미지 센서를 구비하는 장치 구성을 한정하는 것은 아니지만, 예를 들면 차륜을 갖는 이동 장치, 이미지 센서의 방향을 제어하는 촬영 장치, 이미지 센서를 갖춘 로봇 암 등이 있다. 이들 장치의 구동계에 대해 상기 지시에 기초하는 제어 신호를 공급함으로써, 이미지 센서가 촬영하는 환경과의, 상대 위치를 제어하는 것이 가능하다. 또는 휴대형 카메라 장치에 있어서, 인물이 취급하는 것에 의한 위치 정보를 이용하는 것도 가능하다.
도 15는 이들 장치의 현재 위치로부터 목표 위치로의 제어 특성을 나타낸 것이다. 실제 장치 구성에 있어서는 다차원계의 제어가 필요로 되는 경우가 많지만, 여기에서는 먼저 기본적인 1차원의 위치 제어를 나타내고 있다. 하나의 이미지 센서로부터 2차원의 화상 데이터밖에 얻을 수 없지만, 위치 제어를 행하기 위해서는 다차원의 구동계로의 제어 신호로 변환한다. 이것은 견고한 장치 구성에 있어서는 다차원 방정식으로 관계를 만드는 것이 많아 문제로 되지 않는다. 비선형 요소가 있어도, 어떤 근사 처리에 의해 제어 신호의 변환을 행할 수 있다. 잘 알려져 있는 바와 같이, 응답의 즉응성과 안정성을 실현하기 위해, 피드백 제어계를 이용할 수 있다. 본 발명은 상기 목표 위치의 설정과 함께, 피드백 신호의 검출에 상기 이미지 센서를 이용한다.
여기에서 목표 위치의 설정 방법은 화면 상에서의 마우스 등의 입력 장치에 의한 지시를 행할 수 있다. 또는, 미리 등록해 두는 목표 위치에서 입력되는 화면 데이터를, 목표 위치의 지시 신호로서 이용할 수 있다. 이것은 이미지 센서로부터 입력하는 화상 데이터와, 등록 화상 데이터의 매칭 처리를 행함으로써, 화면상에서의 이동 거리를 산출하는 것이다. 상기 등록 화면 데이터는, 예를 들면 일반적인 증상의 예로서의 특징 화면에 있어서, 이 등록 화면을 이미지 센서가 위치하는 환경 안에 있어서의 존재 장소의 판정, 및 존재의 유무 판정 등을 실행할 수 있다.
도 16은 화면 데이터를 이용한 피드백 제어계의 구성예를 도시한 도면이다. 제어 대상이 위치하는 환경을 이미지 센서를 이용하여 입력한다. 상기한 바와 같이 이 이미지 센서가 촬상한 화상 데이터는 조작자에 대해 지시하기 위한 표시 장치, 및 제어를 위한 위치 정보 검출 장치로 공급된다.
조작자의 목적은 이미지 센서를 구비하는 제어 대상을 위치 제어하는 것에 있고, 목표 위치 설정의 용이함과, 즉응성 및 안정성의 향상을 실현하는 것에 있다. 이 때문에 본 발명은 화면을 보면서 위치 제어를 행하기 위한 인터페이스를 조작자에게 제공하고, 또한 피드백 신호로서 이미지 센서로부터 산출한 위치 정보를 이용하여 제어하는 것을 특징으로 한다. 제어 대상에는 현재 위치와 목표 위치의 차분이 제어 신호로서 제공되어, 구동계에 대한 제어를 행한다. 제어계에 있어서, 현재 위치와 목표 위치를 이용하여 제어를 행하는 것은 도중의 궤적을 미리 설정하고, 구동계로의 제어 신호를 미리 산출할 수 있기 때문에, 즉응성 및 안정성의 향상에 효과가 있다.
조작자에 의한 목표 위치의 설정은 화면을 보면서 조작하기 위한 마우스, 태블릿, 조이스틱 등을 이용할 수 있다. 이들 입력 장치가 설정하는 신호는 화면 상의 목표 위치, 또는 목표 위치로 이동하기 위한 벡터 정보(이동 방향, 이동 속도 등) 등이다. 예를 들면, 마우스, 태블릿 등은 위치 설정에 적합하고, 조이스틱 등은 벡터 설정에 적합하다. 이들은 단독으로도, 조합하여 이용하는 것도 가능하다. 또한, 이들 지시를 행하는 입력 장치에는 구동계가 받는 구동 등에 대응한 신호를 생성하는 수단을 조립해 넣음으로써, 조작자에 대해 움직임을 피드백하는 것도 가능하다.
본 발명은 피드백 제어계에서의, 피드백 루프의 구성을 한정하는 것은 아니다. 제어 대상으로 단일의 제어 신호를 이용하는 1중 루프라도 좋고, 복수 종류의 제어 신호를 이용하는 다중 루프라도 좋다. 예를 들면, 조작자가 매뉴얼로 지시하는 신호 이외에, 상기 이미지 센서로부터 산출한 위치 정보를 다중으로 귀환하는 피드백 제어계를 구성할 수 있다. 이와 같은 구성에서는 조작자가 시간적으로 변화시키면서 임의로 설정하는 목표 위치에 신속하고 안정하게 추종하기 위한 제어를 행하는 것이 가능하다.
도 17은 미리 등록한 화면 데이터에 기초하는 제어를 행하는 장치 구성이다. 등록 화면 데이터와, 이미지 센서로부터 입력한 화면 데이터의 상관 연산을 행하여, 가장 상관도가 높은 곳을 목표 위치로서 산출하는 것이다. 산출 결과로서의 목표 위치는 제어 대상의 제어 신호로서 이용할 수 있는 이외에, 검출 결과로서 조작자로 지시하기 위해 이용하는 것도 가능하다.
이미지 센서의 시야 범위가 좁은 경우에는 센서의 시야 각도를 환경 내에서 스캔하기 위한 탐색 순서를 부가할 수 있다. 구체적으로는, 이미지 센서의 헤드를 움직여서 전체 주위의 촬영도 가능해진다. 상관 연산에 있어서는, 매칭 후보가 되는 상관성을 검출할 수 있는 경우에는 이 화면 위치가 후보인 것을 조작자에게 지시하는 수단을 구비함으로써 조작성을 높일 수 있다. 예를 들면, 표시 장치에 있어서, 표시 화면 안에 후보 개소의 위치를 스폿, 커서, 점멸 등의 마크를 갖고 표시할 수 있다.
또한, 당연하지만 조작자의 수동 조작과 조합시킴으로써, 검출 정밀도를 높여 갈 수 있다.
본 발명은 이미지 센서의 갯수를 한정하는 것은 아니다. 예를 들면, 도 18에 도시한 바와 같이 복수의 카메라를 구비할 수 있다. 그 장점은 이미지 센서의 시야 범위의 확대, 3차원 위치의 검출, 촬영 시간의 단축, 환경 내의 스캐닝 시간의 단축 등이 있다. 구체적으로는, VGA(640×480 화소) 사이즈의 이미지 센서는한 변이 수 밀리미터 크기이고, 또한 비용도 싼 것이 많기 때문에 장치 구성에서의 문제점은 없고, 오히려 상기한 장점이 크다.
예를 들면, 도 19에 도시한 바와 같이, 복수의 이미지 센서로부터의 입력은 스위치 회로에 의해 전환함으로써, 처리 장치를 간편하게 구성하는 것이 가능하다. 서로 다른 시점으로부터의 복수의 화상 데이터를 이용함으로써, 공간 상의 위치 설정 등을 제어할 수 있는 이미지 센서로서 디지털 카메라 등을 이용하는 경우에는 렌즈계 등에 기인하는 화상의 왜곡이 발생하기 때문에, 이들을 보정한 다음에 이용한다. 이들 왜곡 보정의 방법과 수단을 한정하는 것은 아니다.
한 예로서 도 20에 도시한 바와 같은 이미지 센서를 구비하는 다축 로봇 암과 같이, 공간 상을 많은 자유도를 갖고 이동할 수 있는 경우에 있어서, 임의의 위치로의 이동을 제어할 수 있다. 종래는 회전 각도에 대해서는 로터리 인코더 등을 이용하는 일이 많지만, 본 발명에서는 이미지 센서로부터의 입력하는 위치 정보를 이용할 수 있기 때문에, 목표 위치로 도달할 때까지의 제어를 화상 데이터를 이용하여 실행할 수 있다. 또한, 본 발명에서는 이미지 센서로부터의 화상 데이터를 이용하여, 목표 위치까지의 도중 궤적의 장해물 등을 검출할 수 있기 때문에, 이와 같은 장해물 회피의 제어 장치를 구비함으로써, 다자유도계(多自由度系)의 제어를 보조하는 것도 가능하다.
또한, 이미지 센서의 시야 범위를 확대하는 수단으로서, 이미지 센서의 스캐닝을 이용할 수 있다. 예를 들면, 도 21에 도시한 바와 같이, 환경에 대해 이미지 센서의 시야 범위가 좁은 경우에는 촬영 방향을 이동해 감으로써, 전체의 화상 데이터를 입력할 수 있다. 이 입력한 화상 데이터로부터, 상기 위치 정보 검출 장치를 이용하여 시야 위치를 검출하고, 화면 재구성 장치로 입력 화면을 합성함으로써, 단일 이미지 센서에서는 입력 불가능한 시야 범위에 대해 화상 데이터를 작성할 수 있다. 합성 결과는 메모리 상에 준비한 가상적인 시야 범위(메모리 화면)로 기입하는 것이 가능하다. 그리고, 조작자는 목표 위치 주변의 화상 데이터를 메모리부터 판독하여, 표시 장치에 표시할 수 있다.
또한, 화면 스크롤 기능을 이용하여 메모리 상의 합성 화면을 임의로 스크롤하면서 목표 위치를 설정하고, 이 목표 위치에 대응하는 제어 대상의 제어 신호를 생성할 수 있다.
또, 이미지 센서의 스캐닝은 센서 자체를 모터 구동계 등을 이용하여 헤드를 움직임으로써 실현할 수 있다. 또는, 스캐닝과 등가인 효과를, 상기한 복수의 이미지 센서의 조합에 의해 실현하는 것도 가능하다. 또한, 미리 등록한 화면 데이터와의 상관 연산도, 상기한 메모리 화면 상에서 실행할 수 있다. 화면 전체에 있어서의 후보 장소의 검출, 및 표시를 행할 수 있다.
다음에 도 28을 이용하여 본 발명을 비디오 카메라, 디지털 카메라에 적용한 예를 나타낸다. 도 28은 전체 구성을 나타내고 있다. 이미지 센서(906)로 촬상한 화상은 인터페이스(905)를 통해 액정 드라이버(903), LCD(904)로 구성되는 표시부로 표시된다. 비디오 카메라나 디지털 카메라의 사용자가 입력시키고 싶은 장면이 표시되면 촬상 지시 버튼(3005)을 누르면, 이미지 센서(906)로부터의 화상은 기억부(908)에 기억된다. 이것은 종래의 장치와 동일한 동작이다. 여기에서, 촬상 지시 버튼(3005)의 누름을 멈추면, 추적 처리부(909)가 동작하여, 이미지 센서(906)로부터의 화상을 추적하고, 좌표 계산하여, 문자 인식부(3001)에서 문자 인식한다. 즉, 사용자는 입력시키고 싶은 화상에서 촬상 지시 버튼을 누른 후, 카메라를 움직임으로써, 입력시킨 화상에 대한 애트리뷰트로서 문자의 입력이 가능해진다. 이 문자 애트리뷰트를 부가부(3002)에서 화상에 부가하여 기억부(908)에 기억시킴으로써, 나중에 원하는 화상을 검색할 때, 효율화가 가능해진다. 이 문자 인식은 미국 3COM사가 제창하고 있는 GRAFITY 문자를 이용함으로써 한번에 기입하여 알파벳을 입력할 수 있기 때문에 인식 처리를 간단하게 할 수 있다는 장점이 있다. 또한, 문자 입력의 타이밍으로서, 화상 입력후 만으로 한정해 버리면, 연속하여 화상을 입력할 때 시간 손실이 발생할 가능성이 있으므로, 문자 입력 버튼을 따로 설치하여, 화상 입력 지시와 문자 입력을 전환하는 것도 가능하다.
또, 여기에서 말하는 환경은 고정적인 네모난 방에 한정되지 않고, 풍경 화면과 같은 옥외 환경, 동굴과 같이 주위가 막힌 환경, 시간적으로 변동하는 부정형 환경 등을 대상으로 할 수 있다.
본 발명에 의해, 입력된 화상을 표시하는 것이나 기록하는 것이 가능해서, 마우스나 태블릿을 새로 부가하지 않아도 수기 문자나 도형을 입력할 수 있다.
또한, 매니퓨레이터의 선단에 이미지 센서를 부착한 경우, 동작 지령에 대해 그 이미지 센서로부터 구해지는 이동 정보를 피드백함으로써, 매니퓨레이터의 지령값에 대한 동작의 추종성을 개선시킬 수 있다.

Claims (48)

  1. 이미지 센서(image sensor)를 갖는 전자기기에 있어서,
    상기 이미지 센서로 촬상한 화상을 출력하는 수단; 및
    상기 이미지 센서로 촬상한 화상을 처리함으로써 이미지 센서의 이동 정보를 계산하는 수단
    을 포함하는 전자기기.
  2. 제1항에 있어서, 계산된 이동 정보를 이용하여 포인팅용 커서의 제어를 행하는 전자기기.
  3. 제1항에 있어서, 계산된 이동 정보를 이용하여 도형 입력용 커서의 제어를 행하는 전자기기.
  4. 제1항에 있어서, 계산된 이동 정보를 이용하여 사인 인증을 행하는 전자기기.
  5. 제1항에 있어서, 계산된 이동 정보를 이용하여 매니퓨레이터(manipulator)의 제어를 행하는 전자기기.
  6. 제2항에 있어서, 버튼과 연동(連動)함으로써, 클릭, 더블클릭, 드래그의 제어를 행하는 전자기기.
  7. 제2항에 있어서, 음성과 연동함으로써, 클릭, 더블클릭, 드래그의 제어를 행하는 전자기기.
  8. 제2항에 있어서, 촬상된 화상의 상태와 연동함으로써, 클릭, 더블클릭, 드래그(drag)의 제어를 행하는 전자기기.
  9. 제3항에 있어서, 버튼과 연동함으로써, 펜업(pen-up), 펜다운(pen-down)의 제어를 행하는 전자기기.
  10. 제3항에 있어서, 음성과 연동함으로써, 펜업, 펜다운의 제어를 행하는 전자기기.
  11. 제3항에 있어서, 촬상된 화상의 상태와 연동함으로써, 펜업, 펜다운의 제어를 행하는 전자기기.
  12. 제3항에 있어서, 입력된 도형 정보를 이용하여 문자 인식을 행하는 전자기기.
  13. 제1항에 있어서, 미리 절대 좌표 정보가 대응된 대상물을 촬상하고, 상기 절대 좌표 정보를 구함으로써 이동 정보를 계산하는 전자기기.
  14. 제1항에 있어서, 연속하여 촬상된 화상의 대응점 계산을 함으로써 이동 정보를 계산하는 전자기기.
  15. 제14항에 있어서, 연속하여 촬상된 화상 중, 한쪽 화상의 중앙 부근의 부분화상을 다른 쪽 화상의 더욱 큰 부분화상으로부터 탐색함으로써 대응점 계산을 하는 전자기기.
  16. 제14항에 있어서, 연속하여 촬상된 화상 중, 한쪽 화상의 특징이 많은 부분화상을 다른 쪽 화상의 더욱 큰 부분화상으로부터 탐색함으로써 대응점 계산을 하는 전자기기.
  17. 제14항에 있어서, 조명 변동에 강한 상관 연산에 의해 대응점 계산을 하는 전자기기.
  18. 제17항에 있어서, 조명 변동에 강한 상관 연산으로서 정규화 상호 상관을 행하는 전자기기.
  19. 제17항에 있어서, 조명 변동에 강한 상관 연산으로서 고주파 성분 추출 후 일반화 하프 변환을 행하는 전자기기.
  20. 제14항에 있어서, 구한 화상의 회전 정보에 따라서 이동 정보를 보정하는 전자기기.
  21. 제1항에 있어서, 가속도 센서를 갖고 있고, 상기 가속도 센서로부터 출력된 정보에 따라서 이동 정보를 보정하는 전자기기.
  22. 제1항에 있어서, 상기 이미지 센서로 촬상한 화상을 출력할 때와, 이동 정보를 계산할 때에, 상기 이미지 센서의 스캔 조건을 변경하는 전자기기.
  23. 제22항에 있어서, 상기 이미지 센서의 스캔 조건이 스캔 속도인 전자기기.
  24. 제22항에 있어서, 상기 이미지 센서의 스캔 조건이 스캔 영역인 전자기기.
  25. 제1항에 있어서, 전자기기 본체를 이동함으로써 상기 전자기기의 이동 정보를 계산하는 전자기기.
  26. 이미지 센서를 갖는 전자기기에 있어서,
    상기 이미지 센서로 촬상한 화상을 출력하는 수단; 및
    상기 이미지 센서로 촬상한 화상을 처리함으로써 상기 이미지 센서의 피사체의 이동 정보를 계산하는 수단
    을 포함하는 전자기기.
  27. 제26항에 있어서, 계산된 이동 정보를 이용하여 포인팅용 커서의 제어를 행하는 전자기기.
  28. 제26항에 있어서, 계산된 이동 정보를 이용하여 도형 입력용 커서의 제어를 행하는 전자기기.
  29. 제26항에 있어서, 계산된 이동 정보를 이용하여 사인 인증을 행하는 전자기기.
  30. 제26항에 있어서, 계산된 이동 정보를 이용하여 매니퓨레이터의 제어를 행하는 전자기기.
  31. 제27항에 있어서, 버튼과 연동함으로써, 클릭, 더블클릭, 드래그의 제어를 행하는 전자기기.
  32. 제27항에 있어서, 음성과 연동함으로써, 클릭, 더블클릭, 드래그의 제어를 행하는 전자기기.
  33. 제27항에 있어서, 촬상된 화상의 상태와 연동함으로써, 클릭, 더블클릭, 드래그의 제어를 행하는 전자기기.
  34. 제28항에 있어서, 버튼과 연동함으로써, 펜업, 펜다운의 제어를 행하는 전자기기.
  35. 제28항에 있어서, 음성과 연동함으로써, 펜업, 펜다운의 제어를 행하는 전자기기.
  36. 제28항에 있어서, 촬상된 화상의 상태와 연동함으로써, 펜업, 펜다운의 제어를 행하는 전자기기.
  37. 제28항에 있어서, 입력된 도형 정보를 이용하여 문자 인식을 행하는 전자기기.
  38. 제26항에 있어서, 연속하여 촬상된 화상으로부터 대상의 피사체를 추출하고,상기 추출된 피사체에 대해 대응점 계산을 함으로써 이동 정보를 계산하는 전자기기.
  39. 제26항에 있어서, 대상의 피사체의 특징을 미리 설정하는 전자기기.
  40. 제26항에 있어서, 상기 이미지 센서로 촬상한 화상을 출력할 때와, 이동 정보를 계산할 때에, 상기 이미지 센서의 스캔 조건을 변경하는 전자기기.
  41. 제40항에 있어서, 상기 이미지 센서의 스캔 조건이 스캔 속도인 전자기기.
  42. 제40항에 있어서, 상기 이미지 센서의 스캔 조건이 스캔 영역인 전자기기.
  43. 제26항에 있어서, 상기 이미지 센서의 시야 내에서 제3 물체를 이동함으로써, 상기 제3 물체의 이동 정보를 계산하는 전자기기.
  44. 이미지 센서와,
    상기 이미지 센서로 촬상한 화상을 표시하는 표시부와,
    상기 표시부에서 표시하고 있는 정보를 기억하는 기억부를 갖는 전자기기에 있어서,
    상기 이미지 센서로 촬상한 화상의 이동 정보로부터 문자 인식하여, 상기 인식 결과를 촬상한 화상에 애트리뷰트(attribute)로서 부가하는 수단을 갖는 전자기기.
  45. 제44항에 있어서, 애트리뷰트로서 영숫자(英數字)를 나타내는 기호를 이용한 전자기기.
  46. 제45항에 있어서, 애트리뷰트를 1문자의 영숫자를 나타내는 기호로서 Grafity 문자를 이용한 전자기기.
  47. 제44항에 있어서, 화상을 촬상하는 모드와 기호를 입력하는 모드를 전환하는 버튼을 갖는 전자기기.
  48. 제47항에 있어서, 화상의 촬상을 지시하는 버튼과, 상기 화상 입력을 지시하는 버튼이 해제되었을 때, 미리 설정한 소정 시간은 기호를 입력하는 모드로 전환하는 수단을 갖는 전자기기.
KR1020010010005A 2000-12-25 2001-02-27 이미지 센서를 이용한 전자 기기 KR20020052217A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2000-391813 2000-12-25
JP2000391813A JP2002196877A (ja) 2000-12-25 2000-12-25 イメージセンサを用いた電子機器

Publications (1)

Publication Number Publication Date
KR20020052217A true KR20020052217A (ko) 2002-07-03

Family

ID=18857900

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020010010005A KR20020052217A (ko) 2000-12-25 2001-02-27 이미지 센서를 이용한 전자 기기

Country Status (6)

Country Link
US (1) US20020080239A1 (ko)
EP (1) EP1220143A3 (ko)
JP (1) JP2002196877A (ko)
KR (1) KR20020052217A (ko)
CN (1) CN1361466A (ko)
NO (1) NO20011052L (ko)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100679401B1 (ko) * 2004-07-05 2007-02-05 에스케이 텔레콤주식회사 무선 단말기의 카메라를 이용한 영상 입력 시스템 및 그방법
KR100705510B1 (ko) * 2004-03-16 2007-04-10 김성규 객체의 추적정보를 이용한 제어 장치 및 그 방법
KR100751093B1 (ko) * 2005-12-29 2007-08-21 엠텍비젼 주식회사 디지털 처리 장치의 입력 장치 및 방법
WO2007097548A1 (en) * 2006-02-20 2007-08-30 Cheol Woo Kim Method and apparatus for user-interface using the hand trace
KR100805254B1 (ko) * 2006-12-01 2008-02-21 주식회사 애트랩 광 포인팅 장치 및 이 장치의 데이터 전송 방법
KR100855471B1 (ko) * 2006-09-19 2008-09-01 삼성전자주식회사 입력 장치 및 상기 입력 장치의 이동 정보를 제공하는 방법

Families Citing this family (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7023499B2 (en) * 2001-09-21 2006-04-04 Williams Cassandra S Television receiver with motion sensor
KR100632834B1 (ko) * 2001-12-21 2006-10-13 지멘스 악티엔게젤샤프트 움직임을 검출하여 디스플레이하기 위한 장치 및 상기 장치를 제어하기 위한 방법
US7139034B2 (en) * 2002-04-04 2006-11-21 Princeton Video Image, Inc. Positioning of a cursor associated with a dynamic background
CA2411506C (en) * 2002-11-07 2010-02-16 Research In Motion Limited Pseudo-interactive input processing in wireless environments
PT1573498E (pt) 2002-11-20 2012-03-22 Koninkl Philips Electronics Nv Sistema de interface de utilizador com base num dispositivo de apontador
KR100623080B1 (ko) * 2002-12-10 2006-09-11 주식회사 애트랩 움직임 값의 정확도가 개선된 광마우스 및 그 제어방법
JP2004287731A (ja) * 2003-03-20 2004-10-14 Nec Corp ポインティング装置およびそれを備えた携帯機器
JP2004354134A (ja) * 2003-05-28 2004-12-16 Nippon Telegr & Teleph Corp <Ntt> 三次元位置検出装置，三次元位置検出方法および三次元位置検出プログラム
GB2404819A (en) 2003-08-05 2005-02-09 Research In Motion Ltd Mobile communications device with integral optical navigation
FR2859800B1 (fr) * 2003-09-12 2008-07-04 Wavecom Dispositif electronique portable a interface homme/machine tenant compte de mouvements du dispositif, procede et programme informatique correspondants
JP2005095407A (ja) * 2003-09-25 2005-04-14 Samii Kk 遊技機
JP2005095405A (ja) * 2003-09-25 2005-04-14 Samii Kk 遊技機
EP1524588A1 (en) * 2003-10-15 2005-04-20 Sony Ericsson Mobile Communications AB User input device for a portable electronic device
US7364081B2 (en) * 2003-12-02 2008-04-29 Hand Held Products, Inc. Method and apparatus for reading under sampled bar code symbols
US20050162384A1 (en) * 2004-01-28 2005-07-28 Fujinon Corporation Pointing device, method for displaying point image, and program therefor
US7746321B2 (en) 2004-05-28 2010-06-29 Erik Jan Banning Easily deployable interactive direct-pointing system and presentation control system and calibration method therefor
WO2006018775A2 (en) * 2004-08-12 2006-02-23 Philips Intellectual Property & Standards Gmbh Method and system for controlling a display
KR100663515B1 (ko) 2004-11-08 2007-01-02 삼성전자주식회사 휴대 단말 장치 및 이를 위한 데이터 입력 방법
US20060238508A1 (en) * 2005-04-22 2006-10-26 Tong Xie Optical location measuring system
US9285897B2 (en) 2005-07-13 2016-03-15 Ultimate Pointer, L.L.C. Easily deployable interactive direct-pointing system and calibration method therefor
US7864982B2 (en) * 2005-08-22 2011-01-04 Samsung Electronics Co., Ltd. Displacement and tilt detection method for a portable autonomous device having an integrated image sensor and a device therefor
US7808478B2 (en) * 2005-08-22 2010-10-05 Samsung Electronics Co., Ltd. Autonomous handheld device having a drawing tool
US7809214B2 (en) * 2005-08-22 2010-10-05 Samsung Electronics Co., Ltd. Device and a method for identifying movement patterns
US7697827B2 (en) 2005-10-17 2010-04-13 Konicek Jeffrey C User-friendlier interfaces for a camera
DE102006020563A1 (de) * 2006-05-03 2007-11-08 Benq Mobile Gmbh & Co. Ohg Bewegungserkennung mit einem Kamerahandy
US8726154B2 (en) * 2006-11-27 2014-05-13 Sony Corporation Methods and apparatus for controlling transition behavior of graphical user interface elements based on a dynamic recording
JP4918376B2 (ja) * 2007-02-23 2012-04-18 任天堂株式会社 情報処理プログラムおよび情報処理装置
JP5060798B2 (ja) * 2007-02-23 2012-10-31 任天堂株式会社 情報処理プログラムおよび情報処理装置
UA92597C2 (uk) * 2007-07-19 2010-11-25 Юрий Маркович Боянжу Спосіб безконтактного керування комп'ютером (варіанти)
US8144780B2 (en) * 2007-09-24 2012-03-27 Microsoft Corporation Detecting visual gestural patterns
JP5200800B2 (ja) * 2008-09-16 2013-06-05 富士ゼロックス株式会社 撮影装置及び撮影システム
JP5353196B2 (ja) * 2008-11-17 2013-11-27 株式会社リコー 移動計測装置および移動計測プログラム
JP5233606B2 (ja) * 2008-11-19 2013-07-10 富士通株式会社 絶対移動経路算出装置及び方法、並びにプログラム
US8159363B2 (en) 2009-02-16 2012-04-17 Research In Motion Limited Using gravity to direct a rotatable camera in a handheld electronic device
EP2219367B1 (en) * 2009-02-16 2011-12-21 Research In Motion Limited Using gravity to direct a rotatable camera in a mobile device
CN101877067B (zh) * 2009-11-16 2015-03-04 北京中星微电子有限公司 基于摄像装置的手写输入的方法和系统
CN103314342A (zh) * 2011-03-30 2013-09-18 本田技研工业株式会社 操作装置

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5149980A (en) * 1991-11-01 1992-09-22 Hewlett-Packard Company Substrate advance measurement system using cross-correlation of light sensor array signals
DE69430967T2 (de) * 1993-04-30 2002-11-07 Xerox Corp Interaktives Kopiersystem
KR960028217A (ko) * 1994-12-22 1996-07-22 엘리 웨이스 움직임 검출 카메라 시스템 및 방법
US5578813A (en) * 1995-03-02 1996-11-26 Allen; Ross R. Freehand image scanning device which compensates for non-linear movement
US6668244B1 (en) * 1995-07-21 2003-12-23 Quartet Technology, Inc. Method and means of voice control of a computer, including its mouse and keyboard
US5786804A (en) * 1995-10-06 1998-07-28 Hewlett-Packard Company Method and system for tracking attitude
GB2319421B (en) * 1996-11-15 1999-02-10 Daewoo Electronics Co Ltd Method and apparatus for target tracking
JP3795647B2 (ja) * 1997-10-29 2006-07-12 株式会社竹中工務店 ハンドポインティング装置
WO1999035633A2 (en) * 1998-01-06 1999-07-15 The Video Mouse Group Human motion following computer mouse and game controller
JPH11205648A (ja) * 1998-01-09 1999-07-30 Olympus Optical Co Ltd 画像合成装置
US6151015A (en) * 1998-04-27 2000-11-21 Agilent Technologies Pen like computer pointing device
TW464800B (en) * 1998-10-07 2001-11-21 Intel Corp A method for inputting data to an electronic device, an article comprising a medium for storing instructions, and an image processing system
US6844871B1 (en) * 1999-11-05 2005-01-18 Microsoft Corporation Method and apparatus for computer input using six degrees of freedom
US6839452B1 (en) * 1999-11-23 2005-01-04 California Institute Of Technology Dynamically re-configurable CMOS imagers for an active vision system
US6836555B2 (en) * 1999-12-23 2004-12-28 Anoto Ab Information management system with authenticity check
US6650320B1 (en) * 2000-08-16 2003-11-18 International Business Machines Corporation Digital pen using visible image and autocorrelation of substrate pattern
US6664948B2 (en) * 2001-07-30 2003-12-16 Microsoft Corporation Tracking pointing device motion using a single buffer for cross and auto correlation determination

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100705510B1 (ko) * 2004-03-16 2007-04-10 김성규 객체의 추적정보를 이용한 제어 장치 및 그 방법
KR100679401B1 (ko) * 2004-07-05 2007-02-05 에스케이 텔레콤주식회사 무선 단말기의 카메라를 이용한 영상 입력 시스템 및 그방법
KR100751093B1 (ko) * 2005-12-29 2007-08-21 엠텍비젼 주식회사 디지털 처리 장치의 입력 장치 및 방법
WO2007097548A1 (en) * 2006-02-20 2007-08-30 Cheol Woo Kim Method and apparatus for user-interface using the hand trace
KR100855471B1 (ko) * 2006-09-19 2008-09-01 삼성전자주식회사 입력 장치 및 상기 입력 장치의 이동 정보를 제공하는 방법
KR100805254B1 (ko) * 2006-12-01 2008-02-21 주식회사 애트랩 광 포인팅 장치 및 이 장치의 데이터 전송 방법

Also Published As

Publication number Publication date
CN1361466A (zh) 2002-07-31
JP2002196877A (ja) 2002-07-12
NO20011052D0 (no) 2001-03-01
EP1220143A2 (en) 2002-07-03
EP1220143A3 (en) 2006-06-07
NO20011052L (no) 2002-06-26
US20020080239A1 (en) 2002-06-27

Similar Documents

Publication Publication Date Title
KR20020052217A (ko) 이미지 센서를 이용한 전자 기기
JP6153564B2 (ja) カメラとマーク出力とによるポインティング装置
US7355583B2 (en) Motion-based text input
US7952561B2 (en) Method and apparatus for controlling application using motion of image pickup unit
EP2790089A1 (en) Portable device and method for providing non-contact interface
KR20140110584A (ko) 증강 현실 제공 방법, 저장 매체 및 휴대 단말
JP2001184161A (ja) 情報入力方法、情報入力装置、筆記入力装置、筆記データ管理方法、表示制御方法、携帯型電子筆記装置および記録媒体
JP2003533817A (ja) ３次元モデリングを行うことなく画像処理によってターゲットを指し示す装置及びその方法
CN108027656B (zh) 输入设备、输入方法和程序
US20100103092A1 (en) Video-based handwritten character input apparatus and method thereof
KR100562632B1 (ko) 보급형 장치를 위한 수기 인식 시스템 및 수기 인식의동적 수행 방법
KR20150106823A (ko) 제스처 인식 장치 및 제스처 인식 장치의 제어 방법
JP2014029656A (ja) 画像処理装置および画像処理方法
JPH0757103A (ja) 情報処理装置
JP2008117083A (ja) 座標指示装置、電子機器、座標指示方法、座標指示プログラム、及び座標指示プログラムを記録した記録媒体
JP4871226B2 (ja) 認識装置および認識方法
JP2005267257A (ja) 手書き情報入力システム
JP3851601B2 (ja) 携帯端末装置
US9785253B2 (en) Pointing device using camera and outputting mark
JP2003099196A (ja) 会議等支援用画像投影装置
JP4550460B2 (ja) コンテンツ表現制御装置およびコンテンツ表現制御プログラム
JP2002049455A (ja) 入力インタフェース装置、及び該装置を具備する携帯情報装置
KR101911676B1 (ko) 지시체의 움직임을 고려한 프리젠테이션 영상 처리장치 및 방법
JP3749810B2 (ja) 映像情報入力装置
JP2007179565A (ja) 携帯機器

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid