KR20010085741A - 카메라부착 펜형 입력장치 - Google Patents

Abstract

장치구성을 연구하여 사용상 편의를 향상시킨 카메라부착 펜형 입력장치가 개시되어 있다. 카메라부착 펜형 입력장치는 가로로 긴 및 세로로 긴 어느 하나의 대상의 지시에도 알맞도록 구성되어 있다. 또 대상과 처리내용을 동시에 지정하기 위한 수단, 나아가서는 이용자가 잘못된 방법으로 대상을 지시한 것을 검출하여 그것에 따라 정확한 대상 지시방법을 이용자에게 교시하기 위한 수단을 구비하고 있다.

Description

카메라부착 펜형 입력장치{PEN TYPE INPUT DEVICE WITH CAMERA}

카메라부착 펜형 입력장치에 관한 종래기술로서, 에시엠·프레스사 발행의「계산시스템에 있어서의 인적요소」(ACM PRESS, HUMAN FACTORS IN　COMPUTING SYSTEMS, CHI 95 CONFERENCE COMPANION, P256-P257)에 기재된 MEMO-PEN (메모펜)이 있다. MEMO-PEN이란, 소형카메라를 펜의 축에 매립하여 펜끝 너머로 펜 끝의 근방을 연속촬영함으로써 필적을 기록하는 것이다. MEMO-PEN의 카메라가 촬영하는 범위는 필적의 방향을 판별하기 위하여 필요한 매우 좁은 영역에 한정되어 있다.

MEMO-PEN에서는 펜축에 카메라가 매립되어 있기 때문에, 이용자가 손으로 잡는 장소보다도 선단 가까이에 광학계를 배치하지 않으면, 이용자의 손에 의해 카메라의 시야가 방해가 된다. 이 때문에 시야각이 넓은 광학계를 사용하였다 하더라도 광학계를 대상물(종이)로부터 뗄 수 있는 거리에 한도가 있기 때문에, 카메라의 시야를 넓게 취하지 않으면 안된다는 문제가 있다. 또 이용자가 자연스럽게 펜을유지한 상태에서는 펜축이 수직으로부터 크게 기우는 것이 보통이므로, 펜축에 매립된 카메라로 촬영된 화상은 대상을 비스듬하게 본 것이 되어 버린다.

MEMO-PEN의 기능은 이용자가 MEMO-PEN으로 쓴 필적을 기록하여 두고, 나중에 무엇인가의 정보처리장치의 도움을 빌어 필적을 재생하거나, 문자를 인식하거나 하는 것이다. 즉, 필적데이터를 한창 수집하고 있을 때, 바꾸어 말하면 이용자가 MEMO-PEN을 한창 이용하고 있을 때에는 이 카메라부착 펜형 입력장치를 사용하여 정보처리장치의 기능을 호출하는 유저인터페이스가 실행되는 일은 없다. 따라서 입력중인 처리대상(필적)에 대하여 적용하는 처리의 종류를 펜에 의해 지정하거나 하는 일은 없다. 또한 MEMO-PEN의 경우는 펜 끝과 필적의 위치는 항상 일치하고 있기 때문에, 입력대상(필적)과 펜 끝의 위치관계를 조정하거나 할 필요는 없다.

또 카메라부착 펜형 입력장치에 관한 종래기술로서 상기한 에이시엠사의「계산시스템에 있어서의 인적요소」의 97년 학회지(ACM PRESS, HUMAN FACTORS IN COMPUTING SYSTEMS, CHI 97 CONFERENCE PROCEEDINGS, P327-P334)에 기재된 PaperLink (페이퍼링크)라는 시스템이 있다. 페이퍼링크에서는 이용자가 처리대상을 입력하기 위한 장치로서, 소형카메라를 장착한 펜형의 입력장치를 사용한다. 소형카메라는 이용자가 자연스럽게 펜을 유지한 상태에서 바로 위에서 대상(지면)을 내려다 보는 바와 같은 위치에 설치되어 있다. 카메라의 시야는 펜끝 부근의 수 cm 사방을 촬영할 수 있도록 설정되어 있다. 촬영된 펜끝 부근의 화상은 정보처리장치에 입력되어 그 내용에 따라 다양한 처리가 실행된다. 입력한 대상이 이미 알고 있는 것이면 그에 따른 소정의 처리가 실행된다. 예를 들면 소정의 파일을 열어 이용자에게 제시하거나, 소정의 프로그램이 실행을 개시하기도 한다. 또입력한 대상이 미지의 것이면 일시적으로 보존되어 나중에 실행되는 코멘드에 대한 인수로서 사용되기도 한다.

본 발명이 해결하고자 하는 과제는 소형카메라를 펜형상의 것에 장착하여 화상을 사용하여 대상을 입력하는 장치에 있어서, 사용상 편의를 저하시키는 사항이다.

MEMO-PEN에 있어서 본 발명에서 해결하고자 하는 과제는, 광학계까지 포함시킨 카메라가 펜축에 조립되어 있기 때문에 카메라에 넓은 시야를 가지게 하는 것이 곤란하다는 점이다.

또 상기한 페이퍼링크에 관해서는 먼저 펜축과 카메라의 중심축이 동일평면상이 되도록 배치되어 있기 때문에 자연스러운 조작으로 세로로 긴 패턴을 지시할 수 없다는 문제가 있다.

또한 페이퍼링크의 입력장치에서는 대상을 지시하는 방법이 한 종류 밖에 없기 때문에 처리대상과 처리의 종류를 동시에 지정할 수 없다.

또 페이퍼링크와 같이 펜 끝을 카메라가 위에서 내려다 보는 바와 같은 구성에서는 이용자가 지시대상과 펜 끝을 겹쳐 버리면 펜 끝에 의해 지시대상이 가리워져 정확하게 입력할 수 없다는 상태가 된다.

또 상기한 바와 같이 펜 끝과 지정대상을 겹쳐칠 수 없기 때문에 대상의 지시방법에 이용자의 기호를 반영시킬 필요가 생긴다. 즉, 카메라부착 펜형 입력장치에 있어서는 지시대상의 위치와 펜 끝의 위치 사이의 관계는, 이용자의 지시방법의 기호에 따라 여러가지로 변할 수 있다. 예를 들면 가로로 긴 대상을 이용자가 지시하는 경우, 어느 이용자는 한 가운데 부근을 지시할 것이고, 다른 이용자는 오른쪽 밑을 지시할 지도 모른다. 또 대상을 지시할 때의 펜의 경사 등도 이용자마다 다를 것이다.

본 발명은 사용상 편의를 향상시킨 카메라부착 펜형 입력장치에 관한 것으로, 더욱 상세하게는 이용자가 정보처리장치의 기능을 간단하게 호출하기 위한 유저인터페이스방법을 사용한 카메라부착 펜형 입력장치에 관한 것이다. 즉 본 발명은 정보처리장치에 있어서 사용되는 핸드 화상입력장치에 관한 것이다.

도 1은 비디오펜을 사용한 시스템 전체의 구성을 나타낸 도,

도 2는 비디오펜의 구성을 나타낸 도,

도 3은 비디오펜을 위에서 나타낸 도,

도 4는 비디오펜으로 횡서 문서중의 행을 촬영한 화상의 일례를 나타낸 도,

도 5는 비디오펜으로 종서 문서중의 행을 촬영한 화상의 일례를 나타낸 도,

도 6은 왼손잡이용 비디오펜의 구성을 위에서 나타낸 도,

도 7은 비디오펜의 카메라를 비켜 놓은 양을 정량적으로 설명하기 위한 도,

도 8은 비디오펜의 카메라를 비켜 놓은 양이 매우 적은 펜 끝형상의 예를 나타내는 도,

도 9는 비디오펜의 구성을 나타낸 도,

도 10은 비디오펜을 위에서 나타낸 도(횡서용의 설정),

도 11은 비디오펜을 위에서 나타낸 도(종서용의 설정),

도 12는 횡서용의 설정으로 가로로 긴 대상을 촬영한 화상의 일례를 나타낸 도,

도 13은 종서용 설정으로 세로로 긴 대상을 촬영한 화상의 일례를 나타낸 도,

도 14는 처리지정장치의 전체구성을 나타낸 도,

도 15는 비디오펜으로 대상을 잘못 지시한 경우의 일례를 나타낸 도,

도 16은 대상추출 후에 펜 끝과 대상이 겹쳐져 있는 것을 검출한 예를 나타내는 도,

도 17은 지시방법을 교시하는 화면의 일례를 나타낸 도,

도 18은 지시오차 보정수단이 표시하는 메시지의 일례를 나타낸 도,

도 19는 지시오차 보정을 위해 사용하는 시트의 일례를 나타낸 도,

도 20은 지시오차 보정을 위해 표준패턴을 촬영한 화상의 일례를 나타낸 도,

도 21은 정보처리장치의 내부 구성을 나타낸 도,

도 22는 2치 화상의 일례로서 가로로 긴 대상을 입력한 경우의 예를 나타내는 도,

도 23은 지시오차 보정을 위한 값의 일례를 나타낸 도,

도 24는 지시오차 보정데이터를 설명하기 위한 도,

도 25는 대상 추출을 설명하기 위한 도,

도 26은 추출된 대상의 화상의 일례를 나타낸 도,

도 27은 기울기 보정을 설명하기 위한 도,

도 28은 기울기 보정 후의 대상의 화상의 일례를 나타낸 도,

도 29는 특징량의 일례를 나타낸 도,

도 30은 패턴사전의 구조의 일례를 나타낸 도,

도 31은 처리 테이블의 구조의 일례를 나타낸 도,

도 32는 동작 테이블의 구조의 일례를 나타낸 도,

도 33은 정보처리장치의 표시화면의 일례를 나타낸 도면이다.

본 발명의 목적은 상기한 과제를 해결하여 사용상 편의를 향상시킨 카메라부착 펜형 입력장치를 제공하는 데에 있다.

상기 목적을 달성하기 위하여 본 발명에서는 다음과 같은 수단을 설치하고 있다.

본 발명에서는 카메라를 펜에 장착할 때에, 카메라의 중심축을 펜 중심의 좌우로 비켜 놓고 배치한다. 이용자가 세로로 긴 대상을 오른쪽에서 지시할 경우, 즉 이용자가 오른손으로 대상을 지시하는 경우는 카메라를 펜축보다도 왼쪽에 설치한다. 이에 의하여 펜축이 카메라와 대상의 사이로 들어와 방해되는 일이 없어진다. 반대로 이용자가 세로로 긴 대상을 왼쪽에서 지시하는 경우, 즉 이용자가 왼쪽 손으로 대상을 지시하는 경우는 카메라를 펜축보다도 오른쪽에 설치한다. 또 카메라를 좌우로 비켜 놓고 고정하는 대신에 카메라가 좌우로 0 내지 90도의 범위로 회전하면서 좌우로 어긋나는 바와 같은 구성으로 한다.

또 소형카메라 또는 그것을 장착한 펜의 부분에 지시된 대상에 적용하는 처리의 종류를 지정하기 위한 처리지정장치를 설치한다. 이 처리지정장치는 예를 들면 다색(多色)볼펜으로 펜 끝의 색을 바꾸기 위한 장치와 같은 것이다. 이용자는미리 처리지정장치에 의해 소정의 처리를 설정하여 두면, 처리대상지정과 동시에 그 처리를 기동할 수 있게 된다. 처리지정장치는 펜 끝의 형상 또는 색을 변경하는 것이어도 좋다. 펜 끝은 대상을 지시하기 위한 부분이므로, 이용자는 지시대상을 시계에 포착하면서 처리의 종류에 대응하는 펜 끝의 형상 또는 색도 동시에 볼 수 있다.

또 이용자에게 정확한 대상지시방법을 교시하는 지시방법 교시수단을 설치함 과 동시에, 이용자의 대상지시방법이 정확하지 않음을 검출하는 지시불량 검출수단을 설치한다. 부정지시 검출수단은, 예를 들면 검출된 대상의 영역과, 펜 끝이 찍힌 영역이 겹쳐져 있는 것을 검출하면, 이용자의 대상지시방법이 정확하지 않다고 판정할 수 있다. 또 대상추출에 연속하여 소정의 회수만큼 실패하였을 때에 이용자의 대상지시방법이 정확하지 않다고 판정하여도 좋다.

또한 이용자가 카메라부착 펜형 입력장치를 사용하여 대상을 지정할 때의 기호를 설정하기 위하여 지시오차 보정수단을 설치한다. 지시오차 보정수단이란, 일반 타블렛 디스플레이에 있어서의 시차(視差) 보정수단과는 달리, 카메라부착 펜형입력장치와 그것에 의하여 지시되는 대상의 위치관계에 대한 이용자의 기호를 등록하는 수단이다.

도 1은 본 발명을 실시하기 위한 하드웨어구성의 일례이다. 이용자는 소형의 카메라(101)를 장착한 펜형의 입력장치를 사용하여 정보처리장치(102)에 데이터를 입력하거나, 정보처리장치(102)의 코멘드를 실행시킬 수 있다.

이와 같은 카메라부착 펜형 입력장치를 이하의 설명에서는 비디오펜(103)이라 부른다. 이용자가 비디오펜(103)으로 무엇인가를 지시하면 비디오펜(103)의 선단에 부착되어 있는 스위치, 즉 펜 끝 스위치(104)가 ON 상태가 된다. 정보처리장치(102)는 펜 끝 스위치(104)가 온이 된 것을 검출하면, 비디오펜(103)의 카메라 (101)로부터 화상을 도입하고, 그 내용에 따라 다양한 처리를 실행한다. 예를 들면 화상으로부터 문서중의 행을 발췌하여 그것을 문자인식과 사전프로그램에 건네 주고, 결과를 디스플레이(105)에 표시하거나 한다.

도 2는 비디오펜(103)의 구조의 일례를 나타낸 것이다. 펜축(201)은 이용자가 손으로 잡기 위한 부분이며, 그 선단에 펜 끝 스위치(104)가 설치되어 있다. 펜 끝 스위치(104)의 선단은 예를 들면 막대형상으로 되어 있어 이용자가 비디오펜(103)으로 대상을 지시하면, 그 막대가 펜축(201)을 눌러 전기적인 접점을 ON으로 하도록 되어 있다. 펜축(201)에는 비디오펜(103) 선단부 부근을 촬영할 수 있도록 카메라(101)가 부착된다. 카메라(101)는 카메라 유지부품(202)에 의해 펜축(201)에 부착된다. 카메라(101)는 이용자가 펜을 잡는 요령으로 비디오펜(103)을 유지하였을 때에 가능하면 선단 부근을 수직하게 내려다 볼 수 있는 위치에 부착되어 있다. 카메라(101)로서는 시판되고 있는 소형 비디오카메라를 사용할 수 있다. 4분의 1인치의 촬상소자를 사용한 소형 비디오카메라는 단면은 지름 1 cm 이하의 원형이고, 길이는 수 cm 정도이다. 또 펜축(201)은 통상의 펜과 마찬가지로 지름이 1 cm 정도의 단면이 둥근 막대형상의 것이다.

도 3은 도 2에 나타낸 비디오펜(103)을 이용자가 유지하고 있을 때와 동일한 상태로 세워 바로 위에서 내려다 본 경우를 나타내고 있다. 이 경우 카메라(101)는 연직방향에 배치되므로, 단면형상과 동일하게 원처럼 보인다. 여기서 주의해야 할 점은 펜축(201)과 카메라(101)가 동일 평면형상으로 배치되어 있지 않은 것이다. 카메라(101)는 펜축(201)이 실려 있는 평면보다도 왼쪽 위쪽으로 비켜서 설치되어 있다. 이는 비디오펜(103)으로 종서 문서중의 행을 지시할 때에 펜축(201)에 의해 대상행이 가리워져 버리는 것을 방지하기 위한 배려이다.

도 4는 도 2에 나타낸 비디오펜(103)으로 횡서 문서중의 행을 촬영한 화상의 예이다. 비디오펜(103)의 펜 끝(401)은 화상의 중심보다 약간 오른쪽 아래에 찍혀 있다. 또 중앙부에는 이용자가 지시한 대상패턴(402)이 촬영되어 있다.

또 도 5는 마찬가지로 도 2에 나타낸 비디오펜(103)으로 종서 문서중의 행을 촬영한 화상의 예이다. 비디오펜(103)의 펜 끝(401)은 도 4의 경우와 동일한 곳에 찍혀 있다. 이는 카메라(101)와 펜축(201)의 위치관계가 고정되어 있기 때문에 당연한 일이다. 도 5에서는 대상패턴(501)은 화상중심에 상하로 찍혀 있다. 이 때, 카메라(101)가 펜축(201)보다도 왼쪽으로 비켜서 설치되어 있기 때문에, 펜축(201)이 방해가 되어 종서 문서중의 대상패턴(501)을 가려 버리는 일은 없다.

도 6은 왼손잡이용 비디오펜(103)을 구성할 때의 카메라(101)의 설치방법을 도 3과 동일하게 나타낸 것이다. 도 3에 나타낸 비디오펜(103)으로는 오른손으로 조작하는 것을 전제로 하여 세로로 긴 대상을 오른손으로 오른쪽으로부터 지시하는 것을 상정하고 있으나, 왼손으로 왼쪽으로부터 세로로 긴 대상을 지시하기 위해서는 카메라(101)를 펜축(201)보다도 오른쪽으로 비켜서 설치하도록 하면 좋다. 이에 의하여 세로로 긴 대상을 비디오펜(103)으로 왼쪽으로부터 지시하는 경우에도펜축(201)에 의해 대상이 가리워져 버리는 것을 방지할 수 있다.

도 7은 카메라(101)를 펜축(201)의 중심평면으로부터 어느 만큼 비키면 좋은 지를 나타내고 있다. 세로로 긴 대상을 펜축(201)으로 가리지 않기 위해서는 카메라(101)로 촬영되는 부분의 펜축(1201) 굵기(701)의 절반이상 비켜서 놓을 필요가 있다. 다만, 펜 끝(401)의 형상에 따라서는 상기의 어긋남보다도 작아도 충분하다. 예를 들면 카메라(101)의 화상에 들어 가는 범위의 펜 끝(401)이 도 8과 같은 형상인 경우, 어긋난 쪽은 0 이상이면 된다. 따라서 카메라의 어긋난 쪽은 카메라의 화상에 들어 가는 범위의 펜축(201)에서, 펜축(201)의 중심선보다도 지시 대상측으로 나와 있는 부분의 폭보다 커지도록 조정하면 좋다.

도 9는 비디오펜(103) 구조의 또 하나의 예이다. 펜축(201)의 부분은 도 2에 나타낸 것과 동일하나, 카메라(101)를 부착하는 방법이 다르다.

도 10은 도 9에 나타낸 비디오펜(103)을 이용자가 유지하고 있을 때와 동일한 상태로 세워, 바로 위에서 내려다 본 경우를 나타내고 있다. 이 경우는 도 3의 경우와 달리, 카메라(101)는 펜축(201)과 동일 평면상에 배치되어 있다. 따라서 가로로 긴 대상을 지시하기 위해서는 문제는 없으나, 세로로 긴 대상, 예를 들면 종서 문장의 행 등을 지시하면, 펜축이 방해가 된다.

이것을 해결하기 위하여 도 9에 나타낸 비디오펜(103)에서는 카메라(101)가 펜축(201)에 대하여 90도 회전하면서 왼쪽으로 어긋나도록 되어 있다. 도 11은 카메라(101)가 회전하여 왼쪽으로 어긋난 상태를 위에서 내려다 보고 있는 곳이다. 카메라 유지부품(202)이 도중에서 접혀 구부러져 카메라(101)를 90도 회전시킴과동시에 왼쪽으로 흔들어 내는 것 같은 구조로 되어 있다. 이 상태에서는 세로로 긴 대상을 가리키는 경우에 펜축(201)이 대상을 가려 버리는 일은 없다.

도 12는 카메라(101)가 회전되어 있지 않고, 도 10의 상태에 있을 때에 가로로 긴 대상을 촬영한 화상의 일례이다. 펜 끝(401)이 찍힌 위치가 화상중앙의 조금 아래인 이외에는 도 4의 경우와 거의 변화는 없다. 즉, 가로로 긴 대상을 지시할 때는 도 2에 나타낸 비디오펜(103)과, 도 9에 나타낸 비디오펜(103)에서는 가로로 긴 대상을 지시할 때는 거의 차이가 없다고 할 수있다.

한편, 도 13은 카메라(101)가 도 11과 같이 되어 있는 상태에서 세로로 긴 대상을 지시하였을 때의 화상의 일례이다. 이 경우 카메라(101)가 90도 회전하고 있기 때문에, 펜 끝(401)은 화상중심의 왼쪽 아래측에 찍힌다. 또 세로로 긴 대상은 화상의 가로방향으로 길어지도록 찍힌다. 시판되는 비디오카메라로 촬영된 화상은 일반적으로 가로로 길기 때문에 상기 도 9에 나타낸 비디오펜(103)의 구성에서는 세로로 긴 대상을 지시할 때에도, 촬상소자의 화소를 유효하게 사용할 수 있다는 이점이 있다.

즉, 도 2에 나타낸 비디오펜(103)으로 세로로 긴 대상을 지시하였을 때는 도 4에 나타내는 바와 같이 화상의 짧은 변 속에 들어가는 대상 밖에 입력할 수 없으나, 도 9에 나타내는 비디오펜(103)으로서는 도 13과 같이 화상의 긴 변에 들어가는 대상까지 입력할 수 있다.

단, 도 9에 나타내는 비디오펜(103)으로는 세로로 긴 대상을 가리키는 경우와, 가로로 긴 대상을 가리키는 경우에, 이용자가 카메라(101)의 배치를 바꾸지 않으면 안된다는 단점은 있다. 따라서 카메라(101)의 해상도 및 촬영범위가 충분히 클 때는 도 2의 구성을 사용하고, 그렇지 않은 경우에 도 9의 구성을 사용하는 것이 바람직하다.

또한 도 9에 나타내는 비디오펜(103)의 구성에서는 카메라(101)를 오른쪽으로도 흔들어 낼 수 있게 하여 두면, 세로로 긴 대상을 왼쪽에서 지시하는 경우에도 대처할 수 있게 된다는 이점도 있다.

또 도 9에 나타내는 비디오펜(103)에서는 정보처리장치(102)의 대상이 가로로 긴 것인 지, 세로로 긴 것인 지를 판정하기 위하여 비디오펜(103)의 카메라 (101)가 어디에 설정되어 있는 지를 판독할 필요가 생긴다. 이는 카메라 유지부품 (202)의 상태를 전기적으로 판독할 수 있도록 하여도 되고, 촬영된 화상으로부터 판정하도록 하여도 된다. 즉 펜 끝(401)이 화상의 어디에 찍혀 있는 지를 조사하면, 카메라(101)가 어디에 있는 지를 특정할 수 있다. 펜 끝(401)이 도 12와 같이 화상의 중앙 아래쪽에 찍혀 있으면, 가로로 긴 대상을 촬영하고 있는 경우이다. 또 펜 끝(401)이 도 13과 같이 화상의 왼쪽 아래쪽에 찍혀 있으면, 세로로 긴 대상을 오른쪽으로부터 지시하고 있는 경우이다. 마찬가지로 펜 끝(401)이 화상의 오른쪽 아래쪽에 찍혀 있으면, 세로로 긴 대상을 왼쪽으로부터 지시하고 있는 경우 이다.

비디오펜(103)의 펜축(201) 부분에 지시된 대상에 적용하는 처리의 종류를 지정하기 위한 처리지정장치(1401)를 설치한다. 이 처리지정장치(1401)는 예를 들면 다색볼펜으로 펜의 색을 바꾸기 위한 장치와 같은 것이다. 도 14에 처리지정장치(1401)의 일례를 나타낸다. 이용자는 기동하고 싶은 처리에 대응한 색을 펜축 (201)의 상단에 있는 회전부분(1402)을 돌림으로써 선택한다. 그러면 선택된 색에 대응한 심이 펜 끝(401)으로부터 나온다.

이용자는 미리 처리지정장치(1401)에 의해 소정의 처리를 설정하여 두면 처리대상 지정과 동시에 그 처리를 기동할 수 있게 된다. 처리 지정장치(1401)는 펜 끝(401)의 형상 또는 색을 변경하는 것이어도 된다. 펜 끝(401)은 대상을 지시하기 위한 부분이므로, 이용자는 지시대상을 시계에 포착하면서 처리의 종류에 대응하는 펜 끝(401)의 형상 또는 색도 동시에 볼 수 있다.

처리지정장치의 상태, 즉 어느 심이 선택되어 있는 지를 판독하기 위해서는 예를 들면 전기적인 접점을 사용하는 구성을 고려할 수 있다. 이 경우는 예를 들면 펜 끝 스위치(401)가 온이 된 시점에서 처리 지정장치(1401)의 상태를 판독하도록 하면 된다.

또 펜 끝(401)은 카메라(101)의 시야중에도 들어가 있으므로, 카메라(101)로부터의 화상을 처리할 때에 특별한 전기적인 신호를 사용하지 않더라도 화상처리에 의해 처리의 종류를 특정하는 것도 가능하다. 펜 끝(401)과 카메라(101)의 위치관계는 이미 알고 있으므로, 카메라(101)로부터의 입력화상중 어느 곳에 펜 끝(401),특히 심(芯)이 있는 지를 미리 계산하여 둘 수 있다. 화상처리의 과정에서 그 위치에 있는 색을 조사하면, 현재 선택되어 있는 처리의 종류를 용이하게 판별하는 것이 가능해진다.

본 발명에 의한 유저 인터페이스방법에 있어서는, 이용자는 비디오펜(103)을사용하여 화상에 의해 처리대상을 정보처리장치(102)에 입력한다. 따라서 이용자는 처리대상을 정확하게 입력하기 위해서는, 비디오펜(103)에 의해 정확한 대상지정의 방법을 습득하고 있을 필요가 있다. 즉, 비디오펜(103)의 펜 끝(401)으로 대상을 덮어 가려서는 안되고, 펜 끝(401)과 대상이 지나치게 떨어져도 안된다.

그런데, 비디오펜(103)을 처음으로 사용하는 이용자는 도 15와 같이 대상의 위에 펜 끝(401)을 겹치기 쉽다. 이 상태는 펜입력 컴퓨터와 같이 지시하는 대상이 시스템에 의한 표시물이고, 펜으로 지시한 디스플레이상의 좌표를 입력하는 수단을 구비하고 있는 경우에는 문제가 없다. 그러나 본 발명에 의한 유저 인터페이스방법과 같이 펜 끝(401)의 부근을 위에서 촬영한 화상으로부터 지시대상을 추출하는 경우에는 지시대상이 펜 끝(401)으로 가려지는 일은 큰 문제이다.

상기한 바와 같이, 이용자가 대상의 위에 펜 끝(401)을 겹치게 한 경우에 대처하기 위하여 그와 같은 상태가 일어난 것을 검출하여 이용자에게 정확한 지시방법을 교시하는 지시방법 교시수단이 필요하게 된다.

펜 끝(401)과 지시대상이 겹쳐진 것은 다음과 같이 하여 검출할 수 있다. 즉 대상으로서 추출된 영역과, 펜 끝(401)이 찍혀 있을 영역을 비교하여 양자가 겹쳐진 부분을 가지면 이용자가 대상과 펜 끝(401)이 겹쳐졌다고 판정하면 된다. 도 16은 대상으로서 추출된 영역(1601)과, 펜 끝(401)이 찍힌 것(1602)이 서로 겹쳐 있는 경우의 일례이다. 덧붙여서 말하면 펜 끝(401)이 찍힌 영역은 펜축(201)과 카메라(101)의 위치관계가 이미 알고 있는 것이므로, 미리 구하여 둘 수 있다. 상기와 같은 방법으로 이용자가 대상의 위에 펜 끝(401)이 겹쳐진 것을 검출하면, 본유저 인터페이스방법에서는 대상의 정확한 지시방법을 이용자에게 교시하기 위한 교시화면을 표시한다. 또 연속하여 소정의 회수, 예를 들면 3회 대상추출에 실패한 경우는 지시방법 교시화면을 표시하도록 하여도 좋다.

도 17은 상기한 교시화면의 일례이고, 정보처리장치(102)의 디스플레이(105)에 표시된다. 지시방법 교시화면은 이용자에게 지시하고 싶은 대상을 펜 끝(401)으로 가리지 않고, 가로로 긴 대상의 경우는 수 mm 아래쪽을, 세로로 긴 대상의 경우는 수 mm 오른쪽 옆을 가리키도록 교시하고 있다.

또 지시방법 교시화면에는 뒤에서 설명하는 지시오차 보정수단을 호출하기 위한 지시오차 보정버튼(1701)이 부착되어 있다.

이용자가 비디오펜(103)으로 대상을 지시하는 경우, 그 지시방법에는 사람에 따라 여러가지 차이가 있다. 예를 들면 가로로 긴 대상을 지시하는 경우, 대상의 중심의 아래쪽을 가리키는 이용자도 있을 것이고, 대상의 오른쪽 아래를 가리키는 이용자도 있을 것이다. 또 대상에 대한 펜의 각도도 이용자에 따라 다르다. 예를 들면 가로로 긴 대상을 지시하는 경우, 대상의 바로 아래로부터 가리키는 이용자도 있을 것이고, 대상의 오른쪽 아래로부터 가리키는 이용자도 있을 것이다. 또한 지시대상으로부터 펜 끝(401)까지의 거리도 이용자에 따라 다를 것이다. 예를 들면 가로로 긴 대상을 지시하는 경우, 대상의 아래쪽 한계를 가리키는 이용자도 있을 것이고, 대상의 아래쪽 1 cm 정도의 장소를 가리키는 이용자도 있을 것이다.

상기한 바와 같은 이용자에 의한 대상의 지시방법의 차이는 이용자가 지시한 대상을 추출할 때의 파라미터에 반영시키지 않으면 안된다. 또 경우에 따라서는비디오펜(103)의 펜축(201)과 카메라(101)의 위치관계를 조정할 필요도 있을 지도 모른다. 따라서 본 발명에 의한 유저 인터페이스방법에서는 이용자에 의한 지시방법의 차이(여기서는「지시오차」이라 하기로 한다)를 미리 등록하기 위한 수단을 제공한다. 이 수단을 지시오차 보정수단이라 하기로 한다.

지시오차 보정수단은 본 발명에 의한 유저 인터페이스방법을 처음으로 기동하는 경우나, 이미 설명한 지시차 보정버튼(1701)을 눌렀을 때 등에 호출된다. 이용자는 지시오차 보정수단을 사용하여 예를 들면 다음과 같이 하여 이용자의 기호를 등록할 수 있다. 이용자가 지시오차 보정수단을 기동하면 디스플레이(105)에 도 18에 나타내는 바와 같은 메시지가 표시된다. 이용자는 이 메시지에 따라 도 19에 나타내는 바와 같은 지시오차 보정시트상의 대상을 비디오펜(103)으로 지시한다. 지시오차 보정시트는 단순한 종이에 가로로 긴 대상이 인쇄되어 있는 것이다. 그 대상, 표준패턴 (1901)의 형상과 크기는 미리 정보처리장치(102)에 등록되어 있다.

이용자가 표준패턴(1901)을 비디오펜(103)으로 지시하면 입력화상으로서 예를 들면 도 20이 얻어진다. 정보처리장치(102)는 이 화상을 화상처리함으로써 이용자가 대상에 대하여 어느 부근을 펜 끝(401)으로 지시하였는지, 지시하였을 때의 펜축(201)의 각도는 어느 정도인지라는 정보를 판독한다. 이와 같이 하여 판독된 이용자의 대상지정에 관한 기호는 정보처리장치(102)가 입력화상으로부터 처리대상을 추출할 때의 참고치로서 사용된다.

본 실시예에서는 대상과 이용자가 가르킨 위치 사이의 거리(대상 최소거리)와, 비디오펜(103)의 경사(표준기울기)를 이용자의 기호로서 등록하는 것으로 한다. 각각의 구하는 방법에 대하여 나중에 정보처리장치(102)의 대상 추출부에 대하여 설명할 때에 상세하게 설명한다.

도 21은 본 발명을 실시하기 위한 전체 구성의 일례로서, 정보처리장치(102)의 내부 구성을 구체적으로 나타낸 것이다. 이하에 각각의 구성요소의 동작을 설명한다.

(1) 비디오펜 인터페이스(2101)

이용자가 비디오펜(103)으로 입력하고 싶은 대상을 지시하면 비디오펜(103) 선단에 설치된 펜 끝 스위치(104)가 온이 된다. 비디오펜 인터페이스(2101)는 펜 끝 스위치(104)가 온이 된 것을 검출하면 카메라(101)로부터의 화상을 1 프레임 도입하여 2치화부(2102)에 건네 준다. 2치화부(2102)에 건네진 화상은 예를 들면 가로 320도트, 세로 240도트, 1화소당 24비트의 색상수를 가지는 컬러화상이다.

또 비디오펜 인터페이스(2101)는 비디오펜(103)에 부착된 처리 지정장치 (1401)의 상태를 판독하여 처리 지정버퍼(2103)에 기록한다. 처리 지정버퍼(2103)에 기록하는 데이터는 예를 들면 처리 지정장치(1401)에서 선택되어 있는 심(芯)의 번호이다. 단, 번호가 0인 경우는 처리가 아무것도 지정되어 있지 않은 상태이다.

(2) 2치화부(2102)

2치화부(2102)는 입력된 화상을 2치화상으로 변환하고, 그 결과인 2치화상을 대상 추출부(2104)에 건네 준다. 도 22는 2치화부(2102)로부터 대상 추출부(2104)에 건네진 2치화상의 일례이다.

또한 처리지정장치(1401)의 상태를 전기적인 접점에 의해 판독할 수 없는 구성으로 되어 있는 경우는, 입력화상의 2치화에 앞서, 심이 찍혀 있는 영역의 색을 조사하고, 그것에 의하여 어느 색 심이 선택되어 있는 지를 판정하여 처리 지정버퍼(2103)에 선택되어 있던 심의 번호를 기록한다.

(3) 대상 추출부(2104)

대상 추출부(2104)는 2치화부(2102)로부터 건네진 2치화상으로부터 처리대상을 추출하는 부분이다. 건네진 2치화상에는 대상 이외에 여러가지의 것이 찍혀 있다. 예를 들면 펜 끝(401)도 찍혀 있고, 대상의 근처에 쓰여져 있는 것도 찍혀 있을 것이다. 대상 추출부(2104)의 역할은 건네 받은 2치화상으로부터 대상만을 뽑아 내어 그 화상을 기울기 보정부(2105)에 건네 주는 것이다.

이용자가 대상을 지시할 때의 기호는 지시오차 보정버퍼(2112)에 저장되어 있다. 지시오차 보정버퍼(2112)의 내용은 예를 들면 도 23에 나타내는 바와 같은 값의 세트, 즉 대상 최소거리(2301)와 표준 기울기(2302)의 세트이다. 대상 최소거리(2301)는 이용자가 표준패턴(1901)을 지시하였을 때에 펜 끝(401)을 대상으로부터 얼마만큼 떼었는 지를 기준으로 하여 구해진다. 대상 최소거리(2301)는 예를 들면 도 24중의 선분(D)의 길이(도트수)로 정할 수 있다. 또 표준 기울기(2302)는 이용자가 얼마만큼 비디오펜(103)을 기울이고 있는 지를 나타내는 값이며, 예를 들면 도 24중의 기울기(A)의 크기로 정할 수 있다. 대상 최소거리(2301)의 초기값은 예를 들면 20, 표준 기울기(2302)의 초기값은 예를 들면 0 이다. 도 24의 경우, 대상 최소거리(2301)는 18도트, 표준 기울기(2302)는 32도이다.

대상 추출부(2104)가 2치화상으로부터 대상을 추출하는 처리는 도 25를 사용하여 설명한다. 또한 이하의 설명에서는 화상중의 좌표계는 왼쪽 위가 원점이다. 또 설명에 나오는 정수는 CAMX가 화상중에서의 펜 끝(401)의 X 좌표, CAMY는 마찬가지로 Y 좌표, D는 대상 최소거리(2301)이다. CAMX, CAMY는 펜축(201)과 카메라 (101)의 위치관계가 이미 알려져 있으므로, 미리 구하여 둘 수 있는 값이며, D는 상기한 바와 같이 지시오차 보정버퍼(2112)로부터 판독할 수 있는 값이다.

먼저, 대상 추출부(2104)는 펜 끝(401)의 좌표(CAMX, CAMY)로부터 D만큼 위의 점(S)(CAMX, CAMY-D)로부터 위를 향하서 대상의 화소를 찾아 간다. 즉 도 25중의 선분(L)에 따라 대상의 화소를 찾아 간다. 이 단계에서 대상에 속한다고 생각되는 화소가 하나도 발견되지 않으면, 대상추출은 실패이다. 여기서 발견된 대상의 화소는 대상영역으로서 기억된다.

다음에 대상 추출부(2104)는 대상 영역의 근방을 조사하여 대상영역으로부터 소정거리 이내에 있는 화소를 새롭게 대상영역에 도입하여 간다. 소정거리란, 예를 들면 10도트이다. 이 처리에 따라 대상영역은 서서히 확장되어 간다. 대상 추출부(2104)는 더 이상 도입할 수 있는 화소가 없어진 시점에서 이 확장처리를 끝낸다. 이 확장처리가 끝난 시점에서 대상영역으로서 기억되어 있는 화소의 응집을 이용자가 지시한 대상이라고 판정한다.

대상 추출부(2104)가 대상을 다 추출한 시점에서, 추출된 대상영역과, 펜 끝(401)이 찍혀 있는 영역을 비교하여 양자가 겹친 부분을 가지는 경우는 이용자가 대상과 펜 끝(401)을 겹친 것으로 판정할 수 있다. 예를 들면 도 16과 같은 경우이다. 따라서 이와 같은 경우는 이용자에게 지시방법 교시화면을 제시하여 정확한 대상 지정방법을 교시한다. 또 대상 추출에 연속하여 실패한 경우에도 이용자에게 지시방법 교시화면을 제시하여 정확한 대상 지정방법을 교시한다.

예를 들면 도 22에 나타낸 2치화상에 상기한 방법을 적용하면, 도 26과 같은 패턴이 대상으로서 추출된다. 이 추출결과의 화상은 기울기 보정부(2105)에 건네진다.

(4) 기울기 보정부(2105)

기울기 보정부(2105)는 대상 추출부(2104)로부터 건네진 대상의 화상으로부터 대상의 기울기를 계산하여 그것을 보정하기 위한 것이다.

먼저 기울기 보정부(2105)는 수취한 대상의 주축의 경사를 계산한다. 도 27중의 각도(R)가 주축의 기울기이며, 이 예의 경우는 -28도이다. 이는 카메라(101)로 촬영된 화상중에서의 대상의 기울기이다.

다음에 기울기 보정부(2105)는 위에서 계산한 주축의 기울기와, 지시오차 보정버퍼(2112)중의 표준기울기의 값을 바탕으로 대상이 쓰여져 있는 종이에 대한 대상의 기울기를 계산한다. 이 기울기의 것을 이하의 설명에서는 실기울기라 부르기로 한다. 구체적으로는 화상중에서의 대상의 기울기와, 표준기울기의 값을 서로 더하게 한 것이 실기울기가 된다. 본 실시예의 경우는 화상중에서의 대상의 기울기가 -28도이고, 표준기울기는 32도이므로 그곳에서 구해지는 실기울기의 값은 4도이다.

실기울기가 0에 가까운 범위, 예를 들면 -45도 내지 45도 사이에 있는 경우는 기울기 보정부(2105)는 대상이 가로로 길었던 것으로 판정하여 화상중에서의 주축의 경사가 0이 되도록 대상의 화상을 회전시킨다. 따라서 상기한 예의 경우는 화상을 -28도만큼 회전시키게 된다. 회전된 후의 대상의 화상을 도 28에 나타낸다. 반대로 실기울기가 상기 이외였던 경우는 기울기 보정부(2105)는 대상이 세로로 길었던 것으로 판정하여 화상중에서의 주축의 기울기가 90도가 되도록 대상의 화상을 회전시킨다.

기울기 보정부(2105)는 이상의 처리가 끝나고, 기울기가 보정된 대상의 화상을 특징 추출부(2106)에 건네 준다. 또 경사가 보정된 대상의 화상을 대상 유지부에 저장한다. 대상 유지부에 화상을 유지하는 경우, 이미 유지되어 있던 화상이 있으면 그것은 파기된다.

(5) 특징 추출부(2106)

특징 추출부(2106)는 기울기 보정부(2105)로부터 보내져 온 대상의 화상으로부터 특징량을 추출하기 위한 것이다. 특징량이란, 예를 들면 대상이 포함하는 화소수, 외부 삽입 직사각형 크기, 중심위치 등이다. 그들 특징량은 나중에 대상을 식별하기 위하여 사용된다. 특징량의 일례를 도 29에 나타낸다. 대상 화소수 (PIX-NUM), 대상 외부 삽입폭(BOX-WIDTH), 대상 외부 삽입높이(BOX-HEIGHT), 중심 X 좌표(COG-X), 중심 Y 좌표(COG-Y) 등이 특징량을 구성하고 있다. 그들 값은 모두 정수값이다.

특징 추출부(2106)에 의해 추출된 특징량은 대상 인식부(2107)에 건네진다.

(6) 대상 인식부(2107)

대상 인식부(2107)는 특징 추출부(2106)로부터 건네진 특징량을 사용하여 현재 처리중의 대상이 이미 등록되어 있는 것인지의 여부를 판정하는 부분이다.

대상 인식부(2107)는 패턴사전(2113)에 등록되어 있는 복수의 특징량과, 특징 추출부(2106)로부터 건네진 특징량을 비교하여 가까운 특징량이 있는 지의 여부를 조사한다. 패턴사전(2113)은 도 30에 나타내는 바와 같이 그것에 포함되는 항목수를 유지하는 사전항목수 영역과, 0 개 이상의 패턴사전 항목으로 이루어진다. 또한 패턴사전 항목은 특징량을 유지하는 특징량 영역과, 대상 식별번호 영역으로 이루어진다. 본 실시예에서는 대상 식별번호 영역에 저장되는 대상 식별번호로서, 자연수치(1, 2, 3, …)를 사용하는 것으로 한다.

대상 인식부(2107)는 패턴사전(2113)으로부터 입력의 특징량과 가까운 특징량을 가지는 패턴사전 항목을 찾아내서 그 항목의 대상 식별번호 영역에 저장되는 있는 대상 식별번호를 동작 실행부(2108)에 건네 준다. 입력의 특징량과 가까운 특징량을 가지는 등록패턴이 발견되었을 때는 대상 인식부(2107)는 대상 식별번호로서 -1을 동작 실행부(2108)에 건네 준다.

(7) 동작 실행부

동작 실행부(2108)는 대상 인식부(2107)로부터 건네진 대상 식별번호에 의거하여 소정의 처리를 실행하는 부분이다. 이하에 그 처리내용을 설명한다.

대상 식별번호가 -1인 경우, 즉 입력대상이 이미 등록된 패턴이 아닌 경우, 동작 실행부(2108)는 대상 유지부에 저장되어 있는 대상화상을 판독하여 그것을 패턴버퍼(2109)에 저장한다. 이 때 패턴버퍼(2109)에 이미 저장되어 있던 화상이 있으면 새롭게 저장되는 화상은 그 오른쪽에 추가되는 것으로 한다. 패턴버퍼(2109)에 축적된 대상패턴은 나중에 처리되어 사용될 때까지 유지된다.

또 대상 식별번호가 -1인 경우, 즉 입력대상이 이미 등록된 패턴이 아닌 경우, 동작 실행부(2108)는 처리 지정버퍼에 유지되어 있는 심의 번호를 판독한다. 심의 번호가 0인 경우는 아무것도 하지 않으나, 심의 번호가 0가 아닌 경우는 그 번호에 대응하는 동작을 실행한다. 심의 번호와 동작은 처리 테이블에 의해 대응지어져 있다.

처리 테이블은 도 31에 나타내는 바와 같이, 그것에 포함되는 항목수를 유지하는 처리항목수 영역과, 0개 이상의 처리지정항목으로 이루어진다. 처리 지정항목은 심의 번호를 유지하는 상태영역과, 그 번호가 설정되어 있을 때에 실행해야 할 동작을 유지하는 처리 지정영역으로 이루어진다. 동작 실행부(2108)는 처리 지정버퍼에 저장되어 있는 심의 번호가 0이 아닌 경우, 처리 테이블을 사용하여 그 번호에 대응하는 처리를 조사하고 그것을 실행한다.

한편, 대상 인식부(2107)로부터 받은 대상 식별번호가 -1 이 아닌 경우, 즉 입력패턴이 이미 등록되어 있는 패턴인 경우, 동작 실행부(2108)는 그 대상 식별번호에 어떠한 동작이 대응지어져 있는지를 동작 테이블을 사용하여 조사하고, 그 동작을 실행한다.

동작 테이블은 도 32에 나타내는 바와 같이, 그것에 포함되는 항목수를 유지하는 동작항목수 영역과, 0개 이상의 동작 지정항목으로 이루어진다. 동작지정 항목은 대상 식별번호를 유지하는 대상 번호영역과, 그 대상이 검출되었을 때에 실행해야 할 동작을 유지하는 동작영역으로 이루어진다.

동작 실행부(2108)는 대상 인식부(2107)로부터 주어진 대상 식별번호와 같은 번호를 가지는 동작지정 항목이 동작 테이블중에 있는지를 조사하여, 있으면 그 동작지정 항목의 동작영역을 판독하여 실행한다.

동작 실행부(2108)가 실행할 수 있는 동작에는 예를 들면 OPEN 동작이 있다. 동작 실행부(2108)가 실행해야 할 동작이 OPEN 인 경우, 동작 실행부(2108)는 먼저 패턴버퍼(2109)에 저장되어 있는 패턴을 소정의 결정된 이름의 패턴화상파일(예를 들면 "patterns.bmp" 등)에 저장한다. 다음에 동작명 OPEN에 이어서 저장되어 있는 파일명 또는 프로그램명을 참조하여 그 파일을 열거나 프로그램을 기동한다.

동작 실행부(2108)에 의해 기동된 프로그램은 패턴화상파일을 판독하여 임의의 처리에 이용할 수 있다. 예를 들면 패턴화상파일에 저장되어 있는 화상을 문자열로 간주하여 문자인식을 시도하거나 할 수 있다. 또 동작 실행부(2108)에 의해 기동된 프로그램은 정보처리장치(102)의 임의의 기능을 이용할 수 있다. 예를 들면 정보처리장치(102)에 구비되어 있는 백과사전프로그램의 기능을 호출하거나 지도프로그램의 기능을 호출할 수 있다.

상기를 조합하면 동작 실행부(2108)로부터 기동되는 프로그램으로서, 패턴버퍼(2109)의 내용을 문자인식하여 그것을 백과사전프로그램에 건네어 조사한 의미를 표시시킨다는 바와 같은 프로그램을 실현할 수 있다.

도 33은 본 발명을 실시하기 위한 정보처리장치(102)의 디스플레이(105)에 표시되는 화면의 일례이다. 이용자가 비디오펜(103)으로 입력한 화상은 처리과정표시영역에 표시된다. 처리과정 표시영역에는 입력된 화상을 처리하여 가는 과정도 표시된다. 처리과정 표시영역의 오른쪽은 시스템 메시지영역이다. 여기에는 정보처리장치(102)로부터 이용자에 대한 메시지가 표시된다. 화면의 아래쪽에는 패턴버퍼영역이 있다. 패턴버퍼영역에는 이용자가 비디오펜(103)으로 지시한 처리대상에 정보처리장치(102)가 일시적으로 보존하고 있는 것이 표시된다.

본 발명에 의하면 자연스러운 조작으로 대상을 입력할 수 있다. 또 이용자의 조작수를 대폭 줄이게 한다는 이점이 있다. 또한 이용자가 잘못된 대상 지정방법을 반복하여 혼란을 일으키는 것을 방지할 수 있다.

Claims (9)

1. 펜과, 상기 펜에 설치되어 펜 끝을 촬영하는 카메라를 가지는 카메라부착 펜형 입력장치로서,

   상기 카메라로 촬영된 화상의 중심위치가 상기 펜의 선단보다도 왼쪽에 위치하도록 상기 카메라가 상기 펜에 설치되어 있는 카메라부착 펜형 입력장치.
2. 펜과, 상기 펜에 설치되어 펜 끝을 촬영하는 카메라를 가지는 카메라부착 펜형 입력장치로서,

   상기 카메라는 상기 카메라로 촬영된 화상의 중심위치가 상기 펜의 선단보다도 오른쪽에 위치하도록 상기 펜에 설치되어 있는 카메라부착 펜형 입력장치.
3. 제 1항 또는 제 2항에 있어서,

   상기 카메라는 상기 펜의 축에 대하여 적어도 0 내지 90도의 범위로 회전할수 있도록 상기 펜에 설치되어 있는 카메라부착 펜형 입력장치.
4. 펜과, 상기 펜에 설치되어 펜 끝을 촬영하는 카메라와, 상기 카메라로 촬영한 화상의 처리를 행하는 정보처리장치를 가지는 카메라부착 펜형 입력장치로서,

   상기 정보처리장치는 상기 카메라로 촬영된 화상에 있어서의 상기 펜의 선단의 위치에 따라 상기 카메라로 촬영된 대상 화상의 방향을 판정하는 카메라부착 펜형 입력장치.
5. 펜과, 상기 펜에 설치되어 펜 끝을 촬영하는 카메라와, 상기 카메라로 촬영한 화상의 처리를 행하는 정보처리장치를 가지는 카메라부착 펜형 입력장치로서,

   상기 정보처리장치는 상기 카메라에 의해서 촬영된 화상으로부터 처리를 해야 할 대상을 추출함과 동시에, 상기 촬영된 화상으로부터 실행해야 할 처리를 결정하여 상기 추출한 대상의 처리를 행하는 카메라부착 펜형 입력장치.
6. 제 5항에 있어서,

   상기 정보처리장치는 상기 카메라에 의해 촬영된 색에 의거하여, 실행해야 할 처리를 결정하는 카메라부착 펜형 입력장치.
7. 펜과, 상기 펜에 설치되어 펜 끝을 촬영하는 카메라와, 상기 카메라로 촬영한 화상의 처리를 행하는 정보처리장치를 가지는 카메라부착 펜형 입력장치로서,

   상기 정보처리장치는 상기 카메라에 의해서 촬영된 화상으로부터 추출한 대상과 상기 펜 끝의 위치를 검출하고, 이 검출결과에 의거하여 펜의 지시를 나타내는 화면을 표시하는 카메라부착 펜형 입력장치.
8. 제 7항에 있어서,

   상기 정보처리장치는 상기 추출한 대상과 상기 펜 끝이 소정회수 이상 겹쳐진 화상을 촬영한 경우에 펜의 지시를 나타내는 화면을 표시하는 카메라부착 펜형입력장치.
9. 펜과, 상기 펜에 설치되어 펜 끝을 촬영하는 카메라와, 상기 카메라로 촬영한 화상의 처리를 행하는 정보처리장치를 가지는 카메라부착 펜형 입력장치로서,

   상기 정보처리장치는 상기 카메라에 의해 촬영된 표준패턴을 추출하고, 이 추출한 결과에 의거하여 촬영된 화상을 보정하여 대상을 추출하는 카메라부착 펜형입력장치.