KR100308543B1 - 문자인식을기초로하는데이터송수신장치 - Google Patents

Abstract

본 발명은 문자인식을 기초로 하는 데이터송수신장치에 관한 것으로서, 휴대단말의 사용자가 E메일로 보내고 싶은 문장, 메일어드레스 및 호스트장치에 요구하는 서비스가 「메일송신」등인 것을 식별하는 정보를 지면 등에 메모기입하고, 휴대단말에 설치되어 있는 화상입력부를 이용하여 그 지면 등을 촬영하며, 휴대단말은 그 입력한 화상데이터를 호스트장치에 송신하고, 호스트장치는 화상인식부를 이용하여 수신한 화상데이터를 해석하여 휴대단말이 요구하고 있는 서비스가 「메일송신」등인 것을 문자인식하여 메일송수신부를 기동하고, 메일송수신부는 그 화상데이터에 포함되어 있는 메모기입내용을 그 화상데이터에 포함되어 있는 메일어드레스에 의해 지정되는 단말에 송신하는 것을 특징으로 한다.

Description

문자인식을 기초로 하는 데이터송수신장치

근래의 정보화사회에 있어서는 특히 업무상 여러 가지 문서 또는 도면 등이 전자화되고 있다. 경우에 따라서는 메모기입 정도의 내용이어도 전자화하여 보존해 두는 것이 요구된다.

문서의 전자화시에는 퍼스널컴퓨터상에서 문서작성용의 어플리케이션프로그램 등을 기동하고 문서작성자가 키보드를 이용하여 1문자씩 입력해 가는 방법이 가장 일반적이다. 또 도면 등의 전자화시에는 도면작성용의 어플리케이션프로그램 등을 기동하고 도면작성자가 키보드나 마우스장치를 이용하여 입력하는 방법이 일반적이다.

그런데 최근 전자카메라가 보급되어 오고 있다. 전자카메라는 피사체를 촬영함으로써 판독한 화상데이터를 디지털데이터로서 보존한다. 그리고 소정의 인터페이스를 통해서 퍼스널컴퓨터 등에 접속하면 전자카메라에서 판독한 화상데이터를 그 퍼스널컴퓨터상에서 처리할 수 있다. 따라서 예를 들면 지면 등에 쓰여져 있는 문서를 전자카메라로 촬영하고, 그 전자카메라에서 판독한 화상데이터를 퍼스널컴퓨터 등에 입력하여 문자인식처리를 실행하면 상기 지면에 쓰여져 있는 문서를 전자화할 수 있다.

이와 같이 문서 또는 도면 등을 전자화할 때에는 일반적으로 키보드나 마우스를 이용하여 실행하고 있으며, 특정한 경우에는 이미지스캐너를 이용하여 입력한 화상데이터에 대해서 화상인식처리를 실행하는 등으로 실시하고 있다.

그런데 키보드나 마우스장치에 의한 조작은 반드시 모든 사용자에게 있어서 용이하다고는 할 수 없고, 그 조작을 잘 못하는 사용자도 있다. 또 메모기입 정도의 내용을 전자화하는 경우에는 수기이면 약간의 시간으로 가능한 것에 대해서, 키입력하기 위해서는 그 때마다 문서작성용의 어플리케이션프로그램을 기동한 후에 조작을 개시하지 않으면 안되어 번잡하다.

한편 전자카메라 등을 이용하여 지면 등에 쓰여진 내용을 판독하는 방법에서는 필요한 범위만을 촬영하는 것은 곤란하여 화상인식하고 싶은 문서 이외의 문서도 판독해 버릴 가능성이 높다. 이 경우 카메라촬영에서 판독한 화상데이터를 퍼스널컴퓨터의 디스플레이에 표시시킨 후에 화상인식영역을 지정하거나, 또는 화상인식결과로서 얻어진 문서를 수정하는 조작이 필요하게 되어 이것도 번잡하다.

또한 상기한 전자카메라를 이용한 방법에서는 화상인식처리를 실행하기 위해서는 노트퍼스널컴퓨터 등을 휴대하고 있지 않으면 이동처(출장처 등)에서 촬영한 내용을 그 장소에서 바로 전자화할 수는 없다. 또 성능이 좋은 문자인식소프트웨어는 일반적으로 프로그램규모가 크고, 그와 같은 대규모의 프로그램을 간이형의 휴대단말 등에 탑재하는 것은 바람직하지 않다.

또 근래 업무용도 또는 개인용도로서 전자메일(E메일)이 급속히 보급되고 있다. 전자메일은 예를 들면 LAN(로컬에어리어네트워크)내에서 연락사항 등을 전송하는 소규모의 사내 메일시스템으로부터 인터넷을 통해서 세계 속의 소망하는 상대에게 메일을 보내는 것과 같은 시스템까지 폭넓은 이용형태가 있다.

전자메일을 송신할 때에는 통상 송신해야 할 문서 및 송신처어드레스를 사용자 자신이 키입력함으로써 레터를 작성하고 전자메일어플리케이션상에서 예를 들면 「송신」버튼을 클릭하는 등으로 레터를 네트워크에 송출한다. 또는 송신해야 할 문서를 키입력하는 대신에 지면 등에 인쇄되어 있는 문장을 이미지스캐너 등을 사용하여 화상데이터로서 판독하고, 그 화상데이터에 대해서 문자인식처리를 실행함으로써 송신해야 할 문서를 얻는 경우도 있다. 네트워크는 레터(실제로는 레터가 격납된 패킷)를 수신하면 그 레터에 설정되어 있는 송신처어드레스에 따라서 그 레터를 사용자가 지정한 전송처로 전송한다.

이와 같이 종래는 전자메일을 송신할 때에는 통상 사용자가 키입력한 문자열을 네트워크에 송출하거나, 또는 적어도 문자코드열로 변환된 정보를 네트워크에 송출하고 있었다. 또 송신처어드레스는 사용자가 키입력하고 있었다.

그런데 전자메일의 이용시에 보다 간단한 사용자인터페이스를 요구하는 소리도 듣게 된다. 예를 들면 키입력 이외의 방식으로 문자열을 입력하고 싶다고 생각하는 사용자도 많다. 키입력 이외의 문자입력방식으로서는 전용의 펜을 이용하여 단말장치의 표시화면으로부터 수기입력하는 형태가 알려져 있는데, 미세한 패턴을 그리기 어려운 경우가 있으며, 또 이미 지면 등에 쓰여져 있는 내용을 그대로 메일로서 보내고 싶을 때에는 그것을 다시 펜입력할 필요가 있어 번잡하다. 또 사용자가 이동처로부터 휴대단말을 이용하여 전자메일을 보내는 장면은 많이 있지만 지면 등에 쓰여져 있는 문자열을 어떠한 수단을 이용하여 화상데이터로서 입력했다고 해도 그 휴대단말이 문자인식용의 소프트웨어를 구비하고 있지 않으면 입력한 내용을 메일문서로서 보낼 수는 없다. 또한 일반적으로 성능이 좋은 문자인식소프트웨어는 프로그램규모가 크고, 그와 같은 프로그램을 간이형의 휴대단말 등에 탑재하는 것은 바람직하지 않다.

청구항 1에 기재한 발명에 따르면, 네트워크에 의해서 각종 단말이 접속되는 시스템이며, 단말로부터 송신된 화상데이터를 포함하는 데이터를 수신하고, 이 화상데이터에 포함되어 있는 송신처의 정보를 문자인식하는 수단과,

수신한 데이터에 포함되어 있는 송신해야 할 정보를 상기 문자인식하여 얻어진 송신처의 단말에 대해서 송신하는 수단을 갖는 것을 특징으로 한다.

청구항 2에 기재한 발명에 따르면, 상기 수신한 화상데이터에 포함되는 송신처를 나타내는 정보는 식별정보로 구별되어 있으며, 이 식별정보를 기초로 하여 송신처의 정보를 인식하는 것을 특징으로 한다.

청구항 3에 기재한 발명에 따르면, 상기 수신한 화상데이터에는 코맨드정보가 포함되어 있으며, 이 코맨드를 문자인식하고, 인식된 코맨드를 기초로 하는 송신처리를 실행하는 것을 특징으로 한다.

청구항 4에 기재한 발명에 따르면, 상기 문자인식된 코맨드는 메일송신을 나타내는 코맨드이며, 이 코맨드를 기초로 하여 송신처에 대해서 메일을 송신하는 것을 특징으로 한다.

청구항 5에 기재한 발명에 따르면, 상기 문자인식된 코맨드는 FAX송신을 나타내는 코맨드이며, 이 코맨드를 기초로 하여 송신처에 대해서 FAX를 송신하는 것을 특징으로 한다.

청구항 6에 기재한 발명에 따르면, 네트워크에 의해서 각종 단말이 접속되는 시스템이고, 단말로부터 송신된 화상데이터를 포함하는 데이터를 수신하고, 이 화상데이터에 포함되어 있는 코맨드의 정보를 문자인식하며, 이 문자인식된 코맨드를 기초로 하는 송신처리를 실시하는 것을 특징으로 한다.

청구항 7에 기재한 발명에 따르면, 상기 문자인식된 코맨드는 착신메일의 조회를 나타내는 코맨드이며, 이 코맨드를 기초로 하여 착신메일을 체크하는 것을 특징으로 한다.

청구항 8에 기재한 발명에 따르면, 송신처와 송신데이터가 식별하여 표기된 데이터를 화상판독하는 수단과, 판독한 화상데이터와 이 화상데이터에 대한 처리지령을 입력하는 수단과, 화상데이터와 처리지령을 나타내는 코맨드를 네트워크에 접속된 호스트장치로 송신하는 수단을 갖는 것을 특징으로 한다.

본 발명에서는 휴대단말이 구비하는 카메라 등으로 소망하는 수기메모 등을 포함하는 기록면을 화상데이터로서 입력하고, 호스트장치에 인식을 의뢰하는 것만으로 그 수기메모 등을 전자화할 수 있다. 이와 같이 본 발명은 조작성을 향상시킨 사용자인터페이스를 제공한다. 이 때 폐루프패턴의 내측의 영역, 또는 밑줄이 그어진 문자열 등을 포함하는 영역, 또는 특정한 색으로 그려져 있는 패턴을 포함하는 영역만을 추출하여 그 화상을 인식하기 때문에 필요한 정보만이 정확히 인식된다.

또한 본 발명에서는 휴대단말이 구비하는 카메라 등으로 소망하는 문자열을 포함하는 기록면을 화상데이터로서 입력하고 호스트장치에 필요한 서비스를 요구함으로써 수기메모 등을 간단히 E메일 또는 FAX로서 소망하는 상대에게 송신할 수 있다. 이와 같이 본 발명은 조작성을 향상시킨 사용자인터페이스를 제공한다.

또 고속처리가 요구되는 화상데이터처리, 특히 패턴인식처리나 문자인식을 휴대단말측에서 실행하지 않기 때문에 휴대단말은 대용량의 메모리나 고성능프로세서를 설치하는 일 없이 고도의 화상데이터처리결과를 얻을 수 있다.

도 1은 본 실시형태의 시스템구성도.

도 2는 휴대단말의 외관도.

도 3은 휴대단말의 구성도.

도 4는 휴대단말에 있어서 카메라촬영에 의해 입력한 화상데이터를 호스트장치에 전송하여 소망하는 서비스를 요구하는 처리의 흐름도.

도 5(a) 및 도 5(b)는 카메라촬영한 화상데이터를 휴대단말의 표시부에 표시한 예(그 1).

도 6(a) 및 도 6(b)는 카메라촬영한 화상데이터를 휴대단말의 표시부에 표시한 예(그 2).

도 7은 카메라촬영한 화상데이터를 휴대단말의 표시부에 표시한 예(그 3).

도 8(a) 및 도 8(b)는 카메라촬영한 화상데이터를 휴대단말의 표시부에 표시한 예(그 4).

도 9는 본 실시형태의 「인식」의 개념을 설명하는 도면.

도 10(a)는 휴대단말로부터 송출되는 패킷의 구조를 나타내는 도면,

도 10(b)는 패킷작성처리의 상세흐름도.

도 11은 인식대상화상데이터를 추출하는 처리의 흐름도.

도 12는 도 4에 나타내는 화상처리의 응용예를 나타내는 도면.

도 13은 인식대상화상을 식별하기 위한 기입예를 나타내는 도면.

도 14는 도 13에 나타내는 방법으로 메모 등이 기입된 경우에 인식대상화상데이터를 추출하는 처리를 설명하는 흐름도.

도 15는 호스트장치의 구성도.

도 16은 호스트장치의 처리를 설명하는 흐름도(그 1).

도 17은 호스트장치의 처리를 설명하는 흐름도(그 2).

도 18은 수신한 화상데이터로부터 사용자가 요구하는 서비스를 인식하는 처리를 설명하는 흐름도.

도 19는 수신한 화상데이터로부터 메일문의 문자열을 추출하는 처리를 설명하는 흐름도.

도 20은 메일송신처리를 설명하는 흐름도.

도 21은 메일문을 격납하는 패킷을 설명하는 도면.

도 22는 다른 단말로부터 메일조회가 있었을 때의 처리를 설명하는 흐름도.

도 23은 그룹명에 대응지워서 각 그룹에 속하는 E메일어드레스를 격납한 테이블의 구성도이다.

<도면의 주요부분에 대한 부호의 설명>

1: 휴대단말 1a: 화상입력부

1b: 화상처리부 1c: 화상표시부

3: 네트워크 4: 호스트장치

5: 화상인식부 6: 메일송수신부

7: FAX송수신부 11: LCD표시부

12: 카메라 17: 전원스위치

21: CPU 22, 51: 기억장치

25, 53: 가반성(Portability) 31: 액정디스플레이(LCD)

33. 38: 메모리 33: LCD드라이버

34: LCD제어부 40, 54: 통신제어부

41, 42: 무선트랜시버 43: 유선트랜시버

52: 기록매체드라이버

이하 본 발명의 실시형태에 대하여 도면을 참조하면서 설명한다.

도 1은 본 실시형태의 시스템구성도이다. 휴대단말(1)은 통신기능을 구비하고 있으며, 네트워크(3)에 접속된 다른 장치에 데이터처리를 의뢰해서 그 결과를 받아서 표시할 수 있다. 휴대단말(1)은 근처의 기지국을 통해서 무선으로 데이터를 송수신하는 방식, 통신기능을 가진 장치(광링크유닛)와의 사이에서 Ir(적외선)통신 등으로 데이터를 송신하는 방식, 또는 유선으로 데이터를 송수신하는 방식으로 네트워크(3)에 접속된다. 또 휴대단말(1)은 예를 들면 전자카메라 등으로 이루어지는 화상입력부(1a)를 구비하고, 그것을 이용하여 입력한 화상데이터를 네트워크(3)에 접속된 다른 장치(예를 들면 호스트장치(4))로 보내어 화상처리를 의뢰하는 기능을 갖고 있다. 또한 휴대단말(1)은 화상입력부(1a)를 이용하여 입력한 화상데이터를 화상처리부(1b)에 있어서 처리하는 것도 가능하며, 입력된 또는 처리된 화상데이터를 화상표시부(1c)에서 표시한다.

네트워크(3)는 공중전화망, PHS망, 또는 LAN이며, 호스트장치(4)가 수용되어 있다. 호스트장치(4)는 서버머신이고, 휴대단말(1)로부터 전송되어 오는 의뢰에 따라서 데이터처리를 실행한다. 또 호스트장치(4)는 화상인식부(5), 메일송수신부(6) 및 FAX송수신부(7)를 구비한다. 화상인식부(5)는 휴대단말(1)로부터 보내져 오는 화상데이터에 대해서 패턴인식처리 또는 문자인식처리를 실행하고, 수신한 화상데이터에 포함되어 있는 소정의 패턴 및 문자열을 검출한다. 메일송수신부(6)는 예를 들면 인터넷(8)을 통해서 접속되는 다른 단말(9)과 전자메일을 송수신하는 기능을 갖고 화상인식부(6)에 의해서 인식된 문자열을 그 단말(9)에 보낼 수 있다. FAX송수신부(7)는 예를 들면 네트워크(3)를 통해서 접속되는 FAX단말(10)과의 사이에서 FAX를 송수신하는 기능을 갖고 휴대단말(1)로부터 보내져 온 화상데이터FAX단말(10)에 전송할 수 있다.

상기 구성에 있어서 휴대단말(1)의 사용자가 예를 들면 지면 등에 메모기입한 내용을 E메일로서 단말(9)에 보내고 싶을 때에는 그 메모에 덧붙여서 단말(9)의 메일어드레스 및 호스트장치(4)에 요구하는 서비스가 「메일송신」인 것을 식별하는 정보를 그 지면상에 화상정보로서 포함시켜서 그 지면을 화상입력부(2)(휴대단말(1)에 부속하는 카메라)를 이용하여 입력하고 그 입력한 화상데이터를 호스트장치(4)에 전송한다. 호스트장치(4)는 화상인식부(5)를 이용하여 수신한 화상데이터를 해석하고 휴대단말(1)이 요구하고 있는 서비스가 「메일송신」인 것을 인식하면 메일송수신부(6)를 기동하고, 그 화상데이터에 포함되어 있는 메모기입내용을 그 화상데이터에 포함되어 있는 메일어드레스에 대해서 송신한다.

마찬가지로 휴대단말(1)의 사용자가 예를 들면 지면 등에 메모기입한 내용을 FAX로서 FAX단말(10)에 보내고 싶을 때에는 그 메모기입에 덧붙여 FAX단말(10)의 전화번호 및 호스트장치(4)에 요구하는 서비스가 「FAX송신」인 것을 식별하는 정보를 그 지면상에 화상정보로서 포함시켜서 그 지면을 화상입력부(2)를 이용하여 입력하고, 그 입력한 화상데이터를 호스트장치(4)에 전송한다. 호스트장치(4)는 휴대단말(1)이 요구하고 있는 서비스가 「FAX송신」인 것을 인식하면 FAX송수신부(7)를 기동하고, 그 화상데이터에 포함되어 있는 메모기입내용을 그 화상데이터에 포함되어 있는 전화번호에 대해서 FAX송신한다.

또한 호스트장치(4)는 1대의 컴퓨터로 구성해도 좋고, 화상처리서버장치, 메일서버장치 및 FAX서버장치 등이 각각 독립된 컴퓨터로 이루어지는 구성이어도 좋다. 호스트장치(4)는 인터넷프로바이더퍼스널컴퓨터통신회사, 인터넷의 서버 등에 설치되는 컴퓨터이다.

이와 같이 본 실시형태의 시스템에서는 E메일송신 또는 FAX송신 등을 실시하고 싶을 때에는 송신하고 싶은 내용을 포함하는 기록면을 카메라등으로 촬영하여 화상데이터로서 호스트장치(4)에 송신하는 것만으로 좋다. 따라서 사용자는 소망하는 문자나 도형을 종이 등에 메모기입하여 그것을 카메라로 촬영하는 것만으로 E메일송신서비스나 FAX서비스를 받을 수 있다. 또 휴대단말(1)은 상기한 바와 같은 서비스를 받기 위한 구성요건으로서 화상데이터를 입력하는 기능 및 통신기능을 구비하면 좋으므로 경량화, 저비용화를 꾀할 수 있다.

또한 상기 구성에 있어서, 휴대단말(1)의 사용자가 예를 들면 지면 등에 수기메모를 전자화하고 싶을 때에는 지면상에서 메모 등을 쓴 영역을 둘러싸도록 폐로프패턴을 그리고, 그 지면의 화상을 화상입력부(1a)를 이용하여 판독한다. 화상처리부(1b)는 화상입력부(1a)에 의해 판독된 화상데이터를 해석하고 폐루프패턴을 검출했을 때에는 그 폐루프패턴의 내측영역의 화상데이터를 추출한다. 이 추출된 화상데이터는 사용자가 지면에 기입한 메모 등으로부터 불필요한 영역은 삭제되어 있다. 휴대단말(1)은 화상처리부(1b)에 의해 추출된 화상패턴데이터를 네트워크(3)를 통해서 호스트장치(4)에 보낸다.

호스트장치(4)는 휴대단말(1)로부터 화상패턴데이터를 수신하면 화상인식부(5)에 그 화상패턴을 해석시킨다. 여기에서 화상인식부(5)가 해석·인식하는 화상패턴은 사용자가 지면 등에 메모기입한 내용 그 자체이며, 불필요한 화상은 제거되어 있다. 따라서 호스트장치(4)는 인식결과로서 사용자가 지면 등에 메모기입한 내용만을 얻을 수 있다.

또한 화상처리부(16)의 처리를 호스트장치(4)에 실행시키는 구성이어도 좋다. 이 경우 휴대단말(1)은 화상입력부(12)를 이용하여 판독한 화상을 그대로 호스트장치(4)에 보내고 화상인식부(5)가 그 화상데이터로부터 폐루프패턴의 내측영역의 화상데이터를 추출하며, 그 추출한 화상패턴을 해석한다.

화상인식부(5)에 의한 인식결과는 호스트장치(4)에 보존해도 좋고 자동적으로 또는 필요에 따라서 휴대단말(1)에 전송해도 좋다. 이 경우 휴대단말(1)은 호스트장치(4)로부터 수신한 인식결과를 화상표시부(1c)에 표시한다. 또 화상인식부(5)에 의한 인식결과를 미리 지정되어 있는 소정의 단말장치에 전송해도 좋고, 또한 그 인식결과를 키워드로 하여 검색처리를 실행해도 좋으며, 그 인식결과를 소정의 언어로 번역해도 좋다.

또한 화상인식부(5)는 호스트장치(4)가 소정의 프로그램실행함으로써 얻어지는 기능으로서 실현해도 좋고 호스트장치(4)와는 독립된 컴퓨터로 실현해도 좋다.

이와 같이 본 실시형태의 시스템에서는 지면 등에 메모기입한 문자 또는 도형 등을 전자화하고 싶을 때에는 지면상에서 메모 등을 쓴 영역을 둘러싸도록 폐루프패턴을 그리고, 그것을 카메라 등으로 촬영하여 그 화상데이터(또는 소정의 화상처리를 실시한 화상데이터)를 호스트장치(4)에 송신하는 것만으로 좋다. 즉 사용자의 조작으로서는 메모 등을 폐루프패턴으로 둘러싸고, 그것을 카메라 등으로 판독하는 것만으로 좋기 때문에 매우 간단하다. 또 휴대단말(1)은 상기한 바와 같은 메모 등을 인식하기 위한 구성요건으로서 문자인식기능은 불필요하며 화상을 판독하는 기능 및 통신기능만을 구비하면 좋기(구성에 따라서는 폐루프패턴을 검출하는 기능도 필요) 때문에 경량화, 저비용화를 꾀할 수 있다.

도 2는 휴대단말(1)의 외관도이다. 휴대단말(1)은 LCD표시부(11), 카메라(12), IC카드용 슬롯(13), 무선통신용 안테나(14)를 구비하고 있다. 또 다른 통신방식을 서포트하기 위해 Ir통신을 위한 소켓(15)이나 유선통신용의 소켓(16) 등도 구비하고 있다. LCD표시부(11)는 터치패널구성이며 휴대단말(1)은 수기입력정보를 처리할 수 있다. “17”은 전원스위치이다.

도 3은 휴대단말(1)의 구성도이다. CPU(21)는 기억장치(22)(ROM 및 RAM)에 격납되어 있는 프로그램을 실행한다. CPU(21)와 기억장치(22)는 버스(23)를 통하여 서로 접속되어 있다.

기억장치(22)는 반도체메모리, 자기적 기록매체, 또는 광학적 기록매체로 구성되어 프로그램 및 데이터 등을 격납하고 있다. 기억장치(22)는 휴대단말(1)에 고정적으로 설치한 것이어도 좋고 착탈 자유롭게 장착하는 것이어도 좋다.

기록매체(24)는 버스(23)에 접속되어 있으며, 가반성 기록매체(반도체메모리, 자기디스크, 광디스크, 광자기디스크를 포함한다)(25)에 격납되어 있는 데이터를 판독하거나, 또는 가반성 기록매체(25)에 데이터를 기입하는 장치이다. 가반성 기록매체(25)의 한 예로서는 IC카드를 상정한다. CPU(21)는 가반성 기록매체(25)에 격납되어 있는 프로그램을 실행할 수도 있다.

또한 기억장치(22)에 기록하는 프로그램 및 데이터 등은 통신회선 등을 통하여 접속된 다른 기기로부터 수신하여 기록하는 구성으로 해도 좋고, 또한 CPU(21)가 다른 기기측에 설치된 기억장치에 격납되어 있는 프로그램 및 데이터 등을 통신회선 등을 통하여 사용하도록 해도 좋다.

LCD표시부(11)에 대응하는 유닛은 액정디스플레이(LCD)(31), 액정디스플레이(31)에 표시해야 할 정보를 격납하는 메모리(32), LCD제어부(34)의 제어에 따라서 메모리(32)에 격납되어 있는 정보를 액정디스플레이(31)에 출력하는 LCD드라이버(33), 메모리(32) 및 LCD드라이버(33)를 제어하는 LCD제어부(34), 터치패널부(35) 및 터치패널부(35)가 검출한 입력정보를 CPU(21)에 통지하는 터치패널제어부(36)로 구성된다.

카메라(12)는 예를 들면 CCD카메라이며, 그 출력은 A/D콘버터(37)에 의하여 비트맵형식의 디지털데이터로 변환되어 메모리(38)에 기입된다. 카메라제어부(39)는 CPU(21)의 지시에 따라서 메모리(38)에 유지되어 있는 화상데이터를 버스(23)에 출력한다.

통신제어부(40)는 휴대단말(1)로부터 데이터를 송출할 때에는 CPU(21)의 지시에 따라서 송신패킷을 생성하여 무선트랜시버(41, 42) 또는 유선트랜시버(43)에 건넨다. 또 데이터를 수신할 때에는 무선트랜시버(41, 42) 또는 유선트랜시버(43)를 통하여 수신한 패킷에 격납되어 있는 데이터를 버스(24)상에 출력한다. 무선트랜시버(41)는 도 3에 나타낸 무선통신용 안테나(14)에 접속되어 있으며 무선기지국(4)과의 사이에서 무선데이터를 수수한다. 무선트랜시버(42)는 Ir통신을 실시하기 위한 송수신기이며, 또 유선트랜시버(43)는 예를 들면 모뎀이다. 무선트랜시버(42) 및 유선트랜시버(43)는 옵션으로 착탈된다. 휴대단말(1)은 또한 시계(44)를 구비하고 있다.

도 4는 휴대단말(1)에 있어서 카메라촬영에 의해 입력한 화상데이터를 호스트장치(4)에 전송하여 소망하는 서비스를 요구하는 처리의 흐름도이다. 이 흐름도에 나타내는 각 기능을 실현하는 프로그램은 CPU(21)가 판독 가능한 프로그램코드의 형태로 기억장치(22)에 격납되어 있다.

이하의 흐름도는 휴대단말(1)이 입력대기상태에서 어떠한 입력을 검출한 후의 처리를 나타내고 있다. 또 이 실시예에서는 사용자가 메모기입한 문자 등을 카메라촬영하는 예를 설명한다.

스텝S1에서는 검출한 입력이 카메라(12)로부터의 입력인지를 조사하고 카메라(12)로부터의 입력이면 스텝S2 이후의 처리를 실행하고 다른 입력이면 스텝S13에서 그 입력에 대응하는 다른 처리를 실행한다. 이와 같이 사용자가 휴대단말(1)의 카메라(12)를 이용하여 촬영하면 스텝S2 이후의 처리가 개시된다. 또한 카메라입력이 있었을 때에는 시계(44)의 출력인 시각정보를 유지해 둔다.

스텝S2에서는 카메라(12)에 의하여 입력된 화상데이터를 LCD표시부(11)에 표시한다. 즉 카메라(12)에 의하여 입력된 화상데이터를 LCD표시부(11)의 메모리(32)에 기입하고, 그 화상데이터를 액정디스플레이(31)에 표시한다. 이 것에 의해 사용자는 촬영한 화상을 그 자리에서 볼 수 있다. 도 5(a)는 사용자가 카메라촬영에 의해 입력한 화상데이터의 표시예이다. 여기에서는 사용자가 종이 등에 메일문으로서 「안녕하세요. E메일 감사합니다. 내주의 스케줄입니다만,…」으로 메모기입하고, 또한 호스트장치(4)에 요구하는 서비스로서 「E메일송신」 및 메일송신처어드레스로서 「abc＠xyz.co.jp」로 기입한 카메라촬영범위(Q)를 촬영한 예를 나타내고 있다. 또한 지정서비스 및 어드레스는 각각 틀형괄호로 둘러싸여져 있다.

그런데 도 1을 참조하면서 설명한 바와 같이 화상데이터를 호스트장치(4)에 전송하고, 그 화상데이터에 포함되어 있는 정보에 따라서 호스트장치(4)에 데이터송신처리를 실시하게 하기 위해서는 서비스를 지정하는 정보나 메일송신처를 지정하는 정보가 메일문(메일내용)에 대하여 식별 가능하지 않으면 안된다. 도 5(a)의 예에서는 서비스를 지정하는 정보 및 메일송신처를 지정하는 정보를 각각 틀형괄호기호로 둘러싸는 규칙을 결정한 것이다. 괄호기호만이 아니라 그 밖의 기호를 이용해도 좋다. 또는 서비스를 지정하는 정보 및 메일송신처를 지정하는 정보에 대하여 언더라인 등의 문자수식을 실시하는 규칙을 설정해도 좋다. 또한 서비스종별을 색에 대응시키는 방법이어도 좋다. 예를 들면 메일송신서비스를 나타내는 코맨드를 「적」, FAX송신서비스를 나타내는 코맨드를 「청」으로 결정해 두고 그들 색으로 쓰여진 내용이 송신처를 지정하는 규칙을 설정해 둔다. 도 5(b)에 나타내는 예에서는 적색으로 「abc＠xyz.co.jp」로 쓰여져 있기 때문에 호스트장치(4)는 이 화상을 포함한 화상데이터를 해석함으로써 사용자가 요구하는 서비스가 「E메일송신」이며, 또 그 송신처어드레스가 「abc＠xyz.co.jp」인 것을 인식할 수 있다.

어느쪽이든 서비스를 나타내는 코맨드나 메일송신처를 지정하는 정보는 기호, 문자수식, 색 등의 식별정보로 구별된다.

카메라(12)로 촬영한 화상을 소망하는 FAX단말에 FAX송신하고 싶은 경우에는 도 6(a)에 나타내는 바와 같이 송신하고 싶은 메모(여기에서는 지도) 근처에 호스트장치(4)에 요구하는 서비스로서 「FAX송신」으로 쓰고, 그 문자열을 틀형괄호기호로 둘러싼다. 또 송신처의 FAX단말의 전화번호도 틀형괄호기호와 함께 써 둔다.

E메일 또는 FAX로서 송신하는 내용을 카메라(12)로 촬영할 때 미리 결정해 두었던 소정의 포맷을 이용해도 좋다. 도 6(b)에 나타내는 예는 E메일로서 송신하고 싶은 내용을 기입하기 위한 포맷이며 어드레스기입영역과 메일문기입영역이 설치되어 있다.

또한 호스트장치(4)에 요구하는 서비스로서는 메일송신 또는 FAX송신 등과 같이 데이터를 소망하는 장치에 송신하는 것 외에 메일서버(도 1의 메일송수신부(6))에 도착해 있는 자신앞의 메일을 휴대단말(1)에 다운로드하는 것을 요구하는 착신메일의 조회도 가능하다. 이 경우 도 7에 나타내는 바와 같이 호스트장치(4)에 요구하는 코맨드로서 「메일조회」와 지면 등으로 메모기입하는 동시에 그 문자열을 틀형괄호기호로 둘러싼다. 또 어떤 특정한 인물로부터의 메일만을 읽고 싶을 때에는 그 지면상에 「from Mr. K」 등으로 써 둔다. 그리고 이 메모기입된 지면의 카메라촬영범위(Q)를 카메라(12)로 촬영하고, 그 촬영한 화상데이터를 호스트장치(4)에 송신한다.

도 4의 흐름도로 되돌아간다. 스텝S3에서는 카메라입력된 화상데이터에 수정이 가해졌는지 아닌지를 판단한다. 여기에서 스텝S2의 처리에 의하여 도 8(a)에 나타내는 화면이 표시되었을 때의 사용자의 동작예를 설명한다. 사용자는 표시화면의 내용을 수정하고 싶은 경우에는 수기펜을 이용하여 LCD표시부(11)상에서 수정내용을 수기입력한다. 예를 들면 LCD표시부(11)에 표시된 문장「이번달 발매된 0000의 휴대단말은 메일기능이 충실하고,……. 그런데 …」 중에서 「그런데 …」가 불필요한 때에는 도 8(b)에 나타내는 바와 같이 LCD표시부(11)상에서 수기펜을 이용하여 「그런데 …」에 대하여 삭제기호를 기입한다. 사용자는 표시내용의 수정이 종료되면 수정이 종료된 것을 입력한다. 이 처리는 예를 들면 카메라(12)로 촬영한 화상을 LCD표시부(11)에 표시할 때 그것과 함께 「수정종료」버튼을 표시해 두고 사용자가 그 버튼을 수기펜으로 눌러내리는 것이다. 또 수정이 없는 경우에는 카메라(12)로 촬영한 화상에 수정을 가하는 일 없이 수정종료버튼을 눌러내린다.

상기 사용자의 동작에 동반하여 스텝S3 및 S4가 실행된다. 즉 스텝S3에서 수정종료버튼이 눌러내려진 것을 검출하면 스텝S4로 진행한다. 또한 사용자가 LCD표시부(11)에 표시되어 있는 화상데이터를 수정하는 일 없이 수정종료버튼이 눌러내려졌을 때에는 스텝S4가 스킵되어 스텝S5로 진행한다.

스텝S4에서는 사용자로부터의 펜입력에 따라서 화상데이터를 갱신한다. 즉 펜입력에 의하여 LCD표시부(11)상에서 눌러내려진 궤적패턴을 비트맵형식의 데이터로서 메모리(32)에 보존한다. 이 때 메모리(32)에는 현재 LCD표시부(11)에 표시되어 있는 화상데이터가 격납되어 있기 때문에 카메라촬영에 의하여 입력된 화상데이터와 펜입력에 의하여 기입된 궤적패턴이 합성된다.

스텝S5에서는 카메라촬영에 의하여 입력한 화상을 호스트장치(4)에 송신하는지 안하는지를 사용자에게 지정시키기 위한 화면을 LCD표시부(11)에 표시한다. 이 때 메모리(32)에 격납되어 있는 화상데이터를 기억장치(22)의 RAM으로 퇴피시킨다. 그리고 사용자에게 소망하는 서비스를 지정시키기 위한 화면의 화상데이터를 기억장치(22)의 ROM으로부터 판독하여 메모리(32)에 기입한다. 사용자지시입력화면은 예를 들면 「송신」, 「인식」, 「보존」 및 「캔슬」이라는 처리지령을 입력하는 버튼을 포함한다.

상기 사용자지시입력화면상에서 사용자가 처리지령을 입력하면, 즉 사용자가 표시된 버튼 중에서 1개의 버튼을 눌러내리면 스텝S6 이하의 처리가 실행된다. 우선 스텝S6에서는 사용자의 지시를 인식한다. 이 처리는 사용자가 어떤 버튼을 눌러내렸는지를 검출하는 것이다. 스텝S7에서는 사용자의 지시가 송신인지 아닌지를 판단한다. 여기에서 화상은 송신버튼이 눌러내려진 경우에는 사용자의 지시가 메일송신 또는 FAX송신 등의 코맨드를 포함하는 것이라고 판단하고 스텝S8으로 진행한다.

스텝S8에서는 카메라촬영에 의하여 입력한 화상데이터를 호스트장치(4)에 전송할 때에 그 화상데이터를 격납하는 패킷을 작성한다. 패킷작성처리에 대해서는 후술한다. 그리고 스텝S9에서는 스텝S8에서 작성한 패킷을 도 1에 나타내는 네트워크(3)에 송출한다.

상기 사용자지시입력화면상에서 사용자가 「인식」을 지시하면, 스텝S10에서는 사용자가 인식버튼을 눌러내린 것을 검출하여 사용자의 지시가 화상인식서비스라고 판단하고 스텝S11으로 진행한다.

도 9는 본 실시형태의 화상인식서비스의 개념을 설명하는 도면이며, 사용자가 지면에 수기로 기입한 메모를 카메라로 판독했을 때의 화상의 예이다. 이 예는 미리 알파벳(A∼Z)이 쓰여져 있는 지면의 빈 공간에 「XX월 XX일 K씨와 협의」라고 메모를 쓰고, 그 메모를 카메라(12)로 촬영하는 경우를 나타내고 있다. 사용자는 문자인식하고 싶은 부분과 그렇지 않은 부분을 구별하기 위해 문자인식하고 싶은 메모문을 둘러싸는 듯한 폐루프를 지면에 그리고 있다. 이 폐루프는 지면상에 보통의 펜이나 연필로 그리면 좋다.

사용자는 적어도 문자인식하고 싶은 메모문과 그것을 둘러싸는 폐루프패턴을 판독하도록 하여 그 지면을 촬영한다. 이 때 도 9에 나타내는 예에서는 점선의 카메라촬영범위(P)내에 있는 불필요한 화상인 알파벳(Q∼Z)도 메모와 함께 화상데이터로서 판독해 버리고 있다.

이와 같은 상태이어도 본 실시형태의 화상처리에서는 폐루프패턴의 내측의 영역(Q)에 대하여 화상인식처리를 실행하기 때문에 폐루프패턴의 외측영역에 위치해 있는 알파벳(Q∼Z)은 인식되지 않고 메모기입「XX월 XX일 K씨와 협의」만이 인식된다. 이와 같이 간단한 사용자인터페이스에서 불필요한 패턴을 제거하면서 소망하는 패턴만을 인식할 수 있다.

다시 도 4의 설명으로 되돌아간다. 스텝S11에서는 카메라(12)에 의해 입력된 화상데이터를 일단 기억장치(22)의 RAM영역에 유지하고, 그 화상데이터로부터 인식대상화상데이터를 추출한다. 즉 예를 들면 도 9에 나타내는 예에서는 폐루프패턴의 내측의 영역을 인식대상의 영역으로 간주하고, 그 영역의 화상데이터를 추출한다. 또한 스텝S11의 처리는 후에 상세히 설명한다. 계속해서 스텝S8에서는 스텝S7에서 추출한 화상데이터를 호스트장치(4)에 전송하기 위한 패킷을 작성한다. 스텝S8의 처리에 대해서도 후에 설명한다. 그리고 스텝S9에 있어서, 스텝S8에서 작성한 패킷을 도 1에 나타내는 네트워크(3)에 송출한다.

한편 스텝S10에 있어서, 사용자의 지시가 「인식」은 아니라고 판단된 경우에는 스텝S12에 있어서, 사용자가 보존버튼을 눌러내렸는지 아닌지를 판단한다. 사용자가 보존버튼을 눌러내린 것이면 스텝S14에 있어서 휴대단말(1)측에서 화상데이터를 보존한다. 한편 사용자가 보존버튼을 눌러내린 것이 아니면 사용자가 캔슬버튼을 눌러내린 것으로 간주하고 스텝S13에서 그 화상데이터를 폐기한다.

이와 같이 휴대단말(1)은 약폐(略閉)루프패턴을 이용하여 인식대상영역이 나타내어져 있는 화상을 판독하면, 그 약폐루프패턴의 내측영역만을 인식대상영역으로 간주하여 추출하고, 그 추출한 인식대상영역의 화상데이터를 호스트장치(4)에 보낸다. 또한 이 추출된 화상데이터는 상기한 바와 같이 실제로 화상인식하고 싶은 영역(메모를 기입한 영역)을 포함하고 있으며 불필요한 화상은 제거되어 있다.

도 10(a)는 휴대단말(1)로부터 송출되는 패킷의 구조를 나타내는 도면이다. 이 패킷은 도 4에 나타내는 스텝S8에서 작성된다.

각 패킷은 헤더부 및 데이터부로 구성된다. 헤더부는 송신원어드레스 및 착신처어드레스 등을 격납한다. 송신원어드레스 및 착신처어드레스로서 어떠한 어드레스체계의 어드레스를 격납하는 것인가는 본 실시형태가 적용되는 네트워크구성에 의하여 결정되고, 예를 들면 TCP/IP통신에서는 IP어드레스가 격납된다.

데이터부에는 어플리케이션식별정보, 단말ID, 화상데이터, 시각정보 등이 격납된다. 어플리케이션식별정보는 착신처의 단말(여기에서는 호스트장치(4))에 있어서 기동해야 할 어플리케이션프로그램을 식별하는 정보이다. 즉 착신처의 단말에 있어서 소정의 프로그램을 기동하기 위한 코맨드이다. 본 실시형태에 있어서는 메일송신, FAX송신, 메일판독, FAX꺼냄, 인식 등을 식별하는 코맨드가 설정된다. 또한 어플리케이션식별정보는 TCP/IP통신에서는 포트번호로서 지정된다.

단말ID는 휴대단말(1)의 식별번호이다. 화상데이터는 카메라촬영에 의하여 입력한 화상데이터이며 패킷에 격납될 때에는 압축된다. 또한 도 8을 참조하면서 설명한 바와 같이 수기펜에 의한 기입이 있었던 경우에는 그 펜입력의 궤적패턴도 화상데이터로서 합성되어 있다. 시각정보는 호스트장치(4)에 송출되는 화상데이터가 카메라촬영된 시각을 나타내는 정보이다.

도 10(b)는 도 4에 나타내는 스텝S8의 패킷작성처리의 상세흐름도이다. 스텝S21에서는 호스트장치(4)에 전송하는 화상데이터를 압축하고 데이터부에 격납한다. 압축방식은 예를 들면 JPEG이다. 스텝S22에서는 상기 화상데이터를 카메라촬영한 시각을 나타내는 시각정보를 설정한다. 스텝S23에서는 어플리케이션식별정보로서 화상데이터해석·인식프로그램을 식별하는 정보를 설정한다. 스텝S24에서는 휴대단말(1)을 식별하는 정보(자기(自機)를 식별하는 정보)로서 단말ID를 설정한다. 또한 스텝S25에서 헤더부를 작성한다. 헤더부에는 적어도 송신원어드레스로서 휴대단말(1)의 어드레스(자기의 어드레스) 및 착신처어드레스로서 호스트장치(4)의 어드레스를 설정한다.

상기한 바와 같이 하여 작성된 패킷은 네트워크(3)에 송출된다. 네트워크(3)는 패킷의 착신처어드레스에 따라서 그 패킷을 호스트장치(4)에 전송한다.

도 11은 도 4에 나타내는 스텝S11의 처리의 상세흐름도이며 인식대상화상데이터를 추출하는 처리를 나타낸다. 스텝S31에서는 기억장치(22)의 RAM영역으로부터 카메라(12)의 촬영에 의하여 판독된 화상데이터를 판독하고, 그 화상데이터에 대하여 화상데이터의 잡음의 제거를 목적으로 한 전처리를 실시한 후에 선검출처리를 실행한다. 선검출처리는 기존의 기술이다. 예를 들면 화상데이터의 농도분포 또는 색분포를 조사했을 때에 「선」은 그 변화율이 큰 점을 연속시킨 것으로서 검출 가능하다. 또한 어떤 영역과 다른 영역의 경계에 있어서도 농도분포 또는 색분포의 변화율은 커지는데, 「선」과 「영역끼리의 경계」를 식별하는 것은 기존의 기술로 실시되고 있다. 이와 같이 상기 전처리가 실시된 화상데이터의 전체영역에 있어서 농도분포 또는 색분포를 조사함으로써 그 화상에 포함되는 「선」이 검출된다.

스텝S32에서는 스텝S31에서 검출된 「선」의 단부를 접속하는 선접속처리를 실행한다. 예를 들면 도 4에 나타내는 예에서는 폐루프패턴은 수기메모를 대략 둘러싸고 있지만 그 일부가 끊어져 있으며, 이른바 「선끊어짐」이 발생하고 있다. 선접속처리는 이와 같은 「선끊어짐」을 보수하는 처리이며, 이 것도 기존의 기술이다. 예를 들면 「선끊어짐」이 발생하고 있는 선의 선단으로부터 그 선의 연장방향으로 소정 길이의 선분량을 늘리고, 그 선분량을 상기 선의 선단을 중심으로 해서 소정의 각도범위내에서 선회시켰을 때에 다른 선에 접촉했다면 그들 2개의 선을 접속하는 처리를 실시한다. 이 선접속처리에 의해 도 4에 나타내는 바와 같은 일부가 끊어져 있는 폐루프패턴(약폐루프패턴)이 보수되어 폐루프패턴으로 된다.

스텝S33에서는 화상데이터에 포함되는 폐루프패턴 중에서 그 폐루프패턴에 의하여 둘러싸여지는 영역의 면적이 소정값보다도 큰 것을 검출한다. 즉 예를 들면 도 9에서 알파벳의 「Q」는 폐루프패턴으로 간주될 가능성이 있기 때문에 스텝S33를 실행함으로써 이와 같은 인식대상영역을 지정하기 위한 폐루프패턴 이외의 폐루프패턴을 제외하고 있다. 또한 이 처리에서 검출되는 폐루프패턴은 1개일 필요는 없고 복수개 있어도 좋다. 그리고 스텝S34에 있어서 스텝S33에서 검출한 폐루프패턴에 의하여 둘러싸여지는 영역의 화상데이터를 출력한다.

도 12는 상기 화상처리의 응용예를 나타내는 도면이다. 상기한 바와 같이 화상데이터의 농도분포 또는 색분포를 조사하면 영역끼리의 경계를 검출할 수 있는데, 도 7에 나타내는 예에서는 이 기술을 이용하고 있다. 지면(Q)에 화상인식시키고 싶은 메모가 기입되어 있는 것으로 한다. 그리고 그 메모가 쓰여진 종이를 종이와는 다른 색의 책상 등의 위에 놓고 카메라(12)를 이용하여 그 지면(Q)을 촬영할 때에는 그 지면(Q)을 포함하는 카메라촬영영역(P)이 찍힌다.

이와 같이 하여 입력한 카메라촬영영역(P)내의 화상데이터에 대하여 도 4의 스텝S11을 실행하면 지면의 색과 책상의 상면의 색이 다르기 때문에 지면의 외주에지가 폐루프패턴으로서 검출되고 지면의 화상만이 인식대상화상데이터로서 추출된다. 이와 같이 촬영방법을 바꾸면 메모를 둘러싸는 폐루프패턴을 펜이나 연필 등으로 지면에 그리는 일 없이 필요한 영역을 추출할 수 있다.

그런데 도 9 또는 도 12에 나타내는 예에서는 수기메모를 약폐루프패턴으로 둘러쌈으로써 화상인식대상의 영역을 불필요한 영역으로부터 식별했지만, 다른 방식이어도 좋다. 예를 들면 「인식대상의 문자열에는 밑줄을 긋는다」라는 규칙을 설정해두고 카메라(12)를 이용하여 입력한 화상데이터로부터 밑줄이 붙여져 있는 문자열만을 추출하는 구성으로 해도 좋다. 도 13(a)에 나타내는 예에서는 「XX월 XX일 K씨와 협의」만에 대하여 밑줄이 그어져 있다. 이 경우 알파벳(Q∼Z)은 추출되지 않고 「XX월 XX일 K씨와 협의」만이 추출된다.

도 14(a)는 인식대상의 문자열을 밑줄을 이용해서 식별하는 경우의 인식대상화상데이터추출처리를 설명하는 흐름도이다. 이 처리는 도 4의 흐름도에 있어서는 스텝S11으로서 실행된다.

스텝S41 및 S42는 각각 도 11의 스텝S31 및 S32와 같으며, 카메라(12)의 촬영에 의하여 판독한 화상데이터로부터 「선」을 검출하고, 그 「선」을 보수한다. 스텝S43에서는 상기 처리에 의하여 얻어진 「선」 중에서 수평방법 또는 대략 수평방향으로 소정 길이보다도 길게 늘려진 「선」을 검출한다. 여기에서 검출되는 「선」은 복수개이어도 좋고 도 8(a)에 나타내는 예에서는 2개 검출된다. 스텝S44에서는 스텝S43에서 검출한 각 「선」을 따라서 그들 각 「선」의 상측의 영역을 소정 폭으로 잘라내고, 그 잘라낸 각 영역을 인식대상영역으로서 출력한다.

화상인식대상의 영역을 식별하기 위한 방식으로서 색을 이용해도 좋다. 예를 들면 「인식대상의 문자열은 적색으로 쓴다」는 규칙을 설정해 두고 카메라(12)를 이용하여 입력한 화상데이터로부터 적색으로 쓰여져 있는 문자열만을 추출하는 구성으로 해도 좋다. 도 8(b)에 나타내는 예에서는 「XX월 XX일 K씨와 협의」가 적색으로, 다른 문자는 흑색으로 쓰여져 있다. 이 경우 알파벳(Q∼Z)은 추출되지 않고 「XX월 XX일 K씨와 협의」만이 추출된다.

도 14(b)는 인식대상의 문자열을 미리 지정한 색으로 써서 식별하는 경우의 인식대상화상데이터추출처리를 설명하는 흐름도이다. 이 처리도 도 5의 흐름도에 있어서는 스텝S7으로서 실행된다. 스텝S51에서는 카메라(12)의 촬영에 의하여 판독한 화상데이터로부터 미리 지정된 색의 화소를 소정 밀도 이상 포함하는 영역을 잘라내고, 그 잘라낸 영역내의 화상데이터를 인식대상영역으로서 출력한다. 또한 인식대상의 문자열의 지정은 밑줄이나 색만이 아니라 그 밖의 문자수식정보로 실시하도록 해도 좋다.

도 15는 호스트장치(4)의 구성도이다. 기억장치(51)는 반도체메모리, 자기적 기록매체, 또는 광학적 기록매체로 구성되고 프로그램 및 데이터 등을 격납하고 있다. 기억장치(51)는 호스트장치(4)에 고정적으로 설치한 것이어도 좋고 착탈 자유롭게 장착하는 것이어도 좋다.

기록매체드라이버(52)는 가반성 기록매체(반도체메모리, 자기디스크, 광디스크, 광자기디스크 등을 포함한다)(53)에 격납되어 있는 데이터를 판독하거나, 또는 가반성 기록매체(53)에 데이터를 기입하는 장치이다. 통신제어부(54)는 네트워크와의 사이에서의 데이터의 수수를 제어하는 유닛이다. 휴대단말(1)과의 사이의 패킷의 송수신도 여기에서 제어된다.

CPU(55)는 기억장치(51) 또는 가반성 기록매체(53)로부터 프로그램 등을 메모리(56)에 로드하여 실행한다. 또한 기억장치(51)에 기록하는 프로그램 및 데이터 등은 가반성 기록매체(53)에 격납되어 있던 것을 기입한 것이어도 좋고, 또 통신회선 등을 통하여 네트워크상의 다른 기기로부터 수신하여 기록하는 구성으로 해도 좋다. 또한 CPU(55)는 네트워크상에 설치된 다른 기억장치에 격납되어 있는 프로그램 및 데이터 등을 통신회선 등을 통하여 사용하도록 해도 좋다. 또한 도 1에 나타낸 화상인식부(5), 메일송수신부(6), FAX송수신부(7)는 CPU(55) 및 프로그램에 의하여 통신제어부(54)를 통해서 실행되는 기능을 블록도로서 표현한 것이다.

도 16∼도 17은 호스트장치(4)의 처리를 설명하는 흐름도이다. 여기에서는 호스트장치(4)가 휴대단말(1)로부터 송출된 패킷(도 4의 흐름도의 처리에 의하여 작성된 패킷)을 수신하고, 그 데이터부에 설정되어 있는 정보에 따라서 화상데이터를 처리하는 동작을 중심으로 호스트장치(4)가 네트워크(3)로부터 패킷을 수신했을 때의 동작을 설명한다.

스텝S31에서 패킷을 수신하면 스텝S32에서 그 패킷에 설정되어 있는 단말ID를 조사함으로써 그 패킷을 송출한 단말을 인식한다. 스텝S33에서는 수신한 패킷이 E메일데이터를 포함하고 있는지 아닌지를 조사하고 E메일데이터를 포함하고 있으면 「E메일수신」으로 간주하여 스텝S41으로 진행한다. 스텝S41에서는 메일송수신부(6)를 기동하여 메일수신에 관한 처리를 의뢰한다. 메일송수신부(6)는 수신한 메일을 그 수신처를 키로 하여 보존하는 동시에 필요에 따라서 메일이 착신한 것을 그 수신처사용자에게 통지한다.

스텝S34에서는 수신한 패킷이 FAX데이터를 포함하고 있는지 아닌지를 조사하고 FAX데이터를 포함하고 있으면 「FAX수신」으로 간주하여 스텝S42로 진행한다. 스텝S42에서는 FAX송수신부(7)를 기동하여 FAX수신에 관한 처리를 의뢰한다. FAX송수신부(7)는 수신한 FAX를 그 수신처를 키로 하여 보존하는 동시에 필요에 따라서 FAX가 착신한 것을 그 수신처사용자에게 통지한다.

스텝S35에서는 수신한 패킷에 설정되어 있는 어플리케이션식별정보에 의하여 지정되어 있는 어플리케이션을 기동한다. 스텝S36에서는 기동된 어플리케이션이 화상인식처리를 포함하는지 안하는지를 판단한다. 화상인식처리를 포함하지 않는 어플리케이션이면 스텝S43에서 그 어플리케이션의 처리를 실행한다. 화상인식처리를 포함하는 어플리케이션이면 스텝S37에서 수신한 패킷에 격납되어 있는 화상데이터를 해동하고 스텝S38에서 그 화상데이터에 대하여 패턴인식처리·문자인식처리를 실행한다. 이 화상인식처리에 의해 사용자가 요구하는 서비스가 인식된다. 또한 스텝S38의 인식처리는 후에 설명한다.

스텝S51에서는 사용자가 요구하는 서비스가 「메일송신」인지 아닌지를 조사한다. 「메일송신」이면 스텝S52로 진행한다. 스텝S52에서는 스텝S37에서 해동한 화상데이터에 대하여 패턴인식처리·문자인식처리를 실행한다. 또한 스텝S38에서는 사용자가 요구하는 서비스를 인식하는데 필요한 영역에 대해서만 문자인식처리를 실행하는데, 스텝S52에서는 해동한 화상데이터의 전체영역에 대하여 문자인식처리를 실행한다. 그리고 이 문자인식처리에 의하여 얻어진 문자를 소정의 문자코드(예를 들면 애스키코드, 또는 JIS코드 등)로 변환한다. 여기에서 얻어지는 문자코드는 사용자가 휴대단말(1)을 이용하여 입력한 메일문이다. 스텝S53에서는 메일송수신부(6)를 기동하고 메일송수신부(6)가 스텝S52에서 얻어진 메일문을 송신한다. 또한 스텝S52 및 S53에 대해서는 각각 후에 상세히 설명한다.

스텝S54에서는 사용자가 요구하는 서비스가 「FAX송신」인지 아닌지를 조사하고 「FAX송신」이면 스텝S55로 진행한다. 스텝S55에서는 FAX송수신부(7)를 기동하고 FAX송수신부(7)가 스텝S37에서 해동한 화상데이터를 그 화상내에서 지정되어 있는 송신처에 보낸다.

스텝S56에서는 사용자가 요구하는 서비스가 「메일판독」인지 아닌지를 조사하고 「메일판독」이면 스텝S57으로 진행한다. 스텝S57에서는 메일송수신부(6)를 기동한다. 메일송수신부(6)는 스텝S32에서 검출한 단말ID를 수신처로 하는 메일이 착신되어 있으면, 그 메일을 그 단말ID를 갖는 단말에 송신한다. 스텝S57에 대해서는 후에 설명한다.

스텝S58에서는 사용자가 요구하는 서비스가 「FAX판독」인지 아닌지를 조사하고 「FAX꺼냄」이면 스텝S59으로 진행한다. 스텝S59에서는 FAX송수신부(7)를 기동한다. FAX송수신부(7)는 스텝S32에서 검출한 단말ID를 수신처로 하는 FAX가 착신되어 있으면 그 FAX를 그 단말ID를 갖는 단말에 송신한다.

한편 스텝S74에서 인식한 서비스라고 판단되면 스텝S75에서 수신한 패킷에 격납되어 있는 화상데이터를 해동하고 그 화상데이터에 대하여 패턴인식처리·문자인식처리를 실행한다. 이 때 인식처리가 실행되는 화상데이터는 도 4의 스텝S11에서 추출된 화상데이터이다. 즉 도 9 또는 도 13의 예에서는 「XX월 XX일 K씨와 협의」만을 포함하는 영역의 화상데이터에 대하여 화상인식처리가 실행된다. 따라서 이 화상인식처리의 결과 사용자가 메모기입한 내용만이 인식된다.

스텝S77에서는 스텝S76에 의한 인식결과가 문자를 포함하고 있으면, 그 문자를 문자코드(예를 들면 애스키코드, 또는 JIS코드 등)로 변환한다. 스텝S78에서는 인식결과를 휴대단말(1)에 반송하기 위한 패킷을 작성한다. 즉 이 패킷의 송출처어드레스는 휴대단말(1)이며, 그 데이터부에 상기 인식결과가 격납되어 있다. 그리고 스텝S79에 있어서, 그 작성한 패킷을 네트워크(5)에 송출한다.

스텝S79에 있어서 네트워크(5)에 송출된 패킷은 휴대단말(1)에 전송된다. 휴대단말(1)은 이 패킷을 수신하면 호스트장치(6)에 의한 화상인식처리의 결과를 LCD표시부(11)에 표시한다. 또 이 인식결과는 사용자의 지시에 의해 휴대단말(1)내에 보존된다.

또한 상기한 바와 같이 이 화상인식결과를 호스트장치(4)에 보존해도 좋다. 이 경우 인식결과는 차분(Difference)화상데이터를 송출한 단말장치(즉 휴대단말(1))의 단말ID에 대응지워서 보존한다. 또 이 인식결과를 미리 지정되어 있는 소정의 단말장치에 전송해도 좋다. 또한 이 인식결과에 포함되어 있는 문자열을 키워드로 하여 검색처리를 실행해도 좋고, 또는 그 문자열을 소정의 언어로 번역해도 좋다. 이 경우 검색결과 또는 번역결과는 휴대단말(1)에 보내어진다.

그런데 휴대단말의 소형·경량화 및 저비용화의 요구는 뿌리 깊은 것이 있다. 이들 요구에 답하는 방법의 하나로서는 본 실시형태와 같은 이용방법에 있어서는 휴대단말측에서 실행하고 있는 처리의 일부를 호스트장치측으로 옮기면 좋다. 예를 들면 도 4의 흐름도의 스텝S11의 처리를 호스트장치(4)에 실행시킬 수 있다. 스텝S11에서는 상기한 바와 같이 화상처리를 포함하는데 일반적으로 이와 같은 처리를 고정밀도 또는 단시간에 실현하려 하면 처리능력이 높은 프로세서와 대규모의 프로그램이 필요하게 된다. 따라서 스텝S11의 처리를 호스트장치(4)에 실행시키는 것은 휴대단말(1)의 소형·경량화 또는 저비용화시에 유효하다.

스텝S11의 처리를 호스트장치(4)에 실행시키는 경우 휴대단말(1)은 카메라(12)를 이용하여 판독한 화상데이터를 그대로 호스트장치(4)에 보낸다. 호스트장치(4)는 도 17의 흐름도에 있어서 스텝S75의 처리의 다음에 스텝S11을 실행한다.

이와 같이 본 실시형태의 화상처리시스템은 휴대단말을 이용하여 메모를 기입한 지면 등의 화상을 카메라 등으로 촬영하고 호스트장치가 그 화상 중의 필요한 영역만에 대하여 인식처리를 실행하는 구성이다. 이 때문에 휴대단말에 화상을 판독하여 호스트장치에 전송하는 기능, 호스트장치에 처리를 의뢰하는 기능을 갖게 하는 것만(구성에 따라서는 또한 필요한 영역을 추출하는 기능)으로 수기메모 등을 카메라촬영하는 간단한 사용자인터페이스에서 그 메모기입내용을 전자화할 수 있다.

도 18은 도 16의 스텝S38의 상세흐름도이며, 수신한 패킷에 격납되어 있는 화상데이터에 대하여 패턴인식처리·문자인식처리를 실행함으로써 사용자가 요구하는 서비스를 검출하는 처리를 나타낸다.

스텝S61에서는 미리 결정된 규칙에 따라서 수신한 화상데이터로부터 특정한 기호 또는 색을 검출한다. 예를 들면 도 5(a)에 나타내는 바와 같이 서비스를 지정하는 문자열이나 송신처를 지정하는 문자열이 존재하는 위치를 지시하는 기호로서 틀형괄호기호를 이용하는 경우에는 틀형괄호기호의 내측의 화상을 추출한다. 또 도 5(b)에 나타내는 바와 같이 서비스종별을 색에 대응시켜서 특정한 색으로 표현된 문자열을 이용하여 송신처를 지정하는 경우에는 그 특정한 색이 사용되고 있는 영역을 추출한다.

스텝S62에서는 스텝S61에서 추출한 화상데이터에 대하여 문자인식처리를 실행한다. 그리고 스텝S63에 있어서 문자인식처리의 결과로부터 사용자가 요구하는 서비스를 검출한다. 또한 도 5(a) 또는 (b)에 나타내는 예에서는 사용자가 요구하는 서비스가 「E메일송신」인 것을 검출하는 동시에 그 E메일의 송신처의 어드레스도 검출된다.

도 19는 도 17의 스텝S52의 상세흐름도이며, 메일문으로서 송신하는 문자열의 각 문자코드를 검출하는 처리를 나타낸다.

스텝S71에서는 수신한 화상데이터에 대하여 문자인식처리를 실행하고 휴대단말(1)에 있어서 입력한 문자를 인식한다. 또한 여기에서는 스텝S38에서 처리된 영역에 대해서는 문자인식처리를 실행하지 않는다. 스텝S72에서는 스텝S71에서 검출한 각 문자의 위치를 검출한다. 예를 들면 각 문자의 중심위치를 카메라촬영한 화면의 좌상각(左上角)에 대한 상대위치로서 검출한다.

스텝S73에서는 문자간피치를 조사하고 문장이 세로쓰기인지 가로쓰기인지를 검출한다. 여기에서는 가로쓰기이면 일반적으로 가로방향의 문자간피치가 세로방향의 문자간피치보다도 작고, 세로쓰기이면 세로방향의 문자간피치가 가로방향의 문자간피치보다도 작은 성질을 이용한다. 스텝S74에서는 스텝S73에서 얻어진 방향으로 문자를 추출해 간다. 즉 예를 들면 가로쓰기의 문장이면 가장 상부에 위치하는 라인에 대하여 왼쪽으로부터 오른쪽을 향하여 1문자씩 추출하고, 이후 차례로 아래쪽의 라인에 대하여 같은 처리를 실행한다. 그리고 이들 추출한 문자를 1문자씩 차례로 문자코드로 변환하여 유지한다.

상기 처리에 의해 사용자가 휴대단말(1)을 이용하여 입력한 문장의 각 문자가 차례대로 추출된 문자코드로 변환된다.

도 20은 도 17의 스텝S52의 상세흐름도이며 메일송신처리를 나타낸다. 이 처리는 도 1의 메일송수신부(6)에 의하여 실행된다.

스텝S81에서는 스텝S38에서 얻어진 송신처어드레스가 올바른지 아닌지 휴대단말(1)의 사용자에게 확인한다. 즉 스텝S38에 있어서의 화상인식처리에서 얻어진 송신처어드레스를 스텝S32에서 검출한 단말ID를 갖는 단말에 송신하고, 그 송신처어드레스가 올바른지 아닌지 조회한다. 휴대단말(1)은 이 조회를 수신하면, 그 수신한 송신처어드레스를 표시부에 표시하여 사용자의 지시를 기다린다.

스텝S82 및 S83에서는 휴대단말(1)로부터의 응답을 기다리고 소정 시간 이내에 응답이 없으면 처리를 종료한다. 한편 응답이 있으면 스텝S84 및 S85에 있어서, 그 응답이 「OK: 송신처어드레스 이해」인지를 조사하고 「OK」이면 스텝S91으로 진행하고 변경지시가 포함되어 있으면 스텝S86에 있어서 그 지시에 따라서 어드레스를 변경하여 스텝S81으로 되돌아간다. 또한 휴대단말(1)로부터의 응답이 「OK」 또는 변경지시의 어느쪽도 아니면 스텝S87에 있어서 에러처리를 실행한다.

스텝S91에서는 도 21에 나타내는 TCP세그먼트를 작성한다. 즉 TCP헤더에 포트번호 및 시퀀스번호 등을 설정한다. 포트번호는 예를 들면 SMTP를 지정하는 번호이다. 또 데이터로서는 스텝S52에서 얻어진 문자열이 메일문으로서 격납된다.

스텝S92에서는 화상데이터에 기입되어 있던 송신처어드레스에 대응하는 IP어드레스를 취득한다. IP어드레스는 예를 들면 네트워크상에 존재하는 비도시의 DNS(도메인네임서버)에 조회함으로써 취득한다. 스텝S93에서는 도 21에 나타내는 IP데이터그램을 작성한다. 여기에서 작성되는 IP데이터그램은 그 헤더에 스텝S92에서 소득한 IP어드레스가 설정되고, 또 그 데이터부에 TCP세그먼트가 격납되어 있다.

스텝S94에서는 도 21에 나타내는 송신패킷을 작성한다. 송신패킷의 데이터부에 상기한 IP패킷이 격납되어 있다. 또한 이 패킷의 포맷은 호스트장치(4)가 접속하는 네트워크(3)상의 통신프로토콜에 의하여 결정된다. 스텝S95에서는 스텝S94에서 작성한 송신패킷을 네트워크(3)에 송출한다.

스텝S96에서는 상기 송신패킷을 정상으로 송출할 수 있었는지 아닌지를 조사한다. 정상으로 송출되었을 때는 스텝S97에 있어서 메일송신이 완료된 것을 휴대단말(1)에 통지하고, 또한 그 송신한 메일을 스텝S98에 있어서 호스트장치(4)내에 보존한다. 한편 상기 송신패킷을 정상으로 송출할 수 없었을 때에는 그 취지를 휴대단말(1)에 통지한다.

도 22는 도 17의 스텝S57의 상세흐름도이며 호스트장치에 격납되어 있는 메일을 휴대단말로부터 판독하는 처리를 나타낸다. 이 처리는 예를 들면 휴대단말(1)의 사용자앞의 메일이 메일송수신부(6)에 착신하고 메일송수신부(6)가 그 메일을 관리하고 있는 상황에 있어서, 휴대단말(1)이 도 7에 나타내는 바와 같은 메모기입을 카메라(12)로 촬영하고, 그 화상데이터를 호스트장치(4)에 보낸 경우에 실행된다.

스텝S101에서는 조회원의 단말(사용자)의 메일박스에 액세스한다. 이 단말은 상기 스텝S32에서 검출된 단말ID에 의하여 특정된다. 또한 메일송수신부(6)에 착신한 메일은 그 수신처에 따라서 특정한 메일박스에 넣어진다. 예를 들면 휴대단말(1)의 사용자수신의 메일이 착신한 경우에는 메일송수신부(6)는 그 메일을 휴대단말(1)의 사용자에 대하여 설치된 메일박스내에 보존한다. 따라서 스텝S32에서 검출된 단말ID를 키로 한 액세스에 의해 그 단말(사용자)수신의 레터를 판독할 수 있다.

스텝S102에서는 수신한 화상데이터에 대하여 문자인식처리실행함으로써 메일의 발신자의 지정이 있는지 없는지를 조사한다. 지정이 없으면 스텝S103에 있어서, 그 단말의 메일박스에 격납되어 있는 전체메일을 판독한다. 한편 발신자의 지정이 있으면 스텝S104에 있어서 그 발신자로부터의 메일만을 판독한다. 도 7에 나타내는 예의 경우 K씨로부터 보내어져 온 메일만을 판독한다. 그리고 스텝S105에 있어서 판독한 메일을 조회원의 단말에 보낸다.

또한 상기한 실시형태에서는 E메일의 송신처로 되어 있는 1개의 어드레스를 지정하는 예를 나타냈지만 송신처로서 복수의 단말을 포함하는 1개의 그룹을 지정하는 구성이어도 좋다. 이 경우 도 23에 나타내는 바와 같은 테이블을 메일송수신부(6)에 미리 등록해 둘 필요가 있다. 도 23의 테이블이 설치되어 있었던 경우, 예를 들면 도 5(a)에 있어서 송신처어드레스 대신에 「영업부」라고 쓰여진 것을 카메라(12)로 촬영하고, 그 화상데이터를 호스트장치(4)에 보내면 호스트단말(4)은 수신한 화상데이터에 대하여 문자인식처리를 실행함으로써 메일의 송신처가 「영업부」인 것을 인식한다. 이 때 휴대단말(1)의 단말ID를 이용하여 도 23의 테이블에 액세스하면 「영업부」에 속하는 1개 이상의 E메일어드레스가 얻어진다. 이후의 처리는 상기한 대로이다.

또한 상기 실시형태에 있어서, 호스트장치(4)에 의하여 실행되는 처리프로그램, 즉 도 16∼도 20, 도 22의 흐름도에서 나타내는 각 기능을 실현하는 프로그램 및 네트워크를 통하여 전송되어 오는 정보를 해석하여 처리하는 프로그램 등은 CPU(55)가 판독 가능한 프로그램코드의 형태로 기억장치(51) 또는 가반성 기록매체(53)에 격납되어 있다. 또는 네트워크를 통하여 접속되는 다른 장치에 격납되어 있는 것을 이용한다.

또 상기 도 19∼도 23에서는 E메일송신을 할 때의 동작에 대하여 나타냈지만, 기본적으로 FAX송신시의 동작도 같다. 다만 FAX송신할 때에는 수신한 화상데이터에 대하여 화상인식처리를 실행함으로써 송신처의 전화번호를 검출할 필요는 있지만, FAX송신해야 할 내용(FAX문)에 대해서는 인식처리를 실행할 필요는 없다.

또한 상기 실시형태에서는 카메라를 이용하여 화상데이터를 입력하는 구성을 나타냈지만, 본 발명은 이 구성에 한정되지 않고 예를 들면 이미지스캐너를 이용하여 판독한 화상데이터를 호스트장치에 전송하도록 해도 좋다.

이와 같이 본 실시형태의 화상데이터처리시스템은 휴대단말에서 입력한 화상데이터를 호스트장치에 전송하고 호스트장치가 그 화상데이터를 해석함으로써 상기 휴대단말의 사용자가 요구하는 서비스를 인식하고, 그 화상데이터에 포함되어 있는 전송데이터를 그 화상데이터에 포함되어 있는 전송처정보에 따라서 E메일 또는 FAX 등으로 송신하는 구성이다. 이 때문에 휴대단말에는 화상데이터 등을 입력하여 호스트장치에 전송하는 기능, 호스트장치에 처리를 의뢰하는 기능을 갖게 하는 것만으로 수기메모 등을 카메라촬영하는 사용자인터페이스로 E메일 등을 송신할 수 있게 된다. 즉 휴대단말은 고속처리가 요구되는 고정밀도의 패턴인식처리나 각종 처리를 실행하는 필요가 없다. 이 때문에 휴대단말은 대용량의 메모리나 고성능프로세서를 설치하는 일 없이 호스트장치에서 실행되는 고도의 화상처리결과를 향수할 수 있다.

Claims (9)

1. 네트워크에 의해서 각종 단말이 접속되는 시스템이며, 단말로부터 송신된 화상데이터를 수신하고, 이 화상데이터에 포함되어 있는 송신처의 정보를 화상데이터속의 식별정보에 의거하여 문자를 인식하는 수단과, 상기 수신한 화상데이터에 포함되어 있는 명령정보가 포함되어 있으며, 명령 정보인 것을 나타내는 화상데이터 속의 식별정보에 의거하여 명령을 문자인식하는 수단과 상기 수신한 데이터에 포함되어 있는 송신해야 할 정보를 상기 문자인식하여 얻어진 송신처로, 상기 문자인식하여 얻어진 명령에 의거하는 송신처리를 실시하는 수단을 갖는 것을 특징으로 하는 호스트장치.
2. 제1항에 있어서, 상기 문자인식된 명령은 메일송신을 나타내는 명령이며, 이 명령을 기초로 하여 송신처에 대해서 메일을 송신하는 것을 특징으로 하는 호스트장치.
3. 제1항에 있어서, 상기 문자인식된 명령은 FAX송신을 나타내는 명령이며, 이 명령을 기초로 하여 송신처에 대해서 FAX를 송신하는 것을 특징으로 하는 호스트장치.
4. 네트워크에 의해서 각종 단말이 접속되는 시스템이고, 단말로부터 송신된 화상데이터를 수신하고, 이 화상데이터에는 명령정보를 식별하는 식별정보 및 명령정보가 포함되어 있으며, 명령정보인 것을 나타내는 화상데이터속의 식별정보에 의거하여 화상데이터속의 명령을 문자인식하며, 이 인식된 명령을 기초로 하는 송신처리를 실시하는 것을 특징으로 하는 호스트장치.
5. 제4항에 있어서, 상기 문자인식된 명령은 착신메일의 조회를 나타내는 명령이며, 이 명령을 기초로 하여 착신메일을 체크하는 것을 특징으로 하는 호스트장치.
6. 호스트장치에 송신하는 영역을 나타내는 영역정보가 표기되고, 또한 송신처와 송신데이터가 식별하여 표기된 화상데이터를 화상 판독하는 수단과, 판독한 화상데이터속에서 상기 영역정보에 의거하여 상기 호스트장치에 송신하는 영역내의 화상데이터를 추출하는 수단과, 추출된 화상데이터내의 송신처와 송신데이터를 포함하는 화상데이터를 네트워크에 접속된 호스트장치로 송신하는 수단을 갖는 것을 특징으로 하는 휴대단말장치.
7. 인식해야 할 식별패턴에 의하여 표기되어 있는 데이터를 화상 판독하는 수단과, 상기 판독한 화상데이터로부터 식별패턴을 검출하는 수단과, 이 식별패턴을 기초로 하여 인식해야 할 영역의 화상데이터를 추출하는 수단과, 추출된 화상데이터를 네트워크에 접속된 호스트장치로 송신하는 수단을 갖는 휴대단말장치.
8. 제7항에 있어서, 상기 식별패턴은 인식범위를 나타내는 약폐루프, 또는 인식대상의 문자에 대한 문자 수식정보로 표기되고, 상기 검출수단은 이 약폐루프내의 영역, 또는 문자 수식정보가 부가된 문자의 범위를 인식해야 할 화상으로서 추출하는 것을 특징으로 하는 휴대단말장치.
9. 제10항에 있어서, 네트워크를 통하여 상기 휴대단말로부터 송신된 화상데이터를 포함하는 데이터를 수신하고, 이 화상데이터에 포함되어 있는 정보를 인식하는 수단과, 인식한 결과의 데이터를 상기 송신된 휴대단말에 대하여 송신하는 수단을 구비하는 것을 특징으로 하는 휴대단말장치.