KR20030021120A

KR20030021120A - 휴대 장치 및 전송 시스템

Info

Publication number: KR20030021120A
Application number: KR1020020048815A
Authority: KR
Inventors: 가게히로다쯔히꼬; 세끼미네노부; 사꼬히로시
Original assignee: 가부시키가이샤 히타치세이사쿠쇼
Priority date: 2001-09-05
Filing date: 2002-08-19
Publication date: 2003-03-12
Also published as: JP2003078640A; US20030044068A1; CN1407826A; CN1284398C; KR100942346B1; JP4240859B2; US7190833B2

Abstract

본 발명은 촬상 장치를 내장하여 문자 인식 결과로 모아진 정보를 제시하는 문자 인식 기능을 갖는 휴대 장치에 관한 것이다. 이러한 휴대 장치를 이용하면, 문자행 추출 처리가 필요시마다 표시되고, 인식 처리를 위해 입력될 화상의 해상도가 증대된다. 따라서, 조작자가 용이하게 대상의 문자행을 선택할 수 있게 된다. 또한, 휴대 장치는 해상도의 증대에 의해 향상된 문자 인식율을 갖는다.

Description

휴대 장치 및 전송 시스템{MOBILE DEVICE AND TRANSMISSION SYSTEM}

촬상 장치를 내장한 휴대 전화와 같은 휴대 장치가 이들 휴대 장치에 내장되는 CPU의 고성능화와 CCD 등의 가격 하락에 의해 보급되고 있다. 촬상 장치가 내장된 휴대 장치를 사용하여 사용자가 주목한 문자열을 포함한 화상을 캡쳐하고 그 문자열을 인식함으로써, 네트워크로부터 문자열에 관련된 정보를 추출하는 것이 가능하게 되었다. 화상으로부터 목적하는 문자열을 선택하기 위해서는 휴대 장치 상의 간략한 사용자 인터페이스를 사용하여 직감적으로 조작되는 지시 방법이 요구된다.

해상도와 인식율간에는 트레이드오프 관계가 존재한다. 높은 인식율이 요구될 때, 입력 화상은 가공되어야 한다. 휴대 장치는 구조적인 면에서 고해상도 화상을 캡쳐하는 것이 곤란하다. 이러한 이유로, 문자 인식은 휴대 장치의 카메라에 의해 캡쳐된 저해상도 화상을 이용하여 수행된다.

화상으로부터의 문자 인식 결과를 이용한 문자 검색 기술은 일본 특개 2000-33106 및 일본 특개 1998-254622에 개시되어 있다. 또한, 일본 특개 2000-23102에는 휴대 장치를 이용한 번역기가 개시되어 있다. 이 발명에서는 대상 문자행을 그래픽 유저 인터페이스(GUI)에 적용하기 위한 선분이 화상 표시부에 표시된다. 그러나, 선분은 길이와 위치가 고정되고 사용자가 화상을 캡쳐하기 위한 기준으로서만 사용되기 때문에, 조작자는 문자행의 위치와 크기를 조정할 필요가 있다. 이 종래 기술의 발명은 휴대 장치내의 저해상도 촬상 장치에 의해 캡쳐된 화상에 대한 어떠한 문자 인식도 개시하고 있지 못하다.

일본 특개 2000-23102에는 문자 인식을 수행하기 위해 화상을 캡쳐하기 위한 CCD 카메라를 휴대 전화 또는 휴대 장치에 포함하고, 언어 번역 기능 및 번역 결과를 기초로 한 검색 기능을 갖는 수단이 개시되어 있다. 그러나, 조작자가 화상 중에서 대상 문자행을 용이하게 선택하도록 하는 어떠한 수단도 제공하지 못한다. 이와 달리, 본 발명에 따르면, 입력 화상으로부터의 문자행 추출 결과가 필요할 때마다 조작자에게 제공된다. 이로써 대상 문자행의 용이한 확인이 가능하게 된다.

또한, 휴대 장치 등에 포함될 촬상 장치는 비용과 크기의 균형을 유지하면서 고해상도 화상을 캡쳐할 수 있도록 설계되는 것이 곤란하다. 저해상도 화상으로 인식 처리가 수행되면, 인식율에 악영향이 발생되어 조작자의 목적이 저해될 것이다. 이러한 환경 하에서, 본 발명에 따르면, 캡쳐된 저해상도 화상으로부터 문자행의 추출 처리가 수행되며, 문자행의 화상이 확대 처리된다. 그 결과, 문자행 화상의 해상도가 증대되어 인식율이 향상된다.

본 발명의 목적은 캡쳐된 화상 중의 문자행 기재 영역을 추출하는 수단을 포함하는 휴대 장치에 있어서, 확정 수단에 입력이 있을 때까지, 캡쳐된 화상을 변동시키면서 문자행 기재 영역을 연속적으로 추출하고, 추출된 문자행 기재 영역을 표시 수단에 표시하는 휴대 장치를 제공하는데 있다. 본 발명은 또한 문자행 기재 영역이 인식을 위해 처리되도록 확정하는 수단과, 인식 결과를 네트워크를 통해 전송하는 수단과, 인식 결과에 기초하여 네트워크를 통해 피드백을 수신하는 수단을 포함한다.

본 발명의 또다른 목적은 캡쳐된 화상의 해상도 증대 수단을 추가로 포함하고, 확정된 문자행 기재 영역에 화소 보강, 평활화 및 2치화가 수행되는 휴대 장치를 제공하는데 있다.

본 발명의 또다른 목적은 휴대 장치 및 이 휴대 장치에 네트워크를 통해 접속된 컴퓨터를 구비하는 전송 시스템에 있어서, 상기 휴대 장치가 휴대 장치에서 획득된 인식 결과 또는 문자행 추출 영역을 네트워크를 통해 상기 컴퓨터에 전송하기 위한 수단을 포함하고, 상기 컴퓨터가 전송된 인식 결과 또는 문자행 추출 영역에 기초하여 네트워크를 통해 정보 검색을 수행하고 그 검색 결과를 휴대 장치에 전송하기 위한 수단을 포함하는 전송 시스템을 제공하는데 있다.

본 발명의 전술한 특징 및 특성과 추가의 특징 및 특성은 동일 구성요소에 동일 도면 참조 부호가 부여되어 있는 첨부 도면을 참조한 다음의 상세한 설명으로부터 더욱 명백해질 것이다.

도 1은 인식 기능을 갖는 휴대 장치를 이용한 정보 수집의 개념도.

도 2는 본 발명에 따른 휴대 장치의 콘텐츠 표시 화면을 도시하는 도면.

도 3은 본 발명에 따른 휴대 장치의 다른 콘텐츠 표시 화면을 도시하는 도면.

도 4는 본 발명에 따른 휴대 장치의 하드웨어 구성을 도시하는 도면.

도 5는 본 발명의 휴대 장치와 네트워크 상의 컴퓨터내에서의 처리를 도시하는 흐름도.

도 6은 문자행 추출의 개념도.

도 7은 문자행 추출의 흐름도.

도 8은 고해상도 화상 생성의 개념도.

도 9는 고해상도 화상 생성의 흐름도.

도 10은 문자행 인식의 개념도.

도 11은 문자행 인식의 흐름도.

도 12는 하나 또는 그 이상의 순차적인 문자 인식 결과의 예를 도시하는 도면.

<도면의 주요 부분에 대한 부호의 설명>

201 : 화면 표시부

202 : 마커

203 : 문자행 추출 직사각형

204 : 문자행 인식 결과

205 : 화면 표시부

206 : 조작 아이콘

본 발명은 첨부 도면을 참조하여 다음과 같이 상세히 실시된다.

도 1은 본 발명에 사용될 휴대 장치와, 입력 데이타가 되는 문자행을 갖는 물체의 화상을 도시하고 있다. 도면 부호 "101"은 휴대 장치의 일례를 나타낸다. 도면 부호 "102"는 휴대 장치(101)의 콘텐츠 표시부를 나타낸다. 한편, 표시부의 반대면에는 촬상 장치로서 카메라가 사용된다. 도면 부호 "103"은 제어 레버를 나타내고, "104"는 버튼을 나타낸다. 콘텐츠 표시부는 터치 패널이며, 이를 통해 조작자는 직접 지시를 할 수 있다. 이 휴대 장치를 사용함으로써, 도면 부호 "105"로 표시된 바와 같은 물체의 URL 어드레스 및 문자행 화상이 캡쳐된다. 그리고나서, 문자행 기재 영역 추출 및 문자행 인식이 수행된다. 그리고나서, 데이타가 도면 부호 "106"로 표시된 바와 같은 무선 통신을 통해 전송된다. 도면 부호 "107"로 표시된 바와 같은 네트워크에 접속된 컴퓨터를 사용함으로써, 네트워크 상의 인식된 콘텐츠에 관련된 정보가 검색, 전송 및 표시된다. 조작자는 표시된 콘텐츠를 참조하고, 다시 지시를 행한다. 그러므로, 관련 정보가 검색된다.

도 2 및 도 3은 본 발명의 콘텐츠 표시예를 도시하고 있다.

도 2는 캡쳐된 물체 화상에 기재된 URL 문자행에 문자 인식 처리가 수행되고, 인식 결과에 기초하여 URL에 대응하는 홈페이지가 검색되는 예를 도시하고 있다. 먼저, 촬상 장치에 의해 캡쳐된 물체가 도면 부호 "201"로 표시된 콘텐츠 표시부에 표시된다. 콘텐츠 표시부에는 도면 부호 "202"로 표시된 바와 같은 마커(marker)가 표시된다. 마커는 조작자에 의해 이동 가능하다. 마커에 가장 인접하게 위치된 URL 문자행에 대해 문자행 직사각 추출 처리가 수행된다. 도면 부호 "203"으로 표시된 바와 같은 추출 결과의 직사각(점선)은 필요시마다 리로드(reload)되고, 리로드된 직사각은 반복하여 표시된다. 그 결과, 조작자는 장치를 조작하거나 마커를 이동시킴으로써 용이하게 인식 대상 문자행을 선택할 수 있다. 결과의 직사각 외곽선이 목적의 문자행을 적절하게 감쌀 때, 사용자는 확정 지시를 입력하여 직사각내의 문자행에 대해 문자 인식을 수행토록 한다. 그 후, 인식 결과가 도면 부호 "204"로 표시된 바와 같은 팝업 윈도우로 표시된다. 인식 결과가 적절하다면, 조작자는 확정 지시를 입력한다. 그 결과, 도면 부호 "205"로 나타낸 다이아그램에 도시된 바와 같이, 인식 결과에 대응하는 URL에서 이용 가능한 콘텐츠가 네트워크상의 컴퓨터로부터 휴대 장치에 전송된다. 그 후, 조작자는 표시부 상의 콘텐츠를 확인하고, 도면 부호 "206"으로 표시된 바와 같은 표시부 상의 아이콘을 선택한다. 그에 따라, 관련 정보가 검색된다.

도 3은 캡쳐된 물체의 문자행에 대해 문자 인식 처리가 수행되고, 인식 결과에 기초하여 네트워크상의 콘텐츠가 검색되어 휴대 장치에 표시되는 예를 도시하고 있다. 도 2에서와 동일한 방식으로, 캡쳐된 콘텐츠는 도면 부호 "301"로 표시된 표시부에 표시된다. 이 때, 도면 부호 "302"로 표시된 마커에 가장 인접한 문자행이 추출된다. 사용자는 도면 부호 "303"으로 표시된 바와 같은 연속 표시된 문자행 직사각형 중의 한 문자행 직사각형에 대해 확정 지시를 입력한다. 인식 처리 후, 인식 결과가 도면 부호 "304"로 표시된 바와 같은 팝업 윈도우로 표시된다. 인식 결과가 합당한 경우, 조작자는 확정 지시를 입력한다. 그 후, 인식 결과는네트워크에 접속된 검색 엔진에 입력된다. 그리고나서, 휴대 장치는 획득된 검색 결과를 수신하고, 도면 부호 "305"로 표시된 다이아그램에 도시된 바와 같이 결과를 표시한다. 그 후, 조작자는 표시된 검색 결과를 참조하고, 표시부 상의 아이콘을 선택하여 다른 콘텐츠를 수신한다.

도 4는 휴대 장치의 하드웨어 구성을 도시하고 있다. 휴대 장치는 제어, 화상 처리 및 문자 인식을 수행하기 위한 CPU(401), 메모리(402), 표시부(403), 입력 데이타를 캡쳐하기 위한 촬상 장치(404), 무선 통신을 위한 안테나(405), 스피커(406), 마이크(407), 배터리(408), 버튼(409) 및 표시부에 충첩되도록 표시부에 통합되는 터치 패널(410)이 버스를 통해 접속되어 있다.

도 5는 본 발명의 전체적인 처리 흐름을 도시하고 있다. 먼저, 휴대 장치에서는, 단계 501에서 촬상 장치를 사용하는 CCD에 의해 목적 물체의 화상이 캡쳐된다. 캡쳐된 화상은 단계 501에서 표시부에 표시된다. 그 후, 도 2 및 도 3에 도시된 바와 같이, 단계 502에서 마커에 가장 인접한 문자를 핵으로 하여 문자행 추출 처리가 수행된다. 이와 같이 하여 얻어진 추출 결과는 단계 503에서 표시부의 콘텐츠와 중첩되어 직사각형으로 표시된다. 이 처리는 단계 504에서 조작자가 확정 지시를 입력할 때까지 화상 캡쳐 단계(501)로 되돌아가서 반복된다.

조작자가 확정 지시를 입력한 후, 표시된 직사각형내의 부분 화상을 사용하여 화상 처리가 수행되고, 처리된 데이타가 인식 처리를 위해 입력된다. 단계 505를 통해 촬상 장치로부터 캡쳐된 저해상도 입력 화상에 대해 해상도 증대 처리가 수행된다. 증대된 해상도를 갖는 부분 화상은 단계 519에서 문자행 인식을 위해입력된다. 그 후, 조작자는 문자 인식 결과가 제공되고, 단계 507에서 지시를 요청받는다. 조작자가 결과를 합당한 것으로 판단한 경우, 조작자는 확정 지시를 입력한다. 확정된 데이타는 무선 통신을 통해 네트워크에 접속된 컴퓨터에 전송된다. 조작자가 합당한 인식 결과가 아니라고 판단하면, 처리는 단계 501로 되돌아가서 촬상 장치에 의해 캡쳐된 또다른 화상을 처리하고 후속 처리 단계를 반복한다.

컴퓨터에 전송된 문자행이 단계 509에서 컴퓨터 또는 서버에 의해 수신된다. 단계 510에서 문자행이 URL 어드레스인지 아니면 다른 문자행인지의 여부가 판정된다. 문자행이 URL 어드레스이면, 단계 511에서 URL 어드레스의 웹페이지 콘텐츠가 인터넷을 통해 링크되고, 단계 512에서 휴대 장치에 전송된다. 그렇지 않으면, 단계 513에서 문자행이 E-mail 어드레스인지의 여부가 판정된다. E-mail 어드레스인 경우, 단계 514에서 그 어드레스를 어드레스 필드에 삽입한 메일 처리 프로그램이 휴대 장치에 전송된다. 메일 처리 프로그램은 Java 등에 의해 기술된 어플리케이션을 사용함으로써 실시될 수 있다. 또한, 메일 처리를 위한 프로그램은 다시 사용되도록 하기 위해 휴대 장치에 저장된다. 한편, 문자행이 URL 어드레스도 아니고 E-mail 어드레스도 아닌 경우, 이 문자행은 인터넷에 접속된 콘텐츠 검색 엔진에 입력되어 문자행을 키워드로 하여 검색을 행한다. 단계 516에서, 검색 결과가 휴대 장치에 전송되어 조작자에게 제공된다.

휴대 장치측에서는 단계 517에서 콘텐츠가 수신되고, 단계 518에서 조작자가 콘텐츠를 참조하고, 적합한 아이콘을 선택함으로써 요구된 콘텐츠를 선택하여 메일처리 등을 행한다.

네트워크를 통한 휴대 장치와 컴퓨터간의 전술한 데이타 전송 처리외에, 다른 방법도 생각해볼 수 있다. 예를들어, 휴대 장치 상에서 목적의 문자행 기재 영역이 선택되고, 부분 화상(인식 결과가 아닌)이 네트워크 상의 컴퓨터에 전송된다. 그리고나서, 컴퓨터에 의해 화상 처리 및 문자 인식이 수행된다. 이 전송 수단으로서는 부분 화상을 메일에 첨부하여 이를 전송하는 전송 수단이 고려될 수 있다. 문자 인식 처리의 결과로서 얻어진 복수의 후보에 기초하여, 후보 순위에 따라 네트워크 상의 콘텐츠를 검색한다. 복수의 후보를 사용하여 검색이 수행되고 적합한 콘텐츠가 발견될 때, 그 콘텐츠가 휴대 장치에 전송되어 표시된다. 모든 후보에 기초한 검색을 통해 적합한 콘텐츠가 발견되지 않는다면, 파라미터가 변경되어 문자 인식 처리를 반복한다.

전술한 처리를 이용함으로써, 조작자는 문자행 기재 영역 확정 지시를 입력한 후에만 희망의 콘텐츠를 참조할 수 있다. 그러나, 문자 인식 결과가 잘못된 경우에도, 어떠한 대응 콘텐츠가 존재한다면 조작자가 의도한 것과 상이한 콘텐츠가 표시된다.

또한, 휴대 장치와 컴퓨터간의 전송 및 수신에 대한 서비스 요금청구가 부과될 것이다. 이러한 서비스 요금청구를 가지고, 네트워크에 접속된 컴퓨터를 관리하는 회사는 휴대 장치로부터 문자열(인식 결과) 또는 인식될 대상이 되는 부분 화상을 수신할 때에 혹은 휴대 장치측에 콘텐츠를 전송할 때에 서비스에 대해 요금을 부과한다. 조작자는 문자열의 인식 결과를 확인한 후에 콘텐츠를 수신할 수 있다.그 결과, 안정된 서비스가 보장된다.

도 6은 문자행 추출 처리의 개념도를 도시하고 있다. 먼저, 도면 부호 "601"은 휴대 장치의 카메라에 의해 캡쳐된 화상을 나타내고, 도면 부호 "602"는 목적 문자행이 기재되어 있는 물제이다. 표시부의 중앙에 도면 부호 "603"으로 표시된 기호는 마커이다. 마커에 가장 인접하게 위치된 문자행을 추출하기 위한 처리가 수행된다. 마커의 스크린상의 위치는 조작자가 터치 패널 또는 버튼을 클릭함으로써 이동될 수 있다. 그리고나서, 입력 화상이 2치화되고, 흑색 화소가 모여져 만들어지는 연결 성분이 생성된다. 도면 부호 "604"는 각각의 연결 성분의 외접 직사각형을 표시하는 화상을 나타낸다. 처리를 고속화하기 위해 연결 성분의 외접 직사각 위치 정보를 사용하여 문자행 추출 처리가 수행된다. 그리고나서, 마커에 가장 인접한 연결 성분의 외접 직사각형 중의 하나가 선택되어 도면 부호 "605"로 나타낸 바와 같이 두꺼운 직사각형으로 나타내진다. 이 연결 성분이 문자행 추출의 초기 상태의 "핵"으로서 사용된다. "핵"으로서 기능하는 연결 성분은 조작자에게는 표시되지 않는다. 도면 부호 "606"은 문자행 추출의 과정을 나타낸다. 도면 부호 "605"로 표시한 "핵" 외부의 인접 연결 성분을 통합함으로써 문자행 직사각이 형성된다. 그 후, 도면 부호 "607"은 외부 통합의 결과 연결 성분으로 구성된 문자행 직사각형을 나타낸다. 도면 부호 "608"은 조작자에게 보여진 바와 같은 문자행 직사각 추출 결과의 표시를 나타낸다. 점선 직사각형은 문자행 추출 결과이다. 조작자가 직사각형을 참조하고 직사각형이 대상 문자행을 적합하게 둘러싸고 있을 때, 조작자는 버튼을 통해 확정 지시를 입력한다. 필요시마다 휴대장치를 움직이거나 마커를 이동시킴으로써 문자행 추출 결과 직사각형이 변동된다.

도 7은 문자행 추출 처리의 흐름도를 도시하고 있다. 문자행 추출 처리는 다음의 방식으로 달성된다. 먼저, 단계 701에서 촬상 장치에 의해 화상이 캡쳐된다. 단계 702에서 입력 화상이 2치화되고, 그 후 단계 703에서 노이즈 제거가 수행된다. 그 후, 단계 704에서 2치 화상으로부터 연결 화상이 생성되며, 단계 705에서 마커에 가장 인접한 연결 성분이 초기값의 "핵"으로서 선택된다. 그리고나서, 단계 706에서 "핵"으로서 작용하는 연결 성분으로부터 소정의 근거리 영역내에 있는 연결 성분이 통합되어 문자행 직사각형이 형성된다. 그 후, 문자행 위치가 출력된다. 단계 707에서는 직사각형이 표시부에 동적으로 표시된다. 단계 708에서 사용자가 확정 지시를 입력할 때까지 촬상 단계 701로 복귀하여 후속 처리 단계를 반복한다. 사용자가 확정 지시를 입력할 때, 문자행 위치가 고해상도 문자행 추출 처리에 진행된다.

도 8은 고해상도 화상 생성의 개념도를 도시하고 있다. 인식 처리를 위해 문자행 화상을 입력하기 이전에, 대상이 되는 부분 화상에 화소 보완이 행해져 고해상도 부분 화상이 생성되고 인식율을 향상시킨다. 도면 부호 "801"은 조작자가 문자행 직사각형에 대해 확정 지시를 입력한 시점에서의 표시부를 나타내고 있다. 도면 부호 "802"는 문자행 직사각형 위치 정보에 기초하여 화상 캡쳐시에 얻은 화상으로부터 부분 화상을 잘라내어 얻은 화상을 나타내고 있다. 부분 화상은 고해상도를 위한 화소 보충 처리가 시행되어 도면 부호 "803"으로 표시된 화상이 된다. 이러한 방식으로 화소 보충에 의해 해상도 증대가 수행될 때, 사선의 선분에 계단형상이 발생한다. 이러한 환경에서 화상에 평활화가 시행된다. 그 결과, 도면 부호 "804"로 표시된 바와 같이, 노이즈가 감소되어 사선 선분의 형상도 평활화된다. 그 후, 2치화 처리가 수행되어 도면 부호 "805"로 표시된 바와 같이 윤곽도 뚜렷하고 노이즈도 없는 고해상도 문자 패턴 화상이 생성된다. 고해상도 라인 화상을 인식 처리에 입력함으로써, 저해상도 촬상 장치를 사용함에 의해서도 고해상도 인식 결과를 얻을 수 있게 된다.

도 9는 고해상도 화상 생성의 처리 흐름도를 도시하고 있다. 먼저, 문자행 추출 처리에서 결정된 문자행 위치에 기초하여 단계 901에서 촬상시에 얻은 화상으로부터 부분 화상이 절단된다. 단계 902에서 부분 화상에 대해 화소 보충에 의한 화상 확대가 시행된다. 그 다음에, 단계 903에서 확대된 화상에 대해 평활화가 수행되고, 단계 904에서 2치화가 수행된다. 그 결과, 고해상도 2치 화상이 생성된다.

도 10은 문자행 인식 처리의 개념도를 도시하고 있다. 도면 부호 "1001"은 입력되는 문자행 화상을 나타내고 있다. 도면 부호 "1002"는 문자행 화상에 대한 모든 연결 성분에 대해 작성되고 선분 가상 그래프로 표현된 문자 패턴 후보의 조합을 나타내고 있다. 도면 부호 "1003"은 "h"만을 절출함으로써 얻은 패턴을 나타내고, 도면 부호 "1004"는 "ht"를 조합하여 얻은 패턴을 나타낸다. 이들 조합 중에서 적절한 문자 패턴을 선택하고 네트워크 상을 루트 탐색(route search)함으로써, 문자행의 인식 결과를 얻을 수 있게 된다. 네트워크 상의 문자 패턴을 문자 인식 모듈에 입력하여 얻은 결과가 도면 부호 "1005"로 표시되어 있다. "h"의 패턴(1003)에 대해서는 도면 부호 "1006"으로 표시된 바와 같이 "h"의 인식 결과가 얻어지는 한편, 2개의 문자의 조합 패턴 "ht"에 대해서는 도면 부호 "1007"로 표시된 바와 같이 "n"의 인식 결과(즉, "ht"가 "n"으로 인식됨)가 얻어진다. 이러한 방식으로, 모든 패턴에 대한 문자 인식 결과와 문자 인식에 사용된 템플레이트(template)간의 유사도가 선분 가정 그래프로 묘사된 네트워크 상에 기록된다. 도면 부호 "1008"은 각각의 인식 처리의 기록이 수집되어 있는 네트워크를 통해, 단어 데이타베이스와 인식 결과간의 유사도에 기초하여 루트 탐색을 수행하여 얻은 결과를 나타낸다. 이 예에서, URL 로서 빈번하게 나타나는 단어(http, ://, www, co, jp, com 등)는 단어 데이타베이스에서 루트의 제약을 행하고, 그들 이외의 단어는 인식 결과의 유사도를 지표로 하여 루트를 결정한다. 단어 데이타베이스는 DNS(Domain Name Servers)로부터 URL 어드레스를 획득하여 활용하거나, 간판 등을 대상물로 하는 때에는 지리적 위치 정보를 이용하여 존재 단어를 한정하는 수단도 고려된다. 결정된 루트 상의 문자를 함께 합하여 얻은 것은 도면 부호 "1009"의 문자행이고, 이것이 문자행 화상에 대한 인식 결과이다.

도 11은 문자행 인식의 처리 흐름도를 도시하고 있다. 먼저, 단계 1101에서는 입력 문자행 화상에 대하여 문자 패턴 후보가 되는 조합을 생성하고 네트워크를 구축한다. 다음에, 단계 1102에서는 각각의 문자 패턴 후보에 대하여 문자 인식을 행하고, 그들의 각각에 대응한 인식 결과와 유사도를 정보로서 가공한다. 그 후, 단계 1103에서 미리 축적되어 있는 단어 데이타베이스를 이용하여 네트워크 상의 루트 제약을 행한다. 다음에, 단계 1104에서 단어 데이타베이스 제약 및 문자 인식 결과의 유사도를 이용하여 네트워크 상의 최적 루트를 결정한다. 그 결과, 문자행의 인식 결과가 획득된다.

도 12는 2개 또는 그 이상의 순차적인 문자 인식 결과의 표시의 예를 도시하고 있다. 도면 부호 "1201"은 휴대 장치의 표시 화면이고, 도면 부호 "1202"는 마커이다. "ABCD PROJECT co."와 같은 도면 부호 "1203"의 문자행에 직사각형이 표시되어 인식 조작이 수행될 때, 직사각형 문자행에 대해 문자 순차 인식 처리가 행해진다. 인식 조작에서 모호성이 야기될 때, 2개 또는 그 이상의 인식 결과 후보가 도면 부호 "1204"의 팝업 메뉴로 표시된다. 도 12에서, 인식 결과 후보가 3개이고 정확한 대답이 후보 1인 경우, 조작자는 후보 1을 클릭하거나 숫자 "1"을 입력함으로써 후보 1을 선택할 것이다. 이와 달리, 사용자가 간단하게 손가락 또는 포인팅 물체로 터치 패널을 터치할 수도 있다. 그 결과, 정확한 인식 결과가 선택되어 네트워크를 통해 PC에 전송된다. 그 후, 선택된 문자 순차에 따라 처리가 수행된다.

전술한 수단을 사용함으로써, 조작자에 의해 확인된 문자행을 선택하고 문자 인식 결과로부터 정보 콘텐츠를 획득할 수 있게 된다.

본 발명에 따르면, 촬상 장치를 내장한 휴대 장치를 사용함으로써 소정 문자행이 기술되는 물체를 촬형하고 문자행에 기초하여 정보를 획득할 수 있다. 또한, 조작자가 소정 문자행을 선택할 때 휴대 장치의 조작을 용이하게 할 수 있다. 또한, 저해상도 촬상 장치가 사용되는 경우에도, 의사적으로 고해상도 화상을 생성하고 문자 인식 처리를 수행함으로써 인식율을 향상시킬 수 있다.

전술한 상세한 설명에는 본 발명의 원리, 바람직한 실시예 및 조작 모드가 설명되어 있지만, 보호받고자 하는 발명은 개시된 특정 실시예로 국한되지 않는다. 본 명세서에 개시된 실시예는 제한적인 것이 아니라 예시를 위한 것이다. 본 발명의 기술사상으로부터 일탈함이 없이 변형 및 변경이 가능하며, 또 등가의 구성도 이용될 수 있다. 따라서, 청구범위에 한정된 바와 같은 본 발명의 기술사상 및 정신에 부합하는 이러한 변형, 변경 및 등가물 모두는 본 발명의 범위내에 포함되는 것이다.

Claims

휴대 장치에 있어서,

화상을 캡쳐하는 수단;

캡쳐된 화상을 표시하는 수단;

캡쳐된 화상 중의 문자행 기재 영역을 자동적으로 추출하는 수단;

상기 추출 수단에 의해 추출된 문자행 기재 영역이 인식을 위해 처리될지를 확정하는 수단;

확정된 문자행 기재 영역에 기재된 문자행을 인식하는 수단;

인식 결과를 네트워크를 통해 전송하는 수단;

인식 결과에 기초하여 네트워크를 통해 피드백을 수신하는 수단

을 포함하며,

상기 확정 수단에 확정 신호가 입력될 때까지 상기 추출 수단은 캡쳐된 화상을 변동시키면서 상기 문자행 기재 영역을 연속하여 추출하고, 상기 표시 수단은 추출된 상기 문자행 기재 영역을 그에 상응하여 표시하는 것을 특징으로 하는 휴대 장치.
제1항에 있어서,

상기 표시 수단은 마커를 표시하고,

상기 추출 수단은 캡쳐된 화상 중의 패턴을 검출하고,

상기 마커에 가장 인접한 패턴들 중의 하나를 핵으로 하여 이웃 패턴을 연결함으로써 상기 문자행 기재 영역을 추출하는 것을 특징으로 하는 휴대 장치.
제2항에 있어서,

상기 마커는 이동 가능한 것을 특징으로 하는 휴대 장치.
제1항에 있어서,

상기 문자행 인식 수단에 의해 인식된 복수의 인식 후보를 제시하는 수단과;

인식 후보 중의 하나를 선택하는 수단을 더 포함하는 것을 특징으로 하는 휴대 장치.
제1항에 있어서,

확정된 문자행 기재 영역을 화소 보충, 평활화 및 2치화하는 해상도 증대 수단을 더 포함하는 것을 특징으로 하는 휴대 장치.
제2항에 있어서,

각각의 패턴은 캡쳐된 화상 중의 한 연결 성분의 외접 직사각형인 것을 특징으로 하는 휴대 장치.
휴대 장치 및 상기 휴대 장치에 네트워크를 통해 접속된 컴퓨터를 포함하는화상 처리 및 전송 시스템에 있어서,

상기 휴대 장치는,

화상을 캡쳐하는 수단;

캡쳐된 화상을 표시하는 수단;

캡쳐된 화상 중의 문자행 기재 영역을 자동적으로 추출하는 수단;

상기 추출 수단에 의해 추출된 문자행 기재 영역이 인식을 위해 처리될지를 확정하는 수단;

네트워크를 통해 데이타를 전송하는 수단; 및

인식 결과에 기초하여 상기 네트워크를 통해 피드백을 수신하는 수단

을 포함하고,

상기 확정 수단에 확정 신호가 입력될 때까지 상기 추출 수단이 캡쳐된 화상을 변동시키면서 상기 문자행 기재 영역을 연속하여 추출하고, 상기 표시 수단이 추출된 문자행 기재 영역을 그에 상응하여 표시하며;

상기 컴퓨터는 확정된 문자행 기재 영역에 기재된 문자행에 기초하여 네트워크를 통해 정보를 검색하고 검색 결과를 상기 휴대 장치에 전송하는 수단을 포함하며;

확정된 문자행 기재 영역에 기재된 상기 문자행을 인식하는 수단이 상기 휴대 장치 또는 상기 컴퓨터 중의 어느 하나에 배치되는 것을 특징으로 하는 화상 처리 및 전송 시스템.
제7항에 있어서,

상기 컴퓨터는,

인식 결과가 URL 어드레스, 메일 어드레스 또는 다른 문자열인지를 판별하는 수단;

판별 결과가 상기 URL 어드레스인 경우 상기 URL 어드레스에 의해 링크된 콘텐츠를 상기 휴대 장치에 전송하는 수단;

판별 결과가 상기 메일 어드레스인 경우 메일을 처리하기 위한 프로그램을 상기 휴대 장치에 전송하는 수단;

판별 결과가 상기 다른 문자열인 경우 상기 다른 문자열에 기초하여 상기 네트워크에서 정보를 검색하기 위한 검색 프로그램을 기동시키고 검색 결과를 상기 휴대 장치에 전송하는 수단

을 더 포함하는 것을 특징으로 하는 화상 처리 및 전송 시스템.
제7항에 있어서,

상기 휴대 장치가 상기 컴퓨터로부터 전송된 상기 검색 결과를 수신할 때에 요금을 부과하는 수단을 더 포함하는 것을 특징으로 하는 화상 처리 및 전송 시스템.
제1항에 있어서,

상기 표시 수단은 원격 카메라에 의해 캡쳐된 화상과 상기 네트워크를 통해상기 휴대 장치에 전송된 화상을 선택적으로 표시하며,

상기 표시 수단은 전송된 화상을 표시하고;

상기 추출 수단은 전송된 화상 중의 문자행 기재 영역을 추출하고;

상기 확정 수단에 확정 신호가 입력될 때까지 상기 추출 수단은 상기 전송된 화상을 변동시키면서 문자행 기재 영역을 연속하여 추출하고, 상기 표시 수단은 추출된 문자행 기재 영역을 그에 상응하여 표시하는 것을 특징으로 하는 휴대 장치.
제7항에 있어서,

상기 표시 수단은 원격 카메라에 의해 캡쳐된 화상과 상기 네트워크를 통해 상기 휴대 장치에 전송된 화상을 선택적으로 표시하며,

상기 표시 수단은 전송된 화상을 표시하고;

상기 추출 수단은 전송된 화상 중의 문자행 기재 영역을 추출하고;

상기 확정 수단에 확정 신호가 입력될 때까지 상기 추출 수단은 전송된 화상을 변동시키면서 문자행 기재 영역을 연속하여 추출하고, 상기 표시 수단은 추출된 문자행 기재 영역을 그에 상응하여 표시하는 것을 특징으로 하는 화상 처리 및 전송 시스템.
제7항에 있어서,

상기 휴대 장치에서는,

상기 표시 수단이 마커를 표시하고,

상기 추출 수단이 캡쳐된 화상 중의 패턴을 검출하고,

상기 마커에 가장 인접한 패턴들 중의 하나를 핵으로 하여 이웃 패턴을 연결함으로써 문자행 기재 영역을 추출하는 것을 특징으로 하는 화상 처리 및 전송 시스템.
제12항에 있어서,

상기 마커는 이동 가능한 것을 특징으로 하는 화상 처리 및 전송 시스템.
제7항에 있어서,

상기 휴대 장치는,

상기 문자행 인식 수단에 의해 인식된 복수의 인식 후보를 제시하는 수단; 및

인식 후보 중의 하나를 선택하는 수단을 더 포함하는 것을 특징으로 하는 화상 처리 및 전송 시스템.
제7항에 있어서,

상기 휴대 장치는 확정된 문자행 기재 영역을 화소 보충, 평활화 및 2치화하는 해상도 증대 수단을 더 포함하는 것을 특징으로 하는 화상 처리 및 전송 시스템.
제12항에 있어서,

각각의 패턴은 캡쳐된 화상 중의 한 연결 성분의 외접 직사각형인 것을 특징으로 하는 화상 처리 및 전송 시스템.
휴대 장치에 있어서,

화상을 캡쳐하는 수단;

캡쳐된 화상을 표시하는 수단;

상기 캡쳐된 화상 중의 문자행 기재 영역을 자동적으로 추출하는 수단;

상기 추출 수단에 의해 추출된 상기 문자행 기재 영역이 인식을 위해 처리될지를 확정하는 수단;

확정된 문자행 기재 영역을 화소 보충, 평활화 및 2치화하는 해상도 증대 수단; 및

해상도 증대된 문자행 기재 영역에 기재된 문자행을 인식하는 수단

을 포함하는 것을 특징으로 하는 휴대 장치.
제17항에 있어서,

상기 표시 수단은 마커를 표시하고,

상기 추출 수단은 캡쳐된 화상 중의 패턴을 검출하고,

상기 마커에 가장 인접한 패턴들 중의 하나를 핵으로 하여 이웃 패턴을 연결함으로써 상기 문자행 기재 영역을 추출하는 것을 특징으로 하는 휴대 장치.
제18항에 있어서,

상기 마커는 이동 가능한 것을 특징으로 하는 휴대 장치.
제18항에 있어서,

각각의 패턴은 캡쳐된 화상 중의 한 연결 성분의 외접 직사각형인 것을 특징으로 하는 휴대 장치.