JPH10134004A

JPH10134004A - 画像データ処理システム

Info

Publication number: JPH10134004A
Application number: JP8285620A
Authority: JP
Inventors: Toru Yamakita; 徹山北
Original assignee: Casio Computer Co Ltd
Current assignee: Casio Computer Co Ltd
Priority date: 1996-10-28
Filing date: 1996-10-28
Publication date: 1998-05-22

Abstract

(57)【要約】【課題】情報処理装置を用いた検索や翻訳などにおけ
るユーザインタフェイスの向上を計る。【解決手段】携帯端末１に内蔵されたカメラを用いて
文字を含んだ画像データを読み取る。サービスを指定
し、画像データをホスト端末３へ転送する（ステップＳ
１〜Ｓ３）。ホスト端末３は、受信した画像データに含
まれる文字を認識するとともに、その文字に所定の処理
（翻訳、検索等）を施す。ホスト端末３は、その処理結
果を携帯端末１に送信する（ステップＳ４〜Ｓ８）。携
帯端末１は、ホスト端末３から受信した処理結果を表示
する（ステップＳ９、Ｓ１０）。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、入力されたデータ
に対して所定の処理を施す情報処理システムに係わり、
特に、携帯端末を用いて入力された画像データを他の情
報処理装置に処理させるシステムに関する。

【０００２】

【従来の技術】情報処理装置を用いてデータベース検索
や言語翻訳などを実行する際は、通常検索したいキーワ
ードや翻訳したい文章またはフレーズをキーボード等か
ら入力する。そして、入力された文字列が指定されたア
プリケーションプログラム（検索プログラムや翻訳プロ
グラム）によって処理され、その結果がディスプレイに
表示される。

【０００３】データベース検索では、通常、ネットワー
クを介して接続されたデータベースにアクセスすること
によって検索結果を得る。また、言語翻訳は、スタンド
アロンで実行されることが多いが、近年ネットワーク上
のサーバマシンにその処理を依頼するケースも増えてき
ている。

【０００４】

【発明が解決しようとする課題】ところが、上述のよう
な処理に際してより簡単なユーザインタフェイスが求め
られる場合もある。たとえば、キー入力以外の方式で文
字列を入力したいと考えるユーザも多い。キー入力以外
の文字入力方式としては、専用のペンを用いて表示画面
上から手書き入力する形態が知られているが、細かいパ
ターンを描きにくい場合があり、また、既に紙面などに
書かれている内容を翻訳・検索したいときには、それを
もう一度ペン入力する必用があり面倒である。また、携
帯端末を用いて上述のような翻訳・検索処理を「何時で
も何処でも」行いたいと考えるユーザも多い。

【０００５】本発明の課題は、情報処理装置を用いた検
索や翻訳などにおけるユーザインタフェイスの向上を計
ることである。

【０００６】

【課題を解決するための手段】本発明の画像データ処理
システムは、画像データを取り込む携帯端末と、その携
帯端末によって取り込まれた画像データを受信し、画像
データに含まれる文字を認識し、上記携帯端末側で指定
されたサービスをその認識した文字に基づいて実行する
情報処理装置とを有する。上記構成によれば、携帯端末
は画像データ処理を実行することなく所望のサービスを
受けることができる。

【０００７】上記画像データはサービスを指定する文字
の画像を含む。情報処理装置は、その画像データに対し
てパターン認識処理を実行することによりその画像デー
タに含まれる文字を認識し、その認識した文字に対して
上記サービスを実行する。実行するサービスは、画像デ
ータに含まれる文字の言語翻訳、その文字をキーワード
としたデータベース検索等である。

【０００８】上記画像データは、携帯端末が備えるカメ
ラによって取り込まれる。即ち、携帯端末が備えるカメ
ラで所望の文字列を撮影し、上記情報処理装置にサービ
スを要求することにより、上記所望の文字列に対する処
理結果が得られる。

【０００９】

【発明の実施の形態】以下、本発明の実施形態について
図面を参照しながら説明する。図１は、本実施形態のシ
ステム構成図である。携帯端末１は、通信機能を備えて
おり、ネットワーク２に接続された他の装置にデータ処
理を依頼して、その結果を受け取って表示することがで
きる。携帯端末１は、最寄りの基地局を介して無線でデ
ータを送受信する方式、通信機能を持った装置（光リン
クユニット）との間でＩｒ（赤外線）通信などでデータ
を送受信する方式、または有線でデータを送受信する方
式でネットワーク２に接続される。

【００１０】ネットワーク２には、ホスト端末３が収容
されている。ホスト端末３は、サーバマシンであり、携
帯端末１から転送されてくる依頼に従ってデータ処理を
実行する。また、ホスト端末３は、必要に応じて、他の
サーバ（翻訳サーバ４、検索サーバ５など）に処理を依
頼する。そして、ホスト端末３は、処理結果を所定の端
末（主に、処理依頼を発行した携帯端末１）に転送した
り、あるいはその処理結果をホスト端末３内に蓄積す
る。なお、ネットワーク２には、他にも多数の端末（個
人用ＰＣ６など）が収容されており、ホスト端末３は、
これら他の端末からもアクセス可能である。

【００１１】図２は、本実施形態のシステムの全体フロ
ーチャートである。本実施形態のシステムは、携帯端末
１においてカメラを用いて取り込んだ画像データをホス
ト端末３に転送して解析（パターン認識、文字認識）さ
せ、その解析結果に所定のサービスを提供して携帯端末
１に返送するものである。

【００１２】ステップＳ１では、携帯端末１に内蔵され
た（あるいは携帯端末１に接続された）カメラを用いて
画像データを読み取る。ここでは、紙面に手書きされた
メモ等、もしくは印刷された文書の一部を読み取るもの
とする。ステップＳ２では、サービスを指定する。サー
ビスとしては、たとえば、ステップＳ１で読みとった画
像データに含まれる文字（単語、フレーズ、文章）の翻
訳、その文字をキーワードとしたデータベース検索など
を指定する。ステップＳ３では、ステップＳ１で読み取
った画像データをホスト端末３へ送信し、ステップＳ２
で指定したサービスを要求する。

【００１３】ホスト端末３は、ステップＳ４で携帯端末
１から画像データとサービス要求を受信すると、ステッ
プＳ５において、受信した画像データを処理するための
アプリケーションプログラムを起動する。ステップＳ６
では、受信した画像データに対してパターン認識処理を
実行してその中に含まれる文字を認識する。ステップＳ
７では、携帯端末１において指定されたサービスを実行
する。すなわち、ホスト端末３は、必要に応じて翻訳サ
ーバ４や検索サーバ５に処理を依頼しながら、画像デー
タに含まれている文字を翻訳したり、あるいはその文字
をキーワードとしてデータベースを検索したりする。ス
テップＳ８では、ホスト端末３は、ステップＳ７による
処理結果を携帯端末１に送信する。

【００１４】携帯端末１は、ステップＳ９でホスト端末
３から処理結果を受信すると、ステップＳ１０において
その処理結果を自己の表示部に表示する。このように、
本実施形態のシステムでは、翻訳または検索等を行いた
いときには、所望の文字（処理対象の文字）を含む記録
面をカメラで撮影して画像データとしてホスト端末３に
送信するだけでよい。したがって、ユーザは、所望の文
字を紙などにメモ書きしてそれをカメラで撮影するだけ
で翻訳サービスや検索サービスを受けることができる。
また、携帯端末１は、上述のようなサービスを受けるた
めの構成用件として、画像データを取り込む機能、通信
機能、およびデータを表示する機能を備えればよいの
で、軽量化、低コスト化が計れる。

【００１５】図３は、携帯端末１の外観図である。携帯
端末１は、ＬＣＤ表示部１１、カメラ１２、ＩＣカード
用スロット１３、無線通信用アンテナ１４を備えてい
る。また、他の通信方式をサポートするために、Ｉｒ通
信のためのソケットや、有線通信用のソケットなども備
えている。ＬＣＤ表示部１１は、タッチパネル構成であ
り、携帯端末１は手書き入力情報を処理することができ
る。

【００１６】図４は、携帯端末１の構成図である。ＣＰ
Ｕ２１は、記憶装置２２（ＲＯＭおよびＲＡＭ）に格納
されているプログラムを実行する。ＣＰＵ２１と記憶装
置２２とはバス２３を介して互いに接続されている。

【００１７】記憶装置２２は、半導体メモリ、磁気的記
録媒体、あるいは光学的記録媒体で構成され、プログラ
ムおよびデータ等を格納している。記憶装置２２は、携
帯端末１に固定的に設けたものであってもよいし、着脱
自在に装着するものであってもよい。

【００１８】記録媒体ドライバ２４は、バス２３に接続
されており、可搬性記録媒体（半導体メモリ、磁気ディ
スク、光ディスク、光磁気ディスクを含む）２５に格納
されているデータを読み出したり、あるいは可搬性記録
媒体２５にデータを書き込む装置である。可搬性記録媒
体２５の一例としては、ＩＣカードを想定する。ＣＰＵ
２１は、可搬性記録媒体２５に格納されているプログラ
ムを実行することもできる。

【００１９】なお、記憶装置２２に記録するプログラム
およびデータ等は、通信回線などを介して接続された他
の機器から受信して記録する構成にしてもよく、さら
に、ＣＰＵ２１が他の機器側に設けられた記憶装置に格
納されているプログラムおよびデータ等を通信回線など
を介して使用するようにしてもよい。

【００２０】ＬＣＤ表示部１１に対応するユニットは、
液晶ディスプレイ（ＬＣＤ）３１、液晶ディスプレイ３
１に表示すべき情報を格納するメモリ３２、ＬＣＤ制御
部３４の制御に従ってメモリ３２に格納されている情報
を液晶ディスプレイ３１に出力するＬＣＤドライバ３
３、メモリ３２およびＬＣＤドライバ３３を制御するＬ
ＣＤ制御部３４、タッチパネル部３５、およびタッチパ
ネル部３５が検出した入力情報をＣＰＵ２１に通知する
タッチパネル制御部３６から構成される。

【００２１】カメラ１２は、たとえばＣＣＤカメラであ
り、その出力はＡ／Ｄコンバータ３７によってビットマ
ップ形式のデジタルデータに変換されてメモリ３８に書
き込まれる。カメラ制御部３９は、ＣＰＵ２１の指示に
従って、メモリ３８に保持されている画像データをバス
２３に出力する。

【００２２】通信制御部４０は、携帯端末１からデータ
を送出する際には、ＣＰＵ２１の指示に従って送信パケ
ットを生成して無線トランシーバ４１、４２または有線
トランシーバ４３に渡す。また、データを受信する際に
は、無線トランシーバ４１、４２、または有線トランシ
ーバ４３を介して受信したパケットに格納されているデ
ータをバス２４上に出力する。無線トランシーバ４１
は、図３に示した無線通信用アンテナ１４に接続されて
おり、無線基地局４との間で無線データを授受する。無
線トランシーバ４２は、Ｉｒ通信を行うための送受信機
であり、また、有線トランシーバ４３は例えばモデムで
ある。無線トランシーバ４２および有線トランシーバ４
３は、オプションで着脱される。なお、携帯端末１は、
さらに時計４４を備えている。

【００２３】図５は、携帯端末１においてカメラ撮影に
より取り込んだ画像データをホスト端末３に転送して所
望のサービスを要求する処理のフローチャートであり、
図２のステップＳ１〜Ｓ３の詳細を示すものである。こ
のフローチャートで示す各機能を実現するプログラム
は、ＣＰＵ２１が読み取り可能なプログラムコードの形
態で記憶装置２２に格納されている。

【００２４】以下のフローチャートは、携帯端末１が入
力待ち状態において何らかの入力を検出した後の処理を
示している。また、この実施例では、ユーザがメモ書き
した文字をカメラ撮影する例を説明する。

【００２５】ステップＳ１１では、検出した入力がカメ
ラ１２からの入力であるか調べ、カメラ１２からの入力
であればステップＳ１２以降の処理を実行し、他の入力
であれば、ステップＳ２３においてその入力に対応する
他の処理を実行する。このように、ユーザが携帯端末１
のカメラ１２を用いて撮影すると、ステップＳ１２以降
の処理が開始される。なお、カメラ入力があったときに
は、時計４４の出力である時刻情報を保持しておく。

【００２６】ステップＳ１２では、カメラ１２によって
取り込まれた画像データをＬＣＤ表示部１１に表示す
る。すなわち、カメラ１２によって取り込まれた画像デ
ータをＬＣＤ表示部１１のメモリ３２に書き込み、その
画像データを液晶ディスプレイ３１に表示する。このこ
とにより、ユーザは、撮影した画像をその場で見ること
ができる。図６(a) は、ユーザがカメラ撮影により取り
込んだ画像データの表示例である。ここでは、ユーザが
紙などに「ＰＨＳ」および「ＩＳＤＮ」とメモ書きして
それをカメラ撮影した場合の例を示している。尚、表示
画面の右下に「修正終了」とあるのは、入力指示のため
のボタンである。

【００２７】ここで、ステップＳ１２の処理によって図
６(a) に示す画面が表示された際のユーザの動作例を説
明する。ユーザは、表示画面の内容を修正したい場合に
は、手書きペンを用いてＬＣＤ表示部１１上で修正内容
を手書き入力する。例えば、「ＰＨＳ」という用語のみ
を処理対象とする場合には、図６(b) に示すように、Ｌ
ＣＤ表示部１１上で手書きペンを用いて「ＰＨＳ」を囲
むような枠を手書き入力する。あるいは、図６(c) に示
すように、不要な表示（「ＰＨＳ」を処理対象とする場
合には、「ＩＳＤＮ」が不要である）に対して手書きペ
ンを用いて削除マークを手書きする。なお、処理対象と
は、翻訳の対象となる文字列、または検索に際してのキ
ーワードとなる文字列等を言う。ユーザは、修正が終了
すると、修正終了ボタンを手書きペンで押圧する。

【００２８】上記ユーザの動作に伴ってステップＳ１３
およびＳ１４が実行される。ステップＳ１３において修
正終了ボタンが押圧されたことを検出すると、ステップ
Ｓ１４へ進む。なお、ユーザがＬＣＤ表示部１１に表示
されている画像データを修正することなく修正終了ボタ
ンを押圧したときには、ステップＳ１４がスキップされ
てステップＳ１５へ進む。

【００２９】ステップＳ１４では、ユーザによるペン入
力指示に従って画像データを更新する。すなわち、ペン
入力によってＬＣＤ表示部１１上で押圧された軌跡パタ
ーンをビットマップ形式のデータとしてメモリ３２に上
書きする。このとき、メモリ３２には現在ＬＣＤ表示部
１１に表示されている画像データが格納されているの
で、カメラ撮影によって取り込まれた画像データとペン
入力によって書き込まれた軌跡パターンとが合成され
る。

【００３０】ステップＳ１５では、ユーザに所望のサー
ビスを指定させるための画面をＬＣＤ表示部１１に表示
する。このとき、メモリ３２に格納されている画像デー
タを記憶装置２２のＲＡＭに待避する。そして、ユーザ
に所望のサービスを指定させるための画面の画像データ
を記憶装置２２のＲＯＭから読み出してメモり３２に書
き込む。ユーザに所望のサービスを指定させるための画
面の一例を図７(a) に示す。携帯端末１は、この後ユー
ザからの指示を待つ状態に遷る。

【００３１】ここで、ユーザがサービスを指定する手順
を説明する。サービス指定画面は、図７(a) に示すよう
に、６つのボタンを有している。これら６つのボタン
は、図６に表示されていた画像データに対する処理を指
定させるものである。

【００３２】「翻訳」は、画像データに含まれている文
字などを所定の言語に翻訳するサービスを指定するため
のボタンである。「検索」は、画像データに含まれてい
る文字などをキーワードとしてデータベース検索などを
行うサービスを指定するためのボタンである。「認識」
は、画像データを解析して文字認識を行うサービスを指
定するためのボタンである。翻訳サービスおよび検索サ
ービスは、認識サービスを含んでいる。「イメージ」
は、携帯端末１で取り込んだ画像データをホスト端末３
に格納しておくサービスを指定するためのボタンであ
る。「保存」は、携帯端末１で取り込んだ画像データを
携帯端末１側で保存することを指定するためのボタンで
ある。「キャンセル」は、画像データを廃棄することを
指定するためのボタンである。ユーザは、上記６つのボ
タンの中の１つを押圧する。

【００３３】翻訳ボタンが押圧されたときには、図７
(b) に示す言語指定画面がＬＣＤ表示部１１に表示され
る。ユーザが所望の翻訳言語を指定すると、図７(c) に
示す表示指定画面が表示される。表示指定画面は、ホス
ト端末３に依頼する翻訳結果を携帯端末１に表示させる
か否かをユーザに指定させるための画面である。

【００３４】検索ボタンが押圧されたときには、図７
(d) に示す検索先指定画面がＬＣＤ表示部１１に表示さ
れる。この状態でユーザが所望の検索先を指定すると、
この場合も図７(c) に示す表示指定画面が表示される。

【００３５】このように、ユーザは、ＬＣＤ表示部１１
の表示画面に従ってサービスを指定する。上述のように
してユーザがサービスを指定すると、ステップＳ１６以
下の処理が実行される。まず、ステップＳ１６では、サ
ービスコードを認識する。この処理は、図７(a) のサー
ビス指定画面でユーザがどのボタンを押圧したかを検出
するものである。ステップＳ１７では、指定されたサー
ビスコードが「翻訳」「検索」「認識」または「イメー
ジ格納」であるかを判断する。これら４つのサービス
は、ホスト端末３に処理を依頼するものであるので、ス
テップＳ１７は、実質的には、ホスト端末３に処理を依
頼する必要があるのか否かを判断するステップである。

【００３６】ホスト端末３に処理を依頼する必要があれ
ば（ステップＳ１７：Ｙｅｓ）、ステップＳ１８でパケ
ットを作成し、ステップＳ１９でそのパケットをホスト
端末３に送出する。ホスト端末３に処理を依頼する必要
がなければ（ステップＳ１７：Ｎｏ）、ステップＳ２０
において、ユーザが保存ボタンを押圧したかを判断す
る。ユーザが保存ボタンを押圧したのであれば、ステッ
プＳ２１で携帯端末１側で画像データを保存する。一
方、ユーザが保存ボタンを押圧したのでなければ、ユー
ザがキャンセルボタンを押圧したものと見なし、ステッ
プＳ２２で画像データを廃棄する。

【００３７】図８は、携帯端末１から送出されるパケッ
トの構造を示す図である。このパケットは、図５に示す
ステップＳ１８において作成される。各パケットは、ヘ
ッダ部およびデータ部から構成される。ヘッダ部は、送
信元アドレスおよび着信先アドレスなどを格納する。送
信元アドレスおよび着信先アドレスとしてどのようなア
ドレス体系のアドレスを格納するのかは、本実施形態が
適用されるネットワーク構成によって決まり、たとえ
ば、TCP/IP通信では、ＩＰアドレスが格納される。

【００３８】データ部には、アプリケーション識別情
報、端末ＩＤ、画像データ、サービスコード、付加情
報、表示フラグ、時刻情報などが格納される。アプリケ
ーション識別情報は、着信先の端末（ここでは、ホスト
端末３）において起動すべきアプリケーションプログラ
ムを識別する情報である。本実施形態においては、画像
データ解析・認識プログラムを識別する情報が設定され
る。なお、アプリケーション識別情報は、TCP/IP通信で
は、ポート番号として指定される。

【００３９】端末ＩＤは、携帯端末１の識別番号であ
る。画像データは、カメラ撮影によって取り込んだ画像
データであり、パケットに格納されるときには圧縮され
る。なお、図６(b) または(c) のように手書きペンによ
る書込みがあった場合には、そのペン入力の軌跡パター
ンも画像データとして合成されている。

【００４０】サービスコードは、例えば図９(a) および
(b) に示すような８ビットの情報であり、「翻訳」「検
索」「認識」または「イメージ格納」を識別する。付加
情報は、図９(a) 、(c) および(d) に示すように、各サ
ービスの内容を詳細に指定する情報である。たとえば、
翻訳サービスであれば、翻訳言語を識別する。また、検
索サービスであれば、検索先を識別する。検索先として
は、公衆に公開されている各種データベースの他に、各
ユーザが作成する個人データベースにもアクセスでき
る。表示フラグは、ホスト端末３における処理結果を携
帯端末１に表示させるか否かを指定する１ビットの情報
であり、例えば、図７(c) の画面上で「はい」が選択さ
れると、「１」が設定される。時刻情報は、ホスト端末
３へ送出される画像データがカメラ撮影された時刻を表
す情報である。

【００４１】図１０は、図５に示すステップＳ１８のパ
ケット作成処理の詳細フローチャートである。ステップ
Ｓ３１では、ホスト端末３へ転送する画像データを圧縮
し、データ部に格納する。ステップＳ３２では、上記画
像データをカメラ撮影した時刻を表す時刻情報を設定す
る。ステップＳ３３〜３５では、図９に示すように、サ
ービスコード、付加情報および表示フラグをそれぞれデ
ータ部の所定領域に設定する。ステップＳ３６では、ア
プリケーション識別情報として、画像データ解析・認識
プログラムを識別する情報を設定する。ステップＳ３７
では、携帯端末１を識別する情報（自機を識別する情
報）として端末ＩＤを設定する。さらに、ステップＳ３
８においてヘッダ部を作成する。ヘッダ部には、少なく
とも、送信元アドレスとして携帯端末１のアドレス（自
機のアドレス）、および着信先アドレスとしてホスト端
末３のアドレスを設定する。

【００４２】上述のようにして作成されたパケットは、
ネットワーク２に送出される。ネットワーク２は、パケ
ットの着信先アドレスに従ってそのパケットをホスト端
末３へ転送する。以下では、このパケットを受信して処
理するホスト端末３について説明する。

【００４３】図１１は、ホスト端末３の構成図である。
記憶装置５１は、半導体メモリ、磁気的記録媒体、ある
いは光学的記録媒体で構成され、プログラムおよびデー
タ等を格納している。記憶装置５１は、ホスト端末３に
固定的に設けたものであってもよいし、着脱自在に装着
するものであってもよい。

【００４４】記録媒体ドライバ５２は、可搬性記録媒体
（半導体メモリ、磁気ディスク、光ディスク、光磁気デ
ィスク等を含む）５３に格納されているデータを読み出
したり、あるいは可搬性記録媒体５３にデータを書き込
む装置である。通信制御部５４は、ネットワークとの間
でのデータの授受を制御するユニットである。各携帯端
末との間のパケットの送受信もここで制御される。

【００４５】ＣＰＵ５５は、記憶装置５１または可搬性
記録媒体５３からプログラム等をメモリ５６にロードし
て実行する。なお、記憶装置５１に記録するプログラム
およびデータ等は、可搬性記録媒体５３に格納されてい
たものを書き込んだものであってもよく、また、通信回
線などを介してネットワーク上の他の機器から受信して
記録する構成にしてもよい。さらに、ＣＰＵ５５は、ネ
ットワーク上に設けられた他の記憶装置に格納されてい
るプログラムおよびデータ等を通信回線などを介して使
用するようにしてもよい。

【００４６】図１２は、ホスト端末３の処理を説明する
フローチャートであり、図２のステップＳ４〜Ｓ８の詳
細を示すものである。ここでは、ホスト端末３が携帯端
末１から送出されたパケット（図５のフローチャートの
処理によって作成されたパケット）を受信し、そのデー
タ部に設定されている情報に従って画像データを処理す
る動作を説明する。

【００４７】ステップＳ４１でパケットを受信すると、
ステップＳ４２でそのパケットに設定されている端末Ｉ
Ｄを調べることによってそのパケットを送出した端末を
認識する。ここでは、携帯端末１が認識されるものとす
る。続いて、ステップＳ４３では、受信したパケットに
設定されているアプリケーション指定情報に従ってアプ
リケーションプログラムを起動する。このことにより、
画像データを解析・認識するプログラムが起動される。

【００４８】ステップＳ４４以降は、画像データ解析・
認識プログラムによる処理である。ステップＳ４４で
は、受信したパケットに設定されているサービスコード
を認識する。続いて、ステップＳ４５では、そのサービ
スコードが「翻訳」、「検索」または「認識」であるか
を調べる。サービスコードが「翻訳」、「検索」または
「認識」であればステップＳ４６以降の処理を実行し、
そうでなければステップＳ５４へ進む。

【００４９】ステップＳ４６では、受信したパケットに
格納されていた画像データを解凍する。ステップＳ４７
では、解凍した画像データに対してパターン認識処理を
施してその中に含まれている文字を認識する。ステップ
Ｓ４８では、ステップＳ４７で認識した文字を文字コー
ドに変換する。

【００５０】ステップＳ４９では、サービスコードが
「翻訳」であるかを調べ、「翻訳」であれば図１３に示
す翻訳処理を実行し、「翻訳」でなければステップＳ５
０へ進む。ステップＳ５０では、サービスコードが「検
索」であるかを調べ、「検索」であれば図１４に示す検
索処理を実行し、「検索」でなければステップＳ５１へ
進む。ステップＳ５１では、サービスコードが「認識」
であるか調べ、「認識」であればステップＳ５２におい
てステップＳ４７およびＳ４８による処理結果を端末Ｉ
Ｄに対応づけて記憶装置５１の所定領域に格納し、「認
識」でなければステップＳ５３へ進んでエラー処理を実
行する。

【００５１】ステップＳ５４では、サービスコードが
「イメージ格納」であるか調べ、「イメージ格納」であ
ればステップＳ５５においてパケットに格納されていた
画像データを端末ＩＤに対応づけて記憶装置５１の所定
領域に格納する。一方、「イメージ格納」でなければス
テップＳ５６へ進んで設定されていたサービスコードに
対応する処理を実行する。

【００５２】図１３は、翻訳処理のフローチャートであ
る。ステップＳ６１では、ホスト端末３は、ステップＳ
４８で得られた文字コードおよび受信パケットに設定さ
れていた付加情報（翻訳タイプ）を翻訳サーバ４に転送
することによって翻訳処理を依頼する。以下のステップ
Ｓ６２〜Ｓ６５は、翻訳サーバ４の処理である。

【００５３】ステップＳ６２では、付加情報から翻訳タ
イプを認識する。すなわち、翻訳元の言語および翻訳先
の言語を認識する。続いて、ステップＳ６３で１つ以上
の文字コード（文字列）から単語を切り出し、ステップ
Ｓ６４において、公知の手法により翻訳を実行する。そ
して、ステップＳ６５では、翻訳結果をホスト端末３へ
渡す。

【００５４】ステップＳ６６において、ホスト端末３
は、受信パケットに設定されている表示フラグを調べ
る。表示フラグが「表示する」に設定されていれば、ス
テップＳ６７で翻訳結果をパケットに格納し、ステップ
Ｓ６８でそのパケットを携帯端末１に送出する。このこ
とにより、携帯端末１は、携帯端末１に内蔵されるカメ
ラ１２で撮影した画像データに含まれていた文字の翻訳
結果を受け取る。携帯端末１は、この翻訳結果をＬＣＤ
表示部１１に表示する。一方、表示フラグが「表示せ
ず」に設定されていれば、ステップＳ６９において、翻
訳結果を端末ＩＤに対応づけて記憶装置５１の所定領域
に格納する。

【００５５】図１４は、検索処理のフローチャートであ
る。ステップＳ７１では、ホスト端末３は、ステップＳ
４８で得られた文字コードおよび受信パケットに設定さ
れていた付加情報（検索先）を検索サーバ５に転送する
ことによって検索処理を依頼する。以下のステップＳ７
２〜Ｓ７４は、検索サーバ５の処理である。

【００５６】ステップＳ７２では、付加情報から検索先
のデータベースを認識する。すなわち、どのデータベー
スにアクセスするのかを認識する。続いて、ステップＳ
７３では、受け取った文字列をキーワードとして公知の
手法によりデータベース検索を実行する。そして、ステ
ップＳ７４で検索結果をホスト端末３へ渡す。

【００５７】ステップＳ７５において、ホスト端末３
は、受信パケットに設定されている表示フラグを調べ
る。表示フラグが「表示する」に設定されていれば、ス
テップＳ７６で検索結果をパケットに格納し、ステップ
Ｓ７７でそのパケットを携帯端末１に送出する。このこ
とにより、携帯端末１は、携帯端末１に内蔵されるカメ
ラ１２で撮影した画像データに含まれていた文字をキー
ワードとしたデータベース検索の検索結果を受け取る。
携帯端末１は、この検索結果をＬＣＤ表示部１１に表示
する。一方、表示フラグが「表示せず」に設定されてい
れば、ステップＳ７８において、検索結果を端末ＩＤに
対応づけて記憶装置５１の所定領域に格納する。

【００５８】なお、図１２に示したステップＳ４７のパ
ターン認識処理は、公知の手法を用いるが、図６(b) に
示すように、手書きペンで書き込まれた枠状のパターン
の内側の領域に存在する文字のみを処理対象とする方式
の場合には、パターン認識処理として図１５に示すフロ
ーチャートの処理が実行される。

【００５９】ステップＳ８１では、受信パケットに格納
されていた画像データにおいて所定の領域を取り囲む枠
状のパターンをサーチする。ステップＳ８２では、枠状
のパターンが存在するか否かを判断する。存在するので
あれば、ステップＳ８３において、その枠状のパターン
内の画像データのみに対して画像認識処理を実行して文
字を認識する。一方、枠状のパターンが存在しないので
あれば、すべての画像データに対して認識処理を実行す
る。上記方式を採用することにより、カメラ撮影で取り
込まれた画像データの中から翻訳処理または検索処理な
どに不要な文字を簡単に除外できる。さらに、削除マー
クの場合は、削除マークを検出し、この削除マークに該
当する文字を除いて文字認識する。なお、認識対象から
除外する処理をホスト側で行っているが、端末側でこれ
らの処理を行い、認識すべきデータをホスト側へ送信す
るようにしてもよい。

【００６０】図１６は、端末ＩＤ毎に格納されるデータ
を模式的に示す図である。これらのデータは、図１２の
ステップＳ５２、Ｓ５５、図１３のステップＳ６９、お
よび図１４のステップＳ７８によって記憶装置５１の所
定領域に格納される。このとき、受信パケットに設定さ
れていた時刻情報を用いて撮影時刻順にデータを格納し
てもよい。上記データは、携帯端末１からアクセスでき
るだけでなく、ネットワーク２に接続される他の端末
（個人用ＰＣ６など）からもアクセスできるように構成
されている。

【００６１】ところで、上記実施形態では、携帯端末と
して、図３に示すような手書き入力機能を持った手帳型
のものを採り上げて説明したが、本発明は、この形態に
限定されるものではなく、たとえば図１７に示すような
腕時計型の端末装置であってもよい。

【００６２】図１７に示すように、携帯端末６１は、カ
メラ６２を備え、たとえば紙面６３上にペン６４で手書
きされたメモ等もしくは印刷された文書の一部を画像デ
ータとして取り込むことができる。また、この携帯端末
６１は、通信機能を備えており、図１に示すネットワー
ク２を介してホスト端末３とデータを送受信する。な
お、形態端末６１の構成は、基本的に図４に示したもの
と同じである。

【００６３】携帯端末６１は、そのサイズを考えると、
図３に示す携帯端末１のようなペン入力機能等を持たせ
ることは困難である。このため、手帳型の携帯端末１で
は、サービスの指定（カメラ撮影によって取り込んだ画
像データにどのような処理を施すのかについての指定）
を図７のような画面を表示して入力させていたが、携帯
端末６１では、同様の手順でサービスを指定することが
難しい。この点を考慮し、携帯端末６１では、翻訳また
は検索対象の文字等といっしょにホスト端末３に依頼す
るサービス種別も画像データとしてカメラ６２で取り込
み、ホスト端末３で画像データのパターン認識をする際
にホスト端末３がユーザの指定するサービス種別を認識
する方式とする。

【００６４】図１８は、サービス指定方法の例を示す図
である。ここでは、「同報通信」という言葉をホスト端
末３に翻訳させる例を説明する。図１８(a) に示す手法
においては、ユーザが紙面６３に「同報通信」と書くと
ともに、ホスト端末３に依頼するサービス種別として
「翻訳」と書く。さらに、翻訳対象文字とサービス種別
文字とを識別するために、サービス種別を指定する文字
の両端をなどの記号で囲む。そして、カメラ６２を
用いてこれらの文字および記号をまとめて画像データと
して取り込んでホスト端末３へ転送する。

【００６５】図１８(b) に示す手法では、この場合も紙
面６３に「同報通信」及び「翻訳」と書くが、翻訳対象
文字とサービス種別文字とを識別するために、色情報を
利用する。すなわち、ここでは、サービス種別は赤色等
で記入し、翻訳対象を黒色で記入する。この場合も、カ
メラ６２を用いてこれらの文字等をまとめて画像データ
として取り込んでホスト端末３へ転送する。

【００６６】図１９は、携帯端末６１の動作フローチャ
ートである。ここでは、画像データを取り込んでホスト
端末３に処理を依頼（サービスを要求）する際の最低限
の機能を示す。なお、このフローチャートで示す各機能
を実現するプログラムは、ＣＰＵ２１が読み取り可能な
プログラムコードの形態で記憶装置２２に格納されてい
る。

【００６７】入力待ち状態において入力を検出すると、
ステップＳ９１でカメラ６２からの入力であるかを調
べ、カメラ入力であればステップＳ９２でパケットを作
成してステップＳ９３でそのパケットをホスト端末３に
送出する。一方、カメラ入力以外の入力であれば、ステ
ップＳ９４でその入力に対応する処理を実行する。ステ
ップＳ９２で作成するパケットは、基本的に図８に示す
ものと同じであるが、サービスコード等は画像データの
中に含まれている。

【００６８】図２０は、携帯端末側で図１８(a) もしく
は図１８(b) に示す手法でサービス種別を指定した際の
ホスト端末３の処理を説明するフローチャートである。
ここでは、ホスト端末３が携帯端末６１から送出された
パケット（図１９のフローチャートの処理によって作成
されたパケット）を受信し、そのデータ部に設定されて
いる情報に従って画像データを処理する動作を説明す
る。

【００６９】ステップＳ１０１〜Ｓ１０３は、図１２に
示すステップＳ４１〜Ｓ４３と同じである。ステップＳ
１０４では、受信パケットのデータ部に格納されている
画像データに対してパターン認識処理を実行し、その中
から特定の記号もしくは色を検出する。ステップＳ１０
５では、検出した記号の内側の領域の画像データもしく
は特定の色に対して文字認識処理を実行し、ユーザが指
定したサービスを認識する。図１８(a) もしくは図１８
(b) に示した例では、「翻訳」という文字を検出し、ユ
ーザが翻訳サービスを要求していることを認識する。

【００７０】ステップＳ１０６では、認識されたサービ
スに従った処理を実行する。なお、ステップＳ１０６の
処理は、図１２〜図１４のステップＳ４８以降の処理に
相当する。この結果、たとえば、携帯端末６１において
取り込んだ画像データが図１８(a) もしくは図１８(b)
に示す文字等であった場合、「同報通信」が”multi-ca
st communication ”に翻訳される。そして、ステップ
Ｓ１０７において、処理結果をパケットに格納して携帯
端末６１に送出する。

【００７１】携帯端末６１は、ホスト端末３による処理
結果が格納されたパケットを受信すると、その処理結果
を表示する。このように、携帯端末６１は、カメラ６２
で撮影した画像データに所定のサービスを施した結果
（この例では、翻訳結果）を表示することができる。

【００７２】なお、上記実施形態において、ホスト端末
３において実行される処理プログラム、すなわち、図１
２〜図１５、図２０のフローチャートで示す各機能を実
現するプログラム、および携帯端末１または６１から転
送されてくるコマンドを解釈して処理するプログラム等
は、ＣＰＵ５５が読み取り可能なプログラムコードの形
態で記憶装置５１あるいは可搬性記録媒体５３に格納さ
れている。あるいは、ネットワークを介して接続される
他の装置に格納されているものを利用する。

【００７３】なお、上記実施形態では、カメラを用いて
画像データを取り込む構成を示したが、本発明はこの構
成に限定されず、たとえば、イメージスキャナを用いて
読み込んだ画像データをホスト端末に転送するようにし
てもよい。

【００７４】このように、本実施形態の画像データ処理
システムは、携帯端末で取り込んだ画像データをホスト
端末へ転送し、ホスト端末がその画像データに含まれて
いる文字を認識して処理する構成である。このため、携
帯端末には、画像データなどを取り込んでホスト端末へ
転送する機能、ホスト端末３に処理を依頼する機能、お
よびホスト端末から転送されてくるデータを表示する機
能のみを持たせればよい。すなわち、携帯端末は、高速
処理が要求される高精度のパターン認識処理や各種処理
を実行する必用がない。このため、携帯端末は、大容量
のメモリや高性能プロセッサを設けることなく、高度な
画像処理結果を得ることができる。

【００７５】

【発明の効果】本発明のシステムは、携帯端末が備える
カメラ等で所望の文字列を含む記録面を画像データとし
て取り込み、ホスト端末に必用なサービスを要求するこ
とにより、上記所望の文字列に関する翻訳や検索などの
処理結果が得られる。このように、操作性を向上させた
ユーザインタフェイスを提供する。

【００７６】高速処理が要求される画像データ処理、特
にパターン認識処理や文字認識を携帯端末側で実行しな
いので、携帯端末は、大容量のメモリや高性能プロセッ
サを設けることなく、高度な画像データ処理結果を得る
ことができる。

【図面の簡単な説明】

【図１】本実施形態のシステム構成図である。

【図２】本実施形態のシステムの全体フローチャートで
ある。

【図３】携帯端末の外観図である。

【図４】携帯端末の構成図である。

【図５】携帯端末においてカメラ撮影により取り込んだ
画像データをホスト端末に転送して所望のサービスを要
求する処理のフローチャートである。

【図６】(a) は、カメラ撮影した画像データを携帯端末
の表示部に表示した例であり、(b) および(c) は、携帯
端末上で画像データを修正する動作例を説明する図であ
る。

【図７】ユーザに所望のサービスを指定させるための画
面例を示す図である。

【図８】携帯端末から送出されるパケットの構造を示す
図である。

【図９】パケットに設定される各種情報を説明する図で
ある。

【図１０】パケット作成処理の詳細フローチャートであ
る。

【図１１】ホスト端末の構成図である。

【図１２】ホスト端末の処理を説明するフローチャート
である。

【図１３】翻訳処理のフローチャートである。

【図１４】検索処理のフローチャートである。

【図１５】パターン認識処理の一実施例のフローチャー
トである。

【図１６】端末ＩＤ毎に格納されるデータを模式的に示
す図である。

【図１７】腕時計型の携帯端末の外観図である。

【図１８】サービス指定方法の例を示す図である。

【図１９】図１７に示す携帯端末の動作フローチャート
である。

【図２０】図１８(a) もしくは図１８(b) に示すサービ
ス指定方法に対応するホスト端末の処理を説明するフロ
ーチャートである。

【符号の説明】

１、６１携帯端末２ネットワーク３ホスト端末４翻訳サーバ５検索サーバ１１ＬＣＤ表示部１２、６２カメラ２１ＣＰＵ２２記憶装置２３バス２４記録媒体ドライバ２５可搬性記録媒体３１液晶ディスプレイ３５タッチパネル部４０通信制御部４１、４２無線トランシーバ４３有線トランシーバ４４時計５１記憶装置５２記録媒体ドライバ５３可搬性記録媒体５４通信制御部５５ＣＰＵ５６メモリ

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁶ 識別記号ＦＩＨ０４Ｂ 7/26 １０９Ｔ

Claims

【特許請求の範囲】

【請求項１】画像データを取り込む携帯端末と、該携帯端末によって取り込まれた画像データを受信し、
画像データに含まれる文字を認識し、上記携帯端末側で
指定されたサービスをその認識した文字に基づいて実行
する情報処理装置と、を有する画像データ処理システム。
【請求項２】上記画像データはサービスを指定する文
字の画像を含んでおり、上記情報処理装置は、上記画像データに対してパターン
認識処理を実行することにより該画像データに含まれる
文字を認識し、その認識した文字に対して上記サービス
を実行する請求項１に記載の画像データ処理装置。
【請求項３】上記携帯端末は、画像データを取り込むカメラと、該カメラによって取り込まれた画像データを表示してそ
の画像データに対する修正情報を付加する手段と、を有する請求項１に記載の画像データ処理装置。
【請求項４】他の装置から転送されてきたデータを処
理する情報処理装置であって、受信した画像データ含まれる文字を認識する認識手段
と、上記画像データを送出した装置側で指定されたサービス
を検出し、上記認識手段によって認識された文字に基づ
いてそのサービスを実行する手段と、を有する画像データ処理装置。