JPH10255063A

JPH10255063A - 画像処理システム

Info

Publication number: JPH10255063A
Application number: JP5577097A
Authority: JP
Inventors: Toru Yamakita; 徹山北
Original assignee: Casio Computer Co Ltd
Current assignee: Casio Computer Co Ltd
Priority date: 1997-03-11
Filing date: 1997-03-11
Publication date: 1998-09-25

Abstract

(57)【要約】【課題】入力ユーザインタフェイスの向上を計ると共
に、携帯端末の小型化を推進する。【解決手段】画像入力部３を用いて紙面の画像を背景
画像として読み取る。その紙面に手書きでメモ等を記入
した後、そのメモ等が記入された紙面を画像入力部３を
用いて比較画像として読み取る。画像処理部４は、背景
画像と比較画像との差分画像データを生成してホスト装
置６に送る。画像パターン解析・認識部７は、携帯端末
１から受信した差分画像データに対して画像認識処理を
実行し、その認識結果を携帯端末１に返送する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、ある端末装置を用
いて入力された画像データを他の情報処理装置に処理さ
せるシステムに関する。

【０００２】

【従来の技術】近年の情報化社会においては、特に業務
上、様々な文書あるいは図面等が電子化されてきてい
る。場合によっては、メモ書き程度の内容であっても、
電子化して保存しておくことが要求される。

【０００３】文書の電子化に際しては、パソコン上で文
書作成用のアプリケーションプログラム等を起動し、文
書作成者がキーボードを利用して１文字ずつ入力してい
く方法が最も一般的である。また、図面などの電子化に
際しては、図面作成用のアプリケーションプログラム等
を起動し、図面作成者がキーボードやマウス装置を利用
して入力する方法が一般的である。

【０００４】ところで、最近、電子カメラが普及してき
ている。電子カメラは、被写体を撮影することによって
読み取った画像データをデジタルデータとして保存す
る。そして、所定のインタフェースを介してパソコン等
に接続すれば、電子カメラで読み取った画像データをそ
のパソコン上で処理することができる。したがって、例
えば、紙面などに書かれている文書を電子カメラで撮影
し、その電子カメラで読み取った画像データをパソコン
等に入力して文字認識処理を実行すれば、上記紙面に書
かれている文書を電子化できる。

【０００５】このように、文書あるいは図面等を電子化
する際には、一般的にはキーボードやマウスを用いて行
っており、特定の場合には電子カメラ（あるいは、イメ
ージスキャナ）を用いて取り込んだ画像データに対して
画像認識処理を実行するなどして行っている。

【０００６】

【発明が解決しようとする課題】ところが、キーボード
やマウス装置による操作は必ずしもすべてのユーザにと
って容易とは言えず、その操作が不得手なユーザもい
る。また、メモ書き程度の内容を電子化する場合には、
手書きであれば僅かな時間で出来るのに対し、キー入力
するためにはその都度文書作成用のアプリケーションプ
ログラムを起動した上で操作を開始しなければならず面
倒である。

【０００７】一方、電子カメラ等を用いて紙面などに書
かれた内容を読み取る方法では、必用な範囲のみを撮影
することは困難であり、画像認識したい文書以外の文書
も読みとってしまう可能性が高い。この場合、カメラ撮
影で読み取った画像データをパソコンのディスプレイに
表示させた上で画像認識領域を指定したり、あるいは画
像認識結果として得られた文書を修正する操作が必用と
なり、これも面倒である。

【０００８】さらに、上述の電子カメラを用いた方法で
は、画像認識処理を実行するためのノートパソコン等を
携帯していなければ、移動先（出張先など）で撮影した
内容をその場で即座に電子化することはできない。ま
た、性能の良い文字認識ソフトウェアは、一般にプログ
ラム規模が大きく、そのような大規模なプログラムを簡
易型の携帯端末などに搭載することは望ましくない。

【０００９】本発明の課題は、入力ユーザインタフェイ
スの向上を計ると共に、携帯端末の小型化を推進するこ
とである。

【００１０】

【課題を解決するための手段】本発明の画像処理システ
ムは、画像データ読み取る機能を備え、その機能により
読み取った第１の画像データと第２の画像データとの差
分画像データを生成する第１の端末装置と、その第１の
端末装置によって生成された差分画像データを受信し、
その差分画像データに含まれる文字または特定のパター
ンを認識する第２の端末装置とを有する。

【００１１】本発明の他の態様の画像処理システムは、
画像データ読み取る機能を備えた第１の端末装置と、そ
の第１の端末装置により読み取られた画像データを受信
し、その受信した画像データの中の第１の画像データと
第２の画像データとの差分画像データを生成し、その差
分画像データに含まれる文字または特定のパターンを認
識する第２の端末装置とを有する。

【００１２】第１の画像データに対して所望のパターン
を追加したものを第２の画像データとすると、それら２
つの画像データの差分データを生成することにより、上
記所望のパターンが得られる。したがって、この差分画
像データに対して画像認識処理を実行すれば、上記第１
の画像データに対して追加された上記所望のパターンを
認識できる。

【００１３】また、上記いずれの構成においても、画像
データを読み取る機能と画像認識を実行する機能とを独
立した装置に設けたので、上記第１の端末装置の小型化
を計りながら、その第１の端末装置を介して第２の端末
装置の高度な機能を利用できる。

【００１４】

【発明の実施の形態】以下、本発明の実施形態について
図面を参照しながら説明する。図１は、本実施形態のシ
ステム構成図である。携帯端末１は、通信機能を備えて
おり、ネットワーク５に接続された他の装置にデータ処
理を依頼し、その結果を受け取って例えば液晶ディスプ
レイからなる画像表示部２に表示することができる。携
帯端末１は、最寄りの基地局を介して無線でデータを送
受信する方式、通信機能を持った装置（光リンクユニッ
ト）との間でＩｒ（赤外線）通信などでデータを送受信
する方式、または有線でデータを送受信する方式でネッ
トワーク５に接続される。また、携帯端末１は、たとえ
ば電子カメラ等からなる画像入力部３を備え、それを用
いて取り込んだ画像データをネットワーク５に接続され
た他の装置（たとえば、ホスト装置６）に送って画像処
理を依頼する機能を持っている。さらに、携帯端末１
は、画像入力部３を用いて取り込んだ画像データを画像
処理部４において処理することも可能である。

【００１５】ネットワーク５は、公衆電話網、ＰＨＳ
網、またはＬＡＮであり、ホスト装置６を収容してい
る。ホスト装置６は、サーバマシンであり、携帯端末１
から転送されてくる依頼に従ってデータ処理を実行す
る。また、ホスト装置６は、画像パターン解析・認識部
７を備える。画像パターン解析・認識部７は、携帯端末
１から送られてくる画像データに対してパターン認識処
理あるいは文字認識処理を実行し、受信した画像データ
に含まれている所定のパターンおよび文字列を検出す
る。

【００１６】上記構成において、携帯端末１のユーザ
が、たとえば紙面等に手書きしたメモを電子化したいと
きには、まず、メモを書く前の状態の紙面等の画像を画
像入力部３を用いて読み取る。続いて、その紙面等にメ
モ書をした後、そのメモ書きがされた状態の紙面等の画
像を画像入力部３を用いて読み取る。画像処理部４は、
それら２つの画像データを比較し、前者の画像データに
は存在しないが後者の画像データには存在する画像パタ
ーン、すなわち１回目の画像読取り処理と２回目の画像
読取り処理との間に追加された画像パターン（差分画像
データ）を抽出する。この画像パターンは、上記ユーザ
が紙面等にメモ書きした内容そのものである。携帯端末
１は、画像処理部４によって抽出された画像パターンデ
ータをネットワーク５を介してホスト装置６に送る。

【００１７】ホスト装置６は、携帯端末１から画像パタ
ーンデータを受信すると、画像パターン解析・認識部７
にその画像パターンを解析させる。ここで、画像パター
ン解析・認識部７が解析・認識する画像パターンは、ユ
ーザが紙面等にメモ書きした内容そのものであり、不要
な画像は除去されている。従って、ホスト装置６は、認
識結果としてユーザが紙面等にメモ書きした内容のみを
得ることができる。

【００１８】なお、画像処理部４の処理をホスト装置６
に実行させる構成であってもよい。この場合、携帯端末
１は、メモを書く前の状態の画像データおよびメモ書が
された状態の画像データをホスト装置６に送り、画像パ
ターン解析・認識部７がそれら２つの画像データの差分
パターンを生成し、その生成した差分パターンを解析す
る。

【００１９】画像パターン解析・認識部７による認識結
果は、ホスト装置６に保存してもよいし、自動的にある
いは必用に応じて携帯端末１に転送してもよい。この場
合、携帯端末１は、ホスト装置６から受信した認識結果
を画像表示部２に表示する。また、画像パターン解析・
認識部７による認識結果を予め指定されている所定の端
末装置に転送してもよいし、さらに、その認識結果をキ
ーワードとして検索処理を実行してもよいし、その認識
結果を所定の言語に翻訳してもよい。

【００２０】なお、画像パターン解析・認識部７は、ホ
スト装置６が所定のプログラム実行することによって得
られる機能として実現してもよいし、ホスト装置６とは
独立したコンピュータで実現してもよい。

【００２１】このように、本実施形態のシステムでは、
紙面等にメモ書した文字または図形等を電子化したいと
きには、メモを書く前の状態の画像およびメモ書がされ
た状態の画像をカメラ等で撮影してそれらを画像データ
（あるいは、所定の画像処理を施した画像データ）とし
てホスト装置６に送信するだけでよい。すなわち、ユー
ザの操作としては、メモ書の前後にカメラ等でそれらの
画像を読み取るだけでよいので、非常に簡単である。ま
た、携帯端末１は、上述のようなサービスを受けるため
の構成要件として、文字認識機能は不要であり、画像を
読み取る機能および通信機能のみを備えればよい（構成
によっては、２つの画像データの差分を求める機能も必
用）ので、軽量化、低コスト化が計れる。

【００２２】図２は、携帯端末１の外観図である。携帯
端末１は、ＬＣＤ表示部１１、カメラ１２、ＩＣカード
用スロット１３、無線通信用アンテナ１４を備えてい
る。また、他の通信方式をサポートするために、Ｉｒ通
信のためのソケットや、有線通信用のソケットなども備
えている。ＬＣＤ表示部１１は、タッチパネル構成であ
り、携帯端末１は手書き入力情報を処理することができ
る。

【００２３】図３は、携帯端末１の構成図である。ＣＰ
Ｕ２１は、記憶装置２２（ＲＯＭおよびＲＡＭ）に格納
されているプログラムを実行する。ＣＰＵ２１と記憶装
置２２とはバス２３を介して互いに接続されている。

【００２４】記憶装置２２は、半導体メモリ、磁気的記
録媒体、あるいは光学的記録媒体で構成され、プログラ
ムおよびデータ等を格納している。記憶装置２２は、携
帯端末１に固定的に設けたものであってもよいし、着脱
自在に装着するものであってもよい。

【００２５】記録媒体ドライバ２４は、バス２３に接続
されており、可搬性記録媒体（半導体メモリ、磁気ディ
スク、光ディスク、光磁気ディスクを含む）２５に格納
されているデータを読み出したり、あるいは可搬性記録
媒体２５にデータを書き込む装置である。可搬性記録媒
体２５の一例としては、ＩＣカードを想定する。ＣＰＵ
２１は、可搬性記録媒体２５に格納されているプログラ
ムを実行することもできる。

【００２６】なお、記憶装置２２に記録するプログラム
およびデータ等は、通信回線などを介して接続された他
の機器から受信して記録する構成にしてもよく、さら
に、ＣＰＵ２１が他の機器側に設けられた記憶装置に格
納されているプログラムおよびデータ等を通信回線など
を介して使用するようにしてもよい。

【００２７】ＬＣＤ表示部１１に対応するユニットは、
液晶ディスプレイ（ＬＣＤ）３１、液晶ディスプレイ３
１に表示すべき情報を格納するメモリ３２、ＬＣＤ制御
部３４の制御に従ってメモリ３２に格納されている情報
を液晶ディスプレイ３１に出力するＬＣＤドライバ３
３、メモリ３２およびＬＣＤドライバ３３を制御するＬ
ＣＤ制御部３４、タッチパネル部３５、およびタッチパ
ネル部３５が検出した入力情報をＣＰＵ２１に通知する
タッチパネル制御部３６から構成される。

【００２８】カメラ１２は、たとえばＣＣＤカメラであ
り、その出力はＡ／Ｄコンバータ３７によってビットマ
ップ形式のデジタルデータに変換されてメモリ３８に書
き込まれる。カメラ制御部３９は、ＣＰＵ２１の指示に
従って、メモリ３８に保持されている画像データをバス
２３に出力する。

【００２９】通信制御部４０は、携帯端末１からデータ
を送出する際には、ＣＰＵ２１の指示に従って送信パケ
ットを生成して無線トランシーバ４１、４２または有線
トランシーバ４３に渡す。また、データを受信する際に
は、無線トランシーバ４１、４２、または有線トランシ
ーバ４３を介して受信したパケットに格納されているデ
ータをバス２４上に出力する。無線トランシーバ４１
は、図３に示した無線通信用アンテナ１４に接続されて
おり、無線基地局４との間で無線データを授受する。無
線トランシーバ４２は、Ｉｒ通信を行うための送受信機
であり、また、有線トランシーバ４３は例えばモデムで
ある。無線トランシーバ４２および有線トランシーバ４
３は、オプションで着脱される。なお、携帯端末１は、
さらに時計４４を備えている。

【００３０】図４は、本実施形態のシステムの画像処理
の概念を説明するための図である。図４(a) は、メモを
書く前の状態の画像であり、図４(b) は、メモ書がされ
た状態の画像である。すなわち、この例では、ユーザ
は、「１５：３０会議２２号室」とメモ書きしてい
る。図４(c) は、図４(a) の画像と図４(b) の画像とを
比較してその差分をとった画像であり、図４(a) の画像
に対して書き加えられているパターンを抽出した画像で
ある。すなわち、図４(c) は、ユーザによってメモ書さ
れた画像パターンそのものである。

【００３１】なお、図４(b) において、ユーザがメモ書
した画像パターンは、図４(a) の画像を背景として追加
されたものなので、図４(a) に示すメモを書く前の状態
の画像を「背景画像」と呼ぶことにする。また、図４
(b) の画像は、背景画像に対して何が追加されたのかが
比較される画像であるので、メモ書がされた状態の画像
を「比較画像」と呼ぶことにする。さらに、図４(c) の
画像は、背景画像と比較画像との差分を求めることによ
って得られるので、「差分画像」と呼ぶことにする。本
実施形態では、この差分画像に対して文字認識処理ある
いはパターン認識処理を実行する。従って、この差分画
像は、認識対象画像である。

【００３２】図５は、携帯端末１においてカメラ撮影に
より読み取った画像データをホスト装置６に転送してそ
の画像を認識させる処理のフローチャートである。この
フローチャートに示す各機能を実現するプログラムは、
ＣＰＵ２１が読み取り可能なプログラムコードの形態で
記憶装置２２に格納されている。

【００３３】また、図５のフローチャートは、携帯端末
１が入力待ち状態において何らかの入力を検出した後の
処理を示している。以下の説明では、図４の例を参照す
る。すなわち、ユーザがメモ書した文字などをカメラで
撮影することによって読み取る例を説明する。なお、背
景画像（メモを書く前の状態の画像）の撮影と比較画像
（メモ書がされた状態の画像）の撮影とが連続した撮影
であるものとする。

【００３４】ステップＳ１では、検出した入力がカメラ
１２からの入力であるかを調べ、カメラ１２からの入力
であればステップＳ２以降の処理を実行し、他の入力で
あれば、ステップＳ３１においてその入力に対応する他
の処理を実行する。このように、ユーザが携帯端末１の
カメラ１２を用いて撮影すると、ステップＳ２以降の処
理が開始される。なお、カメラ入力があったときには、
時計４４の出力である時刻情報を保持しておく。

【００３５】ステップＳ２では、「比較画像待ちフラ
グ」が設定されているか否か調べる。このフラグは、携
帯端末１が背景画像を保持しているときに設定状態とな
り、背景画像を保持していないときには解除状態となっ
ている。ここでは、解除状態であるものとし、ステップ
Ｓ３に進む。

【００３６】ステップＳ３では、カメラ１２によって取
り込まれた画像データをＬＣＤ表示部１１に表示する。
すなわち、カメラ１２によって取り込まれた画像データ
をＬＣＤ表示部１１のメモリ３２に書き込み、その画像
データを液晶ディスプレイ３１に表示する。続いて、ス
テップＳ４では、ユーザ指示入力画面を表示する。ユー
ザ指示入力画面は、カメラ撮影により読み取った画像を
ホスト装置６に送って認識させる否かをユーザに指定さ
せるための画面であり、そのカメラ撮影により読み取っ
た画像（背景画像）上に上書き表示する。すなわち、ス
テップＳ３の処理によってカメラ１２から入力された画
像データが書き込まれているメモリ３２に対して、記憶
装置２２に格納されているユーザ指示入力画面の画像デ
ータを上書きする。ユーザ指示入力画面は、例えば「認
識」、「保存」、および「キャンセル」というボタンを
含む。したがって、ステップＳ３およびＳ４により、Ｌ
ＣＤ表示部１１には、図４(a) に示す画像上に上記３つ
のボタンが設けられた画像が表示される。

【００３７】上記ユーザ指示入力画面上でユーザが指示
を入力すると、即ち、ユーザが表示されたボタンの中の
１つのボタンを押圧すると、ステップＳ５以下の処理が
実行される。まず、ステップＳ５では、ユーザの指示を
認識する。この処理は、ユーザがどのボタンを押圧した
かを検出するものである。ステップＳ６では、ユーザの
指示が「認識」であるか否かを判断する。認識ボタンが
押圧されたことを検出した場合には、ユーザの指示が画
像認識サービスであると判断し、ステップＳ７へ進む。

【００３８】ステップＳ７では、入力された画像データ
を背景画像データとして記憶装置２２のＲＡＭ領域に保
持する。続いて、ステップＳ８では、比較画像待ちフラ
グを設定する。

【００３９】このように、背景画像を保持していない状
態でカメラ１２を用いて画像を読み取り、その画像に対
して画像認識サービスの要求を指示すると、その撮影に
よって読み取られた画像が背景画像データとして保持さ
れると共に、比較画像待ちフラグが設定される。

【００４０】一方、ステップＳ６において、ユーザの指
示が「認識」ではないと判断された場合には、ステップ
Ｓ９において、ユーザが保存ボタンを押圧したか否かを
判断する。ユーザが保存ボタンを押圧したのであれば、
ステップＳ１０において携帯端末１側で画像データを保
存する。一方、ユーザが保存ボタンを押圧したのでなけ
れば、ユーザがキャンセルボタンを押圧したものと見な
し、ステップＳ１１でその画像データを廃棄する。

【００４１】ステップＳ２において比較画像待ちフラグ
が設定されていた場合には、すなわち背景画像データが
保持されている状態においてさらにカメラ入力があった
場合には、ステップＳ２１において、入力された画像デ
ータを比較画像データとして記憶装置２２のＲＡＭ領域
に保持する。そして、ステップＳ２２では、比較画像待
ちフラグを解除する。

【００４２】ステップＳ２３では、背景画像と比較画像
との差分画像データを生成する。すなわち、たとえば、
背景画像および比較画像としてそれぞれ図４(a) および
図４(b) に示す画像が保持されていたとすると、差分画
像データとして図４(c) に示す画像を表す画像データを
生成する。なお、ステップＳ２３の処理は、後述詳しく
説明する。続いて、ステップＳ２４では、ステップＳ２
３で生成された差分画像データをホスト装置６に転送す
るためのパケットを作成する。ステップＳ２３の処理に
ついても後述説明する。そして、ステップＳ２５におい
て、ステップＳ２４で作成したパケットを図１に示すネ
ットワーク５に送出する。

【００４３】このように、携帯端末１は、カメラ撮影に
よって背景画像および比較画像を読み取ると、それら２
つの画像の差分画像を求め、その差分画像データをホス
ト装置６に送る。なお、この差分画像は、上述したよう
に、ユーザがメモ書した内容そのものであり、不要な画
像（背景画像）が取り除かれている。

【００４４】図６は、図５に示すステップＳ２３の処理
の詳細フローチャートであり、差分画像データを生成す
る処理を示す。まず、ステップＳ４１において、記憶装
置２２のＲＡＭ領域から背景画像データを読み出し、ス
テップＳ４２でその背景データに基づいてテンプレート
を作成する。テンプレートは、例えば、背景画像データ
に対してその雑音を除去するなどの前処理を施し、その
後に特徴抽出処理を行うことによって作成する。特徴抽
出処理は、エッジ検出処理および領域検出処理などを含
む。

【００４５】ステップＳ４３では、記憶装置２２のＲＡ
Ｍ領域から比較画像データを読み出す。なお、比較画像
データに対しても上記前処理および特徴抽出処理を施し
ておく。ステップＳ４４では、テンプレートマッチング
を行う。即ち、ステップＳ４２で作成したテンプレート
とステップＳ４３で読み出した比較画像データとのマッ
チング処理を実行する。

【００４６】ところで、同一の被写体をカメラで撮影し
た場合であっても、カメラからその被写体までの距離が
異なれば、画像データとして得られる被写体の大きさは
互いに異なる。したがって、背景画像データと比較画像
データとの間でテンプレートマッチング処理を行う際、
それら２つの画像データに同じ被写体が含まれていたと
しても、各被写体の大きさが互いに一致するとは限らな
い。すなわち、画像データとして比較する場合、たとえ
ば、図４(a) および図４(b) に描かれている三角形が互
いに同じ大きさであるとは限らない。そこで、ステップ
Ｓ４４のテンプレートマッチング処理では、まず、テン
プレートに含まれるある特定のパターンと相似形状の画
像パターンを比較画像データの中から探し出し、そのと
きの相似比に従ってテンプレートを拡大または縮小す
る。そして、その拡大または縮小されたテンプレートと
比較画像データとを比較する。

【００４７】続いて、ステップＳ４５では、上記テンプ
レートマッチング処理において一致した画像パターンを
比較画像データから除去する。そして、ステップＳ４６
において、残った画像データを差分画像データとして出
力する。

【００４８】図７(a) は、携帯端末１から送出されるパ
ケットの構造を示す図である。このパケットは、図５に
示すステップＳ２４において作成される。各パケット
は、ヘッダ部およびデータ部から構成される。ヘッダ部
は、送信元アドレスおよび着信先アドレスなどを格納す
る。送信元アドレスおよび着信先アドレスとしてどのよ
うなアドレス体系のアドレスを格納するのかは、本実施
形態が適用されるネットワーク構成によって決まり、た
とえば、TCP/IP通信では、ＩＰアドレスが格納される。

【００４９】データ部には、アプリケーション識別情
報、端末ＩＤ、画像データ、時刻情報などが格納され
る。アプリケーション識別情報は、着信先の端末（ここ
では、ホスト装置６）において起動すべきアプリケーシ
ョンプログラムを識別する情報である。すなわち、着信
先の端末において所定のプログラムを起動するためのコ
マンドである。本実施形態においては、画像データ解析
・認識プログラムを識別する情報が設定される。なお、
アプリケーション識別情報は、TCP/IP通信では、ポート
番号として指定してもよい。

【００５０】端末ＩＤは、携帯端末１の識別番号であ
る。画像データは、図５のステップＳ２４の処理によっ
て得られた差分画像データであり、パケットに格納され
るときには圧縮される。時刻情報は、ホスト装置６へ送
出される画像データがカメラ撮影された時刻を表す情報
である。

【００５１】図７(b) は、図５に示すステップＳ２４パ
ケット作成処理の詳細フローチャートである。ステップ
Ｓ５１では、ホスト装置６へ転送する画像データを圧縮
し、データ部に格納する。圧縮方式は、たとえば、ＪＰ
ＥＧである。ステップＳ５２では、上記画像データをカ
メラ撮影した時刻を表す時刻情報を設定する。ステップ
Ｓ５３では、アプリケーション識別情報として、画像デ
ータ解析・認識プログラムを識別する情報を設定する。
ステップＳ５４では、携帯端末１を識別する情報（自機
を識別する情報）として端末ＩＤを設定する。さらに、
ステップＳ５５においてヘッダ部を作成する。ヘッダ部
には、少なくとも、送信元アドレスとして携帯端末１の
アドレス（自機のアドレス）、および着信先アドレスと
してホスト装置６のアドレスを設定する。

【００５２】上述のようにして作成されたパケットは、
ネットワーク５に送出される。ネットワーク５は、パケ
ットの着信先アドレスに従ってそのパケットをホスト装
置６へ転送する。以下では、このパケットを受信して処
理するホスト装置６について説明する。

【００５３】図８は、ホスト装置６の構成図である。記
憶装置５１は、半導体メモリ、磁気的記録媒体、あるい
は光学的記録媒体で構成され、プログラムおよびデータ
等を格納している。記憶装置５１は、ホスト装置６に固
定的に設けたものであってもよいし、着脱自在に装着す
るものであってもよい。

【００５４】記録媒体ドライバ５２は、可搬性記録媒体
（半導体メモリ、磁気ディスク、光ディスク、光磁気デ
ィスク等を含む）５３に格納されているデータを読み出
したり、あるいは可搬性記録媒体５３にデータを書き込
む装置である。通信制御部５４は、ネットワークとの間
でのデータの授受を制御するユニットである。携帯端末
１との間のパケットの送受信もここで制御される。

【００５５】ＣＰＵ５５は、記憶装置５１または可搬性
記録媒体５３からプログラム等をメモリ５６にロードし
て実行する。なお、記憶装置５１に記録するプログラム
およびデータ等は、可搬性記録媒体５３に格納されてい
たものを書き込んだものであってもよく、また、通信回
線などを介してネットワーク上の他の機器から受信して
記録する構成にしてもよい。さらに、ＣＰＵ５５は、ネ
ットワーク上に設けられた他の記憶装置に格納されてい
るプログラムおよびデータ等を通信回線などを介して使
用するようにしてもよい。

【００５６】図９は、ホスト装置６の処理を説明するフ
ローチャートである。ここでは、ホスト装置６が携帯端
末１から送出されたパケット（図５のフローチャートの
処理によって作成されたパケット）を受信し、そのデー
タ部に設定されている情報に従って画像データを処理す
る動作を中心に、ホスト装置６がネットワーク５からパ
ケットを受信したときの動作を説明する。

【００５７】ステップＳ６１でパケットを受信すると、
ステップＳ６２でそのパケットに設定されている端末Ｉ
Ｄを調べることによってそのパケットを送出した端末を
認識する。ステップＳ６３では、受信したパケットに設
定されているアプリケーション識別情報によって指定さ
れているアプリケーションを起動する。ステップＳ６４
では、起動されたアプリケーションが画像認識処理を含
むかどうか判断する。画像認識処理を含まないアプリケ
ーションであれば、ステップＳ７０においてそのアプリ
ケーションの処理を実行する。

【００５８】一方、画像認識処理を含むアプリケーショ
ンであれば、ステップＳ６５において、受信したパケッ
トに格納されている画像データを解凍し、ステップＳ６
６においてその画像データに対してパターン認識処理・
文字認識処理を実行する。このとき認識処理が実行され
る画像データは、差分画像データである。すなわち、上
述の例では、図４(c) に示す画像に対応する画像データ
に対して画像認識処理が実行される。したがって、この
画像認識処理の結果、ユーザがメモ書した内容のみが認
識される。

【００５９】ステップＳ６７では、ステップＳ６６によ
る認識結果が文字を含んでいれば、その文字を文字コー
ド（例えば、アスキーコード、あるいはＪＩＳコード
等）に変換する。ステップＳ６８では、認識結果を携帯
端末１に返送するためのパケットを作成する。すなわ
ち、このパケットの送出先アドレスは携帯端末１であ
り、そのデータ部に上記認識結果が格納されている。そ
して、ステップＳ６９において、その作成したパケット
をネットワーク５に送出する。

【００６０】ステップＳ６９においてネットワーク５に
送出されたパケットは、携帯端末１に転送される。携帯
端末１は、このパケットを受信すると、ホスト装置６に
よる画像認識処理の結果をＬＣＤ表示部１１に表示す
る。即ち、上述の例の場合、図４(c) の画像が表示され
る。また、この認識結果は、ユーザの指示により、携帯
端末１内に保存される。

【００６１】なお、上述したように、この画像認識結果
をホスト装置６に保存してもよい。この場合、認識結果
は、差分画像データを送出した端末装置（すなわち、携
帯端末１）の端末ＩＤに対応づけて保存する。また、こ
の認識結果を予め指定されている所定の端末装置に転送
してもよい。さらに、この認識結果に含まれている文字
列をキーワードとして検索処理を実行してもよいし、あ
るいはその文字列を所定の言語に翻訳してもよい。この
場合、検索結果または翻訳結果は、携帯端末１に送られ
る。

【００６２】ところで、携帯端末の小型・軽量化、およ
び低コスト化の要求は根強いものがある。これらの要求
に答える手だての１つとしては、本実施形態のような利
用方法においては、携帯端末側で実行している処理の一
部をホスト装置側に移せばよい。例えば、図５のフロー
チャートのステップＳ２３の処理をホスト装置６に実行
させることができる。ステップＳ２３は、上述したよう
に、画像データのマッチング処理であるが、一般に、こ
のような処理を高精度あるいは短時間に実現しようとす
ると、処理能力の高いプロセッサと大規模なプログラム
が必用となる。したがって、ステップＳ２３の処理をホ
スト装置６に実行させることは携帯端末１の小型・軽量
化、または低コスト化の際して有効である。

【００６３】ステップＳ２３の処理をホスト装置６に実
行させる場合、携帯端末１は、背景画像データおよび比
較画像データをホスト装置６に送る。ホスト装置６は、
図９のフローチャートにおいて、ステップＳ６５の処理
の次にステップＳ２３を実行する。

【００６４】上記実施例では、背景画像および比較画像
を連続した２回のカメラ撮影により読み取っているが、
本発明はこのような構成に限定されるものではない。た
とえば、ホワイトボードに書かれた内容をカメラで撮影
してその読み取った画像を認識するような状況では、何
も描かれていないホワイトボードの画像を背景画像とし
て予め保存しておき、ホワイトボードに文字等が書かれ
たときにそれを撮影して上記保存してある背景画像と比
較するような構成とすれば、何も描かれていないホワイ
トボードの画像を何度も撮影する必用はない。

【００６５】図１０は、上記方式を導入した場合の携帯
端末１の動作を説明するフローチャートである。なお、
図１０において、図５と同じ番号が付与されているステ
ップは図５において説明した処理と同じである。

【００６６】ステップＳ８１は、カメラ撮影によって読
み取られた画像データの扱いをユーザに指示させるため
の画面を表示する処理である。ここで表示するユーザ指
示入力画面は、例えば、「背景として保存」、「認
識」、「通常保存」および「キャンセル」からなる４つ
のボタンを含む。

【００６７】上記ユーザ指示入力画面上でユーザが指示
を入力すると、即ち、ユーザが表示されたボタンの中の
１つのボタンを押圧すると、ステップＳ８２以下の処理
が実行される。まず、ステップＳ８２では、ユーザの指
示を認識する。この処理は、ユーザがどのボタンを押圧
したかを検出するものである。ステップＳ８３では、ユ
ーザの指示が「背景として保存」であるか否かを判断
し、そのボタンが押圧されたことを検出した場合には、
ステップＳ８４において、入力された画像データを記憶
装置２２のＲＡＭ領域に背景画像データとして保存す
る。

【００６８】ユーザの指示が「背景として保存」でなけ
れば、ステップＳ９１において、ユーザの指示が「認
識」であるか否かを判断する。認識ボタンが押圧された
ことを検出した場合には、ステップＳ９２以降の処理を
実行する。

【００６９】ステップＳ９２では、携帯端末１のＬＣＤ
表示部１１をクリアする。即ち、メモリ３２をクリアす
る。ステップＳ９３では、予め格納してある背景画像デ
ータの中の１つを表示する。なお、背景画像データは、
ステップＳ８４の処理によって格納されたものである
が、以前に格納された背景画像データは、消去されるこ
となく記憶装置２２のＲＡＭ領域に残っている。これら
の背景データは、いわば「候補」である。したがって、
記憶装置２２のＲＡＭ領域には複数の背景画像データが
格納されている場合があり、ステップＳ９３では、その
中の１つを選択して表示する。

【００７０】ステップＳ９４では、ユーザ指示入力画面
を表示する。このユーザ指示入力画面は、「背景はこれ
でよいですか？」というメッセージと共に、「ＯＫ」お
よび「次へ」というボタンを表示するものである。上記
ユーザ指示入力画面上でユーザが指示を入力すると、即
ち、ユーザが表示されたボタンの中の１つのボタンを押
圧すると、ステップＳ９５において、その指示を認識す
る。そして、ステップＳ９６において、「ＯＫ」が押圧
されたことを検出すると、ステップＳ９３で表示した背
景画像をユーザが選択したものと見なし、ステップＳ２
３に進んで差分画像データを作成してホスト装置に送出
する処理を実行する。一方、ステップＳ９６において
「次へ」が押圧されたことを検出すると、ステップＳ９
７において記憶装置２２のＲＡＭ領域から他の背景画像
データを抽出してステップＳ９２に戻る。以降、ユーザ
が希望する背景画像データが表示されるまで上記ステッ
プＳ９２〜Ｓ９７を繰り返す。

【００７１】ステップＳ９１において、「認識」ではな
いと判断した場合には、ステップＳ９８においてユーザ
の指示が「通常保存」であるか否かを調べ、通常保存で
あれば携帯端末側でその画像データを保存し、そうでな
ければその画像データを廃棄する。

【００７２】なお、図１０に示す方式は、背景画像デー
タを携帯端末１に保存する構成であるが、背景画像デー
タをホスト装置に保存する構成であってもよい。上記実
施形態において、ホスト装置６によって実行される処理
プログラム、すなわち図９に示すフローチャートで示す
各機能を実現するプログラム、およびネットワークを介
して転送されてくる情報を解釈して処理するプログラム
等は、ＣＰＵ５５が読み取り可能なプログラムコードの
形態で記憶装置５１あるいは可搬性記録媒体５３に格納
されている。あるいは、ネットワークを介して接続され
る他の装置に格納されているものを利用する。

【００７３】なお、上記実施形態では、カメラを用いて
画像データを取り込む構成を示したが、本発明はこの構
成に限定されず、たとえば、イメージスキャナを用いて
読み込んだ画像データをホスト装置に転送するようにし
てもよい。

【００７４】このように、本実施形態の画像処理システ
ムは、携帯端末を用いてメモを書く前の状態の画像およ
びメモを書いた状態の画像をカメラ等で撮影し、ホスト
装置がその２つの画像の差分画像パターンに対して認識
処理を実行する構成である。このため、携帯端末に、画
像を読み取ってホスト装置へ転送する機能、ホスト装置
に処理を依頼する機能を持たせるだけ（構成によって
は、さらに、２つの画像データの差分を求める機能）
で、手書きメモ等をカメラ撮影するという簡単なユーザ
インタフェースでそのメモ書内容を電子化できる。

【００７５】

【発明の効果】本発明のシステムは、携帯端末が備える
カメラ等で所望のメモ書等を含む記録面を画像データと
して取り込み、ホスト装置に認識を依頼するだけで手書
きメモ等を電子化できる。このように、本発明は、操作
性を向上させたユーザインタフェイスを提供する。この
とき、メモを書く前の状態の画像およびメモ書がされた
状態の画像の差分画像を認識するので、必用な情報だけ
が正確に認識される。

【００７６】高速処理が要求される画像データ処理、特
にパターン認識処理や文字認識を携帯端末側で実行しな
いので、携帯端末は、大容量のメモリや高性能プロセッ
サを設けることなく、高度な画像データ処理結果を得る
ことができる。

【図面の簡単な説明】

【図１】本実施形態のシステム構成図である。

【図２】携帯端末の外観図である。

【図３】携帯端末の構成図である。

【図４】本実施形態のシステムの画像処理の概念を説明
するための図である。

【図５】携帯端末においてカメラ撮影により取り込んだ
画像データをホスト装置に転送して画像認識させる処理
のフローチャートである。

【図６】差分画像データを求める処理のフローチャート
である。

【図７】(a) は、携帯端末から送出されるパケットの構
造を示す図であり、(b) は、パケット作成処理の詳細フ
ローチャートである。

【図８】ホスト装置の構成図である。

【図９】ホスト装置の処理を説明するフローチャートで
ある。

【図１０】本実施形態の携帯端末の他の構成の処理を説
明するフローチャートである。

【符号の説明】

１携帯端末２画像表示部３画像入力部４画像処理部５ネットワーク６ホスト装置７画像パターン解析・認識部１２カメラ２１ＣＰＵ２２記憶装置２４記録媒体ドライバ２５可搬性記録媒体３１液晶ディスプレイ４０通信制御部５１記憶装置５２記録媒体ドライバ５３可搬性記録媒体５４通信制御部５５ＣＰＵ５６メモリ

Claims

【特許請求の範囲】

【請求項１】画像データ読み取る機能を備え、該機能
により読み取った第１の画像データと第２の画像データ
との差分画像データを生成する第１の端末装置と、該第１の端末装置によって生成された差分画像データを
受信し、その差分画像データに含まれる文字または特定
のパターンを認識する第２の端末装置と、を有する画像処理システム。
【請求項２】画像データ読み取る機能を備えた第１の
端末装置と、該第１の端末装置によって読み取られた画像データを受
信し、その受信した画像データの中の第１の画像データ
と第２の画像データとの差分画像データを生成し、その
差分画像データに含まれる文字または特定のパターンを
認識する第２の端末装置と、を有する画像処理システム。