JP6911797B2 - 画像処理装置、画像処理方法 - Google Patents

Description

本発明は、入力画像から文字を抽出する画像処理装置および画像処理方法に関する。

コンピューターが、表計算ソフトを実行することにより、複数の項目名と、入力値および前記入力値を参照する変数を含む数式に基づく計算結果との対応関係を示す表の文書データを生成する場合がある。

前記コンピューターは、前記文書データに基づくプリントデータをプリンターなどの画像形成装置に送信し、前記画像形成装置が、前記プリントデータに基づいて前記表をシートにプリントする。

また、コンピューターが、文字認識処理によって手書きされた数式を認識し、認識した数式の計算結果を表示することが知られている（例えば、特許文献１参照）。

特表平８−５０４９８７号公報

ところで、書類作成者が、印刷物に形成された表における一部の空欄に手書きで数値を記入し、その後、手書きで記入された数値に基づく計算結果が反映された表が形成された新たな印刷物を作成したい場合がある。

空欄を含む表の印刷物は、前記コンピューターを用いて予め生成される基準文書データに基づくプリント処理によって得られる。

上記の場合、前記書類作成者は、入力対象の前記項目名に対応する前記空欄が手書きの数値で埋められた後の前記印刷物を参照しつつ、前記コンピューターに対して前記基準文書データを編集する操作と、編集後の文書データに基づくプリントのための操作とを行う。

入力対象の前記項目名に対応する数値を参照する変数を含む数式が、計算対象の前記項目名に対応する欄に設定されている場合、前記基準文書データが編集される際に、入力対象の前記項目名に対応する数値に基づく計算結果が、自動的に編集後の文書データに反映される。

しかしながら、手書きされた数値を前記コンピューターに都度入力する作業は煩雑である。さらに、表のレイアウトの変更が必要になるごとに、前記基準文書データを編集する作業において、前記項目名のレイアウトの変更に加え、前記数式の参照先の変更およびその変更の検証を行う作業も煩雑である。

本発明の目的は、印刷物に形成された表の一部の空欄に手書きされた数値をコンピューターに入力する作業を要することなく、手書きの数値に基づく計算結果が反映された表を容易に作成できる画像処理装置および画像処理方法を提供することにある。

本発明の一の局面に係る画像処理装置は、計算式取得部と、文字抽出部と、計算部と、出力制御部と、を備える。前記計算式取得部は、１つ以上の入力項目名および算出項目名を変数として含む１つ以上の計算式の情報を含む登録式情報を予め記憶する記憶装置から、前記登録式情報を取得する。前記文字抽出部は、入力画像に対する文字認識処理により、前記入力画像から前記登録式情報の前記計算式における前記入力項目名および前記算出項目名と前記入力項目名に対応する数値である入力値とを抽出する文字抽出処理を実行する。前記計算部は、前記入力画像から抽出された前記入力項目名および前記算出項目名を含む前記計算式に、前記入力画像から抽出された前記入力値を適用することにより、前記算出項目名に対応する算出結果である自動計算値を算出する。前記出力制御部は、前記自動計算値を含む出力情報を情報出力装置に出力させる。

本発明の他の局面に係る画像処理方法は、入力画像に対する画像処理を実行する画像処理方法である。前記画像処理方法は、１つ以上の入力項目名および算出項目名を変数として含む１つ以上の計算式の情報を含む登録式情報を予め記憶する記憶装置から、前記登録式情報を取得することを含む。さらに、前記画像処理方法は、前記入力画像に対する文字認識処理により、前記入力画像から前記登録式情報の前記計算式における前記入力項目名および前記算出項目名と前記入力項目名に対応する数値である入力値とを抽出する文字抽出処理を実行することを含む。さらに、前記画像処理方法は、前記入力画像から抽出された前記入力項目名および前記算出項目名を含む前記計算式に、前記入力画像から抽出された前記入力値を適用することにより、前記算出項目名に対応する算出結果である自動計算値を算出することを含む。さらに、前記画像処理方法は、前記自動計算値を含む出力情報を情報出力装置に出力させることを含む。

本発明によれば、印刷物に形成された表の一部の空欄に手書きされた数値をコンピューターに入力する作業を要することなく、手書きの数値に基づく計算結果が反映された表を容易に作成できる画像処理装置および画像処理方法を提供することが可能になる。

図１は、実施形態に係る画像処理装置のブロック図である。 図２は、実施形態に係る画像処理装置における登録式データの構成の一例を示す図である。 図３は、実施形態に係る画像処理装置における表計算プリント処理の手順の一例を示すフローチャートである。 図４は、実施形態に係る画像処理装置における誤り対応処理の手順の一例を示すフローチャートである。 図５は、空欄を含む表が形成された印刷物の例を示す図である。 図６は、行方向に項目名が並ぶ表を表す入力画像の例を示す図である。 図７は、列方向に項目名が並ぶ表を表す入力画像の例を示す図である。 図８は、入力値と原計算値とを含む表を表す入力画像の例を示す図である。 図９は、入力項目名に対応する数式を含む表を表す入力画像の例を示す図である。 図１０は、実施形態に係る画像処理装置が出力する合成画像の第１例を示す図である。 図１１は、実施形態に係る画像処理装置が出力する合成画像の第２例を示す図である。 図１２は、実施形態に係る画像処理装置が出力する誤り通知画面の一例を示す図である。

以下、図面を参照しながら、本発明の実施形態について説明する。なお、以下の実施形態は、本発明を具体化した一例であって、本発明の技術的範囲を限定するものではない。

［画像処理装置１０の構成］
実施形態に係る画像処理装置１０は、画像データに対する各種のデータ処理、原稿９１から画像を読み取る読取処理およびシート９２に画像を形成するプリント処理などの画像処理を実行する装置である（図１参照）。

図１に示されるように、画像処理装置１０は、画像読取装置１、画像形成装置２，ユーザーインターフェイスユニット３、ＣＰＵ（Central Processing Unit）４、ＲＡＭ（Random Access Memory）４ａ、二次記憶装置５および通信装置６などを備える。

ユーザーインターフェイスユニット３は、操作装置３ａおよび表示装置３ｂを含む。操作装置３ａは、ユーザーの操作を受け付ける装置であり、例えばタッチパネルを含む。表示装置３ｂは、画像を表示可能な装置であり、例えば、液晶表示パネルなどの表示パネルを含む。

通信装置６は、ネットワーク８０を通じて情報処理装置８などの他装置との間で通信を行う通信インターフェイスデバイスである。ＣＰＵ４は、前記他装置との間のデータの送信および受信の全てを、通信装置６を通じて行う。

二次記憶装置５は、コンピューター読み取り可能な不揮発性の記憶装置である。二次記憶装置５は、プログラムおよび各種のデータを記憶可能である。例えば、フラッシュメモリーまたはハードディスクドライブの一方または両方が、二次記憶装置５として採用される。

ＲＡＭ４ａは、ＣＰＵ４が実行する前記プログラムおよびＣＰＵ４が前記プログラムを実行する過程で出力および参照するデータを一次記憶する揮発性の記憶装置である。ＲＡＭ４ａは、二次記憶装置５よりも高速なデータアクセスが可能な記憶装置である。

画像読取装置１は、前記読取処理を実行する。画像読取装置１は、光源１ａ、走査機構１ｂ、イメージセンサー１ｃおよびＡＦＥ（Analog Front End）１ｄなどを備える。

光源１ａは、原稿９１に対して光を出射する。走査機構１ｂは、光源１ａの光を原稿９１に対して走査させる。イメージセンサー１ｃは、原稿９１からの反射光を受光し、受光量の検出信号を画像信号として出力する。

ＡＦＥ（１ｄ）は、前記画像信号をデジタルの画像データへ変換する。以下の説明において、画像読取装置１の前記読取処理によって原稿９１から読み取られた画像のことを読取画像と称する。

画像形成装置２は、電子写真方式またはインクジェット方式などの予め定められた方式で前記プリント処理を実行する。

例えば、画像形成装置２が電子写真方式で前記プリント処理を実行する装置である場合、画像形成装置２は、シート搬送機構２ａ、感光体２ｂ、帯電装置２ｃ、レーザースキャニングユニット２ｄ、現像装置２ｅ、転写装置２ｆおよび定着装置２ｇなどを備える。

シート搬送機構２ａは、予め定められた経路に沿ってシート９２を搬送する。帯電装置２ｃは、感光体２ｂの表面を帯電させる。レーザースキャニングユニット２ｄは、帯電した感光体２ｂの表面に静電潜像を書き込む。

現像装置２ｅは、感光体２ｂ上の前記静電潜像をトナー像へ現像する。転写装置２ｆは、感光体２ｂ上の前記トナー像をシート９２に転写する。定着装置２ｇは、シート９２上の前記トナー像を加熱することにより、前記トナー像をシート９２に定着させる。

画像形成装置２および通信装置６は、プリントジョブを実行する。前記プリントジョブにおいて、通信装置６が、情報処理装置８からプリントデータを受信し、画像形成装置２が、前記プリントデータに基づく前記プリント処理を実行する。

画像読取装置１および通信装置６は、画像送信ジョブを実行する。前記画像送信ジョブにおいて、画像読取装置１が前記読取処理を実行し、通信装置６が、前記読取処理により得られる前記読取画像のデータを、ネットワーク８０を通じて情報処理装置８などの前記他装置へ送信する。

また、画像読取装置１および画像形成装置２は、複写ジョブを実行する。前記複写ジョブにおいて、画像読取装置１が前記読取処理を実行し、通信装置６が、前記読取処理により得られる前記読取画像のデータに基づく前記プリント処理を実行する。

また、表示装置３ｂは前記読取画像または前記読取画像に加工が加えられた画像を含む画面を表示することができる。

なお、画像形成装置２は、画像情報を印刷物として出力する情報出力装置の一例である。また、表示装置３ｂは、画像情報を表示画面として出力する情報出力装置の一例である。また、通信装置６は、画像情報を画像データとして出力する情報出力装置の一例である。

ＣＰＵ４は、各種の演算、データ処理および画像処理装置１０が備える各種の電気機器の制御を実行する。ＣＰＵ４は、画像読取装置１、画像形成装置２、ユーザーインターフェイスユニット３および通信装置６との間でデータおよび制御信号の受け渡しが可能である。

ＣＰＵ４は、各種のデータ処理を実行するプロセッサーの一例である。さらに、ＣＰＵ４は、画像読取装置１、画像形成装置２、表示装置３ｂおよび通信装置６などの各種の機器を制御する。なお、ＤＳＰ（Digital Signal Processor）などの他のプロセッサーが、ＣＰＵ４の一部または全部の代わりに採用されることも考えられる。

ＣＰＵ４は、二次記憶装置５に記憶されたプログラムを実行することにより、主制御部４１、読取制御部４２およびプリント制御部４３などとして動作する。

主制御部４１は、操作装置３ａに対する操作の検出、通信装置６を通じたデータの受信および送信、および表示装置３ｂへの画面出力の制御などを実行する。

読取制御部４２は、画像読取装置１を制御する。例えば、読取制御部４２は、前記複写ジョブまたは前記画像送信ジョブにおいて、画像読取装置１に前記読取処理を実行させ、画像読取装置１から前記読取画像のデータを取得する。

プリント制御部４３は、画像形成装置２を制御する。例えば、プリント制御部４３は、前記複写ジョブにおいて、前記読取画像のデータに基づく前記プリント処理を画像形成装置２に実行させる。また、プリント制御部４３は、前記プリントジョブにおいて、通信装置６を通じて情報処理装置８から受信されたプリントデータに基づく前記プリント処理を画像形成装置２に実行させる。

ところで、書類作成者が、印刷物９０に形成された表における一部の空欄Ｂ０に手書きで数値を記入し、その後、手書きで記入された数値に基づく計算結果が反映された表が形成された新たな印刷物を作成したい場合がある（図５参照）。

空欄Ｂ０を含む表の印刷物９０は、情報処理装置８などのコンピューターを用いて予め生成される文書データに基づく前記プリント処理によって得られる。以下の説明において、空欄Ｂ０を含む表を表す文書データのことを基準文書データと称する。前記コンピューターは、表計算ソフトを実行することにより、前記基準文書データを生成する。

図５は、前記基準文書データに基づく前記プリント処理によって得られる印刷物９０の一例を示す。

図５に示されるように、前記基準文書データは、１つ以上の入力項目名Ｐ１と、入力項目名Ｐ１に対応する１つ以上の入力値Ｖ１と、入力値Ｖ１を参照する変数を含む数式に基づく計算結果との対応関係を示す表を定義するデータである。前記計算結果は、算出項目名Ｐ２に対応する数値である。算出項目名Ｐ２は、計算対象の項目名である。

上記の場合、前記書類作成者は、入力項目名Ｐ１に対応する空欄Ｂ０が手書きの数値で埋められた後の印刷物９０を参照しつつ、前記コンピューターに対して前記基準文書データを編集する操作と、編集後の文書データに基づくプリントのための操作とを行う。

入力項目名Ｐ１に対応する数値を参照する変数を含む数式が、算出項目名Ｐ２に対応する欄に設定されている場合、前記基準文書データが編集される際に、入力項目名Ｐ１に対応する数値に基づく計算結果が、自動的に編集後の文書データに反映される。

しかしながら、手書きされた数値を前記コンピューターに都度入力する作業は煩雑である。さらに、表のレイアウトの変更が必要になるごとに、前記基準文書データを編集する作業において、入力項目名Ｐ１および算出項目名Ｐ２のレイアウトの変更に加え、前記数式の参照先の変更およびその変更の検証を行う作業も煩雑である。

画像処理装置１０において、ＣＰＵ４は、後述する表計算プリント処理を実行する機能を備える。これにより、画像処理装置１０が用いられることにより、印刷物９０に形成された表の一部の空欄Ｂ０に手書きされた数値を前記コンピューターに入力する作業を要することなく、手書きの数値に基づく計算結果が反映された表を容易に作成することができる。

［登録式データＤＴ０］
ＣＰＵ４は、前記表計算プリント処理において登録式データＤＴ０を参照する。本実施形態において、登録式データＤＴ０は、予め二次記憶装置５に記憶されている。

なお、登録式データＤＴ０が、画像処理装置１０がネットワーク８０を通じて通信可能な不図示のサーバー計算機が備える不揮発性の記憶装置に記憶されていてもよい。

図２に示されるように、登録式データＤＴ０は、１つ以上の計算式データＤＴ０１を含む。計算式データＤＴ０１は、１つ以上の入力項目名Ｐ１および１つの算出項目名Ｐ２を変数として含む計算式の情報である。

計算式データＤＴ０１は、１つ以上の入力項目名Ｐ１に対応する変数を含む数式と１つの算出項目名Ｐ２に対応する変数とが等しいことを表す方程式である。以下の説明において、計算式データＤＴ０１が表す前記計算式のことを登録式と称する。なお、登録式データＤＴ０は、登録式情報の一例である。

なお、ある前記登録式における算出項目名Ｐ２が、他の前記登録式において入力項目名Ｐ１として設定されることは許容される。また、複数の前記登録式が、それぞれ異なる入力項目名Ｐ１の組合せを含む場合、それら複数の前記登録式において、同じ前記算出項目名Ｐ２が設定されることも許容される。

本実施形態において、登録式データＤＴ０は、有効桁データＤＴ０２、丸め種類データＤＴ０３および負数書式データＤＴ０４なども含む。

有効桁データＤＴ０２は、前記登録式に基づく計算結果の有効桁を指定するデータである。丸め種類データＤＴ０３は、前記登録式に基づく計算において、前記有効桁よりも下位の桁を丸める方法の種類を指定するデータである。丸め種類データＤＴ０３は、四捨五入、切り捨ておよび切り上げの３つの選択肢のうちの１つを指定する。

有効桁データＤＴ０２および丸め種類データＤＴ０３は、前記登録式に基づく計算結果を丸める方法を指定する情報の一例である。

負数書式データＤＴ０４は、前記登録式に基づく計算結果が負の数である場合におけるその計算結果を表現する書式を指定するデータである。例えば、負数書式データＤＴ０４は、赤字での表現、マイナス記号の付加および三角形マークの付加などの複数の選択肢のうちの１つを指定する。

ＣＰＵ４は、前記表計算プリント処理を実行するために、二次記憶装置５に記憶された表計算プリントプログラムを実行する。これにより、ＣＰＵ４は、さらに計算式取得部４４、文字抽出部４５、計算部４６および画像合成部４７などとしても動作する。

［表計算プリント処理］
次に、図３に示されるフローチャートを参照しつつ、前記表計算プリント処理の手順の一例について説明する。ＣＰＵ４の主制御部４１は、予め定められた開始イベントが発生したときに、前記表計算プリント処理を開始する。

例えば、前記開始イベントの一例は、操作装置３ａに対して動作モードを表計算モードに指定する操作が行われた上で、複写開始操作が行われた、という第１開始イベントである。

前記複写開始操作が行われる前に、前記表計算プリント処理の対象となる入力画像Ｇ１が形成された原稿９１が、画像読取装置１にセットされる（図６〜８参照）。

また、前記開始イベントの他の例は、前記動作モードを前記表計算モードに指定する情報を含むプリント要求コマンドが、情報処理装置８から通信装置６を通じて受信された、という第２開始イベントである。

以下の説明において、Ｓ１０１，Ｓ１０２，…は、前記表計算プリント処理における複数の工程の識別符号を表す。

＜工程Ｓ１０１＞
前記表計算プリント処理において、まず、主制御部４１または読取制御部４２が、画像データ取得処理を実行する。前記画像データ取得処理は、前記表計算プリント処理の対象となる画像データを取得する処理である。

以下の説明において、前記表計算プリント処理の対象となる画像データのことを入力画像データと称し、前記入力画像データが表す画像のことを入力画像Ｇ１と称する。

前記表計算プリント処理が、前記第１開始イベントに応じて開始される場合、前記画像データ入力処理は、画像読取装置１に前記読取処理を実行させることにより、前記読取画像のデータを前記入力画像データとして取得する処理である。

この場合、画像読取装置１は、原稿９１から画像を読み取り、読取画像のデータを入力画像Ｇ１のデータとして出力する。前記読取画像は入力画像Ｇ１の一例である。

前記表計算プリント処理が、前記第２開始イベントに応じて開始される場合、前記画像データ入力処理は、情報処理装置８から通信装置６を通じて前記入力画像データを含むプリントデータを受信する処理である。

＜工程Ｓ１０２＞
次に、計算式取得部４４が、二次記憶装置５から登録式データＤＴ０を取得する。なお、登録式データＤＴ０が前記他装置の記憶装置に記憶されている場合、計算式取得部４４は、通信装置６を通じて前記他装置から登録式データＤＴ０を取得する。

＜工程Ｓ１０３＞
次に、文字抽出部４５が、入力画像Ｇ１に対して周知の文字認識処理を実行する。前記文字認識処理は、入力画像Ｇ１から文字画像を抽出し、抽出した前記文字画像の位置および前記文字画像に対応する文字を特定する処理である。

文字抽出部４５は、前記文字認識処理において、入力画像Ｇ１から抽出された前記文字画像の文字種を判定する処理も実行する。例えば、文字抽出部４５は、入力画像Ｇ１における前記文字画像が手書き文字の画像であるか否かを判定する処理を実行する。

さらに、文字抽出部４５は、入力画像Ｇ１における前記文字画像が活字の画像である場合、前記文字画像のタイプフェイスを判定する。前記手書き文字、前記活字および前記タイプフェイスは、それぞれ前記文字画像の文字種の一例である。

＜工程Ｓ１０４＞
続いて、文字抽出部４５は、前記文字認識処理によって認識された複数の文字から、計算式データＤＴ０１が表す前記登録式における入力項目名Ｐ１および算出項目名Ｐ２を抽出する（図６および図７参照）。

具体的には、文字抽出部４５は、まず、前記文字認識処理によって認識された複数の文字から、前記登録式における入力項目名Ｐ１および算出項目名Ｐ２を抽出する。

＜工程Ｓ１０５＞
次に、文字抽出部４５は、工程Ｓ１０４における入力項目名Ｐ１および算出項目名Ｐ２の抽出結果に基づいて、採用式および主方向を選択する。

文字抽出部４５は、１つ以上の前記登録式から前記採用式を選択し、前記採用式ごとに行方向Ｄ１および列方向Ｄ２の一方を前記主方向として選択する。

前記採用式は、前記登録式のうち、その式に含まれる入力項目名Ｐ１および算出項目名Ｐ２の全てが、入力画像Ｇ１における行方向Ｄ１または列方向Ｄ２のいずれかに沿う一連の領域から抽出されたものである。

従って、前記採用式は、入力画像Ｇ１から抽出された入力項目名Ｐ１および算出項目名Ｐ２を含む前記登録式である。

前記主方向は、前記採用式に含まれる入力項目名Ｐ１および算出項目名Ｐ２が入力画像Ｇ１において並んでいる方向である。

即ち、文字抽出部４５は、ある前記登録式における入力項目名Ｐ１および算出項目名Ｐ２の全てが、入力画像Ｇ１における行方向Ｄ１に沿う領域の画像から抽出される場合、その登録式を前記採用式として選択し、行方向Ｄ１を前記主方向として選択する。

同様に、文字抽出部４５は、ある前記登録式における入力項目名Ｐ１および算出項目名Ｐ２の全てが、入力画像Ｇ１における列方向Ｄ２に沿う領域の画像から抽出される場合、その登録式を前記採用式として選択し、列方向Ｄ２を前記主方向として選択する。

また、図６および図７に示されるように、入力画像Ｇ１が行方向Ｄ１または列方向Ｄ２に沿う罫線Ｒ０を含む場合に、文字抽出部４５は、罫線Ｒ０を基準にして入力画像Ｇ１における行方向Ｄ１に沿う領域または列方向Ｄ２に沿う領域を特定する。

＜工程Ｓ１０６＞
次に、文字抽出部４５は、前記文字認識処理によって認識された複数の文字から、計算式データＤＴ０１が表す前記登録式における入力項目名Ｐ１に対応する入力値Ｖ１を抽出する（図６および図７参照）。

前記主方向が行方向Ｄ１である場合、文字抽出部４５は、工程Ｓ１０６において列方向の数値抽出処理を実行する。

前記列方向の数値抽出処理は、入力画像Ｇ１における入力項目名Ｐ１の画像を基準にして列方向Ｄ２に沿う対応列領域Ｃ１の画像から、入力項目名Ｐ１に対応する入力値Ｖ１を抽出する処理である（図６参照）。

同様に、前記主方向が列方向Ｄ２である場合、文字抽出部４５は、工程Ｓ１０６において行方向の数値抽出処理を実行する。

前記行方向の数値抽出処理は、入力画像Ｇ１における入力項目名Ｐ１の画像を基準にして行方向Ｄ１に沿う対応行領域Ｌ１の画像から、入力項目名Ｐ１に対応する入力値Ｖ１を抽出する処理である（図７参照）。

文字抽出部４５により実行される工程Ｓ１０３〜Ｓ１０６の処理は、文字抽出処理の一例である。前記文字抽出処理は、入力画像Ｇ１に対する前記文字認識処理により、入力画像Ｇ１から登録式データＤＴ０の前記登録式における入力項目名Ｐ１および算出項目名Ｐ２と入力項目名Ｐ１に対応する入力値Ｖ１とを抽出する処理である。

また、図８に示されるように、入力画像Ｇ１が、算出項目名Ｐ２に対応する数値である原計算値Ｖ２の画像を含む場合がある。そのため、文字抽出部４５は、工程Ｓ１０３〜Ｓ１０６において、入力値Ｖ１を抽出する処理と同様に、入力画像Ｇ１から前記登録式の算出項目名Ｐ２に対応する原計算値Ｖ２を抽出する処理も実行する。

また、図９に示されるように、入力画像Ｇ１が、入力項目名Ｐ１に対応する領域に数式Ｖ１０の画像を含む場合がある。数式Ｖ１０は、複数の入力値Ｖ１および演算記号Ｍ１を含む。

そこで、文字抽出部４５は、工程Ｓ１０３〜Ｓ１０６において、入力画像Ｇ１から入力項目名Ｐ１ごとに数式Ｖ１０を抽出する処理も実行する。

＜工程Ｓ１０７＞
文字抽出部４５は、工程Ｓ１０３〜Ｓ１０６の処理において入力項目名Ｐ１に対応する数式Ｖ１０が入力画像Ｇ１から抽出された場合、処理を工程Ｓ１０８へ移行させ、そうでない場合、処理を工程Ｓ１０９へ移行させる。

＜工程Ｓ１０８＞
工程Ｓ１０８において、計算部４６が、数式Ｖ１０の計算結果である計算入力値を算出する。その後、計算部４６は、処理を工程Ｓ１０９へ移行させる。

＜工程Ｓ１０９＞
工程Ｓ１０９において、計算部４６が、前記採用式に、入力画像Ｇ１から抽出された入力値Ｖ１を適用することにより、算出項目名Ｐ２に対応する算出結果である自動計算値Ｖ２０を算出する（図１０および図１１参照）。その後、計算部４６は、処理を工程Ｓ１１０へ移行させる。

また、計算部４６は、登録式データＤＴ０において前記採用式に対応付けられた有効桁データＤＴ０２および丸め種類データＤＴ０３に従った丸め処理により、自動計算値Ｖ２０を算出する。

＜工程Ｓ１１０＞
工程Ｓ１０３〜Ｓ１０６の処理において入力画像Ｇ１から前記登録式の算出項目名Ｐ２に対応する原計算値Ｖ２が抽出された場合、文字抽出部４５は、処理を工程Ｓ１１０から工程Ｓ１１１へ移行させ、そうでない場合、処理を工程Ｓ１１０から工程Ｓ１１２へ移行させる。

＜工程Ｓ１１１＞
工程Ｓ１１１において、主制御部４１が、後述する誤り対応処理を実行する。その後、主制御部４１は、処理を工程Ｓ１１２へ移行させる。

＜工程Ｓ１１２＞
工程Ｓ１１２において、画像合成部４７が、入力画像Ｇ１に、算出項目名Ｐ２に対応する自動計算値Ｖ２０の画像が合成された合成画像Ｇ２のデータを生成する（図１０および図１１参照）。その後、画像合成部４７は、処理を工程Ｓ１１３へ移行させる。

画像合成部４７は、自動計算値Ｖ２０が負の数である場合、登録式データＤＴ０において前記採用式に対応付けられている負数書式データＤＴ０４に従った書式で自動計算値Ｖ２０を表す画像を、入力画像Ｇ１に合成する。

前記採用式に対応する原計算値Ｖ２が入力画像Ｇ１から抽出されている場合、画像合成部４７は、一部の例外を除き、入力画像Ｇ１における原計算値Ｖ２の画像を、自動計算値Ｖ２０を表す活字の画像に置き換える。前記一部の例外については後述する。

工程Ｓ１０３において、入力画像Ｇ１から抽出された入力値Ｖ１の画像が、手書き数値の画像であると判定されている場合が考えられる。この場合、画像合成部４７は、入力画像Ｇ１における入力値Ｖ１の画像が、前記手書き数値に対応する活字の画像に置き換えられた画像に自動計算値Ｖ２０の画像が合成された合成画像Ｇ２のデータを生成する。

同様に、入力画像Ｇ１から抽出された入力項目名Ｐ１および算出項目名Ｐ２の一方または両方の画像が、手書き文字の画像であると判定されている場合が考えられる。この場合、画像合成部４７は、入力画像Ｇ１における前記手書き文字と判定された入力項目名Ｐ１および算出項目名Ｐ２の一方または両方の画像が、それらの文字に対応する活字の画像に置き換えられた画像に自動計算値Ｖ２０の画像が合成された合成画像Ｇ２のデータを生成する。

また、工程Ｓ１０８において、数式Ｖ１０の計算結果である前記計算入力値が算出されている場合が考えられる。この場合、画像合成部４７は、入力画像Ｇ１における数式Ｖ１０の画像が前記計算入力値の画像に置き換えられた画像に自動計算値Ｖ２０の画像が合成された合成画像Ｇ２のデータを生成する。

図１０に示される合成画像Ｇ２は、図６または図９に示される入力画像Ｇ１に基づき生成される画像の例である。同様に、図１１に示される合成画像Ｇ２は、図７に示される入力画像Ｇ１に基づき生成される画像の例である。

＜工程Ｓ１１３＞
工程Ｓ１１３において、プリント制御部４３が、合成画像Ｇ２のデータに基づく前記プリント処理を画像形成装置２に実行させる。プリント制御部４３は、前記プリント処理が終了したときに、前記表計算プリント処理を終了させる。

工程Ｓ１１３の処理により、例えば図１０または図１１に示されるような合成画像Ｇ２がシート９２に形成される。

工程Ｓ１１２およびＳ１１３の処理は、自動計算値Ｖ２０を含む出力情報を合成画像Ｇ２として画像形成装置２に出力させる出力制御の一例である。工程Ｓ１１２およびＳ１１３の処理を実行する画像合成部４７およびプリント制御部４３は、前記出力制御を実行する出力制御部の一例である。また、画像形成装置２は、情報出力装置の一例である。

［誤り対応処理］
次に、図４に示されるフローチャートを参照しつつ、図３の工程Ｓ１１１で実行される前記誤り対応処理の手順の一例について説明する。

以下の説明において、Ｓ２０１，Ｓ２０２，…は、前記誤り対応処理における複数の工程の識別符号を表す。

＜工程Ｓ２０１＞
前記誤り対応処理において、まず、主制御部４１は、入力画像Ｇ１から抽出された原計算値Ｖ２をこれに対応する自動計算値Ｖ２０と比較する。そして、主制御部４１は、原計算値Ｖ２が自動計算値Ｖ２０と異なると判定した場合、処理を工程Ｓ２０２へ移行させ、原計算値Ｖ２が自動計算値Ｖ２０と等しいと判定した場合、前記誤り対応処理を終了させる。

＜工程Ｓ２０２＞
工程Ｓ２０２において、主制御部４１は、例えば図１２に示されるような誤り通知画面３ｘを表示装置３ｂに表示させる。その後、主制御部４１は、処理を工程Ｓ２０３へ移行させる。

誤り通知画面３ｘは、入力画像Ｇ１と、入力画像Ｇ１における自動計算値Ｖ２０と異なる原計算値Ｖ２を指示する指示マークＭ０と、指示マークＭ０で指示される原計算値Ｖ２に対応する自動計算値Ｖ２０とを含む。

さらに、誤り通知画面３ｘは、修正アイコンＩＣ１と、非修正アイコンＩＣ２と中止アイコンＩＣ３とを含む。

修正アイコンＩＣ１は、原計算値Ｖ２をこれに対応する自動計算値Ｖ２０に修正することを指定する操作を受け付けるアイコンである。非修正アイコンＩＣ２は、原計算値Ｖ２をこれに対応する自動計算値Ｖ２０に修正しないことを指示する操作を受け付けるアイコンである。中止アイコンＩＣ３は、前記表計算プリント処理を中止することを指定する操作を受け付けるアイコンである。

＜工程Ｓ２０３＞
工程Ｓ２０３において、主制御部４１は、操作装置３ａに対する操作内容を判定する。主制御部４１は、修正アイコンＩＣ１の操作が行われたと判定した場合、処理を工程Ｓ２０４へ移行させ、非修正アイコンＩＣ２の操作が行われたと判定した場合、前記誤り対応処理を終了させる。

例えば、ユーザーは、入力画像Ｇ１における原計算値Ｖ２が前記登録式とは異なる例外的な計算式を用いて算出される値であると判断した場合などに、非修正アイコンＩＣ２を操作する。

主制御部４１は、中止アイコンＩＣ３の操作が行われたと判定した場合、前記表計算プリント処理を終了させる。例えば、前記ユーザーは、入力画像Ｇ１における入力値Ｖ１が誤記であるために原計算値Ｖ２が自動計算値Ｖ２０と異なっていると判断した場合などに、中止アイコンＩＣ３を操作する。

＜工程Ｓ２０４＞
工程Ｓ２０４において、主制御部４１は、予め定められた変数である修正フラグをＯＮに設定する。その後、主制御部４１は、前記誤り対応処理を終了させる。なお、前記修正フラグの初期値はＯＦＦである。

前記修正フラグがＯＮである場合、画像合成部４７は、図３の工程Ｓ１１２において、原則通り、入力画像Ｇ１における自動計算値Ｖ２０と異なる原計算値Ｖ２の画像を、自動計算値Ｖ２０を表す活字の画像に置き換える。

一方、前記修正フラグがＯＦＦである場合、画像合成部４７は、図３の工程Ｓ１１２において、入力画像Ｇ１における自動計算値Ｖ２０と異なる原計算値Ｖ２の画像を、原計算値Ｖ２を表す活字の画像に置き換える。

前述したように、工程Ｓ２０２の処理は、入力画像Ｇ１から抽出される原計算値Ｖ２と対応する自動計算値Ｖ２０とが異なる場合に実行される。

工程Ｓ２０２の処理は、原計算値Ｖ２と自動計算値Ｖ２０とが異なることを通知する情報を含む出力情報を誤り通知画面３ｘとして表示装置３ｂに出力させる処理である。工程Ｓ２０２の処理を実行する主制御部４１は、出力制御部の一例である。また、表示装置３ｂは、情報出力装置の一例である。

画像処理装置１０が用いられることにより、印刷物９０に形成された表の一部の空欄Ｂ０に手書きされた入力値Ｖ１を前記コンピューターに入力する作業を要することなく、手書きの入力値Ｖ１に基づく計算結果が反映された表を容易に作成することができる。

[第１応用例]
ＣＰＵ４が、前記表計算プリント処理に相当する表計算データ送信処理を実行することも考えられる。

例えば、主制御部４１は、操作装置３ａに対して動作モードを表計算モードに指定する操作が行われた上で、データ送信開始操作が行われたときに、前記表計算データ送信処理を開始する。

前記表計算データ送信処理は、図３に示される前記表計算プリント処理と比較して、工程Ｓ１１３の処理のみが異なる。前記表計算データ送信処理の工程Ｓ１１３において、主制御部４１が、合成画像Ｇ２の画像データを、通信装置６を通じて前記他装置へ送信する処理を実行する。

本応用例において、合成画像Ｇ２の画像データは、自動計算値Ｖ２０を含む出力情報の一例である。また、合成画像Ｇ２の画像データを通信装置６に送信する通信装置６は、情報出力装置の一例である。また、通信装置６に合成画像Ｇ２の画像データを送信させる主制御部４１は、出力制御部の一例である。

[第２応用例]
主制御部４１が、図３の工程Ｓ１１３において、合成画像Ｇ２を表示装置３ｂに表示させることも考えられる。この場合、合成画像Ｇ２の表示画面が、自動計算値Ｖ２０を含む前記出力情報の一例である。また、表示装置３ｂは情報出力装置の一例である。また、合成画像Ｇ２を表示装置３ｂに表示させる主制御部４１が、出力制御部の一例である。

１ ：画像読取装置
１ａ ：光源
１ｂ ：走査機構
１ｃ ：イメージセンサー
２ ：画像形成装置
２ａ ：シート搬送機構
２ｂ ：感光体
２ｃ ：帯電装置
２ｄ ：レーザースキャニングユニット
２ｅ ：現像装置
２ｆ ：転写装置
２ｇ ：定着装置
３ ：ユーザーインターフェイスユニット
３ａ ：操作装置
３ｂ ：表示装置
３ｘ ：誤り通知画面
４ ：ＣＰＵ
４ａ ：ＲＡＭ
５ ：二次記憶装置
６ ：通信装置
８ ：情報処理装置
１０ ：画像処理装置
４１ ：主制御部
４２ ：読取制御部
４３ ：プリント制御部
４４ ：計算式取得部
４５ ：文字抽出部
４６ ：計算部
４７ ：画像合成部
８０ ：ネットワーク
９０ ：印刷物
９１ ：原稿
９２ ：シート
Ｂ０ ：空欄
Ｃ１ ：対応列領域
Ｄ１ ：行方向
Ｄ２ ：列方向
ＤＴ０ ：登録式データ
ＤＴ０１ ：計算式データ
ＤＴ０２ ：有効桁データ
ＤＴ０３ ：種類データ
ＤＴ０４ ：負数書式データ
Ｇ１ ：入力画像
Ｇ２ ：合成画像
Ｌ１ ：対応行領域
Ｍ０ ：指示マーク
Ｍ１ ：演算記号
Ｐ１ ：入力項目名
Ｐ２ ：算出項目名
Ｒ０ ：罫線
Ｖ１ ：入力値
Ｖ２ ：原計算値
Ｖ２０ ：自動計算値

Claims (10)

1. １つ以上の入力項目名および算出項目名を変数として含む１つ以上の計算式の情報を含む登録式情報を予め記憶する記憶装置から、前記登録式情報を取得する計算式取得部と、
   入力画像に対する文字認識処理により、前記入力画像から前記登録式情報の前記計算式における前記入力項目名および前記算出項目名と前記入力項目名に対応する数値である入力値とを抽出する文字抽出処理を実行する文字抽出部と、
   前記入力画像から抽出された前記入力項目名および前記算出項目名を含む前記計算式に、前記入力画像から抽出された前記入力値を適用することにより、前記算出項目名に対応する算出結果である自動計算値を算出する計算部と、
   前記自動計算値を含む出力情報を情報出力装置に出力させる出力制御部と、を備え、
   前記出力制御部は、前記入力画像に前記算出項目名に対応する前記自動計算値の画像が合成された合成画像を前記出力情報として前記情報出力装置に出力させる、画像処理装置。
2. 前記文字抽出部は、前記文字抽出処理において、前記入力画像から前記入力項目名ごとに複数の前記入力値および演算記号を含む数式を抽出する処理も実行し、
   前記入力項目名に対応する前記数式が前記入力画像から抽出された場合に、前記計算部は、前記数式の計算結果である計算入力値を算出し、
   前記出力制御部は、前記入力画像における前記数式の画像が前記計算入力値の画像に置き換えられた画像に前記自動計算値の画像が合成された前記合成画像を前記出力情報として前記情報出力装置に出力させる、請求項１に記載の画像処理装置。
3. 前記文字抽出部は、前記入力画像における前記入力値の画像が手書き数値の画像であるか否かを判定する処理も実行し、
   前記出力制御部は、前記入力画像における前記手書き数値の画像であると判定された前記入力値の画像が前記手書き数値に対応する活字の画像に置き換えられた画像に前記自動計算値の画像が合成された前記合成画像を前記出力情報として前記情報出力装置に出力させる、請求項１または請求項２に記載の画像処理装置。
4. 前記合成画像に基づくプリント処理を実行する画像形成装置を前記情報出力装置としてさらに備える、請求項１から請求項３のいずれか１項に記載の画像処理装置。
5. １つ以上の入力項目名および算出項目名を変数として含む１つ以上の計算式の情報を含む登録式情報を予め記憶する記憶装置から、前記登録式情報を取得する計算式取得部と、
   入力画像に対する文字認識処理により、前記入力画像から前記登録式情報の前記計算式における前記入力項目名および前記算出項目名と前記入力項目名に対応する数値である入力値とを抽出する文字抽出処理を実行する文字抽出部と、
   前記入力画像から抽出された前記入力項目名および前記算出項目名を含む前記計算式に、前記入力画像から抽出された前記入力値を適用することにより、前記算出項目名に対応する算出結果である自動計算値を算出する計算部と、
   前記自動計算値を含む出力情報を情報出力装置に出力させる出力制御部と、を備え、
   前記文字抽出部は、前記文字抽出処理において、前記入力画像から前記登録式情報の前記算出項目名に対応する数値である原計算値を抽出する処理も実行し、
   前記入力画像から抽出される前記原計算値と対応する前記自動計算値とが異なる場合に、前記出力制御部は、前記原計算値と前記自動計算値とが異なることを通知する情報を含む前記出力情報を前記情報出力装置に出力させる、画像処理装置。
6. １つ以上の入力項目名および算出項目名を変数として含む１つ以上の計算式の情報を含む登録式情報を予め記憶する記憶装置から、前記登録式情報を取得する計算式取得部と、
   入力画像に対する文字認識処理により、前記入力画像から前記登録式情報の前記計算式における前記入力項目名および前記算出項目名と前記入力項目名に対応する数値である入力値とを抽出する文字抽出処理を実行する文字抽出部と、
   前記入力画像から抽出された前記入力項目名および前記算出項目名を含む前記計算式に、前記入力画像から抽出された前記入力値を適用することにより、前記算出項目名に対応する算出結果である自動計算値を算出する計算部と、
   前記自動計算値を含む出力情報を情報出力装置に出力させる出力制御部と、を備え、
   前記文字抽出部は、前記入力画像における行方向に沿う領域の画像から前記計算式における前記入力項目名および前記算出項目名が抽出される場合に、前記入力画像における前記入力項目名の画像を基準にして列方向に沿う領域の画像から対応する前記入力値を抽出し、前記入力画像における列方向に沿う領域の画像から前記計算式における前記入力項目名および前記算出項目名が抽出される場合に、前記入力画像における前記入力項目名の画像を基準にして行方向に沿う領域の画像から対応する前記入力値を抽出する、画像処理装置。
7. 前記文字抽出部は、前記入力画像が行方向または列方向に沿う罫線を含む場合に、前記罫線を基準にして前記入力画像における行方向に沿う領域または列方向に沿う領域を特定する、請求項６に記載の画像処理装置。
8. 原稿から画像を読み取り、読取画像のデータを前記入力画像のデータとして出力する画像読取装置をさらに備える、請求項１から請求項７のいずれか１項に記載の画像処理装置。
9. 入力画像に対する画像処理を実行する画像処理方法であって、
   １つ以上の入力項目名および算出項目名を変数として含む１つ以上の計算式の情報を含む登録式情報を予め記憶する記憶装置から、前記登録式情報を取得することと、
   前記入力画像に対する文字認識処理により、前記入力画像から前記登録式情報の前記計算式における前記入力項目名および前記算出項目名と前記入力項目名に対応する数値である入力値とを抽出する文字抽出処理を実行することと、
   前記入力画像から抽出された前記入力項目名および前記算出項目名を含む前記計算式に、前記入力画像から抽出された前記入力値を適用することにより、前記算出項目名に対応する算出結果である自動計算値を算出することと、
   前記入力画像に前記算出項目名に対応する前記自動計算値の画像が合成された合成画像を、前記自動計算値を含む出力情報として情報出力装置に出力させることと、を含む画像処理方法。
10. 入力画像に対する画像処理を実行する画像処理方法であって、
    １つ以上の入力項目名および算出項目名を変数として含む１つ以上の計算式の情報を含む登録式情報を予め記憶する記憶装置から、前記登録式情報を取得することと、
    前記入力画像に対する文字認識処理により、前記入力画像から前記登録式情報の前記計算式における前記入力項目名および前記算出項目名と前記入力項目名に対応する数値である入力値とを抽出する文字抽出処理を実行することと、
    前記入力画像から抽出された前記入力項目名および前記算出項目名を含む前記計算式に、前記入力画像から抽出された前記入力値を適用することにより、前記算出項目名に対応する算出結果である自動計算値を算出することと、
    前記自動計算値を含む出力情報を情報出力装置に出力させることと、を含み、
    前記文字抽出処理は、前記入力画像から前記登録式情報の前記算出項目名に対応する数値である原計算値を抽出する処理を含み、
    前記出力情報を前記情報出力装置に出力させることは、前記入力画像から抽出される前記原計算値と対応する前記自動計算値とが異なる場合に、前記原計算値と前記自動計算値とが異なることを通知する情報を含む前記出力情報を前記情報出力装置に出力させることを含む、画像処理方法。

Images