JP2024014051A - 画像形成装置および文字認識方法 - Google Patents

Abstract

【課題】情報処理機器の操作に習熟しておらず手書き文書が中心のユーザーでも使いやすく、読み易い書体で印刷できる画像形成装置および文字認識方法を提供する。【解決手段】画像形成装置としての複合機１００は、読み取るべき手書き文書原稿の種類指定を含むユーザーからの指示を受付ける指示受領部５２と、文書原稿の画像を読み取る画像読取部１３と、読み取られた画像から１以上の文字領域を抽出し、文字認識用辞書を用いて文字認識を行う文字認識部３５と、文字認識の結果を確認のために表示させる表示部５１と、文字認識された文字に対応するフォントを用いて文書原稿の印刷を行う印刷部１４と、を備える。文字認識部３５は、各文字領域に対して文書原稿の種類に応じた文字認識用辞書を用いて文字認識を行う。【選択図】図１

Description

本開示は、手書き文書原稿の画像を読み取る機能と、読み取られた画像の文字認識を行う文字認識機能とを備えた画像形成装置および手書き文書原稿の文字認識方法に関する。

コンビニエンスストア等、公共の場に設置される画像形成装置は幅広いユーザーに使用される。それらのユーザーの中には、加齢等、諸事情で筋力が不十分なために読み易い文字を書くことが難しいユーザーも含まれる。
近年は、年齢や障害の有無にかかわらず操作しやすいように配慮されたパーソナルコンピュータ等の情報処理機器も提案されている。例えば、手書き文字の筆跡データを入力して文字認識する情報処理装置として、筆跡データを入力するタイミングの近辺で、前記手書き文字を直接又は間接的に特定するための音声データを入力するものが提案されている。前記手書き文字の筆跡データを文字認識することにより得られる複数の文字認識候補の出力優先順位を、音声データを参照して決定する。これにより、文字認識率を向上させることが目的である（例えば、特許文献１参照）。

特開平８－２２１４０８号公報

情報処理機器の操作が得意なユーザーであれば、手書き文書に代えて情報処理機器を用いた文書作成が可能である。しかし、高齢者の中には情報処理機器の操作に習熟していないユーザーもある。
本開示は、以上のような事情を考慮してなされたものであって、情報処理機器の操作に習熟しておらず手書き文書が中心のユーザーでも使いやすく、読み易い書体で印刷できる手法を提供するものである。

本開示は、読み取るべき手書き文書原稿の種類指定を含むユーザーからの指示を受付ける指示受領部と、前記文書原稿の画像を読み取る画像読取部と、読み取られた画像から１以上の文字領域を抽出し、文字認識用辞書を用いて文字認識を行う文字認識部と、前記文字認識の結果を確認のために表示させる表示部と、文字認識された文字に対応するフォントを用いて前記文書原稿の印刷を行う印刷部とを備え、前記文字認識部は、各文字領域に対して前記文書原稿の種類に応じた文字認識用辞書を用いて前記文字認識を行う画像形成装置を提供する。

また、異なる観点から本開示は、画像形成装置の制御部が、読み取るべき手書き文書原稿の種類指定を含むユーザーからの指示を受付けるステップと、画像読取部を用いて前記文書原稿を読み取るステップと、読み取られた画像から１以上の文字領域を抽出し、文字認識用辞書を用いて文字認識を行う文字認識ステップと、前記文字認識の結果を確認のために表示させるステップと、印刷部を用いて、文字認識された文字に対応するフォントを用いて前記文書原稿の印刷を行うステップとを備え、前記文字認識ステップは、各文字領域に対して前記文書原稿の種類に応じた文字認識用辞書を用いて前記文字認識を行う文書原稿の文字認識方法を提供する。

本開示による画像形成装置は、文字認識部と、文字認識の結果を確認のために表示させる表示部と、文字認識された文字に対応するフォントを用いて文書原稿の印刷を行う印刷部とを備え、文字認識部は、文書原稿の種類に応じた文字認識用辞書を用いて前記文字認識を行うので、情報処理機器の操作に習熟しておらず手書き文書が中心のユーザーでも使いやすく、読み易い書体で印刷できる。
本開示による文字認識方法も同様の作用効果を奏する。

本開示において、画像形成装置の一例として示す複合機の構成を示すブロック図である。 図１に示す複合機における原稿読取部に対応する部分の外観斜視図である。 図１に示す複合機において、手書き文字認識＋印刷ジョブを実行する際に表示される第１の操作画面の例を示す説明図である。 図１に示す複合機において、手書き文字認識＋印刷ジョブを実行する際に表示される第２の操作画面の例を示す説明図である。 図１に示す複合機において、手書き文字認識＋印刷ジョブを実行する際に表示される第３の操作画面の例を示す説明図である。 図１に示す複合機において、手書き文字認識＋印刷ジョブを実行する際に表示される第４の操作画面の例を示す説明図である。 図１に示す複合機において、手書き文字認識＋印刷ジョブを実行する際に表示される第５の操作画面の例を示す説明図である。 図１に示す複合機において、手書き文字認識＋印刷ジョブを実行する際に表示される第６の操作画面の例を示す説明図である。 図１に示す複合機において、手書き文字認識＋印刷ジョブを実行する際に表示される第７の操作画面の例を示す説明図である。 図１に示す複合機において、制御部が実行する手書き文字認識＋印刷ジョブの処理の例を示す第１のフローチャートである。 図１に示す複合機において、制御部が実行する手書き文字認識＋印刷ジョブの処理の例を示す第２のフローチャートである。 図１に示す複合機において、手書き文字認識用書式の印刷を実行する際に表示される第１の操作画面の例を示す説明図である。 図１に示す複合機において、手書き文字認識用書式の印刷を実行する際に表示される第２の操作画面の例を示す説明図である。 図１に示す複合機において、制御部が実行する手書き文字認識用書式の印刷に係る処理の例を示すフローチャートである。 図１に示す複合機において、文字認識の候補を表示する操作画面の例を示す説明図である。

以下、図面を用いて本開示をさらに詳述する。なお、以下の説明は、すべての点で例示であって、本開示を限定するものと解されるべきではない。
（実施の形態１）
まず、本開示における画像形成装置について述べる。図１は、本開示において、画像形成装置の一例として示す複合機の構成を示すブロック図である。図２は、図１に示す複合機の原稿読取部に対応する部分の外観斜視図である。

図１に示すように、複合機１００は、制御部１２、画像読取部１３、印刷部１４、操作部１５および記憶部１８を備える。
制御部１２は、ハードウェア資源として、プロセッサおよびメモリを中心に構成され、る。プロセッサに加えて、入出力インターフェース回路、タイマ回路、通信回路等のハードウェア資源で構成される回路である。
プロセッサがメモリに格納された制御プログラムを実行することによって操作の認識、表示の制御に係る処理が実現される。また、原稿の読取りや画像の印刷等に係るジョブ、即ち一連の画像処理に係る処理が実現される。即ち、ソフトウェア資源とハードウェア資源とが協働することによって、複合機１００の制御を行う制御部１２としての機能が実現される。

本開示による制御部１２は、操作制御部２１、ファイル制御部２２およびジョブ制御部２４および画像処理部２５を備える。さらに、任意で書式提供部２３、音声認識部２７および音声合成部２８を備える。画像処理部２５は、読取制御部３３、印刷制御部３４および文字認識部３５を備え、さらに任意でレイアウト判定部３６を備える。
本開示による操作部１５は、表示部５１および指示受領部５２を備える。
また、本開示による記憶部１８は、辞書格納部８１を備え、さらに任意で書式格納部８２を備える。

制御部１２が備える操作制御部２１は、操作部１５と接続されており、操作部１５の指示受領部５２が受け付けたユーザーの操作を認識し、また、操作部１５の表示部５１に表示させる表示データを生成する。
図２に示すように、操作部１５は、複合機１００の手前側に設けられる。操作部１５は、操作制御部２１が生成した操作画面を表示する表示デバイス（表示部５１）を有する。さらに、その操作画面に対するユーザーからの指示を受け付ける操作検出デバイス（指示受領部５２）を有する。表示デバイスとしては、例えば液晶表示デバイスやＯＬＥＤ（Organic Light Emitting Display）が適用可能であり、操作検出デバイスとしてはタッチパネルが適用可能である。操作制御部２１は、上述の操作検出デバイスと通信して操作検出デバイスによって検出されたユーザーの操作、即ちユーザーからの指示を認識する。また、上述の表示デバイスに表示データを送信して操作画面として表示させる。
制御部１２が備えるファイル制御部２２は、記憶部１８に格納されたデータを管理し、読み書きを制御する。

制御部１２が備える画像処理部２５は、画像読取部１３から出力される読取画像の信号に基づいて原稿の画像データを生成する。生成された原稿の画像データは、スキャンジョブの場合、記憶部１８に格納され、あるいは不図示の通信回路を介して外部の機器へ送信される。読取制御部３３は、それらの原稿の読み取りに係る処理を制御する。コピージョブの場合、原稿の画像データは、印刷部１４へ送られて印刷される。プリントジョブの場合は、前記通信回路を介して外部の機器から受信したジョブデータに基づいて印刷用の画像データを生成し、印刷部１４で印刷する。印刷制御部３４は、それらの印刷に係る処理を制御する。文字認識部３５は、原稿の画像データに含まれる文字を認識する。好ましくは、レイアウト判定部３６が、原稿の画像データに含まれる文字領域のレイアウトパターンを判定する。文字認識部３５およびレイアウト判定部３６については後述する。

制御部１２が備えるジョブ制御部２４は、操作制御部２１が認識したユーザーからの指示、前記通信回路を介して印刷ホストとしての外部機器からの指示がジョブの設定あるいは実行に係る場合、対応する処理を行う。例えば、ジョブの設定に係る指示の場合は対象の設定を更新する。操作画面の更新を伴う場合は、操作制御部２１が更新された操作画面の表示データを生成して操作部１５の表示デバイスに送る。それによって、操作画面を更新する。ジョブの実行に係る指示を受領した場合、ジョブ制御部２４は受領したジョブの種類（例えば、スキャンジョブ、コピージョブ、印刷ジョブ）に応じて画像読取部１３、印刷部１４および画像処理部２５を制御し、画像データの流れを制御して指示されたジョブを実行する。
さらに述べると、ジョブ制御部２４は画像読取部１３および印刷部１４に配置された図示しないセンサーが検出する状態を認識する。そして、画像読取部１３および印刷部１４に配置された図示しないモータ、アクチュエータ、デバイス等の動作を制御する。また、ジョブ制御部２４は、画像処理部２５の画像に係る処理を制御する。

記憶部１８は、ＨＤＤ（Hard Disk Drive）やＳＤＤ（Solid State Drive）といった不揮発性メモリと画像データを格納するＤＲＡＭ（Dynamic Random Access Memory）といった揮発性メモリの何れかまたは両方を備える。図１において記憶部１８が、制御部１２と別のブロックとして示しているが、制御部１２に含まれる態様もあり得る。即ち、記憶部１８が、制御部１２と同じ回路基板上に実装される態様もあり得る。
記憶部１８の辞書格納部８１は、文字認識部３５が文字認識を行う際に用いる、原稿の種類に応じた辞書を格納する。任意の書式格納部８２は、予め定められた書式の印刷データを格納する。さらに、画像処理部２５がレイアウト判定部３６を備える場合、書式格納部８２は、種々のレイアウトパターンが登録されたデータベースを格納していてもよい。レイアウト判定部３６は、原稿の種類に応じたレイアウトパターンの判定を行う際にそれらのレイアウトパターンが格納されたデータベースを参照してもよい。

画像読取部１３は、ジョブ制御部２４の制御下で原稿の画像を読取って、ＲＧＢ（レッド、グリーンおよびブルー）のカラー画像信号（ＲＧＢアナログ信号）に変換する。即ち、コピージョブおよびスキャンジョブにおける画像読取の処理を実行する。読み取られる原稿は、原稿送り装置３１または原稿台３２にユーザーがセットする。原稿送り装置３１は、原稿を所定の読取位置へ１枚ずつ搬送する。原稿台３２は、平坦で透明なガラス部材からなる。画像読取部１３は、イメージセンサ（図１および図２に不図示）を備える。原稿台３２に置かれた原稿を走査するための走査機構（図１および図２に不図示）を備える。
画像処理部２５は、イメージセンサで読み取られた読取画像の信号に基づいて原稿の画像データを生成する。また、前記通信回路を介して外部の機器から受信する印刷データに基づいて印刷用の画像データを生成する。生成された画像データは、印刷部１４へ送られて印刷され、あるいは前記通信回路を介して外部の機器へ送信される。

印刷部１４は、印刷シートを収容する給紙トレイ４１Ａ、４１Ｂおよび４１Ｃの何れかから印刷シートを一枚ずつ給送してその印刷シートに画像を印刷し、排出トレイに出力する。図２および３に示すように、複合機１００は３つの排出トレイ４２Ａ、４２Ｂおよび４２Ｃの何れかに印刷済みの印刷シートを出力する。

≪手書き文字認識＋印刷ジョブについて≫
続いて、手書き文字認識＋印刷ジョブの処理の流れについて述べる。
図３～９は、手書き文字認識＋印刷ジョブを実行する際に操作部１５に表示される操作画面の例を示す説明図である。また、図１０および図１１は、制御部１２が実行する手書き文字認識＋印刷ジョブの処理の例を示すフローチャートである。フローチャートおよび操作画面の図を参照しながら説明する。
複合機１００が実行すべきジョブの選択を受け付ける操作画面１３０（図３参照）を操作部１５に表示させて、制御部１２は、ユーザーから指示がなされるのを待つ（図１０に示すステップＳ１１）。

操作画面１３０で、［手書き文字認識＋印刷］キー１３１がタッチされたら、その操作に応答して制御部１２は、原稿の種類を選択する操作画面１４０（図３参照）に操作画面を切り替える（図１０のステップＳ１３）。
制御部１２は、操作画面１４０に、「原稿の種類を選択してください。」というメッセージ１４１と共に、複数の原稿種類選択キー１４２を表示させる。好ましくは、制御部１２は、音声合成部２８にメッセージ１４１の内容を音声でもユーザーに提示する。後述する他の操作画面についても、好ましくは表示されるメッセージの内容を音声でもユーザーに提示する。操作画面１４０に表示される原稿種類は、はがきおよび年賀状である。さらに、操作画面１４０にない原稿種類の選択を受け付ける場合のために［履歴書、便箋へ］キー１４３を表示させる（図４参照）。［履歴書、便箋へ］キー１４３がタッチされたら、その操作に応答して制御部１２は、他の原稿種類を選択する操作画面１５０（図５参照）に操作画面を切り替える。

操作画面１５０で、制御部１２は、「原稿の種類を選択してください。」というメッセージ１５１と共に、複数の原稿種類選択キー１５２を表示させる。操作画面１５０に表示される原稿種類は、便箋および履歴書である。さらに、操作画面１４０へ戻って原稿種類の選択を受け付ける場合のために［はがき、年賀状へ］キー１５３を表示させる（図５参照）。
図４または図５の何れかの原稿種類選択キー１４２または１５２がタッチされると（図１０のステップＳ１５）、その操作に応答して制御部１２は、原稿の読み取りを指示する操作画面１６０（図６参照）に操作画面を切り替える（図１０のステップＳ１７）。
操作画面１６０で、制御部１２は、「原稿を置いて『原稿読み取り』を押してください。」というメッセージ１６１と共に、原稿の置き方をユーザーに示す原稿セットイラスト１６２を表示させる。さらに、原稿の読み取りを指示する［原稿読み取り］キー１６３を表示させる（図６参照）。

原稿セットイラスト１６２に従って手書き文字の原稿がセットされ、［原稿読み取り］キー１６３がタッチされると（図１０のステップＳ１９）、その操作に応答して制御部１２は、原稿を画像読取部１３に読み取らせる（図１０のステップＳ２１）。そして、好ましくは、選択された原稿種類に応じて、書式格納部８２に格納されそれぞれの原稿種類でよく用いられるレイアウトパターンが登録されたデータベースを参照し、読み取った手書き文書原稿における文字領域のレイアウトを推定する（同ステップＳ２３）。このようなレイアウトパターンの適用は、縦書きと横書きが混在するような原稿、異なるサイズの文字が混在する原稿、段組が用いられた原稿に対して特に有効である。
制御部１２は、選択された原稿種類に応じて、辞書格納部８１に格納された文字認識用辞書を参照し、各文字領域の文字認識を行う（同ステップＳ２５）。種類を問わずに同一の文字認識用辞書を適用する場合に比べ、原稿種類に応じた文字認識用辞書を用いることで、選択された原稿種類で多用される語句の優先度を高め、高い精度の文字認識を実現できる。そして、操作画面１７０（図７参照）に操作画面を切り替える（図１０のステップＳ２７）。

制御部１２は、操作画面１７０に、「以下の文章を読み上げてください。」というメッセージ１７１と共に、読み取った手書き原稿の画像を読取画像プレビュー１７２として表示させる。好ましくは、レイアウト判定部３６が判定した原稿のレイアウトパターンに従って、手書き原稿の中から抽出された１以上の文字領域の単位で、各文字領域の読み上げをユーザーに求める。制御部１２は、読み上げを求める文字領域を矩形枠の読み上げフォーカス１７３で示し、ユーザーがどの個所を読み上げるべきかを示す。さらに、マイクアイコン１７４を表示し、その色、濃淡あるいはサイズを変化させることでユーザーが行った読み上げを音声認識したことを示す。

制御部１２は、すべての文字領域について読み上げを求めてもよいが、文字認識の処理において信頼度（文字認識の確かさ）が所定の閾値に満たない文字領域のみについて読み上げを求めてもよい。信頼度は、例えば原稿の手書き文字と文字認識用辞書との類似の度合いに基づいて決定されてもよい。信頼度が閾値に満たない文字領域のみについて読み上げを求めるようにすることで、全ての文字領域について読み上げを求める場合に比べて読み上げに要する時間を短縮できる。
ここで、文字領域の判定は、単にレイアウトのみで判定するのではなく、各文字領域の文字認識の結果が合理的な意味を持つ語句になっているか否かに基づいて判定してもよい。合理的な意味を持つ語句にならない場合は、隣接する文字領域との境界をずらして文字認識を行い、より意味の通る単位で文字領域を決定することが好ましい。文字認識用辞書は、各文字の形状だけでなく複数の文字からなる語句の形状を参照して文字認識を行うようためのものであってもよい。

また好ましくは、制御部１２は、読み上げフォーカス１７３を移動させながら、各文字領域の読み上げをユーザーに求める。
詳細に述べると、制御部１２は、読み上げフォーカス１７３が示す対象の文字領域がユーザーによって読み上げられると（図１１に示すステップＳ３１）、音声認識部２７は、その音声を認識する。そして、読み上げ音声に対応する文字起こしの処理を行う（同ステップＳ３３）。そして、読み上げ音声から文字起こしされた結果を文字認識部３５が文字認識処理を行って得られた候補と照合する。好ましくは、読み上げフォーカス１７３が示す対象の文字領域を、文字認識および音声認識の結果決定された文字に置き換える。置き換える際、読み上げフォーカス１７３が示す文字領域をフォント文字に置き換える。

このようにして、各文字領域を文字認識部３５による文字認識と音声認識部２７による音声認識に基づく認識結果に置き変える。文字認識部３５による文字認識の結果として複数の候補が得られる場合がある。好ましくは、制御部１２は、何れの候補を採用するかについて、認識対象の文字や語句と文字認識用辞書との類似の度合いのみに基づいて文字認識の結果を決定しあるいは候補を絞り込むことはしない。音声認識部２７による読み上げ音声の認識結果を考慮して文字認識の結果を決定しあるいは候補を絞り込むようにする（同ステップＳ３５）。

一つの文字領域について文字認識の処理が終了すると、制御部１２は、読み上げを求める文字領域がまだ残っていないか判定する（同ステップＳ３７）。読み上げを行うべき文字領域が残っている場合（ステップＳ３７のＮｏ）、制御部１２は、図７に示す読み上げフォーカスを次の対象に移動させる（ステップＳ３９）。そして、処理を前述のステップＳ３１へ戻し、対象の文字領域の読み上げがなされるのを待つ。
一方、読み上げを行うべき文字領域が残っていない場合（ステップＳ３７のＹｅｓ）、制御部１２は、操作画面１８０（図８参照）に操作画面を切り替える（図１１のステップＳ４１）。このように、好ましくは音声認識を併用することで、情報処理機器の操作が不得手なユーザーであっても使いやすく、より高い精度の文字認識の結果を得ることが可能になる。

また、制御部１２が読み上げフォーカス１７３を移動させながら読み上げを求める態様に代えて、あるいはその態様に加えて、読み上げに係る処理を次のようにしてもよい。ユーザーが修正したいと考える語句を読み上げると、音声認識部２７がその読み上げを認識して該当する文字領域を決定し、読み上げを考慮してその文字領域の文字認識を行う。その場合、制御部１２は、文字認識の対象であると決定した文字領域に読み上げフォーカス１７３を移動させたうえで文字認識の結果を表示させてもよい。

制御部１２は、操作画面１８０に、「レイアウトを確認してください。」というメッセージ１８１と共に、確定した文字認識結果のプレビュー画像を文字認識プレビュー１８２として表示させる。さらに、［レイアウトを変更する］キー１８３および［印刷する］キー１８４を表示させる。
操作画面１８０で、［印刷する］キー１８４がタッチされたら（ステップＳ４３のＹｅｓ）、制御部１２は、手書き原稿の手書き文字を文字認識されたフォントに置き換えて印刷を実行し（ステップＳ５１）、ジョブを終了する。
一方、操作画面１８０で［レイアウトを変更する］キー１８３がタッチされたら（ステップＳ４３のＮｏを経てステップＳ４５のＹｅｓ）、その操作に応答して制御部１２は、他のレイアウトを選択する操作画面１９０（図９参照）に操作画面を切り替える（図１１のステップＳ５３）。

制御部１２は、操作画面１９０に、「レイアウトを選択してください。」というメッセージ１９１と共に、レイアウト選択キー１９２を表示させる。さらに、操作画面１９０にないレイアウトの選択を受け付けるための［他のレイアウトへ］キー１９３を表示させる。何れかのレイアウト選択キー１９２がタッチされたら、その操作に応答して制御部１２は、操作画面を図８に示す操作画面１８０と同様の画面に切り替える（図１１のステップＳ５５のＹｅｓを経て同ステップＳ４１へ）。ただし、その場合の文字認識プレビュー１８２は、選択されたレイアウトに対応するものである。各文字領域の文字認識結果は変えずにレイアウトだけを変更したものである。
以上が、この実施形態において複合機１００が手書き文書原稿を読み取り、文字認識を行い、文字認識された文字に対応するフォントを用いて文書原稿の印刷を行う手順である。

（実施の形態２）
実施の形態１では、はがきや便箋など、比較的自由なレイアウトの文書原稿を想定している。それに対して、例えば行政サービスに係る各種の申請書など、決められた書式の書類に文字を手書きするような場合もある。所定の書式が定められているものについては、画像形成装置がその書式を記憶あるいは参照可能とし、書式を印刷したものに手書きしたものを手書き文書原稿として読み取るようにすればよい。そうすれば、実施の形態１のようにレイアウト判定部３６が原稿のレイアウトを推定するのではなく、予め記憶されあるいは参照可能な書式に基づいて正確な原稿のレイアウトを決定できる。また、所定の書式の各欄に記入されるべき内容がわかっているので、原稿種類に応じた辞書を参照するだけでなく各欄の内容に応じた辞書を参照して高い精度の文字認識が可能になる。

この実施形態において、書式は、記憶部１８の書式格納部８２に予め格納されているものとする。しかし、その態様に限らず、例えば複合機１００が通信可能な外部のサーバー等に書式が格納されており、必要に応じてその書式を参照あるいはダウンロードしてもよい。
図１２および図１３は、本開示において手書き文字認識用書式の印刷を実行する際に表示される操作画面の例を示す説明図である。また、図１４は、制御部が実行する手書き文字認識用書式の印刷に係る処理の例を示すフローチャートである。フローチャートおよび操作画面の図を参照しながら説明する。
実施の形態１と同様、制御部１２は、複合機１００が実行すべきジョブの選択を受け付ける操作画面１３０（図３参照）を操作部１５に表示させて、制御部１２は、ユーザーから指示がなされるのを待つ（図１４に示すステップＳ６１）。

図３に示す操作画面１３０で、［手書き文字認識用書式の印刷］キー１３２がタッチされたら、その操作に応答して制御部１２は、書式提供部２３として以下の一連の処理を行う。
まず、印刷すべき書式を選択する操作画面２２０（図１２参照）に操作画面を切り替える（図１４のステップＳ６３）。
そして制御部１２は、操作画面２２０に、「印刷する原稿の書式を選択してください。」というメッセージ２２１と共に、複数の書式選択キー２２２を表示させる。操作画面２２０に表示される書式の種類として、はがきおよび年賀状を示している。さらに、操作画面１４０にない原稿種類の選択を受け付ける場合のために［履歴書、便箋、その他へ］キー２２３を表示させる（図１２参照）。［履歴書、便箋、その他へ］キー２２３がタッチされたら、その操作に応答して制御部１２は、他の書式を選択する不図示の操作画面に切り替える。その他の書式には、上述した行政サービス等に関する申請書類などが含まれてもよい。その他、民間の銀行や保険会社、郵便、宅配便等の申請書類の書式が含まれてもよい。
何れかの書式選択キー２２２がタッチされたら（図１４のステップＳ６５）、その操作に応答して制御部１２は、操作画面２３０（図１３参照）に操作画面を切り替える（図１４のステップＳ６７）。

制御部１２は、操作画面２３０に、「印刷する原稿の書式を確認してください。」というメッセージ２３１と共に、選択された書式のプレビュー画像を書式プレビュー２３２として表示させる。さらに、［別の書式を選択する］キー２３３および［印刷する］キー２３４を表示させる。
操作画面２３０で、［印刷する］キー２３４がタッチされたら（ステップＳ６９のＹｅｓ）、制御部１２は、選択された書式の印刷を実行し（ステップＳ７１）、ジョブを終了する。
一方、操作画面２３０で［別の書式を選択する］キー２３３がタッチされたら（ステップＳ６９のＮｏを経てステップＳ７３のＹｅｓ）、その操作に応答して制御部１２は、他の書式を選択する不図示の操作画面に操作画面を切り替える（図１４のステップＳ７３を経てステップＳ６３へ）。
以上が、この実施形態において複合機１００が手書き文字認識用書式の印刷を行う手順である。
このようにして印刷された書式にユーザーが手書きしたものを、実施の形態１と同様に読み取らせる。なお、手書き文字認識用書式には、印刷された書式であることを示す画像が付されているものとする。ここでは一例として２次元コードとする。その２次元コードを読み取った画像形成装置は、それに対応する書式を参照して、書式の原稿種類および書式の各欄に応じた辞書を参照して文字認識を行う。
なお、文字を手書きする箇所を示す枠等の補助線や注意書きが書式に印刷されている場合、制御部１２はその補助線を除き、文字認識された文字だけを印刷するようにしてもよい。

（実施の形態３）
実施の形態１で、文字認識部３５は、認識対象の手書き文字と文字認識用辞書との類似の度合いに基づいて、好ましくはさらに読み上げ音声の認識結果をさらに参照して決定しあるいは候補を絞り込む。
この実施形態で、文字認識部３５は、認識対象の候補を決定あるいは絞り込むよりも、むしろ同一または類似の意味を有する幅広い範囲の語句をユーザーに候補として提示する。

図１５は、この実施形態において、制御部１２が文字認識を行って候補を表示する操作画面の例を示す説明図である。実施の形態１の図７に対応するものといえる。
制御部１２は、図１５に示す操作画面２５０に、メッセージ２５１と共に、読み取った手書き原稿の画像を読取画像プレビュー２５２として表示させ、また読み上げフォーカス２５３を表示させる。さらに、マイクアイコン２５４を表示させる。それらは、図７に示す操作画面１７０、メッセージ１７１、読取画像プレビュー１７２、読み上げフォーカス１７３およびマイクアイコン１７４にそれぞれ対応するものといえる。

ただし、メッセージ２５１は図７のメッセージ１７１と異なり、「枠で囲んだ箇所にふさわしい内容を、右欄の中から選んでください。」という内容である。制御部１２は、図７にない文字認識候補２５５を読取画像プレビュー２５２の右に表示させる。文字認識候補２５５は、メッセージ２５１中の「右欄」に対応する。
文字認識候補２５５は、固有の番号１～３が付与された３つの候補（候補１～３）を含む。候補１は、読み上げフォーカス２５３で示される文字領域の手書き文字をその通りに認識したものであって、実施の形態１では文字認識の結果とされるものである。それに対して候補２は、候補１と同じ読みであり同じ意味を持つ語句であるが、一部を漢字、即ち同意の文字で置き換えたものである。候補１と同意の語句ともいえる。候補３は、候補１と類似の意味を持つ語句である。この例に限らず、制御部１２は、候補１と同意または類似の文字、同意または類似の語句を候補として表示させる。

候補１～３の何れかをタッチするユーザーの操作に応答して、制御部１２は、タッチされた候補を文字認識の結果とし、読み上げフォーカス２５３の手書き文字を選択された候補のフォント文字で置き換える。候補の選択は、タッチの操作だけでなく、候補に固有の番号１～３の何れかを読み上げるユーザーの音声によってなされてもよい。さらに、候補１～３の何れも意図したものでない場合、ユーザーが意図した内容を読み上げ、制御部１２はその読み上げの音声に応答して、文字認識候補２５５に新たな候補４を追加してもよい。あるいは候補１～３に代えて新たな候補を表示してもよい。
このように、文字認識の結果に加えて、その結果と同意または類似の文字、同意または類似の語句の少なくとも何れかを前記表示部に文字認識の候補として表示させることで、ユーザーに多様な候補を提示して選択を受け付けることが可能になる。

以上の本開示において、辞書は、文字、語、句、文の少なくとも何れかが登録されたデータベースであって、認識すべき対象と照合されるものである。

本開示には、上述した複数の態様のうちの何れかを組み合わせたものも含まれると解されるべきである。
前述した実施の形態の他にも、本開示についての種々の変形例があり得る。それらの変形例は、本開示の範囲に属さないと解されるべきものではない。本開示に係る発明には、請求の範囲と均等の意味および本開示の範囲に属するすべての変形が含まれるべきである。

１２：制御部、 １３：画像読取部、 １４：印刷部、 １５：操作部、 １８：記憶部、 ２１：操作制御部、 ２２：ファイル制御部、 ２３：書式提供部、 ２４：ジョブ制御部、 ２５：画像処理部、 ２７：音声認識部、 ２８：音声合成部、 ３１：原稿送り装置、 ３２：原稿台、 ３３：読取制御部、 ３４：印刷制御部、 ３５：文字認識部、 ３６：レイアウト判定部、 ４１Ａ，４１Ｂ，４１Ｃ：給紙トレイ、 ４２Ａ，４２Ｂ，４２Ｃ：排出トレイ、 ５１：表示部、 ５２：指示受領部、 ８１：辞書格納部、 ８２：書式格納部
１００：複合機、 １３０，１４０，１５０，１６０，１７０，１８０，１９０，２２０，２３０，２５０：操作画面、 １３１：［手書き文字認識＋印刷］キー、 １３２：［手書き文字認識用書式の印刷］キー、 １４１，１５１，１６１，１７１，１８１，１９１，２２１，２３１，２５１：メッセージ、 １４２，１５２：原稿種類選択キー、 １４３：［履歴書、便箋へ］キー、 １５３：［はがき、年賀状へ］キー、 １６２：原稿セットイラスト、 １６３：［原稿読み取り］キー、 １７２，２５２：読取画像プレビュー、 １７３，２５３：読み上げフォーカス、 １７４，２５４：マイクアイコン、 １８２：文字認識プレビュー、 １８３：［レイアウトを変更する］キー、 １８４：［印刷する］キー、 １９２：レイアウト選択キー、 １９３：［他のレイアウトへ］キー、 ２２２：書式選択キー、 ２２３：［履歴書、便箋、その他へ］キー、 ２３２：書式プレビュー、 ２３３：［別の書式を選択する］キー、 ２３４：［印刷する］キー、 ２５５：文字認識候補

Claims (9)

1. 読み取るべき手書き文書原稿の種類指定を含むユーザーからの指示を受付ける指示受領部と、
   前記文書原稿の画像を読み取る画像読取部と、
   読み取られた画像から１以上の文字領域を抽出し、文字認識用辞書を用いて文字認識を行う文字認識部と、
   前記文字認識の結果を確認のために表示させる表示部と、
   文字認識された文字に対応するフォントを用いて前記文書原稿の印刷を行う印刷部とを備え、
   前記文字認識部は、各文字領域に対して前記文書原稿の種類に応じた文字認識用辞書を用いて前記文字認識を行う画像形成装置。
2. 読み取られた画像から前記文字領域を抽出し、語句のレイアウトを判定するレイアウト判定部をさらに備え、
   前記文字認識部は、前記文書原稿の種類に応じて前記文字領域のレイアウトを決定し、各語句に対して前記文書原稿の種類に応じた文字認識用辞書を用いて前記文字認識を行う請求項１に記載の画像形成装置。
3. 手書き文書原稿用の複数のレイアウト書式を予め格納する書式格納部と、
   前記レイアウト書式の何れかを選択するユーザーからの指示を前記指示受領部を介して受付け、選択されたレイアウト書式を前記印刷部に印刷させてユーザーに提供する書式提供部をさらに備え、
   前記レイアウト判定部は、提供されたレイアウト書式に文字が手書きされた原稿が前記画像読取部によって読み取られた場合、そのレイアウト書式に基づいて語句のレイアウトを判定する請求項２に記載の画像形成装置。
4. 前記表示部に表示された文字認識の結果を文字領域毎に読み上げる音声を認識する音声認識部をさらに備え、
   前記文字認識部は、前記音声認識部による認識の結果をさらに用いて各語句の文字認識を必要に応じて修正する請求項２に記載の画像形成装置。
5. 前記文字認識部は、前記文字認識用辞書との類似の度合い基づく文字認識の結果の信頼度を各語句について算出し、算出された信頼度が予め定められた基準に満たない語句についてユーザーに語句の読み上げを求める請求項４に記載の画像形成装置。
6. 前記音声認識部は、表示部に表示された文字認識の結果のうちでユーザーが修正したい語句を読み上げる音声を認識し、
   前記文字認識部は、前記音声認識部による認識の結果をさらに用いて該当する文字領域の文字認識を修正する請求項４に記載の画像形成装置。
7. 前記音声認識部は、音声認識用辞書を用いて音声を認識し、前記文書原稿の種類に応じた音声認識用辞書を用いる請求項４に記載の画像形成装置。
8. 前記文字認識部は、前記文字認識用辞書を用いて得られる文字認識の結果に加えて、その結果と同意または類似の文字、同意または類似の語句の少なくとも何れかを前記表示部に文字認識の候補として表示させる請求項２に記載の画像形成装置。
9. 画像形成装置の制御部が、
   読み取るべき手書き文書原稿の種類指定を含むユーザーからの指示を受付けるステップと、
   画像読取部を用いて前記文書原稿を読み取るステップと、
   読み取られた画像から１以上の文字領域を抽出し、文字認識用辞書を用いて文字認識を行う文字認識ステップと、
   前記文字認識の結果を確認のために表示させるステップと、
   印刷部を用いて、文字認識された文字に対応するフォントを用いて前記文書原稿の印刷を行うステップとを備え、
   前記文字認識ステップは、各文字領域に対して前記文書原稿の種類に応じた文字認識用辞書を用いて前記文字認識を行う文書原稿の文字認識方法。