以下、図面を参照しつつ、本発明の実施形態について説明する。本実施形態では、本発明に係る画像出力装置を画像形成装置の複合機1に適用する場合について説明する。以下では、便宜上、図1の紙面手前側を複合機1の正面側(前側)として説明する。
図1に示されるように、複合機1は、略箱型形状の装置本体2を備える。装置本体2の下部には用紙(記録媒体、図示せず)を収納した給紙カセット3が設けられ、装置本体2の上部の排紙空間には第1排紙トレイ4が設けられる。給紙カセット3及び第1排紙トレイ4は、装置本体2内の後述の画像形成部15で画像が形成される用紙を搬送するために用いられる。
装置本体2の上部における第1排紙トレイ4の上方には、原稿に表示されたものを画像データとして読み取る画像読取装置5が設けられる。画像読取装置5は、上面にプラテンガラス6を備え、プラテンガラス6上に載せられた原稿の画像をスキャナー(図示せず)によって読み取ると共に画像データを生成するように構成される。
また、画像読取装置5の上方には、画像読取装置5へと原稿を供給する自動原稿搬送装置(Auto Document Feeder:ADF)等の原稿搬送部7が設けられる。この原稿搬送部7の上面には原稿トレイ8が設けられ、原稿トレイ8の下方には第2排紙トレイ10が設けられる。原稿搬送部7は、画像読取の際に、原稿トレイ8に載置された原稿を供給機構(図示せず)によりプラテンガラス6上に供給し、画像読取後に、プラテンガラス6上の原稿を供給機構(図示せず)により第2排紙トレイ10へと排出する。即ち、原稿トレイ8及び第2排紙トレイ10は、画像読取装置5で画像が読み取られる原稿を搬送するために用いられる。また、原稿搬送部7は、プラテンガラス6を覆うカバー部材として開閉可能に取り付けられる。
更に、装置本体2の上部では、操作表示ユニット11(操作部)が正面側に取り付けられる。操作表示ユニット11は、例えば、テンキーやスタートキー、システムメニューキー、送信キー、コピーキー、確認キー等の操作キーと、タッチパネル等の表示画面とを備えて、印刷枚数や印刷濃度等の設定についてユーザーからの設定入力を受け付ける。
装置本体2の中央部には、図2に示されるように、中間転写ベルト13が複数のローラー間に架設され、中間転写ベルト13の下方には、レーザー・スキャニング・ユニット(LSU)で構成される露光装置14が配置される。中間転写ベルト13の近傍には、中間転写ベルト13の下部に沿って4個の画像形成部15がトナーの色(例えば、シアン、マゼンタ、イエロー、ブラックの4色)ごとに設けられる。
各画像形成部15には、感光体ドラム16が回転可能に設けられており、感光体ドラム16の周囲には、帯電器17と、現像器18と、一次転写部20と、クリーニング装置21と、除電器22とが、一次転写のプロセス順に配置される。現像器18の上方には、各画像形成部15と対応する4個のトナー容器としてのトナーコンテナ23が、トナーの色ごとに設けられる。
装置本体2の右部には、用紙の搬送経路24が設けられる。搬送経路24の上流端には給紙部25が設けられ、搬送経路24の中流部には中間転写ベルト13の右端に二次転写部26が設けられ、搬送経路24の下流部には定着装置27が設けられ、搬送経路24の下流端には排紙口28が設けられる。なお、排紙口28は、装置本体2の排紙空間に向けて開口されていて、第1排紙トレイ4の上方に形成される。
次に、このような構成を備えた複合機1の画像形成動作について説明する。複合機1に電源が投入されると、各種パラメーターが初期化され、定着装置27の温度設定等の初期設定が実行される。そして、画像読取装置5や後述の外部の管理者端末50、ユーザー端末51等(図2参照)から画像データが入力され、印刷開始の指示がなされると、以下のようにして画像形成動作が実行される。
まず、各画像形成部15において、帯電器17によって感光体ドラム16の表面が帯電された後、露光装置14からのレーザー光(矢印P参照)により感光体ドラム16の表面に静電潜像が形成される。次に、この静電潜像を、トナーコンテナ23から供給されるトナーによって現像器18がトナーにより対応する色のトナー像に現像する。このトナー像は、一次転写部20において中間転写ベルト13の表面に一次転写される。以上の動作を各画像形成部15が順次繰り返すことによって、中間転写ベルト13上にフルカラーのトナー像が形成される。なお、感光体ドラム16上に残留したトナー及び電荷は、クリーニング装置21及び除電器22によって除去される。
他方、給紙部25によって給紙カセット3又は手指しトレイ(図示せず)から取り出された用紙は、上記した画像形成動作とタイミングを合わせて二次転写部26へと搬送され、二次転写部26において、中間転写ベルト13上のフルカラーのトナー像が用紙に二次転写される。トナー像を二次転写された用紙は、搬送経路24を下流側へと搬送されて定着装置27に進入し、この定着装置27において用紙にトナー像が定着される。トナー像が定着された用紙は、排紙口28から第1排紙トレイ4へと排出される。
次に、上記した複合機1の電気的な構成について図2を参照しながら説明する。複合機1は、装置本体2の内部に制御装置30を備え、制御装置30は、CPU等からなる制御部31と、ROMやRAM等からなる記憶部32とを備える。
制御装置30は、上記した画像読取装置5、操作表示ユニット11、画像形成部15等の複合機1の各部に接続される。更に、制御装置30は、通信部33、外部メモリー接続部34、ログイン認証部35、テンプレート設定部36、画像分類部37、文字領域検出部38、文字抽出部39、情報検索部40、画像出力部41等に接続されている。
複合機1において、記憶部32には、画像形成処理制御に必要なプログラムやデータ、その他の複合機1の機能を制御するためのプログラムやデータが記憶される。制御部31は、記憶部32に記憶された各プロクラム等に従って演算処理を実行して、制御装置30に接続された各部を制御する。記憶部32には、例えば、複合機1によって画像を分類して出力する画像分類出力アプリケーション42(画像分類出力プログラム)や、画像データを分類するための1つ以上のテンプレートが記憶される。また、記憶部32には、複合機1を取り扱うユーザー毎に予め割り当てられたユーザーID及びパスワードが記憶される。
更に、記憶部32は、出力先格納部43、送信元格納部44及びキーワード格納部45を備える。
出力先格納部43は、画像データの1つ以上の出力先のそれぞれに関する出力先情報を格納する。出力先情報は、例えば、識別番号、名前、会社名、住所、電話番号、画像データをメール送信によって出力するために用いるメールアドレス(例えば、通信部33を介して接続された後述の第三者端末52のメールアドレス)、画像データをファクシミリ送信によって出力するために用いるFAX番号(例えば、通信部33を介して接続された第三者端末52のFAX番号)、画像データをデータ転送によって出力するために用いるデータ転送先情報(例えば、記憶部32の所定のフォルダや、通信部33を介して接続された管理者端末50及びユーザー端末51のプライベートIPアドレス)等を含む。
送信元格納部44は、画像データをメールによって送信可能な1つ以上の送信元のそれぞれに関する送信元情報を格納する。送信元情報は、例えば、送信元の名前、送信元毎に予め割り当てられたグローバルIPアドレス等を含む。なお、記憶部32は、上記のユーザーID及びパスワードと送信元情報とを関連付けて記憶するとよい。
出力先情報や送信元情報は、複合機1の一般設定によって設定され、例えば、1つ以上の出力先情報や1つ以上の送信元情報を記憶したcsvファイルやその他のファイル等を、通信部33を介して接続された管理者端末50及びユーザー端末51からインポートしたり、外部メモリー接続部34を介して接続された外部メモリー54からインポートしたりすることによって設定され、出力先格納部43や送信元格納部44に格納される。
キーワード格納部45は、画像データの出力先を示す出力先文字に付加される出力先キーワードを格納する。出力先キーワードは、例えば、メールの宛先を示すために付加される宛先キーワード(例えば、文末の「様」、「御中」や、Dear、Hello、Hi等)、メールのカーボンコピー送信先を示すために付加されるカーボンコピーキーワード(例えば、Noted by、Approved by、Confirmed by、Witness等)、ファクシミリ送信先を示すために付加されるファクシミリキーワード、データ転送先を示すために付加される転送先キーワード等を含む。また、キーワード格納部45は、メールの送信元を示す送信元文字に付加される送信元キーワード(例えば、Sincerely、Yours、Respectfully等)を格納する。
複合機1(制御装置30)は、通常出力モードと画像分類出力モードとを切換可能に構成される。通常出力モードが設定された複合機1では、初期設定やユーザーが適宜選択した設定に基づいて、通常の画像印刷(上記の画像形成動作)や画像送信等の通常出力が行われる。他方、画像分類出力モードが設定された複合機1では、制御装置30が記憶部32に記憶された画像分類出力アプリケーション42を実行することにより、画像分類出力が行われる。
画像分類出力アプリケーション42は、複合機1が画像データのメール送信等の画像出力を行う際に、画像データに対して文字認識を行い、文字認識で得られた出力先に対して画像データを出力する。画像データには、例えば、画像読取装置5で原稿から読み取った画像データ、後述の管理者端末50やユーザー端末51からの送信ジョブ等によって通信部33を介して複合機1に入力された画像データ、外部メモリー54から外部メモリー接続部34が読み取った画像データ、又はその他の画像データがある。また、画像分類出力アプリケーション42は、例えば、記憶部32に記憶された1つ以上のテンプレートを利用して、画像データを1つ以上のテンプレートの何れかに分類し、画像データに対して、分類されたテンプレート(対応テンプレート)に応じた文字認識を行う。1つ以上のテンプレートには、例えば、ビジネスレターや依頼状等の「レター」、「送り状」、「レシート」等があり、これらのテンプレートは、取り扱う会社や事業所、店舗、学校等によって異なることが多い。
なお、テンプレート設定部36、画像分類部37、文字領域検出部38、文字抽出部39、情報検索部40、画像出力部41は、複合機1で画像分類出力モードが設定されているときに動作する構成要素であり、画像分類出力アプリケーション42の一部の機能を有する。図2では、テンプレート設定部36、画像分類部37、文字領域検出部38、文字抽出部39、情報検索部40、画像出力部41は、画像分類出力アプリケーション42とは別に図示されているが、画像分類出力アプリケーション42に含まれるプログラムで構成されてよい。なお、画像分類出力アプリケーション42は、ソフトウェア開発キット(SDK:Software Development Kit)やアプリケーションプログラミングインタフェース(API:Application Programming Interface)等で構成されてよい。
通信部33は、複合機1と外部機器とを通信可能に接続するためのインタフェースである。通信部33は、例えば、所定のネットワーク(図示せず)を介して管理者端末50、ユーザー端末51及び第三者端末52と通信可能に接続され、また、電話回線を介して外部のファクシミリ53と通信可能に接続される。管理者端末50、ユーザー端末51、第三者端末52及びファクシミリ53は、図1では1つずつ図示されているが、それぞれが複数設けられてよい。
管理者端末50、ユーザー端末51及び第三者端末52は、パーソナルコンピュータ等の外部端末である。管理者端末50及びユーザー端末51は、LAN等のネットワーク(図示せず)を介して通信部33に接続されることで、複合機1を遠隔操作可能となり、例えば、複合機1に対する送信ジョブの入力や、複合機1から転送された画像データの受信が可能となる。管理者端末50は複合機1の管理者権限を有する管理者の端末であって、ユーザー端末51は複合機1を通常利用する通常のユーザーの端末である。第三者端末52は、インターネット等のネットワーク(図示せず)を介して通信部33に接続され、複合機1を遠隔操作することはできないが、複合機1から送信されたメールに添付された画像データや複合機1から転送された画像データの受信が可能となる。
外部メモリー接続部34は、USBメモリー等の外部メモリー54と接続可能に構成され、制御部31からの指示に応じて、外部メモリー54に記憶されたデータを読み取って制御部31へと送信し、例えば、記憶部32に記憶される。例えば、外部メモリー接続部34は、出力対象の画像データ、後述のトレーニング画像のデータ、又は1つ以上の出力先情報を記憶した外部メモリー54に接続され、外部メモリー54から出力対象の画像データ、トレーニング画像のデータ、又は1つ以上の出力先情報を読み取って制御部31へと送信する。
ログイン認証部35は、ユーザーの複合機1へのログインを認証する。ログイン認証部35は、操作表示ユニット11の操作キーの操作に応じて、操作表示ユニット11の表示画面にログイン画面を表示させる。ログイン認証部35は、複合機1を取り扱うユーザーによって、上記のログイン画面を介してユーザーID及びパスワードの入力がされたとき、入力されたユーザーID及びパスワードが記憶部32に記憶されたユーザーID及びパスワードと一致するか否かを判定する。そして、ログイン認証部35は、ユーザーID及びパスワードが一致する場合に、当該ユーザーのログインを認証する。例えば、ログイン認証部35は、上記の1つ以上の送信元情報の何れかに対応する所定のユーザーのログインを認証することができる。
テンプレート設定部36は、画像データを分類するために用いられる1つ以上のテンプレートを設定する。テンプレート設定部36は、画像分類出力アプリケーション42の実行によって動作し、操作表示ユニット11の表示画面にテンプレート設定画面66等(図7等参照)の操作画面を表示すると共に、操作画面を介した操作表示ユニット11の操作キーによる設定入力を受け付け、この設定入力に応じてテンプレートを設定する。テンプレート設定部36によって設定されるテンプレートは、例えば、テンプレート名、分類情報、既定情報等を含み、テンプレート設定部36は、テンプレート名設定部46と、分類情報設定部47と、既定情報設定部48とを備える。
テンプレート名設定部46は、1つ以上のテンプレートを識別できるようにテンプレート毎に異なるテンプレート名をテンプレートに関連付けて設定する。例えば、テンプレート名設定部46は、テンプレート名設定画面73(図9等参照)を操作表示ユニット11の表示画面に表示してテンプレート名の設定を受け付け、テンプレート名設定画面73を介して設定されたテンプレート名をテンプレートに関連付けて記憶部32に記憶する。
分類情報設定部47は、画像データを1つ以上のテンプレートの何れかに分類するためのテンプレート毎に異なる分類情報をテンプレートに関連付けて設定する。分類情報設定部47は、例えば、文字領域検出部38及び文字抽出部39等を利用して、2つ以上のトレーニング画像をトレーニングしてこれらのトレーニング画像に共通(一致又は類似)する特徴要素を抽出し、抽出した共通の特徴要素に基づいて分類情報を設定する。例えば、分類情報は、トレーニング画像の元となる原稿のサイズ、トレーニング画像において出力先キーワードが含まれる第1文字領域や送信元キーワードが含まれる第2文字領域の配置及びサイズ等のレイアウト、その他の文字領域の配置及びサイズ等のレイアウトを含む。なお、第1文字領域や第2文字領域のレイアウトや、その他の文字領域のレイアウトは、座標やベクトル、色情報からなるデータでもよい。また、分類情報は、各文字領域において検出された出力先キーワードや送信元キーワードを、各文字領域に関連付けて有する。即ち、分類情報設定部47は、画像における第1文字領域や第2文字領域を判別可能なテンプレートを設定する。更に、分類情報は、顔写真や図形等の画像領域のレイアウト、文字領域における文字の書式やサイズ、背景画像や模様等のデザイン等、原稿を所定の領域に分類して判断するためのその他の情報を含んでよい。
例えば、分類情報設定部47は、分類情報設定画面を操作表示ユニット11の表示画面に表示して分類情報の設定を受け付け、分類情報設定画面を介して設定された分類情報をテンプレートに関連付けて記憶部32に記憶する。分類情報設定部47は、例えば、上記の分類情報設定画面として、トレーニング画像の入力を受け付けるトレーニング画像入力画面80(図11等参照)を操作表示ユニット11の表示画面に表示する。
分類情報設定部47は、外部の管理者端末50又はユーザー端末51から通信部33を介して受信した画像、外部メモリー接続部34が外部メモリー54から読み取った画像、画像読取装置5が原稿から読み取った画像を、トレーニング画像入力画面80を介して、トレーニング画像として入力する。分類情報設定部47は、トレーニング画像入力画面80によって2つ以上(好ましくは3つ)のトレーニング画像の入力を受け付ける。
既定情報設定部48は、画像データから出力先文字を抽出できなかった場合に出力先(例えば、メールの宛先やカーボンコピー送信先、FAX番号、データ転送先等)となる既定出力先(例えば、メールの既定宛先や既定カーボンコピー送信先、既定FAX番号、既定データ転送先等)や、画像データから送信元文字を抽出できなかった場合に送信元(例えば、メールの差出人等)となる既定送信元を示す既定情報をテンプレートに関連付けて記憶部32に記憶する。なお、既定出力先及び既定送信元は、上記の出力先情報及び送信元情報と同様の情報である。
例えば、既定情報設定部48は、既定情報設定画面114(図22等参照)を操作表示ユニット11の表示画面に表示して既定出力先及び既定送信元等の既定情報の設定を受け付け、既定設定画面114を介して設定された既定情報をテンプレートに関連付けて記憶部32に記憶する。
また、テンプレート設定部36は、テンプレート名設定画面73、分類情報設定画面(トレーニング画像入力画面80)及び既定情報設定画面114を介したテンプレート設定に限定されず、例えば、画像分類出力アプリケーション42によって提供されるテンプレート設定APIを利用した設定入力を、管理者端末50から通信部33を介して受け付け、この設定入力に応じてテンプレートを設定してもよい。なお、テンプレート設定部36は、テンプレート設定を、管理者や管理者端末50に限定して許可してもよく、あるいは、ユーザーやユーザー端末51にも許可してもよい。
画像分類部37は、記憶部32に記憶された1つ以上のテンプレートに基づいて、出力対象の画像データを1つ以上のテンプレートの何れかに分類する。画像分類部37は、例えば、文字領域検出部38及び文字抽出部39等を利用して、出力対象の画像データの特徴要素を抽出し、抽出した特徴要素と対応(一致又は類似)する分類情報を有する対応テンプレートを、記憶部32に記憶された1つ以上のテンプレートから検出する。例えば、画像分類部37は、出力対象の画像データに含まれる文字領域に対応する文字領域を有するテンプレートを対応テンプレートとして判定してよく、あるいは、出力対象の画像データの第1文字領域及び/又は第2文字領域に対応する第1文字領域及び/又は第2文字領域を有するテンプレートを対応テンプレートとして判定してもよい。例えば、画像分類部37は、画像データに含まれる文字領域と、各テンプレートの分類情報に含まれる文字領域とを比較して、所定のテンプレートに関して文字領域や画像領域のレイアウト、その他の分類情報が一致する場合や類似度が高い場合に、この所定のテンプレートを、出力対象の画像データの対応テンプレートとして分類する。なお、画像データに含まれる文字領域と所定のテンプレートの文字領域との配置が少しずれる程度であれば、類似度が高いと判定してよい。
文字領域検出部38は、トレーニング画像や出力対象の画像データの文字領域を検出する。例えば、文字領域の検出では、トレーニング画像や出力対象の画像データがグレースケールデータに変換され、グレースケールデータは、二値化処理によって白黒のバイナリデータに変換される。バイナリデータでは、文字部分が黒画素で示され、その他の部分が白画素で示される。バイナリデータは、反転処理によって反転データに変換される。反転データでは、文字部分が白画素で示され、その他の部分が黒画素で示される。ここで、反転データから白画素を含む1つ以上の範囲を抽出し、抽出した各範囲を全て黒画素で示すことにより、抽出した1つ以上の範囲に対応する1つ以上の領域を有する領域データが生成される。そして、領域データのエッジ検出を行うことにより、領域データの各領域の輪郭を示すエッジデータが生成される。換言すれば、エッジデータは、反転データで白画素を含む各範囲、即ち、各文字領域について、輪郭の座標を有する。このようにして、トレーニング画像や出力対象の画像データから文字領域が検出される。
文字抽出部39は、トレーニング画像や出力対象の画像データの文字認識を行うと共に、その文字認識結果から出力先キーワードや送信元キーワードを検出し、更に、出力先キーワードや送信元キーワードに付加された文字を抽出することにより、文字認識結果から出力先文字や送信元文字を抽出する。
例えば、文字抽出部39は、文字認識結果から宛先キーワードを検出すると共に宛先キーワードに付加された文字を抽出することにより、文字認識結果からメールの宛先の対象としての出力先文字を抽出する。また、文字抽出部39は、文字認識結果からカーボンコピーキーワードを検出すると共にカーボンコピーキーワードに付加された文字を抽出することにより、文字認識結果からカーボンコピー送信先の対象としての出力先文字を抽出する。
あるいは、文字抽出部39は、文字認識結果からファクシミリキーワードを検出すると共にファクシミリキーワードに付加された文字を抽出することにより、文字認識結果からファクシミリ送信先の対象としての出力先文字を抽出する。また、文字抽出部39は、文字認識結果から転送先キーワードを検出すると共に転送先キーワードに付加された文字を抽出することにより、文字認識結果からデータ転送先の対象としての出力先文字を抽出する。
なお、テンプレート設定部36及び画像分類部37は、ニューラルネットワークを用いてテンプレートの設定及びテンプレートに基づく画像分類を実現してもよく、文字抽出部39は、ニューラルネットワークを用いて文字抽出及び文字認識を実現してもよい。例えば、ニューラルネットワーク55を用いたテンプレートの設定では、図3に示すように、ニューラルネットワーク55の入力層55Aにテンプレートのトレーニング画像を割り当て、ニューラルネットワーク55の中間層55Bにトレーニング画像における文字領域と、出力先及び送信元(宛先、カーボンコピー送信先、送信元等)とを割り当て、ニューラルネットワーク55の出力層55Cにテンプレートを割り当てる。
情報検索部40は、文字抽出部39によって抽出された出力先文字に対応する出力先情報を記憶部32の出力先格納部43から検索する。また、情報検索部40は、文字抽出部39によって抽出された送信元文字に対応する送信元情報を記憶部32の送信元格納部44から検索する。
画像出力部41は、情報検索部40によって出力先文字に対応する出力先情報が検索された場合に、検索された出力先情報に示される出力先に向けて画像データを出力する。なお、画像出力部41は、画像データについて情報検索部40によって出力先文字に対応する出力先情報が検索されなかった場合には、この画像データの対応テンプレートに関連付けられた既定出力先に向けて画像データを出力する。
例えば、画像出力部41は、情報検索部40によってメールの宛先の対象としての出力先文字に対応する出力先情報が検索された場合には、出力先情報に示されるメールアドレスを宛先として画像データを含むメールを送信する。また、画像出力部41は、情報検索部40によってカーボンコピー送信先の対象としての出力先文字に対応する出力先情報が検索された場合には、出力先情報に示されるメールアドレスをカーボンコピー送信先として画像データを含むメールを送信する。
あるいは、画像出力部41は、情報検索部40によってファクシミリ送信先の対象としての出力先文字に対応する出力先情報が検索された場合には、出力先情報に示されるファクシミリ番号に対して画像データをファクシミリ送信する。また、画像出力部41は、情報検索部40によってデータ転送先の対象としての出力先文字に対応する出力先情報が検索された場合には、出力先情報に示されるデータ転送先に対して画像データをデータ転送する。
更に、画像出力部41は、情報検索部40によって送信元文字に対応する送信元情報が検索された場合には、送信元情報に基づいて画像データを含むメールを送信する。なお、画像出力部41は、画像データについて情報検索部40によって送信元文字に対応する送信元情報が検索されなかった場合には、この画像データの対応テンプレートに関連付けられた既定送信元に基づいて画像データを含むメールを送信する。
また、画像出力部41は、所定のユーザーがログイン認証部35によってログインしている場合で、且つ、画像データについて情報検索部40によって送信元文字に対応する送信元情報が検索されなかった場合又は画像データを画像分類部37によって1つ以上のテンプレートの何れかに分類できなかった場合には、記憶部32からこの所定のユーザーに対応する送信元情報を取得し、取得した送信元情報に基づいて画像データを含むメールを送信する。
次に、複合機1の画像分類出力に関する動作について説明する。画像分類出力に関する設定操作は、ユーザーが複合機1の操作表示ユニット11を用いて行うことができ、操作表示ユニット11は、制御装置30(画像分類出力アプリケーション42)によって制御されて各画面を表示画面に表示する。
操作表示ユニット11では、システムメニューキー(図示せず)を押下すると表示画面に「共通設定」や「クイックセットアップウィザード」等を含むシステムメニューが表示される。操作表示ユニット11のシステムメニューの「共通設定」を選択すると、操作表示ユニット11の表示画面に共通設定画面60(図4参照)が表示される。共通設定画面60では、「画像分類出力」等の複数の項目が表示され、特に、「画像分類出力」の項目には、画像分類出力モード(画像分類出力アプリケーション42の実行状態)がOn/Offで表示されると共に変更ボタン61が表示される。この変更ボタン61を押下することで画像分類出力モードのOn/Offを切り替えることができる。換言すれば、「画像分類出力」の項目において画像分類出力モードをOnに切り替えることで、複合機1では画像分類出力モードが設定され、他方、「画像分類出力」の項目において画像分類出力モードをOffに切り替えることで、複合機で1は通常出力モードが設定される。
次に、複合機1の画像分類出力アプリケーション42によるテンプレート設定動作について、図5〜図23を参照しながら説明する。
操作表示ユニット11のシステムメニューの「クイックセットアップウィザード」を選択すると、操作表示ユニット11の表示画面にクイックセットアップウィザード画面63(図6参照)が表示される。クイックセットアップウィザード画面63では、「テンプレートセットアップ」等の複数の項目が表示され、特に、「テンプレートセットアップ」の項目には、次ボタン64が表示される。「テンプレートセットアップ」の項目の次ボタン64を押下することで、テンプレート設定部36によってテンプレート設定処理が開始して、操作表示ユニット11の表示画面にテンプレート設定画面66(図7参照)が表示される(ステップS1)。
テンプレート設定画面66では、処理フロー67及び現在の処理内容68が表示され、また、次ボタン69及び終了ボタン70が表示される。処理フロー67では、「テンプレート名設定」、「トレーニング画像入力」、「トレーニング画像解析」及び「宛先/差出人設定」のフローが表示され、実行中又は実行済みのフローにはチェックマーク71(図8等参照)が付される。テンプレート設定画面66では、次ボタン69を押下することで処理フロー67が順次進行し、終了ボタン70を押下することでテンプレート設定処理が中止されてクイックセットアップウィザード画面63へと戻る。即ち、テンプレート設定画面66において、処理フロー67が全て完了する前に終了ボタン70が押下されると、テンプレート設定処理は確定しない。
テンプレート設定処理では、先ず、テンプレート設定画面66の次ボタン69を押下すると、テンプレート設定画面66が切り替えられて、図8に示すように、処理フロー67の「テンプレート名設定」にチェックマーク71が付されると共に、テンプレート名を設定すべきことが現在の処理内容68に表示される。更に、次ボタン69を押下すると、テンプレート名設定部46によって「テンプレート名設定」のフローが開始し(ステップS2)、図9に示すように、テンプレート設定画面66からテンプレート名設定画面73へと切り替わる。
テンプレート名設定画面73では、テンプレート名の入力ボックス74が表示され、また、次ボタン75、戻るボタン76及び終了ボタン77が表示される。入力ボックス74は、操作表示ユニット11のキーボード(図示せず)操作によるテンプレート名の入力や編集を受け付け、操作表示ユニット11がキーボードを備えていない場合には、キーボードボタン78の押下によって操作表示ユニット11の表示画面にキーボード(図示せず)が表示される。
テンプレート名設定画面73でのテンプレート名の入力後に次ボタン75を押下すると、入力ボックス74に入力された名前が仮テンプレート名として設定(一時記憶)され、「テンプレート名設定」のフローが完了してテンプレート設定画面66へと切り替わる。また、テンプレート名設定画面74において、戻るボタン76を押下すると、1つ前のフロー(図8に示すテンプレート設定画面66の表示)に戻り、また、終了ボタン77は、テンプレート設定画面66の終了ボタン70と同じ機能を有する。
次に、テンプレート設定画面66では、図10に示すように、処理フロー67の「トレーニング画像入力」にチェックマーク71が付されると共に、トレーニング画像を入力すべきことが現在の処理内容68に表示される。ここで、次ボタン69を押下すると、分類情報設定部47によって、「トレーニング画像入力」のフローが開始して(ステップS3)、図11に示すように、テンプレート設定画面66からトレーニング画像入力画面80へと切り替わる。
トレーニング画像入力画面80では、3つのトレーニング画像のデータ名81(ファイル名)が表示され、また、読込ボタン82、スキャンボタン83及び全削除ボタン84が表示され、更に、OKボタン85及びキャンセルボタン86が表示される。
トレーニング画像入力画面80の読込ボタン82を押下すると、トレーニング画像入力画面80からトレーニング画像読込画面88(図12、図14参照)へと切り替わる。トレーニング画像読込画面88では、ユーザーボックスタブ89及び外部メモリータブ90が表示され、ユーザーボックスタブ89が選択されることでユーザーボックス画面92(図12参照)が表示され、外部メモリータブ90が選択されることで外部メモリー画面100(図14参照)が表示される。
ユーザーボックス画面92には、複合機1の記憶部32においてユーザーが文書や画像の保存先として利用可能な記憶領域を示す1つ以上のボックス(フォルダ)のボックステーブル93が表示され、また、開ボタン94が表示される。ボックステーブル93には、ボックス毎に、ボックス番号、ボックス名、所有者名及び使用容量が表示され、各ボックスを選択可能になっている。開ボタン94を押下することで、ボックステーブル93で選択中のボックス(選択ボックス)の画像テーブル画面95(図13参照)がポップアップ表示される。このとき、記憶部32の選択ボックス内に記憶されている画像の情報が読み出される。
画像テーブル画面95には、選択ボックスから読み出された画像の画像テーブル96が表示され、また、OKボタン97が表示されている。画像テーブル96には、選択ボックス内の画像のデータ名(ファイル名)及びサムネイルが一覧表示され、各画像に対応してチェックボックス98が表示されている。なお、画像テーブル96は、選択ボックス内の画像について、サムネイルを表示することなく、詳細情報を表示してもよい。このチェックボックス98をチェックすることで対応する画像が選択される。OKボタン97を押下することで、画像テーブル96のチェックボックス98で選択された画像がトレーニング画像として選択(一時記憶)され、画像テーブル画面95を閉じると共にトレーニング画像読込画面88からトレーニング画像入力画面80へと切り替わる。
また、外部メモリー画面100が表示される場合には、外部メモリー54に記憶されている画像の情報が外部メモリー接続部34に読み出される。外部メモリー画面100には、外部メモリー54から読み出された画像の画像テーブル101が表示され、また、OKボタン102が表示される。画像テーブル101には、外部メモリー54から読み出された画像が、上記した画像テーブル画面95の画像テーブル96と同様にして一覧表示され、各画像に対応してチェックボックス103が表示されている。このチェックボックス103をチェックすることで対応する画像が選択される。OKボタン102を押下することで、画像テーブル101のチェックボックス103で選択された画像がトレーニング画像として選択(一時記憶)され、トレーニング画像読込画面88からトレーニング画像入力画面80へと切り替わる。
トレーニング画像読込画面88のユーザーボックス画面92(画像テーブル画面95)や外部メモリー画面100で選択されたトレーニング画像のデータ名は、図15に示すように、トレーニング画像入力画面80のトレーニング画像のデータ名81に表示される。
他方、トレーニング画像入力画面80のスキャンボタン83を押下すると、トレーニング画像入力画面80からトレーニング画像スキャン画面105(図16参照)へと切り替わる。
トレーニング画像スキャン画面105では、図16(1)〜(3)に示すように、スキャンボタン106が表示され、また、OKボタン107及びキャンセルボタン108が表示される。更に、トレーニング画像スキャン画面105では、スキャン対象の3つの画像を「画像1」、「画像2」及び「画像3」として識別していて、「画像1」〜「画像3」のスキャン状態等が表示される。
トレーニング画像スキャン画面105が表示された状態で、スキャンボタン106又は操作表示ユニット11のスタートキー(図示せず)を押下すると、トレーニング画像のスキャン動作が開始する。トレーニング画像のスキャン動作では、画像読取装置5が稼働して、プラテンガラス6に載置された原稿、又は原稿搬送部7の原稿トレイ8からプラテンガラス6上に供給された原稿から画像が読み取られ、その画像データは記憶部32に記憶される。
このとき、トレーニング画像スキャン画面105では、図16(2)に示すように、「スキャン中」の文字等が表示されると共に、3つの画像の中でスキャンの完了したものに対してチェックマークが付される。なお、画像読取装置5がプラテンガラス6に載置された原稿から画像を読み取る場合には、1枚目と2枚目の原稿の画像読取後に、「次の原稿をセットしてください」等の文字をトレーニング画像スキャン画面105に表示するとよい。また、画像読取装置5によるスキャンが失敗した場合には、トレーニング画像スキャン画面105にエラー表示をするとよい。
トレーニング画像スキャン画面105において、スキャンボタン106は、スキャン前では操作可能に表示されているが、スキャン中及びスキャン完了後ではグレー表示されて操作不能になっている。キャンセルボタン108は、いつでも操作可能であり、キャンセルボタン108を押下すると、トレーニング画像の選択がされることなく、トレーニング画像入力画面80へと戻る。特に、スキャン中にキャンセルボタン108を押下すると、画像読取装置5によるスキャン動作を中止する。OKボタン107は、スキャン前及びスキャン中ではグレー表示されて操作不能になっているが、スキャン完了後では操作可能に表示される。トレーニング画像スキャン画面105では、スキャンが完了すると、図16(3)に示すように、「スキャン完了」の文字等が表示される。そして、スキャン完了後にOKボタン107を押下すると、画像読取装置5でスキャンされた画像がトレーニング画像として選択(一時記憶)され、トレーニング画像スキャン画面105からトレーニング画像入力画面80へと切り替わる。
そして、トレーニング画像入力画面80では、トレーニング画像スキャン画面105で選択されたトレーニング画像の「画像1」〜「画像3」が、図17に示すように、トレーニング画像のデータ名81に表示される。
トレーニング画像の読込又はスキャンの完了後に、トレーニング画像入力画面80のOKボタン85を押下すると、データ名81に示された画像がトレーニング画像として設定(一時記憶)され、「トレーニング画像入力」のフローが完了して、テンプレート設定画面66へと切り替わる。また、キャンセルボタン86を押下すると、トレーニング画像の設定がされることなく、1つ前のフロー(図10に示すテンプレート設定画面66の表示)に戻る。
次に、テンプレート設定画面66では、図18に示すように、処理フロー67の「トレーニング画像解析」にチェックマーク71が付されると共に、トレーニング画像を解析すべきことが現在の処理内容68に表示される。ここで、次ボタン69を押下すると、「トレーニング画像解析」(テンプレートのトレーニング)のフローが開始し(ステップS4)、テンプレート設定画面66からトレーニング画像解析画面110(図19参照)へと切り替わる。
トレーニング画像解析画面110では、トレーニング画像の解析状態が表示され、また、終了ボタン111が表示される。終了ボタン111は、テンプレート設定画面66の終了ボタン70と同じ機能を有する。なお、トレーニング画像を解析している間、図19(1)に示すように、トレーニング画像解析画面110におけるトレーニング画像の解析状態には、「トレーニング画像の解析中」の文字等が表示される。
「トレーニング画像解析」のフローでは、分類情報設定部47によって、トレーニング画像入力画面80で設定された3つのトレーニング画像が解析され、これらのトレーニング画像に基づく分類情報が生成される。例えば、分類情報設定部47では、各トレーニング画像の特徴要素抽出が行われる。各トレーニング画像の特徴要素抽出では、先ず、文字領域検出部38によって各トレーニング画像の文字領域が特徴要素として検出される。
次に、文字抽出部39によって、各トレーニング画像の文字領域毎に、文字を抽出すると共に文字認識を行う。そして、その文字認識結果から宛先キーワード、カーボンコピーキーワード及び送信元キーワードを検出する。例えば、図20(1)に示すトレーニング画像Aについては、図20(2)に示すように、文字領域A1(題名領域)、A2(書中宛名領域)、A3(本文領域)及びA4(署名領域や文末領域)が検出される。そして、トレーニング画像Aにおいて、文字領域A2から宛先キーワード(Dear)が検出され、文字領域A3からカーボンコピーキーワード(approved by)が検出され、文字領域A4から送信元キーワード(Sincerely)が検出される。その結果、トレーニング画像Aについて、画像が文字領域A1、A2、A3及びA4を有すること及びこれらの文字領域のレイアウト、宛先キーワードが文字領域A2に含まれること、カーボンコピーキーワードが文字領域A3に含まれること、送信元キーワードが文字領域A4に含まれること等が特徴要素として抽出される。
分類情報設定部47では、3つのトレーニング画像のそれぞれの特徴要素が抽出されると共に、例えば、ニューラルネットワーク等を用いて比較処理が行われ、その比較結果から学習率(Learning rate)が算出される。この学習率は、3つのトレーニング画像のそれぞれの特徴要素が一致又は類似する程、100%に近づく高い値となる。例えば、3つのトレーニング画像の内、2つのトレーニング画像について特徴要素が一致する場合には、学習率が66%となる。分類情報設定部47は、トレーニング画像間の比較処理において、全ての種類の特徴要素の完全一致だけを学習率に反映させてもよいが、特徴要素の種類毎の部分一致を学習率に反映させることでより詳細な学習率を算出してもよい。分類情報設定部47では、学習率に対して所定の閾値が予め設定され、学習率が所定の閾値を超えた場合に(ステップS5:Yes)、トレーニング画像の解析が完了し、即ち、テンプレートのトレーニングが成功し(ステップS6)、3つのトレーニング画像のそれぞれの特徴要素について平均化等の処理を行うことにより、3つのトレーニング画像と同じ種類の特徴要素を有する分類情報を生成する。なお、所定の閾値は、100%又は100%に近い値が望ましい。
なお、トレーニング画像の解析が完了すると、トレーニング画像解析画面110では、図19(2)に示すように、トレーニング画像の解析状態に「トレーニング画像の解析成功」や「学習率100%」の文字等が表示されると共に、次ボタン112が表示される。次ボタン112を押下すると、分類情報設定部47で生成された分類情報が仮分類情報として設定(一時記憶)され、「トレーニング画像解析」のフローが完了して(ステップS7)、トレーニング画像解析画面110からテンプレート設定画面66へと切り替わる。
他方、上記の学習率が所定の閾値以下の場合(ステップS5:No)、トレーニング画像の解析が未完了(テンプレートのトレーニングが不十分)と判定される(ステップS8)。この場合、トレーニング画像解析画面110では、図19(3)に示すように、トレーニング画像の解析状態に「トレーニング画像が不十分です」、「学習率50%」、「トレーニング画像を追加してください」の文字等が表示されると共に、次ボタン112が表示される。次ボタン112を押下すると、トレーニング画像を更に追加するために、「トレーニング画像入力」のフローが再度行われて(ステップS3)、トレーニング画像入力画面80が再度表示される。なお、分類情報設定部47は、トレーニング画像が追加された場合には、入力された全てのトレーニング画像の内、特徴要素の一致又は類似の程度が低いトレーニング画像を除外して、比較処理や分類情報の生成を行ってもよい。これにより、特徴要素の一致又は類似の程度が高いトレーニング画像から、高い学習率を得ることができ、また、より精度の高い分類情報を得ることができる。
トレーニング画像の解析完了後、テンプレート設定画面66では、図21に示すように、処理フロー67の「宛先/差出人設定」にチェックマーク71が付されると共に、既定出力先や既定送信元を設定すべきことが現在の処理内容68に表示される。ここで、次ボタン69を押下すると、既定情報設定部48によって、「宛先/差出人設定」(既定情報設定)のフローが開始して(ステップS9)、図22に示すように、テンプレート設定画面66から既定情報設定画面114へと切り替わる。
既定情報設定画面114では、宛先ボタン115、宛先入力ボックス116、送信元ボタン117、送信元入力ボックス118、カーボンコピー送信先ボタン119及びカーボンコピー送信先入力ボックス120が表示され、また、OKボタン121及びキャンセルボタン122が表示される。
既定情報設定画面114において、宛先ボタン115又はカーボンコピー送信先ボタン119を押下すると、記憶部32の出力先格納部43に格納された出力先のリスト(例えば、アドレス帳)が選択可能にポップアップ表示される(図示せず)。この出力先のリストから選択された出力先は、宛先入力ボックス116又はカーボンコピー送信先入力ボックス120に入力される。送信元ボタン117を押下すると、記憶部32の送信元格納部44に格納された送信元のリスト(例えば、アドレス帳)が選択可能にポップアップ表示される(図示せず)。この送信元のリストから選択された送信元は、送信元入力ボックス118に入力される。また、宛先入力ボックス116、送信元入力ボックス118及びカーボンコピー送信先入力ボックス120は、操作表示ユニット11のキーボード(図示せず)操作による既定出力先及び既定送信元の入力や編集を受け付けるが、操作表示ユニット11がキーボードを備えていない場合には、キーボードボタン123の押下によって操作表示ユニット11の表示画面にキーボード(図示せず)が表示される。
既定情報設定画面114での既定出力先及び既定送信元の入力後にOKボタン121を押下すると、宛先入力ボックス116、送信元入力ボックス118及びカーボンコピー送信先入力ボックス120に入力された宛先、送信元及びカーボンコピー送信先(即ち、出力先及び送信元)が、仮既定宛先、仮既定送信元及び仮既定カーボンコピー送信先(即ち、仮既定出力先及び仮既定送信元等の仮既定情報)として設定(一時記憶)され、「宛先/差出人設定」のフローが完了する。また、既定情報設定画面114において、キャンセルボタン76を押下すると、仮既定情報の設定がされることなく、1つ前のフロー(図21に示すテンプレート設定画面66の表示)に戻る。
上記のようにして「宛先/差出人設定」のフローが完了すると、設定(一時記憶)された仮テンプレート名、仮分類情報及び仮既定情報を、それぞれテンプレート名、分類情報及び既定情報として関連付けられたテンプレートが確定して記憶部32に(記憶)登録され、テンプレート設定処理が完了する(ステップS10)。そして、図23に示すように、テンプレート設定完了画面125がポップアップ表示される。
テンプレート設定完了画面125では、新規のテンプレートを追加するか否かを問うメッセージ126が表示されると共に、Yesボタン127及びNoボタン128が表示される(ステップS11)。テンプレート設定完了画面125のYesボタン127を押下すると(ステップS11:Yes)、図5のステップ1に戻って、テンプレート設定部36によって次のテンプレート設定が開始して、操作表示ユニット11の表示画面にテンプレート設定画面66(図7参照)が表示される。他方、テンプレート設定完了画面125のNoボタン128を押下すると(ステップS11:No)、テンプレート設定は終了して、クイックセットアップウィザード画面63(図6参照)又はホーム画面(図示せず)へと切り替わる。
次に、複合機1における画像データの通常の出力動作と、画像分類出力アプリケーション42による画像分類出力動作とについての画像送信の例を、図24〜図26を参照しながら説明する。
複合機1の操作表示ユニット11では、送信キー(図示せず)を押下すると、図24に示すように、表示画面に送信処理画面130が表示される。送信処理画面130では、宛先テーブル131、アドレス帳ボタン132、新規Eメールボタン133、新規フォルダボタン134、新規FAX/新規i−FAXボタン135、WSDスキャン/DSMスキャンボタン136及び画像分類出力ボタン137等が表示される。宛先テーブル131には、送信処理の対象となる宛先情報が一覧表示され、通常の出力動作では、操作表示ユニット11のスタートキーが押下されると、宛先テーブル131に表示された宛先情報に対して送信処理(例えば、メール送信、FAX送信やデータ転送等の出力処理)が行われることになる。宛先テーブル131は、初期状態では宛先情報を含んでいないが、後述するように、アドレス帳ボタン132、新規Eメールボタン133、新規フォルダボタン134、新規FAX/新規i−FAXボタン135、WSDスキャン/DSMスキャンボタン136等の操作に応じて、宛先情報が追加される。
アドレス帳ボタン132を押下すると、複合機1(記憶部32)に記憶されているアドレス帳に含まれる宛先情報のリスト画面(図示せず)が表示され、このリスト画面で選択された宛先情報が宛先テーブル131へと追加される。新規Eメールボタン133を押下すると、Eメールアドレスの入力画面(図示せず)が表示され、この入力画面で入力されたEメールアドレスが宛先テーブル131へと追加される。新規フォルダボタン134を押下すると、新規フォルダの生成画面(図示せず)が表示され、この生成画面を介して記憶部32に生成された新規フォルダのパスが宛先テーブル131へと追加される。新規FAX/新規i−FAXボタン135を押下すると、FAX番号やi−FAXで用いるEメールアドレスの入力画面(図示せず)が表示され、この入力画面で入力されたFAX番号やEメールアドレスが宛先テーブル131へと追加される。WSDスキャン/DSMスキャンボタン136を押下すると、データの転送先となる管理者端末50やユーザー端末51を識別可能なコンピュータ名やIPアドレス等の端末識別情報の入力画面(図示せず)が表示され、この入力画面で入力された端末識別情報が宛先テーブル131へと追加される。
画像分類出力ボタン137は、上記の共通設定画面60における「画像分類出力」の項目の変更ボタン61(図4参照)と同様に、通常出力モードと画像分類出力モードとを切り替えるもので、押下する毎に選択状態のOn/Offが切り替わるように表示される。画像分類出力ボタン137は、選択状態がOffの場合には、通常表示されて、操作表示ユニット11のスタートキーが押下されると、複合機1では、上記のように宛先テーブル131に基づく通常の出力動作が行われる。
他方、画像分類出力ボタン137は、選択状態がOnの場合には、反転表示されて、操作表示ユニット11のスタートキーが押下されると、複合機1では、宛先テーブル131に拘らず、画像分類出力アプリケーション42による画像分類出力動作が行われる。以下では、この画像分類出力動作により画像データを添付したメール送信を行う例について、図25を参照しながら説明する。
先ず、メール送信の対象となる画像データを取得するために(ステップS21)、スキャン処理が開始して画像読取装置5が稼働し、プラテンガラス6に載置された原稿、又は原稿搬送部7の原稿トレイ8からプラテンガラス6上に供給された原稿から、メール送信対象の画像が読み取られる。読み取られた画像データは記憶部32に記憶される。
次に、画像分類部37によって、上記のトレーニング画像の解析(図5に示すステップS4)と同様にして、画像データの特徴要素抽出が行われる。画像データの特徴要素抽出では、先ず、文字領域検出部38によって画像データの文字領域が特徴要素として検出される。(ステップS22)。
更に、画像分類部37によって、記憶部32に記憶された1つ以上のテンプレートに基づいて、画像データの分類が行われる。このとき、画像分類部37では、画像データから検出された文字領域に対応(一致又は類似)するような文字領域を有する対応テンプレートを、記憶部32に記憶された1つ以上のテンプレートから検出する(ステップS23)。
ここで、画像データの対応テンプレートが検出できた場合には(ステップS23:Yes)、文字抽出部39によって、対応テンプレートの文字領域毎に画像データの文字を抽出すると共に文字認識を行う(ステップS24)。そして、その文字認識結果から宛先キーワードを検出すると共に、宛先キーワードに付加された宛先文字を抽出する(ステップS25)。このとき、対応テンプレートに第1文字領域が含まれる場合には、文字抽出部39は、宛先キーワードの検出や宛先文字の抽出を、対応テンプレートの第1文字領域に対応する画像データの文字領域に限定する。
このようにして、画像データから宛先文字が抽出されると、情報検索部40によって、抽出された宛先文字に対応する出力先情報が出力先格納部43から検索される(ステップS26)。なお、情報検索部40は、宛先文字と全体的に一致する情報を有する出力先情報を検索してもよいが、部分的に一致する情報を有する出力先情報を検索してもよい。部分的な一致としては、例えば、苗字の一致、会社名の一致、住所の一致、氏名とメールアドレスのローカル部との一致、会社名とメールアドレスのドメインとの一致等がある。
ここで、宛先文字に対応する出力先情報を出力先格納部43から検索できなかった場合には(ステップS27:Yes)、画像出力部41は、対応テンプレートに関連付けられた既定宛先を取得してメール送信の宛先に設定する(ステップS28)。
あるいは、宛先文字に対応する1つの出力先情報を出力先格納部43から検索できた場合には(ステップS27:No、ステップS29:Yes)、画像出力部41は、検索された出力先情報をメール送信の宛先に設定する(ステップS30)。
その他、宛先文字に対応する2つ以上の出力先情報を出力先格納部43から検索できた場合には(ステップS29:No、ステップS31:Yes)、画像出力部41は、検索された2つ以上の出力先情報のリスト(図示せず)を操作表示ユニット11の表示画面に選択可能に表示する(ステップS32)。そして、画像出力部41は、ユーザーによってリストから選択された出力先情報をメール送信の宛先に設定する(ステップS33)。
上記の宛先についての宛先キーワード検出及び宛先文字抽出(ステップS25)、宛先文字に対応する出力先情報の検出(ステップS26、S27、S29、S31)、並びに宛先の設定(ステップS28、S30、S32、S33)と同様にして、カーボンコピー送信先及び送信元についても、カーボンコピーキーワード及び送信元キーワードの検出、カーボンコピー送信先文字及び送信元文字の抽出、カーボンコピー送信先文字に対応する出力先情報及び送信元文字に対応する送信元情報の検出、並びにカーボンコピー送信先及び送信元の設定が行われる。即ち、図25のステップS25〜S33のフローは、宛先、カーボンコピー送信先及び送信元の順に繰り返される。
このとき、文字抽出部39は、カーボンコピーキーワードの検出やカーボンコピー送信先文字の抽出を、対応テンプレートの第1文字領域に対応する画像データの文字領域に限定し、送信元キーワードの検出や送信元文字の抽出を、対応テンプレートの第2文字領域に対応する画像データの文字領域に限定する。情報検索部40は、カーボンコピー送信先文字に対応する出力先情報を出力先格納部43から検索し、送信元文字に対応する送信元情報を送信元格納部44から検索する。
その後、画像出力部41は、画像データを添付したメールを、上記のように設定されたメール送信の宛先又はカーボンコピー送信先に対して、上記のように設定されたメール送信の送信元に基づいて送信する(ステップS34)。
なお、操作表示ユニット11には、スキャンや送信の処理状態141を示すスキャン・送信状態画面140が表示される(図26参照)。例えば、スキャン処理中では、処理状態141に「スキャン中です」の文字が表示され、画像分類中では、処理状態141に「画像の分類中です」の文字が表示され、宛先や送信元の検索中では、処理状態141に「宛先/送信元の検索中です」の文字が表示され、メールの送信中では、処理状態141に「メールの送信中です」の文字が表示される。
他方、上記のステップS24において画像データの対応テンプレートが検出できなかった場合には(ステップS24:No)、新たなテンプレートの設定を行うか否かの選択画面(図示せず)が操作表示ユニット11の表示画面に表示される(ステップS35)。この選択画面において新たなテンプレートの設定が選択された場合(ステップS35:Yes)、テンプレート設定部36によってテンプレート設定が開始して(ステップS36)、操作表示ユニット11の表示画面にテンプレート設定画面66(図7参照)が表示される。そして、上記のような画像分類出力アプリケーション42によるテンプレート設定動作(図5のステップS1〜S10)が行われ、新たなテンプレートが設定される。なお、このテンプレート設定動作では、出力対象である画像データがトレーニング画像として含まれ、これにより、新たなテンプレートは当該画像データの対応テンプレートとなる。その後、文字抽出部39による対応テンプレートに基づく画像データの文字認識(ステップS24)に移行して、上記のようなステップS24〜S34のフローが実行される。
他方、上記の選択画面において新たなテンプレートの設定が選択されなかった場合(ステップ35:No)、送信処理画面130の宛先テーブル131を用いた通常の出力動作によりメール送信が行われる(ステップS37)。
本実施形態では、画像分類出力動作によるメール送信の例を説明したが、画像分類出力動作によるFAX送信やデータ転送も同様にして行われる。
本実施形態では、出力対象の画像データについて、画像分類部37による1つ以上のテンプレートに基づいた画像分類、及び文字領域検出部38による文字領域の検出後に、文字抽出部39による出力先文字や送信元文字の抽出を行う構成を説明したが、これに限定されない。例えば、他の実施形態では、画像分類部37や文字領域検出部38を実行することなく、即ち、テンプレートや文字領域に拘らず、文字抽出部39が実行されて、画像データから出力先キーワードや送信元キーワードを検出すると共に出力先文字や送信元文字を抽出するように構成してもよい。
本実施形態では、画像分類出力動作によるメール送信において、画像データやトレーニング画像から宛先文字、カーボンコピー送信先文字及び送信元文字を抽出する構成について説明したが、本発明はこの構成に限定されない。例えば、他の実施形態では、宛先文字、カーボンコピー送信先文字及び送信元文字の内、何れか1つを抽出する構成でもよく、更に、ブラインドカーボンコピー送信先文字を抽出する構成でもよい。
本実施形態では、テンプレート設定の既定情報の設定において、既定宛先、既定カーボンコピー送信先及び既定送信元を設定する構成について説明したが、本発明はこの構成に限定されない。例えば、他の実施形態では、既定宛先、既定カーボンコピー送信先及び既定送信元の内、所望の既定情報だけを設定して、宛先文字、カーボンコピー送信先文字又は送信元文字を抽出できなかった場合に、ユーザーが選択するような構成でもよい。更に、ブラインドカーボンコピー送信先についての既定情報として、既定ブラインドカーボンコピー送信先を設定する構成でもよい。
また、更なる他の実施形態では、既に設定されて記憶部32に記憶(登録)されたテンプレートについて、テンプレート名の変更、トレーニング画像の変更や追加、既定情報の変更等によるテンプレートの編集や、テンプレートの削除をできるように構成されてもよい。
本実施形態によれば、上述のように、画像出力装置としての複合機1は、画像データの1つ以上の出力先のそれぞれに関する出力先情報を格納した出力先格納部43と、画像データの出力先を示す出力先文字に付加される出力先キーワードを格納したキーワード格納部45と、画像データの文字認識を行うと共に、その文字認識結果から出力先キーワードを検出することにより、文字認識結果から出力先文字を抽出する文字抽出部39と、文字抽出部39によって抽出された出力先文字に対応する出力先情報を出力先格納部43から検索する情報検索部40と、情報検索部40によって出力先文字に対応する出力先情報が検索された場合に、検索された出力先情報に示される出力先に向けて画像データを出力する画像出力部41と、を備える。
これにより、出力対象となる画像データから、自動的に出力先を抽出すると共にその出力先へと画像データを出力することができる。従って、画像データの送信者による出力先の選択の誤りをなくすことができる。また、画像データの送信の度に出力先の設定をすることを回避できるので、送信者による出力先の設定の時間や手間を削減することができる。また、画像データの元の原稿の作成者と画像データの送信者とは異なる場合でも、送信者は画像データの出力先を確認することなく、画像データを常に最適な出力先へと出力することができる。上記したような画像分類出力を実現することにより、ユーザーに負担や作業時間をかけることなく、ユーザーの便宜に合わせた画像出力を行うことが可能となる。
また、本実施形態によれば、出力先格納部43は、メールアドレスを含む出力先情報を格納し、キーワード格納部45は、メールの宛先を示すために付加される宛先キーワードを出力先キーワードとして格納し、文字抽出部39は、文字認識結果から宛先キーワードを検出することにより、文字認識結果からメールの宛先の対象としての出力先文字を抽出し、画像出力部41は、情報検索部40によってメールの宛先の対象としての出力先文字に対応する出力先情報が検索された場合に、出力先情報に示されるメールアドレスを宛先として画像データを含むメールを送信する。
また、本実施形態によれば、キーワード格納部45は、メールのカーボンコピー送信先を示すために付加されるカーボンコピーキーワードを出力先キーワードとして格納し、文字抽出部39は、文字認識結果からカーボンコピーキーワードを検出することにより、文字認識結果からカーボンコピー送信先の対象としての出力先文字を抽出し、画像出力部41は、情報検索部40によってカーボンコピー送信先の対象としての出力先文字に対応する出力先情報が検索された場合に、出力先情報に示されるメールアドレスをカーボンコピー送信先として画像データを含むメールを送信する。
これらにより、上記したような画像分類出力を簡易な構成でメール送信に適用することができる。メールアドレスは冗長で入力ミスが多いが、この画像分類出力によれば、ユーザーは容易に宛先やカーボンコピー送信先を設定することができる。
また、本実施形態によれば、出力先格納部43は、ファクシミリ番号を含む出力先情報を格納し、キーワード格納部45は、ファクシミリ送信先を示すために付加されるファクシミリキーワードを出力先キーワードとして格納し、文字抽出部39は、文字認識結果からファクシミリキーワードを検出することにより、文字認識結果からファクシミリ送信先の対象としての出力先文字を抽出し、画像出力部41は、情報検索部40によってファクシミリ送信先の対象としての出力先文字に対応する出力先情報が検索された場合に、出力先情報に示されるファクシミリ番号に対して画像データをファクシミリ送信する。これにより、上記したような画像分類出力を簡易な構成でファクシミリ送信に適用することができる。
また、本実施形態によれば、出力先格納部43は、データ転送先の情報を含む出力先情報を格納し、キーワード格納部45は、データ転送先を示すために付加される転送先キーワードを出力先キーワードとして格納し、文字抽出部39は、文字認識結果から転送先キーワードを検出することにより、文字認識結果からデータ転送先の対象としての出力先文字を抽出し、画像出力部41は、情報検索部40によってデータ転送先の対象としての出力先文字に対応する出力先情報が検索された場合に、出力先情報に示されるデータ転送先に対して画像データをデータ転送する。これにより、上記したような画像分類出力を簡易な構成でデータ転送に適用することができる。
また、本実施形態によれば、複合機1は、画像データをメールによって送信可能な1つ以上の送信元のそれぞれに関する送信元情報を格納した送信元格納部44を更に備える。キーワード格納部45は、メールの送信元を示す送信元文字に付加される送信元キーワードを格納し、文字抽出部39は、文字認識結果から送信元キーワードを検出することにより、文字認識結果から送信元文字を抽出し、情報検索部40は、文字抽出部39によって抽出された送信元文字に対応する送信元情報を送信元格納部44から検索し、画像出力部41は、情報検索部40によって送信元文字に対応する送信元情報が検索された場合に、送信元情報に基づいて画像データを含むメールを送信する。これにより、複合機1に複数の送信元が登録されている場合でも、出力対象となる画像データから、自動的に送信元を抽出すると共にその送信元に基づいて画像データを出力することができる。従って、送信元の選択の誤りをなくすことができ、また、画像データの送信の度に送信元の設定をすることを回避できるので、送信元の設定の時間や手間を削減することができる。
また、本実施形態によれば、複合機1は、画像データを分類するために用いられる1つ以上のテンプレートであって、出力先キーワードが含まれる第1文字領域を判別可能な1つ以上のテンプレートを設定するテンプレート設定部36と、画像データにおける文字領域を検出すると共に、検出した文字領域に対応する第1文字領域を有する対応テンプレートを1つ以上のテンプレートから検出するようにして、画像データを1つ以上のテンプレートの何れかに分類する画像分類部37と、を更に備える。文字抽出部39は、対応テンプレートの第1文字領域に対応する画像データの文字領域に対して、文字認識を行うことによって出力先文字を抽出する。これにより、画像データから出力先を抽出する領域を、テンプレートに基づいて適切に限定することができるので、出力先の抽出の誤りを回避することが可能となる。
また、本実施形態によれば、テンプレート設定部36は、1つ以上のテンプレートに関連付けてそれぞれ既定出力先を設定し、画像出力部41は、画像データについて情報検索部40によって出力先文字に対応する出力先情報が検索されなかった場合に、対応テンプレートに関連付けられた既定出力先に向けて画像データを出力する。これにより、テンプレート毎に出力先が予め決められている場合には、対応テンプレートを検出することができれば、自動的に画像データを既定出力先へと出力することができる。
また、本実施形態によれば、複合機1は、画像データを分類するために用いられる1つ以上のテンプレートであって、送信元キーワードが含まれる第2文字領域を判別可能な1つ以上のテンプレートを設定するテンプレート設定部36と、画像データにおける文字領域を検出すると共に、検出した文字領域に対応する第2文字領域を有する対応テンプレートを1つ以上のテンプレートから検出するようにして、画像データを1つ以上のテンプレートの何れかに分類する画像分類部37と、を更に備える。文字抽出部39は、対応テンプレートの第2文字領域に対応する画像データの文字領域に対して、文字認識を行うことによって送信元文字を抽出する。これにより、画像データから送信元を抽出する領域を、テンプレートに基づいて適切に限定することができるので、送信元の抽出の誤りを回避することが可能となる。
また、本実施形態によれば、テンプレート設定部36は、1つ以上のテンプレートに関連付けてそれぞれ既定送信元を設定し、画像出力部41は、画像データについて情報検索部40によって送信元文字に対応する送信元情報が検索されなかった場合に、対応テンプレートに関連付けられた既定送信元に基づいて画像データを含むメールを送信する。これにより、テンプレート毎に送信元が予め決められている場合には、対応テンプレートを検出することができれば、自動的に画像データを既定送信元に基づいて出力することができる。
また、本実施形態によれば、複合機1は、1つ以上の送信元情報の何れかに対応する所定のユーザーのログインを認証するログイン認証部35を更に備える。画像出力部41は、所定のユーザーがログインしている場合で、且つ、画像データについて情報検索部40によって送信元文字に対応する送信元情報が検索されなかった場合又は画像データを画像分類部37によって1つ以上のテンプレートの何れかに分類できなかった場合に、所定のユーザーに対応する送信元情報に基づいて画像データを含むメールを送信する。これにより、送信元文字に対応する送信元情報や対応テンプレートを検出できない場合には、送信者であるログインユーザーが自動的に送信元に設定されるため、ログインユーザーに送信元の設定を強いることなく、自動的に画像データをログインユーザーに基づいて出力することができる。
また、本実施形態によれば、テンプレート設定部36(分類情報設定部47)は、2つ以上のトレーニング画像の入力を受け付けると共に、入力された2つ以上のトレーニング画像の共通する特徴要素を抽出し、抽出した特徴要素に基づいてテンプレートを設定する。これにより、テンプレート毎に異なる所望のトレーニング画像に基づいて画像データを自動的に分類することができるため、画像データの分類精度を向上することが可能となる。
また、本実施形態では、テンプレート設定部36(分類情報設定部47)が、2つ以上のトレーニング画像に基づいてテンプレートを設定する構成を説明したが、この構成に限定されない。例えば、テンプレート設定部36(分類情報設定部47)は、画像レイアウトの編集画面等(図示せず)を用いて、画像における1つ以上の文字領域の入力や、各文字領域に対応する出力先キーワードや送信元キーワードの入力を可能にし、これらの入力結果に基づいてテンプレートを設定するように構成されてもよい。
本実施形態では、カラーの画像形成を行う複合機1に本発明の構成を適用する場合について説明したが、他の異なる実施形態では、メール送信、ファクシミリ送信、データ転送等の画像出力を実行可能な画像出力装置であれば、モノクロ画像形成を行う他の複合機や、プリンター、複写機、ファクシミリ等の様々な画像出力装置に本発明の構成を適用してもよい。