JP7404836B2 - 情報処理装置及び画像形成装置 - Google Patents

Description

本発明は、情報処理装置及び画像形成装置に係り、特にユーザーによりノート記載代わりに撮像された画像データ等を出力する情報処理装置及び画像形成装置に関する。

従来から、文書や画像を印刷可能な複合機（Multifunctional Peripheral, MFP）等の画像形成装置が存在する。これらの画像形成装置は、ユーザーがスマートフォンやデジタルカメラ等で撮像した画像データを印刷等して出力可能なものも存在する。また、近年、これらスマートフォン等の普及により、大学や講義現場等で、学生や聴衆等が、黒板、ホワイトボード、壁、スクリーン等（以下、「黒板等」という。）の内容をノートに記載する代わりに撮像するようなケースも増えてきた。

ここで、特許文献１を参照すると、白板や黒板に書かれた文字などを撮影した場合であっても、文字の視認性の高いテキストデータを作成し保存するデジタルカメラが提案されている。

特開２００９－８８９８６号公報

しかしながら、従来技術では、撮影時に実施するため、その機能を有していないカメラで既に撮影された画像には適用できない。従って、印刷されることが決定された印刷画像データの背景には、必然的に一定量以上ベタ部分が存在するため、トナーの消費量が比較的多くなってしまう。

本発明は、このような状況に鑑みてなされたものであって、上述の問題点を解消し、印刷画像データの背景に存在するベタ部分のトナー消費量を抑制することができる情報処理装置及び画像形成装置を提供することを目的とする。

本発明の情報処理装置は、出力画像データを出力する情報処理装置であって、前記出力画像データ内の文字列及びオブジェクトを認識する画像認識部と、前記出力画像データにおいて文字列及びオブジェクトを除く領域を背景として特定し、特定した前記背景の色及び濃度を、画像形成時に使用するトナー量を抑制する方向に変換する背景処理部と、を具備することを特徴とする、
本発明の画像形成装置は、上述の情報処理装置と、前記背景処理部により前記背景の色及び濃度が変換された前記出力画像データを、トナーを使用して画像形成する画像形成部と、を備えることを特徴とする。

本発明によれば、背景の色及び濃度をトナー量を抑制する方向に変換できるため、印刷画像データの背景に存在するベタ部分のトナー消費量を抑制することができるという効果を奏する。

本発明の実施の形態に係る画像形成装置のシステム構成図である。 本発明の実施の形態に係る画像形成装置の機能構成を示すブロック図である。 図２に示す閾値群の詳細を示すブロック図である。 本発明の実施の形態に係る画像選択出力処理のフローチャートである。 図４に示す閾値判断処理の概念図である。 図４に示す閾値判断処理の概念図である。 図４に示す閾値判断処理の概念図である。 図４に示す閾値判断処理の概念図である。 本発明の実施の形態に係る背景処理のフローチャートである。 図４に示す背景処理の概念図である。

以下、図を参照して本発明の実施の形態を詳細に説明する。なお、以下の実施形態において、同様の機能を示す構成には、同一の符号を付してある。

画像形成装置１は、図１を参照すると、画像処理部１１、原稿読取部１２、原稿給送部１３、給紙部１４、ネットワーク送受信部１５、操作パネル部１６、画像形成部１７、ＦＡＸ送受信部１８、及び記憶部１９等を含む。各部は、制御部１０に接続され、制御部１０によって動作制御される。

制御部１０は、ＧＰＰ（General Purpose Processor）、ＣＰＵ（Central Processing Unit、中央処理装置）、ＭＰＵ（Micro Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＧＰＵ（Graphics Processing Unit）、ＡＳＩＣ（Application Specific Processor、特定用途向けプロセッサー）等の情報処理部である。
制御部１０は、記憶部１９のＲＯＭやＨＤＤに記憶されている制御プログラムを読み出して、この制御プログラムをＲＡＭに展開させて実行することで、後述する機能ブロックの各部として動作させられる。また、制御部１０は、図示しない外部の端末や操作パネル部１６から入力された所定の指示情報に応じて、装置全体の制御を行う。

画像処理部１１は、ＤＳＰ（Digital Signal Processor）やＧＰＵ（Graphics Processing Unit）等の制御演算手段である。画像処理部１１は、原稿読取部１２で取得された画像データ、記録媒体２から取得された画像データ３００（図２）等に対して所定の画像処理を行う。この所定の画像処理は、例えば、拡大縮小、濃度調整、階調調整、画像改善等の処理であってもよい。
また、画像処理部１１は、原稿読取部１２で読み取られた画像を、記憶部１９に印刷データとして記憶する。この際、画像処理部１１は、印刷データを、ＰＤＦ等の電子文書やＴＩＦＦ等のファイルに変換することも可能である。また、画像処理部１１は、光学文字認識（Optical Character Recognition、以下「ＯＣＲ」という。）の少なくとも一部の処理を実行可能であってもよい。

原稿読取部１２は、セットされた原稿を読み取る。また、原稿読取部１２は、画像形成装置１の本体部の上部に配設される。
原稿読取部１２は、スキャナーと、プラテンガラスと、原稿読取スリットとを備えている。原稿読取部１２は、プラテンガラスに載置された原稿を読み取る場合には、スキャナーをプラテンガラスに対向する位置に移動させ、プラテンガラスに載置された原稿を走査しながら読み取って画像データを取得し、取得した画像データを制御部１０に出力する。

また、原稿読取部１２は、原稿給送部１３から給送された原稿を読み取る場合には、スキャナーを、原稿読取スリットと対向する位置に移動させる。そして、原稿読取部１２は、原稿読取スリットを介し、原稿給送部１３による原稿の搬送動作と同期して原稿を読み取って、画像データを取得する。原稿読取部１２は、取得した画像データを、制御部１０に出力する。

原稿給送部１３は、原稿読取部１２で読み取られる原稿を搬送する。原稿給送部１３は、原稿読取部１２の上部に配設されている。
原稿給送部１３は、原稿載置部と、原稿搬送機構とを備えている。原稿給送部１３は、原稿載置部に載置された原稿を、原稿搬送機構によって１枚ずつ順に繰り出して、原稿読取部１２に給送する。

給紙部１４は、記録紙を１枚ずつ画像形成部１７に向けて繰り出す。給紙部１４は、本体部に備えられている。

ネットワーク送受信部１５は、ＬＡＮ、無線ＬＡＮ、ＷＡＮ、携帯電話網等の外部ネットワークに接続するためのＬＡＮボードや無線送受信機等を含むネットワーク接続部である。
ネットワーク送受信部１５は、データ通信用の回線ではデータを送受信し、音声電話回線では音声信号を送受信する。

操作パネル部１６は、ボタンやタッチパネル等の入力部と、ＬＣＤ(Liquid Crystal Display)や有機ＥＬディスプレイ等の表示部とを備えている。また、操作パネル部１６は、画像形成装置１のフロント側に配設されている。
操作パネル部１６の入力部のボタンは、テンキー、スタート、キャンセル、動作モードの切り換え、ジョブの実行に係る指示を行うボタン等である。この動作モードは、複写、ＦＡＸ送信、スキャナー、ネットワークスキャナー等の種類のモードを備えていてもよい。また、ジョブは、選択された文書の印刷、送信、保存、及び記録等を含んでいる。操作パネル部１６の入力部は、ユーザーによる画像形成装置１の各種ジョブの指示、ノート印刷の指示等を取得する。また、操作パネル部１６から取得したユーザーの指示により、各ユーザーの情報を入力、変更することも可能である。

また、操作パネル部１６は、記録媒体２を接続することも可能である。
記録媒体２は、複数の画像データ３００（図２）を含んでいる一時的でない記録媒体である。記録媒体２は、例えば、ＵＳＢ（Universal Serial Bus）等で接続されたＵＳＢメモリー、ＳＤカード、ＣＦカード、ｘＤカード、メモリースティック等の各種フラッシュメモリーカード、デジタルカメラ、ビデオカメラ、携帯電話、スマートフォン、タブレット、ＰＤＡ（Personal Data Assistant）、ＵＳＢ接続ＨＤＤ、ＲＦＩＤ（Radio Frequency IDentification）カード等であってもよい。これらは、例えば、ＵＳＢを介した有線、ＷｉＦｉやＢｌｕｅｔｏｏｔｈ（登録商標）やＮＦＣ（Near field Communication）等の無線により画像形成装置１と接続可能である。また、図示しないイントラネットやインターネット等のネットワークを介して、記録媒体２を接続することが可能であってもよい。この場合、記録媒体２は、いわゆる「クラウド」上で画像データ３００を格納するサービスにおけるユーザーのディレクトリー等であってもよい。

画像形成部１７は、ユーザーの出力指示により、記録媒体２から取得され、記憶部１９に記憶され、原稿読取部１２で読み取られ、又は外部の端末から取得されたデータから記録紙への画像形成を行わせる。
画像形成部１７は、感光体ドラム、露光部、現像部、転写部、及び定着部等を備えている。画像形成部１７は、トナーを使用し、帯電、露光、現像、転写、定着からなる画像形成プロセスを実行することで記録紙にトナー像を形成する。

ＦＡＸ送受信部１８は、ファクシミリの送受信を行う。ＦＡＸ送受信部１８は、音声回線により、他のＦＡＸ装置（図示せず）からファクシミリ受信して、記憶部１９に保存し、画像形成部１７で画像形成させることが可能である。また、ＦＡＸ送受信部１８は、原稿読取部１２で読み取られた原稿や外部の端末から送信されたネットワークＦＡＸのデータを画像データに変換して、他のＦＡＸ装置へ音声回線でファクシミリ送信することが可能である。

記憶部１９は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等の半導体メモリーやＨＤＤ（Hard Disk Drive）等の一時的でない記録媒体である。
記憶部１９のＲＯＭやＨＤＤには画像形成装置１の動作制御を行うための制御プログラムが記憶されている。これに加えて、記憶部１９は、ユーザーのアカウント設定も記憶している。また、記憶部１９には、ユーザー毎の保存フォルダー（文書ボックス）の領域が含まれていてもよい。この文書ボックスに、記録媒体２や図示しないユーザーの端末から画像データ３００（図２）が転送されてもよい。

なお、画像形成装置１において、制御部１０及び画像処理部１１は、ＧＰＵ内蔵ＣＰＵ、チップ・オン・モジュールパッケージ、ＳＯＣ（System On a Chip）のように、一体的に形成されていてもよい。
また、制御部１０及び画像処理部１１は、ＲＡＭやＲＯＭやフラッシュメモリー等を内蔵していてもよい。

〔画像形成装置１の機能構成〕
ここで、図２を参照し、本実施形態の画像形成装置１の機能構成について説明する。
画像形成装置１の制御部１０は、画像取得部１００、画像認識部１１０、及び出力データ選択部１２０、背景処理部１３０を備えている。
記憶部１９は、画像データ３００、テンプレート画像３１０、閾値群３２０、出力画像データ３３０を記憶している。

画像取得部１００は、記録媒体２を読み出し、格納されたデータから、指定された期間に撮像された複数の画像データ３００を取得し、記憶部１９に格納する。画像取得部１００は、例えば、画像データ３００を、タイムスタンプやタイムラインにより選択して取得してもよい。

画像認識部１１０は、画像取得部１００により取得された複数の画像データ３００を、撮像の時系列順に並べた際に前後に撮像された画像データ３００の同一性を認識する。つまり、画像認識部１１０は、画像データ３００間の同一性の割合の値を算出する。本実施形態において、この算出された同一性の割合の値は、比較する画像データ３００間において、差異が大きい場合に小さくなる。すなわち、比較した画像データ３００間が完全に異なっている場合には０％となり、逆に、まったく差異がない場合には１００％となる。
また、画像認識部１１０は、特定のテンプレート画像３１０と、複数の画像データ３００のそれぞれとの同一性を認識してもよい。
また、画像認識部１１０は、複数の画像データ３００において、分割された複数の面を認識してもよい。この場合、画像認識部１１０は、複数の面のそれぞれにおいて同一性を認識してもよい。
また、画像認識部１１０は、テンプレート画像３１０として認識された箇所内に、更にヒト又は物体がいることを認識してもよい。
また、画像認識部１１０は、複数の画像データ３００のそれぞれについてＯＣＲを行ってもよい。

出力データ選択部１２０は、画像認識部１１０により同一性を認識された複数の画像データ３００から、特定の除外条件により、重複した画像データ３００、及び／又は適切でない画像データ３００を除外して、出力画像データ３３０を選択する。
また、出力データ選択部１２０は、複数の画像データ３００から、画像認識部１１０により認識された同一性の割合が、重複した画像データ３００を除外するための重複閾値３２１以上の画像データ３００については除外してもよい。また、出力データ選択部１２０は、画像認識部１１０により認識された同一性の割合が、重複閾値３２１未満の画像データ３００については、出力画像データ３３０として選択してもよい。また、出力データ選択部１２０は、画像認識部１１０により認識された同一性の割合が、重複閾値３２１より大きいものの、一部変更閾値３２２以下であった場合には、画像の情報量が少ない画像データ３００を除外し、情報量が多い画像データ３００を出力画像データ３３０として選択してもよい。
また、出力データ選択部１２０は、画像認識部１１０により、テンプレート画像３１０の少なくとも一部が認識できなかった画像データ３００を、適切でない画像データ３００として除外してもよい。
また、出力データ選択部１２０は、画像認識部１１０により、ヒト又は物体がいると認識された画像データ３００を、適切でない画像データ３００であるとして除外してもよい。
また、出力データ選択部１２０は、画像認識部１１０によるＯＣＲの認識率が認識閾値３２５未満の画像データ３００について、当該認識閾値３２５未満の画像データ３００の撮像時刻の前後特定期間に、認識閾値３２５以上の画像データ３００が存在した場合には、この認識閾値３２５未満の画像データ３００を除外してもよい。この前後特定期間としては、数秒～数分程度の期間を指定してもよい。一方、出力データ選択部１２０は、認識閾値３２５以上の画像データ３００が存在しなかった場合には、その旨を出力時に通知してもよい。具体的には、出力データ選択部１２０は、この通知を、操作パネル部１６に対して行っても、記録媒体２のログとして出力しても、白紙ページを印刷することで行ってもよい。
また、出力データ選択部１２０は、画像認識部１１０により分割された複数の面が認識された場合、面のそれぞれにおいて、認識された同一性の割合が重複閾値３２１未満の面は除外してもよい。一方、出力データ選択部１２０は、認識された同一性の割合が重複閾値３２１以上の面の箇所は切り出して、出力画像データ３３０として選択してもよい。

また、本実施形態において、操作パネル部１６は、記録媒体２と接続され、ユーザーからのノート印刷等による出力の指示を取得する。

背景処理部１３０は、出力画像データ３３０の出力に際し、背景の画像形成に使用するトナーを抑制させる背景処理を実行する。背景処理部１３０は、背景処理の設定として、背景を白色とする設定Ａ、背景の濃度を下げる設定Ｂ、背景の一部を白色とする設定Ｃとを有しており、ユーザーによって設定Ａ～Ｃのいずれが設定されている。なお、白色は、画像形成に際してトナーを使用しない色であり、無色と呼称されることもある。

また、画像形成部１７は、記録媒体２から取得され、出力データ選択部１２０により選択され、背景処理部１３０によって背景処理が施された出力画像データ３３０を画像形成する。

画像データ３００は、記録媒体２から選択された複数の画像データである。画像データ３００は、ユーザーにより撮像された黒板等の画像であってもよい。また、画像データ３００は、教師や講師等により、記載が追記、更新されたものをユーザーが撮像したものであってもよい。また、画像データ３００は、投影されたスライド等の一枚一枚に対応したもの、又は、プロジェクターやＯＨＰシート上で記載が加えられたものであってもよい。また、画像データ３００は、例えば、一般的なｊｐｅｇ等の画像であってもよい。また、各種コンテナに格納された動画像データであってもよい。この場合、画像データ３００は、ｍｏｖや３ｇｐやｈ．２６４やｈ．２６５等のフォーマットのデータであってもよい。また、画像データ３００として、動画像データから、特定の間隔で、フレーム画像として画像データ３００を取得可能であってもよい。
また、画像データ３００は、文字、絵、図等を含んでいてもよい。この文字は、教師や講師等による手書き文字であってもよい。また、これらの文字、絵、図等は、黒板等内に記載されてもよい。

テンプレート画像３１０は、「テンプレート」として比較するための画像データである。テンプレート画像３１０は、例えば、記録媒体２に格納された画像データ、又は取得された画像データ３００から選択された、例えば、講義開始前や後の黒板等の画像であってもよい。この場合、テンプレート画像３１０内の黒板等には、何も記載されておらず、ヒトや物体等が映り込んでいないことが好適である。また、テンプレート画像３１０として、画像データそのものではなく、黒板等の輪郭や特徴量等が抽出されたデータを用いてもよい。また、テンプレート画像３１０として、取得された画像データ３００が平均化された画像データを用いたり、黒板等の画像を平均化したものを用いたりしてもよい。また、テンプレート画像３１０は、ユーザーに指定させず、あらかじめ記憶部１９に格納しておいた画像データを用いてもよい。

閾値群３２０は、出力データ選択部１２０により画像データ３００を除外するか出力画像データ３３０として選択するかについての特定の除外条件となる複数の閾値（パラメーター）群と、出力画像データ３３０を出力する際の背景処理動作に使用する複数の閾値（パラメーター）群とである。
閾値群３２０の詳細については後述する。

出力画像データ３３０は、画像データ３００から選択されて、ノート等として出力される画像データを含むファイル等である。出力画像データ３３０は、ｊｐｅｇやビットマップ等の複数の画像データや、これがアーカイブ等されたものであってもよい。また、出力画像データ３３０は、ＰＤＦやＰＳや「．ｄｏｃｘ」ファイルやｅＰＵＢファイル等（以下、「ＰＤＦ等」という。）のように電子文書化されたデータであってもよい。また、出力画像データ３３０は、動画像データやプレゼンテーション用のファイルであってもよい。

ここで、図３により、図２に示す閾値群３２０の詳細について説明する。
本実施形態において、閾値群３２０は、重複閾値３２１、一部変更閾値３２２、テンプレート閾値３２３、ヒト物体閾値３２４、及び認識閾値３２５を含んでいる。
重複閾値３２１は、画像認識部１１０により認識された同一性の割合が、重複した画像データ３００を除外するための閾値である。重複閾値３２１は、例えば、同一性の割合が９０％以上である等の値に設定可能である。
一部変更閾値３２２は、重複閾値３２１より大きく設定された、同一性の割合の閾値である。一部変更閾値３２２は、前後で一部更新された際に、この更新された「情報量が多い」画像データ３００を出力画像データ３３０として選択するために用いる。一部変更閾値３２２は、例えば、同一性の割合が７０～９０％である等の値に設定可能である。
テンプレート閾値３２３は、テンプレート画像３１０の少なくとも一部を認識できなかったことを判断するための閾値である。テンプレート閾値３２３は、例えば、テンプレート画像３１０の５～２０％程度が認識できなかったことを示す値等に設定可能である。
ヒト物体閾値３２４は、ヒト又は物体がいると認識されることを判断するための閾値である。このヒト物体閾値３２４は、画像認識部１１０のヒト又は物体を認識する認識エンジン等が出力した認識の確からしさの値に対応して、例えば、３０～８０％程度の値等に設定可能である。
認識閾値３２５は、ＯＣＲの認識率の閾値である。認識閾値３２５として、例えば、文字のエリアと認識した箇所における、実際の文字認識の確からしさの値に対応して、４０～９０％程度の値等に設定可能である。
背景濃度閾値３２６は、出力画像データ３３０を出力する際に、背景処理動作を実行するか否かを決定するための閾値である。背景濃度閾値３２６は、例えば、黒板の濃度よりも低く、使用するチョークの濃度よりも高い値に設定されている。
文字濃度閾値３２７は、背景処理動作において、文字例及びオブジェクトの色を変換するか否かを決定するための閾値である。文字濃度閾値３２７は、例えば、白色と区別した判別可能なぎりぎりの濃度に設定されている。

ここで、画像形成装置１の制御部１０は、記憶部１９に記憶された制御プログラムを実行することで、画像取得部１００、画像認識部１１０、及び出力データ選択部１２０として機能させられる。
また、上述の画像形成装置１の各部は、本実施形態の画像選択方法を実行するハードウェア資源となる。
なお、上述の機能構成の一部又は任意の組み合わせをＩＣやプログラマブルロジックやＦＰＧＡ（Field-Programmable Gate Array）等でハードウェア的に構成してもよい。

〔画像形成装置１による画像選択出力処理〕
次に、図４～図８を参照して、本発明の実施の形態に係る画像形成装置１による画像選択出力処理の説明を行う。
本実施形態の画像選択出力処理では、まず、指定された期間に撮像された複数の画像データ３００を取得する。また、取得された複数の画像データ３００を、撮像の時系列順に並べた際の同一性を認識する。次に、同一性を認識された複数の画像データ３００から、特定の除外条件により、重複した画像データ３００、及び／又は適切でない画像データ３００を除外して、出力画像データ３３０を選択する。選択された出力画像データ３３０は、画像形成部で画像形成される。
本実施形態の画像選択出力処理は、主に制御部１０が、記憶部１９に記憶されたプログラムを、各部と協働し、ハードウェア資源を用いて実行する。
以下で、図４のフローチャートを参照して、画像選択出力処理の詳細をステップ毎に説明する。

（ステップＳ１０１）
まず、画像取得部１００が、画像データ群取得処理を行う。
ここでは、ユーザーが記録媒体２を画像形成装置１の操作パネル部１６に接続し、タッチパネル等から「ノート印刷」等の指示を行う。
すると、画像取得部１００は、記録媒体２を読み出して、格納された画像データを検索する。そして、画像取得部１００は、ユーザーに、どの期間の画像を印刷するのかについて指定させる。この期間の指定は、月日指定の後、授業や講義等の時刻に合わせて、この開始時刻から～分のように、終了までの時刻の範囲を指定させることが可能である。また、開始時刻と終了時刻とを直接、指定させることも可能である。このように、開始時刻の指定を行い、時刻の範囲の指定を行うことで、出力対象となる画像データを自動的に絞り込むことが可能となる。
画像取得部１００は、記録媒体２から、各画像データの撮影時刻のタイムスタンプ等を検索し、ユーザーに指定された期間に撮像された画像データを読み出して取得する。画像取得部１００は、取得された画像データ３００を、一時的に記憶部１９に格納する。

また、画像取得部１００は、ユーザーにテンプレート画像３１０を指定させてもよい。この際、画像取得部１００は、「何も書かれていない黒板等の画像を指定して下さい」等と操作パネル部１６の表示部に表示して、ユーザーに指定させてもよい。また、画像取得部１００は、テンプレート画像３１０の候補として、開始時刻又は終了時刻の直前又は直後に撮像された画像データ３００を操作パネル部１６に表示し、ユーザーに確認して指定させてもよい。また、画像取得部１００は、指定された期間の画像データ３００を平均化してテンプレート画像３１０を作成し、これを表示してユーザーに確認して指定させてもよい。また、画像取得部１００は、黒板等が複数の面に分割されている場合に、これをテンプレート画像３１０中で指定させてもよい。
画像取得部１００は、指定されたテンプレート画像３１０を記憶部１９に、一時的に格納する。

（ステップＳ１０２）
次に、画像認識部１１０が、画像認識処理を行う。
まず、画像認識部１１０は、画像取得部１００により取得され、記憶部１９に格納された複数の画像データ３００のそれぞれについて、タイムスタンプやタイムライン等を取得して、撮像の時系列順にソートする。
この上で、画像認識部１１０は、時系列の前後で画像の同一性の割合を算出する。この際、画像認識部１１０は、例えば、同一性を比較する前後の画像データ３００において、各ピクセル単位でＲＧＢの明度差の絶対値等を加算して算出する微分処理を行い、この合計値を画像の総ピクセル数で割って、同一性の割合を算出してもよい。また、画像認識部１１０は、各画像データ３００を回転、拡大、縮小等したり、レンズの物理モデルを用いて補正したりして、最も大きな同一性の割合を算出可能である。これらの計算を行う際に、画像認識部１１０は、画像処理部１１やＧＰＵやベクトル演算器等を用いて高速に処理してもよい。

また、画像認識部１１０は、テンプレート画像３１０がある場合には、このテンプレート画像３１０と、同一性を比較する画像データ３００のそれぞれとの同一性の割合を算出してもよい。
さらに、画像認識部１１０は、テンプレート画像３１０として認識された箇所内に、ヒト又は物体がいることを認識して、認識の確からしさの値を出力してもよい。この認識は、畳み込みニューラルネットや各種画像認識エンジンを用いて行ってもよい。
また、画像認識部１１０は、複数の画像データ３００のそれぞれについてＯＣＲを行って、認識の確からしさの値と文字列等とを出力してもよい。
また、画像認識部１１０は、黒板等を認識したり、テンプレート画像３１０の指定に基づいたりして、分割された複数の面があることを認識してもよい。この場合、本実施形態において、画像認識部１１０は、後述するように、複数の面のそれぞれにおいて同一性の割合を算出する。
画像認識部１１０は、この算出された同一性の割合、各認識の確からしさの値、文字列等を認識の判断データとして、出力データ選択部１２０へ出力する。

（ステップＳ１０３）
次に、出力データ選択部１２０が、閾値判断処理を行う。
出力データ選択部１２０は、画像認識部１１０により取得した各認識の判断データに基づいて、認識された各画像データ３００について、重複しているか及び／又は適切でないかを、閾値群３２０の各閾値を用いて判断する。これにより、出力データ選択部１２０は、この画像データ３００を除外するか、出力するかを選択する。

ここで、図５～図８を参照して、除外又は出力の判断の例について説明する。

［複数の面の重複する画像の除外］
図５により、画像認識部１１０により分割された複数の面が認識された場合、つまり、黒板等に複数の面がある場合における重複する画像データ３００の除外の例について説明する。黒板等は有限資源のため、記載されては消されることを繰り返す。黒板が複数面あったとして、撮影時にはその複数面が一つの画像に含まれるような場合には、前に撮像された画像データ３００と比較する。そして、一つの面が同様の内容であった場合には、出力データ選択部１２０は、当該面について、重複を避けるために出力画像データ３３０には選択せず、除外する。
図５（ａ）は、黒板が左右の二面、面Ａと面Ｂがある場合のテンプレート画像３１０ａの例を示している。図５（ｂ）は、この場合において、面Ａ、面Ｂの順に使用され、その後、面Ａが消去され新たな内容が記載された際の画像データ３００ａが撮像順に並べられた例を示している。出力データ選択部１２０は、時系列順で一つ前の画像データ３００と比較し、これら面Ａ、面Ｂにおいて、認識された同一性の割合が重複閾値３２１以上となった面は除外してもよい。一方、出力データ選択部１２０は、認識された同一性の割合が重複閾値３２１未満の面を検出して、出力画像データ３３０ａとして選択する。この際に、出力データ選択部１２０は、この面の箇所を切り出して、出力画像データ３３０ａとして選択する。

［複数の面の内容の一部更新］
図６により、内容の一部更新による出力画像データ３３０の除外の例について説明する。この例は、図５と同様に画像データ３００ｂにおいて、複数の面が認識された場合に、各面に対する処理について説明する。図６において、各面のいずれかについて、前回に撮像した内容に後から追加され、同一性の割合が重複閾値３２１以上であるものの、一部変更閾値３２２以下になった場合、内容の追加があったとして出力画像データ３３０を差し換える。すなわち、出力データ選択部１２０は、前回に撮像した面の画像データのうち、「画像の情報量が少ない」ものを削除し、内容の追加があった面を「情報量が多い」として切り出し、出力画像データ３３０ｂとして選択する。

［不適当な画像データ３００の除外］
図７及び図８により、指定された期間の画像データ３００中に、ノート印刷等にそぐわない画像が含まれていた場合、その画像データ３００を出力画像データ３３０から除外する例について説明する。

図７（ａ）は、あらかじめ黒板等を撮像したテンプレート画像３１０ｃをユーザーに指定させた例を示す。この例において、出力データ選択部１２０は、テンプレート画像３１０ｃとの同一性の割合で、除外又は出力を判断する。同一性の割合が著しく低い場合には対象外とする。具体的には、出力データ選択部１２０は、テンプレート画像３１０ｃの少なくとも一部が認識できなかった画像データ３００を、適切でない画像データ３００として除外する。つまり、出力データ選択部１２０は、指定された期間内の画像データ３００であっても、黒板等を撮像しておらず、例えば、足下、天井、窓の外の風景が撮像されたような画像データ３００は除外する。
図７（ｂ）は、撮像に失敗した画像の例として、教師や講師等が映り込んで黒板の記載内容を確認できない画像データ３００ｃを示す。この場合、出力データ選択部１２０は、ヒトがいると認識された画像データ３００ｃを、適切でない画像データとして除外する。逆に、出力データ選択部１２０は、教師や講師等が映り込んでおらず、ヒトが認識されていない画像データ３００を、出力画像データ３３０ｃとして選択する。図７（ｃ）は、ヒトが認識されていない出力画像データ３３０ｃの例を示す。

図８（ａ）は、黒板を撮影してはいるものの、焦点があっておらずピントがずれて撮影されたブレ画像として、ノート印刷に不適当だと考えられる画像データ３００ｄも除外する例を示す。この場合、ＯＣＲにて文字として認識できないため、ＯＣＲの認識率が認識閾値３２５未満となる。出力データ選択部１２０は、このような画像データ３００ｄは、ノイズ画像であるとして除外する。
図８（ｂ）によると、識閾値未満の画像データ３００ｄの撮像時刻の前後特定期間に、認識閾値３２５以上の画像データ３００が存在した場合には、ユーザーがブレを認識して再撮影していると判断できる。このため、出力データ選択部１２０は、この認識閾値３２５以上の画像データ３００を、出力画像データ３３０ｄとして選択する。
また、出力データ選択部１２０は、この前後特定期間に、認識閾値３２５以上の画像データ３００が存在しなかった場合には、その旨を出力時に通知する。これは、撮像された画像がブレ画像になっていることにユーザー本人が気づいていない可能性が考えられるためである。そのような場合には、出力データ選択部１２０は、確認のために操作パネル部１６に警告の通知を行うか、又は、白紙ページを挿入する。これにより、後日、ユーザーが該当部分を手書きで補間する等できるようにすることができる。

（ステップＳ１０４）
次に、出力データ選択部１２０が、画像データ３００が出力されるよう選択されたか否かを判定する。出力データ選択部１２０は、上述の閾値判断処理において、認識された画像データ３００が除外されず、出力すると判断された場合に、Ｙｅｓと判定する。出力データ選択部１２０は、この画像データ３００を除外すると判断された場合には、Ｎｏと判定する。
Ｙｅｓの場合、出力データ選択部１２０は、処理をステップＳ１０５に進める。
Ｎｏの場合、出力データ選択部１２０は、処理をステップＳ１０６に進める。

（ステップＳ１０５）
画像データ３００が出力すると選択された場合、出力データ選択部１２０が、出力データ選択処理を行う。出力データ選択部１２０は、この画像データ３００を出力画像データ３３０として、記憶部１９に格納する。

（ステップＳ１０６）
ここで、出力データ選択部１２０が、全ての画像データ３００の選択が終了したか否かを判定する。出力データ選択部１２０は、記録媒体２から取得された全ての画像データ３００について、除外されるか、出力画像データ３３０として選択されるかした場合に、Ｙｅｓと判定する。出力データ選択部１２０は、まだ除外又は出力の選択が終了していない場合には、Ｎｏと判定する。
Ｙｅｓの場合、出力データ選択部１２０は、処理をステップＳ１０７に進める。
Ｎｏの場合、出力データ選択部１２０は、処理をステップＳ１０２に戻して、残りの画像データ３００についての除外又は出力の選択を進める。

（ステップＳ１０７）
全ての画像データ３００について、除外又は出力の選択が終了した場合、画像形成部１７が、出力データ出力処理を行う。
画像形成部１７は、記憶部１９に格納された出力画像データ３３０を、記録紙に画像形成して出力する。
また、制御部１０により、ユーザーの文書ボックスやクラウドのサービスや記録媒体２に、出力画像データ３３０を格納してもよい。この際に、出力画像データ３３０は、ＰＤＦ等で電子文書化されてもよい。
以上により、本発明の実施の形態に係る画像選択出力処理を終了する。

［出力画像データ３３０の背景処理］
図９及び図１０により、記憶部１９に格納された出力画像データ３３０を、記録紙に画像形成して出力する際の背景処理動作例について説明する。なお、記憶部１９に格納された出力画像データ３３０を電子文書化して出力する際にも、同様の背景処理動作を実行しても良い。

（ステップＳ２０１）
背景処理部１３０は、画像形成部１７に純正トナーが装着されているか否かを判断する。背景処理部１３０は、純正トナーが装着されている場合に、Ｙｅｓと判定し、純正トナーが装着されていない場合に、Ｎｏと判定する。
Ｙｅｓの場合、背景処理部１３０は、処理をステップＳ２０２に進める。
Ｎｏの場合、背景処理部１３０は、背景処理動作を終了する。この場合、背景処理が施されていない出力画像データ３３０が出力される。

（ステップＳ２０２）
背景処理部１３０は、ステップＳ２０１での画像認識処理に基づいて、文字例と、図形、表、グラフ等のオブジェクトを除く背景を特定する。図１０（ａ）に示す出力画像データ３３０では、白色のチョークで書かれた文字列「あいうえお」と、赤色のチョークで書かれた文字列「かきくけこ」を除く背景のベタ部分が抽出されることになる。

（ステップＳ２０３）
背景処理部１３０は、ステップＳ２０２で抽出した背景の背景濃度が背景濃度閾値３２６よりも高いか否かを判断する。背景処理部１３０は、背景濃度が背景濃度閾値３２６よりも高い場合に、Ｙｅｓと判定し、背景濃度が背景濃度閾値３２６以下の場合に、Ｎｏと判定する。なお、背景濃度閾値３２６と比較する背景濃度は、ステップＳ２０２で抽出した背景において、濃度が均一な予め設定された所定面積以上のベタ部分における背景濃度とし、ベタ部分が複数ある場合には、その中で最大の背景濃度とする。
Ｙｅｓの場合、背景処理部１３０は、処理をステップＳ２０４に進める。
Ｎｏの場合、背景処理部１３０は、背景処理動作を終了する。この場合、背景処理が施されていない出力画像データ３３０が出力される。

（ステップＳ２０４、Ｓ２０５）
背景処理部１３０は、背景処理の設定が、設定Ａ～Ｃのいずれであるかを判断する。背景処理部１３０は、背景処理の設定Ａに設定されている場合、ステップＳ２０４でＹｅｓと判定し、処理をステップＳ２０６に進める。また、背景処理部１３０は、背景処理の設定Ｂに設定されている場合、ステップＳ２０４でＮｏ、ステップＳ２０５でＹｅｓと判定し、処理をステップＳ２０８に進める。さらに、背景処理部１３０は、背景処理の設定Ｃに設定されている場合、ステップＳ２０４でＮｏ、ステップＳ２０５でＮｏと判定し、処理をステップＳ２１０に進める。

（ステップＳ２０６）
背景処理部１３０は、図１０（ｂ）に示すように、ステップＳ２０２で抽出した背景を白色に変換する。

（ステップＳ２０７）
次に、背景処理部１３０は、濃度が文字濃度閾値３２７未満の文字列、オブジェクト、例えば、図１０（ｂ）に示す文字列「あいうえお」を黒色に変換し、背景処理動作を終了させる。すなわち、白色の背景では、区別して視認できない色及び濃度の文字列、オブジェクトを視認可能な黒色に変換する。白色の背景と区別して視認可能な色及び濃度であれば、黒色以外の他の色に変換しても良い。

（ステップＳ２０８）
背景処理部１３０は、背景の濃度を下げると共に、文字列、オブジェクトの色に基づいて、背景の色を、文字列、オブジェクトを区別して視認可能な色に決定する。背景処理部１３０は、背景の濃度を、濃度が最小の文字列、オブジェクトを視認可能な値に決定する。また、文字列、オブジェクトに使用されていない色に背景の色に決定する。

（ステップＳ２０９）
背景処理部１３０は、図１０（ｃ）に示すように、ステップＳ２０２で抽出した背景をステップＳ２０８で決定した色及び濃度に変換し、背景処理動作を終了させる。

（ステップＳ２１０）
背景処理部１３０は、文字列、オブジェクトを含む領域を残存領域Ｘとして特定する。例えば、残存領域Ｘは、文字列、オブジェクトを含む矩形領域とすることができる。

（ステップＳ２１１）
背景処理部１３０は、図１０（ｄ）に示すように、ステップＳ２１０で特定した残存領域Ｘ以外の背景を白色に変換し、背景処理動作を終了させる。なお、ステップＳ２１０では、濃度が文字濃度閾値３２７未満の文字列、オブジェクトを含む領域のみを残存領域Ｘとして特定するようにしても良い。この場合には、図１０（ｅ）に示すように、文字列「あいうえお」を含む残存領域Ｘ以外の背景が白色に変換される。

以上説明したように、本実施の形態によれば、出力画像データをトナーによって画像形成した出力する画像形成装置１（情報処理装置）であって、出力画像データ内の文字列及びオブジェクトを認識する画像認識部１１０と、出力画像データにおいて文字列及びオブジェクトを除く領域を背景として特定し、特定した背景の色及び濃度を、画像形成時に使用するトナー量を抑制する方向に変換する背景処理部１３０とを備えている。
この構成により、背景の色及び濃度をトナー量を抑制する方向に変換できるため、印刷画像データの背景に存在するベタ部分のトナー消費量を抑制することができる。

さらに、本実施の形態において、背景処理部１３０は、背景を画像形成時にトナーを使用しない白色に変換させ、濃度が予め設定された文字濃度閾値未満の文字列及びオブジェクトを白色の背景と区別して視認可能な色及び濃度に変換させる。
この構成により、印刷画像データの背景に存在するベタ部分のトナー消費量を、視認性を低下させることなく抑制することができる。

さらに、本実施の形態において、背景処理部１３０は、背景の濃度を下げると共に、文字列及びオブジェクトの色に基づいて、背景の色を、濃度文字列及びオブジェクトを区別して視認可能な色に変換させる。
この構成により、印刷画像データの背景に存在するベタ部分のトナー消費量を、視認性を低下させることなく抑制することができる。

さらに、本実施の形態において、背景処理部１３０は、文字列及びオブジェクトを含む残存領域以外の背景を白色に変換させる。
この構成により、印刷画像データの背景に存在するベタ部分のトナー消費量を、視認性を低下させることなく抑制することができる。

さらに、本実施の形態において、画像認識部１１０は、指定された期間に撮像された複数の画像データを、撮像の時系列順に並べた際の同一性を認識し、画像認識部１１０により前記同一性を認識された前記複数の画像データから、特定の除外条件により、重複した画像データ、又は適切でない画像データを除外したものを、前記出力画像データとして選択して出力する出力データ選択部１２０を備えている。
この構成により、時系列順に並べた上で、撮像内容によっては、撮りなおし等で同じ内容が含まれることもあるため、これを特定の除外条件で除外し、必要なもの出力画像データ３３０として自動で選択することができる。

なお、本発明が上記各実施の形態に限定されず、本発明の技術思想の範囲内において、各実施の形態は適宜変更され得ることは明らかである。また、上記構成部材の数、位置、形状等は上記実施の形態に限定されず、本発明を実施する上で好適な数、位置、形状等にすることができる。なお、各図において、同一構成要素には同一符号を付している。

１ 画像形成装置
２ 記録媒体
１０ 制御部
１１ 画像処理部
１２ 原稿読取部
１３ 原稿給送部
１４ 給紙部
１５ ネットワーク送受信部
１６ 操作パネル部
１７ 画像形成部
１８ ＦＡＸ送受信部
１９ 記憶部
１００ 画像取得部
１１０ 画像認識部
１２０ 出力データ選択部
１３０ 背景処理部
３００、３００ａ、３００ｂ、３００ｃ、３００ｄ 画像データ
３１０、３１０ａ、３１０ｃ テンプレート画像
３２０ 閾値群
３２１ 重複閾値
３２２ 一部変更閾値
３２３ テンプレート閾値
３２４ ヒト物体閾値
３２５ 認識閾値
３２６ 背景濃度閾値
３２７ 文字濃度閾値
３３０、３３０ａ、３３０ｂ、３３０ｃ、３３０ｄ 出力画像データ

Claims (5)

1. 出力画像データを出力する情報処理装置であって、
   前記出力画像データ内の文字列及びオブジェクトを認識する画像認識部と、
   前記出力画像データにおいて文字列及びオブジェクトを除く領域を背景として特定し、特定した前記背景の色及び濃度を、画像形成時に使用するトナー量を抑制する方向に変換する背景処理部と、を具備し、
   前記背景処理部は、文字列及びオブジェクトを含む残存領域以外の前記背景を白色に変換させることを特徴とする情報処理装置。
2. 前記背景処理部は、前記背景を画像形成時にトナーを使用しない白色に変換させ、濃度が予め設定された文字濃度閾値未満の文字列及びオブジェクトを白色の前記背景と区別して視認可能な色及び濃度に変換させることを特徴とする請求項１記載の情報処理装置。
3. 前記背景処理部は、前記背景の濃度を下げると共に、文字列及びオブジェクトの色に基づいて、前記背景の色を、濃度文字列及びオブジェクトを区別して視認可能な色に変換させることを特徴とする請求項１記載の情報処理装置。
4. 前記画像認識部は、指定された期間に撮像された複数の画像データを、撮像の時系列順に並べた際の同一性を認識し、
   前記画像認識部により前記同一性を認識された前記複数の画像データから、特定の除外条件により、重複した画像データ、又は適切でない画像データを除外したものを、前記出力画像データとして選択して出力する出力データ選択部を具備することを特徴とする請求項１記載の情報処理装置。
5. 請求項１乃至４に記載の情報処理装置と、
   前記背景処理部により前記背景の色及び濃度が変換された前記出力画像データを、トナーを使用して画像形成する画像形成部と、を備えることを特徴とする画像形成装置。

Images