JP6696445B2 - 画像処理装置 - Google Patents

Description

本発明は、原稿を読み知り、ユーザーによって指定されたユーザー指定領域内の文字列に対して編集を行う画像処理装置に関する。

蛍光ペンによって指定されたユーザー指定領域内を特定し、特定したユーザー指定領域内の情報を編集する技術（例えば、特許文献１参照）や、プレビューを利用して指定それたユーザー指定領域内の情報を編集する技術（例えば、特許文献２参照）が提案されている。

特開平０５−３４４３１４号公報 特開２００６−２７７０５６号公報

しかしながら、ユーザー指定領域の指定は、ユーザーの手によって行われる。従って、適当にユーザー指定領域が指定されたり、原稿の文字が小さかったりした場合には、編集する文字列（以下、編集文字列と称す）の指定があいまいになってしまうことがある。このような場合、編集する文字列（以下、編集文字列と称す）の一部がユーザー指定領域に含まれていなかったり、編集対象外の文字列の一部がユーザー指定領域に含まれてしまったりして、ユーザー指定領域によって編集文字列を精度よく特定することができないという問題点があった。

本発明は、上記問題点を鑑みてなされたものであり、その目的とするところは、ユーザー指定領域によって編集文字列を精度良く特定することができる画像処理装置を提供することを目的とする。

本発明の画像処理装置は、画像データに対して画像処理を実行する画像処理装置であって、前記画像データ内のユーザー指定領域を編集領域として特定する第１特定部と、前記画像データ内の各文字の位置をそれぞれ認識する第２特定部と、前記第２特定部によって位置が特定された各文字の文字領域をそれぞれ生成する生成部と、前記編集領域と前記文字領域との重なり具合によって特定した候補文字に基づいて編集文字列を特定する第３特定部と、前記第３特定部によって特定された前記編集文字列に対して画像処理を実行する処理部と、を具備し、前記第３特定部は、前記候補文字が単語に占める占有率を前記編集領域に位置する単語ごとにそれぞれ算出し、占有率が予め設定された占有閾値以上の単語を前記編集文字列として特定し、占有率が前記占有閾値以上の単語がない場合、前記候補文字を前記編集文字列として特定することを特徴とする。
さらに、本発明の画像処理装置において、前記第３特定部は、前記文字領域毎に前記編集領域に重畳している重畳率をそれぞれ算出し、重畳率が予め設定されている重畳閾値以上の文字を前記候補文字として特定しても良い。
さらに、本発明の画像処理装置において、前記第３特定部は、前記候補文字を予め設定された所定文字数の範囲で特定しても良い。
さらに、本発明の画像処理装置において、前記第３特定部は、前記文字領域毎の重心を特定し、重心が前記編集領域内に位置する文字を前記候補文字として特定しても良い。
さらに、本発明の画像処理装置において、前記第３特定部は、編集単位が設定されている場合、前記編集単位で前記編集文字列を特定しても良い。
さらに、本発明の画像処理装置において、前記ユーザー指定領域は、色や形態が前記編集単位と予め紐づけられた前記色マーカーによって指定され、前記色マーカーの色や形態に応じて前記編集単位が設定されても良い。
さらに、本発明の画像処理装置において、前記生成部は、文字を内包する最小面積の予め設定された図形を前記文字領域として生成しても良い。
さらに、本発明の画像処理装置において、前記生成部は、前記編集領域内に位置する文字の前記文字領域を生成しても良い。

本発明によれば、編集領域と文字領域との重なり具合を参酌することで、ユーザー指定領域によってユーザーが指定したかった文字列を精度良く編集文字列として特定することができるという効果を奏する。

本発明に係る画像処理装置の実施の形態の内部構成を示す概略模式側断面図である。 本発明に係る画像処理装置の実施の形態の概略構成を示すブロック図である。 図２に示す制御部による領域編集動作を説明するフローチャートである。 図２に示す制御部による領域編集動作を説明する説明図である。 図２に示す編集文字列特定部による編集文字列の特定動作を説明するフローチャートである。 図２に示す編集文字列特定部による編集文字列の特定動作を説明する説明図である。

以下、図を参照して本発明の実施の形態を詳細に説明する。なお、以下の実施形態において、同様の機能を示す構成には、同一の符号を付してある。

本実施の形態の画像処理装置１は、複写機やＭＦＰ（multi-functional product）等の画像形成装置であり、図１を参照すると、原稿読取部２と、原稿給送部３と、画像形成部４と、記録紙供給部５と、操作部６とを備えている。

原稿読取部２は、原稿台に載置された原稿や原稿給送部３から給送される原稿に光を照射する光源と、原稿からの反射光を原稿の画像データに変換するＣＣＤ等の光電変換部とを備えている。なお、原稿読取部２は、カラー原稿に対応しており、ＲＧＢのカラー画像データを読み取る。

画像形成部４は、印刷データに基づいてトナー像を形成し、形成したトナー像を記録紙供給部５から搬送されてくる記録紙に転写させる。なお、画像形成部４は、イエロー、マゼンタ、シアン、ブラックの各色に静電潜像プロセスを繰り返して、イエロートナー像、マゼンタトナー像、シアントナー像、ブラックトナー像を形成し、これらを重ね合わせることで記録紙上にカラー画像を形成する。

操作部６は、画像処理装置１の状態等を表示する表示部としての機能と、画像処理装置１の設定や動作指示の入力を受け付ける入力部としての機能とを備え、種操作キーやタッチパネル等で構成されている。

図２には、画像処理装置１の概略構成を示すブロック図が示されている。上述の原稿読取部２、原稿給送部３、画像形成部４、記録紙供給部５及び操作部６は、制御部７に接続され、制御部７によって動作制御される。また、制御部７には、画像処理部８と、記憶部９とが接続されている。

制御部７は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等を備えたマイクロコンピューター等の情報処理部である。ＲＯＭには画像形成装置１の動作制御を行うための制御プログラムが記憶されている。制御部７のＣＰＵは、ＲＯＭに記憶されている制御プログラムを読み出し、制御プログラムをＲＡＭに展開させることで、操作部６から入力された所定の指示情報に応じて装置全体の制御を行う。また、制御部７は、編集領域特定部７１、文字位置特定部７２、文字領域生成部７３、編集文字列特定部７４として機能する。

編集領域特定部７１は、画像データを解析することで、原稿に色マーカーで指定されたユーザー指定領域を編集領域Ｘとして特定する。例えば、編集領域特定部７１は、原稿が白黒である場合、白黒領域とカラー領域とを区別することで、編集領域Ｘを特定する。また、編集領域特定部７１は、原稿がカラーである場合、特許文献１のように蛍光マーカーによる領域指定部分と読み取るべきカラー原稿画像とを反射率の違いに基づいて編集領域Ｘを特定することができる。また、編集領域特定部７１は、プレビューを利用して指定されたユーザー指定領域を編集領域Ｘとして特定しても良い。

文字位置特定部７２は、画像データ内の各文字の位置をそれぞれ認識すると共に、文字の間隔、コロン、セミコロン、カンマ、ピリオド（日本語の場合は句読点）等によって、単語、文を認識する。

文字領域生成部７３は、文字位置特定部７２によって位置が特定された各文字の文字領域Ｙをそれぞれ生成する。本実施の形態において、文字領域生成部７３は、文字を内包する最小面積の矩形を文字領域Ｙとして生成する。なお、文字領域Ｙの生成は、編集領域特定部７１によって特定された編集領域Ｘ内に位置する文字に対して行われる。また、文字領域Ｙは、矩形に限定されることなく、楕円や多角形等の他の図形であっても良い。さらに、文字領域Ｙは、文字ごとに異なる形状の図形を用いるようにしても良い。

編集文字列特定部７４は、編集領域特定部７１によって特定された編集領域Ｘと文字領域生成部７３によって生成された文字領域Ｙとに基づいて編集文字列を特定する。

画像処理部８は、画像データに対して所定の画像処理を行う手段であり、例えば、拡大縮小処理や、階調調整、濃度調整等の画像処理が行われる。また、画像処理部８は、編集文字列特定部７４によって特定された編集文字列に対して、消去、色変換、トリミング、ＯＣＲ処理、反転、マスキング、網かけ等の各種画像処理を実行する。

記憶部９は、半導体メモリーやＨＤＤ（Hard Disk Drive）等の記憶手段であり、原稿読取部２によって取得された画像データ等が印刷データとして記憶される。

次に、制御部７による領域編集動作について図３乃至図６を参照して詳細に説明する。
ユーザーは、図４に示すような色マーカーによって領域が指定された原稿を原稿給送部３にセットし、操作部６から読み取り指示を入力する。なお、色マーカーによる領域の指定は、マーカーペンによって領域全体を塗る塗りつぶし形態であっても良く、マーカーペンやサインペンによって領域を囲む囲み形態であっても良い。

操作部６によって読み取り指示の入力を受け付けると、制御部７は、原稿給送部３による原稿の給装を開始させ、原稿読取部２によって、原稿給送部３から給送される原稿の画像データを取得させる（ステップＳ１０１）。

次に、制御部７は、編集領域特定部７１として機能する。編集領域特定部７１は、画像データを解析することで、図４に示すように、原稿に色マーカーで指定された領域を編集領域Ｘとして特定する（ステップＳ１０２）。

次に、制御部７は、文字位置特定部７２として機能する。文字位置特定部７２は、画像データ内の各文字の位置をそれぞれ特定すると共に、単語、文を認識する（ステップＳ１０３）。

次に、制御部７は、文字領域生成部７３として機能する。文字領域生成部７３は、図４に示すように、ステップＳ１０２で特定された編集領域Ｘ内に位置する各文字の文字領域Ｙをそれぞれ生成する（ステップＳ１０４）。

次に、制御部７は、編集文字列特定部７４として機能する。編集文字列特定部７４は、ステップＳ１０２で特定された編集領域ＸとステップＳ１０４で特定された特定された文字領域Ｙとに基づいて編集文字列を特定する（ステップＳ１０５）。編集文字列の特定方法については後述する。

次に、画像処理部８は、ステップＳ１０５で特定された編集文字列に対して、消去、色変換、トリミング、反転、マスキング、網かけ等の画像処理を実行し（ステップＳ１０６）、領域編集動作を終了する。なお、ステップＳ１０６では、ユーザーによって設定された画像処理を実行するようにしても良いが、色マーカーの色や形態（塗りつぶし形態ｏｒ囲み形態）に応じた画像処理を実行するように構成すると、更に好適である。この場合、色マーカーの色や形態と実行する画像処理とを予め紐づけておき、ステップＳ１０２で編集領域Ｘを特定する際に、特定した編集領域Ｘ内の編集文字列に対して実行する画像処理を設定すると良い。

次に、ステップＳ１０５で編集文字列を特定する特定動作については詳細に説明する。
図５を参照すると、編集文字列特定部７４は、各文字領域Ｙにおいて、編集領域Ｘに重畳している重畳率（編集領域Ｘに重畳している面積を文字領域Ｙの面積で除算した値）をそれぞれ算出する（ステップＳ２０１）。

次に、編集文字列特定部７４は、重畳率が予め設定されている重畳閾値（本実施の形態では、０．５とする）以上の文字を候補文字として特定する（ステップＳ２０２）。なお、ステップＳ２０２では、予め設定された所定文字数の範囲で候補文字を特定しても良い。この場合、重畳閾値が大きいものから順番に所定文字数の候補文字を特定する。また、重畳率の代わりに文字領域Ｙの重心を特定し、ステップＳ２０２では、重心が編集領域Ｘ内に位置する文字を候補文字として特定するようにしても良い。

図４に示す例では、単語「customized」の全ての文字と、単語「workflows」中の文字「rkfl」と、単語「into」中の文字「i」が編集領域Ｘ内に位置し、ステップＳ２０２において単語「customized」の全ての文字のみが候補文字として特定される。

図６には、異なる編集領域Ｘが特定された（ａ）〜（ｄ）の例が示されている。
図６（ａ）に示す例では、単語「customized」中の文字「customize」が編集領域Ｘ内に位置し、ステップＳ２０２において単語「customized」中の文字「customize」が候補文字として特定される。

図６（ｂ）に示す例では、単語「with」中の文字「th」と、単語「customized」の全ての文字と、単語「business」中の文字「b」が編集領域Ｘ内に位置し、ステップＳ２０２において単語「with」中の文字「h」と、単語「customized」の全ての文字とが候補文字として特定される。

図６（ｃ）に示す例では、単語「customized」中の文字「custo」が編集領域Ｘ内に位置し、ステップＳ２０２において単語「customized」中の文字「cust」が候補文字として特定される。

図６（ｄ）に示す例では、単語「customized」中の文字「customi」が編集領域Ｘ内に位置し、ステップＳ２０２において単語「customized」中の文字「cus」が候補文字として特定される。

次に、編集文字列特定部７４は、編集単位が設定されているか否かを判断する（ステップＳ２０３）。なお、本実施の形態では、編集単位として、単語、文、行を設定可能な構成になっている。ユーザーによる編集単位の設定を受け付けるようにしても良いが、色マーカーの色や形態（塗りつぶし形態ｏｒ囲み形態）に応じて編集単位が設定されるように構成すると、更に好適である。この場合、色マーカーの色や形態と編集単位とを予め紐づけておき、ステップＳ１０２で編集領域Ｘを特定する際に、特定した編集領域Ｘにおける編集単位を設定すると良い。

ステップＳ２０３で編集単位が単語、文、行のいずれかに設定されている場合、編集文字列特定部７４は、ステップＳ２０２で特定した候補文字が含まれた編集単位を編集文字列として特定し（ステップＳ２０４）、特定動作を終了する。

すなわち、編集単位が単語である場合、図４、図６（ａ）、（ｃ）、（ｄ）に示す例では、単語「customized」が、図６（ｂ）に示す例では、単語「with」と、単語「customized」とがステップＳ２０４において編集文字列としてそれぞれ特定される。

また、編集単位が文である場合、図４、図６（ａ）〜（ｄ）の全ての例において、文「Harness〜applications.」が編集文字列として特定される。

さらに、編集単位が行である場合、図４、図６（ａ）〜（ｄ）の全ての例において、行「Harness〜business」が編集文字列として特定される。

ステップＳ２０３で編集単位が設定されていない場合、編集文字列特定部７４は、ステップＳ２０２で特定した候補文字が単語に占める占有率（重畳率が重畳閾値以上の文字数を単語の文字数で除算した値）を、編集領域Ｘに位置する単語ごとにそれぞれ算出する（ステップＳ２０５）。

次に、編集文字列特定部７４は、ステップＳ２０５で算出した占有率が予め設定された占有閾値（本実施の形態では、０．８とする）以上の単語があるか否かを判断する（ステップＳ２０６）。

ステップＳ２０６で占有率が予占有閾値以上の単語がある場合、編集文字列特定部７４は、占有率が予占有閾値以上の単語を編集文字列として特定し（ステップＳ２０７）、特定動作を終了する。

ステップＳ２０６で占有率が占有閾値以上の単語がない場合、編集文字列特定部７４は、ステップＳ２０２で特定した候補文字を編集文字列として特定し（ステップＳ２０８）、特定動作を終了する。

図４と図５（ａ）に示す例では、単語「customized」におけるそれぞれの占有率が１と０．９となり、いずれも占有閾値以上であるため、ステップＳ２０７において単語「customized」が編集文字列として特定される。また、図５（ｂ）に示す例では、単語「with」における占有率が０．２５、単語「customized」における占有率が０．９とそれぞれなり、単語「customized」のみが占有閾値以上であるため、ステップＳ２０７において単語「customized」のみが編集文字列として特定される。

これにより、ユーザーが単語を色マーカーで指定する際に、図４に示すように他の行にはみ出していたり、図５（ｂ）に示すように前後にはみ出していたりしても、所望の単語のみを編集文字列として特定することができる。また、ユーザーが単語を色マーカーで指定する際に、図５（ａ）に示すように色マーカーで単語を十分に覆えていなくても、ある程度の面積が覆われていれば、所望の単語のみを編集文字列として特定することができる。

図５（ｃ）、（ｄ）に示す例では、単語「customized」におけるそれぞれの占有率が０．４と０．３となり、いずれも占有閾値未満であるため、ステップＳ２０８において単語「customized」中の文字「cust」と文字「cus」がそれぞれ編集文字列として特定される。

これにより、ユーザーは、色マーカー等を用いて文字単位でも編集文字列を指定することができる。

なお、図５（ｄ）に示す例では、編集領域Ｘが単語「customized」から大きくずれているが、編集領域Ｘの行方向の長さＬａが、単語「customized」の行方向の長さＬｗのほぼ全域にわたっている。このようなケースは、ユーザーが単語「customized」を指定しようとしたが、失敗して色マーカーがずれてしまったと想定することができる。従って、ステップＳ２０６で占有率が占有閾値未満であっても、行方向における編集領域Ｘと単語との重なり率（行方向におけて編集領域Ｘと単語とが重なっている長さＬｏを単語の行方向の長さＬｗで除算した値）が予め設定された重なり閾値（例えば、０．８）以上の場合、単語を編集文字列として特定すると良い。

以上説明したように、本実施の形態は、画像データに対して画像処理を実行する画像処理装置１であって、画像データ内のユーザー指定領域を編集領域Ｘとして特定する編集領域特定部７１と、画像データ内の各文字の位置をそれぞれ認識する文字位置特定部７２と、文字位置特定部７２によって位置が特定された各文字の文字領域Ｙをそれぞれ生成する文字領域生成部７３と、編集領域Ｘと文字領域Ｙとの重なり具合によって特定した候補文字に基づいて編集文字列を特定する編集文字列特定部７４と、編集文字列特定部７４によって特定された編集文字列に対して画像処理を実行する画像処理部８と、を備えている。
この構成により、編集領域Ｘと文字領域Ｙとの重なり具合を参酌することで、ユーザーが指定したかった文字列を精度良く編集文字列として特定することができるため、編集文字列の一部が編集領域Ｘに含まれていなかったり、編集対象外の文字列の一部が編集領域Ｘに含まれてしまったりする場合でも、編集領域Ｘによって編集文字列を精度良く特定することができる。具体的には、指定の文字をマスキングしたい場合など、不要な文字領域までマスキングされてしまったり、指定した文字領域を十分にマスキングできなかったりするということが防げる。また、ＯＣＲ処理を行う場合は、余計なノイズや文字の欠け等を防ぐことができ、認識の性能が挙げることができる。

さらに、本実施の形態において、編集文字列特定部７４は、文字領域Ｙ毎に編集領域Ｘに重畳している重畳率をそれぞれ算出し、重畳率が予め設定されている重畳閾値以上の文字を候補文字として特定する。また、編集文字列特定部７４は、文字領域Ｙ毎の重心を特定し、重心が編集領域Ｘ内に位置する文字を候補文字として特定することもできる。

さらに、本実施の形態において、編集文字列特定部７４は、候補文字が単語に占める占有率を編集領域Ｘに位置する単語ごとにそれぞれ算出し、占有率が予め設定された占有閾値以上の単語を編集文字列として特定する。
この構成により、ユーザーが単語を色マーカーで指定する際に、他の行にはみ出してしまったり、前後にはみ出してしまっても、所望の単語のみを編集文字列として特定することがてきる。また、ユーザーが単語を色マーカーで指定する際に、色マーカーで単語を十分に覆えていなくても、ある程度の面積が覆われていれば、所望の単語のみを編集文字列として特定することができる。

さらに、本実施の形態において、占有率が占有閾値以上の単語がない場合、編集文字列特定部７４は、候補文字を編集文字列として特定する。
この構成により、ユーザーは、色マーカー等を用いて文字単位でも編集文字列を指定することができる。

さらに、本実施の形態において、編集文字列特定部７４は、占有率が占有閾値未満であっても、行方向における編集領域Ｘとの重なり率が予め設定された重なり閾値以上の単語は、編集文字列として特定する。
この構成により、ユーザーが単語を指定しようとして、ユーザー指定領域が単語から大きくズレてしまっても、所望の単語を編集文字列として特定することができる。

さらに、本実施の形態において、編集文字列特定部７４は、編集単位が設定されている場合、編集単位で編集文字列を特定する。
この構成により、色マーカー等を用いて編集単位の一部をしてすることで、簡単に単語、文、行の編集単位を編集文字列を特定させることができる。

さらに、本実施の形態において、ユーザー指定領域は、色や形態が編集単位と予め紐づけられた色マーカーによって指定され、色マーカーの色や形態に応じて編集単位が設定される。
この構成により、簡単に編集単位を設定することができる。また、同一の原稿内でも色や形態を変更することで、複数の編集単位を設定することができる。

さらに、本実施の形態において、文字領域生成部７３は、文字を内包する最小面積の予め設定された図形を文字領域Ｙとして生成する。
この構成により、文字領域Ｙの生成を容易に行うことができる。

さらに、本実施の形態において、文字領域生成部７３は、編集領域Ｘ内に位置する文字の文字領域Ｙを生成する。
この構成により、文字領域Ｙの生成にかかる負荷を最小限にすることができる。

なお、本発明が上記各実施の形態に限定されず、本発明の技術思想の範囲内において、各実施の形態は適宜変更され得ることは明らかである。また、上記構成部材の数、位置、形状等は上記実施の形態に限定されず、本発明を実施する上で好適な数、位置、形状等にすることができる。なお、各図において、同一構成要素には同一符号を付している。

１ 画像処理装置
２ 原稿読取部
３ 原稿給送部
４ 画像形成部
５ 記録紙供給部
６ 操作部
７ 制御部
８ 画像処理部
９ 記憶部
７１ 編集領域特定部
７２ 文字位置特定部
７３ 文字領域生成部
７４ 編集文字列特定部
Ｘ 編集領域
Ｙ 文字領域

Claims (8)

1. 画像データに対して画像処理を実行する画像処理装置であって、
   前記画像データ内のユーザー指定領域を編集領域として特定する第１特定部と、
   前記画像データ内の各文字の位置をそれぞれ認識する第２特定部と、
   前記第２特定部によって位置が特定された各文字の文字領域をそれぞれ生成する生成部と、
   前記編集領域と前記文字領域との重なり具合によって特定した候補文字に基づいて編集文字列を特定する第３特定部と、
   前記第３特定部によって特定された前記編集文字列に対して画像処理を実行する処理部と、を具備し、
   前記第３特定部は、前記候補文字が単語に占める占有率を前記編集領域に位置する単語ごとにそれぞれ算出し、占有率が予め設定された占有閾値以上の単語を前記編集文字列として特定し、占有率が前記占有閾値以上の単語がない場合、前記候補文字を前記編集文字列として特定し、占有率が前記占有閾値未満であっても、行方向における前記編集領域との重なり率が予め設定された重なり閾値以上の単語は、編集文字列として特定することを特徴とする画像処理装置。
2. 前記第３特定部は、前記文字領域毎に前記編集領域に重畳している重畳率をそれぞれ算出し、重畳率が予め設定されている重畳閾値以上の文字を前記候補文字として特定することを特徴とする請求項１記載の画像処理装置。
3. 前記第３特定部は、前記候補文字を予め設定された所定文字数の範囲で特定することを特徴とする請求項２記載の画像処理装置。
4. 前記第３特定部は、前記文字領域毎の重心を特定し、重心が前記編集領域内に位置する文字を前記候補文字として特定することを特徴とする請求項１記載の画像処理装置。
5. 前記第３特定部は、編集単位が設定されている場合、前記編集単位で前記編集文字列を特定することを特徴とする請求項１乃至４のいずれかに記載の画像処理装置。
6. 前記ユーザー指定領域は、色や形態が前記編集単位と予め紐づけられた色マーカーによって指定され、
   前記色マーカーの色や形態に応じて前記編集単位が設定されることを特徴とする請求項５記載の画像処理装置。
7. 前記生成部は、文字を内包する最小面積の予め設定された図形を前記文字領域として生成することを特徴とする請求項１乃至６のいずれかに記載の画像処理装置。
8. 前記生成部は、前記編集領域内に位置する文字の前記文字領域を生成することを特徴とする請求項１乃至７のいずれかに記載の画像処理装置。

Images