JP3669008B2 - 画像処理装置および画像処理方法 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、原稿画像から所定の画像を抽出し、この抽出画像と残りの残余画像とに処理を施して合成を行う画像処理装置に関する。
【０００２】
【従来の技術】
従来、第１の画像情報の中の所望領域を指定し、その所望領域内の画像情報を第２の画像情報にはめ込むように合成して第３の画像情報を得る画像処理装置が知られており、複写機などにおいて適用されている。
【０００３】
また、特開平４−１５９８７８号公報に記載の文字情報表示装置では、ハイビジョン受像機における第１の画像情報であるハイビジョン信号の中から文字情報のみを抽出し第２の画像情報を得る手段と、元のハイビジョン信号から文字情報を分離した第３の画像情報を得る手段と、第３の画像情報における文字情報の分離によって空白となった部分を補間して第４の画像情報を得る手段と、文字情報から成る第２の画像情報と補間を行った第４の画像情報とを合成する手段とを備え、元のハイビジョン信号における文字情報を画像の上端や下端の無画像部分に表示させる技術が開示されている。
【０００４】
【発明が解決しようとする課題】
しかしながら、第１の画像情報の中の所望領域を第２の画像情報にはめ込むように合成して第３の画像情報を得る画像処理装置では、例えば、文字部分だけを抽出して合成するような複雑な領域指定を行って合成処理を行うことは困難であり、不要な情報も合成してしまうという問題が生じる。
【０００５】
また、特開平４−１５９８７８号公報における文字情報表示装置では、第１の画像情報から文字情報のみを抽出できるものの、その抽出した文字情報を画像の上端や下端の無画像部分に単に合成して表示させるだけであり、文字情報に対する複雑な処理や文字情報を分離した後の第３の画像情報に対する複雑な処理を個別に行って合成するという処理を行うには不十分である。
【０００６】
よって、本発明は原稿画像から所定の画像を抽出し、その抽出画像および残余画像に対して個別に処理を施して合成を行うことができる画像処理装置を提供することを目的とする。
【０００７】
【課題を解決するための手段】
本発明は、上記の目的を達成するために成された画像処理装置である。すなわち、本発明の画像処理装置は、予め設定された特徴量に基づき原稿画像から抽出される抽出画像およびその抽出画像を原稿画像から抽出した後の残りとなる残余画像とを得て、抽出画像および残余画像に各々所定の画像処理を施して、この画像処理後の残余画像に画像処理後の抽出画像を合成して合成画像を得るものであり、原稿画像から特徴量に基づき抽出された抽出画像に対して拡大、縮小、回転、移動、斜体を含む所定の画像処理を施す抽出処理手段と、残余画像における抽出画像があった部分に対して周辺画素の情報を用いて抽出画像があった部分を補間する処理を行う抽出復元手段と、抽出処理手段から出力される画像処理後の抽出画像と、抽出復元手段から出力される補間処理後の残余画像とを合成して合成画像を出力する合成手段とを備える構成となっている。
【０００８】
本発明では、抽出処理手段において、抽出条件を示す特徴量に基づき原稿画像から抽出画像を得て、この抽出画像に対して所定の処理を施している。このため、抽出画像に対してその配置位置や角度、大きさ、色等に関する種々の処理を施すことができるようになる。
【０００９】
また、抽出復元手段は、残余画像の抽出とともに、この残余画像における抽出画像があった部分に対して少なくとも先の特徴量を利用した復元処理を施している。このため、残余画像における抽出画像があった部分は、抽出条件を含む条件に基づき抽出画像があった部分の周囲の情報によって復元され、この復元後の残余画像に対して平滑化処理等の種々の処理を施すことができるようになる。
【００１０】
さらに、合成手段では、抽出処理手段から出力される処理後の抽出画像と、抽出復元手段から出力される処理後の残余画像とを合成している。これによって得られる合成画像としては、原稿画像から所定の特徴量に応じて抽出され所定の処理の施された抽出画像が、復元され所定の処理の施された残余画像に合成される状態となる。
【００１１】
【発明の実施の形態】
以下に、本発明の画像処理装置における実施の形態を図に基づいて説明する。図１は、本発明の画像処理装置を説明するブロック図である。すなわち、この画像処理装置１は、原稿画像から所定の抽出画像と残余画像とを得て、抽出画像および残余画像に所定の処理を施して合成画像を得るものである。
【００１２】
画像処理装置１は、主として、画像抽出のための所定の指定を行う外部インターフェイス２と、各部の制御を行うＣＰＵ３と、原稿画像の入力を行う画像入力部４と、入力した原稿画像に対する画像前処理部５と、原稿画像から所定の抽出画像を得てその処理を行う抽出処理部６と、原稿画像から抽出画像を除く残余画像を得てその抽出画像のあった部分の復元および所定の処理を行う抽出復元部７と、処理後の抽出画像と処理後の残余画像との合成を行う画像合成部８と、合成の際の画像一時蓄積を行う画像情報格納部９と、合成画像に対する画像後処理部１０と、合成画像を出力を行う画像出力部１１とを備える構成となっている。
【００１３】
また、抽出処理部６は、第１画像情報抽出部６ａと、第１画像処理部６ｂとから構成され、さらに抽出復元部７は、第２画像情報抽出部７ａと、画像復元部７ｂと、第２画像処理部７ｃとから構成されている。
【００１４】
画像処理装置１に接続される外部インターフェイス２は、図２の平面図に示すような指示点座標入力部２１を備えている。この指示点座標入力部２１は、例えば複写機のプラテンカバー上に設けられており、基準となる平面２１ａに原稿Ｇを配置した状態で、ペン型の指示器２１ｂによる押圧で所定の領域Ｓの座標を指示することができるようになっている。これによって、原稿Ｇの中の抽出したい部分の領域を指示できることになる。また、指示点座標入力部２１には、抽出画像および残余画像に対する処理内容を選択するためのタッチパネル２１ｃや、指示器２１ｂによって特定の色の選択を行うための色標本２１ｄも設けられている。
【００１５】
図３は画像入力部を説明する模式図である。図３（ａ）に示すように、画像入力部４は、原稿Ｇの画像情報を光学的に読み取り電気信号に変換するものであり、原稿Ｇを載置するためのプラテンガラス４ａと、原稿Ｇに光を照射する光源４ｂと、光源４ｂから照射された光の原稿Ｇからの反射光を所定方向に反射させるミラー群４ｃおよびこの反射光を集光するレンズ４ｄと、レンズ４ｄにより集光された原稿Ｇからの反射光を受けて電気信号（画像信号）に変換するイメージセンサー４ｅとから構成されている。
【００１６】
図３（ｂ）に示すように、イメージセンサー４ｅには、色の三原色（例えば、青、緑、赤）の画像信号を各々得るため、各色に対応した３本の画素列４ｆが並んで配置されている。画像入力部４では、この画素列４ｆの並ぶ方向を主走査方向、これと垂直な方向を副走査方向としており、各方向に対して画像信号と同期した信号を主走査同期信号、副走査同期信号と呼んでいる。また、各画素毎に同期した信号を画像同期信号と呼んでいる。
【００１７】
画像入力部４にて取り込んだ原稿Ｇの画像信号である原稿画像は、図１に示す画像前処理部５にて所定の前処理が施される。画像前処理部５では、原稿画像を図示しないＡ／Ｄ変換回路でデジタル信号に変換し、さらに図示しない色空間変換回路によって色空間の変換が行われる。例えば、入力された原稿画像が青（Ｂ）、緑（Ｇ）、赤（Ｒ）から成る色空間信号の場合には、これを色相、彩度、明度から成る他の色空間信号に変換する。この画像前処理によって、後の画像処理を容易に行うことができるようになる。
【００１８】
画像入力部４で取り込んだ原稿画像は、画像前処理部５でこのような処理が施された後、抽出処理部６および抽出復元部７に渡される。この抽出処理部６では、外部インターフェイス２にて指定した画像抽出のための所定の条件に基づいた画像の抽出および処理を行い、抽出復元部７では、少なくとも画像抽出のための所定の条件を利用して残余画像に対する復元および所定の処理を行っている。
【００１９】
図４は画像情報抽出部を説明するブロック図であり、図１に示す抽出処理部６内の第１画像情報抽出部６ａおよび抽出復元部７内の第２画像情報抽出部７ａで適用される構成を示している。第１画像情報抽出部６ａおよび第２画像情報抽出部７ａは、先に説明した外部インターフェイス２で指定した画像抽出のための所定の条件をＣＰＵ３から得て、これに基づいた画像の抽出を行っている。
【００２０】
画像抽出のための条件とは、原稿Ｇ（図２参照）内の抽出したい画像を特定するための条件であり、例えば、抽出したい画像の色空間内の位置（色空間座標）や、抽出したい画像の画像情報の変化量（エッジ情報）や、抽出したい画像を含む領域を示す位置データ（領域情報）から成る。なお、以下の説明では、この画像抽出のための条件を示す値を特徴量と言うものとする。
【００２１】
図４に示す第１画像情報抽出部６ａおよび第２画像情報抽出部７ａは、画像前処理部５から前処理の施された原稿画像を受けて所定のエッジ強調処理を行うエッジ強調フィルター６７ａと、外部インターフェイス２により指定された特徴量をＣＰＵ３から受けて、この特徴量に基づいた所定の信号検出を行う領域検出部６７ｂ、色空間座標検出部６７ｃ、エッジ検出部６７ｄと、これらの検出部にて検出した信号に基づいて画像の抽出を行う情報抽出判定部６７ｅとから構成されている。
【００２２】
つまり、第１画像情報抽出部６ａおよび第２画像情報抽出部７ａは、外部インターフェイス２にて指定された特徴量に領域情報が含まれている場合には、この領域情報を領域検出部６７ｂに設定する。また、特徴量に色空間座標が含まれている場合には、この色空間座標を色空間座標検出部６７ｃに設定する。さらに、特徴量にエッジ情報が含まれている場合には、このエッジ情報をエッジ検出部６７ｄに設定する。
【００２３】
情報抽出判定部６７ｅでは、原稿画像における注目画素が抽出すべき情報であるか否かを所定の閾値を用いて判定し、その結果を出力する。すなわち、情報抽出判定部６７ｅは、領域検出部６７ｂ、色空間座標検出部６７ｃ、エッジ検出部６７ｄに各々設定されている抽出のための条件値と、予め設定されている閾値とを比較して、原稿画像における注目画素が抽出すべき画素であるか否かを判定している。
【００２４】
このような構成により、第１画像情報抽出部６ａでは原稿画像の中から指定された特徴量に基づいた抽出画像を得ることができ、第２画像情報抽出部７ａでは少なくとも特徴量を使用した条件により原稿画像の中から抽出画像を除く残余画像を得ることができるようになる。
【００２５】
例えば、外部インターフェイス２によって原稿Ｇ（図２参照）の中の文字の部分を抽出するため、その文字に対応する領域情報、色空間座標、エッジ情報を有する特徴量が指定された場合には、第１画像情報抽出部６ａにより、その文字の部分のみが情報として存在する抽出画像を得ることができ、第２画像情報抽出部７ａにより、その文字の部分のみを除く（文字の部分が抜けた）残余画像を得ることができるようになる。
【００２６】
本実施形態における画像処理装置１は、原稿画像から抽出した抽出画像および残余画像に対して所定の処理を施し合成する点に特徴がある。すなわち、第１画像情報抽出部６ａで抽出された抽出画像は、図１に示す第１画像処理部６ｂに渡されて所定の処理が施され、また第２画像情報抽出部７ａで抽出された残余画像は、図１に示す画像復元部７ｂおよび第２画像処理部７ｃに渡されて所定の処理が施されることになる。
【００２７】
図５は第１画像処理部６ｂを説明するブロック図である。第１画像処理部６ｂは、外部インターフェイス２にて指定された種々の処理内容に関する情報をＣＰＵ３から得て、第１画像情報抽出部６ａにて抽出された抽出画像に対する画像処理を行い、画像合成部８へ渡す。
【００２８】
このため、第１画像処理部６ｂは、画素同期信号、主走査同期信号、副走査同期信号によって制御されるタイミングコントロール部６１ａと、抽出画像に対する縮小処理部６１ｂ、書き込みコントロール部６１ｃ、読み出しコントロール部６１ｄ、拡大処理部６１ｅと、画像情報格納部６１ｆとから構成されている。これらタイミングコントロール部６１ａや、縮小処理部６１ｂ、書き込みコントロール部６１ｃ、読み出しコントロール部６１ｄ、拡大処理部６１ｅには、外部インターフェイス２で指定された抽出画像に対する処理内容に応じて所定の設定され成される。
【００２９】
例えば、抽出画像の縮小が指定された場合には縮小処理部６１ｂにその縮小率が設定され、拡大が指定された場合には拡大処理部６１ｅにその拡大率が設定され、回転や移動、斜体が指定された場合には回転角度や移動情報（移動後の座標値等）、斜体に応じた情報が書き込みコントロール部６１ｃおよび読み出しコントロール部６１ｄに設定される。
【００３０】
第１画像処理部６ｂによって画像処理を行うには、画素同期信号、主走査同期信号、副走査同期信号に基づくタイミングコントロール部６１ａからの信号に応じて各設定内容に対応した情報の読み出し、書き込みを行う。この際、画像情報格納部６１ｆを利用して、処理画像の一時格納を行うようにする。これによって、第１画像処理部６ｂに入力される抽出画像には、縮小や拡大、回転、移動、斜体等の各処理が施され、処理後の抽出画像として画像合成部８へ渡されることになる。
【００３１】
なお、第１画像処理部６ｂに図示しない画像編集専用の処理指示部や記憶部を設けることでさらに複雑な編集処理を行うことが可能となる。
【００３２】
また、図６は画像復元部７ｂを説明する図である。この画像復元部７ｂでは、第２画像情報抽出部７ａにて抽出された残余画像に対する復元処理すなわち残余画像において抽出画像があった部分に対する補間処理を行い、処理後の残余画像を画像合成部８へ渡す。
【００３３】
このため、図６（ａ）のブロック図に示すように、画像復元部７ｂは、複数のラインバッファ（ＦＩＦＯ）と、補間信号生成部７１ａと、選択部７１ａとから構成されている。画像復元部７ｂにて、残余画像の補間処理を行うには、先ず、画像前処理部５から図６（ｂ）に示すような例えば注目画素Ｔを中心とした５画素×５画素のマトリクスを得る。
【００３４】
次に、補間信号生成部７１ａは、注目画素Ｔよりも主走査方向および副走査方向に対して前となる画素Ｔ１と後となる画素Ｔ２とのうち、第２画像情報抽出部７ａにて抽出画像として抽出されていない画素の情報を参照して注目画素Ｔにおける画像情報を決定する。
【００３５】
選択部７１ｂは、注目画素Ｔが抽出画像として抽出されている場合に補間信号生成部７１ａからの信号を選択して出力し、これ以外の場合には注目画素Ｔの情報をそのまま第２画像処理部７ｃへ出力する。これによって、注目画素Ｔが抽出画像として抜けている場合にそこへ補間信号が与えられ、残余画像の復元が行われることになる。
【００３６】
また、第２画像処理部７ｃは、この復元後の残余画像を得て、これに対して所定の画像処理を施す。例えば、残余画像に対して鏡像やネガポジ反転、拡大、縮小といった編集処理、下色除去処理や平滑化フィルタ処理などの基本的な画像処理を行うことができる。
【００３７】
図１に示す画像処理装置１の画像合成部８では、抽出処理部６から出力される所定の処理後の抽出画像と、抽出復元部７から出力される所定の復元処理後の残余画像との合成を行い、合成画像を出力する。図７は画像合成部８を説明するブロック図である。
【００３８】
この画像合成部８は、第１画像処理部６ｂから出力される処理後の抽出画像と、第２画像処理部７ｃから出力される処理後の残余画像との合成を、ＣＰＵ３からの指示に基づき所定の選択手段による情報の書き込みおよび読み出しのコントロールによって行うものである。このため、画像合成部８は、第１画像処理部６ｂ側の第１選択部８ａ、読み出しコントロール部６１ｄ、書き込みコントロール部６１ｃと、第２画像処理部７ｃ側の第２選択部８ｄ、読み出しコントロール部６１ｄ、書き込みコントロール部６１ｃと、第１選択制御部８ｇ、第２選択制御部８ｈと、第３選択部８ｉ、第４選択部８ｊと、カラーパレット８ｋ、乗算器８ｍとから構成されている。
【００３９】
第１画像処理部６ｂから出力される処理後の抽出画像は、第２画像処理部７ｃより出力される処理後の残余画像を制御する信号として用いられる。また、第１画像処理部６ｂから出力される処理後の抽出画像は、読み出しコントロール部８ｂ、画像格納部９ａ、書き込みコントロール部８ｃを用いることで格納でき、第２画像処理部７ｃから出力される処理後の残余画像は、読み出しコントロール部８ｅ、画像格納部９ｂ、書き込みコントロール部８ｆを用いることで格納できる。
【００４０】
さらに、第１選択制御部８ｇ、第２選択制御部８ｈは、予めＣＰＵ３に設定された情報と第１画像処理部６ｂから出力される処理後の抽出画像とに基づいてそれぞれ第２選択部８ｄ、第３選択部８ｉに対する制御を行う。また、カラーパレット８ｋには、ＣＰＵ３によって予め所定の色情報が設定されており、第４選択部８ｊによってカラーパレット８ｋの色情報か、カラーパレット８ｋの色情報と第２画像処理部７ｃから出力される処理後の残余画像の情報との乗算器８ｍによる乗算情報かのいずれかがＣＰＵ３の指示に基づいて選択される。
【００４１】
また、第３選択部８ｉでは、第４選択部８ｊによって選択された信号と、第２選択部８ｄにて選択された信号との選択を行う。このような各選択部での信号選択によって、第１画像処理部６ｂから出力される処理後の抽出画像と、第２画像処理部７ｃから出力される処理後の残余画像とが合成され、その合成画像が図１に示す画像後処理部１０へ渡されることになる。
【００４２】
画像後処理部１０は、後の処理を容易にするための画像処理を行う部分であり、例えば、色相、彩度、明度から成る合成画像の色空間信号をマゼンタ、シアン、イエローから成る他の色空間信号に変換し、さらにブラックを生成する処理を行っている。画像出力部１１は、例えばレーザプリンタやインクジェット方式等の印刷装置や、ディスプレイ等の表示装置から成るもので、画像後処理部１０にて所定の処理が施された合成画像を受けて所定の媒体への出力を行っている。
【００４３】
本実施形態における画像処理装置１では、このような各部の処理によって原稿画像から所定の抽出画像と残余画像を得て、これらに所定の画像処理を施し新たな合成画像を出力する。これによって、抽出画像に対して複雑な回転処理や斜体処理を施したり、残余画像に対して復元処理や平滑化処理を施した状態での画像合成を行うことができるようになる。
【００４４】
次に、この画像処理装置１の動作例を図８に示すフローチャートに基づいて説明する。なお、図８に示されない符号は図１を参照するものとする。先ず、ステップＳ１０１に示すように、外部インターフェイス２により原稿Ｇ（図２参照）における抽出したい画像の条件を示す特徴量の入力を行う。例えば、色によって特徴量を指定する場合には、色標本２１ｄ（図２参照）を指示器２１ｂによって指定したり、エッジ情報から成る特徴量を指定する場合にはタッチパネル２１ｃを用いて指定したり、領域情報から成る特徴量を指定する場合には、原稿Ｇの所望の領域Ｓを指示器２１ｂによって指定する。
【００４５】
図９は具体例を説明する図であり、（ａ）は原稿画像Ｇ１を、（ｂ）は合成画像Ｇ２を示すものである。この具体例では、原稿画像Ｇ１の中の「ＳＵＭＭＥＲ」から成る文字Ｍ１を抽出し、これを移動、拡大して合成画像Ｇ２の中の文字Ｍ１’として合成している。このような合成を行う場合、ステップＳ１０１の処理では、原稿画像Ｇ１の文字Ｍ１を囲む領域Ｓ１を領域情報から成る特徴量とし、文字であることを指定してこれをエッジ情報から成る特徴量とし、文字Ｍ１の色を指定してこれを色空間座標から成る特徴量とする。
【００４６】
このような特徴量の指定によって、同じ原稿画像Ｇ１の中の「ｖａｃａｔｉｏｎ」から成る文字Ｍ２や他の建物、風景等を示す画像との区別を確実に付けることができ、より正確な画像抽出を行うことができるようになる。また、ステップＳ１０１の処理では、「ＳＵＭＭＥＲ」の文字Ｍ１に対して施したい処理、例えば移動や拡大等の処理に関する情報も指定しておく。これも、図２に示す指示点座標入力部２１を用いて指定する。
【００４７】
次に、ステップＳ１０２に示すように、ＣＰＵ３から各部に対する設定処理を行う。この処理では、先に外部インターフェイス２によって指定された内容に基づき、第１画像情報抽出部６ａ、第２画像情報抽出部７ａ、第１画像処理部６ｂ、第２画像処理部７ｃ、画像合成部８、画像情報格納部９に対する所定の設定を行う。
【００４８】
例えば、第１画像情報抽出部６ａおよび第２画像情報抽出部７ａへは、指定された特徴量におけるエッジ情報、色空間座標、領域情報に対応した各閾値が、図４に示すエッジ検出部６７ｄ、色空間座標検出部６７ｃ、領域検出部６７ｂに設定される。図１０は、画像抽出を説明する図である。画像の抽出を行うには、入力された画像情報の信号ｇ１におけるエッジ部分ａ１、ａ２によって得られるエッジ信号ｇ２や、色閾値によって判定される色検出信号ｇ３を基準にする。
【００４９】
このエッジ信号ｇ２の検出のための条件は、図４に示すエッジ検出部６７ｄ内の特徴量（エッジ情報）に基づいて設定され、色検出信号ｇ３の検出のための色閾値は、図４に示す色空間座標検出部６７ｃ内の特徴量（色空間座標）に基づき設定されている。また、領域検出信号ｇ４の生成のための条件は、図４に示す領域検出部６７ｂ内の特徴量（領域情報）に基づき設定されている。
【００５０】
さらに、第１画像情報抽出部６ａの判定信号ｇ６は、色検出信号ｇ３とエッジ信号ｇ２とのＡＮＤをとった信号ｇ５から構成される。この判定信号ｇ６を図４に示す情報抽出判定部６７ｅで生成することにより、与えられた特徴量に応じた画像を抽出できることになる。本実施例では、図９（ａ）に示す原稿画像Ｇ１の中の「ＳＵＭＭＥＲ」の文字Ｍ１のみを抽出できる条件設定が可能となる
【００５１】
また、第２画像情報抽出部７ａの判定信号ｇ７は、色検出信号ｇ３とエッジ信号ｇ２とのＡＮＤをとった信号ｇ５を数画素分広げたものとする。これによって、図９（ａ）に示す原稿画像Ｇ１から「ＳＵＭＭＥＲ」の文字Ｍ１を抽出した後の残余画像に対する復元処理を行う際、「ＳＵＭＭＥＲ」の文字Ｍ１があった部分の数画素分周辺を含めた領域での補間信号生成を行うことができるようになり、取りこぼし無く、しかも自然な復元を行うことができる条件設定が可能となる。
【００５２】
次に、図８のステップＳ１０３に示す画像入力部４での画像情報の入力を行う。これによって、図９（ａ）に示す原稿画像Ｇ１を取り込むことができる。次いで、ステップＳ１０４に示すように、入力された画像情報に対する所定の処理を行う。この処理で、第１画像情報抽出部６ａ、第２画像情報抽出部７ａ、画像復元部７ｂ、第１画像処理部６ｂ、第２画像処理部７ｃ、画像合成部８、画像情報格納部９は、入力された画像情報（図９（ａ）に示す原稿画像Ｇ１）に対して処理の処理を行う。
【００５３】
本実施形態では、第１画像情報抽出部６ａおよび第２画像情報抽出部７ａによって、図９（ａ）に示す原稿画像Ｇ１の中の「ＳＵＭＭＥＲ」の文字Ｍ１のみを抽出する。そして、第１画像処理部６ｂは、抽出した「ＳＵＭＭＥＲ」の文字Ｍ１に対して所定の編集処理を行う。例えば、位置の移動と大きさの変更を行う場合には、図５に示す縮小処理部６１ｂ、書き込みコントロール部６１ｃ、画像情報格納部６１ｆ、読み出しコントロール部６１ｄ、拡大処理部６１ｅがＣＰＵ３に予め設定された値に基づいて処理を行うことになる。この例では、「ＳＵＭＭＥＲ」の文字Ｍ１の移動および拡大を行っている。
【００５４】
また、画像復元部７ｂは、第２画像情報抽出部７ａから得た残余画像に基づき、抽出された「ＳＵＭＭＥＲ」の文字Ｍ１のあった部分に対して、その周辺画素を用いた復元を行う。図１１は画像復元処理を説明する図である。画像復元部７ｂは図１１（ａ）に示すフローチャートに沿って復元処理を行う。なお、復元処理を行うには、残余画像に対して図１１（ｂ）に示すような注目画素Ｔを中心とした５画素×５画素のマトリクスを用いる。図中破線で示す画素は復元処理が終了した部分であり、図中実線で示す画素は復元未処理の部分である。
【００５５】
復元を行うには、先ず、ステップＳ２０１において、注目画素Ｔが抽出された領域であるか否かの判断を行う。抽出された画素でない場合には復元を行う必要がないものとしてステップＳ２０２に示すように、その注目画素Ｔの情報をそのまま出力する。注目画素Ｔが抽出された領域である場合には、ステップＳ２０３へ進み、注目画素Ｔの上下方向、左右方向、対角線方向の画素における情報勾配を算出する。
【００５６】
この際、算出したい方向の画素が第２画像情報抽出部７ａによって抽出された部分である場合、例えば、その画素における情報勾配が最低値となる値であると仮定して算出を行う。次いで、ステップＳ２０４へ進み、算出した上下方向、左右方向、対角線方向の各々に情報勾配に対して所定の重み付け係数を決定する処理を行う。そして、ステップＳ２０５で、上下方向、左右方向、対角線方向の各々の情報勾配と先に決定した重み付け係数との単純な乗加算演算を行い、注目画素Ｔにおける補間情報を算出する。
【００５７】
このような処理を行うことにより、注目画素Ｔの周辺画素における情報をよく反映した復元処理を行うことが可能となる。なお、この復元処理は一例であり、これ以外の復元処理を用いてもよい。また、この復元された残余画像は、第２画像処理部７ｃによって例えば平滑化処理が行われ、画像合成部８と画像情報格納部９とに入力される。
【００５８】
次に、図８のステップＳ１０５に示すように、複数の原稿にまたがる処理を行う場合には、他の原稿に対する設定および入力を行うため、ステップＳ１０６に示すように、先に処理した抽出画像や残余画像を画像情報格納部９に一時格納しておく処理を行う。そして、他の画像に対してもステップＳ１０１〜Ｓ１０４の処理を繰り返し、特徴量等の入力や各種の設定を行うことになる。
【００５９】
原稿画像Ｇ１（図９（ａ）参照）の入力、画像の抽出および処理、残余画像に対する復元および処理を行った後は、ステップＳ１０７に示すように、画像合成部８で処理後の抽出画像と処理後の残余画像との合成を行い、画像後処理部１０にその画像情報（合成画像）を出力する処理を行う。
【００６０】
本実施形態では、図９（ａ）に示す原稿画像Ｇ１の中の「ＳＵＭＭＥＲ」の文字Ｍ１のみを抽出し、これに拡大処理および移動を行って、図９（ｂ）に示すような合成画像Ｇ２を得る。合成画像Ｇ２には、図９（ａ）に示す原稿画像Ｇ１の中の「ＳＵＭＭＥＲ」の文字Ｍ１に移動および拡大処理の施された文字Ｍ１’が所定位置に配置されることになる。
【００６１】
次いで、ステップＳ１０８に示すように、画像後処理部１０で所定の処理、例えば色相、彩度、明度から成る色空間情報をマゼンタ、シアン、イエローから成る色空間情報に変換し、さらにブラックを生成する。そして、これを画像出力部１１に渡し、所定の媒体、例えば紙やディスプレイに出力する。これによって、図９（ｂ）に示すような合成画像Ｇ２が出力されることになる。
【００６２】
このようにして、図９（ａ）に示す原稿画像Ｇ１の中から所望の画像を抽出し、これに所定の処理を施すとともに、残余画像に対しても所定の処理を施して図９（ｂ）に示すような合成画像Ｇ２を出力することができるようになる。なお、本実施形態では、原稿画像Ｇ１の中の「ＳＵＭＭＥＲ」の文字Ｍ１を抽出して拡大、移動を行う例を示したが、本発明はこれに限定されず、他の画像（例えば、文字以外の建物、風景等の画像）を抽出し、他の処理（例えば、回転、斜体、色の変更）を施して合成するような場合であっても同様である。
【００６３】
【発明の効果】
以上説明したように、本発明の画像処理装置によれば次のような効果がある。すなわち、本発明では、原稿画像の中の文字等から成る特定の画像を抽出するための特徴量を指定し、これに基づいた画像の抽出を行うとともに抽出画像や残余画像に対して個別に処理を施して合成を行うことができるため、複雑な編集処理を加えた合成画像を生成することが可能となる。さらに、少なくとも特徴量を含む条件によって残余画像の復元処理を行うため、抽出画像のあった部分に対する自然な復元を行うことが可能となり、合成画像の品位向上を図ることが可能となる。
【図面の簡単な説明】
【図１】 本発明の画像処理装置を説明するブロック図である。
【図２】 指示点座標入力部を説明する平面図である。
【図３】 画像処理装置入力部を説明する模式図である。
【図４】 画像情報抽出部を説明するブロック図である。
【図５】 第１画像処理部を説明するブロック図である。
【図６】 画像復元部を説明する図である。
【図７】 画像合成部を説明するブロック図である。
【図８】 動作フローチャートである。
【図９】 具体例を示す図である。
【図１０】 画像抽出を説明する図である。
【図１１】 画像復元処理を説明する図である。
【符号の説明】
１ 画像処理装置 ２ 外部インターフェイス
３ ＣＰＵ ４ 画像入力部
５ 画像前処理部 ６ 抽出処理部
７ 抽出復元部 ８ 画像合成部
９ 画像情報格納部 １０ 画像後処理部
１１ 画像出力部

Claims (6)

1. 予め設定された特徴量に基づき原稿画像から抽出される抽出画像およびその抽出画像を前記原稿画像から抽出した後の残りとなる残余画像とを得て、該抽出画像および該残余画像に各々所定の画像処理を施して、この画像処理後の残余画像に画像処理後の抽出画像を合成して合成画像を得る画像処理装置であって、
   前記原稿画像から前記特徴量に基づき抽出された前記抽出画像に対して拡大、縮小、回転、移動、斜体を含む所定の画像処理を施す抽出処理手段と、
   前記残余画像における前記抽出画像があった部分に対して周辺画素の情報を用いて前記抽出画像があった部分を補間する処理を行う抽出復元手段と、
   前記抽出処理手段から出力される画像処理後の抽出画像と、前記抽出復元手段から出力される補間処理後の残余画像とを合成して合成画像を出力する合成手段と
   を備えていることを特徴とする画像処理装置。
2. 前記特徴量は、前記原稿画像における色空間内の位置に基づいて設定されていることを特徴とする請求項１記載の画像処理装置。
3. 前記特徴量は、前記原稿画像における画像情報の変化量に基づいて設定されていることを特徴とする請求項１記載の画像処理装置。
4. 前記特徴量は、前記原稿画像における抽出したい画像を囲む領域を示す位置データに基づいて設定されていることを特徴とする請求項１記載の画像処理装置。
5. 前記領域を指定するための指示点座標入力部を備えている
   ことを特徴とする請求項１記載の画像処理装置。
6. 予め設定された特徴量に基づき原稿画像から抽出される抽出画像およびその抽出画像を前記原稿画像から抽出した後の残りとなる残余画像とを得て、該抽出画像および該残余画像に各々所定の画像処理を施して、この画像処理後の残余画像に画像処理後の抽出画像を合成して合成画像を得る画像処理方法であって、
   前記原稿画像から前記特徴量に基づき抽出された前記抽出画像に対して拡大、縮小、回転、移動、斜体を含む所定の画像処理を施す工程と、
   前記残余画像における前記抽出画像があった部分に対して周辺画素の情報を用いて前記抽出画像があった部分を補間する処理を行う工程と、
   画像処理後の前記抽出画像と、補間処理後の前記残余画像とを合成して合成画像を出力する工程と
   を備えていることを特徴とする画像処理方法。

Images