JP6317413B1 - 画像処理装置、画像処理方法及び画像処理プログラム - Google Patents

画像処理装置、画像処理方法及び画像処理プログラム Download PDF

Info

Publication number
JP6317413B1
JP6317413B1 JP2016211597A JP2016211597A JP6317413B1 JP 6317413 B1 JP6317413 B1 JP 6317413B1 JP 2016211597 A JP2016211597 A JP 2016211597A JP 2016211597 A JP2016211597 A JP 2016211597A JP 6317413 B1 JP6317413 B1 JP 6317413B1
Authority
JP
Japan
Prior art keywords
content
pixel
image
area
background
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016211597A
Other languages
English (en)
Other versions
JP2018074368A (ja
Inventor
裕紀 谷崎
裕紀 谷崎
清人 小坂
清人 小坂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
PFU Ltd
Original Assignee
PFU Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by PFU Ltd filed Critical PFU Ltd
Priority to JP2016211597A priority Critical patent/JP6317413B1/ja
Priority to US15/442,060 priority patent/US10332263B2/en
Application granted granted Critical
Publication of JP6317413B1 publication Critical patent/JP6317413B1/ja
Publication of JP2018074368A publication Critical patent/JP2018074368A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20004—Adaptive image processing
    • G06T2207/20012—Locally adaptive
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30176—Document

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Character Input (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Image Analysis (AREA)

Abstract

【課題】画像内のコンテンツの認識度を高めること。【解決手段】画像処理装置１において、分離部１１は、入力画像ＩＭを第一コンテンツ領域ＣＡ１と第一背景領域ＢＡ１とに分離する。生成部１２は、第一背景領域ＢＡ１に含まれる第一背景領域画素のうち第一コンテンツ領域ＣＡ１の周辺に存在する第一周辺画素を用いて第一コンテンツ領域ＣＡ１に含まれる第一コンテンツ領域画素を修正する。この修正により、生成部１２は、修正後の第一コンテンツ領域画素と第一背景領域画素とによって形成される第一背景画像を生成する。除去部１３は、入力画像ＩＭから第一背景画像を除去する。【選択図】図１

Description

本発明は、画像処理装置、画像処理方法及び画像処理プログラムに関する。
近年、カメラでドキュメントを撮影する機会が増えてきた。また、撮影されたドキュメント画像に対してＯＣＲ（Optical Character Recognition）を行う場合も増えてきた。
特開２０１６−１２７３５０号公報 特開２０１０−１９１９５２号公報
ドキュメントをカメラで撮影すると、撮影されたドキュメント画像内の背景に色斑や影が生じてドキュメント画像内にある絵柄や文字等の「コンテンツ」の認識度が低下することがある。
開示の技術は、上記に鑑みてなされたものであって、画像内のコンテンツの認識度を高めることを目的とする。
開示の態様では、入力画像をコンテンツ領域と背景領域とに分離し、背景領域に含まれる背景領域画素のうちコンテンツ領域の周辺に存在する周辺画素を用いてコンテンツ領域に含まれるコンテンツ領域画素を修正することにより、修正後のコンテンツ領域画素と背景領域画素とによって形成される背景画像を生成し、入力画像から背景画像を除去する。
開示の態様によれば、画像内のコンテンツの認識度を高めることができる。
図１は、実施例１の画像処理装置の構成例を示す図である。 図２は、実施例１の画像処理装置の動作例の説明に供する図である。 図３は、実施例１の画像処理装置の動作例の説明に供する図である。 図４は、実施例１の画像処理装置の動作例の説明に供する図である。 図５は、実施例１の画像処理装置の動作例の説明に供する図である。 図６は、実施例１の画像処理装置の動作例の説明に供する図である。 図７は、実施例１の画像処理装置の動作例の説明に供する図である。 図８は、実施例１の画像処理装置の動作例の説明に供する図である。 図９は、実施例１の画像処理装置の動作例の説明に供する図である。 図１０は、実施例１の画像処理装置の動作例の説明に供する図である。 図１１は、実施例１の画像処理装置の動作例の説明に供する図である。 図１２は、実施例１の画像処理装置の動作例の説明に供する図である。 図１３は、実施例１の生成部の動作例の説明に供する図である。 図１４は、実施例１の生成部の動作例の説明に供する図である。 図１５は、実施例１の生成部の動作例の説明に供する図である。 図１６は、実施例１の生成部の動作例の説明に供する図である。 図１７は、実施例１の生成部の動作例の説明に供する図である。 図１８は、実施例１の生成部の動作例の説明に供する図である。 図１９は、実施例１の補正部の動作例の説明に供する図である。 図２０は、実施例１の画像処理装置の処理例の説明に供するフローチャートである。 図２１は、実施例１の領域分離処理の一例の説明に供するフローチャートである。 図２２は、実施例１の背景画像生成処理の一例の説明に供するフローチャートである。 図２３は、実施例２の携帯端末の構成例を示す図である。 図２４は、実施例３のコンピュータ装置の構成例を示す図である。
以下に、本願の開示する画像処理装置、画像処理方法及び画像処理プログラムの実施例を図面に基づいて説明する。なお、この実施例により本願の開示する画像処理装置、画像処理方法及び画像処理プログラムが限定されるものではない。また、実施例において同一の機能を有する構成、及び、同一の処理を行うステップには同一の符号を付す。
［実施例１］
［画像処理装置の構成］
図１は、実施例１の画像処理装置の構成例を示す図である。図１において、画像処理装置１は、分離部１１と、生成部１２と、除去部１３と、修復部１４と、補正部１５とを有する。
分離部１１、生成部１２、除去部１３、修復部１４及び補正部１５は、ハードウェアとして、例えばプロセッサにより実現することができる。プロセッサの一例として、ＣＰＵ（Central Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＦＰＧＡ（Field Programmable Gate Array）等が挙げられる。また、分離部１１、生成部１２、除去部１３、修復部１４及び補正部１５は、プロセッサと周辺回路とを含むＬＳＩ（Large Scale Integrated circuit）によって実現されても良い。さらに、分離部１１、生成部１２、除去部１３、修復部１４及び補正部１５は、ＧＰＵ（Graphics Processing Unit）、ＡＳＩＣ（Application Specific Integrated Circuit）等を用いて実現されても良い。
分離部１１は、画像処理装置１に入力される画像（以下では「入力画像」と呼ぶことがある）を、コンテンツ画像が存在する領域（以下では「コンテンツ領域」と呼ぶことがある）と、コンテンツ画像が存在しない領域（以下では「背景領域」と呼ぶことがある）とに分離し、コンテンツ領域及び背景領域を示す情報（以下では「領域情報」と呼ぶことがある）を生成部１２へ出力する。入力画像は、例えば、カメラで撮影された画像である。分離部１１での処理の詳細は後述する。
生成部１２は、領域情報に基づいて、入力画像において、背景領域に含まれる画素（以下では「背景領域画素」と呼ぶことがある）のうちコンテンツ領域の周辺に存在する画素（以下では「周辺画素」と呼ぶことがある）を用いて、コンテンツ領域に含まれる画素（以下では「コンテンツ領域画素」と呼ぶことがある）を修正する。生成部１２は、周辺画素を用いてコンテンツ領域画素を修正することにより、修正後のコンテンツ領域画素（以下では「修正コンテンツ領域画素」と呼ぶことがある）と背景領域画素とによって形成される画像（以下では「背景画像」と呼ぶことがある）を生成する。生成部１２は、このようにして生成した背景画像を除去部１３へ出力する。また、生成部１２は、修正コンテンツ領域画素を補正部１５へ出力する。生成部１２での処理の詳細は後述する。
除去部１３は、入力画像から背景画像を除去する。除去部１３は、入力画像から背景画像を除去することによって得た画像（以下では「除去画像」と呼ぶことがある）を修復部１４へ出力する。除去部１３での処理の詳細は後述する。
修復部１４は、除去画像に含まれるコンテンツ画像のエッジを検出して修復することにより、除去画像に含まれるコンテンツ画像のエッジを強調する。修復部１４は、エッジ修復後のコンテンツ画像を含む除去画像を補正部１５へ出力する。コンテンツ画像のエッジの検出は、例えば、Sobelフィルタ、Prewittフィルタ、LOGフィルタ、Canny法等を用いて行うと良い。
補正部１５は、エッジ修復後のコンテンツ画像を形成するコンテンツ画素の階調値を、修正コンテンツ領域画素の階調値を用いて補正する。補正部１５は、階調値補正後の画像を出力画像として出力する。補正部１５での処理の詳細は後述する。
なお、画像処理装置１は必ずしも修復部１４を有する必要はなく、画像処理装置１では、除去部１３で得られた除去画像が補正部１５へ直接入力されても良い。
また、入力画像は、ノイズが除去された後の入力画像であっても良い。ノイズの除去は、例えば、移動平均フィルタ、ガウシアン平滑フィルタ等を用いて行うと良い。
［画像処理装置の動作］
図２〜図１２は、実施例１の画像処理装置の動作例の説明に供する図である。図２〜図１２のうち、図２，４，５，７〜１２は、画像を模式的に表した図である。
図２には、画像処理装置１に入力される入力画像ＩＭを示す。入力画像ＩＭには、コンテンツ画像として、例えば、文字１〜４及び絵柄１〜３が含まれている。また例えば、入力画像ＩＭには、影がある領域（以下では「影領域」と呼ぶことがある）ＳＤが存在する。
図３に示すように、分離部１１は、入力画像ＩＭの全体のヒストグラムＨＧ１を求め、ヒストグラムＨＧ１のピークＰ１，Ｐ２を取得する。次いで、分離部１１は、取得したピークＰ１，Ｐ２のうち、ヒストグラムＨＧ１において最も右側に位置するピーク、つまり、階調値が最大のピークであるピークＰ２を選択する。次いで、分離部１１は、ピークＰ２から見て左方（つまり、階調値がより小さい方）のヒストグラムＨＧ１の裾に対応する階調値を第一背景スライスＢＳ１として算出する。例えば、分離部１１は、ヒストグラムＨＧ１において、ピークＰ２から左方に見てピークＰ２の画素数のＮ分の１（Ｎは整数）未満の画素数に最初に達する階調値をヒストグラムＨＧ１の裾として求めても良い。また例えば、分離部１１は、ヒストグラムＨＧ１において、ピークＰ２から左方に見てヒストグラムＨＧ１の傾きの変化量が閾値以上になる点の階調値をヒストグラムＨＧ１の裾として求めても良い。
次いで、図４に示すように、分離部１１は、入力画像ＩＭを第一背景スライスＢＳ１を基準にして二値化し、入力画像ＩＭの二値化により、入力画像ＩＭを第一コンテンツ領域ＣＡ１と第一背景領域ＢＡ１とに分離する。例えば、分離部１１は、入力画像ＩＭにおいて、第一背景スライスＢＳ１以上の階調値を有する画素を‘０’、第一背景スライスＢＳ１未満の階調値を有する画素を‘１’として入力画像ＩＭを二値化する。図４において、第一コンテンツ領域ＣＡ１は、第一背景スライスＢＳ１を基準にした二値化で第一背景スライスＢＳ１未満の階調値となる領域であり、文字１，２、絵柄１，２及び影領域ＳＤに対応する。また、図４において、第一背景領域ＢＡ１は、第一背景スライスＢＳ１を基準にした二値化で第一背景スライスＢＳ１以上の階調値となる領域である。
このように、分離部１１は、入力画像ＩＭのヒストグラムＨＧ１のピークＰ１，Ｐ２に基づいて、入力画像ＩＭを第一コンテンツ領域ＣＡ１と第一背景領域ＢＡ１とに分離する。
こうすることで、入力画像ＩＭを第一コンテンツ領域ＣＡ１と第一背景領域ＢＡ１とに正しく分離することができる。
また、分離部１１は、図４に示すように、第一コンテンツ領域ＣＡ１の中に入力画像ＩＭの画像端に接する領域（以下では「端領域」と呼ぶことがある）ＥＡが存在する場合は、図５に示すように、端領域ＥＡに存在する画像（以下では「端画像」と呼ぶことがある）ＥＩを入力画像ＩＭから抽出する。
次いで、図６に示すように、分離部１１は、入力画像ＩＭのうち端画像ＥＩだけにおけるヒストグラムＨＧ２を求め、ヒストグラムＨＧ２のピークＰ３を取得する。ヒストグラムＨＧ２のピークはピークＰ３しか存在しないため、次いで、分離部１１は、ピークＰ３から見て左方（つまり、階調値がより小さい方）のヒストグラムＨＧ２の裾に対応する階調値を第二背景スライスＢＳ２として算出する。例えば、分離部１１は、ヒストグラムＨＧ２において、ピークＰ３から左方に見てピークＰ３の画素数のＮ分の１（Ｎは整数）未満の画素数に最初に達する階調値をヒストグラムＨＧ２の裾として求めても良い。また例えば、分離部１１は、ヒストグラムＨＧ２において、ピークＰ３から左方に見てヒストグラムＨＧ２の傾きの変化量が閾値以上になる点の階調値をヒストグラムＨＧ２の裾として求めても良い。
次いで、図７に示すように、分離部１１は、端画像ＥＩを第二背景スライスＢＳ２を基準にして二値化し、端画像ＥＩの二値化により、端画像ＥＩを第二コンテンツ領域ＣＡ２と第二背景領域ＢＡ２とに分離する。例えば、分離部１１は、端画像ＥＩにおいて、第二背景スライスＢＳ２以上の階調値を有する画素を‘０’、第二背景スライスＢＳ２未満の階調値を有する画素を‘１’として端画像ＥＩを二値化する。図７において、第二コンテンツ領域ＣＡ２は、第二背景スライスＢＳ２を基準にした二値化で第二背景スライスＢＳ２未満の階調値となる領域であり、文字３，４及び絵柄３に対応する。また、図７において、第二背景領域ＢＡ２は、第二背景スライスＢＳ２を基準にした二値化で第二背景スライスＢＳ２以上の階調値となる領域である。
このように、第一コンテンツ領域ＣＡ１の中に端領域ＥＡが存在する場合は、分離部１１は、さらに、入力画像ＩＭのうち端画像ＥＩだけにおけるヒストグラムＨＧ２のピークＰ３に基づいて、端画像ＥＩを第二コンテンツ領域ＣＡ２と第二背景領域ＢＡ２とに分離する。
こうすることで、影領域ＳＤに相当する端領域ＥＡにおいて、端画像ＥＩを第二コンテンツ領域ＣＡ２と第二背景領域ＢＡ２とに正しく分離することができる。よって、除去部１３では、入力画像ＩＭに生じた影の位置によらず、入力画像ＩＭから影を除去することができる。
次いで、図８に示すように、生成部１２は、入力画像ＩＭの端領域ＥＡ以外の領域において、第一背景領域ＢＡ１に含まれる第一背景領域画素のうち、第一コンテンツ領域ＣＡ１の周辺に存在する第一周辺画素を用いて第一コンテンツ領域ＣＡ１に含まれる第一コンテンツ領域画素を修正する。この修正により、生成部１２は、第一修正コンテンツ領域画素ＣＰ１，ＣＰ２，ＣＰ３と第一背景領域画素とによって形成される第一背景画像を生成する。また、入力画像ＩＭに端領域ＥＡが存在する場合は、図９に示すように、生成部１２は、さらに、端領域ＥＡにおいて、第二背景領域ＢＡ２に含まれる第二背景領域画素のうち、第二コンテンツ領域ＣＡ２の周辺に存在する第二周辺画素を用いて第二コンテンツ領域ＣＡ２に含まれる第二コンテンツ領域画素を修正する。この修正により、生成部１２は、第二修正コンテンツ領域画素ＣＰ４，ＣＰ５と第二背景領域画素とによって形成される第二背景画像を生成する。
次いで、除去部１３は、入力画像ＩＭから第一背景画像を除去する。また、入力画像ＩＭに端領域ＥＡが存在する場合は、除去部１３は、さらに、入力画像ＩＭから第二背景画像を除去する。入力画像ＩＭから第一背景画像及び第二背景画像を除去することによって得られる除去画像を図１０に示す。図１０に示す除去画像には、文字１〜４及び絵柄１〜３のコンテンツ画像が含まれている。除去部１３での除去処理の結果、図１０に示す除去画像において、第一背景領域ＢＡ１及び第二背景領域ＢＡ２に相当する領域に含まれる画素の階調値は最大階調値である２５５になる。つまり、除去部１３での除去処理の結果、入力画像ＩＭにおける背景が真っ白になる。
例えば、除去部１３は、入力画像ＩＭと第一背景画像との間、及び、入力画像ＩＭと第二背景画像との間でそれぞれ対応する画素毎に、式（１）に従って除去画像の階調値を求めることにより、入力画像ＩＭから第一背景画像及び第二背景画像を減算して除去画像を得る。但し、式（１）での算出結果が２５５より大きくなる場合には、除去画像の階調値を２５５とし、式（１）での算出結果が０より小さくなる場合には、除去画像の階調値を０とする。
除去画像では、入力画像ＩＭに比べて、コンテンツ画像のシャープさが失われているとともに、コンテンツ画像の色が薄くなっていることがある。
そこで、修復部１４は、除去画像に含まれるコンテンツ画像である文字１〜４及び絵柄１〜３のエッジを修復する。修復部１４は、例えば、予め生成しておいたエッジ画像を除去画像に重ねることでコンテンツ画像のエッジを修復する。修復部１４での修復により、除去画像において、コンテンツ画像のシャープさが復元される。エッジ修復後のコンテンツ画像を図１１に示す。
また、補正部１５は、エッジ修復後のコンテンツ画像において、文字１，２を形成するコンテンツ画素の階調値を第一修正コンテンツ領域画素ＣＰ１の階調値を用いて補正し、絵柄１を形成するコンテンツ画素の階調値を第一修正コンテンツ領域画素ＣＰ２の階調値を用いて補正し、絵柄２を形成するコンテンツ画素の階調値を第一修正コンテンツ領域画素ＣＰ３の階調値を用いて補正する。また、入力画像ＩＭに端領域ＥＡが存在する場合は、補正部１５は、さらに、エッジ修復後のコンテンツ画像において、絵柄３を形成するコンテンツ画素の階調値を第二修正コンテンツ領域画素ＣＰ４の階調値を用いて補正し、文字３，４を形成するコンテンツ画素の階調値を第二修正コンテンツ領域画素ＣＰ５の階調値を用いて補正する。
このような補正部１５での補正により、除去画像において、文字１〜４がくっきりとなるとともに、絵柄１〜３の色味が入力画像ＩＭの色味に近いものに補正される。階調値補正後の画像（つまり、出力画像）を図１２に示す。
［生成部の動作］
図１３〜図１８は、実施例１の生成部の動作例の説明に供する図である。以下では、生成部１２の動作例を、以下の動作例１〜８に分けて説明する。以下では、コンテンツ領域画素のうち、生成部１２での修正の対象となる画素を「注目画素」と呼ぶことがある。
［動作例１：図１３］
動作例１は、第一コンテンツ領域ＣＡ１が第一背景領域ＢＡ１だけによって囲まれている場合の動作例、つまり、第一コンテンツ領域ＣＡ１の周辺に存在する第一周辺画素が第一背景領域ＢＡ１に含まれる一方で第二背景領域ＢＡ２に含まれていない場合の動作例である。
動作例１では、生成部１２は、第一コンテンツ領域ＣＡ１に含まれる第一コンテンツ領域画素のうちの第一注目画素Dst1(x,y)から第一コンテンツ領域ＣＡ１の境界までの第一距離、つまり、第一注目画素Dst1(x,y)と、第一コンテンツ領域ＣＡ１に隣接する第一周辺画素との間の第一距離a1,b1,c1,d1を算出する。第一注目画素Dst1(x,y)を原点として、第一距離a1は＋Ｙ方向（上方向）の距離、第一距離b1は−Ｙ方向（下方向）の距離、第一距離c1は−Ｘ方向（左方向）の距離、第一距離d1は＋Ｘ方向（右方向）の距離である。
また、生成部１２は、上下左右の４方向の各々において、第一コンテンツ領域ＣＡ１に隣接する所定の範囲を設定する。図１３では、生成部１２は、所定の範囲Up1,Down1,Left1,Right1として、例えば５画素×５画素の範囲を設定する。
生成部１２は、上下左右の各方向において、所定の範囲Up1,Down1,Left1,Right1のそれぞれに含まれる複数の第一周辺画素の階調値の第一平均値SrcUp1(x,y),SrcDown1(x,y),SrcLeft1(x,y),SrcRight1(x,y)を算出する。SrcUp1(x,y)は上方向の所定の範囲Up1における第一周辺画素の階調値の第一平均値、SrcDown1(x,y)は下方向の所定の範囲Down1における第一周辺画素の階調値の第一平均値、SrcLeft1(x,y)は左方向の所定の範囲Left1における第一周辺画素の階調値の第一平均値、SrcRight1(x,y)は右方向の所定の範囲Right1における第一周辺画素の階調値の第一平均値である。
そして、生成部１２は、第一距離a1,b1,c1,d1と、第一平均値SrcUp1(x,y),SrcDown1(x,y),SrcLeft1(x,y),SrcRight1(x,y)とに基づいて、式（２）に従って、第一注目画素Dst1(x,y)の階調値を修正する。生成部１２は、第一コンテンツ領域ＣＡ１に含まれるすべての第一コンテンツ領域画素の各々を順次第一注目画素Dst1(x,y)として式（２）に従って第一注目画素Dst1(x,y)の階調値を修正することにより、第一コンテンツ領域ＣＡ１に含まれるすべての第一コンテンツ領域画素を修正する。
このように、動作例１では、生成部１２は、第一コンテンツ領域画素の階調値を、第一コンテンツ領域画素と第一周辺画素との間の第一距離a1,b1,c1,d1に応じて第一周辺画素の階調値を加重平均した値で置換することによって第一コンテンツ領域画素を修正する。
こうすることで、第一コンテンツ領域画素の修正後の第一コンテンツ領域ＣＡ１の色味と第一背景領域ＢＡ１の色味とを滑らかにつなげることができるため、第一コンテンツ領域画素の修正後の第一コンテンツ領域ＣＡ１と第一背景領域ＢＡ１との境界において色味の不自然なつながりを抑制することができる。
また、第一コンテンツ領域画素の修正の際に、生成部１２は、第一コンテンツ領域ＣＡ１に隣接する所定範囲Up1,Down1,Left1,Right1に存在する複数の第一周辺画素の階調値の第一平均値を算出し、算出した第一平均値を用いて第一周辺画素の階調値を加重平均する。
こうすることで、第一コンテンツ領域画素の修正後の第一コンテンツ領域ＣＡ１の色味と第一背景領域ＢＡ１の色味とをさらに滑らかにつなげることができる。
［動作例２：図１４］
動作例２は、第一コンテンツ領域ＣＡ１が第一背景領域ＢＡ１及び第二背景領域ＢＡ２の双方によって囲まれている場合の動作例、つまり、第一コンテンツ領域ＣＡ１の周辺に存在する第一周辺画素が第一背景領域ＢＡ１及び第二背景領域ＢＡ２の双方に含まれる場合の動作例である。
動作例２では、図１４に示すように、下方向の所定範囲Down1のすべてが第二背景領域ＢＡ２（つまり、影領域ＳＤ）に含まれている点が動作例１と相違する。そこで、生成部１２は、式（３）に従って、第一注目画素Dst1(x,y)の階調値を修正する。式（３）には、下方向の第一距離b1及び下方向の第一平均値SrcDown1(x,y)が存在しない。よって、生成部１２は、第一距離a1,c1,d1及び第一平均値SrcUp1(x,y),SrcLeft1(x,y),SrcRight1(x,y)を算出する一方で、第一距離b1及び第一平均値SrcDown1(x,y)を算出しない。つまり、動作例２では、生成部１２が第一距離a1,c1,d1及び第一平均値SrcUp1(x,y),SrcLeft1(x,y),SrcRight1(x,y)を用いて第一注目画素Dst1(x,y)の階調値を修正する点は動作例１と同様であるが、生成部１２が第一距離b1及び第一平均値Src Down1(x,y)を用いずに第一注目画素Dst1(x,y)の階調値を修正する点が動作例１と異なる。
このように、動作例２では、第一周辺画素が第一背景領域ＢＡ１及び第二背景領域ＢＡ２の双方に含まれる場合は、生成部１２は、第一背景領域ＢＡ１に含まれる第一周辺画素を用いる一方で、第二背景領域ＢＡ２に含まれる第一周辺画素を用いずに第一コンテンツ領域画素を修正する。
こうすることで、第一コンテンツ領域ＣＡ１が第一背景領域ＢＡ１及び第二背景領域ＢＡ２の双方によって囲まれている場合でも、第一コンテンツ領域画素の修正後の第一コンテンツ領域ＣＡ１の色味と第一背景領域ＢＡ１の色味とを滑らかにつなげることができる。
［動作例３：図１５］
動作例３は、動作例２と同様、第一コンテンツ領域ＣＡ１が第一背景領域ＢＡ１及び第二背景領域ＢＡ２の双方によって囲まれている場合の動作例、つまり、第一コンテンツ領域ＣＡ１の周辺に存在する第一周辺画素が第一背景領域ＢＡ１及び第二背景領域ＢＡ２の双方に含まれる場合の動作例である。
動作例３では、図１５に示すように、下方向の所定範囲Down1のすべてが第二背景領域ＢＡ２（つまり、影領域ＳＤ）に含まれているとともに、左方向の所定範囲Left1の一部及び右方向の所定範囲Right1の一部が第二背景領域ＢＡ２に含まれている点が動作例１と相違する。そこで、生成部１２は、動作例２と同様に、上記の式（３）に従って、第一注目画素Dst1(x,y)の階調値を修正する。但し、動作例３では、生成部１２が、左方向の第一平均値SrcLeft1(x,y)及び右方向の第一平均値SrcRight1(x,y)を算出する際に、第一背景領域ＢＡ１に含まれる第一周辺画素を用いる一方で、第二背景領域ＢＡ２に含まれる第一周辺画素を用いない点が動作例２と異なる。
このように、動作例３では、動作例２と同様に、第一周辺画素が第一背景領域ＢＡ１及び第二背景領域ＢＡ２の双方に含まれる場合は、生成部１２は、第一背景領域ＢＡ１に含まれる第一周辺画素を用いる一方で、第二背景領域ＢＡ２に含まれる第一周辺画素を用いずに第一コンテンツ領域画素を修正する。
［動作例４：図１４，図１５］
動作例４は、動作例２と同様、第一コンテンツ領域ＣＡ１が第一背景領域ＢＡ１及び第二背景領域ＢＡ２の双方によって囲まれている場合の動作例、つまり、第一コンテンツ領域ＣＡ１の周辺に存在する第一周辺画素が第一背景領域ＢＡ１及び第二背景領域ＢＡ２の双方に含まれる場合の動作例である。
動作例４では、生成部１２は、式（４）に従って、第一注目画素Dst1(x,y)の階調値を修正する点が動作例１と異なる。式（４）において、WUp1は上方向の第一平均値SrcUp1(x,y)に対する重み、WDown1は下方向の第一平均値SrcDown1(x,y)に対する重み、WLeft1は左方向の第一平均値SrcLeft1(x,y)に対する重み、WRight1は右方向の第一平均値SrcRight1(x,y)に対する重みである。
例えば、図１４に示すように、上方向の所定範囲Up1、左方向の所定範囲Left1及び右方向の所定範囲Right1のすべてが第一背景領域ＢＡ１に含まれている一方で、下方向の所定範囲Down1のすべてが第二背景領域ＢＡ２に含まれている場合は、生成部１２は、式（４）において、WUp1,WLeft1,WRight1の値をWDown1の値より大きくする（WUp1,WLeft1,WRight1＞WDown1）。
また例えば、図１５に示すように、上方向の所定範囲Up1のすべてが第一背景領域ＢＡ１に含まれ、下方向の所定範囲Down1のすべてが第二背景領域ＢＡ２に含まれているとともに、左方向の所定範囲Left1の一部及び右方向の所定範囲Right1の一部が第二背景領域ＢＡ２に含まれている場合は、生成部１２は、式（４）において、WUp1,WLeft1,WRight1の値をWDown1の値より大きくするとともに、WUp1の値をWLeft1,WRight1の値より大きくする（WUp1＞WLeft1,WRight1＞WDown1）。
このように、動作例４では、第一周辺画素が第一背景領域ＢＡ１及び第二背景領域ＢＡ２の双方に含まれる場合は、生成部１２は、第一背景領域ＢＡ１に含まれる第一周辺画素の階調値の重み付けを第二背景領域ＢＡ２に含まれる第一周辺画素の階調値の重み付けより大きくした上で、第一コンテンツ領域画素の階調値を、第一コンテンツ領域画素と第一周辺画素との間の第一距離a1,b1,c1,d1に応じて第一周辺画素の階調値を加重平均した値で置換することによって第一コンテンツ領域画素を修正する。
こうすることで、第一コンテンツ領域ＣＡ１が第一背景領域ＢＡ１及び第二背景領域ＢＡ２の双方によって囲まれている場合に、第一コンテンツ領域画素の修正にあたり第一背景領域ＢＡ１に含まれる第一周辺画素の影響度を第二背景領域ＢＡ２に含まれる第一周辺画素の影響度よりも大きくすることができる。よって、第一コンテンツ領域画素の修正後の第一コンテンツ領域ＣＡ１と第一背景領域ＢＡ１との境界における色味の変化を抑えることができる。
以上、動作例１〜４について説明した。
次いで、動作例５〜８について説明する。動作例５〜８は、第一コンテンツ領域ＣＡ１の中に端領域ＥＡが存在する場合の動作例である。
［動作例５：図１６］
動作例５は、第二コンテンツ領域ＣＡ２が第二背景領域ＢＡ２だけによって囲まれている場合の動作例、つまり、第二コンテンツ領域ＣＡ２の周辺に存在する第二周辺画素が第二背景領域ＢＡ２に含まれる一方で第一背景領域ＢＡ１に含まれていない場合の動作例である。
動作例５では、生成部１２は、第二コンテンツ領域ＣＡ２に含まれる第二コンテンツ領域画素のうちの第二注目画素Dst2(x,y)から第二コンテンツ領域ＣＡ２の境界までの第二距離、つまり、第二注目画素Dst2(x,y)と、第二コンテンツ領域ＣＡ２に隣接する第二周辺画素との間の第二距離a2,b2,c2,d2を算出する。第二注目画素Dst2(x,y)を原点として、第二距離a2は＋Ｙ方向（上方向）の距離、第二距離b2は−Ｙ方向（下方向）の距離、第二距離c2は−Ｘ方向（左方向）の距離、第二距離d2は＋Ｘ方向（右方向）の距離である。
また、生成部１２は、上下左右の４方向の各々において、第二コンテンツ領域ＣＡ２に隣接する所定の範囲を設定する。図１６では、生成部１２は、所定の範囲Up2,Down2,Left2,Right2として、例えば５画素×５画素の範囲を設定する。
生成部１２は、上下左右の各方向において、所定の範囲Up2,Down2,Left2,Right2のそれぞれに含まれる複数の第二周辺画素の階調値の第二平均値SrcUp2(x,y),SrcDown2(x,y),SrcLeft2(x,y),SrcRight2(x,y)を算出する。SrcUp2(x,y)は上方向の所定の範囲Up2における第二周辺画素の階調値の第二平均値、SrcDown2(x,y)は下方向の所定の範囲Down2における第二周辺画素の階調値の第二平均値、SrcLeft2(x,y)は左方向の所定の範囲Left2における第二周辺画素の階調値の第二平均値、SrcRight2(x,y)は右方向の所定の範囲Right2における第二周辺画素の階調値の第二平均値である。
そして、生成部１２は、第二距離a2,b2,c2,d2と、第二平均値SrcUp2(x,y),SrcDown2(x,y),SrcLeft2(x,y),SrcRight2(x,y)とに基づいて、式（５）に従って、第二注目画素Dst2(x,y)の階調値を修正する。生成部１２は、第二コンテンツ領域ＣＡ２に含まれるすべての第二コンテンツ領域画素の各々を順次第二注目画素Dst2(x,y)として式（５）に従って第二注目画素Dst2(x,y)の階調値を修正することにより、第二コンテンツ領域ＣＡ２に含まれるすべての第二コンテンツ領域画素を修正する。
このように、動作例５では、生成部１２は、第二コンテンツ領域画素の階調値を、第二コンテンツ領域画素と第二周辺画素との間の第二距離a2,b2,c2,d2に応じて第二周辺画素の階調値を加重平均した値で置換することによって第二コンテンツ領域画素を修正する。
こうすることで、第二コンテンツ領域画素の修正後の第二コンテンツ領域ＣＡ２の色味と第二背景領域ＢＡ２の色味とを滑らかにつなげることができるため、第二コンテンツ領域画素の修正後の第二コンテンツ領域ＣＡ２と第二背景領域ＢＡ２との境界において色味の不自然なつながりを抑制することができる。
また、第二コンテンツ領域画素の修正の際に、生成部１２は、第二コンテンツ領域ＣＡ２に隣接する所定範囲Up2,Down2,Left2,Right2に存在する複数の第二周辺画素の階調値の第二平均値を算出し、算出した第二平均値を用いて第二周辺画素の階調値を加重平均する。
こうすることで、第二コンテンツ領域画素の修正後の第二コンテンツ領域ＣＡ２の色味と第二背景領域ＢＡ２の色味とをさらに滑らかにつなげることができる。
［動作例６：図１７］
動作例６は、第二コンテンツ領域ＣＡ２が第一背景領域ＢＡ１及び第二背景領域ＢＡ２の双方によって囲まれている場合の動作例、つまり、第二コンテンツ領域ＣＡ２の周辺に存在する第二周辺画素が第一背景領域ＢＡ１及び第二背景領域ＢＡ２の双方に含まれる場合の動作例である。
動作例６では、図１７に示すように、上方向の所定範囲Up2のすべてが第一背景領域ＢＡ１に含まれている点が動作例５と相違する。そこで、生成部１２は、式（６）に従って、第二注目画素Dst2(x,y)の階調値を修正する。式（６）には、上方向の第二距離a2及び上方向の第二平均値SrcUp2(x,y)が存在しない。よって、生成部１２は、第二距離b2,c2,d2及び第二平均値SrcDown2(x,y),SrcLeft2(x,y),SrcRight2(x,y)を算出する一方で、第二距離a2及び第二平均値SrcUp2(x,y)を算出しない。つまり、動作例６では、生成部１２が第二距離b2,c2,d2及び第二平均値SrcDown2(x,y),SrcLeft2(x,y),SrcRight2(x,y)を用いて第二注目画素Dst2(x,y)の階調値を修正する点は動作例２と同様であるが、生成部１２が第二距離a2及び第二平均値Src Up2(x,y)を用いずに第二注目画素Dst2(x,y)の階調値を修正する点が動作例５と異なる。
このように、動作例６では、第二周辺画素が第一背景領域ＢＡ１及び第二背景領域ＢＡ２の双方に含まれる場合は、生成部１２は、第二背景領域ＢＡ２に含まれる第二周辺画素を用いる一方で、第一背景領域ＢＡ１に含まれる第二周辺画素を用いずに第二コンテンツ領域画素を修正する。
こうすることで、第二コンテンツ領域ＣＡ２が第一背景領域ＢＡ１及び第二背景領域ＢＡ２の双方によって囲まれている場合でも、第二コンテンツ領域画素の修正後の第二コンテンツ領域ＣＡ２の色味と第二背景領域ＢＡ２の色味とを滑らかにつなげることができる。
［動作例７：図１８］
動作例７は、動作例６と同様、第二コンテンツ領域ＣＡ２が第一背景領域ＢＡ１及び第二背景領域ＢＡ２の双方によって囲まれている場合の動作例、つまり、第二コンテンツ領域ＣＡ２の周辺に存在する第二周辺画素が第一背景領域ＢＡ１及び第二背景領域ＢＡ２の双方に含まれる場合の動作例である。
動作例７では、図１８に示すように、上方向の所定範囲Up2のすべてが第一背景領域ＢＡ１に含まれているとともに、左方向の所定範囲Left2の一部及び右方向の所定範囲Right2の一部が第一背景領域ＢＡ１に含まれている点が動作例５と相違する。そこで、生成部１２は、動作例６と同様に、上記の式（６）に従って、第二注目画素Dst2(x,y)の階調値を修正する。但し、動作例７では、生成部１２が、左方向の第二平均値SrcLeft2(x,y)及び右方向の第二平均値SrcRight2(x,y)を算出する際に、第二背景領域ＢＡ２に含まれる第二周辺画素を用いる一方で、第一背景領域ＢＡ１に含まれる第二周辺画素を用いない点が動作例６と異なる。
このように、動作例７では、動作例６と同様に、第二周辺画素が第一背景領域ＢＡ１及び第二背景領域ＢＡ２の双方に含まれる場合は、生成部１２は、第二背景領域ＢＡ２に含まれる第二周辺画素を用いる一方で、第一背景領域ＢＡ１に含まれる第二周辺画素を用いずに第二コンテンツ領域画素を修正する。
［動作例８：図１７，図１８］
動作例８は、動作例６と同様、第二コンテンツ領域ＣＡ２が第一背景領域ＢＡ１及び第二背景領域ＢＡ２の双方によって囲まれている場合の動作例、つまり、第二コンテンツ領域ＣＡ２の周辺に存在する第二周辺画素が第一背景領域ＢＡ１及び第二背景領域ＢＡ２の双方に含まれる場合の動作例である。
動作例８では、生成部１２は、式（７）に従って、第二注目画素Dst2(x,y)の階調値を修正する点が動作例５と異なる。式（７）において、WUp2は上方向の第二平均値SrcUp2(x,y)に対する重み、WDown2は下方向の第二平均値SrcDown2(x,y)に対する重み、WLeft2は左方向の第二平均値SrcLeft2(x,y)に対する重み、WRight2は右方向の第二平均値SrcRight2(x,y)に対する重みである。
例えば、図１７に示すように、下方向の所定範囲Down2、左方向の所定範囲Left2及び右方向の所定範囲Right2のすべてが第二背景領域ＢＡ２に含まれている一方で、上方向の所定範囲Up2のすべてが第一背景領域ＢＡ１に含まれている場合は、生成部１２は、式（７）において、WDown2,WLeft2,WRight2の値をWUp2の値より大きくする（WDown2,WLeft2,WRight2＞WUp2）。
また例えば、図１８に示すように、下方向の所定範囲Down2のすべてが第二背景領域ＢＡ２に含まれ、上方向の所定範囲Up2のすべてが第一背景領域ＢＡ１に含まれているとともに、左方向の所定範囲Left2の一部及び右方向の所定範囲Right2の一部が第一背景領域ＢＡ１に含まれている場合は、生成部１２は、式（７）において、WDown2,WLeft2,WRight2の値をWUp2の値より大きくするとともに、WDown2の値をWLeft2,WRight2の値より大きくする（WDown2＞WLeft2,WRight2＞WUp2）。
このように、動作例８では、第二周辺画素が第一背景領域ＢＡ１及び第二背景領域ＢＡ２の双方に含まれる場合は、生成部１２は、第二背景領域ＢＡ２に含まれる第二周辺画素の階調値の重み付けを第一背景領域ＢＡ１に含まれる第二周辺画素の階調値の重み付けより大きくした上で、第二コンテンツ領域画素の階調値を、第二コンテンツ領域画素と第二周辺画素との間の第二距離a2,b2,c2,d2に応じて第二周辺画素の階調値を加重平均した値で置換することによって第二コンテンツ領域画素を修正する。
こうすることで、第二コンテンツ領域ＣＡ２が第一背景領域ＢＡ１及び第二背景領域ＢＡ２の双方によって囲まれている場合に、第二コンテンツ領域画素の修正にあたり第二背景領域ＢＡ２に含まれる第二周辺画素の影響度を第一背景領域ＢＡ１に含まれる第二周辺画素の影響度よりも大きくすることができる。よって、第二コンテンツ領域画素の修正後の第二コンテンツ領域ＣＡ２と第二背景領域ＢＡ２との境界における色味の変化を抑えることができる。
［補正部の動作］
図１９は、実施例１の補正部の動作例の説明に供する図である。図１９において、V(x0,y0)は、第一修正コンテンツ領域画素ＣＰ１，ＣＰ２，ＣＰ３の階調値であり、V(xm,yn)は、第二修正コンテンツ領域画素ＣＰ４，ＣＰ５の階調値である。
補正部１５は、最大階調値２５５から階調値V(x0,y 0 )を減算することにより、第一修正コンテンツ領域画素ＣＰ１，ＣＰ２，ＣＰ３におけるシャドウ値S(x0,y0)を算出する。次いで、補正部１５は、算出したシャドウ値S(x0,y0)に基づいて、図１９に示すトーンカーブＴＣ１を生成する。図１９におけるハイライトＨは、例えば、最大階調値２５５の９５％程度の値である２４２に設定される。そして、補正部１５は、除去部１３によって入力画像ＩＭから第一背景画像を除去することによって得られる第一除去画像に含まれる第一コンテンツ画像（つまり、図１０に示す文字１，２及び絵柄１，２のコンテンツ画像）を形成する第一コンテンツ画素の階調値にトーンカーブＴＣ１を適用することにより、第一コンテンツ画素の補正後の階調値を算出する。補正部１５は、すべての第一コンテンツ画素について、第一コンテンツ画素毎にトーンカーブＴＣ１を用いて補正後の階調値を算出する。つまり、補正部１５は、除去部１３によって入力画像ＩＭから第一背景画像を除去することによって得られる第一除去画像に含まれる第一コンテンツ画像を形成する第一コンテンツ画素の階調値を、第一修正コンテンツ領域画素の階調値を用いて補正する。
さらに、入力画像ＩＭに端領域ＥＡが存在する場合は、補正部１５は、最大階調値２５５から階調値V(xm,yn)を減算することにより、第二修正コンテンツ領域画素ＣＰ４，ＣＰ５におけるシャドウ値S(xm,yn)を算出する。次いで、補正部１５は、算出したシャドウ値S(xm,yn)に基づいて、図１９に示すトーンカーブＴＣ２を生成する。通常、階調値V(x0,y0)は階調値V(xm,yn)より大きい値であるため、トーンカーブＴＣ２の傾きはトーンカーブＴＣ１の傾きよりも大きくなる。そして、補正部１５は、除去部１３によって入力画像ＩＭから第二背景画像を除去することによって得られる第二除去画像に含まれる第二コンテンツ画像（つまり、図１０に示す文字３，４及び絵柄３のコンテンツ画像）を形成する第二コンテンツ画素の階調値にトーンカーブＴＣ２を適用することにより、第二コンテンツ画素の補正後の階調値を算出する。補正部１５は、すべての第二コンテンツ画素について、第二コンテンツ画素毎にトーンカーブＴＣ２を用いて補正後の階調値を算出する。つまり、補正部１５は、除去部１３によって入力画像ＩＭから第二背景画像を除去することによって得られる第二除去画像に含まれる第二コンテンツ画像を形成する第二コンテンツ画素の階調値を、第二修正コンテンツ領域画素の階調値を用いて補正する。
このような補正部１５での補正により、コンテンツ領域において、背景画像の除去により増加した分だけ階調値が減少するため、コンテンツ画像の色味を入力画像ＩＭの色味に近いものに補正することができる。
［画像処理装置の処理］
図２０は、実施例１の画像処理装置の処理例の説明に供するフローチャートである。
図２０において、ステップＳ１１では、分離部１１は、領域分離処理を行う。図２１は、実施例１の領域分離処理の一例の説明に供するフローチャートである。
図２１において、ステップＳ３１では、分離部１１は、入力画像ＩＭの全体のヒストグラムＨＧ１を求める。
次いで、ステップＳ３３では、分離部１１は、ヒストグラムＨＧ１のピークに基づいて、第一背景スライスＢＳ１を算出する。
次いで、ステップＳ３５では、分離部１１は、第一背景スライスＢＳ１に基づいて、入力画像ＩＭを第一コンテンツ領域ＣＡ１と第一背景領域ＢＡ１とに分離する。
次いで、ステップＳ３７では、分離部１１は、入力画像ＩＭの画像端に接する第一コンテンツ領域ＣＡ１が存在するか否かを判断する。入力画像ＩＭの画像端に接する第一コンテンツ領域ＣＡ１が存在しない場合は（ステップＳ３７：Ｎｏ）、処理はステップＳ３９へ進み、入力画像ＩＭの画像端に接する第一コンテンツ領域ＣＡ１が存在する場合は（ステップＳ３７：Ｙｅｓ）、処理はステップＳ４１へ進む。
ステップＳ３９では、分離部１１は、存在フラグをFALSEにセットする。ステップＳ３９での処理により、領域分離処理は終了する。
一方で、ステップＳ４１では、分離部１１は、存在フラグをTRUEにセットする。
次いで、ステップＳ４３では、分離部１１は、入力画像ＩＭのうち端画像ＥＩだけにおけるヒストグラムＨＧ２を求める。
次いで、ステップＳ４５では、分離部１１は、ヒストグラムＨＧ２のピークに基づいて、第二背景スライスＢＳ２を算出する。
次いで、ステップＳ４７では、分離部１１は、第二背景スライスＢＳ２に基づいて、端画像ＥＩを第二コンテンツ領域ＣＡ２と第二背景領域ＢＡ２とに分離する。ステップＳ４７での処理により、領域分離処理は終了する。
図２０に戻り、ステップＳ１３では、生成部１２は、背景画像生成処理を行う。図２２は、実施例１の背景画像生成処理の一例の説明に供するフローチャートである。
図２２において、ステップＳ５１では、生成部１２は、第一コンテンツ領域ＣＡ１の周辺に存在する第一周辺画素を用いて第一コンテンツ領域ＣＡ１に含まれる第一コンテンツ領域画素を修正することにより第一背景画像を生成する。
次いで、ステップＳ５３では、生成部１２は、存在フラグがTRUEであるか否かを判断する。
存在フラグがTRUEである場合は（ステップＳ５３：Ｙｅｓ）、処理はステップＳ５５へ進み、ステップＳ５５では、生成部１２は、第二コンテンツ領域ＣＡ２の周辺に存在する第二周辺画素を用いて第二コンテンツ領域ＣＡ２に含まれる第二コンテンツ領域画素を修正することにより第二背景画像を生成する。ステップＳ５５での処理により、背景画像生成処理は終了する。
一方で、存在フラグがTRUEでない場合、つまり、存在フラグがFALSEである場合は（ステップＳ５３：Ｎｏ）、ステップＳ５５の処理が行われることなく、背景画像生成処理は終了する。
図２０に戻り、ステップＳ１５では、除去部１３は、入力画像ＩＭから第一背景画像を除去する。また、存在フラグがTRUEである場合は、除去部１３は、さらに、入力画像ＩＭから第二背景画像を除去する。
次いで、ステップＳ１７では、修復部１４は、除去画像に含まれるコンテンツ画像のエッジを修復する。
次いで、ステップＳ１９では、補正部１５は、エッジ修復後のコンテンツ画像の階調値を補正する。
以上のように、実施例１では、画像処理装置１は、分離部１１と、生成部１２と、除去部１３とを有する。分離部１１は、入力画像ＩＭを第一コンテンツ領域ＣＡ１と第一背景領域ＢＡ１とに分離する。生成部１２は、第一背景領域ＢＡ１に含まれる第一背景領域画素のうち第一コンテンツ領域ＣＡ１の周辺に存在する第一周辺画素を用いて第一コンテンツ領域ＣＡ１に含まれる第一コンテンツ領域画素を修正する。この修正により、生成部１２は、修正後の第一コンテンツ領域画素と第一背景領域画素とによって形成される第一背景画像を生成する。除去部１３は、入力画像ＩＭから第一背景画像を除去する。
こうすることで、入力画像ＩＭにおいてコンテンツ以外の背景が白一色になるため、背景との対比によりコンテンツが強調されるので、入力画像ＩＭ内のコンテンツの認識度を高めることができる。よって、例えば、コンテンツが文字である場合は、ＯＣＲによる文字認識の精度が向上する。また、周辺画素を用いてコンテンツ領域画素を修正することにより背景画像を生成するため、滑らかな背景画像を生成することができる。
また、実施例１では、第一コンテンツ領域ＣＡ１の中に入力画像ＩＭの画像端に接する領域ＥＡが存在する場合は、分離部１１、生成部１２及び除去部１３は、さらに以下の処理を行う。すなわち、分離部１１は、さらに、端領域ＥＡに存在する端画像を第二コンテンツ領域ＣＡ２と第二背景領域ＢＡ２とに分離する。生成部１２は、さらに、第二背景領域ＢＡ２に含まれる第二背景領域画素のうち第二コンテンツ領域ＣＡ２の周辺に存在する第二周辺画素を用いて第二コンテンツ領域ＣＡ２に含まれる第二コンテンツ領域画素を修正する。この修正により、生成部１２は、修正後の第二コンテンツ領域画素と第二背景領域画素とによって形成される第二背景画像を生成する。除去部１３は、さらに、入力画像ＩＭから第二背景画像を除去する。
こうすることで、影領域ＳＤに相当する端領域ＥＡにおいても、コンテンツ以外の背景（つまり、影）が白一色になるため、影領域ＳＤ内のコンテンツの認識度を高めることができる。
［実施例２］
図２３は、実施例２の携帯端末の構成例を示す図である。図２３において、携帯端末１０は、画像処理装置１と、記憶部１０１と、撮影部１０２と、操作部１０３と、表示部１０４と、通信部１０５とを有する。記憶部１０１は、ハードウェアとして、例えば、メモリにより実現される。メモリの一例として、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）等のＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリ等が挙げられる。撮影部１０２は、ハードウェアとして、例えば、カメラにより実現される。操作部１０３及び表示部１０４は、ハードウェアとして、例えば、タッチパネルにより実現される。通信部１０５は、ハードウェアとして、例えば、無線通信モジュールまたはネットワークインタフェースモジュールにより実現される。
携帯端末１０では、例えば、撮影部１０２により撮影された画像、または、記憶部１０１に記憶されている画像が画像処理装置１への入力画像となる。また、画像処理装置１からの出力画像は、記憶部１０１に記憶されたり、表示部１０４に表示される。
［実施例３］
図２４は、実施例３のコンピュータ装置の構成例を示す図である。図２４に示すコンピュータ装置２０は、例えば、サーバである。図２４において、コンピュータ装置２０は、画像処理装置１と、記憶部２０１と、通信部２０２とを有する。記憶部２０１は、ハードウェアとして、例えば、メモリ、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）等により実現される。メモリの一例として、ＳＤＲＡＭ等のＲＡＭ、ＲＯＭ、フラッシュメモリ等が挙げられる。通信部２０２は、ハードウェアとして、例えば、無線通信モジュールまたはネットワークインタフェースモジュールにより実現される。
コンピュータ装置２０では、例えば、通信部２０２によって携帯端末１０から受信された画像、または、記憶部２０１に記憶されている画像が画像処理装置１への入力画像となる。また、画像処理装置１からの出力画像は、記憶部２０１に記憶されたり、通信部２０２によって携帯端末１０へ送信される。
［他の実施例］
［１］画像処理装置１での上記説明における各処理の全部または一部は、各処理に対応するプログラムを画像処理装置１が有するプロセッサに実行させることによって実現してもよい。例えば、上記説明における各処理に対応するプログラムがメモリに記憶され、プログラムがプロセッサによってメモリから読み出されて実行されても良い。また、プログラムは、任意のネットワークを介して携帯端末１０またはコンピュータ装置２０に接続されたプログラムサーバに記憶され、そのプログラムサーバから携帯端末１０またはコンピュータ装置２０にダウンロードされて実行されたり、コンピュータ装置２０が読み取り可能な記録媒体に記憶され、その記録媒体から読み出されて実行されても良い。コンピュータ装置２０が読み取り可能な記録媒体には、例えば、メモリーカード、ＵＳＢメモリ、ＳＤカード、フレキシブルディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ、及び、Ｂｌｕ−ｒａｙ（登録商標）ディスク等の可搬の記憶媒体が含まれる。また、プログラムは、任意の言語や任意の記述方法にて記述されたデータ処理方法であり、ソースコードやバイナリコード等の形式を問わない。また、プログラムは必ずしも単一的に構成されるものに限られず、複数のモジュールや複数のライブラリとして分散構成されるものや、ＯＳに代表される別個のプログラムと協働してその機能を達成するものも含む。
［２］画像処理装置１の分散・統合の具体的形態は図示するものに限られず、画像処理装置１の全部または一部を、各種の付加等に応じて、または、機能負荷に応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。
１ 画像処理装置
１１ 分離部
１２ 生成部
１３ 除去部
１４ 修復部
１５ 補正部
１０ 携帯端末
２０ コンピュータ装置
１０１，２０１ 記憶部
１０２ 撮影部
１０３ 操作部
１０４ 表示部
１０５，２０２ 通信部

Claims (16)

  1. 入力画像を第一コンテンツ領域と第一背景領域とに分離する分離部と、
    前記第一背景領域に含まれる第一背景領域画素のうち前記第一コンテンツ領域の周辺に存在する第一周辺画素を用いて前記第一コンテンツ領域に含まれる第一コンテンツ領域画素を修正することにより、修正後の前記第一コンテンツ領域画素と前記第一背景領域画素とによって形成される第一背景画像を生成する生成部と、
    前記入力画像から前記第一背景画像を除去することにより第一除去画像を取得する除去部と、
    前記第一除去画像に含まれる第一コンテンツ画像のエッジを修復する修復部と、
    エッジ修復後の前記第一コンテンツ画像の階調値を補正する補正部と、
    を備える画像処理装置。
  2. 前記分離部は、前記入力画像のヒストグラムのピークに基づいて、前記入力画像を前記第一コンテンツ領域と前記第一背景領域とに分離する、
    請求項１に記載の画像処理装置。
  3. 前記生成部は、前記第一コンテンツ領域画素の階調値を、前記第一コンテンツ領域画素と前記第一周辺画素との間の第一距離に応じて前記第一周辺画素の階調値を加重平均した値で置換することによって前記第一コンテンツ領域画素を修正する、
    請求項１または２に記載の画像処理装置。
  4. 前記生成部は、前記第一コンテンツ領域に隣接する所定範囲に存在する複数の前記第一周辺画素の階調値の第一平均値を算出し、前記第一平均値を用いて前記第一周辺画素の階調値を加重平均する、
    請求項３に記載の画像処理装置。
  5. 前記補正部は、エッジ修復後の前記第一コンテンツ画像を形成する第一コンテンツ画素の階調値を、前記生成部での修正後の前記第一コンテンツ領域画素の階調値を用いて補正することにより、エッジ修復後の前記第一コンテンツ画像の階調値を補正する、
    請求項１から４の何れか一つに記載の画像処理装置。
  6. 前記分離部は、さらに、前記第一コンテンツ領域のうち前記入力画像の画像端に接する端領域に存在する端画像を第二コンテンツ領域と第二背景領域とに分離し、
    前記生成部は、さらに、前記第二背景領域に含まれる第二背景領域画素のうち前記第二コンテンツ領域の周辺に存在する第二周辺画素を用いて前記第二コンテンツ領域に含まれる第二コンテンツ領域画素を修正することにより、修正後の前記第二コンテンツ領域画素と前記第二背景領域画素とによって形成される第二背景画像を生成し、
    前記除去部は、さらに、前記入力画像から前記第二背景画像を除去する、
    請求項１に記載の画像処理装置。
  7. 前記分離部は、前記入力画像のうち前記端画像だけにおけるヒストグラムのピークに基づいて、前記端画像を前記第二コンテンツ領域と前記第二背景領域とに分離する、
    請求項６に記載の画像処理装置。
  8. 前記生成部は、前記第二コンテンツ領域画素の階調値を、前記第二コンテンツ領域画素と前記第二周辺画素との間の第二距離に応じて前記第二周辺画素の階調値を加重平均した値で置換することによって前記第二コンテンツ領域画素を修正する、
    請求項６または７に記載の画像処理装置。
  9. 前記生成部は、前記第二コンテンツ領域に隣接する所定範囲に存在する複数の前記第二周辺画素の階調値の第二平均値を算出し、前記第二平均値を用いて前記第二周辺画素の前記階調値を加重平均する、
    請求項８に記載の画像処理装置。
  10. 前記除去部によって前記入力画像から前記第二背景画像を除去することによって得られた第二除去画像に含まれる第二コンテンツ画像を形成する第二コンテンツ画素の階調値を、前記生成部での修正後の前記第二コンテンツ領域画素の階調値を用いて補正する補正部、
    をさらに具備する請求項６から９の何れか一つに記載の画像処理装置。
  11. 前記生成部は、前記第一周辺画素が前記第一背景領域及び前記第二背景領域の双方に含まれる場合は、前記第一背景領域に含まれる前記第一周辺画素の階調値の重み付けを前記第二背景領域に含まれる前記第一周辺画素の階調値の重み付けより大きくした上で、前記第一コンテンツ領域画素の階調値を、前記第一コンテンツ領域画素と前記第一周辺画素との間の第一距離に応じて前記第一周辺画素の階調値を加重平均した値で置換することによって前記第一コンテンツ領域画素を修正する、
    請求項８から１０の何れか一つに記載の画像処理装置。
  12. 前記生成部は、前記第一周辺画素が前記第一背景領域及び前記第二背景領域の双方に含まれる場合は、前記第一背景領域に含まれる前記第一周辺画素を用いる一方で前記第二背景領域に含まれる前記第一周辺画素を用いずに前記第一コンテンツ領域画素を修正する、
    請求項６から１０の何れか一つに記載の画像処理装置。
  13. 前記生成部は、前記第二周辺画素が前記第一背景領域及び前記第二背景領域の双方に含まれる場合は、前記第二背景領域に含まれる前記第二周辺画素の階調値の重み付けを前記第一背景領域に含まれる前記第二周辺画素の階調値の重み付けより大きくした上で、前記第二コンテンツ領域画素の階調値を、前記第二コンテンツ領域画素と前記第二周辺画素との間の第二距離に応じて前記第二周辺画素の階調値を加重平均した値で置換することによって前記第二コンテンツ領域画素を修正する、
    請求項８から１０の何れか一つに記載の画像処理装置。
  14. 前記生成部は、前記第二周辺画素が前記第一背景領域及び前記第二背景領域の双方に含まれる場合は、前記第二背景領域に含まれる前記第二周辺画素を用いる一方で前記第一背景領域に含まれる前記第二周辺画素を用いずに前記第二コンテンツ領域画素を修正する、
    請求項６から１０の何れか一つに記載の画像処理装置。
  15. 入力画像をコンテンツ領域と背景領域とに分離し、
    前記背景領域に含まれる背景領域画素のうち前記コンテンツ領域の周辺に存在する周辺画素を用いて前記コンテンツ領域に含まれるコンテンツ領域画素を修正することにより、修正後の前記コンテンツ領域画素と前記背景領域画素とによって形成される背景画像を生成し、
    前記入力画像から前記背景画像を除去することにより除去画像を取得し、
    前記除去画像に含まれるコンテンツ画像のエッジを修復し、
    エッジ修復後の前記コンテンツ画像の階調値を補正する、
    画像処理方法。
  16. 入力画像をコンテンツ領域と背景領域とに分離し、
    前記背景領域に含まれる背景領域画素のうち前記コンテンツ領域の周辺に存在する周辺画素を用いて前記コンテンツ領域に含まれるコンテンツ領域画素を修正することにより、修正後の前記コンテンツ領域画素と前記背景領域画素とによって形成される背景画像を生成し、
    前記入力画像から前記背景画像を除去することにより除去画像を取得し、
    前記除去画像に含まれるコンテンツ画像のエッジを修復し、
    エッジ修復後の前記コンテンツ画像の階調値を補正する、
    処理をプロセッサに実行させるための画像処理プログラム。
JP2016211597A 2016-10-28 2016-10-28 画像処理装置、画像処理方法及び画像処理プログラム Active JP6317413B1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2016211597A JP6317413B1 (ja) 2016-10-28 2016-10-28 画像処理装置、画像処理方法及び画像処理プログラム
US15/442,060 US10332263B2 (en) 2016-10-28 2017-02-24 Image processing device, image processing method, and non-transitory computer-readable recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016211597A JP6317413B1 (ja) 2016-10-28 2016-10-28 画像処理装置、画像処理方法及び画像処理プログラム

Publications (2)

Publication Number Publication Date
JP6317413B1 true JP6317413B1 (ja) 2018-04-25
JP2018074368A JP2018074368A (ja) 2018-05-10

Family

ID=62022479

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016211597A Active JP6317413B1 (ja) 2016-10-28 2016-10-28 画像処理装置、画像処理方法及び画像処理プログラム

Country Status (2)

Country Link
US (1) US10332263B2 (ja)
JP (1) JP6317413B1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6317413B1 (ja) * 2016-10-28 2018-04-25 株式会社Pfu 画像処理装置、画像処理方法及び画像処理プログラム
KR20230077833A (ko) 2021-11-26 2023-06-02 삼성전자주식회사 이미지 신호 프로세서, 이미지 신호 프로세서의 동작 방법 및 이미지 센싱 장치

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6667774B2 (en) * 2001-11-02 2003-12-23 Imatte, Inc. Method and apparatus for the automatic generation of subject to background transition area boundary lines and subject shadow retention
JP2004110369A (ja) 2002-09-18 2004-04-08 Hitachi Ltd 文字認識方法および文字認識装置
JP4264051B2 (ja) * 2004-11-17 2009-05-13 株式会社Ｐｆｕ 画像処理装置
CN101789121B (zh) 2009-01-22 2013-11-13 佳能株式会社 用于阴影校正的装置和方法
US8452689B1 (en) * 2009-02-18 2013-05-28 United Services Automobile Association (Usaa) Systems and methods of check detection
KR101929560B1 (ko) * 2013-01-29 2019-03-14 삼성전자주식회사 이미지 에지 검출 방법 및 장치
JP6341085B2 (ja) 2014-12-26 2018-06-13 ブラザー工業株式会社 画像処理装置、および、コンピュータプログラム
JP6045625B2 (ja) 2015-03-20 2016-12-14 株式会社Pfu 画像処理装置、領域検出方法及びコンピュータプログラム
JP6099686B2 (ja) * 2015-03-20 2017-03-22 株式会社Pfu 画像処理装置、領域検出方法及びコンピュータプログラム
JP6317413B1 (ja) * 2016-10-28 2018-04-25 株式会社Pfu 画像処理装置、画像処理方法及び画像処理プログラム

Also Published As

Publication number Publication date
JP2018074368A (ja) 2018-05-10
US20180122084A1 (en) 2018-05-03
US10332263B2 (en) 2019-06-25

Similar Documents

Publication Publication Date Title
JP5701182B2 (ja) 画像処理装置、画像処理方法及びコンピュータプログラム
US10748023B2 (en) Region-of-interest detection apparatus, region-of-interest detection method, and recording medium
JP6904182B2 (ja) 画像視点変換装置及び方法
JP5810628B2 (ja) 画像処理装置及び画像処理プログラム
US10455163B2 (en) Image processing apparatus that generates a combined image, control method, and storage medium
KR101597739B1 (ko) 화상 처리 장치, 화상 처리 방법, 및 컴퓨터 판독 가능한 매체
JP5301694B2 (ja) 画像処理装置、画像処理方法、プログラムおよびその記録媒体
US8538191B2 (en) Image correction apparatus and method for eliminating lighting component
JP6021665B2 (ja) 画像処理装置、画像処理方法及びコンピュータプログラム
JP6592992B2 (ja) 画像の背景輝度画像の抽出装置及び方法、並びに影除去装置及び方法
JP5847062B2 (ja) 画像処理装置
JP6317413B1 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
JP6106808B2 (ja) 文書内バーコード配置特定
KR20150099116A (ko) Ocr를 이용한 컬러 문자 인식 방법 및 그 장치
JP2010186246A (ja) 画像処理装置、方法、及び、プログラム
JP6643301B2 (ja) 欠陥検査装置及び欠陥検査方法
JP2010225047A (ja) ノイズ成分除去装置、ノイズ成分除去プログラムを記録した媒体
US8903170B2 (en) Image processing apparatus, image processing method, and non-transitory computer readable medium
JP5979008B2 (ja) 画像処理装置、画像処理方法及びプログラム
US11570331B2 (en) Image processing apparatus, image processing method, and storage medium
JP2009140244A (ja) 画像処理プログラム及び画像処理装置
JP2014127763A (ja) 画像処理装置、画像処理方法及びプログラム
JP6121768B2 (ja) 画像検出装置及び制御プログラム並びに画像検出方法
JP2006107018A (ja) 画像解析方法及び装置、画像処理方法及びシステム、これらの動作プログラム
JP5262877B2 (ja) ノイズ成分除去装置、ノイズ成分除去プログラムを記録した媒体

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180308

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180320

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180329

R150 Certificate of patent or registration of utility model

Ref document number: 6317413

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150