JP5547243B2 - 画像処理装置、プログラムおよび記録媒体 - Google Patents

画像処理装置、プログラムおよび記録媒体 Download PDF

Info

Publication number
JP5547243B2
JP5547243B2 JP2012146104A JP2012146104A JP5547243B2 JP 5547243 B2 JP5547243 B2 JP 5547243B2 JP 2012146104 A JP2012146104 A JP 2012146104A JP 2012146104 A JP2012146104 A JP 2012146104A JP 5547243 B2 JP5547243 B2 JP 5547243B2
Authority
JP
Japan
Prior art keywords
image
unit
value
adjustment value
partial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012146104A
Other languages
English (en)
Other versions
JP2014010576A (ja
Inventor
真 早崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to JP2012146104A priority Critical patent/JP5547243B2/ja
Priority to PCT/JP2013/065261 priority patent/WO2014002689A1/ja
Priority to US14/410,278 priority patent/US9497355B2/en
Priority to CN201380032918.8A priority patent/CN104412299A/zh
Publication of JP2014010576A publication Critical patent/JP2014010576A/ja
Application granted granted Critical
Publication of JP5547243B2 publication Critical patent/JP5547243B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • G06T5/94Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • H04N1/6002Corrections within particular colour systems
    • H04N1/6008Corrections within particular colour systems with primary colour signals, e.g. RGB or CMY(K)
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/40Image enhancement or restoration using histogram techniques
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40Picture signal circuits
    • H04N1/407Control or modification of tonal gradation or of extreme levels, e.g. background level
    • H04N1/4072Control or modification of tonal gradation or of extreme levels, e.g. background level dependent on the contents of the original
    • H04N1/4074Control or modification of tonal gradation or of extreme levels, e.g. background level dependent on the contents of the original using histograms
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • H04N1/6027Correction or control of colour gradation or colour contrast
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • H04N1/6083Colour correction or control controlled by factors external to the apparatus
    • H04N1/6086Colour correction or control controlled by factors external to the apparatus by scene illuminant, i.e. conditions at the time of picture capture, e.g. flash, optical filter used, evening, cloud, daylight, artificial lighting, white point measurement, colour temperature
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20004Adaptive image processing
    • G06T2207/20012Locally adaptive
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20021Dividing image into blocks, subimages or windows
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/0077Types of the still picture apparatus
    • H04N2201/0094Multifunctional device, i.e. a device capable of all of reading, reproducing, copying, facsimile transception, file transception
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/0096Portable devices

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)

Description

本発明は、撮像画像に対して画像処理を行う画像処理装置に関する。
インターネット技術の進展とともに携帯電話など携帯端末装置を利用して撮像した画像を保存する機会が増えてきている。また、単純に風景や、人物などを被写体とするだけではなく、各種ショーなどで展示されている説明図や説明文、あるいは学会等でのスライドを撮影する機会も増大してきている。
特許文献1には、撮像により記憶部に取り込まれた画像データから撮像対象物の輪郭を求め、求めた輪郭の内側(輪郭を除く)の領域を実対象部として切り出し、実対象部の輝度の調整、カラー調整、輝度ムラ、背景の白色化を行う技術が開示されている。
特開2005−122319号公報(2005年5月12日公開)
特許文献1に示す技術は、実対象部の画像データの切り出しを行い、その画像から色差と当該色差を有する画素の数とを取得して色差ヒストグラムを生成し、生成した輝度色差ヒストグラムから画像効果補正用パラメータを取得してカラー調整を行う。また、輝度値と当該輝度値を有する画素数を求めて輝度ヒストグラムを作成し、また、色差と当該色差を有する画素の数とを取得して色差ヒストグラムを生成して、輝度ヒストグラムと色差ヒストグラムとから画像効果補正用パラメータを取得して白色化を行う。また、実対象部の画像を複数のブロックに分割し、ブロック毎に輝度ヒストグラムを生成し、生成した輝度ヒストグラムからブロック毎に実対象部の画像の輝度ムラを補正するものである。しかしながら、特許文献1の方式では、色味の補正と輝度の補正を分割しているため、余計な手間がかかり、また、色ムラを補正することはできない。更に実対象部の画像データの切り出しに失敗した場合その補正は大きく精度を欠くことになる。
本発明は、上記課題を解決するためになされたものであり、シンプルな処理で画像の切り出しを行うことなく、撮像画像を所望の画質に補正することが可能な画像処理装置、プログラムおよび記録媒体を提供することを目的とする。
上記の課題を解決するために、本発明の画像処理装置は、複数の入力値の各々と補正値との対応関係を示す、予め定められた基準データを取得する基準データ取得部と、撮像画像を複数の部分画像に分割する分割処理部と、上記部分画像について、色成分ごとに濃度値に対する画素数の分布を示すヒストグラムを作成するヒストグラム作成部と、上記部分画像ごとに、上記ヒストグラムにおけるピークに基づいて調整値を決定する調整値決定部と、上記部分画像ごとに、上記基準データの複数の入力値のうちの特定入力値を上記調整値で置き換えることで階調補正データを生成する階調補正データ生成部と、上記部分画像ごとに上記階調補正データを用いて階調補正することで補正画像を生成する補正処理部とを備えることを特徴とする。
上記の構成によれば、基準データの複数の入力値のうちの特定入力値を、ヒスグラムから求めた調整値で置き換えることで階調補正データを生成する。そして、階調補正データを用いて階調補正を行う。これにより、ヒスグラムのピークは、部分画像において例えば下地部分などの画素で構成される。そのため、基準データにおいて下地部分の理想的な明るさや色合いを有する点の入力値を特定入力値として予め設定しておくことで、下地部分を理想的な濃度値に階調補正することができる。また、部分画像ごとに階調補正を行うことにより、局所的な色や輝度の変化の補正、すなわち色・輝度を含めたシェーディング補正を行うことができる。その結果、シンプルな処理で画像の切り出しを行うことなく、撮像画像を所望の画質に補正することが可能な画像処理装置を実現できる。
さらに、本発明の画像処理装置において、上記分割処理部は、上記部分画像における複数箇所の濃度値の分布情報に基づいて、当該部分画像について再分割処理が必要か否かを判定し、分割処理が必要であると判定した場合、当該部分画像を更に複数の部分画像に分割することが好ましい。
上記の構成によれば、ある部分画像内に急峻なシェーディング(影や色変化)があったとしても、再分割処理を行うことで、ほぼ同様の画像内容を示す部分領域に再分割することができる。その結果、部分画像ごとに同等の階調補正を行ったとしても違和感のない補正を行うことができる。
さらに、本発明の画像処理装置において、上記分割処理部は、全ての部分画像について再分割処理が不要であると判定するまで、再分割処理を行うことが好ましい。
上記の構成によれば、画像の細部に亘って、部分的な影や色の変化を抑制することができる。
さらに、本発明の画像処理装置において、上記調整値決定部は、上記ヒストグラムにおいて、濃度値として取り得る最大値に最も近いピークの画素数に所定係数を乗じた値に対応する濃度値を上記調整値として決定することが好ましい。
もしくは、本発明の画像処理装置において、上記調整値決定部は、上記ヒストグラムにおいて、画素数が最大のピークの画素数に所定係数を乗じた値に対応する濃度値を上記調整値として決定することが好ましい。
濃度値として取り得る最大値に最も近いピーク、もしくは、画素数が最大のピークは、画像における下地部分である確率が高い。そのため、上記の構成によれば、下地部分を理想的な濃度値に階調補正することができる。
さらに、本発明の画像処理装置において、上記基準データは、基準チャートを所定の環境条件下で撮像して得られた基準撮像画像から求められた階調補正曲線の中の複数の特徴点における入力値と補正値との対応関係を示すことが好ましい。
さらに、上記特定入力値は、上記基準撮像画像における白色下地部分の画素に対応する入力値であることが好ましい。
上記の構成によれば、部分画像における下地部分を理想的な白色下地部分の濃度値に階調補正することができる。その結果、下地飛ばし補正、色かぶり補正などを効果的に行うことができる。
さらに、本発明の画像処理装置は、下記の何れかの条件を満たす場合に、上記調整値決定部により決定された調整値が不適切であると判定する検証部と、調整値決定部により決定された調整値が不適切であると上記検証部により判定された部分画像の調整値を、当該部分画像の周辺に位置し、上記検証部により調整値が適切であると判定された部分画像の調整値に基づいて変更する調整値変更部とを備え、上記階調補正データ生成部は、上記調整値変更部により調整値が変更されている場合には変更後の調整値に基づいて階調補正データを生成することが好ましい。
条件A:上記ヒストグラムにおいて、上記ピークにおける濃度値と当該ピークの画素数に所定係数を乗算した値に対応する濃度値との差が第1閾値以上である。
条件B:上記調整値決定部により決定された色成分ごとの調整値の最大値と最小値との差が第2閾値以上である。
条件C:周辺に位置する部分画像の調整値との差が第3閾値以上である。
上記の構成によれば、写真や図画のような領域、または局所的な有彩色の背景や図画を有する可能性が高い領域では、ヒストグラムのピークの濃度値として様々な値を取り得る可能性がある。そのため、ヒストグラムのピークから求めた調整値によって特定入力値を置き換えて階調補正データを生成した場合、意図しない階調補正が実行される可能性がある。上記の条件A、B、Cを満たす部分画像は、写真や図画のような領域、または局所的な有彩色の背景や図画を有する可能性が高い領域である。そこで、このような部分画像については、当該ヒストグラムから求めた調整値ではなく、周辺の部分画像のうち、調整値が適切であると判定された部分画像の調整値に基づいて変更する。これにより、写真や図画のような領域、または局所的な有彩色の背景や図画を有する可能性が高い領域の部分画像であっても、周辺の部分画像と同様の階調補正を行うことができ、部分的に意図しない階調補正が実行されることを抑制することができる。
さらに、本発明の画像処理装置は、撮像部と、上記撮像部により撮像された撮像画像、および上記補正処理部により生成された補正画像が表示される表示部とを備えることが好ましい。
上記の構成によれば、撮像部を備えた装置内で、当該撮像部により得られた撮像画像について適切な階調補正を行うことができる。
なお、上記画像処理装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記各部として動作させることにより画像処理装置をコンピュータにて実現させるプログラム、およびそれを記録したコンピュータ読取り可能な記録媒体も、本発明の範疇に入る。
本発明は、シンプルな処理で画像の切り出しを行うことなく、撮像画像を所望の画質に補正することが可能な画像処理装置を実現できる。
本発明の一実施形態に係る撮像画像処理システムの全体構成を示す図である。 本発明の一実施形態に係る携帯端末装置の構成を示すブロック図である。 携帯端末装置が備える撮像範囲判定部の構成を示すブロック図である。 撮像範囲判定部の処理の一例を示すフローチャートである。 連結エッジ領域のラベリングの方法を示す図である。 エッジ画素群の近似直線の交点を求める例を示す図である。 撮像対象物が撮像範囲内であることを示す情報が表示された画面例を示す図である。 第1欠落情報が表示された画面例を示す図である。 第2欠落情報が表示された画面例を示す図である。 図7に示す画像読み込みボタンが押下されたときに表示される画面例を示す図である。 携帯端末装置が備える画像処理部の構成を示すブロック図である。 基準階調補正曲線と当該基準階調補正曲線から抽出された5つの特徴点(a)〜(e)とを示す図である。 出力対象画像データを5×5に分割したときの画像を示す図である。 図14は再分割処理の一例を示す図である。 各色チャンネルのヒストグラムの例を示す。 ヒストグラムから調整値を抽出する例を示す図である。 出力対象画像データで示される画像の一例を示す図である。 (a)は検証部による検証直後の検証フラグを示す図であり、(b)は調整値補間部による最終調整値の決定時点における検証フラグを示す図である。 最終調整値を決定する際に用いられるフィルタ係数を示す図である。 第2部分画像と第1部分画像とが隣接している部分の拡大図である。 複数の部分画像に対して求められた階調補正データを用いて補間演算により階調補正を行う方法を示す図である。 出力対象画像データで示される画像の別の例を示す図である。 図22の部分画像(1)におけるヒストグラムと調整値とを示す図である。 図22の部分画像(2)におけるヒストグラムと調整値とを示す図である。 基準補正データにおける入力値を調整値で置換する様子を示す図である。 図22の部分画像(1)に対して求めた階調補正データをグラフ化した図である。 図22の部分画像(2)に対して求めた階調補正データをグラフ化した図である。 本発明の一実施形態に係る画像形成装置の構成を示すブロック図である。 画像形成装置が有する画像処理部の内部構成を示すブロック図である。 画像のカラーバランス調整時に作成するルックアップテーブルの一例を示す図である。 画像のレンズ歪みの補正例を示す図である。 画像の幾何学的歪みおよび傾きの補正例を示す図である。
以下、本発明の実施の形態について、詳細に説明する。
(1)撮像画像処理システムの全体構成
図1は、本発明に係る撮像画像処理システムの全体構成を示す図である。図1に示されるように、撮像画像処理システムは、カメラ付き携帯電話、デジタルスチルカメラなど、撮像手段を備えた携帯端末装置(画像処理装置)100、複合機、プリンタなどの画像形成装置(画像出力装置)200、および、インフォメーションディスプレイや電子黒板などの画像表示装置(画像出力装置)300を備える。
携帯端末装置100は、ユーザによって携帯されるものである。ユーザは、様々な場面で携帯端末装置100により対象物を撮像することができる。
本実施形態において、携帯端末装置100は、文書画像が印刷された用紙やポスター、文書画像が表示されている表示画面(例えば、ディスプレイ画面やプロジェクターにより投影された画面)のような矩形状の撮像対象物を撮像し、当該撮像により得られた画像を画像形成装置200または画像表示装置300から出力するための文書撮像モードの機能を有している。すなわち、携帯端末装置100は、文書撮像モードでの撮像により得られ、画像形成装置200または画像表示装置300にて出力する対象となる画像データ(以下、出力対象画像データという)を画像形成装置200または画像表示装置300に送信する。
そして、画像形成装置200は、受信した出力対象画像データ、もしくは、出力対象画像データで示される画像を出力する。このとき、画像形成装置200は、出力対象画像データに対して所定の画像処理を行った上で出力処理を行ってもよい。また、画像表示装置300は、出力対象画像データの表示処理を行う。
なお、画像形成装置200で実行される出力処理としては、出力対象画像データで示される画像を印刷して出力する印刷処理、サーバやUSBメモリなどの記憶装置へ出力対象画像データを格納するファイリング処理、電子メールに出力対象画像データを添付して送信するメール送信処理などがある。画像表示装置300で実行される出力処理は、出力対象画像データの表示処理である。
携帯端末装置100と画像形成装置200とは通信可能であり、携帯端末装置100は、上述したように、出力対象画像データを画像形成装置200に送信する。携帯端末装置100と画像形成装置200との通信方式としては、図1において符号Aまたは符号Bで示されるような方式がある。符号Aで示される方式は、IrSimpleなどの赤外線通信規格のいずれかに基づく無線通信方式である。符号Bで示される方式は、Felica(登録商標)のような非接触無線通信により、携帯端末装置100から画像表示装置300に一旦出力対象画像データを送り、その後、例えばBluetooth(登録商標)のような無線通信を用いて、当該画像表示装置300から画像形成装置200へ当該データを転送する方式である。本実施形態では、ユーザは、画像形成装置200の前にきてから携帯端末装置100を操作し、赤外線通信のような近距離無線通信方式を用いて、携帯端末装置100から画像形成装置200へデータ送信するものとする。
ここで、画像表示装置300は、例えば、液晶ディスプレイ、プラズマディスプレイ、有機エレクトロルミネッセンスディスプレイ等よりなるインフォメーションディスプレイや電子黒板等である。このような画像表示装置300は、出力対象画像データで示される画像を表示させる表示処理を行う。この表示処理は、出力対象画像データの出力処理の1つである。すなわち、画像表示装置300は、出力対象画像データの出力処理を行う画像出力装置であるといえる。画像表示装置300で表示を行った後、画像形成装置200で印刷を行う、あるいは、他のアドレスにe−mail送信を行う、あるいは、コンピュータやネットワークで接続されているサーバ等に格納するようにすることもできる。
なお、携帯端末装置100と画像形成装置200および画像表示装置300との間の通信方式については、これらに限定されることなく、公知の通信方法を用いたものを適用することができる。たとえば、電子メールに出力対象画像データを添付して画像形成装置200や画像表示装置300に送信してもよい。
(2)携帯端末装置の構成
図2に基づいて、本実施形態に係る携帯端末装置100について説明する。図2は、携帯端末装置100の構成を示すブロック図である。図2に示されるように、携帯端末装置100は、撮像部101、撮像範囲判定部110、画像処理部103、通信部104、表示部105、入力部106、記録媒体アクセス部107、記憶部108、制御部109を備えている。
撮像部101は、CCDセンサ、CMOSセンサを用いて、撮像対象物の撮像を行い、撮像により得られた撮像画像を表示部105に表示させる。なお、撮像部101は、予め設定された解像度で撮像対象物の撮像を行う。なお、撮像部101により撮像される範囲(以下、撮像範囲という)は、予め設定された拡大縮小率に従って決定される。ここでは、撮像範囲は、幅がXmax、高さがYmaxの矩形であるとする。
撮像範囲判定部110は、ユーザにより文書撮像モードが選択された場合に、撮像部101により撮像され表示部105に表示されている撮像画像を基に、矩形状の撮像対象物が撮像範囲内に収まっているか否かを判定する。また、撮像範囲判定部110は、指定されたタイミングで表示部105に表示されている撮像画像を示す画像データを出力対象画像データとして記憶部108に格納する。撮像範囲判定部110の詳細については後述する。
画像処理部103は、記憶部108に格納された出力対象画像データに対して輝度、色・輝度ムラ補正、背景の白色化などの画質補正処理を行うことで補正済画像データを生成し、出力対象画像データと対応付けて記憶部108に格納する。画像処理部103の詳細については後述する。
通信部104は、USB(Universal Serial Bus)1.1またはUSB2.0の規格に基づく、シリアル転送/パラレル転送、無線データ通信機能を有する。通信部104は、ユーザが入力した送信指示に従って補正済画像データ(または出力対象画像データ)を画像形成装置200または画像表示装置300に送信する。
表示部105は、例えば液晶ディスプレイなどにより構成される。また,入力部106は、複数のボタンを有しており、ユーザがデータの入力等を行う。
記録媒体アクセス部107は、携帯端末装置100の各処理を行うためのプログラムが記録された記録媒体から、プログラムを読み出す。
また、記憶部108は、携帯端末装置100の各処理を行うためのプログラム、携帯端末装置100の機種情報、ユーザ情報や処理を行う際に必要なデータを格納する。なお、ユーザ情報とは、携帯端末装置100のユーザを識別する情報であり、例えば、ユーザIDおよびパスワードなどである。また、記憶部108は、文書撮像モードで撮像することにより得られた出力対象画像データおよびその付属情報(後述する出力処理情報、ファイルネームなど)を記憶する。
制御部109は、携帯端末装置100の各部の制御を行う。制御部109は、入力部106に文書撮像モードを選択する旨の指示が入力された場合、画像形成装置200での出力処理の種類(印刷処理、ファイリング処理、メール送信処理など)の選択指示、ならびに、選択した出力処理を実行するための設定条件(印刷枚数などの印刷条件、ファイリング先のサーバのアドレス、メールの送信先アドレスなど)の入力を促す画面を表示部105に表示する。そして、制御部109は、入力部106から、出力処理の種類および出力処理の設定条件を示す出力処理情報を取得する。
制御部109は、記憶部108に格納された出力対象画像データに、ファイルネームおよび出力処理情報を付加する。
また、制御部109は、入力部106へ送信指示が入力されると、記憶部108に格納されている補正済画像データ(または出力対象画像データ)を画像形成装置200または画像表示装置300に送信する送信処理を通信部104に実行させる。このとき、通信部104は、補正済画像データ(または出力対象画像データ)とともに、ファイルネームおよび出力処理情報と、記憶部108に格納されている機種情報およびユーザ情報とを合わせて画像形成装置200または画像表示装置300に送信する。
(3)撮像範囲判定部について
(3−1)撮像範囲判定部の構成
次に、撮像範囲判定部110の詳細な構成について説明する。図3は、撮像範囲判定部110の内部構成を示すブロック図である。図3に示されるように、撮像範囲判定部110は、幾何学的配置検出部111と、表示処理部112と、出力対象画像決定部113とを備えている。
幾何学的配置検出部111は、撮像対象物が矩形状であると仮定して、当該撮像対象物と背景との境界となるエッジ画素群を抽出することにより、撮像対象物の幾何学的配置(幾何学的歪み)を検出する。
表示処理部112は、撮像対象物の幾何学的配置に基づいて、撮像範囲に撮像対象物が収まっているか否かを判定し、その判定結果を表示部105に表示する。
出力対象画像決定部113は、指定されたタイミングで表示部105に表示されている撮像画像を示す画像データを出力対象画像データとして決定し、当該出力対象画像データを記憶部108に格納する。
(3−2)撮像範囲判定部の処理
次に、撮像範囲判定部110の具体的な処理の一例について説明する。図4は、撮像範囲判定部110の処理の一例を示すフローチャートである。
(ステップ1(S1))
まず、幾何学的配置検出部111は、撮像部101により撮像され、表示部105に表示されている撮像画像の中から、エッジ画素の抽出を行う。エッジ画素の抽出には、例えば、撮像部101による撮像された輝度画像に対しCannyフィルタを適用して抽出する。Cannyフィルタとは、ガウシアンフィルタとソーベルフィルタを用いて、細線化されたエッジを検出するフィルタである。
(ステップ2(S2))
次に、幾何学的配置検出部111は、連結したエッジ画素の領域(連結エッジ領域)ごとに異なるラベルを付すラベリング処理を行う。
幾何学的配置検出部111は、例えば、図5で示されるように以下の方法を用いてラベリングを行う。
(I)注目画素がエッジ画素の場合、注目画素の上隣の画素がエッジ画素で、すでにラベルがつけられていれば、注目画素にも同じラベルをつける(図5(a))。
(II)左隣の画素もエッジ画素で、上隣の画素とは異なるラベルがつけられている場合は、上隣と同じラベルをつける(図5(b))。
(III)上隣の画素が非エッジ画素で左隣がエッジ画素の場合、注目画素に左隣と同じラベルをつける(図5(c))。
(IV)上隣も左隣も非エッジ画素の場合、注目画素に新しいラベルをつける(図5(d))。
(V) 全てのエッジ画素に対しラベル付けを行う。
(VI)複数のラベルがつけられている場合、上記の規則に基づいてラベルを統一する。
(ステップ3(S3))
次に、幾何学的配置検出部111は、ラベル付けがされた連結エッジ領域の中から、撮像対象物と背景との境界を含む領域の候補(以下、特徴領域という)を抽出する。
撮像対象物は、その中心を撮像範囲の中心付近とし、撮像範囲の中の大部分を占めるようにして撮像されるのが通常である。そのため、撮像対象物と背景との境界は、その中心が撮像範囲の中心付近に位置し、かつ、撮像範囲の横方向(幅方向)の長さおよび縦方向(高さ方向)の長さが長くなる。そこで、幾何学的配置検出部111は、以下の条件Aを満たす連結エッジ領域を特徴候補として抽出する。
条件A:撮像範囲において左上角を原点とし、右方向(幅方向)をx軸、下方向(高さ方向)をy軸とし、撮像範囲の右端のx座標をXmax、撮像範囲の下端のy座標をYmaxとする。このとき、連結エッジ領域の幅方向の長さが撮像範囲の幅(つまりXmax)の1/4以上、かつ、高さ方向の長さが撮像範囲の高さ(つまりYmax)の1/4以上であり、かつ、連結エッジ領域の中心x座標が、Xmax/4以上かつ3×Xmax/4以下で、領域の中心y座標が、Ymax/4以上かつ3×Ymax/4以下である。
(ステップ4(S4))
次に、幾何学的配置検出部111は、特徴領域の中から、矩形の撮像対象物と背景との境界となる四角形の上辺、左辺、右辺、下辺を構成する、線分状に連なるエッジ画素群を抽出し、当該エッジ画素群の近似直線を特定する処理(直線抽出処理)を行う。
上辺は、撮像画像の中の上半分に位置し、撮像範囲の幅方向に平行である確率が高い。また、左辺は、撮像画像の左半分に位置し、撮像範囲の高さ方向に平行である確率が高い。右辺は、撮像画像の右半分に位置し、撮像範囲の高さ方向に平行である確率が高い。下辺は、撮像画像の下半分に位置し、撮像範囲の幅方向に平行である確率が高い。
そこで、存在する確率の高い範囲(検索範囲)において、特徴領域画像データの中から特定方向に連なるエッジ画素の数が最大であり、所定長さ以上の線分状のエッジ画素群を、矩形の撮像対象物と背景との境界となる線分状に連なるエッジ画素群として抽出する。そして、抽出したエッジ画素群の近似直線を特定する。
上辺について、y座標が0からYmax/2の範囲を検索範囲とする。左辺について、x座標が0からXmax/2の範囲を検索範囲とする。右辺について、x座標がXmax/2からXmaxの範囲を検索範囲とする。下辺について、y座標がYmax/2からYmaxの範囲を検索範囲とする。また、上辺および下辺について、撮像範囲の幅方向に対する角度が45°以内の範囲内の方向を上記特定方向とする。左辺および右辺について、撮像範囲の高さ方向に対する角度が45°以内の範囲内の方向を上記特定方向とする。
このようにして、幾何学的配置検出部111は、上辺として抽出されたエッジ画素群の近似直線を上辺直線、左辺として抽出されたエッジ画素群の近似直線を左辺直線、右辺として抽出されたエッジ画素群の近似直線を右辺直線、下辺として抽出されたエッジ画素群の近似直線を下辺直線とし、各直線の式を生成する。
(ステップ5(S5))
次に、幾何学的配置検出部111は、S4で求めた直線の式に基づいて、交点座標を求める。すなわち、幾何学的配置検出部111は、左辺直線と上辺直線の交点座標を左上頂点座標、上辺直線と右辺直線の交点座標を右上頂点座標、右辺直線と下辺直線の交点座標を右下頂点座標、下辺直線と左辺直線の交点座標を左下頂点座標として求める。そして、幾何学的配置検出部111は、これら4つの頂点座標を含む抽出結果情報を表示処理部112に出力する。
図6は、4つの頂点座標を求める例を示す図である。図6では、左上頂点座標(X1,Y1)、右上頂点座標(X2,Y2)、右下頂点座標(X3,Y3)、左下頂点座標(X4,Y4)が求められている。
また、S4において三辺のみに対応する直線の式が求められた場合、幾何学的配置検出部111は、残りの一辺に対応する直線を撮像範囲端の直線として、当該直線の式を求める。つまり、左辺が抽出できない場合にはx=0、右辺が抽出できない場合にはx=Xmax、上辺が抽出できない場合にはy=0、下辺が抽出できない場合にはy=Ymaxを残りの一辺に対応する直線の式とする。そして、幾何学的配置検出部111は、その直線式を用いて4つの頂点座標を求める。
ただし、撮像範囲端の直線との交点について仮頂点座標として求める。例えば、右辺が抽出できなかった場合、右上頂点座標および右下頂点座標は仮頂点座標として求められる。
そして、幾何学的配置検出部111は、4つの頂点座標と、三辺のみが抽出できたことを示す情報と、抽出できなかった辺を示す抽出不可情報とを含む抽出結果情報を生成し、表示処理部112に出力する。なお、仮頂点座標については、仮頂点座標であることを示す情報が付けられている。
また、S4において、三辺または四辺に対応する直線の式が求められなかった場合、幾何学的配置検出部111は、撮像対象物と背景との境界を適切に抽出できなかった旨を示す抽出結果情報を生成し、表示処理部112に出力する。
(ステップ6(S6))
続いて、表示処理部112は、抽出結果情報で示される4つの頂点座標を結ぶ四角形の線を撮像対象物の輪郭線として撮像画像に重ねて表示する。
また、抽出結果情報が4つの頂点座標を含み、抽出不可情報を含まない場合、表示処理部112は、4つの頂点座標が撮像範囲内であるか否かを判断する。全ての頂点座標が撮像範囲内であれば、表示処理部112は、撮像対象物が撮像範囲内であることを示す情報(例えば、「OK」)を表示部105に表示させる。また、表示処理部112は、出力対象画像を決定するためのシャッタボタンも合わせて表示部105に表示させる。
図7は、全ての頂点座標が撮像範囲内であるときに表示される画面の一例を示す図である。図7において、符号Lは、撮像画像に重ねて表示される、頂点座標を結ぶ四角形の線である輪郭線である。符号10は、シャッタボタンであり、符号40は、画像読み込みボタンである。シャッタボタン10は、表示部105に表示されている撮像画像を出力対象画像として決定するためのボタンである。画像読み込みボタン40は、事前に保存しておいた画像を、撮像された画像として処理するためのものである。画像読み込みボタン40が押下されると、保存された画像一覧画面が表示され、その中の一つがユーザにより選択されると、それを撮像部101で撮像した画像として、次の処理(シャッターが押された後の処理)が行われる。
また、3つの頂点座標が撮像範囲内であり、1つの頂点座標が撮像範囲外である場合、表示処理部112は、撮像対象物の一部(一角)が撮像できないことを示す第1欠落情報を表示部105に表示させる。
図8の(a)(b)は、1つの頂点座標が撮像範囲外である場合に表示される画面の一例を示す図である。図示されるように、第1欠落情報として、撮像範囲外に位置する頂点座標の付近に、角が欠落していることを示す第1アイコンCが表示されている。これにより、ユーザは、第1アイコンCの近くの角が撮像範囲から外れていることを容易に認識することができる。
さらに、抽出結果情報が4つの頂点座標を含み、抽出不可情報を含む場合、表示処理部112は、4つの頂点座標が撮像範囲内であるか否かを判断する。全ての頂点座標が撮像範囲内であれば、表示処理部112は、撮像対象物の一部(一辺)が撮像できないことを示す第2欠落情報を表示部105に表示させる。
図9は、第2欠落情報を含む画面の一例を示す図である。図示されるように、第2欠落情報として、撮像範囲外に位置する辺の付近に、撮像対象物の外枠の一辺が欠落していることを示す第2アイコンDが表示されている。これにより、ユーザは、第2アイコンDの近くの辺が撮像範囲から外れていることを容易に認識することができる。
上記以外の場合、表示処理部112は、表示部105の画面をそのままにしておいてもよいし、撮像部101の向きの変更を促す情報(例えば、「撮像対象物が撮像範囲内に収まるようにカメラの向きを調整してください」等)を表示部105に表示させてもよい。
(ステップ7(S7))
最後に、出力対象画像決定部113は、出力処理の対象となる画像データである出力対象画像データを決定する。具体的には、出力対象画像決定部113は、図7に示されるように、撮像対象物が撮像範囲内であることを示す情報(例えば、「OK」)と、シャッタボタン10とが表示部105に表示されている状態において、シャッタボタン10が操作されたタイミングを検知する。そして、出力対象画像決定部113は、シャッタボタン10が操作されたタイミングを指定されたタイミングとして、当該タイミングで表示部105に表示されている撮像画像を示す画像データを出力対象画像データとして決定する。
なお、出力対象画像決定部113は、撮像対象物が撮像範囲内であることを示す情報が表示されているときのみ、シャッタボタン10の操作を受け付け可能としている。
(4)画像処理部の処理
次に、画像処理部103の詳細について説明する。画像処理部103は、図7に示す画像読み込みボタン40が押下され、記憶部108に保存されている出力対象画像データの1つが選択されたときに、当該選択された出力対象画像データに対して画像処理を行う。
図10は、図7に示す画像読み込みボタン40が押下されたときに表示部105に表示される画面の一例を示す。図示されるように、画面は、補正前の出力対象画像データで示される画像が表示される領域Eと、画質調整レベルを設定するための画質調整レベルバー50と、画像処理部103による画像処理が施された画像が表示される領域Fとを有している。
なお、本実施形態では、画像処理部103は、画質調整レベルバー50に対する操作により、画質調整レベルとして「なし」「弱」「中」「強」の4段階の何れかを受け付ける。
また、図10に示されるように、登録ボタン60が表示部105に表示される。登録ボタン60が押下されると、押下されたタイミングで設定していた画質調整レベルが記憶部108に格納される。
図11は、画像処理部103の内部構成を示すブロック図である。図11に示されるように、画像処理部103は、画像補正量読込部(基準データ取得部)121、分割処理部122、ヒストグラム作成部123、調整値算出部(調整値決定部)124、検証部125、調整値補間部(調整値変更部)126、調整部(階調補正データ生成部)127、および補正処理部128を備えている。
(4−1)画像補正量読込部
画像補正量読込部121は、撮像部101の撮像により得られた画像データを構成する色チャンネル(例えば、RGB信号におけるR信号、G信号、B信号)ごとに、階調補正の基準となる基準補正データを記憶部108から読み込む。
基準補正データは予め記憶部108に格納されている。基準補正データは、撮像部101で撮像した画像を、画像表示装置300や画像形成装置200で出力(表示、あるいは、印刷)する場合の基準階調補正曲線より予め求められる。なお、基準階調補正曲線は、横軸を入力値とし縦軸を出力値とした、入力値と出力値とを対応づけた曲線である。
まず、グレーチャートを標準の環境下(標準光源を用い、撮影方向に対する光源の照射角度、照明の均一性、光源の均一性等が所定の条件を充たすように設定された環境下)で撮像部101により撮像したときの画像データを準備する。当該画像データの各色チャンネルの濃度値(画素値)に対して、当該色チャンネルに対応する階調補正曲線を用いて階調補正を行い、画像形成装置200の出力特性や画像表示装置300の表示特性を確認する。このとき、画像形成装置200の出力特性や画像表示装置300の表示特性が原本であるグレーチャートと見た目が同じになるように、各色チャンネルの階調補正曲線を調整する。各色チャンネルに対してこのようにして求めた階調補正曲線を基準階調補正曲線とする。基準階調補正曲線は、入力値と出力値とを一対一で対応づけた一次元のルックアップテーブル用の階調補正データであるともいえる。
この基準階調補正曲線の中から複数の特徴点が予め抽出される。この特徴点としては、当該特徴点を用いてスプライン補間処理や線形補間処理等で特徴点以外のデータを階調数分生成したときに、基準階調補正曲線との一致度が高い点が抽出される。本実施形態では、基準階調補正曲線から5つの特徴点(a)〜(e)が抽出される。
図12は、Rの色チャンネルに対する基準階調補正曲線Gと、当該基準階調補正曲線Gから抽出された5つの特徴点(a)〜(e)とを示している。当該複数の特徴点(a)〜(e)における入力値および出力値の対応関係を示すデータが基準補正データとして予め記憶部108に登録される。
特徴点(a)は、入力値が最小値「0」の点である。特徴点(b)は、出力値が第1所定値(図12では55)となる点である。特徴点(c)は、出力値が第2所定値(図12では100)となる点である。特徴点(d)は、出力値が第3所定値(図12では240)となる点である。特徴点(e)は、入力値が最大値「255」の点である。
ここで、第1所定値、第2所定値および第3所定値は、様々な種類の撮像対象物をサンプルとして撮像した複数のサンプル画像を基に実験的に設定される値である。第1所定値および第2所定値は、文字として確認できる範囲の濃度値を基に実験的に設定される。例えば、文字として確認できる範囲の上限値(これ以上薄くなると文字として確認しづらくなる値)が第2所定値として設定され、第2所定値よりも小さい任意の値が第1所定値として設定される。
また、第3所定値は、代表的な撮像対象物である、下地が白色の原稿用紙の撮像画像を画像形成装置や画像表示装置で出力させたときに白色下地として認識しやすい濃度値が実験的に設定される。
(4−2)分割処理部
分割処理部122は、出力対象画像データを複数の部分画像に分割する処理を行う。分割処理部122における出力対象画像データの分割方法としては様々な方法が考えられる。最も単純な例は、出力対象画像データをM×N(M、N:少なくとも一方は2以上の自然数)の第1部分画像に分割する方法である。図13は、出力対象画像データで示される画像に対して、M=N=5に分割した場合の模式図である。図中の(0)〜(24)で示される画像の各々が第1部分画像である。
図13に示す分割例の場合、第1部分画像の中で撮像対象物と背景など異なる領域とを含む場合がある(例えば図13における第1部分画像(19))。そこで、分割処理部122は、第1部分画像の中に異なる種類の画像領域が含まれているか否かを判定し、異なる種類の画像領域が含まれている第1部分画像を更にP×Q(P、Q:少なくとも一方は2以上の自然数)の第2部分画像に再分割する再分割処理を行ってもよい。
分割処理部122は、例えば再分割処理を以下のように行う。図14は再分割処理の一例を示す図である。分割処理部122は、第1部分画像について、図14の(b)に例示するように4隅の小領域(例えば5×5画素)S1〜S4に含まれる画素濃度の中央値を色チャンネルごとに算出する。そして、分割処理部122は、4隅の中央値の最大差が所定閾値thC(例えば10)以上である場合に再分割処理が必要であると判定する。再分割処理が必要であると判定された第1部分画像について、分割処理部122は、図14の(d)に示されるようにP×Q(図ではP=Q=3)に再分割する。つまり、各小領域(S1〜S4)の中央値をM1〜M4とするとき、それらの最大値から最小値を引いた差分値とthCを比較し、少なくとも一つの色チャンネルで差分値がthCより大きければ、再分割をする。なお、最大値から最小値を引いた差分値ではなく、複数の中央値の分散を用いてもよい。あるいは、小領域の中央値ではなく平均値を用いてもよい。分割処理部122は、再分割処理を行った場合、再分割の対象となる第1部分画像を識別する情報と、当該第1部分画像から分割されたP×Qの第2部分画像の各々を識別する情報(図14の(d)では(19−1)〜(19−9))とを記録しておく。
また、閾値thCとして色チャンネルごとに異なる値を設定してもよい。例えば一般的な映像信号式であるRGBからYuvへの変換式などから、概ねRGBに対する人間の視覚特性は3:6:1である。そこで、この逆数、すなわちR:1/3、G:1/6、B1/1をある閾値thCに乗じて用いてもよい。
さらに、小領域の選択方法としては4隅に限定するものではなく、図14の(c)に示されるように、4隅の中間点を追加した9箇所としてもよい。小領域を9箇所とする場合、各辺、対角線ごとの3つの小領域に対して、両端の平均値と中央の値の差分の絶対値と閾値thCとの比較を行ってもよい。
なお、分割処理部122は、再分割処理が不要となるまで再分割処理を繰り返しておこなってもよい。すなわち、第2部分画像についても4隅の中央値の最大差と所定閾値とを比較することで再分割処理が必要であるか否かを判定し、全ての第2部分画像において再分割処理が不要であると判定されたときに処理を終了する。一方、再分割処理が必要であると判定された第2部分画像がある場合、当該第2部分画像について再分割処理を行う。このようにすることで第1部分画像のみでは補正しきれないような急峻な色・輝度の変化があるような場合でも、好適に補正することが可能となる。
(4−3)ヒストグラム作成部
ヒストグラム作成部123は、分割処理部122により分割された部分画像の各々について、当該部分画像を構成する色チャンネルごとに濃度値(画素値)に対する画素数の分布を示すヒストグラムを作成する。図15は、各色チャンネルのヒストグラムの例を示す。図において、横軸が画素値、縦軸が画素数である。
(4−4)調整値算出部
調整値算出部124は、ヒストグラムに基づいて、基準補正データを調整するための仮調整値を算出する。この仮調整値は、基準補正データにおける特徴点(d)の入力値と置換される。
調整値算出部124は、部分画像ごとに作成された各色チャンネルのヒストグラムにおいて、画素値の最大値に最も近いピークを基に仮調整値を求める。画素値の最大値に最も近いピークは、白色下地の原稿を撮像した場合、通常当該白色下地部分の画素で構成されることとなる。そのため、調整値算出部124は、白色下地部分の画素値を仮調整値として算出することができる。
具体的には、調整値算出部124は、色チャンネルごとに、図16に示されるようにヒストグラムにおける、画素値が取り得る最大値(ここでは255)に最も近いピーク(最大値から最小値の方向に向かったときの最初のピーク)の画素値maxXおよび画素数maxVを特定する。次に、調整値算出部124は、ヒストグラムにおいて、画素数maxVに対して予め定められたパラメータthP%(例えばthP=50など)を乗じた画素数(maxV×thP/100)となる画素値の中から、画素値maxX以下で最も大きな画素値XXを特定する。調整値算出部124は、特定した画素値XXを仮調整値とする。このようにして、調整値算出部124は、各色チャンネル(ここでは、R,G,B)に対する仮調整値XXR,XXG,XXBを求める。
ここで、パラメータthPは、図10に示す画質調整レベルバー50により設定された画質調製レベルにより設定される。例えば、画質調整レベル「弱」に対してthP:70%、画質調整レベル「中」に対してthP:50%、画質調整レベル「強」に対してthP:30%が設定される。なお、画質調整レベル「なし」の場合、調整値算出部124は、仮調整値を出力しない。
なお、調整値算出部124は、部分画像ごとに作成された各色チャンネルのヒストグラムにおいて、画素値の最大値に最も近いピークを基に仮調整値を求めるのではなく、最大画素数を有するピークを基に、上記と同様に仮調整値を求めてもよい。最大画素数を有するピークも、白色下地の原稿を撮像した場合、通常当該白色下地部分の画素で構成されることとなる。そのため、調整値算出部124は、白色下地部分の画素値を第1調整値として算出することができる。
(4−5)検証部
検証部125は、部分画像ごとに、調整値算出部124により算出された仮調整値を適用することの適否を検証し、その検証結果を示す検証フラグを記録する。
具体的には、検証部125は、以下の何れかの条件を満たす部分画像については仮調整値の適用が不適切であると判断し、当該部分画像について検証フラグを無効(ここでは0)に設定する。一方、検証部125は、以下の何れの条件をも満たさない部分画像について検証フラグを有効(ここでは1)を設定する。
(条件A):少なくとも1つの色チャンネルにおいて、maxXとXXの差が予め定められた閾値thX(例えばthX=30)以上である。
条件Aに合致する部分画像では、ヒストグラムにおいて、画素値の最大値に近いピークがブロードであることを意味している。これは、部分画像が写真領域や図画のように、下地の領域が無いまたはきわめて少ないことを示している。例えば、図17の領域Hのような写真領域が条件Aを満たすこととなる。
(条件B):各色チャンネルについて求めた調整値XXR,XXG,XXBの最大値と最小値の差が、予め定められたthS(例えばthS=60など)以上である。
仮調整値XXR,XXG,XXBの最大値と最小値の差が大きい領域は、局所的な有彩色の背景や図画を有する可能性が高い領域である。例えば、図17の領域Jのような背景が有彩色の領域が条件Bを満たすこととなる。
(条件C):検証対象の部分画像の調整値と近傍の部分画像の仮調整値との差分が予め定められているthD(例えばthD=80など)以上である。
ここで、差分は、例えばユークリッド距離により求められる。ユークリッド距離は、各色チャンネルの差分の二乗和の平方根により表される。例えば、検証対象の部分画像に対して求められた各色チャンネルの仮調整値をXXRi,XXGi,XXBiとし、近傍の部分画像に対して求められた各色チャンネルの仮調整値の平均値あるいは中央値をXXRo,XXGo,XXBo)とする。このとき、差分Diを、
Di=SQRT[(XXRi-XXRo)2+(XXGi-XXGo)2+(XXBi-XXBo)2)]
により求め、Di>thDであれば、検証対象の部分画像の仮調整値は不適切であると判断する。
条件Cに合致する部分画像は、周囲のより多くの部分画像の特徴(例えば、図17の領域Kの特徴)に比べ突出して異なる特徴を有する画像である。条件Bと同様に、局所的な有彩色の背景や図画を有する可能性が高い領域が条件Cを満たす。なお、条件Cの方が条件Bよりも精度よく、局所的な有彩色の背景や図画を有する可能性が高い領域を抽出することができる。
(4−6)調整値補間部
調整値補間部126は、調整値算出部124により算出された仮調整値と検証部125により設定された検証フラグに基づいて、各部分画像の最終調整値を決定する。調整値補間部126は、検証部125により検証フラグが有効に設定された部分画像について、調整値算出部124により算出された仮調整値を最終調整値とする。一方、調整値補間部126は、検証部125により検証フラグが無効に設定された部分画像について、当該部分画像の周辺に位置し、検証フラグが有効に設定された部分画像の調整値に基づいて最終調整値を算出する。例えば、調整値補間部126は、検証フラグが有効に設定された周辺の部分画像の調整値のみを用いた平滑化フィルタなどを用いることで、最終調整値を算出すればよい。
具体的には、調整値補間部126は、i行目j列目の部分画像(図13参照)の色チャンネルRに対する最終調整値XXRijを、以下の式に従って算出する。
ここで、XXRmnは、m行目n列目の部分画像の色チャンネルRに対する調整値であり、最終調整値が設定済である場合には最終調整値、最終調整値が未設定の場合には仮調整値である。FLGmnは、m行目n列目の部分画像に設定された検証フラグの値である。なお、上述したように、検証フラグ「1」は有効を示し、「0」は無効を示している。上記の式では、画像端の部分画像の最終調整値を求める際に、mまたはnが0または取り得る最大値を超える値になることがある。この場合、XXXRmn=FLGmn=0として演算すればよい。
FLGij=0、かつ、sumFLGj>0の場合とは、設定対象の部分画像に対して検証部125が無効の検証フラグを設定し、かつ、有効の検証フラグが設定されている部分画像が少なくとも1つ周辺に存在している場合である。この場合、数1により、最終調整値XXRij=sumVRij/sumFLGjとなる。つまり、検証フラグが有効に設定された周辺の部分画像のみの調整値の平均値が、設定対象となる部分領域の最終調整値として算出される。
また、FLGij=1の場合とは、設定対象の部分画像に対して検証部125が有効の検証フラグを設定した場合である。この場合、数1により、最終調整値XXRij=仮調整値XXRijとなる。
さらに、FLGij=0、かつ、sumFLGj=0の場合とは、設定対象の部分画像に対して検証部125が無効の検証フラグを設定し、かつ、有効の検証フラグが設定されている部分画像が周辺に存在していない場合である。この場合、最終調整値を設定しない。
また、設定対象となる部分領域に対する検証フラグを以下のように変更する。
すなわち、FLGij=1の場合、そのままFLGij=1とする。また、sumFLGj>0の場合、つまり、周辺の部分画像のうち検証フラグが有効の部分画像が周辺に少なくとも1つ存在する場合には、上記のように数1に従って最終調整値XXRij=sumVRij/sumFLGjと設定するとともに、設定対象の部分画像の検証フラグを有効(FLGij=1)に変更する。一方、sumFLGj=0の場合、つまり、周辺の部分画像のうち検証フラグが有効の部分画像が1つも存在しない場合には、設定対象の部分画像の検証フラグを無効(FLGij=0)のままとする。
このような処理を全ての部分画像の検証フラグが有効(「1」)になるまで繰り返す。例えば、検証部125により設定された時点の検証フラグが図18の(a)の場合、2回の本処理適用にて、全ての部分画像で最終調整量が確定される(図18の(b)参照)。このように、全ての検証フラグが有効に設定された時点の各部分画像の最終調整値を後段に出力する。
なお、FLGij=0、かつ、sumFLGj>0の場合での最終調整値の算出方法は、数1に従った方法に限定されるものではない。例えば、周辺の部分画像の調整値の平均値ではなく、図19に示すフィルタ係数を用いて加重平均を求めるようにしてもよい。
また、分割処理部122により第1部分画像から第2部分画像への再分割処理がされている場合、図20に示すように再分割された第2部分画像の大きさにあわせて周囲の第1部分画像または第2部分画像の調整値を用い、設定対象となる部分画像の最終調整値を算出してもよい。例えば、図20の第2部分画像(19−1)の検証フラグが無効である場合、周辺の部分画像として、左上に部分画像(13)、上に(14)の部分画像(14)、右上にも部分画像(14)、左に部分画像(18)、左下にも部分画像(18)、右に部分画像(19−2)、下に部分画像(19−4)、右下に部分画像(19−5)が存在するものとして、数1に従って最終調整値を算出すればよい。
また、第2部分画像に隣接する再分割されていない第1部分領域の検証フラグが無効である場合には、隣接する複数の第2部分領域の平均値を用いる。例えば、図20の第1部分画像(14)を設定対象の部分画像とするとき、下の第1部分画像(19)の調整値として、第2部分画像(19−1)、第2部分画像(19−2)、および第2部分画像(19−3)の調整値の平均値を用いる。また、第1部分画像(18)を設定対象の部分画像とするとき、右の第1部分画像(19)の調整値として、第2部分画像(19−1)、第2部分画像(19−4)、および第2部分画像(19−7)の調整値の平均値を用いる。
(4−7)調整部
調整部127は、調整値補間部126から出力された各部分画像の最終調整値に基づいて、部分画像ごとに階調補正データを生成する。具体的には、調整部127は、画像補正量読込部121が読み込んだ基準補正データのうち特徴点(d)の入力値を最終調整値に置き換える。また、特徴点(b)および特徴点(c)の入力値については、(最終調整値)/(基準補正データにおける特徴点(d)の入力値) を乗じた値に置き換える。例えば、図12に示す基準補正データが読み込まれ、最終調整値が160である場合、特徴点(d)の入力値を200から160に置換する。さらに、特徴点(b)および特徴点(c)の入力値も160/200を乗じた値に置換する。そして、調整部127は、更新した特徴点(a)〜(e)の値を用いて、3次のスプライン補間や線形補間を行い、特徴点以外の入力値に対する出力値を求める。調整部127は、全ての階調数分の入力値と出力値とを一対一で対応付けた階調補正用の1次元ルックアップテーブルを生成する。調整値は、部分画像ごとに、各色チャンネルに対応する1次元ルックアップテーブルを生成する。
(4−8)補正処理部
補正処理部128は、出力対象画像データの各部分画像について、調整部127により求められた階調補正用の1次元ルックアップテーブルを基に階調補正を行うことにより、補正済画像データを生成する。補正処理部128は、生成した補正済画像データを出力対象画像データと対応付けて記憶部108に格納する。
ただし、部分画像ごとに1次元ルックアップテーブルが異なるため、部分画像間の境界において不自然な線が現れる可能性がある。そこで、以下のように補間演算により階調補正を行うことが好ましい。
まず、補正処理部128は、部分領域を中心を通る横方向の分割線および中心を通る縦方向の分割線により4分割したときの何れの分割領域に処理対象の画素が属するかを判断する。分割領域としては、左上領域、右上領域、左下領域、右下領域が存在する。
対象画素が左上領域に属する場合、補正処理部128は、対象画素が属する部分領域(対象部分領域)を右下部分領域RBとし、対象部分領域の上に位置する部分領域を右上部分領域RUとし、対象部分領域の左に位置する部分領域を左下部分領域LBとし、対象部分画像の左上に位置する部分領域を左上部分領域LUとして決定する。
対象画素が右上領域に属する場合、補正処理部128は、対象画素が属する部分領域(対象部分領域)を左下部分領域LBとし、対象部分領域の上に位置する部分領域を左上部分領域LUとし、対象部分領域の右に位置する部分領域を右下部分領域RBとし、対象部分画像の右上に位置する部分領域を右上部分領域RUとして決定する。
対象画素が左下領域に属する場合、補正処理部128は、対象画素が属する部分領域(対象部分領域)を右上部分領域RUとし、対象部分領域の下に位置する部分領域を右下部分領域RBとし、対象部分領域の左に位置する部分領域を左上部分領域LUとし、対象部分画像の左下に位置する部分領域を左下部分領域LBとして決定する。
対象画素が右下領域に属する場合、補正処理部128は、対象画素が属する部分領域(対象部分領域)を左上部分領域LUとし、対象部分領域の下に位置する部分領域を左下部分領域LBとし、対象部分領域の右に位置する部分領域を右上部分領域RUとし、対象部分画像の右下に位置する部分領域を右下部分領域RBとして決定する。
次に、図21の(b)に示されるように、対象画素Pについて、左上部分領域LU(または左下部分領域LB)の中心からの横方向の距離と右上部分領域RU(または右下部分領域RB)の中心からの横方向の距離との比であるs:1−sを求める。同様に、左上部分領域LU(または右上部分領域RU)の中心からの縦方向の距離と左下部分領域LB(または右下部分領域RB)の中心からの縦方向の距離との比であるt:1−tを求める。
そして、補正処理部128は、以下の式(1)に従って対象画素Pに対する階調補正後の出力値を算出する。なお、以下の式(1)において、xは、階調補正前の出力対象画像データにおける対象画素Pの濃度値(画素値)である。LU(x)は、左上部分領域LUに対して調整部127が求めた1次元ルックアップテーブルを用いたときの画素値xに対する出力値である。RU(x)は、右上部分領域RUに対して調整部127が求めた1次元ルックアップテーブルを用いたときの画素値xに対する出力値である。LB(x)は、左下部分領域LBに対して調整部127が求めた1次元ルックアップテーブルを用いたときの画素値xに対する出力値である。RB(x)は、右下部分領域RBに対して調整部127が求めた1次元ルックアップテーブルを用いたときの画素値xに対する出力値である。
Out=(1-t)*{(1-s)*LU(x)+s*RU(x)} +t*{(1-s)*LB(x)+s*RB(x)}
・・・式(1)。
なお、図21の(a)(c)に示されるように、対象画素Pが端部に位置する部分画像の端部側に位置する場合、左上部分画像LU、右上部分画像RU、左下部分画像LB、右下部分画像RBの一部が存在しない。画像の上端部に対象画素Pが存在する場合、左上部分画像LUおよび右上部分画像RUが存在しないため、t=1として上記式(1)に従って算出すればよい。同様に、画像の下端部に対象画素Pが存在する場合にはt=0とし、画像の左端部に対象画素Pが存在する場合にはs=1とし、画像の右端部に対象画素Pが存在する場合にはs=0とする。
(4−9)処理例
次に、画像処理部における具体的な処理例について説明する。ここでは、補正対象となる出力対象画像データで示される画像が図22の場合を例にとり説明する。図22に示されるように、撮像時の照明環境等の原因により、画像の右下領域が暗くなっている。また、撮像対象物である原稿の下地は白色であるのに対し、出力対象画像データでは全体的に黄色っぽくなっているとする。
図22に示される出力対象画像データに対して分割処理部122が複数の部分画像に分割する。複数の部分画像の中に、図20に示されるように左上の部分画像(1)と、右下の部分画像(2)とが含まれている。
図23の左部は、部分画像(1)に対してヒストグラム作成部123により作成されたヒストグラムを示す。部分画像(1)のように撮像対象物の下地部分を多く含む領域では、画素値の最大値に最も近いピークは、下地部分の画素により構成される。上述したように、部分画像(1)では明るさの低下はないものの黄色っぽくなっているために、RおよびGのピークの濃度値(画素値)は高いものの、Bのピークの濃度値(画素値)が低下している。
図23の右部は、ヒストグラムから調整値算出部124により算出された仮調整値を示している。仮調整値からもわかるように、R,Gでは高い値を示しているが、Bでは低い値を示している。
図24の左部は、部分画像(2)に対してヒストグラム作成部123により作成されたヒストグラムを示す。部分画像(2)でも撮像対象物の下地部分を多く含むため、画素値の最大値に最も近いピークは、下地部分の画素により構成される。ただし、上述したように、部分画像(2)では照明環境等の影響で暗くなっているとともに、黄色っぽくなっている。そのため、R,G,Bのピークの濃度値(画素値)が部分画像(1)に比べて低く、また、Bのピークの濃度値(画素値)がR,Gよりも低下している。
図24の右部は、ヒストグラムから調整値算出部124により算出された仮調整値を示している。図23に示す部分画像(1)の仮調整値に比べて、R,G,Bの仮調整値が低く、かつ、Bの仮調整値がR,Gよりも低いことがわかる。
次に、検証部125により各部分画像についての検証が行われるが、部分画像(1)(2)の両方との検証フラグが有効に設定されたとする。この場合、調整値補間部126は、図23,24に示す仮調整値を最終調整値として設定する。
次に、調整部127は、図25に示されるように、基準補正データの特徴点(d)の入力値を最終調整値で置換し、階調補正用の1次元ルックアップテーブルを生成する。なお、上述したように、特徴点(d)の入力値を最終調整値で置換するとともに、特徴点(b)(c)も合わせて調整する。
図26は、部分画像(1)について調整部127が求めた1次元ルックアップテーブルをグラフ化した図である。図示されるように、R,Gについては基準階調補正曲線よりも出力値が小さくなり、Bについては基準階調補正曲線よりも出力値が大きくなっている。図26に示されるような1次元ルックアップテーブルにより、補正処理部128が部分画像(1)の階調補正を行うと、全体的な輝度はほとんど変化しないものの、黄色っぽい下地部分が白色に補正されることとなる。
図27は、部分画像(2)について調整部127が求めた1次元ルックアップテーブルをグラフ化した図である。図示されるように、R,G,Bの何れも基準階調補正曲線よりも出力値が大きくなっている。これにより、補正処理部128が部分画像(2)の階調補正を行うと、部分画像(2)の下地部分の輝度が、部分画像(1)と同程度に上がることとなる。また、Bの方がR,Gよりも、出力値が大きくなっている。そのため、黄色っぽい下地部分が白色に補正されることとなる。
このような補正が実行されることにより、撮像画像の最大輝度付近を白色に置き換え、色かぶりや下地除去を行うことができる。つまり、撮像対象物の下地部分を均一な輝度で白色化させることができる。
(5)出力対象画像データの画像形成装置への転送について
ユーザは、携帯端末装置100を持って画像形成装置200または画像表示装置300の近くにきて、携帯端末装置100を操作し、赤外線通信のような近距離無線通信方式を用いて出力対象画像データを画像形成装置200または画像表示装置300に送信させる。具体的には、ユーザは、携帯端末装置100の入力部106に、出力対象画像データまたは補正済画像データの送信指示を入力する。
制御部109は、送信指示に従って、記憶部108に格納された出力対象画像データまたは補正済画像データを特定する。ユーザは、図10に示す画面を確認後、補正済画像データの方が好ましい場合には補正済画像データを送信対象として指定し、出力対象画像データで問題なければ補正済画像データを送信対象として指定すればよい。そして、制御部109は、出力対象画像データまたは補正済画像データを画像形成装置200または画像表示装置300に送信する送信処理を、通信部104に実行させる。なお、通信部104は、出力対象画像データまたは補正済画像データと、対応付けられているファイルネーム、出力処理情報、ならびに、記憶部108に格納されている機種情報およびユーザ情報とを合わせて送信する。
(6)画像形成装置の構成
次に、本実施形態に係る画像形成装置200の構成について説明する。本実施形態において、画像形成装置200は、スキャナ、プリンタ、複写機等の機能を備えた複合機である。
図28は、画像形成装置200の構成を示すブロック図である。画像形成装置200は、画像読取部201、画像処理部202、認証部203、画像形成部204、表示部205、入力部206、第1通信部207、第2通信部208、記録媒体アクセス部209、記憶部210、および制御部212を備えている。
画像読取部201は、原稿を読み取るものであり、CCD(Charge Coupled Device)を備えたスキャナ部を有し、原稿から反射してきた光を、RGBに色分解された電気信号(アナログの画像信号)に変換し、この電気信号を出力するものである。
画像処理部202は、画像データに対して、所定の画像処理を行うものである。本実施形態では、画像処理部202は、携帯端末装置100または画像表示装置300から受信した画像データに対して所定の画像処理を行う。画像処理部202における画像処理の詳細については後述する。
認証部203は、携帯端末装置100または画像表示装置300から受信した画像データの出力処理を行う際に、ユーザ認証を行うものである。具体的には、認証部203は、携帯端末装置100から受信したユーザ情報と、入力部206に入力されたユーザ情報(ユーザIDおよびパスワード)とを照合してユーザ認証を行う。認証部203は、認証結果を制御部212に送る。
画像形成部204は、例えば電子写真方式やインクジェット方式を用いて、紙などの記録用紙上に画像を形成するものである。すなわち、画像形成部204は、出力処理の一つとして、補正済画像データで示される画像を記録用紙やOHP用紙などの記録紙に印刷する印刷処理を実行するものである。
表示部205は、例えば液晶ディスプレイ等より構成される。また、入力部206は、例えば液晶ディスプレイのタッチパネルやボタンを押すことなどによりデータの入力を行うためのものである。
第1通信部207は、USB1.1またはUSB2.0の規格に基づく、シリアル転送やパラレル転送、無線データ通信機能を有するものである。第1通信部207は、携帯端末装置100または画像表示装置300から、ファイルネーム、携帯端末装置100の機種情報、ユーザ情報および出力処理情報が付加された画像データ(出力対象画像データまたは補正済画像データ)を受信する。
第2通信部208は、(a)無線LANの規格である、IEEE802.11a、IEEE802.11bおよびIEEE802.11gのいずれかに基づく無線技術を利用したデータ通信、(b)イーサネット(登録商標)を利用した通信用インターフェースの機能を有し、LANケーブルを介した、ネットワークとのデータ通信、(c)無線通信規格である、IEEE802.15.1(いわゆるBluetooth(登録商標))やIrSimpleなどの赤外線通信規格、Felica(登録商標)などの通信方式のいずれかに基づく無線技術を利用したデータ通信、の機能を有するものである。
第2通信部208は、出力処理として、画像処理部202により所定の画像処理が施された画像データをサーバに格納するファイリング処理、もしくは、当該所定の画像処理が施された画像データを添付したメールを送信するメール送信処理を実行する。
記録媒体アクセス部209は、プログラムが記録された記録媒体から、プログラムを読み出すものである。記憶部210は、上記各部が処理を実行するためのプログラムを記憶するためのものである。
制御部212は、画像形成装置200の各部の制御を行うものである。具体的には、制御部212は、第1通信部207が携帯端末装置100または画像表示装置300から画像データ(出力対象画像データまたは補正済画像データ)を受信すると、当該画像データを画像処理部202に出力し、画像処理を実行させる。また、制御部212は、画像データに付けられているユーザ情報を認証部203に出力し、認証部203に認証処理を実行させる。制御部212は、認証部203から認証成功の認証結果を受けると、画像データに付けられていた出力処理情報に従って処理を実行させる。すなわち、出力処理情報が印刷処理を示している場合、制御部212は、画像処理部202により画像処理が施された画像データに基づいた印刷を画像形成部204に実行させる。また、出力処理情報がファイリング処理またはメール送信処理を示している場合、制御部212は、画像処理部202により画像処理が施された画像データに基づいたファイリング処理またはメール送信処理を第2通信部208に実行させる。
(7)画像処理部における画像処理について
次に、画像処理部202が実行する画像処理の詳細について説明する。なお、画像処理部202は、画像読取部201が読み取った画像データに対しても画像処理を行うが、ここでは、携帯端末装置100または画像表示装置300から受信した画像データ(出力対象画像データまたは補正済画像データ)に対する画像処理の内容について説明する。
図29は、画像処理部202の内部構成を示すブロック図である。図29に示されるように、画像処理部202は、画質調整部221、幾何学補正部(写像生成部)222、レンズ歪み補正部223、高解像度補正部225および出力画像処理部224を備えている。以下、各部の具体的な処理内容を順に説明する。
(7−1)画質調整部
画質調整部221は、出力対象画像データのカラーバランス、コントラストの補正を行うものである。画質調整部221は、受信した出力対象画像データについて、各色チャンネルの最大値・最小値を求め、これらを揃えるようなルックアップテーブルを作成し、各色チャンネルに適用する。具体的には、画質調整部221は、ルックアップテーブルとして、図30に示すように、あるチャンネルの最大値がMX、最小値がMNであり、データが8bitのとき、MNから(MX−MN)/255のステップで増加させていくようなテーブルを作成すればよい。そして、画質調整部221は、作成したテーブルに従って、各画素値を変換する。これにより、カラーバランスが補正される。
また、画質調整部221は、コントラストの補正についても同様の方法で実行する。なお、カラーバランスを特に変える必要がなければ、各色チャンネルに適用するルックアップテーブルを同一のものとすればよい。
なお、カラーバランス・コントラストの補正方法についてはその他の公知の技術を適用してもよい。
また、携帯端末装置100から補正済画像データを受信した場合には、既に画質調整が実施されているため、画質調整部221の処理を省略してもよい。
(7−2)レンズ歪み補正部
レンズ歪み補正部223は、画像データについて、レンズ歪みの補正を実行するものである。
レンズ歪み補正部223は、画像データについて、上記の(3−2)に記載した処理と同様にして、撮像画像における撮像対象物のエッジ画素群を検出する。そして、レンズ歪み補正部223は、検出されたエッジ画素群を曲線近似し、その曲線の式からレンズひずみ補正を行う。
具体的には、レンズ歪み補正部223は、検出した撮像対象物のエッジ画素を検出し、上記の(3−2)に記載した処理と同様に、各エッジ画素を撮像対象物と背景との境界の4辺に対応する4つのエッジ画素群に分類する。そして、図31の実線で示されるように、各群に属するエッジ点に対して2次曲線近似を行う。このようにして4つの群に対して求めた2次曲線は、撮像対象物の4辺に対応する。また、レンズ歪み補正部223は、4つの2次曲線で囲まれる領域の角部に相当する、4つの2次曲線の交点を求める。次に、レンズ歪み補正部223は、各辺に対して求めた2次曲線に外接し、かつ、4つの交点を結んだ四角形(図31において点線で示される)と相似している外接四角形(図31において1点鎖線で示される)を求める。そして、レンズ歪み補正部223は、このようにして求めた外接四角形が補正後の対象物のエッジ画素の位置となるように、撮像画像における撮像対象物の領域内の画素位置を変換する。この変換は、基準点(例えば撮像対象物の領域の重心点)からのベクトルを基に計算すればよい。これにより、携帯端末装置100の撮像部101によるレンズ歪みを補正することができる。
レンズ歪みの補正の方法としては、上記の方法に限定されるものではなく公知の技術を用いることができる。
(7−3)幾何学補正部
幾何学補正部222は、ポスターや原稿用紙のような矩形状の撮像対象物に対して、文書画像が形成された平面の法線方向とは異なる方向から撮像することによる撮像対象物の歪み(つまり、文書画像が形成された矩形状の平面の歪み)を補正するとともに、画像データにおける撮像対象物の傾きを補正するものである。
具体的には、幾何学補正部222は、幾何学的配置検出部111と同様に、出力対象画像データに基づいて、矩形の撮像対象物と背景との境界となる4つのエッジ画素群に対応する直線の式を求める。そして、幾何学補正部222は、当該4つの直線で囲まれる四角形の領域(補正前領域)を特定し、特定した補正前領域を切り出す。
次に、幾何学補正部222は、図32のように、特定した四角形の補正前領域(図32において一点鎖線で示される)を、上下の2辺が水平方向に略平行であり、所定のアスペクト比および大きさを有する、矩形状の標準領域(例えば、ビジネス文書出用いられているA判B判なら7:10であるなど。図32において実線で示される)に変換するための写像を求める。なお、標準領域の上下の2辺は水平方向と完全に平行でなくても良く、水平方向に対して僅かな所定範囲内の角度を有していても良い(略平行であっても良い)。ここで、写像とは、補正前領域の各画素の座標(x1、y1)から標準領域の対応する画素の座標(x2、y2)への写像変換(座標変換処理)するための規則fx、fyのことであり、x2=fx(x1、y1)、y2=fy(x1、y1)で表される。当該写像変換としては公知の技術を用いることができる。なお、幾何学補正部222は、予め記憶部210に記憶されているアスペクト比に合うように変換してもよいし、入力部206に入力されたアスペクト比に合うように変換してもよい。また、標準領域の大きさとしては、入力部206に入力された大きさが設定されてもよいし、補正前領域と同じ面積となるような大きさが設定されてもよい。
次に、幾何学補正部222は、求めた写像に従って、画像データから切り出した補正前領域に対して座標変換を行う。これにより、幾何学的歪みおよび傾きの補正(以下、幾何学補正という場合がある)することができる。
幾何学補正の方法としては、上記の方法に限定されるものではなく公知の技術を用いることができる。
(7−4)高解像度補正部
高解像度補正部225は、画像データに対する高解像度補正を行うものである。本実施形態では、高解像度補正部225は、1つの画像データに基づいて高解像度補正を行ってもよく、複数の画像データを用いて高解像度補正を行ってもよい。
一般的には、画像パターンのエッジ方向性を検知し、その向きに合わせた補間を行うとともに、補間によるひずみや入力画像に存在したノイズ成分の影響などの除去を目的としたノイズ除去処理を行うことにより、高解像度補正を実行することができる。
1つの画像データに基づいて高解像度補正を行う方法としては特開2010−245788に記載の方法を、複数の画像データを用いて高解像度補正を行う方法としては特開2010−245787に記載の方法を用いることができる。
(7−5)出力画像処理部
出力画像処理部224は、画像データを出力する際の領域分離処理、色補正、黒生成下色除去処理、空間フィルタ処理、中間調処理を実行するものである。なお、これらの処理としては公知の技術を用いることができる。
(8)変形例
本発明の撮像画像処理システムは、上記の実施形態に限定されることがなく、様々な変更が可能である。以下、変形形態の具体例について説明する。
(8−1)出力対象画像決定部の決定方法について
上記の説明では、出力対象画像決定部113は、表示処理部112により撮像対象物が撮像範囲内に収まっていることを示す情報(例えば「OK」)が表示されているときにシャッタボタン(図7の符号10)が操作されたタイミングで、表示部105に表示されている撮像画像を示す画像データを出力対象画像データと決定した。
しかしながら、出力対象画像決定部113は、シャッタボタン10の操作ではなく自動的に出力対象画像データを決定するオートシャッタ機能を有していてもよい。
すなわち、オートシャッタ機能が有効である場合、出力対象画像決定部113は、撮像部101により連続して撮像された所定数の撮像画像(コマ画像)に対して、表示処理部112により撮像対象物が撮像範囲内に収まっていることを示す情報を表示している場合に、当該所定数の撮像画像の1つ(例えば、最後に撮像された撮像画像)を示す画像データを出力対象画像データとして決定する。
より具体的には、出力対象画像決定部113は、撮像部101により連続して撮像された所定数(例えば30)の撮像画像(コマ画像)に対して、幾何学的配置検出部111から出力された抽出結果情報で示される4つの頂点座標(仮頂点座標を除く)を記憶する。そして、各頂点について、所定数の撮像画像から得られた頂点座標の差の二乗が、予め定められた閾値未満である場合に、出力対象画像決定部113は、表示部105に表示されている撮像画像を示す画像データを出力対象画像データと決定すればよい。
ここで、予め定められた閾値は、例えば、
(撮像範囲の高さYmax×1/16)+(撮像範囲の幅Xmax×1/16)
が設定される。
これにより、ユーザがシャッタボタンを操作しなくても出力対象画像データを決定できるので、シャッタボタンを操作することによる撮像対象物のブレや撮像対象物が撮像範囲からはみ出すことを防止できる。
(8−2)画像表示装置について
画像表示装置300は、画像形成装置200が備える画像処理部202を備えていても良い。そして、画像表示装置300は、出力対象画像データに対して、幾何学補正や高解像度補正を行った補正済画像データで示される画像を表示させる表示処理を出力処理として行ってもよい。
(8−3)携帯端末装置について
撮像対象物の撮像条件が悪い場合、画像処理部103にて画質調整を行ったとしても、画像を確認しにくいことがある。
そこで、携帯端末装置100において、出力対象画像データが、画像形成装置における画像処理が効果を生じさせる条件で撮像されたか否かを判定し、その判定結果に応じて再撮像をユーザに促してもよい。
例えば、明るさ、コントラスト、カラーバランス、ブレ(激しい手ぶれ)などを判定してもよい。
明るさについては、例えば露出オーバー(明るすぎる)やアンダー(暗すぎる)の場合に再度の撮像が必要となるケースが考えられる。例えば、制御部109は、出力対象画像データの画素値のうち、最大のものと最小のものを求め、最大値がある閾値(例えば8ビットで100など)以下であれば露出アンダーと、最小値がある閾値(例えば8ビットで150など)以上であれば露出オーバーと判定する。
コントラストについては、制御部109は、出力対象画像データの画素値のうちの最大・最小の差分値が所定閾値以下の場合、コントラスト不足と判定する。
なお、明るさ・コントラストの判定において、制御部109は、各色チャンネルに対して判定を行っても良いし、平均値(R+G+B/3)や明度値(0.299×R+0.587×G+0.114×B:NTSC準拠)を用いても良い。
カラーバランスについては、各色チャンネル(RGB)の平均値や最大・最小値の比較を行うことで、ある一つのチャンネルに過度の偏りが発生していることを把握できる。そこで、制御部109は、例えば、出力対象画像データ中の最大明度値付近の値(最大明度〜最大明度−5程度)を持つ画素値の各色チャンネルの値の平均値(Ra,Ga,Ba)を求め、その各色チャンネルの最大値と最小値の差分が値に応じた一定値以上[Max(Ra,Ga,Ba)−Min(Ra,Ga,Ba)>0.1×Max(Ra,Ga,Ba)]である場合に、カラーバランス不良であると判定する。
制御部109は、露出アンダー、露出オーバー、コントラスト不足、カラーバランス不良を判定した場合、再撮像を促すメッセージを表示部105に表示させる。
(8−4)携帯端末装置から画像形成装置への画像データの送信タイミングについて
上記の説明では、文書撮像モードにより蓄積された画像データを携帯端末装置100で蓄積しておき、送信指示が入力されたタイミングで、それまでに蓄積された出力対象画像データをまとめて送信するものとした。しかしながら、携帯端末装置100から画像データを画像形成装置200に送信するタイミングはこれに限定されない。
例えば、出力対象画像データまたは補正済画像データが記憶部108に格納されるたびに、出力対象画像データまたは補正済画像データを画像形成装置200に送信してもよい。この場合、ユーザは、画像形成装置200の近傍にいない場合がほとんどである。そのため、携帯端末装置100の通信部104は、携帯電話網およびインターネット網を介して、画像データを画像形成装置200に送信すればよい。
(8−5)出力処理情報について
上記の説明では、出力処理情報を携帯端末装置100が取得し、画像形成装置200に送信するものとした。しかしながら、これに限らず、画像形成装置200がユーザ認証のためにユーザ情報を取得する際に、出力処理情報(出力処理の種類、出力処理のための設定条件を示す情報)を取得してもよい。
(8−6)出力処理について
画像形成装置200において、制御部212は、ファイリング処理やメール送信処理を行う前に、画像処理部202によって生成された画像データを高圧縮PDFに変換してもよい。なお、高圧縮PDFデータとは、画像データの中の背景部分と文字分とを分離し、ぞれぞれの部分に最適な圧縮処理を行ったPDFデータである。これにより、文字判読性が良好で、画像ファイルサイズも低減させることができる。
また、制御部212は、ファイリング処理やメール送信処理を行う前に、画像処理部202によって生成された画像データに対してOCR処理を実行し、テキストデータを生成してもよい。そして、制御部212は、画像データをPDFに変換し、生成したテキストデータを透明テキストとして付加してもよい。なお、透明テキストとは、認識された文字をテキスト情報として見掛け上は見えない形で画像データに重ね合わせる(あるいは埋め込む)ためのデータである。例えば、PDFファイルでは、画像データに透明テキストを付加した画像ファイルが一般に使用されている。そして、制御部212は、生成した透明テキスト付きPDFデータを出力させてもよい。これにより、テキスト検索可能なファイルのように活用しやすい電子化文書を出力することができる。
(9)プログラムおよび記録媒体
本発明はコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体に、上記した携帯端末装置100で撮像した画像を画像形成装置200に送信し画像形成装置200より出力する方法を記録するものとすることもできる。
この結果、上記処理を行うプログラムコード(実行形式プログラム、中間コードプログラム、ソースプログラム)を記録した記録媒体を持ち運び自在に提供することができる。
なお、本実施の形態では、この記録媒体としては、マイクロコンピュータで処理が行われるために図示していないメモリ、例えばROMのようなもの、そのものがプログラムメディアであっても良いし、また、図示していないが外部記憶装置としてプログラム読み取り装置が設けられ、そこに記録媒体を挿入することで読み取り可能なプログラムメディアであっても良い。
いずれの場合においても、格納されているプログラムはマイクロプロセッサがアクセスして実行させる構成であっても良いし、あるいは、いずれの場合もプログラムコードを読み出し、読み出されたプログラムコードは、マイクロコンピュータの図示されていないプログラム記憶エリアにダウンロードされて、そのプログラムが実行される方式であってもよい。このダウンロード用のプログラムは予め本体装置に格納されているものとする。
ここで、上記プログラムメディアは、本体と分離可能に構成される一時的でない有形の媒体(non-transitory tangible medium)であり、磁気テープやカセットテープ等のテープ系、フレキシブルディスクやハードディスク等の磁気ディスクやCD−ROM/MO/MD/DVDなどの光ディスクのディスク系、ICカード(メモリカードを含む)/光カード等のカード系、あるいはマスクROM、EPROM(Erasable Programmable Read Only Memory)、EEPROM(登録商標)(Electrically Erasable Programmable Read Only Memory)、フラッシュROM等による半導体メモリを含めた固定的にプログラムコードを担持する媒体であっても良い。
また、本実施の形態においては、インターネットを含む通信ネットワークを接続可能なシステム構成であることから、通信ネットワークからプログラムコードをダウンロードするように流動的にプログラムコードを担持する媒体であっても良い。なお、このように通信ネットワークからプログラムをダウンロードする場合には、そのダウンロード用のプログラムは予め本体装置に格納しておくか、あるいは別な記録媒体からインストールされるものであっても良い。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
上記記録媒体は、携帯端末装置100や画像形成装置200に備えられるプログラム読み取り装置により読み取られることで上述した画像処理方法が実行される。
本発明は上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能である。すなわち、請求項に示した範囲で適宜変更した技術的手段を組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
本発明は、携帯端末装置と画像形成装置や画像表示装置との間でデータ通信を行う撮像画像処理システムに適用することができる。
100 携帯端末装置(画像処理装置)
101 撮像部
103 画像処理部
104 通信部
105 表示部
106 入力部
107 記録媒体アクセス部
108 記憶部
109 制御部
121 画像補正量読込部(基準データ取得部)
122 分割処理部
123 ヒストグラム作成部
124 調整値算出部(調整値決定部)
125 検証部
126 調整値補間部(調整値変更部)
127 調整部(階調補正データ生成部)
128 補正処理部
200 画像形成装置
300 画像表示装置

Claims (10)

  1. 複数の入力値の各々と補正値との対応関係を示す、予め定められた基準データを取得する基準データ取得部と、
    撮像画像を複数の部分画像に分割する分割処理部と、
    上記部分画像について、色成分ごとに濃度値に対する画素数の分布を示すヒストグラムを作成するヒストグラム作成部と、
    上記部分画像ごとに、上記ヒストグラムにおけるピークに基づいて調整値を決定する調整値決定部と、
    上記部分画像ごとに、上記基準データの複数の入力値のうちの特定入力値を上記調整値で置き換えることで階調補正データを生成する階調補正データ生成部と、
    上記部分画像ごとに上記階調補正データを用いて階調補正することで補正画像を生成する補正処理部とを備え
    上記調整値決定部は、上記ヒストグラムにおいて、濃度値として取り得る最大値に最も近いピークの画素数に所定係数を乗じた値に対応する濃度値を上記調整値として決定することを特徴とする画像処理装置。
  2. 複数の入力値の各々と補正値との対応関係を示す、予め定められた基準データを取得する基準データ取得部と、
    撮像画像を複数の部分画像に分割する分割処理部と、
    上記部分画像について、色成分ごとに濃度値に対する画素数の分布を示すヒストグラムを作成するヒストグラム作成部と、
    上記部分画像ごとに、上記ヒストグラムにおけるピークに基づいて調整値を決定する調整値決定部と、
    上記部分画像ごとに、上記基準データの複数の入力値のうちの特定入力値を上記調整値で置き換えることで階調補正データを生成する階調補正データ生成部と、
    上記部分画像ごとに上記階調補正データを用いて階調補正することで補正画像を生成する補正処理部とを備え、
    上記調整値決定部は、上記ヒストグラムにおいて、画素数が最大のピークの画素数に所定係数を乗じた値に対応する濃度値を上記調整値として決定することを特徴とする画像処理装置。
  3. 複数の入力値の各々と補正値との対応関係を示す、予め定められた基準データを取得する基準データ取得部と、
    撮像画像を複数の部分画像に分割する分割処理部と、
    上記部分画像について、色成分ごとに濃度値に対する画素数の分布を示すヒストグラムを作成するヒストグラム作成部と、
    上記部分画像ごとに、上記ヒストグラムにおけるピークに基づいて調整値を決定する調整値決定部と、
    上記部分画像ごとに、上記基準データの複数の入力値のうちの特定入力値を上記調整値で置き換えることで階調補正データを生成する階調補正データ生成部と、
    上記部分画像ごとに上記階調補正データを用いて階調補正することで補正画像を生成する補正処理部と、
    下記の何れかの条件を満たす場合に、上記調整値決定部により決定された調整値が不適切であると判定する検証部と、
    調整値決定部により決定された調整値が不適切であると上記検証部により判定された部分画像の調整値を、当該部分画像の周辺に位置し、上記検証部により調整値が適切であると判定された部分画像の調整値に基づいて変更する調整値変更部とを備え、
    上記階調補正データ生成部は、上記調整値変更部により調整値が変更されている場合には変更後の調整値に基づいて階調補正データを生成することを特徴とする画像処理装置。
    条件A:上記ヒストグラムにおいて、上記ピークにおける濃度値と当該ピークの画素数に所定係数を乗算した値に対応する濃度値との差が第1閾値以上である。
    条件B:上記調整値決定部により決定された色成分ごとの調整値の最大値と最小値との差が第2閾値以上である。
    条件C:周辺に位置する部分画像の調整値との差が第3閾値以上である。
  4. 上記分割処理部は、上記部分画像における複数箇所の濃度値の分布情報に基づいて、当該部分画像について再分割処理が必要か否かを判定し、分割処理が必要であると判定した場合、当該部分画像を更に複数の部分画像に分割することを特徴とする請求項1から3のいずれか1項に記載の画像処理装置。
  5. 上記分割処理部は、全ての部分画像について再分割処理が不要であると判定するまで、再分割処理を行うことを特徴とする請求項4に記載の画像処理装置。
  6. 上記基準データは、基準チャートを所定の環境条件下で撮像して得られた基準撮像画像から求められた階調補正曲線の中の複数の特徴点における入力値と補正値との対応関係を示すことを特徴とする請求項1から5の何れか1項に記載の画像処理装置。
  7. 上記特定入力値は、上記基準撮像画像における白色下地部分の画素に対応する入力値であることを特徴とする請求項6に記載の画像処理装置。
  8. 撮像部と、
    上記撮像部により撮像された撮像画像、および上記補正処理部により生成された補正画像が表示される表示部とを備えることを特徴とする請求項1から7の何れか1項に記載の画像処理装置。
  9. 請求項1から8のいずれか1項に記載の画像処理装置を動作させるプログラムであって、コンピュータを上記各部として機能させるためのプログラム。
  10. 請求項9に記載のプログラムを記録したコンピュータ読取り可能な記録媒体。
JP2012146104A 2012-06-28 2012-06-28 画像処理装置、プログラムおよび記録媒体 Active JP5547243B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2012146104A JP5547243B2 (ja) 2012-06-28 2012-06-28 画像処理装置、プログラムおよび記録媒体
PCT/JP2013/065261 WO2014002689A1 (ja) 2012-06-28 2013-05-31 画像処理装置および記録媒体
US14/410,278 US9497355B2 (en) 2012-06-28 2013-05-31 Image processing apparatus and recording medium for correcting a captured image
CN201380032918.8A CN104412299A (zh) 2012-06-28 2013-05-31 图像处理装置以及记录介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012146104A JP5547243B2 (ja) 2012-06-28 2012-06-28 画像処理装置、プログラムおよび記録媒体

Publications (2)

Publication Number Publication Date
JP2014010576A JP2014010576A (ja) 2014-01-20
JP5547243B2 true JP5547243B2 (ja) 2014-07-09

Family

ID=49782855

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012146104A Active JP5547243B2 (ja) 2012-06-28 2012-06-28 画像処理装置、プログラムおよび記録媒体

Country Status (4)

Country Link
US (1) US9497355B2 (ja)
JP (1) JP5547243B2 (ja)
CN (1) CN104412299A (ja)
WO (1) WO2014002689A1 (ja)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5905417B2 (ja) 2013-07-29 2016-04-20 京セラ株式会社 携帯端末および表示制御方法
JP6391277B2 (ja) * 2014-04-14 2018-09-19 キヤノン株式会社 画像処理装置、通信システム、情報処理方法及びプログラム
JP6213419B2 (ja) * 2014-07-31 2017-10-18 京セラドキュメントソリューションズ株式会社 画像形成装置
JP6437775B2 (ja) * 2014-09-30 2018-12-12 エルジー ディスプレイ カンパニー リミテッド タッチパネル装置およびタッチパネルのタッチ位置座標算出方法
JP6485146B2 (ja) 2015-03-19 2019-03-20 富士ゼロックス株式会社 色変換情報生成装置及びプログラム
US9805662B2 (en) * 2015-03-23 2017-10-31 Intel Corporation Content adaptive backlight power saving technology
JP6369369B2 (ja) 2015-03-27 2018-08-08 ブラザー工業株式会社 画像処理装置、および、コンピュータプログラム
JP6365371B2 (ja) * 2015-03-27 2018-08-01 ブラザー工業株式会社 画像処理装置、および、コンピュータプログラム
CN106982310B (zh) * 2016-01-19 2019-05-03 株式会社理光 图像形成装置及其设定方法
JP6737108B2 (ja) 2016-09-27 2020-08-05 富士通株式会社 画像補正装置、画像補正方法及び画像補正用コンピュータプログラム
CN108124122A (zh) * 2016-11-29 2018-06-05 法乐第(北京)网络科技有限公司 影像处理方法、装置及车辆
JP6953178B2 (ja) * 2017-05-22 2021-10-27 キヤノン株式会社 画像処理装置、画像処理方法、プログラム
JP7026456B2 (ja) * 2017-07-05 2022-02-28 キヤノン株式会社 画像処理装置、学習装置、フォーカス制御装置、露出制御装置、画像処理方法、学習方法、及びプログラム
JP2019105919A (ja) * 2017-12-11 2019-06-27 シャープ株式会社 平滑画像生成装置、異常判定装置、平滑画像生成方法、およびプログラム
JP6929823B2 (ja) * 2018-11-16 2021-09-01 株式会社東芝 読取システム、読取方法、プログラム、記憶媒体、及び移動体
JP7427398B2 (ja) * 2019-09-19 2024-02-05 キヤノン株式会社 画像処理装置、画像処理方法、画像処理システム及びプログラム
CN113341842B (zh) * 2021-06-28 2022-04-22 山东科技大学 一种堆场喷雾除尘智能控制系统
US20230169689A1 (en) * 2021-11-30 2023-06-01 Texas Instruments Incorporated Suppression of clipping artifacts from color conversion

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001265084A (ja) * 2000-03-21 2001-09-28 Ricoh Co Ltd 画像形成装置
JP4281311B2 (ja) * 2001-09-11 2009-06-17 セイコーエプソン株式会社 被写体情報を用いた画像処理
JP2005122319A (ja) 2003-10-14 2005-05-12 Casio Comput Co Ltd 撮影装置、その画像処理方法及びプログラム
JP4240023B2 (ja) * 2005-08-31 2009-03-18 ソニー株式会社 撮像装置、撮像方法および撮像プログラム、ならびに、画像処理装置、画像処理方法および画像処理プログラム
CN100412906C (zh) * 2006-10-20 2008-08-20 清华大学 数字舌象色偏校正方法
JP4982399B2 (ja) * 2008-01-30 2012-07-25 株式会社リコー 画像処理装置および画像処理方法および画像処理プログラムおよび撮像装置
CN101763830B (zh) * 2009-01-19 2013-09-11 敦泰科技(深圳)有限公司 根据显示内容动态调整小屏lcd背光亮度的方法
JP5089797B2 (ja) * 2009-06-29 2012-12-05 キヤノン株式会社 画像処理装置及びその制御方法
JP4795473B2 (ja) 2009-06-29 2011-10-19 キヤノン株式会社 画像処理装置及びその制御方法
JP2011188391A (ja) * 2010-03-10 2011-09-22 Sony Corp 画像処理装置および方法、並びにプログラム
JP2011215925A (ja) * 2010-03-31 2011-10-27 Fujitsu Ltd 画像処理装置、画像処理プログラムおよび画像処理方法
CN102348048A (zh) * 2011-09-16 2012-02-08 中山大学 一种自适应时空域累积滤波和色调映射的视频增强方法

Also Published As

Publication number Publication date
JP2014010576A (ja) 2014-01-20
CN104412299A (zh) 2015-03-11
US20150326752A1 (en) 2015-11-12
WO2014002689A1 (ja) 2014-01-03
US9497355B2 (en) 2016-11-15

Similar Documents

Publication Publication Date Title
JP5547243B2 (ja) 画像処理装置、プログラムおよび記録媒体
JP5951367B2 (ja) 撮像装置、撮像画像処理システム、プログラムおよび記録媒体
JP4772894B2 (ja) 画像出力装置、携帯端末装置、撮像画像処理システム、画像出力方法、プログラムおよび記録媒体
JP4856263B2 (ja) 撮像画像処理システム、画像出力方法、プログラムおよび記録媒体
JP5886265B2 (ja) 携帯端末装置、プログラム、及び記録媒体
JP5026484B2 (ja) 携帯端末装置、画像出力装置、撮像画像処理システム、携帯端末装置の制御方法、画像出力方法、プログラム、および記録媒体
JP4772889B2 (ja) 携帯端末装置、撮像画像処理システム、プログラムおよび記録媒体
JP4758493B2 (ja) 携帯端末装置、撮像画像処理システム、携帯端末装置の制御方法、プログラムおよび記録媒体
JP4927122B2 (ja) 画像処理方法、画像処理装置、画像形成装置、プログラムおよび記録媒体
JP6426815B2 (ja) 画像処理装置および画像処理方法
JP2012027687A (ja) 画像処理装置及びプログラム
JP2009232085A (ja) 画像処理方法、画像処理装置、画像形成装置、プログラムおよび記憶媒体
JP2018107593A (ja) 画像処理装置、画像処理方法およびプログラム
KR102311367B1 (ko) 화상 처리 장치, 화상 처리 방법, 및 프로그램
JP4487000B2 (ja) 画像処理装置、画像形成装置、画像処理方法、画像処理システム、画像処理プログラムおよびその記録媒体
JP2017130811A (ja) 画像処理装置、画像処理方法、画像処理プログラムおよび記録媒体
JP7030425B2 (ja) 画像処理装置、画像処理方法、プログラム
JP5819378B2 (ja) 画像判定装置、画像処理システム、プログラム及び記録媒体
JP2010273218A (ja) 画像出力装置、撮像画像処理システム、画像出力方法、プログラムおよび記録媒体
JP2010157878A (ja) 画像処理装置、画像データ出力処理装置、画像処理方法、プログラムおよびその記録媒体

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140415

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140514

R150 Certificate of patent or registration of utility model

Ref document number: 5547243

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150