JP6919433B2 - 画像処理装置、画像処理方法、画像処理システムおよびプログラム - Google Patents
画像処理装置、画像処理方法、画像処理システムおよびプログラム Download PDFInfo
- Publication number
- JP6919433B2 JP6919433B2 JP2017170688A JP2017170688A JP6919433B2 JP 6919433 B2 JP6919433 B2 JP 6919433B2 JP 2017170688 A JP2017170688 A JP 2017170688A JP 2017170688 A JP2017170688 A JP 2017170688A JP 6919433 B2 JP6919433 B2 JP 6919433B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- pixel value
- pixel
- region
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
- Controls And Circuits For Display Device (AREA)
Description
本発明は、画像処理装置、画像処理方法、画像処理システム、プログラムに関する。
画像中の特定の色を変えたい場合は、一般に、特定の色が希望の色に代わるような階調カーブを使用したり、色空間での色を移動することによって、色調整を行なう。この方法は、画像全体の画素に反映されるため、画像中の特定の領域について色調整したい場合は、一般に、この特定の領域を前処理で切り抜き、切り抜いた領域をマスクとして、この特定の領域に対して色調整の結果を反映させる。
特許文献1には、領域指定部において、操作者が画面上で人物画像における人物の顔の領域を指定すると、補正対象領域抽出部が領域の色情報等に基づいて肌領域および頭髪領域からなる補正対象領域を抽出し、マスク作成部が補正対象領域にのみ補正の効果を及ぼすための、領域の境界をぼかしたマスク画像を作成することがされている。そして画像合成部は、画像補正部で画像全体が補正された全体補正画像ともとの人物画像とを、対応する画素毎にマスク画像が表す重みで合成して、補正対象領域のみが境界をぼかしながら補正された補正済画像を得る。
特定の領域に対する色調整を行なう際に、例えば、調整前の色相と調整後の色相とが異なる場合 、色調整を行なった領域の色調整を行なう前後の色とその外縁の領域の色との関係から、色調整を行った領域の外縁境界部分に疑似輪郭のような不自然な色の領域が生じる場合がある。従来は、この疑似輪郭部分を手動にて色調整を行なうことで自然に見えるようにしていた。しかしながらこの作業は、多大な労力を必要とする。
特定の領域の色調整を行なう際に、色調整を行なった領域とその外縁の領域に疑似輪郭のような不自然な色の領域が生じにくい画像処理装置等を提供することを目的とする。
特定の領域の色調整を行なう際に、色調整を行なった領域とその外縁の領域に疑似輪郭のような不自然な色の領域が生じにくい画像処理装置等を提供することを目的とする。
請求項1に記載の発明は、画像の画像情報から第1の画像領域または第2の画像領域であることを示す二値で表された二値画像を生成する二値画像生成部と、前記二値画像を使用して、前記第1の画像領域および前記第2の画像領域の境界部で画素値を決定したい未知領域を設定する未知領域設定部と、前記未知領域以外の既知領域の中で前記第1の画像領域に属する画素を基に、当該未知領域中の画素の画素値を当該第1の画像領域の予測画素値として予測する画素値予測部と、前記画素値予測部で予測した前記第1の画像領域の予測画素値を色調整後の予測画素値に変換する画素値変換部と、前記画素値変換部により変換された色調整後の予測画素値と前記第2の画像領域の画素値とを基に、前記未知領域の画素値を多値にて生成する多値画像生成部と、を備える画像処理装置である。
請求項2に記載の発明は、前記画素値予測部は、前記既知領域の中で前記第2の画像領域に属する画素を基に、前記未知領域中の画素の画素値を当該第2の画像領域の予測画素値として予測し、前記多値画像生成部は、色調整後の予測画素値と前記第2の画像領域の予測画素値とから、前記未知領域の画素値を生成することを特徴とする請求項1に記載の画像処理装置である。
請求項3に記載の発明は、前記多値画像生成部は、色調整後の予測画素値と前記第2の画像領域の予測画素値との加重平均を求めることで、前記未知領域の画素値を生成することを特徴とする請求項2に記載の画像処理装置である。
請求項4に記載の発明は、前記多値画像生成部は、色調整後の予測画素値と前記第2の画像領域の画素値とから、前記未知領域の画素値を生成することを特徴とする請求項1に記載の画像処理装置である。
請求項5に記載の発明は、前記多値画像生成部は、色調整後の予測画素値と前記第2の画像領域の画素値との加重平均を求めることで、前記未知領域の画素値を生成することを特徴とする請求項4に記載の画像処理装置である。
請求項6に記載の発明は、前記画素値予測部は、前記既知領域に含まれ強さを有する画素を起点の画素とし、当該起点の画素の強さおよび当該起点の画素の前記未知領域に含まれる画素に及ぼす加重に基づいて当該未知領域中の画素の画素値を予測することを特徴とする請求項1に記載の画像処理装置である。
請求項7に記載の発明は、前記画素値予測部は、前記起点の画素の強さおよび当該起点の画素の前記未知領域に含まれる画素に及ぼす加重に基づいて当該未知領域に含まれる画素の画素値を決定し、画素値が決定した画素を新たな起点の画素としてさらに当該決定を行なうことを繰り返すことで当該未知領域中の画素の画素値を予測することを特徴とする請求項6に記載の画像処理装置である。
請求項8に記載の発明は、前記画素値予測部は、前記起点の画素の強さと当該起点の画素の前記未知領域に含まれる画素に及ぼす加重とを乗じた値が最も大きくなる起点の画素の画素値に基づいて当該未知領域中の画素の画素値を予測することを特徴とする請求項6に記載の画像処理装置である。
請求項9に記載の発明は、前記未知領域設定部は、前記第1の画像領域および前記第2の画像領域の境界部から予め定められた幅で前記未知領域を設定することを特徴とする請求項1に記載の画像処理装置である。
請求項10に記載の発明は、前記未知領域設定部は、前記第1の画像領域および前記第2の画像領域の境界部の画素を中心として二値の画素値の設定を解除するフィルタを適用することで前記未知領域を設定することを特徴とする請求項9に記載の画像処理装置である。
請求項11に記載の発明は、画像の画像情報から第1の画像領域または第2の画像領域であることを示す二値で表された二値画像を生成し、前記二値画像を使用して、前記第1の画像領域および前記第2の画像領域の境界部で画素値を決定したい未知領域を設定し、前記未知領域以外の既知領域の中で前記第1の画像領域に属する画素を基に、当該未知領域中の画素の画素値を当該第1の画像領域の予測画素値として予測し、予測した前記第1の画像領域の予測画素値を色調整後の予測画素値に変換し、変換された色調整後の予測画素値と前記第2の画像領域の画素値とを基に、前記未知領域の画素値を多値にて生成する画像処理方法である。
請求項12に記載の発明は、画像を表示する表示装置と、前記表示装置に表示される前記画像の画像情報に対し画像処理を行なう画像処理装置と、を備え、前記画像処理装置は、画像の画像情報から第1の画像領域または第2の画像領域であることを示す二値で表された二値画像を生成する二値画像生成部と、前記二値画像を使用して、前記第1の画像領域および前記第2の画像領域の境界部で画素値を決定したい未知領域を設定する未知領域設定部と、前記未知領域以外の既知領域の中で前記第1の画像領域に属する画素を基に、当該未知領域中の画素の画素値を当該第1の画像領域の予測画素値として予測する画素値予測部と、前記画素値予測部で予測した前記第1の画像領域の予測画素値を色調整後の予測画素値に変換する画素値変換部と、前記画素値変換部により変換された色調整後の予測画素値と前記第2の画像領域の画素値とを基に、前記未知領域の画素値を多値にて生成する多値画像生成部と、を備える画像処理システムである。
請求項13に記載の発明は、コンピュータに、画像の画像情報から第1の画像領域または第2の画像領域であることを示す二値で表された二値画像を生成する二値画像生成機能と、前記二値画像を使用して、前記第1の画像領域および前記第2の画像領域の境界部で画素値を決定したい未知領域を設定する未知領域設定機能と、前記未知領域以外の既知領域の中で前記第1の画像領域に属する画素を基に、当該未知領域中の画素の画素値を当該第1の画像領域の予測画素値として予測する画素値予測機能と、前記画素値予測機能で予測した前記第1の画像領域の予測画素値を色調整後の予測画素値に変換する画素値変換機能と、前記画素値変換機能により変換された色調整後の予測画素値と前記第2の画像領域の画素値とを基に、前記未知領域の画素値を多値にて生成する多値画像生成機能と、を実現させるためのプログラムである。
請求項2に記載の発明は、前記画素値予測部は、前記既知領域の中で前記第2の画像領域に属する画素を基に、前記未知領域中の画素の画素値を当該第2の画像領域の予測画素値として予測し、前記多値画像生成部は、色調整後の予測画素値と前記第2の画像領域の予測画素値とから、前記未知領域の画素値を生成することを特徴とする請求項1に記載の画像処理装置である。
請求項3に記載の発明は、前記多値画像生成部は、色調整後の予測画素値と前記第2の画像領域の予測画素値との加重平均を求めることで、前記未知領域の画素値を生成することを特徴とする請求項2に記載の画像処理装置である。
請求項4に記載の発明は、前記多値画像生成部は、色調整後の予測画素値と前記第2の画像領域の画素値とから、前記未知領域の画素値を生成することを特徴とする請求項1に記載の画像処理装置である。
請求項5に記載の発明は、前記多値画像生成部は、色調整後の予測画素値と前記第2の画像領域の画素値との加重平均を求めることで、前記未知領域の画素値を生成することを特徴とする請求項4に記載の画像処理装置である。
請求項6に記載の発明は、前記画素値予測部は、前記既知領域に含まれ強さを有する画素を起点の画素とし、当該起点の画素の強さおよび当該起点の画素の前記未知領域に含まれる画素に及ぼす加重に基づいて当該未知領域中の画素の画素値を予測することを特徴とする請求項1に記載の画像処理装置である。
請求項7に記載の発明は、前記画素値予測部は、前記起点の画素の強さおよび当該起点の画素の前記未知領域に含まれる画素に及ぼす加重に基づいて当該未知領域に含まれる画素の画素値を決定し、画素値が決定した画素を新たな起点の画素としてさらに当該決定を行なうことを繰り返すことで当該未知領域中の画素の画素値を予測することを特徴とする請求項6に記載の画像処理装置である。
請求項8に記載の発明は、前記画素値予測部は、前記起点の画素の強さと当該起点の画素の前記未知領域に含まれる画素に及ぼす加重とを乗じた値が最も大きくなる起点の画素の画素値に基づいて当該未知領域中の画素の画素値を予測することを特徴とする請求項6に記載の画像処理装置である。
請求項9に記載の発明は、前記未知領域設定部は、前記第1の画像領域および前記第2の画像領域の境界部から予め定められた幅で前記未知領域を設定することを特徴とする請求項1に記載の画像処理装置である。
請求項10に記載の発明は、前記未知領域設定部は、前記第1の画像領域および前記第2の画像領域の境界部の画素を中心として二値の画素値の設定を解除するフィルタを適用することで前記未知領域を設定することを特徴とする請求項9に記載の画像処理装置である。
請求項11に記載の発明は、画像の画像情報から第1の画像領域または第2の画像領域であることを示す二値で表された二値画像を生成し、前記二値画像を使用して、前記第1の画像領域および前記第2の画像領域の境界部で画素値を決定したい未知領域を設定し、前記未知領域以外の既知領域の中で前記第1の画像領域に属する画素を基に、当該未知領域中の画素の画素値を当該第1の画像領域の予測画素値として予測し、予測した前記第1の画像領域の予測画素値を色調整後の予測画素値に変換し、変換された色調整後の予測画素値と前記第2の画像領域の画素値とを基に、前記未知領域の画素値を多値にて生成する画像処理方法である。
請求項12に記載の発明は、画像を表示する表示装置と、前記表示装置に表示される前記画像の画像情報に対し画像処理を行なう画像処理装置と、を備え、前記画像処理装置は、画像の画像情報から第1の画像領域または第2の画像領域であることを示す二値で表された二値画像を生成する二値画像生成部と、前記二値画像を使用して、前記第1の画像領域および前記第2の画像領域の境界部で画素値を決定したい未知領域を設定する未知領域設定部と、前記未知領域以外の既知領域の中で前記第1の画像領域に属する画素を基に、当該未知領域中の画素の画素値を当該第1の画像領域の予測画素値として予測する画素値予測部と、前記画素値予測部で予測した前記第1の画像領域の予測画素値を色調整後の予測画素値に変換する画素値変換部と、前記画素値変換部により変換された色調整後の予測画素値と前記第2の画像領域の画素値とを基に、前記未知領域の画素値を多値にて生成する多値画像生成部と、を備える画像処理システムである。
請求項13に記載の発明は、コンピュータに、画像の画像情報から第1の画像領域または第2の画像領域であることを示す二値で表された二値画像を生成する二値画像生成機能と、前記二値画像を使用して、前記第1の画像領域および前記第2の画像領域の境界部で画素値を決定したい未知領域を設定する未知領域設定機能と、前記未知領域以外の既知領域の中で前記第1の画像領域に属する画素を基に、当該未知領域中の画素の画素値を当該第1の画像領域の予測画素値として予測する画素値予測機能と、前記画素値予測機能で予測した前記第1の画像領域の予測画素値を色調整後の予測画素値に変換する画素値変換機能と、前記画素値変換機能により変換された色調整後の予測画素値と前記第2の画像領域の画素値とを基に、前記未知領域の画素値を多値にて生成する多値画像生成機能と、を実現させるためのプログラムである。
請求項1の発明によれば、特定の領域の色調整を行なう際に、色調整を行なった領域とその外縁の領域に疑似輪郭のような不自然な色の領域が生じにくい画像処理装置を提供できる。
請求項2の発明によれば、第2の画像領域の影響を加味して第1の画像領域の色調整を行なうことができる。
請求項3の発明によれば、未知領域における画素値をより簡単に決定することができる。
請求項4の発明によれば、第2の画像領域の影響を加味して第1の画像領域の色調整を行なうことができる。
請求項5の発明によれば、未知領域における画素値をより簡単に決定することができる。
請求項6の発明によれば、未知領域の画素値をより高速に予測することができる。
請求項7の発明によれば、未知領域の画素値をより正確に予測することができる。
請求項8の発明によれば、画素値の決定をより容易に行なうことができる。
請求項9の発明によれば、疑似輪郭のような不自然な色の領域が生じやすい箇所に未知領域を設定できる。
請求項10の発明によれば、未知領域の設定がより容易になる。
請求項11の発明によれば、特定の領域の色調整を行なう際に、色調整を行なった領域とその外縁の領域に疑似輪郭のような不自然な色の領域が生じにくい画像処理方法を提供できる。
請求項12の発明によれば、より自然な色調整を行なうことができる画像処理システムを提供できる。
請求項13の発明によれば、特定の領域の色調整を行なう際に、色調整を行なった領域とその外縁の領域に疑似輪郭のような不自然な色の領域が生じにくい機能をコンピュータにより実現できる。
請求項2の発明によれば、第2の画像領域の影響を加味して第1の画像領域の色調整を行なうことができる。
請求項3の発明によれば、未知領域における画素値をより簡単に決定することができる。
請求項4の発明によれば、第2の画像領域の影響を加味して第1の画像領域の色調整を行なうことができる。
請求項5の発明によれば、未知領域における画素値をより簡単に決定することができる。
請求項6の発明によれば、未知領域の画素値をより高速に予測することができる。
請求項7の発明によれば、未知領域の画素値をより正確に予測することができる。
請求項8の発明によれば、画素値の決定をより容易に行なうことができる。
請求項9の発明によれば、疑似輪郭のような不自然な色の領域が生じやすい箇所に未知領域を設定できる。
請求項10の発明によれば、未知領域の設定がより容易になる。
請求項11の発明によれば、特定の領域の色調整を行なう際に、色調整を行なった領域とその外縁の領域に疑似輪郭のような不自然な色の領域が生じにくい画像処理方法を提供できる。
請求項12の発明によれば、より自然な色調整を行なうことができる画像処理システムを提供できる。
請求項13の発明によれば、特定の領域の色調整を行なう際に、色調整を行なった領域とその外縁の領域に疑似輪郭のような不自然な色の領域が生じにくい機能をコンピュータにより実現できる。
以下、添付図面を参照して、本発明の実施の形態について詳細に説明する。
<画像処理システム全体の説明>
図1は、本実施の形態における画像処理システム1の構成例を示す図である。
図示するように本実施の形態の画像処理システム1は、表示装置20に表示される画像の画像情報に対し画像処理を行なう画像処理装置10と、画像処理装置10により作成された画像情報が入力され、この画像情報に基づき画像を表示する表示装置20と、画像処理装置10に対しユーザが種々の情報を入力するための入力装置30とを備える。
図1は、本実施の形態における画像処理システム1の構成例を示す図である。
図示するように本実施の形態の画像処理システム1は、表示装置20に表示される画像の画像情報に対し画像処理を行なう画像処理装置10と、画像処理装置10により作成された画像情報が入力され、この画像情報に基づき画像を表示する表示装置20と、画像処理装置10に対しユーザが種々の情報を入力するための入力装置30とを備える。
画像処理装置10は、例えば、所謂汎用のパーソナルコンピュータ(PC)である。そして、画像処理装置10は、OS(Operating System)による管理下において、各種アプリケーションソフトウェアを動作させることで、画像情報の作成等が行われるようになっている。
画像処理装置10は、演算手段であるCPU(Central Processing Unit)と、記憶手段であるメインメモリ、およびHDD(Hard Disk Drive)とを備える。ここで、CPUは、OSやアプリケーションソフトウェア等の各種プログラムを実行する。また、メインメモリは、各種プログラムやその実行に用いるデータ等を記憶する記憶領域であり、HDDは、各種プログラムに対する入力データや各種プログラムからの出力データ等を記憶する記憶領域である。さらに、画像処理装置10は、外部との通信を行なうための通信インターフェースを備える。
画像処理装置10は、演算手段であるCPU(Central Processing Unit)と、記憶手段であるメインメモリ、およびHDD(Hard Disk Drive)とを備える。ここで、CPUは、OSやアプリケーションソフトウェア等の各種プログラムを実行する。また、メインメモリは、各種プログラムやその実行に用いるデータ等を記憶する記憶領域であり、HDDは、各種プログラムに対する入力データや各種プログラムからの出力データ等を記憶する記憶領域である。さらに、画像処理装置10は、外部との通信を行なうための通信インターフェースを備える。
表示装置20は、表示画面21に画像を表示する。表示装置20は、例えばPC用の液晶ディスプレイ、液晶テレビあるいはプロジェクタなど、加法混色にて画像を表示する機能を備えたもので構成される。したがって、表示装置20における表示方式は、液晶方式に限定されるものではない。なお、図1に示す例では、表示装置20内に表示画面21が設けられているが、表示装置20として例えばプロジェクタを用いる場合、表示画面21は、表示装置20の外部に設けられたスクリーン等となる。
入力装置30は、キーボードやマウス等で構成される。入力装置30は、画像処理を行なうためのアプリケーションソフトウェアの起動、終了や、詳しくは後述するが、画像処理を行なう際に、ユーザが画像処理装置10に対し画像処理を行なうための指示を入力するのに使用する。
画像処理装置10および表示装置20は、DVI(Digital Visual Interface)を介して接続されている。なお、DVIに代えて、HDMI(登録商標)(High-Definition Multimedia Interface)やDisplayPort等を介して接続するようにしてもかまわない。
また画像処理装置10と入力装置30とは、例えば、USB(Universal Serial Bus)を介して接続されている。なお、USBに代えて、IEEE1394やRS−232C等を介して接続されていてもよい。
また画像処理装置10と入力装置30とは、例えば、USB(Universal Serial Bus)を介して接続されている。なお、USBに代えて、IEEE1394やRS−232C等を介して接続されていてもよい。
このような画像処理システム1において、表示装置20には、まず最初に画像処理を行なう前の画像である原画像が表示される。そしてユーザが入力装置30を使用して、画像処理装置10に対し画像処理を行なうための指示を入力すると、画像処理装置10により原画像の画像情報に対し画像処理がなされる。この画像処理の結果は、表示装置20に表示される画像に反映され、画像処理後の画像が再描画されて表示装置20に表示されることになる。この場合、ユーザは、表示装置20を見ながらインタラクティブに画像処理を行なうことができ、より直感的に、またより容易に画像処理の作業を行える。
なお本実施の形態における画像処理システム1は、図1の形態に限られるものではない。例えば、画像処理システム1としてタブレット端末を例示することができる。この場合、タブレット端末は、タッチパネルを備え、このタッチパネルにより画像の表示を行なうとともにユーザの指示が入力される。即ち、タッチパネルが、表示装置20および入力装置30として機能する。また同様に表示装置20および入力装置30を統合した装置として、タッチモニタを用いることもできる。これは、上記表示装置20の表示画面21としてタッチパネルを使用したものである。この場合、画像処理装置10により画像情報が作成され、この画像情報に基づきタッチモニタに画像が表示される。そしてユーザは、このタッチモニタをタッチ等することで画像処理を行なうための指示を入力する。
<画像処理装置の説明>
本実施の形態では、画像処理装置10は、画像処理として画像の色調整を行なう。具体的には、画像の特定の領域に対し、色の調整を行なう。ここで「色調整」とは、画像の色の変更を行なうことである。また「色調整」とは、ある色空間に対し、その色空間を構成する成分の何れか1つ以上を変更することであると言ってもよい。例えば、色調整として、色相を変更する。ただしこれに限られるものではなく、色調整には、彩度や明度を変更する場合も含む。
本実施の形態では、画像処理装置10は、画像処理として画像の色調整を行なう。具体的には、画像の特定の領域に対し、色の調整を行なう。ここで「色調整」とは、画像の色の変更を行なうことである。また「色調整」とは、ある色空間に対し、その色空間を構成する成分の何れか1つ以上を変更することであると言ってもよい。例えば、色調整として、色相を変更する。ただしこれに限られるものではなく、色調整には、彩度や明度を変更する場合も含む。
図2は、本実施形態における画像処理装置10の機能構成例を表すブロック図である。なお図2では、画像処理装置10が有する種々の機能のうち本実施形態に関係するものを選択して図示している。
図示するように本実施の形態の画像処理装置10は、原画像の画像情報を取得する画像情報取得部11と、ユーザ指示を受け付けるユーザ指示受付部12と、原画像を二値画像とする二値画像生成部13と、二値画像中に未知領域を設定する未知領域設定部14と、未知領域中の画素値を予測する画素値予測部15と、色調整のために画素値を変換する画素値変換部16と、多値画像を生成する多値画像生成部17と、色調整後の画像情報を出力する画像情報出力部18とを備える。
図示するように本実施の形態の画像処理装置10は、原画像の画像情報を取得する画像情報取得部11と、ユーザ指示を受け付けるユーザ指示受付部12と、原画像を二値画像とする二値画像生成部13と、二値画像中に未知領域を設定する未知領域設定部14と、未知領域中の画素値を予測する画素値予測部15と、色調整のために画素値を変換する画素値変換部16と、多値画像を生成する多値画像生成部17と、色調整後の画像情報を出力する画像情報出力部18とを備える。
画像情報取得部11は、画像処理を行なう対象となる画像の画像情報を取得する。即ち、画像情報取得部11は、画像処理を行なう前の原画像の画像情報を取得する。この画像情報は、表示装置20で表示を行なうための、例えば、RGB(Red、Green、Blue)のビデオデータ(RGBデータ)である。
ユーザ指示受付部12は、入力装置30により入力された画像処理に関するユーザによる指示を受け付ける。
詳しくは後述するが、具体的には、ユーザ指示受付部12は、色調整を行なう際に色調整後の色を指定する指示をユーザ指示として受け付ける。
詳しくは後述するが、具体的には、ユーザ指示受付部12は、色調整を行なう際に色調整後の色を指定する指示をユーザ指示として受け付ける。
二値画像生成部13は、原画像の画像情報から前景または後景であることを示す二値で表された二値画像を生成する。
なおここで、「前景」は、第1の画像領域の一例である。ここで「前景」は、画像中で色調整の対象となる領域のことである。また、「後景」は、第2の画像領域の一例である。また「後景」は、画像中で色調整の対象となる領域でない領域であると言うこともできる。ただし、ここでは説明の便宜上、前景と後景とに分けるものであり、3次元空間中で、前景が、前方に位置する画像であり、後景が後方に位置する画像であることを必ずしも意味するものではない。即ち、前景が、後方に位置する画像であり、後景が前方に位置する画像であってもよい。つまりここで第1の画像領域と第2の画像領域は、画像を何らかの方法で、2つの画像領域に分けたときに、便宜上色調整を行なう対象となる箇所を前景と呼び、他方を後景と言うものである。
なおここで、「前景」は、第1の画像領域の一例である。ここで「前景」は、画像中で色調整の対象となる領域のことである。また、「後景」は、第2の画像領域の一例である。また「後景」は、画像中で色調整の対象となる領域でない領域であると言うこともできる。ただし、ここでは説明の便宜上、前景と後景とに分けるものであり、3次元空間中で、前景が、前方に位置する画像であり、後景が後方に位置する画像であることを必ずしも意味するものではない。即ち、前景が、後方に位置する画像であり、後景が前方に位置する画像であってもよい。つまりここで第1の画像領域と第2の画像領域は、画像を何らかの方法で、2つの画像領域に分けたときに、便宜上色調整を行なう対象となる箇所を前景と呼び、他方を後景と言うものである。
図3(a)〜(b)は、二値画像生成部13が行なう処理について示した図である。
ここで図3(a)は、画像処理を行なう前の画像であり、画像情報取得部11が取得した画像情報に基づき表示装置20に表示した原画像G1を示している。この原画像G1は、前景である人の髪の毛の画像G11と後景であるその背後の画像G12とからなる。そして前景と後景との境界は、曖昧である。
また図3(b)は、二値画像生成部13で原画像G1の処理を行った後の二値画像G2である。
ここでは、画像情報取得部11が取得した画像情報を、前景である髪の毛の画像G11の部分を、例えば、「1」とし、後景である背後の部分を「0」とすることで二値化し、二値画像G2としたものである。
ここで図3(a)は、画像処理を行なう前の画像であり、画像情報取得部11が取得した画像情報に基づき表示装置20に表示した原画像G1を示している。この原画像G1は、前景である人の髪の毛の画像G11と後景であるその背後の画像G12とからなる。そして前景と後景との境界は、曖昧である。
また図3(b)は、二値画像生成部13で原画像G1の処理を行った後の二値画像G2である。
ここでは、画像情報取得部11が取得した画像情報を、前景である髪の毛の画像G11の部分を、例えば、「1」とし、後景である背後の部分を「0」とすることで二値化し、二値画像G2としたものである。
二値画像生成部13が、画像情報を二値化するには、以下の方法を使用することができる。この方法は、例えば、特開2016−006645号公報に記載された方法である。
二値画像生成部13は、前景に属する画素に基準画素であるシード1を設定する。また後景に属する画素に基準画素であるシード2を設定する。そしてシードが与えられた画素にラベル(例えば、前景なら1、後景なら0というラベル)を設ける。そしてシードが与えられた画素には強さ1を設定しておき、シードが与えられた画素から、まだシードが与えられていない画素に対して、強さを伝搬していきながら、かつ、強さ同士を比較しながら強い方のラベルが採用されていく方法である。この方法によれば、前景と後景とのそれぞれに与えられたシードからそれぞれのラベルを有する画素がその領域を拡張していき、最終的に前景と後景に分離される。
二値画像生成部13は、前景に属する画素に基準画素であるシード1を設定する。また後景に属する画素に基準画素であるシード2を設定する。そしてシードが与えられた画素にラベル(例えば、前景なら1、後景なら0というラベル)を設ける。そしてシードが与えられた画素には強さ1を設定しておき、シードが与えられた画素から、まだシードが与えられていない画素に対して、強さを伝搬していきながら、かつ、強さ同士を比較しながら強い方のラベルが採用されていく方法である。この方法によれば、前景と後景とのそれぞれに与えられたシードからそれぞれのラベルを有する画素がその領域を拡張していき、最終的に前景と後景に分離される。
このとき1つの画素から隣接する画素への強さの影響度として加重を考える。そして例えば、この1つの画素から隣接する画素へ強さを伝搬する際には、1つの画素の持つ強さと加重を乗じ、乗じた値が隣接画素の強さになるように行なうことを基本とする。このとき「強さ」は、ラベルに対応する前景や後景に属する強さであり、ある画素がラベルに対応する前景や後景に属する可能性の大きさを表す。強さが大きいほどその画素がラベルに対応する前景や後景に属する可能性が高く、強さが小さいほどその画素がラベルに対応する前景や後景に属する可能性が低い。
また「加重」については、次のように考えることができる。
また「加重」については、次のように考えることができる。
図4(a)〜(b)は、加重について説明した図である。
図4(a)では、対象画素Tに対して加重を決定する隣接画素Rを示している。この場合、隣接画素Rは、対象画素Tに隣接する8画素である。そして加重は、原画像の画素情報を用いて決定される。つまり対象画素Tに対する隣接画素Rへの加重は、画素値が近いものほどより大きく、画素値が遠いものほどより小さくなるように決められる。画素値が近いか否かは、例えば、画素値(例えば、RGB値)のユークリッド距離などを使用して決めることができる。
図4(a)では、対象画素Tに対して加重を決定する隣接画素Rを示している。この場合、隣接画素Rは、対象画素Tに隣接する8画素である。そして加重は、原画像の画素情報を用いて決定される。つまり対象画素Tに対する隣接画素Rへの加重は、画素値が近いものほどより大きく、画素値が遠いものほどより小さくなるように決められる。画素値が近いか否かは、例えば、画素値(例えば、RGB値)のユークリッド距離などを使用して決めることができる。
例えば、対象画素Tの画素値をP0=(R0、G0、B0)とし、隣接画素Rの画素値をPi=(Ri、Gi、Bi)とすると、RGB値のユークリッド距離diは、下記数1式で定義できる。
またRGB値のユークリッド距離diの代わりに下記数2式に示したYCbCr値を使用したユークリッド距離di wを考えてもよい。数2式は、対象画素Tの画素値が、P0=(Y0、Cb0、Cr0)であり、隣接画素Rの画素値が、Pi=(Yi、Cbi、Cri)であったときのユークリッド距離di wを示している。また数2式のユークリッド距離di wは、重み係数WY、WCb、WCrを使用した重みづけユークリッド距離となっている。
さらに画素値は、3成分からなるものに限定されるものではない。例えば、n次元色空間を使用し、n個の色成分によるユークリッド距離di wを考えてもよい。
例えば、下記数3式は、色成分が、X1、X2、…、Xnである場合である。そして数3式は、対象画素Tの画素値が、P0=(X10、X20、…、Xn0)であり、隣接画素Rの画素値が、Pi=(X1i、X2i、…、Xni)であったときのユークリッド距離di wを示している。なお数3式のユークリッド距離di wも重み係数WX1、WX2、…、WXnを使用した重みづけユークリッド距離となっている。
例えば、下記数3式は、色成分が、X1、X2、…、Xnである場合である。そして数3式は、対象画素Tの画素値が、P0=(X10、X20、…、Xn0)であり、隣接画素Rの画素値が、Pi=(X1i、X2i、…、Xni)であったときのユークリッド距離di wを示している。なお数3式のユークリッド距離di wも重み係数WX1、WX2、…、WXnを使用した重みづけユークリッド距離となっている。
図4(b)では、対象画素Tに対して決められる加重の大きさを図示している。ここでは、対象画素Tに対して決められる加重がより大きい隣接画素Rについては、より太い線LFで示し、対象画素Tに対して決められる加重がより小さい隣接画素Rについては、より細い線LHで示している。
なおユークリッド距離diから加重を決定するのは、具体的には以下の方法で行なっている。
図5(a)〜(b)は、加重を決定する方法について示した図である。図5(a)〜(b)において、横軸は、ユークリッド距離diを表し、縦軸は、加重を表す。
このユークリッド距離diは、強さを与えられた画素とその画素の周辺に位置する画素との間で決まる画素値のユークリッド距離diである。そして例えば、図5(a)に図示するように非線形の単調減少関数f1を定め、ユークリッド距離diに対し、この単調減少関数f1により決まる値を加重とする。
つまりユークリッド距離diが小さいほど、加重はより大きくなり、ユークリッド距離diが大きいほど、加重はより小さくなる。
なお単調減少関数は、図5(a)のような形状のものに限られるものではなく、単調減少関数であれば特に限られるものではない。よって図5(b)のような線形の単調減少関数f2であってもよい。またユークリッド距離diの特定の範囲で線形であり、他の範囲で非線形であるような区分線形の単調減少関数であってもよい。
図5(a)〜(b)は、加重を決定する方法について示した図である。図5(a)〜(b)において、横軸は、ユークリッド距離diを表し、縦軸は、加重を表す。
このユークリッド距離diは、強さを与えられた画素とその画素の周辺に位置する画素との間で決まる画素値のユークリッド距離diである。そして例えば、図5(a)に図示するように非線形の単調減少関数f1を定め、ユークリッド距離diに対し、この単調減少関数f1により決まる値を加重とする。
つまりユークリッド距離diが小さいほど、加重はより大きくなり、ユークリッド距離diが大きいほど、加重はより小さくなる。
なお単調減少関数は、図5(a)のような形状のものに限られるものではなく、単調減少関数であれば特に限られるものではない。よって図5(b)のような線形の単調減少関数f2であってもよい。またユークリッド距離diの特定の範囲で線形であり、他の範囲で非線形であるような区分線形の単調減少関数であってもよい。
以上のように、強さの伝搬と強さの比較により、結果的に「ラベル」が伝搬され領域を分離することができる。この場合、ラベルと強さが伝搬し、領域の切り分けを行なうと考えることができる。
そしてその結果、前景であるラベル1が付与された領域の画素値を「1」とし、後景であるラベル2が付与された領域の画素値を「0」とする。その結果、画像情報取得部11が取得した画像情報を二値化し、二値画像G2とすることができる。
そしてその結果、前景であるラベル1が付与された領域の画素値を「1」とし、後景であるラベル2が付与された領域の画素値を「0」とする。その結果、画像情報取得部11が取得した画像情報を二値化し、二値画像G2とすることができる。
未知領域設定部14は、二値画像G2を使用して、前景および後景の境界部で画素値を決定したい未知領域Mを設定する。ここで「未知領域」とは、画素値が決定されていない領域のことである。また本実施の形態で、未知領域は、前景および後景の境界部で画素に付与されていたラベルをリセットされた領域である、と言うこともできる。また以後、未知領域以外の領域であり、画素値が決まっている領域を、「既知領域」ということがある。
本実施の形態では、未知領域設定部14は、前景および後景の境界部から予め定められた幅で未知領域Mを設定する。これを行なうため、未知領域設定部14は、二値画像G2の中で隣接画素の画素値が異なる画素に対し、未知領域Mを設定するフィルタを適用する。具体的には、前景および後景の境界部の画素を中心として二値の画素値の設定を解除する(ラベルをリセットする)フィルタを適用することで未知領域Mを設定する。
図6(a)〜(b)は、未知領域設定部14が、未知領域Mを設定する処理について示した図である。
このうち図6(a)は、未知領域Mを設定するフィルタ141を示している。このフィルタ141は、隣接画素の画素値が異なる画素を中心として設定される。図6(a)では、この中心となる画素を中心画素142とし、この中心画素142に対して設定されるフィルタ141を図示している。中心画素142の画素値は、「1」および「0」の何れであってもよい。またフィルタ141の大きさは、例えば、10画素×10画素である。
このうち図6(a)は、未知領域Mを設定するフィルタ141を示している。このフィルタ141は、隣接画素の画素値が異なる画素を中心として設定される。図6(a)では、この中心となる画素を中心画素142とし、この中心画素142に対して設定されるフィルタ141を図示している。中心画素142の画素値は、「1」および「0」の何れであってもよい。またフィルタ141の大きさは、例えば、10画素×10画素である。
図6(b)は、このフィルタ141を使用して未知領域Mを設定した後について示した図である。図6(b)で示すように図6(a)で図示した画素値が「1」と「0」との境界部において未知領域Mが設定される。
図7は、原画像G1に対し未知領域Mを適用した場合を示している。
図3(a)と比較すると、図7では、前景である人の髪の毛の画像G11と後景であるその背後の画像G12との境界部に、未知領域設定部14で設定した未知領域Mが適用されているのがわかる。
図3(a)と比較すると、図7では、前景である人の髪の毛の画像G11と後景であるその背後の画像G12との境界部に、未知領域設定部14で設定した未知領域Mが適用されているのがわかる。
画素値予測部15は、原画像G1に対し、図7で示したように未知領域Mを適用する。そして未知領域M以外の既知領域の中で前景に属する画素を基に、未知領域M中の画素の画素値を前景の予測画素値として予測する。さらに画素値予測部15は、既知領域の中で後景に属する画素を基に、未知領域M中の画素の画素値を後景の予測画素値として予測する。
なおここで「予測画素値」とは、既知領域に属する画素の画素値を基に、未知領域に属する画素の画素値を予測したものである。本実施の形態では、既知領域の中で前景に属する画素を基に予測した予測画素値と、既知領域の中で後景に属する画素を基に予測した予測画素値との2種類の予測画素値を求める。
なおここで「予測画素値」とは、既知領域に属する画素の画素値を基に、未知領域に属する画素の画素値を予測したものである。本実施の形態では、既知領域の中で前景に属する画素を基に予測した予測画素値と、既知領域の中で後景に属する画素を基に予測した予測画素値との2種類の予測画素値を求める。
画素値予測部15が、既知領域の中で前景に属する画素を基に、未知領域M中の画素の画素値を前景の予測画素値として予測するには、二値画像生成部13が二値画像を生成した方法と類似する方法を使用することができる。上述したように二値画像生成部13では、ラベルと強さが伝搬し、領域の切り分けを行なっていた。一方、画素値予測部15は、ラベルの代わりに画素値を使用し、画素値と画素値の強さを伝搬させ、未知領域Mの画素値を決定する。このときシードは、前景に属する画素から選択する。さらに、画素値予測部15は、前景のみからの画素値を伝搬させ、後景の画素値は考慮しない。
一方、画素値予測部15が、既知領域の中で後景に属する画素を基に、未知領域M中の画素の画素値を後景の予測画素値として予測するには、同様に、ラベルの代わりに画素値を使用し、画素値と画素値の強さを伝搬させ、未知領域Mの画素値を決定する。このときシードは、後景に属する画素から選択する。さらに、画素値予測部15は、後景のみからの画素値を伝搬させ、前景の画素値は考慮しない。
図8は、画素値予測部15が行なう処理の概念図である。
図示するように未知領域M内の画素151の画素値は、前景から画素値を予測する場合と、後景から画素値を予測する場合について求められる。その結果、同じ画素151であっても、2通りの結果が得られ、2つの予測画素値が求められる。
図示するように未知領域M内の画素151の画素値は、前景から画素値を予測する場合と、後景から画素値を予測する場合について求められる。その結果、同じ画素151であっても、2通りの結果が得られ、2つの予測画素値が求められる。
図9(a)〜(d)は、画素値予測部15が予測画素値を求める様子を示した図である。
例えば、図9(a)は、原画像G1における画像G11と画像G12との領域を分離する境界を表したものである。また図9(b)は、二値画像生成部13で原画像を二値化画像G2としたもので、前景と後景に分けられたことを示している。この場合、二値画像G2には、前景と後景を表す二値のラベルがついている。さらに図9(c)は、未知領域設定部14が、原画像G1に対し未知領域Mを適用した場合を示している。この場合、未知領域Mは、前景である画像G11と後景である画像G12に挟まれるように適用される。そして画像G11と未知領域Mとの間、および画像G12と未知領域Mとの間に2つの境界が生じている。さらに図9(d)は、未知領域Mの画素を黒で表した図を示す。つまりこの場合、画素値がリセットされている状態を表す。
例えば、図9(a)は、原画像G1における画像G11と画像G12との領域を分離する境界を表したものである。また図9(b)は、二値画像生成部13で原画像を二値化画像G2としたもので、前景と後景に分けられたことを示している。この場合、二値画像G2には、前景と後景を表す二値のラベルがついている。さらに図9(c)は、未知領域設定部14が、原画像G1に対し未知領域Mを適用した場合を示している。この場合、未知領域Mは、前景である画像G11と後景である画像G12に挟まれるように適用される。そして画像G11と未知領域Mとの間、および画像G12と未知領域Mとの間に2つの境界が生じている。さらに図9(d)は、未知領域Mの画素を黒で表した図を示す。つまりこの場合、画素値がリセットされている状態を表す。
図10(a)〜(i)は、前景領域のみからの画素値を伝搬する場合を示している。
この場合、画素値と強さの伝搬は、対象画素Tと隣接画素Rとの(強さ×加重)の比較によりすぐに行なわれる(非同期型)。また対象画素Tは、隣接画素Rから受ける(強さ×加重)の比較で、自分の強さが更新される(受け身型)。
この場合、画素値と強さの伝搬は、対象画素Tと隣接画素Rとの(強さ×加重)の比較によりすぐに行なわれる(非同期型)。また対象画素Tは、隣接画素Rから受ける(強さ×加重)の比較で、自分の強さが更新される(受け身型)。
この場合の加重の算出は、図9(a)に示す原画像で行ってもよく、または図9(a)に示す原画像を平滑化してから行ってもよい。または、図9(d)の未知領域Mに何かしらの画素値を設定して平滑化してもよいものとする。
図10(a)〜(i)では、未知領域M以外の既知領域の画素で、かつ、前景に属する画素のみが強さ1を持つ。まず、図10(b)に示す枠Wkの中心の対象画素Tが、右下の前景の属する隣接画素R3の影響のみを受け、加重を乗じた強さが伝搬される。同様に、図10(c)では、枠Wk中心の対象画素Tは、左隣りの隣接画素R4と真下の隣接画素R5から影響を受け、強さが強い方の画素値に更新される。この場合は、まだ対象画素Tは、強さを持たないので、この2つの強さの比較でよい。
対象画素Tは、未知領域Mの画素から順次選択され、図10(a)〜(i)の処理が行われる。なおこの例では、何ループかの結果、一通り未知領域Mの画素値が決定することになり、図10(i)は、一通り決定した結果を示す。
図10の場合は、後景に属する画素からの影響は受けず、伝搬されるのは前景に属する画素からということになる。
対象画素Tは、未知領域Mの画素から順次選択され、図10(a)〜(i)の処理が行われる。なおこの例では、何ループかの結果、一通り未知領域Mの画素値が決定することになり、図10(i)は、一通り決定した結果を示す。
図10の場合は、後景に属する画素からの影響は受けず、伝搬されるのは前景に属する画素からということになる。
図11(a)は、図10(i)と同様の図であり、一通り未知領域Mの画素値が決定したときの画素値の様子を示している。また図11(b)は、さらにループを繰り返し、収束したときの画素値の様子を示している。
以上のように、未知領域Mの画素に対して、前景からの画素値を予測することができる。
以上のように、未知領域Mの画素に対して、前景からの画素値を予測することができる。
また図12(a)〜(i)は、後景領域のみからの画素値を伝搬する場合を示している。
図12(a)〜(i)で行なう処理は、図10(a)〜(i)の場合と同様である。ただしこの場合は、前景に属する画素からの影響は受けず、伝搬されるのは後景に属する画素からということになる。
図12(a)〜(i)で行なう処理は、図10(a)〜(i)の場合と同様である。ただしこの場合は、前景に属する画素からの影響は受けず、伝搬されるのは後景に属する画素からということになる。
図13(a)は、図12(i)と同様の図であり、一通り未知領域Mの画素値が決定したときの画素値の様子を示している。また図13(b)は、さらにループを繰り返し、収束したときの画素値の様子を示している。
図14(a)は、原画像G1において、前景から未知領域M内の画素の画素値を求めた結果を示す。また図14(b)は、後景から未知領域M内の画素の画素値を求めた結果を示す。
以上説明したように、画素値予測部15は、既知領域に含まれ強さを有する画素を起点の画素とし、起点の画素の強さおよび起点の画素の未知領域Mに含まれる画素に及ぼす加重に基づいて未知領域M中の画素の画素値を予測する。具体的には、画素値予測部15は、起点の画素の強さと起点の画素の未知領域Mに含まれる画素に及ぼす加重とを乗じた値が最も大きくなる起点の画素の画素値に基づいて未知領域M中の画素の画素値を予測する。
そして画素値予測部15は、このようにして未知領域Mに含まれる画素の画素値を決定し、画素値が決定した画素を新たな起点の画素としてさらに決定を行なうことを繰り返すことで未知領域M中の画素の画素値を予測する。
そして画素値予測部15は、このようにして未知領域Mに含まれる画素の画素値を決定し、画素値が決定した画素を新たな起点の画素としてさらに決定を行なうことを繰り返すことで未知領域M中の画素の画素値を予測する。
画素値変換部16は、画素値予測部15で予測した前景の予測画素値を色調整後の予測画素値に変換する。この色調整の指示はユーザによりなされ、このユーザ指示がユーザ指示受付部12により受け付けられる。そしてこのユーザ指示に従い、画素値変換部16は、前景の予測画素値を色調整後の予測画素値に変換する。
画素値変換部16が行なう変換は、下記数4式で表すことができる。ここでIFは、画素値予測部15で予測した前景の予測画素値である。またIFtは、色調整後の前景の予測画素値である。
色調整後の色は、例えば、表示装置20の表示画面21にカラーパレットなどを表示させ、これからユーザが色を選択するような方法で決定することができる。また表示画面21に、色相、彩度、明度をそれぞれ調整するためのスライバーを設け、ユーザがこれを操作するような方法で決定することができる。
多値画像生成部17は、画素値変換部16により変換された色調整後の予測画素値と後景の画素値とを基に、未知領域Mの画素値を多値にて生成する。ここでは、多値画像生成部17は、色調整後の予測画素値と後景の予測画素値とから、未知領域Mの画素値を生成する。
ここで未知領域M中の画素値をICすると、ICは、以下の数5式で表すことができる。
ここでIFtは、色調整後の前景の予測画素値である。またIBは、後景の予測画素値である。つまり、多値画像生成部17は、色調整後の予測画素値IFtと後景の予測画素値IBとの加重平均を求めることで、未知領域Mの画素値を生成する。なおIC、IFt、IBの画素値は、RGB色空間やL*a*b*色空間では、ベクトルで表すことができ、グレースケールであればスカラーで表すことができる。つまり画像がカラー画像の場合は、複数の色成分からなるため、数5式の画素値IC、IFt、IBは、それぞれ色成分の数だけ存在する。例えば、RGB色空間では、IC、IFt、IBは、3つずつ存在する。
またαは、0≦α≦1であり、前景度合いを表すパラメータである。即ち、αが1のときIC=IFtとなりICの画素値は、前景から予測された画素値と同じになる。またαが0のときIC=IBとなりCの画素値は、後景から予測された画素値と同じになる。よってαが大きいほど前景の度合いが高まると考えることができる。
つまり境界部の画素は、前景から予測された画素値と後景から予測された画素値とがある割合で混合した画素値を有すると考え、画素値ICを上記数5式のように表す。
画像情報出力部18は、色調整後の画像情報を出力する。つまり色調整後の画素値としてICからなる画像情報を出力する。
図15(a)〜(c)は、従来の色調整により生成された画像と多値画像生成部17により生成された多値画像とを比較した図である。
このうち図15(a)は、原画像G1である。また図15(b)は、従来の色調整により生成された画像GEを概念的に示したものであり、原画像G1におけるバックの画像G13に対し色調整を行なった場合を示している。この場合、画像GEでは、色調整後のバックの画像G13の周囲に疑似輪郭Grが生じている。なおここで「疑似輪郭」とは、画像中の滑らかに明るさが変化する箇所において、本来存在しないはずの輪郭のような線が生じる現象を言う。
対して図15(c)は、多値画像生成部17により生成された多値画像G3を概念的に示したものであり、バックの画像G13に対し色調整を行なった場合を示している。この場合、多値画像G3では、バックの画像G13の周囲に疑似輪郭Grは生じていない。
このうち図15(a)は、原画像G1である。また図15(b)は、従来の色調整により生成された画像GEを概念的に示したものであり、原画像G1におけるバックの画像G13に対し色調整を行なった場合を示している。この場合、画像GEでは、色調整後のバックの画像G13の周囲に疑似輪郭Grが生じている。なおここで「疑似輪郭」とは、画像中の滑らかに明るさが変化する箇所において、本来存在しないはずの輪郭のような線が生じる現象を言う。
対して図15(c)は、多値画像生成部17により生成された多値画像G3を概念的に示したものであり、バックの画像G13に対し色調整を行なった場合を示している。この場合、多値画像G3では、バックの画像G13の周囲に疑似輪郭Grは生じていない。
図16は、本実施形態における画像処理装置10の動作について説明したフローチャートである。
まず画像情報取得部11が、画像処理を行なう画像の画像情報としてRGBデータを取得する(ステップ101)。
次に二値画像生成部13が、画像情報を前景または後景であることを示す二値で表された二値画像を生成する(ステップ102)。その結果、図3(b)に示すような二値画像G2が生成される。
次に未知領域設定部14が、二値画像を使用して、前景および後景の境界部で未知領域Mを設定する(ステップ103)。この処理は、図6で示したような未知領域Mを設定するフィルタを使用することで行なう。その結果、図7で示すような未知領域Mが設定される。
さらに画素値予測部15は、既知領域の画像情報を使用して、前景に属する画素と後景に属する画素とでそれぞれシードを設定し、未知領域M中の画素に対する画素値をそれぞれの場合について予測する(ステップ104)。その結果、図14に示したような2通りの結果が得られる。
次にユーザ指示受付部12が、前景について色調整後の色をユーザ指示として取得する(ステップ105)。
さらに画素値変換部16が、画素値予測部15で予測した前景の予測画素値を色調整後の予測画素値に変換する(ステップ106)。
さらに画素値変換部16が、画素値予測部15で予測した前景の予測画素値を色調整後の予測画素値に変換する(ステップ106)。
そして多値画像生成部17が、画素値変換部16により変換された色調整後の予測画素値と後景の画素値とを基に、未知領域Mの画素値を多値にて生成する(ステップ107)。この多値の画素値は、例えば、数5式を使用することで求めることができる。
さらに画像情報出力部18が、色調整がなされた後の画像情報を出力する(ステップ108)。この画像情報は、RGBデータであり、このRGBデータは、表示装置20に送られ、表示画面21に色調整後の画像が表示される。
また図16で説明した処理は、画像の画像情報から前景または後景であることを示す二値で表された二値画像を生成し、二値画像を使用して、前景および後景の境界部で画素値を決定したい未知領域Mを設定し、未知領域M以外の既知領域の中で前景に属する画素を基に、未知領域M中の画素の画素値を前景の予測画素値として予測し、予測した前景の予測画素値を色調整後の予測画素値に変換し、変換された色調整後の予測画素値と後景の画素値とを基に、未知領域Mの画素値を多値にて生成する画像処理方法、として捉えることもできる。
以上説明した画像処理装置10によれば、前景と後景とに分けた二値画像を作成し、前景と後景との境界部に未知領域Mを設定する。そして既知領域の画像情報を使用して、前景に属する画素と後景に属する画素とでそれぞれシードを設定し、領域拡張法により、未知領域M中の画素に対する画素値をそれぞれの場合について予測し、前景から予測した予測画素値と後景から予測した予測画素値との2通りの予測画素値を算出する。そして前景の予測画素値をユーザの指示により色変換を行い色調整する。さらに色調整後の予測画素値と後景の予測画素値から多値の画素値を生成し、これを未知領域Mにおける色調整後の画素値とする。
これにより前景と後景との境界付近で、色調整の結果が、後景の影響を考慮したものとなり、より自然な色再現が可能となる。その結果、色調整を行なった前景とその外縁の領域に疑似輪郭のような不自然な色の領域が生じにくくなる。
これにより前景と後景との境界付近で、色調整の結果が、後景の影響を考慮したものとなり、より自然な色再現が可能となる。その結果、色調整を行なった前景とその外縁の領域に疑似輪郭のような不自然な色の領域が生じにくくなる。
<変形例>
上述した例では、多値画像生成部17は、色調整後の予測画素値と後景の予測画素値とから、未知領域Mの画素値を生成したが、後景の予測画素値の代わりに後景の画素値を使用してもよい。つまりこの場合、多値画像生成部17は、色調整後の予測画素値と後景の画素値とから、未知領域Mの画素値を生成する。
この場合、数5式は、下記6式となる。
上述した例では、多値画像生成部17は、色調整後の予測画素値と後景の予測画素値とから、未知領域Mの画素値を生成したが、後景の予測画素値の代わりに後景の画素値を使用してもよい。つまりこの場合、多値画像生成部17は、色調整後の予測画素値と後景の画素値とから、未知領域Mの画素値を生成する。
この場合、数5式は、下記6式となる。
ここでIOは、未知領域Mを設定前の後景の画素値である。この場合、多値画像生成部17は、色調整後の予測画素値と後景の画素値との加重平均を求めることで、未知領域Mの画素値を生成する。つまり数6式は、数5式の後景の予測画素値IBが、後景の画素値IOに置き換わったものである。
<プログラムの説明>
ここで以上説明を行った本実施の形態における画像処理装置10が行なう処理は、例えば、アプリケーションソフトウェア等のプログラムとして用意される。
ここで以上説明を行った本実施の形態における画像処理装置10が行なう処理は、例えば、アプリケーションソフトウェア等のプログラムとして用意される。
よって本実施の形態で、画像処理装置10が行なう処理は、コンピュータに、画像の画像情報から第1の画像領域(前景)または第2の画像領域(後景)であることを示す二値で表された二値画像を生成する二値画像生成機能と、二値画像を使用して、第1の画像領域および第2の画像領域の境界部で画素値を決定したい未知領域を設定する未知領域設定機能と、未知領域以外の既知領域の中で第1の画像領域に属する画素を基に、未知領域中の画素の画素値を第1の画像領域の予測画素値として予測する画素値予測機能と、画素値予測機能で予測した第1の画像領域の予測画素値を色調整後の予測画素値に変換する画素値変換機能と、画素値変換機能により変換された色調整後の予測画素値と第2の画像領域の画素値とを基に、未知領域の画素値を多値にて生成する多値画像生成機能と、を実現させるためのプログラムとして捉えることもできる。
なお、本実施の形態を実現するプログラムは、通信手段により提供することはもちろん、CD−ROM等の記録媒体に格納して提供することも可能である。
以上、本実施の形態について説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、種々の変更または改良を加えたものも、本発明の技術的範囲に含まれることは、特許請求の範囲の記載から明らかである。
1…画像処理システム、10…画像処理装置、11…画像情報取得部、12…ユーザ指示受付部、13…二値画像生成部、14…未知領域設定部、15…画素値予測部、16…画素値変換部、17…多値画像生成部、18…画像情報出力部、20…表示装置、30…入力装置
Claims (13)
- 画像の画像情報から第1の画像領域または第2の画像領域であることを示す二値で表された二値画像を生成する二値画像生成部と、
前記二値画像を使用して、前記第1の画像領域および前記第2の画像領域の境界部で画素値を決定したい未知領域を設定する未知領域設定部と、
前記未知領域以外の既知領域の中で前記第1の画像領域に属する画素を基に、当該未知領域中の画素の画素値を当該第1の画像領域の予測画素値として予測する画素値予測部と、
前記画素値予測部で予測した前記第1の画像領域の予測画素値を色調整後の予測画素値に変換する画素値変換部と、
前記画素値変換部により変換された色調整後の予測画素値と前記第2の画像領域の画素値とを基に、前記未知領域の画素値を多値にて生成する多値画像生成部と、
を備える画像処理装置。 - 前記画素値予測部は、前記既知領域の中で前記第2の画像領域に属する画素を基に、前記未知領域中の画素の画素値を当該第2の画像領域の予測画素値として予測し、
前記多値画像生成部は、色調整後の予測画素値と前記第2の画像領域の予測画素値とから、前記未知領域の画素値を生成することを特徴とする請求項1に記載の画像処理装置。 - 前記多値画像生成部は、色調整後の予測画素値と前記第2の画像領域の予測画素値との加重平均を求めることで、前記未知領域の画素値を生成することを特徴とする請求項2に記載の画像処理装置。
- 前記多値画像生成部は、色調整後の予測画素値と前記第2の画像領域の画素値とから、前記未知領域の画素値を生成することを特徴とする請求項1に記載の画像処理装置。
- 前記多値画像生成部は、色調整後の予測画素値と前記第2の画像領域の画素値との加重平均を求めることで、前記未知領域の画素値を生成することを特徴とする請求項4に記載の画像処理装置。
- 前記画素値予測部は、前記既知領域に含まれ強さを有する画素を起点の画素とし、当該起点の画素の強さおよび当該起点の画素の前記未知領域に含まれる画素に及ぼす加重に基づいて当該未知領域中の画素の画素値を予測することを特徴とする請求項1に記載の画像処理装置。
- 前記画素値予測部は、前記起点の画素の強さおよび当該起点の画素の前記未知領域に含まれる画素に及ぼす加重に基づいて当該未知領域に含まれる画素の画素値を決定し、画素値が決定した画素を新たな起点の画素としてさらに当該決定を行なうことを繰り返すことで当該未知領域中の画素の画素値を予測することを特徴とする請求項6に記載の画像処理装置。
- 前記画素値予測部は、前記起点の画素の強さと当該起点の画素の前記未知領域に含まれる画素に及ぼす加重とを乗じた値が最も大きくなる起点の画素の画素値に基づいて当該未知領域中の画素の画素値を予測することを特徴とする請求項6に記載の画像処理装置。
- 前記未知領域設定部は、前記第1の画像領域および前記第2の画像領域の境界部から予め定められた幅で前記未知領域を設定することを特徴とする請求項1に記載の画像処理装置。
- 前記未知領域設定部は、前記第1の画像領域および前記第2の画像領域の境界部の画素を中心として二値の画素値の設定を解除するフィルタを適用することで前記未知領域を設定することを特徴とする請求項9に記載の画像処理装置。
- 画像の画像情報から第1の画像領域または第2の画像領域であることを示す二値で表された二値画像を生成し、
前記二値画像を使用して、前記第1の画像領域および前記第2の画像領域の境界部で画素値を決定したい未知領域を設定し、
前記未知領域以外の既知領域の中で前記第1の画像領域に属する画素を基に、当該未知領域中の画素の画素値を当該第1の画像領域の予測画素値として予測し、
予測した前記第1の画像領域の予測画素値を色調整後の予測画素値に変換し、
変換された色調整後の予測画素値と前記第2の画像領域の画素値とを基に、前記未知領域の画素値を多値にて生成する画像処理方法。 - 画像を表示する表示装置と、
前記表示装置に表示される前記画像の画像情報に対し画像処理を行なう画像処理装置と、
を備え、
前記画像処理装置は、
画像の画像情報から第1の画像領域または第2の画像領域であることを示す二値で表された二値画像を生成する二値画像生成部と、
前記二値画像を使用して、前記第1の画像領域および前記第2の画像領域の境界部で画素値を決定したい未知領域を設定する未知領域設定部と、
前記未知領域以外の既知領域の中で前記第1の画像領域に属する画素を基に、当該未知領域中の画素の画素値を当該第1の画像領域の予測画素値として予測する画素値予測部と、
前記画素値予測部で予測した前記第1の画像領域の予測画素値を色調整後の予測画素値に変換する画素値変換部と、
前記画素値変換部により変換された色調整後の予測画素値と前記第2の画像領域の画素値とを基に、前記未知領域の画素値を多値にて生成する多値画像生成部と、
を備える画像処理システム。 - コンピュータに、
画像の画像情報から第1の画像領域または第2の画像領域であることを示す二値で表された二値画像を生成する二値画像生成機能と、
前記二値画像を使用して、前記第1の画像領域および前記第2の画像領域の境界部で画素値を決定したい未知領域を設定する未知領域設定機能と、
前記未知領域以外の既知領域の中で前記第1の画像領域に属する画素を基に、当該未知領域中の画素の画素値を当該第1の画像領域の予測画素値として予測する画素値予測機能と、
前記画素値予測機能で予測した前記第1の画像領域の予測画素値を色調整後の予測画素値に変換する画素値変換機能と、
前記画素値変換機能により変換された色調整後の予測画素値と前記第2の画像領域の画素値とを基に、前記未知領域の画素値を多値にて生成する多値画像生成機能と、
を実現させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017170688A JP6919433B2 (ja) | 2017-09-05 | 2017-09-05 | 画像処理装置、画像処理方法、画像処理システムおよびプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017170688A JP6919433B2 (ja) | 2017-09-05 | 2017-09-05 | 画像処理装置、画像処理方法、画像処理システムおよびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019046329A JP2019046329A (ja) | 2019-03-22 |
JP6919433B2 true JP6919433B2 (ja) | 2021-08-18 |
Family
ID=65814437
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017170688A Active JP6919433B2 (ja) | 2017-09-05 | 2017-09-05 | 画像処理装置、画像処理方法、画像処理システムおよびプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6919433B2 (ja) |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6365033B2 (ja) * | 2014-07-08 | 2018-08-01 | 富士ゼロックス株式会社 | 画像処理装置およびプログラム |
JP6550819B2 (ja) * | 2015-03-19 | 2019-07-31 | 富士ゼロックス株式会社 | 選択支援装置及びプログラム |
JP5858188B1 (ja) * | 2015-06-15 | 2016-02-10 | 富士ゼロックス株式会社 | 画像処理装置、画像処理方法、画像処理システムおよびプログラム |
JP2017126304A (ja) * | 2016-01-15 | 2017-07-20 | 富士ゼロックス株式会社 | 画像処理装置、画像処理方法、画像処理システムおよびプログラム |
-
2017
- 2017-09-05 JP JP2017170688A patent/JP6919433B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2019046329A (ja) | 2019-03-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5032911B2 (ja) | 画像処理装置及び画像処理方法 | |
JP6786850B2 (ja) | 画像処理装置、画像処理方法、画像処理システムおよびプログラム | |
KR101295649B1 (ko) | 화상처리장치, 화상처리방법, 및 기억매체 | |
US20140212037A1 (en) | Image processing apparatus, image processing method, and computer readable medium | |
US9792695B2 (en) | Image processing apparatus, image processing method, image processing system, and non-transitory computer readable medium | |
US10580122B2 (en) | Method and system for image enhancement | |
JP6287337B2 (ja) | 画像処理装置、画像処理方法、画像処理システムおよびプログラム | |
US11145032B2 (en) | Image processing apparatus, method and storage medium for reducing color noise and false color | |
US9489748B2 (en) | Image processing apparatus and method, image processing system, and non-transitory computer readable medium | |
US8462171B2 (en) | Saturation contrast image enhancement | |
JP6957665B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP2007042033A (ja) | 色補正装置および画像表示装置 | |
JP6919433B2 (ja) | 画像処理装置、画像処理方法、画像処理システムおよびプログラム | |
US9154671B2 (en) | Image processing apparatus, image processing method, and program | |
KR20070063781A (ko) | 색역 내에 존재하는 색상을 영상 적응적으로 조절하는 방법및 장치 | |
JP6711031B2 (ja) | 画像処理装置、画像処理方法、画像処理システムおよびプログラム | |
KR102470242B1 (ko) | 영상 처리 장치, 영상 처리 방법, 및 프로그램 | |
JP6749504B2 (ja) | 画像処理装置、画像処理方法、及び画像処理プログラム | |
JP2018097415A (ja) | 画像処理装置、画像処理方法、画像処理システムおよびプログラム | |
EP3719740B1 (en) | Image processing device, image processing method, and image processing program | |
JP2005196444A (ja) | 画像データ処理装置、画像データ処理方法及びそのプログラム | |
JP2019045996A (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP6891014B2 (ja) | 画像処理装置および画像処理方法、並びにプログラム | |
JP2016174306A (ja) | 画像処理装置、画面処理方法及びプログラム | |
JP2016004309A (ja) | 画像処理装置、画像処理方法、画像処理システムおよびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200717 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210622 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210705 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6919433 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |