JP6287337B2 - 画像処理装置、画像処理方法、画像処理システムおよびプログラム - Google Patents

画像処理装置、画像処理方法、画像処理システムおよびプログラム Download PDF

Info

Publication number
JP6287337B2
JP6287337B2 JP2014039869A JP2014039869A JP6287337B2 JP 6287337 B2 JP6287337 B2 JP 6287337B2 JP 2014039869 A JP2014039869 A JP 2014039869A JP 2014039869 A JP2014039869 A JP 2014039869A JP 6287337 B2 JP6287337 B2 JP 6287337B2
Authority
JP
Japan
Prior art keywords
image
hue
saturation
image processing
designated area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014039869A
Other languages
English (en)
Other versions
JP2015165607A (ja
Inventor
佐々木 信
信 佐々木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fuji Xerox Co Ltd
Fujifilm Business Innovation Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd, Fujifilm Business Innovation Corp filed Critical Fuji Xerox Co Ltd
Priority to JP2014039869A priority Critical patent/JP6287337B2/ja
Priority to US14/472,891 priority patent/US20150249810A1/en
Publication of JP2015165607A publication Critical patent/JP2015165607A/ja
Application granted granted Critical
Publication of JP6287337B2 publication Critical patent/JP6287337B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/643Hue control means, e.g. flesh tone control
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/001Texturing; Colouring; Generation of texture or colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/162Segmentation; Edge detection involving graph-based methods
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • H04N1/6075Corrections to the hue
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/68Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20092Interactive image processing based on input by user
    • G06T2207/20101Interactive definition of point of interest, landmark or seed

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Color Image Communication Systems (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Facsimile Image Signal Circuits (AREA)

Description

本発明は、画像処理装置、画像処理方法、画像処理システム、プログラムに関する。
特許文献1には、彩度変換パラメータ設定部において、画像の彩度変換パラメータを高彩度側と低彩度側とでそれぞれ設定し、彩度変換部において、該複数の彩度変換パラメータに基づいて変換特性を算出し、彩度を変換する画像処理装置が開示されている。
また特許文献2には、画像属性判別部において、画像を所定数のブロックに分割し、各ブロック毎にその属性を判別し、そして彩度変換パラメータ設定部において、判別結果に応じて画像の彩度変換パラメータを設定し、彩度変換部において、彩度変換パラメータに基づいて変換特性を算出し、彩度を変換する画像処理装置が開示されている。
さらに特許文献3には、撮影画像中で特定被写体が指定されたら、色分布マップから特定被写体の検出された色が属する部分の近傍範囲を部分的に抽出した色相分布範囲、彩度分布範囲を示す色相インジケータと彩度インジケータとを特定被写体の近傍に直交配置させて表示させることで、2次元の操作空間を形成し、この操作空間内で指を移動する入力操作で色補正値を設定できるようにした色補正装置が開示されている。
特開2000−123163号公報 特開2000−123164号公報 特開2010−146378号公報
低彩度の画像に対し画像処理を行なったときでも、画像に破綻が生じにくいことが望ましい。
請求項1に記載の発明は、画像処理を行なう画像の中から、ユーザが画像処理を行なう画像領域として指定した指定領域を検出する指定領域検出部と、検出した前記指定領域が予め定められた彩度よりも低い低彩度の画像であったときに、当該指定領域における画像情報を色相が統一されたものとなるように置換し、検出した当該指定領域が予め定められた彩度以上の高彩度の画像であったときには、色相を置換しない色相置換部と、置換された画像情報に基づき前記指定領域の画像処理を行なう画像処理部と、を備えることを特徴とする画像処理装置である。
請求項2に記載の発明は、前記色相置換部において彩度に応じて色相の統一の度合いを変化させるための重みを設定する置換度設定部をさらに備え、前記置換度設定部は、彩度が小さいほど色相の統一の度合いをより大きくなるようにし、彩度が大きいほど色相の統一の度合いをより小さくなるように前記重みを設定することを特徴とする請求項1に記載の画像処理装置である。
請求項3に記載の発明は、前記色相置換部は、前記指定領域の画像情報が採る色相の平均に基づき画像情報を置換することを特徴とする請求項1または2に記載の画像処理装置である。
請求項4に記載の発明は、画像処理を行なう画像の中から、ユーザが画像処理を行なう画像領域として指定した指定領域を検出し、検出した前記指定領域が予め定められた彩度よりも低い低彩度の画像であったときに、当該指定領域における画像情報を色相が統一されたものとなるように置換し、検出した当該指定領域が予め定められた彩度以上の高彩度の画像であったときには、色相を置換せず、置換された画像情報に基づき前記指定領域の画像処理を行なうことを特徴とする画像処理方法である。
請求項5に記載の発明は、画像を表示する表示装置と、前記表示装置に表示される画像の画像情報に対し画像処理を行なう画像処理装置と、ユーザが前記画像処理装置に対し画像処理を行なうための指示を入力する入力装置と、を備え、前記画像処理装置は、前記画像の中から、ユーザが画像処理を行なう画像領域として指定した指定領域を検出する指定領域検出部と、検出した前記指定領域が予め定められた彩度よりも低い低彩度の画像であったときに、当該指定領域における画像情報を色相が統一されたものとなるように置換し、検出した当該指定領域が予め定められた彩度以上の高彩度の画像であったときには、色相を置換しない色相置換部と、置換された画像情報に基づき前記指定領域の画像処理を行なう画像処理部と、を備えることを特徴とする画像処理システムである。
請求項6に記載の発明は、コンピュータに、画像処理を行なう画像の中から、ユーザが画像処理を行なう画像領域として指定した指定領域を検出する機能と、検出した前記指定領域が予め定められた彩度よりも低い低彩度の画像であったときに、当該指定領域における画像情報を色相が統一されたものとなるように置換し、検出した当該指定領域が予め定められた彩度以上の高彩度の画像であったときには、色相を置換しない機能と、置換された画像情報に基づき前記指定領域の画像処理を行なう機能と、を実現させるプログラムである。
請求項1の発明によれば、本構成を有していない場合に比較して、低彩度の画像に対し画像処理を行なったときでも、画像に破綻を生じさせにくい画像処理装置が提供できる。
請求項2の発明によれば、本構成を有していない場合に比較して、指定領域にグラデーション等が含まれる場合でも、画像調整の結果がより自然になる。
請求項3の発明によれば、本構成を有していない場合に比較して、指定領域の画像の色相を統一されたものとする処理がより簡単になる。
請求項4の発明によれば、低彩度の画像に対し画像処理を行なったときでも、画像に破綻を生じさせにくい画像処理方法が提供できる。
請求項5の発明によれば、本構成を有していない場合に比較して、低彩度の画像に対し画像処理を行なったときでも、画像に破綻を生じさせにくい画像処理システムが提供できる。
請求項6の発明によれば、本構成を有していない場合に比較して、低彩度の画像に対し画像処理を行なったときでも、画像に破綻を生じさせにくくする機能をコンピュータにより実現できる。
本実施の形態における画像処理システムの構成例を示す図である。 本発明の第1の実施の形態における画像処理装置の機能構成例を表すブロック図である。 彩度Cをa平面における原点からのユークリッド距離により定義することについて説明した図である。 指定領域をユーザインタラクティブに行なう方法の第1の例を示した図である。 最大流量最小カットの原理を説明した図である。 (a)〜(e)は、2つのシードが与えられた場合に、画像を2つの領域にわける具体例である。 (a)〜(c)は、図4に示した画像から切り出した指定領域について説明した図である。 (a)〜(b)は、指定領域と指定領域外との境界をぼやけさせる処理を行なった場合を示している。 (a)〜(b)は、指定領域をユーザインタラクティブに行なう方法の第2の例を示した図である。 (a)〜(b)は、画像がグレーに近い低彩度のものであった場合の色相の分布を示した図である。 (a)〜(b)は、数5式を使用した色相値の置換について説明した図である。 (a)〜(b)は、平均色相値に向けて色相値を置換した場合について説明した図である。 (a)は、置換前の色相値の分布をH−S平面において表した図である。(b)は、図10〜図11で説明した方法によって置換後の色相値の分布をH−S平面において表した図である。 色相置換後の色相置換画像情報を基に彩度を高める処理を行なった場合を示した図である。 (a)は、指定領域としたスカートの画像の色を色相を統一せずに彩度を高める処理をしたときの画像の一例である。(b)は、指定領域としたスカートの画像の色を色相を統一して彩度を高める処理をしたときの画像の一例である。 (a)は、色相を調整するスライダの一例について説明した図である。(b)は、色相が、Haveに向かって置換されている場合に、(a)の方法で色相を調整したときのトーンカーブの一例を示した図である。 (a)は、彩度を調整するスライダの一例について説明した図である。(b)は、(a)の方法で彩度を調整したときのトーンカーブの一例を示した図である。 (a)は、輝度を調整するスライダの一例について説明した図である。(b)は、(a)の方法で彩度を調整したときのトーンカーブの一例を示した図である。 色相および彩度の調整を行なうときに表示画面に表示される画面の例を示した図である。 (a)〜(b)は、色相および彩度の調整を行なうときに表示画面に表示される画面のさらに他の例を示した図である。 (a)〜(c)は、色相、彩度、輝度の調整を行なうときに表示画面に表示される画面のさらに他の例を示した図である。 第1の実施の形態についての画像処理装置の動作について説明したフローチャートである。 本発明の第2の実施の形態における画像処理装置の機能構成例を表すブロック図である。 本実施の形態の彩度適応関数の例を示した図である。 (a)は、グラデーションがあった場合の色相の分布をH−S平面上で示した図である。(b)は、彩度適応関数を使用して色相の置換を行なった場合をH−S平面上で示した図である。 第2の実施の形態についての画像処理装置の動作について説明したフローチャートである。 画像処理装置のハードウェア構成を示した図である。
以下、添付図面を参照して、本発明の実施の形態について詳細に説明する。
<発明の背景>
例えば、カラー画像に対し色調整等の画像調整を行なう場合、主に自然画像に対し様々な手法が存在する。このとき一般に色相、彩度、輝度に分けて色調整等を行なうと、人の感覚にマッチしやすいと言われている。最近では、市販のソフトウェアやフリーのソフトウェアでも、色相、彩度、輝度などのスライダがあり、簡易にユーザが調整を行なうことができるものがある。
一方、スライダでユーザが彩度や色相を制御する場合は、スライダを動かすことで、元の色相値や彩度値に値を上乗せする場合が多い。そのため、ユーザが望む調整に対して、不自然な結果になる場合がある。これは、スライダを使用することによる単純な調整処理の限界であり、解消するためには、自然画像が持つ色味の特性を考慮した工夫によって、彩度や色相を調整する必要がある。
このときに行なう工夫として、彩度変換を、高彩度側と低彩度側で変換度合いが異なるとして、それぞれに対して彩度調整手段を分けて行なう従来技術がある。また画像の属性に対して好ましい彩度調整が異なるとして、画像内オブジェクトごとに彩度調整を行なう従来技術がある。
また、GUI(Graphical User Interface)に工夫をし、切り出したオブジェクトを外接するように色相と彩度のインジケータが表示され、これにより、画像内のオブジェクトごとにユーザが簡易に色相と彩度を調整することができる従来技術がある。
しかしながら画像調整を行なう画像の領域の色が、グレーに近い低彩度のものであった場合、画像情報を色相、彩度、輝度に分解すると、色相がほぼ全域に散らばってしまうことがある。このとき、彩度を高めようとすると、該当領域が様々な色を有したまま彩度強調されてしまい、まだらな色調整結果となる。また、この場合は、グレーの画像の領域に着色を行なうような処理になるが、従来技術で実現することは困難である。
そこで本実施の形態では、以下のような画像処理システム1を用いて、以上の問題の抑制を図っている。
<画像処理システム全体の説明>
図1は、本実施の形態における画像処理システム1の構成例を示す図である。
図示するように本実施の形態の画像処理システム1は、表示装置20に表示される画像の画像情報に対し画像処理を行なう画像処理装置10と、画像処理装置10により作成された画像情報が入力され、この画像情報に基づき画像を表示する表示装置20と、画像処理装置10に対しユーザが種々の情報を入力するための入力装置30とを備える。
画像処理装置10は、例えば、所謂汎用のパーソナルコンピュータ(PC)である。そして、画像処理装置10は、OS(Operating System)による管理下において、各種アプリケーションソフトウェアを動作させることで、画像情報の作成等が行われるようになっている。
表示装置20は、表示画面21に画像を表示する。表示装置20は、例えばPC用の液晶ディスプレイ、液晶テレビあるいはプロジェクタなど、加法混色にて画像を表示する機能を備えたもので構成される。したがって、表示装置20における表示方式は、液晶方式に限定されるものではない。なお、図1に示す例では、表示装置20内に表示画面21が設けられているが、表示装置20として例えばプロジェクタを用いる場合、表示画面21は、表示装置20の外部に設けられたスクリーン等となる。
入力装置30は、キーボードやマウス等で構成される。入力装置30は、画像処理を行なうためのアプリケーションソフトウェアの起動、終了や、詳しくは後述するが、画像処理を行なう際に、ユーザが画像処理装置10に対し画像処理を行なうための指示を入力するのに使用する。
画像処理装置10および表示装置20は、DVI(Digital Visual Interface)を介して接続されている。なお、DVIに代えて、HDMI(High-Definition Multimedia Interface)やDisplayPort等を介して接続するようにしてもかまわない。
また画像処理装置10と入力装置30とは、例えば、USB(Universal Serial Bus)を介して接続されている。なお、USBに代えて、IEEE1394やRS−232C等を介して接続されていてもよい。
このような画像処理システム1において、表示装置20には、まず最初に画像処理を行なう前の画像である原画像が表示される。そしてユーザが入力装置30を使用して、画像処理装置10に対し画像処理を行なうための指示を入力すると、画像処理装置10により原画像の画像情報に対し画像処理がなされる。この画像処理の結果は、表示装置20に表示される画像に反映され、画像処理後の画像が再描画されて表示装置20に表示されることになる。この場合、ユーザは、表示装置20を見ながらインタラクティブに画像処理を行なうことができ、より直感的に、またより容易に画像処理の作業を進めることができる。
なお本実施の形態における画像処理システム1は、図1の形態に限られるものではない。例えば、画像処理システム1としてタブレット端末を例示することができる。この場合、タブレット端末は、タッチパネルを備え、このタッチパネルにより画像の表示を行なうとともにユーザの指示が入力される。即ち、タッチパネルが、表示装置20および入力装置30として機能する。また同様に表示装置20および入力装置30を統合した装置として、タッチモニタを用いることもできる。これは、上記表示装置20の表示画面21としてタッチパネルを使用したものである。この場合、画像処理装置10により画像情報が作成され、この画像情報に基づきタッチモニタに画像が表示される。そしてユーザは、このタッチモニタをタッチ等することで画像処理を行なうための指示を入力する。
<画像処理装置の説明>
[第1の実施の形態]
次に画像処理装置10の第1の実施の形態について説明を行なう。
図2は、本発明の第1の実施の形態における画像処理装置10の機能構成例を表すブロック図である。なお図2では、画像処理装置10が有する種々の機能のうち第1の実施の形態に関係するものを選択して図示している。
図示するように本実施の形態の画像処理装置10は、画像情報取得部11と、色変換部12と、ユーザ指示受付部13と、指定領域検出部14と、判定部15と、色相置換部16と、画像処理部17と、画像情報出力部18とを備える。
画像情報取得部11は、画像処理を行なう画像の画像情報を取得する。即ち、画像情報取得部11は、画像処理を行なう前の画像情報を取得する。この画像情報は、表示装置20で表示を行なうための、例えば、RGB(Red、Green、Blue)のビデオデータ(RGBデータ)である。
色変換部12は、RGBデータをデバイス非依存な色データに変換する。本実施の形態では、RGBデータを例えば、色相(H)、彩度(S)、輝度(V)の各値からなるHSVデータに変換する。このようにすることで、ユーザは、より人の感覚に近い形で画像調整を行なうことができる。ただしこれに限られるものではなく、色相、彩度、輝度を求めることができる色データであればよい。例えば、L、a、bの各値からなるLデータや、Y、Cb、Crの各値からなるYCbCrデータのような輝度色差空間における色データであってもよい。そして例えば、色データが、Lデータであった場合は、図3に示すように、彩度Cをa平面における原点Oからのユークリッド距離により定義することができる。即ち、彩度Cは、以下の数1式となる。
Figure 0006287337
また色相は、図3に示すようにa平面におけるa軸からの角度(色相角h)により定義することができる。
ユーザ指示受付部13は、入力装置30により入力された画像処理に関するユーザによる指示を受け付ける。
具体的には、表示装置20で表示している画像の中から、ユーザが画像処理を行なう画像領域を指定する指示を、ユーザ指示情報として受け付ける。さらにこの画像領域に対し、ユーザが実際に画像処理を行なう処理項目や処理量等に関する指示を、ユーザ指示情報として受け付ける。これらの内容に関するさらに詳しい説明については後述する。
指定領域検出部14は、ユーザ指示受付部13で受け付けられたユーザからの指示に基づき、表示装置20で表示されている画像の中から、ユーザが画像処理を行なう画像領域として指定した指定領域を検出する。実際には、指定領域検出部14は、表示装置20で表示している画像の中から、指定領域を切り出す処理を行なう。
この指定領域を切り出す方法は、特に限られるものではないが、例えば、色を基準にして行なう方法やユーザインタラクティブに行なう方法の2通りが挙げられる。
色を基準にして行なう方法では、ユーザが指定色を与え、指定色に近い色を有する画素を画像中から抽出することで、指定領域の切り出しを行なうことができる。または指定色に対する近さで重み付けをしたマスクを用意し、このマスクを使用して画像を抽出することで、指定領域の切り出しを行なうことができる。
一方、指定領域をユーザインタラクティブに行なう方法は、例えば、以下の方法を用いることができる。
図4は、指定領域をユーザインタラクティブに行なう方法の第1の例を示した図である。
ここでは、表示装置20で表示している画像が、前景として写る人物と、人物の背後に写る背景とからなる写真画像である場合を示している。そしてユーザが、前景である人物を指定領域として選択する場合を示している。
この場合、ユーザは、前景の人物と背景との境界を挟み、前景と背景とで代表となる軌跡をそれぞれ与える。この軌跡は、入力装置30により入力することができる。具体的には、入力装置30がマウスであった場合は、マウスを操作して表示装置20で表示している図4の画像をドラッグし軌跡を描く。また入力装置30がタッチパネルであった場合は、ユーザの指やタッチペン等により表示画面をなぞりスワイプすることで同様に軌跡を描く。なお軌跡ではなく、点として与えてもよい。即ち、前景と背景とで代表となる位置を示す情報を与えればよい。また以後、前景(この場合、指定領域)に対して与える軌跡等の情報を「前景シード」、背景(この場合、指定領域外)に対して与える軌跡等の情報を「背景シード」と言うことがある。
そしてこの前景シードや背景シードを基にして、指定領域検出部14が指定領域を切り出すには、画像をグラフと見立て、最大流量最小カットの原理を利用した方法がある。
この原理は、図5−1に示すように前景の仮想ノードを始点、背景の仮想ノードを終点として設定し、前景の仮想ノードからユーザが指定した前景領域の代表位置をリンクし、ユーザが指定した背景領域の代表位置から終点へリンクさせる。そして始点から水を流した場合、最大流せる量はいくらかを計算する。前景から始点へのリンクの値を水道管のパイプの太さと考えて、ボトルネックになっている(流れにくい)箇所のカットの総和が最大流量であるという原理である。つまりは、ボトルネックとなるリンクをカットすることが、前景と背景とを分離することになる(グラフカット)。
またはシードを与えた後に、領域拡張の原理を利用した方法でも指定領域の切り出しを行なうことができる。
図5−2(a)〜(e)は、2つのシードが与えられた場合に、画像を2つの領域にわける具体例である。
ここでは図5−2(a)の原画像に対し、図5−2(b)で示すように、シードとしてシード1とシード2の2つを与える。そして各々のシードを基点に領域を拡張していく。この場合、例えば、原画像における近傍画素の値との近さ等に応じて領域を拡張していくことができる。このとき図5−2(c)に示すように領域同士のせめぎ合いがある場合は、再判定の対象画素となり、再判定の対象画素の画素値と近傍の関係でどちらの領域に属するかを決めればよい。このとき、下記文献に記載されている方法を使うことができる。
V.Vezhnevets and V.Konouchine: "Grow-Cut" -Interactive Multi-label N-D Image Segmentation", Proc.Graphicon.pp 150-156(2005)
図5−2(d)の例では、再判定の対象画素は、最終的にはシード2の領域として判定され、図5−2(e)に示すように2つのシードを基に、2つの領域に切り分けられて収束する。
以上挙げた例は、領域カットに関する例であり、領域拡張やグラフなどの原理を利用した領域の切り出し方法の具体例を示した。ただし本実施の形態では、この領域カットの方法は問わず、いかなるものでも適用可能である。
そして指定領域検出部14は、以上のように切り出した指定画像の画素に対しては、指定領域を表すフラグ(例えば、1や255など)を付加し、指定画像外の画像の画素には、指定領域外を表すフラグ(例えば、0など)を付加して出力する。
以上説明した指定領域をユーザインタラクティブに行なう方法では、指定領域の切り出しの精度がより高くなる。
図6(a)〜(c)は、図4に示した画像から切り出した指定領域について説明した図である。
このうち図6(a)は、指定領域を切り出す前の原画像を示している。そして図6(b)は、ここから切り出した指定領域を示している。図6(b)に示すように前景の人物のみが切り出されていることがわかる。
また図6(c)は、このとき図4で示した画像の各画素に付加されるフラグの分布を示した図である。ここで白色の部分は、フラグが1であり、指定領域であることを示す。また黒色の部分は、フラグが0であり、指定領域外であることを示す。図6(c)は、指定領域と指定領域外とを切り分けるマスクと見ることもできる。
図7(a)〜(b)は、指定領域と指定領域外との境界をぼやけさせる処理を行なった場合を示している。
このうち図7(a)は、切り出した指定領域を示している。また図7(b)は、このとき使用されるマスクの値の分布を示した図である。図6(c)と図7(b)とを比較すると、図7(b)の場合は、指定領域を1、指定領域外を0と固定せず、0〜1の値を採るようにする。この場合、マスクの値は、通常は、指定領域では1、指定領域外では0であるが、指定領域と指定領域外との境界付近では、0〜1の値を採る。即ち、指定領域と指定領域外との境界がぼける平滑化マスクとなる。
この平滑化マスクを使用して指定領域を切り出す処理を行なうには、例えば、図4で示した画像の各画素の画素値w(x、y)(x、yは、画像中の画素の位置)に対し、以下の数2式で示すガウス関数で畳み込まれた画像を出力する。
Figure 0006287337
ここでσは、ぼかし度合いを表すパラメータである。そして数2式を用いて画素値w(x、y)の畳み込みを行なうには、以下の数3式を使用する。
Figure 0006287337
数3式におけるw(x、y)を使用することで、指定領域と指定領域外との境界が平滑化され、境界をぼかした指定領域が切り出される。なおこの例では、ガウス関数を使用して平滑化マスクを作成したが、移動平均を用いる方法もある。
以上のようにして境界付近をぼかすことで、境界段差が少なくなり、より自然に見える指定領域を切り出すことができる。
また図4で説明した例では、前景を背景から切り出し、前景を指定領域としていたが、これに限られるものではない。
図8(a)〜(b)は、指定領域をユーザインタラクティブに行う方法の第2の例を示した図である。
ここでは、表示装置20で表示している画像における人物の衣類の中からスカートの部分を指定領域として切り出す場合を示している。
この場合、ユーザは、図4の場合と同様にして、指定領域と指定領域外の境界を挟み、指定領域と指定領域外とで代表となる軌跡をそれぞれ与える。
具体的には、図8(a)に示すように、画像中のスカートの領域とスカートの領域外とのそれぞれの領域において、入力装置30を使用して軌跡を与える。これにより図8(b)に示すようにスカートの部分を指定領域として切り出すことができる。以後、このスカートの部分を指定領域とした場合について説明を行なう。
図2に戻り、判定部15は、検出した指定領域が低彩度の画像であるか否かを判定する。この判定を行なうためには、例えは、指定領域の彩度(S)が予め定められた閾値以下である場合に、指定領域が低彩度の画像であると判断する。より具体的には、例えば、指定領域を構成する全画素のうち第1の閾値以上の割合のものが、第2の閾値以下の彩度(S)である場合、判定部15は、指定領域が低彩度の画像であると判定する。また例えば、指定領域を構成する全画素の彩度(S)の平均値が、第3の閾値以下である場合、判定部15が、指定領域が低彩度の画像であると判定してもよい。
本実施の形態では、指定領域としたスカートの画像の色が、グレーに近い色であり、低彩度の画像であったとする。そのためこの場合、判定部15は、指定領域が低彩度の画像であると判定する。
色相置換部16は、検出した指定領域が予め定められた彩度よりも低い低彩度の画像であったときに、この指定領域における画像情報を色相(H)が統一されたものとなるように置換する。
つまり上述したように画像がグレーに近い低彩度のものであった場合は、色相(H)がほぼ全域に散らばってしまう。そしてこの状態で、彩度(S)を高める等の処理を行なうと、指定領域が様々な色となり、まだらな色調整結果となる。
図9(a)〜(b)は、画像がグレーに近い低彩度のものであった場合の色相の分布を示した図である。
このうち図9(a)は、H−V平面における画素値の分布を示した図である。また図9(b)は、H−S平面における画素値の分布を示した図である。両図とも両矢印で示す範囲内で色相(H)が広範囲にばらついて分布していることがわかる。
そしてこの状態で、図9(b)の太矢印で示すように彩度(S)を高める処理を行なうと、それぞれの画素が有する様々な色が顕在化し、ばらばらな色となる。画像がグレーに近い低彩度のものであった場合、ユーザは、画像処理を行なう前の原画像では、その画像が様々な色相(H)を有していることはわからないが、ユーザが彩度を高める処理を行った場合に、顕著に現れる問題である。
そこで本実施の形態では、色相置換部16において、指定領域が低彩度の画像であったときには、指定領域における画像情報を色相(H)が統一されたものとなるように置換する処理を行なう。
具体的には、まず指定領域の平均色相値Haveを算出する。指定領域中の各画素の位置(x、y)における色相値をH(x、y)とすると、平均色相値Haveは、以下の数4式により算出することができる。数4式中、Nは指定領域の画素数であり、Dは指定領域を表す。
Figure 0006287337
そしてこの平均色相値Haveに、色相値H(x、y)を置換する。またこのとき彩度値S(x、y)、輝度値V(x、y)は変化させない。この処理は、以下の数5式で表すことができる。そして変換後のHave、S(x、y)、V(x、y)が、色相(H)が統一されたものとなるように置換した後の画像情報となる。
Figure 0006287337
図10(a)〜(b)は、数5式を使用した色相値の置換について説明した図である。
ここで図10(a)は、図9(a)と同様の図であり、H−V平面における置換前の色相値H(x、y)の分布を表す。また図10(b)は、H−V平面における置換後の色相値の分布を表す。図10(b)に示すように、置換後の色相値は、平均色相値Haveに置換される。
また色相値H(x、y)を、平均色相値Haveの一律に置換せず、平均色相値Haveに向けて置換してもよい。なおこの場合も彩度値S(x、y)、輝度値V(x、y)は変化させない。この処理は、以下の数6式で表すことができる。ここでHave(x、y)は、平均色相値Haveに近い値を表す。そして変換後のHave(x、y)、S(x、y)、V(x、y)が、色相(H)が統一されたものとなるように置換した後の画像情報となる。
Figure 0006287337
図11(a)〜(b)は、平均色相値Haveに向けて色相値H(x、y)を置換した場合について説明した図である。
ここで図11(a)は、図9(a)と同様の図であり、H−V平面における置換前の色相値H(x、y)の分布を表す。また図11(b)は、H−V平面における置換後の色相値の分布を表す。図11(b)に示すように、置換後の色相値は、平均色相値Haveの前後の両矢印で表す狭い範囲内に分布し、平均色相値Haveに向けて、色相値H(x、y)が置換されているのがわかる。
また図12(a)は、図9(b)と同様の図であり、置換前の色相値H(x、y)の分布をH−S平面において表した図である。また図12(b)は、図10〜図11で説明した方法によって置換後の色相値の分布をH−S平面において表した図である。図12(b)で示すように、置換後の色相値は、両矢印で表すより狭い範囲内に分布するように置換される。
なお上述した例では、平均色相値Haveを基準とし、色相値H(x、y)を、この平均色相値Haveに置換、またはこの色相値に向けて置換したが、これに限られるものではない。例えば、図9で例示した色相(H)の散らばる範囲内の何れかの色相値を基準とし、色相値H(x、y)を、この色相値に置換、またはこの色相値に向けて置換を行なってもよい。さらに色相(H)の散らばる範囲外において何れかの色相値を基準として用意し、色相値H(x、y)を、この色相値に置換、またはこの色相値に向けて置換を行なってもよい。即ち、色相(H)の統一が図れていれば、その色相(H)は、どのようなものでもよい。
画像処理部17は、置換された画像情報およびユーザの指示に基づき、指定領域の画像処理を行なう。
図13は、色相置換後の色相置換画像情報を基に彩度(S)を高める処理を行なった場合を示した図である。
図13は、H−S平面における画素値の分布を示している。図示するように色相(H)が統一されているため、この状態で彩度(S)を高める処理を行なった場合、太矢印で示すように、各画素は、同様な色相(H)のまま彩度(S)が高められ、色がばらばらになることはない。
また図14(a)は、指定領域としたスカートの画像の色を色相(H)を統一せずに彩度(S)を高める処理をしたときの画像の一例である。さらに図14(b)は、指定領域としたスカートの画像の色を色相(H)を統一して彩度(S)を高める処理をしたときの画像の一例である。
図14(a)に示すように、色相(H)を統一せずに彩度(S)を高める処理をした場合は、指定領域としたスカートの画像は、まだらなばらばらな色となる。
一方、図14(b)に示すように、色相(H)を統一して彩度(S)を高める処理をした場合は、指定領域としたスカートの画像は、一様な色相(H)の色(例えば、緑色)となる。そして彩度(S)を高める処理をし、着色した状態にした場合、それからは彩度(S)のみならず、さらに色相(H)や輝度(V)についても自在に調整することができる。また色相(H)、彩度(S)、輝度(V)の調整は、その順序を問わない。
ここで色相置換画像情報として、例えば、Have(x、y)、S(x、y)、V(x、y)を使用して画像処理を行い、画像処理を行なった後の調整画像情報が、H’(x、y)、S’(x、y)、V’(x、y)であったとすると、この画像処理は、以下の数7式で表すことができる。
Figure 0006287337
またこのときユーザは、実際に画像処理を行なう処理項目や処理量等に関する指示であるユーザ指示情報を画像処理部17にに対し入力する。画像処理部17に入力されるユーザ指示情報は、例えば、表示装置20に表示されるスライダをユーザが入力装置30を使用してスライドすることで入力することができる。
図15(a)は、色相(H)を調整するスライダの一例について説明した図である。
図15(a)では、スライドバー213aと、スライダ213bを図示している。そしてスライダ213bは、入力装置30の操作によりスライドバー213a上において図中左右に移動しスライドが可能である。スライダ213bは、初期状態ではスライドバー213aの中央に位置し、この位置において色相(H)の調整前の値を表す。そしてユーザが、この中央位置からスライダ213bを図中右側に移動した場合、色相(H)を増加させる入力を行なうことになる。図15(a)では、このときの増分をΔHとして図示している。一方、中央位置からスライダ213bを図中左側に移動した場合、色相(H)を減少させる入力を行なうことになる。図15(a)では、このときの減少分を−ΔHとして図示している。
図10で説明したように色相(H)が、Haveに一律に置換されている場合は、この操作による調整後の色相H’(x、y)は、以下の数8式で表される。
Figure 0006287337
また図11で説明したように、色相(H)が、Haveに向かって置換されている場合は、調整後の色相H’(x、y)は、以下のようになる。
図15(b)は、色相(H)が、Haveに向かって置換されている場合に、図15(a)の方法で色相(H)を調整したときのトーンカーブの一例を示した図である。ここで横軸は、調整前のHave(x、y)を表し、縦軸は、色相(H)を調整した後のH’(x、y)を表す。
ここでは、上記ΔHや−ΔHは、色相(H)の平均色相値Haveにおける増分、減少分を表すものとしている。
つまり色相(H)をΔH増加させたときは、平均色相値HaveではΔH増加するため、Have+ΔHとなる。またトーンカーブは、この箇所と、色相(H)の最小値0および最大値Hmaxを結ぶ2つの直線から構成される図15(b)の上側の太線のようになる。
また色相(H)をΔH減少させたときは、平均色相値HaveではΔH減少するため、Have−ΔHとなる。そしてトーンカーブは、この箇所と、色相(H)の最小値0および最大値Hmaxを結ぶ2つの直線から構成される図15(b)の下側の太線のようになる。
また図16(a)は、彩度(S)を調整するスライダの一例について説明した図である。この場合も図15(a)の場合とほぼ同様であり、まずスライダ213bは、初期状態ではスライドバー213aの中央に位置し、この位置において彩度(S)の調整前のS(x、y)を表す。そしてユーザが、この中央位置からスライダ213bを図中右側に移動した場合、彩度(S)を増加させる入力を行なうことになる。一方、中央位置からスライダ213bを図中左側に移動した場合、彩度(S)を減少させる入力を行なうことになる。図16(a)では、このときの増分をΔS、減少分を−ΔSとして図示している。
図16(b)は、図16(a)の方法で彩度(S)を調整したときのトーンカーブの一例を示した図である。ここで横軸は、調整前のS(x、y)を表し、縦軸は、彩度(S)を調整した後のS’(x、y)を表す。
ここでも、上記ΔSや−ΔSは、彩度(S)の平均値Saveにおける増分、減少分を表すものとしている。
そして彩度(S)をΔS増加させたときは、平均値SaveではΔS増加するため、Save+ΔSとなり、トーンカーブは、この箇所と、彩度(S)の最小値0および最大値Smaxを結ぶ2つの直線から構成される図16(b)の上側の太線のようになる。
また彩度(S)をΔS減少させたときは、平均値SaveではΔS減少するため、Save−ΔSとなり、トーンカーブは、この箇所と、彩度(S)の最小値0および最大値Smaxを結ぶ2つの直線から構成される図16(b)の下側の太線のようになる。
さらに図17(a)は、輝度(V)を調整するスライダの一例について説明した図である。この場合も図15(a)の場合とほぼ同様であり、まずスライダ213bは、初期状態ではスライドバー213aの中央に位置し、この位置において輝度(V)の調整前のV(x、y)を表す。そしてユーザが、この中央位置からスライダ213bを図中右側に移動した場合、輝度(V)を増加させる入力を行なうことになる。一方、中央位置からスライダ213bを図中左側に移動した場合、輝度(V)を減少させる入力を行なうことになる。図17(a)では、このときの増分をΔV、減少分を−ΔVとして図示している。
図17(b)は、図17(a)の方法で輝度(V)を調整したときのトーンカーブの一例を示した図である。ここで横軸は、調整前のV(x、y)を表し、縦軸は、輝度(V)を調整した後のV’(x、y)を表す。
ここでも、上記ΔVや−ΔVは、輝度(V)の平均値Vaveにおける増分、減少分を表すものとしている。
そして輝度(V)をΔV増加させたときは、平均値VaveではΔV増加するため、Vave+ΔVとなり、トーンカーブは、この箇所と、輝度(V)の最小値0および最大値Vmaxを結ぶ2つの直線から構成される図17(b)の上側の太線のようになる。
また輝度(V)をΔV減少させたときは、平均値VaveではΔV減少するため、Vave−ΔVとなり、トーンカーブは、この箇所と、輝度(V)の最小値0および最大値Vmaxを結ぶ2つの直線から構成される図17(b)の下側の太線のようになる。
またユーザ指示情報の入力は、スライダを利用する方法に限られるものではなく、例えば、以下の方法によっても行なうことができる。
図18は、色相(H)および彩度(S)の調整を行なうときに表示画面21に表示される画面の例を示した図である。
図18では、指定領域を選択した後に、ユーザが色相(H)および彩度(S)の調整を行なう場合を示している。このときユーザは、入力装置30を操作し、表示画面21に表示されているカーソルを左右方向または上下方向に移動させドラッグ操作を行なう。また表示画面21がタッチパネルだった場合は、ユーザは、ユーザの指やタッチペン等により表示画面21上で左右方向または上下方向にスワイプ操作を行なう。
このとき左右方向の操作を行なったときは、色相(H)の調整が行なわれる。即ち、右方向にドラッグ操作やスワイプ操作を行なったときは、選択された指定領域の色相(H)を増加させる。また左方向にドラッグ操作やスワイプ操作を行なったときは、選択された指定領域の色相(H)を減少させる。
また上下方向の操作を行なったときは、彩度(S)の調整が行なわれる。即ち、上方向にドラッグ操作やスワイプ操作を行なったときは、選択された指定領域の彩度(S)を増加させる。また下方向にドラッグ操作やスワイプ操作を行なったときは、選択された指定領域の彩度(S)を減少させる。
図19(a)〜(b)は、色相(H)および彩度(S)の調整を行なうときに表示画面21に表示される画面のさらに他の例を示した図である。
図19(a)では、調整を行なう項目を切り替えるのに、タップ操作で切り替える場合を示している。つまり入力装置30がタッチパネルであった場合に表示画面21の何れかの箇所をタップすると、調整を行なう項目が、「色相」および「彩度」と、「色相」および「輝度」との間で交互に切り替えられる。
そして調整を行なう項目が、図19(a)で示す「色相」および「彩度」から、図19(b)で示す「色相」および「輝度」に切り替えが行なわれたときは、図19(b)に示すように、左右方向の操作を行なったときは、色相(H)の調整が行なわれ、上下方向の操作を行なったときは、輝度(V)の調整が行なわれる。このとき色相(H)の調整については、図18の場合と同様となる。また上方向にスワイプ操作を行なったときには、輝度(V)を増加させ、下方向にスワイプ操作を行なったときには、輝度(V)を減少させる。なお指等の移動量および回数により色相(H)や輝度(V)の調整量を変化させることは、図18の場合と同様である。
図20(a)〜(c)は、色相(H)、彩度(S)、輝度(V)の調整を行なうときに表示画面21に表示される画面のさらに他の例を示した図である。
図20(a)〜(c)では、表示画面21の左側に指定領域S1が選択された状態の画像Gが表示され、表示画面21の右側に「色相」、「彩度」、「輝度」のそれぞれに対応するラジオボタン214a、214b、214cが表示される。また指定領域として頭髪の部分である指定領域S1が選択されている。そしてユーザが入力装置30を使用して、このラジオボタン214a、214b、214cを選択すると、調整する項目として「色相」、「彩度」、「輝度」が切り替わる。
図20(a)は、ラジオボタン214aに対応する「色相」が選択された状態を示している。
このとき例えば、ユーザが、カーソルや指等により、上述した左右方向の操作を行なったときは、色相(H)の調整が行なわれる。即ち、ユーザが右方向にドラッグ操作やスワイプ操作を行なったときは、選択された指定領域の色相(H)を増加させる。またユーザが左方向にドラッグ操作やスワイプ操作を行なったときは、選択された指定領域の色相(H)を減少させる。
図20(b)は、ラジオボタン214bに対応する「彩度」が選択された状態を示している。このときもユーザが、上述した左右方向の操作を行なったときは、彩度(S)の調整が同様にして行なわれる。
また図20(c)は、ラジオボタン214cに対応する「輝度」が選択された状態を示している。このときもユーザが、上述した左右方向の操作を行なったときは、輝度(V)の調整が同様にして行なわれる。
再び図2に戻り、画像情報出力部18は、以上のように画像処理がなされた後の画像情報をHSVデータからRGBデータに戻して出力する。画像処理がなされた後の画像情報は、表示装置20に送られる。そして表示装置20にてこの画像情報に基づき画像が表示される。
図21は、第1の実施の形態についての画像処理装置10の動作について説明したフローチャートである。
以下、図2および図21を使用して画像処理装置10の動作について説明を行なう。
まず画像情報取得部11が、画像処理を行なう画像の画像情報としてRGBデータを取得する(ステップ101)。このRGBデータは、表示装置20に送られ、画像処理を行なう前の画像が表示される。
次に色変換部12が、RGBデータをデバイス非依存な色データであるHSVデータに変換する(ステップ102)。
そして例えば、図8で説明した方法で、ユーザが、画像処理を行なう画像領域である指定領域を、入力装置30を使用して軌跡等を入力することで指定する。この指定領域についてのユーザの指示は、ユーザ指示受付部13が受け付ける(ステップ103)。
さらに指定領域検出部14が、例えば、図5−1や図5−2で説明した方法により、指定領域を切り出す処理を行なう(ステップ104)。
次に判定部15が、指定領域が低彩度の画像であるか否かを判定する(ステップ105)。
そして判定部15が指定領域が低彩度の画像であると判定した場合(ステップ105でYes)、色相置換部16が、例えば、図9〜図12で説明した方法で、指定領域における画像情報を色相が統一されたものとなるように置換する処理を行なう(ステップ106)。
一方、判定部15が指定領域が低彩度の画像ではないと判定した場合(ステップ105でNo)、ステップ107の処理に移行する。
そしてユーザが、指定領域について行なう画像処理の指示を入力装置30を使用して入力する。これは、例えば、図15〜図17で説明したスライダ等を使用して入力することができる。
ユーザによる画像処理の指示は、ユーザ指示受付部13が受け付ける(ステップ107)。
次に画像処理部17が、ユーザの指示に基づき、指定領域の画像処理を行なう(ステップ108)。これは例えば、図13で説明したような彩度(S)を高める処理等である。
そして画像情報出力部18が、画像処理がなされた後の画像情報をHSVデータからRGBデータに戻して出力する(ステップ109)。このRGBデータは、表示装置20に送られ、表示画面21に画像処理後の画像が表示される。
[第2の実施の形態]
次に画像処理装置10の第2の実施の形態について説明を行なう。
図22は、本発明の第2の実施の形態における画像処理装置10の機能構成例を表すブロック図である。なお図22では、画像処理装置10が有する種々の機能のうち第2の実施の形態に関係するものを選択して図示している。
図示するように本実施の形態の画像処理装置10は、画像情報取得部11と、色変換部12と、ユーザ指示受付部13と、指定領域検出部14と、置換度設定部19と、色相置換部16と、画像処理部17と、画像情報出力部18とを備える。
図示するように第2の実施の形態では、図2で説明した第1の実施の形態と比較して、判定部15の替わりに、置換度設定部19が入っている。
ここで画像情報取得部11、色変換部12、ユーザ指示受付部13、指定領域検出部14、画像処理部17、画像情報出力部18の構成については、第1の実施の形態と同様である。よって以下、置換度設定部19および色相置換部16について説明を行なう。
置換度設定部19は、色相置換部16において彩度に応じて色相の統一の度合いを変化させるための重みを設定する。
この重みは、例えば、彩度に対する色相の統一の度合いを表す加重関数を設定することで行なうことができる。本実施の形態では、この加重関数を彩度適応関数と呼ぶことにする。
図23は、本実施の形態の彩度適応関数の例を示した図である。
図23では、横軸が彩度(S)を表し、縦軸が重みWsを表す。図示するように、彩度適応関数Ws(S)は、彩度(S)が0のときに重みWsが最大値Wsmaxを採る。そして重みWsは、彩度(S)が大きくなるに従い小さくなるとともに、予め定められた彩度S以上で重みWsが0となるように設定される。
そして色相置換部16は、この彩度適応関数Ws(S)に基づき、色相(H)の置換を行なう。この置換は、彩度適応関数Ws(S)により決定される重みWsに基づき行われる。即ち、重みWsが大きいほど色相の統一の度合いをより大きくし、重みWsが小さいほど色相の統一の度合いをより小さくする。これは、彩度(S)が小さいほど色相(H)の統一の度合いをより大きくなるようにし、彩度(S)が大きいほど色相(H)の統一の度合いをより小さくなるようにする、と言い換えることもできる。
この場合、色相置換部16では、指定領域を構成する画素が低彩度のときは、平均色相値Haveに向けて色相(H)の置換が行われる。しかし予め定められた彩度(S)以上では、色相(H)の置換は行われず、色相(H)の値は維持される。
これを上記数6式の色相(H)の置換に適用した場合、この置換式は、以下の数9式となる。なおここでは、Have(x、y)は、Have(x、y)に対応したものであり、平均色相値Haveに近い値を表す。
Figure 0006287337
そしてこの場合、Have(x、y)、S(x、y)、V(x、y)が、色相置換画像情報となる。
彩度適応関数Ws(S)を使用する方法は、例えば、指定領域に色が変化するグラデーションが含まれる場合に有効な処理である。つまり指定領域にグラデーションが含まれる場合は、第1の実施の形態では、色調整の結果が不自然になりやすいが、彩度適応関数Ws(S)を使用する上記の方法では、より自然な色調整を行うことができる。
図24(a)は、グラデーションがあった場合の色相の分布をH−S平面上で示した図である。この場合、グラデーションがあるため、高彩度の画素も一部存在する。
また図24(b)は、彩度適応関数Ws(S)を使用して色相(H)の置換を行なった場合をH−S平面上で示した図である。
図示するように、低彩度の画素については、色相(H)が、平均色相値Haveに向かって置換されている。対して彩度の画素については、色相(H)の置換は行われず、色相(H)の値は維持される。
図25は、第2の実施の形態についての画像処理装置10の動作について説明したフローチャートである。
以下、図23および図25を使用して画像処理装置10の動作について説明を行なう。
図25において、ステップ201〜ステップ204の処理は、図21のステップ101〜ステップ104の処理と同様である。
本実施の形態では、次に置換度設定部19が、彩度に応じて色相の統一の度合いを変化させるための重みを設定する。実際には、図23で説明したような彩度適応関数の設定を行なう(ステップ205)。
そして色相置換部16が、彩度適応関数を使用し、指定領域における画像情報を色相が統一されたものとなるように置換する処理を行なう(ステップ206)。
以下、ステップ207〜ステップ209の処理は、図21のステップ107〜ステップ109の処理と同様である。
以上詳述した第1の実施の形態によれば、指定領域がグレーに近い低彩度の画像であった場合でも、画像調整が破綻し失敗することを抑制することができる。さらに指定領域がグレーに近い低彩度の画像であった場合に、着色を行なうことが容易である。
また第2の実施の形態によれば、これに加え、指定領域にグラデーションが含まれる場合でも、画像調整をより自然に行なうことができる。
なお以上詳述した例では、色変換部12でRGBデータをHSVデータに変換していたが、色相、彩度、輝度を求めることができる画像情報を画像情報取得部11が最初から取得できれば、不要である。
<画像処理装置のハードウェア構成例>
次に、画像処理装置10のハードウェア構成について説明する。
図26は、画像処理装置10のハードウェア構成を示した図である。
画像処理装置10は、上述したようにパーソナルコンピュータ等により実現される。そして図示するように、画像処理装置10は、演算手段であるCPU(Central Processing Unit)91と、記憶手段であるメインメモリ92、およびHDD(Hard Disk Drive)93とを備える。ここで、CPU91は、OS(Operating System)やアプリケーションソフトウェア等の各種プログラムを実行する。また、メインメモリ92は、各種プログラムやその実行に用いるデータ等を記憶する記憶領域であり、HDD93は、各種プログラムに対する入力データや各種プログラムからの出力データ等を記憶する記憶領域である。
さらに、画像処理装置10は、外部との通信を行なうための通信インターフェース(以下、「通信I/F」と表記する)94を備える。
<プログラムの説明>
ここで以上説明を行った本実施の形態における画像処理装置10が行なう処理は、例えば、アプリケーションソフトウェア等のプログラムとして用意される。
よって本実施の形態で、画像処理装置10が行なう処理は、コンピュータに、画像処理を行なう画像の中から、ユーザが画像処理を行なう画像領域として指定した指定領域を検出する機能と、検出した指定領域が予め定められた彩度よりも低い低彩度の画像であったときに、指定領域における画像情報を色相が統一されたものとなるように置換する機能と、置換された画像情報に基づき指定領域の画像処理を行なう機能と、を実現させるプログラムとして捉えることもできる。
なお、本実施の形態を実現するプログラムは、通信手段により提供することはもちろん、CD−ROM等の記録媒体に格納して提供することも可能である。
以上、本実施の形態について説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、種々の変更または改良を加えたものも、本発明の技術的範囲に含まれることは、特許請求の範囲の記載から明らかである。
1…画像処理システム、10…画像処理装置、11…画像情報取得部、12…色変換部、13…ユーザ指示受付部、14…指定領域検出部、15…判定部、16…色相置換部、17…画像処理部、18…画像情報出力部、19…置換度設定部、20…表示装置、30…入力装置

Claims (6)

  1. 画像処理を行なう画像の中から、ユーザが画像処理を行なう画像領域として指定した指定領域を検出する指定領域検出部と、
    検出した前記指定領域が予め定められた彩度よりも低い低彩度の画像であったときに、当該指定領域における画像情報を色相が統一されたものとなるように置換し、検出した当該指定領域が予め定められた彩度以上の高彩度の画像であったときには、色相を置換しない色相置換部と、
    置換された画像情報に基づき前記指定領域の画像処理を行なう画像処理部と、
    を備えることを特徴とする画像処理装置。
  2. 前記色相置換部において彩度に応じて色相の統一の度合いを変化させるための重みを設定する置換度設定部をさらに備え、
    前記置換度設定部は、彩度が小さいほど色相の統一の度合いをより大きくなるようにし、彩度が大きいほど色相の統一の度合いをより小さくなるように前記重みを設定することを特徴とする請求項1に記載の画像処理装置。
  3. 前記色相置換部は、前記指定領域の画像情報が採る色相の平均に基づき画像情報を置換することを特徴とする請求項1または2に記載の画像処理装置。
  4. 画像処理を行なう画像の中から、ユーザが画像処理を行なう画像領域として指定した指定領域を検出し、
    検出した前記指定領域が予め定められた彩度よりも低い低彩度の画像であったときに、当該指定領域における画像情報を色相が統一されたものとなるように置換し、検出した当該指定領域が予め定められた彩度以上の高彩度の画像であったときには、色相を置換せず、
    置換された画像情報に基づき前記指定領域の画像処理を行なう
    ことを特徴とする画像処理方法。
  5. 画像を表示する表示装置と、
    前記表示装置に表示される画像の画像情報に対し画像処理を行なう画像処理装置と、
    ユーザが前記画像処理装置に対し画像処理を行なうための指示を入力する入力装置と、
    を備え、
    前記画像処理装置は、
    前記画像の中から、ユーザが画像処理を行なう画像領域として指定した指定領域を検出する指定領域検出部と、
    検出した前記指定領域が予め定められた彩度よりも低い低彩度の画像であったときに、当該指定領域における画像情報を色相が統一されたものとなるように置換し、検出した当該指定領域が予め定められた彩度以上の高彩度の画像であったときには、色相を置換しない色相置換部と、
    置換された画像情報に基づき前記指定領域の画像処理を行なう画像処理部と、
    を備えることを特徴とする画像処理システム。
  6. コンピュータに、
    画像処理を行なう画像の中から、ユーザが画像処理を行なう画像領域として指定した指定領域を検出する機能と、
    検出した前記指定領域が予め定められた彩度よりも低い低彩度の画像であったときに、当該指定領域における画像情報を色相が統一されたものとなるように置換し、検出した当該指定領域が予め定められた彩度以上の高彩度の画像であったときには、色相を置換しない機能と、
    置換された画像情報に基づき前記指定領域の画像処理を行なう機能と、
    を実現させるプログラム。
JP2014039869A 2014-02-28 2014-02-28 画像処理装置、画像処理方法、画像処理システムおよびプログラム Active JP6287337B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2014039869A JP6287337B2 (ja) 2014-02-28 2014-02-28 画像処理装置、画像処理方法、画像処理システムおよびプログラム
US14/472,891 US20150249810A1 (en) 2014-02-28 2014-08-29 Image processing apparatus and method, image processing system, and non-transitory computer readable medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014039869A JP6287337B2 (ja) 2014-02-28 2014-02-28 画像処理装置、画像処理方法、画像処理システムおよびプログラム

Publications (2)

Publication Number Publication Date
JP2015165607A JP2015165607A (ja) 2015-09-17
JP6287337B2 true JP6287337B2 (ja) 2018-03-07

Family

ID=54007354

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014039869A Active JP6287337B2 (ja) 2014-02-28 2014-02-28 画像処理装置、画像処理方法、画像処理システムおよびプログラム

Country Status (2)

Country Link
US (1) US20150249810A1 (ja)
JP (1) JP6287337B2 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10088989B2 (en) * 2014-11-18 2018-10-02 Duelight Llc System and method for computing operations based on a first and second user input
US10003720B2 (en) * 2014-12-05 2018-06-19 Mitsubishi Electric Corporation Image processing apparatus and method, and program and recording medium
JP6292206B2 (ja) * 2015-10-21 2018-03-14 コニカミノルタ株式会社 プロファイル生成装置及びプロファイル生成プログラム並びにカラーマッチング方法
JP6646257B2 (ja) * 2016-02-08 2020-02-14 富士ゼロックス株式会社 端末装置、診断システムおよびプログラム
JP2019101844A (ja) * 2017-12-05 2019-06-24 富士ゼロックス株式会社 画像処理装置、画像処理方法、画像処理システムおよびプログラム
CN112991147B (zh) * 2019-12-18 2023-10-27 抖音视界有限公司 图像处理方法、装置、电子设备及计算机可读存储介质
US11544827B2 (en) * 2021-04-30 2023-01-03 Realnetworks, Inc. Hue-based video enhancement and rendering

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2746692B2 (ja) * 1989-10-09 1998-05-06 富士通株式会社 色画像データ処理装置
US20070133017A1 (en) * 2004-02-12 2007-06-14 Hideyuki Kobayashi Image processing apparatus, photographing apparatus, image processing system, image processing method and program
US7453602B2 (en) * 2004-06-01 2008-11-18 Canon Kabushiki Kaisha Color conversion method
JP4580837B2 (ja) * 2005-07-26 2010-11-17 株式会社日立国際電気 色調補正方法及び色調補正回路
EP1987475A4 (en) * 2006-02-14 2009-04-22 Fotonation Vision Ltd AUTOMATIC DETECTION AND CORRECTION OF RED EYE FLASH DEFECTS
JP2009105765A (ja) * 2007-10-24 2009-05-14 Canon Inc 画像処理装置および画像処理方法
JP5199864B2 (ja) * 2008-01-30 2013-05-15 三洋電機株式会社 信号処理装置及び投写型映像表示装置
JP4523667B2 (ja) * 2008-08-29 2010-08-11 シャープ株式会社 映像表示装置
JP2010146378A (ja) * 2008-12-19 2010-07-01 Olympus Imaging Corp 色補正装置、カメラ、色補正方法および色補正用プログラム
US20150103090A1 (en) * 2013-10-14 2015-04-16 Apple Inc. Keyer tool

Also Published As

Publication number Publication date
JP2015165607A (ja) 2015-09-17
US20150249810A1 (en) 2015-09-03

Similar Documents

Publication Publication Date Title
JP6287337B2 (ja) 画像処理装置、画像処理方法、画像処理システムおよびプログラム
EP2792138B1 (en) Editing color values using graphical representation of the color values
US8280198B2 (en) Multi-behavior image correction tool
US9792695B2 (en) Image processing apparatus, image processing method, image processing system, and non-transitory computer readable medium
JP5434265B2 (ja) 領域分類装置、画質改善装置、映像表示装置、およびそれらの方法
JP5880767B2 (ja) 領域判定装置、領域判定方法およびプログラム
JP5907196B2 (ja) 画像処理装置、画像処理方法、画像処理システムおよびプログラム
JP6241320B2 (ja) 画像処理装置、画像処理方法、画像処理システムおよびプログラム
JP2017126304A (ja) 画像処理装置、画像処理方法、画像処理システムおよびプログラム
AU2014280985B2 (en) Image processing apparatus, image processing method, image processing system, and program
JP6582472B2 (ja) 画像処理装置、画像処理システムおよびプログラム
JP6550819B2 (ja) 選択支援装置及びプログラム
JP6711020B2 (ja) 画像処理装置、画像処理方法、画像処理システムおよびプログラム
JP6930091B2 (ja) 画像処理装置、画像処理方法、画像処理システムおよびプログラム
JP2018097415A (ja) 画像処理装置、画像処理方法、画像処理システムおよびプログラム
JP6711031B2 (ja) 画像処理装置、画像処理方法、画像処理システムおよびプログラム
JP6930099B2 (ja) 画像処理装置
JP6919433B2 (ja) 画像処理装置、画像処理方法、画像処理システムおよびプログラム
JP2016004309A (ja) 画像処理装置、画像処理方法、画像処理システムおよびプログラム
JP2019101844A (ja) 画像処理装置、画像処理方法、画像処理システムおよびプログラム
JP2023040812A (ja) 画像処理装置、画像処理システムおよびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160722

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170413

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170523

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170710

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180109

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180122

R150 Certificate of patent or registration of utility model

Ref document number: 6287337

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350