JP4770154B2 - 画像処理装置、および画像処理方法、並びにコンピュータ・プログラム - Google Patents

画像処理装置、および画像処理方法、並びにコンピュータ・プログラム Download PDF

Info

Publication number
JP4770154B2
JP4770154B2 JP2004323592A JP2004323592A JP4770154B2 JP 4770154 B2 JP4770154 B2 JP 4770154B2 JP 2004323592 A JP2004323592 A JP 2004323592A JP 2004323592 A JP2004323592 A JP 2004323592A JP 4770154 B2 JP4770154 B2 JP 4770154B2
Authority
JP
Japan
Prior art keywords
pixel
saturation
saturation reduction
reduction
correction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2004323592A
Other languages
English (en)
Other versions
JP2006135745A (ja
JP2006135745A5 (ja
Inventor
智経 増野
光晴 大木
類 山田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2004323592A priority Critical patent/JP4770154B2/ja
Priority to US11/264,130 priority patent/US7529405B2/en
Priority to KR1020050105620A priority patent/KR101263888B1/ko
Priority to CNB2005101175998A priority patent/CN100380915C/zh
Publication of JP2006135745A publication Critical patent/JP2006135745A/ja
Publication of JP2006135745A5 publication Critical patent/JP2006135745A5/ja
Application granted granted Critical
Publication of JP4770154B2 publication Critical patent/JP4770154B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • H04N1/6027Correction or control of colour gradation or colour contrast
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/20Image enhancement or restoration by the use of local operators
    • G06T5/70
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/58Edge or detail enhancement; Noise or error suppression, e.g. colour misregistration correction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • H04N25/611Correction of chromatic aberration
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/44Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/57Control of contrast or brightness
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details
    • G06T2207/20192Edge enhancement; Edge preservation

Description

本発明は、画像処理装置、および画像処理方法、並びにコンピュータ・プログラムに関する。さらに詳細には、例えばレンズの収差による偽色の発生した画像データを補正し、高品質な画像データを生成する画像処理装置、および画像処理方法、並びにコンピュータ・プログラムに関する。
カメラで画像撮影を行なう際には、レンズの収差によりさまざまな問題が引き起こされる。特に、倍率の高いレンズや、製造コストの安いレンズを使用してカメラ撮影を行う際に、その撮影した画像に、レンズの収差を起因とした偽色が生じる場合がある。この偽色の中でも、輝度差が著しく大きいようなシーン(例えば木漏れ日)を撮影した際に、低輝度部分のエッジ付近に、紫色の非常に彩度の強い偽色が生じることがある。これはパープルフリンジ(PF)と呼ばれていて、画質に悪影響をおよぼしている。
これは、光の波長により点像分布が異なっているために、画像中のエッジ部分に偽色が発生する現象である。通常の画素ではそれほど目立たない場合でも、輝度レベルにおける飽和状態としての白とびが起こっているハイコントラストのエッジ部分があれば、その周辺に紫色の偽色が発生し、不自然な像が結像されてしまう。一般に、白とびの近傍に発生する偽色は紫系の色が多く発生するためパープルフリンジと呼ばれる。ただし、レンズ、撮影条件などに応じて、偽色の色は緑がかった色となる場合など様々である。以下、パープルフリンジとは、発生する色に関わらず白とびが起こっているハイコントラストのエッジ部分における偽色発生現象を指すものとする。
色収差を軽減するための技術としては、蛍石など特殊な素材で出来たガラスを用いたレンズを適用する構成がある。しかし、このようなレンズを製造するのはコストがかるため価格も高く、レンズ交換式のカメラ用など一部の高級なカメラで用いられているが、一般に広く普及しているとは言えない。
また、特許文献1には、色収差によって発生する偽色を画像処理により軽減する方法が示されている。これは、緑チャンネルの高周波成分が高い部分に関して、色を抑制、つまり彩度を低下させる処理を行うものである。また、白とびが起こっている場合の対策として、露出を変えて2枚の画像を撮像し白とび部分の本来の輝度を推定し、彩度を低下させる処理を行う構成を開示している。
しかし、特許文献1に記載の処理では、白とび部分の輝度の推定結果からどの程度彩度を落とせるか判定しているため、仮に推定が間違ってしまった場合、本来の被写体の色が過度に落ちてしまう可能性があり、その結果、不自然な結果画像を生じる場合がある。また、白とび部分の輝度推定のために露出を変えて2回撮影を行う必要があり、手ぶれや被写体ぶれなどが起こった場合、正しい結果を得ることは困難になるという問題がある。さらに、露出を変えて撮影しなければならないので、ビデオカメラなどで動画撮影を行う場合、この方法は適用できないという問題がある。
特開2003−60983号公報
本発明は、上述の問題点に鑑みてなされたものであり、ビデオカメラなどで撮影された動画像に対する効率的な画像補正処理を可能としたものであり、撮像手段から入力される一定のフレームレートの画像データに対してリアルタイムの画像処理を施してメモリに格納、あるいは出力する処理を実行する画像処理装置、および画像処理方法、並びにコンピュータ・プログラムを提供することを目的とする。
本発明は、具体的には、画像から例えば彩度が非常に強い画素を検出して彩度を削減する補正処理を実行することにより、高品質な画像データを生成することを可能とした画像処理装置、および画像処理方法、並びにコンピュータ・プログラムを提供することを目的とする。
本発明は、特に、画像データの構成画素から選択された注目画素について、偽色である可能性を示すパラメータとしての偽色度合いを算出し、偽色度合いに基づく彩度削減率を算出し、算出した彩度削減率に基づく彩度削減処理およびその後の彩度補正処理により、過大な彩度低下画素を発生させることのない高品質な画像データを生成することを可能とした画像処理装置、および画像処理方法、並びにコンピュータ・プログラムを提供することを目的とする。
本発明の第1の側面は、
画像処理装置であり、
処理画像の構成画素の補正パラメータとして、各画素に対応する彩度削減率を算出する補正パラメータ算出部と、
前記彩度削減率を適用して、処理画像の構成画素の彩度削減処理を含む画素値補正処理を実行する補正処理部とを有し、
前記補正処理部は、
前記補正パラメータ算出部の算出する彩度削減率に基づいて各画素の彩度削減処理を実行する画素彩度削減処理部と、
前記画素彩度削減処理部において彩度の削減された彩度削減画素の彩度と周囲参照画素の彩度との差分を縮小するように、前記彩度削減画素の彩度を補正する画素彩度補正処理部と、
を有する構成であることを特徴とする画像処理装置にある。
さらに、本発明の画像処理装置の一実施態様において、前記補正処理部は、さらに、画素彩度補正処理部の出力データに対して、彩度削減処理を施した画素と周囲画素の色相の差分を減少させるぼかし処理を実行するぼかし処理部を有する構成であることを特徴とする。
さらに、本発明の画像処理装置の一実施態様において、前記画素彩度補正処理部は、前記彩度削減画素の近傍にあり、かつ彩度削減画素と同一のスキャンラインに沿った画素を参照画素として選択し、該選択された参照画素の彩度と、前記彩度削減画素の彩度との差分を縮小するように、前記彩度削減画素の彩度補正処理を実行する構成であることを特徴とする。
さらに、本発明の画像処理装置の一実施態様において、前記画素彩度補正処理部は、前記彩度削減画素の近傍にあり、かつ彩度削減画素と同一のスキャンラインに沿った画素を参照画素として選択し、参照画素中、最も彩度の高い画素の彩度に前記彩度削減画素の彩度を近づける処理を実行する構成であることを特徴とする。
さらに、本発明の画像処理装置の一実施態様において、前記画素彩度補正処理部は、前記彩度削減画素の近傍にあり、かつ彩度削減画素と同一のスキャンラインに沿った画素を参照画素として選択し、参照画素中、最も彩度の高い画素の彩度が、前記彩度削減画素の彩度削減前の彩度以下である場合、前記彩度削減画素の彩度を前記彩度削減画素の彩度削減前の彩度に近づける処理を実行する構成であることを特徴とする。
さらに、本発明の画像処理装置の一実施態様において、前記補正パラメータ算出部は、処理画像から選択された注目画素についての、
(a)注目画素の色相と偽色の色相との類似性情報としての紫度と、
(b)注目画素の白とび画素からの距離情報と、
を算出し、
(c)前記紫度および距離情報とに基づいて算出される偽色度と、
(d)注目画素の白とび画素からの方向情報に基づいて算出される方向別ゲインと、
を算出し、前記偽色度と前記方向別ゲインとに基づいて、注目画素に対応する彩度削減率を算出する構成であることを特徴とする。
さらに、本発明の画像処理装置の一実施態様において、前記補正パラメータ算出部は、注目画素の色相が偽色色相と類似し、白とび画素からの距離が近いほど、大きな値の偽色度を算出し、注目画素と白とび画素とが、スキャンラインに沿った平行な位置にあるほど大きな値の方向別ゲインを算出し、注目画素の偽色度が高く、方向別ゲインが高いほど、大きな値の彩度削減率を算出する構成であり、前記画素彩度削減処理部は、前記補正パラメータ算出部の算出した彩度削減率に基づいて各画素の彩度削減処理を実行する構成であることを特徴とする。
さらに、本発明の画像処理装置の一実施態様において、前記偽色はパープルフリンジであり、前記紫度は、注目画素の色相とパープルフリンジの色相との類似性情報としての紫度であることを特徴とする。
さらに、本発明の第2の側面は、
画像処理方法であり、
処理画像の構成画素の補正パラメータとして、各画素に対応する彩度削減率を算出する補正パラメータ算出ステップと、
前記彩度削減率を適用して、処理画像の構成画素の彩度削減処理を含む画素値補正処理を実行する補正処理ステップとを有し、
前記補正処理ステップは、
前記補正パラメータ算出ステップにおいて算出する彩度削減率に基づいて各画素の彩度削減処理を実行する画素彩度削減処理ステップと、
前記画素彩度削減処理ステップにおいて彩度の削減された彩度削減画素の彩度と周囲参照画素の彩度との差分を縮小するように、前記彩度削減画素の彩度を補正する画素彩度補正処理ステップと、
を有することを特徴とする画像処理方法にある。
さらに、本発明の画像処理方法の一実施態様において、前記補正処理ステップは、さらに、画素彩度補正処理ステップの出力データに対して、彩度削減処理を施した画素と周囲画素の色相の差分を減少させるぼかし処理を実行するぼかし処理ステップを有することを特徴とする。
さらに、本発明の画像処理方法の一実施態様において、前記画素彩度補正処理ステップは、前記彩度削減画素の近傍にあり、かつ彩度削減画素と同一のスキャンラインに沿った画素を参照画素として選択し、該選択された参照画素の彩度と、前記彩度削減画素の彩度との差分を縮小するように、前記彩度削減画素の彩度補正処理を実行することを特徴とする。
さらに、本発明の画像処理方法の一実施態様において、前記画素彩度補正処理ステップは、前記彩度削減画素の近傍にあり、かつ彩度削減画素と同一のスキャンラインに沿った画素を参照画素として選択し、参照画素中、最も彩度の高い画素の彩度に前記彩度削減画素の彩度を近づける処理を実行することを特徴とする。
さらに、本発明の画像処理方法の一実施態様において、前記画素彩度補正処理ステップは、前記彩度削減画素の近傍にあり、かつ彩度削減画素と同一のスキャンラインに沿った画素を参照画素中、最も彩度の高い画素の彩度が、前記彩度削減画素の彩度削減前の彩度以下である場合、前記彩度削減画素の彩度を前記彩度削減画素の彩度削減前の彩度に近づける処理を実行することを特徴とする。
さらに、本発明の画像処理方法の一実施態様において、前記補正パラメータ算出ステップは、処理画像から選択された注目画素についての、
(a)注目画素の色相と偽色の色相との類似性情報としての紫度と、
(b)注目画素の白とび画素からの距離情報と、
を算出し、
(c)前記紫度および距離情報とに基づいて算出される偽色度と、
(d)注目画素の白とび画素からの方向情報に基づいて算出される方向別ゲインと、
を算出し、前記偽色度と前記方向別ゲインとに基づいて、注目画素に対応する彩度削減率を算出するステップであることを特徴とする。
さらに、本発明の画像処理方法の一実施態様において、前記補正パラメータ算出ステップは、注目画素の色相が偽色色相と類似し、白とび画素からの距離が近いほど、大きな値の偽色度を算出し、注目画素と白とび画素とが、スキャンラインに沿った平行な位置にあるほど大きな値の方向別ゲインを算出し、注目画素の偽色度が高く、方向別ゲインが高いほど、大きな値の彩度削減率を算出する構成であり、前記画素彩度削減処理ステップは、前記補正パラメータ算出ステップにおいて算出した彩度削減率に基づいて各画素の彩度削減処理を実行することを特徴とする。
さらに、本発明の画像処理方法の一実施態様において、前記偽色はパープルフリンジであり、前記紫度は、注目画素の色相とパープルフリンジの色相との類似性情報としての紫度であることを特徴とする。
さらに、本発明の第3の側面は、
画像処理をコンピュータ上で実行させるコンピュータ・プログラムであり、
処理画像の構成画素の補正パラメータとして、各画素に対応する彩度削減率を算出する補正パラメータ算出ステップと、
前記彩度削減率を適用して、処理画像の構成画素の彩度削減処理を含む画素値補正処理を実行する補正処理ステップとを有し、
前記補正処理ステップは、
前記補正パラメータ算出ステップにおいて算出する彩度削減率に基づいて各画素の彩度削減処理を実行する画素彩度削減処理ステップと、
前記画素彩度削減処理ステップにおいて彩度の削減された彩度削減画素の彩度と周囲参照画素の彩度との差分を縮小するように、前記彩度削減画素の彩度を補正する画素彩度補正処理ステップと、
を有することを特徴とするコンピュータ・プログラムにある。
なお、本発明のコンピュータ・プログラムは、例えば、様々なプログラム・コードを実行可能な汎用コンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体、例えば、CDやFD、MOなどの記憶媒体、あるいは、ネットワークなどの通信媒体によって提供可能なコンピュータ・プログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ・システム上でプログラムに応じた処理が実現される。
本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づく、より詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
本発明の構成によれば、処理画像の構成画素の補正パラメータとして、各画素に対応する彩度削減率を算出し、算出した彩度削減率に基づいて各画素の彩度削減処理を実行し、さらに、彩度の削減された彩度削減画素の彩度と周囲参照画素の彩度との差分を縮小するように、彩度削減画素の彩度を補正する構成としたので、例えばパープルフリンジ等の偽色画素の補正処理において、彩度の過度な低下による周囲画素の彩度との乖離による画素の目立ちを防止することが可能となり、高品質な補正画像データを生成することができる。
さらに、本発明の構成によれば、各画素に対応する彩度削減率を算出し、算出した彩度削減率に基づいて各画素の彩度削減処理を実行し、さらに、彩度の削減された彩度削減画素の彩度と周囲参照画素の彩度との差分を縮小するように、彩度削減画素の彩度を補正する構成とし、彩度補正処理において参照する周囲画素をスキャンラインに沿って選択される画素としたので、ビデオカメラなどで撮影され、スキャンラインに沿って入力する画素情報のみを用いた画像処理が可能となり、リアルタイムで効率的な画像処理が可能となる。
さらに、本発明の構成によれば、補正パラメータとしての彩度削減率の算出において、注目画素の色相が偽色色相と類似し、白とび画素からの距離が近いほど、大きな値の偽色度を算出し、注目画素と白とび画素とが、スキャンラインに沿った平行な位置にあるほど大きな値の方向別ゲインを算出し、注目画素の偽色度が高く、方向別ゲインが高いほど、大きな値の彩度削減率を算出する構成とし、画素彩度削減処理においては、この性質を持つ彩度削減率に基づいて各画素の彩度削減処理を実行する構成としたので、注目画素と同一のスキャンライン上に偽色ではない通常画素が存在する場合には、高い彩度削減率による彩度低下処理を実行し、その後、通常画素の彩度情報に基づく彩度補正を行なうことが可能となる。また、注目画素と同一のスキャンライン上に偽色ではない通常画素が存在しない場合には彩度削減率を低くして彩度削減処理を行なう設定としたので、その後の彩度補正処理において通常画素の彩度情報が取得できない場合でも周囲画素との彩度差分を過大にしてしまうことがなく、高品質な補正画像データを生成することが可能となる。
以下、図面を参照しながら、本発明の画像処理装置、および画像処理方法、並びにコンピュータ・プログラムの詳細について説明する。
まず、画像処理装置の構成例について図1を参照して説明する。なお、図1に示す画像処理装置は、撮像部を備え、撮像部において撮影した画像データの補正処理を実行する装置例として示してあるが、本発明の画像処理装置は、たとえばハードディスクなどの記憶部に格納された画像データを入力して入力画像の補正を実行することも可能であり、補正処理対象の画像データは、撮像部を介して入力されるデータのみならず、記憶手段、あるいはネットワークを介して入力する画像データなどあらゆる入力画像データに対応可能である。図1は本発明の画像処理装置の一構成例を示すものである。
図1に示す画像処理装置の詳細構成について説明する。図1に示すように、画像処理装置は、レンズ101、絞り102、固体撮像素子(CCD)103、相関2重サンプリング回路104、A/Dコンバータ105、DSPブロック106、タイミングジェネレータ107、D/Aコンバータ108、ビデオエンコーダ109、ビデオモニタ110、コーデック(CODEC)111、メモリ112、CPU113、入力デバイス114から構成される。
入力デバイス114はカメラ本体にある録画ボタンなどの操作ボタン類を含む。また、DSPブロック106は信号処理用プロセッサと画像用RAMを持つブロックで、信号処理用プロセッサが画像用RAMに格納された画像データに対してあらかじめプログラムされた画像処理をおこなうことができるようになっている。以下DSPブロックを単にDSPと呼ぶ。
本実施例の全体的な動作を以下に説明する。
光学系を通過して固体撮像素子(CCD)103に到達した入射光は、まず撮像面上の各受光素子に到達し、受光素子での光電変換によって電気信号に変換され、相関2重サンプリング回路104によってノイズ除去され、A/Dコンバータ105によってデジタ。信号に変換された後、デジタル信号処理部(DSP)106中の画像メモリに一時格納される。
撮像中の状態においては、一定のフレームレートによる画像取り込みを維持するようにタイミングジェネレータ107が信号処理系を制御する。デジタル信号処理部(DSP)106へも一定のレートで画素のストリームが送られ、そこで適切な画像処理がおこなわれた後、画像データはD/Aコンバータ108もしくはコーデック(CODEC)111あるいはその両方に送られる。D/Aコンバータ108はデジタル信号処理部(DSP)106から送られる画像データをアナログ信号に変換し、それをビデオエンコーダ109がビデオ信号に変換し、そのビデオ信号をビデオモニタ110でモニタできるようになっていて、このビデオモニタ110は本実施例においてカメラのファインダの役割を担っている。また、コーデック(CODEC)111はデジタル信号処理部(DSP)106から送られる画像データに対する符号化をおこない、符号化された画像データはメモリ112に記録される。ここで、メモリ112は半導体、磁気記録媒体、光磁気記録媒体、光記録媒体などを用いた記録装置などであってよい。
以上が本実施例の画像処理装置の一例としてのデジタルビデオカメラのシステム全体の説明であるが、本発明に係る画像処理、すなわち画像データの補正処理はデジタル信号処理部(DSP)106において実行される。
以下、本発明の画像処理装置のデジタル信号処理部(DSP)106において実行する画像データ補正処理の詳細について説明する。本発明の画像処理装置において実行する画像処理は、主として白とび周辺に発生するパープルフリンジ等の偽色を検出して各画素の偽色度合いを算出し、算出した偽色度合いに対応する適切な補正を実行するものであり、この補正処理により高品質な画像データを生成する。
まず、偽色(パープルフリンジ)の発生態様と、本発明の処理の概要について説明する。偽色(パープルフリンジ)は、色収差による色ずれが、白とび画素部分周辺で目立って現れる現象である。白とび画素とは、輝度レベルが飽和レベルに近い高輝度の画素である。このような高輝度画素である白とび画素の周辺の画素に、本来の被写体の色相とは異なる例えば紫色の偽色を生ずる。この偽色画素がパープルフリンジ(PF)と呼ばれる。
偽色(PF:パープルフリンジ)が発生する白とびの周り範囲大きさは、光学系の絞り、焦点距離に連動しており、また、光学中心からの距離にも依存し、大きさが変わる。また、偽色が出る方向も、光学中心から白とび画素の外側に向かう方向、白とび画素から光学中心に向かう方向それぞれに発生し、その傾向は、撮像する光学系により異なる。
本発明の画像処理においては、撮影画像として入力される画像フレームの構成画素を順次、注目画素として選択し、注目画素の近傍に白とび画素が存在するかを判定し、さらに、その注目画素が紫色でかつ彩度が非常に強いかを判定する。すなわち、
(a)注目画素近傍に白とび画素が存在する。
(b)注目画素が紫色
(c)注目画素の彩度が非常に強い
これらの条件を満足する画素は、偽色(PF:パープルフリンジ)画素であると判定して、補正処理を実行する。
補正処理の態様としては、例えば、検出された偽色画素の周辺にある偽色(PF)でない画素の画素値を取得し、取得した画素値の平均値を偽色画素の画素値とするなど、いわゆる周辺画素に基づく補間処理を実行することで偽色(PF)画素の補正処理を行うことも1つの方法ではあるが、このような周辺画素の画素値を取得し、取得した画素値に基づいて偽色画素に設定する画素値を算出し、算出画素値を偽色画素の画素値に再設定する補間処理は処理負荷として大きくなるという問題がある。
例えばビデオカメラによる撮影画像で一定のフレームレートで入力される画像に対して上述の補間処理を実行した場合、補正処理がビデオフレームレートに追いつかない可能性が高く、ビデオカメラによる撮影画像に対する処理とすることは現実的でない。
本発明の画像処理では、上述の周囲画素の画素値を適用した補間処理ではなく、画素の彩度の低下処理を行なう構成としている。しかしながら、上記の判定条件(a)〜(c)を満足する画素を偽色(PF)画素として選択し、選択した偽色(PF)画素のみに対して彩度低下処理を実行した場合、彩度低下処理を行った偽色(PF)画素の周囲画素の彩度によっては、偽色(PF)画素部分だけの色落ちが目立つようになり、不自然な画像に見えてしまう場合がある。
この現象について、図2を参照して説明する。図2は、高輝度画素である白とび画素に接する領域に、偽色(PF)画素が存在する場合の処理例について説明する図である。図2(A)と(B)でそれぞれ構成画素の彩度が異なる場合の処理について示してある。図2(A),(B)において(A0)および(B0)が処理前の画素構成を示し、ほぼ飽和輝度レベルを持つ白とび画素150,160に隣接してパープルフリンジ画素としての偽色(PF)画素151,161がある。なお、図に示す白とび画素150,160、偽色(PF)画素151,161、通常画素152,162は、1つの画素ではなく複数画素からなる画素群を示している。
偽色(PF)画素151,161の隣には、偽色画素ではない被写体としての物体の色相、彩度を持つ通常画素152,162が隣接している。ここで、図に示す点線は被写体としての物体の輪郭である物体輪郭155,165である。図2(A)と(B)との差異は、偽色(PF)画素151,161に隣接する通常画素152,162の彩度である。
図2(A)の場合、偽色(PF)画素151に隣接する通常画素152の彩度は高く高彩度画素である。図中に示す黒丸は各画素の彩度のレベルを模式的に示してある。上方向が高彩度であり、下方向が低彩度を示すものとする。図2(B)の場合、偽色(PF)画素161に隣接する通常画素162の彩度は低く低彩度画素である。図中に示す黒丸は各画素の彩度のレベルを模式的に示してある。上方向が高彩度であり、下方向が低彩度である。なお、偽色(PF)画素151,161は彩度が高く、色相としては紫色の画素とされ、本来の被写体としての物体の色や彩度を反映していない。このような場合、偽色(PF)画素151,161の彩度低下処理を行なうと、多くの場合、偽色(PF)画素151,161が目立たなくなり、改善された画像が得られる。
しかし、前述したように、場合によって、すなわち偽色(PF)画素の周囲画素の持つ彩度によって、偽色(PF)画素部分だけの色落ちが目立つようになり、不自然な画像に見えてしまう場合がある。
図2(A)における偽色(PF)画素151も、図2(B)における偽色(PF)画素161も、上述の条件、すなわち、
(a)注目画素近傍に白とび画素が存在する。
(b)注目画素が紫色
(c)注目画素の彩度が非常に強い
これらの条件を満足する画素であり、偽色(PF:パープルフリンジ)画素であると判定し、彩度低下処理を施すとする。
偽色画素の彩度低下処理の結果が、図2(A)では(A1)、(A2)であり、(A1)は、偽色(PF)画素151の彩度を少し低下させた処理結果であり、(A2)は、偽色(PF)画素151の彩度を大きく低下させた処理結果を示す。図2(B)も同様に、(B1)は、偽色(PF)画素161の彩度を少し低下させた処理結果であり、(B2)は、偽色(PF)画素161の彩度を大きく低下させた処理結果を示す。図中に示す黒丸印の下方向への移動量が彩度の低下量に相当する。
図2(A2)に示すように、偽色(PF)画素151の彩度を大きく低下させた場合、隣接する通常画素152が高彩度であるにもかかわらず、偽色(PF)画素151の彩度のみが大きく落とされてしまい、2つの画素間に明らかな彩度の段差が発生してしまう。本来、偽色(PF)画素151も通常画素152も物体輪郭155によって区画される2つの物体を示す画素であり、大きな彩度の差は発生しないはずである。しかし、図2(A2)に示す補正処理画像においては、視覚的に彩度低下処理を施した偽色(PF)画素151の彩度が、通常画素152とかけ離れた彩度に低下しており、この彩度低下画素は、視覚的に目立つ画素となり、非常に不自然な見た目となってしまう。このような場合は、彩度低下の補正処理が画像品質の向上に結びついていないということが言える。
本発明の画像処理においては、このような画素構成の場合には、偽色(PF)画素151の彩度を隣接する通常画素152の彩度に比べて大きく落とさないような補正を行なうことで、不自然さを解消する。例えば、(A1)に示す程度の偽色(PF)画素151の彩度低下処理を行い、通常画素152との彩度の差が過度に大きくならないようにする。
一方、図2(B)に示すように、偽色(PF)画素161に隣接する通常画素162の彩度が低く低彩度画素である場合は、図2(B2)に示すように、偽色(PF)画素161の彩度を大きく低下させる処理を行っても、隣接する通常画素162との彩度の差分が大きくなることはなく、彩度低下処理を行った偽色(PF)画素161が目立ってしまうといったことはない。すなわち、この場合は、隣接する通常画素162の彩度も低く、2つの画素間での彩度の差が少ないため、視覚的な不自然さを感じることはない。
逆に、このように隣接する通常画素162の彩度が低い場合、(B1)に示すように、偽色(PF)画素161に対して低下量を小さく設定した彩度低下処理を施した場合は、偽色(PF)画素161の彩度と、通常画素162の彩度に差分が残存することになり、偽色(PF)画素161が目立ち、パープルフリンジであることが視覚的に認識される不自然な画像となってしまう。従って、(B)のような画素構成の場合は、偽色(PF)画素161に対して低下量を大きく設定した彩度低下処理を施すことが好ましいということになる。
本発明の画像処理においては、偽色(PF)画素の彩度低下処理に際して、偽色(PF)画素の周辺領域にある画素との彩度の差を大きくしないような彩度調整処理を行い、高品質な補正画像を生成する。以下、本発明の画像処理の詳細について説明する。
本発明の画像処理では、例えば図1に示す画像処理装置の撮像部において撮影され、デジタル信号処理部(DSP)106に入力される各画像フレームの構成画素について、後述する偽色度合い(PF度合い)を算出し、算出した各画素対応の偽色度合い(PF度合い)に基づく補正処理を行なう。PFはパープルフリンジ(Purple Fringe)を意味する。
なお、前述したように、輝度レベルにおける飽和状態としての白とびが起こっているハイコントラストのエッジ部分に発生するレンズ収差による偽色の代表的な現象をパープルフリンジと呼ぶが、偽色の色は紫に限定されるものではなく、例えば緑がかった色となる場合などもある。以下の実施例では、紫色の偽色を生じた例として説明するが、本発明は、紫色に限らず、白とび近傍に発生する任意の色を有する偽色の補正処理に適用可能である。
図3を参照して、本発明の画像処理装置におけるデジタル信号処理部(DSP)106において実行する画像処理の全体シーケンスについて説明する。デジタル信号処理部(DSP)106では例えばコンピュータ・プログラムに従ったデータ処理が実行される。図3は、デジタル信号処理部(DSP)106において実行される処理を説明するため、機能別のブロックとして示したブロック図である。
デジタル信号処理部(DSP)106は、図3に示すように、ホワイトバランス調整手段201、ガンマ補正処理手段202、デモザイク処理手段203、YbCr変換手段204、エッジ強調処理手段205、偽色(PF)補正処理手段206から構成されている。
図1に示した画像処理装置の固体撮像素子(CCD)103で取得された画像信号は色のモザイク画像251である。例えば原色系の色配列(例えばベイヤー配列)などの色配列を持つカラーフィルタを介した撮像を行なうと、各画素に対して特定の波長の信号、すなわち特定波長の色成分データだけを取得する。例えばベイヤー配列の単板カラー方式の固体撮像素子を用いた場合、固体撮像素子の出力画像は、各画素にR,G,Bいずれかの情報のみを持つ色モザイク画像データ251となる。
デジタル信号処理部(DSP)106は、この色モザイク画像データ251を入力し、まずホワイトバランス調整手段201でホワイトバランスを調整を実行し、ついでガンマ補正処理手段202でガンマ補正処理を行い、デモザイク手段203において色モザイク画像からRGBデータがすべての画素に設定されたデータ生成処理としてのデモザイク処理を実行する。
その後、RGBデータがすべての画素に設定されたデモザイク画像データをYCbCr変換手段204に入力し、YCbCr変換手段204において、RGB信号のYbCr色空間への変換処理を実行し、輝度信号(Y)と、色信号(Cb,Cr)とに分離し、輝度信号(Y)をエッジ強調処理手段205に入力して、輝度信号(Y)に基づくエッジ強調処理を実行する。
次に、偽色(PF)補正処理手段206において、エッジ強調処理後の輝度信号(Y)と、色信号(Cb,Cr)を入力し、偽色(PF)補正処理を実行し、補正された輝度信号(Y)と、色信号(Cb,Cr)とからなるYCbCr画像データ252を出力する。YCbCr画像データ252に基づく画像データが画像処理装置内のメモリに格納され、またモニタ手段などの出力部に出力される。
図3に示す処理構成中、ホワイトバランス調整手段201〜エッジ強調処理手段205における処理は、従来のデジタルビデオカメラ等の画像処理装置において実行される処理と同様の処理であり、詳細な説明は省略する。偽色(PF)補正処理手段206における処理は、本発明に特有の処理であり、以下、偽色(PF)補正処理手段206において実行する処理の詳細について説明する。
図4に、偽色(PF)補正処理手段206の処理を説明するブロック図を示す。前述したように、デジタル信号処理部(DSP)106では例えばコンピュータ・プログラムに従ったデータ処理が実行される。図4は、図3と同様、デジタル信号処理部(DSP)106において実行される処理を説明するため、機能別のブロックとして示したブロック図である。図4に示す各ブロックは、偽色(PF)補正処理手段206で実行する個々の処理機能に対応し、各処理機能間で受け渡しされるデータを、上下の線によって挟まれたデータとして示してある。
偽色(PF)補正処理手段206は、図4に示すように、大きく2つの処理部に分割される。1つは、補正パラメータ(彩度削減率)算出部300であり、もう1つは補正処理部310である。補正パラメータ(彩度削減率)算出部300では、入力画像データであるYCbCr入力画像351に基づいて、入力画像の構成画素各々について、どれだけ偽色(PF)に近いかという指標値である偽色度を算出し、算出した偽色度に基づいて、さらに補正パラメータである彩度削減率を計算する。偽色度、および彩度削減率は、画像データの構成画素各々についての画素対応値として順次、算出される。
補正処理部310は、補正パラメータ(彩度削減率)算出部300の算出した画素対応の彩度削減率を入力し、入力した彩度削減率に基づいて、入力画像データであるYCbCr入力画像351の構成画素の画素値補正、具体的には、彩度削減処理、彩度補正処理、ぼかし処理の各処理を実行する。補正処理部310における補正処理の結果が、補正結果画像、すなわちYCbCr出力画像371として出力され、YCbCr出力画像371に基づく画像データがメモリに格納あるいはモニタに出力される。
まず、図4に示す偽色(PF)補正処理手段206において実行する一連の処理の概要について説明する。各構成部の処理の詳細については後段で説明する。図3のYCbCr変換手段204とエッジ強調処理手段205からエッジ強調処理の施されたYCbCr画像351が、輝度成分[Y]352と色差成分[C]353とに分けて偽色(PF)補正処理手段206に入力される。入力は、たとえばスキャンラインに沿った各画素毎に、輝度成分[Y]352と色差成分[C]353とが順次入力される。
まず、補正パラメータ(彩度削減率)算出部300の白とび検出部301は、輝度成分[Y]352を使って白とび検出処理を行い、白とび検出マップ[W]354を出力する。白とびからの距離・方向ベクトル計算部302では、この白とび出力マップ[W]354を入力として、注目画素の白とび画素からの距離および方向ベクトルの計算処理を行い、最寄の白とびまでの距離[Wi]355と、最寄の白とびのある方向ベクトル[WDirect]356を出力する。
白とび度計算部303は、最寄の白とびまでの距離[Wi]355を入力として白とび度計算処理を行い、白とび度[Wr]を偽色度計算部306に出力する。一方、最寄の白とびのある方向ベクトル[WDirect]356は方向別ゲイン計算部304に入力され、方向ベクトル[WDirect]356に基づいて、方向別ゲイン[Dr]を算出して、彩度削減率計算部307に出力する。
一方、入力画像351の色差成分[C]353は、紫度計算部305に入力されて、色差成分[C]353に基づく紫度[Pr]357を算出し、算出した紫度[Pr]357を偽色度計算部306に出力する。
偽色度計算部306は、紫度[Pr]357と、白とび度[Wr]356とを入力として、偽色度[PFr]358を算出し、算出した偽色度[PFr]358を彩度削減率計算部307に出力する。
彩度削減率計算部307は、偽色度[PFr]358と、方向別ゲイン[Dr]359とを入力として、これらの入力値に基づいて彩度削減率[R]360を算出し、補正処理部310の各構成部、すなわち、画素彩度削減処理部311、画素彩度補正処理部312、画素色差成分ぼかし処理部313に出力する。
画素彩度削減処理部311は、入力画像351の色差成分[C]353を入力し、補正パラメータ(彩度削減率)算出部300から入力する彩度削減率[R]360に基づいて偽色(PF)画素部分の彩度削減処理を行い、偽色(PF)部分彩度削減結果画像[Cs]361を画素彩度補正処理部312に出力する。
画素彩度補正処理部312は、画素彩度削減処理部311から偽色(PF)部分彩度削減結果画像[Cs]361を入力し、彩度の低下量の補正を実行する。すなわち、画素彩度削減処理部311において彩度を低下させすぎた部分などを検出し、周辺の画素の彩度を参考にした彩度補正処理を行う。
画素彩度補正処理部312は、画素彩度削減処理部311において、彩度低下処理を実行した画素、すなわち主として偽色(PF)として判定された画素を補正対象として選択して補正処理を行なう。すなわち、彩度補正の対象範囲は彩度を落とした部分であることから、彩度削減率[R]360が0でない画素を選択することが必要となるため、画素彩度補正処理部312は、彩度削減率[R]360を入力し、彩度削減率[R]360≠0の画素を選択して、彩度補正を行なう。
画素彩度補正処理部312は、彩度補正が行われた結果画像である彩度補正画像[Cc]362を画素色差成分ぼかし処理部313に出力する。画素色差成分ぼかし処理部313は、彩度補正画像[Cc]362における色差成分に対してBlurを掛ける処理、すなわち、ぼかし処理を実行する。ぼかし処理についても全ての画素について実行するのではなく、彩度削減、補正処理の実行された画素を含む領域が処理対象として選択されぼかし処理が実行される。画素色差成分ぼかし処理部313は、この処理対象領域の選択のために彩度削減率[R]360を入力し、彩度削減率[R]360≠0の画素を選択し、ぼかし処理の処理対象領域を決定してぼかし処理を行なう。
画素色差成分ぼかし処理部313は、ぼかし処理を実行して、補正結果としての補正色差成分画像[Ctemp]363を生成し出力する。補正色差成分画像[Ctemp]363は、輝度成分[Y]365と合成されて、最終的なYCbCr出力画像371として出力される。この補正処理の結果としての出力YCbCr出力画像371が画像処理装置内のメモリに格納され、またモニタ手段などの出力部に出力される。
図5に、上述した偽色(PF)補正処理手段206の実行する一連の処理の処理手順を説明するフローチャートを示す。ステップS101〜S106の処理は、補正パラメータ(彩度削減率)算出部300の処理に相当し、ステップS107〜S109の処理は、補正処理部310の処理に相当する。
ステップS101は、補正パラメータ(彩度削減率)算出部300の白とび検出部301における白とび検出処理、ステップS102は、白とびからの距離・方向ベクトル計算部302における白とびからの距離・方向ベクトル計算処理、ステップS103は、白とび度計算部303における白とび度計算処理と、方向別ゲイン計算部における方向別ゲイン計算処理、ステップS104は、紫度計算部305における紫度計算処理、ステップS105は、偽色度計算部306における偽色度計算処理、ステップS106は、彩度削減率計算部307における彩度削減率計算処理である。
ステップS107は、補正処理部310の画素彩度削減処理部311における偽色(PF)画素彩度削減処理、ステップS108は、画素彩度補正処理部312における偽色(PF)画素彩度補正処理、ステップS109は、画素色差成分ぼかし処理部313における偽色(PF)画素色差成分ぼかし処理である。以上の処理ステップが実行されて、最終的な補正画像データであるYCbCr出力画像371が生成、出力される。
以下、偽色(PF)補正処理手段206の各構成部の処理の詳細について説明する。なお、本実施例において、処理対象とする画像データは、画像の横幅=width、画像の縦幅=heightの画像フレームデータであり、画像フレームデータのスキャンラインに沿って各構成画素対応データを順次入力して補正処理を行なう。
まず、補正パラメータ(彩度削減率)算出部300の処理について説明する。前述したように、補正パラメータ(彩度削減率)算出部300では、偽色(PF)度を算出し、算出した偽色度に基づいて、さらに補正パラメータである彩度削減率を計算する。偽色(PF)度は、画像データの構成画素各々について算出されるものであり、各画素の白とび画素からの距離と、各画素の色相の偽色(パープルフリンジ)色相に対する類似性とに基づいて算出される。本実施例では、白とび画素から近い位置にあり、紫色である画素を偽色(PF:パープルフリンジ)画素であると推定する。従って偽色(PF)度は、白とび画素からの距離が近く、紫色に近いものほど高くなる。
白とび検出部301
補正パラメータ(彩度削減率)算出部300の白とび検出部301は、輝度成分[Y]352を使って白とび検出処理を行い、白とび検出マップ[W]354を出力する。図6に白とび検出部301の実行する処理手順を説明するフローチャートを示す。フローチャートに従って白とび検出部301の実行する処理について説明する。図6に示すフローは、図5のフローチャートのステップS101の処理に対応する処理である。
図6に示す処理フローは、2つの枠を示し、
外枠に、For(y=0;y<height;y=y+1)と示し、
内枠に、For(x=0;x<width;x=x+1)として示してあるが、
ステップS201〜S205を示す内枠は、
For(x=0;x<width;x=x+1)
に対する処理、すなわち画像データの1つのスキャンラインであるx軸に沿った処理として実行され、x軸に沿って0〜widthの各画素毎にステップS201〜S205の処理を実行することを意味している。1つのスキャンラインが終了すると、次のスキャンラインの処理が同様に実行される。これは、図6の外枠に示すように、
For(y=0;y<height;y=y+1)
に対する処理として実行され、スキャンラインに垂直なy軸に沿って、1つずつスキャンラインを移動させて、For(x=0;x<width;x=x+1)の処理、すなわち、x軸に沿って0〜widthの各画素毎にステップS201〜S205の処理を実行することを意味している。結果として、画像フレームにおける(x=0〜width,y=0〜height)の全構成画素について、順次ステップS201〜S205の処理が実行されることになる。
各ステップの処理について説明する。ステップS201において、白とび検出部301は、入力された輝度成分画像[Y]352から各画素の輝度値を取得する。注目画素は画素(x,y)であり、注目画素(x,y)の輝度値をY(x,y)とする。ステップS202において、注目画素の輝度値Y(x,y)と、予め設定した閾値と比較する。
ステップS203〜S205では、注目画素(x,y)の輝度値Y(x,y)=valueが閾値よりも大きければ、注目画素(x,y)のフラグ(flag)=[true]、そうでなければフラグ(flag)=[false]とし、白とび検出マップ[W(x,y)]354を設定する。これを横幅=width、縦幅=heightの画像を構成する全ての画素(x=0〜width,y=0〜height)について判定し、各画素対応のフラグ(trueまたはfalse)を設定した白とび検出マップ[W(x,y)]354を完成させて、白とびからの距離・方向ベクトル計算部302に出力する。
白とびからの距離・方向ベクトル計算部302
白とびからの距離・方向ベクトル計算部302では、白とび出力マップ[W]354を入力として、注目画素(x,y)の白とび画素からの距離および方向ベクトルの計算処理を行い、注目画素(x,y)に最も近接した白とび画素、すなわち最寄の白とびまでの距離[Wi]355と、注目画素(x,y)から最寄の白とびのある方向を示す方向ベクトル[WDirect]356を出力する。白とびからの距離・方向ベクトル計算部302の処理について、図7のフローチャートを参照して説明する。図7に示すフローは、図5のフローチャートのステップS102の処理に対応する処理である。
なお、図7に示す処理フローも、図6のフローと同様、2つの枠、すなわち、For(y=0;y<height;y=y+1)と示す外枠と、For(x=0;x<width;x=x+1)として示す内枠とを有し、処理対象画像フレームにおける(x=0〜width,y=0〜height)の構成画素について、順次各ステップの処理が実行される。
まず、ステップS301において、注目画素(x,y)に対応する白とび探索範囲(x,y,x,y)の算出を行う。注目画素(x,y)に対応する白とび探索範囲(x,y,x,y)の設定処理は、注目画素(x,y)の近傍領域に存在する可能性のある白とび画素の探索領域を設定する処理である。この処理の詳細については、後述する。
ステップS302において、注目画素(x,y)と白とび画素との最短距離を表す変数[Dmin]を初期化する。次に、ステップS303に進み、ステップS304〜S308の処理を注目画素(x,y)に対して設定された白とび探索範囲(x,y,x,y)内において白とび画素の検出を実行し、注目画素(x,y)と白とび画素との最短距離[Dmin]と、注目画素(x,y)から白とび画素への方向(sx,sy)=(|s|,|t|)を求める。なお、ステップS303に置ける処理、すなわち、ステップS304〜S308の処理は、白とび探索範囲(x,y,x,y)内の構成画素(s=x〜x),y=y〜y)について順次実行する処理である。
ステップS304〜S308の処理について説明する。ステップS304では、ステップS301で設定した白とび探索範囲(x,y,x,y)内において白とび探索を行う。白とび探索は、白とび検出部301において生成した白とび検出マップ[W]35に基づいて実行される。ステップS304で、白とび探索範囲(x,y,x,y)内から順次選択される選択画素(s,t)についてのYCbCr入力画素351におけるフラグW(s,t)を判定する。
フラグW(s,t)=trueである場合、画素(s,t)は白とび画素であり、フラグW(s,t)=falseである場合、画素(s,t)は白とび画素ではない。フラグW(s,t)=trueであり、画素(s,t)が白とび画素である場合は、ステップS305に進み、注目画素(x,y)と白とび画素(s,t)との距離[D]を算出し、ステップS306において、最短距離[Dmin]との比較を実行し、算出距離[D]が最短距離[Dmin]より小さい場合は、ステップS307において最短距離[Dmin]の更新処理を実行する。さらに、ステップS308において、注目画素(x,y)から最短距離の白とび画素への方向ベクトル(sx,sy)=(|s|,|t|)を求める。
これらの処理を横幅=width、縦幅=heightの画像を構成する全ての画素(x=0〜width,y=0〜height)について実行して、ステップS309において、最寄の白とびまでの距離[Wi(x,y)=Dmin]355を生成し、ステップS310において、最寄の白とびのある方向ベクトル[WDirect(x,y)=(sx,sy)]356を生成する。
最寄の白とびまでの距離[Wi(x,y)=Dmin]355は、白とび度計算部303に出力され、最寄の白とびのある方向ベクトル[WDirect(x,y)=(sx,sy)]356は、方向別ゲイン計算部304に出力される。
次に、図7のフローチャートに示す白とびからの距離・方向ベクトル計算部302における処理ステップ各々の詳細処理について説明する。まず、ステップS301の処理、すなわち、注目画素(x,y)に対応する白とび探索範囲(x,y,x,y)の算出処理の詳細について図8を参照して説明する。前述したように、注目画素(x,y)に対応する白とび探索範囲(x,y,x,y)の設定処理は、注目画素(x,y)の近傍領域に存在する可能性のある白とび画素の探索領域を設定する処理である。偽色(PF)画素は白とびが発生している部分を中心として、その近傍に発生するが、白とびの画像上での位置により偽色(PF)画素が発生する範囲は異なる。
例えば、光学中心に当たる画像中心部から画像端に向かう方向に向かうほど、偽色(PF)が発生しやすく、また偽色(PF)が大きく現れる場合がある。これは、光学系の種類や、絞り・焦点距離などの設定、注目画素の位置によっても、偽色(PF)が発生する範囲の特徴は異なる。
本実施例では、注目画素(x,y)が偽色(PF)画素である場合に、図7に示すフローのステップS301において、注目画素(x,y)に対応する白とび探索範囲(x,y,x,y)の算出を実行する。白とび探索範囲の設定については様々な方法が考えられるが、本実施例では図8に示すように、あらかじめ処理対象画像(幅=width,高さ=height)の中心部にある画像中心画素400に対応する白とび探索範囲(Scox,Scoy,Scix,Sciy)と、画像端部にある画像端画素401に対応する白とび探索範囲(Seox,Seoy,Seix,Seiy)を設定しておきこれらをテーブルデータとして保持し、注目画素(x,y)402に対応する白とび探索範囲(x,y,x,y)=(Sox,Soy,Six,Siy)は、注目画素(x,y)の画素位置に応じて、テーブルデータとして設定済みの画像中心画素と端部画素に対応する白とび探索範囲データに基づいて算出する。
具体的な、注目画素(x,y)に対応する白とび探索範囲(x,y,x,y)=(Sox,Soy,Six,Siy)の算出処理について説明する。注目画素(x,y)に対応する白とび探索範囲(x,y,x,y)=(Sox,Soy,Six,Siy)は、以下の算出式によって求める。すなわち、
・・・(式1)
なお、上記式において、Scox,Scoy,Scix,Sciyは、処理対象画像(幅=width,高さ=height)の中心部での白とび探索範囲(Scox,Scoy,Scix,Sciy)であり、Seox,Seoy,Seix,Seiyは、画像端部での白とび探索範囲(Seox,Seoy,Seix,Seiy)である。
また、dx,dy:画像中心から画像端までの距離であり、
dx=width/2,dy=height/2である。
また、dx',dy':画像中心から注目画素(x,y)までの距離であり、
dx'=|x−width/2|,dy'=|y−height/2|
である。
ただし、この白とび探索範囲の計算処理は、注目画素の変更時に上記式(式1)に基づく計算を逐次行なう構成としてもよいが、注目画素の変更時に上記式(式1)に基づく計算を実行することなく、前の注目画素に対応する白とび探索範囲データを利用して、次の注目画素に対応する白とび探索範囲を求める構成としてもよい。すなわち、前の注目画素に対応する白とび探索範囲データに対する変動分だけを加算することで、次の注目画素に対応する白とび探索範囲データを算出する構成とすることで、計算量を削減することができる。
例えば注目画素(x,y)に対応する白とび探索範囲(x,y,x,y)=(Sox,Soy,Six,Siy)の構成データの1つである[Sox]については、上記式(式1)によれば、(dx/(Scox−Seox))画素毎に1増加もしくは減少する。従って、あらかじめ(dx/(Scox−Seox))を計算しておいて、注目画素が(dx/(Scox−Seox))移動したときに、算出済みの白とび探索範囲に設定された[Sox]の値を1つ変動させればよい。その他の値:Soy,Six,Siyについても同様の処理によって算出することができる。このように、前の注目画素に対応する白とび探索範囲データを利用して、次の注目画素に対応する白とび探索範囲を求める公正とすることにより、計算負荷を減少させた効率的な処理が可能となる。
次に、図7のフローチャートにおけるステップS305の白とび距離D計算処理の詳細について、図9を参照して説明する。注目画素から白とび画素への距離を算出する際には、白とび画素の探索範囲設定処理と同様に、偽色(PF)の発生する方向を考慮する必要がある。図9は、注目画素(x,y)410に対する白とび探索範囲420を示した図である。
図9に示す注目画素(x,y)410に対応する白とび探索範囲420、すなわち、(x,y,x,y)=(Sox,Soy,Six,Siy)の端部にある画素421〜424の4点での白とび存在可能性は同程度となる。前述したように、偽色(PF)画素は白とびが発生している部分を中心として、その近傍に発生するが、白とびの画像上での位置により偽色(PF)画素が発生する範囲は異なり、光学中心に当たる画像中心部から画像端に向かう方向に向かうほど、偽色(PF)が発生しやすく、また偽色(PF)が大きく現れる傾向がある。図9の白とび探索範囲420は、偽色(PF)画素である注目画素(x,y)410に対応して設定される白とび探索範囲420であり、上述の傾向を考慮して設定された領域である。従って、白とび探索範囲420は、注目画素(x,y)410を中心とした領域には設定されない。
設定された白とび探索範囲420の端部にある画素421〜424の4点での白とび存在可能性は同程度となるような領域として設定される。
図7のフローチャートにおけるステップS305の白とび距離計算処理では、注目画素(x,y)410と白とび画素(a,b)431との距離dの算出において、実際の距離ではなく、白とび位置と注目画素それぞれのx座標の差の絶対値をSoxまたはSix、白とび位置と注目画素それぞれのy座標の差の絶対値をSoyまたはSiyを用いて正規化して距離dを算出する。
この正規化に基づく距離算出処理は、図9における注目画素(x,y)410から白とび探索範囲420の端部にある画素421〜424までの距離が等距離:Sox=Soy=Six=Siyであるとの想定に基づいて、距離dを算出することに相当する。
図9に示す注目画素(x,y)410と白とび画素(a,b)431との距離dは、以下の算出式(式2)に従って求める。
d=dx+dy・・・(式2)
ここで、dx,dyは以下の式によって算出される値である。
上記式においてx,y,a,bは、注目画素(x,y)と白とび画素(a,b)の座標値であり、W1,W2,H1,H2は、注目画素(x,y)に対応して設定された白とび探索範囲の注目画素(x,y)から白とび探索範囲境界までの距離である。すなわち、図9に示す各距離、すなわち、W1,W2はx方向の2つの距離、H1,H2はy方向の2つの距離に対応する値である。
図7のフローチャートにおけるステップS305の白とび距離計算処理では、上記式(式2)に従って、注目画素(x,y)と白とび画素(a,b)との距離を算出する。なお、上記式(式2)で算出している距離はマンハッタン距離とよばれるものであり、ここでは計算の簡略化のためにこのマンハッタン距離を求めている。マンハッタン距離ではなく、注目画素(x,y)と白とび画素(a,b)との距離:√(d +d )を求める構成としてもよい。
上記式(式2)によって算出される距離dは、d=0.0〜1.0の値をとり、d=0.0であれば注目画素に対して白とびが最も近く、d=1.0であれば距離が遠いことを意味する。
次に、図7のフローにおけるステップS308の白とび方向ベクトル算出処理について説明する。ステップS308は、注目画素(x,y)から最短距離の白とび画素への方向ベクトル(sx,sy)=(|s|,|t|)を求める処理である。このステップでは、注目画素の位置(x,y)から、白とび画素の位置(a,b)までの相対座標値の絶対値を求めることで、注目画素に対して、白とびがどの方向(縦、横、斜め方向)に存在しているかを特定することができる。例えば、横の絶対値に比べて縦の絶対値が大きければ、少なくとも斜め〜上方向に白とびが存在しているということがいえる。
例えば、最短の白とび位置が注目画素(x,y)からの相対位置で(a,b)であるとすると、白とび方向のベクトルは(|a|,|b|)となる。ここで、|a|,|b|はそれぞれ、a,bの絶対値であることを表している。
上述したように、図4に示す白とびからの距離・方向ベクトル計算部302では、白とび出力マップ[W]354を入力して、図7のフローに従った処理を実行し、注目画素(x,y)の白とび画素からの距離および方向ベクトルの計算処理を行い、注目画素(x,y)に最も近接した白とび画素、すなわち最寄の白とびまでの距離[Wi]355を白とび度計算部303に出力し、注目画素(x,y)から最寄の白とびのある方向を示す方向ベクトル[WDirect]356を方向別ゲイン計算部304に対して出力する。
白とび度計算部303
次に、白とび度計算部303の処理の詳細について説明する。白とび度計算部303は、注目画素と注目画素に最も近接した最寄の白とび画素との距離[Wi]355を入力として白とび度計算処理を行い、白とび度[Wr]を算出して偽色度計算部306に出力する。
白とび度計算部303は、白とびからの距離・方向ベクトル計算部302の生成した最寄の白とび画素との距離[Wi]355を入力し、入力距離[Wi]データ値に基づいてルックアップテーブル(LUT)を適用したデータ変換を行い、白とび度[Wr]を算出して偽色度計算部306に出力する。図5のフローチャートのステップS103に含まれる白とび度計算部303の処理に対応する処理である。白とび度計算部303の適用するルックアップテーブル(LUT)をグラフ化した例を図10に示す。
図10は、横軸が、白とびからの距離・方向ベクトル計算部302から入力する最寄の白とび画素との距離[Wi]データであり、縦軸が、偽色度計算部306に出力する白とび度[Wr]を示す。距離[Wi]データと白とび度[Wr]は1対1に対応しており、白とび度計算部303は白とびからの距離・方向ベクトル計算部302から入力する最寄の白とび画素との距離[Wi]データに基づいて、対応する白とび度[Wr]の値を取得して偽色度計算部306に出力する。例えば、図10に示すルックアップテーブル(LUT)を適用した場合、
白とび画素との距離[Wi]=0の場合、白とび度[Wr]=0
白とび画素との距離[Wi]=025の場合、白とび度[Wr]=0.5
白とび画素との距離[Wi]=0.5の場合、白とび度[Wr]=0.65
白とび画素との距離[Wi]=1.0の場合、白とび度[Wr]=1.0
の白とび度[Wr]の各値を取得して、偽色度計算部306に出力する。
この処理は、各画素毎に実行され、各画素対応の白とび度[Wr]が算出されて偽色度計算部306に出力される。なお、図10に示すルックアップテーブル(LUT)は一例であり、これは偽色(PF)の発生態様を考慮して設定されたもので、特にこの形に限定されるものではない。
方向別ゲイン計算部304
次に、方向別ゲイン計算部304の処理の詳細について説明する。方向別ゲイン計算部304は、白とびからの距離・方向ベクトル計算部302から出力される方向ベクトル[WDirect]356、すなわち注目画素から最寄の白とび画素へ向かう方向ベクトル[WDirect]356に基づいて方向別ゲイン[Dr]を算出し、算出した方向別ゲイン[Dr]を彩度削減率計算部307に出力する。方向別ゲイン計算部304の処理について、図11に示すフローチャートを参照して説明する。図11に示すフローは、図5のフローチャートのステップS103の処理に含まれる方向別ゲイン計算部の処理に対応する。
方向別ゲイン計算部304は、処理対象画像の各画素位置(x,y)毎に対応する最短白とび画素位置の方向ベクトル[WDirect(x,y)]を入力として、各画素に対応する方向別ゲイン[Dr(x,y)]を出力する。
本実施例では、入力値としての画素対応の方向ベクトル[WDirect(x,y)]を図12に示すように分類する。図12は、各画素位置(x,y)毎に対応する最短白とび画素位置の方向ベクトル[WDirect(x,y)]を、方向(angle)別に0,1,2,3,4の5つに分類する例を示している。
図12に示すように、方向別ゲイン計算部304は、白とびからの距離・方向ベクトル計算部302から入力する処理対象画像の各画素位置(x,y)毎に対応する最短白とび画素位置の方向ベクトル[WDirect(x,y)]を、5方向に分ける。この5方向に分ける処理手順を説明しているのが、図11のフローにおけるステップS401〜S410の処理である。
なお、図11に示す処理フローも、前述の他のフローと同様、2つの枠、すなわち、For(y=0;y<height;y=y+1)と示す外枠と、For(x=0;x<width;x=x+1)として示す内枠とを有し、処理対象画像フレームにおける(x=0〜width,y=0〜height)の構成画素について、順次各ステップの処理が実行される。
ステップS401では、各画素位置(x,y)毎に対応する最短白とび画素位置の方向ベクトル[WDirect(x,y)]の方向データを(sx,sy)と設定し、ステップS402では,4×sy<1×sxが成立するか否かを判定し、成立する場合は、ステップS403に進み、angle=0と判定する。これは、画素位置(x,y)に対応する方向ベクトル[WDirect(x,y)]が、図12においてangle=0の領域にあると判定する処理である。
ステップS402において、注目画素の方向データ(sx,sy)が,4×sy<1×sxを満たさない場合は、ステップS404に進み、3×sy<2×sxが成立するか否かを判定し、成立する場合は、ステップS405に進み、angle=1と判定する。これは、画素位置(x,y)に対応する方向ベクトル[WDirect(x,y)]が、図12においてangle=1の領域にあると判定する処理である。
ステップS404において、注目画素の方向データ(sx,sy)が,3×sy<2×sxを満たさない場合は、ステップS406に進み、2×sy<3×sxが成立するか否かを判定し、成立する場合は、ステップS407に進み、angle=2と判定する。これは、画素位置(x,y)に対応する方向ベクトル[WDirect(x,y)]が、図12においてangle=2の領域にあると判定する処理である。
ステップS406において、注目画素の方向データ(sx,sy)が,2×sy<3×sxを満たさない場合は、ステップS408に進み、1×sy<4×sxが成立するか否かを判定し、成立する場合は、ステップS409に進み、angle=3と判定する。これは、画素位置(x,y)に対応する方向ベクトル[WDirect(x,y)]が、図12においてangle=3の領域にあると判定する処理である。
ステップS408において、注目画素の方向データ(sx,sy)が,1×sy<4×sxを満たさない場合は、ステップS410に進み、angle=4と判定する。これは、画素位置(x,y)に対応する方向ベクトル[WDirect(x,y)]が、図12においてangle=4の領域にあると判定する処理である。
このように、方向別ゲイン計算部304は、ステップS401〜S410において、白とびからの距離・方向ベクトル計算部302から入力する処理対象画像の各画素位置(x,y)毎に対応する最短白とび画素位置の方向ベクトル[WDirect(x,y)]を、5方向(angle=0,1,2,3,4)に分類する処理を実行する。
次に、ステップS411に進み、各画素(x,y)に対応する方向別ゲイン[Dr(x,y)]を算出する。方向別ゲイン算出は、以下の式に従って実行される。
gain=a×(4−angle)/4+b×angle/4
上記式において、
a:注目画素の横方向に白とびのある場合の彩度削減率、
b:注目画素の縦方向に白とびがある場合の彩度削減率、
であり、a,bの値は、予め設定される。例えば、a=1.0、b=0.7のように、注目画素の横方向に白とびのある場合の彩度削減率が、注目画素の縦方向に白とびがある場合の彩度削減率より大となるように設定される。すなわち、
a>b
としてa,bの値があらかじめ設定される。ただし、
0≦a≦1、かつ、0≦b≦1
である。
上記式におけるangleは、ステップS401〜S410の処理において決定された0〜4いずれかの値、すなわち、各画素位置(x,y)毎に対応する最短白とび画素位置の方向ベクトル[WDirect(x,y)]の方向データ(sx,sy)に基づいて決定された0,1,2,3,4いずれかの値である。
ステップS411における算出式の設定は、ある注目画素(x,y)に対応して検出された最短距離の白とび画素が注目画素の横方向に存在する場合は、注目画素(x,y)の彩度削減率を高く設定し、一方、縦方向に存在する場合は、注目画素(x,y)の彩度削減率を低く設定する処理を行なうことを意味している。
ステップS412では、ステップS411において算出したゲイン[gain]を、注目画素(x,y)に対応する方向別ゲイン[Dr(x,y)]として設定する。
方向別ゲイン計算部304は、このように、白とびからの距離・方向ベクトル計算部302から出力される方向ベクトル[WDirect]356、すなわち注目画素から最寄の白とび画素へ向かう方向ベクトル[WDirect]356に基づいて、方向別ゲイン[Dr]を算出し、算出した方向別ゲイン[Dr]を彩度削減率計算部307に出力する。
方向別ゲイン計算部304は、前述したように、方向別ゲイン算出を下式に従って実行する。
gain=a×(4−angle)/4+b×angle/4
ここで、a=1.0、b=0.7の設定とする。この設定において、画素位置(x,y)から最近接白とび画素へ向かう方向ベクトル[WDirect(x,y)]のアングル(angle)の値:0〜4に応じて算出されるgain、すなわち、方向別ゲイン[Dr(x,y)]は以下の通りの値となる。
angle=0:Dr(x,y)=gain=1.0
angle=1:Dr(x,y)=gain=0,925
angle=2:Dr(x,y)=gain=0,85
angle=3:Dr(x,y)=gain=0.755
angle=4:Dr(x,y)=gain=0.7
となる。
方向別ゲイン[Dr(x,y)]は、図4に示す構成における彩度削減率計算部307に出力され、注目画素(x,y)の彩度削減率[R]を算出する際の指標値として適用されることになる。方向別ゲイン[Dr(x,y)]が1に近いほど彩度削減率[R]は大きな値に設定され、方向別ゲイン[Dr(x,y)]が0に近いほど彩度削減率[R]は小さな値に設定される。
従って、angle=0の場合には、彩度削減率[R]は大きな値に設定され、注目画素(x,y)の彩度は大きく削減され、angle=4の場合には、彩度削減率[R]は小さな値に設定され、注目画素(x,y)の彩度の削減量は小さく設定されることにとなる。
このような彩度削減処理を実行する理由について、図13を参照して説明する。先に説明したように、本発明の画像処理装置は、例えば一定のフレームレートで入力する動画像データの処理をリアルタイムで実行する。すなわち、撮影された画像フレームデータを画像処理装置のDSP106(図1参照)に入力し、スキャンラインに沿って画素情報を読み取りながら画素値の補正を実行する処理を行なう。
本発明の画像処理装置では、一旦メモリに格納された撮影済みの画像データを読み出して補正処理を実行するのではなく、スキャンラインに沿って入力する画素情報に基づいてリアルタイムで補正処理を行なうことが必要となる。一旦メモリに格納された画像データを読み出して処理を実行する場合には、任意の画素位置の画素情報を自在に選択して、様々な選択画素に対応する画素情報を適用した処理が可能であるが、スキャンラインに沿って入力する画素情報に基づいて補正処理を実行する構成とした場合、DSP106(図1参照)内のメモリに一時的に蓄積される画素情報のみを適用した処理を行なうことが必要となる。
DSP106内のメモリに一時的に蓄積される画素情報は、スキャンラインに沿った一定量の画素に対応する画素情報のみとなる。従って、注目画素(x,y)の画素値を周囲画素の画素値情報に基づいて補正する場合、注目画素(x,y)の画素位置近傍にあり、かつスキャンラインに沿った画素に対応する画素情報のみが適用可能な情報となる。
図13に示すように、画像フレーム500のスキャンライン(画像フレーム中の矢印)に沿って画素値データが読み取られてDSP106において処理を行なうことが必要となる。図13(A)は、注目画素511の横方向、すなわちスキャンライン方向に偽色(PF)画素が連続している場合を示し、図13(B)は、注目画素521の縦方向、すなわちスキャンラインの垂直な方向に偽色(PF)画素が連続している場合を示している。
図13(A)のように、注目画素511の横方向、すなわちスキャンライン方向に偽色(PF)画素が連続している場合において、注目画素511の画素値補正を周囲画素の画素情報に基づいて実行しようとした場合、DSP内のメモリに一時的に蓄積可能な画素情報は、スキャンラインに沿った画素、すなわちほとんど偽色(PF)画素の画素情報のみとなる。図13(A)に示す矢印がDSP内のメモリに一時的に蓄積可能な画素情報の領域としての参照可能画素領域512を示している。
図13(A)の構成では、白とび画素513は、注目画素511の縦(上)方向、すなわちスキャンラインに垂直な方向にあり、前述のアングル(angle)値は、angle=4となり、そのゲインは、前述のa,=1.0、b=0.7の設定とした場合、下記式、
gain=a×(4−angle)/4+b×angle/4
に従って算出され、
Dr(x,y)=gain=0.7
となる。
すなわち、注目画素(x,y)の彩度削減率は抑制され、大きな彩度削減は実行されないことになる。これは、注目画素(x,y)が偽色(PF)画素であって、彩度削減が必要となる画素ではあるが、参照可能な画素も偽色(PF)画素であるため、正常な彩度情報を持つ画素を参照することができない状態であり、大きな彩度削減を実行した場合、縦方向、すなわち、図13(A)に示す画像構成の場合、縦(下)方向にある通常画素、すわち、偽色(PF)でもなく白とびでもない通常画素514を参照した彩度補正処理は不可能であり、彩度削減を実行した注目画素511と、通常画素514との彩度の差が大きくなってしまう恐れがあるからである。
彩度削減を実行した注目画素511と、通常画素514との彩度の差が大きくなると、画像の不自然が増大し、画像の品質低下を招くことになる。このような事態を防止するため、図13(A)のような構成の場合には、注目画素(x,y)511が偽色(PF)画素である場合においても、彩度削減率を低下させて過度な彩度低下を実行しない構成としている。なお、彩度削減処理、補正処理の詳細については後段で説明する。
一方、図13(B)のように、注目画素521の縦方向、すなわちスキャンライン方向と垂直な方向に偽色(PF)画素が連続し、スキャンライン方向に白とび画素523、通常画素524が存在する場合、注目画素521の画素値補正を周囲画素の画素情報に基づいて実行しようとした場合、DSP内のメモリに一時的に蓄積可能な画素情報は、スキャンラインに沿った画素であり、参照可能画素領域522に含まれる画素の画素情報となる。この場合、白とびでも偽色(PF)でもない通常画素524の画素情報が適用可能となる。
図13(B)の構成では、白とび画素523は、注目画素521の横方向、すなわちスキャンライン方向にあり、前述のアングル(angle)値は、angle=0となり、そのゲインは、前述のa,=1.0、b=0.7の設定とした場合、下記式、
gain=a×(4−angle)/4+b×angle/4
に従って算出され、
Dr(x,y)=gain=1.0
となる。
すなわち、注目画素(x,y)の彩度削減率は大きく設定されることになる。
図13(B)の構成では、注目画素(x,y)521が偽色(PF)画素であって、大きな彩度削減処理を実行した場合であっても、注目画素(x,y)521と同じスキャンライン上にある通常画素524の画素情報がDSP内のメモリから読み出すことが可能であり、通常画素524の彩度を参照した適切な彩度補正が可能となる。すなわち、注目画素521の大きな彩度削減を実行しても、その後の彩度補正において、通常画素524の彩度に適応させた補正が可能となる。
この彩度補正処理により、注目画素521と通常画素524との彩度の差が大きくなってしまうといった事態を防止することが可能となる。このような理由に基づき、図13(B)のような画素構成を持つ場合、注目画素521の彩度削減率を大きく設定する。
紫度計算部305
次に、図4に示す偽色(PF)補正処理手段206の紫度計算部305の処理の詳細について説明する。紫度計算部305は、図4に示すように、入力画像351の色差成分[C]353を入力し、色差成分[C]353に基づく紫度[Pr]357を算出し、算出した紫度[Pr]357を偽色度計算部306に出力する処理を実行する。紫度計算部305の処理について説明する。
紫度計算部305において処理を実行する注目画素(x,y)の色差成分[C]データを(Cr,Cb)とする。本実施例では、YCbCr色空間に展開したデータに対して処理を実行する例であり、色情報としてはCbCr色差平面において、各画素の色情報が定義される。紫度計算部305は、注目画素(x,y)の色差データ(Cb,Cr)を入力として、偽色(PF)の色相への近さ情報としての紫度[Pr(x,y)]を各注目画素毎に算出して偽色度計算部306に出力する。
紫度[Pr(x,y)]は、0.0〜1.0の値で表され、Pr=0.0は、偽色(PF)色相から遠い色であることを表し、Pr=1.0は、最も偽色(PF)色相に近い色であることを表す。
図14を用いて、CbCr色差平面における偽色(PF)色相と、紫度[Pr]の設定例について説明する。図14に示すグラフは、CbCr色差平面を示し、図中のライン601(Fθ)は、CbCr色差平面における偽色(PF)の色相に対応する偽色(PF)色相ライン601である。典型的なパープルフリンジは、この偽色(PF)色相ライン601上の色相を持つ。
図中のライン602は、一例として示す注目画素(x,y)の色相に対応する注目画素色相ライン602である。注目画素色相ライン602が、偽色(PF)色相ライン601に近いほど、注目画素(x,y)の色相は偽色(PF)色相に近い色相であり、注目画素色相ライン602が、偽色(PF)色相ライン601から遠いほど、注目画素(x,y)の色相は偽色(PF)色相から遠い色相である。
図中のライン611,612は、偽色(PF)色相ライン601から角度:θmax回転させた色相ラインであり、紫度[Pr]0ライン611,612である。θmaxは予設定される角度であり、例えば30°に設定される。紫度[Pr]0ライン611,612から、偽色(PF)色相ライン601に近づくほど、紫度[Pr]の値は大きくなり、偽色(PF)色相ライン601上で、紫度[Pr]は1となる。すなわち、注目画素色相ライン602が、紫度[Pr]0ライン611,612の間にある場合、注目画素(x,y)の紫度[Pr]は0〜1の間に設定される。注目画素色相ライン602が、紫度[Pr]0ライン611,612の間にない場合、注目画素(x,y)の紫度[Pr]は0に設定される。
注目画素(x,y)紫度[Pr(x,y)]は、以下の算出式によって求められる。
・・・(式3)
上記式において、
θ:CbCr平面において、軸Cbと偽色(PF)色相ラインとのなす角
θ(x,y):CbCr平面において、軸Cbと注目画素色相ラインとのなす角
θmax:CbCr平面において、偽色(PF)色相ラインと紫度[Pr]0ラインのなす角、予設定される角度であり、例えば30°に設定される
このように、紫度計算部305は、入力画像351の色差成分[C]353を入力し、色差成分[C]353に基づく紫度[Pr]357を、上記算出式(式3)に従って算出し、算出した紫度[Pr]357を偽色度計算部306に出力する処理を実行する。
偽色度計算部306
次に、偽色度計算部306の処理の詳細について説明する。偽色度計算部306は、図4に示すように、紫度計算部305から入力する紫度[Pr]357と、白とび度計算部303から入力する白とび度[Wr]356とに基づいて、偽色度[PFr]358を算出し、算出した偽色度[PFr]358を彩度削減率計算部307に出力する。
偽色度計算部306は、以下の算出式に従って、注目画素(x,y)の偽色度[PFr(x,y)]を、注目画素(x,y)の紫度[Pr(x,y)]と、注目画素(x,y)の白とび度[Wr(x,y)]とに基づいて算出する。
PFr(x,y)=Pr(x,y)×Wr(x,y) ・・・(式4)
上記式(式4)は、注目画素(x,y)の偽色度[PFr(x,y)]を、注目画素(x,y)の紫度[Pr(x,y)]と、注目画素(x,y)の白とび度[Wr(x,y)]との乗算によって算出することを示している。
上記式(式4)において、紫度[Pr(x,y)]は0〜1の値であり、白とび度[Wr(x,y)]も0〜1の値であるので、偽色度[PFr(x,y)]も0〜1の範囲で設定されることになる。偽色度[PFr]=1.0が偽色度が最も高い、すなわち注目画素が偽色(PF)である可能性が最も高いことを示し、偽色度[PFr]=0.0が偽色度が最も低い、すなわち注目画素が偽色(PF)である可能性が最も低いことを示す。
彩度削減率計算部307
次に、彩度削減率計算部307の処理の詳細について説明する。彩度削減率計算部307は、図4に示すように、偽色度計算部306から入力する偽色度[PFr]358と、方向別ゲイン計算分304から入力する方向別ゲイン[Dr]359とに基づいて、彩度削減率[R]360を算出し、算出した彩度削減率[R]360を補正処理部310の各処理部、すなわち、画素彩度削減処理部311、画素彩度補正処理部312、画素色差成分ぼかし処理部313に出力する。
彩度削減率計算部307以下の算出式に従って、注目画素(x,y)の彩度削減率[R(x,y)]を、注目画素(x,y)の偽色度[PFr(x,y)]と、注目画素(x,y)の方向別ゲイン[Dr(x,y)]とに基づいて算出する。
R(x,y)=PFr(x,y)×Dr(x,y) ・・・(式5)
上記式(式5)は、注目画素(x,y)の彩度削減率[R(x,y)]を、注目画素(x,y)の偽色度[PFr(x,y)]と、注目画素(x,y)の方向別ゲイン[Dr(x,y)]との乗算によって算出することを示している。
上記式(式5)において、偽色度[PFr(x,y)]は0〜1の値であり、方向別ゲイン[Dr(x,y)]も0〜1の値であるので、彩度削減率[R(x,y)]も0〜1の範囲で設定されることになる。彩度削減率[R(x,y)]=1.0が最も大きなレベルでの彩度削減処理を実行し、彩度削減率[R(x,y)]=0.0が最も小さなレベルでの彩度削減処理を実行することを意味する。
彩度削減率計算部307は、上述の式(式5)に従って、偽色度計算部306から入力する偽色度[PFr]358と、方向別ゲイン計算分304から入力する方向別ゲイン[Dr]359とに基づいて、彩度削減率[R]360を算出し、算出した彩度削減率[R]360を補正処理部310の各処理部、すなわち、画素彩度削減処理部311、画素彩度補正処理部312、画素色差成分ぼかし処理部313に出力する。
以上の処理が、図4に示す補正パラメータ(彩度削減率)算出部300の処理の詳細であり、この処理によって、注目画素(x,y)に対応する彩度削減率R(x,y)が設定されて、補正処理部310の、画素彩度削減処理部311、画素彩度補正処理部312、画素色差成分ぼかし処理部313において、彩度削減率R(x,y)を適用した画素値補正処理が実行される。
以下、補正処理部310の画素彩度削減処理部311、画素彩度補正処理部312、画素色差成分ぼかし処理部313において実行する処理の詳細について、順次説明する。
画素彩度削減処理部311
画素彩度削減処理部311は、図4に示すように、入力画像351の色差成分[C]353を入力し、補正パラメータ(彩度削減率)算出部300から入力する彩度削減率[R]360に基づいて偽色(PF)画素部分の彩度削減処理を行い、偽色(PF)部分彩度削減結果画像[Cs]361を画素彩度補正処理部312に出力する。
画素彩度削減処理部311の具体的な処理について説明する。画素彩度削減処理部311は、入力画像351の色差成分[C]353に基づいて取得される注目画素(x,y)のCrCb各成分のオリジナル彩度C(x,y)CrとC(x,y)Cbと、補正パラメータ(彩度削減率)算出部300から入力する注目画素(x,y)彩度削減率[R(x,y)]とに基づいて、下式(式6)に従って、彩度削減後の注目画素(x,y)のCrCb各成分の削減彩度Cs(x,y)CrとCs(x,y)Cbを算出する。
Cs(x,y)Cr=C(x,y)Cr×{1.0−R(x,y)}
Cs(x,y)Cb=C(x,y)Cb×{1.0−R(x,y)}
・・・(式6)
上記式(式6)において、注目画素(x,y)の彩度削減率[R(x,y)]は0〜1の範囲の値であり、注目画素(x,y)の偽色度[PFr(x,y)]が高いほど1に近い値をとる。上記式において、
{1.0−R(x,y)}
は、注目画素(x,y)の偽色度[PFr(x,y)]が高いほど値が小さく0に近くなり、上記式(式6)は、オリジナル彩度C(x,y)に対して、{1.0−R(x,y)}の値を乗算する処理であるので、注目画素(x,y)の偽色度[PFr(x,y)]が高いほど彩度の削減される度合いが高くなる。
すなわち、上記式(式6)は、注目画素(x,y)の偽色度[PFr(x,y)]が高い(1に近い)ほど、彩度を落とし、注目画素(x,y)の偽色度[PFr(x,y)]が低い(0に近い)ほど、彩度の落としかたを弱める処理を実行することを意味している。
画素彩度補正処理部312
画素彩度補正処理部312は、図4に示すように、画素彩度削減処理部311から偽色(PF)部分彩度削減結果画像[Cs]361を入力し、彩度の低下量の補正を実行する。すなわち、画素彩度削減処理部311において彩度を低下させすぎた部分などを検出し、周辺の画素の彩度を参考にした彩度補正処理を行う。画素彩度補正処理部312は、画素彩度削減処理部311において、彩度低下処理を実行した画素、すなわち主として偽色(PF)と判定された画素を補正対象として選択して補正処理を行なう。すなわち、彩度補正の対象範囲は彩度を落とした部分であることから、彩度削減率[R]360が0でない画素を選択することが必要となるため、画素彩度補正処理部312は、彩度削減率[R]360を入力し、彩度削減率[R]360≠0の画素を選択して、彩度補正を行なう。彩度補正が行われた結果画像である彩度補正画像[Cc]362は、画素色差成分ぼかし処理部313に出力される。画素彩度補正処理部312の処理の詳細について、図15に示す処理フローを参照して説明する。なお、図15に示す処理フローは、図5のフローチャートのステップS108の彩度補正処理の詳細処理に対応する。
なお、図15に示す処理フローも、前述の他のフローと同様、2つの枠、すなわち、For(y=0;y<height;y=y+1)と示す外枠と、For(x=0;x<width;x=x+1)として示す内枠とを有し、処理対象画像フレームにおける(x=0〜width,y=0〜height)の構成画素について、順次各ステップの処理が実行される。ただし、画素彩度補正処理部312は、彩度削減率[R]が0より大きな値を持つ画素を注目画素として選択し、選択画素について、図15に示すフローに従った処理を行う。すなわち、ステップS501の前段階として、スキャンラインに沿って入力する画素が、彩度削減率[R]が0より大きな値を持つ画素であるか否かを判定した後、彩度削減率[R]が0より大きな値を持つ画素である場合にのみ、これを注目画素(x,y)として選択して、ステップS501以下の処理を実行することになる。
ステップS501、S502では、初期設定として、注目画素(x,y)の彩度削減後の色成分Cs(x,y)Cr,Cs(x,y)Cbを適用して、
cr=Cs(x,y)Cr
cb=Cs(x,y)Cb
として、注目画素(x,y)の彩度パラメータとしてのcr,cb、各値の初期設定処理を実行する。
次に、ステップS503、S504において、画素彩度削減処理部311において彩度削減処理のなされた注目画素(x,y)の色相Cs(x,y)に基づく彩度[ccLv]と、画素彩度削減処理部311において彩度削減処理のなされる前の注目画素(x,y)の色相C(x,y)に基づく彩度[ocLv]とを算出する。彩度算出は、以下の式(式7)に従って実行される。
ccLv=|Cs(x,y)Cr|+|Cs(x,y)Cb|
ocLv=|C(x,y)Cr|+|C(x,y)Cb|
・・・(式7)
次に、ステップS505、S506において注目画素近傍の参照画素の初期設定を実行する。ステップS505では、注目画素近傍の参照画素の有無情報を示すパラメータ[refExist]=falseとして参照画素なしの設定とし、ステップS506では、参照画素の参照彩度の値を示すパラメータ[rfLv]を0とする初期設定を行う。
次のステップS507は、注目画素の近傍領域から取得可能な参照画素の画素情報としての彩度情報を取得する処理である。なお、前述したように、注目画素の近傍領域から取得可能な参照画素情報は、先に、図13を参照して説明したようにスキャンラインに沿って注目画素に近接する画素の画素情報である。例えば、注目画素を中心として、左右k(例えばk=10)画素を探索範囲として参照彩度を取得する。
ステップS507の詳細は、ステップS508〜S512に示す処理である。なお、ステップS507では、注目画素(x,y)を中心として、左右画素を探索範囲とし、参照画素を参照画素(s,y)、参照画素(s,y)の彩度削減後の色相CsをCs(s,y)とする。
ステップS508では、選択された1つの参照画素(s,y)の彩度削減後の色相CsをCs(s,y)に基づいて、参照画素(s,y)が白とび画素であるか否かを判定する。参照画素(s,y)が白とび画素であると判定された場合は、次の参照画素についての処理を行なう。
参照画素(s,y)が白とび画素でないと判定されると、ステップS509に進み、参照画素の有無情報を示すパラメータ[refExist]=trueとして参照画素ありの設定とし、参照画素のテンポラリ彩度値[rfLv_temp]を参照画素(s,y)のCs(s,y)に基づいて算出する。色相算出は、前述の式(式7)と同様、
rfLv_temp=|Cs(s,y)Cr|+|Cs(s,y)Cb|
に従って算出される。
次に、参照画素のテンポラリ彩度値[rfLv_temp]がこれまでに算出された参照画素の彩度値[rfLv]より大きい値を持つか否か判定、すなわち、
rfLv<rfLv_temp
が成立するか否かを判定し、成立しない場合は、次の参照画素の処理に移行し、成立する場合は、ステップS512において、参照画素の彩度値[rfLv]を参照画素のテンポラリ彩度値[rfLv_temp]として更新する処理を実行する。
以上の処理を、注目画素を中心として、左右k(例えばk=10)画素を探索範囲として実行し、結果として探索範囲に含まれる白とび以外の画素の最大の彩度を持つ参照画素の彩度値を、参照画素の彩度値[rfLv]として決定する。なお、注目画素を中心として、左右k(例えばk=10)画素に白とび画素しか含まれない場合は、参照画素の有無情報を示すパラメータ[refExist]=falseとして参照画素なしの設定のままに維持されることになる。
ステップS513では、参照画素の有無情報を示すパラメータ[refExist]=true、すなわち参照画素ありであるか否かが判定される。[refExist]=false、すなわち参照画素なしの場合は、ステップS514に進み、参照画素の彩度値[rfLv]を、画素彩度削減処理部311において彩度削減処理のなされた注目画素(x,y)の色相Cs(x,y)に基づく彩度[ccLv]に設定し、その後ステップS515に進む。
ステップS514の処理の後、およびステップS513において、参照画素の有無情報を示すパラメータ[refExist]=true、すなわち参照画素ありと判定した場合は、ステップS515に進み、参照画素の彩度値[rfLv]と注目画素の彩度削減前のオリジナルの彩度[ocLv]との比較を実行する。
rfLV<ocLV
が成立する場合、すなわち、参照画素の彩度値[rfLv]より、注目画素の彩度削減前のオリジナルの彩度[ocLv]の値が大きい場合は、ステップS516に進み、参照画素の彩度値[rfLv]を注目画素の彩度削減前のオリジナルの彩度[ocLv]の値に設定する処理を実行する。
ステップS516の処理の後、および、ステップS515において、rfLV<ocLVが成立しないと判定した場合、すなわち、参照画素の彩度値[rfLv]より、注目画素の彩度削減前のオリジナルの彩度[ocLv]の値が大きくない場合は、ステップS517、S518において、注目画素(x,y)の色差成分値[cr][cb]を以下の式によって更新する。
cr=cr×(rfLv/ccLv)
cb=cb×(rfLv/ccLv)
上記式は、注目画素(x,y)についての画素彩度削減処理部311において彩度の削減された結果としての色差成分cr,cbについて、注目画素の彩度削減処理後の彩度[xxLv]と、参照画素の彩度値[rfLv]との比率、すなわち(rfLv/ccLv)によって調整する処理として実行される。
参照画素取得領域において選択される白とび画素以外の画素中、最大の彩度を持つ参照画素の彩度値[rfLv]が、注目画素の彩度削減前のオリジナルの彩度[ocLv]以下である場合(ステップS515:No)には、最大の彩度を持つ参照画素の彩度値[rfLv]を適用して、(rfLv/ccLv)の値を設定し、
参照画素取得領域において選択される白とび画素以外の画素中、最大の彩度を持つ参照画素の彩度値[rfLv]が、注目画素の彩度削減前のオリジナルの彩度[ocLv]より大きい場合(ステップS515:Yes)には、最大の彩度を持つ参照画素の彩度値[rfLv]を注目画素の彩度削減前のオリジナルの彩度[ocLv]に変更して(rfLv/ccLv)の値を設定し、
これらの設定値(rfLv/ccLv)に基づいて、
cr=cr×(rfLv/ccLv)
cb=cb×(rfLv/ccLv)
を算出して、注目画素(x,y)の色差成分値[cr][cb]を更新する。
参照彩度の基準は、探索範囲内で最も彩度が高く、かつ白とび画素でないことが条件である。参照彩度[rfLv]が探索範囲内にあった場合(refExist=true)は、元の画像の彩度[ocLv]と比較して大きくなければ、彩度削減後の色成分に対し(rfLv/ccLv)倍する、すなわち彩度削減によって[ccLv]に削減された彩度を参照彩度[rfLv]に上げる処理を行う。参照彩度[rfLv]が、元の画像の彩度[ocLv]より大きい場合は、ステップS516においてrfLv=ocLvとして、彩度補正を(ocLv/ccLv)倍にし、最大に補正しても元画像の彩度より上げないようにしている。参照彩度[rfLv]がない場合は特に彩度の補正を行わない。
彩度補正で、参照画素中、彩度の最も高いものを適用する理由は、注目画素(x,y)の彩度が、周辺の画素の彩度よりも高い場合に、注目画素(x,y)の彩度を周辺の画素の彩度に近づけることで、画素間の彩度の差分が過大にならなにいようにすることで、彩度低下を実行した偽色(PF)画素が目立つことを防止するためである。
ステップS519、S520では、ステップS517、S518で算出した注目画素の色相データである、以下の値:cb,cr、すなわち、
cr=cr×(rfLv/ccLv)
cb=cb×(rfLv/ccLv)
を適用して、注目画素(x,y)の彩度補正後の色成分[Cc]を、
Cc(x,y)Cr=cr
Cc(x,y)Cb=cb
として設定する。
上述のように、画素彩度補正処理部312は、注目画素(x,y)の彩度補正後の色成分[Cc]を下記の処理態様で補正する。すなわち、
(a)注目画素(x,y)である彩度削減画素の近傍にあり、かつ彩度削減画素と同一のスキャンラインに沿った画素を参照画素として選択し、参照画素中、最も彩度の高い画素の彩度[rfLv]に前記彩度削減画素の彩度を近づける。
(b)彩度削減画素と同一のスキャンラインに沿った画素を参照画素中、最も彩度の高い画素の彩度が、彩度削減画素の彩度削減前の彩度以下である場合には、注目画素(x,y)である彩度削減画素の彩度を彩度削減前の彩度[ocLv]に近づける。
これらの処理を実行する。
画素彩度補正処理部312は、このように、画素彩度削減処理部311から偽色(PF)部分彩度削減結果画像[Cs]361を入力し、彩度の低下量の補正を実行し、彩度補正画像[Cc]362を生成して、画素色差成分ぼかし処理部313に出力する。
画素色差成分ぼかし処理部313
次に、画素色差成分ぼかし処理部313の処理について説明する。画素色差成分ぼかし処理部313は、彩度補正画像[Cc]362における色差成分に対してBlurを掛ける処理、すなわち、ぼかし処理を実行する。画素色差成分ぼかし処理部313は、彩度削減処理を施した画素と周囲画素の色相の差分を減少させる処理を実行する。
なお、画素色差成分ぼかし処理部313において実行するぼかし処理についても全ての画素について行なうのではなく、彩度削減、補正処理の実行された画素を含む画素領域が処理対象として選択されぼかし処理が実行される。画素色差成分ぼかし処理部313は、この処理対象領域の選択のために彩度削減率[R]360を入力し、彩度削減率[R]360≠0の画素を選択し、ぼかし処理の処理対象領域を決定してぼかし処理を行なう。画素色差成分ぼかし処理部313の処理の詳細について、図16に示す処理フローを参照して説明する。なお、図16に示す処理フローは、図5のフローチャートのステップS109の偽色(PF)画素色差成分ぼかし処理の詳細処理に対応する。
画素色差成分ぼかし処理部313における処理は、彩度補正を行った部分の彩度変化を平滑にすると共に、彩度を落とした部分と、そうでない通常画素部分の境界部をなじませるためにBlur(ぼかし)を掛ける処理である。このBlur処理に関しても、処理の軽量化および回路規模の削減の観点から、注目画素の左右に存在するスキャンラインに沿った画素の画素情報のみを用いて処理を行う。
なお、図16に示す処理フローも、前述の他のフローと同様、2つの枠、すなわち、For(y=0;y<height;y=y+1)と示す外枠と、For(x=0;x<width;x=x+1)として示す内枠とを有し、処理対象画像フレームにおける(x=0〜width,y=0〜height)の構成画素について、順次各ステップの処理が実行される。ただし、画素色差成分ぼかし処理部313は、彩度削減率[R]≠0の画素を選択し、ぼかし処理の処理対象領域を決定してぼかし処理を行なう。従って、ステップS601の前段階として、スキャンラインに沿って入力する画素が、彩度削減率[R]≠0の画素であるか否かを判定した後、彩度削減率[R]≠0の画素である場合にのみ、これを注目画素(x,y)として選択して、ステップS601以下の処理を実行することになる。
図16に示すフローチャートの各ステップの処理について説明する。ステップS601は初期設定であり、注目画素(x,y)に対して、ぼかし処理を実行するか否かを示すフラグ[flag]である[execBlur]=falseとして、ぼかしをかけない設定のフラグに初期設定する。
その後、ステップS602では、注目画素(x,y)周辺の取得可能な参照画素の画素情報として、周辺画素(s,y)の彩度削減率R(s,y)を取得し、周辺画素(s,y)の彩度削減率R(s,y)が0より大の画素が検出された場合(ステップS603:Yes)に、ステップS604において、ぼかし処理を実行するか否かを示すフラグ[flag]である[execBlur]=trueとして、ぼかしを実行する設定のフラグに更新する。なお、前述したように、注目画素の近傍領域から取得可能な参照画素情報は、先に、図13を参照して説明したようにスキャンラインに沿って注目画素に近接する画素の画素情報である。例えば、注目画素を中心として、左右j(例えばj=7)画素を探索範囲として画素情報[彩度削減率R(s,y)]を取得して、ステップS602(S603〜S604)の処理を実行する。
次に、ステップS605において、フラグ[execBlur]が[true]に設定されていると判定した場合は、ステップS607に進み、注目画素(x,y)を中心にぼかし(Blur)フィルタを掛ける処理を実行する。ぼかし(Blur)フィルタによる注目画素(x,y)のぼかし処理後の色成分[Blur(Cc(x,y))]は、以下の式(式8)で算出される。
・・・(式8)
上記式に従って、注目画素(x,y)のCr,Cbに対して行い、それぞれのぼかし処理後の色成分[Blur(Cc(x,y))]を算出する。なお、上記式において、
Cc(x,y)は、注目画素(x,y)の彩度補正後の色成分[Cc(x,y)]
Cc(x+i,y)、Cc(x−i,y)は、注目画素(x,y)のスキャンライン上の±i画素移動した画素における彩度補正後の色成分[Cc]
を示している。
上記式では、注目画素の±7画素の色成分を適用したぼかし処理を実行した例である。なお、ぼかし処理の態様は、上記式(式8)を適用したものに限定されるものではなく、彩度を落とした部分と、そうでない通常画素部分の境界部をなじませる効果のある処理であれば、その他の態様によるぼかし処理でもよい。
画素色差成分ぼかし処理部313では、上述の処理を実行して、図4に示すように、補正結果としての補正色差成分画像[Ctemp]363を生成し出力する。補正色差成分画像[Ctemp]363は、輝度成分[Y]365と合成されて、最終的なYCbCr出力画像371として出力される。この補正処理の結果としての出力YCbCr出力画像371が画像処理装置内のメモリに格納され、またモニタ手段などの出力部に出力される。
なお、上述した実施例の処理はYcbCr色空間を適用した処理として説明したが、その他の色空間、例えばCIEL*a*b*空間など、輝度情報と色相情報とが分かれている情報であれば、上述した本発明に従った処理が適用可能である。
上述した本発明の処理により、スキャンラインに沿って順次画素情報を取り込みながら、限られた参照画素情報、すなわち、注目画素(x,y)の近傍であり、かつスキャンラインに沿った画素の画素情報のみを用いた画素値補正が可能となり、ビデオカメラで撮影した画像データをリアルタイムで処理することが可能となり、偽色(PF)画素の画素値補正を、周囲画素との彩度差を過大にしてしまうことなく実行することが可能となり、高品質な画像データを生成することが可能となる。
以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。
例えば、プログラムは記録媒体としてのハードディスクやROM(Read Only Memory)に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、CD−ROM(Compact Disc Read Only Memory),MO(Magneto optical)ディスク,DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体に、一時的あるいは永続的に格納(記録)しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウエアとして提供することができる。
なお、プログラムは、上述したようなリムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトから、コンピュータに無線転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
以上、説明したように、本発明の構成によれば、処理画像の構成画素の補正パラメータとして、各画素に対応する彩度削減率を算出し、算出した彩度削減率に基づいて各画素の彩度削減処理を実行し、さらに、彩度の削減された彩度削減画素の彩度と周囲参照画素の彩度との差分を縮小するように、彩度削減画素の彩度を補正する構成としたので、例えばパープルフリンジ等の偽色画素の補正処理において、彩度の過度な低下による周囲画素の彩度との乖離による画素の目立ちを防止することが可能となり、高品質な補正画像データを生成することができる。
さらに、本発明の構成によれば、各画素に対応する彩度削減率を算出し、算出した彩度削減率に基づいて各画素の彩度削減処理を実行し、さらに、彩度の削減された彩度削減画素の彩度と周囲参照画素の彩度との差分を縮小するように、彩度削減画素の彩度を補正する構成とし、彩度補正処理において参照する周囲画素をスキャンラインに沿って選択される画素としたので、ビデオカメラなどで撮影され、スキャンラインに沿って入力する画素情報のみを用いた画像処理が可能となり、リアルタイムで効率的な画像処理が可能となる。
さらに、本発明の構成によれば、補正パラメータとしての彩度削減率の算出において、注目画素の色相が偽色色相と類似し、白とび画素からの距離が近いほど、大きな値の偽色度を算出し、注目画素と白とび画素とが、スキャンラインに沿った平行な位置にあるほど大きな値の方向別ゲインを算出し、注目画素の偽色度が高く、方向別ゲインが高いほど、大きな値の彩度削減率を算出する構成とし、画素彩度削減処理においては、この性質を持つ彩度削減率に基づいて各画素の彩度削減処理を実行する構成としたので、注目画素と同一のスキャンライン上に偽色ではない通常画素が存在する場合には、高い彩度削減率による彩度低下処理を実行し、その後、通常画素の彩度情報に基づく彩度補正を行なうことが可能となる。また、注目画素と同一のスキャンライン上に偽色ではない通常画素が存在しない場合には彩度削減率を低くして彩度削減処理を行なう設定としたので、その後の彩度補正処理において通常画素の彩度情報が取得できない場合でも周囲画素との彩度差分を過大にしてしまうことがなく、高品質な補正画像データを生成することが可能となる。
本発明の画像処理装置の構成を示す図である。 偽色(PF)画素の彩度補正処理における問題点について説明する図である。 本発明の画像処理装置のデジタル信号処理部(DSP)の処理構成について説明する図である。 本発明の画像処理装置のデジタル信号処理部(DSP)の偽色(PF)補正処理手段の処理構成について説明する図である。 本発明の画像処理装置のデジタル信号処理部(DSP)の偽色(PF)補正処理手段の処理手順について説明するフロー図である。 偽色(PF)補正処理手段の実行する白とび検出処理の処理手順について説明するフロー図である。 偽色(PF)補正処理手段の実行する白とびからの距離・方向計算処理の処理手順について説明するフロー図である。 白とびからの距離・方向ベクトル計算部における白とび探索範囲(x,y,x,y)の算出処理の詳細について説明する図である。 白とびからの距離・方向ベクトル計算部における白とび距離D計算処理の詳細について説明する図である。 白とび度計算部の適用するルックアップテーブル(LUT)について説明する図である。 方向別ゲイン計算部において実行する処理手順について説明するフロー図である。 各画素位置(x,y)毎に対応する最短白とび画素位置の方向ベクトル[WDirect(x,y)]を、方向(angle)別に0,1,2,3,4の5つに分類する例を説明する図である。 スキャンラインに沿って画素情報を読み取りながら画素値の補正を実行する処理について説明する図である。 CbCr色差平面における偽色(PF)色相と、紫度[Pr]の設定例について説明する図である。 画素彩度補正処理部の処理の詳細について説明するフロー図である。 画素色差成分ぼかし処理部の処理の詳細について説明するフロー図である。
符号の説明
101 レンズ
102 絞り
103 固体撮像素子
104 相関2重サンプリング回路
105 A/Dコンバータ
106 DSPブロック
107 タイミングジェネレータ
108 D/Aコンバータ
109 ビデオエンコーダ
110 ビデオモニタ
111 コーデック(CODEC)
112 メモリ
113 CPU
114 入力デバイス
150 白とび画素
151 偽色(PF)画素
152 通常画素
155 物体輪郭
160 白とび画素
161 偽色(PF)画素
162 通常画素
165 物体輪郭
201 ホワイトバランス調整手段
202 ガンマ補正処理手段
203 デモザイク処理手段
204 YcbCr変換手段
205 エッジ強調処理手段
206 偽色(PF)補正処理手段
251 モザイク画像データ
252 YCbCr画像
300 補正パラメータ(彩度削減率)算出部
301 白とび検出部
302 白とびからの距離・方向ベクトル計算部
303 白とび度計算部
304 方向別ゲイン計算部
305 紫度計算部
306 偽色度計算部
307 彩度削減率計算部
310 補正処理部
311 画素彩度削減処理部
312 画素彩度補正処理部
313 画素色差成分ぼかし処理部
351 YCbCr入力画像
371 YCbCr出力画像
400 画像中心画素
401 画像端画素
402 注目画素(x,y)
410 注目画素(x,y)
420 白とび探索範囲
421〜424 画素
500 画像フレーム
511 注目画素
512 参照可能画素領域
513 白とび画素
514 通常画素
521 注目画素
522 参照可能画素領域
523 白とび画素
524 通常画素
601 偽色(PF)色相ライン
602 注目画素色相ライン
611,612 紫度[Pr]0ライン

Claims (15)

  1. 画像処理装置であり、
    処理画像の構成画素の補正パラメータとして、各画素に対応する彩度削減率を算出する補正パラメータ算出部と、
    前記彩度削減率を適用して、処理画像の構成画素の彩度削減処理を含む画素値補正処理を実行する補正処理部とを有し、
    前記補正処理部は、
    前記補正パラメータ算出部の算出する彩度削減率に基づいて各画素の彩度削減処理を実行する画素彩度削減処理部と、
    前記画素彩度削減処理部において彩度の削減された彩度削減画素の彩度と周囲参照画素の彩度との差分を縮小するように、前記彩度削減画素の彩度を補正する画素彩度補正処理部と、
    を有する構成であり、
    前記画素彩度補正処理部は、
    前記彩度削減画素の近傍にあり、かつ彩度削減画素と同一のスキャンラインに沿った画素を参照画素として選択し、該選択された参照画素の彩度と、前記彩度削減画素の彩度との差分を縮小するように、前記彩度削減画素の彩度補正処理を実行することを特徴とする画像処理装置。
  2. 前記補正処理部は、さらに、
    画素彩度補正処理部の出力データに対して、彩度削減処理を施した画素と周囲画素の色相の差分を減少させるぼかし処理を実行するぼかし処理部を有する構成であることを特徴とする請求項1に記載の画像処理装置。
  3. 前記画素彩度補正処理部は、
    前記彩度削減画素の近傍にあり、かつ彩度削減画素と同一のスキャンラインに沿った画素を参照画素として選択し、参照画素中、最も彩度の高い画素の彩度に前記彩度削減画素の彩度を近づける処理を実行する構成であることを特徴とする請求項1に記載の画像処理装置。
  4. 前記画素彩度補正処理部は、
    前記彩度削減画素の近傍にあり、かつ彩度削減画素と同一のスキャンラインに沿った画素を参照画素として選択し、参照画素中、最も彩度の高い画素の彩度が、前記彩度削減画素の彩度削減前の彩度以下である場合、前記彩度削減画素の彩度を前記彩度削減画素の彩度削減前の彩度に近づける処理を実行する構成であることを特徴とする請求項1に記載の画像処理装置。
  5. 前記補正パラメータ算出部は、
    処理画像から選択された注目画素についての、
    (a)注目画素の色相と偽色の色相との類似性情報としての紫度と、
    (b)注目画素の白とび画素からの距離情報と、
    を算出し、
    (c)前記紫度および距離情報とに基づいて算出される偽色度と、
    (d)注目画素の白とび画素からの方向情報に基づいて算出される方向別ゲインと、
    を算出し、前記偽色度と前記方向別ゲインとに基づいて、注目画素に対応する彩度削減率を算出する構成であることを特徴とする請求項1乃至いずれかに記載の画像処理装置。
  6. 前記補正パラメータ算出部は、
    注目画素の色相が偽色色相と類似し、白とび画素からの距離が近いほど、大きな値の偽色度を算出し、
    注目画素と白とび画素とが、スキャンラインに沿った平行な位置にあるほど大きな値の方向別ゲインを算出し、
    注目画素の偽色度が高く、方向別ゲインが高いほど、大きな値の彩度削減率を算出する構成であり、
    前記画素彩度削減処理部は、
    前記補正パラメータ算出部の算出した彩度削減率に基づいて各画素の彩度削減処理を実行する構成であることを特徴とする請求項に記載の画像処理装置。
  7. 前記偽色はパープルフリンジであり、
    前記紫度は、注目画素の色相とパープルフリンジの色相との類似性情報としての紫度であることを特徴とする請求項に記載の画像処理装置。
  8. 画像処理方法であり、
    処理画像の構成画素の補正パラメータとして、各画素に対応する彩度削減率を算出する補正パラメータ算出ステップと、
    前記彩度削減率を適用して、処理画像の構成画素の彩度削減処理を含む画素値補正処理を実行する補正処理ステップとを有し、
    前記補正処理ステップは、
    前記補正パラメータ算出ステップにおいて算出する彩度削減率に基づいて各画素の彩度削減処理を実行する画素彩度削減処理ステップと、
    前記画素彩度削減処理ステップにおいて彩度の削減された彩度削減画素の彩度と周囲参照画素の彩度との差分を縮小するように、前記彩度削減画素の彩度を補正する画素彩度補正処理ステップと、
    を有し、
    前記画素彩度補正処理ステップは、
    前記彩度削減画素の近傍にあり、かつ彩度削減画素と同一のスキャンラインに沿った画素を参照画素として選択し、該選択された参照画素の彩度と、前記彩度削減画素の彩度との差分を縮小するように、前記彩度削減画素の彩度補正処理を実行するステップであることを特徴とする画像処理方法。
  9. 前記補正処理ステップは、さらに、
    画素彩度補正処理ステップの出力データに対して、彩度削減処理を施した画素と周囲画素の色相の差分を減少させるぼかし処理を実行するぼかし処理ステップを有することを特徴とする請求項に記載の画像処理方法。
  10. 前記画素彩度補正処理ステップは、
    前記彩度削減画素の近傍にあり、かつ彩度削減画素と同一のスキャンラインに沿った画素を参照画素として選択し、参照画素中、最も彩度の高い画素の彩度に前記彩度削減画素の彩度を近づける処理を実行することを特徴とする請求項に記載の画像処理方法。
  11. 前記画素彩度補正処理ステップは、
    前記彩度削減画素の近傍にあり、かつ彩度削減画素と同一のスキャンラインに沿った画素を参照画素中、最も彩度の高い画素の彩度が、前記彩度削減画素の彩度削減前の彩度以下である場合、前記彩度削減画素の彩度を前記彩度削減画素の彩度削減前の彩度に近づける処理を実行することを特徴とする請求項に記載の画像処理方法。
  12. 前記補正パラメータ算出ステップは、
    処理画像から選択された注目画素についての、
    (a)注目画素の色相と偽色の色相との類似性情報としての紫度と、
    (b)注目画素の白とび画素からの距離情報と、
    を算出し、
    (c)前記紫度および距離情報とに基づいて算出される偽色度と、
    (d)注目画素の白とび画素からの方向情報に基づいて算出される方向別ゲインと、
    を算出し、前記偽色度と前記方向別ゲインとに基づいて、注目画素に対応する彩度削減率を算出するステップであることを特徴とする請求項8乃至11いずれかに記載の画像処理方法。
  13. 前記補正パラメータ算出ステップは、
    注目画素の色相が偽色色相と類似し、白とび画素からの距離が近いほど、大きな値の偽色度を算出し、
    注目画素と白とび画素とが、スキャンラインに沿った平行な位置にあるほど大きな値の方向別ゲインを算出し、
    注目画素の偽色度が高く、方向別ゲインが高いほど、大きな値の彩度削減率を算出する構成であり、
    前記画素彩度削減処理ステップは、
    前記補正パラメータ算出ステップにおいて算出した彩度削減率に基づいて各画素の彩度削減処理を実行することを特徴とする請求項12に記載の画像処理方法。
  14. 前記偽色はパープルフリンジであり、
    前記紫度は、注目画素の色相とパープルフリンジの色相との類似性情報としての紫度であることを特徴とする請求項12に記載の画像処理方法。
  15. 画像処理をコンピュータ上で実行させるコンピュータ・プログラムであり、
    処理画像の構成画素の補正パラメータとして、各画素に対応する彩度削減率を算出する補正パラメータ算出ステップと、
    前記彩度削減率を適用して、処理画像の構成画素の彩度削減処理を含む画素値補正処理を実行する補正処理ステップとを有し、
    前記補正処理ステップは、
    前記補正パラメータ算出ステップにおいて算出する彩度削減率に基づいて各画素の彩度削減処理を実行する画素彩度削減処理ステップと、
    前記画素彩度削減処理ステップにおいて彩度の削減された彩度削減画素の彩度と周囲参照画素の彩度との差分を縮小するように、前記彩度削減画素の彩度を補正する画素彩度補正処理ステップと、
    を有し、
    前記画素彩度補正処理ステップは、
    前記彩度削減画素の近傍にあり、かつ彩度削減画素と同一のスキャンラインに沿った画素を参照画素として選択し、該選択された参照画素の彩度と、前記彩度削減画素の彩度との差分を縮小するように、前記彩度削減画素の彩度補正処理を実行するステップであることを特徴とするコンピュータ・プログラム。
JP2004323592A 2004-11-08 2004-11-08 画像処理装置、および画像処理方法、並びにコンピュータ・プログラム Expired - Fee Related JP4770154B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2004323592A JP4770154B2 (ja) 2004-11-08 2004-11-08 画像処理装置、および画像処理方法、並びにコンピュータ・プログラム
US11/264,130 US7529405B2 (en) 2004-11-08 2005-11-02 Image processing apparatus and image processing method as well as computer program
KR1020050105620A KR101263888B1 (ko) 2004-11-08 2005-11-04 화상처리장치 및 화상처리방법과 컴퓨터·프로그램
CNB2005101175998A CN100380915C (zh) 2004-11-08 2005-11-08 图像处理装置及图像处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004323592A JP4770154B2 (ja) 2004-11-08 2004-11-08 画像処理装置、および画像処理方法、並びにコンピュータ・プログラム

Publications (3)

Publication Number Publication Date
JP2006135745A JP2006135745A (ja) 2006-05-25
JP2006135745A5 JP2006135745A5 (ja) 2007-12-13
JP4770154B2 true JP4770154B2 (ja) 2011-09-14

Family

ID=36315993

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004323592A Expired - Fee Related JP4770154B2 (ja) 2004-11-08 2004-11-08 画像処理装置、および画像処理方法、並びにコンピュータ・プログラム

Country Status (4)

Country Link
US (1) US7529405B2 (ja)
JP (1) JP4770154B2 (ja)
KR (1) KR101263888B1 (ja)
CN (1) CN100380915C (ja)

Families Citing this family (55)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3631169B2 (ja) * 2001-06-19 2005-03-23 三洋電機株式会社 ディジタルカメラ
US7609882B2 (en) * 2005-05-25 2009-10-27 Himax Technologies Limited Image compression and decompression method capable of encoding and decoding pixel data based on a color conversion method
JP4487902B2 (ja) * 2005-11-09 2010-06-23 ソニー株式会社 画像処理装置および方法、並びにプログラム
US20070126892A1 (en) * 2005-11-30 2007-06-07 Haike Guan Correcting an image captured through a lens
JP4529888B2 (ja) * 2005-12-07 2010-08-25 ブラザー工業株式会社 画像処理装置、画像処理方法及び画像処理プログラム
US7577292B2 (en) 2005-12-30 2009-08-18 Microsoft Corporation Automatic removal of purple fringing from images
US20070285434A1 (en) * 2006-06-12 2007-12-13 Hung-Shih Lin Hue adjustor and method for adjusting hues for specific colors in an image
JP4923987B2 (ja) * 2006-11-30 2012-04-25 株式会社ニコン 画像の色を補正する画像処理装置、および画像処理プログラム
JP5020615B2 (ja) * 2006-12-08 2012-09-05 キヤノン株式会社 画像処理装置及び撮像装置及び画像処理方法及びプログラム
US8144984B2 (en) 2006-12-08 2012-03-27 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and program for color fringing estimation and compensation
JP5018052B2 (ja) * 2006-12-08 2012-09-05 株式会社ニコン 画像の色を補正する画像処理装置、および画像処理プログラム
JP4963598B2 (ja) * 2006-12-08 2012-06-27 キヤノン株式会社 画像処理装置及び撮像装置及び画像処理方法及びプログラム
US8055070B2 (en) * 2007-01-05 2011-11-08 Geo Semiconductor Inc. Color and geometry distortion correction system and method
US8442316B2 (en) 2007-01-05 2013-05-14 Geo Semiconductor Inc. System and method for improving color and brightness uniformity of backlit LCD displays
KR100866490B1 (ko) * 2007-01-17 2008-11-03 삼성전자주식회사 영상의 색 수차를 보정하기 위한 장치 및 방법
JP4932504B2 (ja) * 2007-01-18 2012-05-16 富士フイルム株式会社 画像処理方法、装置及びプログラム並びに撮像装置
JP4992698B2 (ja) * 2007-12-17 2012-08-08 ソニー株式会社 色収差補正装置、撮像装置、色収差算出方法および色収差算出プログラム
TWI479878B (zh) * 2007-12-26 2015-04-01 Altek Corp Correction of pseudo - color pixels in digital image
CN101478687B (zh) * 2008-01-04 2010-12-08 华晶科技股份有限公司 对数字图像中伪色像素的校正方法
JP5200645B2 (ja) * 2008-04-24 2013-06-05 株式会社ニコン 画像処理装置、撮像装置、画像処理方法およびプログラム
US20090324071A1 (en) 2008-06-30 2009-12-31 Shengqi Yang Color enhancement for graphic images
JP5183453B2 (ja) * 2008-12-17 2013-04-17 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
US8644640B2 (en) * 2009-05-27 2014-02-04 Microsoft Corporation Purple fringing artifact reduction within a digital image with guidance from a green channel
JP5523141B2 (ja) * 2009-05-28 2014-06-18 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
US8520969B2 (en) * 2009-08-25 2013-08-27 Stmicroelectronics S.R.L. Digital image processing apparatus and method
JP5326943B2 (ja) * 2009-08-31 2013-10-30 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
BRPI1014549A2 (pt) 2010-03-25 2016-04-05 Fujifilm Corp método e aparelho de processamento de imagem, programa de processamento de imagem e meio de armazenamento deste programa
JP5324508B2 (ja) 2010-03-26 2013-10-23 富士フイルム株式会社 画像処理装置および方法,ならびに画像処理プログラム
US8553978B2 (en) 2010-11-03 2013-10-08 Csr Technology Inc. System and method for providing multi resolution purple fringing detection and correction
ITVI20110052A1 (it) 2011-03-15 2012-09-16 St Microelectronics Srl Riduzione del rumore cromatico di immagini nel dominio bayer
ITVI20110243A1 (it) 2011-09-09 2013-03-10 Stmicroelectronics Grenoble 2 Riduzione di rumore croma di una immagine
JP2013101484A (ja) * 2011-11-08 2013-05-23 Sony Corp 画像処理装置と画像処理方法およびプログラム
US9137519B1 (en) * 2012-01-04 2015-09-15 Google Inc. Generation of a stereo video from a mono video
JP2015007739A (ja) * 2012-10-01 2015-01-15 キヤノン株式会社 表示装置及びその制御方法
US9401012B2 (en) * 2012-10-18 2016-07-26 Athentech Technologies Inc. Method for correcting purple distortion in digital images and a computing device employing same
US9098911B2 (en) 2012-11-01 2015-08-04 Google Inc. Depth map generation from a monoscopic image based on combined depth cues
CN103973997B (zh) * 2013-02-05 2017-09-26 浙江大华技术股份有限公司 一种图像处理方法及装置
KR102209067B1 (ko) * 2013-04-05 2021-01-28 삼성전자주식회사 필터링과 관련하여 비디오의 부호화 및 복호화를 수행하는 방법과 그 장치
CN104135630A (zh) * 2013-05-03 2014-11-05 联咏科技股份有限公司 全区域空间影像细节控制方法
JP2015018051A (ja) 2013-07-10 2015-01-29 キヤノン株式会社 画像投射装置および画像表示システム
JP6408884B2 (ja) * 2014-11-28 2018-10-17 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
CN105430231B (zh) * 2015-11-24 2018-09-04 努比亚技术有限公司 图像处理装置和方法
CN106657946B (zh) * 2017-01-12 2019-03-01 深圳岚锋创视网络科技有限公司 图像紫边消除系统和方法
US10268692B2 (en) 2017-02-15 2019-04-23 Sap Se Multi-procedure support in data migration
US10789220B2 (en) 2017-03-28 2020-09-29 Sap Se Management of database API schema
CN108881670B (zh) * 2017-05-15 2020-07-10 瑞昱半导体股份有限公司 影像处理方法及影像处理装置
JP7051365B2 (ja) * 2017-10-17 2022-04-11 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
US11232126B2 (en) 2018-11-21 2022-01-25 Sap Se Zero downtime upgrade of systems with database-side replication
US10853693B2 (en) 2018-12-04 2020-12-01 Sap Se Software logistic for learning applications
WO2020117378A1 (en) * 2018-12-05 2020-06-11 Gopro, Inc. Color fringing processing independent of tone mapping
US10891217B2 (en) 2018-12-10 2021-01-12 Sap Se Optimizing test coverage based on actual use
US11121943B2 (en) 2018-12-13 2021-09-14 Sap Se Amplifying scaling elasticity of microservice meshes
US10642609B1 (en) 2018-12-13 2020-05-05 Sap Se Integrating preview systems for early validation and maintenance in development-to-production landscapes provisioned by continuous delivery
US10700949B1 (en) 2018-12-13 2020-06-30 Sap Se Stacking of tentant-aware services
CN113784101A (zh) * 2021-09-26 2021-12-10 三星半导体(中国)研究开发有限公司 紫边校正方法和紫边校正装置

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11175699A (ja) * 1997-12-12 1999-07-02 Fuji Photo Film Co Ltd 画像処理装置
JP4040171B2 (ja) * 1998-04-24 2008-01-30 キヤノン株式会社 信号処理装置
JP3825932B2 (ja) * 1999-02-19 2006-09-27 キヤノン株式会社 画像処理装置、方法及びコンピュータ読み取り可能な記憶媒体
JP3939466B2 (ja) * 1999-07-21 2007-07-04 富士フイルム株式会社 画像処理装置、方法及び記録媒体
JP2001245307A (ja) * 2000-03-01 2001-09-07 Matsushita Electric Ind Co Ltd 撮像装置
JP2002010286A (ja) * 2000-06-26 2002-01-11 Canon Inc 信号処理装置、信号処理方法、及び撮像装置
JP3617455B2 (ja) * 2001-01-10 2005-02-02 ミノルタ株式会社 画像処理装置、画像処理方法および記録媒体
JP4035688B2 (ja) * 2001-02-28 2008-01-23 セイコーエプソン株式会社 偽色除去装置、偽色除去プログラム、偽色除去方法およびデジタルカメラ
JP2003060983A (ja) 2001-08-10 2003-02-28 Olympus Optical Co Ltd 撮像装置
JP3965556B2 (ja) * 2002-02-01 2007-08-29 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
JP2003235051A (ja) * 2002-02-07 2003-08-22 Matsushita Electric Ind Co Ltd 固体撮像装置および信号処理方法
JP3914168B2 (ja) * 2003-04-08 2007-05-16 オリンパス株式会社 撮像システム、画像処理プログラム
US7200279B1 (en) * 2003-09-11 2007-04-03 Magnachip Semiconductor, Inc. Method and system for image chroma suppression
JP4539278B2 (ja) * 2004-10-13 2010-09-08 ソニー株式会社 画像処理装置、および画像処理方法、並びにコンピュータ・プログラム
JP4539280B2 (ja) * 2004-10-19 2010-09-08 ソニー株式会社 画像処理装置、および画像処理方法、並びにコンピュータ・プログラム
JP4539299B2 (ja) * 2004-11-08 2010-09-08 ソニー株式会社 画像処理装置、および画像処理方法、並びにコンピュータ・プログラム

Also Published As

Publication number Publication date
KR101263888B1 (ko) 2013-05-13
CN1774031A (zh) 2006-05-17
CN100380915C (zh) 2008-04-09
US20060098253A1 (en) 2006-05-11
JP2006135745A (ja) 2006-05-25
KR20060052484A (ko) 2006-05-19
US7529405B2 (en) 2009-05-05

Similar Documents

Publication Publication Date Title
JP4770154B2 (ja) 画像処理装置、および画像処理方法、並びにコンピュータ・プログラム
KR101128549B1 (ko) 화상 처리 장치 및 화상 처리 방법과 컴퓨터 프로그램을 기록한 컴퓨터 판독 가능 기록 매체
US9392241B2 (en) Image processing apparatus and image processing method
KR101388130B1 (ko) 화상처리장치 및 화상처리방법
KR101352440B1 (ko) 화상처리장치, 화상처리방법, 및 기록매체
JP5672796B2 (ja) 画像処理装置、画像処理方法
JP2004088149A (ja) 撮像システムおよび画像処理プログラム
CN105960658B (zh) 图像处理装置、摄像装置、图像处理方法以及可通过计算机处理的非暂时性的存储介质
JP2015186247A (ja) 画像処理装置及びその制御方法、並びに、プログラム
JP2012165204A (ja) 信号処理装置、信号処理方法、撮像装置及び撮像処理方法
JP4539278B2 (ja) 画像処理装置、および画像処理方法、並びにコンピュータ・プログラム
JP2009284009A (ja) 画像処理装置、撮像装置及び画像処理方法
JP4539299B2 (ja) 画像処理装置、および画像処理方法、並びにコンピュータ・プログラム
CN109672810B (zh) 图像处理设备、图像处理方法和存储介质
JP6143575B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
JP2006157599A (ja) 撮像装置
JP2010068465A (ja) 画像処理装置、撮像装置及び画像処理方法
JP6631161B2 (ja) 画像処理装置、撮像装置、制御プログラム
JP2019004281A (ja) 画像処理装置
JP4960597B2 (ja) ホワイトバランス補正装置及び方法、及び撮像装置
JP2009022044A (ja) 画像処理装置及び画像処理プログラム
JP2012160852A (ja) 画像合成装置、撮像装置、画像合成方法、および、画像合成プログラム
JP6627422B2 (ja) 画像処理装置、撮像装置、制御プログラム
JP2012134671A (ja) 画像処理装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20071029

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20071029

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100122

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100216

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100414

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110301

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110425

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110524

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110606

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140701

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140701

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees