JP5113171B2 - イメージ情報にフィルタをかけるための適応空間イメージフィルタ - Google Patents

イメージ情報にフィルタをかけるための適応空間イメージフィルタ Download PDF

Info

Publication number
JP5113171B2
JP5113171B2 JP2009523909A JP2009523909A JP5113171B2 JP 5113171 B2 JP5113171 B2 JP 5113171B2 JP 2009523909 A JP2009523909 A JP 2009523909A JP 2009523909 A JP2009523909 A JP 2009523909A JP 5113171 B2 JP5113171 B2 JP 5113171B2
Authority
JP
Japan
Prior art keywords
filter
image information
sharpening
horizontal
vertical
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2009523909A
Other languages
English (en)
Other versions
JP2010500659A (ja
Inventor
ジャング、シャオユン
チウ、チンチュアン・アンドリュー
リウ、デニス
チャン、ビクター・エイチ.
ジョン、シン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of JP2010500659A publication Critical patent/JP2010500659A/ja
Application granted granted Critical
Publication of JP5113171B2 publication Critical patent/JP5113171B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/142Edging; Contouring
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/73Deblurring; Sharpening
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40Picture signal circuits
    • H04N1/409Edge or detail enhancement; Noise or error suppression
    • H04N1/4092Edge or detail enhancement
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/20Circuitry for controlling amplitude response
    • H04N5/205Circuitry for controlling amplitude response for correcting amplitude versus frequency characteristic
    • H04N5/208Circuitry for controlling amplitude response for correcting amplitude versus frequency characteristic for compensating for attenuation of high frequency components, e.g. crispening, aperture distortion correction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/21Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20004Adaptive image processing
    • G06T2207/20012Locally adaptive

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Studio Devices (AREA)

Description

本開示は、イメージキャプチャデバイス(image capture device)に関し、より詳細にはイメージキャプチャデバイス内のイメージ情報のフィルタリング(filtering)に関する。
背景
デジタルスチルフォトカメラ(digital still photo camera)などのイメージキャプチャデバイスによって取り込まれるイメージ情報は、イメージセンサ(image sensor)の物理的限界の結果としての雑音と、照明源からの干渉などの影響を受けやすい。例えば、モバイルワイヤレス通信デバイスなどの多目的モバイルデバイスにおける、より小型のイメージキャプチャデバイスについての要求が増大すると共に、よりコンパクトなイメージセンサモジュール(image sensor module)が必要になってきている。イメージセンサモジュールのサイズの減少は、イメージ情報内に取り込まれる雑音の量におけるかなりの増大をもたらす。
イメージ情報フィルタリングは、雑音を除去し、または雑音を低減するために、そしてレンダリングされたイメージの品質を改善するために使用される一般的なプロセスである。取り込まれたイメージ情報に対するローパスフィルタリング(low pass filtering)の適用は、イメージの中の雑音の量を低減させるが、高周波数信号を含む鮮鋭な(sharp)エッジを破壊することによりイメージをぼかす傾向もある。取り込まれたイメージデータに対するハイパスフィルタリング(high pass filtering)の適用は、鮮鋭なエッジおよびコントラストを強調するが、同様に必然的に雑音も強調してしまう。
本開示は、ビデオイメージやスチルイメージ(still image)などの取り込まれたイメージ情報の品質を改善する適応フィルタリング技法(adaptive filtering techniques)について説明する。例えば、多目的モバイルデバイス内のイメージキャプチャデバイスは、そのようなデバイスによって取り込まれる(captured)イメージの品質を改善する適応フィルタリング技法を使用することができる。本開示は、取り込まれたイメージ情報に関連する現在の露光レベル(current exposure level)と現在のスケーリングレベル(current scaling level)とに適応する適応フィルタリング技法について、説明する。
イメージキャプチャデバイスは、イメージ情報を取り込むイメージセンサ(image sensor)と、本開示において説明される適応フィルタリング技法に従ってイメージ情報の品質を改善する適応空間イメージフィルタ(adaptive spatial image filter)と、を含むことができる。
適応空間イメージフィルタは、イメージセンサによって取り込まれるイメージ情報の現在の露光指数レベル(current exposure index level)と、現在のスケーリングファクタレベル(current scaling factor level)と、に基づいて調整される1組のパラメータ値、を使用する。
適応空間イメージフィルタは、水平鮮鋭化フィルタ(horizontal sharpening filter)と垂直鮮鋭化フィルタ(vertical sharpening filter)の両方を含んでおり、それは、取り込まれたイメージ情報の少なくとも1つのチャネルに対してこれらの鮮鋭化フィルタを適用する。水平鮮鋭化フィルタと垂直鮮鋭化フィルタのうちのおのおのは、ローパスコンポーネント(low pass component)と、ハイパスコンポーネント(high pass component)と、を備えることができ、これらのコンポーネントのうちのおのおのは、鮮鋭化フィルタの適用からもたらされる暗くされたエッジのまわりのハロー効果(halo effects)あるいは残留白色アウトライン(residual white outlines)を低減させるために構成可能とすることができる。
適応空間イメージフィルタは、水平にかつ垂直に鮮鋭化されたイメージ情報を、クランプすること(clamping)および調整することにより、水平および垂直の鮮鋭化フィルタからの出力を、さらに洗練する(refine)ことができる。取り込まれたイメージ情報に対する適応空間イメージフィルタを適用することの結果として、イメージ情報は、雑音および他のイメージの異常が、かなり低減されるように洗練されることができる。
一実施形態においては、本開示は、イメージ情報の現在の露光レベル、および現在のスケーリングレベルに基づいて、1つまたは複数のパラメータ値を決定することと、パラメータ値に基づいて水平鮮鋭化フィルタを構成することと、パラメータ値に基づいて垂直鮮鋭化フィルタを構成することと、フィルタがかけられたイメージ情報を生成するために、イメージ情報の少なくとも1つのチャネルに対して水平鮮鋭化フィルタと垂直鮮鋭化フィルタとを適用することと、を備える方法を提供している。
別の実施形態においては、本開示は、イメージ情報を取り込むイメージセンサと、水平鮮鋭化フィルタおよび垂直鮮鋭化フィルタを含む適応空間イメージフィルタと、を備えるデバイスを提供しており、なおここで。適応空間イメージフィルタは、イメージ情報の現在の露光レベルおよび現在のスケーリングレベル、に基づいている1つまたは複数のパラメータ値に基づいて、水平鮮鋭化フィルタと垂直鮮鋭化フィルタとを構成し、そして、フィルタがかけられたイメージ情報を生成するためにイメージ情報の少なくとも1つのチャネルに対して水平鮮鋭化フィルタおよび垂直鮮鋭化フィルタを適用する。
本開示において説明される技法は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組合せの形でインプリメントされることができる。ソフトウェアの形でインプリメントされる場合、ソフトウェアは、デジタル信号プロセッサ(digital signal processor)(DSP)などのプロセッサの中で実行されることができる。本技法を実行するソフトウェアは、最初にコンピュータ可読媒体に記憶され、プロセッサにロードされ、その中で実行されることができる。したがって、本開示はまた、適応フィルタリング技法を実行する命令を備えているコンピュータ可読媒体も意図する。
本開示の1つまたは複数の実施形態についての詳細は、下記に添付図面と説明の中で述べられる。本開示の他の特徴、目的、および利点は、説明および図面から、そして特許請求の範囲から明らかであろう。
図1は、イメージ情報を取り込むための例示のイメージキャプチャデバイスを示すブロック図である。 図2は、さらに詳細に図1のイメージキャプチャデバイスを示すブロック図である。 図3は、イメージ情報の現在の露光レベルとスケーリングレベルとに基づいてイメージ情報にフィルタをかける際における、適応空間イメージフィルタの例示のオペレーションを示す流れ図である。 図4Aは、線形補間を経由して複数のパラメータ値を決定する際における、図2のイメージセンサの例示のオペレーションを示すグラフである。 図4Bは、線形補間を経由して複数のパラメータ値を決定する際における図2のイメージセンサの例示のオペレーションを示すグラフである。 図5Aは、鮮鋭化するための、1つの次元におけるハイパスフィルタについての係数を示すグラフである。 図5Bは、平滑化するための、別の次元におけるローパスフィルタについての係数を示すグラフである。 図6Aは、例示のイメージ情報を示すイメージである。 図6Bは、フィルタがかけられたイメージ情報を示すイメージである。 図7は、図2の垂直鮮鋭化フィルタまたは水平鮮鋭化フィルタのいずれかについてのパラメータセットを示すグラフである。 図8Aは、例示のイメージ情報を示すイメージである。 図8Bは、フィルタがかけられたイメージ情報を示すイメージである。
詳細な説明
図1は、イメージ情報を取り込むための例示のイメージキャプチャデバイス10を示すブロック図である。図1に示されるように、イメージキャプチャデバイス10は、イメージセンサ12と、適応空間イメージフィルタ14と、イメージプロセッサ(image processor)16と、イメージストレージデバイス(image storage device)18と、を含む。図1に示される機能は、ハードウェアコンポーネントおよび/またはソフトウェアコンポーネントの適切な任意の組合せによって実現されることができる。異なる機能のユニットとしての描写は、イメージキャプチャデバイス10の異なる機能の様相をハイライトするように意図され、必ずしもそのようなユニットが、別々のハードウェアコンポーネントおよび/またはソフトウェアコンポーネントによって実現される必要があることを意味するものとは限らない。もっと正確に言えば、1つまたは複数のユニットに関連する機能は、共通のハードウェアコンポーネントおよび/またはソフトウェアコンポーネント内に一体化されることができる。
例示の一実施形態においては、適応空間フィルタ14は、イメージセンサ12によって取得されるイメージ情報に関連するピクセル値に適用される5掛ける5(5×5)の空間フィルタに基づいたものとすることができる。5×5の空間フィルタは、1つの次元におけるハイパスフィルタと、別の次元におけるローパスフィルタと、を提供する。適応空間フィルタ14のこの設計は、効率性を提供し、レンズおよびセンサの品質に起因して小型のカメラによって取得されるイメージの場合に一般的である、エッジが少し雑音の多いときでさえ、明瞭なきれいな鮮鋭化効果を作成することができる。適応空間フィルタ14は、調整可能な雑音低減制御と、水平および垂直な鮮鋭化度制御と、最大鮮鋭化効果制御とを提供することができる。さらに、適応空間フィルタの効率は、照明光強度と、イメージサイズと、スケーリングファクタに応じて制御されることができる。特に、適応空間フィルタ14は、イメージセンサ12によって取得されるイメージ情報についての現在の露光レベルと現在のスケーリングレベルに適応することができる。
適応空間フィルタ14は、雑音を低減させ、エッジを鮮鋭化する助けをするので、それは、イメージセンサ12によって取得されるイメージについてのポスト処理(post-processing)として提供されることができる。いくつかの実施形態においては、適応空間フィルタ14は、イメージ圧縮の前の輝度(Y)チャネルだけに適用されることができる。フィルタパラメータは、イメージセンサ12によって取り込まれるイメージの状態に基づいて実行時に生成されることができる。フィルタパラメータは、適応空間フィルタ14に送信され、この適応空間フィルタは、Yチャネルを処理し、そして空間フィルタがかけられたY信号をイメージプロセッサ16に対して出力する。フィルタYチャネルは、例えば、JPEG圧縮を使用して、元のCbCrチャネルと共に圧縮されることができる。異なる適応空間フィルタパラメータは、現在の露光レベルや現在のスケーリングレベルなどの異なる状態に応じて作成されることができる。現在の露光レベルは、照明状態を指し示し、現在のスケーリングレベルは、イメージのアップサイズまたはダウンサイズの比、すなわち、ズームファクタを指し示す。適応空間フィルタパラメータは、一般に平滑化度と、鮮鋭化度と、雑音レベルと、最大鮮鋭化レベルとを含む。
イメージキャプチャデバイス10は、デジタルビデオカメラ(digital video camera)などのデジタルカメラ、デジタルスチルイメージカメラ(digital still image camera)、または両方の組合せとすることができる。イメージキャプチャデバイス10は、スタンドアロンカメラ(stand-alone camera)などのスタンドアロンデバイスとすることもでき、あるいはワイヤレス通信デバイスなど、別の多目的デバイスの形で一体化されることもできる。一例として、イメージキャプチャデバイス10は、いわゆるカメラ電話またはビデオ電話を形成するようにモバイル電話の形で一体化されることができる。イメージキャプチャデバイス10は、カラー画像(color imagery)、白黒画像(black-and-white imagery)、あるいは両方を取り込むように装備されることが好ましい。本開示においては、用語、「イメージ」、「画像」、「イメージ情報」、または類似した用語は、交換可能なようにビデオまたはスチルピクチャ(still picture)を意味することができる。
イメージセンサ12は、対象となっているシーン(scene)についてのイメージ情報を獲得する。イメージセンサ12は、例えば行と列との形に配列された個々のイメージセンサ要素の2次元アレイを含むことができる。イメージセンサ12のイメージセンサ要素のおのおのは、単一ピクセルに関連づけられることができる。換言すれば、イメージセンサ要素とピクセルとの間には1対1の対応が存在する。しかしながら、いくつかの実施形態においては、各ピクセルに関連する複数のイメージセンサ要素が存在する可能性がある。イメージセンサ12は、例えば、相補型金属酸化膜半導体(complementary metal-oxide semiconductor)(CMOS)センサ、電荷結合デバイス(charge coupled device)(CCD)センサなどのソリッドステートセンサ(solid state sensor)のアレイを備えることができる。
イメージセンサ12は、対象となっているシーンのカラーコンポーネントを分離するようにメージセンサ要素をカバーするカラーフィルタの二次元アレイを含むこともできる。イメージセンサ12は、例えば、ベイヤパターン(Bayer pattern)、すなわち交互になった赤色カラーフィルタおよび緑色カラーフィルタの行と、交互になった青色カラーフィルタおよび緑色カラーフィルタの行を交互にしたカラーフィルタの反復配列、の形で配列された赤色、緑色、および青色のフィルタのアレイを備えることができる。イメージセンサ12は、シアン、マゼンタ、黄色、および黒色(CMYK)のカラーフィルタなど、他のカラーフィルタを利用することもできる。さらに、イメージセンサ12は、カラーフィルタをベイヤパターン以外のパターンに配列することもできる。
イメージセンサ12内のイメージセンサ要素は、イメージ情報を取り込むためにイメージシーン(image scene)に対して露光される(exposed)。センサ12のイメージセンサ要素のおのおのは、例えば、特定のピクセル位置におけるシーンの光の強度を表す強度値(intensity value)を取り込むことができる。センサ12のイメージセンサのおのおのは、センサをカバーするカラーフィルタに起因して1色のカラーまたはカラー帯域だけに対して感度が高いようにすることができる。それ故に、センサアレイ12のイメージセンサのおのおのは、3色のカラーのうちの1つについてのみイメージ情報(例えば、強度値)を取り込むことができる。
一般的に、イメージセンサ12はまた、輝度(luminance)、青色(chromatic blue)、赤色(chromatic red)(YCbCr)のカラー空間へと、取り込まれたカラーフィルタがかけられたイメージ情報を変換するハードウェア、ソフトウェア、または両方を経由したアルゴリズムも使用する。イメージセンサ12は、さらに、取り込まれたイメージ情報の現在の露光レベルとスケーリングレベルとに基づいて複数のパラメータを決定することができる。露光レベルは、イメージセンサ12が、イメージが取り込まれるときに露光される照明強度(illumination intensity)の量を指し示す露光指数値(exposure index value)として表されることができる。スケーリングレベルは、スケーリングファクタとして表されることができ、このスケーリングファクタは、イメージセンサ12によって取得されるイメージのアップスケーリング(upscaling)またはダウンスケーリング(downscaling)の量、例えばズームファクタ(zoom factor)を指し示す。
適応空間イメージフィルタ14は、イメージセンサ12によって取り込まれるイメージ情報にフィルタをかける。特に、適応空間イメージフィルタ14は、イメージセンサ12によって取り込まれるイメージ情報のうちの少なくとも1つのチャネル、すなわち、Yチャネル、Cbチャネル、またはCrチャネルのうちの1つまたは複数にフィルタをかける。適応空間イメージフィルタ14は、イメージセンサ12によって指定される1つまたは複数のパラメータに基づいて「適応する」、すなわち、それ自体を構成することができる。例示のパラメータは、平滑化度(smoothing degree)(p)と、水平鮮鋭化度(horizontal sharpening degree)(k)と、垂直鮮鋭化度(vertical sharpening degree)(k)と、鮮鋭化減算しきい値(sharpening subtraction threshold)(e)と、最大正鮮鋭化限界(maximum positive sharpening limit)(e)と、最大負鮮鋭化限界(maximum negative sharpening limit)(e)と、を含む。水平鮮鋭化フィルタ(horizontal sharpening filter)および垂直鮮鋭化フィルタ(vertical sharpening filter)は、フィルタ関数FおよびFによって表される。
ひとたび構成された後に、適応空間イメージフィルタ14は、まず、平滑化されたイメージ情報を生成するために、YCbCr符号化されたイメージ情報のうちのYチャネル、すなわち、輝度チャネルに対して平滑化フィルタ(smoothing filter)を適用することができる。いくつかの実施形態においては、平滑化フィルタは、3掛ける3(3×3)の平滑化フィルタとすることができる。適応イメージフィルタ14はまた、水平鮮鋭化されたイメージ情報を生成するために、平滑化されたイメージ情報のうちのYチャネルに対して水平鮮鋭化フィルタを適用することもできる。さらに、適応イメージフィルタ14は、垂直鮮鋭化されたイメージ情報を生成するために、平滑化されたイメージ情報のうちのYチャネルに対して垂直鮮鋭化フィルタを適用することもできる。いくつかの実施形態においては、水平鮮鋭化フィルタと垂直鮮鋭化フィルタとの適用は、同時に生ずることができ、そして他の実施形態においては、これらのフィルタの適用は、逐次的に生ずることができる。
適応イメージフィルタ14は、水平鮮鋭化されたイメージ情報と、垂直鮮鋭化されたイメージ情報との両方から鮮鋭化減算しきい値(e)を差し引くことはもちろん、最大正鮮鋭化限界および最大負鮮鋭化限界(e、e)に応じて水平鮮鋭化されたイメージ情報と、垂直鮮鋭化されたイメージ情報とをクランプする(clamp)ことができる。クランプを行い、そして差し引いた後に、適応空間イメージフィルタ14は、フィルタがかけられたイメージ情報を生成するために、平滑化されたイメージ情報と、水平鮮鋭化されたイメージ情報と、垂直鮮鋭化されたイメージ情報と、を加算することができる。このようにして、適応イメージフィルタ14は、下記にもっと詳細に説明されるように、同時に雑音を平滑化して取り除き、イメージを強調することができる。取り込まれたイメージ情報に対して適応空間イメージフィルタを適用する結果として、たとえ適応空間イメージフィルタが、さらに従来は、イメージをゆがめる役割を果たすことになっていた平滑化フィルタと鮮鋭化フィルタの両方を適用するとしても、イメージ情報は、雑音および他のイメージの異常が、かなり低減されるように洗練されることができる。
イメージプロセッサ16は、適応イメージフィルタ14からフィルタがかけられたイメージ情報を受け取り、フィルタがかけられたイメージ情報に対して必要な処理を実行する。イメージプロセッサ16は、例えば、イメージセンサ12によって取り込まれるイメージ情報についてのクロッピング(cropping)、圧縮、イメージ強調、あるいは他の処理を実行することができる。イメージプロセッサ16、ならびに適応空間イメージフィルタ14は、1つまたは複数のマイクロプロセッサ、デジタル信号プロセッサ(DSP)、特定用途向け集積回路(application specification integrated circuit)(ASIC)、フィールドプログラマブルゲートアレイ(field programmable gate array)(FPGA)、または他の等価な任意の個別の、または集積化された論理回路によって実現されることができる。いくつかの実施形態においては、適応空間イメージフィルタ14と、イメージプロセッサ16とは、MPEG−2、MPEG−4、ITU H.263、ITU H.264、JPEG、GIF、TIFFなど、特定の符号化の技法またはフォーマットに応じてイメージ情報を符号化するエンコーダ−デコーダ(CODEC)の一部分を形成することができる。
イメージプロセッサ16は、フィルタがかけられたイメージ情報をイメージストレージデバイス18に記憶する。イメージプロセッサ16は、生のイメージ情報、処理されたイメージ情報、または符号化された情報をイメージストレージデバイス18に記憶することができる。イメージ情報がオーディオ情報によって伴われる場合、オーディオはまた、独立に、あるいはビデオ情報と一緒のいずれかでイメージストレージデバイス18に記憶されることができる。イメージストレージデバイス18は、読取り専用メモリ(read only memory)(ROM)、電気的消去可能プログラマブル読取り専用メモリ(electrically erasable programmable read only memory)(EEPROM)、フラッシュメモリ(FLASH memory)など、あるいは磁気データストレージデバイスや光データストレージデバイスなど、揮発性または不揮発性の任意のメモリまたはストレージデバイスを備えることができる。
図2は、イメージキャプチャデバイス10をさらに詳細に示すブロック図である。上記に説明されるように、イメージキャプチャデバイス10は、適応空間イメージフィルタ14を含んでおり、この適応空間イメージフィルタは、イメージセンサ12からのYCbCr符号化されたイメージ情報のうちのYチャネルに対してイメージ処理オペレーションを実行する。図2に示されるように、適応空間イメージフィルタ14は、平滑化フィルタ20と、水平鮮鋭化フィルタ22Aと、垂直鮮鋭化フィルタ22Bと、クランプ(clamps)24A、24B(「クランプ24」)と、減算器26A、26B(「減算器26」)と、加算ユニット28とを含む。異なる機能のユニットとしての描写は、適応イメージフィルタ14の異なる機能の様相をハイライトするように意図され、必ずしもそのようなユニットが、別々のハードウェアコンポーネントおよび/またはソフトウェアコンポーネントによって実現される必要があることを意味するものとは限らない。もっと正確に言えば、1つまたは複数のユニットに関連する機能は、共通のハードウェアコンポーネントおよび/またはソフトウェアコンポーネントの中に一体化されることができる。
上記に説明されるように、イメージセンサ12は、取り込まれたイメージ情報30Aの現在の露光レベルおよびスケーリングレベルに基づいて複数のパラメータ値19を決定する。それ故に、図2の例においては、イメージセンサ12は、パラメータ値19を決定する適切なハードウェアコンポーネントおよび/またはソフトウェアコンポーネントを含んでいる。代わりに、パラメータ値19の決定は、イメージセンサ12の外側の異なるハードウェアまたはソフトウェアのユニットの中で実行されることができる。イメージセンサ12内のパラメータ値19の決定は、例示の目的のために説明されることになる。
イメージセンサ12は、図4Aおよび4Bの中のチャートに示される曲線などの曲線に応じて線形補間(linear interpolation)を実行することができる。それらの曲線によって表される補間値(interpolation values)は、例えば、ルックアップテーブル(lookup table)(LUT)に記憶され、関数から導き出され、あるいは他の方法で提示されることができる。線形補間を実行する際に、イメージセンサ12は、図4Aのチャートに応じて現在の露光レベルに基づいてパラメータ値19を補間することができる。イメージセンサ12は、取り込まれたイメージ情報30Aの特性に基づいて現在の露光レベルを計算する。この現在の露光レベルから、イメージセンサ12は、おのおのが複数の静的パラメータ値(static parameter values)を定義する露光レベルに応じて現在の露光レベルを分類する(classifies)。
静的パラメータ値は、パラメータ値の補間のための開始データポイントとしての役割を果たす1組のあらかじめ決定されたパラメータ値を意味する。追加のパラメータ値は、補間を使用して静的パラメータ値の間で決定されることができる。イメージセンサ12はまた、露光指数と分類との間の差も決定する。これらの差を使用して、イメージセンサ12は、差の決定に基づいて分類の複数の静的パラメータ値からパラメータ値19を補間する。
イメージセンサ12はまた、図4Bのチャートに応じてイメージ情報30Aのスケーリングファクタに基づいてパラメータ値19を補間することもできる。イメージセンサ12は、おのおのが複数の静的パラメータ値を定義するスケーリングファクタレベルに応じて、イメージ情報30Aのスケーリングファクタを分類する。イメージセンサ12は、スケーリングファクタと分類との間の差を決定する。差を決定した後、イメージセンサ12は、差の決定に基づいて分類の複数の静的パラメータ値からパラメータ値19を補間する。線形補間は、例えば、図4Aおよび4Bのチャートに示される曲線に類似した曲線に応じて、任意の順序で実行されることができ、そして後続の線形補間は、先行する線形補間から決定されるパラメータ値19を修正することができる。パラメータ値19は、平滑化度と、水平鮮鋭化度と、垂直鮮鋭化度と、最大正鮮鋭化限界と、最大負鮮鋭化限界と、を含むことができる。
イメージセンサ12は、フィルタの特性をイメージ情報に適応する際に使用するために、補間されたパラメータ値19を適応空間イメージフィルタ14に対して出力する。補間されたパラメータ値19を受け取るとすぐに、適応空間イメージフィルタ14は、平滑化フィルタ20と、水平鮮鋭化フィルタ22Aと、垂直鮮鋭化フィルタ22Bと、クランプ24と、減算器26との内部の関連するパラメータをイメージセンサ12から受け取られるパラメータ値19によって定義される対応する値に設定することにより、適応する、すなわちそれ自体を構成する。この場合にも、パラメータ値19は、イメージキャプチャデバイス10内のイメージセンサ12または他の何らかのコンポーネントによって決定されることができる。適応空間イメージフィルタ14は、パラメータ値19に含まれる関連する平滑化度(p)パラメータ値を用いて平滑化度(p)パラメータを設定する。平滑化度(p)は、平滑化度のパーセンテージとして表されることができる。p=0%であるときに、フィルタは、平滑化効果のないIフィルタである。p=100%であるときには、フィルタは、与えられたフィルタ、例えば、3×3のフィルタによって達成可能な最大の平滑化効果を有する平均的なフィルタである。
適応空間イメージフィルタ14はまた、イメージセンサ12から受け取られるパラメータ値19に応じて、それぞれ水平鮮鋭化フィルタ22Aおよび垂直鮮鋭化フィルタ22Bの水平鮮鋭化度(k)パラメータおよび垂直鮮鋭化度(k)パラメータも設定する。さらに、適応空間イメージフィルタ14は、パラメータ値19のうちの関連する鮮鋭化減算しきい値(e)パラメータ値と、最大正鮮鋭化限界(e)パラメータ値と、最大負鮮鋭化限界(e)パラメータ値とを用いて、減算器26の鮮鋭化減算しきい値(e)パラメータと、クランプ24の最大正鮮鋭化限界(e)パラメータと、最大負鮮鋭化限界(e)パラメータと、を設定する。いくつかの実施形態においては、設計者は、適応空間フィルタ14をインプリメントするように、水平鮮鋭化フィルタ(F)22Aと、垂直鮮鋭化フィルタ(F)22Bとの下記に説明される行列を構成することができる。
一般的に、取り込まれたイメージ情報30Aを平滑化フィルタ20に対して出力することに先立って、イメージセンサ12は、取り込まれたイメージ情報30AをYCbCrカラー空間へと変換する。それ故に、イメージ情報30Aは、YCbCrカラー空間のうちの3つのチャネルの形で、すなわちYチャネル、Cbチャネル、およびCrチャネルの形で構成されるイメージ情報を備えることができる。イメージ情報30Aを受け取るとすぐに、そして現在の露光指数およびスケーリングファクタに適応した後に、平滑化フィルタ20は、イメージ情報30Aのうちの少なくとも1つのチャネルにフィルタをかける。特に、平滑化フィルタ20は、Yチャネルの雑音感受性を低下させるように、イメージ情報30AのうちのYチャネルにフィルタをかけることができる。一例として、平滑化フィルタ20は、次の式(1)によって記述されるフィルタを備えることができる。
Figure 0005113171
smoothingは、平滑化フィルタ20についての表記である。式(1)の中のp変数は、平滑化度(p)パラメータを指し示し、適応空間イメージフィルタ14は、コンフィギュレーション中にこの平滑化度パラメータを設定する。ひとたび設定された後に、適応空間イメージフィルタ14は、式(1)を単一の空間フィルタへと分解することができる。pが100に設定される場合、上記で指摘されるように、結果として生ずる空間平滑化フィルタ20は、3×3の平均的なフィルタを、すなわち、1/9によって乗算された1の3つの行×1の3つの列を指定するフィルタを備える。pが0に設定される場合、結果として生ずる平滑化フィルタ20は、平滑化効果のないIフィルタを、すなわち、中心位置に単一の1を有する3×3のフィルタを備える。特に、pの値とは無関係に、平滑化フィルタ20の結果として生ずる係数は、合計して1になり、この特性は、イメージ情報30Aの輝度の保存を保証する。
適応空間イメージフィルタ14は、従来のピクセルごとのプロセスにおいて下記に説明される平滑化フィルタ20と、すべての他のフィルタとを適用することができる。プロセスは、一般に、平滑化フィルタ20の左上の係数が、イメージ情報30Aの最も上の最も左の部分の上部に位置するように、イメージ情報30Aの左上隅に対して平滑化フィルタ20などのフィルタを適用することにより開始される。適応空間イメージフィルタ14は、基礎になるイメージ情報30Aにより、平滑化フィルタ20の各係数の値を乗算し、そして平滑化された情報30Bの一部分を生成するために、各乗算の結果を合計する。適応空間イメージフィルタ14は、次に1ピクセル相当量のイメージ情報30Aにわたって平滑化フィルタ20を右に移動させ、上記の乗算演算および加算演算を反復する。イメージ情報30Aの最も右のピクセルに到達するとすぐに、適応空間イメージフィルタ20は、平滑化フィルタ20をイメージ情報30Aの1ピクセル下に移動させ、そしてイメージ情報30Aのすべての行および列が、平滑化されたイメージ情報30Bへと変換されるまで、再び乗算プロセスおよび加算プロセスを反復する。
平滑化されたイメージ情報30Bを生成した後に、適応空間イメージフィルタ14は、水平鮮鋭化されたイメージ情報30Cと、垂直鮮鋭化されたイメージ情報30Dをそれぞれ生成するために、逐次的に、あるいは同時に水平鮮鋭化フィルタ22Aと、垂直鮮鋭化フィルタ22Bとを適用する。いくつかの実施形態においては、水平鮮鋭化フィルタおよび垂直鮮鋭化フィルタは、第1および第2の5掛ける5(5×5)のエッジ鮮鋭化フィルタによって実現されることができる。例示の水平鮮鋭化フィルタ22Aは、例えば、次の行列式(2)によって説明されることができる。
Figure 0005113171
行列式(2)において、Fsharpen_Hは、水平鮮鋭化フィルタ22Aについての表記である。同一の行係数、例えば、[−1、−1、−1、−1、−1]により式(2)に示されるように、水平鮮鋭化フィルタ22Aは、ローパスコンポーネントを備える。さらに、変化する列係数、すなわち、[−1、−2、6、−2、−1]により式(2)に示されるように、水平鮮鋭化フィルタ22Aは、ハイパスコンポーネントも備える。
例示の垂直鮮鋭化フィルタ22Bは、次の行列式(3)によって説明されることができる。
Figure 0005113171
行列式(3)において、Fsharpen_Vは、垂直鮮鋭化フィルタ22Bについての表記である。同一の列係数、例えば、[−1、−1、−1、−1、−1]により式(3)に示されるように、垂直鮮鋭化フィルタ22Bは、ローパスコンポーネントを備える。さらに、変化する行係数、すなわち、[−1、−2、6、−2、−1]により式(3)に示されるように、垂直鮮鋭化フィルタ22Bは、ハイパスコンポーネントも備える。特に、水平鮮鋭化フィルタ22Aと、垂直鮮鋭化フィルタ22Bの両方の係数は、合計して0になり、但し一方向だけであり、これは、識別されたエッジに沿ってイメージを暗くする。それ故に、フィルタ22A、22Bは、それぞれ水平方向および垂直方向にエッジに沿ってイメージを暗くすることにより、エッジを強調し、すなわち、イメージを鮮鋭化する。フィルタ22A、22Bは、システム要件に応じて独立にプログラマブルであるとすることができる。例えば、固定小数点ハードウェアインプリメンテーションをよりよく適合させるために、いくつかの実施形態においては、パラメータセット(parameter set)は、[−1、−3、8、−3、−1]に変更されることができる。2つのフィルタ(2)および(3)は、おのおの、それらが一方の次元において、ハイパスフィルタ(high pass filter)(HPF)であり、他方の次元においてローパスフィルタ(low pass filter)(LPF)であるような空間特性を有することができる。
水平鮮鋭化フィルタ22Aおよび垂直鮮鋭化フィルタ22Bを適用し、そして水平鮮鋭化されたイメージ情報30C、および垂直鮮鋭化されたイメージ情報30Dを出力した後に、適応空間イメージフィルタ14は、水平鮮鋭化されたイメージ情報30Cに対してクランプ24Aおよび減算器26Aを、そして垂直鮮鋭化されたイメージ情報30Dに対してクランプ24Bおよび減算器26Bを適用する。水平鮮鋭化されたイメージ情報30Cに対するクランプ24Aおよび減算器26Aの適用は、次の式(4)により説明されることができる。
Figure 0005113171
変数S’は、クランピングの後の減算器26Aの出力を意味し、この出力は、イメージ変更された水平鮮鋭化されたイメージ情報30Eにより図2に示される。変数Sは、水平鮮鋭化されたイメージ情報30Cを意味する。変数eは、コンフィギュレーション中に適応空間イメージフィルタ14によって設定される減算器26A内の鮮鋭化減算しきい値(e)パラメータを意味する。変数eとeとは、コンフィギュレーション中に適応空間イメージフィルタ14によって設定されるクランプ24A内の最大正鮮鋭化限界(e)パラメータと、最大負鮮鋭化限界(e)パラメータと、を意味する。ほぼ式(4)と同様な式は、S’、すなわち変更された垂直鮮鋭化されたイメージ情報30Fを定義するために存在し、例証を容易にするために、それは、ここにおいて明示的に定義されてはいない。S’についてのS’への、そしてSについてのSへの、すなわち垂直鮮鋭化されたイメージ情報30Dへの置換は、式(5)において、例えば、次のようなS’についての式をもたらすことになる。
Figure 0005113171
ひとたび、イメージ情報が、式(4)および(5)に応じてクランプされ、差し引かれた後に、適応空間イメージフィルタ14は、加算ユニット28を経由して平滑化されたイメージ情報30Aと、変更された水平鮮鋭化されたイメージ情報30Eと、変更された垂直鮮鋭化されたイメージ情報30Fと、を加算する。加算ユニット28は、次の重み付けされた加算式(6)をインプリメントすることができる。
Figure 0005113171
I’は、フィルタイメージ情報を生成するために適応空間イメージフィルタ14を適用することの結果を意味し、このフィルタイメージ情報は、フィルタがかけられたイメージ情報30Gにより図2に示される。Iは、平滑化されたイメージ情報30Bを意味する。S’とS’とは、上記に説明されるように、変更された水平イメージ情報30Eと、垂直イメージ情報30Fとを意味する。可変なkは、水平鮮鋭化フィルタ22A内に存在することができ、適応空間イメージフィルタ14が、コンフィギュレーション中に設定する水平鮮鋭化度パラメータを意味する。可変なkは、垂直鮮鋭化フィルタ22B内に存在することができ、適応空間イメージフィルタ14が、やはりコンフィギュレーション中に設定する垂直鮮鋭化度(k)パラメータを意味する。平滑化されたイメージ情報Iと、水平鮮鋭化されたイメージ情報k*S’と、垂直鮮鋭化されたイメージ情報k*S’とは、結果として生ずるフィルタがかけられたイメージ情報I’を生成する。
ひとたび、加算ユニット28が、フィルタがかけられたイメージ情報30Gを生成した後に、加算ユニットは、その結果をイメージプロセッサ16に対して出力し、このイメージプロセッサは、上記に説明された処理を実行することができる。一般的に、イメージキャプチャデバイス10が、カメラ電話またはビデオ電話を備える実施形態において、イメージプロセッサ16は、フィルタがかけられたイメージ情報30GをJPEGフォーマットへと変換することができる。ひとたび変換された後に、イメージプロセッサ16は、やはり上記に説明されるようにフィルタがかけられたイメージ情報30Gをイメージストレージデバイス18に記憶することができる。要約すれば、上記プロセスを経由して、適応空間イメージフィルタ14は、フィルタがかけられたイメージ情報30Gを生成するためにイメージ情報30Aの現在のイメージ露光レベルとスケーリングファクタレベルとに応じて、適応するようにイメージ情報30Aを平滑化し、鮮鋭化する。
図3は、イメージ情報30Aの現在の露光レベルとスケーリングレベルとに基づいてイメージ情報30Aにフィルタをかける際における図2の適応空間イメージフィルタ14の例示のオペレーションを示す流れ図である。いくつかのインスタンスにおいては、設計者は、鮮鋭化幅の程度に関連するハロー効果を低減させるために、下記に説明される方法で水平鮮鋭化フィルタ22Aと、垂直鮮鋭化フィルタ22Bとを構成することができる。一般的に、設計者は、イメージキャプチャデバイス10の設計フェーズ中にこのコンフィギュレーションを実行する。しかしながら、フィルタ22A、22Bは、任意のときに構成されることができ、いくつかの実施形態においては、イメージキャプチャデバイス10のアクティブなオペレーション中に構成されることができる。
最初に、図3の例において、イメージセンサ12は、イメージ情報30Aを取り込み(captures)、そしてイメージ情報30AをYCbCrカラー空間へと変換する(32)。イメージ情報30Aに関連した複数のパラメータ値19は、例えば、イメージセンサ12によって決定される(34)。イメージセンサ12は、パラメータ値を生成するために図4A、4Bのグラフに応じて線形補間を適用することができる(34)。この例において、イメージセンサ12は、イメージ情報30Aと、パラメータ値19とを適応空間イメージフィルタ14に対して出力する。適応イメージフィルタ14は、上記に説明されるように、パラメータ値19に基づいて、それ自体を構成し、すなわち適応する(36)。例えば、適応空間イメージフィルタ14は、平滑化フィルタ20についての平滑化度(p)パラメータと、水平鮮鋭化フィルタ22Aについての水平鮮鋭化度(k)パラメータと、垂直鮮鋭化フィルタ22Bについての垂直鮮鋭化度(k)パラメータと、減算器26についての鮮鋭化減算しきい値(e)と、クランプ24についての最大正鮮鋭化限界および最大負鮮鋭化限界(e、e)パラメータと、を設定することができる。適応空間イメージフィルタ14についての様々なパラメータ値は、イメージセンサ12によって供給される関連するパラメータ値19に対応する。
ひとたび構成された後に、適応空間イメージフィルタ14は、まずイメージ情報30Aの少なくとも1つのチャネルに対して平滑化フィルタ20を適用することができる(38)。平滑化フィルタ20は、例えば、イメージ情報30AのYチャネルから平滑化されたイメージ情報30Bを生成するために上記の式(1)に応じて動作することができる。水平鮮鋭化フィルタ22Aと、垂直鮮鋭化フィルタ22Bとの両方は、次に、それぞれの水平鮮鋭化されたイメージ情報30Cと、垂直鮮鋭化されたイメージ情報30Dとを生成するために、平滑化されたイメージ情報30BのYチャネルにフィルタをかけることができる(40、42)。例えば、水平鮮鋭化フィルタ22Aと、垂直鮮鋭化フィルタ22Bとは、それぞれ上記の式(2)と(3)とに応じて動作することができる。
水平鮮鋭化されたイメージ情報30Cと、垂直鮮鋭化されたイメージ情報30Dとを生成するとすぐに、適応空間イメージフィルタ14は、さらに、クランプ24を経由して水平鮮鋭化されたイメージ情報30Cと、垂直鮮鋭化されたイメージ情報30Dとの両方をクランプすることができる(44、46)。適応空間イメージフィルタ14は、オーバー鮮鋭化(over sharpening)を回避するためにクランプ24を使用し、このオーバー鮮鋭化は、望ましくないビジュアルアーティファクト(visual artifact)を引き起こす可能性がある。クランプした後に、適応空間イメージフィルタ14は、水平鮮鋭化されたイメージ情報30Cと、垂直鮮鋭化されたイメージ情報30Dとをクランプすることの結果に対して減算器26を適用し、それによって雑音が鮮鋭化されていないことを保証する(48、50)。例えば、クランプ24と減算器26との組合せは、式(4)と(5)とに応じて動作することができ、これらの式は、最大正鮮鋭化限界(e)と最大負鮮鋭化限界(e)とのうちのいずれかまたは両方に対する最初の比較に応じて一連のオペレーションを指定する。減算器26の出力は、変更された水平鮮鋭化されたイメージ情報30Eと、垂直鮮鋭化されたイメージ情報30Fと、を備える。
加算ユニット28は、変更された水平鮮鋭化されたイメージ情報30Eと、垂直鮮鋭化されたイメージ情報30Fと、を受け取り、そしてフィルタがかけられたイメージ情報30Gを生成するために(52)、平滑化されたイメージ情報30Bと、これらを加算する(52)。イメージプロセッサ16は、フィルタがかけられたイメージ情報30Gに対するイメージ処理を実行し、次いでフィルタがかけられたイメージ情報30Gをイメージストレージデバイス18に記憶することができる(54)。水平鮮鋭化フィルタ22Aと、垂直鮮鋭化フィルタ22Bとによる同時の水平フィルタリングと垂直フィルタリングとを暗示するように上記に説明されるが、適応空間イメージフィルタ14は、一方が、別のものの前に適用されるように逐次的に水平鮮鋭化フィルタ22Aと垂直鮮鋭化フィルタ22Bとのうちのおのおのを適用することができる。
図4A、4Bは、線形補間を経由して複数のパラメータ値19を決定する際における図2のイメージセンサ12の例示のオペレーションを示すグラフである。図4Aは、イメージ情報30Aの現在の露光指数(exposure index)(EI)に基づいて複数のパラメータ値19の線形補間を目に見えるように定義するグラフ56を示している。図4Bは、イメージ情報30Aのスケーリングファクタ(scaling factor)(SF)に基づいて複数のパラメータ値19の線形補間を目に見えるように定義するグラフ64を示している。
露光指数は、高輝度光(bright light)照明状態(illuminant condition)と、通常輝度光(normal light)照明状態と、低輝度光(low light)照明状態とを示すことができる。一般に、現在の露光レベルが、高輝度光領域と、通常輝度光領域との間の第1の露光境界以下である場合、そのときには高輝度光領域に関連するパラメータが適用されることになる。現在の露光レベルが、ほぼ第2の露光境界にある場合、そのときには通常輝度光領域についてのパラメータが、適用される。現在の露光レベルが、第2の露光境界よりも大きい場合、そのときには低輝度光領域についてのパラメータが、適用される。
第1の露光境界と、第2の露光境界との間の状態では、ハードな境界を有する代わりに、補間が、変換をスムーズに行うために使用されることができる。例えば、現在の露光値が、第1の露光境界と、第2の露光境界との間にある場合、パラメータは、例えば、境界に関連する露光値に対する露光値に比例して、高輝度光領域についてのパラメータ値の組と、通常輝度光領域についてのパラメータ値の組との間で線形に補間されることができる。
同様に、現在の露光値が、第2の露光境界よりも大きい場合、そのときにはパラメータは、通常輝度光領域についてのパラメータ値の組と、低輝度光領域についてのパラメータ値の組との間で線形に補間されることができる。現在の露光指数が、最大露光レベルに到達するとき、そのときには低輝度光領域についての値の組が、適用されることができる。
図4Aを参照すると、グラフ56は、x−軸58Aと、y−軸58Bと、を含み、ここでx−軸58Aは、増大する鮮鋭化度kを定義し、y−軸58Bは、増大する露光指数値を定義している。x−軸58Aは、水平鮮鋭化度(k)と、垂直鮮鋭化度(k)とのうちのいずれかまたは両方を定義することができる。グラフ56は、静的露光指数レベル60A〜60C(「露光指数レベル60」)も含み、ここで静的露光指数レベル60のおのおのは、複数の静的パラメータ値に関連している。グラフ56は、静的露光指数レベル60に基づいて線形補間関数のビジュアル表現を定義する線62をさらに含んでいる。
線62は、水平鮮鋭化度kを計算するために使用される次の式(7)によって表されることができる。
Figure 0005113171
変数kは、水平鮮鋭化度パラメータを表し、この水平鮮鋭化度パラメータは、上記の式(6)において使用される。Kstatic_H_1と、Kstatic_H_2と、Kstatic_H_3とは、静的な現在の露光指数レベル60、すなわちEIと、EIと、EIとのうちのおのおのに関連するあらかじめ定義された静的な値を表す。EIcurrentは、イメージセンサ12によって測定されるようなイメージ情報30Aの現在の露光指数を表す。式(7)を見ると、EIcurrentが、EIよりも小さい場合、そのときには水平鮮鋭化度、kは、Kstatic_H_1に等しく、これは、使用可能な最大水平鮮鋭化度を定義する。EIcurrentが、EIよりも小さいが、EI以上である場合、kは、EIcurrentによって乗ぜられた((Kstatic_H_1−Kstatic_H_2)/(EI−EI))により定義されるスロープに等しい。しかしながら、EIcurrentが、EIよりも小さいが、EI以上である場合、kは、EIcurrentによって乗ぜられた((Kstatic_H_2−Kstatic_H_3)/(EI−EI))により定義されるスロープに等しい。最後に、EIcurrentが、EI以上である場合、kは、ゼロ、または最低の可能な鮮鋭化度に等しい。ほぼ同様な式(8)が、例えば次のように垂直鮮鋭化度kを定義するために定義されることができる。
Figure 0005113171
イメージ情報30Aを取り込んだ後に、イメージセンサ12は、それぞれの式(7)および(8)に応じて、水平鮮鋭化度パラメータkおよび垂直鮮鋭化度パラメータkについて値を決定することができる。この線形補間を通して、イメージセンサ12は、現在の露光指数を静的露光指数レベルと比較することにより現在の露光指数を分類することができる。イメージセンサ12は、次に現在の露光指数とその分類との間の差を決定し、鮮鋭化度を決定するために現在の露光指数を補間することができる。それ故に、適応空間イメージフィルタ14は、イメージ情報30Aの現在の露光指数に適応することができる。
適応空間フィルタパラメータは、適用可能なイメージスケーリングファクタに応じて調整されることもできる。イメージがスケールダウンされるときに、ダウンスケーリング処理それ自体が、イメージ鮮鋭度を増大させ、雑音を低減させる傾向があるので、鮮鋭化度は、低減させられるべきである。この場合にも、線形補間は、図4Bに示されるように異なるスケーリングファクタについてのパラメータ値を生成するために、ハードな境界の代わりに使用されることができる。ダウンスケーリングファクタが、1以下である場合、鮮鋭化度は、元のイメージの鮮鋭化度として保持されることができる。ダウンスケーリングファクタが増大するときに、鮮鋭化度は、それに応じて低減させられる。ダウンスケーリングファクタが、ある限界まで、例えば元のイメージサイズに応じて4または8まで増大するときには、それらのイメージに適用される鮮鋭化は、存在しない。ソフト補間を通して、鮮鋭化効果は、徐々に、そして滑らかに調整されることができる。
図4Bを参照すると、グラフ64は、x−軸66Aと、y−軸66Bとを含み、ここでx−軸66Aは、増大する鮮鋭化度kを定義し、y−軸66Bは、増大するスケーリングファクタ値を定義している。x−軸66Aは、水平鮮鋭化度(k)と、垂直鮮鋭化度(k)とのうちのいずれかまたは両方を定義することができる。グラフ64は、静的スケーリングファクタ68A〜68C(「静的スケーリングファクタ68」)も含み、ここで静的スケーリングファクタ68のおのおのは、複数の静的パラメータ値に関連している。グラフ64は、線70をさらに含み、この線は、静的スケーリングファクタ68に基づいて線形補間関数のビジュアル表現を定義している。
線70は、水平鮮鋭化度kを計算するために使用される次の式(9)によって表されることができる。
Figure 0005113171
変数kは、水平鮮鋭化度パラメータを表し、この水平鮮鋭化度パラメータは、上記の式(6)において使用される。Kstatic_H_1と、Kstatic_H_2と、Kstatic_H_3とは、静的なスケーリングファクタ68、すなわちSFと、SFと、SFとのうちのおのおのに関連するあらかじめ定義された静的な値を表す。SFcurrentは、イメージセンサ12によって定義されるようなイメージ情報30Aの現在のスケーリングファクタを表す。式(9)を見ると、SFcurrentが、SFよりも小さい場合、そのときには水平鮮鋭化度kは、Kstatic_H_1に等しく、これは、使用可能な最大水平鮮鋭化度を定義する。SFcurrentが、SFよりも小さいが、SF以上である場合、kは、SFcurrentによって乗ぜられた((Kstatic_H_1−Kstatic_H_2)/(SF−SF))により定義されるスロープに等しい。しかしながら、SFcurrentが、SFよりも小さいが、SF以上である場合、kは、SFcurrentによって乗ぜられた((Kstatic_H_2−Kstatic_H_3)/(SF−SF))により定義されるスロープに等しい。最後に、SFcurrentが、SF以上である場合、kは、ゼロ、または最低の可能な鮮鋭化度に等しい。ほぼ同様な式(10)が、例えば次のように垂直鮮鋭化度kを定義するために定義されることができる。
Figure 0005113171
イメージ情報30Aを取り込んだ後に、イメージセンサ12は、それぞれの式(9)および(10)に応じて、水平鮮鋭化度パラメータkおよび垂直鮮鋭化度パラメータkについて値を決定することができる。この線形補間を通して、イメージセンサ12は、現在のスケーリングファクタを静的スケーリングファクタ68と比較することにより現在のスケーリングファクタを分類することができる。イメージセンサ12は、次に現在のスケーリングファクタとその分類との間の差を決定し、鮮鋭化度を決定するために現在のスケーリングファクタを補間することができる。それ故に、適応空間イメージフィルタ14は、イメージ情報30Aの現在のスケーリングファクタに適応することができる。
図5Aは、鮮鋭化についての1つの次元におけるハイパスフィルタについての係数[−1、−2、6、−2、−1]を示すグラフである。図5Bは、平滑化についての別の次元におけるローパスフィルタについての係数[6、6、6、6、6]を示すグラフである。図5Aおよび5Bによって表される係数は、図2の水平鮮鋭化フィルタ22Aまたは垂直鮮鋭化フィルタ22Bのうちのいずれかに適用されることができる。図5Aは、ピクセルの範囲にわたって水平鮮鋭化フィルタ22Aについて、係数セットと、特にハイパスコンポーネントとを目に見えるように定義するグラフ72を示している。図5Aのグラフ72は、上記の行列(3)に対応する。図5Bは、ピクセルの範囲にわたって水平平滑化フィルタ22Aについて、係数セットと、特にローパスコンポーネントとを目に見えるように定義するグラフ78を示している。図5Bのグラフ78は、一般に上記の行列(2)に対応する。グラフ72と78の両方は、垂直鮮鋭化フィルタ22Bのそれぞれハイパスコンポーネントとローパスコンポーネントとを示すこともできる。しかしながら、例証を容易にするために、グラフ72、78は、ここにおいて水平鮮鋭化フィルタ22Aに関して説明される。
図5Aを参照すると、グラフ72は、x−軸74Aと、y−軸74Bとを含み、これらの軸は、それぞれ大きさと、ピクセル番号とを定義する。グラフ72の内部には、水平鮮鋭化フィルタ22Aのハイパスコンポーネントを定義する線76が位置する。ハイパスコンポーネントの線76は、各列に沿った行列の係数がピクセルの範囲にわたって大きさを指定する点で、上記に定義された例示の式(2)の行列に対応する。それ故に、その行列の第1の列は、ハイパスコンポーネントの線76のポイントに対応する[−1、−2、6、−2、−1]の列を定義する。線76によって示されるハイパスコンポーネントは、水平鮮鋭化フィルタ22Aが、水平線を鮮鋭化することを可能にする。
図5Bを参照すると、グラフ78は、x−軸80Aと、y−軸80Bとを含み、これらの軸は、それぞれ応答の大きさと、ピクセル番号とを定義する。グラフ78の内部には、水平鮮鋭化フィルタ22Aのローパスコンポーネントを定義する線82が位置する。ローパスコンポーネントの線74は、各行に沿った行列の係数がピクセルの範囲にわたって大きさを指定する点で、上記に定義された例示の式(2)の行列に対応する。それ故に、その行列の第3の行は、ローパスコンポーネントの線82のポイントに対応する[6、6、6、6、6]の行を定義する。線82によって示されるローパスコンポーネントは、水平鮮鋭化フィルタ22Aが、雑音を低減させ、そして鮮鋭化されたエッジがよりきれいに見えるようにすることを可能にする。
グラフ72と78の両方は、水平鮮鋭化フィルタ22Aのそれぞれハイパスコンポーネントとローパスコンポーネントとを反映し、この水平鮮鋭化フィルタは、イメージキャプチャデバイス10を動作させることに先立って設計者により、あるいはイメージキャプチャデバイス10の動作中にユーザにより、構成可能とすることができる。上記には静的であるものとして説明されているが、設計者および/またはユーザは、図6A、6Bを参照して下記に説明されるハロー効果について補正するために、式(2)と(3)とのうちのいずれかまたは両方の行列について異なる行列係数を指定することができる。例えば、より小さな鮮鋭化ファクタ、あるいは異なる周波数応答を有するハイパスフィルタ(HPF)を選択することによりハロー効果を低減させることが可能である。
図6Aおよび6Bは、それぞれ例示のイメージ情報84と、フィルタがかけられたイメージ情報86とを示すイメージである。図6Aに示されるイメージ情報84は、イメージセンサ12が、イメージ情報84を適応空間イメージフィルタ16に対して出力することができる点で、図2のイメージ情報30Aとほぼ類似したものとすることができる。フィルタがかけられたイメージ情報86は、フィルタがかけられたイメージ情報86が、イメージ情報86に対する適応空間イメージフィルタ14の適用からもたらされる点で、フィルタがかけられたイメージ情報30Gにほぼ類似したものとすることができる。フィルタがかけられたイメージ情報86は、ハロー効果88を含んでおり、このハロー効果は、適応空間イメージフィルタ14の適用からもたらされる。特に、ハロー効果88は、それぞれ水平鮮鋭化フィルタ22Aと、垂直鮮鋭化フィルタ22Bとの適用のために生ずる。フィルタ22A、22Bは、それぞれ水平鮮鋭化フィルタ(F)パラメータと、垂直鮮鋭化フィルタ(F)パラメータとを経由して構成されることができるので、ハロー効果88は、図7を参照して下記に説明されるように低減させられることができる。
図7は、図2の水平鮮鋭化フィルタ22Aまたは垂直鮮鋭化フィルタ22Bのうちのいずれかについてのパラメータを示すグラフである。図7は、例えば、ピクセルの範囲にわたって水平鮮鋭化フィルタ22Aについてのフィルタ係数と、特にローパスコンポーネントとを目に見えるように定義するグラフ90を示している。グラフ90は、x−軸92Aと、y−軸92Bとを含み、これらの軸は、それぞれ大きさと、ピクセル番号とを定義している。グラフ90内には、水平鮮鋭化フィルタ(F)パラメータを調整した後に水平鮮鋭化フィルタ22Aのローパスコンポーネントを定義する線94が、位置する。このインスタンスにおいては、水平鮮鋭化フィルタ22Aは、次の式(11)によって記述されることができる。
Figure 0005113171
ローパスコンポーネントの線94は、各行に沿った行列の係数が、ピクセルにわたって応答の大きさを指定する点で、上記に定義された例示の式(11)の行列に対応する。それ故に、その行列の第3の行は、ローパスコンポーネントの線94のポイントに対応する[3、5、6、3、5]の行を定義する。線94によって示されるローパスコンポーネントを構成することにより、水平鮮鋭化フィルタ22Aは、平滑化度を低減させることができ、それによってもしかすると図6Bのハロー効果88を低減させる。ハロー効果88の低減は、暗いエッジの周囲のあまり白くない空間をもたらす。ハロー効果88は、水平鮮鋭化フィルタ22Aのハイパスコンポーネントに沿って、応答のより小さな大きさ、すなわち、より小さな係数を通して低減させられることもできる。
図8A、8Bは、それぞれ例示のイメージ情報96と、フィルタがかけられたイメージ情報98とを示すイメージである。図8Aに示されるイメージ情報96は、イメージセンサ12が、イメージ情報96を適応空間イメージフィルタ16に対して出力することができる点で、図2のイメージ情報30Aとほぼ類似したものとすることができる。図8Bのフィルタがかけられたイメージ情報98は、フィルタがかけられたイメージ情報98が、イメージ情報96に対する適応空間イメージフィルタ14の適用からもたらされることができる点で、フィルタがかけられたイメージ情報30Gとほぼ類似したものとすることができる。特に、フィルタがかけられたイメージ情報98は、図6Bのハロー効果88と同様に、低減されたハロー効果を含んでいる。図7を参照して上記に説明される技法は、このインスタンスにおいて、顕著な任意のハロー効果を低減させるために適用されることができる。フィルタがかけられたイメージ情報98によって示されるように、フィルタがかけられたイメージ情報98によって表されるイメージは、より明るく、そして顕著によりきれいに見える。ここにおいて説明され、そしてフィルタがかけられたイメージ情報98によって示されるような技法の適用により、図1、2のイメージキャプチャデバイス10などのイメージキャプチャデバイスは、取り込まれたイメージ情報を顕著に鮮鋭化する、適応空間イメージフィルタ14などの適応空間イメージフィルタを適用することができるようになる可能性がある。適応空間イメージフィルタは、イメージセンサの固有の制限、照明源からの干渉などにもかかわらず、雑音を低減させ、そしてイメージ情報を鮮鋭化する方法で、平滑化と鮮鋭化との両方を適用する。
本開示において説明される技法は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組合せの形でインプリメントされることができる。特に、ここにおいて説明されるようなエンコーダまたはデコーダは、様々なハードウェアコンポーネントと、ソフトウェアコンポーネントと、ファームウェアコンポーネントとのうちの任意のものによって実現されることができる。例えば、本技法の様々な態様は、1つまたは複数のマイクロプロセッサ、デジタル信号プロセッサ(DSP)、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)、または他の等価な任意の集積化された、または個別の論理回路、ならびにそのようなコンポーネントの任意の組合せの内部にインプリメントされることができる。用語「プロセッサ」または「処理回路」は一般に、単独の、あるいは他の論理回路と一緒の、上記論理回路のうちの任意のもの、あるいは他の任意の等価回路を意味することができる。いくつかの実施形態において、ここにおいて説明される機能は、符号化し、復号するために構成された、あるいは組み合わされたビデオエンコーダ−デコーダ(CODEC)の形で組み込まれた専用のソフトウェアモジュールまたはハードウェアユニットの内部に提供されることができる。
ソフトウェアの形でインプリメントされるときに、本技法は、プロセッサによって実行されるときに、上記に説明される1つまたは複数のファンクションを実行するプログラムコード、または命令を備えるコンピュータ可読媒体によって部分的に実現されることができる。そのようなプログラムコードまたは命令を記憶するコンピュータ可読媒体は、シンクロナスダイナミックランダムアクセスメモリ(synchronous dynamic random access memory)(SDRAM)などのランダムアクセスメモリ(random access memory)(RAM)、読取り専用メモリ(ROM)、不揮発性ランダムアクセスメモリ(non-volatile random access memory)(NVRAM)、電気的消去可能プログラマブル読取り専用メモリ(EEPROM)、フラッシュメモリ、磁気または光のデータストレージ媒体、あるいはそのようなメモリまたはストレージ媒体の任意の組合せを備えることができる。
本開示の様々な実施形態が説明されてきた。これらおよび他の実施形態は、添付の特許請求の範囲の範囲内にある。
以下に他の実施形態を示す。
[1]イメージ情報の現在の露光レベルと現在のスケーリングレベルとに基づいて、1つまたは複数のパラメータ値を決定することと、
前記パラメータ値に基づいて水平鮮鋭化フィルタを構成することと、
前記パラメータ値に基づいて垂直鮮鋭化フィルタを構成することと、
フィルタがかけられたイメージ情報を生成するために前記イメージ情報の少なくとも1つのチャネルに対して前記の水平鮮鋭化フィルタおよび垂直鮮鋭化フィルタを適用することと、
を備える方法。
[2]前記現在の露光レベルは、イメージングデバイスが前記イメージ情報の獲得中に露光される照明強度、を指し示す露光指数値であり、前記現在のスケーリングレベルは、前記イメージ情報に適用されるアップスケーリングまたはダウンスケーリングの量を指し示す、[1]に記載の方法。
[3]前記1つまたは複数のパラメータ値を決定することは、
おのおのが1つまたは複数の静的パラメータ値に関連する複数の露光指数値に応じて露光レベルの範囲を分類することと、
前記現在の露光レベルと前記分類との間の、差を決定することと、
前記差の前記決定に基づいて前記分類の前記1つまたは複数の静的パラメータ値から前記1つまたは複数のパラメータ値を補間することと、
を含む、[1]に記載の方法。
[4]前記1つまたは複数のパラメータ値を決定することは、
おのおのが1つまたは複数の静的パラメータ値に関連する複数のスケーリングファクタ指数値に応じてスケーリングレベルの範囲を分類することと、
前記現在のスケーリングレベルと前記分類との間の、差を決定することと、
前記差の前記決定に基づいて前記分類の1つまたは複数の静的パラメータ値から前記1つまたは複数のパラメータ値を補間することと、
を含む、[1]に記載の方法。
[5]1つまたは複数のパラメータ値を決定することは、前記現在の露光レベルに対応する露光指数値に関連する静的パラメータ値と、前記現在のスケーリングレベルに対応するスケーリングファクタ指数値に関連する静的パラメータ値と、に基づいて前記1つまたは複数のパラメータ値を決定することを含む、[1]に記載の方法。
[6]前記パラメータ値に基づいて平滑化フィルタを構成することと、
前記の水平フィルタおよび垂直フィルタ適用することに先立って、平滑化されたイメージ情報を生成するために前記イメージ情報の前記少なくとも1つのチャネルに対して前記平滑化フィルタを適用することと、
をさらに備え、
前記の水平鮮鋭化フィルタおよび垂直鮮鋭化フィルタを適用することは、前記フィルタがかけられたイメージ情報を生成するために前記平滑化されたイメージ情報の少なくとも1つのチャネルに対して前記の水平鮮鋭化フィルタおよび垂直鮮鋭化フィルタを適用すること、を含む、[1]に記載の方法。
[7]前記パラメータ値は、平滑化度(p)パラメータ値と、水平鮮鋭化度(k )パラメータ値と、垂直鮮鋭化度(k )パラメータ値と、鮮鋭化減算しきい値(e )パラメータ値と、最大正鮮鋭化限界(e )パラメータ値と、最大負鮮鋭化限界(e )パラメータ値と、水平鮮鋭化フィルタ(F )パラメータ値と、垂直鮮鋭化フィルタ(F )パラメータ値と、のうちの1つまたは複数を含む、[6]に記載の方法。
[8]前記平滑化フィルタを構成することは、前記平滑化フィルタの前記平滑化度(p)を設定することを含み、
前記水平鮮鋭化フィルタを構成することは、前記水平鮮鋭化フィルタの前記水平鮮鋭化度(k )を設定することを含み、
前記垂直鮮鋭化フィルタを構成することは、前記垂直鮮鋭化フィルタの前記垂直鮮鋭化度(k )を設定することを含む、[7]に記載の方法。
[9]前記の水平鮮鋭化フィルタおよび垂直鮮鋭化フィルタを適用することは、
水平鮮鋭化されたイメージ情報を生成するために、前記平滑化されたイメージ情報の前記少なくとも1つのチャネルに対して前記水平鮮鋭化フィルタを適用することと、
垂直鮮鋭化されたイメージ情報を生成するために、前記平滑化されたイメージ情報の前記少なくとも1つのチャネルに対して前記垂直鮮鋭化フィルタを適用することと、
前記フィルタがかけられたイメージ情報を生成するために、前記平滑化されたイメージ情報と、前記水平鮮鋭化されたイメージ情報と、前記垂直鮮鋭化されたイメージ情報とを加算することと、
をさらに備える、[6]に記載の方法。
[10]前記の水平鮮鋭化フィルタおよび垂直鮮鋭化フィルタを適用することは、
前記パラメータ値内に含まれる最大正鮮鋭化限界(e )と最大負鮮鋭化限界(e )とに応じて、前記水平鮮鋭化されたイメージ情報をクランプすることと、
前記最大正鮮鋭化限界(e )と、前記最大負鮮鋭化限界(e )とに応じて前記垂直鮮鋭化されたイメージ情報をクランプすることと、
をさらに含む、[9]に記載の方法。
[11]前記の水平鮮鋭化フィルタおよび垂直鮮鋭化フィルタを適用することは、
前記複数のパラメータ値内に含まれる鮮鋭化減算しきい値(e )を前記水平鮮鋭化イメージ情報から差し引くことと、
前記鮮鋭化減算しきい値(e )を前記垂直鮮鋭化イメージ情報から差し引くことと、 をさらに含む、[9]に記載の方法。
[12]前記の水平鮮鋭化フィルタおよび垂直鮮鋭化フィルタを適用することは、前記イメージ情報の輝度(Y)チャネルに対して前記の水平鮮鋭化フィルタおよび垂直鮮鋭化フィルタを適用することを含み、前記イメージ情報は、YCrCbカラー空間に応じて前記イメージ情報を定義する、[1]に記載の方法。
[13]前記の水平鮮鋭化フィルタおよび垂直鮮鋭化フィルタを適用することは、前記フィルタがかけられたイメージ情報を生成するために、第1のハイパスコンポーネントと第1のローパスコンポーネントとを有する水平鮮鋭化フィルタと、第2のハイパスコンポーネントと第2のローパスコンポーネントとを有する垂直鮮鋭化フィルタと、を適用すること、を含む、[1]に記載の方法。
[14]前記水平鮮鋭化フィルタを構成することは、
前記複数のパラメータ値のうちの1つまたは複数を用いて水平鮮鋭化フィルタ(F )パラメータ値を設定することにより、ハロー効果を低減させるように前記水平鮮鋭化フィルタの前記第1のローパスコンポーネントを構成することと、
前記複数のパラメータ値のうちの1つまたは複数を用いて水平鮮鋭化フィルタ(F )パラメータ値を設定することにより、前記ハロー効果を低減させるように前記水平鮮鋭化フィルタの前記第1のハイパスコンポーネントを構成することと、
を含む、[13]に記載の方法。
[15]前記垂直鮮鋭化フィルタを構成することは、
前記複数のパラメータ値のうちの1つまたは複数を用いて垂直鮮鋭化フィルタ(F )パラメータを設定することにより、ハロー効果を低減させるように前記垂直鮮鋭化フィルタの前記第2のローパスコンポーネントを構成することと、
前記複数のパラメータ値のうちの1つまたは複数を用いて垂直鮮鋭化フィルタ(F )パラメータを設定することにより、前記ハロー効果を低減させるように前記垂直鮮鋭化フィルタの前記第2のハイパスコンポーネントを構成することと、
を含む、[13]に記載の方法。
[16]イメージ情報を取り込むイメージセンサと、
水平鮮鋭化フィルタおよび垂直鮮鋭化フィルタを含む適応空間イメージフィルタと、 を備え、
前記適応空間イメージフィルタは、前記イメージ情報の現在の露光レベルと現在のスケーリングレベルとに基づいている1つまたは複数のパラメータ値に基づいて、前記水平鮮鋭化フィルタと前記垂直鮮鋭化フィルタとを構成し、そして、フィルタがかけられたイメージ情報を生成するために前記イメージ情報の少なくとも1つのチャネルに対して前記の水平鮮鋭化フィルタおよび垂直鮮鋭化フィルタを適用する、
デバイス。
[17]前記現在の露光レベルは、イメージングデバイスが前記イメージ情報の獲得中に露光される照明強度、を指し示す露光指数値であり、前記現在のスケーリングレベルは、前記イメージ情報に適用されるアップスケーリングまたはダウンスケーリングの量を指し示す、[16]に記載のデバイス。
[18]前記イメージセンサは、
おのおのが複数の静的パラメータ値に関連する複数の露光指数レベルに応じて露光レベルの範囲を分類することと、
前記現在の露光レベルと、前記分類との間の差を決定することと、
前記差の前記決定に基づいて前記分類の前記1つまたは複数の静的パラメータ値から前記1つまたは複数のパラメータ値を補間することと、
により前記パラメータ値を決定する、[16]に記載のデバイス。
[19]前記イメージセンサは、
おのおのが1つまたは複数の静的パラメータ値に関連する複数のスケーリングファクタ指数値に応じてスケーリングレベルの範囲を分類することと、
前記現在のスケーリングレベルと、前記分類との間の差を決定することと、
前記差の前記決定に基づいて前記分類の前記1つまたは複数の静的パラメータ値から前記複数のパラメータ値を補間することと、
により前記パラメータ値を決定する、[16]に記載のデバイス。
[20]前記適応空間イメージフィルタは、平滑化フィルタをさらに含み、
前記適応空間イメージフィルタは、さらに、前記パラメータ値に基づいて前記平滑化フィルタを構成し、そして、前記の水平フィルタおよび垂直フィルタを適用することに先立って、平滑化されたイメージ情報を生成するために前記イメージ情報の前記少なくとも1つのチャネルに対して前記平滑化フィルタを適用し、
前記適応空間イメージフィルタは、前記フィルタがかけられたイメージ情報を生成するために、前記平滑化されたイメージ情報の少なくとも1つのチャネルに対して前記の水平鮮鋭化フィルタおよび垂直鮮鋭化フィルタを適用することにより、前記の水平鮮鋭化フィルタおよび垂直鮮鋭化フィルタを適用する、[16]に記載のデバイス。
[21]前記パラメータ値は、平滑化度(p)パラメータ値と、水平鮮鋭化度(k )パラメータ値と、垂直鮮鋭化度(k )パラメータ値と、鮮鋭化減算しきい値(e )パラメータ値と、最大正鮮鋭化限界(e )パラメータ値と、最大負鮮鋭化限界(e )パラメータ値と、水平鮮鋭化フィルタ(F )パラメータ値と、垂直鮮鋭化フィルタ(F )パラメータ値と、のうちの1つまたは複数を含む、[20]に記載のデバイス。
[22]前記適応空間イメージフィルタは、前記平滑化フィルタの前記平滑化度(p)を設定し、前記水平鮮鋭化フィルタの前記水平鮮鋭化度(k )を設定し、そして前記垂直鮮鋭化フィルタの前記垂直鮮鋭化度(k )を設定する、[21]に記載のデバイス。
[23]前記適応空間イメージフィルタは、
水平鮮鋭化されたイメージ情報を生成するために、前記平滑化されたイメージ情報の前記少なくとも1つのチャネルに対して前記水平鮮鋭化フィルタを適用し、
垂直鮮鋭化されたイメージ情報を生成するために、前記平滑化されたイメージ情報の前記少なくとも1つのチャネルに対して前記垂直鮮鋭化フィルタを適用し、
前記フィルタがかけられたイメージ情報を生成するために、前記平滑化されたイメージ情報と、前記水平鮮鋭化されたイメージ情報と、前記垂直鮮鋭化されたイメージ情報と、を加算する、[21]に記載のデバイス。
[24]前記適応空間イメージフィルタは、
前記複数のパラメータ値内に含まれる最大正鮮鋭化限界(e )と、最大負鮮鋭化限界(e )と、に応じて前記水平鮮鋭化されたイメージ情報をクランプし、
前記最大正鮮鋭化限界(e )と、前記最大負鮮鋭化限界(e )と、に応じて前記垂直鮮鋭化されたイメージ情報をクランプする、[23]に記載のデバイス。
[25]前記適応空間イメージフィルタは、
前記複数のパラメータ値内に含まれる鮮鋭化減算しきい値(e )を前記水平鮮鋭化イメージ情報から差し引き、
前記鮮鋭化減算しきい値(e )を前記垂直鮮鋭化イメージ情報から差し引く、[24]に記載のデバイス。
[26]前記適応空間イメージフィルタは、前記イメージ情報の輝度(Y)チャネルに対して前記の水平鮮鋭化フィルタおよび垂直鮮鋭化フィルタを適用し、前記イメージ情報は、YCrCbカラー空間に応じて定義される、[16]に記載のデバイス。
[27]前記フィルタがかけられたイメージ情報を生成するために、前記水平鮮鋭化フィルタは、第1のハイパスコンポーネントと第1のローパスコンポーネントとを有し、前記垂直鮮鋭化フィルタは、第2のハイパスコンポーネントと第2のローパスコンポーネントとを有する、[16]に記載のデバイス。
[28]前記適応空間イメージフィルタは、
前記複数のパラメータ値のうちの1つまたは複数を用いて水平鮮鋭化フィルタ(F )パラメータ値を設定することにより、ハロー効果を低減させるように前記水平鮮鋭化フィルタの前記第1のローパスコンポーネントを構成し、そして
前記複数のパラメータ値のうちの1つまたは複数を用いて水平鮮鋭化フィルタ(F )パラメータ値を設定することにより、前記ハロー効果を低減させるように前記水平鮮鋭化フィルタの前記第1のハイパスコンポーネントを構成する、[27]に記載のデバイス。
[29]前記適応空間イメージフィルタは、
前記複数のパラメータ値のうちの1つまたは複数を用いて垂直鮮鋭化フィルタ(F )パラメータを設定することにより、ハロー効果を低減させるように前記垂直鮮鋭化フィルタの前記第2のローパスコンポーネントを構成し、そして
前記複数のパラメータ値のうちの1つまたは複数を用いて垂直鮮鋭化フィルタ(F )パラメータを設定することにより、前記ハロー効果を低減させるように前記垂直鮮鋭化フィルタの前記第2のハイパスコンポーネントを構成する、[27]に記載のデバイス。
[30]プロセッサに、
イメージ情報の現在の露光レベルと、現在のスケーリングレベルと、に基づいて1つまたは複数のパラメータ値を決定させ、
前記パラメータ値に基づいて水平鮮鋭化フィルタを構成させ、
前記パラメータ値に基づいて垂直鮮鋭化フィルタを構成させ、そして
フィルタがかけられたイメージ情報を生成するために前記イメージ情報の少なくとも1つのチャネルに対して前記の水平鮮鋭化フィルタおよび垂直鮮鋭化フィルタを適用させる、
命令、
を備えるコンピュータ可読媒体。
[31]前記現在の露光レベルは、イメージングデバイスが、前記イメージ情報の獲得中に露光される照明強度を指し示す露光指数値であり、前記現在のスケーリングレベルは、前記イメージ情報に適用されるアップスケーリングまたはダウンスケーリングの量を指し示す、[30]に記載のコンピュータ可読媒体。
[32]前記命令は、前記プロセッサに、おのおのが1つまたは複数の静的パラメータ値に関連する複数の露光指数値に応じて露光レベルの範囲を分類させ、前記現在の露光レベルと前記分類との間の差を決定させ、そして、前記差の前記決定に基づいて前記分類の前記1つまたは複数の静的パラメータ値から前記1つまたは複数のパラメータ値を補間させる、[30]に記載のコンピュータ可読媒体。
[33]前記命令は、前記プロセッサに、
おのおのが1つまたは複数の静的パラメータ値に関連する複数のスケーリングファクタ指数値に応じてスケーリングレベルの範囲を分類させ、
前記現在のスケーリングレベルと前記分類との間の差を決定させ、そして
前記差の前記決定に基づいて前記分類の1つまたは複数の静的パラメータ値から前記1つまたは複数のパラメータ値を補間させる、[30]に記載のコンピュータ可読媒体。
[34]前記命令は、前記プロセッサに、前記現在の露光レベルに対応する露光指数値に関連する静的パラメータ値と、前記現在のスケーリングレベルに対応するスケーリングファクタ指数値に関連する静的パラメータ値と、に基づいて前記1つまたは複数のパラメータ値を決定させる、[30]に記載のコンピュータ可読媒体。
[35]前記命令は、前記プロセッサに、前記パラメータ値に基づいて平滑化フィルタを構成させ、そして前記の水平フィルタおよび垂直フィルタ適用することに先立って、平滑化されたイメージ情報を生成するために前記イメージ情報の前記少なくとも1つのチャネルに対して前記平滑化フィルタを適用させ、そして、前記の水平鮮鋭化フィルタおよび垂直鮮鋭化フィルタを適用することは、前記フィルタがかけられたイメージ情報を生成するために、前記平滑化されたイメージ情報の少なくとも1つのチャネルに対して前記の水平鮮鋭化フィルタおよび垂直鮮鋭化フィルタを適用することを含む、[1]に記載のコンピュータ可読媒体。
[36]前記パラメータ値は、平滑化度(p)パラメータ値と、水平鮮鋭化度(k )パラメータ値と、垂直鮮鋭化度(k )パラメータ値と、鮮鋭化減算しきい値(e )パラメータ値と、最大正鮮鋭化限界(e )パラメータ値と、最大負鮮鋭化限界(e )パラメータ値と、水平鮮鋭化フィルタ(F )パラメータ値と、垂直鮮鋭化フィルタ(F )パラメータ値と、のうちの1つまたは複数を含む、[35]に記載のコンピュータ可読媒体。
[37]前記命令は、前記プロセッサに、
前記平滑化フィルタの前記平滑化度(p)を設定させ、
前記水平鮮鋭化フィルタの前記水平鮮鋭化度(k )を設定させ、そして
前記垂直鮮鋭化フィルタの前記垂直鮮鋭化度(k )を設定させる、[36]に記載のコンピュータ可読媒体。
[38]前記命令は、前記プロセッサに、
水平鮮鋭化されたイメージ情報を生成するために、前記平滑化されたイメージ情報の前記少なくとも1つのチャネルに対して前記水平鮮鋭化フィルタを適用させ、
垂直鮮鋭化されたイメージ情報を生成するために、前記平滑化されたイメージ情報の前記少なくとも1つのチャネルに対して前記垂直鮮鋭化フィルタを適用させ、そして
前記フィルタがかけられたイメージ情報を生成するために、前記平滑化されたイメージ情報と、前記水平鮮鋭化されたイメージ情報と、前記垂直鮮鋭化されたイメージ情報と、を加算させる、[35]に記載のコンピュータ可読媒体。
[39]前記命令は、前記プロセッサに、
前記パラメータ値内に含まれる最大正鮮鋭化限界(e )と、最大負鮮鋭化限界(e )とに応じて前記水平鮮鋭化されたイメージ情報をクランプさせ、そして
前記最大正鮮鋭化限界(e )と、前記最大負鮮鋭化限界(e )とに応じて前記垂直鮮鋭化されたイメージ情報をクランプさせる、[38]に記載のコンピュータ可読媒体。
[40]前記命令は、前記プロセッサに、
前記複数のパラメータ値内に含まれる鮮鋭化減算しきい値(e )を前記水平鮮鋭化イメージ情報から差し引かせ、そして
前記鮮鋭化減算しきい値(e )を前記垂直鮮鋭化イメージ情報から差し引かせる、[38]に記載のコンピュータ可読媒体。
[41]前記命令は、前記プロセッサに、前記イメージ情報の輝度(Y)チャネルに対して前記の水平鮮鋭化フィルタおよび垂直鮮鋭化フィルタを適用させ、そして、前記イメージ情報は、YCrCbカラー空間に応じて前記イメージ情報を定義する、[30]に記載のコンピュータ可読媒体。
[42]前記命令は、前記プロセッサに、第1のハイパスコンポーネントおよび第1のローパスコンポーネントを有する水平鮮鋭化フィルタと、第2のハイパスコンポーネントおよび第2のローパスコンポーネントを有する垂直鮮鋭化フィルタとを、前記フィルタがかけられたイメージ情報を生成するために適用させる、[30]に記載のコンピュータ可読媒体。
[43]前記命令は、前記プロセッサに、
前記複数のパラメータ値のうちの1つまたは複数を用いて水平鮮鋭化フィルタ(F )パラメータ値を設定することにより、ハロー効果を低減させるように前記水平鮮鋭化フィルタの前記第1のローパスコンポーネントを構成させ、そして
前記複数のパラメータ値のうちの1つまたは複数を用いて水平鮮鋭化フィルタ(F )パラメータ値を設定することにより、前記ハロー効果を低減させるように前記水平鮮鋭化フィルタの前記第1のハイパスコンポーネントを構成させる、[42]に記載のコンピュータ可読媒体。
[44]前記命令は、前記プロセッサに、
前記複数のパラメータ値のうちの1つまたは複数を用いて垂直鮮鋭化フィルタ(F )パラメータを設定することにより、ハロー効果を低減させるように前記垂直鮮鋭化フィルタの前記第2のローパスコンポーネントを構成させ、そして
前記複数のパラメータ値のうちの1つまたは複数を用いて垂直鮮鋭化フィルタ(F )パラメータを設定することにより、前記ハロー効果を低減させるように前記垂直鮮鋭化フィルタの前記第2のハイパスコンポーネントを構成させる、[42]に記載のコンピュータ可読媒体。
[45]イメージ情報の現在の露光レベルと、現在のスケーリングレベルと、に基づいて1つまたは複数のパラメータ値を決定するための手段と、
前記パラメータ値に基づいて水平鮮鋭化フィルタを構成するための手段と、
前記パラメータ値に基づいて垂直鮮鋭化フィルタを構成するための手段と、
フィルタがかけられたイメージ情報を生成するために前記イメージ情報の少なくとも1つのチャネルに対して前記の水平鮮鋭化フィルタおよび垂直鮮鋭化フィルタを適用するための手段と、
を備えるデバイス。
[46]前記現在の露光レベルは、イメージングデバイスが前記イメージ情報の獲得中に露光される照明強度、を指し示す露光指数値であり、そして、前記現在のスケーリングレベルは、前記イメージ情報に適用されるアップスケーリングまたはダウンスケーリングの量を指し示す、[45]に記載のデバイス。
[47]前記1つまたは複数のパラメータ値を決定するための前記手段は、
おのおのが1つまたは複数の静的パラメータ値に関連する複数の露光指数値に応じて露光レベルの範囲を分類するための手段と、
前記現在の露光レベルと前記分類との間の差を決定するための手段と、
前記差の前記決定に基づいて前記分類の前記1つまたは複数の静的パラメータ値から前記1つまたは複数のパラメータ値を補間するための手段と、
を含む、[45]に記載のデバイス。
[48]前記パラメータ値を決定するための前記手段は、
おのおのが1つまたは複数の静的パラメータ値に関連する複数のスケーリングファクタ指数値に応じてスケーリングレベルの範囲を分類するための手段と、
前記現在のスケーリングレベルと前記分類との間の差を決定するための手段と、
前記差の前記決定に基づいて前記分類の1つまたは複数の静的パラメータ値から前記1つまたは複数のパラメータ値を補間するための手段と、
を含む、[45]に記載のデバイス。
[49]前記パラメータ値に基づいて平滑化フィルタを構成するための手段と、
前記の水平フィルタおよび垂直フィルタ適用することに先立って、平滑化されたイメージ情報を生成するために前記イメージ情報の前記少なくとも1つのチャネルに対して前記平滑化フィルタを適用するための手段と、
をさらに備え、
前記の水平鮮鋭化フィルタおよび垂直鮮鋭化フィルタを適用するための前記手段は、前記フィルタがかけられたイメージ情報を生成するために、前記平滑化されたイメージ情報の少なくとも1つのチャネルに対して前記の水平鮮鋭化フィルタおよび垂直鮮鋭化フィルタを適用するための手段を含む、[45]に記載のデバイス。
[50]前記パラメータ値は、平滑化度(p)パラメータ値と、水平鮮鋭化度(k )パラメータ値と、垂直鮮鋭化度(k )パラメータ値と、鮮鋭化減算しきい値(e )パラメータ値と、最大正鮮鋭化限界(e )パラメータ値と、最大負鮮鋭化限界(e )パラメータ値と、水平鮮鋭化フィルタ(F )パラメータ値と、垂直鮮鋭化フィルタ(F )パラメータ値と、のうちの1つまたは複数を含む、[49]に記載のデバイス。

Claims (38)

  1. イメージ情報の現在の露光レベルと現在のスケーリングレベルとに基づいて、1つまたは複数のパラメータ値を決定することと、ここにおいて、前記パラメータ値は、平滑化度(p)パラメータ値と、水平鮮鋭化度(k)パラメータ値と、垂直鮮鋭化度(k)パラメータ値と、鮮鋭化減算しきい値(e)パラメータ値と、最大正鮮鋭化限界(e)パラメータ値と、最大負鮮鋭化限界(e)パラメータ値と、水平鮮鋭化フィルタ(F)パラメータ値と、垂直鮮鋭化フィルタ(F)パラメータ値と、のうちの1つまたは複数を含む、
    前記パラメータ値に基づいてかつフィルタ関数を用いて水平鮮鋭化フィルタを構成することと、
    前記パラメータ値に基づいてかつフィルタ関数を用いて垂直鮮鋭化フィルタを構成することと、
    フィルタがかけられたイメージ情報を生成するために前記イメージ情報の少なくとも1つのチャネルに対して前記の水平鮮鋭化フィルタおよび垂直鮮鋭化フィルタを適用することと、
    を備え、
    前記1つまたは複数のパラメータ値を決定することは、
    おのおのが1つまたは複数の静的パラメータ値に関連する複数の露光指数値に応じて露光レベルの範囲を分類すること、または、おのおのが1つまたは複数の静的パラメータ値に関連する複数のスケーリングファクタ指数値に応じてスケーリングレベルの範囲を分類することと、
    前記現在の露光レベルと前記分類との間の、差を決定することと、
    前記差の前記決定に基づいて前記分類の前記1つまたは複数の静的パラメータ値から前記1つまたは複数のパラメータ値を補間することと、
    を含む、方法。
  2. 前記現在の露光レベルは、イメージングデバイスが前記イメージ情報の獲得中に露光される照明強度、を指し示す露光指数値であり、前記現在のスケーリングレベルは、前記イメージ情報に適用されるアップスケーリングまたはダウンスケーリングの量を指し示す、請求項1に記載の方法。
    請求項1に記載の方法。
  3. 1つまたは複数のパラメータ値を決定することは、前記現在の露光レベルに対応する露光指数値に関連する静的パラメータ値と、前記現在のスケーリングレベルに対応するスケーリングファクタ指数値に関連する静的パラメータ値と、に基づいて前記1つまたは複数のパラメータ値を決定することを含む、請求項1に記載の方法。
  4. 前記平滑度パラメータ値に基づいてかつ平滑化フィルタ関数を用いて平滑化フィルタを構成することと、
    前記の水平フィルタおよび垂直フィルタ適用することに先立って、平滑化されたイメージ情報を生成するために前記イメージ情報の前記少なくとも1つのチャネルに対して前記平滑化フィルタを適用することと、
    をさらに備え、
    前記の水平鮮鋭化フィルタおよび垂直鮮鋭化フィルタを適用することは、前記フィルタがかけられたイメージ情報を生成するために前記平滑化されたイメージ情報の少なくとも1つのチャネルに対して前記の水平鮮鋭化フィルタおよび垂直鮮鋭化フィルタを適用すること、を含む、
    請求項1に記載の方法。
  5. 前記平滑化フィルタを構成することは、前記平滑化フィルタの前記平滑化度(p)を設定することを含み、
    前記水平鮮鋭化フィルタを構成することは、前記水平鮮鋭化フィルタの前記水平鮮鋭化度(k)を設定することを含み、
    前記垂直鮮鋭化フィルタを構成することは、前記垂直鮮鋭化フィルタの前記垂直鮮鋭化度(k)を設定することを含む、
    請求項に記載の方法。
  6. 前記の水平鮮鋭化フィルタおよび垂直鮮鋭化フィルタを適用することは、
    水平鮮鋭化されたイメージ情報を生成するために、前記平滑化されたイメージ情報の前記少なくとも1つのチャネルに対して前記水平鮮鋭化フィルタを適用することと、
    垂直鮮鋭化されたイメージ情報を生成するために、前記平滑化されたイメージ情報の前記少なくとも1つのチャネルに対して前記垂直鮮鋭化フィルタを適用することと、
    前記フィルタがかけられたイメージ情報を生成するために、前記平滑化されたイメージ情報と、前記水平鮮鋭化されたイメージ情報と、前記垂直鮮鋭化されたイメージ情報とを加算することと、
    をさらに備える、
    請求項に記載の方法。
  7. 前記の水平鮮鋭化フィルタおよび垂直鮮鋭化フィルタを適用することは、
    前記パラメータ値内に含まれる最大正鮮鋭化限界(e)と最大負鮮鋭化限界(e)とに応じて、前記水平鮮鋭化されたイメージ情報をクランプすることと、ここにおいて、前記水平先鋭化されたイメージ情報をクランプすることは、ここにおいて、前記水平先鋭化されたイメージ情報をクランプすることは、次式を満足する:
    Figure 0005113171
    前記最大正鮮鋭化限界(e)と、前記最大負鮮鋭化限界(e)とに応じて前記垂直鮮鋭化されたイメージ情報をクランプすることと、ここにおいて、前記垂直化先鋭化されたイメージ情報をクランプすることは、次式を満足する:
    Figure 0005113171
    をさらに含む、
    請求項に記載の方法。
  8. 前記の水平鮮鋭化フィルタおよび垂直鮮鋭化フィルタを適用することは、
    前記複数のパラメータ値内に含まれる鮮鋭化減算しきい値(e)を前記水平鮮鋭化イメージ情報から差し引くことと、
    前記鮮鋭化減算しきい値(e)を前記垂直鮮鋭化イメージ情報から差し引くことと、
    をさらに含む、
    請求項に記載の方法。
  9. 前記の水平鮮鋭化フィルタおよび垂直鮮鋭化フィルタを適用することは、前記イメージ情報の輝度(Y)チャネルに対して前記の水平鮮鋭化フィルタおよび垂直鮮鋭化フィルタを適用することを含み、前記イメージ情報は、YCrCbカラー空間に応じて前記イメージ情報を定義する、請求項1に記載の方法。
  10. 前記の水平鮮鋭化フィルタおよび垂直鮮鋭化フィルタを適用することは、前記フィルタがかけられたイメージ情報を生成するために、第1のハイパスコンポーネントと第1のローパスコンポーネントとを有する水平鮮鋭化フィルタと、第2のハイパスコンポーネントと第2のローパスコンポーネントとを有する垂直鮮鋭化フィルタと、を適用すること、を含む、請求項1に記載の方法。
  11. 前記水平鮮鋭化フィルタを構成することは、
    前記複数のパラメータ値のうちの1つまたは複数を用いて水平鮮鋭化フィルタ(F)パラメータ値を設定することにより、ハロー効果を低減させるように前記水平鮮鋭化フィルタの前記第1のローパスコンポーネントを構成することと、ここにおいて、前記水平先鋭化フィルタ(FH)パラメータ値は、同一の行係数を有した行列式により設定される、
    前記複数のパラメータ値のうちの1つまたは複数を用いて水平鮮鋭化フィルタ(F)パラメータ値を設定することにより、前記ハロー効果を低減させるように前記水平鮮鋭化フィルタの前記第1のハイパスコンポーネントを構成することと、ここにおいて、前記水平先鋭化フィルタ(FH)パラメータ値は、変化する列係数を有した行列式により設定される、
    を含む、
    請求項10に記載の方法。
  12. 前記垂直鮮鋭化フィルタを構成することは、
    前記複数のパラメータ値のうちの1つまたは複数を用いて垂直鮮鋭化フィルタ(F)パラメータ値を設定することにより、ハロー効果を低減させるように前記垂直鮮鋭化フィルタの前記第2のローパスコンポーネントを構成することと、ここにおいて、前記垂直先鋭化フィルタ(Fv)パラメータ値は、同一の列係数を有した行列式により設定される、
    前記複数のパラメータ値のうちの1つまたは複数を用いて垂直鮮鋭化フィルタ(F)パラメータを設定することにより、前記ハロー効果を低減させるように前記垂直鮮鋭化フィルタの前記第2のハイパスコンポーネントを構成することと、ここにおいて、前記垂直先鋭化フィルタ(Fv)パラメータ値は、変換する行係数を有した行列式により設定される、
    を含む、
    請求項10に記載の方法。
  13. イメージ情報を取り込むイメージセンサと、
    水平鮮鋭化フィルタおよび垂直鮮鋭化フィルタを含む適応空間イメージフィルタと、
    を備え、
    前記適応空間イメージフィルタは、前記イメージ情報の現在の露光レベルと現在のスケーリングレベルとに基づいている1つまたは複数のパラメータ値に基づいて、フィルタ関数を用いて前記水平鮮鋭化フィルタと前記垂直鮮鋭化フィルタとを構成し、そして、フィルタがかけられたイメージ情報を生成するために前記イメージ情報の少なくとも1つのチャネルに対して前記の水平鮮鋭化フィルタおよび垂直鮮鋭化フィルタを適用する、ここにおいて、前記パラメータ値は、平滑化度(p)パラメータ値と、水平鮮鋭化度(k)パラメータ値と、垂直鮮鋭化度(k)パラメータ値と、鮮鋭化減算しきい値(e)パラメータ値と、最大正鮮鋭化限界(e)パラメータ値と、最大負鮮鋭化限界(e)パラメータ値と、水平鮮鋭化フィルタ(F)パラメータ値と、垂直鮮鋭化フィルタ(F)パラメータ値と、のうちの1つまたは複数を含み、
    前記イメージセンサは、
    おのおのが複数の静的パラメータ値に関連する複数の露光指数レベルに応じて露光レベルの範囲を分類すること、または、おのおのが1つまたは複数の静的パラメータ値に関連する複数のスケーリングファクタ指数値に応じてスケーリングレベルの範囲を分類することと、
    前記現在の露光レベルと、前記分類との間の差を決定することと、
    前記差の前記決定に基づいて前記分類の前記1つまたは複数の静的パラメータ値から前記1つまたは複数のパラメータ値を補間することと、
    により前記パラメータ値を決定する、デバイス。
  14. 前記現在の露光レベルは、イメージングデバイスが前記イメージ情報の獲得中に露光される照明強度、を指し示す露光指数値であり、前記現在のスケーリングレベルは、前記イメージ情報に適用されるアップスケーリングまたはダウンスケーリングの量を指し示す、請求項13に記載のデバイス。
  15. 前記適応空間イメージフィルタは、平滑化フィルタをさらに含み、
    前記適応空間イメージフィルタは、さらに、前記平滑度パラメータ値に基づいてかつ平滑化フィルタ関数を用いて前記平滑化フィルタを構成し、そして、前記の水平フィルタおよび垂直フィルタを適用することに先立って、平滑化されたイメージ情報を生成するために前記イメージ情報の前記少なくとも1つのチャネルに対して前記平滑化フィルタを適用し、
    前記適応空間イメージフィルタは、前記フィルタがかけられたイメージ情報を生成するために、前記平滑化されたイメージ情報の少なくとも1つのチャネルに対して前記の水平鮮鋭化フィルタおよび垂直鮮鋭化フィルタを適用することにより、前記の水平鮮鋭化フィルタおよび垂直鮮鋭化フィルタを適用する、
    請求項13に記載のデバイス。
  16. 前記適応空間イメージフィルタは、前記平滑化フィルタの前記平滑化度(p)を設定し、前記水平鮮鋭化フィルタの前記水平鮮鋭化度(k)を設定し、そして前記垂直鮮鋭化フィルタの前記垂直鮮鋭化度(k)を設定する、請求項15に記載のデバイス。
  17. 前記適応空間イメージフィルタは、
    水平鮮鋭化されたイメージ情報を生成するために、前記平滑化されたイメージ情報の前記少なくとも1つのチャネルに対して前記水平鮮鋭化フィルタを適用し、
    垂直鮮鋭化されたイメージ情報を生成するために、前記平滑化されたイメージ情報の前記少なくとも1つのチャネルに対して前記垂直鮮鋭化フィルタを適用し、
    前記フィルタがかけられたイメージ情報を生成するために、前記平滑化されたイメージ情報と、前記水平鮮鋭化されたイメージ情報と、前記垂直鮮鋭化されたイメージ情報と、を加算する、
    請求項15に記載のデバイス。
  18. 前記適応空間イメージフィルタは、
    前記複数のパラメータ値内に含まれる最大正鮮鋭化限界(e)と、最大負鮮鋭化限界(e)と、に応じて前記水平鮮鋭化されたイメージ情報をクランプし、ここにおいて、前記水平先鋭化されたイメージ情報をクランプすることは、次式を満足する:
    Figure 0005113171
    前記最大正鮮鋭化限界(e)と、前記最大負鮮鋭化限界(e)と、に応じて前記垂直鮮鋭化されたイメージ情報をクランプする、ここにおいて、前記垂直化先鋭化されたイメージ情報をクランプすることは、次式を満足する:
    Figure 0005113171
    請求項17に記載のデバイス。
  19. 前記適応空間イメージフィルタは、
    前記複数のパラメータ値内に含まれる鮮鋭化減算しきい値(e)を前記水平鮮鋭化イメージ情報から差し引き、
    前記鮮鋭化減算しきい値(e)を前記垂直鮮鋭化イメージ情報から差し引く、
    請求項18に記載のデバイス。
  20. 前記適応空間イメージフィルタは、前記イメージ情報の輝度(Y)チャネルに対して前記の水平鮮鋭化フィルタおよび垂直鮮鋭化フィルタを適用し、前記イメージ情報は、YCrCbカラー空間に応じて定義される、請求項13に記載のデバイス。
  21. 前記フィルタがかけられたイメージ情報を生成するために、前記水平鮮鋭化フィルタは、第1のハイパスコンポーネントと第1のローパスコンポーネントとを有し、前記垂直鮮鋭化フィルタは、第2のハイパスコンポーネントと第2のローパスコンポーネントとを有する、請求項13に記載のデバイス。
  22. 前記適応空間イメージフィルタは、
    前記複数のパラメータ値のうちの1つまたは複数を用いて水平鮮鋭化フィルタ(F)パラメータ値を設定することにより、ハロー効果を低減させるように前記水平鮮鋭化フィルタの前記第1のローパスコンポーネントを構成し、ここにおいて、前記水平先鋭化フィルタ(FH)パラメータ値は、同一の行係数を有した行列式により設定される、
    そして
    前記複数のパラメータ値のうちの1つまたは複数を用いて水平鮮鋭化フィルタ(F)パラメータ値を設定することにより、前記ハロー効果を低減させるように前記水平鮮鋭化フィルタの前記第1のハイパスコンポーネントを構成する、ここにおいて、前記水平先鋭化フィルタ(FH)パラメータ値は、変化する列係数を有した行列式により設定される、
    請求項21に記載のデバイス。
  23. 前記適応空間イメージフィルタは、
    前記複数のパラメータ値のうちの1つまたは複数を用いて垂直鮮鋭化フィルタ(F)パラメータを設定することにより、ハロー効果を低減させるように前記垂直鮮鋭化フィルタの前記第2のローパスコンポーネントを構成し、ここにおいて、前記垂直先鋭化フィルタ(Fv)パラメータ値は、同一の列係数を有した行列式により設定される、
    そして
    前記複数のパラメータ値のうちの1つまたは複数を用いて垂直鮮鋭化フィルタ(F)パラメータを設定することにより、前記ハロー効果を低減させるように前記垂直鮮鋭化フィルタの前記第2のハイパスコンポーネントを構成する、ここにおいて、前記垂直先鋭化フィルタ(Fv)パラメータ値は、変換する行係数を有した行列式により設定される、
    請求項21に記載のデバイス。
  24. プロセッサに、
    イメージ情報の現在の露光レベルと、現在のスケーリングレベルと、に基づいて1つまたは複数のパラメータ値を決定させ、ここにおいて、前記パラメータ値は、平滑化度(p)パラメータ値と、水平鮮鋭化度(k)パラメータ値と、垂直鮮鋭化度(k)パラメータ値と、鮮鋭化減算しきい値(e)パラメータ値と、最大正鮮鋭化限界(e)パラメータ値と、最大負鮮鋭化限界(e)パラメータ値と、水平鮮鋭化フィルタ(F)パラメータ値と、垂直鮮鋭化フィルタ(F)パラメータ値と、のうちの1つまたは複数を含む、
    前記パラメータ値に基づいてかつフィルタ関数を用いて水平鮮鋭化フィルタを構成させ、
    前記パラメータ値に基づいてかつフィルタ関数を用いて垂直鮮鋭化フィルタを構成させ、そして
    フィルタがかけられたイメージ情報を生成するために前記イメージ情報の少なくとも1つのチャネルに対して前記の水平鮮鋭化フィルタおよび垂直鮮鋭化フィルタを適用させる、
    命令、
    を備え、
    前記命令は、前記プロセッサに、おのおのが1つまたは複数の静的パラメータ値に関連する複数の露光指数値に応じて露光レベルの範囲を分類させ、または、おのおのが1つまたは複数の静的パラメータ値に関連する複数のスケーリングファクタ指数値に応じてスケーリングレベルの範囲を分類させ、前記現在の露光レベルと前記分類との間の差を決定させ、そして、前記差の前記決定に基づいて前記分類の前記1つまたは複数の静的パラメータ値から前記1つまたは複数のパラメータ値を補間させる、コンピュータ可読媒体。
  25. 前記現在の露光レベルは、イメージングデバイスが、前記イメージ情報の獲得中に露光される照明強度を指し示す露光指数値であり、前記現在のスケーリングレベルは、前記イメージ情報に適用されるアップスケーリングまたはダウンスケーリングの量を指し示す、請求項24に記載のコンピュータ可読媒体。
  26. 前記命令は、前記プロセッサに、前記現在の露光レベルに対応する露光指数値に関連する静的パラメータ値と、前記現在のスケーリングレベルに対応するスケーリングファクタ指数値に関連する静的パラメータ値と、に基づいて前記1つまたは複数のパラメータ値を決定させる、請求項24に記載のコンピュータ可読媒体。
  27. 前記命令は、前記プロセッサに、前記平滑度パラメータ値に基づいてかつ平滑化フィルタ関数を用いて平滑化フィルタを構成させ、そして前記の水平フィルタおよび垂直フィルタ適用することに先立って、平滑化されたイメージ情報を生成するために前記イメージ情報の前記少なくとも1つのチャネルに対して前記平滑化フィルタを適用させ、そして、前記の水平鮮鋭化フィルタおよび垂直鮮鋭化フィルタを適用することは、前記フィルタがかけられたイメージ情報を生成するために、前記平滑化されたイメージ情報の少なくとも1つのチャネルに対して前記の水平鮮鋭化フィルタおよび垂直鮮鋭化フィルタを適用することを含む、請求項24に記載のコンピュータ可読媒体。
  28. 前記命令は、前記プロセッサに、
    前記平滑化フィルタの前記平滑化度(p)を設定させ、
    前記水平鮮鋭化フィルタの前記水平鮮鋭化度(k)を設定させ、そして
    前記垂直鮮鋭化フィルタの前記垂直鮮鋭化度(k)を設定させる、
    請求項27に記載のコンピュータ可読媒体。
  29. 前記命令は、前記プロセッサに、
    水平鮮鋭化されたイメージ情報を生成するために、前記平滑化されたイメージ情報の前記少なくとも1つのチャネルに対して前記水平鮮鋭化フィルタを適用させ、
    垂直鮮鋭化されたイメージ情報を生成するために、前記平滑化されたイメージ情報の前記少なくとも1つのチャネルに対して前記垂直鮮鋭化フィルタを適用させ、そして
    前記フィルタがかけられたイメージ情報を生成するために、前記平滑化されたイメージ情報と、前記水平鮮鋭化されたイメージ情報と、前記垂直鮮鋭化されたイメージ情報と、を加算させる、
    請求項27に記載のコンピュータ可読媒体。
  30. 前記命令は、前記プロセッサに、
    前記パラメータ値内に含まれる最大正鮮鋭化限界(e)と、最大負鮮鋭化限界(e)とに応じて前記水平鮮鋭化されたイメージ情報をクランプさせ、ここにおいて、前記水平先鋭化されたイメージ情報をクランプすることは、次式を満足する:
    Figure 0005113171
    そして
    前記最大正鮮鋭化限界(e)と、前記最大負鮮鋭化限界(e)とに応じて前記垂直鮮鋭化されたイメージ情報をクランプさせる、ここにおいて、前記垂直化先鋭化されたイメージ情報をクランプすることは、次式を満足する:
    Figure 0005113171
    請求項29に記載のコンピュータ可読媒体。
  31. 前記命令は、前記プロセッサに、
    前記複数のパラメータ値内に含まれる鮮鋭化減算しきい値(e)を前記水平鮮鋭化イメージ情報から差し引かせ、そして
    前記鮮鋭化減算しきい値(e)を前記垂直鮮鋭化イメージ情報から差し引かせる、
    請求項29に記載のコンピュータ可読媒体。
  32. 前記命令は、前記プロセッサに、前記イメージ情報の輝度(Y)チャネルに対して前記の水平鮮鋭化フィルタおよび垂直鮮鋭化フィルタを適用させ、そして、前記イメージ情報は、YCrCbカラー空間に応じて前記イメージ情報を定義する、請求項24に記載のコンピュータ可読媒体。
  33. 前記命令は、前記プロセッサに、第1のハイパスコンポーネントおよび第1のローパスコンポーネントを有する水平鮮鋭化フィルタと、第2のハイパスコンポーネントおよび第2のローパスコンポーネントを有する垂直鮮鋭化フィルタとを、前記フィルタがかけられたイメージ情報を生成するために適用させる、請求項24に記載のコンピュータ可読媒体。
  34. 前記命令は、前記プロセッサに、
    前記複数のパラメータ値のうちの1つまたは複数を用いて水平鮮鋭化フィルタ(F)パラメータ値を設定することにより、ハロー効果を低減させるように前記水平鮮鋭化フィルタの前記第1のローパスコンポーネントを構成させ、ここにおいて、前記水平先鋭化フィルタ(FH)パラメータ値は、同一の行係数を有した行列式により設定される、
    そして
    前記複数のパラメータ値のうちの1つまたは複数を用いて水平鮮鋭化フィルタ(F)パラメータ値を設定することにより、前記ハロー効果を低減させるように前記水平鮮鋭化フィルタの前記第1のハイパスコンポーネントを構成させる、ここにおいて、前記水平先鋭化フィルタ(FH)パラメータ値は、変化する列係数を有した行列式により設定される、請求項33に記載のコンピュータ可読媒体。
  35. 前記命令は、前記プロセッサに、
    前記複数のパラメータ値のうちの1つまたは複数を用いて垂直鮮鋭化フィルタ(F)パラメータを設定することにより、ハロー効果を低減させるように前記垂直鮮鋭化フィルタの前記第2のローパスコンポーネントを構成させ、ここにおいて、前記垂直先鋭化フィルタ(Fv)パラメータ値は、同一の列係数を有した行列式により設定される、
    そして
    前記複数のパラメータ値のうちの1つまたは複数を用いて垂直鮮鋭化フィルタ(F)パラメータを設定することにより、前記ハロー効果を低減させるように前記垂直鮮鋭化フィルタの前記第2のハイパスコンポーネントを構成させる、ここにおいて、前記垂直先鋭化フィルタ(Fv)パラメータ値は、変換する行係数を有した行列式により設定される、請求項33に記載のコンピュータ可読媒体。
  36. イメージ情報の現在の露光レベルと、現在のスケーリングレベルと、に基づいて1つまたは複数のパラメータ値を決定するための手段と、ここにおいて、前記パラメータ値は、平滑化度(p)パラメータ値と、水平鮮鋭化度(k)パラメータ値と、垂直鮮鋭化度(k)パラメータ値と、鮮鋭化減算しきい値(e)パラメータ値と、最大正鮮鋭化限界(e)パラメータ値と、最大負鮮鋭化限界(e)パラメータ値と、水平鮮鋭化フィルタ(F)パラメータ値と、垂直鮮鋭化フィルタ(F)パラメータ値と、のうちの1つまたは複数を含む、
    前記パラメータ値に基づいてかつフィルタ関数を用いて水平鮮鋭化フィルタを構成するための手段と、
    前記パラメータ値に基づいてかつフィルタ関数を用いて垂直鮮鋭化フィルタを構成するための手段と、
    フィルタがかけられたイメージ情報を生成するために前記イメージ情報の少なくとも1つのチャネルに対して前記の水平鮮鋭化フィルタおよび垂直鮮鋭化フィルタを適用するための手段と、
    を備え、
    前記1つまたは複数のパラメータ値を決定するための前記手段は、
    おのおのが1つまたは複数の静的パラメータ値に関連する複数の露光指数値に応じて露光レベルの範囲を分類する、またはおのおのが1つまたは複数の静的パラメータ値に関連する複数のスケーリングファクタ指数値に応じてスケーリングレベルの範囲を分類するための手段と、
    前記現在の露光レベルと前記分類との間の差を決定するための手段と、
    前記差の前記決定に基づいて前記分類の前記1つまたは複数の静的パラメータ値から前記1つまたは複数のパラメータ値を補間するための手段と、
    を含む、デバイス。
  37. 前記現在の露光レベルは、イメージングデバイスが前記イメージ情報の獲得中に露光される照明強度、を指し示す露光指数値であり、そして、前記現在のスケーリングレベルは、前記イメージ情報に適用されるアップスケーリングまたはダウンスケーリングの量を指し示す、請求項36に記載のデバイス。
  38. 前記平滑度パラメータ値に基づいてかつ平滑化フィルタ関数を用いて平滑化フィルタを構成するための手段と、
    前記の水平フィルタおよび垂直フィルタ適用することに先立って、平滑化されたイメージ情報を生成するために前記イメージ情報の前記少なくとも1つのチャネルに対して前記平滑化フィルタを適用するための手段と、
    をさらに備え、
    前記の水平鮮鋭化フィルタおよび垂直鮮鋭化フィルタを適用するための前記手段は、前記フィルタがかけられたイメージ情報を生成するために、前記平滑化されたイメージ情報の少なくとも1つのチャネルに対して前記の水平鮮鋭化フィルタおよび垂直鮮鋭化フィルタを適用するための手段を含む、請求項36に記載のデバイス。
JP2009523909A 2006-08-07 2007-08-02 イメージ情報にフィルタをかけるための適応空間イメージフィルタ Active JP5113171B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US11/500,768 US8442344B2 (en) 2006-08-07 2006-08-07 Adaptive spatial image filter for filtering image information
US11/500,768 2006-08-07
PCT/US2007/075098 WO2008021742A2 (en) 2006-08-07 2007-08-02 Adaptive spatial image filter for filtering image information

Publications (2)

Publication Number Publication Date
JP2010500659A JP2010500659A (ja) 2010-01-07
JP5113171B2 true JP5113171B2 (ja) 2013-01-09

Family

ID=38925639

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009523909A Active JP5113171B2 (ja) 2006-08-07 2007-08-02 イメージ情報にフィルタをかけるための適応空間イメージフィルタ

Country Status (6)

Country Link
US (1) US8442344B2 (ja)
EP (1) EP2055093B1 (ja)
JP (1) JP5113171B2 (ja)
KR (1) KR101059403B1 (ja)
CN (1) CN101502097B (ja)
WO (1) WO2008021742A2 (ja)

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4538358B2 (ja) * 2005-03-30 2010-09-08 パイオニア株式会社 画像処理装置
US7809208B2 (en) * 2007-05-30 2010-10-05 Microsoft Corporation Image sharpening with halo suppression
US8897524B2 (en) * 2007-10-29 2014-11-25 Ramot At Tel-Aviv University Ltd. Method and device for processing computerized tomography images
EP2235677A1 (en) * 2007-12-20 2010-10-06 Ramot at Tel-Aviv University Ltd. Method of and apparatus for processing images
WO2010007933A1 (ja) * 2008-07-14 2010-01-21 シャープ株式会社 映像信号処理装置及び映像表示装置
US8913668B2 (en) 2008-09-29 2014-12-16 Microsoft Corporation Perceptual mechanism for the selection of residues in video coders
US8457194B2 (en) * 2008-09-29 2013-06-04 Microsoft Corporation Processing real-time video
US8456545B2 (en) 2009-05-08 2013-06-04 Qualcomm Incorporated Systems, methods, and apparatus for generation of reinforcement pattern and systems, methods, and apparatus for artifact evaluation
US8508330B1 (en) * 2009-05-25 2013-08-13 Cypress Semiconductor Corporation Adaptive filter for lighting assembly control signals
US8643777B2 (en) * 2009-09-25 2014-02-04 Vixs Systems Inc. Pixel interpolation with edge detection based on cross-correlation
US8284314B2 (en) * 2009-12-16 2012-10-09 Vixs Systems, Inc. Adaptive edge enhancement using directional components from non-linear filtering
KR101329969B1 (ko) * 2010-07-09 2013-11-13 엘지디스플레이 주식회사 액정 표시 장치와 그의 로컬 디밍 구동 방법
EP2601636A1 (en) 2010-08-05 2013-06-12 Ramot at Tel Aviv University, Ltd. Method and system for processing an image featuring multiple scales
TWI501624B (zh) * 2011-05-13 2015-09-21 Innolux Corp 保密顯示系統、保密顯示器、保密顯示方法及保密眼鏡
US8730329B2 (en) * 2011-07-11 2014-05-20 Qualcomm, Incorporated Automatic adaptive image sharpening
CN102752480A (zh) * 2011-12-01 2012-10-24 新奥特(北京)视频技术有限公司 一种实现图像锐化特技效果的方法
JP6089436B2 (ja) * 2012-04-18 2017-03-08 ソニー株式会社 画像処理装置と画像処理装置の作動方法および撮像装置
CN104301578A (zh) * 2012-10-19 2015-01-21 北京奇虎科技有限公司 基于图片类型的处理方法及设备
CN102868847B (zh) * 2012-10-19 2014-12-10 北京奇虎科技有限公司 基于图片类型的处理方法及设备
CN102883165B (zh) * 2012-10-19 2015-10-07 北京奇虎科技有限公司 图片缩放处理方法及设备
KR20140063125A (ko) 2012-11-16 2014-05-27 삼성전자주식회사 영역에 따라 다른 계수를 적용하여 화질을 개선하는 영상 처리 방법 및 그 장치
CN103916649B (zh) * 2012-12-31 2017-03-15 展讯通信(上海)有限公司 一种图像处理方法和装置、系统
CN103067661B (zh) * 2013-01-07 2017-12-05 华为终端有限公司 图像处理方法、装置和拍摄终端
JP6319545B2 (ja) * 2013-03-15 2018-05-09 パナソニックIpマネジメント株式会社 画像符号化装置、撮影システム、撮影記録システム、画質符号化方法、及び画像符号化制御プログラム
DE102014200833A1 (de) * 2014-01-17 2015-07-23 Olympus Winter & Ibe Gmbh Verfahren zur Steuerung einer Videobildverarbeitung, Bildverarbeitungssteuerungssoftware sowie Video-Endoskopiesystem
KR20150087701A (ko) * 2014-01-22 2015-07-30 삼성전자주식회사 샤프닝 필터링 기반의 이미지 처리 장치 및 이미지 처리 방법
CN105389776B (zh) * 2014-09-02 2019-05-03 辉达公司 图像缩放技术
CN104320671A (zh) * 2014-11-13 2015-01-28 山东财经大学 一种基于h.264标准的在线视频转码方法
CN105763768B (zh) * 2014-12-15 2019-12-13 深圳市中兴微电子技术有限公司 一种图像处理方法、装置和系统
US9445007B1 (en) * 2015-02-25 2016-09-13 Qualcomm Incorporated Digital zoom methods and systems
US10402696B2 (en) * 2016-01-04 2019-09-03 Texas Instruments Incorporated Scene obstruction detection using high pass filters
US11681001B2 (en) 2018-03-09 2023-06-20 The Board Of Trustees Of The Leland Stanford Junior University Deep learning method for nonstationary image artifact correction
KR102525159B1 (ko) * 2018-03-19 2023-04-25 삼성전자주식회사 전자 장치, 전자 장치의 이미지 처리 방법 및 컴퓨터 판독 가능 매체
JP7541862B2 (ja) * 2020-07-17 2024-08-29 キヤノン株式会社 画像処理装置、画像処理方法

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5696850A (en) * 1995-12-21 1997-12-09 Eastman Kodak Company Automatic image sharpening in an electronic imaging system
DE19703063C2 (de) * 1997-01-29 2000-05-04 Agfa Gevaert Ag Verfahren zum Erzeugen eines Bildes von einer transparenten Vorlage
US5978518A (en) * 1997-02-25 1999-11-02 Eastman Kodak Company Image enhancement in digital image processing
KR19990054793A (ko) * 1997-12-26 1999-07-15 정선종 3차원 형상 데이터로부터 특징형상을 추출하는 방법
US6091861A (en) * 1998-02-03 2000-07-18 Eastman Kodak Company Sharpening algorithm adjusted for measured exposure of photofinishing images
US6167414A (en) * 1998-06-11 2000-12-26 Eastman Kodak Company System for adjusting size and scale of digital filters and creating digital filters
US6614474B1 (en) * 1998-08-27 2003-09-02 Polycom, Inc. Electronic pan tilt zoom video camera with adaptive edge sharpening filter
JP2001186353A (ja) * 1999-12-27 2001-07-06 Noritsu Koki Co Ltd 画像処理方法および画像処理プログラムを記録した記録媒体
US6757442B1 (en) * 2000-11-22 2004-06-29 Ge Medical Systems Global Technology Company, Llc Image enhancement method with simultaneous noise reduction, non-uniformity equalization, and contrast enhancement
JP2002344798A (ja) 2001-05-16 2002-11-29 Canon Inc 撮像システム
JP3719213B2 (ja) * 2002-01-16 2005-11-24 ノーリツ鋼機株式会社 画像処理装置、画像処理方法、画像処理プログラム、および画像処理プログラムを記録した記録媒体
US7031549B2 (en) * 2002-02-22 2006-04-18 Hewlett-Packard Development Company, L.P. Systems and methods for enhancing tone reproduction
US7433084B2 (en) * 2002-07-01 2008-10-07 Xerox Corporation Digital de-screening technique for scanned documents
EP1523181A4 (en) 2002-07-11 2005-12-07 Seiko Epson Corp PICTURE OUTPUT IMAGE ADJUSTMENT
US7280703B2 (en) * 2002-11-14 2007-10-09 Eastman Kodak Company Method of spatially filtering a digital image using chrominance information
EP1580692A4 (en) * 2002-12-20 2007-07-18 Mitsubishi Electric Corp IMAGE PROCESSING DEVICE, IMAGE DISPLAY DEVICE, IMAGE PROCESSING METHOD, IMAGE DISPLAY PROCESS
US7876974B2 (en) * 2003-08-29 2011-01-25 Vladimir Brajovic Method for improving digital images and an image sensor for sensing the same
US7412105B2 (en) * 2003-10-03 2008-08-12 Adobe Systems Incorporated Tone selective adjustment of images
US7269300B2 (en) * 2003-10-24 2007-09-11 Eastman Kodak Company Sharpening a digital image in accordance with magnification values
US7391933B2 (en) * 2003-10-30 2008-06-24 Samsung Electronics Co., Ltd. Method and apparatus for image interpolation based on adaptive polyphase filters
CN1300744C (zh) * 2003-12-09 2007-02-14 香港中文大学 对数字图像曝光不足的缺陷进行自动修正的方法和系统
US7317841B2 (en) * 2003-12-22 2008-01-08 Ge Medical Systems Global Technology Company, Llc System and method for image noise reduction using a minimal error spatiotemporal recursive filter
US7639892B2 (en) * 2004-07-26 2009-12-29 Sheraizin Semion M Adaptive image improvement
JP2008508751A (ja) * 2004-07-30 2008-03-21 アルゴリス インコーポレイテッド 符号化された画像信号に関する適応型3d虚構映像削減のための装置および方法
JP2006050155A (ja) 2004-08-03 2006-02-16 Sharp Corp 画像の鮮鋭化装置および方法、画像の鮮鋭化装置を用いた電子機器及び鮮鋭化プログラム、及びそのプログラムを記録した記録媒体
US7343047B2 (en) * 2004-09-22 2008-03-11 Hewlett-Packard Development Company, L.P. Systems and methods for arriving at an auto focus Figure of Merit
US7136536B2 (en) * 2004-12-22 2006-11-14 Telefonaktiebolaget L M Ericsson (Publ) Adaptive filter
JP4459137B2 (ja) * 2005-09-07 2010-04-28 株式会社東芝 画像処理装置及びその方法
US7599569B2 (en) * 2006-01-13 2009-10-06 Ati Technologies, Ulc Method and apparatus for bilateral high pass filter

Also Published As

Publication number Publication date
JP2010500659A (ja) 2010-01-07
US20080031538A1 (en) 2008-02-07
WO2008021742A2 (en) 2008-02-21
KR20090039824A (ko) 2009-04-22
EP2055093B1 (en) 2017-11-01
CN101502097A (zh) 2009-08-05
KR101059403B1 (ko) 2011-08-29
WO2008021742A3 (en) 2008-04-10
EP2055093A2 (en) 2009-05-06
US8442344B2 (en) 2013-05-14
CN101502097B (zh) 2013-10-30

Similar Documents

Publication Publication Date Title
JP5113171B2 (ja) イメージ情報にフィルタをかけるための適応空間イメージフィルタ
US7860334B2 (en) Adaptive image filter for filtering image information
JP5349790B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP5132401B2 (ja) 画像処理装置及び画像処理方法
US9113059B2 (en) Image pickup apparatus and image region discrimination method
JP4683994B2 (ja) 画像処理装置、画像処理方法、電子カメラ、スキャナ
US9148580B2 (en) Transforming wide dynamic range images to reduced dynamic range images
US8125528B2 (en) Apparatus for digital image stabilization, method using the same and computer readable medium stored thereon computer executable instructions for performing the method
US8189066B2 (en) Image processing apparatus, image processing method, and computer-readable medium
WO2018152977A1 (zh) 一种图像降噪方法及终端和计算机存储介质
JP4986820B2 (ja) 画像処理装置及び画像処理方法
JP2008147980A (ja) 画像処理装置及び撮像装置及び画像処理方法及びプログラム及び記憶媒体
JP5047055B2 (ja) 画像処理装置、撮像装置及び画像処理方法
US8532373B2 (en) Joint color channel image noise filtering and edge enhancement in the Bayer domain
JP5907590B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP6685198B2 (ja) 撮像装置及びその制御方法及びプログラム
Deever et al. Digital camera image formation: Processing and storage
US9071803B2 (en) Image processing apparatus, image pickup apparatus, image processing method and non-transitory computer-readable storage medium storing image processing program
US9007494B2 (en) Image processing apparatus, method for controlling the same and storage medium
JP2018151766A (ja) 画像処理装置、画像処理方法、及びプログラム
Lee et al. An efficient demosaiced image enhancement method for a low cost single-chip CMOS image sensor

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110809

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20111109

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20111116

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20111209

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20111216

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111222

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120306

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120419

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120911

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20121011

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151019

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 5113171

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250