JP5906188B2 - 範囲情報を使用したデジタル画像の輝度調整 - Google Patents

範囲情報を使用したデジタル画像の輝度調整 Download PDF

Info

Publication number
JP5906188B2
JP5906188B2 JP2012522803A JP2012522803A JP5906188B2 JP 5906188 B2 JP5906188 B2 JP 5906188B2 JP 2012522803 A JP2012522803 A JP 2012522803A JP 2012522803 A JP2012522803 A JP 2012522803A JP 5906188 B2 JP5906188 B2 JP 5906188B2
Authority
JP
Japan
Prior art keywords
digital image
brightness
amount
map
scene
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012522803A
Other languages
English (en)
Other versions
JP2013501264A (ja
JP2013501264A5 (ja
Inventor
ワン,セン
Original Assignee
インテレクチュアル ベンチャーズ ファンド 83 エルエルシー
インテレクチュアル ベンチャーズ ファンド 83 エルエルシー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by インテレクチュアル ベンチャーズ ファンド 83 エルエルシー, インテレクチュアル ベンチャーズ ファンド 83 エルエルシー filed Critical インテレクチュアル ベンチャーズ ファンド 83 エルエルシー
Publication of JP2013501264A publication Critical patent/JP2013501264A/ja
Publication of JP2013501264A5 publication Critical patent/JP2013501264A5/ja
Application granted granted Critical
Publication of JP5906188B2 publication Critical patent/JP5906188B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • G06T5/94Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20004Adaptive image processing
    • G06T2207/20012Locally adaptive
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074Stereoscopic image analysis
    • H04N2013/0081Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)

Description

本発明は、デジタル画像のエンハンスメントに関するものであり、より詳細には、範囲情報を使用したデジタル画像におけるオブジェクトの輝度を調整する方法に関する。
多くの画像形成システムでは、露光量及び輝度を最適化することが望まれる。しかし、露光量及び輝度のため、捕捉された画像が満足されるものではないことがある。
多くのデジタル画像形成システムで生じる共通の問題は、画像が暗すぎるか又は明るすぎることである。これらの問題は、デジタル画像捕捉装置における露光制御システムにより導入される誤差から生じることがある。デジタル画像の輝度を改善するために多くの方法が開発されている。係る技術は、「シーンバランスアルゴリズム」と呼ばれることがある。シーンバランスアルゴリズムは、それらの結果の精度と同様に、それらの複雑度においてばらつきが大きい。これらのアルゴリズムは、必要とされる輝度及びカラーバランス補償の適切なレベルを決定するため、画像における全体的な露光レベル及び相対的な色信号レベルの分布を分析することを典型的に含む。
従来の輝度調整方法の例は、米国特許第4101217号、米国特許第4707119号、米国特許第4984013号、米国特許第4945406号、米国特許第5016043号、米国特許第6636646号、米国特許第6845181号、米国特許第7129980号及び米国特許第7289154号に記載されている。
従来のシーンバランスアルゴリズムは、画像全体にグローバルな輝度及びカラーバランス調整を適用する。画像の一部のみが暗すぎること又は明るすぎることに何度も苦しむ。例えば、影の部分におけるオブジェクト、又はフラッシュ画像の背景におけるオブジェクトは暗くなりすぎ、フラッシュ画像の前景における画像は明るくなりすぎる場合がある。米国特許第6275695号及び米国特許第7043090号は、異なる輝度調整が異なる画像部分に適用されるように、画像のトーンスケールを調整する方法を記載している。トーンスケールの調整は、2次元デジタル画像の分析に基づいている。これらのアルゴリズムは、トーンスケールの調整量がオブジェクトにおいて一定である場合に、アーチファクトに苦しむことがある。
大部分の従来の輝度調整方法は、従来の2次元デジタル画像の分析に基づいて輝度補正値を決定する。米国特許出願公開第2007/0126921号は、画像の範囲情報を使用する露光及びトーンスケール調整を記載する。この方法によれば、所定の重要なオブジェクトを含む可能性がある画像領域に更なる重要性を課す重み付け関数を決定するために範囲情報が使用される。次いで、重み付け関数は、画像の全体の露光の調整量を決定するために使用される。この方法は画像の主要な被写体が適切に露光される可能性を高めるが、この方法は、画像における異なるオブジェクトが異なる露光の調整を必要とする場合があるという問題に対処するものではない。
本発明は、デジタル画像におけるオブジェクトの輝度を調整する方法を提供するものであり、当該方法は、データ処理システムにより少なくとも部分的に実現され、あるシーンを表すデジタル画像を受信すること、デジタル画像に関連する範囲の情報であって、基準となる位置からの前記シーンへの距離を含む範囲の情報を識別すること、範囲の情報とデジタル画像の分析に少なくとも基づいて、基準となる位置からの距離によりデジタル画像の画素をグループ分けするクラスタマップを生成すること、クラスタマップ及びデジタル画像の分析に少なくとも基づいて、デジタル画像における複数のオブジェクトを検出すること、それぞれのオブジェクトも輝度調整量を決定すること、及び、プロセッサがアクセス可能なメモリシステムに輝度調整量を記憶することを含む。
本発明の利点は、範囲情報を使用することで、複数のオブジェクトが検出され、改善された精度でグループ化することができることである。さらに、それぞれのオブジェクトの輝度は、個別に調節することができる。
更なる利点は、オブジェクトの輝度は、例えばフラッシュ照明に関連する低下のため、非一様のシーンの照明を考慮するために調節可能なことである。
ユーザインタフェースは、それぞれのオブジェクトについて輝度調整量を個別に指定するためのユーザ入力を提供することができる。
上述された実施の形態に加えて、更なる実施の形態は、図面を参照し、以下の詳細な記載を読むことで明らかとなるであろう。
本発明は、添付図面と共に考慮され、以下に定義される例示的な実施の形態の詳細な説明から明らかとなるであろう。
本発明の実施の形態に係る、デジタル画像におけるオブジェクトの輝度を調整するシステムのコンポーネントを示す図である。 本発明の実施の形態に係るデジタル画像におけるオブジェクトの輝度を調整する方法を例示するフローチャートである。 図2に示されるオブジェクトを検出するステップの更なる詳細を例示するフローチャートである。 図3に示されるクラスタマップを作成するステップの更なる詳細を例示するフローチャートである。
本発明は、本明細書で記載される実施の形態の組み合わせを含む。「特定の実施の形態」等に対する参照は、本発明の少なくとも1つの実施の形態に存在する特徴を示す。「実施の形態」又は「特定の実施の形態」等に対して個別に参照することは、必ずしも、同じ実施の形態を示すものではないが、係る実施の形態は、特に断りがないか又は当業者にとって容易に明らかでない限り、相互に排他的なものではない。「方法」を対する参照における単数及び/又は複数等の使用は、限定するものではない。
本明細書で使用される記載「デジタルコンテンツレコード」は、デジタル静止画、デジタルオーディオファイル、デジタルビデオファイル等のようなデジタルコンレンツのレコードを示す。
なお、特に明示的に記載されないか又は文脈により要求されない限り、単語「又は」は排他的な意味でこの開示において使用される。
図1は、本発明の実施の形態に係る、デジタル画像におけるオブジェクトの輝度を調整するシステムのコンポーネントを示す図である。本システムは、データ処理システム10.周辺システム20、ユーザインタフェースシステム30、及びデータストレージシステム40を含む。周辺システム20、ユーザインタフェースシステム30及びデータストレージシステム40は、データ処理システム10に通信可能に接続される。データ処理システム10は、1以上のデータ処理装置を含み、このデータ処理装置は、本発明の様々な実施の形態の処理を実現するものであり、本実施の形態に記載される図2,図3及び図4の例示的なプロセスを含む。記載「データ処理装置」又は「データプロセッサ」は、中央処理装置(CPU)、デスクトップコンピュータ、ラップトップコンピュータ、メインフレームコンピュータ、パーソナルデジタルアシスタント、Blackberry(登録商標)、デジタルカメラ、携帯電話、或いは、電気的、磁気的、光学的、生体学的コンポーネントで実現されるか否かを問わず、データを処理し、データを管理し又はデータを操作する他の装置のような、データ処理装置を含むことが意図される。
データストレージシステム40は、本実施の形態で記載される図2、図3及び図4の例示的なプロセスを含め、本発明の様々な実施の形態のプロセスを実行するために必要とされる情報を含めて、情報を記憶するために構成される1以上のプロセッサがアクセス可能なメモリを含む。データストレージシステム40は、複数のコンピュータ及び/又は装置を介してデータ処理システム10に通信可能に接続される複数のプロセッサがアクセス可能なメモリを含む、分散プロセッサアクセス可能なメモリシステムである。他方で、データストレージシステム40は、分散されたプロセッサがアクセス可能なメモリシステムである必要はなく、結果的に、単一のデータプロセッサ又は装置に位置される1以上のプロセッサがアクセス可能なメモリを含む。
記載「プロセッサがアクセス可能なメモリ」とは、揮発性又は不揮発性、電子的、磁気的、光学的、或いは、限定するものではないがレジスタ、フロプティカルディスク、ハードディスク、コンパクトディスク、DVD、フラッシュメモリ、ROM及びRAMを含むものであるか否かを問わず、プロセッサがアクセス可能なデータストレージデバイスを含むことが意図される。
記載「通信可能に接続される」とは、データが伝達される装置間、データプロセッサ又はプログラム間で、有線であるか無線であるかを問わず、任意のタイプの接続を含むことが意図される。さらに、記載「通信可能に接続される」とは、単一のデータプロセッサにおける装置間又はプログラム間の接続、異なるデータプロセッサに位置される装置又はプログラム間の接続、データプロセッサに位置されない装置間の接続を含むことが意図される。この点に関して、データストレージシステム40はデータ処理システム10とは個別に示されているが、当業者であれば、データストレージシステム40はデータ処理システム10に完全に含まれるか又は部分的に含まれる場合があることを理解されるであろう。さらに、この点に関して、周辺システム20及びユーザインタフェースシステム30はデータ処理システム10とは個別に示されているが、当業者であれば、係るシステムの一方又は両方がデータ処理システム10に完全に記憶されるか又は部分的に記憶される場合があることを理解されるであろう。
周辺システム20は、データ処理システム10にデジタルコンテンツのレコードを提供する1以上の装置を含む。例えば、周辺システム20は、デジタルスチルカメラ、デジタルビデオカメラ、携帯電話又は他のデータプロセッサを含む。データ処理システム10は、周辺システム20における装置からデジタルコンテンツのレコードの受信に応じて、データストレージシステム40に係るデジタルコンテンツのレコードを記憶する。
ユーザインタフェースシステム30は、マウス、キーボード、別のコンピュータ、データがデータ処理システムに入力される装置又は装置の組み合わせを含む。この点に関して、周辺システム20はユーザインタフェースシステム30とは個別に示されているが、周辺システム20は、ユーザインタフェースシステム30の一部として含まれる場合がある。
また、ユーザインタフェース30は、表示装置、プロセッサがアクセス可能なメモリ、又はデータがデータ処理システム10により出力される装置又は装置の組み合わせを含む場合がある。この点に関して、ユーザインタフェースシステム30及びデータストレージシステム40が図1において個別に示されているが、ユーザインタフェースシステム30がプロセッサによりアクセス可能なメモリを含む場合、係るメモリは、データストレージシステム40の一部である場合がある。
図2は、本発明の実施の形態に係るデジタル画像における輝度を最適化する方法を例示するフローダイアグラムである。あるシーンを表すデジタル画像103は、デジタル画像を受信するステップ102で受信される。デジタル画像103は、デジタルカメラ又はスキャナにより捕捉される。代替的に、デジタル画像は、ビデオカメラにより捕捉されるビデオ系列のフレームである場合がある。
範囲情報を識別するステップ104において、デジタル画像103に関連される範囲情報105が識別される。範囲情報105は、既知の基準となる位置から、そのシーンにおける画素の距離を含む。所与の範囲情報に対して視点の位置が識別される必要がある。通常、視点の位置は、基準となる位置である。範囲情報105は、シーンにおける画素への距離を決定するため、可視光、赤外線、レーザ光又は超音波を使用するレンジングカメラにより提供されるレンジマップの形式で提供されることが好ましい。代替的に、レンジマップは、複数の視点からあるシーンの画像を捕捉すること、及びそのシーンにおけるオブジェクト相対的な位置を評価することで範囲情報を決定することを含む立体画像処理技術を使用して提供される。レンジマップがデジタル画像103とは異なる次元(すなわち行数及び列数)を有する場合について、レンジマップは、同じ次元を有するように補間されることが好ましい。
オブジェクトを検出するステップ106で、複数のオブジェクト107は、少なくとも範囲情報105の分析に基づいてデジタル画像で検出される。輝度調整を決定するステップ108では、それぞれのオブジェクトの輝度調整量は、カメラの位置である、視点からのそれぞれのオブジェクトの距離を考慮する分析を使用して決定される。デジタル画像におけるそれぞれの画素は、補間された範囲マップにより示されるように、視点からのその対応する距離に基づいた輝度パラメータαを受信する。
Figure 0005906188
α(x,y)は、デジタル画像における位置(x,y)における画素の輝度パラメータであり、dis(x,y)は、視点からこの画素の距離であり、f()は、べき関数、多項式関数又は指数関数のような線形関数又は非線形関数である。例えば、フラッシュシーンにおける非一様な照明による輝度の違いを補正するため、f()関数は、遠くのオブジェクトが明るく、近くのオブジェクトが暗くされるように、露光が公知の「逆二乗の法則」の関係に従って低下する事実を補償するように設計される。
オブジェクトを検出するステップ106において検出されたそれぞれのオブジェクトの輝度調整量γは、以下のように、それぞれの画素について輝度パラメータの値α(x,y)の平均を取ることで決定される。
Figure 0005906188
γjは、j番目のオブジェクトの輝度調整量であり、mは、j番目のオブジェクトにおける画素数である。
範囲の値に基づく輝度パラメータα(x,y)に加えて、更なる輝度パラメータも使用することができる。例えば、更なる輝度パラメータは、画像における画素の位置に基づくことができる(例えばデジタル画像のエッジ近くの画素の明るさは、画像におけるレンズの低下を考慮するために増加する場合がある)。同様に、更なる輝度パラメータは、局所的な画像の構造に基づくことができる(例えば高いエッジの勾配を有する画像の位置にある画素又は画像の位置の近くにある画素の輝度は増加する場合がある)。
本発明の別の変形例では、検出されたオブジェクト107について輝度調整量は、ユーザインタフェースを有するデジタル画像編集アプリケーションを使用してユーザにより指定することができる。ユーザインタフェースは、ユーザが、検出されたオブジェクト107のうちの1つを選択することでユーザ入力を提供し、例えばスライドバーを使用して所望の輝度調整量を指定することを可能にする。輝度調整量は、オブジェクト107に適用され、プレビュー画像は、新たな輝度レベルを示してユーザに提示される。ユーザにより指定された輝度調整量は、自動的に決定された輝度調整量に対して補足となることができるか、又は代替的に、指定された輝度調整量は、オリジナルのデジタル画像103において調整されていないオブジェクトの輝度に対して指定することができる。
任意の輝度調整を変更するステップ109では、それぞれのオブジェクトの輝度調整が他の要素に応じて変更される(図2における破線は任意の特徴を示す)。例えば、どのオブジェクト107が人物に対応するかを識別するために画像分析アルゴリズムを使用することができ、これに応じて輝度調整を変更することができる。結果として得られる輝度調整110は、輝度調整を記憶するステップ111を使用してプロセッサがアクセス可能なメモリシステムに記憶される。
デジタル画像103におけるそれぞれのオブジェクトの輝度は、それぞれのオブジェクトの輝度調整を適用するステップ110により調整される。画像の輝度を変更する方法は、当該技術分野において知られている。本発明の好適な実施の形態では、デジタル画像103の画素値が露光量の対数を表すとき、輝度調整110は、オフセットを画素値に線形に付加することで適用される。同様に、デジタル画像103の画素値が露光量に比例するとき、定数乗算器により画素値を非線形にスケーリングすることで、輝度調整110が適用される。何れのケースにおいても、輝度調整110は、シーンにおける光量をスケーリングする物理的なプロセス(例えば光源の照明を暗くするか又は明るくする)をモデル化する。輝度調整110は、他のやり方で適用することもできる。例えば、オブジェクトのL*(明度)又はY(輝度)は、デジタル画像103がCIELAB色空間にあるか又はYCrCb輝度-色度色空間にあるときにシフトされるか又は非線形に変更される。
図3は、本発明の実施の形態に係る、図2で示されたオブジェクトを検出するステップ106の更なる詳細を例示するフローチャートである。デジタル画像103及び範囲情報105は、入力として供給される。クラスタマップを生成するステップ202では、範囲情報105及びデジタル画像103の分析に基づいて、クラスタマップ203が生成される。クラスタマップを生成するステップ202の更なる詳細は、図4を参照して以下に記載される。オブジェクトを検出するステップ204では、以下の式に従って、クラスタマップ203及びデジタル画像103を結合することでデジタル画像103で検出される。
Figure 0005906188
関数f()は、クラスタマップ203を使用してデジタル画像Iに適用されるオブジェクトセグメント化の動作である。デジタル画像Iは、デジタル画像103である。関数f()は、同じ距離を有するクラスタマップ203における画素を識別し、次いでデジタル画像における対応する画素を対応するオブジェクト107に割り当てることで機能する。
図4は、本発明の実施の形態によれば、図3に示されるクラスタマップを生成するステップ202の更なる詳細を説明するフローチャートである。デジタル画像103と、レンジマップを含む範囲情報105とは、先に記載されたように提供される。画素をクラスタリングするステップ304では、レンジマップにおける画素は、“Dominant Sets and Pairwise Clustering”(IEEE Transactions on Pattern Analysis & Machine Intelligence, Vol.29, No.1, January 2007, pp.167-172)に記載される方法のようなクラスタリングアルゴリズムを使用することでクラスタリングされる。この方法で生成されたクラスタグループは、多くのノイズを典型的に有する。クラスタノイズを生成するステップ306は、小さなホールを充填して小さなクラスタ領域を除く形態方法を使用してクラスタノイズを低減するために使用される。
エッジを識別するステップ308を使用して、デジタル画像におけるエッジが検出される。本発明の好適な実施の形態では、勾配演算を使用してエッジが識別される。画像の勾配は、以下のように定義される。
Figure 0005906188
I(x,y)は位置(x,y)での画素の強度である。勾配ベクトルの大きさは、以下に示される。
Figure 0005906188
それぞれの画素における勾配の大きさに基づいて、デジタル画像におけるエッジが検出される。
つぎに、エッジをフィルタリングするステップ310は、検出されたエッジをフィルタリングして、重要でないエッジを除き、重要なエッジを保持するために使用される。数学的に、フィルタリング演算は、以下のように表される。
Figure 0005906188
eは検出されたエッジのうちの1つであり、S(e)はエッジにおけるそれぞれの画素の勾配の大きさの合計であり、fはフィルタマスクであり、Tは閾値である。
クラスタノイズを低減するステップ306により生成された画素クラスタは、典型的に、レンジマップにおけるノイズのために境界領域においてエラーをなお有する。クラスタを改善(リファイン)するステップ312は、クラスタのグループをリファインし、クラスタマップ203を生成するために使用される。クラスタグループの境界は、エッジをフィルタリングするステップ310において計算された重要なエッジを使用することでリファインされる。画素がそれぞれのクラスタグループにおいて検出された重要なエッジの外にある場合、これらの画素が除かれる。これは、クラスタのグループの境界をより正確にする。つぎに、平均距離nは、以下のように、リファインされたクラスタグループのそれぞれにおいて計算される。
Figure 0005906188
ここでmはクラスタグループwにおける画素数であり、dis(i)はi番目の画素の視点の位置までの距離である。平均の距離をクラスタグループにおけるそれぞれの画素に割り当てることで、クラスタマップが生成される。
例示的な実施の形態は本発明を例示するものであって、上述された実施の形態の多くの変形例は、本発明の範囲から逸脱することなしに当業者により創作されることを理解されたい。従って、全ての係る変形例は以下の特許請求の範囲及びそれらの等価な概念の範囲に含まれることが意図される。
10:データ処理システム
20:周辺システム
30:ユーザインタフェースシステム
40:データストレージシステム
102:デジタル画像を受信するステップ
103:デジタル画像
104:範囲情報を識別するステップ
105:範囲情報
106:オブジェクトを検出するステップ
107:オブジェクト
108:輝度調整量を決定するステップ
109:輝度調整量を変更するステップ
110:輝度調整
111:輝度調整量を記憶するステップ
202:クラスタマップを生成するステップ
203:クラスタマップ
204:オブジェクトを検出するステップ
304:画素をクラスタリングするステップ
306:クラスタノイズを低減するステップ
308:エッジを識別するステップ
310:エッジをフィルタリングするステップ
312:クラスタをリファインするステップ

Claims (15)

  1. デジタル画像におけるオブジェクトの輝度を調整する方法であって、
    当該方法は、データ処理システムにより少なくとも部分的に実行され、
    あるシーンを表すデジタル画像を受信するステップと、
    前記デジタル画像と関連されるレンジマップであって、基準となる既知の位置からの、前記シーンにおける画素の距離を含むレンジマップを特定するステップと、
    前記レンジマップと前記デジタル画像との分析に少なくとも基づいて、前記基準となる既知の位置からの距離により前記デジタル画像の画素をグループ分けするクラスタマップを生成するステップと、
    前記クラスタマップを使用して前記デジタル画像に適用されるオブジェクトセグメント化の動作により、前記デジタル画像における背景及び複数のオブジェクトを検出するステップと、
    それぞれのオブジェクトについて輝度を調整する量を決定するステップであって、それぞれのオブジェクトの前記輝度を調整する量は、前記シーンの非一様な照明を補正するために決定され、画素値が露光量に比例する場合、定数乗算器により、前記画素値を非線形にスケーリングすることによって、前記輝度を調節する量が適用されるステップと、
    プロセッサがアクセス可能なメモリシステムに前記輝度を調整する量を記憶するステップと、
    を含むことを特徴とする方法。
  2. それぞれのオブジェクトの輝度を調整する量に応じて、前記デジタル画像において検出されたオブジェクトの輝度を調整するステップと、変更されたデジタル画像を前記プロセッサがアクセス可能なメモリシステムに記憶するステップとを更に含み、
    前記変更されたデジタル画像は、調整されたオブジェクトの輝度を有する、
    請求項1記載の方法。
  3. 前記クラスタマップと前記デジタル画像の分析は、前記デジタル画像においてエッジを識別するステップと、識別されたエッジを前記画素のグループの境界と比較することで、
    前記クラスタマップにおける前記画素のグループをグループ化し直すステップとを更に含む、
    請求項1記載の方法。
  4. 識別されたエッジは、前記画素のグループの境界との比較の前に重要ではないエッジを除くフィルタリング処理を受ける、
    請求項3記載の方法。
  5. それぞれのオブジェクトの輝度を調整する量は、前記基準となる位置からのそれぞれのオブジェクトの距離の分析に基づいて決定される、
    請求項1記載の方法。
  6. 検出されたオブジェクトの輝度の調整の量は、前記検出されたオブジェクトにおけるそれぞれの画素の輝度パラメータであって、画素と視点との間の距離の関数である輝度パラメータを計算するステップと、前記輝度パラメータに応じて前記検出されたオブジェクトについて前記輝度を調整する量を決定するステップとにより少なくとも決定される、
    請求項5記載の方法。
  7. 前記輝度パラメータは、画素の位置又は局所的な画像の構造の関数である、
    請求項6記載の方法。
  8. それぞれのオブジェクトの前記輝度を調整する量は、ユーザからの入力により少なくとも部分的に決定される、
    請求項1記載の方法。
  9. 視点の位置を識別するステップを更に含む、
    請求項1記載の方法。
  10. 前記視点の位置は、前記基準となる位置である、
    請求項記載の方法。
  11. 前記レンジマップは、可視光、赤外光、超音波又はレーザ光を感知する測距カメラから受信される、
    請求項1記載の方法。
  12. 前記レンジマップは、立体画像のペアの分析で特定される、
    請求項1記載の方法。
  13. 前記デジタル画像は、デジタルカメラ又はスキャナにより捕捉される、
    請求項1記載の方法。
  14. コンピュータに、請求項1記載の方法を実行させるための命令を含むコンピュータプログラム。
  15. デジタル画像におけるオブジェクトの輝度を調整するシステムであって、
    受信装置を含む周辺システムと、
    特定装置、生成装置、検出装置、及び決定装置を含むデータ処理システムと、
    前記データ処理システムに通信可能に接続され、デジタル画像におけるオブジェクトの輝度を調整する方法を前記データ処理システムに実行させる命令を記憶する記憶装置を備えるデータ記憶システムとを備え、
    前記方法は、
    あるシーンを表すデジタル画像を前記受信装置が受信するステップと、
    前記デジタル画像と関連されるレンジマップであって、基準となる既知の位置からの、前記シーンにおける画素の距離を含むレンジマップを前記特定装置が特定するステップと、
    前記レンジマップと前記デジタル画像との分析に少なくとも基づいて、前記基準となる既知の位置からの距離により前記デジタル画像の画素をグループ分けするクラスタマップを前記生成装置が生成するステップと、
    前記クラスタマップを使用して前記デジタル画像に適用されるオブジェクトセグメント化の動作により、前記デジタル画像における背景及び複数のオブジェクトを前記検出装置が検出するステップと、
    それぞれのオブジェクトについて輝度を調整する量を前記決定装置が決定するステップであって、それぞれのオブジェクトの前記輝度を調整する量は、前記シーンの非一様な照明を補正するために決定され、画素値が露光量に比例する場合、定数乗算器により、前記画素値を非線形にスケーリングすることによって、前記輝度を調節する量が適用されるステップと、
    前記輝度を調整する量を適用して、前記デジタル画像において検出されたオブジェクトの輝度を調整し、調整されたオブジェクトの輝度を有する変更されたデジタル画像を形成するステップと、
    前記調整されたオブジェクトの輝度を有する前記変更されたデジタル画像の、前記記憶装置による記憶又は出力を行うステップと、
    を含むことを特徴とするシステム。
JP2012522803A 2009-07-31 2010-07-22 範囲情報を使用したデジタル画像の輝度調整 Active JP5906188B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/533,325 US8213052B2 (en) 2009-07-31 2009-07-31 Digital image brightness adjustment using range information
US12/533,325 2009-07-31
PCT/US2010/002070 WO2011014236A1 (en) 2009-07-31 2010-07-22 Digital image brightness adjustment using range information

Publications (3)

Publication Number Publication Date
JP2013501264A JP2013501264A (ja) 2013-01-10
JP2013501264A5 JP2013501264A5 (ja) 2013-07-11
JP5906188B2 true JP5906188B2 (ja) 2016-04-20

Family

ID=42633099

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012522803A Active JP5906188B2 (ja) 2009-07-31 2010-07-22 範囲情報を使用したデジタル画像の輝度調整

Country Status (5)

Country Link
US (1) US8213052B2 (ja)
EP (1) EP2460142A1 (ja)
JP (1) JP5906188B2 (ja)
CN (1) CN102576456B (ja)
WO (1) WO2011014236A1 (ja)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5175910B2 (ja) * 2010-09-16 2013-04-03 株式会社東芝 画像処理装置、画像処理方法およびプログラム
JP5254297B2 (ja) * 2010-09-27 2013-08-07 株式会社東芝 画像処理装置
US20120242795A1 (en) 2011-03-24 2012-09-27 Paul James Kane Digital 3d camera using periodic illumination
WO2013111732A1 (ja) * 2012-01-24 2013-08-01 公益財団法人名古屋産業科学研究所 気体分離膜
US8964089B2 (en) 2012-05-09 2015-02-24 Canon Kabushiki Kaisha Systems and methods for simulated preview for preferred image exposure
US9390481B2 (en) 2013-05-05 2016-07-12 Google Inc. Enhancing content appearance
US10764563B2 (en) * 2014-11-13 2020-09-01 Intel Corporation 3D enhanced image correction
CN104517270A (zh) * 2014-12-25 2015-04-15 深圳市一体太赫兹科技有限公司 一种太赫兹图像处理方法及系统
US9626582B2 (en) * 2014-12-30 2017-04-18 Kodak Alaris Inc. System and method for measuring mobile document image quality
KR102247526B1 (ko) 2015-07-10 2021-05-03 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
EP3540774B1 (en) * 2018-03-16 2020-09-30 Teledyne Dalsa B.V. Image sensor and imaging system comprising the same
WO2020106629A1 (en) * 2018-11-19 2020-05-28 Intuitive Surgical Operations, Inc. Systems and methods for emulating far-range lighting for an operational scene illuminated by close-range light
CN112153240B (zh) 2019-06-27 2021-11-09 深圳Tcl数字技术有限公司 一种调整图像画质方法、装置及可读存储介质
CN112153298B (zh) * 2019-06-28 2022-03-01 北京地平线机器人技术研发有限公司 确定目标对象理想亮度的方法及装置
JP7398939B2 (ja) * 2019-12-03 2023-12-15 キヤノン株式会社 画像処理装置およびその制御方法、撮像装置、プログラム、並びに記憶媒体

Family Cites Families (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE2535034B2 (de) 1975-08-06 1978-01-26 Agfa-Gevaert Ag, 5090 Leverkusen Fotografisches farbkopiergeraet mit einer fotoelektrisch gesteuerten belichtungssteuervorrichtung
JPS6159446A (ja) 1984-08-31 1986-03-26 Fuji Photo Film Co Ltd 写真焼付装置
US4984013A (en) 1988-04-26 1991-01-08 Fuji Photo Film Co., Ltd. Method for controlling exposure amount in copying of color originals
DE58905761D1 (de) 1988-09-23 1993-11-04 Gretag Imaging Ag Belichtungssteuerungsverfahren und fotografisches farbkopiergeraet.
US4945406A (en) 1988-11-07 1990-07-31 Eastman Kodak Company Apparatus and accompanying methods for achieving automatic color balancing in a film to video transfer system
US6243133B1 (en) 1997-03-07 2001-06-05 Eastman Kodak Company Method for automatic scene balance of digital images
US6252976B1 (en) 1997-08-29 2001-06-26 Eastman Kodak Company Computer program product for redeye detection
US6275605B1 (en) 1999-01-18 2001-08-14 Eastman Kodak Company Method for adjusting the tone scale of a digital image
JP3820497B2 (ja) 1999-01-25 2006-09-13 富士写真フイルム株式会社 撮像装置及び自動露出制御の補正処理方法
JP2001005978A (ja) * 1999-06-18 2001-01-12 Sony Corp 物体抽出装置、物体抽出方法、およびプログラム提供媒体
US7289154B2 (en) 2000-05-10 2007-10-30 Eastman Kodak Company Digital image processing method and apparatus for brightness adjustment of digital images
US6636646B1 (en) 2000-07-20 2003-10-21 Eastman Kodak Company Digital image processing method and for brightness adjustment of digital images
EP1229734A1 (en) 2001-01-31 2002-08-07 GRETAG IMAGING Trading AG Automatic colour defect correction
US6873743B2 (en) 2001-03-29 2005-03-29 Fotonation Holdings, Llc Method and apparatus for the automatic real-time detection and correction of red-eye defects in batches of digital images or in handheld appliances
US6980691B2 (en) 2001-07-05 2005-12-27 Corel Corporation Correction of “red-eye” effects in images
US6845181B2 (en) 2001-07-12 2005-01-18 Eastman Kodak Company Method for processing a digital image to adjust brightness
EP1288859A1 (de) 2001-09-03 2003-03-05 Agfa-Gevaert AG Verfahren zum automatischen Erkennen von rote-Augen-Defekten in fotografischen Bilddaten
EP1288860A1 (de) 2001-09-03 2003-03-05 Agfa-Gevaert AG Verfahren zur Verarbeitung digitaler fotografischer Bilddaten, welches ein Verfahren zum automatischen Erkennen von rote-Augen-Defekten umfasst
EP1293933A1 (de) 2001-09-03 2003-03-19 Agfa-Gevaert AG Verfahren zum automatischen Erkennen von rote-Augen-Defekten in fotografischen Bilddaten
US7046400B2 (en) 2002-01-31 2006-05-16 Eastman Kodak Company Adjusting the color, brightness, and tone scale of rendered digital images
US6573932B1 (en) 2002-03-15 2003-06-03 Eastman Kodak Company Method for automatic white balance of digital images
US7158174B2 (en) 2002-04-04 2007-01-02 Eastman Kodak Company Method for automatic white balance of digital images
JP2003304562A (ja) * 2002-04-10 2003-10-24 Victor Co Of Japan Ltd オブジェクト符号化方法、オブジェクト符号化装置、及びオブジェクト符号化用プログラム
US7082211B2 (en) 2002-05-31 2006-07-25 Eastman Kodak Company Method and system for enhancing portrait images
US7043090B2 (en) 2002-10-02 2006-05-09 Eastman Kodak Company Enhancing the tonal characteristics of digital images using expansive and compressive tone scale functions
US7116838B2 (en) 2002-10-25 2006-10-03 Eastman Kodak Company Enhancing the tonal and spatial characteristics of digital images using selective spatial filters
JP2004148704A (ja) * 2002-10-31 2004-05-27 Kyocera Mita Corp 画像処理方法,画像処理装置
US7421418B2 (en) 2003-02-19 2008-09-02 Nahava Inc. Method and apparatus for fundamental operations on token sequences: computing similarity, extracting term values, and searching efficiently
JP2004282532A (ja) * 2003-03-18 2004-10-07 Ricoh Co Ltd 画像処理装置
JP4196845B2 (ja) 2003-03-31 2008-12-17 セイコーエプソン株式会社 画像処理装置
JP3955953B2 (ja) 2003-09-12 2007-08-08 国立大学法人広島大学 画像分割処理装置、画像分割処理方法及び画像分割処理集積化回路
GB2409027A (en) 2003-12-11 2005-06-15 Sony Uk Ltd Face detection
US7663689B2 (en) 2004-01-16 2010-02-16 Sony Computer Entertainment Inc. Method and apparatus for optimizing capture device settings through depth information
WO2005076736A2 (en) 2004-02-13 2005-08-25 Technion Research And Development Foundation Ltd. Enhanced underwater imaging
TWI236901B (en) 2004-06-11 2005-08-01 Oriental Inst Technology An apparatus and method for identifying surrounding environment by means of image processing and for outputting the resutls
JP2006279546A (ja) * 2005-03-29 2006-10-12 Nikon Corp 電子カメラ、画像処理プログラム、および画像処理方法
US7821570B2 (en) 2005-11-30 2010-10-26 Eastman Kodak Company Adjusting digital image exposure and tone scale
US20070121094A1 (en) 2005-11-30 2007-05-31 Eastman Kodak Company Detecting objects of interest in digital images
KR101311896B1 (ko) 2006-11-14 2013-10-14 삼성전자주식회사 입체 영상의 변위 조정방법 및 이를 적용한 입체 영상장치
WO2008102296A2 (en) 2007-02-23 2008-08-28 Koninklijke Philips Electronics N.V. Method for enhancing the depth sensation of an image
JP4916378B2 (ja) * 2007-05-15 2012-04-11 三洋電機株式会社 撮像装置、画像処理装置、画像ファイル及び階調補正方法
US7652716B2 (en) * 2007-05-31 2010-01-26 Microsoft Corporation Computer-controlled lighting for video communication
US8358370B2 (en) 2007-12-05 2013-01-22 Nxp B.V. Flash light compensation system for digital camera system

Also Published As

Publication number Publication date
JP2013501264A (ja) 2013-01-10
CN102576456B (zh) 2017-04-05
EP2460142A1 (en) 2012-06-06
CN102576456A (zh) 2012-07-11
US8213052B2 (en) 2012-07-03
US20110026051A1 (en) 2011-02-03
WO2011014236A1 (en) 2011-02-03

Similar Documents

Publication Publication Date Title
JP5906188B2 (ja) 範囲情報を使用したデジタル画像の輝度調整
CN108335279B (zh) 图像融合和hdr成像
US9292911B2 (en) Automatic image adjustment parameter correction
RU2400815C2 (ru) Способ повышения качества цифрового фотоизображения
US9020243B2 (en) Image adjustment
JP5671533B2 (ja) 立体画像対における遠近感および視差の調整
US8787659B2 (en) Automatic adaptation to image processing pipeline
Li et al. Detail-preserving multi-exposure fusion with edge-preserving structural patch decomposition
JP5436566B2 (ja) 画像を編集する方法及び装置
JP5779089B2 (ja) エッジ検出装置、エッジ検出プログラム、およびエッジ検出方法
JP6103649B2 (ja) 複数のレベルの中間閾値ビットマップを用いた、hdr画像処理におけるゴーストアーティファクトの検出および除去方法
Park et al. Generation of high dynamic range illumination from a single image for the enhancement of undesirably illuminated images
An et al. Probabilistic motion pixel detection for the reduction of ghost artifacts in high dynamic range images from multiple exposures
CN113674193A (zh) 图像融合方法、电子设备和存储介质
Choi et al. A method for fast multi-exposure image fusion
JP2017085570A (ja) 画像補正方法及び画像補正装置
CN110933304B (zh) 待虚化区域的确定方法、装置、存储介质与终端设备
Gao et al. Automated parameter tuning for tone mapping using visual saliency
Hsia et al. Improvement of face recognition using light compensation technique on real-time imaging
Wang et al. A novel deghosting method for exposure fusion
van Zwanenberg et al. A tool for deriving camera spatial frequency response from natural scenes (NS-SFR)
CN112995634B (zh) 图像的白平衡处理方法、装置、电子设备和存储介质
Dua et al. Underwater image enhancement by using amalgamation of colour correction, contrast-enhancing and dehazing
Shaffa A Region-based Histogram and Fusion Technique for Enhancing Backlit Images for Cell Phone Applications
Buades et al. Efficient joint noise removal and multi exposure fusion

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20130404

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130524

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130524

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140203

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140212

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140512

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20141007

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150129

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20150210

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20150227

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160318

R150 Certificate of patent or registration of utility model

Ref document number: 5906188

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250