JP5202190B2 - 画像処理方法及び画像処理装置 - Google Patents

画像処理方法及び画像処理装置 Download PDF

Info

Publication number
JP5202190B2
JP5202190B2 JP2008220209A JP2008220209A JP5202190B2 JP 5202190 B2 JP5202190 B2 JP 5202190B2 JP 2008220209 A JP2008220209 A JP 2008220209A JP 2008220209 A JP2008220209 A JP 2008220209A JP 5202190 B2 JP5202190 B2 JP 5202190B2
Authority
JP
Japan
Prior art keywords
data
image
adaptation
calculating
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008220209A
Other languages
English (en)
Other versions
JP2010055404A (ja
Inventor
直之 長谷川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2008220209A priority Critical patent/JP5202190B2/ja
Priority to US12/548,052 priority patent/US20100053360A1/en
Publication of JP2010055404A publication Critical patent/JP2010055404A/ja
Application granted granted Critical
Publication of JP5202190B2 publication Critical patent/JP5202190B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration by the use of local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing

Description

本発明は、ＨＤＲ技術等のダイナミックレンジ圧縮技術に適用可能な技術に関するものである。
現在、国内におけるデジタルカメラの世帯普及率は５０％を超えており（2004年内閣府消費動向調査）、「デジタルカメラで撮影する」という行為はごく一般的なものとなっている。ユーザが屋外等においてデジタルカメラであるシーンを撮影するとき、撮影可能な輝度レンジより撮影対象であるシーンの輝度レンジが広い場合がある。このとき、撮影可能な輝度レンジ外の被写体については、その階調情報を記録することができないため、白飛び・黒潰れが発生する。例えば、晴天時に屋外で人物を撮影する場合、人物に露出を合わせると背景の空や雲が白飛びしたり、木陰が黒潰れしたりするケースがある。
しかし、人間の視覚には、見ている領域の明るさに応じて順応状態を切り替えて明るさ・色を知覚する、「局所順応」と呼ばれる特性があり、明るい場所／暗い場所ともに階調を知覚することができる。このため、シーンを見た際の印象と撮影画像を見た際の印象が異なっている場合があり、デジタルカメラユーザの不満となっている。
このような問題を解決する技術の一つに、High Dynamic Range Imaging技術（ＨＤＲ技術）がある。ＨＤＲ技術は、大きく分けて、ＨＤＲキャプチャー技術とＨＤＲ再現技術から構成される。ＨＤＲキャプチャー技術は、撮影可能なダイナミックレンジを拡大し、白飛び・黒潰れが発生していた輝度レンジの階調情報を記録するための技術であり、例えば、複数の露出で撮影した画像を合成する等の方法がある。以下、このＨＤＲキャプチャー技術により取得される画像をＨＤＲ画像と称す。
ＨＤＲ再現技術は、ダイナミックレンジの広いＨＤＲ画像をダイナミックレンジの狭い表示／出力機器で好ましく再現するためのダイナミックレンジ圧縮技術であり、例えば、ＨＤＲ画像の低周波成分を圧縮する等の方法がある。このようにＨＤＲ技術では、ダイナミックレンジ拡大のためのキャプチャー技術と、それに対応した再現技術により、白飛び・黒潰れを軽減することができる。
前述のダイナミックレンジ圧縮技術については、これまでにも様々な方法が提案されている。例えば、J.Kuangらが提案している"iCAM06（非特許文献１参照）"は、人間がシーンを見たときの印象を表示／出力機器で再現するという考え方に基づいたダイナミックレンジ圧縮技術である。
iCAM06では、まず、ＨＤＲ画像を用いて人間が撮影シーンにおいて知覚していた明るさ・色の見えをシミュレートし、次に、その明るさ・色を出力機器で再現可能な明るさ・色に変換し、最後に表示／出力機器の信号値に変換する処理を行う。ここで、ＨＤＲ画像からシーンの見えをシミュレートするには、人間が明るさ・色を知覚するメカニズムをモデル化した「視覚モデル」が必要となる。iCAM06では、人間が知覚していた明るさ・色をより正確にシミュレートするために、前述の局所順応特性を反映した視覚モデルを用いている。
Kuang, J., Johnson, G.M., Fairchild M.D., "iCAM06: A refined image appearance model for HDR image rendering", Journal of Visual Communication, 2007
前述のiCAM06において、局所順応特性を考慮してＨＤＲ画像からシーンの見えをシミュレートするには、局所順応が起こる領域（順応視野サイズ）をＨＤＲ画像の画素数で与える必要がある。iCAM06では、シーンにおいて人間がどのように観察していたかという情報は不明であるとし、シーンにおける順応視野サイズを、どのようなＨＤＲ画像に対しても一律に、ＨＤＲ画像幅に対する割合（例えば５０％）で与えていた。しかし、順応視野サイズは、そのシーンを観察していた距離に依存するため、撮影画像によらず一律に決定する方法では、シーンの見えが正確にシミュレートできないという課題がある。
そこで本発明の目的は、ＨＤＲ技術等において、より正確にシーンの見えをシミュレートし、シーンを見た際の印象を精度良く再現することにある。
本発明の画像処理方法は、画像データの撮影時の状態を示す撮影データを取得する取得工程と、順応視野角を示すデータ及び前記取得工程により取得された前記撮影データを用いて順応視野サイズを算出する順応視野サイズ算出工程と、前記画像データに対して前記順応視野サイズに応じたフィルタ処理を実行し、前記画像データの撮影対象となったシーンの順応状態を示すデータを算出する順応状態算出工程と、前記順応状態を示すデータを用いて前記シーンの見えを示すデータを算出するシーンの見え算出工程とを含み、前記撮影データは、前記画像データの撮影時の画角を算出するために必要な情報、又は、前記画像データの撮影時の画角を示す情報を含むことを特徴とする。
本発明においては、画像データの撮影時の状態を示す撮影データ等を用いて順応視野サイズを算出し、順応視野サイズに応じたフィルタ処理を画像データに施して順応状態を示すデータを算出する。そして、画像データの撮影対象となったシーンの順応状態を示すデータを用いてそのシーンの見えを示すデータを算出するように構成している。従って本発明によれば、撮影されたシーンの画像データと順応視野サイズとを正確に対応付けることができ、ＨＤＲ技術等において、より正確にシーンの見えをシミュレートすることが可能となり、シーンを見た際の印象を精度良く出力／表示することができる。
以下、本発明を適用した好適な実施形態を、添付図面を参照しながら詳細に説明する。
先ず、本発明の第１の実施形態について説明する。図１は、本発明の第１の実施形態に係る画像処理装置の構成を示すブロック図である。図１の入力部１０１は、ユーザからの指示やデータを入力する装置であり、キーボードやポインティング装置を含む。なお、ポインティング装置としては、マウス、トラックボール、トラックパッド及びタブレット等が挙げられる。あるいは、本実施形態に係る画像処理装置を例えば公知のデジタルカメラやプリンタ等の機器に適用する場合には、ボタンやモードダイヤル等で構成されるのであってもよい。また、キーボードをソフトウェアで構成（ソフトウェアキーボード）し、ボタンやモードダイヤル、あるいは先に挙げたポインティングデバイスを操作して文字を入力するように構成するのであってもよい。
データ保存部１０２は、画像データを保持する部分である。データ保存部１０２は通常、ハードディスク、フレキシブルディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ、メモリーカード、ＣＦカード、スマートメディア、ＳＤカード、メモリスティック、ｘＤピクチャーカード、ＵＳＢメモリ等で構成される。データ保存部１０２には画像データの他にも、プログラムやその他のデータを保存することも可能である。また、後述するＲＡＭ１０６の一部をデータ保存部１０２として用いるのであってもよい。さらに、後述する通信部１０７により接続した先の機器のデータ保存部１０２を通信部１０７を介して利用する、というように仮想的に構成しても良い。
表示部１０３は、画像処理前、画像処理後の画像を表示、あるいはＧＵＩ等の画像を表示する装置であり、一般的にはＣＲＴや液晶ディスプレイ等が用いられる。また、ケーブル等で接続された装置外部のディスプレイ装置であっても構わない。さらに、公知のタッチスクリーンであっても良い。その場合、タッチスクリーンによる入力については入力部１０１の入力として扱うことも可能である。
１０４は、ＣＰＵであり、上述した各構成の処理の全てに関わる。ＲＯＭ１０５とＲＡＭ１０６は、その処理に必要なプログラム、データ、作業領域等をＣＰＵ１０４に提供する。また、後述する処理に必要な制御プログラムがデータ保存部１０２に格納されている場合やＲＯＭ１０５に格納されている場合には、一旦ＲＡＭ１０６に読み込まれてから実行される。さらに、通信部１０７を経由して装置がプログラムを受信する場合には、一旦データ保存部１０２に記録した後にＲＡＭ１０６に読み込まれるか、通信部１０７からＲＡＭ１０６に直接読み込まれてから実行される。
通信部１０７は、機器間の通信を行うためのＩ／Ｆである。これは例えば、公知のイーサネット（登録商標）、ＵＳＢ、ＩＥＥＥ１２８４、ＩＥＥＥ１３９４、電話回線等の有線による通信方式であってもよい。あるいは、赤外線(ＩｒＤＡ)、ＩＥＥＥ８０２．１１ａ、ＩＥＥＥ８０２．１１ｂ、ＩＥＥＥ８０２．１１ｇ、Ｂｌｕｅｔｏｏｔｈ、ＵＷＢ（Ｕｌｔｒａ Ｗｉｄｅ Ｂａｎｄ）等の無線通信方式であってもよい。
なお、図１では入力部１０１、データ保存部１０２、表示部１０３が全て１つの装置内に含まれるような図を示しているが、これらの部分が公知の通信方式による通信路で接続されており、全体としてこのような構成となっているのであっても構わない。
なお、システム構成については、上記以外にも様々な構成要素が存在するが、本発明の主眼ではないので、その説明は省略する。
次に、本発明の第１の実施形態に係る画像処理装置が実行する処理について説明する。図２は、本発明の第１の実施形態に係る画像処理装置の処理の流れを示すフローチャートである。
先ず、ステップＳ２０１において、ＣＰＵ１０４は、表示部１０３に図３に示すＵＩを表示する。次に、ＣＰＵ１０４は、データ保存部１０２から、ユーザ指示により入力部１０１を介して設定された画像ファイルの画像データ及び撮影データを読み出し、ＲＡＭ１０６に記録する。なお、ステップＳ２０１は、本発明の取得工程の適用例となる処理である。
図４は、画像ファイルの構成を示す図である。画像ファイルに含まれる画像データとは、図４に示すように、全画素の８ビットＲＧＢ値が記録されたデータのことである。また、画像ファイルに含まれる撮影データとは、図４に示すように画像サイズや撮影時の情報として、画像幅、画像高さ、撮影日時、光学センサ幅、光学センサ高さ、レンズ焦点距離、拡大率、露光時間、絞り値、ＩＳＯ感度が記録されたデータのことを指す。
ステップＳ２０２において、ＣＰＵ１０４は、予めデータ保存部１０２に記録されている順応視野角を読み込み、読み込んだ順応視野角及びＲＡＭ１０６に記録された撮影データを用いて順応視野サイズを算出する。ここで、順応視野とは、視覚が局所的に順応する領域のことを指す。ステップＳ２０２の詳細については後述する。なお、ステップＳ２０２は、本発明の順応視野サイズ算出工程の適用例となる処理である。
ステップＳ２０３において、ＣＰＵ１０４は、ステップＳ２０１でＲＡＭ１０６に記録された画像データと撮影データとを読み出し、読み出した撮影データを用いて画像データを三刺激値（絶対ＸＹＺ値）に変換する。次に、ＣＰＵ１０４は、変換された絶対ＸＹＺ値、及び、ステップＳ２０２で算出された順応視野サイズを用いて、順応状態を示すデータを算出する。ここで、順応状態を示すデータとは、視覚が順応する三刺激値（絶対ＸＹＺ値）のことを指す。ステップＳ２０３の詳細については後述する。なお、ステップＳ２３は、本発明の順応状態算出工程の適用例となる処理である。
ステップＳ２０４において、ＣＰＵ１０４は、ステップＳ２０３で算出された絶対ＸＹＺ値及び順応状態を示すデータを読み出す。次に、ＣＰＵ１０４は、読み出した絶対ＸＹＺ値及び順応状態を示すデータを用いてシーンの見えを示すデータを算出し、データ保存部１０２に記録する。ここでシーンの見えを示すデータとは、シーンの見えを色・明るさで表した数値のことを指す。ステップＳ２０４の詳細については後述する。なお、ステップＳ２０４は、本発明のシーンの見え算出工程の適用例となる処理である。
図５は、本実施形態に係る画像処理装置が実行する処理とデータとの関係を示す図である。即ち、図５のステップＳ２０２〜Ｓ２０４は、図２のステップＳ２０２〜Ｓ２０４に対応している。また、図５の３０１は、図２のステップＳ２０１で読み込まれる画像データを示している。図５の３０２は、図２のステップＳ２０１で読み込まれる撮影データを示している。図５の３０３は、図２のステップＳ２０３で算出される順応状態を示すデータを示している。図５の３０４は、図２のステップＳ２０４で算出されるシーンの見えを示すデータを示している。
図６は、図２のステップＳ２０２に示す処理の詳細を示すフローチャートである。ステップＳ１００１において、ＣＰＵ１０４は、データ保存部１０２に予め記録されている順応視野角を読み出す。
続くステップＳ１００２において、ＣＰＵ１０４は、ステップＳ２０１でＲＡＭ１０６に記録された撮影データから、画像幅、光学センサ幅、レンズ焦点距離、拡大率を読み出す。
続くステップＳ１００３において、ＣＰＵ１０４は、ステップＳ１００１及びステップＳ１００２で読み出した順応視野角θ[°]、画像幅W[pixel]、光学センサ幅dw[mm]、レンズ焦点距離f[mm]、拡大率m[%]を用いて、式１に従って、順応視野サイズS[pixel]を算出し、ＲＡＭ１０６に記録する。式１は、図７に示す順応視野角θ[°]、画像幅W[pixel]、光学センサ幅dw[mm]、レンズ焦点距離f[mm]、拡大率m[%]、順応視野サイズS[pixel]の関係から導かれる。なお、式１において、画像幅、光学センサ幅の代わりにそれぞれ、画像高さ、光学センサ高さを用いても良い。
Figure 0005202190
図８は、図２のステップＳ２０３に示す処理の詳細を示すフローチャートである。ステップＳ２００１において、ＣＰＵ１０４は、ステップＳ２０１でＲＡＭ１０６に記録された撮影データから、露出時間、絞り値、ISO感度を読み出す。
続くステップＳ２００２において、ＣＰＵ１０４は、ステップＳ２００１で読み出した露出時間T[s]、絞り値F、ISO感度ISOを用いて、式２に従って、APEX値AV、TV、SV、BVを算出する。
Figure 0005202190
続くステップＳ２００３において、ＣＰＵ１０４は、ステップＳ２００２で算出されたAPEX値BVを用いて、式３に従って、撮影で記録可能な絶対輝度の最大値Lummax[cd/m2]を算出する。
Figure 0005202190
ステップＳ２００４において、ＣＰＵ１０４は、ステップＳ２０１でＲＡＭ１０６に記録された画像データから、画素番号１のＲＧＢ値を読み出す。
続くステップＳ２００５において、ＣＰＵ１０４は、式４に従って、ステップＳ２００４又はステップＳ２００８で読み出した画素番号のＲＧＢ値を相対ＸＹＺ値XYZrltに変換する。
Figure 0005202190
続くステップＳ２００６において、ＣＰＵ１０４は、ステップＳ２００３で算出された撮影で記録可能な絶対輝度の最大値Lummax[cd/m2]を用いて、式５に従って、ステップＳ２００５で変換した画素番号の相対ＸＹＺ値XYZrltを絶対ＸＹＺ値XYZabsに変換し、ＲＡＭ１０６に記録する。
Figure 0005202190
続くステップＳ２００７において、ＣＰＵ１０４は、全画素について、絶対ＸＹＺ値を算出したかを判定し、終了していない場合はステップＳ２００８に進み、終了した場合はステップＳ２００９に進む。
続くステップＳ２００８において、ＣＰＵ１０４は、ステップＳ２０１でＲＡＭ１０６に記録された画像データから次の画素番号のＲＧＢ値を読み出し、ステップＳ２００５に戻る。
ステップＳ２００９において、ＣＰＵ１０４は、ステップＳ１００３でＲＡＭ１０６に記録された順応視野サイズを読み出す。
続くステップＳ２０１０において、ＣＰＵ１０４は、ステップＳ２００９で読み出した順応視野サイズSを用いて、式６に従って、ガウシアンフィルタを示すデータを算出する。ここで(a, b)は、フィルタ中心（0，0）からの画素位置である。本実施形態では、ガウシアンフィルタの分散に順応視野サイズSの１／２を与え、順応視野サイズに応じたフィルタを設計する。また、フィルタ処理を行う範囲は、ガウス関数の積分値の約９５％が含まれる-S〜Sとした。
Figure 0005202190
続くステップＳ２０１１において、ＣＰＵ１０４は、式７に従って、ステップＳ２００６で算出された絶対ＸＹＺ値と、ステップＳ２００９で算出したガウシアンフィルタとの離散畳み込み演算を行い、演算結果の絶対ＸＹＺ値をＲＡＭ１０６に記録する。ここで、(x, y)は、フィルタ処理を行う画素位置、M, Nはそれぞれ、画像幅、画像高さの画素数を示す。また、Img(x, y)、FilteredImg(x, y)は、それぞれ、畳み込み演算前の絶対ＸＹＺ値、畳み込み演算後の絶対ＸＹＺ値を示す。
Figure 0005202190
なお、順応状態を示すデータとは、上記ステップＳ２００１〜Ｓ２０１１により得られる、全画素の絶対ＸＹＺ値にガウシアンフィルタ処理を行って得られた絶対ＸＹＺ値のことである。
図９は、撮影距離が変化した際の順応状態を示すデータのぼけ度合いの変化を示す図である。図９に示すように、同じシーン９０１を異なる撮影距離で撮影した場合（画角が異なるデジタルカメラで撮影した場合）、撮影距離が近い場合はぼけ度合いが弱くなり（図９の９０２）、逆に撮影距離が遠い場合はぼけ度合いが強くなる（図９の９０３）。
図１０は、図２のステップＳ２０４の処理の詳細を示すフローチャートである。ステップＳ３００１において、ＣＰＵ１０４は、ステップＳ２００６でＲＡＭ１０６に記録された画素番号１の絶対ＸＹＺ値を読み出す。
続くステップＳ３００２において、ＣＰＵ１０４は、ステップＳ２０１１でＲＡＭ１０６に記録された画素番号１の順応状態を示すＸＹＺ値を読み出す。
続くステップＳ３００３において、ＣＰＵ１０４は、ステップＳ３００２で読み出された順応状態を示すＸＹＺ値を用いて、ステップＳ３００１で読み出された絶対ＸＹＺ値を知覚色空間値に変換する。本実施形態では、ＣＰＵ１０４は、前述のダイナミックレンジ圧縮技術"iCAM06"により絶対ＸＹＺ値を知覚色空間値に変換し、データ保存部１０２に記録する。iCAM06では、知覚色空間値はＩ、Ｐ、Ｔという３種類のパラメータで表される。ここで、Ｉ、Ｐ、Ｔはそれぞれ、人間が知覚する明度、彩度、色相を表す。iCAM06では、ＣＰＵ１０４は、画像データから変換された絶対ＸＹＺ値にフィルタ処理を実施して低周波成分を抽出し、低周波成分と元の絶対ＸＹＺ値との差分から高周波成分を生成する。次に、ＣＰＵ１０４は、前述の順応状態を示すデータを用いて、局所順応処理として、抽出した低周波成分を圧縮する。その後、ＣＰＵ１０４は、前述の高周波成分と合成し、知覚色空間ＩＰＴへ変換する。本実施形態では、式１により、正確な順応視野サイズに基づいて順応状態を示すデータを算出することができるため、より正確なシーンの見えのシミュレート（知覚色空間値ＩＰＴの算出）が可能となる。
続くステップＳ３００４において、ＣＰＵ１０４は、全画素について知覚色空間値の算出を終了したか判定し、終了していない場合はステップＳ３００５に進み、終了した場合は処理を終了する。
ステップＳ３００５において、ＣＰＵ１０４は、ステップＳ２００６でＲＡＭ１０６に記録された次の画素番号の絶対ＸＹＺ値を読み出す。
続くステップＳ３００６において、ステップＳ２０１１でＲＡＭ１０６に記録された次の画素番号の順応状態を示すＸＹＺ値を読み出し、ステップＳ３００４に戻る。
以上説明したように、本実施形態によれば、画像データの撮影時の情報を用いることで、画像を撮影したシーンにおける順応視野サイズと画像データの画素数を正確に対応付けることができる。これにより、局所順応を考慮した視覚モデルに、正確な順応視野サイズを与えることができる。従って、既存のダイナミックレンジ圧縮技術iCAM06やiCAM等において、局所順応を考慮した視覚モデルを用いて、ＨＤＲ画像からシーンの見えをシミュレートする処理部に正確な順応視野サイズを与えることができる。従って、シミュレート結果の精度を向上することができ、シーンを見た際の印象を精度良く出力／表示することが可能となる。
次に、本発明の第１の実施形態の変形例について説明する。上述した第１の実施形態において、画像ファイルには、画像データとして、全画素の８ビットＲＧＢ値が記録されている。また、画像ファイルには、撮影データとして、画像幅、画像高さ、撮影日時、光学センサ幅、レンズ焦点距離、拡大率、露光時間、絞り値、ＩＳＯ感度が記録されている。但し、データの種類、フォーマットはこれに限るものではない。例えば、記録されているＲＧＢ値は１６ビットであってもよいし、予め計算した各画素の絶対ＸＹＺ値が記録されていてもよい。また、撮影時の画角を算出するために必要な情報である光学センサ幅、レンズ焦点距離、拡大率の代わりに、予め計算した撮影時の画角が記録されていてもよい。また、露出時間、絞り値、ＩＳＯ感度の代わりに、輝度計等で計測して得たシーン中の絶対輝度の最大値が記録されていてもよい。さらに、画像ファイルフォーマットは、例えば、公知の画像データフォーマットであるExif形式でもよいし、画像データと撮影データが異なるファイルに記録されていてもよい。なお、光学センサ幅は、本発明における光学センササイズの一例である。
また、上述した第１の実施形態において、順応視野角の設定方法として、予めデータ保存部１０２に記録しておいた順応視野角を用いるとしたが、順応視野角を設定する方法であれば、その種類は問わない。例えば、表示部１０３に、図１１に示すＵＩを表示し、ユーザ指示により入力部１０１を介して設定された順応視野角を読み込む方法でもよい。
また、上述した第１の実施形態において、順応視野角、画像幅、光学センサ幅、レンズ焦点距離、拡大率mを用いて、式１に従って、順応視野サイズを算出するとしたが、撮影時の情報を用いて順応視野サイズを算出する方法であれば、その種類は問わない。例えば、撮影時の情報として画角α[°]を用いて順応視野サイズを算出してもよい。この場合の順応視野サイズ算出方法の一例を式８に示す。
Figure 0005202190
また、上述した第１の実施形態において、各画素のＲＧＢ値を、式４に従って相対ＸＹＺ値XYZrltに変換するとしたが、画像データをＸＹＺ値に変換する方法であれば、これに限るものではない。例えば、ＲＧＢ値をＸＹＺ値に変換する場合、計算精度の観点などから式４の変換マトリクスの値が変わっても良い。
また、上述した第１の実施形態において、相対ＸＹＺ値を絶対ＸＹＺ値に変換する方法として、撮影データからAPEX値を算出し、次に、撮影で記録可能な絶対輝度の最大値を算出し、式５に従って、相対ＸＹＺ値を絶対ＸＹＺ値に変換するとした。但し、画像データを絶対ＸＹＺ値に変換する方法であれば、その方法は問わない。例えば、予め第１の実施形態に記載の方法により、撮影で記録可能な絶対輝度の最大値を算出して、撮影データに記録しておき、読み込んで用いてもよい。
また、上述した第１の実施形態において、順応状態を示すデータを算出する際に用いるフィルタの算出方法として、順応視野サイズSを用いて、式６に従って、ガウシアンフィルタを示すデータを算出するとしたが、フィルタの種類はこれに限らない。例えば、フィルタ処理を行う範囲は、処理高速化等の観点から、順応視野サイズSによらず、固定としてもよい。
上述した第１の実施形態において、シーンの見えを示すデータとして、知覚色空間値をデータ保存部１０２に記録するとしたが、知覚色空間値そのものでなくても、知覚色空間値から算出されるデータ形式であれば、どのようなデータ形式でも構わない。例えば、知覚色空間値を、iCAM06のシーンの見えを示すデータから出力機器の信号値に変換する処理部により、出力機器のＲＧＢ値に変換して、データ保存部１０２に記録してもよい。
次に、本発明の第２の実施形態について説明する。上述した第１の実施形態においては、順応状態を示すデータを算出する方法として、画像データの絶対ＸＹＺ値にガウシアンフィルタ処理を実施した。但し、画像データにローパスフィルタ処理を実施し、画像データの低周波成分を抽出するものであれば、その種類は問わない。例えば、バイラテラルフィルタ等も挙げられる。
また、順応状態算出方法の第２の実施形態として、画像データに単純な平均フィルタ処理を実施する方法を示す。この場合の順応状態算出方法の一例を式９に示す。
Figure 0005202190
また、片目で見える視野の範囲について、垂直方向の視野角より水平方向の視野角の方が大きいことに基づき、フィルタ形状を横長の楕円としても良い。この場合の順応状態算出方法の一例を式１０に示す。ここで、kwは楕円長軸の画素数の順応視野サイズSに対する割合、khは楕円短軸の画素数の順応視野サイズSに対する割合を示す。
Figure 0005202190
上述した本発明の実施形態を構成する各手段及び各ステップは、コンピュータのＲＡＭやＲＯＭ等に記憶されたプログラムが動作することによって実現できる。このプログラム及び前記プログラムを記録したコンピュータ読み取り可能な記録媒体は本発明に含まれる。
また、本発明は、例えば、システム、装置、方法、プログラムもしくは記録媒体等としての実施形態も可能であり、具体的には、一つの機器からなる装置に適用してもよい。
なお、本発明は、上述した実施形態の機能を実現するソフトウェアのプログラムを、システム又は装置に直接、又は遠隔から供給する。そして、そのシステム又は装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。
従って、本発明の機能処理をコンピュータで実現するために、前記コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であってもよい。
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。更に、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳ等が、実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現され得る。
更に、その他の方法として、まず記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。そして、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現される。
本発明の第１の実施形態に係る画像処理装置の構成を示すブロック図である。 本発明の第１の実施形態に係る画像処理装置の処理の流れを示すフローチャートである。 ＧＵＩの表示例を示す図である。 画像ファイルの構成を示す図である。 本発明の第１の実施形態に係る画像処理装置が実行する処理とデータとの関係を示す図である。 図２のステップＳ２０２に示す処理の詳細を示すフローチャートである。 順応視野角θ[°]、画像幅W[pixel]、光学センサ幅dw[mm]、レンズ焦点距離f[mm]、拡大率m[%]、順応視野サイズS[pixel]の関係を示す図である。 図２のステップＳ２０３に示す処理の詳細を示すフローチャートである。 撮影距離が変化した際の順応状態を示すデータのぼけ度合いの変化を示す図である。 図２のステップＳ２０４の処理の詳細を示すフローチャートである。 ＵＩの表示例を示す図である。
符号の説明
１０１ 入力部
１０２ データ保存部
１０３ 表示部
１０４ ＣＰＵ
１０５ ＲＯＭ
１０６ ＲＡＭ
１０７ 通信部
３０１ 画像データ
３０２ 撮影データ
３０３ 順応状態を示すデータ
３０４ シーンの見えを示すデータ

Claims (11)

  1. 画像データの撮影時の状態を示す撮影データを取得する取得工程と、
    順応視野角を示すデータ及び前記取得工程により取得された前記撮影データを用いて順応視野サイズを算出する順応視野サイズ算出工程と、
    前記画像データに対して前記順応視野サイズに応じたフィルタ処理を実行し、前記画像データの撮影対象となったシーンの順応状態を示すデータを算出する順応状態算出工程と、
    前記順応状態を示すデータを用いて前記シーンの見えを示すデータを算出するシーンの見え算出工程とを含み、
    前記撮影データは、前記画像データの撮影時の画角を算出するために必要な情報、又は、前記画像データの撮影時の画角を示す情報を含むことを特徴とする画像処理方法。
  2. 前記撮影データは、画像幅を示す情報及び画像高さを示す情報のうちの少なくとも何れか一方を含むことを特徴とする請求項１に記載の画像処理方法。
  3. 前記画角を算出するために必要な情報は、光学センササイズを示す情報、レンズ焦点距離を示す情報、及び、拡大率を示す情報を含むことを特徴とする請求項１又は２に記載の画像処理方法。
  4. 前記順応状態算出工程は、ローパスフィルタを用いて前記画像データの低周波成分を抽出する処理を行うことを特徴とする請求項１乃至３の何れか１項に記載の画像処理方法。
  5. 前記ローパスフィルタは、ガウシアンフィルタ又はバイラテラルフィルタであることを特徴とする請求項４に記載の画像処理方法。
  6. 前記ローパスフィルタは、水平方向のサイズが垂直方向のサイズより大きいことを特徴とする請求項４又は５に記載の画像処理方法。
  7. 前記シーンの見え算出工程は、視覚の局所順応特性を考慮した視覚モデルに基づいてシーンの見えを示すデータを算出することを特徴とする請求項１乃至６の何れか１項に記載の画像処理方法。
  8. 前記局所順応特性を考慮した視覚モデルは、iCAM又はiCAM06であることを特徴とする請求項７に記載の画像処理方法。
  9. 画像データの撮影時の状態を示す撮影データを取得する取得手段と、
    順応視野角を示すデータ及び前記取得手段により取得された前記撮影データを用いて順応視野サイズを算出する順応視野サイズ算出手段と、
    前記画像データに対して前記順応視野サイズに応じたフィルタ処理を実行し、前記画像データの撮影対象となったシーンの順応状態を示すデータを算出する順応状態算出手段と、
    前記順応状態を示すデータを用いて前記シーンの見えを示すデータを算出するシーンの見え算出手段とを有し、
    前記撮影データは、前記画像データの撮影時の画角を算出するために必要な情報、又は、前記画像データの撮影時の画角を示す情報を含むことを特徴とする画像処理装置。
  10. 画像データの撮影時の状態を示す撮影データを取得する取得ステップと、
    順応視野角を示すデータ及び前記取得ステップにより取得された前記撮影データを用いて順応視野サイズを算出する順応視野サイズ算出ステップと、
    前記画像データに対して前記順応視野サイズに応じたフィルタ処理を実行し、前記画像データの撮影対象となったシーンの順応状態を示すデータを算出する順応状態算出ステップと、
    前記順応状態を示すデータを用いて前記シーンの見えを示すデータを算出するシーンの見え算出ステップとをコンピュータに実行させ、
    前記撮影データは、前記画像データの撮影時の画角を算出するために必要な情報、又は、前記画像データの撮影時の画角を示す情報を含むことを特徴とするプログラムを記録したコンピュータ読み取り可能な記録媒体。
  11. 画像データの撮影時の状態を示す撮影データを取得する取得ステップと、
    順応視野角を示すデータ及び前記取得ステップにより取得された前記撮影データを用いて順応視野サイズを算出する順応視野サイズ算出ステップと、
    前記画像データに対して前記順応視野サイズに応じたフィルタ処理を実行し、前記画像データの撮影対象となったシーンの順応状態を示すデータを算出する順応状態算出ステップと、
    前記順応状態を示すデータを用いて前記シーンの見えを示すデータを算出するシーンの見え算出ステップとをコンピュータに実行させ、
    前記撮影データは、前記画像データの撮影時の画角を算出するために必要な情報、又は、前記画像データの撮影時の画角を示す情報を含むことを特徴とするプログラム。
JP2008220209A 2008-08-28 2008-08-28 画像処理方法及び画像処理装置 Expired - Fee Related JP5202190B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2008220209A JP5202190B2 (ja) 2008-08-28 2008-08-28 画像処理方法及び画像処理装置
US12/548,052 US20100053360A1 (en) 2008-08-28 2009-08-26 Image processing method and image processing apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008220209A JP5202190B2 (ja) 2008-08-28 2008-08-28 画像処理方法及び画像処理装置

Publications (2)

Publication Number Publication Date
JP2010055404A JP2010055404A (ja) 2010-03-11
JP5202190B2 true JP5202190B2 (ja) 2013-06-05

Family

ID=41724802

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008220209A Expired - Fee Related JP5202190B2 (ja) 2008-08-28 2008-08-28 画像処理方法及び画像処理装置

Country Status (2)

Country Link
US (1) US20100053360A1 (ja)
JP (1) JP5202190B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5253047B2 (ja) * 2008-09-01 2013-07-31 キヤノン株式会社 色処理装置およびその方法
JP5127638B2 (ja) * 2008-09-01 2013-01-23 キヤノン株式会社 画像処理装置およびその方法
JP5430218B2 (ja) * 2009-05-07 2014-02-26 キヤノン株式会社 画像処理装置および画像処理方法
JP2018106020A (ja) * 2016-12-27 2018-07-05 ルネサスエレクトロニクス株式会社 フォーカスレンズの位置を決定するための方法、当該方法をコンピュータに実行させるための制御プログラム、および撮像装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2839505B2 (ja) * 1988-07-07 1998-12-16 株式会社東芝 画像処理装置
JP3583447B2 (ja) * 1992-04-28 2004-11-04 オリンパス株式会社 撮像装置
JP2852287B2 (ja) * 1997-01-10 1999-01-27 工業技術院長 画質改善方法、エッジ強度計算方法及び装置
JP3413042B2 (ja) * 1997-02-13 2003-06-03 ブラザー工業株式会社 画像出力装置
US6043838A (en) * 1997-11-07 2000-03-28 General Instrument Corporation View offset estimation for stereoscopic video coding
US6823324B2 (en) * 2000-04-21 2004-11-23 Matsushita Electric Industrial Co., Ltd. Data broadcast program producing apparatus, a computer program for producing data broadcast programs, and a computer-readable recording medium storing the computer program
JP3807266B2 (ja) * 2000-12-28 2006-08-09 株式会社豊田中央研究所 画像処理装置
JP4040259B2 (ja) * 2001-02-16 2008-01-30 株式会社リコー 画像評価装置
US7271851B2 (en) * 2003-01-16 2007-09-18 Samsung Electronics Co., Ltd. Adaptive color transient improvement
JP2006215756A (ja) * 2005-02-02 2006-08-17 Dainippon Ink & Chem Inc 画像処理装置および画像処理方法ならびにそのプログラム
JP2006245944A (ja) * 2005-03-02 2006-09-14 Fuji Xerox Co Ltd 画像処理装置及び画像処理方法
JP2006248364A (ja) * 2005-03-10 2006-09-21 Omron Corp 移動体のドライバー認証装置
JP2007221386A (ja) * 2006-02-15 2007-08-30 Eastman Kodak Co 撮像装置
JP4267016B2 (ja) * 2006-10-02 2009-05-27 キヤノン株式会社 撮像装置

Also Published As

Publication number Publication date
US20100053360A1 (en) 2010-03-04
JP2010055404A (ja) 2010-03-11

Similar Documents

Publication Publication Date Title
JP6259185B2 (ja) 撮像装置及びその制御方法、プログラム並びに記憶媒体
CN108668093B (zh) Hdr图像的生成方法及装置
Phillips et al. Camera image quality benchmarking
US8554010B2 (en) Image processing apparatus combining plural sets of image data and method for controlling the same
KR101663227B1 (ko) 영상 처리 방법 및 장치
JP5457652B2 (ja) 画像処理装置およびその方法
JP2006238163A5 (ja)
KR20180048627A (ko) 역 톤 매핑을 위한 방법 및 장치
JP4600424B2 (ja) 未現像画像データの現像処理装置、現像処理方法、および現像処理のためのコンピュータプログラム
WO2012098768A1 (ja) 画像処理装置、画像処理方法、画像処理プログラム、および撮影装置
JPWO2013032008A1 (ja) 画像処理装置、プログラム
KR20120114899A (ko) 영상 처리 방법 및 영상 처리 장치
US20130329991A1 (en) Image processing apparatus and image processing method
JP6040042B2 (ja) 画像処理装置、画像処理方法、およびプログラム
JP2011151627A (ja) 画像処理装置、画像処理方法、及びプログラム
JP5202190B2 (ja) 画像処理方法及び画像処理装置
JP5127638B2 (ja) 画像処理装置およびその方法
JP5882644B2 (ja) 画像処理装置、その制御方法、及びプログラム
JP6210772B2 (ja) 情報処理装置、撮像装置、制御方法、及びプログラム
JP5070921B2 (ja) 未現像画像データの現像処理装置、現像処理方法、および現像処理のためのコンピュータプログラム
US20210400192A1 (en) Image processing apparatus, image processing method, and storage medium
JP6786273B2 (ja) 画像処理装置、画像処理方法、及びプログラム
US11595584B2 (en) Imaging apparatus, method of controlling imaging apparatus and computer-readable medium
JP6450107B2 (ja) 画像処理装置及び画像処理方法、プログラム、記憶媒体
JP4807315B2 (ja) 未現像画像データの現像処理装置、現像処理方法、および現像処理を実行するためのコンピュータプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110817

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120622

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120703

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120809

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130115

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130212

R151 Written notification of patent or utility model registration

Ref document number: 5202190

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160222

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees