JP4143425B2 - 画像処理方法及び装置、並びに画像処理プログラム - Google Patents
画像処理方法及び装置、並びに画像処理プログラム Download PDFInfo
- Publication number
- JP4143425B2 JP4143425B2 JP2003008659A JP2003008659A JP4143425B2 JP 4143425 B2 JP4143425 B2 JP 4143425B2 JP 2003008659 A JP2003008659 A JP 2003008659A JP 2003008659 A JP2003008659 A JP 2003008659A JP 4143425 B2 JP4143425 B2 JP 4143425B2
- Authority
- JP
- Japan
- Prior art keywords
- highlight
- image
- compression
- processing
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000003672 processing method Methods 0.000 title claims description 8
- 238000007906 compression Methods 0.000 claims description 102
- 230000006835 compression Effects 0.000 claims description 85
- 238000012545 processing Methods 0.000 claims description 83
- 238000012937 correction Methods 0.000 claims description 73
- 239000002131 composite material Substances 0.000 claims description 25
- 230000015572 biosynthetic process Effects 0.000 claims description 21
- 238000003786 synthesis reaction Methods 0.000 claims description 21
- 239000000203 mixture Substances 0.000 claims description 6
- 238000000034 method Methods 0.000 description 14
- 238000000586 desensitisation Methods 0.000 description 13
- 206010070834 Sensitisation Diseases 0.000 description 11
- 230000008313 sensitization Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 7
- 238000013500 data storage Methods 0.000 description 6
- 229920006395 saturated elastomer Polymers 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000035945 sensitivity Effects 0.000 description 3
- 230000002087 whitening effect Effects 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 238000013481 data capture Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 230000003936 working memory Effects 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Facsimile Image Signal Circuits (AREA)
- Studio Devices (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、各画素のデータが、低輝度域から中輝度域までの階調を表現するメイン画像データと、メイン画像データでは表現できない高輝度域の階調を表現するハイライト画像データとから構成される画像データの画像処理方法及び装置、並びに画像処理プログラムに関するものである。
【０００２】
【従来の技術】
ＣＣＤイメージセンサなどの撮像素子は、一般的に写真フイルムと比較して輝度信号の再現能力を表すダイナミックレンジ（再現可能な最小値と最大値の比率）が狭いので、明暗差の大きいシーンを撮影した場合には、高輝度域が白飛びしたり、低輝度域が黒くつぶれてしまうといったことが生じる。そこで、主として低輝度域から中輝度域の階調を表現するメインデータと、このメインデータでは表現できない高輝度域の階調を表現するハイライトデータとの２種類のデータをレンジ合成することにより、広いダイナミックレンジを持つ完成画像を得る方法が提案されている。
【０００３】
この２種類のデータの取り込み方法としては、同一シーンを異なる露光量で複数回撮影することによりメインデータとハイライトデータを得る方法（例えば、下記特許文献１参照）や、図９（Ａ）に示すように、１画素７１が、主画素７１ａと、この主画素７１ａよりも受光面積が小さい副画素７１ｂとから構成された特殊なＣＣＤイメージセンサ７０を使用して、感度の高い主画素７１ａからメインデータを、感度の低い副画素７１ｂからハイライトデータをそれぞれ取り込む方法などがある。図９（Ｂ）のグラフに示すように、主画素７１ａは感度が高いため、副画素７１ｂと比較して少ない入射光量で飽和する。他方、副画素７１ｂは感度が低いため、主画素７１ａよりも多い入射光量で飽和する。これにより、主画素７１ａからは前記メイン画像データを、副画素７１ｂからは前記ハイライトデータをそれぞれ取り出すことができる。
【０００４】
こうした方法で得られたメインデータ及びハイライトデータは、例えば、それぞれ１０ｂｉｔ（１０２４階調）の階調幅を持つデータに変換される。これらメインデータとハイライトデータをレンジ合成することにより、メインデータのみのダイナミックレンジと比較して広いダイナミックレンジを持つ合成画像が得られる。しかし、この合成画像の階調幅は２種類のデータを合成したことにより、各データの倍の階調幅を持つ。この階調幅は、画像をモニタ表示用に使用する場合には広すぎるので、これを所定の階調幅（例えば１０ｂｉｔの階調幅）に収める必要がある。そこで、合成画像に対して、主として高輝度域の階調幅を圧縮するハイライト圧縮処理が施される。このハイライト圧縮は、どの輝度域をどの程度圧縮するかという処理条件を、圧縮パラメータとして予め定めておき、その圧縮パラメータに従って実行される。
【０００５】
【特許文献１】
特開２００２−２７１６８６号公報
【０００６】
【発明が解決しようとする課題】
しかしながら、上述したハイライト圧縮を行う場合には、どのような圧縮パラメータを使用するかによって完成画像の画質が大きく変化するが、従来の画像処理方法では、圧縮パラメータが予め決められていたので、ユーザーがこれを変更することができなかった。このため、ユーザーが意図する画質を得ることが難しかった。
【０００７】
また、完成画像に、よりユーザーの意図を正確に反映させるためには、ハイライト圧縮処理とともに、画面全体の明るさを補正する明るさ補正（増感及び減感補正、またはデジタル露出補正などと呼ばれる）を行えるようにした方がよい。しかし、ハイライト圧縮と明るさ補正とは輝度信号の入出力比を変更するという点で共通しているため、両者は密接に関連する。このため、ハイライト圧縮とともに、明るさ補正を実行する場合には、明るさ補正のパラメータ（ＥＶ値）をプラスに設定して増感させると、高輝度域の白飛びが発生してしまい、せっかく高輝度域の階調を再現するために行ったレンジ合成の効果が得られなかったり、反対に、ＥＶ値をマイナスに設定して減感させると、高輝度域が暗くなるという白沈みが発生してコントラストが低下してしまう。このため、ユーザーの意図を正確に反映させるためにユーザーによる調整の自由度を上げても、それを使いこなすのが非常に難しくなってしまうという問題があった。
【０００８】
本発明は、レンジ合成及びハイライト圧縮によって得られる完成画像に、ユーザーの意図を正確に反映させることができる画像処理方法及び装置、並びに画像処理プログラムを提供することができる。
【０００９】
また、レンジ合成及びハイライト圧縮を含む画像処理を実行する際に、ユーザーによる処理条件の調整の自由度を増加させつつも、その調整が簡単な画像処理方法及び装置、並びに画像処理プログラムを提供することを目的とする。
【００１０】
【課題を解決するための手段】
前記目的を達成するために、本発明の画像処理方法及びプログラムは、低輝度域から中輝度域までの階調を表現するメインデータと、このメインデータでは表現できない高輝度域の階調を表現するハイライトデータとの２種類のデータに基づいてレンジ合成処理を実行し広いダイナミックレンジを持つ合成画像を生成するレンジ合成ステップと、生成された前記合成画像の主として高輝度域の階調幅を圧縮して、前記合成画像の全階調幅を所定の階調幅に収めるハイライト圧縮処理を実行して完成画像を生成するハイライト圧縮ステップと、前記ハイライト圧縮処理を実行する前に、前記ハイライト圧縮処理の強弱レベルをユーザーに指定させるための第１調整部及び明るさ補正の補正レベルをユーザーに指定させるための第２調整部を含む操作画面をモニタに表示させる操作画面表示ステップと、前記合成画像の低輝度域から高輝度域に至る全階調域の中でどの輝度域をどの程度圧縮するかを定めた複数種類の圧縮パラメータの中から、前記第１調整部によって指定された前記強弱レベル及び前記第２調整部によって指定された補正レベルに応じた前記圧縮パラメータを設定することで、前記ハイライト圧縮処理の処理条件を設定する処理条件設定ステップとを含み、前記処理条件設定ステップで設定された処理条件に基づいて、前記モニタにプレビュー画像を表示するとともに前記ハイライト圧縮ステップを実行させることを特徴とする。
【００１１】
また、本発明の画像処理装置は、低輝度域から中輝度域までの階調を表現するメインデータと、このメインデータでは表現できない高輝度域の階調を表現するハイライトデータとの２種類のデータに基づいてレンジ合成処理を実行し広いダイナミックレンジを持つ合成画像を生成するレンジ合成部と、生成された前記合成画像の主として高輝度域の階調幅を圧縮して、前記合成画像の全階調幅を所定の階調幅に収めるハイライト圧縮処理を実行して完成画像を生成するハイライト圧縮部と、前記ハイライト圧縮処理の強弱レベルをユーザーに指定させるための第１調整部及び明るさ補正の補正レベルをユーザーに指定させるための第２調整部を含む操作画面を表示するモニタと、前記合成画像の低輝度域から高輝度域に至る全階調域の中でどの輝度域をどの程度圧縮するかを定めた複数種類の圧縮パラメータの中から、前記第１調整部によって指定された前記強弱レベル及び前記第２調整部によって指定された補正レベルに応じた前記圧縮パラメータを設定することで、前記ハイライト圧縮処理の処理条件を設定する処理条件設定部とを備えており、前記ハイライト圧縮部は、前記処理条件設定部で設定された処理条件に基づいて、前記モニタにプレビュー画像を表示するとともに前記ハイライト圧縮処理を実行することを特徴とする。
【００１２】
【発明の実施の形態】
図１に示すデジタルカメラ１０は、ＣＣＤイメージセンサとして、上述した特殊なＣＣＤイメージセンサ７０（図９参照）を備えており、このＣＣＤイメージセンサ７０によって、メインデータとハイライトデータのそれぞれを取り込む。また、デジタルカメラ１０は、ＣＣＤ−ＲＡＷ記録モードを備えている。ＣＣＤ−ＲＡＷ記録モードでは、ＣＣＤイメージセンサ７０から出力されるアナログの撮像信号をＡ／Ｄコンバータによってデジタルデータに変換した直後のデータであるＣＣＤ−ＲＡＷデータが、カメラ内部で画像処理がなされずにそのままストレージメディア１１に記録される。ＣＣＤ−ＲＡＷデータは、メインデータとハイライトデータのそれぞれが、例えば、１０ｂｉｔの階調幅を持っている。
【００１３】
ＣＣＤ−ＲＡＷデータは、汎用的な画像処理プログラムでは再生することができないので、専用の画像処理プログラムがインストールされたパーソナルコンピュータ１２によって、ゲイン補正及びガンマ補正の他、ユーザーの好みに応じて、シャープネス補正，彩度補正，明るさ補正などの画像処理が施されて再生される。メインデータとハイライトデータの合成処理は、前記画像処理プログラムによって実行される。パーソナルコンピュータ１２は、コンピュータ本体１３と、モニタ１４と、キーボード１６及びマウス１７などの入力装置１８からなる。
【００１４】
図２に示すように、コンピュータ本体１３には、ＣＰＵ２１，ＲＡＭ２２，ハードディスクドライブで構成されるデータストレージ２３，通信Ｉ／Ｆ２４からなる。通信Ｉ／Ｆ２４は、通信ケーブルを介してデジタルカメラ１０と接続して、カメラ本体にセットされたストレージメディア１１からコンピュータ本体１３内に画像ファイルを取り込む画像入力手段である。ＲＡＭ２２は、ＣＰＵ２１が処理を実行する際の作業用のメモリである。
【００１５】
データストレージ２３には、画像処理プログラムであるＣＣＤ−ＲＡＷアプリケーション２６がインストールされている。このＣＣＤ−ＲＡＷアプリケーション２６で生成された完成画像は、データストレージ２３に出力される。ＣＣＤ−ＲＡＷアプリケーション２６は、プログラム本体２７，ＬＵＴ２８，操作画面データ３０などからなる。
【００１６】
このＣＣＤ−ＲＡＷアプリケーション２６は、ユーザーの指定に応じて画像処理条件を設定する処理条件設定と、設定された処理条件に従って各種の画像処理を実行する画像処理の各ステップとをＣＰＵ２１に実行させる。
【００１７】
ＬＵＴ２８は、各種画像処理用の補正パラメータをテーブル形式に格納したものである。ＬＵＴ２８には、明るさ補正用パラメータを格納した明るさ補正用ＬＵＴ２８ａや、レンジ合成された合成画像を、所定の階調幅に圧縮するハイライト圧縮処理をする際の圧縮パラメータを格納した圧縮用ＬＵＴ２８ｂなどが含まれる。これらは、必要に応じてＲＡＭ２２にロードされて使用される。補正パラメータとしては、予め定められた所定の既定値が設定されており、その補正パラメータが各ＬＵＴに格納されている。この既定の補正パラメータは、ユーザーの指定により調整が可能であり、各ＬＵＴは、それに応じて変更される。
【００１８】
図３は、メインデータとハイライトデータのレンジ合成処理と、合成によって生成された合成画像に対するハイライト圧縮処理とからなる合成プロセスの説明図である。ＣＣＤイメージセンサ７０から取り込まれたメインデータＭは、露光量がＱ１で飽和するため、ダイナミックレンジＤＲ１を持つ。他方、ハイライトデータＨは、露光量Ｑ１よりも多い露光量Ｑ２で飽和する。このハイライトデータＨによって、メインデータＭによっては階調表現ができない高輝度域の階調が表現される。これらメインデータＭとハイライトデータＨとに基づいてレンジ合成処理が実行され、ダイナミックレンジＤＲ１と比較して、広いダイナミックレンジＤＲ２を持つ合成画像のデータ（合成データ）が得られる。
【００１９】
この合成データＧは、メインデータＭの２倍の階調幅を持つので、このままでは、汎用に適さない。そこで、合成データの階調幅のうち、主として高輝度域を圧縮することにより、広ダイナミックレンジＤＲ２を維持しながら所定の階調幅（例えば、１０２４）に圧縮するハイライト圧縮が行われる。これにより圧縮データＣが得られる。この圧縮データＣは、ホワイトバランス補正，彩度補正等の他の補正処理が実行されて、完成画像として出力される。
【００２０】
図４は、ハイライト圧縮の際に使用される圧縮パラメータＰ０の例を示す。信号レベル（階調値）の最大値が「２０４６」から「１０２３」になるように、ゲインが「０．５０」になっている。また、合成画像の低輝度域から中輝度域に相当する「０」〜「１０２３」付近までの部分は、階調値が２〜３割程度圧縮されるように、ゲインが「０．７８」〜「０．８０」に設定されている。この圧縮パラメータＰ０は、既定値として設定されているが、この圧縮パラメータは画質に大きく影響する。このため、ユーザーの好みに応じた画質が得られるように、この圧縮パラメータをユーザーが調節できるようにしている。
【００２１】
また、ユーザーによっては、合成（レンジ合成＋ハイライト圧縮）を行う場合に、合成とともに明るさを調整する場合がある。図５は、合成と同時に明るさ補正を行う場合の圧縮データの説明図である。図５（Ａ）は、標準の圧縮パラメータＰ０を使用してハイライト圧縮を行った圧縮データＣ０に対して、明るさ補正で＋１ＥＶの増感補正をした場合の圧縮データＣ０＋１ＥＶを示す。図５（Ｃ）は、前記圧縮データＣ０に対して、明るさ補正で−１ＥＶの減感補正をした場合の圧縮データＣ０−１ＥＶを示す。これらのグラフから明らかなように、標準の圧縮パラメータＰ０を使用して明るさ補正を行うと、増感時には、高輝度域における出力信号レベルが、１０ｂｉｔ幅の最大階調値「１０２３」を超えてしまういわゆる白飛びが発生して、せっかくレンジ合成をして高輝度域の階調を再現した効果が得られなくなってしまう。他方、減感時には、高輝度域が全体的に沈んでしまうという白沈みが発生してしまう。
【００２２】
そこで、本発明では、合成と明るさ補正の両方を行う場合には、ユーザーによって指定された明るさ調整レベルに応じて圧縮パラメータを決定して、増感時の白飛びや減感時の白沈みが発生しないようにしている。図５（Ｂ）は、増感補正用の圧縮パラメータＰ１を使用してハイライト圧縮を行った圧縮データＣ１と、この圧縮データＣ１に対して＋１ＥＶの増感を行った圧縮データＣ１＋１ＥＶとを示す。図５（Ｄ）は、減感補正用の圧縮パラメータＰ２を使用してハイライト圧縮を行った圧縮データＣ２と、この圧縮データＣ２に対して−１ＥＶの減感を行った圧縮データＣ２−１ＥＶとを示す。図６は、増感補正用の圧縮パラメータＰ１と、減感補正用の圧縮パラメータＰ２の例を示す。
【００２３】
図６の表と、図５（Ｂ）のグラフからわかるように、増感用の圧縮パラメータＰ１では、出力信号レベルの最大値が、明るさ補正によって増感された時に、最大階調値「１０２３」となるように、その階調値のゲインが「０．２５」に設定される。この圧縮パラメータＰ１を使用してレンジ合成及びハイライト圧縮が実行されると、圧縮データＣ１が得られる。そして、この圧縮データＣ１に対して、＋１ＥＶの増感補正が行われて、圧縮データＣ１＋１ＥＶが得られる。圧縮データＣ１＋１ＥＶでは、低輝度域から中輝度域においては、標準のパラメータを使用した圧縮データＣ０と比較して明るさが増感されるとともに、高輝度域における白飛びもない。
【００２４】
他方、図５（Ｄ）のグラフからわかるように、減感用の圧縮パラメータＰ２では、出力信号レベルの最大値が、明るさ補正によって減感された時に、最大階調値「１０２３」となるように、その階調値のゲインが「１」に設定される。この圧縮パラメータＰ２を使用してレンジ合成及びハイライト圧縮が実行されると、圧縮データＣ２が得られる。そして、この圧縮データＣ２に対して、−１ＥＶの減感補正が行われて、圧縮データＣ２−１ＥＶが得られる。圧縮データＣ２−１ＥＶでは、低輝度域から中輝度域においては、標準のパラメータを使用した圧縮データＣ０と比較して減感されるとともに、高輝度域における白沈みもなくなる。
【００２５】
図６では、明るさ補正用のパラメータとして、±１ＥＶの補正をそれぞれ行う増感及び減感補正用のパラメータを１つずつ示したが、明るさの補正レベル（調整値）としては、これ以外に様々のレベルが想定されるので、それに応じた多数の圧縮パラメータが用意されており、それらは明るさＬＵＴ２８ａ内に格納される。もちろんパラメータをＬＵＴの形式に格納して補正を行う例で説明しているが、関数式その他によって補正を行うようにしてもよい。
【００２６】
図７に示すように、ＣＣＤ−ＲＡＷアプリケーション２６は、モニタ１４に表示された操作画面３１を通じて各種の操作指示を受け付けるＧＵＩ（Graphical User Interface）を採用している。操作画面３１は、画像表示領域３２と調整部表示領域３３とからなる。画像表示領域３２には、選択された画像ファイルのプレビュー画像３４が表示される。ＣＣＤ−ＲＡＷアプリケーション２６は、所望の画像ファイルを選択した状態で起動される。ＣＣＤ−ＲＡＷアプリケーション２６が起動されると、このアプリケーション２６に含まれる各処理ステップをＣＰＵ２１が実行する。ＣＰＵ２１は、ＣＣＤ−ＲＡＷアプリケーション２６が起動した直後に処理条件（補正パラメータ）の既定値を設定するとともに、操作画面３１をモニタ１４に表示する。
【００２７】
調整部表示領域３３には、ホワイトバランス補正，彩度補正，シャープネス補正，ハイライト圧縮，明るさ補正の各処理条件を指定するための各調整部３６，３７，３８，３９，４０が設けられている。各調整部３６〜４０には、目盛とその目盛上を移動するスライダ３６ａ〜４０ａが設けられている。ポインタ４１を、各スライダ３６ａ〜４０ａに合わせて、それぞれを目盛方向にドラッグすることにより各補正処理の補正レベルが調整される。スライダー３９ａを初期位置（中央）から左右方向（「弱」または「強」方向）に移動すると、ハイライト圧縮の圧縮パラメータの既定値が変更される。また、スライダー３９ａを初期位置（中央）から移動しない場合には、圧縮パラメータの既定値は変更されないが、その場合であっても、明るさ補正のスライダー４０ａが初期位置（中央）から移動されて、明るさ補正レベルが調整されると、その補正レベルに応じて、上述したように、増感用又は減感用の圧縮パラメータに変更される。
【００２８】
各調整部３６〜４０を通じて処理条件が変更されると、その処理条件がリアルタイムで適用されて、プレビュー画像３４が更新される。こうすることで、ユーザーによって指定される処理条件の結果が予め確認できるようにしている。また、画像表示領域３２の下には、処理条件を確定する決定ボタン４３と、処理条件を既定値に戻すためのキャンセルボタン４４とが設けられている。決定ボタン４３をマウス１７でクリック操作すると、ユーザーによって指定された補正レベルが確定される。処理条件が確定されると、ＣＰＵ２１は、確定された処理条件に基づいて、本画像データに対して画像処理を実行して、完成画像をデータストレージ２３に出力する。
【００２９】
以下、上記構成による作用について、図８のフローチャートを参照しながら説明する。デジタルカメラ１０のＣＣＤ−ＲＡＷ記録モードで記録された画像ファイルを選択して起動指示が与えられると、ＣＣＤ−ＲＡＷアプリケーション２６が起動する。ＣＣＤ−ＲＡＷアプリケーション２６が起動されると、ＣＰＵ２１は、ＣＣＤ−ＲＡＷアプリケーション２６の各処理ステップを実行する。ＣＰＵ２１は、起動直後に、データストレージ２３からＬＵＴ２８を読み出して、処理条件の既定値を設定するとともに、モニタ１４に操作画面３１を表示する。プレビュー画像３４は、設定された処理条件の既定値に基づいて生成される。
【００３０】
ユーザーは、プレビュー画像３４を見ながら、マウス１７を通じて各調整部３６〜４０を操作して、所望の処理条件を指定する。ＣＰＵ２１は、処理条件が調整されると、ユーザーの指定に応じて処理条件の既定値を変更し、変更した補正パラメータに基づいてプレビュー画像３４を更新する。このように処理条件がプレビュー画像３４に反映されるので、調整がしやすい。ＣＰＵ２１は、処理条件の調整の際に、圧縮処理条件の調整がなされた場合には、それに応じて圧縮パラメータに変更を加える。このように、ユーザーの指定に応じて、圧縮パラメータを変更できるようにしたから、ユーザーの意図をより正確に完成画像に反映することができる。
【００３１】
また、明るさの調整が行われた場合には、ユーザーが指定した明るさの調整値に応じて、圧縮パラメータを決定する。このため、増感時に、高輝度域に白飛びが発生したり、減感時に白沈みが発生することがない。このように、ユーザーによって指定された明るさ補正レベルに応じて圧縮パラメータを決定するようにしたから、ユーザーが直感的に、明るさ調整を行っても、画質が劣化してしまうようなことはなく、処理条件の調整を簡単に行うことができる。
【００３２】
調整が終了した場合には、決定ボタン４３をマウス１７でクリックする。これにより調整した処理条件が確定する。ＣＰＵ２１は、確定した処理条件に基づいて、画像処理を実行する。画像処理が実行されて生成された完成画像は、データストレージ２３に出力される。
【００３３】
上記実施形態では、画像処理プログラムをコンピュータにインストールした形態で説明しているが、本発明の画像処理方法は、この形態に限られず、例えば、専用の画像処理装置によって実現したり、また、画像処理プログラムをデジタルカメラ本体に組み込んで、デジタルカメラで実現するなど、種々の形態に適用可能である。
【００３４】
【発明の効果】
以上詳細に説明したように、本発明は、低輝度域から中輝度域までの階調を表現するメインデータと、このメインデータでは表現できない高輝度域の階調を表現するハイライトデータとの２種類のデータに基づいて広いダイナミックレンジを持つ合成画像を生成する画像処理を行う際に、生成された前記合成画像の主として高輝度域の階調幅を圧縮して、前記合成画像の全階調幅を所定の階調幅に収めるハイライト圧縮処理を実行して完成画像を生成するハイライト圧縮ステップと、前記ハイライト圧縮処理を実行する前に、前記ハイライト圧縮処理の強弱レベルをユーザーに指定させるための第１調整部を含む操作画面をモニタに表示させる操作画面表示ステップと、前記合成画像の低輝度域から高輝度域に至る全階調域の中でどの輝度域をどの程度圧縮するかを定めた複数種類の圧縮パラメータの中から、前記第１調整部によって指定された前記強弱レベルに応じた前記圧縮パラメータを設定することで、前記ハイライト圧縮処理の処理条件を設定する処理条件設定ステップとを含み、前記処理条件設定ステップで設定された処理条件に基づいて前記ハイライト圧縮ステップを実行させるようにしたから、完成画像に、ユーザーの意図を正確に反映することができる。
【００３５】
さらに、前記処理条件設定ステップにおいて設定された処理条件に応じたプレビュー画像を前記モニタに表示するようにしたから、処理条件の調整がしやすい。
【００３６】
また、前記操作画面には、前記第１調整部に加えて、明るさ補正の補正レベルをユーザーに指定させるための第２調整部が含まれており、前記処理条件設定ステップにおいて、前記第２調整部によって指定された補正レベルに応じて、前記圧縮パラメータが設定されるようにしたから、ユーザーによる処理条件の調整の自由度を増加させつつも、その調整を簡単にすることができる。
【図面の簡単な説明】
【図１】ＣＣＤ−ＲＡＷデータの再生方法の説明図である。
【図２】ＣＣＤ−ＲＡＷアプリケーションとそれがインストールされたパーソナルコンピュータの構成図である。
【図３】メインデータとハイライトデータの画像合成プロセスの説明図である。
【図４】圧縮パラメータの例である。
【図５】レンジ合成とともに明るさ補正を行った圧縮データの説明図である。
【図６】レンジ合成とともに明るさ補正を行う場合の圧縮パラメータの例である。
【図７】ＣＣＤ−ＲＡＷアプリケーションの操作画面の例である。
【図８】ＣＣＤ−ＲＡＷアプリケーションを使用してＣＣＤ−ＲＡＷデータから完成画像を生成する手順を示すフローチャートである。
【図９】広いダイナミックレンジを持つ画像を生成可能なＣＣＤイメージセンサの説明図である。
【符号の説明】
１０ デジタルカメラ
１１ ストレージメディア
１２ パーソナルコンピュータ
２６ ＣＣＤ−ＲＡＷアプリケーション
２８ ＬＵＴ
３１ 操作画面
【発明の属する技術分野】
本発明は、各画素のデータが、低輝度域から中輝度域までの階調を表現するメイン画像データと、メイン画像データでは表現できない高輝度域の階調を表現するハイライト画像データとから構成される画像データの画像処理方法及び装置、並びに画像処理プログラムに関するものである。
【０００２】
【従来の技術】
ＣＣＤイメージセンサなどの撮像素子は、一般的に写真フイルムと比較して輝度信号の再現能力を表すダイナミックレンジ（再現可能な最小値と最大値の比率）が狭いので、明暗差の大きいシーンを撮影した場合には、高輝度域が白飛びしたり、低輝度域が黒くつぶれてしまうといったことが生じる。そこで、主として低輝度域から中輝度域の階調を表現するメインデータと、このメインデータでは表現できない高輝度域の階調を表現するハイライトデータとの２種類のデータをレンジ合成することにより、広いダイナミックレンジを持つ完成画像を得る方法が提案されている。
【０００３】
この２種類のデータの取り込み方法としては、同一シーンを異なる露光量で複数回撮影することによりメインデータとハイライトデータを得る方法（例えば、下記特許文献１参照）や、図９（Ａ）に示すように、１画素７１が、主画素７１ａと、この主画素７１ａよりも受光面積が小さい副画素７１ｂとから構成された特殊なＣＣＤイメージセンサ７０を使用して、感度の高い主画素７１ａからメインデータを、感度の低い副画素７１ｂからハイライトデータをそれぞれ取り込む方法などがある。図９（Ｂ）のグラフに示すように、主画素７１ａは感度が高いため、副画素７１ｂと比較して少ない入射光量で飽和する。他方、副画素７１ｂは感度が低いため、主画素７１ａよりも多い入射光量で飽和する。これにより、主画素７１ａからは前記メイン画像データを、副画素７１ｂからは前記ハイライトデータをそれぞれ取り出すことができる。
【０００４】
こうした方法で得られたメインデータ及びハイライトデータは、例えば、それぞれ１０ｂｉｔ（１０２４階調）の階調幅を持つデータに変換される。これらメインデータとハイライトデータをレンジ合成することにより、メインデータのみのダイナミックレンジと比較して広いダイナミックレンジを持つ合成画像が得られる。しかし、この合成画像の階調幅は２種類のデータを合成したことにより、各データの倍の階調幅を持つ。この階調幅は、画像をモニタ表示用に使用する場合には広すぎるので、これを所定の階調幅（例えば１０ｂｉｔの階調幅）に収める必要がある。そこで、合成画像に対して、主として高輝度域の階調幅を圧縮するハイライト圧縮処理が施される。このハイライト圧縮は、どの輝度域をどの程度圧縮するかという処理条件を、圧縮パラメータとして予め定めておき、その圧縮パラメータに従って実行される。
【０００５】
【特許文献１】
特開２００２−２７１６８６号公報
【０００６】
【発明が解決しようとする課題】
しかしながら、上述したハイライト圧縮を行う場合には、どのような圧縮パラメータを使用するかによって完成画像の画質が大きく変化するが、従来の画像処理方法では、圧縮パラメータが予め決められていたので、ユーザーがこれを変更することができなかった。このため、ユーザーが意図する画質を得ることが難しかった。
【０００７】
また、完成画像に、よりユーザーの意図を正確に反映させるためには、ハイライト圧縮処理とともに、画面全体の明るさを補正する明るさ補正（増感及び減感補正、またはデジタル露出補正などと呼ばれる）を行えるようにした方がよい。しかし、ハイライト圧縮と明るさ補正とは輝度信号の入出力比を変更するという点で共通しているため、両者は密接に関連する。このため、ハイライト圧縮とともに、明るさ補正を実行する場合には、明るさ補正のパラメータ（ＥＶ値）をプラスに設定して増感させると、高輝度域の白飛びが発生してしまい、せっかく高輝度域の階調を再現するために行ったレンジ合成の効果が得られなかったり、反対に、ＥＶ値をマイナスに設定して減感させると、高輝度域が暗くなるという白沈みが発生してコントラストが低下してしまう。このため、ユーザーの意図を正確に反映させるためにユーザーによる調整の自由度を上げても、それを使いこなすのが非常に難しくなってしまうという問題があった。
【０００８】
本発明は、レンジ合成及びハイライト圧縮によって得られる完成画像に、ユーザーの意図を正確に反映させることができる画像処理方法及び装置、並びに画像処理プログラムを提供することができる。
【０００９】
また、レンジ合成及びハイライト圧縮を含む画像処理を実行する際に、ユーザーによる処理条件の調整の自由度を増加させつつも、その調整が簡単な画像処理方法及び装置、並びに画像処理プログラムを提供することを目的とする。
【００１０】
【課題を解決するための手段】
前記目的を達成するために、本発明の画像処理方法及びプログラムは、低輝度域から中輝度域までの階調を表現するメインデータと、このメインデータでは表現できない高輝度域の階調を表現するハイライトデータとの２種類のデータに基づいてレンジ合成処理を実行し広いダイナミックレンジを持つ合成画像を生成するレンジ合成ステップと、生成された前記合成画像の主として高輝度域の階調幅を圧縮して、前記合成画像の全階調幅を所定の階調幅に収めるハイライト圧縮処理を実行して完成画像を生成するハイライト圧縮ステップと、前記ハイライト圧縮処理を実行する前に、前記ハイライト圧縮処理の強弱レベルをユーザーに指定させるための第１調整部及び明るさ補正の補正レベルをユーザーに指定させるための第２調整部を含む操作画面をモニタに表示させる操作画面表示ステップと、前記合成画像の低輝度域から高輝度域に至る全階調域の中でどの輝度域をどの程度圧縮するかを定めた複数種類の圧縮パラメータの中から、前記第１調整部によって指定された前記強弱レベル及び前記第２調整部によって指定された補正レベルに応じた前記圧縮パラメータを設定することで、前記ハイライト圧縮処理の処理条件を設定する処理条件設定ステップとを含み、前記処理条件設定ステップで設定された処理条件に基づいて、前記モニタにプレビュー画像を表示するとともに前記ハイライト圧縮ステップを実行させることを特徴とする。
【００１１】
また、本発明の画像処理装置は、低輝度域から中輝度域までの階調を表現するメインデータと、このメインデータでは表現できない高輝度域の階調を表現するハイライトデータとの２種類のデータに基づいてレンジ合成処理を実行し広いダイナミックレンジを持つ合成画像を生成するレンジ合成部と、生成された前記合成画像の主として高輝度域の階調幅を圧縮して、前記合成画像の全階調幅を所定の階調幅に収めるハイライト圧縮処理を実行して完成画像を生成するハイライト圧縮部と、前記ハイライト圧縮処理の強弱レベルをユーザーに指定させるための第１調整部及び明るさ補正の補正レベルをユーザーに指定させるための第２調整部を含む操作画面を表示するモニタと、前記合成画像の低輝度域から高輝度域に至る全階調域の中でどの輝度域をどの程度圧縮するかを定めた複数種類の圧縮パラメータの中から、前記第１調整部によって指定された前記強弱レベル及び前記第２調整部によって指定された補正レベルに応じた前記圧縮パラメータを設定することで、前記ハイライト圧縮処理の処理条件を設定する処理条件設定部とを備えており、前記ハイライト圧縮部は、前記処理条件設定部で設定された処理条件に基づいて、前記モニタにプレビュー画像を表示するとともに前記ハイライト圧縮処理を実行することを特徴とする。
【００１２】
【発明の実施の形態】
図１に示すデジタルカメラ１０は、ＣＣＤイメージセンサとして、上述した特殊なＣＣＤイメージセンサ７０（図９参照）を備えており、このＣＣＤイメージセンサ７０によって、メインデータとハイライトデータのそれぞれを取り込む。また、デジタルカメラ１０は、ＣＣＤ−ＲＡＷ記録モードを備えている。ＣＣＤ−ＲＡＷ記録モードでは、ＣＣＤイメージセンサ７０から出力されるアナログの撮像信号をＡ／Ｄコンバータによってデジタルデータに変換した直後のデータであるＣＣＤ−ＲＡＷデータが、カメラ内部で画像処理がなされずにそのままストレージメディア１１に記録される。ＣＣＤ−ＲＡＷデータは、メインデータとハイライトデータのそれぞれが、例えば、１０ｂｉｔの階調幅を持っている。
【００１３】
ＣＣＤ−ＲＡＷデータは、汎用的な画像処理プログラムでは再生することができないので、専用の画像処理プログラムがインストールされたパーソナルコンピュータ１２によって、ゲイン補正及びガンマ補正の他、ユーザーの好みに応じて、シャープネス補正，彩度補正，明るさ補正などの画像処理が施されて再生される。メインデータとハイライトデータの合成処理は、前記画像処理プログラムによって実行される。パーソナルコンピュータ１２は、コンピュータ本体１３と、モニタ１４と、キーボード１６及びマウス１７などの入力装置１８からなる。
【００１４】
図２に示すように、コンピュータ本体１３には、ＣＰＵ２１，ＲＡＭ２２，ハードディスクドライブで構成されるデータストレージ２３，通信Ｉ／Ｆ２４からなる。通信Ｉ／Ｆ２４は、通信ケーブルを介してデジタルカメラ１０と接続して、カメラ本体にセットされたストレージメディア１１からコンピュータ本体１３内に画像ファイルを取り込む画像入力手段である。ＲＡＭ２２は、ＣＰＵ２１が処理を実行する際の作業用のメモリである。
【００１５】
データストレージ２３には、画像処理プログラムであるＣＣＤ−ＲＡＷアプリケーション２６がインストールされている。このＣＣＤ−ＲＡＷアプリケーション２６で生成された完成画像は、データストレージ２３に出力される。ＣＣＤ−ＲＡＷアプリケーション２６は、プログラム本体２７，ＬＵＴ２８，操作画面データ３０などからなる。
【００１６】
このＣＣＤ−ＲＡＷアプリケーション２６は、ユーザーの指定に応じて画像処理条件を設定する処理条件設定と、設定された処理条件に従って各種の画像処理を実行する画像処理の各ステップとをＣＰＵ２１に実行させる。
【００１７】
ＬＵＴ２８は、各種画像処理用の補正パラメータをテーブル形式に格納したものである。ＬＵＴ２８には、明るさ補正用パラメータを格納した明るさ補正用ＬＵＴ２８ａや、レンジ合成された合成画像を、所定の階調幅に圧縮するハイライト圧縮処理をする際の圧縮パラメータを格納した圧縮用ＬＵＴ２８ｂなどが含まれる。これらは、必要に応じてＲＡＭ２２にロードされて使用される。補正パラメータとしては、予め定められた所定の既定値が設定されており、その補正パラメータが各ＬＵＴに格納されている。この既定の補正パラメータは、ユーザーの指定により調整が可能であり、各ＬＵＴは、それに応じて変更される。
【００１８】
図３は、メインデータとハイライトデータのレンジ合成処理と、合成によって生成された合成画像に対するハイライト圧縮処理とからなる合成プロセスの説明図である。ＣＣＤイメージセンサ７０から取り込まれたメインデータＭは、露光量がＱ１で飽和するため、ダイナミックレンジＤＲ１を持つ。他方、ハイライトデータＨは、露光量Ｑ１よりも多い露光量Ｑ２で飽和する。このハイライトデータＨによって、メインデータＭによっては階調表現ができない高輝度域の階調が表現される。これらメインデータＭとハイライトデータＨとに基づいてレンジ合成処理が実行され、ダイナミックレンジＤＲ１と比較して、広いダイナミックレンジＤＲ２を持つ合成画像のデータ（合成データ）が得られる。
【００１９】
この合成データＧは、メインデータＭの２倍の階調幅を持つので、このままでは、汎用に適さない。そこで、合成データの階調幅のうち、主として高輝度域を圧縮することにより、広ダイナミックレンジＤＲ２を維持しながら所定の階調幅（例えば、１０２４）に圧縮するハイライト圧縮が行われる。これにより圧縮データＣが得られる。この圧縮データＣは、ホワイトバランス補正，彩度補正等の他の補正処理が実行されて、完成画像として出力される。
【００２０】
図４は、ハイライト圧縮の際に使用される圧縮パラメータＰ０の例を示す。信号レベル（階調値）の最大値が「２０４６」から「１０２３」になるように、ゲインが「０．５０」になっている。また、合成画像の低輝度域から中輝度域に相当する「０」〜「１０２３」付近までの部分は、階調値が２〜３割程度圧縮されるように、ゲインが「０．７８」〜「０．８０」に設定されている。この圧縮パラメータＰ０は、既定値として設定されているが、この圧縮パラメータは画質に大きく影響する。このため、ユーザーの好みに応じた画質が得られるように、この圧縮パラメータをユーザーが調節できるようにしている。
【００２１】
また、ユーザーによっては、合成（レンジ合成＋ハイライト圧縮）を行う場合に、合成とともに明るさを調整する場合がある。図５は、合成と同時に明るさ補正を行う場合の圧縮データの説明図である。図５（Ａ）は、標準の圧縮パラメータＰ０を使用してハイライト圧縮を行った圧縮データＣ０に対して、明るさ補正で＋１ＥＶの増感補正をした場合の圧縮データＣ０＋１ＥＶを示す。図５（Ｃ）は、前記圧縮データＣ０に対して、明るさ補正で−１ＥＶの減感補正をした場合の圧縮データＣ０−１ＥＶを示す。これらのグラフから明らかなように、標準の圧縮パラメータＰ０を使用して明るさ補正を行うと、増感時には、高輝度域における出力信号レベルが、１０ｂｉｔ幅の最大階調値「１０２３」を超えてしまういわゆる白飛びが発生して、せっかくレンジ合成をして高輝度域の階調を再現した効果が得られなくなってしまう。他方、減感時には、高輝度域が全体的に沈んでしまうという白沈みが発生してしまう。
【００２２】
そこで、本発明では、合成と明るさ補正の両方を行う場合には、ユーザーによって指定された明るさ調整レベルに応じて圧縮パラメータを決定して、増感時の白飛びや減感時の白沈みが発生しないようにしている。図５（Ｂ）は、増感補正用の圧縮パラメータＰ１を使用してハイライト圧縮を行った圧縮データＣ１と、この圧縮データＣ１に対して＋１ＥＶの増感を行った圧縮データＣ１＋１ＥＶとを示す。図５（Ｄ）は、減感補正用の圧縮パラメータＰ２を使用してハイライト圧縮を行った圧縮データＣ２と、この圧縮データＣ２に対して−１ＥＶの減感を行った圧縮データＣ２−１ＥＶとを示す。図６は、増感補正用の圧縮パラメータＰ１と、減感補正用の圧縮パラメータＰ２の例を示す。
【００２３】
図６の表と、図５（Ｂ）のグラフからわかるように、増感用の圧縮パラメータＰ１では、出力信号レベルの最大値が、明るさ補正によって増感された時に、最大階調値「１０２３」となるように、その階調値のゲインが「０．２５」に設定される。この圧縮パラメータＰ１を使用してレンジ合成及びハイライト圧縮が実行されると、圧縮データＣ１が得られる。そして、この圧縮データＣ１に対して、＋１ＥＶの増感補正が行われて、圧縮データＣ１＋１ＥＶが得られる。圧縮データＣ１＋１ＥＶでは、低輝度域から中輝度域においては、標準のパラメータを使用した圧縮データＣ０と比較して明るさが増感されるとともに、高輝度域における白飛びもない。
【００２４】
他方、図５（Ｄ）のグラフからわかるように、減感用の圧縮パラメータＰ２では、出力信号レベルの最大値が、明るさ補正によって減感された時に、最大階調値「１０２３」となるように、その階調値のゲインが「１」に設定される。この圧縮パラメータＰ２を使用してレンジ合成及びハイライト圧縮が実行されると、圧縮データＣ２が得られる。そして、この圧縮データＣ２に対して、−１ＥＶの減感補正が行われて、圧縮データＣ２−１ＥＶが得られる。圧縮データＣ２−１ＥＶでは、低輝度域から中輝度域においては、標準のパラメータを使用した圧縮データＣ０と比較して減感されるとともに、高輝度域における白沈みもなくなる。
【００２５】
図６では、明るさ補正用のパラメータとして、±１ＥＶの補正をそれぞれ行う増感及び減感補正用のパラメータを１つずつ示したが、明るさの補正レベル（調整値）としては、これ以外に様々のレベルが想定されるので、それに応じた多数の圧縮パラメータが用意されており、それらは明るさＬＵＴ２８ａ内に格納される。もちろんパラメータをＬＵＴの形式に格納して補正を行う例で説明しているが、関数式その他によって補正を行うようにしてもよい。
【００２６】
図７に示すように、ＣＣＤ−ＲＡＷアプリケーション２６は、モニタ１４に表示された操作画面３１を通じて各種の操作指示を受け付けるＧＵＩ（Graphical User Interface）を採用している。操作画面３１は、画像表示領域３２と調整部表示領域３３とからなる。画像表示領域３２には、選択された画像ファイルのプレビュー画像３４が表示される。ＣＣＤ−ＲＡＷアプリケーション２６は、所望の画像ファイルを選択した状態で起動される。ＣＣＤ−ＲＡＷアプリケーション２６が起動されると、このアプリケーション２６に含まれる各処理ステップをＣＰＵ２１が実行する。ＣＰＵ２１は、ＣＣＤ−ＲＡＷアプリケーション２６が起動した直後に処理条件（補正パラメータ）の既定値を設定するとともに、操作画面３１をモニタ１４に表示する。
【００２７】
調整部表示領域３３には、ホワイトバランス補正，彩度補正，シャープネス補正，ハイライト圧縮，明るさ補正の各処理条件を指定するための各調整部３６，３７，３８，３９，４０が設けられている。各調整部３６〜４０には、目盛とその目盛上を移動するスライダ３６ａ〜４０ａが設けられている。ポインタ４１を、各スライダ３６ａ〜４０ａに合わせて、それぞれを目盛方向にドラッグすることにより各補正処理の補正レベルが調整される。スライダー３９ａを初期位置（中央）から左右方向（「弱」または「強」方向）に移動すると、ハイライト圧縮の圧縮パラメータの既定値が変更される。また、スライダー３９ａを初期位置（中央）から移動しない場合には、圧縮パラメータの既定値は変更されないが、その場合であっても、明るさ補正のスライダー４０ａが初期位置（中央）から移動されて、明るさ補正レベルが調整されると、その補正レベルに応じて、上述したように、増感用又は減感用の圧縮パラメータに変更される。
【００２８】
各調整部３６〜４０を通じて処理条件が変更されると、その処理条件がリアルタイムで適用されて、プレビュー画像３４が更新される。こうすることで、ユーザーによって指定される処理条件の結果が予め確認できるようにしている。また、画像表示領域３２の下には、処理条件を確定する決定ボタン４３と、処理条件を既定値に戻すためのキャンセルボタン４４とが設けられている。決定ボタン４３をマウス１７でクリック操作すると、ユーザーによって指定された補正レベルが確定される。処理条件が確定されると、ＣＰＵ２１は、確定された処理条件に基づいて、本画像データに対して画像処理を実行して、完成画像をデータストレージ２３に出力する。
【００２９】
以下、上記構成による作用について、図８のフローチャートを参照しながら説明する。デジタルカメラ１０のＣＣＤ−ＲＡＷ記録モードで記録された画像ファイルを選択して起動指示が与えられると、ＣＣＤ−ＲＡＷアプリケーション２６が起動する。ＣＣＤ−ＲＡＷアプリケーション２６が起動されると、ＣＰＵ２１は、ＣＣＤ−ＲＡＷアプリケーション２６の各処理ステップを実行する。ＣＰＵ２１は、起動直後に、データストレージ２３からＬＵＴ２８を読み出して、処理条件の既定値を設定するとともに、モニタ１４に操作画面３１を表示する。プレビュー画像３４は、設定された処理条件の既定値に基づいて生成される。
【００３０】
ユーザーは、プレビュー画像３４を見ながら、マウス１７を通じて各調整部３６〜４０を操作して、所望の処理条件を指定する。ＣＰＵ２１は、処理条件が調整されると、ユーザーの指定に応じて処理条件の既定値を変更し、変更した補正パラメータに基づいてプレビュー画像３４を更新する。このように処理条件がプレビュー画像３４に反映されるので、調整がしやすい。ＣＰＵ２１は、処理条件の調整の際に、圧縮処理条件の調整がなされた場合には、それに応じて圧縮パラメータに変更を加える。このように、ユーザーの指定に応じて、圧縮パラメータを変更できるようにしたから、ユーザーの意図をより正確に完成画像に反映することができる。
【００３１】
また、明るさの調整が行われた場合には、ユーザーが指定した明るさの調整値に応じて、圧縮パラメータを決定する。このため、増感時に、高輝度域に白飛びが発生したり、減感時に白沈みが発生することがない。このように、ユーザーによって指定された明るさ補正レベルに応じて圧縮パラメータを決定するようにしたから、ユーザーが直感的に、明るさ調整を行っても、画質が劣化してしまうようなことはなく、処理条件の調整を簡単に行うことができる。
【００３２】
調整が終了した場合には、決定ボタン４３をマウス１７でクリックする。これにより調整した処理条件が確定する。ＣＰＵ２１は、確定した処理条件に基づいて、画像処理を実行する。画像処理が実行されて生成された完成画像は、データストレージ２３に出力される。
【００３３】
上記実施形態では、画像処理プログラムをコンピュータにインストールした形態で説明しているが、本発明の画像処理方法は、この形態に限られず、例えば、専用の画像処理装置によって実現したり、また、画像処理プログラムをデジタルカメラ本体に組み込んで、デジタルカメラで実現するなど、種々の形態に適用可能である。
【００３４】
【発明の効果】
以上詳細に説明したように、本発明は、低輝度域から中輝度域までの階調を表現するメインデータと、このメインデータでは表現できない高輝度域の階調を表現するハイライトデータとの２種類のデータに基づいて広いダイナミックレンジを持つ合成画像を生成する画像処理を行う際に、生成された前記合成画像の主として高輝度域の階調幅を圧縮して、前記合成画像の全階調幅を所定の階調幅に収めるハイライト圧縮処理を実行して完成画像を生成するハイライト圧縮ステップと、前記ハイライト圧縮処理を実行する前に、前記ハイライト圧縮処理の強弱レベルをユーザーに指定させるための第１調整部を含む操作画面をモニタに表示させる操作画面表示ステップと、前記合成画像の低輝度域から高輝度域に至る全階調域の中でどの輝度域をどの程度圧縮するかを定めた複数種類の圧縮パラメータの中から、前記第１調整部によって指定された前記強弱レベルに応じた前記圧縮パラメータを設定することで、前記ハイライト圧縮処理の処理条件を設定する処理条件設定ステップとを含み、前記処理条件設定ステップで設定された処理条件に基づいて前記ハイライト圧縮ステップを実行させるようにしたから、完成画像に、ユーザーの意図を正確に反映することができる。
【００３５】
さらに、前記処理条件設定ステップにおいて設定された処理条件に応じたプレビュー画像を前記モニタに表示するようにしたから、処理条件の調整がしやすい。
【００３６】
また、前記操作画面には、前記第１調整部に加えて、明るさ補正の補正レベルをユーザーに指定させるための第２調整部が含まれており、前記処理条件設定ステップにおいて、前記第２調整部によって指定された補正レベルに応じて、前記圧縮パラメータが設定されるようにしたから、ユーザーによる処理条件の調整の自由度を増加させつつも、その調整を簡単にすることができる。
【図面の簡単な説明】
【図１】ＣＣＤ−ＲＡＷデータの再生方法の説明図である。
【図２】ＣＣＤ−ＲＡＷアプリケーションとそれがインストールされたパーソナルコンピュータの構成図である。
【図３】メインデータとハイライトデータの画像合成プロセスの説明図である。
【図４】圧縮パラメータの例である。
【図５】レンジ合成とともに明るさ補正を行った圧縮データの説明図である。
【図６】レンジ合成とともに明るさ補正を行う場合の圧縮パラメータの例である。
【図７】ＣＣＤ−ＲＡＷアプリケーションの操作画面の例である。
【図８】ＣＣＤ−ＲＡＷアプリケーションを使用してＣＣＤ−ＲＡＷデータから完成画像を生成する手順を示すフローチャートである。
【図９】広いダイナミックレンジを持つ画像を生成可能なＣＣＤイメージセンサの説明図である。
【符号の説明】
１０ デジタルカメラ
１１ ストレージメディア
１２ パーソナルコンピュータ
２６ ＣＣＤ−ＲＡＷアプリケーション
２８ ＬＵＴ
３１ 操作画面
Claims (3)
- 低輝度域から中輝度域までの階調を表現するメインデータと、このメインデータでは表現できない高輝度域の階調を表現するハイライトデータとの２種類のデータに基づいてレンジ合成処理を実行し広いダイナミックレンジを持つ合成画像を生成するレンジ合成ステップと、
生成された前記合成画像の主として高輝度域の階調幅を圧縮して、前記合成画像の全階調幅を所定の階調幅に収めるハイライト圧縮処理を実行して完成画像を生成するハイライト圧縮ステップと、
前記ハイライト圧縮処理を実行する前に、前記ハイライト圧縮処理の強弱レベルをユーザーに指定させるための第１調整部及び明るさ補正の補正レベルをユーザーに指定させるための第２調整部を含む操作画面をモニタに表示させる操作画面表示ステップと、
前記合成画像の低輝度域から高輝度域に至る全階調域の中でどの輝度域をどの程度圧縮するかを定めた複数種類の圧縮パラメータの中から、前記第１調整部によって指定された前記強弱レベル及び前記第２調整部によって指定された補正レベルに応じた前記圧縮パラメータを設定することで、前記ハイライト圧縮処理の処理条件を設定する処理条件設定ステップとを含み、
前記処理条件設定ステップで設定された処理条件に基づいて、前記モニタにプレビュー画像を表示するとともに前記ハイライト圧縮ステップを実行させることを特徴とするコンピュータに処理を実行させる画像処理プログラム。 - 低輝度域から中輝度域までの階調を表現するメインデータと、このメインデータでは表現できない高輝度域の階調を表現するハイライトデータとの２種類のデータに基づいてレンジ合成処理を実行し広いダイナミックレンジを持つ合成画像を生成するレンジ合成ステップと、
生成された前記合成画像の主として高輝度域の階調幅を圧縮して、前記合成画像の全階調幅を所定の階調幅に収めるハイライト圧縮処理を実行して完成画像を生成するハイライト圧縮ステップと、
前記ハイライト圧縮処理を実行する前に、前記ハイライト圧縮処理の強弱レベルをユーザーに指定させるための第１調整部及び明るさ補正の補正レベルをユーザーに指定させるための第２調整部を含む操作画面をモニタに表示させる操作画面表示ステップと、
前記合成画像の低輝度域から高輝度域に至る全階調域の中でどの輝度域をどの程度圧縮するかを定めた複数種類の圧縮パラメータの中から、前記第１調整部によって指定された前記強弱レベル及び前記第２調整部によって指定された補正レベルに応じた前記圧縮パラメータを設定することで、前記ハイライト圧縮処理の処理条件を設定する処理条件設定ステップとを含み、
前記処理条件設定ステップで設定された処理条件に基づいて、前記モニタにプレビュー画像を表示するとともに前記ハイライト圧縮ステップを実行させることを特徴とする画像処理方法。 - 低輝度域から中輝度域までの階調を表現するメインデータと、このメインデータでは表現できない高輝度域の階調を表現するハイライトデータとの２種類のデータに基づいてレンジ合成処理を実行し広いダイナミックレンジを持つ合成画像を生成するレンジ合成部と、
生成された前記合成画像の主として高輝度域の階調幅を圧縮して、前記合成画像の全階調幅を所定の階調幅に収めるハイライト圧縮処理を実行して完成画像を生成するハイライト圧縮部と、
前記ハイライト圧縮処理の強弱レベルをユーザーに指定させるための第１調整部及び明るさ補正の補正レベルをユーザーに指定させるための第２調整部を含む操作画面を表示するモニタと、
前記合成画像の低輝度域から高輝度域に至る全階調域の中でどの輝度域をどの程度圧縮するかを定めた複数種類の圧縮パラメータの中から、前記第１調整部によって指定された前記強弱レベル及び前記第２調整部によって指定された補正レベルに応じた前記圧縮パラメータを設定することで、前記ハイライト圧縮処理の処理条件を設定する処理条件設定部とを備えており、
前記ハイライト圧縮部は、前記処理条件設定部で設定された処理条件に基づいて、前記モニタにプレビュー画像を表示するとともに前記ハイライト圧縮処理を実行することを特徴とする画像処理装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003008659A JP4143425B2 (ja) | 2003-01-16 | 2003-01-16 | 画像処理方法及び装置、並びに画像処理プログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003008659A JP4143425B2 (ja) | 2003-01-16 | 2003-01-16 | 画像処理方法及び装置、並びに画像処理プログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004220438A JP2004220438A (ja) | 2004-08-05 |
| JP4143425B2 true JP4143425B2 (ja) | 2008-09-03 |
Family
ID=32898395
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003008659A Expired - Fee Related JP4143425B2 (ja) | 2003-01-16 | 2003-01-16 | 画像処理方法及び装置、並びに画像処理プログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4143425B2 (ja) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007259337A (ja) * | 2006-03-24 | 2007-10-04 | Fujifilm Corp | 撮像装置および画像処理方法 |
| JP2009296179A (ja) * | 2008-06-03 | 2009-12-17 | Sony Corp | 画像処理装置及び画像処理方法、並びに、撮像装置及び撮像方法 |
| JP5083046B2 (ja) * | 2008-06-03 | 2012-11-28 | ソニー株式会社 | 撮像装置及び撮像方法 |
| CN102341826B (zh) | 2009-03-06 | 2014-03-19 | 皇家飞利浦电子股份有限公司 | 用于将输入图像数据转换成输出图像数据的方法 |
| JP5473981B2 (ja) * | 2011-04-27 | 2014-04-16 | Ｅｉｚｏ株式会社 | 画像生成装置、画像生成システム、画像表示装置、コンピュータプログラム及び画像生成方法 |
| JP5543636B2 (ja) * | 2013-05-21 | 2014-07-09 | キヤノン株式会社 | 撮像装置 |
| EP3110314B1 (en) * | 2014-02-27 | 2020-12-09 | Intuitive Surgical Operations, Inc. | System and method for specular reflection detection and reduction |
| JP6552228B2 (ja) | 2015-03-17 | 2019-07-31 | キヤノン株式会社 | 画像表示装置及びその制御方法 |
| JP6779695B2 (ja) | 2016-07-28 | 2020-11-04 | キヤノン株式会社 | 画像処理装置及びその制御方法、表示装置 |
-
2003
- 2003-01-16 JP JP2003008659A patent/JP4143425B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004220438A (ja) | 2004-08-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11343411B2 (en) | Imaging apparatus including circuitry that causes the display of an image corresponding to raw data and with characteristics determined by selected setting information | |
| JP5713752B2 (ja) | 画像処理装置、及びその制御方法 | |
| KR101595254B1 (ko) | 화이트 밸런스 조정 방법, 상기 방법을 기록한 기록 매체, 화이트 밸런스 조정 장치 | |
| US20110205397A1 (en) | Portable imaging device having display with improved visibility under adverse conditions | |
| JP5672796B2 (ja) | 画像処理装置、画像処理方法 | |
| JPH10187929A (ja) | 画像処理装置 | |
| JP6624889B2 (ja) | 映像処理装置、映像処理方法、及び映像処理プログラム | |
| JP2006238163A5 (ja) | ||
| JP2006238163A (ja) | 画像再生装置 | |
| JP2005252711A (ja) | デジタルスチルカメラを用いた撮影システム、及び撮影制御方法 | |
| JP2017212532A (ja) | 画像処理装置 | |
| JP2018013696A (ja) | 画像処理装置および表示装置 | |
| JP4143425B2 (ja) | 画像処理方法及び装置、並びに画像処理プログラム | |
| JP2004246644A (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
| US11810281B2 (en) | Image processing apparatus, image processing method, and storage medium | |
| JP4439173B2 (ja) | デジタルカメラ及び情報端末 | |
| JP2004349842A (ja) | 合成画像の補正方法及びプログラム | |
| JP2005348159A (ja) | 画像処理方法及び装置及びプログラム及び記憶媒体 | |
| JP2020145553A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
| JP2015211320A (ja) | 画像処理装置、その制御方法、及びプログラム | |
| JP2017163339A (ja) | 映像処理装置、映像処理方法、及びプログラム | |
| JP2004222076A (ja) | 画像処理プログラム及び方法 | |
| JP2007006158A (ja) | 画像処理装置 | |
| JP5483949B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
| JP6229809B2 (ja) | 撮像装置及び画像処理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050218 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20061218 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20071210 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071219 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080206 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20080312 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080402 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20080515 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080604 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080616 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110620 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4143425 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110620 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120620 Year of fee payment: 4 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120620 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130620 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |