JP4785799B2 - 画像処理装置、画像処理方法及び撮影装置 - Google Patents

Description

本発明は画像処理装置、画像処理方法及び撮影装置に係り、特にダイナミックレンジ圧縮を行う技術に関する。

特許文献１には、Ｒ、Ｇ、Ｂ信号から輝度信号を作成する輝度信号変換手段と、この輝度信号を任意形状の所望の階調特性にガンマ変換した結果の前記輝度信号に対する比を演算する補正係数演算手段と、この補正係数演算手段の出力と前記Ｒ、Ｇ、Ｂ各々の入力信号を乗ずる乗算手段とを備えた階調補正装置が開示されている。
特許２７４８６７８号公報

従来、画像信号に対して階調変換を行ってダイナミックレンジ圧縮を行う場合、低輝度部の傾きを大きくし、高輝度部の傾きを寝かせるようにしている。このため、ダイナミックレンジ圧縮された画像信号では、高輝度部の各色間の差と、レベル変動が小さくなるので、彩度及びコントラストの低下を招き、いわゆる白飛び及び黒つぶれが生じやすくなるという問題があった。

本発明はこのような事情に鑑みてなされたもので、ダイナミックレンジ圧縮を行う際に彩度及びコントラストの情報を保持して、白飛び及び黒つぶれを抑制した良好な画像を得ることができる画像処理装置、画像処理方法及び撮影装置を提供することを目的とする。

上記課題を解決するために、本願発明１に係る画像処理装置は、画素ごとの色信号を取得する画像信号取得手段と、各色信号のうち信号レベルが高い色信号の割合が大きくなるように、該色信号の重み付け加算を行って、各画素のレベル情報を算出するレベル情報算出手段と、前記レベル情報に基づいて各画素の色信号に掛けるゲイン量を算出するゲイン量算出手段と、各画素の色信号に前記ゲイン量を掛ける乗算手段とを備えることを特徴とする。

本願発明１によれば、各画素のレベル情報に基づいて算出されたゲイン量を各色信号に掛けることにより、各色信号の信号レベルの比を保持したまま、各画素の信号のレベル（明るさ）をコントロールすることができる。これにより、階調変換処理（ガンマ変換）を行った場合に問題になる彩度の低下を防ぐことができる。

本願発明２に係る画像処理装置は、画素ごとの色信号を取得する画像信号取得手段と、前記色信号から各画素のレベル情報を算出するレベル情報算出手段と、処理対象の画素の周辺領域の画素のレベル情報を用いて、前記処理対象の画素のレベル情報のフィルタリングを行うフィルタリング手段と、前記レベル情報をフィルタリングして得られた基準値に基づいて、前記処理対象の画素の色信号に掛けるゲイン量を算出するゲイン量算出手段と、各画素の色信号に前記ゲイン量を掛ける乗算手段とを備えることを特徴とする。

本願発明２によれば、ゲイン量を算出する際に周辺画素のレベル情報を考慮することにより、画素間のレベル情報のバラツキの情報を保持し、画像のコントラストを残したままで画像のレベル変調が可能になる。

本願発明３に係る画像処理装置は、処理対象の画素及びその周辺領域の画素から、前記処理対象の画素と、前記処理対象の画素とのレベル情報の差分絶対値が閾値未満の画素とを領域分離する領域判別手段と、前記領域分離された画素のレベル情報を用いて、前記処理対象の画素のレベル情報のフィルタリングを行うフィルタリング手段と、前記レベル情報をフィルタリングして得られた基準値に基づいて、前記処理対象の画素の色信号に掛けるゲイン量を算出するゲイン量算出手段と、各画素の色信号に前記ゲイン量を掛ける乗算手段とを備えることを特徴とする。

本願発明３によれば、処理対象の画素とレベル情報が近い周辺画素のフィルタリングにより得られた基準値に基づいてゲイン量を算出することにより、レベル情報の高低の境界部分であっても違和感が少ないダイナミックレンジ圧縮を行うことができる。

本願発明４に係る画像処理装置は、画素ごとの色信号を取得する画像信号取得手段と、前記色信号から各画素のレベル情報を算出するレベル情報算出手段と、前記色信号に対して、所定のゲイン量を掛けてダイナミックレンジ圧縮処理を行い、所定の階調変換曲線に従って階調変換処理を施した場合の入出力の関係を示す、歪みのない最終階調変換曲線を用いて、前記レベル情報算出手段から入力されたレベル情報を入力として出力を算出する最終階調変換手段と、前記最終階調変換手段によって算出された出力と、前記階調変換処理時における所定の階調変換曲線からゲイン量を逆算するゲイン量算出手段と、各画素の色信号に前記ゲイン量を掛ける乗算手段とを備えることを特徴とする。

本願発明４によれば、ゲイン量と通常の階調変換曲線から得られる最終階調曲線の歪みを無くすことができるので、より自然な画像出力を得ることができる。

本願発明５は、本願発明２から４の画像処理装置において、前記レベル情報算出手段は、前記色信号から各画素の輝度情報を算出し、前記輝度情報に基づいて各画素のレベル情報を算出することを特徴とする。

本願発明５によれば、各画素の輝度値に基づいてゲイン量を算出することにより、人間の視覚特性に近い間隔でレベル変調（輝度調整）を行うことができる。

本願発明６は、本願発明２から４の画像処理装置において、前記レベル情報算出手段は、各色信号のうち信号レベルが高い色信号の割合が大きくなるように、該色信号の重み付け加算を行って、各画素のレベル情報を算出することを特徴とする。

本願発明６によれば、各色信号のうちレベルが高い色信号の割合が大きくなるように重み付け加算（混合）を行うことで、撮影時における光源の色成分のうち、レンズ等で透過又は反射により減衰した分を補うことができ、撮影時の光源に近い明るさを利用したレベル変調が可能になる。

本願発明７は、本願発明１から６の画像処理装置において、前記乗算手段によってゲイン量が乗算されて出力された後の各画素の色信号に対して階調変換処理を施す階調変換手段を更に備えることを特徴とする。

本願発明７によれば、画像信号が真数の状態で、色信号にゲイン量を乗算してダイナミックレンジ圧縮を行い、その後に階調変換処理で対数の状態にすることで、人間の視覚特性に近い画像を得ることができる。

本願発明８に係る撮影装置は、本願発明１から８の画像処理装置を備えることを特徴とする。

本願発明８によれば、上記のダイナミックレンジ圧縮処理によりダイナミックレンジ圧縮をリアルタイムで行った画像を撮影することができる。

本願発明９に係る画像処理方法は、画素ごとの色信号を取得する画像信号取得工程と、前記色信号から各画素のレベル情報を算出するレベル情報算出工程と、各色信号のうち信号レベルが高い色信号の割合が大きくなるように、該色信号の重み付け加算を行って、各画素のレベル情報を算出するゲイン量算出工程と、各画素の色信号に前記ゲイン量を掛ける乗算工程とを備えることを特徴とする。

本願発明１０に係る画像処理方法は、画素ごとの色信号を取得する画像信号取得工程と、前記色信号から各画素のレベル情報を算出するレベル情報算出工程と、処理対象の画素の周辺領域の画素のレベル情報を用いて、前記処理対象の画素のレベル情報のフィルタリングを行うフィルタリング工程と、前記レベル情報をフィルタリングして得られた基準値に基づいて、前記処理対象の画素の色信号に掛けるゲイン量を算出するゲイン量算出工程と、各画素の色信号に前記ゲイン量を掛ける乗算工程とを備えることを特徴とする。

本願発明１１に係る画像処理方法は、処理対象の画素及びその周辺領域の画素から、前記処理対象の画素と、前記処理対象の画素とのレベル情報の差分絶対値が閾値未満の画素とを領域分離する領域判別工程と、前記領域分離された画素のレベル情報を用いて、前記処理対象の画素のレベル情報のフィルタリングを行うフィルタリング工程と、前記レベル情報をフィルタリングして得られた基準値に基づいて、前記処理対象の画素の色信号に掛けるゲイン量を算出するゲイン量算出工程と、各画素の色信号に前記ゲイン量を掛ける乗算工程とを備えることを特徴とする。

本願発明１２に係る画像処理方法は、画素ごとの色信号を取得する画像信号取得工程と、前記色信号から各画素のレベル情報を算出するレベル情報算出工程と、前記色信号に対して、所定のゲイン量を掛けてダイナミックレンジ圧縮処理を行い、所定の階調変換曲線に従って階調変換処理を施した場合の入出力の関係を示す、歪みのない最終階調変換曲線を用いて、前記レベル情報算出工程から入力されたレベル情報を入力として出力を算出する最終階調変換工程と、前記最終階調変換工程において算出された出力と、前記階調変換処理時における所定の階調変換曲線からゲイン量を逆算するゲイン量算出工程と、各画素の色信号に前記ゲイン量を掛ける乗算工程とを備えることを特徴とする。

本願発明１３は、本願発明１０から１２のレベル情報算出工程において、前記色信号から各画素の輝度情報を算出し、前記輝度情報に基づいて各画素のレベル情報を算出することを特徴とする。

本願発明１４は、本願発明１０から１２のレベル情報算出工程において、各色信号のうち信号レベルが高い色信号の割合が大きくなるように、該色信号の重み付け加算を行って、各画素のレベル情報を算出することを特徴とする。

本願発明１５は、本願発明９から１４の画像処理方法において、前記乗算工程でゲイン量が乗算されて出力された後の各画素の色信号に対して階調変換処理を施す階調変換工程を更に備えることを特徴とする。

本発明によれば、各画素のレベル情報に基づいて算出されたゲイン量を各色信号に掛けることにより、各色信号の信号レベルの比を保持したまま、各画素の信号のレベル（明るさ）をコントロールすることができる。これにより、階調変換処理（ガンマ変換）を行った場合に問題になる彩度及びコントラストの低下を防ぐことができる。

以下、添付図面に従って本発明に係る画像処理装置、画像処理方法及び撮影装置の好ましい実施の形態について説明する。

［第１の実施形態］
図１は、本発明の第１の実施形態に係る画像処理装置の主要構成を示すブロック図であり、図２は、本実施形態に係るダイナミックレンジ圧縮処理を説明するための図である。

図１に示すように、本実施形態に係る画像処理装置１０は、画像データ（例えば、ＲＡＷデータ）に対してダイナミックレンジ圧縮処理を施すための装置であり、レベル情報算出回路１２、ゲイン量算出回路１４及び乗算回路１６（１６Ｒ、１６Ｇ、１６Ｂ）を備えている。

レベル情報算出回路１２は、画像ファイル（例えば、ＲＡＷデータ）又は撮像部から入力された画素ごとのＲ、Ｇ、Ｂの画像信号から各画素のレベル情報を算出する。ここで、レベル情報は、例えば、各画素の輝度値を示す輝度情報である。なお、レベル情報の具体例については、第２の実施形態以降で詳述する。

ゲイン量算出回路１４は、レベル情報算出回路１２によって算出された各画素のレベル情報に基づいて、ゲインテーブルＧ（Ｙ）を参照して各画素のＲ、Ｇ、Ｂ信号に掛けるゲイン量（例えば、１．５）を算出する。乗算回路１６（１６Ｒ、１６Ｇ、１６Ｂ）は、Ｒ、Ｇ、Ｂ信号にゲイン量を掛ける。

ここで、ゲインテーブルＧ（Ｙ）は、レベル情報とゲイン量の関係を示すテーブルであり、画像処理装置１０のメモリ（不図示）に記憶されている。ゲイン量は、例えば、図２（ｂ）に示すように、レベル情報（輝度値）が最大の場合に最小（＝１．０）になり、輝度値が小さくなるにつれて大きくなるように設定される。本実施形態では、各画素のレベル情報に基づいて算出されたゲイン量をＲ、Ｇ、Ｂ信号に掛けることにより、図２（ａ）に示すように、Ｒ、Ｇ、Ｂの各色の信号レベルの比を保持したまま、各画素の信号のレベル（明るさ）をコントロールすることができる。上記のように、ダイナミックレンジ圧縮を行うことにより、階調変換処理（ガンマ変換）を行った場合に問題になる彩度の低下を防ぐことができる。

図３は、本実施形態に係るダイナミックレンジ圧縮処理の流れを示すフローチャートである。まず、Ｒ、Ｇ、Ｂの色信号が入力されると、レベル情報算出回路１２によって、各画素のレベル情報が算出される（ステップＳ１０）。次に、ゲイン量算出回路１４によって、各画素のレベル情報から、各画素の色信号に掛けるゲイン量が算出され（ステップＳ１２）、各色信号にゲイン量が乗算される（ステップＳ１４）。

本実施形態によれば、各画素のレベル情報に基づいて算出されたゲイン量を各色信号に掛けることにより、各色信号の信号レベルの比を保持したまま、各画素の信号のレベル（明るさ）をコントロールすることができる。これにより、階調変換処理（ガンマ変換）を行った場合に問題になる彩度の低下を防ぐことができる。

なお、本実施形態では、Ｒ、Ｇ、Ｂ信号からレベル量を算出してダイナミックレンジ圧縮を施すようにしたが、例えば、輝度／色差信号（Ｙ／Ｃ信号、Ｙ、Ｃｂ、Ｃｒ）やＬａｂ等の信号にダイナミックレンジ圧縮を施すようにすることも可能である。

次に、本実施形態に係る階調変換処理について説明する。図４は、本実施形態に係る画像処理装置に階調変換回路を接続した例を示すブロック図であり、図５は、階調変換処理の流れを示すフローチャートである。

図４に示す例では、乗算回路１６の後段（出力側）に階調変換回路１８が設けられている。各画素の色信号は、乗算回路１６においてゲイン量が乗算された後に（ステップＳ１４）、階調変換回路１８によって階調変換（ガンマ変換）される（ステップＳ１６）。

上記のように、本実施形態では、ダイナミックレンジ圧縮処理を行った後に階調変換処理を行うようにする。即ち、画像信号が真数の状態でダイナミックレンジ圧縮を行い、その後に階調変換処理で対数の状態にすることで、人間の視覚特性に近い画像を得ることができる。

［第１の実施形態に係る画像処理装置を撮影装置に適用した例］
次に、本実施形態に係る画像処理装置を撮影装置に適用した例について説明する。図６は、本発明の第１の実施形態に係る画像処理装置を備えた撮影装置の主要構成を示すブロック図である。図６に示すように、本実施形態に係る撮影装置１００は、レンズ１０２、撮像部１０４、信号処理装置１０６、マイクロコンピュータ１０８、操作部１１０、記録装置１１２及び表示部１１４を備えている。

マイクロコンピュータ（マイコン）１０８は、バス１１６を介して、撮影装置１００の各回路と接続されており、撮影装置１００の各部の動作を統括制御する制御部である。マイコン１０８は、撮影装置１００の制御プログラムが格納されたＲＯＭ、プログラム実行に必要なワークエリア及び画像を処理するための画像処理領域を提供するＲＡＭ、ユーザ設定情報等を記憶するＥＥＰＲＯＭ、タイマ等を備えている。マイコン１０８は、操作部１１０からの信号を受け付けて、撮影装置１００の各回路を制御し、例えば、レンズ駆動制御、撮影動作制御、自動露出制御（ＡＥ）／自動合焦制御（ＡＦ）、画像処理制御、画像データの記録／再生制御、表示装置１１４の表示制御等を行う。

操作部１１０は、ユーザが各種の操作入力を行うための手段であり、電源スイッチ、レリーズスイッチ、動作モード切り替えスイッチ及び各種設定ボタンを含んでいる。電源スイッチは、撮影装置１００の電源のオン・オフを切り替えるための操作手段である。レリーズスイッチは、撮影開始の指示を入力するための操作手段であり、半押し時にオンするＳ１スイッチと、全押し時にオンするＳ２スイッチとを有する２段ストローク式のスイッチで構成されている。動作モード切り替えスイッチは、画像を撮影するための撮影モードと、撮影した画像を再生するための再生モードとを切り替えるための操作手段である。

表示装置１１４は、画像を表示するための装置（例えば、液晶ディスプレイ）である。表示装置１１４は、撮影モード時に画角確認用の電子ファインダとして使用されるとともに、撮影した画像のプレビュー画に使用される。また、表示装置１１４は、再生モード時に撮影装置１００に装填された記録装置１１２から読み出した再生画像等を表示する。

記録装置１１２は、撮影した画像データを記録するための装置である。記録装置１１２としては、例えば、ｘＤピクチャカード（登録商標）、スマートメディア（登録商標）に代表される半導体メモリカード、可搬型小型ハードディスク、磁気ディスク、光ディスク、光磁気ディスク等、種々の媒体を用いることができる。

撮像部１０４は、被写体を撮像するためのブロックであり、レンズ１０２から入射する被写体光を受光する撮像素子（例えば、３板式のカラーＣＣＤ固体撮像素子）を含んでいる。撮像素子から読み出された画素ごとの画像信号（Ｒ、Ｇ、Ｂ信号）は、撮像部１４においてサンプリングホールド（相関２重サンプリング処理）されて増幅された後、Ａ／Ｄ変換されて、画像処理装置１０に入力される。

画像処理装置１０は、撮像部１０４から入力されたＲ、Ｇ、Ｂ信号に対して、図２及び図３に示したダイナミックレンジ圧縮処理を施す。ダイナミックレンジ圧縮処理が施されたＲ、Ｇ、Ｂ信号は、信号処理装置１０６に入力される。

信号処理装置１０６は、ホワイトバランス調整回路、階調変換処理回路（ガンマ変換回路）、輪郭補正回路、輝度・色差信号生成回路等を含む画像処理手段である。信号処理装置１０６は、画像処理装置１０から入力されたＲ、Ｇ、Ｂ信号に対して、ホワイトバランス調整処理、階調変換処理（ガンマ変換）、輪郭補正処理等の所定の処理を施し、輝度／色差信号（Ｙ／Ｃ信号）に変換する。

動作モードが撮影モードに設定されると、画像のライブ画（スルー画）表示が行われる。撮影画像をライブ画表示する場合、信号処理装置１０６においてＹ／Ｃ信号に変換された画像信号は、バス１１６を介して表示装置１１４に送られる。表示装置１１４は、入力された画像データを表示用の所定方式のビデオ信号（例えば、ＮＴＳＣ方式のカラー複合画像信号）に変換して表示する。

撮影モード時において、レリーズスイッチが半押しされると（Ｓ１オン）、ＡＥ／ＡＦ処理が行われる。次に、レリーズボタンが全押しされると（Ｓ２オン）、記録用の撮影動作がスタートする。Ｓ２オンに応動して撮像部１０４によって取得された画像信号（Ｒ、Ｇ、Ｂ信号）は、画像処理装置１０に入力されて、ダイナミックレンジ圧縮処理が施された後、信号処理装置１０６に入力されて、ホワイトバランス調整処理、階調変換処理（ガンマ変換）、輪郭補正処理等の所定の処理が施されて、輝度／色差信号（Ｙ／Ｃ信号）に変換された後、所定のフォーマットに従って圧縮されて記録装置１１２に記録される。例えば、静止画についてはＪＰＥＧ（Joint Photographic Experts Group）形式、動画についてはＡＶＩ（Audio Video Interleaving）形式の画像ファイルとして記録される。

動作モードが再生モードに設定されると、記録装置１１２に記録されている最終の画像ファイル（最後に記録された画像ファイル）の圧縮データが読み出される。最後の記録に係る画像ファイルが静止画ファイルの場合、この読み出された画像圧縮データは、マイコン１０８によって非圧縮のＹ／Ｃ信号に伸張され、表示用の信号に変換された後、表示装置１１４に出力される。これにより、当該画像ファイルの画像内容が表示装置１１４の画面上に表示される。

本実施形態に係る撮影装置によれば、上記のダイナミックレンジ圧縮処理によりダイナミックレンジ圧縮をリアルタイムで行った画像を撮影することができる。

なお、本実施形態に係る撮影装置１００では、３板式のカラーＣＣＤ固体撮像素子を用いているが、例えば、単板式のＣＣＤを用いて、同時化処理（単板ＣＣＤのカラーフィルタ配列に伴う色信号の空間的なズレを補間して色信号を同時式に変換する処理）を行った後に、画像処理装置１０に入力するようにしてもよい。

［第２の実施形態］
次に、本発明の第２の実施形態について説明する。本実施形態では、レベル情報として各画素の輝度値を用いてゲイン量を算出し、ダイナミックレンジ圧縮を行う。

図７は、本発明の第２の実施形態に係る画像処理装置の主要構成を示すブロック図である。図７に示すように、本実施形態に係る画像処理装置２０は、輝度情報算出回路２２、ゲイン量算出回路２４及び乗算回路２６（２６Ｒ、２６Ｇ、２６Ｂ）を備えている。

輝度情報算出回路２２は、画像ファイル（例えば、ＲＡＷデータ）又は撮像部から入力された画素ごとのＲ、Ｇ、Ｂの画像信号から各画素の輝度値（輝度情報）を算出する。

ゲイン量算出回路２４は、輝度情報算出回路２２によって算出された各画素の輝度情報に基づいて、ゲインテーブルを参照して各画素のＲ、Ｇ、Ｂ信号に掛けるゲイン量（例えば、１．５）を算出する。乗算回路２６（２６Ｒ、２６Ｇ、２６Ｂ）は、Ｒ、Ｇ、Ｂ信号にゲイン量を掛ける。

ここで、ゲインテーブルは、レベル情報とゲイン量の関係を示すテーブルであり、画像処理装置２０のメモリ（不図示）に記憶されている。ゲイン量は、例えば、輝度値が最大の場合に最小（＝１．０）になり、輝度値が小さくなるにつれて大きくなるように設定される。本実施形態では、各画素のレベル情報に基づいて算出されたゲイン量をＲ、Ｇ、Ｂ信号に掛けることにより、Ｒ、Ｇ、Ｂの各色の信号レベルの比を保持したまま、各画素の信号のレベル（明るさ）をコントロールすることができる。上記のように、ダイナミックレンジ圧縮を行うことにより、階調変換処理（ガンマ変換）を行った場合に問題になる彩度の低下を防ぐことができる。

図８は、本実施形態に係るダイナミックレンジ圧縮処理の流れを示すフローチャートである。まず、Ｒ、Ｇ、Ｂの色信号が入力されると、輝度情報算出回路２２によって、各画素の輝度値が算出される（ステップＳ２０）。次に、ゲイン量算出回路２４によって、上記各画素の輝度値から、各画素の色信号に掛けるゲイン量が算出され（ステップＳ２２）、各色信号にゲイン量が乗算される（ステップＳ２４）。

本実施形態によれば、各画素の輝度値に基づいて算出されたゲイン量を各色信号に掛けることにより、各色信号の信号レベルの比を保持したまま、各画素の信号のレベル（明るさ）をコントロールすることができる。これにより、階調変換処理（ガンマ変換）を行った場合に問題になる彩度の低下を防ぐことができる。更に、本実施形態では、各画素の輝度値に基づいてゲイン量を算出することにより、人間の視覚特性に近い感覚でレベル変調（輝度調整）を行うことができる。

なお、本実施形態に係る画像処理装置２０は、上記第１の実施形態と同様、後段（出力側）に階調変換回路を設けることができ、また、撮影装置に搭載可能である。

［第３の実施形態］
次に、本発明の第３の実施形態について説明する。本実施形態では、レベル情報として各色信号の重み付け加算値を用いてゲイン量を算出し、ダイナミックレンジ圧縮を行う。

図９は、本発明の第３の実施形態に係る画像処理装置の主要構成を示すブロック図である。図９に示すように、本実施形態に係る画像処理装置３０は、混合回路３２、ゲイン量算出回路３４及び乗算回路３６（３６Ｒ、３６Ｇ、３６Ｂ）を備えている。

混合回路３２は、画像ファイル（例えば、ＲＡＷデータ）又は撮像部から入力された画素ごとのＲ、Ｇ、Ｂの画像信号を重み付けして加算（混合）する。各色信号を重み付加算する際には、レベル（信号レベル）が高い色の重みを大きくする。例えば、Ｒ＞Ｇ＞Ｂの時には、Ｒ、Ｇ、Ｂ信号の混合比をＲ：Ｇ：Ｂ＝３：２：１として混合する。

ゲイン量算出回路３４は、混合回路３２によって算出された各画素の色信号の重み付け加算値に基づいて、ゲインテーブルを参照して各画素のＲ、Ｇ、Ｂ信号に掛けるゲイン量を算出する。乗算回路３６（３６Ｒ、３６Ｇ、３６Ｂ）は、Ｒ、Ｇ、Ｂ信号にゲイン量を掛ける。

ここで、ゲインテーブルは、色信号の重み付け加算値とゲイン量の関係を示すテーブルであり、画像処理装置３０のメモリ（不図示）に記憶されている。ゲイン量は、例えば、重み付け加算値が小さくなるにつれて大きくなるように設定される。本実施形態では、各画素のレベル情報に基づいて算出されたゲイン量をＲ、Ｇ、Ｂ信号に掛けることにより、Ｒ、Ｇ、Ｂの各色の信号レベルの比を保持したまま、各画素の信号のレベル（明るさ）をコントロールすることができる。上記のように、ダイナミックレンジ圧縮を行うことにより、階調変換処理（ガンマ変換）を行った場合に問題になる彩度の低下を防ぐことができる。

図１０は、本実施形態に係るダイナミックレンジ圧縮処理の流れを示すフローチャートである。まず、Ｒ、Ｇ、Ｂの色信号が入力されると、混合回路３２によって、各画素の色信号の重み付け加算値が算出される（ステップＳ３０）。次に、ゲイン量算出回路３４によって、上記各画素の輝度値から、各画素の色信号に掛けるゲイン量が算出され（ステップＳ３２）、各色信号にゲイン量が乗算される（ステップＳ３４）。

本実施形態によれば、各画素の色信号の重み付け加算値に応じて算出されたゲイン量を各色信号に掛けることにより、各色信号の信号レベルの比を保持したまま、各画素の信号のレベル（明るさ）をコントロールすることができる。これにより、階調変換処理（ガンマ変換）を行った場合に問題になる彩度の低下を防ぐことができる。更に、本実施形態では、Ｒ、Ｇ、Ｂ信号のうちレベルが高い色信号の割合が大きくなるように重み付け加算を行うようにしたので、撮影時における光源の色成分のうち、レンズ等で透過又は反射により減衰した分を補うことができ、撮影時の光源に近い明るさを利用したレベル変調が可能になる。

なお、本実施形態に係る画像処理装置３０は、上記第１の実施形態と同様、後段（出力側）に階調変換回路を設けることができ、また、撮影装置に搭載可能である。

［第４の実施形態］
次に、本発明の第４の実施形態について説明する。図１１は、本発明の第４の実施形態に係る画像処理装置の主要構成を示すブロック図であり、図１２は、本実施形態に係るダイナミックレンジ圧縮処理を説明するための図である。

図１１に示すように、本実施形態に係る画像処理装置４０は、レベル情報算出回路４２、フィルタ回路４４、ゲイン量算出回路４６及び乗算回路４８（４８Ｒ、４８Ｇ、４８Ｂ）を備えている。

レベル情報算出回路４２は、画像ファイル（例えば、ＲＡＷデータ）又は撮像部から入力された画素ごとのＲ、Ｇ、Ｂの画像信号からレベル情報（例えば、輝度値）を算出する。画像処理装置４０は、注目画素（レベル＝Ｙ１）に掛けるゲイン量を算出する場合に、図１２（ｃ）に示すように、注目画素の周辺領域Ａ４０（例えば、注目画素を中心とする３画素×３画素の領域。例えば、画像処理装置４０のカーネルサイズ分の領域）に含まれる画素のレベル情報を保持する。

フィルタ回路４４は、領域Ａ４０内の画素のレベル情報にフィルタ（例えば、平滑化フィルタ）を掛けて基準値Ｙ１’を算出する。

ゲイン量算出回路４６は、基準値Ｙ１’に基づいて、ゲインテーブルＧ（Ｙ）を参照して各画素のＲ、Ｇ、Ｂ信号に掛けるゲイン量（例えば、１．５）を算出する。乗算回路４８（４８Ｒ、４８Ｇ、４８Ｂ）は、Ｒ、Ｇ、Ｂ信号にゲイン量を掛ける。ここで、ゲインテーブルＧ（Ｙ）は、基準値とゲイン量の関係を示すテーブルであり、画像処理装置４０のメモリ（不図示）に記憶されている。ゲイン量は、例えば、図１２（ｂ）に示すように、基準値が最大の場合に最小（＝１．０）になり、基準値が小さくなるにつれて大きくなるように設定される。

図１３は、基準値Ｙ１’の算出処理を説明するためのグラフである。図１３において、横軸は各画素のレベル情報であり、縦軸は画素数である。以下、注目画素Ｙ１の周辺画素をＹ２、Ｙ３、…、周辺画素のレベルのバラツキを示す分布関数をＬ４０、周辺画素のレベルのバラツキの中央値をＹｍｅｄとする。

図１３（ｂ）に示すように注目画素及び周辺画素のレベル情報が分布している場合、各画素のレベル情報に基づいて算出したゲイン量を掛けると、各画素Ｙ１、Ｙ２、Ｙ３、…に掛かるゲイン量が異なるので、注目画素と当該注目画素に空間的に近い周辺画素とのレベルの相対的な関係が変化する。図１２（ｂ）に示すように、低レベル（輝度）側の画素ほどゲイン量が大きい場合、図１３（ｃ）のＬ４０”に示すように、低レベル側の画素のレベルが大きくなるので、画像中の画素のレベルのバラツキが小さくなり、画素レベルのバラツキの情報が失われてしまう。

本実施形態では、周辺画素Ｙ２、Ｙ３、…のレベルに基づいてフィルタリングを行うことにより、注目画素Ｙ１のレベルを分布関数Ｌ１０の中央値Ｙｍｅｄに近づけた値（基準値Ｙ１’）を算出する。そして、上記基準値Ｙ１’に基づいてゲイン量Ｇ（Ｙ１’）を算出する。即ち、本実施形態によれば、周辺画素のバラツキの中央値Ｙｍｅｄに近い基準値に基づいてゲイン量を算出するようにしたので、図１３（ａ）のＬ４０’に示すように、ダイナミックレンジ圧縮後にも画像中の画素のレベルのバラツキの情報が保持される。なお、本実施形態では、中央値Ｙｍｅｄに基づいてゲイン量を算出するようにしてもよい。

図１４は、本実施形態に係るダイナミックレンジ圧縮処理の流れを示すフローチャートである。まず、Ｒ、Ｇ、Ｂの色信号が入力されると、レベル情報算出回路４２によって、各画素のレベル情報が算出される（ステップＳ４０）。次に、各画素とその周辺画素のフィルタリングを行って基準値Ｙ１’を算出する（ステップＳ４２）。そして、ゲイン量算出回路４６によって、上記基準値Ｙ１’から注目画素Ｙ１の各色信号に掛けるゲイン量が算出され（ステップＳ４４）、各色信号にゲイン量が乗算される（ステップＳ４６）。

本実施形態によれば、ゲイン量を算出する際に周辺画素のレベル情報を考慮することにより、画素間のレベル情報のバラツキの情報を保持し、画像のコントラストを残したままで画像のレベル変調が可能になる。

なお、本実施形態に係る画像処理装置４０は、上記第１の実施形態と同様、後段（出力側）に階調変換回路を設けることができ、また、撮影装置に搭載可能である。

［第５の実施形態］
次に、本発明の第５の実施形態について説明する。図１５は、本発明の第５の実施形態に係る画像処理装置の主要構成を示すブロック図であり、図１６は、本実施形態に係るダイナミックレンジ圧縮処理を説明するための図である。

図１５に示すように、本実施形態に係る画像処理装置５０は、レベル情報算出回路５２、領域分離回路５４、フィルタ回路５６、ゲイン量算出回路５８及び乗算回路６０（６０Ｒ、６０Ｇ、６０Ｂ）を備えている。

レベル情報算出回路５２は、画像ファイル（例えば、ＲＡＷデータ）又は撮像部から入力された画素ごとのＲ、Ｇ、Ｂの画像信号からレベル情報（例えば、輝度値）を算出する。画像処理装置５０は、注目画素（レベル＝Ｙ１）に掛けるゲイン量を算出する場合に、図１６（ｃ）に示すように、注目画素の周辺領域Ａ５０（例えば、注目画素を中心とする３画素×３画素の領域。例えば、画像処理装置４０のカーネルサイズ分の領域）に含まれる画素のレベル情報を保持する。

領域分離回路５４は、領域Ａ５０において、注目画素Ｙ１及び注目画素Ｙ１とレベル情報が近似する画素を含む領域を判別（領域判別）する。具体的には、領域分離回路５４は、領域Ａ５０内の画素のうち、注目画素Ｙ１、及び注目画素Ｙ１とのレベル情報の差分絶対値が閾値未満（例えば、レベル量が８ビット、即ち、０から２５５の場合には、閾値≒３０）になる画素を領域分離する。これにより、図１６（ｃ）に示すように、注目画素Ｙ１にレベル情報が近い画素を含む領域Ａ５２が領域分離される。

フィルタ回路５６は、領域Ａ５２内の画素のレベル情報にフィルタ（例えば、平滑化フィルタ）を掛けて基準値Ｙ１’を算出する。

ゲイン量算出回路５８は、基準値Ｙ１’に基づいて、ゲインテーブルＧ（Ｙ）を参照して各画素のＲ、Ｇ、Ｂ信号に掛けるゲイン量（例えば、１．５）を算出する。乗算回路６０（６０Ｒ、６０Ｇ、６０Ｂ）は、Ｒ、Ｇ、Ｂ信号にゲイン量を掛ける。ここで、ゲインテーブルＧ（Ｙ）は、基準値とゲイン量の関係を示すテーブルであり、画像処理装置５０のメモリ（不図示）に記憶されている。ゲイン量は、例えば、図１６（ｂ）に示すように、基準値が最大の場合に最小（＝１．０）になり、基準値が小さくなるにつれて大きくなるように設定される。

図１７は、基準値Ｙ１’の算出処理を説明するための図である。図１７（ａ１）及び図１７（ｂ１）において、横軸は各画素のレベル情報であり、縦軸は画素数である。

図１７（ａ１）に示す例では、注目画素Ｙ１の周辺の領域Ａ５０は、レベル情報が低い低レベル領域Ａ５２（例えば、低輝度部）とレベル情報が高い高レベル領域Ａ５４（例えば、高輝度部）に明確に分かれている。この場合、図１７（ａ２）に示すように、領域Ａ５０内の画素のレベル情報のヒストグラムにおいて、それぞれ低レベル領域Ａ５２と高レベル領域Ａ５４に対応する２つの山Ｌ５２、Ｌ５４ができてしまう。従って、領域Ａ５０にフィルタを掛けて得られる基準値Ｙ１”は、２つの山Ｌ５２とＬ５４の間の値になり、周辺画素のレベル情報から離れた不適切な値になってしまう。

本実施形態では、図１７（ｂ１）に示すように、注目画素Ｙ１とレベル情報が近い領域Ａ５２を分離する。そして、図１７（ｂ２）に示すように、注目画素Ｙ１のレベルを自身が属する分布関数Ｌ５２の中央値に近づけた好ましい基準値Ｙ１’を得るようにしている。

図１８は、本実施形態に係るダイナミックレンジ圧縮処理の流れを示すフローチャートである。まず、Ｒ、Ｇ、Ｂの色信号が入力されると、レベル情報算出回路５２によって、各画素のレベル情報が算出される（ステップＳ５０）。次に、注目画素Ｙ１の周辺画素のうち、注目画素Ｙ１とのレベル差が閾値以上の画素をフィルタの適用範囲から除外し（ステップＳ５２）、注目画素Ｙ１及び注目画素Ｙ１とレベル情報が近い周辺画素のフィルタリングを行って基準値Ｙ１’を算出する（ステップＳ５４）。そして、ゲイン量算出回路５８によって、上記基準値Ｙ１’から注目画素Ｙ１の各色信号に掛けるゲイン量が算出され（ステップＳ５６）、各色信号にゲイン量が乗算される（ステップＳ５８）。

本実施形態によれば、注目画素Ｙ１とレベル情報が近い周辺画素のフィルタリングにより得られた基準値Ｙ１’に基づいてゲイン量を算出することにより、レベル情報の高低の境界部分であっても違和感が少ないダイナミックレンジ圧縮を行うことができる。

なお、本実施形態に係る画像処理装置５０は、上記第１の実施形態と同様、後段（出力側）に階調変換回路を設けることができ、また、撮影装置に搭載可能である。

［第６の実施形態］
次に、本発明の第６の実施形態について説明する。図１９は、ゲイン量、階調変換曲線及び最終変換曲線を説明するための図である。上記第１から第５の実施形態では、レベル情報にゲイン量Ｇを掛けてダイナミックレンジ圧縮を行った後に、通常の階調変換曲線（ガンマ曲線。以下、通常階調という）γｏを用いて階調変換処理を施すようにしている。以下の説明では、ゲイン量Ｇと通常の階調変換曲線γｏの積を最終階調変換曲線（以下、最終階調という）γｆという。図１９（ａ）に示すように、ゲイン量Ｇを下げると、下げたゲイン量Ｇ’と通常階調γｏから得られる最終階調γｆ’が歪んでしまい、階調変換後の画像の階調が不自然になってしまう。本実施形態では、歪みのない最終階調γｆを予め設定しておき、この最終階調γｆからゲイン量Ｇを逆算して求めることにより、最終階調γｆの歪みを無くし、自然な画像を生成可能にしている。

図２０は、本発明の第６の実施形態に係る画像処理装置の主要構成を示すブロック図である。図２０に示すように、本実施形態に係る画像処理装置７０は、レベル情報算出回路７２、最終階調変換回路７４、ゲイン量算出回路７６及び乗算回路７８（７８Ｒ、７８Ｇ、７８Ｂ）を備えている。

レベル情報算出回路７２は、画像ファイル（例えば、ＲＡＷデータ）又は撮像部から入力された画素ごとのＲ、Ｇ、Ｂの画像信号からレベル情報（例えば、輝度値）を算出する。

最終階調変換回路７４は、最終階調γｆを保持しており、この最終階調γｆを用いて、レベル情報算出回路７２から入力されたレベル情報Ａに最終階調γｆを掛ける。最終階調変換回路７４は、撮影シーンに応じた最終階調γｆを複数保持しており、撮影シーン（例えば、撮影時の設定内容等）に応じて適当な最終階調γｆを選択し、レベル情報Ａに最終階調γｆを掛ける。

ゲイン量逆算回路７６は、レベル情報Ａに最終階調γｆを掛けて得られた出力Ｃと、通常階調γｏ及び最終階調γｆからゲイン量Ｇを算出する。

図２２は、ゲイン量の逆算処理を説明するための図である。ゲイン量Ｇを逆算する場合、まず、図２２に示すように、レベル情報算出回路７２から入力されたレベル情報Ａに最終階調γｆを掛けて出力Ｃを算出する。次に、階調変換回路８０において通常階調γｏを掛けた場合に出力がＣとなるような入力Ｂを逆算する。これにより、ゲイン量Ｇ＝Ｂ／Ａが算出される。

乗算回路７８（７８Ｒ、７８Ｇ、７８Ｂ）は、Ｒ、Ｇ、Ｂ信号にゲイン量Ｇ（＝Ｂ／Ａ）を掛ける。

図２１は、本実施形態に係るダイナミックレンジ圧縮処理の流れを示すフローチャートである。まず、Ｒ、Ｇ、Ｂの色信号が入力されると、レベル情報算出回路７２によりレベル情報Ａが算出され（ステップＳ７０）、レベル情報Ａに対して撮影シーンに応じた最終階調γｆが掛けられる（ステップＳ７２）。次に、レベル情報Ａに最終階調γｆを掛けて得られた出力Ｃから通常階調の入力Ｂを逆算してゲイン量Ｇ（＝Ｂ／Ａ）が算出され（ステップＳ７４）、各色信号にゲイン量Ｇが乗算される（ステップＳ７６）。

本実施形態によれば、ゲイン量と通常の階調変換曲線から得られる最終階調の歪みを無くすことができるので、より自然な画像出力を得ることができる。

なお、本実施形態に係る画像処理装置７０は、上記第１の実施形態と同様に、撮影装置に搭載可能である。

また、上記の各実施形態に係る画像処理装置は、撮影装置のほか、例えば、入力された画像ファイル（例えば、ＲＡＷデータ）に対して、ダイナミックレンジ圧縮処理を施す画像処理装置（例えば、パーソナルコンピュータ（ＰＣ）やビデオ再生装置）、又は上記のような画像処理装置に用いられる画像処理プログラムとしても実現可能である。

第１の実施形態に係る画像処理装置の主要構成を示すブロック図 第１の実施形態に係るダイナミックレンジ圧縮処理を説明するための図 第１の実施形態に係るダイナミックレンジ圧縮処理の流れを示すフローチャート 第１の実施形態に係る画像処理装置に階調変換回路を接続した例を示すブロック図 階調変換処理の流れを示すフローチャート 第１の実施形態に係る画像処理装置を備えた撮影装置の主要構成を示すブロック図 第２の実施形態に係る画像処理装置の主要構成を示すブロック図 第２の実施形態に係るダイナミックレンジ圧縮処理の流れを示すフローチャート 第３の実施形態に係る画像処理装置の主要構成を示すブロック図 第３の実施形態に係るダイナミックレンジ圧縮処理の流れを示すフローチャート 第４の実施形態に係る画像処理装置の主要構成を示すブロック図 第４の実施形態に係るダイナミックレンジ圧縮処理を説明するための図 第４の実施形態に係る基準値Ｙ１’の算出処理を説明するためのグラフ 第４の実施形態に係るダイナミックレンジ圧縮処理の流れを示すフローチャート 第５の実施形態に係る画像処理装置の主要構成を示すブロック図 第５の実施形態に係るダイナミックレンジ圧縮処理を説明するための図 第５の実施形態に係る基準値Ｙ１’の算出処理を説明するための図 第５の実施形態に係るダイナミックレンジ圧縮処理の流れを示すフローチャート ゲイン量、階調変換曲線及び最終変換曲線を説明するための図 第６の実施形態に係る画像処理装置の主要構成を示すブロック図 第６の実施形態に係るダイナミックレンジ圧縮処理の流れを示すフローチャート ゲイン量の逆算処理を説明するための図

符号の説明

１０…画像処理装置、１２…レベル情報算出回路、１４…ゲイン量算出回路、１６…乗算回路、１８…階調変換回路

Claims (15)

1. 画素ごとの色信号を取得する画像信号取得手段と、
   各色信号のうち信号レベルが高い色信号の割合が大きくなるように、該色信号の重み付け加算を行って、各画素のレベル情報を算出するレベル情報算出手段と、
   前記レベル情報に基づいて各画素の色信号に掛けるゲイン量を算出するゲイン量算出手段と、
   各画素の色信号に前記ゲイン量を掛ける乗算手段と、
   を備えることを特徴とする画像処理装置。
2. 画素ごとの色信号を取得する画像信号取得手段と、
   前記色信号から各画素のレベル情報を算出するレベル情報算出手段と、
   処理対象の画素の周辺領域の画素のレベル情報を用いて、前記処理対象の画素のレベル情報のフィルタリングを行うフィルタリング手段と、
   前記レベル情報をフィルタリングして得られた基準値に基づいて、前記処理対象の画素の色信号に掛けるゲイン量を算出するゲイン量算出手段と、
   各画素の色信号に前記ゲイン量を掛ける乗算手段と、
   を備えることを特徴とする画像処理装置。
3. 処理対象の画素及びその周辺領域の画素から、前記処理対象の画素と、前記処理対象の画素とのレベル情報の差分絶対値が閾値未満の画素とを領域分離する領域判別手段と、
   前記領域分離された画素のレベル情報を用いて、前記処理対象の画素のレベル情報のフィルタリングを行うフィルタリング手段と、
   前記レベル情報をフィルタリングして得られた基準値に基づいて、前記処理対象の画素の色信号に掛けるゲイン量を算出するゲイン量算出手段と、
   各画素の色信号に前記ゲイン量を掛ける乗算手段と、
   を備えることを特徴とする画像処理装置。
4. 画素ごとの色信号を取得する画像信号取得手段と、
   前記色信号から各画素のレベル情報を算出するレベル情報算出手段と、
   前記色信号に対して、所定のゲイン量を掛けてダイナミックレンジ圧縮処理を行い、所定の階調変換曲線に従って階調変換処理を施した場合の入出力の関係を示す、歪みのない最終階調変換曲線を用いて、前記レベル情報算出手段から入力されたレベル情報を入力として出力を算出する最終階調変換手段と、
   前記最終階調変換手段によって算出された出力と、前記階調変換処理時における所定の階調変換曲線からゲイン量を逆算するゲイン量算出手段と、
   各画素の色信号に前記ゲイン量を掛ける乗算手段と、
   を備えることを特徴とする画像処理装置。
5. 前記レベル情報算出手段は、前記色信号から各画素の輝度情報を算出し、前記輝度情報に基づいて各画素のレベル情報を算出することを特徴とする請求項２から４のいずれか１項記載の画像処理装置。
6. 前記レベル情報算出手段は、各色信号のうち信号レベルが高い色信号の割合が大きくなるように、該色信号の重み付け加算を行って、各画素のレベル情報を算出することを特徴とする請求項２から４のいずれか１項記載の画像処理装置。
7. 前記乗算手段によってゲイン量が乗算されて出力された後の各画素の色信号に対して階調変換処理を施す階調変換手段を更に備えることを特徴とする請求項１から６のいずれか１項記載の画像処理装置。
8. 請求項１から８のいずれか１項記載の画像処理装置を備えることを特徴とする撮影装置。
9. 画素ごとの色信号を取得する画像信号取得工程と、
   前記色信号から各画素のレベル情報を算出するレベル情報算出工程と、
   各色信号のうち信号レベルが高い色信号の割合が大きくなるように、該色信号の重み付け加算を行って、各画素のレベル情報を算出するゲイン量算出工程と、
   各画素の色信号に前記ゲイン量を掛ける乗算工程と、
   を備えることを特徴とする画像処理方法。
10. 画素ごとの色信号を取得する画像信号取得工程と、
    前記色信号から各画素のレベル情報を算出するレベル情報算出工程と、
    処理対象の画素の周辺領域の画素のレベル情報を用いて、前記処理対象の画素のレベル情報のフィルタリングを行うフィルタリング工程と、
    前記レベル情報をフィルタリングして得られた基準値に基づいて、前記処理対象の画素の色信号に掛けるゲイン量を算出するゲイン量算出工程と、
    各画素の色信号に前記ゲイン量を掛ける乗算工程と、
    を備えることを特徴とする画像処理方法。
11. 処理対象の画素及びその周辺領域の画素から、前記処理対象の画素と、前記処理対象の画素とのレベル情報の差分絶対値が閾値未満の画素とを領域分離する領域判別工程と、
    前記領域分離された画素のレベル情報を用いて、前記処理対象の画素のレベル情報のフィルタリングを行うフィルタリング工程と、
    前記レベル情報をフィルタリングして得られた基準値に基づいて、前記処理対象の画素の色信号に掛けるゲイン量を算出するゲイン量算出工程と、
    各画素の色信号に前記ゲイン量を掛ける乗算工程と、
    を備えることを特徴とする画像処理方法。
12. 画素ごとの色信号を取得する画像信号取得工程と、
    前記色信号から各画素のレベル情報を算出するレベル情報算出工程と、
    前記色信号に対して、所定のゲイン量を掛けてダイナミックレンジ圧縮処理を行い、所定の階調変換曲線に従って階調変換処理を施した場合の入出力の関係を示す、歪みのない最終階調変換曲線を用いて、前記レベル情報算出工程から入力されたレベル情報を入力として出力を算出する最終階調変換工程と、
    前記最終階調変換工程において算出された出力と、前記階調変換処理時における所定の階調変換曲線からゲイン量を逆算するゲイン量算出工程と、
    各画素の色信号に前記ゲイン量を掛ける乗算工程と、
    を備えることを特徴とする画像処理方法。
13. 前記レベル情報算出工程では、前記色信号から各画素の輝度情報を算出し、前記輝度情報に基づいて各画素のレベル情報を算出することを特徴とする請求項１０から１２のいずれか１項記載の画像処理方法。
14. 前記レベル情報算出工程では、各色信号のうち信号レベルが高い色信号の割合が大きくなるように、該色信号の重み付け加算を行って、各画素のレベル情報を算出することを特徴とする請求項１０から１２のいずれか１項記載の画像処理方法。
15. 前記乗算工程においてゲイン量が乗算されて出力された後の各画素の色信号に対して階調変換処理を施す階調変換工程を更に備えることを特徴とする請求項９から１４のいずれか１項記載の画像処理方法。

Images