JP5233645B2 - 撮像装置および画像処理プログラム - Google Patents

Description

本発明は、撮影した画像の出力を補正する技術に関する。

従来、撮影者が希望するダイナミックレンジや階調特性の画像を得る方法として、撮影後の再生画像やプリントに必要とされるダイナミックレンジよりも広いダイナミックレンジで画像を撮影しておき、画像再生時やプリント時に希望する特性に補正する方法が知られている（例えば、特許文献１参照）。
特許第３９５９５８１号公報

ところが、従来技術では、撮影時に広いダイナミックレンジで撮影しておく必要があるだけでなく、撮影後の再生画像やヒストグラム等を見ながら希望する特性に調整する手法は、カメラ搭載の階調再現性が低い液晶モニタでは難しく、得られる画像の特性が必ずしも撮影者の希望するものにはならないという問題があった。

本発明の目的は、撮影者が希望する特性の画像が得られる撮像装置および画像処理プログラムを提供することである。

本発明は、以下のような解決手段により前記課題を解決する。尚、理解を容易にするために、本発明の一実施例を示す図面に対応する符号を付して説明するが、これに限定されるものではない。

請求項１に記載の発明は、光学系（１０２）による像を撮像する撮像部（１０３，１０４）と、前記撮像部（１０３，１０４）で得られた撮像信号による画像を表示する表示部（１０８）と、前記画像内の特定の位置に対応付けて該位置における前記撮像信号の目標値を設定する設定部（１１２，１０６）と、前記設定部（１１２，１０６）で設定された目標値を基準として、前記撮像部（１０３，１０４）で得られた前記撮像信号を補正する補正部（１０５，１０６）とを含む。

そして、前記設定部（１１２，１０６）は、前記画像においてハイエストライトとする第１位置と、ディープシャドウとする第２位置とに関する前記撮像信号の目標値を設定する。

さらに、前記第１位置に関する第１目標値と前記第２位置に関する第２目標値は、それぞれ所定の許容範囲を有することを特徴とする。

請求項２に記載の発明は、前記補正部（１０５，１０６）は、前記撮像部（１０３，１０４）で撮像された画像の前記第１位置における前記撮像信号および前記第２位置における前記撮像信号の少なくとも一方が前記許容範囲内に無い場合は、露出条件が異なる複数の画像を前記撮像部（１０３，１０４）により撮像し、該複数の画像に基づいて前記撮像信号を補正することを特徴とする。

請求項３に記載の発明は、前記補正部（１０５，１０６）は、複数の異なる露光時間で得られる複数の画像を補正することを特徴とする。

請求項４に記載の発明は、前記補正部（１０５，１０６）は、前記撮像部（１０３，１０４）で得られる前記撮像信号のダイナミックレンジを補正することを特徴とする。

請求項５に記載の発明は、前記設定部（１１２，１０６）は、前記画像において中間調とする第３位置に関する前記撮像信号の目標値を設定することを特徴とする。

請求項６に記載の発明は、前記補正部（１０５，１０６）は、前記撮像部（１０３，１０４）でのダイナミックレンジおよび階調特性を補正することを特徴とする。

請求項７に記載の発明は、画像信号に基づく画像を表示部に表示する表示手順（Ｓ１０２）と、前記表示部に表示された画像内の特定の位置に対応付けて該位置における前記画像信号の目標値を設定する設定手順（Ｓ１０３）と、前記設定手順で設定された目標値を基準として、前記画像信号を補正する補正手順（Ｓ１０５からＳ１１４）とを含み、前記設定手順（Ｓ１０３）は、前記画像においてハイエストライトとする第１位置と、ディープシャドウとする第２位置とに関する前記画像信号の目標値を設定し、前記第１位置に関する第１目標値と前記第２位置に関する第２目標値は、それぞれ所定の許容範囲を有することを特徴とする。
請求項８に記載の発明は、光学系による像を撮像する撮像部と、前記撮像部で得られた撮像信号による画像を表示する表示部と、前記画像内の特定の位置に対応付けて該位置における前記撮像信号の目標値を設定する設定部と、前記設定部で設定された目標値を基準として、前記撮像部で得られた前記撮像信号を補正する補正部とを含み、前記設定部は、前記画像において最大輝度値が得られる位置に対応する第１位置と、前記画像において最小輝度値が得られる位置に対応する第２位置とに関する前記撮像信号の目標値を設定し、前記第１位置に関する第１目標値と前記第２位置に関する第２目標値は、それぞれ所定の許容範囲を有することを特徴とする。

尚、符号を付して説明した構成は適宜改良してもよく、また、少なくとも一部を他の構成物に代替してもよい。

本発明に係る撮像装置および画像処理プログラムは、撮影者が希望する特性の画像を得ることができる。

以下、図面を参照して本発明の実施形態に係る撮像装置および画像処理プログラムについて説明する。

図１は第１の実施形態に係る撮像装置１０１の構成を示すブロック図である。撮像装置１０１は、光学系１０２と、撮像素子１０３と、ＡＦＥ（アナログフロントエンド）回路１０４と、画像処理部１０５と、ＣＰＵ（中央演算ユニット）１０６と、バッファメモリ１０７と、モニタ１０８と、メモリ１０９と、記録Ｉ／Ｆ（インターフェース）１１０と、メモリカード１１１と、操作部材１１２、ＰＣ（パーソナルコンピュータ）Ｉ／Ｆ１１３とで構成される。尚、ＰＣＩ／Ｆ１１３にはパソコン（ＰＣ）１１４を接続できるようになっている。

図２は、撮像装置１０１の外観を示す説明図である。図２において、撮像装置１０１の筐体には、電源ボタン２０１、レリーズボタン２０２、ズームボタン２０３、十字キー２０４（上キー２０４ａ，下キー２０４ｂ，左キー２０４ｃ，右キー２０４ｄ）、確定（ＯＫ）ボタン２０５、撮影モード選択ダイヤル２０６などの操作ボタンが配置されている。尚、これらの操作ボタンは、図１の操作部材１１２に含まれる。

以下、図１および図２を用いて、本実施形態に係る撮像装置１０１の構成について順に説明する。尚、本実施形態に係る撮像装置１０１は、撮影者が希望する画像特性（ダイナミックレンジや階調特性）の画像を撮影する「マニュアル階調撮影モード」を有する。また、本実施形態に係る撮像装置１０１において、撮像素子１０３とＡＦＥ回路１０４とで撮像部を構成し、モニタ１０８は撮像部で撮像される画像を表示する表示部に相当する。また、画像内の位置およびこの位置における画像信号の出力の目標値を対応付けて設定する設定部は操作部材１１２とＣＰＵ１０６とで構成され、設定部で設定された画像信号の目標値を基準として撮像した画像特性を補正する補正部は画像処理部１０５とＣＰＵ１０６とで構成される。

図１において、光学系１０２は、フォーカスレンズやズームレンズなどの複数枚のレンズで構成される。光学系１０２に入射される被写体光は、撮像素子１０３の受光面に結像される。

撮像素子１０３は、受光面に複数の光電変換部が二次元状に配置されたＣＭＯＳ型イメージセンサなどで構成される。光電変換部は、結像された被写体光の光量に応じた電気信号に変換し、ＡＦＥ回路１０４に出力する。

ＡＦＥ回路１０４は、撮像素子１０３が出力する電気信号のノイズ除去や設定感度に応じたゲイン調整などを行う。さらに、アナログの電気信号をデジタル画像データにＡ／Ｄ変換して画像処理部１０５に出力する。

画像処理部１０５は、ＣＰＵ１０６の指令に応じて、ＡＦＥ回路１０４が出力する画像データに対して画像処理（ホワイトバランス処理，色補正処理，階調処理など）を行う。さらに、「マニュアル階調撮影モード」では、所定位置の画像信号の出力値が許容範囲内にあるか否かを判別するための画像解析処理、ダイナミックレンジの拡大／圧縮処理、或いは階調特性の補正処理などを行う。尚、画像処理部１０５がＡＦＥ回路１０４から入力する画像データは、ＣＰＵ１０６を介してバッファメモリ１０７に一時的に記憶され、画像処理部１０５はバッファメモリ１０７上で様々な画像処理を行う。また、処理後の画像データもバッファメモリ１０７に一時的に記憶される。

ＣＰＵ１０６は、内部に予め記憶されているプログラムに従って動作し、撮像装置１０１全体の動作を制御する。例えば、ＣＰＵ１０６は、ＡＦ（オートフォーカス）制御やＡＥ（自動露出）制御、オートホワイトバランス制御などを行う。そして、フォーカス位置に応じて光学系１０２のフォーカスレンズの位置を可変する。同様に、操作部材１１２に含まれるズームボタン２０３の操作に応じて、ズームレンズの位置を可変する。また、ＣＰＵ１０６は、バッファメモリ１０７に一時的に記憶されている画像データをモニタ１０８に表示する。或いは、ＣＰＵ１０６は、メモリカード１１１に保存されている撮影済みの画像データをバッファメモリ１０７に読み出してモニタ１０８に表示する。

ここで、本実施形態に係る撮像装置１０１は、撮像素子１０３で時間的に連続して取り込む被写体像をライブビュー画像としてモニタ１０８に表示する。ライブビュー画像は、通常の静止画像を撮影する本撮影と同様に、撮像素子１０３からＡＦＥ回路１０４および画像処理部１０５を介してバッファメモリ１０７に取り込まれ、動画像のようにモニタ１０８に表示される。ライブビュー画像は撮影者が被写体像を確認するために用いる画像で、一般にライブビュー画像は本撮影画像よりも解像度の粗い簡易的な画像である。撮影者は、モニタ１０８に表示されるライブビュー画像を見て撮影構図を決定し、操作部材１１２に含まれるレリーズボタン２０２を押下する。「マニュアル階調撮影モード」ではない通常の撮影時は、撮影者が操作部材１１２に含まれるレリーズボタン２０２を押下すると、撮像素子１０３で撮影された本撮影画像はバッファメモリ１０７に一時的に記憶され、画像処理部１０５でホワイトバランス処理，色補正処理，階調処理（通常のガンマ変換処理）などを行った後、ＣＰＵ１０６を介して記録Ｉ／Ｆ１１０に装着されているメモリカード１１１に保存される。

バッファメモリ１０７は、画像処理部１０５が画像処理する際のバッファとして使用される。また、バッファメモリ１０７は、ＣＰＵ１０６がモニタ１０８に表示する画像データを一時的に記憶する表示用バッファとしても使用される。

モニタ１０８は、液晶モニタなどで構成され、ＣＰＵ１０６が出力する画像（ライブビュー画像および本撮影画像）や操作メニューなどを表示する。また、ＣＰＵ１０６は、モニタ１０８に表示する画像に重畳して、グラフィックや文字などを表示することができる。さらに、モニタ１０８にタッチパネル方式のモニタを採用して、操作部材１１２の操作ボタンの代わりにタッチパネルで操作できるようにしても構わない。

メモリ１０９は、フラッシュメモリなどの不揮発性メモリで構成される。メモリ１０９には、撮像装置１０１の撮影モード設定内容や露出制御値など動作に必要な様々なパラメータが記憶される。これらのパラメータは、撮像装置１０１の製造時に予め記憶されているパラメータや、撮影者が設定メニューで設定するパラメータなどで構成される。特に本実施形態では、「マニュアル階調撮影モード」におけるパラメータとして、例えばライブビュー画像内の位置や目標値、或いは目標値の許容範囲などが記憶される。尚、「マニュアル階調撮影モード」については後で詳しく説明する。

記録Ｉ／Ｆ１１０は、不図示のコネクタを有し、該コネクタにメモリカード１１１が接続される。そして、ＣＰＵ１０６が出力する画像データをメモリカード１１１に書き込んだり、メモリカード１１１に保存されている画像データをＣＰＵ１０６に読み出す。

メモリカード１１１は、フラッシュメモリなどの不揮発性メモリで構成される。撮像装置１０１で撮影した画像データが保存される。また、撮影済みの画像が保存されたメモリカード１１１をパソコンに装着して、パソコン上で撮影済みの画像に対して画像処理を行うことができる。

操作部材１１２は、図２に示すように、撮影者が撮像装置１０１を操作するためのボタン類で構成される。撮影者は、これらの操作ボタンを用いて撮像装置１０１を操作する。そして、各操作ボタンの操作情報はＣＰＵ１０６に出力され、ＣＰＵ１０６は操作ボタンの操作情報に応じて撮像装置１０１全体の動作を制御する。例えば、撮影者が操作部材１１２の撮影モード選択ダイヤル２０６を操作して「マニュアル階調撮影モード」を選択すると、ＣＰＵ１０６は「マニュアル階調撮影モード」の処理を開始する。

ＰＣ（パソコン）Ｉ／Ｆ１１３は、ＵＳＢ（汎用シリアルバス）インターフェースやＬＡＮ（ローカルエリアネットワーク）などで構成される。ＰＣ１１４は、ＰＣＩ／Ｆ１１３を介して撮像装置１０１に装着されているメモリカード１１１に保存された画像データを読み出したり、逆にメモリカード１１１に画像データを書き込むことができる。或いは、ＣＰＵ１０６は、ＰＣ１１４からのコマンドに応じて、メモリ１０９に記憶されている各種パラメータを変更することもできる。さらに、ＬＡＮやインターネットを介して遠隔地にあるＰＣ１１４と撮像装置１０１とを接続して、撮像装置１０１からＰＣ１１４にライブビュー画像を送り、ＰＣ１１４側で「マニュアル階調撮影モード」の処理を実行して、撮影者が希望する出力特性の画像を撮像装置１０１で撮影することも可能である。

次に、本実施形態に係る撮像装置１０１の「マニュアル階調撮影モード」について詳しく説明する。撮影者は、操作部材１１２の撮影モード選択ダイヤル２０６を用いて、「マニュアル階調撮影モード」を選択する。「マニュアル階調撮影モード」では、撮影者はモニタ１０８に表示されるライブビュー画像を見ながら十字キー２０４を操作し、ハイエストライト（最大輝度値）にしたい画面上の位置（第１位置）と、ディープシャドウ（最小輝度値）にしたい画面上の位置（第２位置）とを指定する。さらに、中間調にしたい画面上の位置（第３位置）を指定してもよい。この様子を図２に示す。

図２のモニタ１０８のライブビュー画像の拡大画面において、ハイエストライトポイントＨ３０１と、ディープシャドウポイントＬ３０２と、中間調ポイントＭ３０３とがライブビュー画像に重畳されて表示されている。

各ポイントの位置指定の方法は、例えばＣＰＵ１０６が「マニュアル階調撮影モード」を開始した時に、先ずハイエストライトポイントＨ３０１の記号Ｈをライブビュー画像に重畳して点滅表示させる。そして、撮影者は十字キー２０４の上キー２０４ａ，下キー２０４ｂ，左キー２０４ｃ，右キー２０４ｄを用いて、ハイエストライトポイントＨ３０１の記号Ｈを上下左右に動かして、指定したいライブビュー画像上の位置に移動する。そこで、撮影者がＯＫボタン２０５を押下すると、ＣＰＵ１０６はハイエストライトポイントＨ３０１の記号Ｈがあるライブビュー画像上の位置を読み取って、メモリ１０９に一時的に記憶する。そして、ライブビュー画像上のハイエストライトポイントＨ３０１の記号Ｈの点滅を止めて表示状態に固定する。

次に、ＣＰＵ１０６はディープシャドウポイントＬ３０２の記号Ｌをライブビュー画像に重畳して点滅表示させる。そして、ハイエストライトポイントＨ３０１の位置指定と同様に、撮影者は十字キー２０４の上キー２０４ａ，下キー２０４ｂ，左キー２０４ｃ，右キー２０４ｄを用いて、ディープシャドウポイントＬ３０２の記号Ｌを上下左右に動かして、指定したいライブビュー画像上の位置に移動する。そこで、撮影者がＯＫボタン２０５を押下すると、ＣＰＵ１０６はディープシャドウポイントＬ３０２の記号Ｌがあるライブビュー画像上の位置を読み取って、メモリ１０９に一時的に記憶する。そして、ライブビュー画像上のディープシャドウポイントＬ３０２の記号Ｌの点滅を止めて表示状態に固定する。

引き続き、中間調ポイントＭ３０３の指定を行う場合は、ＣＰＵ１０６は中間調ポイントＭ３０３の記号Ｍをライブビュー画像に重畳して点滅表示させる。そして、ハイエストライトポイントＨ３０１の記号Ｈの位置指定やディープシャドウポイントＬ３０２の記号Ｌの位置指定と同様に、撮影者は十字キー２０４の上キー２０４ａ，下キー２０４ｂ，左キー２０４ｃ，右キー２０４ｄを用いて、中間調ポイントＭ３０３の記号Ｍを上下左右に動かして、指定したいライブビュー画像上の位置に移動する。そこで、撮影者がＯＫボタン２０５を押下すると、ＣＰＵ１０６は中間調ポイントＭ３０３の記号Ｍがあるライブビュー画像上の位置を読み取って、メモリ１０９に一時的に記憶する。

このようにして、撮影者は、ハイエストライトポイントＨ３０１と、ディープシャドウポイントＬ３０２と、中間調ポイントＭ３０３との各ポイントの位置を指定する。尚、この時、モニタ１０８をタッチパネルで構成すれば、各ポイントの位置を容易に指定することができる。

ここで、位置の情報は、例えばモニタ１０８の画面の縦横の画素位置を（ｘ，ｙ）座標で表す。この場合は、モニタ１０８の縦横の画素数を３２０×２４０とすると、ハイエストライトポイントＨの位置は座標Ｈ（２２０，２００）、ディープシャドウポイントＬの位置は座標Ｌ（８０，６０）、中間調ポイントＭの位置は座標Ｍ（２４０，１２０）のように表される。これらの位置座標は、メモリ１０９に記憶される。

次に、ハイエストライトポイント、ディープシャドウポイント、中間調ポイントにおける画像信号の目標値の設定について説明する。目標値の設定は、例えば操作部材１１２を操作して「マニュアル階調撮影モード」のメニュー画面をモニタ１０８に表示し、各ポイントの目標値を入力する。尚、十字キー２０４を用いて目標値を入力する方法は、例えば図３に示すような「マニュアル階調撮影モード」のメニュー画面において、十字キー２０４の左キー２０４ｃと右キー２０４ｄを用いて目標値を設定したいポイント項目（ハイエストライトポイント、ディープシャドウポイント、中間調ポイント）のいずれかを選択する。例えば、選択された項目は太枠で囲まれるようにする。

図３の場合は、太枠で囲まれた項目（ハイエストライトポイント）が選択された状態を示している。この状態で、十字キー２０４の上キー２０４ａまたは下キー２０４ｂを押す毎に選択された項目の目標値を上下させ、撮影者が希望する目標値になったらＯＫボタン２０５を押下して、その項目の目標値を確定する。次に、ディープシャドウポイントの目標値を設定する場合は、同様に十字キー２０４の左キー２０４ｃと右キー２０４ｄを用いてディープシャドウポイントの項目を選択し、さらに十字キー２０４の上キー２０４ａまたは下キー２０４ｂを用いてディープシャドウポイントの目標値を選択する。また、中間調ポイントについても同様の操作で目標値を設定することができる。

次に、本実施形態に係る撮像装置１０１の「マニュアル階調撮影モード」での撮影処理について、図４のフローチャートを用いて詳しく説明する。尚、図４のフローチャートは、ＣＰＵ１０６の内部に予め組み込まれたプログラムに従って動作し、画像処理部１０５に画像処理を適宜指令する。

（ステップＳ１０１）撮影者は、操作部材１１２の撮影モードダイヤル２０６を用いて、「マニュアル階調撮影モード」を選択する。尚、この時、カメラを三脚に固定するのが好ましい。

（ステップＳ１０２）ＣＰＵ１０６は、撮像素子１０３で取り込まれるライブビュー画像を表示部１０８に表示する。

（ステップＳ１０３）撮影者は、先に説明したように、ハイエストライトポイント、ディープシャドウポイント、中間調ポイントのそれぞれの位置および目標値を設定する。尚、設定内容はメモリ１０９に記憶される。

（ステップＳ１０４）ＣＰＵ１０６は、撮影者がレリーズボタン２０２を押下したか否かを判別する。ここで、ＣＰＵ１０６はレリーズボタン２０２が押下されるまで待ち、レリーズボタン２０２が押下された場合にステップＳ１０５へ進む。尚、レリーズボタン２０２が押下されなくても撮影モードダイヤル２０６が変更されたり、他のメニュー画面が選択された場合には、「マニュアル階調撮影モード」を終了し、本フローチャートから抜ける。

（ステップＳ１０５）ＣＰＵ１０６は、撮影処理を行う。具体的には、撮像素子１０３で撮影された画像データはバッファメモリ１０７に一時的に記憶され、画像処理部１０５でホワイトバランス処理，色補正処理，階調処理などが行われる。尚、通常の撮影処理では、画像処理部１０５が処理した画像データは、ＪＰＥＧ等の画像圧縮処理が施されて、ＣＰＵ１０６を介して記録Ｉ／Ｆ１１０に装着されているメモリカード１１１に保存されるが、「マニュアル階調撮影モード」の場合は、この時点では未だバッファメモリ１０７に一時的に記憶された状態にある。

（ステップＳ１０６）ＣＰＵ１０６は、画像処理部１０５に画像解析処理を指令する。指令を受けた画像処理部１０５は、ステップＳ１０５でバッファメモリ１０７に記憶された画像データに対して、ステップＳ１０３でメモリ１０９に記憶されたハイエストライトポイント、ディープシャドウポイント、中間調ポイントの各位置での画像信号の出力値を求める。尚、各位置での画像信号の出力値は、各位置に対応する１つの画素の画像信号の出力値を用いても構わないし、各位置に対応する画素周辺の複数画素の画像信号の平均出力値を用いても構わない。

（ステップＳ１０７）ＣＰＵ１０６は、ステップＳ１０６で求めたハイエストライトポイント、ディープシャドウポイントの各位置での画像信号の出力値が予め撮像装置１０１に設定されている画像信号の出力値の許容範囲内に入っているか否かを判別する。許容範囲内に入っている場合はステップＳ１１４に進み、許容範囲内に入っていない場合はステップＳ１０８に進む。尚、本処理ステップでは、中間調ポイントの画像信号の出力値が許容範囲内に入っているか否かの判別は行っていないが、中間調ポイントの画像信号の出力値についても許容範囲内に入っているか否かの判別を行うようにしても構わない。

ここで、本撮影画像の各位置の画像信号の出力値が先に設定された目標値の許容範囲内に入っている場合の例について図５を用いて説明する。図５において、ライブビュー画像２５１で設定したハイエストライトポイントＨ３０１，ディープシャドウポイントＬ３０２，中間調ポイントＭ３０３のそれぞれの目標値は、ハイエストライトポイントＨの目標値＝２５０，ディープシャドウポイントＬの目標値＝１０，中間調ポイントＭの目標値＝１２８である。また、ハイエストライトポイントＨ３０１とディープシャドウポイントＬ３０２の各画像信号の出力値の許容範囲は、それぞれ±２０である。この時、ステップＳ１０５で撮影した本撮影画像２５２の各位置での画像信号の出力値が例えばハイエストライトポイントＨ＝２４０，ディープシャドウポイントＬ＝２０，中間調ポイントＭ＝１４０であったとすると、本撮影画像２５２のハイエストライトポイントＨ３０１とディープシャドウポイントＬ３０２の各画像信号の出力値は、それぞれの目標値の許容範囲内に入っているので、ステップＳ１１４に進む。

次に、本撮影画像の各位置の画像信号の出力値が先に設定された目標値の許容範囲内に入っていない場合の例について図６を用いて説明する。図６において、ライブビュー画像２５４で設定したハイエストライトポイントＨ３０１，ディープシャドウポイントＬ３０２，中間調ポイントＭ３０３のそれぞれの目標値は、ハイエストライトポイントＨの目標値＝２５０，ディープシャドウポイントＬの目標値＝１０，中間調ポイントＭの目標値＝１２８である。また、ハイエストライトポイントＨ３０１とディープシャドウポイントＬ３０２の各画像信号の出力値の許容範囲は、それぞれ±２０である。この時、ステップＳ１０５で撮影した本撮影画像２５５の各位置での画像信号の出力値が例えばハイエストライトポイントＨ＝２２０，ディープシャドウポイントＬ＝２０，中間調ポイントＭ＝１１０であったとすると、本撮影画像２５５のハイエストライトポイントＨ３０１の画像信号の出力値がそれぞれの目標値の許容範囲内に入っていないので、ステップＳ１０８に進む。尚、ハイエストライトポイントＨ３０１とディープシャドウポイントＬ３０２の少なくとも１つの画像信号の出力値がその目標値の許容範囲内に入っていない場合は、ステップＳ１０８に進む。

このように、ステップＳ１０７では、ステップＳ１０５で撮影された本撮影画像のハイエストライトポイントＨ３０１とディープシャドウポイントＬ３０２の両方の画像信号の出力値がそれぞれの目標値の許容範囲内に入っているか否かを判別する。

（ステップＳ１０８）ＣＰＵ１０６は、ステップＳ１０５で撮影された画像のハイエストライトポイント位置の画像信号の出力値またはディープシャドウポイント位置の画像信号の出力値がそれぞれの目標値になるための露出補正量を算出する。尚、この時、ステップＳ１０７で許容範囲内であったポイントを計算対象とする。ここで、露出補正量の算出は、例えば、シャッタースピードを１段階上下すると撮影される画像の画像信号の出力値がどれだけ変化するかを予め撮像装置１０１の設計値や実測値から求め、撮像装置１０１の製造時にメモリ１０９に記憶しておく。

例えば、シャッタースピードを１段階上下すると撮影される画像の画像信号の出力値が約１０だけ上下する時、目標値が２５０に対して撮影された画像の画像信号の出力値が２２０の場合は、シャッタースピードを３段階下げればよい。例えば、画像の画像信号の出力値が２２０の時のシャッタースピードが１／５００秒だった場合は、露出補正後のシャッタースピードは３段分低速の１／６０秒になる。逆に、目標値が１０に対して撮影された画像の画像信号の出力値が４０の場合は、シャッタースピードを３段階上げればよいので、例えば画像の画像信号の出力値が１０の時のシャッタースピードが１／５００秒だった場合は、露出補正後のシャッタースピードは３段分高速の１／４０００秒になる。このようにして、ＣＰＵ１０６は、ステップＳ１０５で撮影された画像のハイエストライトポイント位置の画像信号の出力値またはディープシャドウポイント位置の画像信号の出力値がそれぞれ目標値になるための露出補正量を算出する。

尚、本実施形態では、シャッタースピードで露出補正を行うようにしたが、ＡＦＥ回路１０４のゲイン調整で露出補正を行うようにしても構わない。また、絞りで露出補正を行うようにしても構わないが、露出補正前後の画像で被写界深度の違いが目立つような被写体の場合は好ましくない。

（ステップＳ１０９）ＣＰＵ１０６は、ステップＳ１０８で算出した露出補正量になるように、露出条件（シャッタースピードやＩＳＯ感度（ゲイン調整）或いは絞り値など）を変える。

（ステップＳ１１０）ＣＰＵ１０６は、自動的に撮影処理を行い、新たに本撮影画像を撮影する。尚、撮像素子１０３で撮影された画像データはバッファメモリ１０７に一時的に記憶され、画像処理部１０５でホワイトバランス処理，色補正処理，階調処理などが行われる。例えば、図６の本撮影画像２５６はステップＳ１１０で新たに撮影された本撮影画像である。この時、ステップＳ１０５で撮影された本撮影画像２５５も未だバッファメモリ１０７に記憶された状態にある。

（ステップＳ１１１）ＣＰＵ１０６は、ステップＳ１０６と同様に、画像処理部１０５に画像解析処理を指令する。指令を受けた画像処理部１０５は、ステップＳ１１０で撮影されたバッファメモリ１０７に記憶されている画像データに対して、ハイエストライトポイント、ディープシャドウポイント、中間調ポイントの各位置の画像信号の出力値を求める。尚、各位置での画像信号の出力値の求め方は、ステップＳ１０６と同様である。例えば、図６の本撮影画像２５６の各位置の画像信号の出力値は、ハイエストライトポイントＨ＝２５０，ディープシャドウポイントＬ＝５０，中間調ポイントＭ＝１４０となっている。

（ステップＳ１１２）ＣＰＵ１０６は、ステップＳ１０７と同様に、ステップＳ１１１で求めたハイエストライトポイント、ディープシャドウポイントの各位置での画像信号の出力値が予め撮像装置１０１に設定されている目標値の許容範囲内に入っているか否かを判別する。許容範囲内に入っている場合はステップＳ１１３に進み、許容範囲内に入っていない場合はステップＳ１０８に戻る。尚、ここでの許容範囲内であるか否かの判別は、ステップＳ１０７で許容範囲内に入らなかったポイントについてのみ行い、ステップＳ１０７で許容範囲内に入っていたポイントが許容範囲内に入っているか否かの判別は行わない。

例えば、図６の本撮影画像２５５で許容範囲内に入らなかったハイエストライトポイントＨの画像信号の出力値についてのみ、目標値（２５０）の許容範囲（±２０）内に入っているかいなかの判別を行う。ステップＳ１１０で新たに撮影された本撮影画像２５６の画像信号の出力値は、ハイエストライトポイントＨ＝２５０，ディープシャドウポイントＬ＝５０，中間調ポイントＭ＝１４０なので、ハイエストライトポイントＨの画像信号の出力値は目標値（２５０）の許容範囲（±２０）内に入っていると判別し、ステップＳ１１３に進む。

尚、本撮影画像２５６のハイエストライトポイントＨの画像信号の出力値が目標値の許容範囲内に入っていなかった場合は、ステップＳ１０８に戻り、本撮影画像２５６を基にして再び露出補正量を算出し、ステップＳ１０９からステップＳ１１１までの処理を実行する。このようにして、ステップＳ１０７で許容範囲内に入らなかったポイントの画像信号の出力値がその目標値の許容範囲内に入るまで同様の処理を繰り返す。例えば、ステップＳ１０７でハイエストライトポイントとディープシャドウポイントの両方が目標値の許容範囲内に入らなかった場合は、両方のポイントの画像信号の出力値が目標値の許容範囲内に入るまで本撮影画像を撮影する。尚、この時、ハイエストライトポイントの画像信号の出力値が目標値の許容範囲内に入っている本撮影画像と、ディープシャドウポイントの画像信号の出力値が目標値の許容範囲内に入っている本撮影画像の２枚の画像が得られればよい。

（ステップＳ１１３）ＣＰＵ１０６は、画像処理部１０５に画像合成処理を指令する。指令を受けた画像処理部１０５は、ステップＳ１０５で撮影した本撮影画像と、ステップＳ１０８からステップＳ１１２までの繰り返し処理で撮影した少なくとも１枚の本撮影画像とを合成して１枚の合成画像を作成する。尚、この段階では、作成された合成画像のハイエストライトポイント、ディープシャドウポイントの各位置での画像信号の出力値はそれぞれの目標値の許容範囲内に入っているが、必ずしも目標値に合致しているとは限らない。例えば、図６に示すように、本撮影画像２５５と本撮影画像２５６の２枚の本撮影画像を合成して１枚の合成画像２５７を作成する場合、合成画像２５７のハイエストライトポイントＨの画像信号の出力値は２５０なので目標値（２５０）に合致しているが、合成画像２５７のディープシャドウポイントＬの画像信号の出力値は２０なので許容範囲内ではあるが目標値（１０）とは少しずれている。同様に、合成画像の中間調ポイントＭの画像信号の出力値も１３０で目標値（１２８）とは少しずれている。

（ステップＳ１１４）ＣＰＵ１０６は、各位置の画像信号の出力値とそれぞれの目標値とのずれを補正して、各位置の画像信号の出力値がそれぞれの目標値に合致するようにダイナミックレンジの拡大／圧縮処理や階調特性を補正する階調処理を行うよう画像処理部１０５に指令する。

例えば、ステップＳ１０７の判別処理でＹｅｓの判定が為された場合について説明する。図５の例では、本撮影画像２５２に対してダイナミックレンジの拡大／圧縮処理や階調特性を補正する階調処理を行い、補正画像２５３を作成する。この結果、補正画像２５３の画像信号の出力値は、ハイエストライトポイントＨ＝２５０，ディープシャドウポイントＬ＝１０，中間調ポイントＭ＝１２８となり、各ポイントの目標値通りの画像を得ることができる。

また、ステップＳ１０７の判別処理でＮｏの判定が為された場合について説明する。例えば、図６に示すように、合成画像２５７に対してダイナミックレンジの拡大／圧縮処理や階調特性を補正する階調処理を行い、補正画像２５８を作成する。この結果、補正画像２５８の画像信号の出力値は、ハイエストライトポイントＨ＝２５０，ディープシャドウポイントＬ＝１０，中間調ポイントＭ＝１２８となり、各ポイントの目標値通りの画像を得ることができる。

ここで、ダイナミックレンジの拡大／圧縮処理について図７（ａ）を用いて説明する。図７（ａ）は８ビット階調（０から２５５の２５６階調）の場合のダイナミックレンジの変換処理例を示している。図７（ａ）において、撮影者が希望するダイナミックレンジの範囲は、ダイナミックレンジ４０１に示すように、ハイエストライトポイントの目標値が２５０、ディープシャドウポイントの目標値が１０にそれぞれ設定されている。一方、撮影された本撮影画像または合成画像から得られるダイナミックレンジ４０２がハイエストライトポイントの画像信号の出力値＝２２５、ディープシャドウポイントの画像信号の出力値＝３０であったとする。この場合は、ハイエストライトポイントの画像信号の出力値（２２５）が目標値（２５０）になるように、ディープシャドウポイントの画像信号の出力値（３０）が目標値（１０）になるように、スケールを拡大する（ダイナミックレンジの拡大）。尚、画像信号の出力値（３０）から画像信号の出力値（２２５）の間の画像信号の出力値も比率に応じて計算される。

或いは、撮影された本撮影画像または合成画像のダイナミックレンジ４０２がハイエストライトポイントの画像信号の出力値＝２５５、ディープシャドウポイントの画像信号の出力値＝０であったとする。この場合は、ハイエストライトポイントの画像信号の出力値（２５５）が目標値（２５０）になるように、ディープシャドウポイントの画像信号の出力値（０）が目標値（１０）になるように、スケールを圧縮する（ダイナミックレンジの圧縮）。尚、画像信号の出力値（０）から画像信号の出力値（２５５）の間の画像信号の出力値も比率に応じて計算される。

このようにして、画像処理部１０５はＣＰＵ１０６の指令を受けて、撮影された本撮影画像または合成画像のダイナミックレンジを拡大／圧縮する処理を行う。

次に、階調特性を補正する階調処理について図７（ｂ）を用いて説明する。階調処理は、中間調ポイントの画像信号の出力値がその目標値になるように階調特性を補正する処理である。図７（ｂ）は中間調ポイントの画像信号の出力値を目標値に補正する処理例を示している。尚、図７（ｂ）は図７（ａ）で説明したダイナミックレンジの拡大／圧縮処理が行われた後で階調特性を補正する例を示し、横軸は補正前の画像信号の出力値，縦軸は補正後の画像信号の出力値をそれぞれ表す。図７（ｂ）において、図７（ａ）で説明したダイナミックレンジの拡大／圧縮処理によってハイエストライトポイントの画像信号の出力値とディープシャドウポイントの画像信号の出力値はそれぞれの目標値に調整され、例えば階調特性４０４のようになっているものとする。ここで、階調特性４０４の中間調ポイントの画像信号の出力値が１４０であった場合、ＣＰＵ１０６は画像処理部１０５に目標値の１２８に補正するよう指令する。尚、階調特性４０５は補正後の階調特性である。ここで、補正前の階調特性４０４から補正後の階調特性４０５を作成する方法は、例えばハイエストライトポイントとディープシャドウポイントと中間調ポイントの３つのポイントを基準にベジェ曲線などの曲線関数を用いてポイント間の画像信号の出力値を求めても構わないし、簡易な近似直線によってポイント間の画像信号の出力値を求めても構わない。このようにして、画像処理部１０５はＣＰＵ１０６の指令を受けて、撮影された本撮影画像または合成画像の階調特性の補正処理を行う。

（ステップＳ１１５）ＣＰＵ１０６は、ステップＳ１１４でダイナミックレンジの拡大／圧縮処理や階調特性の補正処理が施された画像データを記録Ｉ／Ｆ１１０を介してメモリカード１１１に保存する。或いは、モニタ１０８に表示する。例えば、図５の場合は、補正画像２５３がメモリカード１１１に保存されたりモニタ１０８に表示され、図６の場合は、補正画像２５８がメモリカード１１１に保存されたりモニタ１０８に表示される。

（ステップＳ１１６）ＣＰＵ１０６は、「マニュアル階調撮影モード」における撮影処理を終了する。

このように、本実施形態に係る撮像装置１０１は、撮影者が希望する特性（ダイナミックレンジや階調特性）の画像を撮影する「マニュアル階調撮影モード」を有するので、撮影者が撮影前にライブビュー画像上で指定したハイエストライトポイントとディープシャドウポイントと中間調ポイントの３つのポイントの目標値に補正された画像を撮影することができる。

尚、本実施形態では、ハイエストライトポイントとディープシャドウポイントと中間調ポイントの３つのポイントの目標値を設定するようにしたが、ハイエストライトポイントとディープシャドウポイントの２つのポイントだけでも構わない。いずれの場合であっても、本実施形態で説明した構成および処理を適用することによって、撮影者が希望する特性の画像を容易に撮影することができる。

また、本実施形態に係る撮像装置１０１は、スチルカメラだけでなく、ビデオカメラやカメラ付き携帯電話などを含み、画像を撮影することができる全ての装置に適用することができる。

更に、本実施形態では撮像装置１０１について説明したが、図１に示すように、撮像装置１０１と、撮像装置１０１で撮影された画像の出力特性を補正するＰＣ１１４を画像処理装置として構成しても構わない。例えば、地理的に離れた場所に設置された撮像装置１０１とＰＣ１１４とをインターネットを介して接続できるようにし、撮像装置１０１で撮影する画像をライブビュー画像としてＰＣ１１４でモニタしながら撮影を行うカメラシステムを実現することができる。

以上、本発明について詳細に説明してきたが、上記の実施形態は発明の一例に過ぎず、本発明はこれに限定されるものではない。本発明を逸脱しない範囲で変形可能であることは明らかである。

本実施形態に係る撮像装置１０１の構成を示すブロック図である。 本実施形態に係る撮像装置１０１の外観を示す説明図である。 目標値の設定メニュー画面の様子を示す説明図である。 本実施形態に係る撮像装置１０１の動作を示すフローチャートである。 許容範囲内に入っている場合の処理例を示す説明図である。 許容範囲内に入っていない場合の処理例を示す説明図である。 ダイナミックレンジの拡大／圧縮処理および階調特性の補正処理の例を示す説明図である。

符号の説明

１０１・・・撮像装置 １０２・・・光学系
１０３・・・撮像素子 １０４・・・ＡＦＥ回路
１０５・・・画像処理部 １０６・・・ＣＰＵ
１０７・・・バッファメモリ １０８・・・モニタ
１０９・・・メモリ １１０・・・記録Ｉ／Ｆ
１１１・・・メモリカード １１２・・・操作部材
１１３・・・ＰＣＩ／Ｆ １１４・・・ＰＣ
２０１・・・電源ボタン ２０２・・・レリーズボタン
２０３・・・ズームボタン ２０４・・・十字キー
２０４ａ・・・上キー ２０４ｂ・・・下キー
２０４ｃ・・・左キー ２０４ｄ・・・右キー
２０５・・・確定（ＯＫ）ボタン ２０６・・・撮影モード選択ダイヤル

Claims (8)

1. 光学系による像を撮像する撮像部と、
   前記撮像部で得られた撮像信号による画像を表示する表示部と、
   前記画像内の特定の位置に対応付けて該位置における前記撮像信号の目標値を設定する設定部と、
   前記設定部で設定された目標値を基準として、前記撮像部で得られた前記撮像信号を補正する補正部とを含み、
   前記設定部は、前記画像においてハイエストライトとする第１位置と、ディープシャドウとする第２位置とに関する前記撮像信号の目標値を設定し、
   前記第１位置に関する第１目標値と前記第２位置に関する第２目標値は、それぞれ所定の許容範囲を有する
   ことを特徴とする撮像装置。
2. 請求項１に記載の撮像装置において、
   前記補正部は、前記撮像部で撮像された画像の前記第１位置における前記撮像信号および前記第２位置における前記撮像信号の少なくとも一方が前記許容範囲内に無い場合は、露出条件が異なる複数の画像を前記撮像部により撮像し、該複数の画像に基づいて前記撮像信号を補正する
   ことを特徴とする撮像装置。
3. 請求項２に記載の撮像装置において、
   前記補正部は、複数の異なる露光時間で得られる複数の画像を補正する
   ことを特徴とする撮像装置。
4. 請求項１から３のいずれか一項に記載の撮像装置において、
   前記補正部は、前記撮像部で得られる前記撮像信号のダイナミックレンジを補正する
   ことを特徴とする撮像装置。
5. 請求項１から３のいずれか一項に記載の撮像装置において、
   前記設定部は、前記画像において中間調とする第３位置に関する前記撮像信号の目標値を設定する
   ことを特徴とする撮像装置。
6. 請求項５に記載の撮像装置において、
   前記補正部は、前記撮像部でのダイナミックレンジおよび階調特性を補正する
   ことを特徴とする撮像装置。
7. 画像信号に基づく画像を表示部に表示する表示手順と、
   前記表示部に表示された前記画像内の特定の位置に対応付けて該位置における前記画像信号の目標値を設定する設定手順と、
   前記設定手順で設定された目標値を基準として、前記画像信号を補正する補正手順とを含み、
   前記設定手順は、前記画像においてハイエストライトとする第１位置と、ディープシャドウとする第２位置とに関する前記画像信号の目標値を設定し、
   前記第１位置に関する第１目標値と前記第２位置に関する第２目標値は、それぞれ所定の許容範囲を有する
   ことを特徴とする画像処理プログラム。
8. 光学系による像を撮像する撮像部と、
   前記撮像部で得られた撮像信号による画像を表示する表示部と、
   前記画像内の特定の位置に対応付けて該位置における前記撮像信号の目標値を設定する設定部と、
   前記設定部で設定された目標値を基準として、前記撮像部で得られた前記撮像信号を補正する補正部とを含み、
   前記設定部は、前記画像において最大輝度値が得られる位置に対応する第１位置と、前記画像において最小輝度値が得られる位置に対応する第２位置とに関する前記撮像信号の目標値を設定し、
   前記第１位置に関する第１目標値と前記第２位置に関する第２目標値は、それぞれ所定の許容範囲を有する
   ことを特徴とする撮像装置。

Images