JP4224346B2

JP4224346B2 - 撮像方法及び装置

Info

Publication number: JP4224346B2
Application number: JP2003137607A
Authority: JP
Inventors: 円美中村
Original assignee: Fujifilm Corp
Current assignee: Fujifilm Corp
Priority date: 2003-05-15
Filing date: 2003-05-15
Publication date: 2009-02-12
Anticipated expiration: 2023-05-15
Also published as: JP2004343432A

Description

【０００１】
【発明の属する技術分野】
本発明は、撮像方法及び装置に関し、さらに詳しくは主感光部からの出力データと従感光部からの出力データとを合成して完成画像を得る撮像方法及び装置に関するものである。
【０００２】
【従来の技術】
ＣＣＤイメージセンサ等の固体撮像素子を用いた撮像装置、例えばデジタルスチルカメラ（以下デジタルカメラという）で、例えば室内風景を撮影した場合、室内にいる人物は適正露出になっても、窓から見える青い空が白飛びし、全体としては不自然な画像になる場合がある。これは画像のダイナミックレンジが狭いためであり、この問題を解決するため、従来から２枚の画像を撮像して合成することにより、画像のダイナミックレンジを広げることが行われている。
【０００３】
例えば、高速シャッタを切って１枚目の短時間露出画像（低感度画像）を撮影し、続いて低速シャッタを切って２枚目の長時間露出画像（高感度画像）を撮影する。そして、これら２枚の画像を合成することで、低感度画像中に写っている窓の外の風景が、室内風景が良く写っている高感度画像に重なるようにしている。
【０００４】
また、特許文献１記載の固体撮像装置では、各受光部を感度が異なる２つの受光領域に分割し、高感度側の信号電荷と低感度側の信号電荷とを別々に垂直転送レジスタ及び水平転送レジスタで転送し、信号処理回路で高感度側の信号をクリップした後低感度側の信号と加算することにより、ビデオ出力信号のダイナミックレンジを拡大している。
【０００５】
このような、高感度の受光部からの出力データと低感度の受光部からの出力データとを合成する従来の撮像装置では、主感光部出力と従感光部出力とを予め定められた合成比率で合成することにより、低中輝度域に十分の階調幅をもたせつつ、高輝度域にも少ないながら階調をもたせた合成画像を得るようにしている。したがって例えば室内風景を撮影した場合には、室内にいる人物を大きな階調幅で表現しつつ、窓から見える青い空にも白飛びの発生しない程度の階調表現がなされる。
【０００６】
【特許文献１】
特開平９−２０５５８９号公報
【０００７】
【発明が解決しようとする課題】
高感度の受光部からの出力データと低感度の受光部からの出力データとを合成する場合、その合成比率によって完成画像の画質が大きく変化する。しかし、従来の撮像装置ではこの合成比率が予め決められており、ユーザーがこれを変更することができなかった。このため、ユーザーの撮影意図に応じて合成画像の画質を変化させることができなかった。
【０００８】
例えば室内風景を撮影した場合に、青い空に意図的な白飛びをつくることがユーザーの意図であっても、予め定められた合成比率では高輝度域にも一定の階調幅が与えられるため白飛びをつくることができなかった。一方、逆に青い空を大きな階調幅でより鮮やかに描写することがユーザーの意図であっても、予め定められた合成比率では高輝度域に割り当てられた階調幅が小さいため青い空を十分に表現することができなかった。
【０００９】
本発明は、上記問題点を解決するためのもので、ユーザーが意図する画質の合成画像が得られるようにした撮像方法及び装置を提供することを目的とする。
【００１０】
【課題を解決するための手段】
上記目的を達成するために、本発明の撮像装置は、高感度出力データと低感度出力データとを出力可能な撮像素子を用い、前記高感度出力データと前記低感度出力データとを合成して撮影画像を生成する撮像装置において、前記高感度出力データと前記低感度出力データとの合成比率をユーザーの操作により任意に設定できる操作手段と、前記撮像素子への入射光量を算出する入射光量算出手段と、算出された入射光量に応じて前記合成比率の設定可能範囲を算出するデータ比設定手段を設けたことを特徴とする。請求項２に記載の発明では、前記入射光量算出手段は、前記低感度出力データの輝度信号を積分することにより、前記入射光量を算出する。請求項３に記載の発明では、前記設定可能範囲を表示する第一表示手段を備える。請求項４に記載の発明では、前記操作手段は、前記設定可能範囲内でのみ前記合成比率の設定が可能である。請求項５に記載の発明では、前記操作手段は、前記設定可能範囲、および前記設定可能範囲以外の前記合成比率の設定が可能である。請求項６に記載の発明では、前記操作手段で設定された合成比率を表示する第二表示手段を備える。請求項７に記載の発明では、前記操作手段で設定された合成比率を保存する保存手段を備える。
【００１１】
本発明の撮像方法は、高感度出力データと低感度出力データとを出力可能な撮像素子を用い、前記高感度出力データと前記低感度出力データとを合成して撮影画像を生成する撮像方法において、前記撮像素子への入射光量を算出する入射光量算出ステップと、操作手段の操作により任意に設定できる前記高感度出力データと前記低感度出力データとの合成比率の設定可能範囲を、算出された入射光量に応じて算出するデータ比設定ステップとを備えることを特徴とする。請求項９に記載の発明では、前記入射光量算出ステップでは、前記低感度出力データの輝度信号を積分することにより、前記入射光量を算出する。請求項１０に記載の発明では、前記設定可能範囲を表示する第一表示ステップを備える。請求項１１に記載の発明では、前記操作手段は、前記設定可能範囲内でのみ前記合成比率の設定が可能である。請求項１２に記載の発明では、前記操作手段は、前記設定可能範囲、および前記設定可能範囲以外の前記合成比率の設定が可能である。請求項１３に記載の発明では、前記操作手段で設定された合成比率を表示する第二表示ステップを備える。請求項１４に記載の発明では、前記操作手段で設定された合成比率を保存する保存ステップを備える。
【００１２】
【発明の実施の形態】
図１は、本発明を実施したデジタルカメラの正面の外観を示す斜視図である。カメラ本体３の正面には、撮影レンズ４が内部に保持されたレンズ鏡筒５が設けられる。このレンズ鏡筒５は、電源がオフの時にはカメラ本体３の内部に収納されていて撮影レンズ４がレンズバリア６によって保護されており、電源のオンとともに図１中点線で示す位置まで突出する。このレンズ鏡筒５の近傍には、対物側ファインダ窓７、赤目防止用の発光窓８が設けられる。カメラ本体３の上面には、撮影モードを設定するために設けられる設定ダイヤル１０、レリーズボタン１１、ストロボ発光部１２が設けられる。
【００１３】
図２に示すように、カメラ本体３の後面には、接眼用ファインダ窓１５、電源ボタン１６、ＬＣＤ表示ボタン１７、キャンセルボタン１８、シフトボタン１９、メニューボタン２０、十字ボタン２１、設定用ＬＣＤ２２、画像表示用ＬＣＤ２３が設けられている。このデジタルカメラ２はビューファインダ機能を持っており、撮影レンズ４からの被写体像は、画像表示用ＬＣＤ２３で表示することができる。また、カメラ本体３の底面には電池２４を装填するための装填蓋２５が設けられており、例えば、専用の電池や市販の電池を装填することが可能となる。
【００１４】
カメラ本体３の側面には、インターフェイス端子用の保護カバー２８及びメモリカード用の保護カバー２９が形成されている。このインターフェイス端子用保護カバー２８はスライドボタン３０を図中下方向にスライドさせることで、スライドボタン３０との係止が解放され、インターフェイス端子用の保護カバー２８が開き位置へと移動する。このインターフェイス端子用の保護カバー２８を開くと、ＵＳＢコネクタ３１、音声／画像出力部３２、電源入力端子３３が露呈される。同様にして、メモリカード用の保護カバー２９も、スライドボタン３５の図中下方向へのスライドにより開き、メモリカード３６の装填が行えるようになっている。
【００１５】
図３は、本発明の撮像装置における撮像素子を説明する平面概略図である。ＣＣＤ４０は、所謂ハニカム型ＣＣＤであり、光電変換素子である各画素４１の受光部４２が八角形をしている。各受光部２は、面積の約１／５を占める従感光部４３と、残りの約４／５を占める主感光部４４とからなる。したがって、主感光部４４に対して従感光部４３の飽和レベルが１／４、ダイナミックレンジが４倍となる。ＣＣＤ４０は、各従感光部４３の信号電荷と、各主感光部４４の信号電荷とを区別して垂直方向に転送する垂直転送路（図示せず）に読み出して転送することができるようになっている。
【００１６】
図４は本発明のデジタルカメラの内部構成を示すブロック図である。カメラ本体３内には、システムコントローラ５０が設けられている。このシステムコントローラ５０は、操作部５１から入力される操作信号に基づいて、カメラ各部を統括的に制御する。操作部５１は、設定ダイヤル１０、レリーズボタン１１、ＬＣＤ表示ボタン１７、キャンセルボタン１８、シフトボタン１９、メニューボタン２０、十字ボタン２１などの各種操作キーからなる。設定ダイヤル１０によって選択される動作モードとしては、撮影を実行する撮影モード，撮影画像を再生する再生モード，各種設定を行うセットアップモードなどがある。
【００１７】
ＲＯＭ５２には、各種制御用のプログラムや設定情報などが記録されており、システムコントローラ５０は、これらの情報をＲＯＭ５２から、作業用メモリであるＲＡＭ５３にロードして、各種の処理を実行する。ＲＡＭ５３としては、例えば、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）が使用される。
【００１８】
撮影モードでは、レリーズボタン１１が押されると、撮像部５４によって撮像が行われ、撮像された画像データが、カメラ本体３に着脱自在にセットされるメモリカード３６に記録される。撮像部５４は、撮影レンズ４、ＣＣＤ４０、ズーミングや焦点調節を行うためのレンズ移動機構（図示せず），絞り切り換え機構（図示せず）等からなる。
【００１９】
被写体光がＣＣＤ４０により光電変換されると、光電変換されたアナログの撮像信号は、アナログ信号処理部５６によって相関二重サンプリングやＲ，Ｇ，Ｂの画像信号の増幅などの処理が行われ、デジタル信号へ変換される。デジタル化された撮像信号は、デジタル信号処理部５７に入力されて後述する画像合成などの処理がなされた後、ｊｐｅｇなどの圧縮形式で圧縮される。この圧縮された画像データが、メディアコントローラ５８によってメモリカード３６に書き込まれる。
【００２０】
再生モードでは、メモリカード３６から画像が読み出されて、伸張処理がされた後リサイズ処理が施され、画素数の少ない表示用画像データが作成される。この表示用画像データがＲＡＭ５３内のＶＲＡＭエリアに書き込まれる。ビデオエンコーダ５９は、表示用画像データをアナログのコンポジット信号に変換してＬＣＤ２３に出力する。これにより画像表示用ＬＣＤ２３に画像が再生表示される。
【００２１】
ＵＳＢ（Universal Serial Bus）コネクタ３１は、ＵＳＢケーブルを通じて、パーソナルコンピュータなどの外部機器との間で通信を行うための通信用コネクタである。ＵＳＢ規格は、パーソナルコンピュータとその周辺機器との間の標準的な通信インターフェースの１つである。このＵＳＢコネクタ３１を介して、メモリカード３６内の画像データをパーソナルコンピュータに転送したり、その反対に、パーソナルコンピュータからメモリカード３６にデータを転送したりすることができる。
【００２２】
ＵＳＢコントローラ６１は、ＵＳＢコネクタ３１を経由して行われるデータ転送を制御する。ＵＳＢケーブルによってカメラ本体３とパーソナルコンピュータとが接続されると、ＵＳＢコントローラ６１がパーソナルコンピュータと接続されたことを検知して、カメラ本体３の動作モードが自動的に通信モードに切り換えられる。なお、通信用インターフェースの規格としては、ＵＳＢ規格の他にも、ＩＥＥＥ１３９４規格など各種のものがあり、それらの規格に応じた通信用コネクタを使用してもよい。
【００２３】
電源回路６２は、カメラ本体３に着脱自在にセットされる電池２４や、商用電源から供給された電源をカメラ本体３内の各部に分配する。電源入力端子３３は、商用電源から給電を受ける際にＡＣアダプタが接続される端子である。
【００２４】
データ比コントローラ６３は、後述する画像合成の際、高感度画像信号（主感光部４４から得られた画像信号）と低感度画像信号（従感光部４３から得られた画像信号）との合成比率（以下データ比）をユーザーの意図により自由に設定するためのものである。
【００２５】
図５に示すように、主感光部出力の飽和レベルが従感光部出力の飽和レベルの４倍である一方、従感光部出力のダイナミックレンジが主感光部出力のダイナミックレンジの４倍であるため、これら主感光部出力と従感光部出力とをこの比率で合成すれば、低中輝度域に十分の階調幅をもたせつつ、高輝度域にも少ないながら階調をもたせた合成画像を得ることができる。したがって例えば室内風景を撮影した場合に、室内にいる人物を十分な階調で表現しつつ、窓から見える青い空に白飛びの発生しない撮影画像を得ることができる。
【００２６】
また、撮影画像に意図的な白飛びをつくるなど高輝度域の階調幅を小さくしたい場合、階調幅の広い主感光部出力に対してダイナミックレンジの広い従感光部出力の割合を小さくすればよい。逆に、高輝度域にも十分な階調幅をもたせたい場合にはダイナミックレンジの広い従感光部出力の割合を大きくすればよい。本発明ではデータ比コントローラ６３により主感光部出力と従感光部出力とのデータ比をユーザーが自由に設定することにより、ユーザーの撮影意図を反映することができる。
【００２７】
ユーザーが撮影意図に応じて操作部５１を操作することによってデータ比の設定変更を行うと、データ比コントローラ６３は後述するデジタル信号処理部５７に設定されたデータ比で画像合成を行わせ、完成画像を画像表示用ＬＣＤ２３に表示させる。
【００２８】
また、データ比コントローラ６３により、ＣＣＤ４０への入射光量に応じてユーザーが設定可能なデータ比の範囲を制限するようにしてもよい。この場合、例えば従感光部４３から出力される低感度画像信号の輝度信号をデジタル信号処理部５７で積分してデータ比コントローラ６３に送ることにより入射光量を算出することができる。ＣＣＤ４０への入射光量に応じて設定可能なデータ比の範囲を制限するようにすれば、ユーザーによってデータ比が極端な値に設定されることにより画像の白つぶれや黒つぶれが発生することを防止することができる。
【００２９】
図６は、デジタル信号処理部５７の内部構成を示すブロック図である。デジタル信号処理部５７では、高感度画像信号と低感度画像信号とを各々ガンマ補正した後に加算処理する対数加算方式を採用している。すなわち、デジタル信号処理部５７は、アナログ信号処理部５６から出力される高感度画像，低感度画像の各ＲＧＢ色信号に対して、それぞれオフセット処理を行うオフセット補正回路７１ａ，７１ｂと、このオフセット補正回路７１ａ，７１ｂの出力信号のホワイトバランスをとるゲイン補正回路７２ａ，７２ｂと、ゲイン補正後の色信号に対してガンマ補正を行うガンマ補正回路７３ａ，７３ｂとを備えている。
【００３０】
また、デジタル信号処理部５７は、ガンマ補正回路７３ａから出力される高感度画像信号とガンマ補正回路７３ｂから出力される低感度画像信号とを画素単位に合成して出力する画像合成処理回路７４と、画像合成後のＲＧＢ色信号を補間演算して各受光部位置におけるＲＧＢ３色の信号を求めるＲＧＢ補間演算回路７５と、ＲＧＢ色信号から輝度信号Ｙと色差信号Ｃｒ，Ｃｂとを求めるＲＧＢ／ＹＣ変換回路７６と、輝度信号Ｙと色差信号Ｃｒ，Ｃｂからノイズを低減するノイズフィルタ７７と、ノイズ低減後の輝度信号Ｙに対して輪郭補正を行う輪郭補正回路７８と、色差信号Ｃｒ，Ｃｂに対して色差マトリクスを乗算して色調補正を行う色差マトリクス回路７９とを備える。
【００３１】
画像合成処理回路７４では、データ比コントローラ６３によって設定されたデータ比により高感度画像信号と低感度画像信号とを合成することにより合成画像信号を出力している。なお、画像合成処理回路７４ではなく、ゲイン補正回路などを用いて高感度画像信号と低感度画像信号の出力レベルを調整することによって設定されたデータ比となるようにしてもよい。
【００３２】
以下、上記構成による作用について、図７及び図８に示すフローチャートにしたがって説明する。図７はユーザーがデータ比を任意に設定する場合のフローチャートである。ユーザーが操作部５１を操作してセットアップモードからデータ比設定モードを選択すると、データ比コントローラ６３はまず設定用ＬＣＤ２２に現在の出力データ比を表示し、その出力データ比で合成された画像を画像表示用ＬＣＤ２３に表示する。ユーザーが操作部５１を操作してデータ比を変更すると、データ比コントローラ６３はデジタル信号処理部５７に変更後のデータ比にしたがって画像処理を行わせ、処理画像を画像表示用ＬＣＤ２３に表示させる。
【００３３】
ユーザーが処理画像を確認して意図する画像が得られたと判断し、操作部５１を操作してデータ比を確定すると、データ比コントローラ６３は設定されたデータ比を保存し、規定値として撮影時に適用する設定変更処理を行う。その後、撮影が行われると、ユーザーによって設定されたデータ比に基づいた合成画像を得ることができる。
【００３４】
図８はＣＣＤへの入射光量に応じてデータ比の設定可能範囲を制限する場合のフローチャートである。ユーザーが操作部５１を操作してセットアップモードからデータ比設定モードを選択すると、データ比コントローラ６３は従感光部４３から出力される低感度画像信号の輝度信号をデジタル信号処理部５７で積分することにより入射光量を算出し、入射光量にしたがってデータ比の設定可能範囲を算出して設定用ＬＣＤ２２に設定可能範囲を表示する。また、このとき画像表示用ＬＣＤ２３には現在の出力データ比で合成された画像が表示されている。
【００３５】
ユーザーが操作部５１を操作して設定可能範囲内でデータ比を変更すると、データ比コントローラ６３はデジタル信号処理部５７に変更後のデータ比にしたがって画像処理を行わせ、処理画像を画像表示用ＬＣＤ２３に表示させる。ユーザーが処理画像を確認して意図する画像が得られたと判断し、操作部５１を操作してデータ比を確定すると、データ比コントローラ６３は前述した設定変更処理を行う。その後、撮影が行われると、ユーザーによって設定されたデータ比に基づき、自由度が高く且つ白つぶれや黒つぶれなどを起こすことのない合成画像を得ることができる。
【００３６】
上記実施形態では、ＣＣＤへの入射光量に応じてデータ比の設定可能範囲をユーザーに通知するとともに設定可能範囲内でのみデータ比の変更を行えるように構成しているが、データ比の設定推奨範囲をユーザーに通知し、設定自体はこの範囲に限定されずにユーザーが自由が行うように構成してもよい。
【００３７】
また、上記実施形態では、ＣＣＤの各画素の受光部を主感光部の面積４、従感光部の面積１の割合で分割したが、本発明はこれに限定されることなく、この分割比は設計に応じて適宜変更してよい。また、上記実施形態では、固体撮像素子としてハニカム型のＣＣＤを用いたが、本発明はこれに限定されることなく、ベイヤ型のＣＣＤやＣＭＯＳイメージセンサを用いてもよい。また、上記実施形態はデジタルカメラであったが、本発明はこれに限定されることなく、固体撮像素子を用いるものであれば、画像入力装置や監視カメラなどでもよい。
【００３８】
【発明の効果】
以上説明したように、本発明の撮像装置によれば、主感光部からの出力データと従感光部からの出力データとの合成比率をユーザーの操作により任意に設定できるデータ比設定手段を備えたので、撮影画像にユーザーの撮影意図を反映させることができる。
【００３９】
また、前記データ比設定手段により、固体撮像素子への入射光量を測定し、測定された入射光量に応じて前記合成比率の設定可能範囲を算出するようにしたので、ユーザーによってデータ比が極端な値に設定されることにより画像の白つぶれや黒つぶれが発生することを防止することができる。
【００４０】
また、前記データ比設定手段により、ユーザーによる合成比率の設定変更に応じてその都度設定された合成比率による画像合成を行い、合成された画像を撮像装置本体に設けられたモニタに表示するようにしたので、データ比の変化による合成画像の変化をユーザーがその都度確認することができ、ユーザーの撮影意図を確実に撮影画像に反映させることができる。
【図面の簡単な説明】
【図１】本発明を実施したデジタルカメラの正面の外観を示す斜視図である。
【図２】本発明を実施したデジタルカメラの後面の外観を示す斜視図である。
【図３】本発明の撮像装置における撮像素子を説明する平面概略図である。
【図４】本発明のデジタルカメラの内部構成を示すブロック図である。
【図５】主感光部、従感光部の各出力レベルとダイナミックレンジの関係を示すグラフである。
【図６】デジタル信号処理部の構成を示すブロック図である。
【図７】ユーザーがデータ比を任意に設定する場合の手順を示すフローチャートである。
【図８】ＣＣＤへの入射光量に応じてデータ比の設定可能範囲を制限する場合の手順を示すフローチャートである。
【符号の説明】
４０ＣＣＤ
４３従感光部
４４主感光部
５１操作部
５７デジタル信号処理部
６３データ比コントローラ

Claims

高感度出力データと低感度出力データとを出力可能な撮像素子を用い、前記高感度出力データと前記低感度出力データとを合成して撮影画像を生成する撮像装置において、
前記高感度出力データと前記低感度出力データとの合成比率をユーザーの操作により任意に設定できる操作手段と、
前記撮像素子への入射光量を算出する入射光量算出手段と、
算出された入射光量に応じて前記合成比率の設定可能範囲を算出するデータ比設定手段とを設けたことを特徴とする撮像装置。
前記入射光量算出手段は、前記低感度出力データの輝度信号を積分することにより、前記入射光量を算出することを特徴とする請求項１記載の撮像装置。
前記設定可能範囲を表示する第一表示手段を備えることを特徴とする請求項１または２記載の撮像装置。
前記操作手段は、前記設定可能範囲内でのみ前記合成比率の設定が可能であることを特徴とする請求項１ないし３のいずれか記載の撮像装置。
前記操作手段は、前記設定可能範囲、および前記設定可能範囲以外の前記合成比率の設定が可能であることを特徴とする請求項１ないし３のいずれか記載の撮像装置。
前記操作手段で設定された合成比率を表示する第二表示手段を備えることを特徴とする請求項１ないし５のいずれか記載の撮像装置。
前記操作手段で設定された合成比率を保存する保存手段を備えることを特徴とする請求項１ないし６のいずれか記載の撮像装置。
高感度出力データと低感度出力データとを出力可能な撮像素子を用い、前記高感度出力データと前記低感度出力データとを合成して撮影画像を生成する撮像方法において、
前記撮像素子への入射光量を算出する入射光量算出ステップと、
操作手段の操作により任意に設定できる前記高感度出力データと前記低感度出力データとの合成比率の設定可能範囲を、算出された入射光量に応じて算出するデータ比設定ステップとを備えることを特徴とする撮像方法。
前記入射光量算出ステップでは、前記低感度出力データの輝度信号を積分することにより、前記入射光量を算出することを特徴とする請求項８記載の撮像方法。
前記設定可能範囲を表示する第一表示ステップを備えることを特徴とする請求項８または９記載の撮像方法。
前記操作手段は、前記設定可能範囲内でのみ前記合成比率の設定が可能であることを特徴とする請求項８ないし１０のいずれか記載の撮像方法。
前記操作手段は、前記設定可能範囲、および前記設定可能範囲以外の前記合成比率の設定が可能であることを特徴とする請求項８ないし１０のいずれか記載の撮像方法。
前記操作手段で設定された合成比率を表示する第二表示ステップを備えることを特徴とする請求項８ないし１２のいずれか記載の撮像方法。
前記操作手段で設定された合成比率を保存する保存ステップを備えることを特徴とする請求項８ないし１３のいずれか記載の撮像方法。