JP4407454B2 - ディジタルカメラ及び画像処理方法 - Google Patents

Description

本発明はディジタルカメラ及び画像処理方法に関し、特にＲＡＷデータから画像を生成する技術に関する。

従来のディジタルカメラは、一般に次の各処理を実行してリムーバブルメモリ等の不揮発性記憶媒体にカラー画像を格納している。はじめに、カラーイメージセンサのアナログ出力信号をＡＤ変換することにより、カラーイメージセンサの各画素についてＲ、Ｇ、Ｂいずれか１チャネルの濃淡レベルを表すＲＡＷデータを生成し揮発性記憶媒体に格納する。一般にＲＡＷデータは、ディジタルカメラが対象物からディジタルデータとして取得し得る最大限の画像情報を有する。次に各画素について３チャネルの濃淡レベルを表す出力用画像をＲＡＷデータから生成し揮発性記憶媒体に格納する。ＲＡＷデータから出力用画像が生成される過程では、撮像前にユーザが設定する撮像条件に基づいて画素補間、濃度変換、解像度変換及び空間情報変換が施される。次に出力用画像を圧縮し、所定のフォーマットで不揮発性記憶媒体に出力用画像を格納する。このようにしてＲＡＷデータから圧縮された出力用画像が生成される過程では各種の不可逆変換が施される。

特許文献１及び特許文献２に開示されているように、ＲＡＷデータを不揮発性記憶媒体に記録できるディジタルカメラが知られている。また、いったん不揮発性記憶媒体に格納したＲＡＷデータから撮像後に出力用画像を生成するディジタルカメラも知られている。このようなディジタルカメラでは、撮像後に条件を設定してＲＡＷデータから出力用画像を生成できる。

ところで、従来のディジタルカメラでは、撮像操作に応じて出力用画像を生成する場合にも、撮像操作後の操作に応じて出力用画像を生成する場合にも、同じアルゴリズムで出力用画像を生成している。また従来のディジタルカメラでは、連続撮像間隔を短縮するために、画質をある程度犠牲にして画像生成処理の高速化を優先させている。ところが、ディジタルカメラの使用環境では、常に連続撮像間隔が重視されているわけではない。例えば、風景を撮像する場合には、連続撮像間隔が長くても大きな問題にはならない場合が多い。また例えば、ユーザが不揮発性記憶媒体に格納されたＲＡＷデータを読み込んで出力用画像を生成しようとしている場合には、ユーザにはただちに撮像をしようとする意思がない。

特開平１１−２６１９３３号公報 特開２００４−９６５００号公報

本発明は、上述した観点から創作されたものであって、ＲＡＷデータから短時間で画像を生成することもＲＡＷデータから高品質な画像を生成することもできるディジタルカメラを提供することを目的とする。

（１） 上記目的を達成するための本発明によるディジタルカメラは、画素毎に１チャネルの濃淡レベルを表すＲＡＷデータを撮像操作に応じて生成する撮像手段と、前記ＲＡＷデータから第一画像を生成する第一生成手段と、前記第一生成手段と異なるアルゴリズムで前記第一生成手段より精密に前記ＲＡＷデータから第二画像を生成する第二生成手段と、を備える。
本発明によると、第一生成手段と異なるアルゴリズムで第一生成手段より精密にＲＡＷデータから画像を生成する第二生成手段を備えるため、ＲＡＷデータから高品質な画像を生成することができる。本発明によると、ＲＡＷデータから画像を第二生成手段より非精密に生成する第一生成手段を備えるため、ＲＡＷデータから短時間で画像を生成することもできる。

（２） 前記第二生成手段は、前記第一生成手段の少なくとも一部を構成する専用回路が実現する機能を実現する汎用回路を有してもよい。
本発明によると、第二生成手段が画像を生成する場合には、第一生成手段が画像を生成する場合に比べて汎用回路を多く用いるため、ＲＡＷデータの特性に応じた柔軟な処理が可能になる。具体的には例えば、汎用回路で実行されるコンピュータプログラムの細かな条件分岐処理により、ＲＡＷデータの特性に応じて精密に画像を生成することができる。

（３） 前記第二生成手段が前記第二画像を生成するための処理条件を自動設定するために参照するデータに対応する前記撮像手段の画素数は、前記第一生成手段が前記第一画像を生成するための処理条件を自動設定するために参照するデータに対応する前記撮像手段の画素数より多くてもよい。
本発明によると、自動設定された処理条件に基づいて第二生成手段によりＲＡＷデータから画像が生成される場合、第一生成手段により画像が生成される場合に比べてより多くの画素に対応するデータが参照されるため、高品質な画像を生成することができる。

（４） 前記処理条件は、ホワイトバランス補正に用いられてもよい。
（５） 前記処理条件は、明度補正に用いられてもよい。
（６） 前記処理条件は、記憶色補正に用いられてもよい。記憶色補正とは、人間が特定の固定概念を持っている、肌色、空色、葉緑色等に近い色の画像領域をその固定概念に対応する色に近づける補正である。
（７） 前記処理条件は、画像圧縮に用いられてもよい。

（８） 前記第二生成手段が前記第二画像の一画素を生成するために参照するデータに対応する前記撮像手段の画素数は、前記第一生成手段が前記第一画像の一画素を生成するために参照するデータに対応する前記撮像手段の画素数より多くてもよい。
本発明によると、ＲＡＷデータから一画素を生成する場合、第二生成手段は第一生成手段より多くの画素に対応するデータを参照するため、高品質な画像を生成することができる。

（９） 前記ディジタルカメラは、不揮発性記憶媒体にデータを出力する出力手段をさらに備えてもよい。前記第一生成手段は前記撮像操作に応じて前記第一画像を生成してもよい。前記第二生成手段は前記不揮発性記憶媒体に格納された前記ＲＡＷデータから前記撮像操作の後の現像要求に応じて前記第二画像を生成してもよい。前記出力手段は、前記撮像手段が生成した前記ＲＡＷデータと前記第一生成手段が前記撮像操作に応じて生成した前記第一画像の少なくともいずれか一方を前記撮像操作に応じて前記不揮発性記憶媒体に格納し、前記第二生成手段が生成した前記第二画像を前記現像要求に応じて前記不揮発性記憶媒体に格納してもよい。
本発明によると、撮像操作に応じて第一生成手段により画像が生成され、生成された画像とＲＡＷデータの少なくともいずれか一方が出力手段により不揮発性記憶媒体に格納されるため、連続撮像間隔を短くすることができるとともに、不揮発性記憶媒体に格納されたＲＡＷデータを撮像操作後にアクセスすることができる。また本発明によると撮像操作の後に実行される現像要求に対しては、第二生成手段により画像が生成され、生成された画像が出力手段により不揮発性記憶媒体に格納されるため、高品質な画像を不揮発性記憶媒体に格納することができる。

（１０） 前記ディジタルカメラは、揮発性記憶媒体と、データを不揮発性記憶媒体に格納する出力手段と、をさらに備えてもよい。前記撮像手段は前記撮像操作に応じて前記ＲＡＷデータを前記揮発性記憶媒体に格納してもよい。前記第一生成手段は前記揮発性記憶媒体に格納された前記ＲＡＷデータから前記撮像操作に応じて前記第一画像を生成してもよい。前記第二生成手段は前記揮発性記憶媒体に格納された前記ＲＡＷデータから前記撮像操作の後の現像要求に応じて前記第二画像を生成してもよい。前記出力手段は、前記第一生成手段が生成した前記第一画像を前記撮像操作に応じて前記不揮発性記憶媒体に格納し、前記第二生成手段が生成した前記第二画像を前記現像要求に応じて前記不揮発性記憶媒体に格納してもよい。
本発明によると、撮像操作に応じて第一生成手段により画像が生成され、生成された画像が出力手段により不揮発性記憶媒体に格納されるため、連続撮像間隔を短くすることができる。また本発明によると、撮像操作の後に現像要求が行われた場合、撮像操作に応じて揮発性記憶媒体に格納されたＲＡＷデータから第二生成手段によって画像が生成され、生成された画像が出力手段により不揮発性記憶媒体に格納されるため、不揮発性記憶媒体にＲＡＷデータが格納されていなくても、高品質な画像を不揮発性記憶媒体に格納することができる。

（１１） 前記ディジタルカメラは、前記第二生成手段が前記第二画像を生成するための生成条件の設定操作を前記撮像操作の後に受け付け、前記設定操作に応じて前記生成条件を設定する設定手段と、前記不揮発性記憶媒体に格納された前記第一画像を前記生成条件の設定操作を受け付ける前に画面に表示する表示制御手段と、をさらに備えてもよい。
本発明によると、第二生成手段で撮像操作の後に画像を生成するための生成条件の設定操作前に、不揮発性記憶媒体に格納されている画像を画面で確認することができるため、ユーザは適切な生成条件を容易に設定することができる。

（１２） 前記ディジタルカメラは、前記第一画像、前記第二画像のいずれを生成するかを選択するための撮像前選択操作を前記撮像操作の前に受け付け、前記撮像前選択操作に応じて前記第一生成手段、前記第二生成手段のいずれかに前記撮像操作に応じて前記第一画像又は前記第二画像を生成させる撮像前選択手段をさらに備えてもよい。
本発明によると、ユーザが撮像時の状況に応じて第一生成手段、第二生成手段のいずれかを選択できるため、撮像時の状況に応じて、撮像操作に応じて短時間で画像を生成したり、撮像操作に応じて高品質な画像を生成することができる。

（１３） 前記撮像操作後の現像要求に応じて前記第一画像、前記第二画像のいずれを生成するかを選択するための撮像後選択操作を前記撮像操作の後に受け付け、前記撮像後選択操作に応じて前記第一生成手段、前記第二生成手段のいずれかに前記第一画像又は前記第二画像を生成させる撮像後選択手段をさらに備えてもよい。
本発明によると、撮像操作後にＲＡＷデータから画像を生成する場合、ユーザが第一生成手段、第二生成手段のいずれかを選択できるため、現像要求時の状況に応じて、短時間で画像を生成したり、精密に画像を生成することができる。

（１４） 上記目的を達成するための本発明による画像処理方法は、ディジタルカメラにより画像を生成する画像処理方法であって、画素毎に１チャネルの濃淡レベルを表すＲＡＷデータを撮像操作に応じて生成する撮像段階と、前記ＲＡＷデータから第一画像を生成する第一生成段階と、前記第一生成段階と異なるアルゴリズムで前記ＲＡＷデータから第二画像を前記第一生成手段により精密に生成する第二生成段階と、を含み、前記第二生成段階が前記第二画像を生成するための処理条件を自動設定するために参照するデータに対応する前記RAWデータの画素数は、前記第一生成段階が前記第一画像を生成するための処理条件を自動設定するために参照するデータに対応するRAWデータの画素数より多いことを特徴とする。
本発明によると、ＲＡＷデータから短時間で画像を生成することも、ＲＡＷデータから精密に画像を生成することもできる。

尚、本発明に備わる複数の手段の各機能は、構成自体で機能が特定されるハードウェア資源、プログラムにより機能が特定されるハードウェア資源、又はそれらの組み合わせにより実現される。また、これら複数の手段の各機能は、各々が物理的に互いに独立したハードウェア資源で実現されるものに限定されない。
また、本発明は装置の発明として特定できるだけでなく、プログラムの発明としても、そのプログラムを記録した記録媒体の発明としても特定することができる。

以下、実施例に基づいて本発明の実施の形態を説明する。各実施例において同一の符号が付された構成要素は、その符号が付された他の実施例の構成要素と対応する。
図２は、本発明の一実施例によるディジタルスチルカメラ（ＤＳＣ）１を示すブロック図である。図３は、ＤＳＣ１の背面図である。

イメージセンサ１４は、二次元空間に離散的に配置された光電変換素子とＣＣＤ（Charge Coupled Device）等の電荷転送素子とを備えたカラー撮像素子であり、いわゆるＣＣＤカラーイメージセンサ、ＣＭＯＳカラーイメージセンサ等である。イメージセンサ１４は、レンズ１０及び絞り１２によって受光面に結像された光学像の濃淡に応じた電気信号を出力する。イメージセンサ１４は、光電変換素子毎にベイヤ配列の色フィルタを備えるため、画素毎にＲＧＢいずれか１チャネルの濃淡レベルを示す電気信号を出力する。レンズ１０はレンズコントローラ１１によって駆動され、光軸方向に往復移動する。絞り１２は、絞りコントローラ１３によって駆動され、イメージセンサ１４に入射する光量を調整する。イメージセンサ１４に電荷を蓄積する時間（シャッタ速度）は、機械的なシャッタで制御してもよいし、イメージセンサ１４のゲート信号のオンオフにより電気的に制御してもよい。センサコントローラ１６は、所定のタイミングでゲート信号、シフト信号等のパルス信号をイメージセンサ１４に出力し、イメージセンサ１４を駆動する。

アナログフロントエンド（ＡＦＥ）１８は、イメージセンサ１４から出力されるアナログ電気信号に対してＡＤ変換を施してＲＡＷデータを生成する。ＲＡＷデータとは、一般に撮像素子から出力されたアナログ電気信号を単純にディジタル化したデータのことである。したがって、ＲＡＷデータは画素毎にＲＧＢいずれか１チャネルの濃淡レベルを表している。このため、ＲＡＷデータは画像でなく、そのまま表示しても対象物を認識可能な画像を表示することは出来ない。ただし、ＲＡＷデータは、露出補正、ホワイトバランス補正等、一般に画像形成時に施される濃度変換の一部が施されたデータであってもよいし、施されていないデータであってもよい。ＡＦＥ１８から出力されるＲＡＷデータは、ＲＡＭコントローラ３０によってＲＡＭ３２に格納される。
以上説明したレンズ１０、絞り１２、イメージセンサ１４、レンズコントローラ１１、絞りコントローラ１３、センサコントローラ１６及びＡＦＥ１８は、請求項に記載された撮像手段を構成する撮像部１５の構成要素である。

第一生成手段及び第二生成手段としての色処理部２４は、制御部３７と協働し、ＡＦＥ１８から出力されるＲＡＷデータに対し、現像処理を施す。現像処理は、各光電変換素子の蓄積電荷に対応するＲＡＷデータの各画素の濃淡レベルを近傍画素同士で補間し合うことによって、画素毎にＲＧＢの３チャネルの濃淡レベルを持つ画像を形成する処理である。一般に、注目画素を中心とするある程度広い範囲に位置する近傍画素を参照して注目画素の各チャネルの濃淡レベルを算出する方が、狭い範囲の近傍画素を参照する場合に比べて処理時間が長くなる。したがって、撮像直後の現像処理では、比較的狭い範囲の近傍画素を参照して注目画素の濃淡レベルを算出することにより、連続撮像間隔を短縮することができる。また、ユーザが次の撮像をする意思がない状態では、比較的広い範囲の近傍画素を参照して注目画素の濃淡レベルを算出することにより、高品質な画像を形成することができる。

現像処理では、シャープネス補正、明度補正、コントラスト補正、ホワイトバランス補正、記憶色補正等の各種の濃度変換及び空間情報変換を施すことができる。例えば撮像時の手振れによりぼやけた画像に対してシャープネス補正を施せば、手ぶれによりぼやけた画像を鮮鋭な画像に補正することができる。風景が表された画像に対してシャープネス補正を施せば、広域に焦点が合った印象になる鮮鋭な画像に補正することができる。露出過多又は露出不足の画像に対して明度補正及びコントラスト補正を施せば、適正露出の画像に近づけることができる。ホワイトバランス補正は、対象物の照明環境に応じてＲＧＢのゲインを調整する処理である。人物や赤い花や青空や木々の緑が表された領域に対して記憶色補正を施せば、肌色を美しく見える色合いに補正したり、赤い花弁をビビッドな色合いに補正したり、青空を澄んだ色合いに補正したり、木々の緑を鮮やかな緑に補正することができる。

第一生成手段及び第二生成手段としての解像度変換部２６は、制御部３７と協働し、画像の解像度を所定の解像度に変換する。具体的には例えば、解像度変換部２６は、ユーザが撮像前に設定する撮像条件やユーザが撮像後に設定する生成条件に応じた解像度に画像を変換したり、ＬＣＤ３６の画面サイズに対応した解像度に画像を変換する。

第一生成手段及び第二生成手段としての圧縮・伸張部２８は、画像を圧縮し、また圧縮された画像を伸張する。圧縮方式は、可逆圧縮方式であってもよいし、不可逆圧縮方式であってもよい。具体的には例えば、ＤＣＴ、ウェーブレット変換、量子化、ハフマン符号化、ランレングス符号化等を組み合わせたＪＰＥＧ方式、ＪＰＥＧ２０００方式等を採用することができる。尚、画像を圧縮せずにリムーバブルメモリ４８に格納することもできる。量子化には、入力レベルと出力レベルを対応付ける量子化テーブルが用いられる。１つの出力レベルに対応する入力レベルの数を量子化ステップ幅という。量子化ステップ幅が広いほど圧縮率は高くなる。尚、圧縮前のデータ量に対して圧縮後のデータ量が小さいほど圧縮率が高いというものとする。量子化ステップ幅が狭いほど圧縮による画質劣化が少なくなる。量子化ステップ幅は、制御部３７が画質に応じて動的に設定することもできる。具体的には例えば、制御部３７が画像を解析し、比較的広い範囲で緩やかに色合いが変化する領域（例えば薄雲がかかった青空が表されている領域）に対応するレベルで量子化ステップ幅を小さく設定することにより、圧縮による階調の抑圧を抑制することができる。
以上説明した色処理部２４、解像度変換部２６及び圧縮・伸張部２８の機能は、ＡＳＩＣ、ＤＳＰ等の専用回路で実現してもよいし、制御部３７が特定のプログラムを実行することによって実現してもよい。

グラフィックコントローラ３４は、合成機能を有する表示制御回路等を備え、ＲＡＭ３２のフレームメモリ領域９６（図５参照）に格納されている表示用画像を単体でＬＣＤ３６の画面に表示したり、表示用画像とメニューを重ねてＬＣＤ３６の画面に表示する。
操作部４０は、レリーズボタン５０、メニュー操作等のための各種の押しボタン５２、５６、５８、６０、６２、６４、レバー５４、ジョグダイヤル６６等を備える。

外部インタフェースコントローラ４２は、ＤＳＣ１と図示しないパーソナルコンピュータ（ＰＣ）等の外部システムとを通信可能に接続する。ＰＣ等の外部装置のハードディスクは請求項に記載の不揮発性記憶媒体に相当しうる。
出力手段としてのリムーバブルメモリコントローラ４４は、カードコネクタ４６に接続される不揮発性記憶媒体としてのリムーバブルメモリ４８にＲＡＭ３２に格納されているデータを転送する入出力機構である。

フラッシュメモリコントローラ３９は、フラッシュメモリ３８に格納されているデータをＲＡＭ３２に転送する。フラッシュメモリ３８はＣＰＵ２０が実行する画像処理プログラムを格納している不揮発性メモリである。ＤＳＣ１が作動するために必要な画像処理プログラムや各種のデータは、所定のサーバからのネットワークを介したダウンロード、リムーバブルメモリ４８からの読み出し等によってフラッシュメモリ３８に格納することもできる。

制御部３７は、ＣＰＵ２０、ＲＡＭ３２及びＲＡＭコントローラ３０を備える。ＣＰＵ２０はフラッシュメモリ３８に格納されている画像処理プログラムを実行することでＤＳＣ１の各部を制御する。ＲＡＭコントローラ３０は、ＡＦＥ１８、色処理部２４、解像度変換部２６、圧縮・伸張部２８、ＣＰＵ３０、グラフィックコントローラ３４、リムーバブルメモリコントローラ４４、フラッシュメモリコントローラ３９等と揮発性記憶媒体としてのＲＡＭ３２との間のデータ転送を制御する。

図４は、制御部３７が実行する画像処理プログラムの論理的な構成を示すブロック図である。
撮像制御モジュール７２は、レリーズボタン５０が押下されると撮像部１５と協働してＲＡＷデータを生成し、生成したＲＡＷデータをＲＡＭ３２のＲＡＷバッファ領域９０（図５参照）に格納する。

第一生成モジュール８０は、制御部３７を第一生成手段として機能させるプログラム部品であって、レリーズボタンが押下されてＲＡＷデータが生成された直後又は生成と平行して色処理部２４、解像度変換部２６及び圧縮・伸張部２８と協働してＲＡＷデータから第一画像としての出力用画像を生成する。現像処理では、ＲＡＭ３２の第一ワークバッファ領域９２及び第二ワークバッファ領域９４が用いられる。具体的には例えば、現像直後の画像は第一ワークバッファ領域９２に格納される。ＲＧＢからＹＣｂＣｒ等の他の色空間に変換された画像は第二ワークバッファ領域９４に格納される。出力用画像は、圧縮・伸張部２８で圧縮されたフォーマットであってもよいし、圧縮されていないフォーマットでもよい。また出力用画像はカラー画像であってもよいし、モノクロ画像であってもよい。

第二生成モジュール７８は、制御部３７を第二生成手段として機能させるプログラム部品であって、色処理部２４、解像度変換部２６及び圧縮・伸張部２８と協働してＲＡＷデータから第二画像としての出力用画像を第一生成モジュール８０とは異なるアルゴリズムで精密に生成する。例えば、画像生成時の画素補間を、第一生成モジュール８０より多くの近傍画素を参照するアルゴリズムで実行してもよい。画像生成時により多くの近傍画素を参照することにより、一般に、より正確な濃淡レベルで注目画素の空乏チャネルを補間することができる。また、第二生成モジュール７８は、画素補間、濃度変換、空間情報変換等の画像処理を制御部３７だけで完結させてもよい。すなわち、第二生成モジュール７８を実行する制御部３７単独でこれらの画像処理を実行してもよい。ＡＳＩＣ、ＤＳＰ等の専用回路で構成された色処理部２４及び解像度変換部２６で実行可能なこれらの画像処理をソフトウェアにより実行することにより、処理時間は増大するものの、より高い画質を低コストで達成することが可能である。逆に、撮像直後に第一生成モジュール８０と協働してＡＳＩＣ、ＤＳＰ等で構成された色処理部２４及び解像度変換部２６がこれらの処理を実行することにより、撮像間隔を短縮することができる。

出力モジュール８２は、制御部３７を出力手段として機能させるプログラム部品であって、出力用画像と所定の撮像情報を格納した所定フォーマットのファイルを生成し、生成したファイルをリムーバブルメモリコントローラ４４と協働してリムーバブルメモリ４８に格納する。
設定モジュール７６は、制御部３７を設定手段として機能させるプログラム部品であって、操作部４０及びグラフィックコントローラ３４と協働して撮像条件及び生成条件の設定操作を受け付け、設定操作に応じて撮像条件及び生成条件を設定する。撮像条件とは、レリーズボタン５０の押下に応じて生成される出力用画像の特性を制御する条件である。撮像条件は、具体的には例えば、シャッタ速度、絞り、ホワイトバランス、シーンモード、解像度、圧縮条件等である。生成条件とは、レリーズボタン５０の押下に応じて生成されたＲＡＷデータから現像要求に応じて出力用画像を生成する際に用いられ、出力用画像の特性を制御する条件であって、レリーズボタン５０の押下後に設定される条件である。生成条件は、具体的には例えば、露出補正条件、ホワイトバランス、シーンモード、解像度、圧縮条件等である。第二生成モジュール７８及び第一生成モジュール８０は、設定モジュールが設定した生成条件又は撮像条件に基づいて出力用画像を生成する。

ＲＡＷデータの特性に依存する生成条件及び撮像条件を自動設定する場合、例えばホワイトバランス補正における各チャネルのゲインを設定する場合、設定モジュール７６が生成条件を設定するアルゴリズムと撮像条件を設定するアルゴリズムは異なっていてもよい。例えば、ホワイトバランス補正における各チャネルのゲインを生成条件として設定する場合、撮像条件として設定する場合に比べてＲＡＷデータのより多くの画素をサンプリングする。ＲＡＷデータ又は現像直後の画像のより多くの画素をサンプリングすることにより、無彩色に近い色の領域が青みがかっているか、赤みがかっているかをより正確に判定することが可能となる。また例えば、明度補正のゲインを生成条件として設定する場合、撮像条件として設定する場合に比べて現像直後の画像のより多くの画素をサンプリングする。現像直後の画像のより多くの画素をサンプリングすることにより、明度を上げるべきか下げるべきかをより正確に判定することが可能となる。また例えば、記憶色補正の対象領域を生成条件として設定する場合、撮像条件として設定する場合に比べて現像直後の画像のより多くの画素をサンプリングすることにより、補正対象領域とその領域の補正パラメータをより正確に判定することができる。また例えば、不可逆圧縮に用いる量子化テーブルを生成条件として設定する場合、現像直後の画像をサンプリングし、画像特性に応じた量子化テーブルを動的に設定することにより、圧縮による階調の抑圧を抑制することができる。ユーザの設定操作に応じて設定される生成条件及び撮像条件に基づいて自動設定されるこれらの条件は、請求項に記載の処理条件に相当する。

表示制御モジュール７４は、制御部３７を表示制御手段として機能させるプログラム部品であって、解像度変換部２６と協働してＬＣＤ３６の画面サイズに応じた解像度の表示用画像を出力用画像から生成し、ＲＡＭ３２のフレームメモリ領域９６（図５参照）に格納する。表示制御モジュール７４は、フレームメモリ領域９６に格納された表示用画像をグラフィックコントローラ３４と協働してＬＣＤ３６の画面に表示する。

図１は、上述した画像処理プログラムを制御部３７で実行するＤＳＣ１による画像処理方法を示すフローチャートである。図１に示す処理は、ＤＳＣ１が撮像モードに遷移すると起動し、ＤＳＣ１が撮像モードから撮像モード以外のモードに遷移するまで繰り返される。
ステップＳ１００では、制御部３７は、撮像条件に基づいてスルー画像をＬＣＤ３６の画面に表示する。撮像条件は、ユーザが予め行う設定操作に応じて設定される。スルー画像とは、イメージセンサ１４に結像される対象物を所定の時間間隔で撮像して得た動画系列である。

ステップＳ１０２、ステップＳ１０４では、制御部３７は、撮像制御モジュール７２を実行し、レリーズボタン５０が押されると、撮像部１５と協働し、撮像条件に基づいて対象物を撮像し、ＲＡＷデータを生成する。レリーズボタン５０を押す操作が請求項に記載の撮像操作に対応する。生成されたＲＡＷデータは、ＲＡＭ３２のＲＡＷバッファ領域９０に格納される。ＲＡＷデータが生成される際に使用される撮像条件は、例えば焦点位置、シャッタ速度、絞り、シーンモード等である。焦点位置、絞り及びシーンモードは、レンズコントローラ１１、絞りコントローラ１３等を制御する条件となる。シーンモードとは、例えば絞りを開ける人物撮像モード、絞りを絞る風景撮像モード等である。シャッタ速度は、機械的なシャッタ又は電気的なシャッタを制御する条件となる。前述したように、ＲＡＷデータは、ホワイトバランス補正、ガンマ補正等が施されたデータであってもよい。

ステップＳ１０６では、制御部３７は、第一生成モジュール８０を実行し、色処理部２４、解像度変換部２６及び圧縮・伸張部２８と協働し、撮像条件に基づいてＲＡＷデータから表示用画像及び出力用画像を高速に生成する。表示用画像は、ＬＣＤ３６の画面サイズに対応した解像度の画像である。表示用画像は、ＲＡＭ３２のフレームメモリ領域９６に格納される。出力用画像は、第一ワークバッファ領域９２又は第二ワークバッファ領域９４のいずれかに格納される。出力用画像は撮像条件に応じた解像度と圧縮率の画像である。表示用画像及び出力用画像を生成する際に用いられる撮像条件は、例えばホワイトバランス補正、コントラスト補正、カラーバランス補正、明度補正、記憶色補正、解像度変換、圧縮等の条件である。尚、ステップＳ１０６で制御部３７は、リムーバブルメモリコントローラ４４と協働し、出力用画像をリムーバブルメモリ４８に格納してもよい。

第一生成モジュール８０は、第二生成モジュール７８よりも多くの処理で色処理部２４、解像度変換部２６又は圧縮・伸張部２８の専用回路と協働することにより、第二生成モジュール７８よりも高速に出力用画像を生成することが望ましい。また、第一生成モジュール８０は、第二生成モジュール７８よりもサンプリング画素数又はサンプリング回数を低減することにより、第二生成モジュール７８よりも高速に出力用画像を生成することが望ましい。第一生成モジュール８０が第二生成モジュール７８よりも高速に出力用画像を生成することにより、連続撮像間隔を短縮することができる。

ステップＳ１０８では、制御部３７は、表示制御モジュール７４を実行し、ＬＣＤ３６の画面に表示用画像を表示する。このとき、制御部３７は図６（Ａ）に示すように、所定のボタン操作で現像要求としての生成条件の設定操作を受け付けることを案内するための案内表示１１０を表示用画像に重ねて表示する。ユーザは、撮像条件が反映された表示用画像をＬＣＤ３６の画面で生成条件を設定操作する前に確認できるため、適正な生成条件を設定することができる。

ステップＳ１１０、ステップＳ１１２、ステップＳ１１４では、制御部３７は、予め決められた時間をタイマに設定し、タイマに設定した時間が経過するまでの間、案内表示１１０で案内したボタン、例えばメニューボタン５８を押す操作を待つ。その間に、メニューボタン５８が押されると、制御部３７はステップＳ１１６の処理に進み、押されなければ制御部３７はステップＳ１２４の処理に進む。

ステップＳ１１６では、制御部３７は、生成条件の設定操作を受け付けるための生成条件設定画面をＬＣＤ３６の画面に表示する。生成条件の設定操作の選択項目は、例えば、シャープネス補正、明度補正、コントラスト補正、ホワイトバランス補正、解像度変換、シーンモード補正、カラーバランス補正及び圧縮等の条件を決定付ける項目である。制御部３７は、生成条件の設定操作の選択項目を階層構造のメニューで表示させてもよいし、一階層のメニューで表示させてもよい。階層構造の上位の選択項目をユーザに案内する生成条件設定画面は、例えば図６（Ｂ）に示すようなものである。

ステップＳ１１８、ステップＳ１２０では、制御部３７は、設定モジュール７６を実行し、生成条件の設定操作を待ち、設定操作が行われると設定操作に応じて生成条件を設定する。設定操作が行われなければ、制御部３７はステップＳ１２４の処理に進む。生成条件の設定操作は、例えば次のように受け付けられる。ユーザは、図６（Ｂ）に示す画面が表示された状態でジョグダイヤル６６を回転させることにより、シャープネス、明度、コントラスト、ホワイトバランス、解像度、シーンモード、色調整及び圧縮率のいずれかの選択項目を選択する。これらの選択項目のいずれかを選択した状態で、ユーザは所定のボタン、例えば決定ボタン６２を押すことにより選択した選択項目について生成条件を決定付ける選択項目のメニューを画面に表示させる。

このメニューは、例えば図６（Ｃ）に示すようなものである。ユーザは、図６（Ｃ）に示す画面が表示された状態でジョグダイヤル６６を回転させることにより、いずれかの選択項目を選択する。いずれかの選択項目を選択した状態で、ユーザが所定のボタン、例えば決定ボタン６２を押すと、制御部３７は選択された選択項目に応じた生成条件を設定し、図６（Ｂ）に示す画面を再び表示する。ただし、この段階では、ＲＡＷデータの特性に応じて自動設定される処理条件は設定されず、ただ最終的な処理条件を設定するためのパラメータが設定される。具体的には例えば、図６（Ｃ）に示す画面で「自動」が選択されている場合、ホワイトバランス補正における各チャネルのゲインがＲＡＷデータのサンプリング結果に応じて設定されることを決定付けるパラメータが設定される。そして実際に出力用画像を生成する段階で、このパラメータに基づいて各チャネルの最適なゲインが設定される。もちろん、このような場合であっても、制御部３７はこの段階でＲＡＷデータを参照して最終的な処理条件を自動設定してもよい。図６（Ｃ）に示した画面が表示された状態でユーザが例えばキャンセルボタン６０を押すと、制御部３７は生成条件を設定することなく、図６（Ｂ）に示す画面を再び表示する。図６（Ｂ）に示す画面が表示された状態でユーザが所定のボタン、例えば機能ボタン６４を押すと、制御部３７はステップＳ１２２の処理に進む。この操作は請求項に記載の現像要求に相当する。

ステップＳ１２２では、制御部３７は、第二生成モジュール７８を実行し、色処理部２４７、解像度変換部２６及び圧縮・伸張部２８と協働し、生成条件に基づいてＲＡＷデータから出力用画像を精密に生成する。出力用画像は、第一ワークバッファ領域９２又は第二ワークバッファ領域９４のいずれかに格納される。第二生成モジュール７８は、第一生成モジュール８０とは異なるアルゴリズムで出力用画像を精密に生成し、第一生成モジュール８０によって生成された出力用画像を自ら生成した出力用画像で上書きする。具体的には例えば、上述したようにＲＡＷデータ又は現像直後の画像についてより多くの画素をサンプリングし、より正確な処理条件を自動設定し、そのように自動設定された処理条件に基づいて出力用画像を生成する。また例えば、不可逆圧縮に用いる量子化テーブルを設定するために現像後の画像をサンプリングし、サンプリング結果に基づいて画像の特性に応じた量子化テーブルを動的に設定する。また例えば、より多くの処理を制御部３７単体で実行し、画像の特性に応じたより細かな条件分岐処理によって出力用画像を生成する。これらの処理の結果、第二生成モジュール７８によって上書きされた出力用画像は、第一生成モジュール８０によって生成された出力画像に比べて高品質な画像になる。

尚、制御部３７は生成条件に基づいて生成された出力用画像をＬＣＤ３６の画面に表示し、その画面で生成条件の設定操作のやり直し操作及び設定内容の確認操作を受け付けてもよい。これにより、ユーザは満足できる画質が得られるまで繰り返し生成条件の設定操作を繰り返し、最適な生成条件に基づいてＲＡＷデータから画像を生成することができる。また、生成条件の設定操作を受け付けることなく、撮像条件に基づいて第一生成モジュール８０が出力用画像を生成してもよい。この場合であっても、第二生成モジュール７８は、第一生成モジュール８０とは異なるアルゴリズムで出力用画像を精密に生成することにより、第一生成モジュール８０によって生成された出力画像に比べて高品質な画像を生成することができる。

ステップＳ１２４では、制御部３７は、出力モジュール８２を実行し、撮像条件又は生成条件に応じた撮像情報と出力用画像を格納した所定フォーマットのファイル、例えばＥＸＩＦフォーマットのファイルを生成し、リムーバブルメモリコントローラ４４と協働してそのファイルをリムーバブルメモリ４８を格納する。
ステップＳ１２６では、制御部３７は、ＲＡＭ３２のＲＡＷバッファ領域９０に格納されているＲＡＷデータを削除する。

以上説明した本発明の第一実施例によると、撮像操作後の操作に応じて出力用画像を生成する場合には、撮像操作に応じて出力用画像を生成する場合と異なるアルゴリズムで精密に出力用画像を生成するため、高品質な出力用画像を生成することができる。また、撮像操作に応じて出力用画像を生成する場合には、撮像操作後の操作に応じて出力用画像を生成する場合に比べて非精密に出力用画像を生成するため、高速に出力用画像を生成することができる。

（第二実施例）
図７及び図８は、本発明の第二実施例による画像処理方法を示すフローチャートである。図７及び図８に示す処理は、ＤＳＣ１の電源がオンになると起動し、ＤＳＣ１の電源がオフになるまで繰り返される。
ステップＳ２００、ステップＳ２０２、ステップＳ２０４では、制御部３７は、撮像条件に基づいてスルー画像をＬＣＤ３６の画面に表示しながらモード切替操作及び撮像操作を待つ。モード切替操作が受け付けられると、制御部３７は、ステップＳ２１４の処理に進み、ＤＳＣ１は再生モードに遷移する。レリーズボタン５０が押されて撮像操作を受け付けると、制御部３７はステップＳ２０６の処理に進む。

ステップＳ２０６では、制御部３７は、撮像制御モジュール７２を実行し、撮像部１５と協働し、撮像条件に基づいて対象物を撮像し、ＲＡＷデータを生成する。生成されたＲＡＷデータは、ＲＡＭ３２のＲＡＷバッファ領域９０に格納される。
ステップＳ２０７では、制御部３７は、撮像操作前に行われた撮像条件の設定操作によりＲＡＷ保存設定、画像保存設定のいずれが設定されているかを判定し、ＲＡＷ保存設定であればステップＳ２０８の処理に進み、画像保存設定であればステップＳ２１０の処理に進む。ＲＡＷ保存設定とは、現像処理をせずにＲＡＷデータをリムーバブルメモリに格納するための設定である。画像保存設定とは、現像処理により生成された出力用画像をリムーバブルメモリに格納するための設定である。

ステップＳ２０８では、制御部３７は、出力モジュール８２を実行し、ＲＡＷデータ及び表示用画像を格納した所定フォーマットのファイルを生成し、リムーバブルメモリコントローラ４４と協働してそのファイルをリムーバブルメモリ４８に格納する。尚、このとき制御部３７は、第一生成モジュール８０を実行して出力用画像を高速に生成し、そのファイルに出力用画像も格納してもよい。
ステップＳ２１０では、制御部３７は、第一画像生成モジュール８０を実行し、色処理部２４、解像度変換部２６及び圧縮・伸張部２８と協働し、撮像条件に基づいてＲＡＷデータから出力用画像を高速に生成する。

ステップＳ２１２では、制御部３７は、出力モジュール８０を実行し、撮像条件に応じた撮像情報、出力用画像及び表示用画像を格納した所定フォーマットのファイル、例えばＥＸＩＦフォーマットのファイルを生成し、リムーバブルメモリコントローラ４４と協働してそのファイルをリムーバブルメモリ４８を格納する。
ステップＳ２１４では、制御部３７はリムーバブルメモリ４８に格納されている画像ファイルを選択する。画像ファイルを選択する順序は、例えば撮像順、ファイル名順等である。

ステップＳ２１６では、制御部３７は、リムーバブルメモリコントローラ４４と協働し、選択された画像ファイルに格納されている表示用画像をＲＡＭ３２のフレームメモリ領域９６に格納する。
ステップＳ２１８では、制御部３７は、表示制御モジュール７４を実行し、表示用画像をグラフィックコントローラと協働してＬＣＤ３６の画面に表示する。このとき、選択されている画像ファイルにＲＡＷデータが格納されている場合、制御部３７は図６（Ａ）に示すように、所定のボタン操作で現像要求を受け付けることを案内するための案内表示１１０を表示用画像に重ねて表示する。

ステップＳ２１９、ステップＳ２２０、ステップＳ２２２では、制御部３７は、モード切替操作、次選択選択操作及び現像要求を待つ。制御部３７はモード切替操作を受け付けるとステップＳ２００の処理に進み、その結果ＤＳＣ１は撮像モードに遷移する。制御部３７は画像選択操作を受け付けるとステップＳ２１４の処理に進む。次画像選択操作は、例えばユーザがジョグダイヤル６６を回転させると受け付けられる。制御部３７は生成条件設定要求を受け付けるとステップＳ２２６の処理に進む。生成条件設定要求は、例えばユーザがメニューボタン５８を押すと受け付けられる。

ステップＳ２２６では、制御部３７は生成条件設定画面をＬＣＤ３６の画面に表示する。
ステップＳ２２８、ステップＳ２３０では、制御部は、生成条件の設定操作を待ち、設定操作が行われると設定モジュール７６を実行し、現像要求に応じて生成条件を設定する。現像要求が行われなければ、制御部３７はステップＳ２１９の処理に進む。

ステップＳ２３２では、制御部３７は、第二生成モジュール７８を実行し、色処理部２４、解像度変換部２６及び圧縮・伸張部２８と協働し、選択された画像ファイルに格納されたＲＡＷデータから生成条件に基づいて出力用画像を精密に生成する。
ステップＳ２３４では、制御部３７は、出力モジュール８０を実行し、撮像条件及び生成条件に応じた撮像情報、出力用画像及び表示用画像を格納した所定フォーマットのファイル、例えばＥＸＩＦフォーマットのファイルを生成し、リムーバブルメモリコントローラ４４と協働してそのファイルをリムーバブルメモリ４８に格納する。

以上説明した本発明の第二実施例によると、ユーザがただちに撮像操作を開始しようとするモードではない再生モードにおいてＲＡＷデータから出力用画像を生成する際には、撮像操作に応じて出力用画像を生成する場合に比べて精密に出力用画像を生成するため、高品質な出力用画像を生成することができる。

（第三実施例）
図９は、本発明の第三実施例による画像処理方法を示すフローチャートである。図７に示す処理は、ＤＳＣ１の電源がオンになると起動し、ＤＳＣ１の電源がオフになるまで繰り返される。
ステップＳ２００からステップＳ２０６までは、上述した第二実施例と同様にＲＡＷデータ及び表示用画像が生成される。

ステップＳ３０８では、制御部３７は、撮像操作前に行われた撮像条件の設定操作により高速優先設定、品質優先設定のいずれが設定されているかを判定し、高速優先設定であればステップＳ３１０の処理に進み、品質優先設定であればステップＳ３１４の処理に進む。高速優先設定とは、連続撮像間隔を短縮するためにＲＡＷデータから高速に出力用画像を生成する設定である。品質優先設定とは出力用画像の品質を上げるためにＲＡＷデータから精密に出力用画像を生成する設定である。制御部３７は、撮像操作前に行われる撮像条件の設定操作を受け付けるとき、請求項に記載の撮像前選択手段として機能する。

ステップＳ３１０では、制御部３７は、第一生成モジュール８０を実行し、色処理部２４、解像度変換部２６及び圧縮・伸張部２８と協働し、撮像条件に基づいてＲＡＷデータから出力用画像を高速に生成する。
ステップＳ３１４では、制御部３７は、第二生成モジュール７８を実行し、色処理部２４、解像度変換部２６及び圧縮・伸張部２８と協働し、撮像条件に基づいてＲＡＷデータから出力用画像を精密に生成する。

ステップＳ３１２では、制御部３７は、出力モジュール８０を実行し、撮像条件に応じた撮像情報、出力用画像及び表示用画像を格納した所定フォーマットのファイル、例えばＥＸＩＦフォーマットのファイルを生成し、リムーバブルメモリコントローラ４４と協働してそのファイルをリムーバブルメモリ４８に格納する。
以上説明した本発明の第三実施例によると、高速に出力用画像を生成するか精密に出力用画像を生成するかを撮像操作前にユーザが選択でき、選択に応じた設定に基づいて高速に出力用画像を生成することも高品質な出力用画像を生成することもできる。

尚、図６（Ｂ）及び図６（Ｃ）に示したような生成条件設定画面で高速優先設定又は品質優先設定を選択可能にしてもよい。この場合、図８のステップＳ２３２で示す処理が高速優先設定又は品質優先設定に応じて第一生成モジュール８０又は第二生成モジュール７８のいずれかにより実行されることとなる。また、制御部３７は、撮像操作後に行われる高速優先設定操作又は品質優先設定操作を受け付けるとき、請求項に記載の撮像後選択手段として機能する。

本発明の第一実施例による画像処理方法を示すフローチャート。 本発明の第一実施例によるディジタルカメラを示すブロック図。 本発明の第一実施例によるディジタルカメラを示す背面図。 本発明の第一実施例に係る画像処理プログラムを示すブロック図。 本発明の第一実施例に係るデータ構造図。 本発明の第一実施例に係る画面遷移図。 本発明の第二実施例に係る画像処理方法を示すフローチャート。 本発明の第二実施例に係る画像処理方法を示すフローチャート。 本発明の第二実施例に係る画像処理方法を示すフローチャート。

符号の説明

１５ 撮像部（撮像手段）、２４ 色処理部（第一画像生成手段、第二画像生成手段）、２６ 解像度変換部（第一画像生成手段、第二画像生成手段）、２８ 圧縮・伸張部（第一画像生成手段、第二画像生成手段）、３２ ＲＡＭ（揮発性記憶媒体）、３７ 制御部（設定手段、第一画像生成手段、第二画像生成手段、撮像前設定手段、撮像後設定手段）、４４ リムーバブルメモリコントローラ（出力手段）、４８ リムーバブルメモリ（不揮発性記憶媒体）

Claims (12)

1. 画素毎に１チャネルの濃淡レベルを表すＲＡＷデータを撮像操作に応じて生成する撮像手段と、
   前記ＲＡＷデータから第一画像を生成する第一生成手段と、
   前記第一生成手段と異なるアルゴリズムで前記第一生成手段より精密に前記ＲＡＷデータから第二画像を生成する第二生成手段と、
   を備え、
   前記第二生成手段が前記第二画像を生成するための処理条件を自動設定するために参照するデータに対応する前記撮像手段の画素数は、前記第一生成手段が前記第一画像を生成するための処理条件を自動設定するために参照するデータに対応する前記撮像手段の画素数より多いことを特徴とするディジタルカメラ。
2. 前記処理条件は、ホワイトバランス補正に用いられることを特徴とする請求項１に記載のディジタルカメラ。
3. 前記処理条件は、明度補正に用いられることを特徴とする請求項１又は２に記載のディジタルカメラ。
4. 前記処理条件は、記憶色補正に用いられることを特徴とする請求項１〜３のいずれか一項に記載のディジタルカメラ。
5. 前記処理条件は、画像圧縮に用いられることを特徴とする請求項１〜４のいずれか一項に記載のディジタルカメラ。
6. 前記第二生成手段が前記第二画像の一画素を生成するために参照するデータに対応する前記撮像手段の画素数は、前記第一生成手段が前記第一画像の一画素を生成するために参照するデータに対応する前記撮像手段の画素数より多いことを特徴とする請求項１〜５のいずれか一項に記載のディジタルカメラ。
7. 不揮発性記憶媒体にデータを格納する出力手段をさらに備え、
   前記第二生成手段は前記不揮発性記憶媒体に格納された前記ＲＡＷデータから前記撮像操作の後の現像要求に応じて前記第二画像を生成し、
   前記出力手段は、前記撮像手段が生成した前記ＲＡＷデータと前記第一生成手段が前記撮像操作に応じて生成した前記第一画像の少なくともいずれか一方を前記撮像操作に応じて前記不揮発性記憶媒体に格納し、前記第二生成手段が生成した前記第二画像を前記現像要求に応じて前記不揮発性記憶媒体に格納することを特徴とする請求項１〜６のいずれか一項に記載のディジタルカメラ。
8. 揮発性記憶媒体と、
   データを不揮発性記憶媒体に格納する出力手段と、をさらに備え、
   前記撮像手段は前記撮像操作に応じて前記ＲＡＷデータを前記揮発性記憶媒体に格納し、
   前記第一生成手段は前記揮発性記憶媒体に格納された前記ＲＡＷデータから前記撮像操作に応じて前記第一画像を生成し、
   前記第二生成手段は前記揮発性記憶媒体に格納された前記ＲＡＷデータから前記撮像操作の後の現像要求に応じて前記第二画像を生成し、
   前記出力手段は、前記第一生成手段が生成した前記第一画像を前記撮像操作に応じて前記不揮発性記憶媒体に格納し、前記第二生成手段が生成した前記第二画像を前記現像要求に応じて前記不揮発性記憶媒体に格納することを特徴とする請求項１〜６のいずれか一項に記載のディジタルカメラ。
9. 前記第二生成手段が前記第二画像を生成するための生成条件の設定操作を前記撮像操作の後に受け付け、前記設定操作に応じて前記生成条件を設定する設定手段と、
   前記不揮発性記憶媒体に格納された前記第一画像を前記生成条件の設定操作を受け付ける前に画面に表示させる表示制御手段と、
   をさらに備えることを特徴とする請求項７又は８に記載のディジタルカメラ。
10. 前記第一画像、前記第二画像のいずれを生成するかを選択するための撮像前選択操作を前記撮像操作の前に受け付け、前記撮像前選択操作に応じて前記第一生成手段、前記第二生成手段のいずれかに前記撮像操作に応じて前記一画像又は前記第二画像を生成させる撮像前選択手段をさらに備えることを特徴とする請求項１〜６のいずれか一項に記載のディジタルカメラ。
11. 前記撮像操作後の現像要求に応じて前記第一画像、前記第二画像のいずれを生成するかを選択するための撮像後選択操作を前記撮像操作の後に受け付け、前記撮像後選択操作に応じて前記第一生成手段、前記第二生成手段のいずれかに前記第一画像又は前記第二画像を生成させる撮像後選択手段をさらに備えることを特徴とする請求項１〜６のいずれか一項に記載のディジタルカメラ。
12. ディジタルカメラにより画像を生成する画像処理方法であって、
    画素毎に１チャネルの濃淡レベルを表すＲＡＷデータを撮像操作に応じて生成する撮像段階と、
    前記ＲＡＷデータから第一画像を生成する第一生成段階と、
    前記第一生成手段と異なるアルゴリズムで前記ＲＡＷデータから第二画像を前記第一生成手段より精密に生成する第二生成段階と、
    を含み、
    前記第二生成段階が前記第二画像を生成するための処理条件を自動設定するために参照するデータに対応する前記RAWデータの画素数は、前記第一生成段階が前記第一画像を生成するための処理条件を自動設定するために参照するデータに対応するRAWデータの画素数より多いことを特徴とする画像処理方法。

Images