JP4584544B2 - 画像再生装置および固体撮像装置 - Google Patents
画像再生装置および固体撮像装置 Download PDFInfo
- Publication number
- JP4584544B2 JP4584544B2 JP2003108139A JP2003108139A JP4584544B2 JP 4584544 B2 JP4584544 B2 JP 4584544B2 JP 2003108139 A JP2003108139 A JP 2003108139A JP 2003108139 A JP2003108139 A JP 2003108139A JP 4584544 B2 JP4584544 B2 JP 4584544B2
- Authority
- JP
- Japan
- Prior art keywords
- color space
- image data
- information
- image
- adjustment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Processing Of Color Television Signals (AREA)
- Color Television Image Signal Generators (AREA)
- Image Processing (AREA)
- Facsimile Image Signal Circuits (AREA)
- Color Image Communication Systems (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は画像再生装置に関し、とくに、撮影における色空間の設定と再生における色空間の設定とが異なる画像データに適用して好適な画像再生装置に関するものであり、本発明は固体撮像装置に関し、とくに、ディジタル化した生の撮像データを記録するモードを備える画像入力装置等に用いて好適なものであり、また、本発明は固体撮像システムに関するものであり、設定した色空間により生の撮像データを画像データとして記録し、この画像データを所望の色空間で再生するディジタルカメラ等に適用して好適なものである。
【０００２】
【従来の技術】
ディジタルカメラ等の画像入力装置は、撮影された画像データの記録において画像データに信号処理を施して記録する場合と、撮像された生の画素データを画像データとして直接記録する場合とがある。後者の場合、たとえば再生装置として機能するパーソナルコンピュータにおいてアプリケーションソフトウェアを実行して画像を生成している。
【０００３】
この場合における画像の生成方法においてホワイトバランスの調整は、適切な画像処理を生のデータに行う上で重要である。この調整には、再生装置のモニタにプレビュー画像として画像データを表示させ、画像を確認しながらマニュアル操作による方法と、撮影時に判断されたホワイトバランス情報に基づいて行う方法とがある。ホワイトバランス情報は、オートマチックのモードにおいて得られる場合やユーザ設定モードにおいて得られる場合等がある。
【０００４】
特開平7-231418号公報に記載の静止画画像処理装置は、撮影時にカメラが設定した絞り情報およびカメラが判断した色温度情報を再生装置に伝えるためこれらの情報を生の画素データとともに、記録する。これらの情報は、画素データに対して付加情報として記録される。静止画画像処理装置は、再生時に画像データとともに、色温度情報（ホワイトバランス情報）を読み取り、撮影時に判断されたホワイトバランスに補正して撮影時の画像を再現している。
【０００５】
【特許文献１】
特開平7-231418号公報。
【０００６】
【発明が解決しようとする課題】
ところで、ディジタルカメラにおいて現在、生の画像データ記録は、記録モードの一つに過ぎないことが多い。このような観点の延長として、生の画像データを記録するRAWモードを有するディジタルカメラにおいても、カメラ単体で完成画像の作成することが求められてきている。ディジタルカメラは、この要求に応じてカメラ単体で最適な色空間の画像が得られるように設計されている。ディジタルカメラは、この色空間に最適化されたホワイトバランスとなるように判断している。
【０００７】
再生装置は、この生の画像データ、絞り情報および色温度情報を基に撮影時の画像を再現しようとしても、ホワイトバランスの崩れた画像を生成してしまうことがある。これは、再生装置の色空間とカメラで設定している最適な色空間とが異なる場合に生じる。また、再生装置は、ユーザの希望に応じて色空間を自由に変更できる機能を備えている場合が多い。したがって、再生装置は、この変更により設定した任意の色空間で画像を再生すると、ホワイトバランスの崩れが生じる。記録されている色温度情報は、カメラの色空間だけに最適化しているからである。
【０００８】
本発明はこのような従来技術の欠点を解消し、撮影時の色温度情報だけでなく、撮影時の色空間情報をも考慮して画像を再生することができる画像再生装置を提供することを目的とする。
【０００９】
また、本発明はこのような従来技術の欠点を解消し、撮影時の色温度情報だけでなく、撮影時の色空間情報を記録することができる固体撮像装置を提供することを目的とする。
【００１０】
さらに、本発明はこのような従来技術の欠点を解消し、撮影時の色温度情報だけでなく、撮影時の色空間情報を記録し、撮影時の色空間情報をも考慮して画像を再生することができる固体撮像システムを提供することを目的とする。
【００１１】
【課題を解決するための手段】
本発明は上述の課題を解決するために、撮影により得られた画像データを再生する画像再生装置において、この装置は、撮影において設定された色空間に画像データを変換する複数の係数で表される第１の色空間情報および第１の色空間情報に対して最適な色温度情報を画像データとともに読み出す読出し手段と、第１の色空間情報に基づいて画像データを補正する第１の色空間補正手段と、色温度情報に基づいて第１の色空間補正手段からの画像データを補正する色温度補正手段と、この装置において新たに設定する色空間に前記画像データを変換する複数の係数で表される第２の色空間情報に基づいて色温度補正手段からの画像データを補正する第２の色空間補正手段とを含むことを特徴とする。
【００１２】
本発明の画像再生装置は、画像データとともに記録されている第１の色空間情報と色温度情報を読出し手段により読み出して、第１の色空間補正手段に第１の色空間情報を供給して画像データの色空間を撮影時の設定にして、色温度補正手段に供給される色温度情報を基に撮影時に設定されていた色空間の画像データに対する色温度を補正し、この補正後の画像データに第２の色空間補正手段で第２の色空間情報を基に色空間を変換することにより、再生した画像に生じるホワイトバランスの崩れを起こし難くすることができる。
【００１３】
また、本発明は上述の課題を解決するために、被写界からの入射光を電気信号に変換する複数の受光素子が配設された撮像手段に入射させ、この撮像手段から出力される撮像信号をディジタル化し、このディジタル化した生の撮像データを記録するRAWモードを有する固体撮像装置において、この装置は、撮像データを基にこの撮像データにおける色温度を調整し、この色温度の調整が良好か否かを判定し、この判定結果として得られる色温度を反映したゲイン調整情報を出力する調整判定手段と、生の撮像データとともに、撮影において使用する色空間に生の撮像データを変換する複数の係数を含む色空間情報およびゲイン調整情報を所定の記録形式に調整する記録調整手段と、調整判定手段および記録調整手段を制御するシステム制御手段とを含むことを特徴とする。
【００１４】
本発明の固体撮像装置は、システム制御手段により調整判定手段および記録調整手段を制御し、調整判定手段でゲイン調整情報を求めて記録調整手段に送り、記録調整手段でRAWモードに応じて生の撮像データ、ゲイン調整情報および撮影で設定されていた色空間情報を記録することにより、色空間情報が未設定の生の撮像データと撮影時に設定されていた色空間情報を基に求めたゲイン調整情報との関係を示す情報として色空間情報を再生時に提供することができる。
【００１５】
さらに、本発明は上述の課題を解決するために、被写界からの入射光を電気信号に変換する複数の受光素子が配設された撮像手段に入射させ、この撮像手段から出力される撮像信号をディジタル化し、このディジタル化した生の撮像データを記録するRAWモードを有する固体撮像装置の機能と、このRAWモードにより得られた撮像データを画像データとして再生する画像再生装置の機能とを含む固体撮像システムにおいて、このシステムは、撮像データを基にこの撮像データにおける色温度を調整し、この色温度の調整が良好か否かを判定し、この判定結果として得られる色温度を反映した色温度情報としてのゲイン調整情報を出力する調整判定手段と、RAWモードに応じて生の撮像データとともに、撮影において使用する色空間に生の撮像データを変換する複数の係数を含む第１の色空間情報およびゲイン調整情報を所定の記録形式に調整して、記録および再生を行う書込み/読出し手段と、第１の色空間情報に基づいて画像データを補正する第１の色空間補正手段と、ゲイン調整情報に基づいて第１の色空間補正手段からの画像データを補正する色温度補正手段と、このシステムにおいて新たな設定の色空間に画像データを変換する複数の係数で表される第２の色空間情報に基づいて色温度補正手段からの画像データを補正する第２の色空間補正手段と、調整判定手段、書込み/読出し手段、色温度補正手段、ならびに第１および第２の色空間補正手段を制御するシステム制御手段とを含むことを特徴とする。
【００１６】
本発明の固体撮像システムは、システム制御手段の制御に応じて各制御対象を動作させて、調整判定手段でゲイン調整情報を求めて書込み/読出し手段に送り、書込み/読出し手段でRAWモードに応じて生の撮像データ、ゲイン調整情報および撮影で設定されていた色空間情報を記録して、色空間情報が未設定の生の撮像データと撮影時に設定されていた色空間情報を基に求めたゲイン調整情報との関係を示す情報として色空間情報を再生時に提供し、再生に応じて書込み/読出し手段を介して第１の色空間情報と色温度情報を読み出して、第１の色空間補正手段に第１の色空間情報を供給して画像データの色空間を撮影時の設定にして、色温度補正手段に供給される色温度情報を基に撮影時に設定されていた色空間の画像データに対する色温度を補正し、この補正後の画像データに第２の色空間補正手段で第２の色空間情報を基に色空間を変換することにより、再生した画像に生じるホワイトバランスの崩れを起こし難くすることができる。
【００１７】
【発明の実施の形態】
次に添付図面を参照して本発明による固体撮像装置の実施例を詳細に説明する。
【００１８】
本実施例は、本発明の固体撮像装置をディジタルカメラ10に適用した場合である。本発明と直接関係のない部分について図示および説明を省略する。以下の説明で、信号はその現れる接続線の参照番号で指示する。
【００１９】
ディジタルカメラ10は、図２に示すように、光学系12、絞り調節機構14、撮像部16、前処理部18、信号処理部20、システム制御部22、操作部24、タイミング信号発生器26、ドライバ28、モニタ30およびストレージ32を含んでいる。
【００２０】
光学系12は、絞り調節機構14の他に、図示しないがメカニカルシャッタ、光学系レンズ、ズーム機構、およびオートフォーカス（AF: Automatic Focus)調節機構を含む。光学系12は、光学レンズを上述した各種の機構を調整して入射光を撮像部16に送る機能を有している。
【００２１】
ズーム機構は、図示しないが被写界の画角を調整する。AF調節機構は、複数の光学レンズの配置を自動的に変位調節して被写体を焦点の合った位置関係に調節する機構である。機構のそれぞれには、上述した位置に光学レンズを移動させるためモータが配設されている。これらの機構は、各モータにドライバ28からそれぞれ供給される駆動信号34に応動して動作している。
【００２２】
絞り調節機構14は、具体的に図示しないが入射光量を調節するAE（Automatic Exposure）調節機構であり、ドライバ28からの駆動信号36に応じてリング部を回転させる。リング部は、羽根を部分的に重ならせてアイリスの形状を丸く形成し、入射する光束を通すようにアイリスを形成する。このようにして絞り調節機構はアイリスの口径を変えている。絞り調節機構14は、メカニカルシャッタをレンズシャッタとして光学系レンズに組み込んでもよい。
【００２３】
メカニカルシャッタは、撮像部16に撮影のとき以外に光が照射されないように遮光するとともに、露光の開始と終了により露光時間を決める機能を有している。メカニカルシャッタには、たとえば一眼レフカメラで使用されているようなフォーカルプレン式がある。この方式は、シャッタ幕が縦または横に走り、この瞬間にできるスリットで露光を行うものである。また、上述したようにレンズシャッタ式を用いてもよい。メカニカルシャッタは、たとえば絞り調節機構14内に設けられている場合、ドライバ28から供給される駆動信号36に応じてシャッタを開閉させるようにするとよい。
【００２４】
撮像部16は、光学ローパスフィルタ38および色フィルタ40が入射光側に配され、色フィルタセグメントに対応して入射光を光電変換する固体撮像素子42を備えている。光学ローパスフィルタ38は、入射光の空間周波数をナイキスト周波数以下にするフィルタである。色フィルタ40については後段でさらに説明する。固体撮像素子42は、電荷結合素子（CCD: Charge Coupled Device)で蓄積した信号電荷を垂直転送路に読み出すトランスファゲート（TG： Transfer Gate）が配設されている。固体撮像素子42にもドライバ28から駆動信号44が供給されている。駆動信号44は、固体撮像素子42の動作モードに応じた水平駆動信号、垂直駆動信号およびOFD（Over Flow Drain)信号等である。撮像部16は、固体撮像素子42から得られたアナログ電圧信号46を前処理部18に出力する。固体撮像素子42は、CCDに限定されるものでなく、CMOS（Complementary Metal Oxide Semiconductor)でもよい。
【００２５】
色フィルタ40には、たとえば３原色RGBの色フィルタセグメントが配されている。色フィルタ40は、単板であり、色フィルタセグメントの配置パターンに応じて各色の空間周波数が決まる。配置パターンは、適切な配置を採ることによりエリアシングによるしみや偽色等の発生を抑える効果を有する。
【００２６】
前処理部18には、アナログ回路48およびA/D変換器（Analog-to-Digital Converter)50が含まれている。アナログ回路48は、図示しないが、ノイズ除去に相関二重サンプリング（Correlated Double Sampling: CDS)回路およびゲイン調整アンプ（GCA: Gain-Controlled Amplifier)を含む。CDS回路には、タイミング信号発生器26からサンプリング信号としてCDSパルス52が供給され、A/D変換器50には、変換クロック信号54が供給されている。前処理部18は、供給されるアナログ信号46に対してノイズ除去、波形整形、ディジタル化を行って得られた撮像データのすべてをディジタルデータ（画像データ）56としてデータバス58を介して信号処理部20に出力する。
【００２７】
信号処理部20は、メモリ制御部60、メインメモリ62、ディジタル処理部64、圧縮伸長処理部66、IF（InterFace)部68および表示制御部70を含む。 信号処理部20は、制御バス72を介してシステム制御部22から供給される制御信号74に応じて制御される。メモリ制御部60は、制御信号74に応じて画像データ56をメインメモリ62に対する書込み/読出しの制御やメインメモリ62に対するリフレッシュ制御等を行う機能を有する。メインメモリ62には、たとえばSRAM（Static Random Access Memory)等のメモリが用いられる。
【００２８】
ディジタル処理部64は、供給された画像データ56に対して複数のディジタル処理を施す機能を有する。本実施例におけるディジタル処理部64は、図１に示すように、リニアマトリクス（MTX：MaTriX）回路76、ホワイトバランス判定回路78、ゲイン補正回路80、ガンマ補正回路82、RGB補間回路84、YC変換回路86、輪郭補正回路88および色差MTX回路90を含んでいる。ディジタル処理部64には、メインメモリ62に一時格納された画像データ56を読み出し、データバス58を介して画像データ56が供給される。
【００２９】
リニアMTX回路76は、システム制御部22から供給される所定のリニアマトリクス係数92を基に供給される画像データ56に対するRGBの色空間を変換する演算機能を有する。所定のリニアマトリクス係数92は、一般的に企業が提案したいくつかある色空間の内、ディジタルカメラ10にて採用した一つの色空間に変換する係数である。所定のリニアマトリクス係数92には、マイクロソフト社等が提案するsRGB、Adobe社の提案するAdobe RGB、コダック社の提案するProPhoto RGB、富士写真フイルム社の提案するFinePix RGB等がある。リニアMTX回路76は、所定の色空間に変換した画像データをゲイン補正回路80に出力する。
【００３０】
ホワイトバランス判定回路78は、供給される画像データ56を基にホワイトバランスを調整し、調整したホワイトバランスゲインが適正か否かを判定する機能を有している。ここでのホワイトバランスは、ディジタルカメラ10において設定されている所定の色空間だけを最適化するように調整する。ホワイトバランス判定回路78は、最適化の範囲内にあるか否かを判定し、範囲内にあるホワイトバランスゲイン94をゲイン補正回路80に出力する。また、ホワイトバランス判定回路78は、このホワイトバランスゲイン94を再生において撮影時の状況を反映する色温度情報として記録するためデータバス58、IF部68を介してストレージ32に供給される。
【００３１】
ゲイン補正回路80は、供給される画像データに対して供給されるホワイトバランスゲイン94に基づいてゲインを補正し、ホワイトバランス調整を行う。ゲイン補正回路80は、ガンマ補正回路82に出力する。ガンマ補正回路82は、非直線性の特性に合わせる補正機能である。ガンマ補正回路82は、たとえばガンマ補正用のルックアップテーブルを含む。ガンマ補正回路82は、メインメモリ62から供給される画像データをルックアップテーブルのデータを用いて変換し、ガンマ補正する。ガンマ補正回路82は補正した画像データをRGB補間回路84に送る。
【００３２】
RGB補間回路84は、赤色（R), 緑色（G)および 青色（B)の３種類の色フィルタセグメントによるパターンに応じて供給される画像データに対して各画素の位置にて欠如している色属性の画素データを補間により生成する同時化機能を有している。RGB補間回路84は、色のパターンおよび分光感度特性も考慮に入れて補間係数を設定することが好ましい。RGB補間回路84は、RGBの三原色の画素データ96, 98, 100をYC変換回路86に送る。
【００３３】
YC変換回路86は、供給される三原色RGBの画素データ96, 98, 100を基に輝度信号（Y)102と画素データ96, 98, 100を３刺激値として用いて色信号（C)104とを生成する機能を有する。YC変換回路86は、生成した輝度信号102を輪郭補正回路88および色差MTX回路90に出力し、色信号104を色差MTX回路90に出力する。
【００３４】
輪郭補正回路88は、供給される輝度信号102に含まれる画像中のエッジ部分を強調するアパーチャ補正機能を有する。輪郭補正回路88は、輪郭の補正された輝度信号106をデータバス58に出力する。色差MTX回路90は、供給される輝度信号102と色信号104とを基に演算して色差信号108をデータバス58に出力する。この一連の処理は通常の圧縮記録モードの場合に行われる処理である。したがって、データバス58を介して輝度信号106および色差信号108は、圧縮伸長処理回路66に供給される。
【００３５】
画像データ56は、生の画像データを記録するRAWモードに対応してデータバス58を介して信号線110の前段に供給されている。信号線110の前段には、図示しないモード選択回路が配設されている。モード選択回路は、通常の圧縮記録モードで圧縮処理の施された輝度信号および色差信号と、RAWモードで生の画像データ56とが供給され、ディジタルカメラ10がどのモードを採るかに応じて信号線110に供給する画像データを選択している。したがって、信号線110には、モードに応じた画像データが供給されることになる。
【００３６】
IF部68には、信号線110を経た画像データ、色温度情報94およびリニアマトリクス係数92が供給される。図１や図２において、これらの信号は、まとめてバス112として表している。IF部68は、供給される各種のデータの入出力にともなう電気的なレベル変換だけでなく、書込み/読出しも制御する機能を有する。書込み/読出し制御は、システム制御部22から供給される制御信号74に応じて行われる。IF部68は、ストレージ32に供給されるデータの書込みとストレージからの読出しを管理している。
【００３７】
ここで、後述する画像再生装置にない、ディジタル処理部64に特徴的な回路を記録調整回路114とする。記録調整回路114は、リニアMTX回路76、ホワイトバランス判定回路78およびゲイン補正回路80を含む。
【００３８】
なお、図示しないが、ディジタル処理部64は、リニアMTX回路76の前段にオフセット補正回路およびシェーディング補正回路を配設してもよい。オフセット補正回路は、画像データ56に含まれるオフセット分を補正する機能を有し、シェーディング補正回路に出力する。シェーディング補正回路は、レンズの周辺で生じるシェーディング現象を電気的に補正する機能を有し、画像に現れるシェーディング特性の逆特性を施すことで補正を行う。
【００３９】
また、YC変換回路86の後段にノイズ低減回路を配設してもよい。ノイズ低減回路は、供給される信号に含まれるノイズ成分を抑制するフィルタ機能を有している。ノイズ低減回路は、ローパスフィルタと、メディアンフィルタとを含む。ローパスフィルタは、輝度信号として供給される画素データと色信号の画素データに対してエリアシングが生じないように広い帯域にわたって信号を通す機能を有する。メディアンフィルタは、画像におけるエッジをぼかすことなく、雑音を減らす機能を有する。
【００４０】
図２に戻って、圧縮伸長処理部66は、静止画や動画（ムービ）モードにおいて供給される画像データ（Y/C）や色差データ等にJPEG（Joint Photographic coding Experts Group）やMPEG（Moving Picture coding Experts Group)-1, MPEG-2等の規格でそれぞれ、圧縮処理を施す。圧縮伸長処理部66は、圧縮処理した画像データをIF部68に供給する。IF部68は、ストレージ32のカード記録媒体との書込み/読出しにおける電気的な特性の調整および書込み/読出し制御を行うだけでなく、タイミング調整機能も有し、処理された画像データをストレージ32に出力している。また、圧縮伸長処理部66は、ストレージ部32に記録した画像データを読み出し、IF部68、データバス58を介して供給される画像データに伸長処理を施す。この伸長処理は、圧縮処理の逆処理である。
【００４１】
表示制御部70は、ディジタル処理部64で生成した画像データや再生にともなってストレージ32から読み出した画像データに伸長処理して得られた画像データ等に対してRGB変換を行い、このRGB変換した画像データをモニタ30が表示可能な画素サイズにする機能を有している。表示制御部70は、制御バス72を介して供給される制御信号74に応じて動作する。画像表示におけるサイズは、間引き処理によって破綻のない画像を生成する。表示制御部70は、生成した画像データをモニタ30に供給する。
【００４２】
なお、信号処理部20は、図示しないが評価値算出部を含めてもよい。評価値算出部は、AE、AF、シャッタ速度、AWB（Automatic White Balance)および階調補正に用いる積算値を算出する演算機能等を備える。評価値算出部は、たとえばバス92を介して算出された積算値をパラメータとしてシステム制御部22に供給する。また、信号処理部20には、タイミング信号発生器26から図示しないタイミング信号が供給されている。このタイミング信号は、水平同期信号HD、垂直同期信号VDや各部の動作クロック等を含んでいる。
【００４３】
システム制御部22は、カメラ全体の汎用な部分やディジタル処理を行う部分を制御するマイクロコンピュータまたはCPU（Central Processing Unit）である。システム制御部22は、図示しないが、シーン判別や所定の係数を格納するEEPROMや動作手順の指示プログラムを格納するROM（Read Only Memory)等を含んでいる。システム制御部22は、たとえば供給される積算値とあらかじめ設定した所定の積算値とを比較し、この比較結果に応じて制御信号116, 118をそれぞれ、生成してタイミング信号発生器26およびドライバ28に出力する。
【００４４】
システム制御部22は、操作部24から供給されるモードや操作のトリガを指示する指示信号120を受けて、指示信号120に応じてディジタルカメラ10を静止画撮影モード、動画撮影モード、低感度モードおよび高感度モード等に設定し、図示しないレリーズシャッタボタンから撮像タイミングの報知を受けて、積算値に応じた制御信号74, 116, 118をそれぞれ、生成する。
【００４５】
また、システム制御部22は、制御信号74で信号処理部20を制御するだけでなく、たとえばディジタル処理部64にリニアマトリクス係数92を制御データとして供給している。制御信号74は、図１に示すように、ディジタル処理部64やIF部68に供給されている。とくに、ディジタル処理部64は、リニアMTX回路76、ホワイトバランス判定回路78、ゲイン補正回路80、ガンマ補正回路82、RGB補間回路84、YC変換回路86、輪郭補正回路88および色差MTX回路90が制御信号74により制御されている。
【００４６】
操作部24は、図示しないがモード選択部およびレリーズシャッタボタンを含んでいる。モード選択部は、静止画撮影モードおよび動画撮影モード、ならびに低感度モードおよび高感度モード等のようにいくつかあるモードのうち、いずれのモードにするか選択を行う。モード選択部は、選択したモードを指示信号120としてシステム制御部22に出力する。
【００４７】
レリーズシャッタボタンは、２段階のストロークを有するボタンで、第１段のストロークでディジタルカメラ10を予備撮像の段階（S1)にし、第２段のストロークで本撮像の段階（S2)にするトリガタイミングを指示信号124としてシステム制御部22に出力する。操作部24には、この他、ズーム選択スイッチおよび十字ボタンを設けてもよく、液晶表示パネルに表示される条件を選択する機能を持たせてもよい。
【００４８】
タイミング信号発生器26は、タイミング信号の動作周波数を生成する発振器（SG： Signal Generator)を含む。SGは、制御信号116に応じて発振周波数を変える機能を有している。SGは、たとえばとくに水平転送信号の生成において通常に使用する第１周波数とこの周波数の半分程度に低下させた第２周波数を発振するとよい。
【００４９】
また、タイミング信号発生器26は、基準とするクロック信号（図示せず）を基に各種のタイミング信号を生成する。タイミング信号には、水平転送信号の他、垂直同期信号、水平同期信号、フィールドシフトパルス、垂直転送信号、および電子シャッタパルス等がある。また、タイミング信号発生器26は、CDSパルス52および変換クロック信号54も生成して前処理部18に供給している。タイミング信号発生器26は、これら生成した垂直同期信号、水平同期信号、フィールドシフトパルス、垂直転送信号、水平転送信号および電子シャッタパルスを含むタイミング信号122をドライバ28に供給している。
【００５０】
ドライバ28は、供給されるタイミング信号122や制御信号118を基に駆動信号34, 36, 44を生成する駆動回路を有している。ドライバ28は、制御信号118を基に駆動信号34, 36を光学系12の光学レンズおよび絞り調節機構14にそれぞれ供給してAF調節やAE調節を行わせる。ドライバ28は、操作部24のレリーズシャッタボタンから供給される本撮像のタイミングに応動してメカニカルシャッタの開閉を行う駆動信号36を絞り調節機構14に設けたメカニカルシャッタに出力する。
【００５１】
また、ドライバ28は、タイミング信号122を基に生成した駆動信号44を撮像部16の固体撮像素子42に供給し、各受光素子の感光領域に信号電荷を露光期間中に蓄積させ、蓄積した信号電荷を前述した条件に応じた制御により読み出す。CCDの場合、撮像部16は、この信号電荷を垂直転送レジスタに読み出して、水平転送レジスタに転送させ、さらに水平転送レジスタ、出力アンプを経てアナログ電圧信号46を出力している。
【００５２】
モニタ30は、表示制御部72を経て供給される画像データを表示する。モニタ30には、一般的に液晶モニタが用いられる。液晶モニタには、液晶表示コントローラが配設されている。液晶コントローラは、画像データを基に液晶分子の並び方や電圧の印加によりスイッチング制御している。この制御により液晶モニタは、画像を表示する。モニタ30は、液晶モニタに限定されず、小型、画像の確認および電力の消費が抑えられる表示機器であれば、十分に用いることができることは言うまでもない。
【００５３】
ストレージ32は、半導体メモリ等を記録媒体として用いて、信号処理部20からディジタル処理された画像データおよび何もディジタル処理の施されない画像データのいずれかとともに、リニアマトリクス係数92および色温度情報であるホワイトバランスゲイン94を記録する。記録媒体には、光ディスクや光磁気ディスク等を用いてもよい。ストレージ32は、各記録媒体に適したピックアップやピックアップと磁気ヘッドを組み合わせて記録再生用ヘッドを用いてデータの書込み/読出しを行う。データの書込み/読出しは、システム制御部22の制御信号74に応じて行われる。
【００５４】
このようにディジタルカメラ10は、記録する画像データ、ホワイトバランスゲイン（ホワイトバランス情報）の他に、リニアマトリクス係数（色空間変換情報）を付加して記録することにより、再生において撮影時のホワイトバランスを反映できるように情報を伝えることができる。
【００５５】
ストレージ32の記録フォーマット124は、図３に示すように、ヘッダ領域126と画像データ領域128を含む。ヘッダ領域126は、何番目の画像ファイルであるかを示すファイル情報130、撮影の日時を示す撮影時情報132、ホワイトバランスゲイン134およびリニアマトリクス係数136を含む。画像データ領域128は、モードに応じたデータが供給され、格納されている。
【００５６】
次に本発明の画像再生装置を適用した再生装置200の構成について図４を用いて簡単に説明する。図４に示す再生装置200は、ストレージ202、IF部204およびディジタル処理部206を含む。また、図示していないが、再生装置200の動作を制御するシステム制御部を有することは言うまでもない。ストレージ202およびIF部204は、基本的に、ディジタルカメラ10の構成要素に同じである。同じ構成要素については、同じ説明を繰り返す煩雑さを回避するため説明を省略する。ストレージ202は、図示しない、記録媒体である半導体メモリに前述した記録フォーマット124で書き込まれたデータが読み出して、IF部204を介してディジタル処理部206に画像データ208、リニアマトリクス係数210およびホワイトバランスゲイン212を出力する。
【００５７】
ディジタル処理部206は、リニアMTX回路214, 216、ゲイン補正回路218、ガンマ補正回路220、RGB補間回路222、YC変換回路224、輪郭補正回路226および色差MTX回路228を含む。再生装置200のディジタル処理部206は、図１に示したディジタルカメラ10のディジタル処理部64と比較すると、リニアMTX回路214, 216を２つ有する点と、ホワイトバランス判定回路78がない点で異なり、ガンマ補正回路220〜色差MTX回路228の構成が同じであることがわかる。
【００５８】
ストレージ202にディジタルカメラ10にて書込みに使用した半導体メモリが装着され、この半導体メモリに記録された画像の内、RAWモードで記録された画像を再生する場合について説明する。リニアMTX回路214, 216は、マトリクス演算機能を有する回路であり、リニアMTX回路214には、リニアマトリクス係数210が供給されている。読み出したリニアマトリクス係数210は、上述した再生する半導体メモリの条件からリニアマトリクス係数92である。リニアMTX回路214は、リニアマトリクス係数92に応じて撮影時に設定した色空間のRGBに画像データを変換する。変換された画像データ230がゲイン補正回路218に供給される。
【００５９】
ところで、リニアMTX回路214を設けて、色空間の変換を行う理由は、次段のゲイン補正回路218がすでに撮影段階で設定した色空間に基づいてホワイトバランスを調整するようにホワイトバランスゲインを設定しているからである。RAWモードにおける画像データは、何等色空間の設定が考慮されていない画像データである。ここでのホワイトバランス調整は、ホワイトバランスゲイン212で調整しても、色空間が考慮されていない画像データのため、この画像データには結果的に、ホワイトバランスの崩れたゲイン調整が行われることになるからである。これを回避するため、リニアMTX回路214を設けて、RAWモードの画像データ208に対して色空間の設定を行っている。
【００６０】
ゲイン補正回路218には、半導体メモリから読み出した撮影時のホワイトバランスゲイン212が供給されている。ゲイン補正回路218は、画像データ230に対して撮影時のホワイトバランスゲイン212でゲインを調整する。リニアMTX回路214およびゲイン補正回路218を配設して処理することにより、これまでの一連の処理は、撮影時の色空間に応じた画像データにして、この画像データに対する最適なホワイトバランス調整が行われる。ゲイン補正回路218は、適切にホワイトバランス調整された画像データ232をリニアMTX回路216に供給する。
【００６１】
リニアMTX回路216は、再生装置200においてユーザが所望の色空間に変換する機能を有する。このため、リニアMTX回路216には、所望の色空間に変換するリニアマトリクス係数234が供給される。この場合、すでにホワイトバランスを最適に調整した後での色の調整であることから、ホワイトバランスの崩れは起き難い。リニアMTX回路216は、所望の色空間に変換した画像データ236をガンマ補正回路220に出力する。
【００６２】
ガンマ補正回路220〜色差MTX回路228までの処理は、ディジタルカメラ10の対応する各部の処理手順に同じである。輪郭補正回路226は、エッジ強調された輝度信号238をIF部204に送り、色差MTX回路228は、生成した色差信号240をIF部204に供給する。IF部204にはユーザが所望の色空間に変換された画像データおよびリニアマトリクス係数234をまとめたデータ242として供給される。IF部204は、ストレージ202の半導体メモリにデータ242を記録する。これにより、記録時に半導体メモリにおいて、記録フォーマットにおけるヘッダ領域126の内、リニアマトリクス係数に所望のリニアマトリクス係数234を書き込んでおくことが好ましい。再生装置200の処理はソフトウェア的にプログラムで記述し、実行させてもRAWモードにおける画像データに対して設定に基づくリニアマトリクス変換およびホワイトバランスの調整を行い、この後に所望の色空間変換を行っても、ホワイトバランスの崩れのない所望の画像を得ることができる。
【００６３】
また、構成上、再生装置200に特有な回路を再生調整回路244とする。再生調整回路244には、リニアMTX回路214, 216およびゲイン補正回路218を含む。
【００６４】
このように動作させることにより、とくに、RAWモードの画像データを再生する際にホワイトバランスの崩れが生じないように画像データを処理した上で、所望の色空間RGBに変換しているから、画像データを色空間の変換、すなわちリニアマトリクス変換しても、ホワイトバランスが保たれた所望の画像に再生することができる。
【００６５】
次にディジタルカメラ10のディジタル処理部64に再生装置200の機能を備えた構成を図５に示す。ここで、共通する構成要素には、同じ参照番号を付して説明を省略する。図５のディジタル処理部64は、図１に示した撮影処理に対応する記録調整回路114、図４に示した再生処理に対応する再生調整回路244、記録/再生切換スイッチ246ならびに記録・再生における共通処理回路248を含む。
【００６６】
記録/再生切換スイッチ246は、通常モードの記録と再生とを切り換える。記録/再生切換スイッチ246は、記録調整回路114からの出力端が端子a側に接続され、再生調整回路244からの出力端が端子b側に接続され、システム制御部22から供給される切換制御信号250に応じて供給元となる端子a, bのいずれかを選択する。切換制御信号250は、操作部24にて記録/再生のいずれかがユーザにより選択され、この選択に応じてシステム制御部22に供給される指示信号120を基に生成される。
【００６７】
共通処理回路248は、記録および再生処理において、共通処理を行うガンマ補正回路82、RGB補間回路84、YC変換回路86、輪郭補正回路88および色差MTX回路90を含む。輪郭補正回路88および色差MTX回路90は、輝度信号と色差信号とをデータバス58に供給する。このように構成することにより、回路構成を簡略化することができる。IF部68は、制御信号74の書込み/読出しの制御等に応じてデータ252のストレージ32への書込み/読出しを制御する。
【００６８】
ここで、ディジタル処理回路64の動作を簡単に説明する。RAWモードの場合、書込み/読出しにおいて画像データ56、記録調整回路114から出力される色温度情報としてのホワイトバランスゲイン94およびシステム制御部22から供給されるリニアマトリクス係数92がデータ252である。これら３つのデータがIF部68を介してストレージ32に書き込まれる。
【００６９】
また、通常の圧縮モードの場合、画像データ56は、記録調整回路114、記録/再生切換スイッチ246の端子aおよび共通処理回路248を経て輝度信号および色差信号を生成する。これにより、IF部68には、データ252として輝度信号および色差信号ならびにホワイトバランスゲイン94が供給される。
【００７０】
RAWモードの記録されている画像データを再生する場合、データ252は、生の画像データ208、ホワイトバランスゲイン212およびリニアマトリクス係数210である。とくに、再生時における記録との対応関係を考慮すると、データ252は、生の画像データ56、ホワイトバランスゲイン94、リニアマトリクス係数92に同じである。さらに、再生においてユーザは、所望の色空間に変換する場合、たとえば操作部24で任意の色空間をあらかじめ設定しておく。システム制御部22は、この設定を受けて、所望の色空間に変換するリニアマトリクス係数234をデータバス58を介して再生調整回路244に供給する。
【００７１】
再生調整回路244は、所望の色空間に変換された画像データ236を記録/再生切換スイッチ246の端子bに出力する。記録/再生切換スイッチ246が再生に応じて端子b側に切り換えられているから、共通処理回路248に供給される画像データ236は、輝度信号および色差信号に変換される。この場合も、通常の記録モードと同様に輝度信号および色差信号は、データバス58を介してストレージ32に記録される。ストレージ32には、ホワイトバランスゲインおよびユーザが設定したリニアマトリクス係数234が記録フォーマットに従って記録される。
【００７２】
これにより、記録および再生機能を備えたディジタルカメラ10においても、ホワイトバランス調整および色空間の変更を行うことによって、ホワイトバランスの崩れが生じる画像生成にともなう不具合を抑制することができる。とくに、RAWモードでの発生を抑える記録を行い、再生において記録における情報を有効に利用して画像を再生することにより、所望の色空間に変更してもホワイトバランスの崩れが生じ難い処理を行うことができ、良好な画像を再生し、記録することができる。
【００７３】
以上のように構成することにより、RAWモードにおいて生の画像データ56、ホワイトバランスゲイン94およびリニアマトリクス係数92を記録することにより、再生において生じるホワイトバランスの崩れの防止に大いに貢献することができる。
【００７４】
また、再生においてRAWモードで記録されたデータを読み出して生の画像データ208に読み出したリニアマトリクス係数210で撮像時における色空間の設定に対応した画像データ230にし、読み出したホワイトバランスゲイン212でゲイン補正して、画像データ230にホワイトバランス調整を施し、ユーザが所望の色空間にリニアマトリクス係数234によって変更することにより、所望の色空間に変更された画像にホワイトバランスの崩れを生じ難くし、良好な再生画像を提供することができる。
【００７５】
さらに、ディジタルカメラ10のディジタル処理部64において、とくにRAWモードに対して記録にて生の画像データ56およびホワイトバランスゲイン94だけでなく、リニアマトリクス係数92も記録し、再生にて生の画像データにリニアマトリクス係数92、ホワイトバランスゲイン94を順次用いて撮影時の色空間におけるホワイトバランス調整を行った上で、ユーザが所望の色空間に変更することにより、所望の色空間に変更された画像にホワイトバランスの崩れを生じ難くし、良好な再生画像を提供することができ、使い勝手が良好なシステムを提供することができる。
【００７６】
【発明の効果】
このように本発明の画像再生装置によれば、RAWモードで記録されたデータとして読出し手段にて生の撮像データである画像データ、色温度情報および第１の色空間情報を読み出し、第１の色空間補正手段で第１の色空間情報に応じて撮像時における色空間の設定に対応した画像データにし、色温度補正手段で色温度情報を基にゲイン補正して、供給された画像データにホワイトバランス調整を施し、第２の色空間補正手段でユーザが所望の色空間である第２の色空間情報に応じてホワイトバランス調整後の画像データを変更することにより、所望の色空間に変更された画像にホワイトバランスの崩れを生じ難くし、良好な再生画像を提供することができる。
【００７７】
また、本発明の固体撮像装置によれば、調整判定手段で色温度情報としてのゲイン調整情報を求め、RAWモードにおいて記録調整手段で生の画像データ、ゲイン調整情報および撮影で設定されていた色空間情報を記録することにより、再生において生じるホワイトバランスの崩れの防止に大いに貢献することができる。
【００７８】
さらに、本発明の固体撮像システムによれば、システム制御手段の制御に応じて各制御対象を動作させて、調整判定手段でゲイン調整情報を求めて書込み/読出し手段に送り、書込み/読出し手段でRAWモードに応じて生の撮像データ、ゲイン調整情報および撮影で設定されていた色空間情報を記録して、色空間情報を再生時に提供することができ、再生に応じて書込み/読出し手段を介して第１の色空間情報と色温度情報を読み出して、第１の色空間補正手段で第１の色空間に補正して、色温度補正手段で補正した画像データに色温度を補正して、撮影時に設定されていた色空間および色温度情報に対応した画像データにし、この補正後の画像データに第２の色空間補正手段で第２の色空間情報を基に色空間を変換して、再生した画像に生じるホワイトバランスの崩れを起こし難くすることにより、所望の色空間への画像変換を行っても得られる画像の色バランスをこれまで以上に確実に行うことができ、使い勝手が良好なシステムを提供することができる。
【図面の簡単な説明】
【図１】本発明の固体撮像装置を適用したディジタルカメラにおけるディジタル処理部の概略的な構成および記録に関する構成を示すブロック図である。
【図２】本発明の固体撮像装置を適用したディジタルカメラの概略的な構成を示すブロック図である。
【図３】図２のストレージに記録するデータのフォーマットを説明する図である。
【図４】本発明の画像再生装置を適用した再生装置の概略的な構成を示すブロック図である。
【図５】図２および図４のディジタル処理部の機能を併せ持つ最適な構成および記録に関する構成を示すブロック図である。
【符号の説明】
10 ディジタルカメラ
12 光学系
14 絞り調節機構
16 撮像部
18 前処理部
20 信号処理部
22 システム制御部
24 操作部
26 タイミング信号発生器
28 ドライバ
30 モニタ
32 ストレージ
64 ディジタル処理部
76 リニアマトリクス回路
78 ホワイトバランス判定回路
80 ゲイン補正回路
【発明の属する技術分野】
本発明は画像再生装置に関し、とくに、撮影における色空間の設定と再生における色空間の設定とが異なる画像データに適用して好適な画像再生装置に関するものであり、本発明は固体撮像装置に関し、とくに、ディジタル化した生の撮像データを記録するモードを備える画像入力装置等に用いて好適なものであり、また、本発明は固体撮像システムに関するものであり、設定した色空間により生の撮像データを画像データとして記録し、この画像データを所望の色空間で再生するディジタルカメラ等に適用して好適なものである。
【０００２】
【従来の技術】
ディジタルカメラ等の画像入力装置は、撮影された画像データの記録において画像データに信号処理を施して記録する場合と、撮像された生の画素データを画像データとして直接記録する場合とがある。後者の場合、たとえば再生装置として機能するパーソナルコンピュータにおいてアプリケーションソフトウェアを実行して画像を生成している。
【０００３】
この場合における画像の生成方法においてホワイトバランスの調整は、適切な画像処理を生のデータに行う上で重要である。この調整には、再生装置のモニタにプレビュー画像として画像データを表示させ、画像を確認しながらマニュアル操作による方法と、撮影時に判断されたホワイトバランス情報に基づいて行う方法とがある。ホワイトバランス情報は、オートマチックのモードにおいて得られる場合やユーザ設定モードにおいて得られる場合等がある。
【０００４】
特開平7-231418号公報に記載の静止画画像処理装置は、撮影時にカメラが設定した絞り情報およびカメラが判断した色温度情報を再生装置に伝えるためこれらの情報を生の画素データとともに、記録する。これらの情報は、画素データに対して付加情報として記録される。静止画画像処理装置は、再生時に画像データとともに、色温度情報（ホワイトバランス情報）を読み取り、撮影時に判断されたホワイトバランスに補正して撮影時の画像を再現している。
【０００５】
【特許文献１】
特開平7-231418号公報。
【０００６】
【発明が解決しようとする課題】
ところで、ディジタルカメラにおいて現在、生の画像データ記録は、記録モードの一つに過ぎないことが多い。このような観点の延長として、生の画像データを記録するRAWモードを有するディジタルカメラにおいても、カメラ単体で完成画像の作成することが求められてきている。ディジタルカメラは、この要求に応じてカメラ単体で最適な色空間の画像が得られるように設計されている。ディジタルカメラは、この色空間に最適化されたホワイトバランスとなるように判断している。
【０００７】
再生装置は、この生の画像データ、絞り情報および色温度情報を基に撮影時の画像を再現しようとしても、ホワイトバランスの崩れた画像を生成してしまうことがある。これは、再生装置の色空間とカメラで設定している最適な色空間とが異なる場合に生じる。また、再生装置は、ユーザの希望に応じて色空間を自由に変更できる機能を備えている場合が多い。したがって、再生装置は、この変更により設定した任意の色空間で画像を再生すると、ホワイトバランスの崩れが生じる。記録されている色温度情報は、カメラの色空間だけに最適化しているからである。
【０００８】
本発明はこのような従来技術の欠点を解消し、撮影時の色温度情報だけでなく、撮影時の色空間情報をも考慮して画像を再生することができる画像再生装置を提供することを目的とする。
【０００９】
また、本発明はこのような従来技術の欠点を解消し、撮影時の色温度情報だけでなく、撮影時の色空間情報を記録することができる固体撮像装置を提供することを目的とする。
【００１０】
さらに、本発明はこのような従来技術の欠点を解消し、撮影時の色温度情報だけでなく、撮影時の色空間情報を記録し、撮影時の色空間情報をも考慮して画像を再生することができる固体撮像システムを提供することを目的とする。
【００１１】
【課題を解決するための手段】
本発明は上述の課題を解決するために、撮影により得られた画像データを再生する画像再生装置において、この装置は、撮影において設定された色空間に画像データを変換する複数の係数で表される第１の色空間情報および第１の色空間情報に対して最適な色温度情報を画像データとともに読み出す読出し手段と、第１の色空間情報に基づいて画像データを補正する第１の色空間補正手段と、色温度情報に基づいて第１の色空間補正手段からの画像データを補正する色温度補正手段と、この装置において新たに設定する色空間に前記画像データを変換する複数の係数で表される第２の色空間情報に基づいて色温度補正手段からの画像データを補正する第２の色空間補正手段とを含むことを特徴とする。
【００１２】
本発明の画像再生装置は、画像データとともに記録されている第１の色空間情報と色温度情報を読出し手段により読み出して、第１の色空間補正手段に第１の色空間情報を供給して画像データの色空間を撮影時の設定にして、色温度補正手段に供給される色温度情報を基に撮影時に設定されていた色空間の画像データに対する色温度を補正し、この補正後の画像データに第２の色空間補正手段で第２の色空間情報を基に色空間を変換することにより、再生した画像に生じるホワイトバランスの崩れを起こし難くすることができる。
【００１３】
また、本発明は上述の課題を解決するために、被写界からの入射光を電気信号に変換する複数の受光素子が配設された撮像手段に入射させ、この撮像手段から出力される撮像信号をディジタル化し、このディジタル化した生の撮像データを記録するRAWモードを有する固体撮像装置において、この装置は、撮像データを基にこの撮像データにおける色温度を調整し、この色温度の調整が良好か否かを判定し、この判定結果として得られる色温度を反映したゲイン調整情報を出力する調整判定手段と、生の撮像データとともに、撮影において使用する色空間に生の撮像データを変換する複数の係数を含む色空間情報およびゲイン調整情報を所定の記録形式に調整する記録調整手段と、調整判定手段および記録調整手段を制御するシステム制御手段とを含むことを特徴とする。
【００１４】
本発明の固体撮像装置は、システム制御手段により調整判定手段および記録調整手段を制御し、調整判定手段でゲイン調整情報を求めて記録調整手段に送り、記録調整手段でRAWモードに応じて生の撮像データ、ゲイン調整情報および撮影で設定されていた色空間情報を記録することにより、色空間情報が未設定の生の撮像データと撮影時に設定されていた色空間情報を基に求めたゲイン調整情報との関係を示す情報として色空間情報を再生時に提供することができる。
【００１５】
さらに、本発明は上述の課題を解決するために、被写界からの入射光を電気信号に変換する複数の受光素子が配設された撮像手段に入射させ、この撮像手段から出力される撮像信号をディジタル化し、このディジタル化した生の撮像データを記録するRAWモードを有する固体撮像装置の機能と、このRAWモードにより得られた撮像データを画像データとして再生する画像再生装置の機能とを含む固体撮像システムにおいて、このシステムは、撮像データを基にこの撮像データにおける色温度を調整し、この色温度の調整が良好か否かを判定し、この判定結果として得られる色温度を反映した色温度情報としてのゲイン調整情報を出力する調整判定手段と、RAWモードに応じて生の撮像データとともに、撮影において使用する色空間に生の撮像データを変換する複数の係数を含む第１の色空間情報およびゲイン調整情報を所定の記録形式に調整して、記録および再生を行う書込み/読出し手段と、第１の色空間情報に基づいて画像データを補正する第１の色空間補正手段と、ゲイン調整情報に基づいて第１の色空間補正手段からの画像データを補正する色温度補正手段と、このシステムにおいて新たな設定の色空間に画像データを変換する複数の係数で表される第２の色空間情報に基づいて色温度補正手段からの画像データを補正する第２の色空間補正手段と、調整判定手段、書込み/読出し手段、色温度補正手段、ならびに第１および第２の色空間補正手段を制御するシステム制御手段とを含むことを特徴とする。
【００１６】
本発明の固体撮像システムは、システム制御手段の制御に応じて各制御対象を動作させて、調整判定手段でゲイン調整情報を求めて書込み/読出し手段に送り、書込み/読出し手段でRAWモードに応じて生の撮像データ、ゲイン調整情報および撮影で設定されていた色空間情報を記録して、色空間情報が未設定の生の撮像データと撮影時に設定されていた色空間情報を基に求めたゲイン調整情報との関係を示す情報として色空間情報を再生時に提供し、再生に応じて書込み/読出し手段を介して第１の色空間情報と色温度情報を読み出して、第１の色空間補正手段に第１の色空間情報を供給して画像データの色空間を撮影時の設定にして、色温度補正手段に供給される色温度情報を基に撮影時に設定されていた色空間の画像データに対する色温度を補正し、この補正後の画像データに第２の色空間補正手段で第２の色空間情報を基に色空間を変換することにより、再生した画像に生じるホワイトバランスの崩れを起こし難くすることができる。
【００１７】
【発明の実施の形態】
次に添付図面を参照して本発明による固体撮像装置の実施例を詳細に説明する。
【００１８】
本実施例は、本発明の固体撮像装置をディジタルカメラ10に適用した場合である。本発明と直接関係のない部分について図示および説明を省略する。以下の説明で、信号はその現れる接続線の参照番号で指示する。
【００１９】
ディジタルカメラ10は、図２に示すように、光学系12、絞り調節機構14、撮像部16、前処理部18、信号処理部20、システム制御部22、操作部24、タイミング信号発生器26、ドライバ28、モニタ30およびストレージ32を含んでいる。
【００２０】
光学系12は、絞り調節機構14の他に、図示しないがメカニカルシャッタ、光学系レンズ、ズーム機構、およびオートフォーカス（AF: Automatic Focus)調節機構を含む。光学系12は、光学レンズを上述した各種の機構を調整して入射光を撮像部16に送る機能を有している。
【００２１】
ズーム機構は、図示しないが被写界の画角を調整する。AF調節機構は、複数の光学レンズの配置を自動的に変位調節して被写体を焦点の合った位置関係に調節する機構である。機構のそれぞれには、上述した位置に光学レンズを移動させるためモータが配設されている。これらの機構は、各モータにドライバ28からそれぞれ供給される駆動信号34に応動して動作している。
【００２２】
絞り調節機構14は、具体的に図示しないが入射光量を調節するAE（Automatic Exposure）調節機構であり、ドライバ28からの駆動信号36に応じてリング部を回転させる。リング部は、羽根を部分的に重ならせてアイリスの形状を丸く形成し、入射する光束を通すようにアイリスを形成する。このようにして絞り調節機構はアイリスの口径を変えている。絞り調節機構14は、メカニカルシャッタをレンズシャッタとして光学系レンズに組み込んでもよい。
【００２３】
メカニカルシャッタは、撮像部16に撮影のとき以外に光が照射されないように遮光するとともに、露光の開始と終了により露光時間を決める機能を有している。メカニカルシャッタには、たとえば一眼レフカメラで使用されているようなフォーカルプレン式がある。この方式は、シャッタ幕が縦または横に走り、この瞬間にできるスリットで露光を行うものである。また、上述したようにレンズシャッタ式を用いてもよい。メカニカルシャッタは、たとえば絞り調節機構14内に設けられている場合、ドライバ28から供給される駆動信号36に応じてシャッタを開閉させるようにするとよい。
【００２４】
撮像部16は、光学ローパスフィルタ38および色フィルタ40が入射光側に配され、色フィルタセグメントに対応して入射光を光電変換する固体撮像素子42を備えている。光学ローパスフィルタ38は、入射光の空間周波数をナイキスト周波数以下にするフィルタである。色フィルタ40については後段でさらに説明する。固体撮像素子42は、電荷結合素子（CCD: Charge Coupled Device)で蓄積した信号電荷を垂直転送路に読み出すトランスファゲート（TG： Transfer Gate）が配設されている。固体撮像素子42にもドライバ28から駆動信号44が供給されている。駆動信号44は、固体撮像素子42の動作モードに応じた水平駆動信号、垂直駆動信号およびOFD（Over Flow Drain)信号等である。撮像部16は、固体撮像素子42から得られたアナログ電圧信号46を前処理部18に出力する。固体撮像素子42は、CCDに限定されるものでなく、CMOS（Complementary Metal Oxide Semiconductor)でもよい。
【００２５】
色フィルタ40には、たとえば３原色RGBの色フィルタセグメントが配されている。色フィルタ40は、単板であり、色フィルタセグメントの配置パターンに応じて各色の空間周波数が決まる。配置パターンは、適切な配置を採ることによりエリアシングによるしみや偽色等の発生を抑える効果を有する。
【００２６】
前処理部18には、アナログ回路48およびA/D変換器（Analog-to-Digital Converter)50が含まれている。アナログ回路48は、図示しないが、ノイズ除去に相関二重サンプリング（Correlated Double Sampling: CDS)回路およびゲイン調整アンプ（GCA: Gain-Controlled Amplifier)を含む。CDS回路には、タイミング信号発生器26からサンプリング信号としてCDSパルス52が供給され、A/D変換器50には、変換クロック信号54が供給されている。前処理部18は、供給されるアナログ信号46に対してノイズ除去、波形整形、ディジタル化を行って得られた撮像データのすべてをディジタルデータ（画像データ）56としてデータバス58を介して信号処理部20に出力する。
【００２７】
信号処理部20は、メモリ制御部60、メインメモリ62、ディジタル処理部64、圧縮伸長処理部66、IF（InterFace)部68および表示制御部70を含む。 信号処理部20は、制御バス72を介してシステム制御部22から供給される制御信号74に応じて制御される。メモリ制御部60は、制御信号74に応じて画像データ56をメインメモリ62に対する書込み/読出しの制御やメインメモリ62に対するリフレッシュ制御等を行う機能を有する。メインメモリ62には、たとえばSRAM（Static Random Access Memory)等のメモリが用いられる。
【００２８】
ディジタル処理部64は、供給された画像データ56に対して複数のディジタル処理を施す機能を有する。本実施例におけるディジタル処理部64は、図１に示すように、リニアマトリクス（MTX：MaTriX）回路76、ホワイトバランス判定回路78、ゲイン補正回路80、ガンマ補正回路82、RGB補間回路84、YC変換回路86、輪郭補正回路88および色差MTX回路90を含んでいる。ディジタル処理部64には、メインメモリ62に一時格納された画像データ56を読み出し、データバス58を介して画像データ56が供給される。
【００２９】
リニアMTX回路76は、システム制御部22から供給される所定のリニアマトリクス係数92を基に供給される画像データ56に対するRGBの色空間を変換する演算機能を有する。所定のリニアマトリクス係数92は、一般的に企業が提案したいくつかある色空間の内、ディジタルカメラ10にて採用した一つの色空間に変換する係数である。所定のリニアマトリクス係数92には、マイクロソフト社等が提案するsRGB、Adobe社の提案するAdobe RGB、コダック社の提案するProPhoto RGB、富士写真フイルム社の提案するFinePix RGB等がある。リニアMTX回路76は、所定の色空間に変換した画像データをゲイン補正回路80に出力する。
【００３０】
ホワイトバランス判定回路78は、供給される画像データ56を基にホワイトバランスを調整し、調整したホワイトバランスゲインが適正か否かを判定する機能を有している。ここでのホワイトバランスは、ディジタルカメラ10において設定されている所定の色空間だけを最適化するように調整する。ホワイトバランス判定回路78は、最適化の範囲内にあるか否かを判定し、範囲内にあるホワイトバランスゲイン94をゲイン補正回路80に出力する。また、ホワイトバランス判定回路78は、このホワイトバランスゲイン94を再生において撮影時の状況を反映する色温度情報として記録するためデータバス58、IF部68を介してストレージ32に供給される。
【００３１】
ゲイン補正回路80は、供給される画像データに対して供給されるホワイトバランスゲイン94に基づいてゲインを補正し、ホワイトバランス調整を行う。ゲイン補正回路80は、ガンマ補正回路82に出力する。ガンマ補正回路82は、非直線性の特性に合わせる補正機能である。ガンマ補正回路82は、たとえばガンマ補正用のルックアップテーブルを含む。ガンマ補正回路82は、メインメモリ62から供給される画像データをルックアップテーブルのデータを用いて変換し、ガンマ補正する。ガンマ補正回路82は補正した画像データをRGB補間回路84に送る。
【００３２】
RGB補間回路84は、赤色（R), 緑色（G)および 青色（B)の３種類の色フィルタセグメントによるパターンに応じて供給される画像データに対して各画素の位置にて欠如している色属性の画素データを補間により生成する同時化機能を有している。RGB補間回路84は、色のパターンおよび分光感度特性も考慮に入れて補間係数を設定することが好ましい。RGB補間回路84は、RGBの三原色の画素データ96, 98, 100をYC変換回路86に送る。
【００３３】
YC変換回路86は、供給される三原色RGBの画素データ96, 98, 100を基に輝度信号（Y)102と画素データ96, 98, 100を３刺激値として用いて色信号（C)104とを生成する機能を有する。YC変換回路86は、生成した輝度信号102を輪郭補正回路88および色差MTX回路90に出力し、色信号104を色差MTX回路90に出力する。
【００３４】
輪郭補正回路88は、供給される輝度信号102に含まれる画像中のエッジ部分を強調するアパーチャ補正機能を有する。輪郭補正回路88は、輪郭の補正された輝度信号106をデータバス58に出力する。色差MTX回路90は、供給される輝度信号102と色信号104とを基に演算して色差信号108をデータバス58に出力する。この一連の処理は通常の圧縮記録モードの場合に行われる処理である。したがって、データバス58を介して輝度信号106および色差信号108は、圧縮伸長処理回路66に供給される。
【００３５】
画像データ56は、生の画像データを記録するRAWモードに対応してデータバス58を介して信号線110の前段に供給されている。信号線110の前段には、図示しないモード選択回路が配設されている。モード選択回路は、通常の圧縮記録モードで圧縮処理の施された輝度信号および色差信号と、RAWモードで生の画像データ56とが供給され、ディジタルカメラ10がどのモードを採るかに応じて信号線110に供給する画像データを選択している。したがって、信号線110には、モードに応じた画像データが供給されることになる。
【００３６】
IF部68には、信号線110を経た画像データ、色温度情報94およびリニアマトリクス係数92が供給される。図１や図２において、これらの信号は、まとめてバス112として表している。IF部68は、供給される各種のデータの入出力にともなう電気的なレベル変換だけでなく、書込み/読出しも制御する機能を有する。書込み/読出し制御は、システム制御部22から供給される制御信号74に応じて行われる。IF部68は、ストレージ32に供給されるデータの書込みとストレージからの読出しを管理している。
【００３７】
ここで、後述する画像再生装置にない、ディジタル処理部64に特徴的な回路を記録調整回路114とする。記録調整回路114は、リニアMTX回路76、ホワイトバランス判定回路78およびゲイン補正回路80を含む。
【００３８】
なお、図示しないが、ディジタル処理部64は、リニアMTX回路76の前段にオフセット補正回路およびシェーディング補正回路を配設してもよい。オフセット補正回路は、画像データ56に含まれるオフセット分を補正する機能を有し、シェーディング補正回路に出力する。シェーディング補正回路は、レンズの周辺で生じるシェーディング現象を電気的に補正する機能を有し、画像に現れるシェーディング特性の逆特性を施すことで補正を行う。
【００３９】
また、YC変換回路86の後段にノイズ低減回路を配設してもよい。ノイズ低減回路は、供給される信号に含まれるノイズ成分を抑制するフィルタ機能を有している。ノイズ低減回路は、ローパスフィルタと、メディアンフィルタとを含む。ローパスフィルタは、輝度信号として供給される画素データと色信号の画素データに対してエリアシングが生じないように広い帯域にわたって信号を通す機能を有する。メディアンフィルタは、画像におけるエッジをぼかすことなく、雑音を減らす機能を有する。
【００４０】
図２に戻って、圧縮伸長処理部66は、静止画や動画（ムービ）モードにおいて供給される画像データ（Y/C）や色差データ等にJPEG（Joint Photographic coding Experts Group）やMPEG（Moving Picture coding Experts Group)-1, MPEG-2等の規格でそれぞれ、圧縮処理を施す。圧縮伸長処理部66は、圧縮処理した画像データをIF部68に供給する。IF部68は、ストレージ32のカード記録媒体との書込み/読出しにおける電気的な特性の調整および書込み/読出し制御を行うだけでなく、タイミング調整機能も有し、処理された画像データをストレージ32に出力している。また、圧縮伸長処理部66は、ストレージ部32に記録した画像データを読み出し、IF部68、データバス58を介して供給される画像データに伸長処理を施す。この伸長処理は、圧縮処理の逆処理である。
【００４１】
表示制御部70は、ディジタル処理部64で生成した画像データや再生にともなってストレージ32から読み出した画像データに伸長処理して得られた画像データ等に対してRGB変換を行い、このRGB変換した画像データをモニタ30が表示可能な画素サイズにする機能を有している。表示制御部70は、制御バス72を介して供給される制御信号74に応じて動作する。画像表示におけるサイズは、間引き処理によって破綻のない画像を生成する。表示制御部70は、生成した画像データをモニタ30に供給する。
【００４２】
なお、信号処理部20は、図示しないが評価値算出部を含めてもよい。評価値算出部は、AE、AF、シャッタ速度、AWB（Automatic White Balance)および階調補正に用いる積算値を算出する演算機能等を備える。評価値算出部は、たとえばバス92を介して算出された積算値をパラメータとしてシステム制御部22に供給する。また、信号処理部20には、タイミング信号発生器26から図示しないタイミング信号が供給されている。このタイミング信号は、水平同期信号HD、垂直同期信号VDや各部の動作クロック等を含んでいる。
【００４３】
システム制御部22は、カメラ全体の汎用な部分やディジタル処理を行う部分を制御するマイクロコンピュータまたはCPU（Central Processing Unit）である。システム制御部22は、図示しないが、シーン判別や所定の係数を格納するEEPROMや動作手順の指示プログラムを格納するROM（Read Only Memory)等を含んでいる。システム制御部22は、たとえば供給される積算値とあらかじめ設定した所定の積算値とを比較し、この比較結果に応じて制御信号116, 118をそれぞれ、生成してタイミング信号発生器26およびドライバ28に出力する。
【００４４】
システム制御部22は、操作部24から供給されるモードや操作のトリガを指示する指示信号120を受けて、指示信号120に応じてディジタルカメラ10を静止画撮影モード、動画撮影モード、低感度モードおよび高感度モード等に設定し、図示しないレリーズシャッタボタンから撮像タイミングの報知を受けて、積算値に応じた制御信号74, 116, 118をそれぞれ、生成する。
【００４５】
また、システム制御部22は、制御信号74で信号処理部20を制御するだけでなく、たとえばディジタル処理部64にリニアマトリクス係数92を制御データとして供給している。制御信号74は、図１に示すように、ディジタル処理部64やIF部68に供給されている。とくに、ディジタル処理部64は、リニアMTX回路76、ホワイトバランス判定回路78、ゲイン補正回路80、ガンマ補正回路82、RGB補間回路84、YC変換回路86、輪郭補正回路88および色差MTX回路90が制御信号74により制御されている。
【００４６】
操作部24は、図示しないがモード選択部およびレリーズシャッタボタンを含んでいる。モード選択部は、静止画撮影モードおよび動画撮影モード、ならびに低感度モードおよび高感度モード等のようにいくつかあるモードのうち、いずれのモードにするか選択を行う。モード選択部は、選択したモードを指示信号120としてシステム制御部22に出力する。
【００４７】
レリーズシャッタボタンは、２段階のストロークを有するボタンで、第１段のストロークでディジタルカメラ10を予備撮像の段階（S1)にし、第２段のストロークで本撮像の段階（S2)にするトリガタイミングを指示信号124としてシステム制御部22に出力する。操作部24には、この他、ズーム選択スイッチおよび十字ボタンを設けてもよく、液晶表示パネルに表示される条件を選択する機能を持たせてもよい。
【００４８】
タイミング信号発生器26は、タイミング信号の動作周波数を生成する発振器（SG： Signal Generator)を含む。SGは、制御信号116に応じて発振周波数を変える機能を有している。SGは、たとえばとくに水平転送信号の生成において通常に使用する第１周波数とこの周波数の半分程度に低下させた第２周波数を発振するとよい。
【００４９】
また、タイミング信号発生器26は、基準とするクロック信号（図示せず）を基に各種のタイミング信号を生成する。タイミング信号には、水平転送信号の他、垂直同期信号、水平同期信号、フィールドシフトパルス、垂直転送信号、および電子シャッタパルス等がある。また、タイミング信号発生器26は、CDSパルス52および変換クロック信号54も生成して前処理部18に供給している。タイミング信号発生器26は、これら生成した垂直同期信号、水平同期信号、フィールドシフトパルス、垂直転送信号、水平転送信号および電子シャッタパルスを含むタイミング信号122をドライバ28に供給している。
【００５０】
ドライバ28は、供給されるタイミング信号122や制御信号118を基に駆動信号34, 36, 44を生成する駆動回路を有している。ドライバ28は、制御信号118を基に駆動信号34, 36を光学系12の光学レンズおよび絞り調節機構14にそれぞれ供給してAF調節やAE調節を行わせる。ドライバ28は、操作部24のレリーズシャッタボタンから供給される本撮像のタイミングに応動してメカニカルシャッタの開閉を行う駆動信号36を絞り調節機構14に設けたメカニカルシャッタに出力する。
【００５１】
また、ドライバ28は、タイミング信号122を基に生成した駆動信号44を撮像部16の固体撮像素子42に供給し、各受光素子の感光領域に信号電荷を露光期間中に蓄積させ、蓄積した信号電荷を前述した条件に応じた制御により読み出す。CCDの場合、撮像部16は、この信号電荷を垂直転送レジスタに読み出して、水平転送レジスタに転送させ、さらに水平転送レジスタ、出力アンプを経てアナログ電圧信号46を出力している。
【００５２】
モニタ30は、表示制御部72を経て供給される画像データを表示する。モニタ30には、一般的に液晶モニタが用いられる。液晶モニタには、液晶表示コントローラが配設されている。液晶コントローラは、画像データを基に液晶分子の並び方や電圧の印加によりスイッチング制御している。この制御により液晶モニタは、画像を表示する。モニタ30は、液晶モニタに限定されず、小型、画像の確認および電力の消費が抑えられる表示機器であれば、十分に用いることができることは言うまでもない。
【００５３】
ストレージ32は、半導体メモリ等を記録媒体として用いて、信号処理部20からディジタル処理された画像データおよび何もディジタル処理の施されない画像データのいずれかとともに、リニアマトリクス係数92および色温度情報であるホワイトバランスゲイン94を記録する。記録媒体には、光ディスクや光磁気ディスク等を用いてもよい。ストレージ32は、各記録媒体に適したピックアップやピックアップと磁気ヘッドを組み合わせて記録再生用ヘッドを用いてデータの書込み/読出しを行う。データの書込み/読出しは、システム制御部22の制御信号74に応じて行われる。
【００５４】
このようにディジタルカメラ10は、記録する画像データ、ホワイトバランスゲイン（ホワイトバランス情報）の他に、リニアマトリクス係数（色空間変換情報）を付加して記録することにより、再生において撮影時のホワイトバランスを反映できるように情報を伝えることができる。
【００５５】
ストレージ32の記録フォーマット124は、図３に示すように、ヘッダ領域126と画像データ領域128を含む。ヘッダ領域126は、何番目の画像ファイルであるかを示すファイル情報130、撮影の日時を示す撮影時情報132、ホワイトバランスゲイン134およびリニアマトリクス係数136を含む。画像データ領域128は、モードに応じたデータが供給され、格納されている。
【００５６】
次に本発明の画像再生装置を適用した再生装置200の構成について図４を用いて簡単に説明する。図４に示す再生装置200は、ストレージ202、IF部204およびディジタル処理部206を含む。また、図示していないが、再生装置200の動作を制御するシステム制御部を有することは言うまでもない。ストレージ202およびIF部204は、基本的に、ディジタルカメラ10の構成要素に同じである。同じ構成要素については、同じ説明を繰り返す煩雑さを回避するため説明を省略する。ストレージ202は、図示しない、記録媒体である半導体メモリに前述した記録フォーマット124で書き込まれたデータが読み出して、IF部204を介してディジタル処理部206に画像データ208、リニアマトリクス係数210およびホワイトバランスゲイン212を出力する。
【００５７】
ディジタル処理部206は、リニアMTX回路214, 216、ゲイン補正回路218、ガンマ補正回路220、RGB補間回路222、YC変換回路224、輪郭補正回路226および色差MTX回路228を含む。再生装置200のディジタル処理部206は、図１に示したディジタルカメラ10のディジタル処理部64と比較すると、リニアMTX回路214, 216を２つ有する点と、ホワイトバランス判定回路78がない点で異なり、ガンマ補正回路220〜色差MTX回路228の構成が同じであることがわかる。
【００５８】
ストレージ202にディジタルカメラ10にて書込みに使用した半導体メモリが装着され、この半導体メモリに記録された画像の内、RAWモードで記録された画像を再生する場合について説明する。リニアMTX回路214, 216は、マトリクス演算機能を有する回路であり、リニアMTX回路214には、リニアマトリクス係数210が供給されている。読み出したリニアマトリクス係数210は、上述した再生する半導体メモリの条件からリニアマトリクス係数92である。リニアMTX回路214は、リニアマトリクス係数92に応じて撮影時に設定した色空間のRGBに画像データを変換する。変換された画像データ230がゲイン補正回路218に供給される。
【００５９】
ところで、リニアMTX回路214を設けて、色空間の変換を行う理由は、次段のゲイン補正回路218がすでに撮影段階で設定した色空間に基づいてホワイトバランスを調整するようにホワイトバランスゲインを設定しているからである。RAWモードにおける画像データは、何等色空間の設定が考慮されていない画像データである。ここでのホワイトバランス調整は、ホワイトバランスゲイン212で調整しても、色空間が考慮されていない画像データのため、この画像データには結果的に、ホワイトバランスの崩れたゲイン調整が行われることになるからである。これを回避するため、リニアMTX回路214を設けて、RAWモードの画像データ208に対して色空間の設定を行っている。
【００６０】
ゲイン補正回路218には、半導体メモリから読み出した撮影時のホワイトバランスゲイン212が供給されている。ゲイン補正回路218は、画像データ230に対して撮影時のホワイトバランスゲイン212でゲインを調整する。リニアMTX回路214およびゲイン補正回路218を配設して処理することにより、これまでの一連の処理は、撮影時の色空間に応じた画像データにして、この画像データに対する最適なホワイトバランス調整が行われる。ゲイン補正回路218は、適切にホワイトバランス調整された画像データ232をリニアMTX回路216に供給する。
【００６１】
リニアMTX回路216は、再生装置200においてユーザが所望の色空間に変換する機能を有する。このため、リニアMTX回路216には、所望の色空間に変換するリニアマトリクス係数234が供給される。この場合、すでにホワイトバランスを最適に調整した後での色の調整であることから、ホワイトバランスの崩れは起き難い。リニアMTX回路216は、所望の色空間に変換した画像データ236をガンマ補正回路220に出力する。
【００６２】
ガンマ補正回路220〜色差MTX回路228までの処理は、ディジタルカメラ10の対応する各部の処理手順に同じである。輪郭補正回路226は、エッジ強調された輝度信号238をIF部204に送り、色差MTX回路228は、生成した色差信号240をIF部204に供給する。IF部204にはユーザが所望の色空間に変換された画像データおよびリニアマトリクス係数234をまとめたデータ242として供給される。IF部204は、ストレージ202の半導体メモリにデータ242を記録する。これにより、記録時に半導体メモリにおいて、記録フォーマットにおけるヘッダ領域126の内、リニアマトリクス係数に所望のリニアマトリクス係数234を書き込んでおくことが好ましい。再生装置200の処理はソフトウェア的にプログラムで記述し、実行させてもRAWモードにおける画像データに対して設定に基づくリニアマトリクス変換およびホワイトバランスの調整を行い、この後に所望の色空間変換を行っても、ホワイトバランスの崩れのない所望の画像を得ることができる。
【００６３】
また、構成上、再生装置200に特有な回路を再生調整回路244とする。再生調整回路244には、リニアMTX回路214, 216およびゲイン補正回路218を含む。
【００６４】
このように動作させることにより、とくに、RAWモードの画像データを再生する際にホワイトバランスの崩れが生じないように画像データを処理した上で、所望の色空間RGBに変換しているから、画像データを色空間の変換、すなわちリニアマトリクス変換しても、ホワイトバランスが保たれた所望の画像に再生することができる。
【００６５】
次にディジタルカメラ10のディジタル処理部64に再生装置200の機能を備えた構成を図５に示す。ここで、共通する構成要素には、同じ参照番号を付して説明を省略する。図５のディジタル処理部64は、図１に示した撮影処理に対応する記録調整回路114、図４に示した再生処理に対応する再生調整回路244、記録/再生切換スイッチ246ならびに記録・再生における共通処理回路248を含む。
【００６６】
記録/再生切換スイッチ246は、通常モードの記録と再生とを切り換える。記録/再生切換スイッチ246は、記録調整回路114からの出力端が端子a側に接続され、再生調整回路244からの出力端が端子b側に接続され、システム制御部22から供給される切換制御信号250に応じて供給元となる端子a, bのいずれかを選択する。切換制御信号250は、操作部24にて記録/再生のいずれかがユーザにより選択され、この選択に応じてシステム制御部22に供給される指示信号120を基に生成される。
【００６７】
共通処理回路248は、記録および再生処理において、共通処理を行うガンマ補正回路82、RGB補間回路84、YC変換回路86、輪郭補正回路88および色差MTX回路90を含む。輪郭補正回路88および色差MTX回路90は、輝度信号と色差信号とをデータバス58に供給する。このように構成することにより、回路構成を簡略化することができる。IF部68は、制御信号74の書込み/読出しの制御等に応じてデータ252のストレージ32への書込み/読出しを制御する。
【００６８】
ここで、ディジタル処理回路64の動作を簡単に説明する。RAWモードの場合、書込み/読出しにおいて画像データ56、記録調整回路114から出力される色温度情報としてのホワイトバランスゲイン94およびシステム制御部22から供給されるリニアマトリクス係数92がデータ252である。これら３つのデータがIF部68を介してストレージ32に書き込まれる。
【００６９】
また、通常の圧縮モードの場合、画像データ56は、記録調整回路114、記録/再生切換スイッチ246の端子aおよび共通処理回路248を経て輝度信号および色差信号を生成する。これにより、IF部68には、データ252として輝度信号および色差信号ならびにホワイトバランスゲイン94が供給される。
【００７０】
RAWモードの記録されている画像データを再生する場合、データ252は、生の画像データ208、ホワイトバランスゲイン212およびリニアマトリクス係数210である。とくに、再生時における記録との対応関係を考慮すると、データ252は、生の画像データ56、ホワイトバランスゲイン94、リニアマトリクス係数92に同じである。さらに、再生においてユーザは、所望の色空間に変換する場合、たとえば操作部24で任意の色空間をあらかじめ設定しておく。システム制御部22は、この設定を受けて、所望の色空間に変換するリニアマトリクス係数234をデータバス58を介して再生調整回路244に供給する。
【００７１】
再生調整回路244は、所望の色空間に変換された画像データ236を記録/再生切換スイッチ246の端子bに出力する。記録/再生切換スイッチ246が再生に応じて端子b側に切り換えられているから、共通処理回路248に供給される画像データ236は、輝度信号および色差信号に変換される。この場合も、通常の記録モードと同様に輝度信号および色差信号は、データバス58を介してストレージ32に記録される。ストレージ32には、ホワイトバランスゲインおよびユーザが設定したリニアマトリクス係数234が記録フォーマットに従って記録される。
【００７２】
これにより、記録および再生機能を備えたディジタルカメラ10においても、ホワイトバランス調整および色空間の変更を行うことによって、ホワイトバランスの崩れが生じる画像生成にともなう不具合を抑制することができる。とくに、RAWモードでの発生を抑える記録を行い、再生において記録における情報を有効に利用して画像を再生することにより、所望の色空間に変更してもホワイトバランスの崩れが生じ難い処理を行うことができ、良好な画像を再生し、記録することができる。
【００７３】
以上のように構成することにより、RAWモードにおいて生の画像データ56、ホワイトバランスゲイン94およびリニアマトリクス係数92を記録することにより、再生において生じるホワイトバランスの崩れの防止に大いに貢献することができる。
【００７４】
また、再生においてRAWモードで記録されたデータを読み出して生の画像データ208に読み出したリニアマトリクス係数210で撮像時における色空間の設定に対応した画像データ230にし、読み出したホワイトバランスゲイン212でゲイン補正して、画像データ230にホワイトバランス調整を施し、ユーザが所望の色空間にリニアマトリクス係数234によって変更することにより、所望の色空間に変更された画像にホワイトバランスの崩れを生じ難くし、良好な再生画像を提供することができる。
【００７５】
さらに、ディジタルカメラ10のディジタル処理部64において、とくにRAWモードに対して記録にて生の画像データ56およびホワイトバランスゲイン94だけでなく、リニアマトリクス係数92も記録し、再生にて生の画像データにリニアマトリクス係数92、ホワイトバランスゲイン94を順次用いて撮影時の色空間におけるホワイトバランス調整を行った上で、ユーザが所望の色空間に変更することにより、所望の色空間に変更された画像にホワイトバランスの崩れを生じ難くし、良好な再生画像を提供することができ、使い勝手が良好なシステムを提供することができる。
【００７６】
【発明の効果】
このように本発明の画像再生装置によれば、RAWモードで記録されたデータとして読出し手段にて生の撮像データである画像データ、色温度情報および第１の色空間情報を読み出し、第１の色空間補正手段で第１の色空間情報に応じて撮像時における色空間の設定に対応した画像データにし、色温度補正手段で色温度情報を基にゲイン補正して、供給された画像データにホワイトバランス調整を施し、第２の色空間補正手段でユーザが所望の色空間である第２の色空間情報に応じてホワイトバランス調整後の画像データを変更することにより、所望の色空間に変更された画像にホワイトバランスの崩れを生じ難くし、良好な再生画像を提供することができる。
【００７７】
また、本発明の固体撮像装置によれば、調整判定手段で色温度情報としてのゲイン調整情報を求め、RAWモードにおいて記録調整手段で生の画像データ、ゲイン調整情報および撮影で設定されていた色空間情報を記録することにより、再生において生じるホワイトバランスの崩れの防止に大いに貢献することができる。
【００７８】
さらに、本発明の固体撮像システムによれば、システム制御手段の制御に応じて各制御対象を動作させて、調整判定手段でゲイン調整情報を求めて書込み/読出し手段に送り、書込み/読出し手段でRAWモードに応じて生の撮像データ、ゲイン調整情報および撮影で設定されていた色空間情報を記録して、色空間情報を再生時に提供することができ、再生に応じて書込み/読出し手段を介して第１の色空間情報と色温度情報を読み出して、第１の色空間補正手段で第１の色空間に補正して、色温度補正手段で補正した画像データに色温度を補正して、撮影時に設定されていた色空間および色温度情報に対応した画像データにし、この補正後の画像データに第２の色空間補正手段で第２の色空間情報を基に色空間を変換して、再生した画像に生じるホワイトバランスの崩れを起こし難くすることにより、所望の色空間への画像変換を行っても得られる画像の色バランスをこれまで以上に確実に行うことができ、使い勝手が良好なシステムを提供することができる。
【図面の簡単な説明】
【図１】本発明の固体撮像装置を適用したディジタルカメラにおけるディジタル処理部の概略的な構成および記録に関する構成を示すブロック図である。
【図２】本発明の固体撮像装置を適用したディジタルカメラの概略的な構成を示すブロック図である。
【図３】図２のストレージに記録するデータのフォーマットを説明する図である。
【図４】本発明の画像再生装置を適用した再生装置の概略的な構成を示すブロック図である。
【図５】図２および図４のディジタル処理部の機能を併せ持つ最適な構成および記録に関する構成を示すブロック図である。
【符号の説明】
10 ディジタルカメラ
12 光学系
14 絞り調節機構
16 撮像部
18 前処理部
20 信号処理部
22 システム制御部
24 操作部
26 タイミング信号発生器
28 ドライバ
30 モニタ
32 ストレージ
64 ディジタル処理部
76 リニアマトリクス回路
78 ホワイトバランス判定回路
80 ゲイン補正回路
Claims (2)
- 被写界からの入射光を電気信号に変換する複数の受光素子が配設された撮像手段に入射させ、該撮像手段から出力される撮像信号をディジタル化し、該ディジタル化した生の撮像データを記録するRAWモードを有する固体撮像装置において、該装置は、
所定の係数を基に前記撮像データに対して撮影において使用する撮影のRGB色空間を補正する色空間補正手段と、
前記撮像データを基に該撮像データにおける色温度を調整し、該色温度の調整が良好か否かを判定し、該判定結果として得られる色温度を反映したゲイン調整情報を出力する調整判定手段と、
前記生の撮像データとともに、前記撮影のRGB色空間に前記生の撮像データを変換する複数の係数を含む撮影のRGB色空間情報および前記ゲイン調整情報を所定の記録形式に調整する記録調整手段と、
前記調整判定手段および前記記録調整手段を制御するシステム制御手段とを含むことを特徴とする固体撮像装置。 - 請求項１に記載の装置において、該装置は、前記撮影装置において設定された撮影のRGB色空間に前記画像データを変換する複数の係数で表される第１のRGB色空間情報および第１のRGB色空間情報に対して最適な色温度情報を、前記画像データとともに、記録されたデータより読み出す読出し手段と、
撮影のRGB色空間情報に基づいて前記画像データを補正する第１のRGB色空間補正手段と、
前記色温度情報に基づいて第１のRGB色空間補正手段からの画像データを補正する色温度補正手段と、
画像再生において設定する再生のRGB色空間に前記画像データを変換する複数の係数で表される第２のRGB色空間情報に基づいて、前記色温度補正手段からの画像データの色空間を補正する第２のRGB色空間補正手段とを含むことを特徴とする固体撮像装置。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003108139A JP4584544B2 (ja) | 2003-04-11 | 2003-04-11 | 画像再生装置および固体撮像装置 |
| US10/820,032 US7719727B2 (en) | 2003-04-11 | 2004-04-08 | Image reproducing apparatus for preventing white balance offset and solid-state imaging apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003108139A JP4584544B2 (ja) | 2003-04-11 | 2003-04-11 | 画像再生装置および固体撮像装置 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2008228260A Division JP2009017586A (ja) | 2008-09-05 | 2008-09-05 | 画像再生装置およびその再生方法 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2004320148A JP2004320148A (ja) | 2004-11-11 |
| JP2004320148A5 JP2004320148A5 (ja) | 2006-04-20 |
| JP4584544B2 true JP4584544B2 (ja) | 2010-11-24 |
Family
ID=33128006
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003108139A Expired - Lifetime JP4584544B2 (ja) | 2003-04-11 | 2003-04-11 | 画像再生装置および固体撮像装置 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US7719727B2 (ja) |
| JP (1) | JP4584544B2 (ja) |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006005477A (ja) * | 2004-06-15 | 2006-01-05 | Canon Inc | 撮像装置及び撮像方法及びプログラム |
| JP2006030783A (ja) * | 2004-07-20 | 2006-02-02 | Alps Electric Co Ltd | 液晶表示装置 |
| JP4940639B2 (ja) * | 2005-09-30 | 2012-05-30 | セイコーエプソン株式会社 | 画像処理装置、画像処理方法及び画像処理プログラム |
| JP4962295B2 (ja) * | 2005-09-30 | 2012-06-27 | セイコーエプソン株式会社 | 画像処理装置及び画像処理プログラム |
| JP4935049B2 (ja) * | 2005-10-27 | 2012-05-23 | セイコーエプソン株式会社 | 画像処理装置、画像処理方法及び画像処理プログラム |
| JP4670654B2 (ja) * | 2006-01-23 | 2011-04-13 | ソニー株式会社 | 撮像装置および画像処理方法 |
| JP4658097B2 (ja) * | 2006-07-27 | 2011-03-23 | パナソニック株式会社 | パルス同期復調装置 |
| US8194151B2 (en) * | 2007-03-28 | 2012-06-05 | Hitachi Kokusai Electric Inc. | Image pickup apparatus |
| JP2009290599A (ja) * | 2008-05-29 | 2009-12-10 | Hoya Corp | 撮像装置 |
| JP5642344B2 (ja) | 2008-11-21 | 2014-12-17 | オリンパスイメージング株式会社 | 画像処理装置、画像処理方法、および、画像処理プログラム |
| TWI465115B (zh) * | 2011-08-23 | 2014-12-11 | Novatek Microelectronics Corp | 顯示影像的白平衡方法 |
| JP6041561B2 (ja) | 2012-07-19 | 2016-12-07 | キヤノン株式会社 | 画像処理装置およびその制御方法 |
Family Cites Families (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH07231418A (ja) | 1994-02-17 | 1995-08-29 | Matsushita Electric Ind Co Ltd | 静止画像処理装置 |
| US6160579A (en) * | 1995-08-01 | 2000-12-12 | Canon Kabushiki Kaisha | Image processing apparatus and method |
| US5911003A (en) * | 1996-04-26 | 1999-06-08 | Pressco Technology Inc. | Color pattern evaluation system for randomly oriented articles |
| DE69835638T2 (de) * | 1997-07-09 | 2006-12-28 | Canon K.K. | Farbbildverarbeitungsgerät und -verfahren |
| JP4174090B2 (ja) * | 1997-10-31 | 2008-10-29 | キヤノン株式会社 | 画像処理方法、装置および記録媒体 |
| JP4147655B2 (ja) * | 1998-12-07 | 2008-09-10 | ソニー株式会社 | 画像処理装置及び画像処理方法 |
| US6357658B1 (en) * | 1999-04-28 | 2002-03-19 | Peripheral Dynamics, Inc. | Apparatus and methods for scanning documents including OMR, bar-code, and image data |
| JP4203189B2 (ja) * | 1999-08-27 | 2008-12-24 | 東芝テック株式会社 | カラー画像処理装置 |
| JP4244105B2 (ja) * | 1999-11-15 | 2009-03-25 | 富士フイルム株式会社 | 画像処理方法および装置並びに記録媒体 |
| US7126718B1 (en) * | 1999-11-19 | 2006-10-24 | Canon Kabushiki Kaisha | Adjustment of color appearance models |
| WO2001084851A1 (fr) * | 2000-04-12 | 2001-11-08 | Hitachi, Ltd. | Procede, dispositif et systeme de traitement de signal image |
| US7081918B2 (en) * | 2000-04-28 | 2006-07-25 | Fuji Photo Film Co., Ltd. | Image processing method, image processing apparatus and recording medium storing program therefor |
| JP4402850B2 (ja) * | 2001-03-16 | 2010-01-20 | 富士フイルム株式会社 | 鑑賞用データ補正方法および装置並びに記録媒体 |
| JP3841151B2 (ja) * | 2001-06-28 | 2006-11-01 | セイコーエプソン株式会社 | 画像処理装置、画像処理方法、プログラムおよび記録媒体 |
| JP2003066321A (ja) * | 2001-08-29 | 2003-03-05 | Mega Chips Corp | Ａｆ制御装置およびａｆ制御方法 |
| JP2003284084A (ja) * | 2002-03-20 | 2003-10-03 | Sony Corp | 画像処理装置および方法、並びに画像処理装置の製造方法 |
| US7304766B2 (en) * | 2002-04-01 | 2007-12-04 | Hewlett-Packard Development Company, L.P. | Method and apparatus for data adjustment |
| US7525697B2 (en) * | 2002-07-15 | 2009-04-28 | Olympus Corporation | White balance processing apparatus and processing method thereof |
| JP4305327B2 (ja) * | 2003-08-26 | 2009-07-29 | カシオ計算機株式会社 | 撮像装置、ホワイトバランス制御方法及びホワイトバランス制御プログラム |
| JP3826931B2 (ja) * | 2003-10-30 | 2006-09-27 | 村田機械株式会社 | カラー画像処理装置 |
| US7636473B2 (en) * | 2004-03-12 | 2009-12-22 | Seiko Epson Corporation | Image color adjustment |
-
2003
- 2003-04-11 JP JP2003108139A patent/JP4584544B2/ja not_active Expired - Lifetime
-
2004
- 2004-04-08 US US10/820,032 patent/US7719727B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| US20040201728A1 (en) | 2004-10-14 |
| US7719727B2 (en) | 2010-05-18 |
| JP2004320148A (ja) | 2004-11-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4567593B2 (ja) | 撮像装置および撮影方法 | |
| JP3980782B2 (ja) | 撮像制御装置および撮像制御方法 | |
| JP4126640B2 (ja) | 電子カメラ | |
| JP4943721B2 (ja) | 画像データのカラーノイズ除去方法及びこの方法を用いた撮像装置 | |
| JP2004304706A (ja) | 固体撮像装置およびその補間処理方法 | |
| JPH10150668A (ja) | 撮像装置及びカラー画像信号の処理方法 | |
| JP2005130045A (ja) | 撮像装置及びこれに用いる撮像素子 | |
| JP2010074813A (ja) | 撮像装置および撮像方法 | |
| JP4584544B2 (ja) | 画像再生装置および固体撮像装置 | |
| JP2004328117A (ja) | ディジタルカメラおよび撮像制御方法 | |
| JP2010130540A (ja) | 映像表示装置 | |
| JP4616429B2 (ja) | 画像処理装置 | |
| JP3999693B2 (ja) | 固体撮像装置 | |
| JP2001275028A (ja) | デジタルカメラ | |
| JP4033456B2 (ja) | デジタルカメラ | |
| JP2006253970A (ja) | 撮像装置、シェーディング補正データ作成方法およびプログラム | |
| JP2004128537A (ja) | 固体撮像装置の信号読出し方法 | |
| JP4243462B2 (ja) | 固体撮像装置および受光素子の感度対応出力調整方法 | |
| JP2004007048A (ja) | 撮像装置 | |
| JP2007027984A (ja) | 撮影装置およびその制御方法 | |
| JP2009017586A (ja) | 画像再生装置およびその再生方法 | |
| JP3702350B2 (ja) | デジタルカメラおよび記録媒体 | |
| JP4220406B2 (ja) | 固体撮像装置およびその画像記録方法、ならびにその画像再生方法 | |
| JP4635076B2 (ja) | 固体撮像装置 | |
| JP2004312123A (ja) | 画像記録装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060308 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060308 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20061208 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080403 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080408 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080606 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20080715 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080905 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20081104 |
|
| A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20081128 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100902 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4584544 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130910 Year of fee payment: 3 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |