JP4211572B2 - 撮像装置 - Google Patents

Description

本発明は、被写体の視認性を向上したデジタルカメラに関するものである。

デジタルカメラは撮像素子で捉えた像をLCDパネル等に表示する機能を備えており、光学的なビューファインダーを備えないデジタルカメラも多い。銀塩式カメラのようにビューファインダーを覗いてシャッターを押すのではなく、LCDパネルを見てシャッターを押す撮影スタイルが一般的になっており、LCDパネルの表示品質が撮影の成否に影響するようになってきている。

以下に従来の撮像装置の例として、特許文献１に記載のデジタルスチルカメラを取り上げ、図４を用いて概要を説明する。図４は特許文献１に記載のデジタルスチルカメラの構成を簡略化して図示したブロック図である。図４において１１は撮像回路、１２は画像処理回路、１３は表示系バス、１４はメインバス、１５は表示用メモリ、１６はメインメモリ、１７は表示回路、１８は圧縮伸張回路、１９は記録再生回路である。

撮像回路１２はＣＣＤなどの撮像素子とＡ／Ｄ変換器を備えており、入射光の像をＲＧＢ三原色に分解してデジタル化し、ＲＧＢ形式の画像データとして出力する。デジタルスチルカメラの撮像回路はモニタモードとスチルモードを備えており、モードによって動作が異なる。モニタモードでは６０分の１秒毎に１画面の入力画像データを出力するが、その出力画素数は少なく解像度はビデオカメラと同等である。一方、スチルモードでは、より高解像度でより高画素の画像データを出力するが、画素数が多いがために比較的長い時間を出力に要する。なお、以後の説明ではスチルモードでの出力画像をスチル画像、モニタモードでの出力画像をスチル画像と呼ぶことにする。

撮像回路１１が出力するＲＧＢ形式の画像データは表示や圧縮に適さないので、撮像回路１２はＲＧＢ形式の画像データをＹＣ形式の画像データに変換して出力する。

特許文献１に記載の装置の特徴は、表示系バス１３とメインバス１４の２系統のバスが独立しており、表示系バス１２の上には表示用メモリ１４が、メインバス上にはメインメモリ１５が、それぞれ独立して設けられていることである。そのため、前記画像処理回路１２はモニタ画像を出力する時は表示系バス１２を経由して表示用メモリ１４に書き込み、スチル画像を出力する時はメインバス１３を経由してメインメモリ１５に書き込む。

表示回路１７は表示系バス１２を介して表示用メモリ１４にアクセスし、ＹＣ形式のモニタ画像を読み出してＬＣＤに表示する。通常は撮像回路１１はモニタモードで動作し、モニタモードでは６０分の１秒ごとにモニタ画像を出力する。画像処理回路１２と表示回路１７も同様に各々６０分の１秒ごとに処理を繰り返してＬＣＤ表示を更新するので、ＬＣＤを見て画角を調整することができる。

静止画撮影においては撮像回路１１はスチルモードに動作が切り替わり、画像処理回路１２の出力はメインバス１３側に切り替わる。メインバス１３経由で圧縮伸張回路１８がメインメモリ１５にアクセスし、読み出したＹＣ形式のスチル画像を圧縮データに変換してメインメモリ１５に書き込み、更に記録再生回路１９はメインメモリ１５から圧縮データを読み出してフラッシュメモリ等のメディアに記録する。撮像回路１１がスチルモードである間はモニタ画像の出力が途切れるので、ＬＣＤ表示は停止せざるを得ない。この表示停止期間をブラックアウト期間と呼び、この間はＬＣＤで被写体を追うことができない。

図４の構成によれば表示系バスをメインバスと独立して設けることにより、モニタ画像へのアクセスとスチル画像へのアクセスが互いに干渉することなく独立して実行できる。そのため、圧縮伸張回路１８がスチル画像の圧縮変換を行っている最中にモニタ画像をＲＧＢ形式からＹＣ形式に変換してＬＣＤに表示することが可能であり、撮影後のＬＣＤのブラックアウト期間を短縮できる、という効果がある。また、メインバスと表示用バスにメモリアクセスが分散されているので、回路全体を比較的に低いクロックで動作させる事が可能であり、消費電力を小さくできる、という効果も生じる。
特開２０００−２７８５８９号公報

しかしながら上記の従来の構成は、撮像回路がプログレッシブ方式でない場合には効率的に働かない、という問題を有する。

デジタルスチルカメラで広く用いられているＣＣＤは受光素子を格子状に配置し、受光素子の間にライン状の転送部を設け、受光素子の上にＲＧＢ３原色を透過するカラーフィルタを配した構造をとる。プログレッシブ方式のＣＣＤは受光素子の１ライン毎に１列の転送部を持ち、１ライン毎に順次読み出す。プログレッシブ方式のＣＣＤは画素データが画素の位置の順で読み出されるので、以後の処理が簡単で良い、という利点がある。

他方には画素データを２フィールドまたは３フィールドに分けて読み出すインターレース方式のＣＣＤがある。これは転送部を２ラインの受光素子列に１本、または３ラインの受光素子列に１本だけ設け、複数の受光素子列が一本の転送部を共用する構造にしたもので、転送部の比率を小さくする事により受光素子を大きくし、ＣＣＤの感度を向上したものである。これらのＣＣＤの画素データは１ライン飛ばし、または２ライン飛ばしで出力されるので、画像処理を行う前にフィールドメモリを使って画素データを元の画素位置の順に整列する必要がある。このようにインターレース方式のＣＣＤは後の信号処理が複雑になるが、ＣＣＤの感度を良くできる事からデジタルスチルカメラでは広く用いられている。

図５は撮像回路の出力と信号処理回路の動作を表した図である。図５の（Ａ）、（Ｂ）、（Ｃ）において、上側の６１は撮像回路の出力の状態の時間変化を表す棒グラフであり、下側の６２は信号処理回路の動作の時間変化を表す棒グラフである。

図５の（Ａ）はプログレッシブ方式のＣＣＤを用いた時の動作を表しており、撮像回路がスチル画像を出力している時は信号処理回路はスチル画像を処理し、撮像回路がモニタ画像を出力している時は信号処理回路はモニタ画像を処理する。このようにプログレッシブ方式のＣＣＤを用いた時は撮像回路の動作と信号処理回路の動作は一体であり、スチルの撮影直後にモニタ画像の処理を行うことが出来る。

図５の（Ｂ）は３フィールド出力方式のＣＣＤを用いた時の動作を表している。棒グラフ６１のスチル１、スチル２、スチル３は各々スチル画像を３フィールドに分けて出力した第一フィールド、第二フィールド、第三フィールドの出力期間を表している。撮像回路が第一フィールドと第二フィールドを出力している間は、垂直方向に連続した画素データが揃わないため信号処理回路は信号処理が出来ないので、ＲＧＢデータを一旦、メインメモリに書き込む。３フィールド目になって、第一フィールドと第二フィールドの画素データをメインメモリから読み戻すと初めて垂直方向の画素データが揃うので、信号処理回路はデータをＲＧＢ形式からＹＣ形式に変換できる。

ここで図５の（Ｂ）を図５の（Ａ）と比較すれば明らかなように、ＣＣＤのスチル画像出力終了と同時にモニタ画像の信号処理を開始する為には、プログレッシブ方式の場合の３倍の速度でスチル画像を処理する必要がある。それに加えて、３フィールド目では第一フィールドと第二フィールドの画素データの読み出しと処理を終えたＹＣデータの書き込みを同時に行うので、メインメモリにはアクセスが集中することになる。このような信号処理速度とメモリアクセスの速度を得るためには回路の高速化または大規模化が必要であり、消費電力の増加は避けることが出来ない。

図５の（Ｃ）は信号処理の速度をプログレッシブ方式のＣＣＤを用いた場合と同じにした場合の動作を表したグラフである。この場合、第三フィールドの画素データは信号処理回路でリアルタイムに処理できないので、第一フィールドと第二フィールドの画素データと同様に一旦メインメモリに書き込み、再度、読み出してから処理することになる。グラフから明らかなように、消費電力の増加を嫌って信号処理の速度を同じにすれば、処理の開始が２フィールド分遅いため、モニタ画像の処理開始が遅くなってしまう。

フラッシュ撮影や薄暮時の撮影では光源の色温度の影響でホワイトバランスがずれている可能性があり、ホワイトバランスを正しく補正する為には１画面分のＲＧＢデータを統計的に評価した上で信号処理を開始するのが理想的である。しかし、そのようにするとスチル画像の処理開始が更に１フィールド分遅くなり、モニタ画像の処理開始も遅くなってしまう。このように従来の構成ではモニタ画像の処理開始時点ががスチル画像の処理終了時点に依存しているため、早い時点でモニタ表示を開始できない問題がある。

また、従来例の構成では表示用メモリをメインメモリと別に設けている。表示用メモリは常にアクセスがあるため、信号処理ＬＳＩにＳＲＡＭとして内蔵した方が消費電力の面で有利であるが、一般的な構成例では２メガビットの容量を必要とするため、ＬＳＩのコストを増加させる要因となる。

本発明の撮像装置は、静止画データと動画データとを選択的に出力する撮像手段と、撮像手段の出力を記憶する記憶手段と、記憶手段に記憶された静止画データと動画データとを選択的に画像処理する信号処理手段と、信号処理手段で画像処理された動画データを表示する表示手段と、一画面分の静止画データについて信号処理手段で画像処理している途中で、その処理を中断して、信号処理手段に動画データを画像処理させ、その後、中断した静止画データの画像処理を信号処理手段に再開させるよう制御することが可能な制御手段と、を備える。

本発明の撮像装置では、撮像回路はスチル画像を出力した後は直ちにモニタモードに移行し、信号処理回路はスチル画像の処理中であっても撮像回路のモニタ画像出力に応じてモニタ画像の処理を優先して行うので、スチル撮影の直後からＬＣＤ表示を再開できる、という利点がある。また、表示用メモリは信号処理回路がモニタ画像処理の合間にスチル画像を処理している間だけ表示出力を維持する容量があれば良いので、表示メモリの容量を削減できるという利点がある。

以下、図１乃至３を参照して本発明の実施例を詳細に説明する。

図１は本発明によるデジタルスチルカメラの構成を図示するブロック図である。図１において１１は撮像回路、１４はメインバス、１５は表示用メモリ、１６はメインメモリ、１７は表示回路、１８は圧縮伸張回路、１９は記録再生回路、２１は画像処理部、２２はライン数信号、２３はモード切替信号である。

撮像回路１２は入射光の像をＲＧＢ三原色に分解してデジタル化したＲＧＢ形式の画像データに変換する。光電変換素子は３フィールドインターレース読み出し方式のＣＣＤであり、モニタ画像を出力するモニタモードとスチル画像を出力するスチルモードで動作が異なる。スチル画像は３フィールドに分割して出力し、各々のフィールドの出力に６０分の６秒、３フィールド合計で６０分の１８秒を要する。一方、モニタ画像は６０分の１秒毎に１画面を出力する。

撮像回路１１はメインバス１４経由でメインメモリ１６に入力画像を書き込む。その際に撮像回路１１は書き込んだライン数をライン数信号２２として制御回路２０に通知する。メインメモリ１６にはスチル画像領域とモニタ画像領域があり、撮像回路１１は画像に応じて書き込む領域を選択する。

画像処理部２１はメインメモリ１６からＲＧＢ形式の画像データを読み出してＹＣ形式の画像データに変換する。画像処理部２１はモニタモードとスチルモードの二つのモードを持ち、モードはモード切替信号２３で切り替わる。スチルモードであればメインメモリ１６のスチル画像領域からＲＧＢ形式の画像データを読み出してＹＣ形式の画像データをメインメモリのＹＣデータ領域に書き戻す。逆にモニタモードであればメインメモリ１６のモニタ画像領域からＲＧＢ形式の画像データを読み出してＹＣ形式の画像データを表示用メモリ１５に書き込む。

表示用メモリ１５はＦＩＦＯメモリであり、書き込まれたＹＣデータは書き込み時と同じ順で読み出される。書き込み側と読み出し側のクロックは独立しており、画像処理部２１は２７メガヘルツのクロックに同期して書き込み、表示回路１７は１３．５メガヘルツのクロックに同期して読み出す。従って画像処理部２１から表示用メモリ１５への出力が断続的であっても、中断期間の割合が２分の１以下で中断期間の長さが十分に短ければＦＩＦＯメモリが空になることは無い。

表示回路１７は表示用メモリ１５からＹＣデータを読み出し、映像信号に変換してＬＣＤに表示する。静止画撮影の為にモニタ画像の入力が中断する時にはＬＣＤを黒画面にする。圧縮伸張回路１８はメインメモリ１６からＹＣデータを読み出し、容量を縮小した亜圧縮データに変換してメインメモリ１６に書き戻す。記録再生回路１９はメインメモリ１６から圧縮データを読み出してフラッシュメモリに書き込む。

次に画像処理部２１の構成を図２を用いて説明する。図２は画像処理部２１の構成例を示したブロック図である。

図２において１２は画像処理回路、２１は画像処理部、２３はモード切替信号、２４はセレクタ、２５はゲート回路、２６は出力切替回路、２７はレジスタＦ群、２８はレジスタＢ群、２９はトリガパルス群である。モード切替信号２３は画像処理部２１の動作を切り替えるもので、セレクタ２４、ゲート回路２５、出力切替回路２６を制御する。レジスタＦ群２７とレジスタＢ群２８は各々画像処理回路１２の動作を指示するもので、指示の内容はＲＧＢデータ領域の先頭番地、ＹＣデータ領域の先頭番地を含む。レジスタＦ群とレジスタＢ群の出力はセレクタ２４により選択され、一方の指示だけが画像処理回路１２に与えられる。画像処理回路１２は指示に従ってＲＧＢデータの読み出しとデータの変換とＹＣデータの書き込みを行い、読み出し及び書き込みに同期してトリガパルス群２９を出力する。このトリガパルス群２９は書き込み及び読み出しの進行に合わせてＲＧＢデータの先頭番地及びＹＣデータの先頭番地を更新する為のパルスであり、ゲート回路２５の働きによりレジスタＦ群とレジスタＢ群のうちセレクタ２４で選択されているレジスタ群にのみ与えられ、それぞれのレジスタの値を更新する。出力切替回路２６はモード切替信号２３に従って画像処理回路１２の出力先を切り替える。

ここでモード切替えにおける動作を説明する。スチルモードではレジスタＢ群が選択されており、処理の進行に応じてレジスタＢ群のＲＧＢデータの先頭番地及びＹＣデータの先頭番地がインクリメントされていく。ある時点でモード切替信号２３が変化し、モニタモードに切り替わるとレジスタＢ群に代わってレジスタＦ群が選択されるようになり、レジスタＢ群は変化しなくなる。モード切替信号２３が再び変化し、スチルモードに切り替わるとレジスタＢ群のＲＧＢデータの先頭番地及びＹＣデータの先頭番地はスチル画像の処理が停止する直前の状態に保たれているので、信号処理回路１２は中断した箇所からスチル画像の処理を再開することができる。

次に図３を用いて静止画撮影からモニタ表示に移行する際の動作を説明する。図３は撮像回路１１と制御回路２０と信号処理部２１と表示部の動作を表した図である。図３において４１は撮像回路１１の出力の状態の時間変化を表す棒グラフであり、４２は制御回路２０の出力であるモード切替信号２３の波形であり、４３は信号処理部２１におけるスチル処理の時間変化を表す棒グラフであり、４４は信号処理部２１におけるモニタ処理の時間変化を表す棒グラフであり、４３は表示回路１７におけるＬＣＤ表示の時間変化を表す棒グラフである。

静止画撮影を始めると、図３の４１と４３に示すように撮像回路１１はスチル画像を３フィールドに分割して出力するので、第一フィールドと第二フィールドの間は信号処理部２１はスチル画像の処理を行うことが出来ない。また、図３の４４と４５に示すようにモニタ画像の出力が止まっているので、信号処理部２１はモニタ画像を出力できず、ＬＣＤ表示はブラックアウトにせざるを得ない。

撮像回路１１が第三フィールドのＲＧＢデータの出力を始めると、制御回路２０は撮像回路１１が出力するライン数信号に応じて図３の４２のモード切替信号を変化させ、信号処理部２１をスチルモードにする。すると図３の４３のように信号処理部２１はスチル画像のＲＧＢデータをＹＣデータに変換してメインメモリ１６に出力する。

撮像回路１１が第三フィールドのＲＧＢデータの出力を終えてモニタ画像のＲＧＢデータの出力を開始すると、制御回路２０は撮像回路１１が出力するライン数信号に応じて図３の４２のモード切替信号を変化させ、信号処理部２１をモニタモードにする。すると図３の４４のように信号処理部２１はモニタ画像のＲＧＢデータをＹＣデータに変換して表示用メモリ１５に出力する。図３の４５に示すように、この時点から表示回路１７はモニタ表示を開始し、スチル撮影を開始して以来のブラックアウト期間は終了する。

信号処理部２１が一定量のモニタ画像を処理すると、制御回路２０は図３の４２に示すようにモード切替信号を変化させ、信号処理部２１を再びスチルモードにする。すると図３の４４のように信号処理部２１はモニタ画像の処理を中断し、表示用メモリ１５へのＹＣデータ出力は停止する。しかし表示用メモリ１５には読み出し側の倍の速度で書き込まれたＹＣデータが蓄積されているので、図３の４５に示すようにモニタ表示は直ちに中断することはない。

撮像回路１１がモニタ画像のＲＧＢデータの出力を更に進めると、制御回路２０は撮像回路１１が出力するライン数信号に応じて図３の４２のモード切替信号を変化させ、信号処理部２１を再びモニタモードにする。すると図３の４４のように信号処理部２１は表示用メモリ１５へのＹＣデータ出力を再開する。

モニタ画像の処理を断続的に行い、１画面のモニタ画像を８回に分けて処理すると仮定すると、表示用メモリ１５への１回のＹＣデータ出力期間と１回の出力中断期間の和は１画面のモニタ画像の表示期間の８分の１となる。１回の出力期間と１回の停止期間の比は１対１なので、１回の中断期間の長さは１画面の表示期間の１６分の１となる。従って、１画面のモニタ画像を８回に分けて処理し、表示用メモリ１５がモニタ画像の１画面分の１６分の１以上の容量を持つならば、モニタ画像の処理が断続的であってもＬＣＤ出力は中断することがない。

以上の説明のように信号処理部にモード切替手段を設け、スチル処理とモニタ処理を時分割で実行することにより、静止画撮影の直後からモニタ表示を再開することが出来る。従来の構成のようにスチル処理の完了はモニタ処理の開始の条件ではないので、モニタ処理の開始を早めるために信号処理の速度を上げる必要はなく、そのために消費電力を増加させる必要は無い。同じ理由で、スチル処理の開始は画像全体のＲＧＢデータの読み込み完了後であってもよいので、画像全体を評価した上でホワイトバランスを調整する手順を採ってもモニタ表示の開始を遅らせる必要は無い。また、モニタ処理をモニタ画像のＲＧＢデータの入力に合わせて実行することにより表示用メモリ１５の容量を削減できるので、これにより回路コストの削減と同時に消費電力の削減の効果も得られる。

本発明の撮像装置は、信号処理部にモード切替手段を設け、スチル処理とモニタ処理を時分割で実行することにより、静止画撮影の直後からモニタ表示を再開することが出来、デジタルカメラやカメラ付きの携帯電話端末等に適用できる。

本発明によるデジタルスチルカメラの構成を図示するブロック図 本発明の実施の形態２に於けるハンドスキャナの実施方法を示した説明図 静止画撮影からモニタ表示に移行する際の動作を説明する図 従来のデジタルスチルカメラの構成を図示するブロック図 撮像回路の出力と信号処理回路の動作を表した図

符号の説明

１１ 撮像回路
１２ 画像処理回路
１３ 表示系バス
１４ メインバス
１５ 表示用メモリ
１６ メインメモリ
１７ 表示回路
１８ 圧縮伸張回路
１９ 記録再生回路
２１ 画像処理部
２２ ライン数信号
２３ モード切替信号
２４ セレクタ
２５ ゲート回路
２６ 出力切替回路
２７ レジスタＦ群
２８ レジスタＢ群
２９ トリガパルス群
４１ 撮像回路の出力の状態の時間変化を表す棒グラフ
４２ モード切替信号の波形
４３ 信号処理部におけるスチル処理の時間変化を表す棒グラフ
４４ 信号処理部におけるモニタ処理の時間変化を表す棒グラフ
４５ 表示回路におけるＬＣＤ表示の時間変化を表す棒グラフ
６１ 撮像回路の出力の状態の時間変化を表す棒グラフ
６２ 信号処理回路の動作の時間変化を表す棒グラフ

Claims (5)

1. 静止画データと動画データとを選択的に出力する撮像手段と、
   前記撮像手段の出力を記憶する記憶手段と、
   前記記憶手段に記憶された静止画データと動画データとを選択的に画像処理する信号処理手段と、
   前記信号処理手段で画像処理された動画データを表示する表示手段と、
   前記信号処理手段における静止画データの画像処理について、前記信号処理手段に対する指示を記憶する静止画用一時記憶手段と、
   前記信号処理手段における動画データの画像処理について、前記信号処理手段に対する指示を記憶する動画用一時記憶手段と、
   一画面分の静止画データについて前記信号処理手段で画像処理している途中で、その処理を中断して、前記信号処理手段に動画データを画像処理させ、その後、中断した静止画データの画像処理を前記信号処理手段に再開させるよう制御するとともに、
   前記信号処理手段が静止画データについて画像処理している場合、前記静止画用一時記憶手段に記憶されている指示を前記信号処理手段に出力させつつ、前記信号処理手段での画像処理が進むにつれて前記静止画用一時記憶手段に記憶されている指示を順次更新する一方、前記動画用一時記憶手段に記憶されている指示内容を変えないよう保持し、
   前記信号処理手段が動画データについて画像処理している場合、前記動画用一時記憶手段に記憶されている指示を前記信号処理手段に出力させつつ、前記信号処理手段での画像処理が進むにつれて前記動画用一時記憶手段に記憶されている指示を順次更新する一方、前記静止画用一時記憶手段に記憶されている指示を変えないよう保持する、
   ことが可能な制御手段と、
   を備える撮像装置。
2. 前記制御手段は、前記撮像手段の出力状況及び前記信号処理手段の画像処理状況を監視し、その監視結果に基づいて、前記信号処理手段での静止画データの画像処理と動画データの画像処理との切り替えを制御する、
   請求項１に記載の撮像装置。
3. 前記信号処理手段で画像処理された動画データを記憶する表示用メモリをさらに備え、
   前記表示用メモリは、前記動画データの１フレーム分の容量よりも小さい容量の記憶領域を有する、
   請求項１又は請求項２に記載の撮像装置。
4. 前記撮像手段は、動画データを出力し始めてからのデータ量を前記制御手段に通知し、
   前記制御手段は、前記撮像手段からの通知に従って、前記撮像手段の出力状況を監視する、
   請求項１〜請求項３のいずれかに記載の撮像装置。
5. 前記制御手段は、前記撮像手段が動画データについて画像処理し始めたときからの経過時間を監視することにより、前記撮像手段の出力状況を監視する、
   請求項１〜請求項３のいずれかに記載の撮像装置。

Images