JP5173862B2

JP5173862B2 - 撮像装置及びその制御方法

Info

Publication number: JP5173862B2
Application number: JP2009009364A
Authority: JP
Inventors: 俊樹石田
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2009-01-19
Filing date: 2009-01-19
Publication date: 2013-04-03
Anticipated expiration: 2029-01-19
Also published as: JP2010166535A

Description

本発明は撮像装置及びその制御方法に関し、更に詳しくは、動画撮影中に静止画を撮影可能な撮像装置及びその制御方法に関するものである。

動画撮影中に静止画撮影を行った際のコマ落ち防止に関して、特許文献１に記載されたものが知られている。

特許文献１にあるように、ＣＣＤイメージセンサの駆動方式を静止画フィールドのみ２画素混合全画素読み出しから飛び越し走査に切り替え、２フィールドかけて取得することにより、解像感の高い静止画の同期記録が可能となるというものである。

特開２００７−１３７７６号公報

しかしながら、特許文献１ではコマ落ちは防止できるものの、静止画は奇数フィールドと偶数フィールドの２フィールドかけて別々に電荷を蓄積するので、その電荷蓄積時間のずれが画質の劣化につながる。

また、センサがＣＭＯＳセンサの場合で、且つ、画素数の多い静止画の取り込みを動画撮影中に行う場合の駆動タイミングを図８に示している。各フィールドで画角上端から下端へ順にリセット（点線）、読み出し（実線）を繰り返している。Ｍ０フィールド、Ｍ１フィールドの動画の次のＳ２フィールドで静止画取り込みのための駆動を行う場合を表している。動画のリセット及び読み出しに対して、画素数が多い静止画では、リセット及び読み出しの時間が動画以上にかかる。その結果、Ｓ２フィールドの読み出し駆動がＭ３フィールドに食い込むためにＭ３フィールドでは動画撮影のための駆動ができず、動画のコマが落ちてしまう。

図９は、Ｍ３フィールドを強制的に駆動した場合を示している。図９から分かるように、Ｍ３フィールドのリセットとＳ２フィールドの読み出しが所定ラインより下でぶつかってしまうために、画角上部しかリセット駆動できず、結果としてコマが落ちてしまう。

本発明は上記問題点を鑑みてなされたものであり、動画記録中に静止画記録を行う場合に、静止画の画質を維持すると共に、動画のコマ落ち及び動画の画質劣化を抑えることを目的とする。

上記目的を達成するために、本発明の撮像装置は、複数画素を有する撮像手段と、前記撮像手段から予め決められた周期で第１の画素数の動画の各画像を読み出す駆動と、前記撮像手段から前記第１の画素数よりも多い第２の画素数の静止画を読み出す駆動とを切り替えて実行する駆動手段と、動画の記録中に、静止画の記録を指示するための操作手段とを有し、前記複数画素は優先領域とその他の領域とに分けられ、前記駆動手段は、動画の記録中及び前記動画の記録中に静止画の記録を行う場合に、前記撮像手段のリセット及び読み出しのそれぞれを、前記その他の領域の画素に先だって前記優先領域の画素に対して行う。

また、複数画素を有する撮像手段を含む撮像装置の本発明の駆動方法は、前記撮像手段から、予め決められた周期で第１の画素数の動画の各画像を読み出して記録するステップと、前記動画の記録中に静止画の記録の指示を受け付けるステップと、前記静止画の記録の指示を受けた場合に、前記撮像手段から、前記第１の画素数よりも多い第２の画素数の静止画を読み出して記録するステップとを有し、前記複数画素は優先領域とその他の領域とに分けられ、前記動画及び前記静止画の記録中に、前記撮像手段のリセット及び読み出しのそれぞれを、前記その他の領域の画素に先だって前記優先領域の画素に対して行う。

本発明によれば、動画記録中に静止画記録を行う場合に、静止画の画質を維持すると共に、動画のコマ落ち及び動画の画質劣化を抑えることができる。

以下、添付図面を参照して本発明を実施するための最良の形態を詳細に説明する。

＜第１の実施形態＞
図１は本発明の第１の実施形態における撮像装置の一例として、ビデオカメラの概略構成を示すブロック図である。図１に示す構成において、被写体からの光がレンズ１０１を介して入射し、複数画素から成るＣＭＯＳセンサ１０２上で結像される。ＴＧ１０３が発生する駆動パルスに従い、ＣＭＯＳセンサ１０２から所定順序で読み出された画素信号はＡ／Ｄ変換部１０４で画像データにＡ／Ｄ変換され、メモリ１０６へ保持される。メモリ１０６から読み出されたは、ゲイン制御部１０７（増幅手段）でゲイン補正（増幅）されて、信号処理、記録処理を行う後段の処理部（不図示）へ渡される。また、被写体検出部１０８では、顔等の検出を行い、ＡＥ評価値取得部１０９ではＡＥ評価値を取得し、処理結果はそれぞれシステム制御部１０５へ入力される。１１０は操作部であり、撮影者の操作により指定された動作モード、動画記録開始指示（動画トリガ）、静止画記録指示（静止画トリガ）を検知してシステム制御部１０５へ通知する。システム制御部１０５はこれらの通知を受けて、ＴＧ１０３の制御、メモリ１０６へのアクセス制御、ゲイン制御部１０７へのゲイン係数の供給等を行う。

図２は本第１の実施形態におけるビデオカメラの動作を示すフローチャートである。

電源ＯＮ（ステップＳ２０１）後に初期化シーケンス（ステップＳ２０２）を経て、撮影者により設定されたモードを検知する。設定されたモードが動画撮影モードの場合（ステップＳ２０３でＹＥＳ）、ステップＳ２０４で動画撮影開始指示（動画トリガ）を待ち、撮影開始までプレビュー表示を行う（ステップＳ２０５）。動画撮影開始後、動画の記録中にステップＳ２０６で静止画撮影指示（静止画トリガ）されたかどうかを判断し、静止画撮影が指示されると、ステップＳ２０７において動画と静止画の同時記録駆動を行う。なお、この同時記録駆動の詳細については、図４を参照して後述する。静止画撮影が指示されなければ（ステップＳ２０６でＮＯ）、ステップＳ２０８において、予め決めれられた周期でＣＭＯＳセンサ１０２の電荷蓄積及び読み出しを行い、読み出した動画の各画像を順次記録する動画記録駆動を行う。なお、動画記録駆動は従来の駆動方法により行うことができるため、ここでは説明を省略する。

また、設定されたモードが静止画撮影モードの場合（ステップＳ２０３でＮＯ、ステップＳ２０９でＹＥＳ）、静止画撮影指示（静止画トリガ）を待ち（ステップＳ２１０）、静止画撮影が指示されるまでプレビュー表示を行う（ステップＳ２１３）。静止画撮影が指示されると（ステップＳ２１０でＹＥＳ）、静止画記録駆動を行う（ステップＳ２１１）。なお、静止画記録駆動は従来の駆動方法により行うことができるため、ここでは説明を省略する。

図４は、動画撮影時に静止画撮影を行う場合の、ＣＭＯＳセンサ１０２のリセット及び読み出しの時間遷移を示す図である。

図４において、縦軸は垂直方向の撮影画角を示す。各フレームの画像を構成する画素数は、動画では、垂直画角Ｖ１〜Ｖ２の各画素に蓄積された電荷を垂直方向に加算してから読み出し（第１の画素数）、静止画は全画素の電荷を加算せずに読み出すので（第２の画素数）、静止画のほうが多い。

また、ＴＧ１０３は、ＣＭＯＳセンサ１０２のライン毎に、各画素の電荷をクリア（リセット）するためのパルス信号（点線）を発生し、露光時間経過後に蓄積された電荷を読み出すためのパルス信号（実線）を発生する。これにより、フィールド毎に画角全体の映像信号がＣＭＯＳセンサ１０２から出力される。

ここで、本第１の実施形態においては、従来のように垂直画角Ｖ１〜Ｖ２を上端から下端に順に駆動するのではなく、垂直画角Ｖ１〜Ｖ２のうち、中央から上下一定ライン内の領域（Ｖ３〜Ｖ４）を優先領域として駆動する。つまり、各フィールドにおいて、まず、この優先領域内の上端Ｖ３よりリセット、読み出しを開始し、優先領域内の下端Ｖ４に達したら、全画角の上端Ｖ１から優先領域の上端Ｖ３まで駆動する。それが完了した後、優先領域の下端Ｖ４より全画角の下端Ｖ２までを駆動する。

静止画を撮影するＳ２フィールドにおいても同じ順序で駆動するが、画素数が多いので、駆動の遷移が遅くなる。そのため、本第１の実施形態においては、Ｓ２フィールドにおいて優先領域の電荷蓄積時間（領域のリセットを開始してから、その領域の読み出しが終了するまでの時間）がＭ０フィールド及びＭ１フィールドと等しく、且つ、１フィールド内（１周期内）に優先領域の全画素の読み出しが終了するように、ライン単位で優先領域を設定する。しかしながら、Ｓ２フィールドにおける画角Ｖ１〜Ｖ３及び画角Ｖ４〜Ｖ２では、電荷蓄積時間を優先領域と等しくすると、１フィールド内に全画素の読み出しを終えることができない。従って、Ｓ２フィールドの次のＭ３フィールドの駆動を、Ｍ０フィールド及びＭ１フィールドとは異なる制御で行う。

Ｍ０フィールド及びＭ１フィールドと同様に、Ｍ３フィールドにおいても、まず優先領域Ｖ３〜Ｖ４のリセットを行う。垂直画角Ｖ１〜Ｖ３については、Ｓ２フィールドの画素数及び露光時間より、各ラインのリセットのタイミングを調整して走査する。また同様にＳ２フィールドの画角Ｖ４〜Ｖ２の駆動についても画素数及び露光時間より開始タイミング及び各ラインのリセットのタイミングを調整し、その時間から行う。

Ｓ２フィールドを上述したように走査することにより、Ｍ３フィールドのリセットは、優先領域Ｖ３〜Ｖ４では、Ｍ０フィールド及びＭ１フィールドと同じタイミングで行うことができる。一方、Ｍ３フィールドの垂直画角Ｖ１〜Ｖ３及びＶ４〜Ｖ２については、Ｓ２フィールドの読み出しと重ならないようにリセットを行わなければならない。Ｍ３フィールドの読み出しをＭ０フィールド及びＭ１フィールドと同じように行うと、結果として垂直画角Ｖ１〜Ｖ３及びＶ４〜Ｖ２では優先領域Ｖ３〜Ｖ４よりも露光時間が短くなる。従って、本第１の実施形態においては、この露光時間の差分を補うために、優先領域Ｖ３〜Ｖ４よりも大きいゲインをかけて増幅し、垂直画角Ｖ１〜Ｖ３及びＶ４〜Ｖ２から出力される画像信号のレベルを合わせる。

上記の通り本第１の実施形態によれば、動画撮影中に静止画撮影を行う場合に、予め設定された優先領域の画素を優先的にリセット及び読み取りする。このように制御することにより、動画撮影時と静止画撮影時とで、優先領域の電荷蓄積時間を同じにすることができため、動画の駒落ちを無くすと共に、優先領域の画質劣化を防ぐことが可能となる。また、静止画撮影時には、全ての画角について電荷蓄積時間を同じにするため、静止画の画質劣化を防ぐことができる。

＜第２の実施形態＞
次に、本発明の第２の実施形態について説明する。なお、第２の実施形態におけるビデオカメラの構成は図１に示すものと同様であるので、ここでは説明を省略する。

図３は本第２の実施形態におけるビデオカメラの動作を示すフローチャートである。図２に示す動作とは、動画撮影モードにおいて静止画撮影が指示された場合の処理が異なる。本第２の実施形態では、ステップＳ２０４で静止画撮影が指示されると、ステップＳ３０７に進んで、被写体検出部１０８による被写体検出結果に応じて優先領域を決定してから、ステップＳ２０７において同時記録駆動を行う。それ以外の処理は、図２と同様であるので同じ参照番号を付し、説明を省略する。

図５は被写体検出部１０８による被写体検出の結果、優先領域が垂直画角の中央付近Ｖ３〜Ｖ４にある場合のリセット及び読み出しの時間遷移を示す図である。

図５（ａ）において、Ｍ０フィールド及びＭ１フィールドは動画を撮影するフィールドであり、図５（ｂ）に示すように、画角中央位置Ｖ０から上端Ｖ１、下端Ｖ２へ向かって交互（ジグザグ）にリセット駆動し、読み出しも同様に駆動する。静止画を撮影するＳ２フィールドでも同じ順序で駆動するが、画素数が多いので、駆動の遷移が遅くなる。なお、本第２の実施形態においてもＳ２フィールドにおいて優先領域の電荷蓄積時間がＭ０フィールド及びＭ１フィールドと等しく、且つ、１フィールド内（１周期内）に優先領域の全画素の読み出しが終了するように、ライン単位で優先領域を設定する。しかしながら、Ｓ２フィールドにおける優先領域以外の領域では、電荷蓄積時間を優先領域と等しくすると、１フィールド内に全画素の読み出しを終えることができない。従って、Ｓ２フィールドの次のＭ３フィールドの駆動を、Ｍ０フィールド及びＭ１フィールドとは異なる制御で行う。

まず、Ｍ０フィールド及びＭ１フィールドと同様に、Ｍ３フィールドにおいても、先ず、画角中央位置Ｖ０から優先領域の上端Ｖ３、優先領域の下端Ｖ４に向かって交互（ジグザグ）にリセットを駆動する。その後、Ｓ２フィールドの静止画の画素数と露光時間より時間を調整して優先領域の上端Ｖ３から全画角の上端Ｖ１と、優先領域の下端Ｖ４から全画角の下端Ｖ２を交互にリセットを駆動する。Ｍ３フィールドの読み出しはＭ０及びＭ１フィールドと同じタイミングで行うことができる。一方、Ｍ３フィールドの垂直画角Ｖ１〜Ｖ３及びＶ４〜Ｖ２については、Ｓ２フィールドの読み出しと重ならないようにリセットを行わなければならない。Ｍ３フィールドの読み出しをＭ０フィールド及びＭ１フィールドと同じように行うと、結果として垂直画角Ｖ１〜Ｖ３及びＶ４〜Ｖ２では優先領域Ｖ３〜Ｖ４よりも露光時間が短くなる。従って、本第２の実施形態においては、この露光時間の差分を補うために、優先領域Ｖ３〜Ｖ４よりも大きいゲインをかけて、垂直画角Ｖ１〜Ｖ３及びＶ４〜Ｖ２から出力される画像信号のレベルを合わせる。

図６は被写体検出部１０８による被写体検出の結果、優先領域が画角上部付近（Ｖ１〜Ｖ４）にあるの場合のリセット及び読み出しの時間遷移を示している。動画を撮影するＭ０フィールド及びＭ１フィールドでは、図５（ｂ）で説明したように、画角中央位置Ｖ０から上端Ｖ１、下端Ｖ２へ向かって交互（ジグザグ）にリセット駆動し、読み出しも同様に駆動する。

次の静止画を撮影するＳ２フィールドでは、次の順序で駆動する。まず、画角中央位置Ｖ０から予め設定された駆動切り替え位置Ｖ３までリセット駆動する。次に駆動切り替え位置Ｖ３から画角上端Ｖ１と画角中央位置Ｖ０から画角下端Ｖ２への駆動を交互（ジグザグ）に行う。途中でＶ３からＶ１のリセット駆動は先に終了するので、その後はＶ０からＶ２までの領域のみのリセット駆動を行う。Ｓ２フィールドの読み出しも、リセットと同じ順番で行う。

Ｓ２フィールドの次のＭ３フィールドの駆動は、画角中央位置Ｖ０を中心として上端Ｖ１、下端Ｖ２へ向かって交互（ジグザグ）にリセット駆動を行うが、画角Ｖ４〜Ｖ２では、Ｓ２フィールドの読み出しが終わらない。従って、画角Ｖ４〜Ｖ２では、Ｓ２フィールドの読み出しと重ならないようにリセットを行わなければならない。Ｍ３フィールドの読み出しをＭ０フィールド及びＭ１フィールドと同じように行うと、結果として垂直画角Ｖ４〜Ｖ２では優先領域Ｖ１〜Ｖ４よりも露光時間が短くなる。従って、本第２の実施形態においては、この露光時間の差分を補うために、優先領域Ｖ１〜Ｖ４よりも大きいゲインをかけて、垂直画角Ｖ４〜Ｖ２から出力される画像信号のレベルを合わせる。

図７は被写体検出部１０８による被写体検出の結果、優先領域が画角下部付近（Ｖ３〜Ｖ２）にある場合のリセットお帯読み出しの時間遷移を示している。動画を撮影するＭ０フィールド及びＭ１フィールドでは、図５（ｂ）で説明したように、画角中央位置Ｖ０から上端Ｖ１、下端Ｖ２へ向かって交互（ジグザグ）にリセット駆動し、読み出しも同様に駆動する。

次の静止画を撮影するＳ２フィールドでは、次の順序で駆動する。まず、画角中央位置Ｖ０から予め設定された駆動切り替え位置Ｖ４までリセット駆動する。次に駆動切り替え位置Ｖ４から画角下端Ｖ２と画角中央位置Ｖ０から画角上端Ｖ１への駆動を交互（ジグザグ）に行う。途中でＶ４からＶ２のリセット駆動は先に終了するので、Ｖ０からＶ１までの駆動のみのリセット駆動を行う。Ｓ２フィールドの読み出しも、リセットと同じ順番で行う。

Ｓ２フィールドの次のＭ３フィールドの駆動は、画角中央位置Ｖ０を中心として上端Ｖ１、下端Ｖ２へ向かって交互（ジグザグ）にリセット駆動を行うが、画角Ｖ１〜Ｖ３では、Ｓ２フィールドの読み出しが終わらない。従って、画角Ｖ１〜Ｖ３では、Ｓ２フィールドの読み出しと重ならないようにリセットを行わなければならない。Ｍ３フィールドの読み出しをＭ０フィールド及びＭ１フィールドと同じように行うと、結果として垂直画角Ｖ１〜Ｖ３では優先領域Ｖ３〜Ｖ２よりも露光時間が短くなる。従って、本第２の実施形態においては、この露光時間の差分を補うために、優先領域Ｖ３〜Ｖ２よりも大きいゲインをかけて、垂直画角Ｖ１〜Ｖ３から出力される画像信号のレベルを合わせる。

上記の通り本第２の実施形態によれば、動作撮影中に静止画撮影を行う場合に、被写体検出結果に基づいて優先領域を設定し、優先領域の画素を優先的にリセット及び読み取りする。このように制御することにより、被写体が画角のどの位置にあっても、動画撮影時と静止画撮影時とで、優先領域の電荷蓄積時間を同じにすることができため、動画の駒落ちを無くすと共に、優先領域の画質劣化を防ぐことが可能となる。また、静止画撮影時には、全ての画角について電荷蓄積時間を同じにするため、静止画の画質劣化を防ぐことができる。

本発明の第１及び第２の実施形態におけるビデオカメラの構成を示すブロック図である。本発明の第１の実施形態に係る動作を説明するためのフローチャートである。本発明の第２の実施形態に係る動作を説明するためのフローチャートである。本発明の第１の実施形態に係るセンサ駆動タイミング図である。本発明の第２の実施形態に係る優先領域が中央付近にある場合のセンサ駆動タイミング図である。本発明の第２の実施形態に係る優先領域が上部にある場合のセンサ駆動タイミング図である。本発明の第２の実施形態に係る優先領域が下部にある場合のセンサ駆動タイミング図である。従来のセンサ駆動タイミング図である。従来のセンサ駆動タイミング図である。

１０１レンズ
１０２ＣＭＯＳセンサ
１０３ＴＧ
１０４Ａ／Ｄ変換部
１０５システム制御部
１０６メモリ
１０７ゲイン制御部
１０８被写体検出部
１０９ＡＥ評価値取得部
１１０操作部

Claims

複数画素を有する撮像手段と、
前記撮像手段から予め決められた周期で第１の画素数の動画の各画像を読み出す駆動と、前記撮像手段から前記第１の画素数よりも多い第２の画素数の静止画を読み出す駆動とを切り替えて実行する駆動手段と、
動画の記録中に、静止画の記録を指示するための操作手段とを有し、
前記複数画素は優先領域とその他の領域とに分けられ、前記駆動手段は、動画の記録中及び前記動画の記録中に静止画の記録を行う場合に、前記撮像手段のリセット及び読み出しのそれぞれを、前記その他の領域の画素に先だって前記優先領域の画素に対して行うことを特徴とする撮像装置。
前記優先領域は、前記動画の記録中に静止画の記録を行う場合に、前記動画と前記静止画とで前記優先領域の電荷蓄積時間が等しく、且つ、前記優先領域における前記静止画の読み出しが前記予め決められた周期の１周期内に終了するように設定されていることを特徴とする請求項１に記載の撮像装置。
前記撮像手段から読み出された画像から、被写体を検出する検出手段を更に有し、
前記検出された被写体を含む領域を、前記優先領域とすることを特徴とする請求項１または２に記載の撮像装置。
前記操作手段の指示により前記静止画を読み出した次の周期で読み出した動画における、前記その他の領域の信号を、前記優先領域の信号のレベルに合わせるように増幅する増幅手段を更に有することを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
前記優先領域は、垂直方向のライン単位で設定されることを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
複数画素を有する撮像手段を含む撮像装置の駆動方法であって、
前記撮像手段から、予め決められた周期で第１の画素数の動画の各画像を読み出して記録するステップと、
前記動画の記録中に静止画の記録の指示を受け付けるステップと、
前記静止画の記録の指示を受けた場合に、前記撮像手段から、前記第１の画素数よりも多い第２の画素数の静止画を読み出して記録するステップとを有し、
前記複数画素は優先領域とその他の領域とに分けられ、前記動画及び前記静止画の記録中に、前記撮像手段のリセット及び読み出しのそれぞれを、前記その他の領域の画素に先だって前記優先領域の画素に対して行うことを特徴とする撮像装置の駆動方法。
前記優先領域は、前記動画の記録中に静止画の記録を行う場合に、前記動画と前記静止画とで前記優先領域の電荷蓄積時間が等しく、且つ、前記優先領域における前記静止画の読み出しが前記予め決められた周期の１周期内に終了するように設定されていることを特徴とする請求項６に記載の撮像装置の駆動方法。