JP5540935B2

JP5540935B2 - 撮像装置

Info

Publication number: JP5540935B2
Application number: JP2010143611A
Authority: JP
Inventors: 基範小倉; 祐士上田; 浩一豊村
Original assignee: Panasonic Corp; Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Corp; Panasonic Holdings Corp
Priority date: 2010-06-24
Filing date: 2010-06-24
Publication date: 2014-07-02
Anticipated expiration: 2030-06-24
Also published as: JP2012010063A

Description

本発明は撮像装置に関し、特に、電子式の手振れ補正機能を有する撮像装置に関する。

特許文献１は、手振れ補正機能を有するデジタルビデオカメラを開示する。このデジタルビデオカメラは、光学式の手振れ補正機能と、電子式の手振れ補正機能とを有している。このデジタルビデオカメラは、角速度センサを用いて、自装置の振れを検出する。このデジタルビデオカメラは、検出した自装置の振れを光学式の手振れ補正機能と電子式の手振れ補正機能とを用いて補正する。

これにより、このデジタルビデオカメラは、飛躍的に大きい補正角度を得て、大強度の振れでも十分に補正できる。

特開２００９−２７２８９０号公報

しかしながら、ライン毎に露光タイミングが異なる撮像素子が撮像した画像に対して電子式手振れ補正を施すと、撮像した画像が歪んでしまう。これは、露光中に使用者から受ける手振れの量が各ラインによって異なるからである。

本発明は、比較的歪みの目立たない画像を撮像する撮像装置を提供することを目的とする。

上記課題を解決するために、本発明にかかる撮像装置は、順次ラインを読み出すことにより被写体像を露光して、画像を生成する撮像部と、手振れ量を演算し、演算した手振れ量が所定量よりも大きいときは、所定量を補正量として決定し、決定された補正量に基づいて、前記撮像部で生成された画像の全ラインに対して補正処理を施す制御部と、を備える。

また、本発明にかかる撮像装置は、制御部は、演算した手振れ量が所定量よりも小さいときは、演算した手振れ量により補正量を決定し、演算した手振れ量が所定量よりも大きいときは、所定量により補正量を決定するようにしてもよい。

また、本発明にかかる撮像装置において、撮像部は、ローリングシャッター方式の露
光を行う撮像部であるとしてもよい。

また、本発明にかかる撮像装置において、撮像部は、ＣＭＯＳイメージセンサーであ
るとしてもよい。

本発明によれば、撮像画像の歪みを目立たなくする撮像装置を提供できる。

デジタルビデオカメラ１００の構成を示すブロック図手振れがＣＭＯＳイメージセンサー１８０において生成される画像に与える影響を説明するための模式図電子式手振れ補正の制御動作を説明するためのフローチャート手振れ量の大きさに基づいて、１フィールドにおける補正量がどの程度変化するかを示す図１フィールドにおける補正量にクリップをかけなかった場合の例を示す図１フィールドにおいて補正量にクリップをかけた場合の例を示す図１フィールドにおいて補正量にクリップをかけた場合の例を示す図

〔１．実施の形態１〕
〔１−１．構成〕
本実施の形態にかかるデジタルビデオカメラ１００の電気的構成について、図１を用いて説明する。図１は、デジタルビデオカメラ１００の構成を示すブロック図である。デジタルビデオカメラ１００は、ズームレンズ１１０等からなる光学系により形成された被写体像をCMOSイメージセンサー１８０で撮像する。CMOSイメージセンサー１８０で生成された映像データは、画像処理部１９０で各種処理が施され、メモリカード２４０に格納される。また、メモリカード２４０に格納された映像データは、液晶モニタ２７０で表示可能である。以下、デジタルビデオカメラ１００の構成を詳細に説明する。

デジタルビデオカメラ１００の光学系は、ズームレンズ１１０、ＯＩＳ１４０、フォーカスレンズ１７０を含む。ズームレンズ１１０は、光学系の光軸に沿って移動することにより、被写体像を拡大又は縮小可能である。また、フォーカスレンズ１７０は、光学系の光軸に沿って移動することにより、被写体像のピントを調整する。

ＯＩＳ１４０は、内部に光軸に垂直な面内で移動可能な補正レンズを有する。ＯＩＳ１４０は、デジタルビデオカメラ１００の振れを相殺する方向に補正レンズを駆動することにより、被写体像の振れを低減する。

ズームモータ１３０は、ズームレンズ１１０を駆動する。ズームモータ１３０は、パルスモータやＤＣモータ、リニアモータ、サーボモータなどで実現してもよい。ズームモータ１３０は、カム機構やボールネジなどの機構を介してズームレンズ１１０を駆動するようにしてもよい。検出器１２０は、ズームレンズ１１０が光軸上でどの位置に存在するのかを検出する。検出器１２０は、ズームレンズ１１０の光軸方向への移動に応じて、ブラシ等のスイッチによりズームレンズの位置に関する信号を出力する。

ＯＩＳアクチュエータ１５０は、ＯＩＳ１４０内の補正レンズを光軸と垂直な面内で駆動する。ＯＩＳアクチュエータ１５０は、平面コイルや超音波モータなどで実現できる。また、検出器１６０は、ＯＩＳ１４０内における補正レンズの移動量を検出する。

CMOSイメージセンサー１８０は、ズームレンズ１１０等からなる光学系で形成された被写体像を撮像して、映像データを生成する。CMOSイメージセンサー１８０は、露光、転送、電子シャッタなどの各種動作を行う。

画像処理部１９０は、CMOSイメージセンサー１８０で生成された映像データに対して各種の処理を施す。画像処理部１９０は、CMOSイメージセンサー１８０で生成された映像データに対して処理を施し、液晶モニタ２７０に表示するための映像データを生成したり、メモリカード２４０に再格納するための映像データを生成したりする。例えば、画像処理部１９０は、CMOSイメージセンサー１８０で生成された映像データに対してガンマ補正やホワイトバランス補正、傷補正などの各種処理を行う。また、画像処理部１９０は、CMOSイメージセンサー１８０で生成された映像データに対して、Ｈ．２６４規格やＭＰＥＧ２規格に準拠した圧縮形式等により映像データを圧縮する。画像処理部１９０は、ＤＳＰやマイコンなどで実現可能である。

コントローラー２１０は、全体を制御する制御手段である。コントローラー２１０は、半導体素子などで実現可能である。コントローラー２１０は、ハードウェアのみで構成してもよいし、ハードウェアとソフトウェアとを組み合わせることにより実現してもよい。コントローラー２１０は、マイコンなどで実現できる。

メモリ２００は、画像処理部１９０及びコントローラー２１０のワークメモリとして機能する。メモリ２００は、例えば、ＤＲＡＭ、強誘電体メモリなどで実現できる。

液晶モニタ２７０は、CMOSイメージセンサー１８０で生成した映像データが示す画像や、メモリカード２４０から読み出した映像データが示す画像を表示可能である。

ジャイロセンサー２２０は、圧電素子等の振動材等で構成される。ジャイロセンサー２２０は、圧電素子等の振動材を一定周波数で振動させコリオリ力による力を電圧に変換して角速度情報を得る。ジャイロセンサー２２０から角速度情報を得、この揺れを相殺する方向にＯＩＳ内の補正レンズを駆動させることにより、デジタルビデオカメラ１００は、使用者による手振れを補正する。

カードスロット２３０は、メモリカード２４０を着脱可能である。カードスロット２３０は、機械的及び電気的にメモリカード２４０と接続可能である。メモリカード２４０は、フラッシュメモリや強誘電体メモリなどを内部に含み、データを格納可能である。

内部メモリ２８０は、フラッシュメモリや強誘電体メモリなどで構成される。内部メモリ２８０は、デジタルビデオカメラ１００全体を制御するための制御プログラム等を格納する。

操作部材２５０は、使用者から操作を受け付ける部材である。ズームレバー２６０は、使用者からズーム倍率の変更指示を受け付ける部材である。

〔１−２．CMOSイメージセンサー１８０における手振れ〕
使用者の手振れがＣＭＯＳイメージセンサー１８０において生成される画像に与える影響について、図２を用いて説明する。図２は、手振れがＣＭＯＳイメージセンサー１８０において生成される画像に与える影響を説明するための模式図である。

ＣＭＯＳイメージセンサー１８０は１フィールドを形成する各ラインにおいて、露光するタイミングが異なる。つまり、ＣＭＯＳイメージセンサー１８０は、ローリングシャッター方式の露光を行う。各ラインの露光するタイミングが異なることで、各ラインにおける手振れ量が異なる。ＣＭＯＳイメージセンサー１８０は、露光するタイミングの異なるラインを合わせて１フィールドの画像とする。従って、ＣＭＯＳイメージセンサー１８０の出力する１フィールドの画像は、各ラインによって異なる手振れ量の影響を受ける。

〔１−３．電子式手振れ補正〕
本実施の形態にかかるデジタルカメラ１００の電子式手振れ補正について、図３を用いて説明する。図３は、デジタルカメラ１００における、電子式手振れ補正の制御動作を説明するためのフローチャートである。なお、電子式手振れ補正とは、撮像素子により生成された画像の切り出し範囲を１フィールド毎に変更することで、使用者の手振れが撮像画像に与える影響を低減する手振れ補正方式である。なお、本実施の形態においては、電子式手振れ補正について説明するが、光学式手振れ補正を行った残りの振れを電子的に補正するような場合にも適用できる。

使用者は、操作部材２５０を操作することにより、デジタルカメラ１００を撮影モードに設定できる（Ｓ１００）。撮影モードに設定されると、デジタルカメラ１００は、使用者による手振れが撮像画像に与える影響の補正を開始する。つまり、撮影モードに設定されると、デジタルカメラ１００は電子式手振れ補正を開始する。

まず、コントローラー２１０は画像処理部１９０の信号を取得し、手振れ量を演算する（Ｓ１１０）。具体的には、撮像された１フィールドの画像と、そのフィールドよりも前に撮像された１フィールドの画像との差分を演算する。この差分が手振れ量となる。

続いてコントローラー２１０は、演算した手振れ量に基づいて、１フィールド間の補正量を演算する（S１２０）。コントローラー２１０は、演算した補正量と所定の値とを比較する（S１３０）。

演算した補正量が所定の値より小さい場合、コントローラー２１０は、演算した補正量に基づいて補正する（Ｓ１４０）。つまり、ＣＭＯＳイメージセンサー１８０により生成された画像のうち、記録画像として用いる画像の切り出し範囲を決定し、その範囲を切り出す。

ステップＳ１３０において、演算した補正量が所定の値より大きい場合、コントローラー２１０は、演算した補正量にクリップをかけて補正する（Ｓ１５０）。つまり、１フィールドにおいて記録画像の切り出し範囲をずらす量にクリップをかける。

本制御動作を実施した際の、手振れ量と１フィールドにおける補正量の関係を図４に示す。図４は、手振れ量の大きさに基づいて、１フィールドにおける補正量がどの程度変化するかを示す図である。図４に示すように、デジタルカメラ１００は、手振れ量がある所定の値以上になると、１フィールドにおける補正量にクリップをかける。

このように、デジタルカメラ１００は、手振れ量に基づいて、１フィールドにおける電子式補正量にクリップをかける。このようにする理由について図５、図６、図７を用いて説明する。

図５は１フィールドにおける補正量にクリップをかけなかった場合の例である。ＣＭＯＳイメージセンサー１８０における手振れ量は各ラインで異なる。図５では、画面の下のラインになるに従って、手振れ量が大きくなっている。この時、１ライン目の手振れ量を打ち消す補正量で全ラインを補正すると、１ライン目は完全に手振れが打ち消されるが、画面の下のラインになるに従ってブレ残りが大きくなる。ＴＶモニタ上で見ると、１ライン目が止まり、画面の下のラインが振れている歪んだ映像になる。この映像は１ライン目が完全に停止している分、相対的に画面の下のラインの歪みが目立ち、違和感のある映像となる。

図６、７は１フィールドにおいて補正量にクリップをかけた場合の例である。図６は図５と同様、画面下のラインになるに従って手振れ量が大きくなっている。この時、補正量にクリップをかけて全ラインを補正すると、１ライン目にも少しブレ残りが発生する。ＴＶモニタ上で見ると、画面上から下になるにつれ、補正残りが大きくなる映像になる。この映像は画面の上が少し振れて見える分、相対的に画面の下のブレ残りも目立たなくなり、違和感の少ない映像になる。

図７は画面の下のラインになるに従い、所定の値以下で手振れ量が大きくなっている例である。この時、手振れ量が所定の値以下である為、補正量にクリップはかからない。従って、１ライン目の手振れ量を打ち消す補正量で全ラインを補正すると、１ライン目は完全に手振れが打ち消され、画面の下のラインにはブレが残る。ＴＶモニタ上で見ると、１ライン目が止まり、画面の下が振れている映像になる。しかしながら、この映像は画面上が完全に停止していても、画面の下における振れの残り量が少ない為、違和感の少ない映像となる。

このように本実施の形態にかかるデジタルカメラ１００は、電子式に手振れを補正する際に、手振れの量に応じて、１フィールド間の補正量にクリップをかける。これにより、デジタルカメラ１００は、画面の上下で発生する歪みを軽減し、違和感の少ない映像を生成できる。
以上のように、デジタルカメラ１００は、複数のラインから構成され、各ラインの露光タイミングが異なる撮像素子（ＣＭＯＳイメージセンサー１８０）と、振れが撮像素子により生成された撮像画像に与える影響を、撮像素子の大きさに基づく制限の範囲内で、電子的に補正する補正手段と、を備え、制限の範囲内で一度に補正可能な振れを受けると、補正手段は、受けた振れの振れ量に応じて、振れが前記撮像画像に与える影響を完全に補正するか、部分的に補正するかを決定する。
また、デジタルカメラ１００は、補正手段は、受けた振れの振れ量が所定量より小さい場合には、振れが撮像画像に与える影響を完全に補正し、受けた振れの振れ量が所定量より大きい場合には、振れが撮像画像に与える影響を部分的に補正するよう決定するようにしてもよい。
〔２．他の実施の形態〕
以上により、本発明の実施の形態として、実施の形態１を説明した。しかし、本発明は、これらには限定されない。そこで、本発明の他の実施の形態を本欄にまとめて説明する。

本実施の形態にかかるデジタルカメラ１００の光学系及び駆動系は、図１に示すものに限定されない。例えば、図１では３群構成の光学系を例示しているが、他の群構成のレンズ構成としてもよい。また、それぞれのレンズは、１つのレンズで構成してもよく、複数のレンズから構成されるレンズ群として構成してもよい。

また、撮像手段として、ＣＭＯＳイメージセンサー１８０を例示したが、本発明はこれに限定されない。例えば、ＮＭＯＳイメージセンサーで構成してもよい。要するに、ローリングシャッター方式の露光を行うイメージセンサーであればどのようなイメージセンサーであってもよい。

また、コントローラー２１０の手振れ量の演算に画像処理部１９０の信号を用いたが、ジャイロセンサー２２０を用いてもよい。

本発明は、デジタルビデオカメラやデジタルスチルカメラ等の撮像装置に適用できる。

１００デジタルビデオカメラ
１１０ズームレンズ
１２０検出器
１３０ズームモータ
１４０ＯＩＳ
１５０ＯＩＳアクチュエータ
１６０検出器
１７０フォーカスレンズ
１８０ＣＭＯＳイメージセンサー
１９０画像処理部
２００メモリ
２１０コントローラー
２２０ジャイロセンサー
２３０カードスロット
２４０メモリカード
２５０操作部材
２６０ズームレバー
２７０液晶モニタ
２８０内部メモリ

Claims

順次ラインを読み出すことにより被写体像を露光して、画像を生成する撮像部と、
手振れ量を演算し、前記演算した手振れ量が所定量よりも大きいときは、前記所定量を補正量として決定し、前記決定された補正量に基づいて、前記撮像部で生成された画像の全ラインに対して補正処理を施す制御部と、を備えた撮像装置。
前記制御部は、
前記演算した手振れ量が所定量よりも小さいときは、前記演算した手振れ量により前記補正量を決定する、
請求項１に記載の撮像装置。