JP5540899B2 - 撮像装置，これを搭載する携帯端末機，撮像装置の制御方法，およびプログラム - Google Patents

Description

本発明は、撮像装置に関し、特に、手ぶれ補正機能付きの撮像装置に関する。

カメラを用いて静止画や動画を撮像するときにおいて、シャッターを押すと意図せずカメラ本体が動いてしまい、これによって撮像した画像にぶれが生じることがある。これが手ぶれと呼ばれる現象である。この手ぶれによる影響を抑制するための技術として、従来、以下に説明する電子式および光学式という二つのタイプの手ぶれ補正機構が広く知られている。

まず、電子式の手ぶれ補正機構についてであるが、これは複数の画像データを取得し、これらの画像データのうち実際に記録する領域を所定の領域に絞るとともに、この領域を手ぶれが抑制される方向に移動させた上で合成するものである（たとえば、特許文献１参照）。この電子式の手ぶれ補正機構は、動画像を記録する際に特に有効である。

もう一つは、光学式の手ぶれ補正機構である。これは振動ジャイロセンサーによって手ぶれによる画像のぶれ、すなわち手ぶれ量を演算し、この手ぶれ量に基づいて光学系を構成するレンズまたは受光素子を手ぶれが抑制される方向に移動させるものである（たとえば、特許文献２参照）。また、光学系を構成するレンズおよび受光素子を一つのユニットとし、このユニットを手ぶれが抑制されように微小回転させるものも知られている（たとえば、特許文献３参照）。

特開平７−１７７４１９号公報 特開２００３−２０９７３６号公報 特開２００７−１０４４６２号公報

しかしながら、前者の電子式の手ぶれ補正機構では、撮像している画像の内容によっては手ぶれ量を演算できない場合があった。たとえば、風が吹いていて画面全体の植物が別々の方向に揺れている場合などである。
一方、後者の光学式の手ぶれ補正機構では、振動ジャイロセンサーを搭載する必要が生じるので部品点数が増加してしまう。また、この振動ジャイロセンサーは携帯端末機のように比較的小さい機器に実装するのは難しいという事情もあった。

本発明は上述した課題に鑑みてなされたものであり、部品点数を増加させることなく様々な状況において手ぶれ補正をすることを可能とした撮像装置，これを搭載する携帯端末機，撮像装置の制御方法，およびプログラムを提供することを目的とする。

本発明に係る撮像装置は、第１光学系に入射した光を光電変換して第１画像データを生成する第１撮像素子を含む第１撮像手段と、第２光学系に入射した光を光電変換して第２画像データを生成する第２撮像素子を含む第２撮像手段と、前記第２画像データを記憶する記憶手段と、前記第１画像データに基づいて手ぶれ量を演算する手ぶれ量演算手段と、前記手ぶれ量に基づいて所定の手ぶれ補正処理を行ない、前記第２画像データを手ぶれによる影響が相殺された状態にして前記記憶手段に記憶させる手ぶれ補正手段とを備えることを特徴とする。

本発明に係る撮像装置では、第１光学系に入射した光を光電変換して生成した第１画像データに基づいて手ぶれ量を演算し、手ぶれ量に基づいて所定の手ぶれ補正処理を行ない、第２画像データを手ぶれによる影響が相殺された状態にして記憶手段に記憶させる。このように、第１撮像手段にて生成した第１画像に基づいて第２画像データの手ぶれ補正処理を行なうので、第２画像データのみからでは手ぶれ補正処理を行なうのが難しい様々な状況でも手ぶれ補正処理を行なうことができる。
また、第１撮像手段および第２撮像手段という二つの撮像手段を備える撮像装置であれば、ことさら部品点数を増加させることなく手ぶれ補正処理を行なうことができる。

本発明の実施の形態１に係る撮像装置の構成を示すブロック図である。 本発明の実施の形態２に係る携帯端末機の構成を示すブロック図である。 本発明の実施の形態２に係る携帯端末機の外観を示す図である。 本発明の実施の形態２に係る携帯端末機の手ぶれによる影響を説明するための図である。

以下、本発明の実施の形態について図面を参照しながら詳細に説明する。

［実施の形態１］
まず、本発明の実施の形態１について図面を参照しながら詳細に説明する。
本発明の実施の形態１は、複数の撮像部を備える撮像装置に関するものである。

はじめに、本発明の実施の形態１に係る撮像装置１００の構成を説明する。
図１は、本発明の実施の形態１に係る撮像装置１００の構成を示すブロック図である。
本実施の形態に係る撮像装置１００は、図１に示すように、第１撮像部１０，手ぶれ量演算部１２，第２撮像部１４，手ぶれ補正部１６，および記憶部１８を備える。

第１撮像部１０は、外部から入射した光を結像する第１光学系１０ａと、この結像した光を光電変換して第１画像データを生成する第１撮像素子１０ｂとを備え、同様に、第２撮像部１４も、外部から入射した光を結像する第２光学系１４ａと、この結像した光を光電変換して第２画像データを生成する第２撮像素子１４ｂとを備える。ここで、記憶部１８に記憶させる元となる画像データは第２撮像部１４により生成される第２画像データであり、第１撮像部１０により生成される第１画像データは手ぶれ量を演算するために生成するものである。

手ぶれ量演算部１２は、第１撮像部１０により生成された第１画像データに基づいて、手ぶれによる影響を示す量である手ぶれ量を演算する。

手ぶれ補正部１６は、第２撮像部１２により生成される第２画像データが手ぶれによる影響が相殺された状態で記憶部１４に記憶されるよう、手ぶれ量演算部１６により演算された手ぶれ量に基づいた手ぶれ補正処理を行なう。

記憶部１８は、第２画像データに対して手ぶれ補正部１６による手ぶれ補正処理が施された後のデータを記憶する。

なお、上述した本実施の形態に係る撮像装置１０が備える各構成が有する機能は、ＣＰＵやメモリ、各種インターフェースなどのハードウェア資源と、メモリなどの記録媒体に記録されたプログラムとが協働することによって実現することができる。

次に、本発明の実施の形態１に係る撮像装置１００の動作、特に被写体を撮像してその静止画像や動画像を記憶部１８に記憶する際の動作を説明する。
まず、第１撮像部１０が所定時間の間に第１画像データを複数生成し、これら複数の第１画像データを手ぶれ量演算部１２に出力する。
手ぶれ量演算部１２は、これら複数の第１画像データに基づいて撮影装置１００の手ぶれ量を演算して手ぶれ補正部１６に出力する。具体的には、複数の第１画像データを比較することによって手ぶれ量をベクトルとして求め、この手ぶれ量を手ぶれ補正部１６に出力する。
これと同時に、第２撮像部１４でも複数の第２画像データを生成し、これら複数の第２画像データを手ぶれ量を手ぶれ補正部１６に出力する。
この結果、手ぶれ補正部１６は、手ぶれ量演算部１２からはベクトルとしての手ぶれ量が入力されるとともに、第２撮像部１４からは第２画像データが入力されることになる。

続いて、手ぶれ補正部１６は、第２撮像部１４から入力された第２画像データの各々に対し、手ぶれ量に基づいて手ぶれの影響が軽減するよう補正した後に合成して補正データを生成し、これを記憶部１８に出力する。
記憶部１８は、手ぶれ補正部１６から入力された補正データ、すなわち第２撮像部１４が生成した第２画像データが、手ぶれ補正部１６によって手ぶれの影響が軽減されるよう補正がなされたデータが入力され、これを記憶する。

さて、上述したように、本実施の形態に係る撮像装置１００では、第１撮像部１０および第２撮像部１４という、二つの撮像部によって二つの画像データを同時に生成し、第２撮像部１４で生成した第２画像データを記憶部１８に記憶させる際に、第１撮像部１０で生成した第１画像データに基づいて演算した手ぶれ量を用いて手ぶれ補正処理を行なっている。このため、たとえ第２撮像部１４で生成した第２画像データから手ぶれ量を演算できなくても、第１撮像部１０で生成した第１画像データから手ぶれ量を演算し、手ぶれ補正処理を行なうことができるのである。

以上説明したように、本発明の実施の形態１に係る撮像装置１００によれば、第１撮像部１０にて生成した第１画像データに基づいて手ぶれ量を演算し、この手ぶれ量に基づいて手ぶれ補正処理を行ない、第２撮像部にて生成した第２画像データを手ぶれによる影響が相殺された状態にして記憶部１８に記憶させる。このように、第１撮像部１０にて生成した第１画像に基づいて第２画像データの手ぶれ補正処理を行なうので、第２画像データのみからでは手ぶれ補正処理を行なうのが難しい様々な状況でも手ぶれ補正処理を行なうことができる。
また、第１撮像部１０および第２撮像部１４という二つの撮像部を備えれば、ことさら部品点数を増加させることなく手ぶれ補正処理を行なうことができる。

［実施の形態２］
次に、本発明の実施の形態２について図面を参照しながら詳細に説明する。
本発明の実施の形態２は、複数のカメラを備える携帯端末機２００に関するものである。上述した実施の形態１と同一の構成については、同一の符号を付すとともに詳細な説明は省略することにする。

まず、本実施の形態に係る携帯端末機２００の構成について説明する。
図２は、本発明の実施の形態２に係る携帯端末機２００の構成を示すブロック図である。
本実施の形態に係る携帯端末機２００は、図２に示すように、本発明の実施の形態１に係る撮像装置１００が備える第１撮像部１０の替わりに第１カメラ２０を備え、本発明の実施の形態１に係る撮像装置１００が備える第２撮像部１４の替わりに第２カメラ２４を備えている点が異なっている。

第１カメラ２０は、外部から入射した光を結像する第１光学系２０ａと、この結像した光を光電変換して第１画像データを生成する第１撮像素子２０ｂとを備え、同様に、第２カメラ２４も、外部から入射した光を結像する第２光学系２４ａと、この結像した光を光電変換して第２画像データを生成する第２撮像素子２４ｂとを備える。ここで、記憶部１８に記憶させる元となる画像データは第２カメラ２４により生成される第２画像データであり、第１カメラ２０により生成される第１画像データは手ぶれ量を演算するために生成するものである。

図３は、本発明の実施の形態２に係る携帯端末機２００の外観を示す図である。ここで、本発明の実施の形態２に係る携帯端末機２００は折りたたみ式の携帯端末機であり、図３（ａ）は開いた状態における携帯端末機２００の正面図であり、図３（ｂ）は開いた状態における携帯端末機２００の背面図である。
本実施の形態に係る携帯端末機２００は、図３に示すように、開いた状態では、第１カメラ２０は正面を向いているのに対し、第２カメラ２４は背面を向いており、互いに反対の方向を向いている。ここで、第２カメラ２４は、人物や風景など一般的な被写体を撮像するために用いることができる。これに対し、第１カメラ２０は、もっぱらユーザ自身を被写体として撮像するために用いることができ、たとえばテレビ電話などによる通話を行なう際に通話相手に対して送信するユーザ自身の動画像を撮像するのに用いることができる。

なお、上述した本実施の形態に係る携帯端末機２００が備える各構成が有する機能は、ＣＰＵやメモリ、各種インターフェースなどのハードウェア資源と、メモリなどの記録媒体に記録されたプログラムとが協働することによって実現することができる。

次に、本実施の形態に係る携帯端末機２００の動作、特に携帯端末機２００を開いた状態で第１カメラ２０によって被写体を撮像してその静止画像や動画像を記憶部１８に記憶する際の動作を説明する。
まず、第１カメラ２０が所定時間の間に第１画像データを複数生成し、これら複数の第１画像データを手ぶれ量演算部１２に出力する。
手ぶれ量演算部１２は、これら複数の第１画像データに基づいて携帯端末機２００の手ぶれ量を演算して手ぶれ補正部１６に出力する。
これと同時に、第２カメラ２４でも複数の第２画像データを生成し、これら複数の第２画像データを手ぶれ量を手ぶれ補正部１６に出力する。
この結果、手ぶれ補正部１６は、手ぶれ量演算部１２からはベクトルとしての手ぶれ量が入力されるとともに、第２カメラ２４からは第２画像データが入力されることになる。

さて、手ぶれ量演算部１２が手ぶれ量を演算する方法について、さらに詳細に説明する。上述したように、第１カメラ２０と第２カメラ２４とは、互いに反対方向を向いている。このため、第１カメラ２０が撮像する第１画像データと、第２カメラ２４が撮像する第２画像データとでは、手ぶれによる影響の表われ方も異なり、第１カメラ２０により得られた第１画像データに基づいて手ぶれ量を演算する際にはこうした影響の差異も考慮する必要があるのである。

図４は、本発明の実施の形態２に係る携帯端末機２００の手ぶれによる影響を説明するための図である。
いま、図４に示すように、第２カメラ２４が撮像する第２画像データを基準として、第２画像データで右側となる方向をＸ軸、第２画像データで上側となる方向をＹ軸、第２画像データで奥行きとなる方向をＺ軸とし、携帯端末機２００の手ぶれ量を、各々の軸に対して平行移動する３つの成分と、各々の軸に対して回転移動する３つの成分とに分けて考える。
この場合、Ｙ軸に対する平行移動および回転移動については、第１カメラ２０が撮像する第１画像データでも第２画像データと同一の方向に移動しているように見える。このため、第１カメラ２０によって生成された第１画像データに基づいて手ぶれ量を求める際には、Ｙ軸に対する平行移動および回転移動については、第２カメラ２４によって生成された第２画像データに基づいて手ぶれ量を演算するのと同じ方向の成分として演算すればよい。
しかしながら、Ｘ軸に対する平行移動および回転移動と，Ｚ軸に対する平行移動および回転移動とについては、いずれも第１カメラ２０が撮像する第１画像データでは第２カメラ２４が撮像する第２画像データとは逆の方向に移動しているように見える。このため、第１カメラ２０によって生成された第１画像データに基づいて手ぶれ量を求める際には、Ｘ軸およびＺ軸に対する平行移動および回転移動については、第２カメラ２４によって生成された第２画像データに基づいて手ぶれ量を演算するときとは逆方向の成分として演算すればよい。

最後に、手ぶれ補正部１６は、第２カメラ２４から入力された第２画像データの各々に対し、手ぶれ量に基づいて手ぶれの影響が軽減するよう手ぶれ補正処理を施した上でこれを記憶部１８に出力する。
記憶部１８は、このようにして第２カメラ２４が生成した第２画像データが、手ぶれ補正部１６によって手ぶれの影響が軽減されるよう補正がなされた状態で入力され、これを記憶することができるのである。
なお、手ぶれ補正部１６が実行する手ぶれ補正処理としては、電子式の手ぶれ補正処理や、光学式の手ぶれ補正処理などの公知の技術を用いればよい。前者の電子式の手ぶれ補正処理の場合、複数ある第２画像データの各々に対し、表示する領域を所定の範囲に絞り込むと共にこの領域を手ぶれ量に基づいて移動させた上でこれらを合成すればよい。後者の光学式の手ぶれ補正処理の場合、第２撮像素子２４ｂのうち光が集まる箇所が手ぶれにかかわらず変化しないよう、第２カメラ２４の内部にある第２光学系２４ａおよび第２撮像素子２４ｂのうちの少なくとも一つを、手ぶれ量に基づいて移動または回転させればよい。

以上説明したように、本発明の実施の形態２に係る携帯端末機２００によれば、第１カメラ２０により生成した第１画像データに基づいて手ぶれ量を演算し、この手ぶれ量に基づいて第２カメラ２４により生成される第２画像データに手ぶれ補正処理を行ない、第２画像データを手ぶれによる影響が相殺された状態にして記憶部１８に記憶させている。このように、第１カメラ２０にて生成した第２画像データに基づいて第２画像データの手ぶれ補正処理を行なうので、第２カメラ２４により生成された第２画像データのみからでは手ぶれ補正処理を行なうのが難しい様々な状況でも手ぶれ補正処理をおこなうことができるのである。
また、携帯端末機２００は、第１カメラ２０および第２カメラ２４という二つのカメラを備えていればことさら部品点数を増加させることなく手ぶれ補正処理を行なうことができる。携帯端末機２００のように、第１カメラ２０および第２カメラ２４という二つのカメラを備える携帯端末機が既に広く普及していることを考えると、その汎用性は極めて高いと言える。

［変形例］
なお、上述した本発明の実施の形態２では、折りたたみ式の携帯端末機２００を例にとって説明したが、折りたたみ式のものに限られない。複数のカメラを備えるのであれば、ストレート式、スライド式などの他の形態の携帯端末機でもよい。

また、上述した本発明の実施の形態２に係る携帯端末機２００では、第１カメラ２０および第２カメラ２４は、使用状態において互いに反対方向を向くものとして説明したが、これらが互いに反対方向を向いていなくてもよい。ただし、二つのカメラは、異なる方向を向いており、互いに異なる方向からの光を取り込むものとした方が望ましい。その方が、両者が異なる被写体を撮像することになり、第２カメラ２４により生成された第２画像データからは手ぶれ量を演算するのが難しい状況でも手ぶれ補正処理を行なうことができるという効果が顕著となるためである。

さらに、上述した本発明の実施の形態２に係る携帯端末機２００では、第１カメラ２０および第２カメラ２４という二つのカメラを備えているが、二つに限られず、三つや四つなど複数のカメラを備えていればよい。

また、上述した本発明の実施の形態２に係る携帯端末機２００では、手ぶれ量の成分として、Ｘ，Ｙ，およびＺ軸という三つの軸に対する平行移動と、三つの軸に対する回転移動という合計六つの成分を考慮するものとして説明したが、三つの軸に対する平行移動の成分は考慮せずに、回転移動の成分のみを考慮するものとしてもよい。

さらに、上述した本発明の実施の形態２では、二つのカメラを備える携帯端末機の形態として説明したが、二つのカメラを備える撮像装置の形態としてもよい。さらに、こうした撮像装置の制御方法の形態としたり、こうした撮像装置に組み込まれるプログラムの形態としてもよい。

（付記１）第１光学系に入射した光を光電変換して第１画像データを生成する第１撮像素子を含む第１撮像手段と、第２光学系に入射した光を光電変換して第２画像データを生成する第２撮像素子を含む第２撮像手段と、前記第２画像データを記憶する記憶手段と、前記第１画像データに基づいて手ぶれ量を演算する手ぶれ量演算手段と、前記手ぶれ量に基づいて所定の手ぶれ補正処理を行ない、前記第２画像データを手ぶれによる影響が相殺された状態にして前記記憶手段に記憶させる手ぶれ補正手段とを備えることを特徴とする撮像装置。

（付記２）前記所定の手ぶれ補正処理は、複数ある前記第２画像データの各々に対して前記手ぶれ量に基づいて補正した上でこれらを合成する処理であることを特徴とする付記１に記載の撮像装置。

（付記３）前記所定の手ぶれ補正処理は、前記第２光学系および前記第２撮像素子のうち少なくとも一つを前記手ぶれ量に基づいて移動または回転させながら前記第２画像データを生成させる処理であることを特徴とする付記１に記載の撮像装置。

（付記４）前記第１光学系および前記第２光学系は、互いに異なる方向からの光を取り込むことを特徴とする付記１〜３のいずれかに記載の撮像装置。

（付記５）前記手ぶれ量演算手段は、複数ある前記第１画像データの各々を比較することによって手ぶれ量を演算することを特徴とする付記１〜４のいずれかに記載の撮像装置。

（付記６）付記１〜５のいずれかに記載の撮像装置を搭載することを特徴とする携帯端末機。

（付記７）第１光学系に入射した光を光電変換して第１画像データを生成する第１撮像素子を含む第１撮像手段と、第２光学系に入射した光を光電変換して第２画像データを生成する第２撮像素子を含む第２撮像手段と、前記第２画像データを記憶する記憶手段とを備える撮像装置の制御方法であって、前記第１画像データに基づいて手ぶれ量を演算するステップと、前記手ぶれ量に基づいて所定の手ぶれ補正処理を行ない、前記第２画像データを手ぶれによる影響が相殺された状態にして前記記憶手段に記憶させるステップとを備えることを特徴とする撮像装置の制御方法。

（付記８）第１光学系に入射した光を光電変換して第１画像データを生成する第１撮像素子を含む第１撮像手段と、第２光学系に入射した光を光電変換して第２画像データを生成する第２撮像素子を含む第２撮像手段と、前記第２画像データを記憶する記憶手段とを備える撮像装置に実装されるプログラムであって、前記第１画像データに基づいて手ぶれ量を演算する機能と、前記手ぶれ量に基づいて所定の手ぶれ補正処理を行ない、前記第２画像データを手ぶれによる影響が相殺された状態にして前記記憶手段に記憶させる機能とを実現することを特徴とするプログラム。

本発明は撮像装置の製造業などに利用可能である。

１０…第１撮像部、１０ａ…第１光学系、１０ｂ…第１撮像素子、１２…手ぶれ演算部、１４…第２撮像部、１４ａ…第２光学系、１４ｂ…第２撮像素子、１６…手ぶれ補正部、１８…記憶部、２０…第１カメラ、２０ａ…第１光学系、２０ｂ…第１撮像素子、４…第２カメラ、２４ａ…第２光学系、２４ｂ…第２撮像素子、１００…撮像装置、２００…携帯端末機。

Claims (5)

1. 第１光学系に入射した光を光電変換して第１画像データを生成する第１撮像素子を含む第１撮像手段と、
   第２光学系に入射した光を光電変換して第２画像データを生成する第２撮像素子を含む第２撮像手段と、
   前記第２画像データを記憶する記憶手段と、
   前記第１画像データに基づいて手ぶれ量を演算する手ぶれ量演算手段と、
   前記手ぶれ量に基づいて所定の手ぶれ補正処理を行ない、前記第２画像データを手ぶれによる影響が相殺された状態にして前記記憶手段に記憶させる手ぶれ補正手段と
   を備え、
   前記所定の手ぶれ補正処理は、複数ある前記第２画像データの各々に対して前記手ぶれ量に基づいて補正した上でこれらを合成する処理であり、
   前記第１光学系および前記第２光学系は、互いに異なる方向からの光を取り込む
   ことを特徴とする撮像装置。
2. 前記手ぶれ量演算手段は、複数ある前記第１画像データの各々を比較することによって手ぶれ量を演算する
   ことを特徴とする請求項１に記載の撮像装置。
3. 請求項１または２のいずれかに記載の撮像装置を搭載する
   ことを特徴とする携帯端末機。
4. 第１光学系に入射した光を光電変換して第１画像データを生成する第１撮像素子を含む第１撮像手段と、前記第１光学系と異なる方向から第２光学系に入射した光を光電変換して第２画像データを生成する第２撮像素子を含む第２撮像手段と、前記第２画像データを記憶する記憶手段とを備える撮像装置の制御方法であって、
   前記第１画像データに基づいて手ぶれ量を演算するステップと、
   前記手ぶれ量に基づいて所定の手ぶれ補正処理を行ない、前記第２画像データを手ぶれによる影響が相殺された状態にして前記記憶手段に記憶させるステップと
   を備え
   前記所定の手ぶれ補正処理は、複数ある前記第２画像データの各々に対して前記手ぶれ量に基づいて補正した上でこれらを合成する処理である
   ことを特徴とする撮像装置の制御方法。
5. 第１光学系に入射した光を光電変換して第１画像データを生成する第１撮像素子を含む第１撮像手段と、前記第１光学系と異なる方向から第２光学系に入射した光を光電変換して第２画像データを生成する第２撮像素子を含む第２撮像手段と、前記第２画像データを記憶する記憶手段とを備える撮像装置に実装されるプログラムであって、
   前記第１画像データに基づいて手ぶれ量を演算する機能と、
   前記手ぶれ量に基づいて所定の手ぶれ補正処理を行ない、前記第２画像データを手ぶれによる影響が相殺された状態にして前記記憶手段に記憶させる機能とを実現し、
   前記所定の手ぶれ補正処理は、複数ある前記第２画像データの各々に対して前記手ぶれ量に基づいて補正した上でこれらを合成する処理である
   ことを特徴とするプログラム。

Images