JP5736512B2 - 撮像装置およびその動作制御方法 - Google Patents

Description

この発明は，撮像装置およびその動作制御方法に関する。

手振れによる画像のボケを低減するためにカメラには手振れ補正機能が付加されていることがある。

特許文献１に記載のものは，光学的な手振れ補正を行ったときに，レンズの光収差のために，撮影画像の周縁部に伸び縮みが生じてしまうのを防止することを課題としており，ジャイロ・センサによって手振れが検出され，補正演算回路でずれ補正量が演算されて，演算されたズレ補正量にもとづいて光学的に振れ補正を行ったときには，補正方向および補正量を示す補正ベクトル・データにもとづいて，撮影領域内で基準位置を移動し，移動した基準位置にもとづいて，各画素に対する歪曲補正を行っている。

また，特許文献２に記載のものは，撮像レンズ系の画像歪の影響を排除して画像を正確に復元することが課題であり，光学系の画像劣化情報を記憶するとともに，撮影時の手振れを検出して時系列の手振れ検出信号を記憶し，画像データを光学系の画像劣化情報にもとづいて補正し，画像劣化情報で補正した画像データを手振れ検出信号にもとづいて手振れによる画像データの劣化を復元することにより，光学系の画像歪の影響を排除した画像の復元を行っている。特許文献２に記載のものでは，手振れによる画像の劣化を復元するために画像復元関数を算出する回路を具備し，画像復元関数は，基本軌跡演算回路の出力から原画像がどのように変化するかを予測して出力される。

さらに，特許文献３に記載のものは，撮影レンズの画角の大きさ等による露光中における画面中心位置と周辺位置との間の像ずれ量の差が目立たないようにぶれ補正を行うことができるぶれ補正機能付きカメラを提供することが課題であり，レンズユニットのFlashRomにカメラボディにおけるぶれ補正の際の補正限界値用Δｈを求め，ブレ補正の際の撮像素子シフト量を制限している。つまり，ディストーションの補正を行うのではなくディストーションの大きな領域を検出して回避している。

特開2006-129175号公報 特開2006-33759号公報 特開2007-233166号公報

手振れ補正が行われると，手振れ方向，手振れ量などによりディストーションなどの光学歪，シェーディングなどがフレームごとに異なってしまうことがあり，動画の画像歪が発生することがある。しかしながら，引用文献１においては１フレーム内で複雑にストロークする手振れ補正に対する考慮がなされていない。また，引用文献２においては，手振れ検出信号を記録しただけでは光学系の画像歪は補正できず，時系列の手振れによる影響を受けた光学系の画像歪を補正していない。さらに，引用文献３においては，ディストーション補正限界未満であってもフレームごとの手振れ情報にもとづいた補正を行えない。このように引用文献１〜３のいずれにおいても手振れ補正による像歪み，動画の画像歪は解決できない。

この発明は，手振れ補正による像歪みを軽減することを目的とする。また，この発明は，動画の画像歪を軽減することを目的とする。

第１の発明は，被写体を撮像し，被写体像を表わす画像データを出力する撮像素子（固体電子撮像素子），上記撮像素子の受光面前方に設けられ，上記撮像素子の受光面上に被写体像を結像する撮像光学系，および手振れに応じて上記撮像素子の中心と上記撮像光学系の光軸中心との相対的位置を補正する手振れ補正機構を備えた撮像装置において，上記撮像素子の中心と上記撮像光学系の光軸中心とが上記手振れ補正機構により相対的に動かされた位置を，上記撮像素子の露光期間中に複数回検出する位置検出手段，上記位置検出手段により検出された位置から上記撮像素子によって撮像された被写体像における上記撮像光学系の光軸中心の位置を光軸位置として算出する光軸位置算出手段，ならびに上記光軸位置算出手段によって算出された光軸中心の位置を用いて上記撮像素子により撮像された被写体像の光学歪補正またはシェーディング補正の少なくとも一方の補正を行う補正手段を備えていることを特徴とする。

第１の発明は，上記撮像装置に適した動作制御方法も提供している。すなわち，被写体を撮像し，被写体像を表わす画像データを出力する撮像素子，上記撮像素子の受光面前方に設けられ，上記撮像素子の受光面上に被写体像を結像する撮像光学系，および手振れに応じて上記撮像素子の中心と上記撮像光学系の値光軸中心との相対的位置を補正する手振れ補正機構を備えた撮像装置の動作制御方法において，位置検出手段が，上記手振れ補正機構により上記撮像素子の中心と上記撮像光学系の光軸中心とが相対的に動かされた位置を，上記撮像素子の露光期間中に複数回検出し，光軸位置算出手段が，上記位置検出手段により検出された位置から上記撮像素子によって撮像された被写体像における上記撮像光学系の光軸中心の位置を算出し，補正手段が，上記光軸位置算出手段によって算出された光軸中心の位置を用いて上記撮像素子により撮像された被写体像の光学歪補正またはシェーディング補正の少なくとも一方の補正を行うものである。

第１の発明によると，手振れ補正により撮像素子の中心と撮像光学系の光軸中心とが相対的に動かされた位置が露光期間中において複数回検出されるので，その検出された位置を用いて，撮像された被写体像における撮像光学系の光軸中心位置を光軸位置として算出できる。算出された光軸中心位置を利用して，被写体像の光学歪補正またはシェーディング補正の少なくとも一方の補正を行うことができる。手振れ補正により撮像素子の中心と撮像光学系の光軸中心とが相対的に動かされた位置は，露光期間中において複数回検出されるので，被写体像における撮像光学系の光軸中心位置をより正確に算出でき，被写体像の光学歪補正またはシェーディング補正をより正確に実現できる。また，動画を構成する複数フレームの被写体像に対して上述した補正が行われることにより，動画歪を軽減させることもできる。

光軸位置算出手段は，たとえば，位置検出手段によって複数回検出された位置のうち，撮像素子と撮像光学系とがもっともずれた位置から光軸位置を算出するものである。

位置検出手段によって複数回検出された位置の軌跡を生成する軌跡生成手段をさらに備えてもよい。この場合，光軸位置算出手段は，たとえば，軌跡生成手段によって生成された軌跡から撮像素子によって撮像された被写体像における撮像光学系の光軸位置を算出するものとなろう。

光軸位置算出手段は，たとえば，軌跡生成手段によって生成された軌跡によって示される撮像素子と撮像光学系とが相対的に動かされた位置のうち，垂直方向または水平方向において方向転換があった位置から撮像素子によって撮像された被写体像における撮像光学系の光軸位置を算出するものでもよい。

光軸位置算出手段は，軌跡生成手段によって生成された軌跡によって示される撮像素子と撮像光学系とが相対的に動かされた位置のうち，動き量がしきい値以上の場合に垂直方向または水平方向において方向転換があった位置から撮像素子によって撮像された被写体像における撮像光学系の光軸位置を算出するものでもよい。

撮像素子は，たとえば，露光期間中に被写体像の一部を表わす部分画像データを複数回出力するものであり，補正手段は，たとえば，撮像素子から前回の部分画像データ出力から今回の部分画像データ出力までの間に位置検出手段において検出された位置を用いて今回の部分画像データによって表される部分画像の光学歪補正またはシェーディング補正を行うものである。

撮像素子は，たとえば，一定周期で被写体を撮像し，動画の被写体像を表わす画像データを出力する，あるいは所与のシャッタ時間の間露光して静止画の被写体像を表わす画像データを出力するものである。

撮像光学系の焦点距離を変えずに撮像素子の受光面上に結像する被写体像の大きさを変えるズーム・レンズをさらに備えていてもよい。この場合，補正手段は，たとえば，光学歪量が第１のしきい値以上または第２のしきい値以下となるズーム・レンズ位置であるときに，位置検出手段において検出された位置を用いて撮像素子により撮像された被写体像の光学歪補正を行うものとなろう。

第２の発明は，被写体を撮像し，被写体像を表わす画像データを出力する撮像素子，上記撮像素子の受光面前方に設けられ，上記撮像素子の受光面上に被写体像を結像する撮像光学系，および手振れに応じて上記撮像素子の中心と上記撮像光学系の光軸中心との相対的位置を補正する手振れ補正機構を備えた撮像装置において，露光期間開始時における上記撮像素子の中心と上記撮像光学系の光軸中心との初期位置の検出を含み，上記撮像素子の中心と上記撮像光学系の光軸中心とが上記手振れ補正機構により相対的に動かされた位置を，上記撮像素子の露光期間中に複数回検出する位置検出手段，ならびに上記位置検出手段において検出された初期位置とその他の位置とから上記撮像素子により撮像された被写体像の光学歪補正またはシェーディング補正の少なくも一方を行う補正手段を備えていることを特徴とする。

第２の発明は，撮像装置に適した動作制御方法も提供している。すなわち， 被写体を撮像し，被写体像を表わす画像データを出力する撮像素子，上記撮像素子の受光面前方に設けられ，上記撮像素子の受光面上に被写体像を結像する撮像光学系，および手振れに応じて上記撮像素子の中心と上記撮像光学系の光軸中心との相対的位置を補正する手振れ補正機構を備えた撮像装置の動作制御方法において，位置検出手段が，露光期間開始時における上記撮像素子の中心と上記撮像光学系の光軸中心との初期位置の検出を含み，上記撮像素子の中心と上記撮像光学系の光軸中心とが上記手振れ補正機構により相対的に動かされた位置を，上記撮像素子の露光期間中に複数回検出し，補正手段が，上記位置検出手段において検出された初期位置とその他の位置とから上記撮像素子により撮像された被写体像の光学歪補正またはシェーディング補正の少なくも一方を行うものである。

第２の発明によると，露光期間開始時における上記撮像素子の中心と上記撮像光学系の光軸中心との初期位置の検出を含み，撮像素子の中心と撮像光学系の光軸中心とが手振れ補正により相対的に動かされた位置が露光期間中において複数回検出されるので，その検出された初期位置とその他の位置を利用して，被写体像の光学歪補正またはシェーディング補正の少なくとも一方の補正を比較的正確に行うことができる。また，動画を構成する複数フレームの被写体像に対して上述した補正が行われることにより，動画歪を軽減させることもできる。

第３の発明は，被写体を撮像し，被写体像を表わす画像データを出力する撮像素子，上記撮像素子の受光面前方に設けられ，上記撮像素子の受光面上に被写体像を結像する撮像光学系，および手振れに応じて上記撮像素子の中心と上記撮像光学系の光軸中心との相対的位置を補正する手振れ補正機構を備えた撮像装置において，上記撮像素子の中心と上記撮像光学系の光軸中心とが上記手振れ補正機構により相対的に動かされた位置を，上記撮像素子の露光期間中に複数回検出する位置検出手段，上記位置検出手段によって複数回検出された位置の軌跡を生成する軌跡生成手段，ならびに上記軌跡生成手段によって生成された軌跡において，垂直方向または水平方向において方向転換されることなく，上記撮像素子と上記撮像光学系とが相対的に動かされた回数が所定回数以上となったあとに上記方向転換された位置を用いて光学歪補正またはシェーディング補正の少なくとも一方の補正を行う補正手段を備えていることを特徴とする。

第３の発明は，上記撮像装置に適した動作制御方法も提供している。すなわち，被写体を撮像し，被写体像を表わす画像データを出力する撮像素子，上記撮像素子の受光面前方に設けられ，上記撮像素子の受光面上に被写体像を結像する撮像光学系，および手振れに応じて上記撮像素子の中心と上記撮像光学系の光軸中心との相対的位置を補正する手振れ補正機構を備えた撮像装置の動作制御方法において，位置検出手段が，上記撮像素子の中心と上記撮像光学系の光軸中心とが上記手振れ補正機構により相対的に動かされた位置を，上記撮像素子の露光期間中に複数回検出し，軌跡生成手段が，上記位置検出手段によって複数回検出された位置の軌跡を生成し，補正手段が，上記軌跡生成手段によって生成された軌跡において，垂直方向または水平方向において方向転換されることなく，上記撮像素子と上記撮像光学系とが相対的に動かされた回数が所定回数以上となったあとに上記方向転換された位置を用いて光学歪補正またはシェーディング補正の少なくとも一方の補正を行うものである。

第３の発明によると，撮像素子の中心と撮像光学系の光軸中心とが手振れ補正により相対的に動かされた位置が露光期間中において複数回検出され，その位置の軌跡が生成される。生成された軌跡において垂直方向または水平方向において方向転換されることなく，撮像素子と撮像光学系とが相対的に動かされた回数が所定回数以上となったあとに方向転換された位置を用いて被写体像の光学歪補正またはシェーディング補正の少なくとも一方の補正が行われる。上述のように所定回数以上となった後に方向転換された場合，その方向転換された位置は初期位置よりもかなりずれていることが多い。そのような位置を用いて被写体像の光学歪補正またはシェーディング補正が行われるので，比較的正確に補正できる。また，動画を構成する複数フレームの被写体像に対して上述した補正が行われることにより，動画歪を軽減させることもできる。

撮像レンズと撮像素子との関係を示している。 撮像素子が手振れ補正によりシフトされた様子を示している。 撮像された被写体像に光学歪が生じている様子を示している。 撮像された被写体像に光学歪が生じている様子を示している。 撮像装置のタイム・チャートである。 撮像素子が手振れ補正によりシフトされた軌跡を示している。 撮像素子が手振れ補正によりシフトされた方向を示すテーブルである。 被写体像の一例である。 撮像装置の電気的構成を示すブロック図である。 光学歪補正処理手順を示すフローチャートである。 光学歪補正処理手順を示すフローチャートである。 光学歪補正処理手順を示すフローチャートである。 光学歪補正処理手順を示すフローチャートである。 撮像装置のタイム・チャートである。 被写体像の一部を示している。 被写体像の一部を示している。 撮像装置のタイム・チャートである。 被写体像の一部を示している。 被写体像の一部を示している。 被写体像の一部を示している。 光学歪補正処理手順を示すフローチャートである。 撮像装置のタイム・チャートである。 ディストーションとズーム倍率との関係を示している。 ディストーションとズーム倍率との関係を示している。 光学歪補正処理手順を示すフローチャートである。 撮像レンズと撮像素子との関係を示している。 スマートフォンの外観を示している。 スマートフォンの電気的構成を示すブロック図である。

図１は，この発明の実施例を示すもので，撮像装置の撮像レンズ１と撮像素子２との位置関係を示す側面図，図２は，撮像素子２のシフト前後の位置関係を示す正面図である。

図１を参照して，撮像素子２の受光面前方（図１では左側）に，撮像素子２の受光面に被写体像を結像させる撮像レンズ１が配置されている。撮像素子２は，垂直方向（図１および図２において上下方向）および水平方向（図２において左右方向）にシフト可能である。撮像装置に手振れがあった場合に，撮像素子２を垂直方向および水平方向（垂直方向または水平方向）にシフトさせることにより手振れ補正が行われる。

初期状態では，図１および図２において符号２Ａで示すように撮像レンズ１の光軸Ｌは撮像素子２の中心を通るように位置決めされている。手振れが検出されると，手振れの方向および手振れ量に応じて手振れを補正するように符号２Ａで示す位置にあった撮像素子２が，たとえば符号２Ｂで示す位置にシフトさせられる。図２に示すように，符号２Ａで示す位置に撮像素子２があった場合には，光軸Ｌが撮像素子２の中心を通るが，符号２Ｂで示す位置に撮像素子２がシフトさせられると，光軸Ｌは撮像素子２の中心Ｃを通らなくなる。

図３は，図１および図２において示されたように撮像素子２が符号２Ａの位置に存在した場合に得られる被写体像３の一例である。

撮像レンズ１によって結像した被写体像３は撮像レンズ１のディストーションにより歪曲する部分４が生じる。被写体像３は，光軸Ｌが撮像素子２の中心を通るような撮像レンズ１と撮像素子２との位置関係の場合に撮像素子２から得られたものであるから，被写体像３の中心から径方向に離れるにしたがって歪曲の程度が大きくなる。

図４は，図１および図２において示されたように撮像素子２が符号２Ｂの位置に存在した場合に得られる被写体像５の一例である。

被写体像５は，撮像素子２がシフトされたことにより，光軸Ｌは撮像素子２の中心Ｃを通らない撮像レンズ１と撮像素子２との位置関係の場合に撮像素子２から得られたものである。被写体像５のうち，歪曲する部分６は，被写体像５の中心Ｃから径方向に離れるにしたがって歪曲の程度が大きくなるのではなく，光軸Ｌから径方向に離れるにしたがって歪曲の程度が大きくなっている。

図３に示す被写体像３を第１フレームの画像，図４に示す被写体像を第２フレームの画像と仮定すると，動画として観賞した場合にフレームごとに歪曲部分が変わる動画歪が生じることとなる。この実施例では，光学歪を補正することにより動画歪を軽減するものである。

図５は，この実施例による撮像装置のタイム・チャートである。

この実施例では，１フレームの画像が得られる露光期間中に複数回の手振れ検出が行われ，その複数回の手振れ検出にもとづいて行われる手振れ補正により撮像素子２の中心と撮像レンズ１の光軸の中心とが相対的に動かされた位置が検出される。

図５においては動画の撮像であり，シャッタは開放されている。１／30秒の露光期間で１／30秒周期で被写体の撮像が繰り返される。１／30秒の露光期間中に14回の手振れ検出（手振れ補正）が行われる。もっとも，露光期間中に複数回の手振れ検出が行われればよく，露光期間中に14回未満または14回よりも多くの手振れ検出が行われるようにしてもよい。図５においては，時刻ｔ０からｔ14までの１／30秒の露光期間中において時刻ｔ１からｔ14の14回のタイミングで手振れ検出が行われる。

図６は，露光期間中における14回の手振れ検出により，撮像素子２がシフトされたときの撮像素子２の中心の正面からの軌跡を示している。横軸は水平方向のシフト量，縦軸は垂直方向のシフト量を示している。原点は，光軸Ｌの位置であり，上述のように撮像素子２の初期位置の中心位置と一致する。撮像素子２が右方向にシフトされる場合を正方向，左方向にシフトされる場合を負方向，撮像素子２が上方向にシフトされる場合を正方向下方向にシフトされる場合を負方向とする。

図７は，図６の軌跡を示すテーブルである。図７において，撮像素子２が上方向にシフトされた場合には正の垂直方向にシフトされたことを示す＋の符号が格納され，撮像素子２が下方向にシフトされた場合には負の垂直方向にシフトされたことを示す−の符号が格納されている。また，撮像素子２を正面から見て，撮像素子２が右方向にシフトされた場合には正の水平方向にシフトされたことを示す＋の符号が格納され，撮像素子２が左方向にシフトされた場合には負の方向にシフトされたことを示す−の符号が格納されている。

図６および図７を参照して，第１回目の手振れ検出により撮像素子２が垂直方向の正方向に，水平方向の負方向に移動したものとする（Ｐ１，Ｙ１）。すると，それぞれの方向を示す符号が図７に示すテーブルの手振れ検出回数の第１回目の欄に格納される。第２回目の手振れ検出により撮像素子２が前回の手振れ検出における撮像素子２の位置を基準として撮像素子２が垂直方向または水平方向に移動したか検出される。第２回目の手振れ検出により撮像素子２が垂直方向のさらに正方向に，水平方向のさらに負方向に移動したものとする（Ｐ２，Ｙ２）。すると，それぞれの方向を示す符号が図７に示すテーブルの手振れ検出回数の第２回目の欄に格納される。このように，手振れ検出により撮像素子２が移動すると，前回の手振れ検出における撮像素子２の位置からの移動方向を示す符号が図７に示すテーブルに格納される。

第４回目の手振れ検出における撮像素子２の移動方向が前回の手振れ検出である第３回目の手振れ検出における撮像素子２の移動方向から垂直方向および水平方向のいずれも逆方向になったものとする。すると，手振れ検出回数の第４回目の欄には，垂直方向には負の方向を示す−符号が，水平方向には正の方向を示す＋符号がそれぞれ格納される。第４回目の手振れ検出から第10回目の手振れ検出の間は撮像素子２の移動方向がそれぞれの前回の手振れ検出における移動方向から変わらなかったものとする。すると，手振れ検出回数の第４回目の欄から第10回目の欄には第４回目の欄と同じ方向を示す符号が格納される。第11回目の手振れ検出において，前回の手振れ検出である第10回目の手振れ検出における撮像素子２の移動方向から垂直方向のみが逆方向になったものとする。すると，手振れ検出回数の第11回目の欄には垂直方向および水平方向のいずれも正の方向を示す＋符号が格納される。第11回目の手振れ検出から第14回目の手振れ検出の間まで撮像素子２の移動方向がそれぞれの前回の手振れ検出における移動方向から変わらなかったものとすると，手振れ検出回数の第11回目の欄から第14回目の欄には第11回目の欄と同じ方向を示す符号が格納される。

上述のように，第３回目の手振れ検出から第４回目の手振れ検出の間に垂直方向において正方向から負方向に方向転換があり，水平方向において負方向から正方向に方向転換があり，第10回目のぶれ検出から第11回目の手振れ検出の間に垂直方向において負方向から正方向に変化したように方向転換があった場合には，方向転換があったと判断された手振れ検出の直前に手振れ検出された撮像素子２の位置（変化点という）から原点までの距離が図７に示すテーブルに格納される。また，最後の手振れ検出が行われた撮像素子２の位置から原点までの距離も図７に示すテーブルに格納される。また，これらの距離および位置が格納された記録回数も図７に示すテーブルに格納される。

上述のように手振れ検出に応じて撮像素子２の位置が移動すると，撮像素子２の中心の軌跡は図６に示すようになる。

図５に戻って，上述のように１フレーム中に14回の手振れ検出が行われる。時刻ｔ14となり，１フレームの露光が終了すると，時刻ｔ22までの間に，図７に示したように，テーブルに格納された位置情報が読み取られる。時刻ｔ22からｔ23までの間に，読み取られた位置情報（上述の場合３回記録されているので３つの位置情報）から被写体像における光軸位置が演算される。

図８は，撮像により得られた被写体像を示している。

演算により，被写体像７における光軸位置Ｌが分る。被写体像７は手振れ補正によりシフトされた撮像素子２によって撮像されたものであるから，光軸位置Ｌ１は必ずしも被写体像の中心Ｃの位置とはなっていない。

再び図５にもどって，時刻ｔ14になると，撮像素子２から画像データが取り込まれる。時刻ｔ23となると，演算された基準位置を用いて，取り込まれた画像データについて光学歪補正が行われる。時刻ｔ24となると，光学歪補正された画像が表示されるようになる。

図９は，撮像装置の電気的構成を示すブロック図である。

撮像装置の全体の動作は，ＣＰＵ10によって統括される。

撮像装置には，撮像指令等を入力するためのスイッチ，ボタン等を含む操作装置34が含まれている。操作装置34から出力される操作信号はＣＰＵ10に入力する。また，撮像装置には，被写体を照射する発光装置16および被写体からの反射光を受光する受光装置17も含まれている。

上述のように，撮像素子２の前方には撮像レンズ１が位置決めされている（撮像レンズ１の前方に機械シャッタがあるが図示は省略されている）。撮像素子２の受光面と撮像レンズ１との間には，絞り12および光学ロウ・パス・フィルタ13が配置されている。撮像レンズ１は，レンズ駆動装置18によって光軸方向に位置決めされ，絞り12は絞り駆動装置19によって開口量が制御される。撮像素子２は，撮像素子駆動装置20によって映像信号出力等が制御される。また，撮像装置には，上述のように撮像素子２の手振れを検出する手振れ検出装置14および撮像素子２をシフトするための手振れ補正駆動装置21が含まれている。さらに，撮像装置には，センサ位置検出／検出位置メモリ15が含まれている。センサ位置検出／検出位置メモリ15によって上述したように，手振れ補正により撮像素子２がシフトされた場合に撮像素子２の位置が検出されるとともに，検出された位置を示すデータが記憶されるセンサ位置検出／検出位置メモリ15に，検出された位置を示すデータが記憶されることにより，図６に示す軌跡が生成される。また，このセンサ位置検出／検出位置メモ15に図７に示すテーブルも格納されることとなる。

撮像素子から出力された映像信号は，アナログ信号処理装置22において，白バランスなどの所定のアナログ信号処理が行われて出力される。アナログ信号処理装置22から出力される映像信号は，アナログ／ディジタル変換回路23においてディジタル画像データに変換される。

ディジタル画像データは，メモリ制御装置25によってメイン・メモリ24に一時的に記録される。ディジタル画像データはメイン・メモリ24から読み出され，ディジタル信号処理装置26において，ガンマ補正などの所定のディジタル信号処理が行われる。ディジタル画像データは，光学歪およびシェーディング補正装置27に入力し，上述したように光学歪補正が行われるとともに基準位置を基準としてシェーディング補正が行われる。光学歪補正等が行われた画像データが表示制御装置33の制御のもので表示装置32に与えられることにより，表示装置32の表示画面に光学補正等が行われた被写体像が表示される。

メイン・メモリ24から読み出されたディジタル画像データは積算装置29にも入力する。積算装置29において輝度成分の積算が行われ，得られた積算値にもとづいて，絞り12の絞り値が調整される。

操作装置34から記録指令が与えられると，上述のように光学歪等が補正された画像データは外部メモリ制御装置31の制御のもとにメモリ・カード30に与えられ，メモリ・カード30に記録される。

図10は，撮像装置における光学歪補正の処理手順を示すフローチャートである。

上述のように，露光期間中に複数回行われる手振れ検出のタイミングは予め定められており，そのタイミングとなると手振れ検出が行われる。手振れ検出により手振れがあると判定されると（ステップ41），その手振れ量および手振れ方向に応じて手振れ補正するように撮像素子２がシフトさせられる（ステップ42）。上述のように，前回の手振れ検出におけるシフト方向と比較され，垂直方向または水平方向の少なくとも一方において正方向へのシフトから負方向へのシフトまたはその逆へのシフトのように方向転換があったかどうかが確認される。方向転換があった場合には（ステップ44でＹＥＳ），上述のように方向転換があった変化点の位置情報がセンサ位置検出／検出位置メモリ15に格納される（ステップ45）。また，撮像レンズ１の光軸中心からシフトされた撮像素子２の中心までの距離が算出され，算出された距離を表すデータもセンサ位置検出／検出位置メモリ15に格納される（ステップ46）。１フレームが終了するまで（ステップ47でＮＯ），ステップ41から46までの処理が繰り返される（ステップ47）。

センサ位置検出／検出位置メモリ15に格納されている撮像レンズ１の光軸中心から撮像素子２の中心までの距離のうち，もっとも距離の大きい撮像素子２の中心位置情報がセンサ位置検出／検出位置メモリ15から読み取られる（ステップ47）。読み取られた中心位置情報が基準位置として光学歪およびシェーディング補正が行われる（ステップ48）。

露光期間中に複数回の手振れ補正が行われると，露光終了時における撮像素子２のシフト量よりも露光の途中での撮像素子のシフト量の方が大きい場合がある，そのような場合に露光終了時における撮像素子２のシフト量にもとづいて光学歪補正が行われるよりも露光途中での撮像素子のシフト量にもとづいて光学歪補正が行われる方が，より精度の高い光学歪補正を実現できる。この実施例によると，シフト量の大きな撮像素子２の位置にもとづいて光学歪補正等が行われるので，より精度の高い光学歪補正等を実現できる。

上述の実施例では，センサ位置検出／検出位置メモリ15に格納されている撮像レンズ１の光軸中心から撮像素子２の中心までの距離のうち，もっとも距離の大きい撮像素子２の中心位置情報を用いて光学歪補正が行われているが，もっとも距離の大きい撮像素子２の中心位置情報だけでなく，複数の中心位置情報を用い，複数の中心位置情報が得られるときのそれぞれの光軸位置の平均位置を光軸位置と擬制して，その光軸位置を利用して光学歪補正が行われるようにしてもよい。

図11は，他の実施例による処理手順を示すもので，撮像装置における光学歪補正の処理手順を示すフローチャートである。図11において，図10に示す処理と同一の処理については同一符号を付して説明を省略する。

図10に示す処理では，手振れ量に応じて撮像素子２がシフトされると，前回のシフト方向と比較して方向転換されているかどうかが確認されているが，図11に示す処理では，手振れ量に応じて撮像素子２がシフトされると，そのシフト量が，閾値以上かどうかが判断される（ステップ50）。シフト量が閾値以上の場合に（ステップ50でＹＥＳ），前回のシフト方向と比較して方向転換されているかどうか確認される（ステップ43，44）。

ノイズなどにより手振れと誤検出されてしまうようなシフト量が少ない場合には，方向転換があったかどうかが確認されないので，そのような誤検出にもとづいて撮像素子２の位置情報が格納されてしまうことが未然に防止される。

図12は，他の実施例による処理手順を示すもので，光学歪補正の処理手順を示すフローチャートである。図12において，図11に示す処理と同一の処理については同一符号を付して説明を省略する。

図11等に示す処理においては，上述したように変化点の位置情報にもとづいて光軸中心から撮像素子２の中心までの距離が算出されているが（ステップ46），図12に示す処理においては光軸中心から撮像素子２までの距離の算出が省略されている。最初と最後などの任意の変化点が選択されて，選択された変化点が出力される（ステップ51）。選択された変化点から光軸位置が算出されて，光軸位置を用いて光学歪補正等が行われる（ステップ49）。光軸中心から撮像素子２の中心までの距離が算出されないので，比較的迅速に光学歪補正等が行われるようになる。

図13は，さらに他の実施例による処理手順を示すもので，光学歪補正の処理手順を示すフローチャートである。図13において，図12に示す処理と同一の処理については同一符号を付して説明を省略する。

図13に示す実施例では，撮像素子２がシフトされた場合，前回のシフトの方向と同じ場合には，方向転換なしでの連続したシフト回数がカウントされる（ステップ52）。方向転換なしでの連続したシフト回数のうちカウント数の多いシフト回数後に方向転換があった変化点の位置情報が出力され（ステップ53），その位置情報にもとづいて光学歪補正等が行われる（ステップ53）。方向転換が無い場合にシフト回数が多い場合には，そのシフト回数が多かった後に見つけられた変化点が光軸中心からもっとも遠いと判断することができる。そのような判断にもとづいて光学歪補正を実現できるようになる。

図14から図21は，他の実施例を示すもので，被写体の領域に応じて異なる複数個所の基準点を基準として光学歪補正等を行うものである。

図14から図16は，被写体像の上部の領域と下部の領域とで異なる基準点を基準として光学歪補正等が行われるものである。

図14は撮像装置のタイム・チャート，図15は撮像によって得られる被写体像60の上部の領域61を示し，図16は被写体像60の下部の領域62を示している。

図14を参照して，露光期間の中間である時刻ｔ７において，その時刻ｔ７までに手振れ補正が行われたことにより上述のように格納されたシフト位置を示すデータが，時刻ｔ７から時刻ｔ31までの間に読み取られる。時刻ｔ32から時刻ｔ33までの間に被写体像60の上部の領域61と光学歪補正に利用される光軸位置との位置関係が演算される。

図15を参照して，被写体像60の中心は符号Ｃで示されている。時刻ｔ１から時刻ｔ８までに行われた手振れ補正にもとづいて上述のように演算された光軸位置は符号Ｂ１で示されている。符号Ｂ１で示されている光軸位置を基準として被写体像60の上部の領域61が光学歪補正される（図14時刻ｔ14から時刻ｔ41）。

図14に戻って，時刻ｔ８から時刻ｔ14までのタイミングで手振れ補正が行われたことにより得られたシフト位置を示すデータが時刻ｔ14から時刻ｔ22までの間に読み取られる。時刻ｔ22から時刻ｔ23までの間に被写体像60の下部の領域71と光軸位置との位置関係が演算される。

図16を参照して，被写体像60の中心は符号Ｃで示されている。時刻ｔ８から時刻ｔ14までに行われた手振れ補正にもとづいて上述のように決定された光軸位置は符号Ｂ２で示されている。符号Ｂ２で示されている光軸位置を基準として被写体像の下部の領域62が光学歪補正される（図14時刻ｔ41から時刻ｔ24）。

上部の領域61については光軸位置Ｂ１を基準として光学歪補正された被写体像60と下部の領域62については光軸位置Ｂ２を基準として光学歪補正された被写体像60とが合成され１フレーム分の被写体像60が生成される。

図17から図20は，被写体像の上部の領域と中央部の領域と下部の領域とで異なる基準点を基準として光学歪補正等が行われるものである。

図17は，撮像装置のタイム・チャート，図18は撮像によって得られる被写体像80の上部の領域81を示し，図19は被写体像80の中央部の領域83を示し，図20は被写体像80の下部の領域86を示している。

図17を参照して，露光期間中の時刻ｔ４において，その時刻ｔ４までに手振れ補正が行われたことにより得られたシフト位置を示すデータが，時刻ｔ４から時刻ｔ41までの間に読み取られる。時刻ｔ41から時刻ｔ42までの間に被写体像80の上部の領域81と光学歪補正に利用される基準との位置関係が演算される。

図18を参照して，被写体像80の中心は符号Ｃで示されている。時刻ｔ１から時刻ｔ４までに行われた手振れ補正にもとづいて決定された基準点は符号Ｂ11で示されている。符号Ｂ11で示されている光軸位置を基準として被写体像80の上部の領域81が光学歪補正される（時刻ｔ14から時刻ｔ51）。被写体像80の上部の領域81以外の領域82については，光軸位置Ｂ11を基準として光学歪補正は行われない。

図17に戻って，時刻ｔ９において時刻ｔ５から時刻ｔ９までの間に行われた手振れ補正により得られたシフト位置を示すデータが時刻ｔ９から時刻ｔ43までの間に読み取られる。時刻ｔ43から時刻ｔ44までの間に被写体像80の中央部分の領域83と光軸位置との位置関係が演算される。

図19を参照して，被写体像80の中心は符号Ｃで示されている。時刻ｔ５から時刻ｔ９までに行われた手振れ補正にもとづいて決定された光軸位置は符号Ｂ12で示されている。符号Ｂ12で示されている光軸位置を基準として被写体像80の中央部分の領域83が光学歪補正される（図17時刻ｔ51から時刻ｔ52）。中央部分の領域83以外の上部の領域81および下部の領域84は光軸位置Ｂ12を基準として光学歪補正されない。

図17に戻って，時刻ｔ10からｔ14までに手振れ補正が行われたことにより得られたシフト位置を示すデータが，時刻ｔ14からｔ22までの間に読み取られる。時刻ｔ22から時刻ｔ23までの間に被写体像80の下部の領域86と光学歪補正に利用される基準との位置関係が演算される。

図20を参照して，被写体像80の中心は符号Ｃで示されている。時刻ｔ９から時刻ｔ14までに行われた手振れ補正にもとづいて決定された基準点は符号Ｂ13で示されている。符号Ｂ13で示されている光軸位置を基準として被写体像80の下部の領域86が光学歪補正される（時刻ｔ52から時刻ｔ26）。被写体像80の下部の領域86以外の領域85については，光軸位置Ｂ13を基準として光学歪み補正は行われない。

図18に示す上部の領域81，図19に示す中央部分の領域83および図20に示す下部の領域86から光学歪補正された１フレームの被写体像80が生成される。

図21は，撮像装置の光学歪補正の処理手順を示すフローチャートである。図21において，図10に示すものと同一の処理については同一符号を付して説明を省略する。

図21に示す処理手順では，１フレーム中にＮ回基準点が演算される。このために，１／Ｎフレームが終了すると（ステップ47ＡでＹＥＳ），１／Ｎフレーム中において，変化点の位置情報のうち光軸中心からの距離が最も大きい位置情報が出力され，上述のように光学歪補正される（ステップ48，49）。

図22は，撮像装置の処理手順を示すタイム・チャートである。

図５等に示すタイム・チャートは，動画撮影のものであるが，図22に示すタイム・チャートは，静止画撮影のものである。

時刻ｔ０から時刻ｔ14までの１／30秒間，機械シャッタが開放され，被写体が撮像される。シャッタ速度は１／30秒でなくともよいのはいうまでもない。機械シャッタが開放され，露光されている間に上述のように手振れ補正が行われ，算出された基準点にもとづいて静止画像の光学歪補正が行われるようになる。このように，動画に限らず静止画にもこの実施例による光学歪補正等を適用できる。

図23から図25は，さらに他の実施例を示すもので，ズーム倍率に応じて上述した光学歪補正を行うものである。

図23および図24は，ディストーションとズーム倍率との関係を示している。

横軸はズーム倍率を示し，右方向となるほどワイド（Ｗ）となり左方向となるほどテレ（Ｔ）となる。縦軸はディストーションの量を示し，上方向（＋方向）ほど画像の周囲が内側に歪み（いわゆる糸巻き歪），下方向（−方向）ほど画像の周囲が外側に歪む（いわゆる樽型歪）。

図23に示すものにおいては，ズーム倍率がテレからワイドになるほどディストーションが＋方向に増加する。図24に示すものにおいては，ズーム倍率がテレからワイドになる場合に徐々にディストーションが＋方向に増加するが，所定のズーム倍率となると徐々にディストーションは−方向に増加する。図23に示すディストーションとズーム倍率との関係と，図24に示すディストーションとズーム倍率との関係と，が異なっているように，ディストーションとズーム倍率との関係は，ズーム・レンズの特性によって変わる。

図25は，撮像装置の処理手順を示すフローチャートである。

設定されたズーム倍率が糸巻き型歪（ディストーション）となるようなズーム倍率に設定されていると（ステップ110でＹＥＳ），上述した手法での光学歪補正が行われる（ステップ111）。糸巻き型歪とならないようなズーム倍率に設定されていると（ステップ110でＮＯ），上述した手法での光学歪補正は行われない。

図25に示す処理では，ズーム倍率が糸巻き型歪となるようなズーム倍率に設定されている場合に，上述した手法での光学歪補正が行われるが，ズーム倍率が樽型歪となるようなズーム倍率に設定されている場合に上述した手法での光学歪補正が行われるようにしてもよい。

図26は，撮像素子123の受光面前方の第１の撮像レンズ121および第２の撮像レンズ122が配置されている様子を示すもので，側面図である。

図26においては，第１の撮像レンズ121が光軸から径方向にシフトすることにより光学歪補正が行われるものである。

上述した実施例では，撮像素子２が撮像レンズ１の光軸Ｌから径方向にシフトすることにより，上述した手法の光学歪補正が行われているが，撮像素子123ではなく撮像レンズ121が光軸Ｌから径方向にシフトすることにより上述した手法の光学歪補正が行われるようにしてもよい。

撮像素子123がシフトせずに撮像素子123の中心を通る光軸Ｌから第１の撮像レンズ121が径方向にシフトする場合であっても手振れ補正により第１の撮像レンズ121の中心軸の移動位置を上述したように検出し，上述したのと同様にて光学歪補正を行うことができるようになる。

以上，この実施例による光学歪補正を撮像装置に適用した場合に説明したが，例えば，内蔵型又は外付け型のPC用カメラ，または，以下に説明するような，撮影機能を有する携帯端末装置に適用することもできる。

一実施形態である携帯端末装置としては，例えば，携帯電話機やスマートフォン，PDA(Personal Digital Assistants)，携帯型ゲーム機が挙げられる。以下，スマートフォンを例に挙げ，図面を参照しつつ，詳細に説明する。

図27は，本発明の撮影装置の一実施形態であるスマートフォン131の外観を示すものである。

図27に示すスマートフォン171は，平板状の筐体132を有し，筐体132の一方の面に表示部としての表示パネル141と，入力部としての操作パネル142とが一体となった表示入力装置140を備えている。また，係る筐体132は，マイクロフォン151，スピーカ152，操作装置160およびカメラ装置161を備えている。なお，筐体132の構成はこれに限定されず，例えば，表示装置と入力装置とが独立した構成を採用したり，折り畳み構造やスライド機構を有する構成を採用したりすることもできる。

図28は，図27に示すスマートフォン131の構成を示すブロック図である。

図28に示すように，スマートフォンの主たる構成要素として，無線通信装置135と，表示入力装置140と，通話装置150と，操作装置160と，カメラ装置161と，記憶装置170と，外部入出力装置180と，ＧＰＳ(Global Positioning System)受信装置190と，モーション・センサ200と，電源装置210と，主制御装置220とを備える。また，スマートフォン131の主たる機能として，基地局装置ＢＳと移動通信網ＮＷとを介した移動無線通信を行う無線通信機能を備える。

無線通信装置135は，主制御装置220の指示にしたがって，移動通信網ＮＷに収容された基地局装置ＢＳに対し無線通信を行うものである。係る無線通信を使用して，音声データ，画像データ等の各種ファイルデータ，電子メールデータなどの送受信や，Ｗｅｂデータやストリーミング・データなどの受信を行う。

表示入力装置140は，主制御装置220の制御により，画像（静止画像および動画像）や文字情報などを表示して視覚的にユーザに情報を伝達するとともに，表示した情報に対するユーザ操作を検出する，いわゆるタッチパネルであって，表示パネル141と，操作パネル142とを備える。

表示パネル141，LCD(Liquid Crystal Display)，OELD(Organic Electro-Luminescence Display)などを表示デバイスとして用いたものである。操作パネル142は，表示パネル141の表示面上に表示される画像を視認可能に載置され，ユーザの指や尖筆によって操作される一又は複数の座標を検出するデバイスである。係るデバイスをユーザの指や尖筆によって操作すると，操作に起因して発生する検出信号を主制御装置220に出力する。次いで，主制御装置220は，受信した検出信号に基づいて，表示パネル141上の操作位置（座標）を検出する。

図27に示すように，撮像装置の一実施形態として例示しているスマートフォン131の表示パネル141と操作パネル142とは一体となって表示入力装置140を構成しているが，操作パネル142が表示パネル141を完全に覆うような配置となっている。係る配置を採用した場合，操作パネル142は，表示パネル141外の領域についても，ユーザ操作を検出する機能を備えてもよい。換言すると，操作パネル142は，表示パネル141に重なる重畳部分についての検出領域（以下，表示領域と称する）と，それ以外の表示パネル141に重ならない外縁部分についての検出領域（以下，非表示領域と称する）とを備えていてもよい。

なお，表示領域の大きさと表示パネル141の大きさとを完全に一致させても良いが，両者を必ずしも一致させる必要は無い。また，操作パネル142が，外縁部分と，それ以外の内側部分の２つの感応領域を備えていてもよい。更に，外縁部分の幅は，筐体132の大きさなどに応じて適宜設計されるものである。更にまた，操作パネル142で採用される位置検出方式としては，マトリクススイッチ方式，抵抗膜方式，表面弾性波方式，赤外線方式，電磁誘導方式，静電容量方式などが挙げられ，いずれの方式を採用することもできる。

通話装置150は，スピーカ151やマイクロフォン152を備え，マイクロフォン152を通じて入力されたユーザの音声を主制御装置220にて処理可能な音声データに変換して主制御装置220に出力したり，無線通信装置135または外部入出力装置180により受信された音声データを復号してスピーカ151から出力したりするものである。また，図27に示すように，例えば，スピーカ151を表示入力装置140が設けられた面と同じ面に搭載し，マイクロフォン152を筐体132の側面に搭載することができる。

操作装置160は，キースイッチなどを用いたハードウェアキーであって，ユーザからの指示を受け付けるものである。例えば，図27に示すように，操作装置160は，スマートフォン131の筐体132の側面に搭載され，指などで押下されるとオンとなり，指を離すとバネなどの復元力によってオフ状態となる押しボタン式のスイッチである。

記憶装置170は，主制御装置220の制御プログラムや制御データ，アプリケーション・ソフトウェア，通信相手の名称や電話番号などを対応づけたアドレスデータ，送受信した電子メールのデータ，ＷｅｂブラウジングによりダウンロードしたＷｅｂデータや，ダウンロードしたコンテンツデータを記憶し，またストリーミングデータなどを一時的に記憶するものである。また，記憶装置170は，スマートフォン内蔵の内部記憶装置171と着脱自在な外部メモリスロットを有する外部記憶装置172により構成される。なお，記憶装置170を構成するそれぞれの内部記憶装置171と外部記憶装置172は，フラッシュメモリタイプ（flash memory type），ハードディスクタイプ（hard disk type），マルチメディアカードマイクロタイプ（multimedia card micro type），カードタイプのメモリ（例えば，ＭｉｃｒｏＳＤ（登録商標）メモリ等），ＲＡＭ（Random Access Memory），ＲＯＭ（Read Only Memory）などの格納媒体を用いて実現される。

外部入出力装置180は，スマートフォン131に連結される全ての外部機器とのインターフェイスの役割を果たすものであり，他の外部機器に通信等（例えば，ユニバーサル・シリアル・バス（ＵＳＢ），IEEE１３９４など）又はネットワーク（例えば，インターネット，無線ＬＡＮ（Local Area Network），ブルートゥース（Bluetooth）（登録商標），ＲＦＩＤ（Radio Frequency Identification），赤外線通信（Infrared Data Association：ＩｒＤＡ）（登録商標），ＵＷＢ（Ultra Wideband）（登録商標），ジグビー（ZigBee）（登録商標）など）により直接的又は間接的に接続するためのものである。

スマートフォン131に連結される外部機器としては，例えば，有／無線ヘッドセット，有／無線外部充電器，有／無線データポート，カードソケットを介して接続されるメモリカード（Memory card）やＳＩＭ(Subscriber Identity Module Card)／ＵＩＭ(User Identity Module Card)カード，オーディオ・ビデオＩ／Ｏ（Input/Output）端子を介して接続される外部オーディオ・ビデオ機器，無線接続される外部オーディオ・ビデオ機器，有／無線接続されるスマートフォン，有／無線接続されるパーソナルコンピュータ，有／無線接続されるPDA，有／無線接続されるパーソナルコンピュータ，イヤホンなどがある。外部入出力部は，このような外部機器から伝送を受けたデータをスマートフォン１の内部の各構成要素に伝達することや，スマートフォン１の内部のデータが外部機器に伝送されるようにすることができる。

ＧＰＳ受信部190は，主制御装置220の指示にしたがって，GPS衛星ＳＴ１〜ＳＴｎから送信されるGPS信号を受信し，受信した複数のGPS信号に基づく測位演算処理を実行し，当該スマートフォン131の緯度，経度，高度からなる位置を検出する。ＧＰＳ受信装置190は，無線通信装置13や外部入出力装置180（例えば，無線ＬＡＮ）から位置情報を取得できる時には，その位置情報を用いて位置を検出することもできる。

モーション・センサ200は，例えば，３軸の加速度センサなどを備え，主制御装置220の指示にしたがって，スマートフォン131の物理的な動きを検出する。スマートフォン131の物理的な動きを検出することにより，スマートフォン131の動く方向や加速度が検出される。係る検出結果は，主制御装置220に出力されるものである。

電源装置210は，主制御装置220の指示にしたがって，スマートフォン131の各部に，バッテリ（図示しない）に蓄えられる電力を供給するものである。

主制御装置220は，マイクロプロセッサを備え，記憶部装置170が記憶する制御プログラムや制御データにしたがって動作し，スマートフォン131の各部を統括して制御するものである。また，主制御装置220は，無線通信装置135を通じて，音声通信やデータ通信を行うために，通信系の各部を制御する移動通信制御機能と，アプリケーション処理機能を備える。

アプリケーション処理機能は，記憶装置170が記憶するアプリケーション・ソフトウェアにしたがって主制御装置220が動作することにより実現するものである。アプリケーション処理機能としては，例えば，外部入出力装置180を制御して対向機器とデータ通信を行う赤外線通信機能や，電子メールの送受信を行う電子メール機能，Webページを閲覧するWebブラウジング機能などがある。

また，主制御装置220は，受信データやダウンロードしたストリーミング・データなどの画像データ（静止画像や動画像のデータ）に基づいて，映像を表示入力装置140に表示する等の画像処理機能を備える。画像処理機能とは，主制御装置220が，上記画像データを復号し，係る復号結果に画像処理を施して，画像を表示入力装置140に表示する機能のことをいう。

更に，主制御装置220は，表示パネル141に対する表示制御と，操作装置160，操作パネル142を通じたユーザ操作を検出する操作検出制御を実行する。

表示制御の実行により，主制御装置220は，アプリケーション・ソフトウェアを起動するためのアイコンや，スクロール・バーなどのソフトウェア・キーを表示したり，あるいは電子メールを作成するためのウィンドウを表示したりする。なお，スクロール・バーとは，表示パネル141の表示領域に収まりきれない大きな画像などについて，画像の表示部分を移動する指示を受け付けるためのソフトウェア・キーのことをいう。

また，操作検出制御の実行により，主制御装置220は，操作装置160を通じたユーザ操作を検出したり，操作パネル142を通じて，上記アイコンに対する操作や，上記ウィンドウの入力欄に対する文字列の入力を受け付けたり，あるいは，スクロール・バーを通じた表示画像のスクロール要求を受け付ける。

更に，操作検出制御の実行により主制御装置220は，操作パネル142に対する操作位置が，表示パネル141に重なる重畳部分（表示領域）か，それ以外の表示パネル141に重ならない外縁部分（非表示領域）かを判定し，操作パネル142の感応領域や，ソフトウェア・キーの表示位置を制御するタッチパネル制御機能を備える。

また，主制御装置220は，操作パネル142に対するジェスチャ操作を検出し，検出したジェスチャ操作に応じて，予め設定された機能を実行することもできる。ジェスチャ操作とは，従来の単純なタッチ操作ではなく，指などによって軌跡を描いたり，複数の位置を同時に指定したり，あるいはこれらを組み合わせて，複数の位置から少なくとも１つについて軌跡を描く操作を意味する。

カメラ装置161は，CMOS(Complementary Metal Oxide Semiconductor)やCCD(Charge-Coupled Device)などの撮像素子を用いて電子撮影するデジタルカメラである。また，カメラ装置161は，主制御装置220の制御により，撮像によって得た画像データを例えばJPEG(Joint Photographic coding Experts Group)などの圧縮した画像データに変換し，記憶装置170に記録したり，入出力装置180や無線通信装置135を通じて出力することができる。図27に示すにスマートフォン131において，カメラ装置161は表示入力装置140と同じ面に搭載されているが，カメラ装置161の搭載位置はこれに限らず，表示入力装置140の背面に搭載されてもよいし，あるいは，複数のカメラ装置161が搭載されてもよい。なお，複数のカメラ装置161が搭載されている場合には，撮影に供するカメラ装置161を切り替えて単独にて撮影したり，あるいは，複数のカメラ装置161を同時に使用して撮影したりすることもできる。

また，カメラ装置161はスマートフォン131の各種機能に利用することができる。例えば，表示パネル141にカメラ装置161で取得した画像を表示することや，操作パネル142の操作入力のひとつとして，カメラ装置161の画像を利用することができる。また，ＧＰＳ受信装置190が位置を検出する際に，カメラ装置161からの画像を参照して位置を検出することもできる。更には，カメラ装置161からの画像を参照して，３軸の加速度センサを用いずに，或いは，３軸の加速度センサと併用して，スマートフォン131のカメラ装置161の光軸方向を判断することや，現在の使用環境を判断することもできる。勿論，カメラ装置161からの画像をアプリケーション・ソフトウェア内で利用することもできる。

その他，静止画又は動画の画像データにＧＰＳ受信装置190により取得した位置情報，マイクロフォン152により取得した音声情報（主制御部等により，音声テキスト変換を行ってテキスト情報となっていてもよい），モーション・センサ200により取得した姿勢情報等などを付加して記録装置170に記録したり，入出力装置180や無線通信装置135を通じて出力したりすることもできる。

スマートフォン１にこの実施例による光学歪補正（シェーディング補正）を適用する場合，上述したカメラ装置161内に，手振れ補正駆動装置21，センサ位置検出装置15，光学歪／シェーディング補正装置27などが格納されることとなろう。

上述の実施例において，撮像装置の製造時に調整した初期位置が撮像素子の中心と撮像レンズ（撮像光学系）の光軸中心であって，真の中心に限らない。また，撮像素子１の中心を基準とせずに四隅などを基準としてもよい。

１ 撮像レンズ
２ 撮像素子
10 ＣＰＵ（光軸位置算出手段）
14 手振れ検出装置
15 センサ位置検出／検出位置メモリ（位置検出手段）
21 手振れ補正駆動装置（手振れ補正機構）
27 光学歪／シェーディング補正装置（補正手段）

Claims (10)

1. 被写体を撮像し，被写体像を表わす画像データを出力する撮像素子，上記撮像素子の受光面前方に設けられ，上記撮像素子の受光面上に被写体像を結像する撮像光学系，および手振れに応じて上記撮像素子の中心と上記撮像光学系の光軸中心との相対的位置を補正する手振れ補正機構を備えた撮像装置において，
   上記手振れ補正機構により上記撮像素子の中心と上記撮像光学系の光軸中心とが相対的に動かされた位置を，上記撮像素子の露光期間中に複数回検出する位置検出手段，
   上記位置検出手段によって複数回検出された位置の軌跡を生成する軌跡生成手段，
   上記軌跡生成手段によって生成された軌跡によって示される上記撮像素子と上記撮像光学系とが相対的に動かされた位置のうち，垂直方向または水平方向において方向転換があった位置から上記撮像素子によって撮像された被写体像における上記撮像光学系の光軸中心の位置を算出する光軸位置算出手段，ならびに
   上記光軸位置算出手段によって算出された光軸中心の位置を用いて上記撮像素子により撮像された被写体像の光学歪補正またはシェーディング補正の少なくとも一方の補正を行う補正手段，
   を備えた撮像装置。
2. 上記光軸位置算出手段は，
   上記位置検出手段によって複数回検出された位置のうち，上記撮像素子と上記撮像光学系とがもっともずれた位置から上記光軸中心の位置を算出するものである，
   請求項１に記載の撮像装置。
3. 上記光軸位置算出手段は，
   上記軌跡生成手段によって生成された軌跡によって示される上記撮像素子と上記撮像光学系とが相対的に動かされた位置のうち，動き量がしきい値以上の場合に垂直方向または水平方向において方向転換があった位置から上記撮像素子によって撮像された被写体像における上記撮像光学系の光軸中心の位置を算出するものである，
   請求項１に記載の撮像装置。
4. 上記撮像素子は，
   露光期間中に被写体像の一部を表わす部分画像データを複数回出力するものであり，
   上記補正手段は，
   上記撮像素子から前回の部分画像データ出力から今回の部分画像データ出力までの間に上記位置検出手段において検出された位置を用いて今回の部分画像データによって表される部分画像の光学歪補正またはシェーディング補正を行うものである，
   請求項１から３のうちいずれか一項に記載の撮像装置。
5. 上記撮像素子は，
   一定周期で被写体を撮像し，動画の被写体像を表わす画像データを出力する，あるいは所与のシャッタ時間の間露光して静止画の被写体像を表わす画像データを出力するものである，
   請求項１から４のうち，いずれか一項に記載の撮像装置。
6. 上記撮像光学系の焦点距離を変えずに上記撮像素子の受光面上に結像する被写体像の大きさを変えるズーム・レンズをさらに備え，
   上記補正手段は，
   光学歪量が第１のしきい値以上または第２のしきい値以下となる上記ズーム・レンズ位置であるときに，上記位置検出手段において検出された位置を用いて上記撮像素子により撮像された被写体像の光学歪補正を行うものである，
   請求項１から５のうち，いずれか一項に記載の撮像装置。
7. 上記光軸位置算出手段は，
   上記位置検出手段によって複数回検出された位置の平均的位置を上記光軸中心の位置として算出するものである，
   請求項１に記載の撮像装置。
8. 被写体を撮像し，被写体像を表わす画像データを出力する撮像素子，上記撮像素子の受光面前方に設けられ，上記撮像素子の受光面上に被写体像を結像する撮像光学系，および手振れに応じて上記撮像素子の中心と上記撮像光学系の光軸中心との相対的位置を補正する手振れ補正機構を備えた撮像装置において，
   上記手振れ補正機構により上記撮像素子の中心と上記撮像光学系の光軸中心とが相対的に動かされた位置を，上記撮像素子の露光期間中に複数回検出する位置検出手段，
   上記位置検出手段によって複数回検出された位置の軌跡を生成する軌跡生成手段，ならびに
   上記軌跡生成手段によって生成された軌跡において，垂直方向または水平方向において方向転換されることなく，上記撮像素子と上記撮像光学系とが相対的に動かされた回数が所定回数以上となったあとに上記方向転換された位置を用いて光学歪補正またはシェーディング補正の少なくとも一方の補正を行う補正手段，
   を備えた撮像装置。
9. 被写体を撮像し，被写体像を表わす画像データを出力する撮像素子，上記撮像素子の受光面前方に設けられ，上記撮像素子の受光面上に被写体像を結像する撮像光学系，および手振れに応じて上記撮像素子の中心と上記撮像光学系の光軸中心との相対的位置を補正する手振れ補正機構を備えた撮像装置の動作制御方法において，
   位置検出手段が，上記手振れ補正機構により上記撮像素子の中心と上記撮像光学系の光軸中心とが相対的に動かされた位置を，上記撮像素子の露光期間中に複数回検出し，
   軌跡生成手段が，上記位置検出手段によって複数回検出された位置の軌跡を生成し，
   光軸位置算出手段が，上記軌跡生成手段によって生成された軌跡によって示される上記撮像素子と上記撮像光学系とが相対的に動かされた位置のうち，垂直方向または水平方向において方向転換があった位置から上記撮像素子によって撮像された被写体像における上記撮像光学系の光軸中心の位置を算出し，
   補正手段が，上記光軸位置算出手段によって算出された光軸中心の位置を用いて上記撮像素子により撮像された被写体像の光学歪補正またはシェーディング補正の少なくとも一方の補正を行う，
   撮像装置の動作制御方法。
10. 被写体を撮像し，被写体像を表わす画像データを出力する撮像素子，上記撮像素子の受光面前方に設けられ，上記撮像素子の受光面上に被写体像を結像する撮像光学系，および手振れに応じて上記撮像素子の中心と上記撮像光学系の光軸中心との相対的位置を補正する手振れ補正機構を備えた撮像装置の動作制御方法において，
    位置検出手段が，上記手振れ補正機構により上記撮像素子の中心と上記撮像光学系の光軸中心とが相対的に動かされた位置を，上記撮像素子の露光期間中に複数回検出し，
    軌跡生成手段が，上記位置検出手段によって複数回検出された位置の軌跡を生成し，
    補正手段が，上記軌跡生成手段によって生成された軌跡において，垂直方向または水平方向において方向転換されることなく，上記撮像素子と上記撮像光学系とが相対的に動かされた回数が所定回数以上となったあとに上記方向転換された位置を用いて光学歪補正またはシェーディング補正の少なくとも一方の補正を行う，
    撮像装置の動作制御方法。
    

Images