JP5535099B2 - カメラモジュール及び画像記録方法 - Google Patents

Description

本発明の実施形態は、カメラモジュール及び画像記録方法に関する。

従来、連続するフレームを利用した補間処理によって、解像度の高い画像を撮影する技術がある。かかる技術は、動きのある被写体を撮影した動画において、効果的な高解像度化を実現可能である。これに対して、静止画を撮影する場合は、被写体に動きの無い複数のフレームが単に重ね合わせられ、フィルタ処理により模擬的に解像度を増やすのみであることで、輪郭部分の変色等の不具合が画像に残る場合がある。このように、従来技術によると、不自然な画像が撮影される場合があるという問題が生じる。また、特に、携帯型の電子機器に搭載されるカメラモジュールでは、小型化、軽量化の要請から、できるだけ簡易な構成により高解像度化を実現可能であることが望ましい。

特開２００７−２１４８３２号公報 特開２０１０−１４１６６１号公報

本発明の一つの実施形態は、簡易な構成により、高解像度かつ高品質な画像を得ることを可能とするカメラモジュール及び画像記録方法を提供することを目的とする。

本発明の一つの実施形態によれば、カメラモジュールは、イメージセンサと、手振れ補正部と、重ね合わせ部と、を有する。イメージセンサは、撮像光学系によって結像された被写体像を撮像する。手振れ補正部は、撮像光学系に組み込まれた補正量レンズの位置の調整により、手振れ補正を実施する。イメージセンサが持つ画素数に応じた解像度よりも高い解像度を得るための撮像モードにおいて、手振れ補正部は、イメージセンサでの撮像により第１画像が取得されてから、第１画像に続いて取得される第２画像が、第１画像に対して１画素の長さ未満の移動量で移動するように補正用レンズの位置を調整する。重ね合わせ部は、第１画像と、手振れ補正部により補正用レンズの位置が調整されてから撮像された一つ又は複数の第２画像と、を重ね合わせる。

第１の実施形態にかかるカメラモジュールとＩＳＰとを示すブロック図。 ＩＳＰの信号処理部による信号処理の手順を説明するフローチャート。 ＯＩＳの構成を示すブロック図。 カメラモジュールにより高解像度を得るための処理の手順を説明するフローチャート。 第１画像及び第２画像の重ね合わせによる高解像度化について説明する概念図。 第１画像及び第２画像の重ね合わせによる高解像度化について説明する概念図。 第２の実施形態にかかるカメラモジュールとＩＳＰとを示すブロック図。 カメラモジュールにより高解像度を得るための処理の手順を説明するフローチャート。

以下に添付図面を参照して、実施形態にかかるカメラモジュール及び画像記録方法を詳細に説明する。なお、これらの実施形態により本発明が限定されるものではない。

（第１の実施形態）
図１は、第１の実施形態にかかるカメラモジュールとＩＳＰ（Ｉｍａｇｅ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）とを示すブロック図である。カメラモジュール１は、撮像光学系１０、イメージセンサ１１、ＯＩＳ（ｏｐｔｉｃａｌ ｉｍａｇｅ ｓｔａｂｉｌｉｚａｔｉｏｎ）１２、信号処理部１３及びフレームメモリ１４を有する。

撮像光学系１０は、イメージセンサ１１に被写体像を結像させる。イメージセンサ１１は、撮像光学系１０により取り込まれた光を信号電荷に変換し、被写体像を撮像する。ＯＩＳ１２は、画像の手振れを補正する光学的手振れ補正装置（手振れ補正部）である。信号処理部１３は、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の信号値をベイヤー配列に対応する順序で取り込むことによりアナログ画像信号を生成し、得られた画像信号をアナログ方式からデジタル方式へ変換する。フレームメモリ１４は、イメージセンサ１１での撮像により取得された画像を保持する。

信号処理部１３は、スケーリング部１５及び重ね合わせ部１６を有する。スケーリング部１５は、イメージセンサ１１での撮像により取得された画像のスケーリングを実施する。重ね合わせ部１６は、イメージセンサ１１での撮像により取得された複数の画像を重ね合わせる。

ＩＳＰ２は、カメラモジュールＩ／Ｆ２０、画像取り込み部２１、信号処理部２２、ドライバＩ／Ｆ２３を有する。カメラモジュール１での撮像により得られたＲＡＷ画像は、カメラモジュールＩ／Ｆ２０から画像取り込み部２１へ取り込まれる。

信号処理部２２は、画像取り込み部２１へ取り込まれたＲＡＷ画像について、信号処理を実施する。ドライバＩ／Ｆ２３は、信号処理部２２での信号処理を経た画像信号を、表示ドライバ３へ出力する。表示ドライバ３は、ドライバＩ／Ｆ２３からの画像信号に応じて、画像を表示する。

図２は、ＩＳＰの信号処理部による信号処理の手順を説明するフローチャートである。信号処理部２２（図１参照）は、カメラモジュール１での撮像により得られたＲＡＷ画像について、シェーディング補正を実施する（ステップＳ１）。シェーディング補正は、撮像光学系１０（図１参照）の中央部と周辺部との光量差による輝度ムラの補正である。

信号処理部２２は、固定パターンノイズ、暗電流ノイズ、ショットノイズなどのノイズを除去するノイズリダクション（ステップＳ２）及び解像度復元処理（ステップＳ３）を実施する。次に、信号処理部２２は、ベイヤー配列の順序で伝達されてくるデジタル画像信号に対して、画素補間処理（デモザイキング）を施す（ステップＳ４）。デモザイキングでは、被写体像の撮像により得られた画像信号の補間処理により、不足色成分の感度レベル値を生成する。信号処理部２２は、デモザイキングによりカラー画像を合成する。

信号処理部２２は、カラー画像に対して、ホワイトバランスの自動調整（Ａｕｔｏｍａｔｉｃ Ｗｈｉｔｅ Ｂａｌａｎｃｅ ｃｏｎｔｒｏｌ；ＡＷＢ）を実施する（ステップＳ５）。さらに、信号処理部２２は、色再現性を得るためのリニアカラーマトリクス処理（ステップＳ６）、ディスプレイ等に表示される画像の彩度や明るさを補正するためのガンマ補正（ステップＳ７）を実施する。

なお、図２に示す信号処理の手順は一例であって、他の処理の追加、省略可能な処理の省略、順序の変更などを適宜しても良い。各処理は、カメラモジュール１及びＩＳＰ２とのいずれで実施することとしても良く、分担して実施することとしても良い。

図３は、ＯＩＳの構成を示すブロック図である。ＯＩＳ１２は、補正用レンズ１２０、位置センサ１２１及び位置制御ドライバ１２２を有する。補正用レンズ１２０は、撮像光学系１０（図１参照）に組み込まれている。ＯＩＳ１２は、補正用レンズ１２０の位置の調整により、撮像光学系１０の光軸を変位させる。

位置センサ１２１は、手振れによるカメラモジュール１の移動方向及び移動量を検出する。位置センサ１２１としては、例えば振動ジャイロ機構を使用する。ＯＩＳ１２の演算部（図示省略）は、位置センサ１２１による検出結果から、補正用レンズ１２０を移動させる方向及び移動量を算出する。位置制御ドライバ１２２は、演算部で算出された方向及び移動量に応じて、補正用レンズ１２０の位置を調整する。位置制御ドライバ１２２としては、例えば、ボイスコイルモータ（ｖｏｉｃｅ ｃｏｉｌ ｍｏｔｏｒ；ＶＣＭ）を使用する。

ＯＩＳ１２は、手振れによるカメラモジュール１の移動を相殺するように補正用レンズ１２０の位置を調整することで、手振れ補正を実施する。位置センサ１２１は、補正用レンズ１２０の位置が調整されると、フィードバック回路により、現在の補正用レンズ１２０の位置をゼロ点とするリセットを行う。

カメラモジュール１は、ＯＩＳ１２を手振れ補正のための手段とする他、イメージセンサ１１が持つ画素数に応じた解像度よりも高い解像度を得るための撮像モードにて利用する。

図４は、カメラモジュールにより高解像度を得るための処理の手順を説明するフローチャートである。カメラモジュール１（図１参照）は、イメージセンサ１１での撮像により、第１画像を取得する（ステップＳ１１）。フレームメモリ１４は、カメラモジュール１が取得した第１画像を保持する。

スケーリング部１５は、フレームメモリ１４から読み出した第１画像のアップスケーリングを実施する（ステップＳ１２）。スケーリング部１５は、例えば、第１画像を４倍（横方向へ２倍、及び縦方向へ２倍）に拡大する。

アップスケーリングによる効果は、スケーリングに用いるアルゴリズムに依存する。スケーリング部１５は、例えば、バイリニア、バイキュービックによる補間を用いることで、画質を劣化させずに画像を拡大させることができる。スケーリング部１５は、バイリニア、バイキュービック以外のアルゴリズムを使用して、アップスケーリングを実施しても良い。

次に、ＯＩＳ１２は、補正用レンズ１２０の位置を調整する（ステップＳ１３）。ＯＩＳ１２は、第１画像に続いて取得される第２画像が、第１画像に対して１画素の長さ未満の移動量で移動するように、補正用レンズ１２０の位置を調整する。

スケーリング部１５によるアップスケーリングの倍率をｍ（ただし、ｍは２以上の整数）とすると、第１の方向である横方向（ｘ方向）と、第１の方向に垂直な第２の方向である縦方向（ｙ方向）とについて、第１画像に対する第２画像の移動量を、アップスケーリング後における１画素の長さの１／√ｍ倍とする。アップスケーリングの倍率を４倍（ｍ＝４）とする場合、移動量は、アップスケーリング後における１画素の長さの１／２とする。カメラモジュール１は、第１画像に対して、第２画像が半画素分斜めにシフトするように、補正用レンズ１２０を移動させる。

補正用レンズ１２０の位置を調整する際に、手振れによるカメラモジュール１の移動を位置センサ１２１が検出した場合、ＯＩＳ１２は、本ステップのための移動量を差し引いて、手振れ補正を実施する。これにより、高解像度化と手振れ補正とを同時に実施することが可能となる。

カメラモジュール１は、ステップＳ１３において補正用レンズ１２０の位置を調整してから、イメージセンサ１１での撮像により第２画像を取得する（ステップＳ１４）。フレームメモリ１４は、カメラモジュール１が取得した第２画像を保持する。

スケーリング部１５は、フレームメモリ１４から読み出した第２画像のアップスケーリングを実施する（ステップＳ１５）。スケーリング部１５は、ステップＳ１２における第１画像のアップスケーリングと同じ倍率で、第２画像を拡大する。

重ね合わせ部１６は、ステップＳ１２にてアップスケーリングされた第１画像と、ステップＳ１５にてアップスケーリングされた第２画像と、を重ね合わせる（ステップＳ１６）。スケーリング部１５は、ステップＳ１６の重ね合わせにより得られた画像について、ダウンスケーリングを実施する（ステップＳ１７）。スケーリング部１５は、アップスケーリング前のサイズへ画像を縮小する。

以上により、カメラモジュール１は、高解像度を得るための処理を終了する。なお、カメラモジュール１は、ステップＳ１７のダウンスケーリングを省略し、アップスケーリングがなされたままのサイズの画像を出力しても良い。

図５及び図６は、第１画像及び第２画像の重ね合わせによる高解像度化について説明する概念図である。図５には、第１画像Ｐ１におけるサンプリング点と、第２画像Ｐ２におけるサンプリング点と、第１画像Ｐ１及び第２画像Ｐ２を重ね合わせた場合のサンプリング点とを表している。いずれも、縦軸を感度レベル、横軸をｘ座標とする。図６は、感度レベルの分布を棒グラフによって表している。

第１画像Ｐ１に対して第２画像Ｐ２を半画素分ｘ方向へシフトさせることで、ｘ方向におけるサンプリング点は２倍となる。また、ｙ方向についても、第１画像Ｐ１に対して第２画像Ｐ２を半画素分シフトさせることで、ｙ方向におけるサンプリング点は２倍となる。ｘ方向及びｙ方向のそれぞれについてサンプリング点が２倍となることで、二次元方向においてはサンプリング点が４倍となる。このように、撮像により取得した個々の画像のサンプリング点が少ない場合であっても、画像をシフトさせて重ね合わせることでサンプリング点を増やすことが可能となる。

なお、カメラモジュール１は、処理時間や回路規模に照らして許容可能であれば、アップスケーリングの倍率を２倍より大きくしても良い。例えば、アップスケーリングの倍率を１６倍（横方向へ４倍、及び縦方向へ４倍、ｍ＝１６）とし、第１画像に対する第２画像の移動量を、１画素の長さの１／４としても良い。この場合、１画素の長さの１／４刻みでシフトさせた３つの第２画像を取得し、第１画像に重ね合わせることで、個々の画像に対してサンプリング点を１６倍にすることができる。重ね合わせ部１６は、第１画像に重ね合わせる第２画像は一つである場合に限られず、複数であっても良い。

カメラモジュール１は、互いにシフトさせた画像を重ね合わせてサンプリング点を増やす手法を採用することで、フィルタ処理による擬似的な高解像度化を実施する場合よりも、変色等の不具合の発生を抑制させることができる。また、カメラモジュール１は、手振れ補正のために搭載されているＯＩＳ１２を高解像度化のための処理に流用することで、構成要素を別途追加する場合に比べて簡易な構成により、高解像度化の実現が可能となる。これにより、カメラモジュール１は、簡易な構成により、高解像度かつ高品質な画像を得ることができる。

（第２の実施形態）
図７は、第２の実施形態にかかるカメラモジュールとＩＳＰとを示すブロック図である。信号処理部１３は、スケーリング部１５、重ね合わせ部１６及び解像度復元部１７を有する。第１の実施形態と重複する説明については、適宜省略するものとする。解像度復元部１７は、イメージセンサ１１での撮像により取得された画像について、解像度復元を実施する。

解像度復元部１７は、輪郭の色滲みの原因となる倍率色収差やぼけ量等、撮像光学系１０に備わるレンズ特性を推測して、解像度復元を実施する。解像度復元部１７は、予め格納されているパラメータを参照して、撮像光学系１０に備わるレンズ特性を推測する。レンズ特性としては、例えば、光学伝達係数であるＰＳＦ（Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ）を用いる。解像度復元部１７は、例えば、最小二乗法を使用して、ＰＳＦを推測する。

レンズ特性の推測の際に解像度復元部１７が参照するパラメータは、例えば、レンズ等の部品の製造誤差、部品同士の組立誤差、カメラモジュール１の取り付け誤差等を表すものとする。これにより、解像度復元の効果を確実なものとする。パラメータの保存先は、例えば、カメラモジュール１に設けられたＯＴＰ（Ｏｎｅ Ｔｉｍｅ Ｐｒｏｇｒａｍｍａｂｌｅ ｍｅｍｏｒｙ、図示省略）や、ＩＳＰ２とする。

解像度復元の効果は、復元に用いるアルゴリズムに依存する。解像度復元の処理には、元の被写体像に近い画像を復元するために、例えば、Ｒｉｃｈａｒｄｓｏｎ−Ｌｕｃｙ法を用いる。

図８は、カメラモジュールにより高解像度を得るための処理の手順を説明するフローチャートである。カメラモジュール１は、イメージセンサ１１での撮像により、第１画像を取得する（ステップＳ２１）。フレームメモリ１４は、カメラモジュール１が取得した第１画像を保持する。

解像度復元部１７は、フレームメモリ１４から読み出した第１画像の解像度復元を実施する（ステップＳ２２）。スケーリング部１５は、解像度復元部１７による解像度復元を経た第１画像のアップスケーリングを実施する（ステップＳ２３）。

次に、ＯＩＳ１２は、補正用レンズ１２０の位置を調整する（ステップＳ２４）。ＯＩＳ１２は、第１画像に続いて取得される第２画像が、第１画像に対して１画素の長さ未満の移動量で移動するように、補正用レンズ１２０の位置を調整する。

カメラモジュール１は、ステップＳ２４において補正用レンズ１２０の位置を調整してから、イメージセンサ１１での撮像により第２画像を取得する（ステップＳ２５）。フレームメモリ１４は、カメラモジュール１が取得した第２画像を保持する。

解像度復元部１７は、フレームメモリ１４から読み出した第２画像の解像度復元を実施する（ステップＳ２６）。スケーリング部１５は、解像度復元部１７による解像度復元を経た第２画像のアップスケーリングを実施する（ステップＳ２７）。スケーリング部１５は、ステップＳ２３における第１画像のアップスケーリングと同じ倍率で、第２画像を拡大する。

重ね合わせ部１６は、ステップＳ２３にてアップスケーリングされた第１画像と、ステップＳ２７にてアップスケーリングされた第２画像と、を重ね合わせる（ステップＳ２８）。スケーリング部１５は、ステップＳ２８の重ね合わせにより得られた画像について、ダウンスケーリングを実施する（ステップＳ２９）。スケーリング部１５は、アップスケーリング前のサイズへ画像を縮小する。

以上により、カメラモジュール１は、高解像度を得るための処理を終了する。なお、カメラモジュール１は、ステップＳ２９のダウンスケーリングを省略し、アップスケーリングがなされたままのサイズの画像を出力しても良い。

本実施形態では、第１の実施形態の場合と同様に、簡易な構成により、高解像度かつ高品質な画像を得ることができる。また、本実施形態では、解像度復元を経た第１画像及び第２画像を重ね合わせることで、より一層の解像感を得ることが可能となる。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１ カメラモジュール、１０ 撮像光学系、１１ イメージセンサ、１２ ＯＩＳ、１５ スケーリング部、１６ 重ね合わせ部、１７ 解像度復元部、１２０ 補正用レンズ。

Claims (4)

1. 撮像光学系によって結像された被写体像を撮像するイメージセンサと、
   前記撮像光学系に組み込まれた補正用レンズの位置の調整により、手振れ補正を実施する手振れ補正部と、
   前記イメージセンサでの撮像により取得された複数の画像を重ね合わせる重ね合わせ部と、
   前記イメージセンサでの撮像により取得された画像のスケーリングを実施するスケーリング部と、を有するカメラモジュールであって、
   前記イメージセンサが持つ画素数に応じた解像度よりも高い解像度を得るための撮像モードにおいて、
   前記手振れ補正部は、前記イメージセンサでの撮像により第１画像が取得されてから、前記第１画像に続いて取得される第２画像が、前記第１画像に対して１画素の長さ未満の移動量で移動するように前記補正用レンズの位置を調整し、
   前記スケーリング部は、前記第１画像を拡大させるアップスケーリングと、前記手振れ補正部により前記補正用レンズの位置が調整されてから撮像された一つ又は複数の前記第２画像を、前記第１画像と同じ倍率で拡大させるアップスケーリングとを実施し、
   前記重ね合わせ部は、前記スケーリング部による前記アップスケーリングを経た前記第１画像と、前記スケーリング部による前記アップスケーリングを経た一つ又は複数の前記第２画像と、を重ね合わせ、
   前記スケーリング部は、重ね合わせにより得られた画像を、前記第１画像及び前記第２画像の前記アップスケーリング前のサイズへ縮小させるダウンスケーリングを実施し、
   前記移動量に応じて前記補正用レンズの位置を調整するときに前記カメラモジュールの手振れを検出した場合に、前記手振れ補正部は、前記移動量を差し引いて前記手振れ補正を実施することを特徴とするカメラモジュール。
2. 前記スケーリング部による前記アップスケーリングの倍率をｍ（ただし、ｍは２以上の整数）とすると、第１の方向と、前記第１の方向に垂直な第２の方向とについて、前記第１画像に対する前記第２画像の前記移動量を、１画素の長さの１／√ｍ倍とすることを特徴とする請求項１に記載のカメラモジュール。
3. 前記イメージセンサでの撮像により取得された画像について解像度復元を実施する解像度復元部をさらに有し、
   前記重ね合わせ部は、前記解像度復元部による前記解像度復元を経た前記第１画像及び前記第２画像を重ね合わせることを特徴とする請求項１又は２に記載のカメラモジュール。
4. 撮像光学系によって結像された被写体像をイメージセンサで撮像し、
   前記撮像光学系に組み込まれた補正用レンズの位置の調整により手振れ補正を実施するカメラモジュールの画像記録方法であって、
   前記イメージセンサが持つ画素数に応じた解像度よりも高い解像度を得るための撮像モードにおいて、
   前記イメージセンサでの撮像により第１画像が取得されてから、前記第１画像に続いて取得される第２画像が、前記第１画像に対して１画素の長さ未満の移動量で移動するように前記補正用レンズの位置を調整し、
   前記第１画像を拡大させるアップスケーリングと、前記補正用レンズの位置が調整されてから撮像された一つ又は複数の前記第２画像を、前記第１画像と同じ倍率で拡大させるアップスケーリングとを実施し、
   前記アップスケーリングを経た前記第１画像と、前記アップスケーリングを経た一つ又は複数の前記第２画像と、を重ね合わせ、
   重ね合わせにより得られた画像を、前記第１画像及び前記第２画像の前記アップスケーリング前のサイズへ縮小させるダウンスケーリングを実施し、
   前記移動量に応じて前記補正用レンズの位置を調整するときに前記カメラモジュールの手振れが検出された場合に、前記移動量を差し引いて前記手振れ補正を実施することを特徴とする画像記録方法。

Images