JP7127149B2 - 画像補正方法、画像補正装置、および電子機器 - Google Patents

Description

本願は、限定されないが、情報技術分野に関し、特に画像補正方法、画像補正装置、および電子機器に関する。

現在、ますます多くの携帯電話がデュアルカメラを使って深度計算を行い、また光学式手振れ補正、すなわちＯＩＳが、低輝度で撮影された写真の品質を向上させるための重要な手段として携帯電話で次第に用いられている。ＯＩＳの動作原理では、レンズを移動させてジッタを補償することで手振れ補正を実現する。しかし、デュアルカメラ式ＯＩＳ機能が有効になっていると、撮影またはリアルタイムでのプレビューの最中に画像バイアスが発生する。デュアルカメラ式ＯＩＳ機能により引き起こされる画像バイアスは、既知の技術では解決できない。

本願の実施形態により、画像補正方法、画像補正装置、および電子機器が提供される。

一態様では、本願の実施形態により画像補正方法が提供され、この方法は、第１カメラおよび第２カメラを備える電子機器であって第１カメラと第２カメラのうちの少なくとも１つは光学式手振れ補正システムを備える電子機器のホール値を取得することと、ホール値に対応するレンズバイアスを取得することと、レンズバイアスに対応する画像バイアスを予め設定されたＯＩＳ校正関数に従って算出することと、第１カメラにより撮影された第１画像と第２カメラにより同時に撮影された第２画像のうちの少なくとも１つに対して画像バイアスを使って画像補正を行うことと、を含みうる。

別の態様では、本願の実施形態により画像補正装置が提供され、この装置は第１カメラおよび第２カメラを備え、第１カメラと第２カメラのうちの少なくとも１つは光学式手振れ補正（ＯＩＳ）システムを備えており、電子機器のホール値を取得するよう構成されている取得部であって、さらにホール値に対応するレンズバイアスを取得するよう構成されている取得部と、レンズバイアスに対応する画像バイアスを予め設定されたＯＩＳ校正関数に従って算出するよう構成されている算出部と、第１カメラにより撮影された第１画像と第２カメラにより同時に撮影された第２画像のうちの少なくとも１つに対して画像バイアスを使って画像補正を行うよう構成されている補正部と、を含む。

別の態様では、本願の実施形態により電子機器が提供され、この電子機器は記憶装置およびプロセッサを含むことができて、コンピュータプログラムが記憶装置に記憶され、コンピュータプログラムがプロセッサにより実行されると、プロセッサによって上記の画像補正方法を実施できる。

本願の実施形態の本質および利点は、以下の詳細な説明および添付の図面を参照することでより良く理解しうる。

図面は、本願の技術的解決策の更なる理解を与えることを意図しており、本明細書の一部を成す。図面は、本願の実施形態と共に本願の技術的解決策を説明するために使用され、本願の技術的解決策を限定するものではない。

一実施形態による画像補正方法のフローチャートである。 一実施形態によるレンズバイアスの前後での画像の変化の模式図である。 一実施形態による画像補正方法のフローチャートである。 一実施形態による画像補正装置の模式的構造図である。 一実施形態による電子機器の内部構造の模式図である。 一実施形態による携帯端末の部分構造のブロック図である。

本願は、図面および実施形態を参照しながら以下でさらに詳細に説明される。本明細書に記載される実施形態は、本願を説明することのみを目的としており、本願を制限することは意図していないことを理解されたい。

本願で使用される「第１（ｆｉｒｓｔ）」、「第２（ｓｅｃｏｎｄ）」などの用語は、本明細書において様々な要素を説明するのに使われることがあるが、それらの要素はこれらの用語により限定されないことを理解されたい。これらの用語は一つの要素を他の要素から区別するためだけに使用される。例えば、本願の範囲から逸脱することなく、第１クライアントは他に第２クライアントと呼ばれることがあり、同様に第２クライアントもまた、他に第１クライアントと呼ばれることがある。第１クライアントおよび第２クライアントはいずれもクライアントであるが、同一のクライアントではない。

本願の実施形態により、画像補正方法が提供される。図１に示されるように、この方法は以下の動作、Ｓ１０１～Ｓ１０４を含みうる。

動作Ｓ１０１では、第１カメラおよび第２カメラを備える電子機器であって第１カメラと第２カメラのうちの少なくとも１つは光学式手振れ補正システムを備える電子機器のホール値を取得する。

本願の実施形態の動作は電子機器により実行されうる。電子機器はデュアルカメラを備えた機器でありえて、限定されないが、写真用カメラ、ビデオカメラ、スマートフォンなどの携帯端末、ＰＡＤなどのタブレットコンピュータ、携帯情報端末（ＰＤＡ）、携帯用コンピュータなどの携帯機器、ウェアラブルデバイスなどを含むことができて、本願の実施形態はこれらに限定されない。デュアルカメラの第１カメラおよび第２カメラは、電子機器の本体上に並列に配置することができる。

本願の実施形態では、デュアルカメラは人間の両眼視原理を模して（シミュレートして）距離を認識する、すなわち、２点から被写体を観察して異なる視野角で画像を取得し、三角測量測定の原理を使って画像の画素間の照合関係に従って画素間のバイアスを算出して被写体の被写界深度（ＤＯＦ）を取得する。デュアルカメラの一方または両方にＯＩＳシステムが備わっている場合、ＯＩＳシステムにより引き起こされるレンズバイアスにより、デュアルカメラの校正パラメータが変化して、視差に問題が生じ、ＤＯＦの算出が不正確になる。それゆえ、対象ＤＯＦの計算は校正関数を使ってその後修正または補正される。

ＯＩＳシステムでは、ホールセンサを使用してＯＩＳ内にバイアスが生成された際のホール値をリアルタイムで測定することができて、ホール値とレンズ移動の間の対応関係に従って現時点でのレンズ移動の大きさと方向、すなわちバイアスを算出することができる。移動は、ｘ方向および／またはｙ方向での第１カメラまたは第２カメラの移動でありうる。ホール値は、ホールセンサにより測定された電流／電圧の値でありえる、または、ホールセンサに関連する変位情報などのホール位置情報でありうる。ホールセンサにより測定された電流／電圧の値を使用して、現在のレンズの主点バイアス、すなわち、レンズバイアスを求めることができる。ホール位置情報とレンズバイアスの間に対応関係があり、これには、限定されないが、ホール位置情報はレンズバイアスと等しい、ホール位置情報はレンズバイアスと線形関係にある、ホール位置情報はレンズバイアスと非線形関係にある、が含まれる。

動作Ｓ１０２では、ホール値に対応するレンズバイアスを取得する。

例示の実施形態では、ホール値とレンズバイアスの間に、関数ｆ（ｘ）＝ａｙ＋ｂ（ｘとｙはそれぞれホール値とレンズバイアスを表す）を満足する線形の校正関係がある。例えば、ａ＝１で、かつｂ＝０の場合、ホール値はレンズバイアスと等しく、レンズバイアスはホール値を取得することで得られる。あるいは、ホール値とレンズバイアスの間に、一元二次方程式や二元二次方程式などの非線形の関係がありえる。本願の実施形態では、現時点のレンズバイアスの大きさは、既知のホール値の大きさにより一意に求めることができる。ＯＩＳシステムでは、レンズバイアスの大きさのオーダーはミクロンである。

例示の実施形態では、ホール値とレンズバイアスの間の校正関係は、電子機器がホールセンサにより測定されたホール値を取得するより前に設定しうる。しかし、本願はこれに限定されない。ホール値とレンズバイアスの間の校正関係が動作Ｓ１０２より前に設定される限り、動作Ｓ１０２でホール値に対応するレンズバイアスを校正関係に従って算出することができる。

動作Ｓ１０３では、第１カメラにより撮影された第１画像および第２カメラにより同時に撮影された第２画像を取得し、レンズバイアスに対応する画像バイアスを予め設定されたＯＩＳ校正関数に従って算出する。

例示の実施形態では、ＯＩＳ校正関数は、異なる複数の時点で参照ターゲットを撮影して各時点でのレンズバイアスおよび画像バイアスを記録することと、記録されたレンズバイアスおよび画像バイアスの間の対応関係に従ってＯＩＳ校正関数モデルを決定することと、異なる複数の時点でのレンズバイアスおよび画像バイアスをＯＩＳ校正関数モデルへ入力してＯＩＳ校正関数の式を決定することと、により設定しうる。

例示の実施形態では、電子機器が予め設定されたＯＩＳ校正関数を取得するより前に、方法は、異なる複数の時点で参照ターゲットを撮影して各時点でのレンズバイアスに対応する少なくとも１つの特徴点を含む画像を取得することと、画像内の少なくとも１つの特徴点を検出して、最初の時点における画像に対して、画像内の少なくとも１つの特徴点の位置に応じて画像の画像バイアスを算出することと、異なる複数の時点でのレンズバイアスおよび画像バイアスに基づいて校正関係テーブルを作成して、レンズバイアスと画像バイアスの間のＯＩＳ校正関数を校正関係テーブルに従って適合させることと、をさらに含みうる。本願の実施形態では、レンズバイアスと画像バイアスのＯＩＳ校正関数を校正関数モデルを設定することにより適合して、レンズバイアスおよび画像バイアスが満足する校正関数を決定することができる。例えば、適合曲線がコンピュータ幾何学技術により２次元座標系で描かれることで、レンズバイアスおよび画像バイアスが満足する校正関数を決定することができる。例えば、適合により、レンズバイアスおよび画像バイアスが線形関数モデルまたは二元二次方程式などの非線形関数モデルを満足すると判定される。

例示の実施形態では、レンズバイアスと画像バイアスのＯＩＳ校正関数を校正関係テーブルに従って適合させることは、レンズバイアスと画像バイアスのＯＩＳ校正関数モデルを校正関係テーブルに従って適合させることと、異なる複数の時点でのレンズバイアスおよび画像バイアスを入力パラメータとしてＯＩＳ校正関数モデルへ入力してＯＩＳ校正関数の式を算出することと、を含みうる。

例えば、ＯＩＳ校正関数は一元一次方程式でありえる、または非線形の一元二次方程式もしくは二元二次方程式などでありえて、本願の実施形態はこれらに限定されない。例えば、ＯＩＳ校正関数モデルが二元二次方程式、ｆ（Δｘ，Δｙ）＝ａｘ^２＋ｂｙ^２＋ｃｘｙ＋ｄｘ＋ｅｙ＋ｆで、Δｘ、Δｙは画素を単位とする画像バイアスであり、ｘおよびｙはＸ軸およびＹ軸方向のレンズバイアスであり、ａ、ｂ、ｃ、ｄ、ｅおよびｆはパラメータであると仮定する。６つのパラメータ、ａ、ｂ、ｃ、ｄ、ｅおよびｆの値は、ＯＩＳ校正関数の式を計算するために決定する必要があり、レンズバイアスと画像バイアスの間の対応関係に適合する。本願の実施形態では、６つのパラメータの値を測定するのに６つの方程式が必要となる。つまり、Δｘ、Δｙおよびｘ、ｙが測定できれば、異なるΔｘ、Δｙおよびｘ、ｙを選択して方程式へ入力し、６つのパラメータの値を解決することができる。言い換えれば、異なる複数の時点において、同一の被写体が異なる既知のレンズバイアスにより撮影され、、ΔｘおよびΔｙは、目標点とも呼ばれる撮影された画像内の特徴点の変位量により決定される。例えば、ＯＩＳは時間ｔ０では最初の開始状態にあり、同時にカメラ位置は点０にあり、ＯＩＳはｔ１からｔ６の６つの時点において６つの点、すなわち、点Ａ（ｘ１，ｙ１）、点Ｂ（ｘ２，ｙ２）、点Ｃ（ｘ３，ｙ３）、点Ｄ（ｘ４，ｙ４）、点Ｅ（ｘ５，ｙ５）、点Ｆ（ｘ６，ｙ６）へそれぞれ動かされて、６つの画像が撮影される。１つまたはいくつかの特徴点／特徴ブロックを測定することで、各画像内の点０に対して、特徴点／特徴ブロックの特徴点バイアス／特徴ブロックバイアス、すなわち（Δｘ１，Δｙ１）、（Δｘ２，Δｙ２）、（Δｘ３，Δｙ３）、（Δｘ４，Δｙ４）、（Δｘ５，Δｙ５）、（Δｘ６，Δｙ６）を取得することができる。Δｘ、Δｙおよびｘ、ｙのデータを方程式へ入力することで、６つのパラメータａ、ｂ、ｃ、ｄ、ｅおよびｆの値ａ_０、ｂ_０、ｃ_０、ｄ_０、ｅ_０およびｆ_０を解決することができて、ｆ（Δｘ，Δｙ）を求めることができる、つまり、ｆ（Δｘ，Δｙ）の式をｆ（Δｘ，Δｙ）＝ａ_０ｘ^２＋ｂ_０ｙ^２＋ｃ_０ｘｙ＋ｄ_０ｘ＋ｅ_０ｙ＋ｆ_０と決定することができる。

Ｓ１０４では、第１画像と第２画像のうちの少なくとも１つに対して、画像バイアスを使って画像補正を行う。

例えば、現在算出された画像バイアスがＸ軸の正の方向に１画素バイアスであれば、画像補正が行われる際に、画像全体がＸ軸の負の方向に１画素だけシフトされて画像補正が実現される。

例えば、第１カメラにＯＩＳシステムが備わっていて、第２カメラにＯＩＳシステムが備わっていない場合は、画像補正は第１画像に対してのみ行うことができる。

本願の実施形態では、画像データおよびホール値は時系列、すなわちタイムスタンプに厳密に同期する。例えば、画像が３０Ｈｚで撮影され、ホール値が２００Ｈｚで同時に取得された場合、画像は時系列で６～７個のホール値に対応することになる。

例示の実施形態では、電子機器のホール値を取得するより前に、方法は、時系列でホール値に対応するジャイロスコープの角速度情報を取得することをさらに含みうる。ＯＩＳシステムにおいて、ジャイロスコープは電子機器の異なる方向への移動または傾斜を特定するのに使用される。ＯＩＳモータは、異なる複数の時点においてジャイロスコープにより与えられるデータに従ってバイアスをある程度の角度だけ反転させて、手の震えにより引き起こされる機器本体またはレンズのジッタが確実に弱められるようにする。そのため、取得されるホール値は、時系列でジャイロスコープのデータと同期している。

例示の実施形態では、電子機器のホール値を取得する作業は、少なくとも１つの角速度情報を選択することと、少なくとも１つの角速度情報に対応する少なくとも１つのホール値を取得することと、を含みうる。

例示の実施形態では、角速度情報は角速度値を含み、少なくとも１つの角速度情報を選択することは、取得した角速度情報から少なくとも１つの角速度値を選択することを含む。例えば、少なくとも１つの角速度値は、角速度値の分散または角速度値の合計に応じて選択することができる。

例えば、多数の角速度値の中で、最小の分散または最小の合計を持つ一組の角速度値を選択してもよく、校正用の画像バイアスは角速度値の組に対応するホール値を使って算出することができて、画像バイアスを使って画像を補正することができる。

例えば、一つの画像フレームは多数のホール値に対応し、各ホール値は一組の角速度値に対応する、つまり、ホール値は時系列で角速度値と同期しているが、周波数が異なる。まず一組の角速度値が選択され、すべてのホール値ではなく選択された角速度値の組に対応するホール値を使って画像バイアスが算出されて、画像フレームが補正される。一組の角速度値が選択される場合、各ホール値に対応する一組の角速度値の分散または合計が算出され、最小の分散または合計を持つ角速度値の組が選択されて、その角速度値の組に対応するホール値を使って画像バイアスが算出される。

あるいは、一つの画像フレームが多数のホール値に対応し、各ホール値が一つの角速度値に対応する場合は、この画像フレームに対応するすべての角速度値の平均値を算出してもよく、平均値からの差分が最小である角速度値を選択してもよく、選択された角速度値に対応するホール値を使って画像バイアスを算出することができる。

例示の実施形態では、少なくとも２つのホール値に対応する複数の画像バイアスを使用して画像フレームを補正することができて、この場合、少なくとも２つのホール値はこの画像フレームの異なる領域にそれぞれ対応するよう設定することができて、複数の画像バイアスを使って、異なる領域に対してそれぞれ画像補正を行うことができる。例示の実施形態では、画像フレームが順次走査で得られたら、画像フレームのすべてのラインは少なくとも２つのホール値に対して均一に分割される。例えば、６つのホール値に対応する６つの画像バイアスを使用して画像フレームを補正することができる。デュアルカメラは画像を取得するのにＣＭＯＳ順次走査を採用しているので、画像補正は、異なるホール値に対応する異なる複数のラインの領域に対して行われる。例えば、現在ホール１～ホール６の６つのホール値があり、各ホール値はバイアス画素１～バイアス画素６で表される唯一つの画像バイアスに対応すると仮定すると、ＣＭＯＳが６本のラインをスキャンする場合、６本のラインの画像はそれぞれバイアス画素１～バイアス画素６を使って補正することができる。ＣＭＯＳが６０本のラインをスキャンする場合、６０本のラインの画像は複数のブロックで補正することができて、つまり、６０本のラインは６つのブロックに分割されて、各ブロックは１０本のラインを含み、６つのブロックの画像は、それぞれバイアス画素１～バイアス画素６を使ってブロックごとに補正することができる。言い換えれば、１０本のラインを含む第１ブロックの画像はバイアス画素１を補正パラメータとして使うことで補正することができて、１０本のラインを含む第２ブロックの画像はバイアス画素２を補正パラメータとして使うことで補正することができて、というように続き、１０本のラインを含む第６ブロックの画像はバイアス画素６を補正パラメータとして使うことで補正することができる。

例示の実施形態では、画像補正が完了した後に電子機器は補正された画像に基づいてＤＯＦ情報を算出することもできる。

図２は、レンズバイアスの前後での画像化の変化の模式図である。例えば、カメラのレンズがＯＩＳモータにより駆動される場合、図２に示されるように、レンズが移動する前はカメラの校正パラメータは焦点距離ｆおよび主点ｕ１である。ＯＩＳが動き始めると、ＯＩＳはレンズを動かして主点がｕ２へと変わり、レンズバイアスはミクロンを単位としてΔｕ＝ｕ２－ｕ１となる。実際の手順では、Δｕはホール値とレンズバイアスの間の対応関係に従って導出される。レンズバイアスΔｕに対応する画像バイアス（Δｘ、Δｙ）はＯＩＳ校正関数を使うことで算出することができて、画像修正、すなわち画像補正は（Δｘ、Δｙ）を使って行うことができて、ＤＯＦは三角測量測定を使うことで算出することができる。三角測量測定はＤＯＦを算出する従来のアルゴリズムであり、したがって本願の実施形態ではあらためて述べない。

本願の実施形態では、画像バイアスはホール値とレンズバイアスの間の対応関係およびレンズバイアスと画像バイアスの間の校正関係を使うことで得られる。光学的センタバイアスを取得することでレンズバイアスを取得する方式―これはコード単位であるが―と比べ、本願の実施形態ではより直感的にホール値を取得し、逆にホール値を使ってレンズバイアスを算出するので、計算の複雑度（コンプレクシティ）は小さく、実装は簡易である。加えて、多数のホール値および画像フレームが同時に得られた後に、本願の実施形態では独創的に、ジャイロスコープにより取得されるジャイロ値である異なる角速度値に応じて、少なくとも１つのホール値に対応する少なくとも１つの画像バイアスを選択して、画像フレームに対してライン毎またはブロック毎に補正を行うことを提案し、これにより画像補正の正確さを改善するだけでなく、画像補正の効率および計算量を考慮して、計算リソースの利用率をある程度改善する。

本願の実施形態では、ホール値と画像バイアスの間の校正関係を使って画像バイアスが画像撮影またはリアルタイムプレビューの最中に補正され、ＤＯＦの計算への影響が取り除かれて、ＯＩＳの下での背景のぼけの効果が向上する。

本願の実施形態により図３に示される画像補正方法が提供され、この方法は以下の動作Ｓ３０１～Ｓ３０４を含みうる。

動作Ｓ３０１では、第１カメラおよび第２カメラを備える電子機器であって第１カメラと第２カメラのうちの少なくとも１つは光学式手振れ補正システムを備える電子機器のホール値を取得する。

動作Ｓ３０２では、ホール値に対応するレンズバイアスを取得する。

動作Ｓ３０３では、レンズバイアスに対応する画像バイアスを予め設定されたＯＩＳ校正関数に従って算出する。

動作Ｓ３０４では、画像バイアスを使って、第１カメラにより撮影された第１画像と第２カメラにより同時に撮影された第２画像のうちの少なくとも１つに対して画像補正を行う。

動作Ｓ３０１～Ｓ３０２およびＳ３０４は図１の動作Ｓ１０１～Ｓ１０２およびＳ１０４と一致し、前述の実施形態における動作Ｓ１０１～Ｓ１０２およびＳ１０４の関連記述を参照することができる。

動作Ｓ３０３では、レンズバイアスに対応する画像バイアスを予め設定されたＯＩＳ校正関数に従って算出する実施形態は、前述の実施形態における動作Ｓ１０３における、レンズバイアスに対応する画像バイアスを予め設定されたＯＩＳ校正関数に従って算出する実施形態と一致し、前述の実施形態における動作Ｓ１０３の関連記述を参照することができる。

本実施形態では、第１カメラにより撮影された第１画像および第２カメラにより同時に撮影された第２画像を取得する時点は限定されない。第１カメラにより撮影された第１画像および第２カメラにより同時に撮影された第２画像が画像補正が行われるより前に取得される限り、画像補正を本実施形態で実行することができる。

第１画像および第２画像が取得される時点が動作Ｓ３０３では限定されないことを除き、本実施形態における他の技術的特徴は前述の実施形態における技術的特徴と一致し、前述の実施形態での関連記述を参照することができる。

本願の実施形態により、画像補正装置４０が提供される。図４に示されるように、画像補正装置４０は、取得部４１、算出部４２、および補正部４３を含みうる。

取得部４１はホール値を取得するよう構成される。画像補正装置は第１カメラおよび第２カメラを備え、第１カメラと第２カメラのうちの少なくとも１つは光学式手振れ補正（ＯＩＳ）システムを備える。

ＯＩＳシステムは、ＯＩＳ制御装置、ジャイロスコープ、ホールセンサ、モータ、およびカメラを含みうる。

カメラは第１カメラおよび第２カメラを含む。第１カメラおよび第２カメラは電子機器の前部に並列に与えることができる、または電子機器の後部に並列に与えることができて、第１カメラと第２カメラの配置は水平または垂直でありうる。第１カメラと第２カメラのうちの少なくとも１つにはＯＩＳシステムが備わっており、第１カメラおよび第２カメラはそれぞれレンズを有する。

ホールセンサはホール効果に基づき変位量を検出する磁場センサであり、ホール値を取得してＯＩＳシステムを用いてカメラのレンズバイアス、すなわち第１カメラと第２カメラのうちの少なくとも１つのレンズバイアスを、ホール値とレンズバイアスの間の対応関係を使って取得するよう構成される。

ジャイロスコープは自由空間内での電子機器の運動に基づいた測位システムであり、電子機器が小刻みに動く際の角速度情報を取得するよう構成される。角速度情報は、時系列でホール値に対応する。例えば、ある時点での角度値は、同じ時点でのホール値に対応する。

ＯＩＳ制御装置はジャイロスコープから角速度情報を取得し、角速度情報を電子機器のジッタ振幅へ変換して、ジッタ振幅を基準信号としてモータへ送信する。

モータはＯＩＳモータとすることができて、ＯＩＳシステムを用いてカメラのレンズを駆動してジッタ振幅に応じて動かすように構成され、画像の鮮明さを保証する。

ＯＩＳ制御装置は、本願の実施形態では取得部４１であってもよいが、第１カメラおよび第２カメラを使って対象の光景を同時に撮影することで、それぞれ第１画像および第２画像を取得する。また、ＯＩＳ制御装置は、ホールセンサにより取得したホール値とジャイロスコープにより取得した角速度情報も同時に取得し、この情報を算出部４２へ出力する。

取得部４１が第１画像および第２画像の取得中に多数のホール値を取得する際に、取得部４１はさらに、ホール値に対応する角速度情報を取得するよう構成される。

算出部４２は、レンズバイアスに対応する画像バイアスを予め設定されたＯＩＳ校正関数に従って算出するよう構成される。

本願の実施形態では、演算部４２は汎用プロセッサ（ＣＰＵ）であってもよく、または画像プロセッサ（ＧＰＵ）もしくは画像信号プロセッサ（ＩＳＰ）であってもよい。

ホール値、およびレンズバイアスと画像バイアスの間の校正関係は前述の実施形態で導入および説明されたので、ここではふたたび述べない。

補正部４３は、画像バイアスを使って、第１カメラにより撮影された第１画像と第２カメラにより同時に撮影された第２画像のうちの少なくとも１つに対して画像補正を行うよう構成される。

取得部４１はさらに、ホール値に対応するレンズバイアスを取得するよう構成される。

算出部４２は、予め設定されたＯＩＳ校正関数を取得して、レンズバイアスに対応する画像バイアスをＯＩＳ校正関数に従って算出するよう構成される。

加えて、画像補正装置４０は、撮影部４４、検出部４５、および適合部４６も含む。

撮影部４４は、異なる複数の時点で参照ターゲットを撮影して、各時点でのレンズバイアスに対応する画像を取得するよう構成される。画像は少なくとも１つの特徴点を含む。

検出部４５は、画像内の少なくとも１つの特徴点を検出し、最初の時点における画像に対して、画像内の少なくとも１つの特徴点の位置に応じて画像の画像バイアスを算出するよう構成される。

適合部４６は、異なる複数の時点でのレンズバイアスおよび画像バイアスに基づいて校正関係テーブルを作成して、レンズバイアスと画像バイアスの間のＯＩＳ校正関数を校正関係テーブルに従って適合させるよう構成される。適合部４６は、レンズバイアスと画像バイアスのＯＩＳ校正関数モデルを校正関係テーブルに従って適合させること、および異なる複数の時点でのレンズバイアスおよび画像バイアスを入力パラメータとしてＯＩＳ校正関数モデルへ入力してＯＩＳ校正関数の式を決定すること、という方法により、レンズバイアスと画像バイアスのＯＩＳ校正関数を校正関係テーブルに従って適合させることができる。

加えて、算出部４２はさらに、ホール値とレンズバイアスの間の校正関係を設定して、ホール値に対応するレンズバイアスを校正関係に従って算出するよう構成される。

補正部４３はさらに、画像バイアスを使って、第１カメラにより取得した第１画像と第２カメラにより同時に取得した第２画像のうちの少なくとも１つに対して画像補正を行うよう構成される。

加えて、算出部４２はさらに、補正された第１画像および第２画像のうちの少なくとも１つに従ってＤＯＦ情報を算出するよう構成されることに留意されたい。電子機器は、携帯端末などの端末であってもよい。図５は、電子機器の内部構造の模式図である。図５に示されるように、電子機器は、システムバスを介して接続されるプロセッサ、記憶装置、およびネットワークインタフェースを含む。プロセッサは、電子機器全体の動作をサポートするために演算および制御能力を提供するよう構成される。記憶装置は、データ、プログラム、および同種のものを記憶するよう構成され、少なくとも１つのコンピュータプログラムが記憶装置に記憶されてプロセッサにより実行されることで、本願の実施形態で提供される電子機器に対して適切な画像補正方法を実施することができる。記憶装置は、不揮発性記憶媒体およびメモリを含みうる。不揮発性記憶媒体は、オペレーティングシステムおよびコンピュータプログラムを記憶する。コンピュータプログラムはプロセッサにより実行されて、前述の実施形態で提供される画像補正方法を実施することができる。メモリは、不揮発性記憶媒体内のオペレーティングシステムおよびコンピュータプログラム用のキャッシュされた動作環境を提供する。外部の電子機器と通信するためのネットワークインタフェースは、イーサネットカード、無線カードなどとすることができる。電子機器は、携帯端末、タブレットコンピュータ、携帯情報端末やウェアラブルデバイスなどとすることができる。

例示の実施形態では、電子機器は記憶装置およびプロセッサを含みうる。コンピュータプログラムは記憶装置に記憶され、コンピュータプログラムがプロセッサにより実行されると、プロセッサは、第１カメラおよび第２カメラを備える電子機器であって第１カメラと第２カメラのうちの少なくとも１つは光学式手振れ補正（ＯＩＳ）システムを備える電子機器のホール値を取得することと、ホール値に対応するレンズバイアスを取得することと、レンズバイアスに対応する画像バイアスを予め設定されたＯＩＳ校正関数に従って算出することと、第１カメラにより撮影された第１画像と第２カメラにより同時に撮影された第２画像のうちの少なくとも１つに対して画像バイアスを使って画像補正を行うことと、を行う。

例示の実施形態では、コンピュータプログラムがプロセッサにより実行されると、プロセッサはさらに、時系列でホール値に対応するジャイロスコープの角速度情報を取得することと、少なくとも１つの角速度情報を選択して、少なくとも１つの角速度情報に対応するホール値を取得することと、を行う。

例示の実施形態では、角速度情報は角速度値を含み、コンピュータプログラムがプロセッサにより実行されると、プロセッサはさらに、角速度値の分散または合計に応じて少なくとも１つの角速度情報を選択する。

例示の実施形態では、コンピュータプログラムがプロセッサにより実行されると、プロセッサはさらに、異なる複数の時点で参照ターゲットを撮影して各時点でのレンズバイアスおよび画像の画像バイアスを記録することと、記録されたレンズバイアスおよび画像バイアスの間の対応関係に従ってＯＩＳ校正関数モデルを決定することと、異なる複数の時点でのレンズバイアスおよび画像バイアスをＯＩＳ校正関数モデルへ入力してＯＩＳ校正関数の式を決定することと、という方法により、ＯＩＳ校正関数を設定する。

例示の実施形態では、コンピュータプログラムがプロセッサにより実行されると、プロセッサはさらに、異なる複数の時点で参照ターゲットを撮影して各時点でのレンズバイアスに対応する少なくとも１つの特徴点を含む画像を取得することと、画像内の少なくとも１つの特徴点を検出して、最初の時点における画像に対して、画像内の少なくとも１つの特徴点の位置に応じて画像の画像バイアスを算出することと、異なる複数の時点でのレンズバイアスおよび画像バイアスに基づいて校正関係テーブルを作成して、レンズバイアスと画像バイアスの間のＯＩＳ校正関数を校正関係テーブルに従って適合させることと、を行う。

例示の実施形態では、コンピュータプログラムがプロセッサにより実行されると、プロセッサはさらに、ホール値とレンズバイアスの間の校正関係を設定し、ホール値に対応するレンズバイアスを校正関係に従って算出する。

例示の実施形態では、第１カメラと第２カメラのうちの少なくとも１つにより撮影された画像は時系列でホール値と同期しており、第１画像と第２画像のうちの少なくとも１つの画像フレームは少なくとも２つのホール値に対応する。コンピュータプログラムがプロセッサにより実行されると、プロセッサはさらに、少なくとも２つのホール値を補正される画像フレームの異なる領域に対応するよう構成して、異なる領域に対応する複数の画像バイアスを使って、異なる領域に対してそれぞれ画像補正を行う。

例示の実施形態では、コンピュータプログラムがプロセッサにより実行されると、プロセッサはさらに、画像フレームが順次走査で得られたら、画像フレームのすべてのラインを少なくとも２つのホール値に対して均一に分割する。

また、本願の実施形態により、コンピュータ実行可能命令を記憶するコンピュータ可読記憶媒体が提供され、コンピュータ実行可能命令は、１つまたは複数のプロセッサにより実行されると、１つまたは複数のプロセッサが前述の実施形態における任意の画像補正方法の動作を行えるようにする。

また、本願の実施形態により、命令を含むコンピュータプログラム製品が提供され、命令は、コンピュータ上で動作すると、コンピュータに前述の実施形態における任意の画像補正方法を実行させる。

また、本願の実施形態により、電子機器が提供される。図６に示されるように、説明を簡単にするため、電子機器の本願の実施形態に関連する部分のみが示されており、本実施形態で記載されない特定の技術的詳細については、本願の前述の実施形態で記載された方法を参照することができる。電子機器は、携帯端末、タブレットコンピュータ、携帯情報端末（ＰＤＡ）、販売時点管理（ＰＯＳ）、自動車用コンピュータ、ウェアラブルデバイスなどを含む、任意の端末装置とすることができる。

図６は本願の実施形態により提供される携帯端末の構造の一部のブロック図である。図６を参照すると、携帯端末は、無線周波数（ＲＦ）回路６１０、記憶装置６２０、入力部６３０、表示部６４０、センサ６５０、オーディオ回路６６０、ワイヤレスフィディリティ（ｗｉｆｉ）モジュール６７０、プロセッサ６８０、電源６９０などを含む。当業者であれば、図６に示される携帯端末の構造は携帯端末に制限を課すものではなく、示されているより多くの、もしくはより少ない構成要素、もしくはいくつかの統合された構成要素、または異なる構成要素配列を含みうることを理解しうる。

ＲＦ回路６１０は、信号を受信／送信する、または電話で情報を受信／送信し、基地局からのダウンリンク情報を受信して、この情報を処理するためプロセッサ６８０へ送信するよう構成することができる。あるいは、ＲＦ回路６１０は、アップリンクデータを基地局へ送信するよう構成することができる。概して、ＲＦ回路は、限定されないが、アンテナ、少なくとも１つの増幅器、送受信機、カプラ、低雑音増幅器（ＬＮＡ）、デュプレクサなどを含む。加えて、ＲＦ回路６１０は、無線通信を介してネットワークおよび他の機器と通信することもできる。上記の無線通信は、限定されないが、汎欧州デジタル移動電話方式（ＧＳＭ）、汎用パケット無線サービス（ＧＰＲＳ）、符号分割多元接続方式（ＣＤＭＡ）、広帯域符号分割多元接続方式（ＷＣＤＭＡ）、ロングタームエボリューション（ＬＴＥ）、電子メール、ショートメッセージサービス（ＳＭＳ）などを含む、任意の通信規格またはプロトコルを使用することができる。

記憶装置６２０は、ソフトウェアプログラムおよびソフトウェアモジュールを記憶するよう構成することができる。プロセッサ６８０は、記憶装置６２０内に記憶されるソフトウェアプログラムおよびソフトウェアモジュールを起動することで、様々な機能的アプリケーション、および携帯端末のデータ処理を実行する。記憶装置６２０は、主にプログラム記憶領域およびデータ記憶領域を含みうる。プログラム記憶領域は、オペレーティングシステム、および、音声再生機能アプリケーションプログラムや画像再生機能アプリケーションプログラムなどの少なくとも１つの機能で必要となるアプリケーションプログラムを記憶することができる。データ記憶領域は、オーディオデータ、アドレス帳など、携帯端末の使用に応じて作成されるデータを記憶することができる。加えて、記憶装置６２０は高速ランダムアクセスメモリを含むことができて、また、少なくとも１つのディスク記憶装置やフラッシュメモリ装置などの不揮発性記憶装置、または他の揮発性半導体記憶装置も含みうる。

入力部６３０は、入力されたデジタル情報または文字情報を受信して、携帯端末６００のユーザ設定および機能制御に関連する重要な信号入力を生成するよう構成することができる。具体的には、入力部６３０はタッチパネル６３１および他の入力装置６３２を含みうる。タッチパネル６３１は、タッチスクリーンとしても知られるが、指やスタイラスなどの任意の適切な物体またはアクセサリを使うことで、タッチパネル６３１上での、またはタッチパネル６３１の近くでのユーザの作業などの、タッチパネル６３１上での、またはタッチパネル６３１の近くでのユーザのタッチ操作を回収して、予め設定されたプログラムに従って対応する接続機器を駆動することができる。一実施形態では、タッチパネル６３１はタッチ検出装置およびタッチ制御装置の２つの部品を含みうる。タッチ検出装置はユーザのタッチ位置を検出し、タッチ操作によりもたらされる信号を検出し、この信号をタッチ制御装置へ送信する。タッチ制御装置はタッチ検出装置からのタッチ情報を受信し、この情報を接触座標へ変換してプロセッサ６８０へ送信し、プロセッサ６８０からコマンドを受信して実行することができる。加えて、タッチパネル６３１は、抵抗膜式、静電容量式、赤外線方式、表面弾性波方式などの様々な種類で実現することができる。タッチパネル６３１に加え、入力部６３０は他の入力装置６３２も含みうる。特に、他の入力装置６３２は、限定されないが、物理キーボード、音量調節キーやスイッチキーなどのファンクションキー、または同種のものの１つまたは複数を含みうる。

表示部６４０は、ユーザにより入力された情報またはユーザへ提供される情報、および携帯端末の様々なメニューを表示するよう構成することができる。表示部６４０は、表示パネル６４１を含みうる。一実施形態では、表示パネル６４１は、液晶ディスプレイ（ＬＣＤ）、有機ＥＬ（ＯＬＥＤ）などの形態で提供することができる。一実施形態では、タッチパネル６３１は表示パネル６４１を覆うことができて、タッチパネル６３１がその上、またはその近くでタッチ操作を検出すると、タッチ操作がプロセッサ６８０へ送信されてタッチイベントの種類が判定され、プロセッサ６８０がタッチイベントの種類に応じて表示パネル６４１上に対応する視覚的出力を提供する。図６ではタッチパネル６３１および表示パネル６４１が２つの独立した構成要素で携帯端末の入力機能および出力機能を実現しているが、一部の実施形態では、タッチパネル６３１および表示パネル６４１は統合されて携帯端末の入力機能および出力機能を実現することができる。

また、携帯端末６００は、光センサ、モーションセンサや他のセンサなどの少なくとも１つのセンサ６５０も含みうる。光センサは環境光センサおよび近接センサを含みうる。環境光センサは、環境光の明るさに応じて表示パネル６４１の明るさを調節することができる。近接センサは、携帯端末が耳に近づいた際に表示パネル６４１および／またはバックライトを消すことができる。モーションセンサは、すべての方向の加速度の大きさを検出しうる加速度センサを含みうる。モーションセンサは、静的状態での重力の大きさおよび方向を検出することができて、水平画面と垂直画面の切替などの携帯端末の姿勢の応用、歩数計やタップなどの振動識別関連機能を特定するのに使用しうる。加えて、携帯端末には、ジャイロスコープ、気圧計、湿度計、温度計、赤外線センサなどの他のセンサが備わっていてもよい。

オーディオ回路６６０、スピーカ６６１、およびマイク６６２は、ユーザと携帯端末の間のオーディオインタフェースを提供することができる。オーディオ回路６６０は、受信したオーディオデータから変換された電気信号をスピーカ６６１へ送信することができて、スピーカ６６１はこの信号を出力するために音声信号へ変換する。一方で、マイク６６２は収集された音声信号を電気信号へ変換し、電気信号はオーディオ回路６６０に受信されてオーディオデータへと変換される。その後、オーディオデータは処理のためにプロセッサ６８０へ出力されて、ＲＦ回路６１０を介して別の携帯端末へ送信される、または後続処理のために記憶装置６２０へ出力される。

ＷｉＦｉは短距離無線伝送技術である。携帯端末は、ＷｉＦｉモジュール６７０を介してユーザが電子メールを送受信したり、ウェブページを閲覧したり、ストリーミングメディアへアクセスしたりするのを助けることができる。ＷｉＦｉモジュール６７０は、ユーザに無線のブロードバンドインターネットアクセスを提供する。図６はＷｉＦｉモジュール６７０を示しているが、ＷｉＦｉモジュール６７０は携帯端末６００の必要な構成ではなく、必要に応じて省いてもよいことが理解しうる。

プロセッサ６８０は携帯端末の管理センターであり、携帯端末全体の様々な部分を様々なインタフェースおよび回線と接続し、記憶装置６２０に記憶されたソフトウェアプログラムおよび／またはソフトウェアモジュールを起動または実行し、記憶装置６２０に記憶されているデータを呼び出すことで携帯端末の様々な機能およびデータ処理を行うことで、携帯端末の全般的な監視を行う。一実施形態では、プロセッサ６８０は１つまたは複数の処理部を含みうる。一実施形態では、プロセッサ６８０はアプリケーションプロセッサおよびモデムプロセッサを統合することがある。アプリケーションプロセッサは、主にオペレーティングシステム、ユーザインタフェース、アプリケーションプログラム、および同種のものを処理する。モデムプロセッサは、主に無線通信を担当する。上述したモデムプロセッサがプロセッサ６８０へ統合されなくてもよいことは明らかであろう。

携帯端末６００は、様々な部品に電力を供給する電池などの電源６９０も含む。あるいは、電源は電源管理システムを介してプロセッサ６８０へ論理的に接続されてもよく、その結果、充電管理、放電管理、消費電力管理などの機能は電源管理システムを介して実現しうる。

一実施形態では、携帯端末６００はカメラやブルートゥースモジュールなども含みうる。

本願の実施形態では、電子機器に含まれるプロセッサ６８０は、記憶装置に記憶されたコンピュータプログラムの実行時に画像補正方法の動作を行う。

本願で用いられるメモリ、記憶装置、データベース、または他の媒体への言及はいずれも不揮発性メモリおよび／または揮発性メモリを含みうる。不揮発性メモリには、読み出し専用メモリ（ＲＯＭ）、プログラマブルＲＯＭ（ＰＲＯＭ）、電気的書き込み可能ＲＯＭ（ＥＰＲＯＭ）、電気的消去書き込み可能ＲＯＭ（ＥＥＰＲＯＭ）、またはフラッシュメモリを含みうる。揮発性メモリには、外部キャッシュメモリとしてのランダムアクセスメモリ（ＲＡＭ）を含みうる。例証として、また制限ではなく、ＲＡＭは様々な形態で、例えばスタティックＲＡＭ（ＳＲＡＭ）、ダイナミックＲＡＭ（ＤＲＡＭ）、シンクロナスＤＲＡＭ（ＳＤＲＡＭ）、ダブルデータレートＳＤＲＡＭ（ＤＤＲ ＳＤＲＡＭ）、エンハンストＳＤＲＡＭ（ＥＳＤＲＡＭ）、シンクロナスリンクＤＲＡＭ（ＳＬＤＲＡＭ）、メモリバスダイレクトＲＡＭ（ＲＤＲＡＭ）、ダイレクトメモリバスダイナミックＲＡＭ（ＤＲＤＲＡＭ）、メモリバスダイナミックＲＡＭ（ＲＤＲＡＭ）で、入手可能である。

前述の実施形態は本願のいくつかの実施形態を提供するに過ぎず、その説明は比較的具体的で詳細であるが、本願の保護範囲を制限すると解釈されるべきではない。当業者は本願の概念、これは本願の保護範囲内に入るが、を逸脱することなく、変更および改善を行いうることに留意されたい。本願の保護範囲は添付の請求項により規定される。

Claims (15)

1. 第１カメラおよび第２カメラを備える電子機器であって前記第１カメラと前記第２カメラのうちの少なくとも１つは光学式手振れ補正（ＯＩＳ）システムを備える電子機器のホール値を取得すること（Ｓ３０１）と、
   前記ホール値に対応するレンズバイアスを取得すること（Ｓ３０２）と、
   前記レンズバイアスに対応する画像バイアスを予め設定されたＯＩＳ校正関数に従って算出すること（Ｓ３０３）と、
   前記第１カメラにより撮影された第１画像と前記第２カメラにより同時に撮影された第２画像のうちの少なくとも１つに対して前記画像バイアスを使って画像補正を行うこと（Ｓ３０４）と、
   を含む、画像補正方法。
2. 前記ホール値に対応する前記レンズバイアスの取得に応答して、前記第１カメラにより撮影された前記第１画像と前記第２カメラにより同時に撮影された前記第２画像を取得すること、をさらに含む、請求項１に記載の方法。
3. ジャイロスコープの角速度情報を取得すること、
   をさらに含み、
   前記電子機器の前記ホール値を取得することは、少なくとも１つの前記角速度情報を選択することと、前記少なくとも１つの前記角速度情報に対応する前記ホール値を取得することと、を含む、
   請求項１または２に記載の方法。
4. 前記角速度情報は角速度値を含み、前記少なくとも１つの前記角速度情報を選択することは、少なくとも１つの角速度値を選択することを含む、請求項３に記載の方法。
5. 前記ＯＩＳ校正関数を、
   異なる複数の時点で参照ターゲットを撮影して各時点でのレンズバイアスおよび画像バイアスを記録することと、
   記録されたレンズバイアスおよび画像バイアスの間の対応関係に従ってＯＩＳ校正関数モデルを決定することと、
   前記異なる複数の時点での前記レンズバイアスおよび前記画像バイアスを前記ＯＩＳ校正関数モデルへ入力して前記ＯＩＳ校正関数の式を決定することと、
   により設定すること、をさらに含む、請求項１～４のいずれか一項に記載の方法。
6. 異なる複数の時点で参照ターゲットを撮影して各時点でのレンズバイアスに対応する少なくとも１つの特徴点を含む画像を取得することと、
   前記画像内の前記少なくとも１つの特徴点を検出して、最初の時点における画像に対して、前記画像内の前記少なくとも１つの特徴点の位置に応じて前記画像の画像バイアスを算出することと、
   前記異なる複数の時点でのレンズバイアスおよび画像バイアスに基づいて校正関係テーブルを作成して、前記レンズバイアスと前記画像バイアスの間の前記ＯＩＳ校正関数を前記校正関係テーブルに従って適合させることと、
   をさらに含む、請求項１～５のいずれか一項に記載の方法。
7. 前記レンズバイアスと前記画像バイアスの間の前記ＯＩＳ校正関数を前記校正関係テーブルに従って適合させることは、
   前記レンズバイアスと前記画像バイアスのＯＩＳ校正関数モデルを前記校正関係テーブルに従って適合させることと、
   前記異なる複数の時点での前記レンズバイアスおよび前記画像バイアスを前記ＯＩＳ校正関数モデルへ入力して前記ＯＩＳ校正関数の式を決定することと、
   を含む、請求項６に記載の方法。
8. ホール値とレンズバイアスの間の校正関係を設定すること、をさらに含み、
   前記ホール値に対応する前記レンズバイアスを取得することは、前記ホール値に対応する前記レンズバイアスを前記校正関係に従って求めること、を含む、
   請求項１～７のいずれか一項に記載の方法。
9. 前記第１画像と前記第２画像のうちの少なくとも１つの画像フレームは少なくとも２つのホール値に対応する、請求項１～８のいずれか一項に記載の方法。
10. 前記画像バイアスを使って、前記第１画像と前記第２画像のうちの少なくとも１つに対して画像補正を行うことは、
    前記少なくとも２つのホール値を補正される画像フレームの異なる領域に対応するよう構成して、前記異なる領域に対応する複数の画像バイアスを使って、前記異なる領域に対してそれぞれ画像補正を行うこと、
    を含む、請求項９に記載の方法。
11. 前記少なくとも２つのホール値を前記画像フレームの異なる領域に対応するよう構成することは、
    前記画像フレームが順次走査で得られたら、前記画像フレームのすべてのラインを前記少なくとも２つのホール値に対して均一に分割すること、
    を含む、請求項１０に記載の方法。
12. 画像補正装置であって、
    電子機器のホール値を取得するよう構成されている取得部（４１）であって、前記画像補正装置は第１カメラおよび第２カメラを備え、前記第１カメラと前記第２カメラのうちの少なくとも１つは光学式手振れ補正（ＯＩＳ）システムを備え、さらにホール値に対応するレンズバイアスを取得するよう構成されている取得部（４１）と、
    前記レンズバイアスに対応する画像バイアスを予め設定されたＯＩＳ校正関数に従って算出するよう構成されている算出部（４２）と、
    前記第１カメラにより撮影された第１画像と前記第２カメラにより同時に撮影された第２画像のうちの少なくとも１つに対して前記画像バイアスを使って画像補正を行うよう構成されている補正部（４３）と、
    を含む、画像補正装置。
13. 前記取得部（４１）はさらに、ジャイロスコープの角速度情報を取得するよう構成され、
    前記取得部（４１）は、前記電子機器の前記ホール値の取得を少なくとも１つの前記角速度情報を選択して、前記少なくとも１つの前記角速度情報に対応する前記ホール値を取得することにより行うよう構成される、
    請求項１２に記載の装置。
14. 異なる複数の時点で参照ターゲットを撮影して各時点での前記レンズバイアスに対応する少なくとも１つの特徴点を含む画像を取得するよう構成される撮影部（４４）と、
    前記画像内の前記少なくとも１つの特徴点を検出し、最初の時点における画像に対して、前記画像内の前記少なくとも１つの特徴点の位置に応じて前記画像の前記画像バイアスを算出するよう構成される検出部（４５）と、
    前記異なる複数の時点での前記レンズバイアスおよび前記画像バイアスに基づいて校正関係テーブルを作成して、前記レンズバイアスと前記画像バイアスの間のＯＩＳ校正関数を前記校正関係テーブルに従って適合させるよう構成される適合部（４６）と、
    をさらに含む、請求項１２または１３に記載の装置。
15. 記憶装置（６２０）およびプロセッサ（６８０）を含む電子機器であって、コンピュータプログラムが前記記憶装置に記憶され、前記コンピュータプログラムが前記プロセッサ（６８０）により実行されると、前記プロセッサ（６８０）によって請求項１～１１のいずれか一項に記載の方法を実施できる、電子機器。

Images