JP6605049B2 - ユーザ端末のパノラマ画像生成方法及び装置 - Google Patents

Description

交差引用

本出願は、バイドゥオンラインネットワークテクノロジーリミテッドカンパニーにより２０１５年６月３０日付けで提出された発明の名称が「ユーザ端末のパノラマ画像生成方法及び装置」であり、中国特許出願番号が「２０１５１０３７７２５１.６」である特許出願の優先権を主張するものである。

本発明は、画像処理技術に関し、特にユーザ端末のパノラマ画像生成方法及び装置に関する。

パノラマ図は、広角ショットにより取得されるが、撮影するハードウェアに限定され、より多くのパノラマ図は複数の画像を接合することにより取得され、できるだけ多くの周囲の環境を表示する。従来技術において、一般的に以下のようないくつかの方法を使用して複数の画像を接合することによりパノラマ画像を取得する。一つは、通用接合方法であり、当該方法はスケール不変特徴変換（Ｓｃａｌｅ-ｉｎｖａｒｉａｎｔ ｆｅａｔｕｒｅ ｔｒａｎｓｆｏｒｍ、ＳＩＦＴ）特徴及びバンドル調整（ｂｕｎｄｌｅ ａｄｊｕｓｔｍｅｎｔ）最適化を用いて画像接合することである。もう一つは、携帯電話に対する接合方法であり、携帯電話の内蔵のセンサーを用いて携帯電話の実行トラックを記録して画像接合を加速することと、及び重複領域に対して色と照明補償することにより、接合の画像品質を向上させるという二つに分かれる。

しかしながら、現在の一般的な接合方法及び携帯電話に対する接合方法はいずれも接合スピードが遅い。

本発明は、少なくともある程度に従来の技術での技術問題の一つを解決しようとする。

そのため、本発明の一つの目的は、ユーザ端末のパノラマ画像生成方法を提出することであり、当該方法は画像の接合スピードを向上させることができる。

本発明のもう一つの目的は、ユーザ端末のパノラマ画像生成装置を提出することである。

上記の目的を達成するために、本発明に係る第１側面の実施形態の実施例は、ユーザ端末のパノラマ画像生成方法を提出し、当該方法は、ユーザ端末により撮影された複数の画像を取得し、複数の画像の間の隣接関係を決定し、また隣接画像を特徴マッチングし、マッチングされた特徴点対を取得するステップと、前記マッチングされた特徴点対及び初期カメラパラメータに基づいて最適化されたカメラパラメータを取得するステップと、隣接画像を色調整して色調整された隣接画像を取得するステップと、前記最適化されたカメラパラメータに基づいて、前記色調整された隣接画像を接合し、パノラマ図を生成するステップと、を含む。

本発明に係る第１側面の実施形態の実施例により提出するユーザ端末のパノラマ画像生成方法は、複数の画像の間の隣接関係を決定し、また隣接画像を特徴抽出を行うことにより、精度要件を満たすことができ、且つ特徴抽出の作業負荷を低減することができるので、画像の接合スピードを向上させる。

上記の目的を達成するために、本発明に係る第２側面の実施形態の実施例により提出するユーザ端末のパノラマ画像生成装置は、ユーザ端末により撮影された複数の画像を取得し、複数の画像の間の隣接関係を決定し、また隣接画像を特徴マッチングし、マッチングされた特徴点対を取得するマッチングモジュールと、前記マッチングされた特徴点対及び初期カメラパラメータに基づいて最適化されたカメラパラメータを取得する最適化モジュールと、隣接画像を色調整して色調整された隣接画像を取得する調整モジュールと、前記最適化されたカメラパラメータに基づいて、前記色調整された隣接画像を接合し、パノラマ図を生成する接合モジュールと、を含む。

本発明に係る第２側面の実施形態の実施例により提出するユーザ端末のパノラマ画像生成装置は、複数の画像の間の隣接関係を決定し、また隣接画像を特徴抽出を行うことにより、精度要件を満たすことができ、且つ特徴抽出の作業負荷を低減することができるので、画像の接合スピードを向上させる。

本発明の実施形態の実施例はさらにユーザ端末を提出し、当該ユーザ端末は、一つまたは複数のプロセッサーと、メモリと、一つまたは複数のプログラムと、を含み、前記一つまたは複数のプログラムは、前記メモリに記憶され、前記一つまたは複数のプロセッサーにより実行される場合、本発明第１側面のいずれかに記載の方法を実行する。

本発明の実施形態の実施例はさらに不揮発性コンピューター記憶媒体を提出し、当該不揮発性コンピューター記憶媒体は、一つまたは複数のモジュールが記憶され、前記一つまたは複数のモジュールが実行される場合、本発明第１側面のいずれかに記載の方法を実行する。本発明の付加方面と利点は、下記の説明にて部分的に示され、一部は下記の説明にて明らかになり、または本発明の実践により理解される。

本発明の上記および／または付加的な方面と利点は、下記の図面を結合しつつ実施例に対する説明を行う過程にて明らかで理解しやすくなる。その中で、
本発明に係る一つの実施例により提出するユーザ端末のパノラマ画像生成方法のフローチャートである。 本発明に係る実施例でＳ１１のフローチャートである。 本発明に係る実施例でＳ１２のフローチャートである。 本発明に係る実施例でＳ１３のフローチャートである。 本発明に係る実施例でＳ１４のフローチャートである。 本発明に係る実施例で接合を行う画像の概略図である。 本発明に係る実施例で画像に対応するｍａｓｋ図の概略図である。 本発明に係る実施例で接合されたパノラマ図の概略図である。 本発明に係るもう一つの実施例により提出するユーザ端末のパノラマ画像生成装置の構造概略図である。 本発明に係るもう一つの実施例により提出するユーザ端末のパノラマ画像生成装置の構造概略図である。

以下に、本発明の実施例を詳細に説明する。前記実施例の例示が図面において示されるが、一貫して同一または類似する符号は、同一又は類似の部品、又は、同一又は類似の機能を有する部品を表す。以下に、図面を参照しながら説明される実施例は例示性のものであり、本発明を解釈するためだけに用いられるものであって、本発明を限定するように理解されてはならない。逆に、本発明の実施例は、添付される特許請求の範囲に置かれる原理及び含意における全ての変化、修正及び同等物を含む。

図１は、本発明に係る一つの実施例により提出するユーザ端末のパノラマ画像生成方法のフローチャートである。当該方法は、Ｓ１１と、Ｓ１２と、Ｓ１３と、Ｓ１４と、を含む。

Ｓ１１において、ユーザ端末により撮影された複数の画像を取得し、複数の画像の間の隣接関係を決定し、また隣接画像を特徴マッチングし、マッチングされた特徴点対を取得する。
その中で、ユーザ端末のカメラを使用して周囲の環境を撮影して異なる状態（例えば、角度および照明）の複数の画像を取得する。

一つの実施例において、計算量を低減するために、隣接画像の間のマッチング関係のみ計算し，隣接していない画像の間のマッチング関係に対して計算しない。従って、まずは隣接画像を決定してもよい。

選択的に、ユーザ端末がモバイルデバイスであることを例として、図２を参照すると、Ｓ１１を実現するフローチャートである。その中で、前記複数の画像から隣接画像を決定するステップは、Ｓ２１を含む。

Ｓ２１において、各画像に対応して、前記画像を撮影する場合、前記モバイルデバイス内に設置されているセンサーの情報を取得し、前記センサーの情報に基づいて隣接画像を決定する。
その中で、センサーは、例えば、ジャイロセンサーと、地磁気計と、重力センサーとなどである。

例えば、一つの画像を撮影する毎に、当該画像に対応するセンサー情報を記録し、その後この情報に基づいて隣接画像を決定する。例えば、第１の画像の角度が第１角度であり、第２の画像の角度が第２角度であり、第３の画像の角度が第３角度であり、第１角度と第２角度との数値差が第３角度と第１角度との数値差より小さいと仮定すると、第１画像と第２画像とが隣接することであると決定できる。もちろん、理解できるのは、上記の隣接画像を決定する方式は、ただ一つの簡略化した例であり、他の方式を使用して実現してもよい。

本実施例において、モバイルデバイス内の装置を使用することによりモバイルデバイス自身のリソースを十分に利用することができ、便利で、ショートカットに隣接画像を決定できる。

隣接画像を決定した後、隣接画像での各画像に対してぞれぞれに特徴抽出を行い、特徴マッチングを完了する。

一つの実施例において、図２を参照すると、その中での、隣接画像を特徴マッチングし、マッチングされた特徴点対を取得することは、Ｓ２３を含む。

Ｓ２３において、隣接画像を予め設定された個数の領域に分割し、また各領域内で、個数が予め設定された数値より小さい特徴点を抽出する。

例えば、隣接画像での各画像を四つの領域に分かれ、各領域から限定数の特徴点を抽出する。
特徴点は、具体的にＳＩＦＴ特徴点でもよい。

Ｓ２４において、隣接画像内で抽出された特徴点に基づいて、特徴マッチングし、マッチングされた特徴点対を取得する。

例えば、ランダムサンプルコンセンサス（Ｒａｎｄｏｍ Ｓａｍｐｌｅ Ｃｏｎｓｅｎｓｕｓ、ＲＡＮＳＡＣ）アルゴリズムを使用して隣接画像でのＳＩＦＴ特徴点に対してマッチングし、マッチングした徴点対を取得する。

本実施例において、特徴点の個数を限定することにより、計算量を低減して接合スピードを向上させる。

一つの実施例において、特徴点を抽出する前に、まずは画像に対して前処理し、及び/又は、特徴点対のマッチング後、ミスマッチングされた一部の特徴点対を除去する。

図２を参照すると、Ｓ２２を更に含む。
Ｓ２２において、隣接画像を前処理し、前記前処理は、色強調、及び/又はサイズスケーリングを含んでもよい。

その中で、色強調とは、暗い画像に対して強調することである。例えば、一つの画像のピクセルの輝度値が予め設定された数値より小さい場合、当該輝度値に対して所定の増分を増加させる。

サイズスケーリングとは、モバイルデバイスの処理に適当なサイズまで元画像をスケーリングするサイズであり、その中で、当該サイズはモバイルデバイスの種類によって決定される。

前処理されて、前処理された画像に対して特徴抽出し且つ特徴マッチングし、具体的には、前記の係る説明を参照し、ここでは繰り返さない。

本実施例において、前処理に基づいて処理効果を向上させることができ、且つモバイルデバイスに適合する。

ＲＡＮＳＡＣを使用してマッチングされた特徴点対を得た後、ミスマッチングされた特徴点対存在する可能性があるので、その後ミスマッチングされた特徴点対を除去してもよい。

一つの実施例において、図２を参照すると、更にＳ２５を含んでもよい。
Ｓ２５において、前記マッチングされた特徴点対に対してフィルター処理し、ミスマッチングされた特徴点対を除去する。

その中で、ヒューリスティックアルゴリズムを使用してフィルター処理を行ってもよい。

例えば、二対の特徴点対がそれぞれにＡとＢ、ＣとＤ、及び、ＥとＦなどであると仮定した場合、ＡとＢを接続して線分ＡＢを取得する。同様に、線分ＣＤ、ＥＦなども取得される。その後、それらの線分を比較して、ほぼ同じ長さ、且つほぼ平行関係である線分に対応する特徴点対を残して、他の特徴点対は除去する。その中で、除去された特徴点対は、一般的にはミスマッチングされたＳＩＦＴ特徴点対及びミスしたＲＡＮＳＡＣ内点（ｉｎｌｉｅｒｓ）を含み、一般的にこれらのミスマッチングされたＳＩＦＴ特徴点対はほぼ平行しない。一般的にこれらの間違ったＲＡＮＳＡＣ内点は線分の長さがほぼ同じではない。

フィルター処理に基づいて、フィルター処理されてマッチングした特徴点対を取得され、その後の処理において、使用しているマッチングした特徴点対とはフィルター処理されてマッチングした特徴点対である。

本実施例において、フィルター処理に基づいて、マッチングされた特徴点対の精度を向上でき、画像接合の精度を向上させる。

Ｓ１２において、前記マッチングされた特徴点対及び初期カメラパラメータに基づいて、最適化されたカメラパラメータを取得する。

その中で、バンドル調整（ｂｕｎｄｌｅ ａｄｊｕｓｔｍｅｎｔ）アルゴリズムを使用してグローバルなカメラパラメータの最適化する。

ｂｕｎｄｌｅ ａｄｊｕｓｔｍｅｎｔアルゴリズムは非線形方程式であり、すべての画像の間のマッチングされた特徴点対のプロジェクション差が最小になることで、カメラパラメータを最適化する。

ｂｕｎｄｌｅ ａｄｊｕｓｔｍｅｎｔアルゴリズムはレーベンバーグ・マルカート（Ｌｅｖｅｎｂｅｒｇ-Ｍａｒｑｕａｒｄｔ）反復アルゴリズムを用いて解けたのである。非線形最適化は初期値に対して非常に敏感するので、与えられた初期値がよくなければ、局所最適解しか得られないので、接合されたパノラマ図は転位又はゴーストされる。

そのため、一つの実施例において、図３を参照すると、グローバル最適化カメラパラメータのプロセスは、Ｓ３１と、Ｓ３２と、を含む。

Ｓ３１において、前記初期カメラパラメータを決定する。前記初期カメラパラメータを決定するステップは、各画像を撮影する場合、前記モバイルデバイス内に設置されたセンサーの情報を取得し、また前記情報に基づいて各画像の初期カメラパラメータを決定する。

その中で、カメラパラメータは、焦点距離、回転行列などを含んでもよい。

従来技術において、初期カメラパラメータはランダムな初期値を使用する。本実施例のセンサー情報に基づいて取得された初期カメラパラメータを使用すば、もっとよい最適解を取得され、接合の転位又はゴーストを低減することは、実験により表示される。

Ｓ３２において、前記初期カメラパラメータ及びフィルターされてマッチングした特徴点対に基づいて、最適化されたカメラパラメータを取得する。

例えば、Ｌｅｖｅｎｂｅｒｇ-Ｍａｒｑｕａｒｄｔ反復アルゴリズムを使用して、最適化されたカメラパラメータを解ける。

一方、Ｌｅｖｅｎｂｅｒｇ-Ｍａｒｑｕａｒｄｔ反復アルゴリズムを使用いて、最適化を解ける場合、最適化が失敗（アルゴリズムが収束しない）する可能性がある。従来技術において、最適化が失敗された場合の解決策を提供していないが、本発明の一つの実施例において、図３を参照すると、更にＳ３３を含む。

Ｓ３３において、最適化が失敗されてから、失敗解決策を使用する。失敗解決策は、次のようである。

カメラパラメータの最適化が失敗された場合、予め決定された理想的なカメラパラメータを初期カメラパラメータとして再最適化する。

その中で、理想的なカメラパラメータは次のような方式を使用して決定できる。ユーザ端末（例えば、モバイルデバイス）の各層で撮影した画像のフォーマットを決定し、更に各図が位置する角度のドロー予測を行って、この角度に基づいて理想的なカメラパラメータを取得する。

前記再最適化が失敗し、且つ、前記複数の画像が3つの層に分かれた場合、最下方の１層の画像を除去し、上方の２層の画像を用いて最適化する。

理想的なカメラパラメータを初期カメラパラメータとしても最適化が失敗された場合、一部の画像に対応する特徴点対を除去する。例えば、一般的に携帯電話を用いて撮影する場合、三つの層の画像を撮影され、本実施例において、まずは最底層の画像を除去してい、上方の２層の画像を最適化して、上方の２層の画像接合が正しいことを確保する。

その中で、上方の２層の画像を最適化する場合、具体的には、上方の２層の画像のマッチング特徴点対及び初期カメラパラメータに基づいて最適化してもよい。また、初期カメラパラメータは、優先に本実施例の上記センサー情報に基づいて決定された初期カメラパラメータを選択した後、理想的なカメラパラメータを選択してもよい。

上方の２層の画像を用いた最適化が失敗された場合、中間の１層の画像のみを用いて最適化する。

例えば、上方の２層が最適化されなければ、中間の１層の画像のみ最適化されることを保証し、中間の１層の画像接合が正しいことを確保する。従って、その場合、中間の１層の画像に対応する特徴点対及び初期カメラパラメータを使用して計算を行って、且つ計算する場合、初期カメラパラメータは、優先に本実施例の上記センサー情報を使用して決定された初期カメラパラメータを選択した後、理想的なカメラパラメータを選択してもよい。

本実施例において、センサー情報に基づいて取得された初期カメラパラメータを使用するこにより、最適解の精度を向上させることができ、接合效果を向上させる。また、上記最適化失敗された処理策を使用することにより、ロバスト性を向上させることができる。

Ｓ１３において、前記隣接画像を色調整して色調整された隣接画像を取得する。

携帯電話で写真を取るプロセスに、各イメージのパラメータ、例えば、露光及びホワイトバランスなどは、いずれも再計算されたものである。シーンが異なる領域の光の変化は、隣接イメージの異なる露光度を招く。当時に、シーンが異なる領域の異なる色の物体もホワイトバランスの設置に影響を与えるので、同じ物体が隣接イメージで異なる外観を示し、いくつかは明るい、いくつかは暗くなる。付加的な照明や色処理がなければ、パノラマ図の重複領域に色ムラが発生するので、接合する前に元画像に対して色及び照明の補償する必要がある。

一つの実施例において、図４を参照すると、前記隣接画像を色調整して色調整された隣接画像を取得することは、Ｓ４１と、Ｓ４２と、Ｓ４３と、を含む。

Ｓ４１において、隣接画像の重複領域を決定する。

二枚の画像の重複領域を決定するアルゴリズムとして、既存の技術を使用して実現してもよい。

Ｓ４２において、隣接画像の前記重複領域における２組の画素点の画素値に基づいて、２組の画素値の数値差が最小になる補正パラメータを決定する。

例えば、隣接画像はＡとＢであり、ＡとＢの重複領域はＤであれば、ＡのＤ領域内のピクセル点の画素値、及びＢのＤ領域内のピクセル点の画素値を取得でき，その後最小二乗アルゴリズムを使用して、この２組の画素値の数値差が最小になる場合のＡとＢそれぞれに対応する補正パラメータを計算する。補正パラメータは、例えば、Ｇａｍｍａ補正パラメータである。

Ｓ４３において、前記補正パラメータを利用して隣接画像を色調整し、色調整された隣接画像を取得する。

例えば、ＡとＢの補正パラメータを決定した後、それぞれに、Ａの補正パラメータを利用してＡに対して色補正し、Ｂの補正パラメータを利用してＢに対して色補正してもよい。

本実施例において、色補正することにより、パノラマ図の色ムラの状況を解決することができる。

Ｓ１４において、前記最適化されたカメラパラメータに基づいて、前記色調整された隣接画像を接合し、パノラマ図を生成する。

隣接画像をカメラパラメータの最適化し且つ色調整してから、隣接画像を接合し、パノラマ図を生成する。

一つの実施例において、図５を参照すると、前記最適化されたカメラパラメータに基づいて、前記色調整された隣接画像を接合し、パノラマ図を生成することは、Ｓ５１と、Ｓ５２と、Ｓ５３と、Ｓ５４と、を含む。

Ｓ５１において、前記色調整された隣接画像を縮小処理して縮小された画像を取得する。

例えば、隣接画像での各画像を元の１/８に縮小する。

Ｓ５２において、前記最適化されたカメラパラメータに基づいて、前記縮小された画像内の接合継ぎ目を決定する。

その中で、画像を決定した後、隣接画像に基づいて各画像内の接合継ぎ目を決定することは、従来技術を使用してもよい。

従来技術と異なるのは、従来技術において一般的に元の大きさの画像を使用するが、本実施例は画像を縮小し、縮小されたイメージの上で接合継ぎ目を決定することにより、低い解像度の画像上で接合継ぎ目を決定でき、作業負荷を低減し、時間を節約することができる。

Ｓ５３において、前記最適化されたカメラパラメータ及び前記接合継ぎ目に基づいて、各画像に対応し且つ構成部分及びつなぎ合わせ部分を含むマスク（ｍａｓｋ）パターンを生成する。

その中で、最適化されたカメラパラメータにより各画像がパノラマ図の位置を決定でき、当該位置及び接合継ぎ目を決定した後、一枚の画像のマスクマップを決定でき、当該マスクマップは構成部分及びつなぎ合わせ部分で構成される。

例えば、画像接合を行う４枚の画像は図６ａに示したように、この４枚の画像に対応するｍａｓｋ図は図６ｂに示したようである。その中で、構成部分は白い領域であり、つなぎ合わせ部分は黒い領域である。

Ｓ５４において、隣接画像の前記つなぎ合わせ部分を多層混合・融合して、融合された部分を取得し、また前記構成部分及び前記融合された部分をパノラマ図に組み合わせる。

その中で、ｍａｓｋ図での構成部分を直接にパノラマ図の対応する部分で使用してもよい。つなぎ合わせ部分は隣接画像において重複があるので、処理する必要がある。本実施例において、従来の多層混合の方式を使用し、その後、更に構成部分及び融合された部分でパノラマ図を構成してもよい。

また、説明すべきは、一般的にｍａｓｋ図の大きさは元のパノラマ図と一致（即ち、解像度が一致する）する大きさに選択するので、直接に構成部分及び融合された部分でパノラマ図を構成することができる。

例えば、接合されたパノラマ図は、図６ｃに示したようである。

一つの実施例において、ｍａｓｋ図をパノラマ図と一致する大きさに選択した場合、パノラマ図が接合処理する場合、三次元の形を使用して接合し、表示する場合は二次元の形で表示するので、表示する場合、一つの画像のｍａｓｋ図のつなぎ合わせ部分が大きくて、構成部分がつなぎ合わせ部分の両端に分散する。その場合、更に以下の処理を行ってもよい。

前記マスクマップの構成部分が二つの部分に分かれ、且つそれぞれ前記つなぎ合わせ部分の両端に位置する場合、前記マスクマップを二つの小さなマップに分けて、各小さなマップをぞれぞれ処理する。

例えば、その後での多層混合する場合、及び構成部分と融合された部分とが構成される場合、各小さい画像を特立した一つの画像として処理する。

本実施例において、ｍａｓｋ図を小さいイメージに分割することにより、処理時間を減少させる。例えば、各ｍａｓｋ図は１〜２秒の時間を減少することができ、一般的には７〜８枚のｍａｓｋ図があるので、接合スピードを明らかに向上させる。

本発明の上記実施例は具体的に携帯電話の画像接合に応用されてもよく、理解すべきは、本発明の上記方案は他のモバイルデバイス内に応用されてもよく、例えば、カーシステムの接合に応用される。更に、車両などの他のシーンに応用され、具体的なパラメータなどは実際状況に応じて調整してもよい。

本発明の実施例において、隣接画像を決定し、また隣接画像を特徴抽出することにより、精度要件を満たすことができ、且つ特徴抽出の作業負荷を低減することができ，画像接合スピードを向上させる。そして、本実施例の上記方法は、特にモバイルデバイスに適用し、以上の画像の前処理、特徴マッチング、グローバル最適化、グローバル色調整、及び多層混合など改良により、モバイルデバイスにおいて、素早く、高品質に多層写真をパノラマ接合することができる。実験により表示されたように、接合成功率は８０％以上、スピードは４０秒以内である。且つ、本実施例の方案は異なる種類のユーザ端末内に応用され、それらの性能を向上させることができる。

図７は本発明に係るもう一つの実施例により提出するユーザ端末のパノラマ画像生成装置の構造概略図である。当該装置はユーザ端末内に位置し、当該装置７０は、マッチングモジュール７１と、最適化モジュール７２と、調整モジュール７３と、接合モジュール７４と、を含む。

マッチングモジュール７１は、ユーザ端末により撮影された複数の画像を取得し、複数の画像の間の隣接関係を決定し、また隣接画像を特徴マッチングし、マッチングされた特徴点対を取得する。

その中で、ユーザ端末のカメラを使用して周囲の環境を撮影して異なる状態（例えば、角度および照明）の複数の画像を取得する。

一つの実施例において、計算量を低減するために、隣接画像の間のマッチング関係のみ計算し，隣接していない画像の間のマッチング関係に対して計算しない。従って、まずは隣接画像を決定してもよい。

選択的に、ユーザ端末がモバイルデバイスであることを例として、前記マッチングモジュール７１は前記複数の画像から隣接画像を決定することは、
各画像に対応して、前記画像を撮影する場合、前記モバイルデバイス内に設置されているセンサーの情報を取得し、前記センサーの情報に基づいて隣接画像を決定することを含む。

その中で、センサーは、例えば、ジャイロセンサーと、地磁気計と、重力センサーとなどである。

例えば、一つの画像を撮影する毎に、当該画像に対応するセンサー情報を記録し、その後この情報に基づいて隣接画像を決定する。例えば、第１の画像の角度が第１角度であり、第２の画像の角度が第２角度であり、第３の画像の角度が第３角度であり、第１角度と第２角度との数値差が第３角度と第１角度との数値差より小さいと仮定すると、第１画像と第２画像とが隣接することであると決定できる。もちろん、理解できるのは、上記の隣接画像を決定する方式は、ただ一つの簡略化した例であり、他の方式を使用して実現してもよい。

本実施例において、モバイルデバイス内の装置を使用することによりモバイルデバイス自身のリソースを十分に利用することができ、便利で、ショートカットに隣接画像を決定できる。

隣接画像を決定した後、隣接画像での各画像に対してぞれぞれに特徴抽出を行い、特徴マッチングを完了する。

選択的に、前記マッチングモジュール７１は隣接画像を特徴マッチングし、マッチングされた特徴点対を取得することは、
隣接画像を予め設定された個数の領域に分割し、また各領域内で、個数が予め設定された数値より小さい特徴点を抽出する。

例えば、隣接画像での各画像を四つの領域に分かれ、各領域から限定数の特徴点を抽出する。

特徴点は、具体的にＳＩＦＴ特徴点でもよい。

隣接画像内で抽出された特徴点に基づいて、特徴マッチングし、マッチングされた特徴点対を取得する。

例えば、ランダムサンプルコンセンサス（Ｒａｎｄｏｍ Ｓａｍｐｌｅ Ｃｏｎｓｅｎｓｕｓ、ＲＡＮＳＡＣ）アルゴリズムを使用して隣接画像でのＳＩＦＴ特徴点に対してマッチングし、マッチングした徴点対を取得する。

本実施例において、特徴点の個数を限定することにより、計算量を低減して接合スピードを向上させる。

一つの実施例において、当該マッチングモジュールは、特徴点を抽出する前に、まずは画像に対して前処理し、及び/又は、特徴点対のマッチング後、ミスマッチングされた一部の特徴点対を除去する。具体的な内容は、方法実施例での係る説明を参照し、ここでは繰り返さない。

最適化モジュール７２は、前記マッチングされた特徴点対及び初期カメラパラメータに基づいて、最適化されたカメラパラメータを取得する。

その中で、バンドル調整（ｂｕｎｄｌｅ ａｄｊｕｓｔｍｅｎｔ）アルゴリズムを使用してグローバルなカメラパラメータの最適化を行う。

ｂｕｎｄｌｅ ａｄｊｕｓｔｍｅｎｔアルゴリズムは非線形方程式であり、すべての画像の間のマッチングされた特徴点対のプロジェクション差が最小になることで、カメラパラメータを最適化する。

ｂｕｎｄｌｅ ａｄｊｕｓｔｍｅｎｔアルゴリズムはレーベンバーグ・マルカート（Ｌｅｖｅｎｂｅｒｇ-Ｍａｒｑｕａｒｄｔ）反復アルゴリズムを用いて解けたのである。非線形最適化は初期値に対して非常に敏感するので、与えられた初期値がよくなければ、局所最適解しか取得されないので、接合されたパノラマ図は転位又はゴーストされる。

一つの実施例において、図８を参照すると、当該装置７０は、前記初期値を決定モジュール７５を更に含み、前記決定モジュール７５は、具体的に、
各画像を撮影する場合、前記モバイルデバイス内に設置されたセンサーの情報を取得し、また前記情報に基づいて各画像の初期カメラパラメータを決定する。

その中で、カメラパラメータは、焦点距離と、回転行列となどを含んでもよい。

従来技術において、初期カメラパラメータはランダムな初期値を使用する。本実施例のセンサー情報に基づいて取得された初期カメラパラメータを使用すば、もっとよい最適解を取得され、接合の転位又はゴーストを低減することは、実験により表示される。

一方、Ｌｅｖｅｎｂｅｒｇ-Ｍａｒｑｕａｒｄｔ反復アルゴリズムを用いて、最適化を解ける場合、最適化が失敗（アルゴリズムが収束しない）する可能性がある。従来技術において、最適化が失敗された場合の解決策を提供していない。

本発明の一つの実施例において、図８を参照すると、当該装置７０は、処理モジュール７６を更に含む。

処理モジュール７６は、カメラパラメータの最適化が失敗された場合、予め決定された理想的なカメラパラメータを初期カメラパラメータ初期値として再最適化する、前記再最適化が失敗し、また画像が3つの層に分かれた場合、最下方の１層の画像を除去し、上方の２層の画像を用いて最適化する、上方の２層の画像を用いた最適化が失敗された場合、中間の１層の画像のみを用いて最適化する

その中で、理想的なカメラパラメータは次のような方式を使用して決定できる。ユーザ端末（例えば、モバイルデバイス）の各層で撮影した画像のフォーマットを決定し、更に各図が位置する角度のドロー予測を行って、この角度に基づいて理想的なカメラパラメータを取得する。

理想的なカメラパラメータを初期カメラパラメータとしても最適化が失敗された場合、一部の画像に対応する特徴点対を除去する。例えば、一般的に携帯電話を用いて撮影する場合、三つの層の画像を撮影され、本実施例において、まずは最底層の画像を除去してい、上方の２層の画像を最適化して、上方の２層の画像接合が正しいことを確保する。

その中で、上方の２層の画像を最適化する場合、その中で、カメラパラメータは、焦点距離、回転行列などを含んでもよい。初期カメラパラメータは、優先に本実施例の上記センサー情報に基づいて決定した初期値を選択した後、理想的なカメラパラメータを選択してもよい。例えば、上方の２層が最適化されなければ、中間の１層の画像のみ最適化されることを保証し、中間の１層の画像接合が正しいことを確保する。従って、その場合、中間の１層の画像に対応する特徴点対及び初期カメラパラメータを使用して計算を行って、且つ計算する場合、初期カメラパラメータは、優先に本実施例の上記センサー情報を使用して決定した初期カメラパラメータを選択した後、理想的なカメラパラメータを選択してもよい。

本実施例において、センサー情報に基づいて取得された初期カメラパラメータを使用するこにより、最適解の精度を向上させることができ、接合效果を向上させる。また、上記最適化失敗された処理策を使用することにより、ロバスト性を向上させることができる。

調整モジュール７３は、隣接画像を色調整して色調整された隣接画像を取得する。

携帯電話で写真を取るプロセスに、各イメージのパラメータ、例えば、露光及びホワイトバランスなどは、いずれも再計算されたものである。シーンが異なる領域の光の変化は、隣接イメージの異なる露光度を招く。当時に、シーンが異なる領域の異なる色の物体もホワイトバランスの設置に影響を与えるので、同じ物体が隣接イメージで異なる外観を示し、いくつかは明るい、いくつかは暗くなる。付加的な照明や色処理がなければ、パノラマ図の重複領域に色ムラが発生するので、接合する前に元画像に対して色及び照明の補償する必要がある。

一つの実施例において、前記調整モジュール７３は、具体的に、
隣接画像の重複領域を決定する。

二枚の画像の重複領域を決定するアルゴリズムとして既存の技術を使用して実現してもよい。

隣接画像の前記重複領域における２組の画素点の画素値に基づいて、２組の画素値の数値差が最小になる補正パラメータを決定する。

例えば、隣接画像はＡとＢであり、ＡとＢの重複領域はＤであれば、ＡのＤ領域内のピクセル点の画素値、及びＢのＤ領域内のピクセル点の画素値を取得でき，その後最小二乗アルゴリズムを使用して、この２組の画素値の数値差が最小になる場合のＡとＢそれぞれに対応する補正パラメータを計算する。補正パラメータは、例えば、Ｇａｍｍａ補正パラメータである。

前記補正パラメータを利用して隣接画像を色調整し、色調整された隣接画像を取得する。

例えば、ＡとＢの補正パラメータを決定した後、それぞれに、Ａの補正パラメータを利用してＡに対して色補正し、Ｂの補正パラメータを利用してＢに対して色補正してもよい。

本実施例において、色補正することにより、パノラマ図の色ムラの状況を解決することができる。

接合モジュール７４は、前記最適化されたカメラパラメータに基づいて、前記色調整された隣接画像を接合し、パノラマ図を生成する。

隣接画像をカメラパラメータの最適化し且つ色調整してから、隣接画像を接合し、パノラマ図を生成する。

一つの実施例において、前記接合モジュール７４は、具体的に、
前記色調整された隣接画像を縮小処理して縮小された画像を取得する。

例えば、隣接画像での各画像を元の１/８に縮小する。

前記最適化されたカメラパラメータに基づいて、前記縮小された画像内の接合継ぎ目を決定する。

その中で、画像を決定した後、隣接画像に基づいて各画像内の接合継ぎ目を決定することは、従来技術を使用してもよい。

従来技術と異なるのは、従来技術において一般的に元の大きさの画像を使用するが、本実施例は画像を縮小し、縮小されたイメージの上で接合継ぎ目を決定することにより、低い解像度の画像上で接合継ぎ目を決定でき、作業負荷を低減し、時間を節約することができる。

前記最適化されたカメラパラメータ及び前記接合継ぎ目に基づいて、各画像に対応し且つ成部分及びつなぎ合わせ部分を含むマス図を生成する。

その中で、最適化されたカメラパラメータにより各画像がパノラマ図の位置を決定でき、当該位置及び接合継ぎ目を決定した後、一枚の画像のマスクマップを決定でき、当該マスクマップは構成部分及びつなぎ合わせ部分で構成される。

例えば、画像接合を行う４枚の画像は図６ａに示したように、この４枚の画像に対応するｍａｓｋ図は図６ｂに示したようである。その中で、構成部分は白い領域であり、つなぎ合わせ部分は黒い領域である。

隣接画像の前記つなぎ合わせ部分を多層混合・融合して、融合された部分を取得し、また前記構成部分及び前記融合された部分をパノラマ図に組み合わせる。

その中で、ｍａｓｋ図での構成部分を直接にパノラマ図の対応する部分で使用してもよい。つなぎ合わせ部分は隣接画像において重複があるので、処理する必要がある。本実施例において、従来の多層混合の方式を使用し、その後、更に構成部分及び融合された部分でパノラマ図を構成してもよい。

また、説明すべきは、一般的にｍａｓｋ図の大きさは元のパノラマ図と一致（即ち、解像度が一致する）する大きさに選択するので、直接に構成部分及び融合された部分でパノラマ図を構成することができる。

例えば、接合されたパノラマ図は、図６ｃに示したようである。

一つの実施例において、前記接合モジュール７４は、
前記マスクマップの構成部分が二つの部分に分かれ、且つそれぞれ前記つなぎ合わせ部分の両端に位置する場合、前記マスクマップを二つの小さなマップに分けて、各小さなマップをぞれぞれ処理する。

例えば、その後での多層混合する場合、及び構成部分と融合された部分とが構成される場合、各小さい画像を特立した一つの画像として処理する。

本実施例において、ｍａｓｋ図を小さいイメージに分割することにより、処理時間を減少させる。例えば、各ｍａｓｋ図は１〜２秒の時間を減少することができ、一般的には７〜８枚のｍａｓｋ図があるので、接合スピードを明らかに向上させる。

本発明の上記実施例は具体的に携帯電話の画像接合に応用されてもよく、理解すべきは、本発明の上記方案は他のモバイルデバイス内に応用されてもよく、例えば、カーシステムの接合に応用される。更に、車両などの他のシーンに応用され、具体的なパラメータなどは実際状況に応じて調整してもよい。

本発明の実施例において、隣接画像を決定し、また隣接画像を特徴抽出することにより、精度要件を満たすことができ、且つ特徴抽出の作業負荷を低減することができ，画像接合スピードを向上させる。そして、本実施例の上記方法は、特にモバイルデバイスに適用し、以上の画像の前処理、特徴マッチング、グローバル最適化、グローバル色調整、及び多層混合など改良により、モバイルデバイスにおいて、素早く、高品質に多層写真をパノラマ接合することができる。実験により表示されたように、接合成功率は８０％以上、スピードは４０秒以内である。且つ、本実施例の方案は異なる種類のユーザ端末内に応用され、それらの性能を向上させることができる。

本発明の実施例は、一つまたは複数のプロセッサーと、メモリと、一つまたは複数のプログラムと、を含み、前記一つまたは複数のプログラムは、前記メモリに記憶され、前記一つまたは複数のプロセッサーにより実行される場合、本発明の第１側面の実施例のいずれかに記載の方法を実行するユーザ端末を更に提供する。

本発明の実施例は、一つまたは複数のモジュールが記憶され、前記一つまたは複数のモジュールが実行される場合、本発明の第１側面の実施例のいずれかに記載の方法を実行する不揮発性コンピューター記憶媒体を更に提供する。

説明すべきことは、本発明の説明において、用語である「第１」、「第２」は説明のためだけに用いられるものであり、比較的な重要性を指示又は暗示すると理解してはいけない。また、本発明の説明において、別途の説明がない限り、「複数」の意味は、少なくとも二つである。

フローチャートまたはここで他の方式で説明されたいかなる過程や方法は、一つまたは複数の、特定ロジック性能または過程のステップを実現するに用いられる実行可能なコマンドのコードのモジュール、セクターあるいは部分を含むと理解されることができ、本発明の望ましい実施形態の範囲は、他の実現を含み、その中で、表示または討論の順序に従わなくても良く、述べられた機能に基づいて基本的に同様な方式または逆の順序でその機能を実行することを含む。これは、本発明の実施例の当業者に理解される。

理解すべきことは、本発明の各部分は、ハードウェア、ソフトウェア、ファームウエアまたはそれらの組み合わせで実現できる。上記の実施形態において、複数のステップまたは方法がメモリに記憶され、且つ適当なコマンド実行システムのソフトウェアまたはファームウエアで実現できる。例えば、ハードウェアで実現する場合、他の実施形態と同じように、本領域周知の下記の任意一つまたはそれらの組み合わせで実現できる。すなわち、デジタル信号に対してロジック機能を実現するロジックゲート回路を有する離散ロジック回路、ロジックゲート回路を組み合わせた適当な専用ＩＣ、プログラマブルゲートアレイ（ＰＧＡ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）などである。

実施例の方法における全部または一部のステップがプログラムにより関連のハードウェアを実行することで完成されることは、本技術領域の普通の技術者に理解される。前記プログラムは一つのコンピューター読取り可能媒体に記憶されることができる。当該プログラムを実行するとき、実施例方法のステップの一つまたはそれらの組み合わせを含む。

この他、本発明の各実施例における各機能ユニットは、一つの処理モジュールに集積され、または、各ユニットの単独的な物理存在であり、あるいは、二つまたは二つ以上のユニットが一つのモジュールに集積されることができる。上記の集積されたモジュールは、ハードウェアの形式、または、ソフトウェア機能モジュールの形式で実現できる。前記集積されたモジュールが、ソフトウェア機能モジュールの形式で実現され、且つ独立の製品として販売または使用される場合、コンピューター読取り可能媒体に記憶されることができる。

上記の記憶メディアは、読み出し専用メモリ、ディスク、またはＣＤなどであって可能である。

本明細書の説明において、参照用語である「一つの実施例」、「一部の実施例」、「例示」、「具体的な例示」、または「一部の例示」などの説明は、当該実施例や例示を結合して説明する具体的な特徴、構造、材料、または特点が本発明の少なくとも一つの実施例や例示に含まれることを意味する。本明細書において、上記の用語に対する黙示的な記述が必ずしも同じ実施例や例示に対することではない。また、説明された具体的な特徴、構造、材料、または特点は、任意の一つのまたは複数の実施例または例示に適当な方式で結合されることができる。

本発明の実施例を示して説明したが、当業者にとって理解できるのは、上記の実施例は例示性のものであり、本発明に対する限定と理解されてはいけない。本発明の範囲で上記の実施例に対して変化、補正、切り替え及び変形を行うことができる。

Claims (12)

1. ユーザ端末により撮影された複数の画像を取得し、複数の画像の間の隣接関係を決定し、また隣接画像を特徴マッチングし、マッチングされた特徴点対を取得するステップと、
   前記マッチングされた特徴点対及び初期カメラパラメータに基づいて、最適化されたカメラパラメータを取得するステップと、
   隣接画像を色調整して色調整された隣接画像を取得するステップと、
   前記最適化されたカメラパラメータに基づいて、前記色調整された隣接画像を接合し、パノラマ図を生成するステップと、
   を含み、
   前記隣接画像を色調整して色調整された隣接画像を取得するステップは、
   隣接画像の重複領域を決定するステップと、
   隣接画像の前記重複領域における２組の画素点の画素値に基づいて、２組の画素値の数値差が最小になる補正パラメータを決定するステップと、
   前記補正パラメータを利用して隣接画像を色調整し、色調整された隣接画像を取得するステップと、
   を含む、
   ことを特徴とするユーザ端末に用いられるパノラマ画像生成方法。
2. 前記隣接画像を特徴マッチングし、マッチングされた特徴点対を取得するステップは、
   隣接画像を予め設定された個数の領域に分割し、各領域内で、個数が予め設定された数値より小さい特徴点を抽出するステップと、
   隣接画像内で抽出された特徴点に基づいて特徴マッチングし、マッチングされた特徴点対を取得するステップと、
   を含む、
   ことを特徴とする請求項１に記載の方法。
3. カメラパラメータの最適化が失敗された場合、予め決定された理想的なカメラパラメータを初期カメラパラメータとして再最適化するステップと、
   前記再最適化が失敗し、また画像が３つの層に分かれた場合、最下方の１層の画像を除去し、上方の２層の画像を用いて最適化するステップと、
   上方の２層の画像を用いた最適化が失敗された場合、中間の１層の画像のみを用いて最適化するステップと、
   を更に含む、
   ことを特徴とする請求項１または２に記載の方法。
4. 前記最適化されたカメラパラメータに基づいて、前記色調整された隣接画像を接合し、パノラマ図を生成するステップは、
   前記色調整された隣接画像を縮小処理して、縮小された画像を取得するステップと、
   前記最適化されたカメラパラメータに基づいて、前記縮小された画像内の接合継ぎ目を決定するステップと、
   前記最適化されたカメラパラメータ及び前記接合継ぎ目に基づいて、各画像に対応し且つ構成部分及びつなぎ合わせ部分を含むマスクマップを生成するステップと、
   隣接画像の前記つなぎ合わせ部分を多層混合・融合して、融合された部分を取得し、前記構成部分及び前記融合された部分をパノラマ図に組み合わせるステップと、
   を含む、
   ことを特徴とする請求項１〜３のいずれかに記載の方法。
5. 前記マスクマップの構成部分が二つの部分に分かれ、且つそれぞれ前記つなぎ合わせ部分の両端に位置する場合、前記マスクマップを二つの小さなマップに分けて、各小さなマップをそれぞれ処理するようにするステップをさらに含む、
   ことを特徴とする請求項４項に記載の方法。
6. ユーザ端末により撮影された複数の画像を取得し、複数の画像の間の隣接関係を決定し、隣接画像を特徴マッチングし、マッチングされた特徴点対を取得するマッチングモジュールと、
   前記マッチングされた特徴点対及び初期カメラパラメータに基づいて、最適化されたカメラパラメータを取得する最適化モジュールと、
   隣接画像を色調整して、色調整された隣接画像を取得する調整モジュールと、
   前記最適化されたカメラパラメータに基づいて、前記色調整された隣接画像を接合し、パノラマ図を生成する接合モジュールと、
   を含み、
   前記調整モジュールは、具体的には、
   隣接画像の重複領域を決定し、
   隣接画像の前記重複領域における２組の画素点の画素値に基づいて、２組の画素値の数値差が最小になる補正パラメータを決定し、
   前記補正パラメータを利用して隣接画像を色調整し、色調整された隣接画像を取得する、
   ことを特徴とするユーザ端末に用いられるパノラマ画像生成装置。
7. 前記マッチングモジュールが隣接画像を特徴マッチングし、マッチングされた特徴点対を取得することは、
   隣接画像を予め設定された個数の領域に分割し、各領域内で個数が予め設定された数値より小さい特徴点を抽出することと、
   隣接画像内で抽出された特徴点に基づいて特徴マッチングし，マッチングされた特徴点対を取得することと、
   を含む、
   ことを特徴とする請求項６に記載の装置。
8. カメラパラメータの最適化が失敗された場合、予め決定された理想的なカメラパラメータを初期値として再最適化し、前記再最適化が失敗し、且つ画像が３つの層に分かれた場合、最下方の１層の画像を除去し、上方の２層の画像を用いて最適化し、上方の２層の画像を用いた最適化が失敗された場合、中間の１層の画像のみを用いて最適化する処理モジュールを更に含む、
   ことを特徴とする請求項６または７に記載の装置。
9. 前記接合モジュールは、具体的には、
   前記色調整された隣接画像を縮小処理して、縮小された画像を取得し、
   前記最適化されたカメラパラメータに基づいて、前記縮小された画像内の接合継ぎ目を決定し、
   前記最適化されたカメラパラメータ及び前記接合継ぎ目に基づいて、各画像に対応し且つ構成部分及びつなぎ合わせ部分を含むマスクマップを生成し、
   隣接画像の前記つなぎ合わせ部分を多層混合・融合して、融合された部分を取得し、前記構成部分及び前記融合された部分をパノラマ図に組み合わせる、
   ことを特徴とする請求項６〜８のいずれかに記載の装置。
10. 前記接合モジュールは、更に、
    前記マスクマップの構成部分が二つの部分に分かれ、且つそれぞれ前記つなぎ合わせ部分の両端に位置する場合、前記マスクマップを二つの小さなマップに分けて、各小さなマップをそれぞれ処理するようにする、
    ことを特徴とする請求項９項に記載の装置。
11. 一つまたは複数のプロセッサーと、
    メモリと、
    一つまたは複数のプログラムと、を含み、
    前記一つまたは複数のプログラムは、前記メモリに記憶され、前記一つまたは複数のプロセッサーにより実行される場合、請求項１〜５のいずれかに記載の方法を実行する、
    ことを特徴とするユーザ端末。
12. 一つまたは複数のプログラムが記憶され、
    前記一つまたは複数のプログラムが実行される場合、
    請求項１〜５のいずれかに記載の方法を実行する、
    ことを特徴とする不揮発性コンピューター記憶媒体。