JP6629454B2 - 画像フュージョン方法と装置、および端末装置 - Google Patents

Description

本発明は、画像処理技術の分野に関し、そして、特定的には、画像フュージョン方法と装置、および端末装置に関する。

高ダイナミックレンジ（High Dynamic Range、HDR）画像は、異なる露光時間で低ダイナミックレンジ（Low Dynamic Range、LDR）画像をフュージョンすること（fusing）によって獲得される。HDR画像は、より多いダイナミックレンジと画像の詳細を提供し得る。そして、実世界の環境における視覚効果をより良好に反映することができる。HDR技術は、異なる露光時間でLDR画像をキャプチャする必要があるので、LDR画像をキャプチャしているプロセスにおいて手が振れたり、または、シナリオの中のオブジェクトが移動する場合には、LDR画像をフュージョンすることによって獲得されるHDR画像においてゴースト（ghosting）が発生する。

従来の画像フュージョン方法においては、カメラを使用することによって、画像の少なくとも２つのフレームが連続的にキャプチャされる。処理された画像を獲得するために、キャプチャされた画像について画像レジストレーション（image registration）およびゴースト排除（de-ghosting）アルゴリズムが実行される。画像フュージョンにおいて手の振れまたは動いているシーンによってもたらされる影響を低減するようにである。HDR画像は、画像フュージョンアルゴリズムを使用して、処理された画像をフュージョンすることによって獲得される。カメラを使用して画像の少なくとも２つフレームが連続的にキャプチャされるときには露出の差異が存在するので、動いているオブジェクトの検出は不正確であり、そして、画像フュージョンの精度は比較的に低い。

この申請は、動いているオブジェクト（moving target）の検出を改善し、かつ、ゴーストを排除するように、データ送信（transmission）方法と装置、および端末装置を提供する。そのため、画像フュージョンの精度は比較的に高いものである。

第１の態様に従って、画像フュージョン方法が提供される。ここで、本方法は、端末装置に対して適用され、第１カメラおよび第２カメラが端末装置において備えられている。そして、本方法は、以下を含んでいる。

第１カメラを使用して同じ露光時間で第１画像の少なくとも２つのフレームをキャプチャし、かつ、第２カメラを使用して異なる露光時間で第２画像の少なくとも２つのフレームをキャプチャすることであり、第１画像のキャプチャ時間と第２画像のキャプチャ時間は同一であること、
第１画像の少なくとも２つのフレームから第１基準画像を決定すること、
第１基準画像に従って、第１画像の少なくとも２つのフレームにおける第１基準画像以外の画像について動いているターゲット検出（moving target detection）を実行して、第１画像の少なくとも２つのフレームにおける第１基準画像以外の画像のものであり、かつ、第１基準画像と比較したものである局所運動の大きさを獲得することであり、局所運動の大きさは、動いているターゲット検出により検出された動いているターゲットによって占有されるピクセルの量に関する情報を示すために使用されること、および、
局所運動の大きさに従って、第２画像について画像フュージョン（image fusion）を実行すること、である。

この技術的ソリューションにおいて、端末装置は、第１カメラと第２カメラを使用して画像の少なくとも２つのフレームを同期してキャプチャすることができ、そして、第１カメラによってキャプチャされた第１画像の少なくとも２つのフレームの露光時間は同一である。端末装置は、第１画像について動いているターゲット検出を実行するので、動いているターゲット検出の精度が改善され得る。次いで、端末装置は、第１カメラによってキャプチャされた第１画像に従って、第２カメラによってキャプチャされた第２画像について画像フュージョンを実行する。そのため、ゴーストを排除することができ、そして、画像フュージョンの精度は比較的に高い。

第１の可能な実施形態において、端末装置は、局所運動の大きさ（local motion magnitude）が第１プリセット閾値より大きいか又は等しいか否かを判断し、そして、局所運動の大きさが第１プリセット閾値より大きいか又は等しい場合に、端末装置は、第１プリセット閾値以上である場合には、その露出時間が第２画像の少なくとも２つのフレームにおける第１プリセット時間である画像を出力する。

この技術的ソリューションにおいて、局所運動の大きさが第１プリセット閾値より大きいか又は等しい場合に、端末装置は、第１基準画像（reference image）の運動の大きさが、第１画像における第１基準画像以外の画像と比較して相対的に大きいと判断することができる。ゴーストを避けるために、端末装置は、その露光時間が第１プリセット時間である第２画像を直接的に出力してよい。

第１の態様に関して、第２の可能な実施形態においては、局所運動の大きさが第２プリセット閾値よりも小さい場合に、端末装置は、第２画像の少なくとも２つのフレームから第２基準画像を決定し、第２基準画像に従って第２画像の少なくとも２つのフレームにおける第２基準画像以外の画像について画像レジストレーション（image registration）を実行して、レジストレーションされた第２画像を獲得し、そして、画像フュージョンアルゴリズムを使用して、第２基準画像およびレジストレーションされた第２画像について画像フュージョンを実行することができる。

この技術的ソリューションにおいては、局所運動の大きさが第２プリセット閾値より小さい場合に、端末装置は、第１画像における第１基準画像以外の画像と比較した第１基準画像の運動の大きさが無視されるものと判断することができる。端末装置は、第２基準画像とレジストレーションされた第２画像について直接的に画像フュージョンを実行することができ、そして、このことは画像フュージョンの精度に影響を与えない。

第１の態様に関して、第３の可能な実施形態においては、局所運動の大きさが第２プリセット閾値より大きいか又は等しく、かつ、第１プリセット閾値より小さい場合に、端末装置は、第２画像の少なくとも２つのフレームから第２基準画像を決定し、第２基準画像に従って第２画像の少なくとも２つのフレームにおける第２基準画像以外の画像について画像レジストレーションを実行して、レジストレーションされた第２画像を獲得し、第２基準画像に従ってレジストレーションされた第２画像について動き補償（motion compensation）を実行して、動き補償された第２画像を獲得し、そして、画像フュージョンアルゴリズムを使用して、第２基準画像および動き補償された第２画像について画像フュージョンを実行することができる。

この技術的ソリューションにおいては、局所運動の大きさが第２プリセット閾値より大きいか又は等しく、かつ、第１プリセット閾値より小さい場合に、端末装置は、第１画像における第１基準画像以外の画像と比較した第１基準画像の運動の大きさが相対的に小さいと判断することができる。端末装置は、第２基準画像に従ってレジストレーションされた第２画像について動き補償を実行して、動き補償された第２画像を獲得し、そして、画像フュージョンアルゴリズムを使用して、第２基準画像および動き補償された第２画像について画像フュージョンを実行することができる。そのため、画像フュージョンの精度が改善される。

第１の態様、または、第１の態様に係る第１から第３の可能な実施例形態のいずれかに関して、第４の可能な実施形態において、端末装置は、第１基準画像に従って、第１画像の少なくとも２つのフレームにおける第１基準画像以外の画像についてターゲット検出を実行して、第１画像の少なくとも２つのフレームにおける第１基準画像以外の画像のものであり、かつ、第１基準画像と比較したものである動き補償マトリクスを生成し、動き補償マトリクスに従って、第１画像の少なくとも２つのフレームにおける第１基準画像以外の画像について画像レジストレーションを実行して、レジストレーションされた第１画像を獲得し、そして、レジストレーションされた第１画像のものであり、かつ、第１基準画像と比較したものである局所運動の大きさを獲得することができる。

第１の態様に係る第４の可能な実施形態に関して、第５の可能な実施形態においては、第１画像の少なくとも２つのフレームにおける第１基準画像以外の画像のものであり、かつ、第１基準画像と比較したものである動き補償マトリクスを生成するように、第１基準画像に従って、第１画像の少なくとも２つのフレームにおける第１基準画像以外の画像について動いているターゲット検出を実行した後、第２基準画像に従って、第２画像の少なくとも２つのフレームにおける第２基準画像以外の画像について画像レジストレーションを実行するプロセスにおいて、端末装置は、前述の動き補償マトリクスに従って、第２画像の少なくとも２つのフレームにおける第２基準画像以外の画像について画像レジストレーションを実行して、レジストレーションされた第２画像を獲得することができる。

第１画像のキャプチャ時間と第２画像のキャプチャ時間は同一であるため、第１画像の少なくとも２つのフレームにおける第１基準画像以外の画像のものであり、かつ、第１基準画像と比較したものである運動の大きさは、第２画像の少なくとも２つのフレームにおける第２基準画像以外の画像のものであり、かつ、第２基準画像と比較したものである運動の大きさと同一であることが留意されるべきである。端末装置は、第１基準画像に従って、第１画像の少なくとも２つのフレームにおける第１基準画像以外の画像について動いているターゲット検出を実行し、第１画像の少なくとも２つのフレームにおける第１基準画像以外の画像のものであり、かつ、第１基準画像と比較したものである生成された動き補償マトリクスを、第２画像の少なくとも２つのフレームにおける第２基準画像以外の画像の動き補償マトリクスとして使用し、そして、動き補償マトリクスに従って、第２画像の少なくとも２つのフレームにおける第２基準画像以外の画像について画像レジストレーションを実行することができる。そのため、画像処理効率を改善することができ、そして、リソースの利用が改善される。

第２の態様に従って、コンピュータ記憶媒体が提供される。ここで、本コンピュータ記憶媒体は、プログラムを保管することができ、そして、プログラムが実行されると、第１の態様に係るいくつか又は全てのステップが構成される。

第３の態様に従って、画像フュージョン装置が提供される。ここで、本装置は、画像キャプチャ部、基準画像決定部、運動の大きさ獲得部、および画像フュージョン部を含む。そして、本装置は、第１の態様に関するいくつか又は全てのステップを実施するように構成され得る。

第４の態様に従って、プロセッサ、メモリ、第１カメラ、および、第２カメラ、を含む端末装置が提供される。ここで、メモリは、一式のプログラムコードを保管しており、かつ、プロセッサ、第１カメラ、および、第２カメラは、以下のオペレーションを実行するためにメモリの中に保管されたプログラムコードをコールする。
第１カメラは、同じ露光時間で第１画像の少なくとも２つのフレームをキャプチャし、第２カメラは、異なる露光時間で第２画像の少なくとも２つのフレームをキャプチャする。ここで、第１画像のキャプチャ時間と第２画像のキャプチャ時間は同一である。プロセッサは、第１画像の少なくとも２つのフレームから第１基準画像を決定する。プロセッサは、第１基準画像に従って、第１画像の少なくとも２つのフレームにおける第１基準画像以外の画像について動いているターゲット検出を実行して、第１画像の少なくとも２つのフレームにおける第１基準画像以外の画像のものであり、かつ、第１基準画像と比較したものである局所運動の大きさを獲得する。そして、プロセッサは、局所運動の大きさに従って、第２画像について画像フュージョンを実行する。ここで、局所運動の大きさは、動いているターゲット検出により検出された動いているターゲットによって占有されるピクセルの量に関する情報を示すために使用される。

第１の可能な実施形態において、プロセッサが、局所運動の大きさに従って第２画像について画像フュージョンを実行することは、特定的に、局所運動の大きさが、第１プリセット閾値より大きいか又は等しい場合に、プロセッサによって、その露出時間が第２画像の少なくとも２つのフレームにおける第１プリセット時間である画像を出力すること、を含む。

第４の態様に関して、第２の可能な実施形態において、プロセッサが、局所運動の大きさに従って第２画像について画像フュージョンを実行することは、特定的に、局所運動の大きさが第２プリセット閾値よりも小さい場合に、プロセッサによって、第２画像の少なくとも２つのフレームから第２基準画像を決定すること、プロセッサによって、第２基準画像に従って第２画像の少なくとも２つのフレームにおける第２基準画像以外の画像について画像レジストレーションを実行して、レジストレーションされた第２画像を獲得すること、および、プロセッサによって、画像フュージョンアルゴリズムを使用して、第２基準画像およびレジストレーションされた第２画像について画像フュージョンを実行すること、を含む。

第４の態様に関して、第３の可能な実施形態において、プロセッサが、局所運動の大きさに従って第２画像について画像フュージョンを実行することは、特定的に、局所運動の大きさが第２プリセット閾値より大きいか又は等しく、かつ、第１プリセット閾値より小さい場合に、プロセッサによって、第２画像の少なくとも２つのフレームから第２基準画像を決定すること、プロセッサによって、第２基準画像に従って第２画像の少なくとも２つのフレームにおける第２基準画像以外の画像について画像レジストレーションを実行して、レジストレーションされた第２画像を獲得すること、プロセッサによって、第２基準画像に従ってレジストレーションされた第２画像について動き補償を実行して、動き補償された第２画像を獲得すること、および、プロセッサによって、画像フュージョンアルゴリズムを使用して、第２基準画像および動き補償された第２画像について画像フュージョンを実行すること、を含む。

第４の態様、または、第４の態様に係る第１から第３の可能な実施例形態のいずれかに関して、第４の可能な実施形態において、プロセッサが、第１基準画像に従って、第１画像の少なくとも２つのフレームにおける第１基準画像以外の画像について動いているターゲット検出を実行して、第１画像の少なくとも２つのフレームにおける第１基準画像以外の画像のものであり、かつ、第１基準画像と比較したものである局所運動の大きさを獲得することは、特定的に、プロセッサによって、第１基準画像に従って第１画像の少なくとも２つのフレームにおける第１基準画像以外の画像についてターゲット検出を実行して、第１画像の少なくとも２つのフレームにおける第１基準画像以外の画像のものであり、かつ、第１基準画像と比較したものである動き補償マトリクスを生成すること、プロセッサによって、動き補償マトリクスに従って、第１画像の少なくとも２つのフレームにおける第１基準画像以外の画像について画像レジストレーションを実行して、レジストレーションされた第１画像を獲得すること、および、プロセッサによって、レジストレーションされた第１画像のものであり、かつ、第１基準画像と比較したものである局所運動の大きさを獲得すること、を含む。

第４の態様に係る第４の可能な実施形態に関して、第５の可能な実施形態において、プロセッサが、第２基準画像に従って第２画像の少なくとも２つのフレームにおける第２基準画像以外の画像について画像レジストレーションを実行して、レジストレーションされた第２画像を獲得することは、特定的に、プロセッサによって、動き補償マトリクスに従って、第２画像の少なくとも２つのフレームにおける第２基準画像以外の画像について画像レジストレーションを実行して、レジストレーションされた第２画像を獲得すること、を含む。

本発明の実施形態における技術的ソリューションをより明確に説明するために、実施形態を説明するために必要とされる添付図面について以下に簡単に説明する。明らかに、以下の説明における添付の図面は、本発明のいくつかの実施形態を単に示しているだけであり、そして、当業者であれば、創造的な努力なしにこれらの添付の図面から他の図面を引き出すことさえもできる。
図１Ａは、本発明の一つの実施形態に従った、画像フュージョン方法の模式的なフローチャートである。 図１Ｂは、本発明の一つの実施形態に従った、画像フュージョン方法の模式的なフローチャートである。 図２Ａは、本発明の一つの実施形態に従った、カメラの模式的な構造ダイヤグラムである。 図２Ｂは、本発明の一つの実施形態に従った、第１画像とのインターフェイスに係る模式的なダイヤグラムである。 図２Ｃは、本発明の一つの実施形態に従った、第２画像とのインターフェイスに係る模式的なダイヤグラムである。 図３は、本発明の一つの実施形態に従った、画像フュージョン装置の模式的な構造ダイヤグラムである。 図４は、本発明の一つの実施形態に従った、端末装置の模式的な構造ダイヤグラムである。

以下に、本発明の実施形態における添付図面を参照して、本発明の実施形態における技術的ソリューションについて、明確に説明する。

図１Ａと図１Ｂを参照すると、図１Ａと図１Ｂは、本発明の一つの実施形態に従った、画像フュージョン方法の模式的なフローチャートである。本発明のこの実施形態における図に示される画像フュージョン方法は、少なくとも以下のステップを含み得る。

Ｓ１０１．第１カメラを使用して同じ露光時間で第１画像の少なくとも２つのフレームをキャプチャし、かつ、第２カメラを使用して異なる露光時間で第２画像の少なくとも２つのフレームをキャプチャする。ここで、第１画像のキャプチャ時間と第２画像のキャプチャ時間は同一である。

端末装置には、第１カメラと第２カメラが備えられている。図２Ａに示されるカメラの模式的な構造ダイヤグラムは、一つの例として使用されている。第１カメラと第２カメラは、互いに独立しており、そして、２つのカメラは、可能な限り同じ視野範囲（view range）を有することができるように、第１カメラと第２カメラは、端末装置の同じ側へと統合されてよい。端末装置は、画像信号プロセッサ（image signal processor、ISP）を使用して、画像の少なくとも２つのフレームを同期してキャプチャするように、第１カメラと第２カメラをコントロールすることができる。従って、第１カメラが第１画像をキャプチャするキャプチャ時間と第２カメラが第２画像をキャプチャするキャプチャ時間は同一である。例えば、端末装置は、デュアルカメラ（dual-camera）スマートフォンであってよい。デュアルカメラスマートフォンにおける２つのカメラは、同じピクチャ（picture）を撮影し得る。第１カメラによってキャプチャされた第１画像が、第１画像の第１フレームと第１画像の第２のフレームとを含み、かつ、第２カメラによってキャプチャされた第２画像が、第２画像の第１フレームと第２画像の第２フレームとを含む場合に、第１画像の第１フレームのキャプチャ時間と第２画像の第１フレームのキャプチャ時間とは同一であり、かつ、第１画像の第２フレームのキャプチャ時間と第２画像の第２フレームのキャプチャ時間とは同一である。加えて、第１画像の第１フレームと第２画像の第１フレームとは同じピクチャを含み、かつ、第１画像の第２フレームと第２画像の第２フレームとは同じピクチャを含んでいる。従って、第１画像の第２フレームに対する第１画像の第１フレームの局所運動（local motion）の大きさと、第２画像の第２フレームに対する第２画像の第１フレームの局所運動の大きさとは、同一である。

第１カメラによってキャプチャされる第１画像の露光時間は同じであり、第２カメラによってキャプチャされる第２画像の露光時間は異なるものである。例えば、第１カメラは、その露光時間が第１プリセット時間である第１画像の第１フレームと第１画像の第２フレームとをキャプチャし、かつ、第２カメラは、その露光時間が第１プリセット時間である第２画像の第１フレームと、その露光時間が第２プリセット時間である第２画像の第２フレームとをキャプチャする。第１画像の第１フレームのキャプチャと第２画像の第１フレームのキャプチャ時間とは同一であり、かつ、第１画像の第２フレームのキャプチャ時間と、第２画像の第２フレームのキャプチャとは同じである。第１プリセット時間は、現在の撮影環境における自動露光装置（Auto Exposure、AE）による演算を用いて獲得された通常の露光時間であってよい。例えば、絞り（aperture）がＦ８である場合、シャッタースピードは１／１２５秒であり、そして、従って、第１プリセット時間は１／１２５秒である。または、絞りがＦ５．６である場合、シャッタースピードは１／２５０秒であり、そして、従って、第１プリセット時間は１／２５０秒である。第２プリセット時間は、第１プリセット時間よりも長くても短くてもよく、例えば、１／１２０秒または１／２００秒であってよい。

第１画像は、グレースケール画像またはカラー画像であってよく、そして、第２画像は、グレースケール画像またはカラー画像であってよい。これは、本発明のこの実施形態において特定的に限定されるものではない。

一つの例として、図２Ｂに示される第１画像とのインターフェイスに係る模式的なダイヤグラムが使用される。端末装置は、第１カメラを使用して第１画像の３つのフレームをキャプチャし得る。M1は第１画像の第１フレームであり、M2は第１画像の第２フレームであり、そして、M3は第１画像の第３フレームである。一つの例として、図２Ｃに示される第２画像とのインターフェイスに係る模式的なダイヤグラムが使用される。C1は第２画像の第１フレームであり、C2は第２画像の第２フレームであり、そして、C3は第２画像の第３フレームである。M1、M2、およびM3の露光時間は第１プリセット時間であり、そして、C1、C2、およびC3の露光時間は完全に同じでなくてよい。例えば、C1の露光時間は第２プリセット時間であり、C2の露光時間は第１プリセット時間であり、そして、C3の露光時間は第３プリセット時間である。第１プリセット時間と第２プリセット時間とは異なり、第１プリセット時間と第３プリセット時間は異なるが、第２プリセット時間と第３プリセット時間は同じであってよい。任意的に、第２プリセット時間と第３プリセット時間も、また、異なってよい。M1のキャプチャ時間とC1のキャプチャ時間は同じであり、そして、M1とC1は同じピクチャを含んでいる。M2のキャプチャ時間とC2のキャプチャ時間は同じであり、そして、M2とC2は同じピクチャを含んでいる。M3のキャプチャ時間とC3のキャプチャ時間は同じであり、そして、M3とC3は同じピクチャを含んでいる。

Ｓ１０２．第１画像の少なくとも２つのフレームから第１基準画像を決定する。

端末装置は、第１画像の少なくとも２つのフレームから第１基準画像を決定することができる。特定的な実施においては、第１基準画像として、第１画像を決定することができる。第１画像のキャプチャ時間は、その露光時間が第１プリセット時間である第２画像のキャプチャ時間と同じである。例えば、その露光時間が第１プリセット時間である第２画像がC1であり、そのキャプチャ時間がC1のキャプチャ時間と同じである第１画像がM1であり、そして、端末装置は、第１基準画像としてM1を使用してよい。

Ｓ１０３．第１基準画像に従って、第１画像の少なくとも２つのフレームにおける第１基準画像以外の画像について動いているターゲット検出（moving target detection）を実行し、第１画像の少なくとも２つのフレームにおける第１基準画像以外の画像のものであり、かつ、第１基準画像と比較したものである局所運動の大きさ（local motion magnitude）を獲得する。

端末装置は、第１基準画像に従って、第１画像の少なくとも２つのフレームにおける第１基準画像以外の画像について動いているターゲット検出を実行し、第１画像の少なくとも２つのフレームにおける第１基準画像以外の画像のものであり、かつ、第１基準画像と比較したものである局所運動の大きさを獲得する。

例えば、端末装置は、M2と比較したM1の局所運動の大きさ及びM2と比較したM3の局所運動の大きさを獲得するように、M2に従って、M1及びM3について別々に動いているターゲット検出を実行することができる。特定的に、端末装置は、M2に従って、M1について動いているターゲット検出を実行して、M2と比較したM1の動き補償行列H1を生成することができ、そして、H1に従って、M1について画像レジストレーション（image registration）を実行して、レジストレーションされた第１画像M1'を生成することができる。M2と比較してM1'の局所運動の大きさを獲得するようにである。端末装置は、さらに、M2に従って、M3について動いているターゲット検出を実行して、M2と比較したM3の動き補償行列H2を生成することができ、そして、H2に従って、M3について画像レジストレーションを実行して、レジストレーションされた第１画像M3'を生成することができる。M2と比較してM3'の局所運動の大きさを獲得するようにである。端末装置は、T1およびT2から最小の局所運動の大きさを獲得し、そして、第１画像の少なくとも２つのフレームにおける第１基準画像以外の画像のものであり、かつ、第１基準画像と比較したものである局所運動の大きさとして、最小の局所運動の大きさを使用することができる。

動いているターゲット検出の方法は、フレーム間差分法（inter-frame difference method）、オプティカルフロー法、バックグラウンド差分法、または同様なものを含んでよい。フレーム間差分法は、画像の２つの隣接するフレームについて差分演算を実行することによって、動いているターゲットプロファイルを獲得するための方法である。撮っているシナリオにおいて異常なオブジェクトの動きが存在する場合には、フレーム間において比較的に明らかな違いが存在している。画像シーケンスの動き特徴は、画像の２つの隣接しているフレームの差分値（difference value）が閾値より大きいか否かを判断することによって分析され、画像シーケンスの中にオブジェクトの動きがあるか否かを判断する。オプティカルフローは、画像の動きの簡単かつ実用的な表現方法であり、そして、画像シーケンスにおける画像輝度モード（image brightness mode）の明らかな（apparent）動きとして定義される。すなわち、空間対象面（space object surface）におけるポイントの動き速度が、視覚センサの画像化平面（imaging plane）上に表現される。ピクチャの中で動いているターゲットのピクチャは、画像の中で動いているターゲットによって占有されるピクセルと背景ピクセルとの間のベクトル差（vector difference）を使用して、検出される。バックグラウンド差分法は、現在のフレームを画像シーケンスにおける背景基準モデルと比較することによって、動きオブジェクトを検出するための方法である。例えば、端末装置が、M2と比較してM1の動き補償行列H1を生成するために、M2に従って、M1について動いているターゲット検出を行ってM2に対するM1の動き補償行列H1を生成することは、特定的には、以下のようであってよい。M1とM2の特徴点（feature points）がそれぞれに特徴抽出アルゴリズムを使用して抽出され、M1とM2の特徴点についてマッチング（matching）が行われ、そして、M1とM2との間の座標変換パラメータ、すなわちH1が、成功裡にマッチングされた特徴点の複数のペアに基づいて、最小二乗法を使用してフィッティングされる。特徴抽出アルゴリズムは、スケール不変特徴変換（Scale-invariant feature transform、SIFT）、高速化ロバスト特徴（Speeded Up Robust Features、SURF）、または同様なものを含んでよい。動き補償マトリクスは、画像の２つのフレーム間の動き関係、例えば、M1と比較したM2の並進または回転、表現するために使用されてよい。

画像レジストレーション（Image registration）は、画像の少なくとも２つのフレームをマッチングし、かつ、重ね合せる（overlapping）プロセスを参照する。少なくとも２つのフレームは、異なる時刻において、異なるセンサ（撮像装置）によって、または、異なる条件（気候、照明、撮影場所または角度、または同様なもの）において獲得されたものである。画像レジストレーション方法は、グレースケールベースの（grayscale-based）方法、変換ドメインベースの（transform-domain based）方法、特徴ベースの（feature-based）方法、または同様なもの、を含んでよい。グレースケールベースの画像レジストレーション方法では、画像のグレースケール統計に従って、画像間の類似度が測定される。グレースケールベースの画像レジストレーション方法は、順次類似検出アルゴリズム（Sequential Similarity Detection Algorithms、SSDA）を含み得る。一つのピクセルで画像の２つのフレームの残余合計（residual sum）を計算するプロセスにおいて、残余合計が固定された閾値よりも大きい場合には、現在のピクセルはマッチングするピクセルではないと考えられる。従って、残余合計の現在の計算が終了され、残余合計を計算するために別のピクセルが選択され、そして、最終的には、残余合計が最もゆっくり増加するピクセルがマッチングするピクセルであると考えられる。変換ドメインベースの画像レジストレーション方法は、フーリエ変換方法を含んでよい。位相関連技術は、フーリエ変換の変換特性に基づいている。画像の２つのフレーム間の差異は変位（displacement）に存在し、そして、従って、画像の２つのフレーム間の位相差は、クロスパワースペクトル（cross power spectrum）の位相と等しく、そして、パルス関数（pulse function）を獲得するために位相差について逆フーリエ変換が実行される。パルス関数は、変換位置においてゼロではなく、そして、他の位置においてはゼロである。ゼロでない場所は、決定されるべきレジストレーションされる場所である。特徴ベースの画像レジストレーション方法は、レジストレーションされるべき画像を前処理（pre-process）するために使用される。すなわち、画像分割および特徴抽出のプロセスであり、画像の２つのフレーム間の特徴をマッチングする。特徴マッチング関係を使用して画像間のレジストレーションマッピング関係を確立するようにである。例えば、端末装置が、レジストレーションされた第1画像M1'を生成するために、H1に従って、M1について画像レジストレーションを実行することは、特定的には、以下のようであってよい。M1'を獲得するために、H1に従って、M1について座標変換が実行される。

局所運動の大きさは、動いているターゲット検出によって検出された動いているターゲットによって占有されるピクセルの量に関する情報を示すために使用されるものであり、そして、動いているターゲットによって占有されるピクセルの量に関する情報は、動いているターゲットによって占有されるピクセルの量、または、画像のピクセルの全体量に対する動いているターゲットによって占有されるピクセルの量の割合を含んでよい。端末装置が、M2と比較してM1'の局所運動の大きさT1を獲得することは、特定的には、以下のようであってよい。
M1'における各ピクセルがM2における対応するピクセルから減算され、そして、減算によって獲得された値の絶対値がプリセット値より大きい場合に、端末装置は、そのピクセルが動いているターゲットによって占有されたピクセルであると判断することができる。

Ｓ１０４．局所運動の大きさが第１プリセット閾値より大きいか又は等しいか否かを判断する。

端末装置は、局所運動の大きさが第１プリセット閾値より大きいか又は等しいか否かを判断することができる。局所運動の大きさが第１プリセット閾値より大きいか又は等しい場合に、端末装置は、ステップＳ１０５をさらに実行することができる。もしくは、局所運動の大きさが第１プリセット閾値より小さい場合に、端末装置は、ステップＳ１０６をさらに実行することができる。

Ｓ１０５．局所運動の大きさが第１プリセット閾値より大きいか又は等しい場合には、露出時間が第２画像の少なくとも２つのフレームにおける第１プリセット時間である画像を出力する。

局所運動の大きさが第１プリセット閾値より大きいか又は等しい場合に、端末装置は、露出時間が第２画像の少なくとも２つのフレームにおける第１プリセット時間である画像を出力することができる。例えば、露出時間が第２カメラを使用して端末装置によってキャプチャされた第２画像における第１プリセット時間である画像はC2である。局所運動の大きさが第１プリセット閾値より大きいか又は等しい場合に、最小の局所運動の大きさがT1であるとすれば、端末装置は、M2に対する運動の大きさM1'が比較的大きいと判断することができる。ゴーストを避けるために、端末装置はC2を出力することができる。任意的に、局所運動の大きさが第１プリセット閾値より大きいか又は等しい場合に、最小の局所運動の大きさがT2であるとすれば、端末装置は、M2に対する運動の大きさM3'が比較的大きいと判断することができる。ゴーストを避けるために、端末装置はC2を出力することができる。

Ｓ１０６．局所運動の大きさが第１プリセット閾値よりも小さい場合、第２画像の少なくとも２つのフレームから第２基準画像を決定する。

局所運動の大きさが第１プリセット閾値よりも小さい場合に、端末装置は、第２画像の少なくとも２つのフレームから第２基準画像を決定することができる。特定的な実施において、端末装置は、露出時間が第１プリセット時間である第２画像を第２基準画像として決定することができる。例えば、第２カメラを使用して端末装置によってキャプチャされた第２画像が、第２画像の第１フレームC1、第２画像の第２フレームC2、および第２画像の第３フレームC3を含み、かつ、C2の露光時間が第１プリセット時間である場合に、端末装置は、第２基準画像としてC2を使用することができる。

Ｓ１０７．第２基準画像に従って第２画像の少なくとも２つのフレームにおける第２基準画像以外の画像について画像レジストレーションを実行し、レジストレーションされた第２画像を獲得する。

端末装置は、第２基準画像に従って第２画像の少なくとも２つのフレームにおける第２基準画像以外の画像について画像レジストレーションを実行し、レジストレーションされた第２画像を獲得することができる。例えば、端末装置は、C2に従ってC1について画像レジストレーションを実行して、レジストレーションされた第２画像C1'を獲得することができ、かつ、端末装置は、C2に従ってC3について画像レジストレーションをさらに実行して、レジストレーションされた第２画像C3'を獲得することができる。特定的に、端末装置は、H1に従ってC1について画像レジストレーションを実行、すなわち、C1'を獲得するためにH1に従ってC1について座標変換を実行することができる。端末装置は、さらに、H2に従ってC3について画像レジストレーションを実行、すなわち、C3'を獲得するためにH2に従ってC3について座標変換を実行することができる。

Ｓ１０８．局所運動の大きさが第２プリセット閾値より小さいか否かを判断する。

レジストレーションされた第２画像を獲得した後で、端末装置は、さらに、局所運動の大きさが第２プリセット閾値より小さいか否かを判断することができる。局所運動の大きさが第２プリセット閾値より小さい場合には、ステップＳ１０９が、さらに実行される。もしくは、局所運動の大きさが第２プリセット閾値より大きいか又は等しい場合には、ステップＳ１１０が、さらに実行される。例えば、最小の局所運動の大きさがT1である場合に、端末装置は、T1が第２プリセット閾値よりも小さいか否かを判断することができる。もしくは、最小の局所運動の大きさがT2である場合、端末装置は、T2が第２プリセット閾値よりも小さいか否かを判断することができる。第２プリセット閾値は第１プリセット閾値よりも小さく、そして、第１プリセット閾値と第２プリセット閾値は、プリセットされた運動の大きさ閾値である。プリセットされた運動の大きさ閾値は、ユーザによって設定されよく、または、工場出荷前に端末装置の中に構成されてよい。

Ｓ１０９．局所運動の大きさが第２プリセット閾値よりも小さい場合、画像フュージョンアルゴリズムを使用して、第２基準画像およびレジストレーションされた第２画像について画像フュージョンを実行する。

局所運動の大きさが第２プリセット閾値よりも小さい場合に、端末装置は、画像フュージョンアルゴリズムを使用して、第２基準画像およびレジストレーションされた第２画像について画像フュージョンを実行することができる。画像フュージョンアルゴリズムは以下のとおりである。同一のターゲットであり、かつ、マルチソースチャネル（multi-source channels）を通じてキャプチャされた画像について画像処理が実行され、各チャネルにおける有効な情報が最大限にまで抽出され、そして、フュージョン（fusion）によって最終的に高品質画像が獲得される。画像フュージョンアルゴリズムは、論理フィルタリング法、グレースケール加重平均法、ウェーブレット変換（wavelet transformation）法、ベイジアン（Bayesian）法、または同様なものを含んでよい。例えば、最小の局所運動の大きさがT1であるとすれば、局所運動の大きさが第２プリセット閾値より小さい場合に、端末装置は、M2に対する運動の大きさM1'が無視され得るものと判断し、次いで、画像フュージョンアルゴリズムを使用してC2、C1'、およびC3'について画像フュージョンを実行し、そして、フュージョンされた（fused）画像を出力することができる。任意的に、最小の局所運動の大きさがT2であるとすれば、局所運動の大きさが第２プリセット閾値より小さい場合に、端末装置は、M2に対する運動の大きさM3'がゼロであるものと判断し、次いで、画像フュージョンアルゴリズムを使用してC2、C1'、およびC3'について画像フュージョンを実行し、そして、フュージョンされた画像を出力することができる。

Ｓ１１０．局所運動の大きさが第２プリセット閾値より大きいか又は等しい場合、第２基準画像に従ってレジストレーションされた第２画像について動き補償（motion compensation）を実行し、動き補償された第２画像を獲得する

局所運動の大きさが第２プリセットより閾値大きいか又は等しい場合に、端末装置は、第２基準画像に従ってレジストレーションされた第２画像について動き補償を実行し、動き補償された第２画像を獲得することができる。例えば、最小の局所運動の大きさがT1であるとすれば、局所運動の大きさが第２プリセット閾値より閾値大きいか又は等しい場合に、端末装置は、M2に対する運動の大きさM1'が比較的に小さいと判断し、次いで、C2に従ってC1'について動き補償を実行して、動き補償された第２画像C1''を獲得し、かつ、C2に従ってC3'について動き補償を実行して、動き補償された第２画像C3''を獲得することができる。任意的に、最小の局所運動の大きさがT2であるとすれば、局所運動の大きさが第２プリセット閾値より小さい場合に、端末装置は、M2に対する運動の大きさM3'がゼロであるものと判断し、かつ、C2に従ってC1'について動き補償を実行して、動き補償された第２画像C1''を獲得し、そして、C2に従ってC3'について動き補償を実行して、動き補償された第２画像C3''を獲得することができる。

動き補償は、画像の２つの隣接するフレーム間の差異を記述する方法である。すなわち、現在の画像が、基準画像に従って、予測され、かつ、補償される。動き補償方法は、グローバル動き補償（global motion compensation）およびブロック動き補償を含んでよい。端末装置が、C2に従ってC1'について動き補償を実行して、動き補償された第２画像を獲得することは、特定的には、以下のようであってよい。端末装置は、C2に従ってC1'について動いているターゲット検出を実行し、かつ、検出により獲得された局所運動領域について補償を実行する。すなわち、C1におけるピクセルが、C2における対応するピクセルから減算される。減算によって獲得された値の絶対値がプリセット値より大きい場合に、端末装置は、ピクセルが動いている（in motion）ものと判断し、そして、C1'における動いている全てのピクセルを局所運動領域として使用することができる。端末装置は、C1'について動き補償を実施するように、C2における対応するピクセルに対して局所運動領域を調整することができる。任意的に、端末装置は、C1'について動き補償を実施するように、C1'における局所運動領域の輝度をC2における対応するピクセルの輝度に対して調整することができる。

Ｓ１１１．画像フュージョンアルゴリズムを使用して、第２基準画像および動き補償された第２画像について画像フュージョンを実行する。

端末装置は、画像フュージョンアルゴリズムを使用して、第２基準画像および動き補償された第２画像について画像フュージョンを実行することができる。例えば、端末装置は、画像フュージョンアルゴリズムを使用して、C2、C1''、およびC3''について画像フュージョンを実行し、そして、フュージョンされた画像を出力することができる。

第２画像がグレースケール画像である場合に、端末装置は、第１画像に従って第２画像について画像フュージョンを実行し、そして、端末装置によって出力される画像はフュージョンされた第２画像、すなわち、グレースケール画像である。もしくは、第２画像がカラー画像である場合に、端末装置は、第１画像に従って第２画像について画像フュージョンを実行し、そして、端末装置によって出力される画像はフュージョンされた第２画像、すなわち、カラー画像である。

図１Ａおよび図１Ｂに示される画像フュージョン方法においては、第１カメラを使用して同一の露光時間で第１画像の少なくとも２つのフレームがキャプチャされ、第２カメラを使用して異なる露光時間で第２画像の少なくとも２つのフレームがキャプチャされる。そして、第１画像のキャプチャ時間と第２画像のキャプチャ時間は同一である。第１画像の少なくとも２つのフレームから第１基準画像が決定され、第１基準画像に従って、第１画像の少なくとも２つのフレームにおける第１基準画像以外の画像について動いているターゲット検出が実行され、第１画像の少なくとも２つのフレームにおける第１基準画像以外の画像のものであり、かつ、第１基準画像と比較したものである局所運動の大きさを獲得する。そして、局所運動の大きさに従って、第２画像について画像フュージョンが実行される。従って、動いているターゲット検出の精度を改善することができ、ゴーストが除去され、そして、画像フュージョンの精度は比較的に高い。

図３を参照すると、図３は、本発明の一つの実施形態に従った、画像フュージョン装置の模式的な構造ダイヤグラムである。本発明のこの実施形態において提供される画像フュージョン装置は、図１Ａおよび図１Ｂを参照して本発明で説明される画像フュージョン方法の実施形態におけるいくつか又は全てのプロシージャを実施するように構成されてよい。図に示されるように、本発明のこの実施形態における画像フュージョン装置は、少なくとも、画像キャプチャ部301、基準画像決定部302、運動の大きさ獲得部303、および画像フュージョン部304を含み得る。

画像キャプチャ部301は、第１カメラを使用して同一の露光時間で第１画像の少なくとも２つのフレームをキャプチャし、かつ、第２カメラを使用して異なる露光時間で第２画像の少なくとも２つのフレームをキャプチャする、ように構成されており、ここで、第１画像のキャプチャ時間と第２画像のキャプチャ時間は同一である。

基準画像決定部302は、第１画像の少なくとも２つのフレームから第１基準画像を決定するように構成されている。

運動の大きさ獲得部303は、第１基準画像に従って、第１画像の少なくとも２つのフレームにおける第１基準画像以外の画像について動いているターゲット検出を実行するように構成されており、第１画像の少なくとも２つのフレームにおける第１基準画像以外の画像のものであり、かつ、第１基準画像と比較したものである局所運動の大きさを獲得する。

画像フュージョン部304は、局所運動の大きさに従って、第２画像について画像フュージョンを実行するように構成されている。

任意的な実施形態において、本発明のこの実施形態における画像フュージョン部304は、特定的に、
局所運動の大きさが第１プリセット閾値より大きいか又は等しい場合に、露出時間が第２画像の少なくとも２つのフレームにおける第１プリセット時間である画像を出力する、ように構成されている。

任意的な実施形態において、本発明のこの実施形態における画像フュージョン部304は、特定的に、
局所運動の大きさが第２プリセット閾値よりも小さい場合に、第２画像の少なくとも２つのフレームから第２基準画像を決定し、
第２基準画像に従って第２画像の少なくとも２つのフレームにおける第２基準画像以外の画像について画像レジストレーションを実行し、レジストレーションされた第２画像を獲得し、かつ、
画像フュージョンアルゴリズムを使用して、第２基準画像およびレジストレーションされた第２画像について画像フュージョンを実行する、ように構成されている。

任意的な実施形態において、本発明のこの実施形態における画像フュージョン部304は、特定的に、
局所運動の大きさが第２プリセット閾値より大きいか又は等しく、かつ、第１プリセット閾値より小さい場合に、第２画像の少なくとも２つのフレームから第２基準画像を決定し、
第２基準画像に従って第２画像の少なくとも２つのフレームにおける第２基準画像以外の画像について画像レジストレーションを実行して、レジストレーションされた第２画像を獲得し、
第２基準画像に従ってレジストレーションされた第２画像について動き補償を実行して、動き補償された第２画像を獲得し、かつ、
画像フュージョンアルゴリズムを使用して、第２基準画像および動き補償された第２画像について画像フュージョンを実行する、ように構成されている。

任意的な実施形態において、本発明のこの実施形態における運動の大きさ獲得部303は、特定的に、
第１基準画像に従って第１画像の少なくとも２つのフレームにおける第１基準画像以外の画像についてターゲット検出を実行して、第１画像の少なくとも２つのフレームにおける第１基準画像以外の画像のものであり、かつ、第１基準画像と比較したものである動き補償マトリクスを生成し、
第１画像の少なくとも２つのフレームにおける第１基準画像以外の画像のものであり、かつ、第１基準画像と比較したものである動き補償マトリクスに従って、第１画像の少なくとも２つのフレームにおける第１基準画像以外の画像について画像レジストレーションを実行して、レジストレーションされた第１画像を獲得し、かつ、
レジストレーションされた第１画像のものであり、かつ、第１基準画像と比較したものである局所運動の大きさを獲得する、ように構成されている。

任意的な実施形態において、第２基準画像に従って第２画像の少なくとも２つのフレームにおける第２基準画像以外の画像について画像レジストレーションを実行して、レジストレーションされた第２画像を獲得する、運動の大きさ獲得部303は、特定的に、
第１画像の少なくとも２つのフレームにおける第１基準画像以外の画像のものであり、かつ、第１基準画像と比較したものである動き補償マトリクスに従って、第２画像の少なくとも２つのフレームにおける第２基準画像以外の画像について画像レジストレーションを実行して、レジストレーションされた第２画像を獲得し得る。

図３に示される画像フュージョン装置において、画像キャプチャ部301は、第１カメラを使用して同じ露光時間で第１画像の少なくとも２つのフレームをキャプチャし、かつ、第２カメラを使用して異なる露光時間で第２画像の少なくとも２つのフレームをキャプチャする。ここで、第１画像のキャプチャ時間と第２画像のキャプチャ時間は同一である。基準画像決定部302は、第１画像の少なくとも２つのフレームから第１基準画像を決定する。運動の大きさ獲得部303は、第１基準画像に従って、第１画像の少なくとも２つのフレームにおける第１基準画像以外の画像について動いているターゲット検出を実行して、第１画像の少なくとも２つのフレームにおける第１基準画像以外の画像のものであり、かつ、第１基準画像と比較したものである局所運動の大きさを獲得する。画像フュージョン部304は、局所運動の大きさに従って、第２画像について画像フュージョンを実行する。従って、動いているターゲット検出の精度を改善することができる。

図４を参照すると、図４は、本発明の一つの実施形態に従った、端末装置の模式的な構造ダイヤグラムである。図４に示されるように、端末装置は、プロセッサ401、メモリ402、第１カメラ403、第２カメラ404、および出力装置405を含んでよい。プロセッサ401は、メモリ402、第１カメラ403、第２カメラ404、および出力装置405に対して接続されている。例えば、プロセッサ401は、バスを使用して、メモリ402、第１カメラ403、第２カメラ404、および出力装置405に対して接続されてよい。

プロセッサ401は、中央処理装置（central processing unit、CPU）、ネットワークプロセッサ（network processor、NP）、または同様なものであってよい。

メモリ402は、特定的には、第１画像、第２画像、および同様なものを保管するように構成されてよい。メモリ402は、揮発性メモリ（volatile memory）、例えば、ランダムアクセスメモリ（random-access memory、RAM）を含み得る。メモリは、また、不揮発性メモリ（non-volatile memory）、例えば、読み出し専用メモリ（read-only memory、ROM）、フラッシュメモリ（flash memory）、ハードディスクドライブ（hard disk drive、HDD）、ソリッドステートドライブ（solid-state drive、SSD）も含み得る。メモリは、前述のタイプのメモリの組み合わせをさらに含んでよい。

第１カメラ403は、第１画像をキャプチャするように構成されている。

第２カメラ404は、第２画像をキャプチャするように構成されている。

出力装置405は、画像を出力するように構成されている。例えば、出力装置405は、ディスプレイスクリーンであってよい。

プロセッサ401、第１カメラ403、および第２カメラ404は、以下のオペレーションを実行するためにメモリ402の中に保管されたプログラムコードをコールする。
第１カメラ403は、同じ露光時間で第１画像の少なくとも２つのフレームをキャプチャするように構成されている。
第２カメラ404は、異なる露光時間で第２画像の少なくとも２つのフレームをキャプチャするように構成されており、ここで、第１画像のキャプチャ時間と第２画像のキャプチャ時間は同一である。
プロセッサ401は、第１画像の少なくとも２つのフレームから第１基準画像を決定するように構成されている。
プロセッサ401は、さらに、第１基準画像に従って第１画像の少なくとも２つのフレームにおける第１基準画像以外の画像について動いているターゲット検出を実行して、第１画像の少なくとも２つのフレームにおける第１基準画像以外の画像のものであり、かつ、第１基準画像と比較したものである局所運動の大きさを獲得するように構成されている。
プロセッサ401は、さらに、局所運動の大きさに従って第２画像について画像フュージョンを実行するように構成されている。

任意的な実施形態において、プロセッサ401が、局所運動の大きさに従って、第２画像について画像フュージョンを実行することは、特定的に、
局所運動の大きさが、第１プリセット閾値より大きいか又は等しい場合に、プロセッサ401によって、その露出時間が第２画像の少なくとも２つのフレームにおける第１プリセット時間である画像を出力すること、を含む。

任意的な実施形態において、プロセッサ401が、局所運動の大きさに従って、第２画像について画像フュージョンを実行することは、特定的に、
局所運動の大きさが第２プリセット閾値よりも小さい場合に、プロセッサ401によって、第２画像の少なくとも２つのフレームから第２基準画像を決定すること、
プロセッサ401によって、第２基準画像に従って第２画像の少なくとも２つのフレームにおける第２基準画像以外の画像について画像レジストレーションを実行して、レジストレーションされた第２画像を獲得すること、および、
プロセッサ401によって、画像フュージョンアルゴリズムを使用して、第２基準画像およびレジストレーションされた第２画像について画像フュージョンを実行すること、を含む。

任意的な実施形態において、プロセッサ401が、局所運動の大きさに従って、第２画像について画像フュージョンを実行することは、特定的に、
局所運動の大きさが第２プリセット閾値より大きいか又は等しく、かつ、第１プリセット閾値より小さい場合に、プロセッサ401によって、第２画像の少なくとも２つのフレームから第２基準画像を決定すること、
プロセッサ401によって、第２基準画像に従って第２画像の少なくとも２つのフレームにおける第２基準画像以外の画像について画像レジストレーションを実行して、レジストレーションされた第２画像を獲得すること、
プロセッサ401によって、第２基準画像に従ってレジストレーションされた第２画像について動き補償を実行して、動き補償された第２画像を獲得すること、および、
プロセッサ401によって、画像フュージョンアルゴリズムを使用して、第２基準画像および動き補償された第２画像について画像フュージョンを実行すること、を含む。

任意的な実施形態において、プロセッサ401が、第１基準画像に従って、第１画像の少なくとも２つのフレームにおける第１基準画像以外の画像について動いているターゲット検出を実行して、第１画像の少なくとも２つのフレームにおける第１基準画像以外の画像のものであり、かつ、第１基準画像と比較したものである局所運動の大きさを獲得することは、特定的に、
プロセッサ401によって、第１基準画像に従って、第１画像の少なくとも２つのフレームにおける第１基準画像以外の画像についてターゲット検出を実行して、第１画像の少なくとも２つのフレームにおける第１基準画像以外の画像のものであり、かつ、第１基準画像と比較したものである動き補償マトリクスを生成すること、
プロセッサ401によって、動き補償マトリクスに従って、第１画像の少なくとも２つのフレームにおける第１基準画像以外の画像について画像レジストレーションを実行して、レジストレーションされた第１画像を獲得すること、および、
プロセッサ401によって、レジストレーションされた第１画像のものであり、かつ、第１基準画像と比較したものである局所運動の大きさを獲得すること、を含む。

任意的な実施形態において、プロセッサ401が、第２基準画像に従って、第２画像の少なくとも２つのフレームにおける第２基準画像以外の画像について画像レジストレーションを実行して、レジストレーションされた第２画像を獲得することは、特定的に、
プロセッサ401によって、動き補償マトリクスに従って、第２画像の少なくとも２つのフレームにおける第２基準画像以外の画像について画像レジストレーションを実行して、レジストレーションされた第２画像を獲得すること、を含む。

特定的に、本発明に係るこの実施形態において説明される端末装置は、図１Ａおよび図１Ｂを参照して本発明の中で説明される画像フュージョン方法の実施形態におけるいくつか又は全てのプロシージャを実施するように構成され得る。

この明細書における説明において、「一つの実施形態（”an embodiment”）」、「いくつかの実施形態（”some embodiments”）」、「一つの実施例（”an example”）」、「特定的な実施例（”a specific example”）」、および「いくつかの実施例（”some examples”）」といった参照用語に関する記述は、実施形態または実施例を参照して説明された、特定の特徴、構造、材料、または特性が、本発明の少なくとも１つの実施形態または実施例の中に含まれることを意味する。本明細書において、用語の表現に係る前述の例は、必ずしも同じ実施形態または実施例に関するものではない。加えて、説明される特定の特徴、構造、材料、または特性は、任意の１つまたはそれ以上の実施形態または実施例において適切な方法で組み合わせされてよい。加えて、当業者であれば、互いに矛盾しない限り、異なる実施形態または実施例と、本明細書において説明された異なる実施形態または実施例の特徴とを統合または組み合わせることができる。

加えて、用語「第１（"first"）」および「第２（"second"）」は、単に説明の目的のために意図されているにすぎないものであり、そして、示される技術的特徴の数の相対的な重要性または暗示的な表示に係る示唆または含意として理解されるべきではない。相対的な重要性の指示または含蓄、または、指示される技術的特徴に係る量の暗黙の指示として理解されるべきではない。従って、「第１」または「第２」によって限定される特徴は、少なくとも一つのそうした特徴を明示的または暗示的に含み得る。本発明に関する説明においては、そうでないものと特定的に限定されなければ、「複数（"multiple"）」は、少なくとも２つ、例えば、２つ又は３つを意味する。

ロジック及び／又はステップ、例えば、論理的機能を実施するように構成されたものとみなされ、フローチャートにおいて示され、または、別の方法でここにおいて説明された、実行可能なインストラクションのプログラムリストは、命令実行システム、装置、または、デバイス（例えば、コンピュータベースのシステム、プロセッサを含むシステム、もしくは、命令実行システム、装置、またはデバイスからインストラクションを獲得し、かつ、そのインストラクションを実行することができる別のシステム）によって使用されるように、あらゆるコンピュータ可読媒体において特定的に実装することができ、または、命令実行システム、装置、またはデバイスと組み合わせて使用することができる。この明細書に関して、「コンピュータ可読媒体（”computer readable medium”）」は、プログラムを、包含、保管、通信、伝播、または送信することができる任意の装置であってもよく、そのため、プログラムは、命令実行システム、装置、またはデバイスによって使用され、または、命令実行システム、装置、またはデバイスとの組み合わせにおいて使用され得る。コンピュータ可読媒体のより具体的な例（非限定的なリスト）は、以下を含んでいる。１つまたはそれ以上のレイドワイヤ（laid wires）を有する電気接続部（電子装置）、ポータブルコンピュータディスクボックス（磁気装置）、ランダムアクセスメモリ、読み出し専用メモリ、消去可能プログラマブル読み出し専用メモリ、光ファイバ装置、および、ポータブルコンパクトディスク読み出し専用メモリ、である。加えて、コンピュータ可読媒体は、その上にプログラムが印刷され得る紙、または、別の適切な媒体であってさえよい。これは、紙または他の媒体について光学的スキャニングを実行し、そして、次いで、編集およびデコーディングを実行することにより、または、必要であれば別の適切な方法において処理を実行することによって、プログラムを電子的な方法で獲得することができるからである。そして、次に、プログラムは、コンピュータメモリの中に保管される。

本発明に係る部分は、ハードウェア、ソフトウェア、ファームウェア、または、それらの組み合わせを使用することによって実施され得ることが理解されるべきである。前述の実施形態において、複数のステップまたは方法は、メモリの中に保管され、そして、適切な命令実行システムによって実行されるソフトウェアまたはファームウェアを使用することによって、実施することができる。例えば、ハードウェアが実装のため、別の実装における実施と同様であるもの、に使用される場合、当該分野における以下の周知な技術の任意のアイテムまたは組み合わせが実施のために使用されてよい。データ信号に対して論理的機能を実施するために使用される論理ゲート回路を有するディスクリート論理回路、適切な組み合わせ論理回路を有する特定用途向け集積回路、プログラマブルゲートアレイ、フィールドプログラマブルゲートアレイ、および、同様なものである。

本発明の実施形態におけるモジュールは、ハードウェアの形態において実装されてよく、または、ソフトウェア機能モジュールの形態において実装されてよい。統合モジュールが、ソフトウェア機能モジュールの形態において実装され、かつ、独立した製品として販売または使用される場合に、統合ユニットは、コンピュータ可読記憶媒体の中に保管されてよい。

本発明の実施形態が上記に示され、かつ、説明されたが、前述の実施形態は例であり、そして、本発明に対する限定としては解釈され得ない。本発明の範囲内で、当業者であれば、前述の実施形態に対する変更、修正、置換、および変形を施すことができる。

Claims (19)

1. 画像フュージョン方法であって、
   該方法は、端末装置に対して適用され、第１カメラおよび第２カメラが該端末装置において備えられており、
   前記方法は、
   前記第１カメラを使用して同じ露光時間で第１画像の少なくとも２つのフレームをキャプチャし、かつ、前記第２カメラを使用して異なる露光時間で第２画像の少なくとも２つのフレームをキャプチャするステップであり、前記第１画像のキャプチャ時間と前記第２画像のキャプチャ時間は同一である、ステップと、
   前記第１画像の少なくとも２つのフレームから第１基準画像を決定するステップと、
   前記第１基準画像に従って、前記第１画像の少なくとも２つのフレームにおける前記第１基準画像以外の画像について動いているターゲット検出を実行して、前記第１画像の少なくとも２つのフレームにおける前記第１基準画像以外の画像のものであり、かつ、前記第１基準画像と比較したものである局所運動の大きさを獲得する、ステップであり、前記局所運動の大きさは、前記動いているターゲット検出により検出された動いているターゲットによって占有されるピクセルの量に関する情報を示すために使用される、ステップと、
   前記局所運動の大きさに従って、前記第２画像について画像フュージョンを実行するステップと、
   を含む、方法。
2. 前記局所運動の大きさに従って、前記第２画像について画像フュージョンを実行するステップは、
   前記局所運動の大きさが、第１プリセット閾値より大きいか又は等しい場合に、露出時間が前記第２画像の少なくとも２つのフレームにおける第１プリセット時間である画像を出力するステップ、
   を含む、請求項１に記載の方法。
3. 前記局所運動の大きさに従って、前記第２画像について画像フュージョンを実行するステップは、
   前記局所運動の大きさが第２プリセット閾値よりも小さい場合に、前記第２画像の少なくとも２つのフレームから第２基準画像を決定するステップと、
   前記第２基準画像に従って前記第２画像の少なくとも２つのフレームにおける第２基準画像以外の画像について画像レジストレーションを実行して、レジストレーションされた第２画像を獲得する、ステップと、
   画像フュージョンアルゴリズムを使用して、前記第２基準画像および前記レジストレーションされた第２画像について画像フュージョンを実行するステップと、
   を含む、請求項１に記載の方法。
4. 前記局所運動の大きさに従って、前記第２画像について画像フュージョンを実行するステップは、
   前記局所運動の大きさが第２プリセット閾値より大きいか又は等しく、かつ、第１プリセット閾値より小さい場合に、前記第２画像の少なくとも２つのフレームから第２基準画像を決定するステップと、
   前記第２基準画像に従って前記第２画像の少なくとも２つのフレームにおける第２基準画像以外の画像について画像レジストレーションを実行して、レジストレーションされた第２画像を獲得する、ステップと、
   前記第２基準画像に従って前記レジストレーションされた第２画像について動き補償を実行して、動き補償された第２画像を獲得する、ステップと、
   画像フュージョンアルゴリズムを使用して、前記第２基準画像および前記動き補償された第２画像について画像フュージョンを実行する、ステップと、
   を含む、請求項１に記載の方法。
5. 前記第１基準画像に従って、第１画像の少なくとも２つのフレームにおける前記第１基準画像以外の画像について動いているターゲット検出を実行して、前記第１画像の少なくとも２つのフレームにおける前記第１基準画像以外の画像のものであり、かつ、前記第１基準画像と比較したものである局所運動の大きさを獲得する、ステップは、
   前記第１基準画像に従って、前記第１画像の少なくとも２つのフレームにおける第１基準画像以外の前記画像についてターゲット検出を実行して、前記第１画像の少なくとも２つのフレームにおける第１基準画像以外の画像のものであり、かつ、第１基準画像と比較したものである動き補償マトリクスを生成する、ステップと、
   前記動き補償マトリクスに従って、前記第１画像の少なくとも２つのフレームにおける第１基準画像以外の前記画像について画像レジストレーションを実行して、レジストレーションされた第１画像を獲得する、ステップと、
   前記レジストレーションされた第１画像のものであり、かつ、第１基準画像と比較したものである局所運動の大きさを獲得するステップと、
   を含む、請求項３または４に記載の方法。
6. 前記第２基準画像に従って、前記第２画像の少なくとも２つのフレームにおける第２基準画像以外の画像について画像レジストレーションを実行して、レジストレーションされた第２画像を獲得する、ステップは、
   前記動き補償マトリクスに従って、前記第２画像の少なくとも２つのフレームにおける第２基準画像以外の前記画像について画像レジストレーションを実行して、レジストレーションされた第２画像を獲得する、ステップ、
   を含む、請求項５に記載の方法。
7. 画像フュージョン装置であって、該装置は、
   第１カメラを使用して同じ露光時間で第１画像の少なくとも２つのフレームをキャプチャし、かつ、第２カメラを使用して異なる露光時間で第２画像の少なくとも２つのフレームをキャプチャするように構成されている画像キャプチャ部であり、前記第１画像のキャプチャ時間と前記第２画像のキャプチャ時間は同一である、画像キャプチャ部と、
   前記第１画像の少なくとも２つのフレームから第１基準画像を決定するように構成されている基準画像決定部と、
   前記第１基準画像に従って、前記第１画像の少なくとも２つのフレームにおける前記第１基準画像以外の画像について動いているターゲット検出を実行して、前記第１画像の少なくとも２つのフレームにおける前記第１基準画像以外の画像のものであり、かつ、前記第１基準画像と比較したものである局所運動の大きさを獲得する、ように構成されている運動の大きさ獲得部であり、前記局所運動の大きさは、前記動いているターゲット検出により検出された動いているターゲットによって占有されるピクセルの量に関する情報を示すために使用される、運動の大きさ獲得部と、
   前記局所運動の大きさに従って、前記第２画像について画像フュージョンを実行するように構成されている画像フュージョン部と、
   を含む、装置。
8. 前記画像フュージョン部は、特定的に、
   前記局所運動の大きさが、第１プリセット閾値より大きいか又は等しい場合に、露出時間が前記第２画像の少なくとも２つのフレームにおける第１プリセット時間である画像を出力する、
   ように構成されている、請求項７に記載の装置。
9. 前記画像フュージョン部は、特定的に、
   前記局所運動の大きさが第２プリセット閾値よりも小さい場合に、前記第２画像の少なくとも２つのフレームから第２基準画像を決定し、
   前記第２基準画像に従って前記第２画像の少なくとも２つのフレームにおける第２基準画像以外の画像について画像レジストレーションを実行して、レジストレーションされた第２画像を獲得し、かつ、
   画像フュージョンアルゴリズムを使用して、前記第２基準画像および前記レジストレーションされた第２画像について画像フュージョンを実行する、
   ように構成されている、請求項７に記載の装置。
10. 前記画像フュージョン部は、特定的に、
    前記局所運動の大きさが第２プリセット閾値より大きいか又は等しく、かつ、第１プリセット閾値より小さい場合に、前記第２画像の少なくとも２つのフレームから第２基準画像を決定し、
    前記第２基準画像に従って前記第２画像の少なくとも２つのフレームにおける第２基準画像以外の画像について画像レジストレーションを実行して、レジストレーションされた第２画像を獲得し、
    前記第２基準画像に従って前記レジストレーションされた第２画像について動き補償を実行して、動き補償された第２画像を獲得し、かつ、
    画像フュージョンアルゴリズムを使用して、前記第２基準画像および前記動き補償された第２画像について画像フュージョンを実行する、
    ように構成されている、請求項７に記載の装置。
11. 前記運動の大きさ獲得部は、特定的に、
    前記第１基準画像に従って、前記第１画像の少なくとも２つのフレームにおける第１基準画像以外の前記画像についてターゲット検出を実行して、前記第１画像の少なくとも２つのフレームにおける第１基準画像以外の画像のものであり、かつ、第１基準画像と比較したものである動き補償マトリクスを生成し、
    前記動き補償マトリクスに従って、前記第１画像の少なくとも２つのフレームにおける第１基準画像以外の前記画像について画像レジストレーションを実行して、レジストレーションされた第１画像を獲得し、かつ、
    前記レジストレーションされた第１画像のものであり、かつ、第１基準画像と比較したものである局所運動の大きさを獲得する、
    ように構成されている、請求項９または１０に記載の装置。
12. 前記画像フュージョン部が、前記第２基準画像に従って、前記第２画像の少なくとも２つのフレームにおける第２基準画像以外の画像について画像レジストレーションを実行して、レジストレーションされた第２画像を獲得することは、特定的に、
    前記動き補償マトリクスに従って、前記第２画像の少なくとも２つのフレームにおける第２基準画像以外の前記画像について画像レジストレーションを実行して、レジストレーションされた第２画像を獲得すること、とすることができる、
    請求項１１に記載の装置。
13. プロセッサ、メモリ、第１カメラ、および、第２カメラ、を含む端末装置であって、
    前記メモリは、一式のプログラムコードを保管しており、かつ、
    前記プロセッサ、前記第１カメラ、および、前記第２カメラは、オペレーションを実行するために前記メモリの中に保管された前記プログラムコードをコールし、
    前記第１カメラは、同じ露光時間で第１画像の少なくとも２つのフレームをキャプチャするように構成されており、
    前記第２カメラは、異なる露光時間で第２画像の少なくとも２つのフレームをキャプチャするように構成されており、前記第１画像のキャプチャ時間と前記第２画像のキャプチャ時間は同一であり、
    前記プロセッサは、前記第１画像の少なくとも２つのフレームから第１基準画像を決定するように構成されており、
    前記プロセッサは、さらに、前記第１基準画像に従って、第１画像の少なくとも２つのフレームにおける前記第１基準画像以外の画像について動いているターゲット検出を実行して、前記第１画像の少なくとも２つのフレームにおける前記第１基準画像以外の画像のものであり、かつ、前記第１基準画像と比較したものである局所運動の大きさを獲得するように構成されており、前記局所運動の大きさは、前記動いているターゲット検出により検出された動いているターゲットによって占有されるピクセルの量に関する情報を示すために使用され、かつ、
    前記プロセッサは、さらに、前記局所運動の大きさに従って、前記第２画像について画像フュージョンを実行するように構成されている、
    端末装置。
14. 前記プロセッサが、前記局所運動の大きさに従って、前記第２画像について画像フュージョンを実行することは、特定的に、
    前記局所運動の大きさが、第１プリセット閾値より大きいか又は等しい場合に、前記プロセッサによって、露出時間が前記第２画像の少なくとも２つのフレームにおける第１プリセット時間である画像を出力すること、
    を含む、請求項１３に記載の端末装置。
15. 前記プロセッサが、前記局所運動の大きさに従って、前記第２画像について画像フュージョンを実行することは、特定的に、
    前記局所運動の大きさが第２プリセット閾値よりも小さい場合に、前記プロセッサによって、前記第２画像の少なくとも２つのフレームから第２基準画像を決定すること、
    前記プロセッサによって、前記第２基準画像に従って前記第２画像の少なくとも２つのフレームにおける第２基準画像以外の画像について画像レジストレーションを実行して、レジストレーションされた第２画像を獲得すること、および、
    前記プロセッサによって、画像フュージョンアルゴリズムを使用して、前記第２基準画像および前記レジストレーションされた第２画像について画像フュージョンを実行すること、
    を含む、請求項１３に記載の端末装置。
16. 前記プロセッサが、前記局所運動の大きさに従って、前記第２画像について画像フュージョンを実行することは、特定的に、
    前記局所運動の大きさが第２プリセット閾値より大きいか又は等しく、かつ、第１プリセット閾値より小さい場合に、前記プロセッサによって、前記第２画像の少なくとも２つのフレームから第２基準画像を決定すること、
    前記プロセッサによって、前記第２基準画像に従って前記第２画像の少なくとも２つのフレームにおける第２基準画像以外の画像について画像レジストレーションを実行して、レジストレーションされた第２画像を獲得すること、
    前記プロセッサによって、前記第２基準画像に従って前記レジストレーションされた第２画像について動き補償を実行して、動き補償された第２画像を獲得すること、および、
    前記プロセッサによって、画像フュージョンアルゴリズムを使用して、前記第２基準画像および前記動き補償された第２画像について画像フュージョンを実行すること、
    を含む、請求項１３に記載の端末装置。
17. 前記プロセッサが、前記第１基準画像に従って、前記第１画像の少なくとも２つのフレームにおける前記第１基準画像以外の画像について動いているターゲット検出を実行して、前記第１画像の少なくとも２つのフレームにおける前記第１基準画像以外の画像のものであり、かつ、前記第１基準画像と比較したものである局所運動の大きさを獲得することは、特定的に、
    前記プロセッサによって、前記第１基準画像に従って、前記第１画像の少なくとも２つのフレームにおける第１基準画像以外の前記画像についてターゲット検出を実行して、前記第１画像の少なくとも２つのフレームにおける第１基準画像以外の画像のものであり、かつ、第１基準画像と比較したものである動き補償マトリクスを生成すること、
    前記プロセッサによって、前記動き補償マトリクスに従って、前記第１画像の少なくとも２つのフレームにおける第１基準画像以外の前記画像について画像レジストレーションを実行して、レジストレーションされた第１画像を獲得すること、および、
    前記プロセッサによって、前記レジストレーションされた第１画像のものであり、かつ、第１基準画像と比較したものである局所運動の大きさを獲得すること、
    を含む、請求項１５または１６に記載の端末装置。
18. 前記プロセッサが、前記第２基準画像に従って、前記第２画像の少なくとも２つのフレームにおける第２基準画像以外の画像について画像レジストレーションを実行して、レジストレーションされた第２画像を獲得することは、特定的に、
    前記プロセッサによって、前記動き補償マトリクスに従って、前記第２画像の少なくとも２つのフレームにおける第２基準画像以外の前記画像について画像レジストレーションを実行して、レジストレーションされた第２画像を獲得すること、
    を含む、請求項１７に記載の端末装置。
19. プログラムを保管しているコンピュータ可読記憶媒体であって、前記プログラムが実行されると、プロセッサに請求項１乃至６いずれか一項に記載の方法を実施させる、コンピュータ可読記憶媒体。
    

Images