JP6629454B2 - 画像フュージョン方法と装置、および端末装置 - Google Patents
画像フュージョン方法と装置、および端末装置 Download PDFInfo
- Publication number
- JP6629454B2 JP6629454B2 JP2018533907A JP2018533907A JP6629454B2 JP 6629454 B2 JP6629454 B2 JP 6629454B2 JP 2018533907 A JP2018533907 A JP 2018533907A JP 2018533907 A JP2018533907 A JP 2018533907A JP 6629454 B2 JP6629454 B2 JP 6629454B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- frames
- reference image
- magnitude
- motion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000007500 overflow downdraw method Methods 0.000 title claims description 12
- 230000033001 locomotion Effects 0.000 claims description 206
- 230000004927 fusion Effects 0.000 claims description 99
- 238000001514 detection method Methods 0.000 claims description 47
- 238000000034 method Methods 0.000 claims description 44
- 238000004422 calculation algorithm Methods 0.000 claims description 29
- 239000011159 matrix material Substances 0.000 claims description 29
- 230000015654 memory Effects 0.000 claims description 24
- 238000010586 diagram Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 6
- 238000012545 processing Methods 0.000 description 5
- 230000009466 transformation Effects 0.000 description 5
- 238000000605 extraction Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 208000012661 Dyskinesia Diseases 0.000 description 1
- 238000013398 bayesian method Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000011426 transformation method Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/682—Vibration or motion blur correction
- H04N23/684—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/681—Motion detection
- H04N23/6811—Motion detection based on the image signal
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/743—Bracketing, i.e. taking a series of images with varying exposure conditions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
Description
第1画像の少なくとも2つのフレームから第1基準画像を決定すること、
第1基準画像に従って、第1画像の少なくとも2つのフレームにおける第1基準画像以外の画像について動いているターゲット検出(moving target detection)を実行して、第1画像の少なくとも2つのフレームにおける第1基準画像以外の画像のものであり、かつ、第1基準画像と比較したものである局所運動の大きさを獲得することであり、局所運動の大きさは、動いているターゲット検出により検出された動いているターゲットによって占有されるピクセルの量に関する情報を示すために使用されること、および、
局所運動の大きさに従って、第2画像について画像フュージョン(image fusion)を実行すること、である。
第1カメラは、同じ露光時間で第1画像の少なくとも2つのフレームをキャプチャし、第2カメラは、異なる露光時間で第2画像の少なくとも2つのフレームをキャプチャする。ここで、第1画像のキャプチャ時間と第2画像のキャプチャ時間は同一である。プロセッサは、第1画像の少なくとも2つのフレームから第1基準画像を決定する。プロセッサは、第1基準画像に従って、第1画像の少なくとも2つのフレームにおける第1基準画像以外の画像について動いているターゲット検出を実行して、第1画像の少なくとも2つのフレームにおける第1基準画像以外の画像のものであり、かつ、第1基準画像と比較したものである局所運動の大きさを獲得する。そして、プロセッサは、局所運動の大きさに従って、第2画像について画像フュージョンを実行する。ここで、局所運動の大きさは、動いているターゲット検出により検出された動いているターゲットによって占有されるピクセルの量に関する情報を示すために使用される。
M1'における各ピクセルがM2における対応するピクセルから減算され、そして、減算によって獲得された値の絶対値がプリセット値より大きい場合に、端末装置は、そのピクセルが動いているターゲットによって占有されたピクセルであると判断することができる。
局所運動の大きさが第1プリセット閾値より大きいか又は等しい場合に、露出時間が第2画像の少なくとも2つのフレームにおける第1プリセット時間である画像を出力する、ように構成されている。
局所運動の大きさが第2プリセット閾値よりも小さい場合に、第2画像の少なくとも2つのフレームから第2基準画像を決定し、
第2基準画像に従って第2画像の少なくとも2つのフレームにおける第2基準画像以外の画像について画像レジストレーションを実行し、レジストレーションされた第2画像を獲得し、かつ、
画像フュージョンアルゴリズムを使用して、第2基準画像およびレジストレーションされた第2画像について画像フュージョンを実行する、ように構成されている。
局所運動の大きさが第2プリセット閾値より大きいか又は等しく、かつ、第1プリセット閾値より小さい場合に、第2画像の少なくとも2つのフレームから第2基準画像を決定し、
第2基準画像に従って第2画像の少なくとも2つのフレームにおける第2基準画像以外の画像について画像レジストレーションを実行して、レジストレーションされた第2画像を獲得し、
第2基準画像に従ってレジストレーションされた第2画像について動き補償を実行して、動き補償された第2画像を獲得し、かつ、
画像フュージョンアルゴリズムを使用して、第2基準画像および動き補償された第2画像について画像フュージョンを実行する、ように構成されている。
第1基準画像に従って第1画像の少なくとも2つのフレームにおける第1基準画像以外の画像についてターゲット検出を実行して、第1画像の少なくとも2つのフレームにおける第1基準画像以外の画像のものであり、かつ、第1基準画像と比較したものである動き補償マトリクスを生成し、
第1画像の少なくとも2つのフレームにおける第1基準画像以外の画像のものであり、かつ、第1基準画像と比較したものである動き補償マトリクスに従って、第1画像の少なくとも2つのフレームにおける第1基準画像以外の画像について画像レジストレーションを実行して、レジストレーションされた第1画像を獲得し、かつ、
レジストレーションされた第1画像のものであり、かつ、第1基準画像と比較したものである局所運動の大きさを獲得する、ように構成されている。
第1画像の少なくとも2つのフレームにおける第1基準画像以外の画像のものであり、かつ、第1基準画像と比較したものである動き補償マトリクスに従って、第2画像の少なくとも2つのフレームにおける第2基準画像以外の画像について画像レジストレーションを実行して、レジストレーションされた第2画像を獲得し得る。
第1カメラ403は、同じ露光時間で第1画像の少なくとも2つのフレームをキャプチャするように構成されている。
第2カメラ404は、異なる露光時間で第2画像の少なくとも2つのフレームをキャプチャするように構成されており、ここで、第1画像のキャプチャ時間と第2画像のキャプチャ時間は同一である。
プロセッサ401は、第1画像の少なくとも2つのフレームから第1基準画像を決定するように構成されている。
プロセッサ401は、さらに、第1基準画像に従って第1画像の少なくとも2つのフレームにおける第1基準画像以外の画像について動いているターゲット検出を実行して、第1画像の少なくとも2つのフレームにおける第1基準画像以外の画像のものであり、かつ、第1基準画像と比較したものである局所運動の大きさを獲得するように構成されている。
プロセッサ401は、さらに、局所運動の大きさに従って第2画像について画像フュージョンを実行するように構成されている。
局所運動の大きさが、第1プリセット閾値より大きいか又は等しい場合に、プロセッサ401によって、その露出時間が第2画像の少なくとも2つのフレームにおける第1プリセット時間である画像を出力すること、を含む。
局所運動の大きさが第2プリセット閾値よりも小さい場合に、プロセッサ401によって、第2画像の少なくとも2つのフレームから第2基準画像を決定すること、
プロセッサ401によって、第2基準画像に従って第2画像の少なくとも2つのフレームにおける第2基準画像以外の画像について画像レジストレーションを実行して、レジストレーションされた第2画像を獲得すること、および、
プロセッサ401によって、画像フュージョンアルゴリズムを使用して、第2基準画像およびレジストレーションされた第2画像について画像フュージョンを実行すること、を含む。
局所運動の大きさが第2プリセット閾値より大きいか又は等しく、かつ、第1プリセット閾値より小さい場合に、プロセッサ401によって、第2画像の少なくとも2つのフレームから第2基準画像を決定すること、
プロセッサ401によって、第2基準画像に従って第2画像の少なくとも2つのフレームにおける第2基準画像以外の画像について画像レジストレーションを実行して、レジストレーションされた第2画像を獲得すること、
プロセッサ401によって、第2基準画像に従ってレジストレーションされた第2画像について動き補償を実行して、動き補償された第2画像を獲得すること、および、
プロセッサ401によって、画像フュージョンアルゴリズムを使用して、第2基準画像および動き補償された第2画像について画像フュージョンを実行すること、を含む。
プロセッサ401によって、第1基準画像に従って、第1画像の少なくとも2つのフレームにおける第1基準画像以外の画像についてターゲット検出を実行して、第1画像の少なくとも2つのフレームにおける第1基準画像以外の画像のものであり、かつ、第1基準画像と比較したものである動き補償マトリクスを生成すること、
プロセッサ401によって、動き補償マトリクスに従って、第1画像の少なくとも2つのフレームにおける第1基準画像以外の画像について画像レジストレーションを実行して、レジストレーションされた第1画像を獲得すること、および、
プロセッサ401によって、レジストレーションされた第1画像のものであり、かつ、第1基準画像と比較したものである局所運動の大きさを獲得すること、を含む。
プロセッサ401によって、動き補償マトリクスに従って、第2画像の少なくとも2つのフレームにおける第2基準画像以外の画像について画像レジストレーションを実行して、レジストレーションされた第2画像を獲得すること、を含む。
Claims (19)
- 画像フュージョン方法であって、
該方法は、端末装置に対して適用され、第1カメラおよび第2カメラが該端末装置において備えられており、
前記方法は、
前記第1カメラを使用して同じ露光時間で第1画像の少なくとも2つのフレームをキャプチャし、かつ、前記第2カメラを使用して異なる露光時間で第2画像の少なくとも2つのフレームをキャプチャするステップであり、前記第1画像のキャプチャ時間と前記第2画像のキャプチャ時間は同一である、ステップと、
前記第1画像の少なくとも2つのフレームから第1基準画像を決定するステップと、
前記第1基準画像に従って、前記第1画像の少なくとも2つのフレームにおける前記第1基準画像以外の画像について動いているターゲット検出を実行して、前記第1画像の少なくとも2つのフレームにおける前記第1基準画像以外の画像のものであり、かつ、前記第1基準画像と比較したものである局所運動の大きさを獲得する、ステップであり、前記局所運動の大きさは、前記動いているターゲット検出により検出された動いているターゲットによって占有されるピクセルの量に関する情報を示すために使用される、ステップと、
前記局所運動の大きさに従って、前記第2画像について画像フュージョンを実行するステップと、
を含む、方法。 - 前記局所運動の大きさに従って、前記第2画像について画像フュージョンを実行するステップは、
前記局所運動の大きさが、第1プリセット閾値より大きいか又は等しい場合に、露出時間が前記第2画像の少なくとも2つのフレームにおける第1プリセット時間である画像を出力するステップ、
を含む、請求項1に記載の方法。 - 前記局所運動の大きさに従って、前記第2画像について画像フュージョンを実行するステップは、
前記局所運動の大きさが第2プリセット閾値よりも小さい場合に、前記第2画像の少なくとも2つのフレームから第2基準画像を決定するステップと、
前記第2基準画像に従って前記第2画像の少なくとも2つのフレームにおける第2基準画像以外の画像について画像レジストレーションを実行して、レジストレーションされた第2画像を獲得する、ステップと、
画像フュージョンアルゴリズムを使用して、前記第2基準画像および前記レジストレーションされた第2画像について画像フュージョンを実行するステップと、
を含む、請求項1に記載の方法。 - 前記局所運動の大きさに従って、前記第2画像について画像フュージョンを実行するステップは、
前記局所運動の大きさが第2プリセット閾値より大きいか又は等しく、かつ、第1プリセット閾値より小さい場合に、前記第2画像の少なくとも2つのフレームから第2基準画像を決定するステップと、
前記第2基準画像に従って前記第2画像の少なくとも2つのフレームにおける第2基準画像以外の画像について画像レジストレーションを実行して、レジストレーションされた第2画像を獲得する、ステップと、
前記第2基準画像に従って前記レジストレーションされた第2画像について動き補償を実行して、動き補償された第2画像を獲得する、ステップと、
画像フュージョンアルゴリズムを使用して、前記第2基準画像および前記動き補償された第2画像について画像フュージョンを実行する、ステップと、
を含む、請求項1に記載の方法。 - 前記第1基準画像に従って、第1画像の少なくとも2つのフレームにおける前記第1基準画像以外の画像について動いているターゲット検出を実行して、前記第1画像の少なくとも2つのフレームにおける前記第1基準画像以外の画像のものであり、かつ、前記第1基準画像と比較したものである局所運動の大きさを獲得する、ステップは、
前記第1基準画像に従って、前記第1画像の少なくとも2つのフレームにおける第1基準画像以外の前記画像についてターゲット検出を実行して、前記第1画像の少なくとも2つのフレームにおける第1基準画像以外の画像のものであり、かつ、第1基準画像と比較したものである動き補償マトリクスを生成する、ステップと、
前記動き補償マトリクスに従って、前記第1画像の少なくとも2つのフレームにおける第1基準画像以外の前記画像について画像レジストレーションを実行して、レジストレーションされた第1画像を獲得する、ステップと、
前記レジストレーションされた第1画像のものであり、かつ、第1基準画像と比較したものである局所運動の大きさを獲得するステップと、
を含む、請求項3または4に記載の方法。 - 前記第2基準画像に従って、前記第2画像の少なくとも2つのフレームにおける第2基準画像以外の画像について画像レジストレーションを実行して、レジストレーションされた第2画像を獲得する、ステップは、
前記動き補償マトリクスに従って、前記第2画像の少なくとも2つのフレームにおける第2基準画像以外の前記画像について画像レジストレーションを実行して、レジストレーションされた第2画像を獲得する、ステップ、
を含む、請求項5に記載の方法。 - 画像フュージョン装置であって、該装置は、
第1カメラを使用して同じ露光時間で第1画像の少なくとも2つのフレームをキャプチャし、かつ、第2カメラを使用して異なる露光時間で第2画像の少なくとも2つのフレームをキャプチャするように構成されている画像キャプチャ部であり、前記第1画像のキャプチャ時間と前記第2画像のキャプチャ時間は同一である、画像キャプチャ部と、
前記第1画像の少なくとも2つのフレームから第1基準画像を決定するように構成されている基準画像決定部と、
前記第1基準画像に従って、前記第1画像の少なくとも2つのフレームにおける前記第1基準画像以外の画像について動いているターゲット検出を実行して、前記第1画像の少なくとも2つのフレームにおける前記第1基準画像以外の画像のものであり、かつ、前記第1基準画像と比較したものである局所運動の大きさを獲得する、ように構成されている運動の大きさ獲得部であり、前記局所運動の大きさは、前記動いているターゲット検出により検出された動いているターゲットによって占有されるピクセルの量に関する情報を示すために使用される、運動の大きさ獲得部と、
前記局所運動の大きさに従って、前記第2画像について画像フュージョンを実行するように構成されている画像フュージョン部と、
を含む、装置。 - 前記画像フュージョン部は、特定的に、
前記局所運動の大きさが、第1プリセット閾値より大きいか又は等しい場合に、露出時間が前記第2画像の少なくとも2つのフレームにおける第1プリセット時間である画像を出力する、
ように構成されている、請求項7に記載の装置。 - 前記画像フュージョン部は、特定的に、
前記局所運動の大きさが第2プリセット閾値よりも小さい場合に、前記第2画像の少なくとも2つのフレームから第2基準画像を決定し、
前記第2基準画像に従って前記第2画像の少なくとも2つのフレームにおける第2基準画像以外の画像について画像レジストレーションを実行して、レジストレーションされた第2画像を獲得し、かつ、
画像フュージョンアルゴリズムを使用して、前記第2基準画像および前記レジストレーションされた第2画像について画像フュージョンを実行する、
ように構成されている、請求項7に記載の装置。 - 前記画像フュージョン部は、特定的に、
前記局所運動の大きさが第2プリセット閾値より大きいか又は等しく、かつ、第1プリセット閾値より小さい場合に、前記第2画像の少なくとも2つのフレームから第2基準画像を決定し、
前記第2基準画像に従って前記第2画像の少なくとも2つのフレームにおける第2基準画像以外の画像について画像レジストレーションを実行して、レジストレーションされた第2画像を獲得し、
前記第2基準画像に従って前記レジストレーションされた第2画像について動き補償を実行して、動き補償された第2画像を獲得し、かつ、
画像フュージョンアルゴリズムを使用して、前記第2基準画像および前記動き補償された第2画像について画像フュージョンを実行する、
ように構成されている、請求項7に記載の装置。 - 前記運動の大きさ獲得部は、特定的に、
前記第1基準画像に従って、前記第1画像の少なくとも2つのフレームにおける第1基準画像以外の前記画像についてターゲット検出を実行して、前記第1画像の少なくとも2つのフレームにおける第1基準画像以外の画像のものであり、かつ、第1基準画像と比較したものである動き補償マトリクスを生成し、
前記動き補償マトリクスに従って、前記第1画像の少なくとも2つのフレームにおける第1基準画像以外の前記画像について画像レジストレーションを実行して、レジストレーションされた第1画像を獲得し、かつ、
前記レジストレーションされた第1画像のものであり、かつ、第1基準画像と比較したものである局所運動の大きさを獲得する、
ように構成されている、請求項9または10に記載の装置。 - 前記画像フュージョン部が、前記第2基準画像に従って、前記第2画像の少なくとも2つのフレームにおける第2基準画像以外の画像について画像レジストレーションを実行して、レジストレーションされた第2画像を獲得することは、特定的に、
前記動き補償マトリクスに従って、前記第2画像の少なくとも2つのフレームにおける第2基準画像以外の前記画像について画像レジストレーションを実行して、レジストレーションされた第2画像を獲得すること、とすることができる、
請求項11に記載の装置。 - プロセッサ、メモリ、第1カメラ、および、第2カメラ、を含む端末装置であって、
前記メモリは、一式のプログラムコードを保管しており、かつ、
前記プロセッサ、前記第1カメラ、および、前記第2カメラは、オペレーションを実行するために前記メモリの中に保管された前記プログラムコードをコールし、
前記第1カメラは、同じ露光時間で第1画像の少なくとも2つのフレームをキャプチャするように構成されており、
前記第2カメラは、異なる露光時間で第2画像の少なくとも2つのフレームをキャプチャするように構成されており、前記第1画像のキャプチャ時間と前記第2画像のキャプチャ時間は同一であり、
前記プロセッサは、前記第1画像の少なくとも2つのフレームから第1基準画像を決定するように構成されており、
前記プロセッサは、さらに、前記第1基準画像に従って、第1画像の少なくとも2つのフレームにおける前記第1基準画像以外の画像について動いているターゲット検出を実行して、前記第1画像の少なくとも2つのフレームにおける前記第1基準画像以外の画像のものであり、かつ、前記第1基準画像と比較したものである局所運動の大きさを獲得するように構成されており、前記局所運動の大きさは、前記動いているターゲット検出により検出された動いているターゲットによって占有されるピクセルの量に関する情報を示すために使用され、かつ、
前記プロセッサは、さらに、前記局所運動の大きさに従って、前記第2画像について画像フュージョンを実行するように構成されている、
端末装置。 - 前記プロセッサが、前記局所運動の大きさに従って、前記第2画像について画像フュージョンを実行することは、特定的に、
前記局所運動の大きさが、第1プリセット閾値より大きいか又は等しい場合に、前記プロセッサによって、露出時間が前記第2画像の少なくとも2つのフレームにおける第1プリセット時間である画像を出力すること、
を含む、請求項13に記載の端末装置。 - 前記プロセッサが、前記局所運動の大きさに従って、前記第2画像について画像フュージョンを実行することは、特定的に、
前記局所運動の大きさが第2プリセット閾値よりも小さい場合に、前記プロセッサによって、前記第2画像の少なくとも2つのフレームから第2基準画像を決定すること、
前記プロセッサによって、前記第2基準画像に従って前記第2画像の少なくとも2つのフレームにおける第2基準画像以外の画像について画像レジストレーションを実行して、レジストレーションされた第2画像を獲得すること、および、
前記プロセッサによって、画像フュージョンアルゴリズムを使用して、前記第2基準画像および前記レジストレーションされた第2画像について画像フュージョンを実行すること、
を含む、請求項13に記載の端末装置。 - 前記プロセッサが、前記局所運動の大きさに従って、前記第2画像について画像フュージョンを実行することは、特定的に、
前記局所運動の大きさが第2プリセット閾値より大きいか又は等しく、かつ、第1プリセット閾値より小さい場合に、前記プロセッサによって、前記第2画像の少なくとも2つのフレームから第2基準画像を決定すること、
前記プロセッサによって、前記第2基準画像に従って前記第2画像の少なくとも2つのフレームにおける第2基準画像以外の画像について画像レジストレーションを実行して、レジストレーションされた第2画像を獲得すること、
前記プロセッサによって、前記第2基準画像に従って前記レジストレーションされた第2画像について動き補償を実行して、動き補償された第2画像を獲得すること、および、
前記プロセッサによって、画像フュージョンアルゴリズムを使用して、前記第2基準画像および前記動き補償された第2画像について画像フュージョンを実行すること、
を含む、請求項13に記載の端末装置。 - 前記プロセッサが、前記第1基準画像に従って、前記第1画像の少なくとも2つのフレームにおける前記第1基準画像以外の画像について動いているターゲット検出を実行して、前記第1画像の少なくとも2つのフレームにおける前記第1基準画像以外の画像のものであり、かつ、前記第1基準画像と比較したものである局所運動の大きさを獲得することは、特定的に、
前記プロセッサによって、前記第1基準画像に従って、前記第1画像の少なくとも2つのフレームにおける第1基準画像以外の前記画像についてターゲット検出を実行して、前記第1画像の少なくとも2つのフレームにおける第1基準画像以外の画像のものであり、かつ、第1基準画像と比較したものである動き補償マトリクスを生成すること、
前記プロセッサによって、前記動き補償マトリクスに従って、前記第1画像の少なくとも2つのフレームにおける第1基準画像以外の前記画像について画像レジストレーションを実行して、レジストレーションされた第1画像を獲得すること、および、
前記プロセッサによって、前記レジストレーションされた第1画像のものであり、かつ、第1基準画像と比較したものである局所運動の大きさを獲得すること、
を含む、請求項15または16に記載の端末装置。 - 前記プロセッサが、前記第2基準画像に従って、前記第2画像の少なくとも2つのフレームにおける第2基準画像以外の画像について画像レジストレーションを実行して、レジストレーションされた第2画像を獲得することは、特定的に、
前記プロセッサによって、前記動き補償マトリクスに従って、前記第2画像の少なくとも2つのフレームにおける第2基準画像以外の前記画像について画像レジストレーションを実行して、レジストレーションされた第2画像を獲得すること、
を含む、請求項17に記載の端末装置。 - プログラムを保管しているコンピュータ可読記憶媒体であって、前記プログラムが実行されると、プロセッサに請求項1乃至6いずれか一項に記載の方法を実施させる、コンピュータ可読記憶媒体。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/CN2015/099168 WO2017113048A1 (zh) | 2015-12-28 | 2015-12-28 | 一种图像融合方法、装置及终端设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019503614A JP2019503614A (ja) | 2019-02-07 |
JP6629454B2 true JP6629454B2 (ja) | 2020-01-15 |
Family
ID=59224124
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018533907A Expired - Fee Related JP6629454B2 (ja) | 2015-12-28 | 2015-12-28 | 画像フュージョン方法と装置、および端末装置 |
Country Status (6)
Country | Link |
---|---|
US (1) | US10511776B2 (ja) |
EP (1) | EP3399741B1 (ja) |
JP (1) | JP6629454B2 (ja) |
KR (1) | KR102103252B1 (ja) |
CN (1) | CN108541374B (ja) |
WO (1) | WO2017113048A1 (ja) |
Families Citing this family (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6791962B2 (ja) * | 2016-07-01 | 2020-11-25 | マクセル株式会社 | 撮像装置 |
WO2018016151A1 (ja) * | 2016-07-22 | 2018-01-25 | ソニー株式会社 | 画像処理装置と画像処理方法 |
DE102016223171A1 (de) * | 2016-11-23 | 2018-05-24 | Robert Bosch Gmbh | Verfahren und System zum Detektieren eines sich innerhalb eines Parkplatzes befindenden erhabenen Objekts |
US11113801B1 (en) * | 2018-09-11 | 2021-09-07 | Apple Inc. | Robust image motion detection using scene analysis and image frame pairs |
KR102628911B1 (ko) * | 2019-01-07 | 2024-01-24 | 삼성전자주식회사 | 영상 처리 방법 및 이를 수행하는 영상 처리 장치 |
CN111741211B (zh) * | 2019-03-25 | 2022-07-29 | 华为技术有限公司 | 图像显示方法和设备 |
CN111800580B (zh) * | 2019-04-08 | 2021-07-09 | 瑞芯微电子股份有限公司 | 一种高动态图像合成方法及存储介质 |
CN109996009B (zh) * | 2019-04-09 | 2021-03-02 | Oppo广东移动通信有限公司 | 图像处理方法、装置、存储介质及电子设备 |
CN110278360B (zh) * | 2019-06-28 | 2021-03-23 | Oppo广东移动通信有限公司 | 图像处理方法和装置、电子设备、计算机可读存储介质 |
EP3935601A4 (en) * | 2019-08-06 | 2022-04-27 | Samsung Electronics Co., Ltd. | LOCAL HISTOGRAM MATCHING WITH GLOBAL REGULARIZATION AND MOTION EXCLUSION FOR MULTI-EXPOSURE IMAGE BLENDING |
US11218641B2 (en) * | 2019-09-09 | 2022-01-04 | Qualcomm Incorporated | Image capture mode adaptation |
CN113382153B (zh) * | 2020-02-25 | 2022-11-22 | 北京小米移动软件有限公司 | 显示图像的方法和装置、电子设备、存储介质 |
CN111476747B (zh) * | 2020-03-31 | 2024-08-23 | 奥比中光科技集团股份有限公司 | 一种消除屏下成像中鬼像的系统及方法 |
CN111524067B (zh) * | 2020-04-01 | 2023-09-12 | 北京东软医疗设备有限公司 | 一种图像处理方法、装置和设备 |
KR102697687B1 (ko) | 2020-04-29 | 2024-08-23 | 삼성전자주식회사 | 이미지 병합 방법 및 이를 수행하는 데이터 처리 장치 |
CN114070996B (zh) * | 2020-07-30 | 2024-01-12 | 北京小米移动软件有限公司 | 星空拍摄方法、星空拍摄装置及存储介质 |
CN112597787B (zh) * | 2020-08-27 | 2021-10-15 | 禾多科技(北京)有限公司 | 用于融合局部图像的方法、装置、服务器和介质 |
CN112288642A (zh) * | 2020-09-21 | 2021-01-29 | 北京迈格威科技有限公司 | 鬼影检测方法、图像融合方法及对应装置 |
CN113052056B (zh) * | 2021-03-19 | 2024-09-20 | 华为技术有限公司 | 一种视频处理的方法以及装置 |
CN115209062A (zh) * | 2021-04-13 | 2022-10-18 | 华为技术有限公司 | 一种图像处理方法及装置 |
CN117751282A (zh) * | 2021-07-08 | 2024-03-22 | 拉莫特特拉维夫大学有限公司 | 时间超分辨率 |
CN117474983B (zh) * | 2023-12-27 | 2024-03-12 | 广东力创信息技术有限公司 | 一种基于光视联动的预警方法以及相关装置 |
Family Cites Families (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2004001667A2 (en) * | 2002-06-21 | 2003-12-31 | The Trustees Of Columbia University In The City Of New York | Systems and methods for de-blurring motion blurred images |
US7440634B2 (en) * | 2003-06-17 | 2008-10-21 | The Trustees Of Columbia University In The City Of New York | Method for de-blurring images of moving objects |
US7859588B2 (en) | 2007-03-09 | 2010-12-28 | Eastman Kodak Company | Method and apparatus for operating a dual lens camera to augment an image |
JP2009164859A (ja) * | 2008-01-04 | 2009-07-23 | Fujifilm Corp | 撮像装置及び撮像制御方法 |
JP4661922B2 (ja) | 2008-09-03 | 2011-03-30 | ソニー株式会社 | 画像処理装置、撮像装置、固体撮像素子、画像処理方法およびプログラム |
CN102104737A (zh) * | 2009-12-21 | 2011-06-22 | 展讯通信(上海)有限公司 | 高动态范围图像的成像方法及其系统 |
CN101997981B (zh) | 2010-11-01 | 2013-08-14 | 惠州Tcl移动通信有限公司 | 一种基于手机摄像头的宽容度实现方法及手机 |
CN102883099B (zh) * | 2011-07-14 | 2015-03-11 | 中国移动通信有限公司 | 一种拍摄防抖方法及装置 |
JP5412692B2 (ja) | 2011-10-04 | 2014-02-12 | 株式会社モルフォ | 画像処理装置、画像処理方法、画像処理プログラム及び記録媒体 |
JP6172967B2 (ja) | 2013-02-20 | 2017-08-02 | キヤノン株式会社 | 撮像装置、及びその制御方法 |
CN104349066B (zh) * | 2013-07-31 | 2018-03-06 | 华为终端(东莞)有限公司 | 一种生成高动态范围图像的方法、装置 |
US9516263B2 (en) * | 2013-08-02 | 2016-12-06 | Apple Inc. | Automatic configuration of the logical orientation of multiple monitors based on captured images |
US9615012B2 (en) * | 2013-09-30 | 2017-04-04 | Google Inc. | Using a second camera to adjust settings of first camera |
KR20150042574A (ko) * | 2013-10-11 | 2015-04-21 | 엘지전자 주식회사 | 이동 단말기 및 그 제어방법 |
US20150103200A1 (en) * | 2013-10-16 | 2015-04-16 | Broadcom Corporation | Heterogeneous mix of sensors and calibration thereof |
US9342871B2 (en) * | 2014-05-30 | 2016-05-17 | Apple Inc. | Scene motion correction in fused image systems |
KR102397034B1 (ko) * | 2015-11-02 | 2022-05-16 | 삼성전자주식회사 | 전자 장치 및 전자 장치의 손떨림 보정 방법 |
US10165194B1 (en) * | 2016-12-16 | 2018-12-25 | Amazon Technologies, Inc. | Multi-sensor camera system |
-
2015
- 2015-12-28 EP EP15911680.5A patent/EP3399741B1/en active Active
- 2015-12-28 WO PCT/CN2015/099168 patent/WO2017113048A1/zh active Application Filing
- 2015-12-28 JP JP2018533907A patent/JP6629454B2/ja not_active Expired - Fee Related
- 2015-12-28 CN CN201580085496.XA patent/CN108541374B/zh active Active
- 2015-12-28 KR KR1020187020715A patent/KR102103252B1/ko active IP Right Grant
- 2015-12-28 US US16/066,522 patent/US10511776B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
CN108541374B (zh) | 2020-12-15 |
KR20180095059A (ko) | 2018-08-24 |
EP3399741A1 (en) | 2018-11-07 |
US20190014249A1 (en) | 2019-01-10 |
US10511776B2 (en) | 2019-12-17 |
WO2017113048A1 (zh) | 2017-07-06 |
EP3399741B1 (en) | 2020-11-18 |
EP3399741A4 (en) | 2018-11-07 |
KR102103252B1 (ko) | 2020-04-22 |
JP2019503614A (ja) | 2019-02-07 |
CN108541374A (zh) | 2018-09-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6629454B2 (ja) | 画像フュージョン方法と装置、および端末装置 | |
CN108833785B (zh) | 多视角图像的融合方法、装置、计算机设备和存储介质 | |
US10003740B2 (en) | Increasing spatial resolution of panoramic video captured by a camera array | |
JP2013508811A5 (ja) | ||
KR101524548B1 (ko) | 영상 정합 장치 및 방법 | |
US10410368B1 (en) | Hybrid depth processing | |
JP6577703B2 (ja) | 画像処理装置及び画像処理方法、プログラム、記憶媒体 | |
US9466095B2 (en) | Image stabilizing method and apparatus | |
US9324136B2 (en) | Method, electronic apparatus, and computer readable medium for processing reflection in image | |
US10687044B2 (en) | Method and arrangement for calibration of cameras | |
EP2692140A2 (en) | Real-time depth extraction using stereo correspondence | |
JP2020149641A (ja) | 物体追跡装置および物体追跡方法 | |
CN112116068B (zh) | 一种环视图像拼接方法、设备及介质 | |
CN111699511A (zh) | 图像处理方法、装置及存储介质 | |
JP2009010691A (ja) | 撮像装置、撮像方法、画像処理装置、画像処理プログラム及び画像処理方法 | |
JP6378496B2 (ja) | 画像処理装置、制御方法及び記録媒体 | |
CN109146966B (zh) | 视觉slam前端处理方法、系统、存储介质及计算机设备 | |
JP7039215B2 (ja) | 画像処理装置、画像処理方法、およびプログラム | |
JP2016072924A (ja) | 画像処理装置及び画像処理方法 | |
JP2014039126A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP6525693B2 (ja) | 画像処理装置及び画像処理方法 | |
TW202338734A (zh) | 用於處理影像資料的方法及影像處理器單元 | |
CN117692778A (zh) | 多摄像头的曝光参数确定方法及装置 | |
Akyüz et al. | Ghosting in HDR Video | |
WO2021115557A1 (en) | Joint visual object detection and object mapping to a 3d model |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180726 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180726 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190722 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190730 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191024 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20191112 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20191204 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6629454 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |