JP6452414B2 - 画像処理装置、撮像装置、画像処理方法およびプログラム - Google Patents

画像処理装置、撮像装置、画像処理方法およびプログラム Download PDF

Info

Publication number
JP6452414B2
JP6452414B2 JP2014245237A JP2014245237A JP6452414B2 JP 6452414 B2 JP6452414 B2 JP 6452414B2 JP 2014245237 A JP2014245237 A JP 2014245237A JP 2014245237 A JP2014245237 A JP 2014245237A JP 6452414 B2 JP6452414 B2 JP 6452414B2
Authority
JP
Japan
Prior art keywords
motion vector
image
images
group
alignment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2014245237A
Other languages
English (en)
Other versions
JP2016111444A (ja
Inventor
心 高木
心 高木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2014245237A priority Critical patent/JP6452414B2/ja
Priority to US14/932,810 priority patent/US10178312B2/en
Publication of JP2016111444A publication Critical patent/JP2016111444A/ja
Application granted granted Critical
Publication of JP6452414B2 publication Critical patent/JP6452414B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Description

本発明は、連続的に撮影することで取得した複数の画像を位置合わせして合成する画像処理に関する。
従来から、画像間の動きベクトルを検出するための検出範囲を撮影条件によって切り替えたり、複数の撮影画像をグループ化したりすることによって、画像合成処理にかかる時間を低減する方法が提案されている。
例えば、特許文献１では、画像間の露光時間間隔に応じて動きベクトル検出範囲を変更することで、撮影画像のブレ補正にかかる時間を短縮する方法が開示されている。
また、特許文献２では、複数の撮影画像を位置ずれの方向毎にグループ化し、グループ毎に位置合わせすることで、ぶれが生じていない方向はノイズリダクションし、ぶれ補正が必要な方向だけ逆変換フィルタによるぶれ補正を行う方法が開示されている。
特開２００６−０５４５１８号公報 特開２００６−１８０４２９号公報
上述の特許文献１に開示された従来技術では、直前の画像との露光時間間隔に応じて動きベクトルの検出範囲を変更し処理時間を短縮する記載がある。しかしながら、位置合わせの基準画像に対して露光時間間隔が徐々に長くなっていく場合には、特に考慮されていない。
また、上記の特許文献２に開示された従来技術では、複数の画像をグループ化することで必要な方向だけにぶれ補正するが、ぶれ補正にかかる時間を短縮することについては特に考慮されていない。
そこで、本発明の目的は、動きベクトル検出にかかる時間を短縮しつつ、画像の位置合わせの精度を維持することを可能にした画像処理装置を提供することである。
本発明の一態様によれば、連続的に撮影された複数の画像を合成する画像処理装置であって、合成対象となる画像間における画像の位置ずれを示す動きベクトルを用いて画像の位置合わせを行う位置合わせ手段と、前記位置合わせ手段によって位置合わせされた画像を合成する合成手段と、を備え、前記画像合成装置は、前記複数の画像を撮影の時系列に基づいてグループに分類するグループ分類手段と、前記グループごとに基準画像を設定する設定手段と、をさらに備え、前記位置合わせ手段は、基準画像を基準としてグループ内で画像の位置合わせを行う第１の位置合わせ手段と、グループ間で基準画像の位置合わせを行う第２の位置合わせ手段とを有することを特徴とする特徴とする。
本発明によれば、動きベクトル検出にかかる時間を短縮しつつ、画像の位置合わせ精度を維持することができる。
本発明の実施形態の画像処理装置を構成するブロック図である。 本発明の実施形態の画像合成処理を説明する為のフロー図である。 本発明の実施形態の撮影画像を表した図である。 本発明の実施形態の撮影画像のグループ分類を説明する為の図である。 本発明の実施形態の撮影画像の位置合わせを説明する為の図である。 本発明の実施形態の位置合わせ手段を構成するブロック図である。 本発明の実施形態の動きベクトル算出を説明する為の図である。
以下に本発明の実施形態を添付の図面に基づいて詳細に説明する。なお本実施形態では、画像処理装置として電子カメラを用いた例で説明する。
図１は、本実施形態の電子カメラの構成を示すブロック図である。図２は、本実施形態の電子カメラが実行する画像合成処理のフローを示すフロー図である。
図１と図２を参照して画像合成処理について説明する。
まず、図１を参照して、画像処理装置としての電子カメラの構成を説明する。
撮像レンズ１０２は、撮影像を光学的に撮像素子１０４上に結像させる。撮像素子１０４は、その撮影像をアナログの電気信号に変換する。また、撮像素子１０４は複数の色フィルタを有する。Ａ／Ｄ変換器１０６は、この撮像素子１０４から出力されるアナログ信号をデジタル信号に変換する。
制御回路１０８は、Ａ／Ｄ変換機１０６、グループ分類手段１０９、グループ基準画像設定手段１１０、位置合わせ手段段１１２、合成手段１１４、画像信号処理手段１１６の間のデータの流れの制御を行う。
グループ分類手段１０９は、連続的に撮影して取得した複数の画像を幾つかのグループに分類する処理を行う。
グループ基準画像設定手段１１０は、グループ分類手段１０９で分類したグループ毎にグループ内の画像を位置合わせするための基準画像を設定する。
位置合わせ手段１１２は、撮影した複数の画像の内で合成対象となる２つの画像の位置ずれを補正し、画像間の位置を合わせる処理を行う。位置合わせ手段１１２は、後述する全体基準画像とグループごとに設定された基準画像とのグループ間で位置合わせを行う全体位置合わせ手段６０１と、グループ内で基準画像を基準として複数の位置合わせを行うグループ位置合わせ手段６０２を有している。
また、全体位置合わせ手段６０１とグループ位置合わせ手段６０２は、動きベクトルの探索範囲が異なるだけであるため、どちらか一方のみを有する構成とし、動きベクトルの探索範囲の設定を切り替えることで共有してもよい。
合成手段１１４は、位置合わせ手段１１２で位置合わせされた画像を合成する。
画像信号処理手段１１６は、撮影された画像に対して、同時化処理、ホワイトバランス処理、γ処理、ＮＲ処理等の画像信号処理を行い、画像データを現像する。
次に、図２を参照して、画像処理装置で実行される画像合成処理について説明する。
まず、画像合成装置１００を手で保持した状態で高速で複数枚（Ｎ枚）撮影する（Ｓ２００）。本実施例では、Ｎ＝１６枚として説明するが、特に１６枚に限定されるわけではない。撮影された１６枚の画像を図３に示す。
次に、撮影された複数の画像の中から位置合わせの全体基準となる画像である全体基準画像を１枚設定する（Ｓ２０２）。本実施形態では、１枚目に撮影した画像である画像３０１を全体基準画像とするが、複数枚撮影した画像の中から任意に１枚選んでもよい。
次にグループ分類手段１０９において、撮影された複数の画像を幾つかのグループに分類する（Ｓ２０４）。本実施形態では、図４に示すように、全体基準画像以外の１５枚を撮影の時系列に応じて撮影順に５枚ずつ３つのグループに分類する。１つ目のグループである画像グループ４０１は画像３０２から画像３０６の５枚の画像を含み、２つ目のグループである画像グループ４０２は画像３０７から画像３１１までの５枚の画像を含み、３つ目のグループである画像グループ４０３は画像３１２から画像３１６までの画像を含む。
グループの分類方法としては、上記のように、撮影順に所定枚数毎に１つのグループに分類する方法以外に、画像処理装置に付属する或いは画像処理装置の外部のジャイロ装置（ジャイロ情報取得手段）から撮影期間中の位置ずれ量をジャイロ情報として取得できる場合には、得られた位置ずれ量が所定範囲内の画像を１つのグループに分類してもよい。また、所定の時間間隔毎に１つのグループに分類してもよい。
次に、画像グループ毎に位置合わせ処理を行う。まず、初めに画像グループとして画像グループ４０１を選択し、グループ基準画像設定手段１１０においてグループの位置合わせ基準画像を設定する（Ｓ２０６）。本実施形態では、画像グループ内の撮影画像の中で撮影の順序が中央の画像をグループの位置合わせ基準画像として選択する。つまり、画像グループ４０１のグループの位置合わせ基準画像として画像３０４を選択する。
グループの位置合わせ基準画像の選択方法としては、グループ内の撮影時間が中央に最も近い画像をグループの位置合わせ基準画像として選択してもよい。また、外部のジャイロ装置（ジャイロ情報取得手段）から撮影期間中の位置ずれ量をジャイロ情報として取得できる場合には、得られた位置ずれ量の平均に最も近い画像をグループの位置合わせ基準画像としてもよい。
次に全体位置合わせ手段６０１において、グループの位置合わせ基準画像と全体基準画像の位置を合わせるための位置合わせ変換係数を算出する（Ｓ２０８）。画像グループ１の場合は、画像３０４と画像３０１の位置合わせ変換係数を算出する。
位置合わせ変換係数の算出方法を以下に説明する。
位置合わせ変換係数を算出するために、まず画像間の動きベクトルを算出する。動きベクトルの算出方法は種々あるが、本実施形態では、画像のテンプレートマッチングを用いる。テンプレートマッチングの方法について図７を用いて説明する。
図７に示すように、基準画像である画像７０１の所定位置をテンプレート領域７１０として設定する。次に位置合わせ対象画像である画像７０２にテンプレート領域７１０に対応する動きベクトル探索領域７２０を設定する。Ｓ２０８においては、基準画像である画像７０１は画像３０１に対応し、位置合わせ対象画像である画像７０２は画像３０４に対応する。
動きベクトル探索領域７２０は、対応するテンプレート領域７１０の位置ずれ量を考慮して、テンプレート領域７１０よりも広い領域を設定する。動きベクトル探索領域７２０の大きさは、画像７０１と画像７０２で想定される位置ずれ量に基づいて決めることが好ましい。つまり、想定される位置ずれ量が大きければ探索領域を広くし、想定される位置ずれ量が小さければ探索領域を狭くする。
テンプレート領域７１０と動きベクトル探索領域７２０の間で画像７０１と画像７０２の局所的な位置ずれ量を表す動きベクトルを検出する。テンプレートマッチングでは、テンプレート領域７１０を動きベクトル探索領域７２０で走査し、類似度が最も高い走査位置を動きベクトルとして検出する。テンプレートマッチングを用いる場合の類似度の評価としては、ＳＡＤ（差分絶対値和。Ｓｕｍ Ｏｆ Ｄｉｆｆｅｒｅｎｃｅ）を用いることができる。テンプレート領域内の画素値の差分絶対値和が最も小さくなる位置をテンプレート領域７１０における動きベクトルとする。
基準画像である画像７０１のテンプレート領域は、テンプレート領域７１０だけではなく、点線で囲まれた合計１２の領域が存在し、位置合わせ対象画像である画像７０２にも同様に合計１２の領域の動きベクトル探索領域が存在する。
テンプレート毎に算出された動きベクトルから最小二乗法で位置合わせ変換係数を算出する。算出された位置合わせ変換係数をＨ５０４とする（図５を参照）。
次にグループ位置合わせ手段６０２において、グループごとに設定された位置合わせ基準画像に対するグループ内の各画像の位置合わせ変換係数を算出する（Ｓ２１０）。この例では、まず、画像３０２を画像３０４に対して位置合わせするための位置合わせ変換係数を算出する。
算出方法は、グループの位置合わせ基準画像と全体基準画像の位置を合わせるための位置合わせ変換係数の算出方法と同様であってもよい。なお、全体基準画像に位置合わせする算出方法とは、動きベクトルの探索範囲だけ異なるため、その内容のみ詳細に説明を行う。なお、Ｓ２１０においては、図７の基準画像である画像７０１は画像３０４に対応し、位置合わせ対象画像である画像７０２は画像３０２に対応する。
グループの位置合わせ基準画像と全体基準画像の位置を合わせるための位置合わせ変換係数の算出方法で述べた通り、動きベクトル探索範囲７２０の大きさは、画像７０１と画像７０２で想定される位置ずれ量に基づいて決めることが好ましい。グループの位置合わせ基準画像である画像３０４と全体基準画像である画像３０１の間の位置ずれ量に対して、グループの位置合わせ基準画像である画像３０４とグループ内の他の画像３０１の位置ずれ量は、全体基準画像とグループの位置合わせ基準画像との撮影間隔よりも時間が短いため、相対的に小さい。従って、動きベクトル探索範囲７２０の大きさも狭く決定することができる。具体的には下記式に基づいて動きベクトル探索範囲を決める。
［グループの位置合わせ基準画像に対する動きベクトル探索範囲］＝
［全体基準画像に対する動きベクトル探索範囲］×
［グループ画像間の撮影間隔］÷［全体基準画像とグループ基準画像の撮影間隔］
（式１）
上記のように撮影間隔の比率に応じて動きベクトルの探索範囲を狭めることで位置合わせと画像合成にかかる処理時間を低減することができる。グループの位置合わせ基準画像３０４に対するグループ内の他の画像３０２の位置ずれに基づいて算出された動きベクトルから算出した位置合わせ変換係数をＨ５０２とする（図５）。
画像グループ４０１の画像３０３、３０５、３０６についても同様にして位置合わせ変換係数Ｈ５０３、５０５、５０６を算出して位置合わせする（Ｓ２１２）。
次に画像グループ４０１の全ての画像について、全体基準画像に対する位置合わせ変換係数を算出し位置合わせを行う（Ｓ２１４）。一例として、画像３０２を全体基準画像である画像３０１に位置合わせする方法を説明する。位置合わせ変換係数Ｈ５０２と位置合わせ変換係数Ｈ５０４を掛けあわせた位置合わせ変換係数を用いて画像３０２を画像３０１に位置合わせする。画像３０３、３０５、３０６に関しても同様に全体基準画像である画像３０１に対する位置合わせ変換係数を算出し、位置合わせを行う。画像３０４はＳ２０６で算出した位置合わせ変換係数Ｈ５０４を用いて、画像３０１に位置合わせを行う。
各グループに設定された基準画像（画像３０４、３０９、３１４）については、全体基準画像３０１に対する位置合わせのための位置合わせ変換係数のみを用いて位置合わせすることが可能である。
次に全てのグループで処理が完了しているか判定する（Ｓ２１６）。画像グループ１の処理が完了した状態では、画像グループ２、画像グループ３の処理が完了していないので（Ｓ２１６でＮｏ）、画像グループ２、画像グループ３についても画像グループ１の処理と同様にＳ２０６〜Ｓ２１４の処理を繰り返す。
全体基準画像に全ての画像が位置合わせできたら（Ｓ２１６でＹｅｓ）、合成手段１１４で位置合わせした複数の画像の合成処理を行う（Ｓ２１８）。本実施例では、同じ撮影条件で撮影した画像を位置合わせして加重加算合成することで、１枚の画像よりＳ／Ｎのよい画像を生成することができる。
上記のように複数の位置合わせ変換係数を算出することで位置合わせの全体基準画像に対して、位置合わせ処理にかかる時間を低減しつつ精度の高い位置合わせ処理を行うことができる。
なお、本発明の実施形態におけるフローチャート図に示した各処理は、各処理の機能を実現するためのコンピュータプログラムを画像処理装置がメモリから読み出して装置内のＣＰＵを実行することによっても実現できる。
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
１００ 画像処理装置
１０２ 撮像レンズ
１０４ 撮像素子
１０６ Ａ／Ｄ変換器
１０８ 制御手段
１０９ グループ分類手段
１１０ グループ基準画像設定手段
１１２ 位置合わせ手段
１１４ 合成手段
１１６ 画像信号処理手段

Claims (9)

  1. 連続的に撮影された複数の画像を合成する画像処理装置であって、
    前記複数の画像をグループに分類するグループ分類手段と、
    前記複数の画像から全体基準画像を設定し、前記グループごとに基準画像を設定する設定手段と、
    前記グループ内で前記基準画像を基準として前記画像の間における位置ずれを示す第１の動きベクトルを検出し、該第１の動きベクトルを用いて該グループ内で前記画像の位置合わせを行う第１の位置合わせ手段と、
    前記グループの間で、前記基準画像と前記全体基準画像とを基準として前記グループの間で前記画像の間における位置ずれを示す第２の動きベクトルを検出し、該第２の動きベクトルを用いて前記基準画像の位置合わせを行う第２の位置合わせ手段と、
    前記第１の位置合わせ手段と前記第２の位置合わせ手段とによって位置合わせされた前記画像を合成する合成手段と、を備え、
    前記第１の位置合わせ手段は、前記第２の位置合わせ手段が前記第２の動きベクトルの検出に用いる動きベクトル探索範囲よりも狭い動きベクトル探索範囲を用いて、前記第１の動きベクトルを検出することを特徴とする画像処理装置。
  2. 前記第１の位置合わせ手段が用いる動きベクトル探索範囲は、前記第２の位置合わせ手段が用いる動きベクトル探索範囲を基に、グループ間での基準画像の撮影間隔とグループ内での画像間の撮影間隔の比率を用いて決定されることを特徴とする請求項１に記載の画像処理装置。
  3. 前記グループ分類手段は、
    前記複数の画像を撮影の時系列に並べて所定枚数ごとにグループに分類することを特徴とする請求項１または２に記載の画像処理装置。
  4. 前記画像処理装置の動きをジャイロ情報として出力するジャイロ情報取得手段をさらに備え、
    前記グループ分類手段は、
    前記ジャイロ情報に基づいて、前記画像処理装置の動きが所定範囲内におさまる複数の画像を１つのグループに分類することを特徴とする請求項１または２に記載の画像処理装置。
  5. 前記設定手段は、
    前記グループ分類手段で分類されたグループ毎にグループ内の画像を時系列に並べた際の順序が中央の画像を該グループの前記基準画像とすることを特徴とする請求項１または２に記載の画像処理装置。
  6. 前記画像処理装置の動きをジャイロ情報として出力するジャイロ情報取得手段をさらに備え、
    前記設定手段は、
    前記ジャイロ情報に基づいて、前記画像処理装置の動きの平均に最も近い画像を該グループの前記基準画像とすることを特徴とする請求項１または２に記載の画像処理装置。
  7. 連続的に複数の画像を撮像し、前記複数の画像を合成する撮像装置であって、
    前記複数の画像をグループに分類するグループ分類手段と、
    前記複数の画像から全体基準画像を設定し、前記グループごとに基準画像を設定する設定手段と、
    前記グループ内で前記基準画像を基準として前記画像の間における位置ずれを示す第１の動きベクトルを検出し、該第１の動きベクトルを用いて該グループ内で前記画像の位置合わせを行う第１の位置合わせ手段と、
    前記グループの間で、前記基準画像と前記全体基準画像とを基準として前記グループの間で前記画像の間における位置ずれを示す第２の動きベクトルを検出し、該第２の動きベクトルを用いて前記基準画像の位置合わせを行う第２の位置合わせ手段と、
    前記第１の位置合わせ手段と前記第２の位置合わせ手段とによって位置合わせされた前記画像を合成する合成手段と、を有し、
    前記第１の位置合わせ手段は、前記第２の位置合わせ手段が前記第２の動きベクトルの検出に用いる動きベクトル探索範囲よりも狭い動きベクトル探索範囲を用いて、前記第１の動きベクトルを検出することを特徴とする撮像装置。
  8. 連続的に撮影された複数の画像を合成する画像処理方法であって、
    前記複数の画像をグループに分類するグループ分類ステップと、
    前記複数の画像から全体基準画像を設定し、前記グループごとに基準画像を設定する設定ステップと、
    前記グループ内で前記基準画像を基準として前記画像の間における位置ずれを示す第１の動きベクトルを検出し、該第１の動きベクトルを用いて該グループ内で前記画像の位置合わせを行う第１の位置合わせステップと、
    前記グループの間で、前記基準画像と前記全体基準画像とを基準として前記グループの間で前記画像の間における位置ずれを示す第２の動きベクトルを検出し、該第２の動きベクトルを用いて前記基準画像の位置合わせを行う第２の位置合わせステップと、
    前記第１の位置合わせステップと前記第２の位置合わせステップとにおいて位置合わせされた前記画像を合成する合成ステップと、を有し、
    前記第１の位置合わせステップにおいては、前記第２の位置合わせにおいて前記第２の動きベクトルの検出に用いる動きベクトル探索範囲よりも狭い動きベクトル探索範囲を用いて、前記第１の動きベクトルを検出することを特徴とする画像処理方法。
  9. 連続的に撮影された複数の画像を合成する画像処理装置のコンピュータに動作させるコンピュータのプログラムであって、
    前記複数の画像をグループに分類するグループ分類ステップと、
    前記複数の画像から全体基準画像を設定し、前記グループごとに基準画像を設定する設定ステップと、
    前記グループ内で前記基準画像を基準として前記画像の間における位置ずれを示す第１の動きベクトルを検出し、該第１の動きベクトルを用いて該グループ内で前記画像の位置合わせを行う第１の位置合わせステップと、
    前記グループの間で、前記基準画像と前記全体基準画像とを基準として前記グループの間で前記画像の間における位置ずれを示す第２の動きベクトルを検出し、該第２の動きベクトルを用いて前記基準画像の位置合わせを行う第２の位置合わせステップと、
    前記第１の位置合わせステップと前記第２の位置合わせステップとにおいて位置合わせされた前記画像を合成する合成ステップと、を行わせ、
    前記第１の位置合わせステップにおいては、前記第２の位置合わせにおいて前記第２の動きベクトルの検出に用いる動きベクトル探索範囲よりも狭い動きベクトル探索範囲を用いて、前記第１の動きベクトルを検出することを特徴とするプログラム。
JP2014245237A 2014-12-03 2014-12-03 画像処理装置、撮像装置、画像処理方法およびプログラム Expired - Fee Related JP6452414B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2014245237A JP6452414B2 (ja) 2014-12-03 2014-12-03 画像処理装置、撮像装置、画像処理方法およびプログラム
US14/932,810 US10178312B2 (en) 2014-12-03 2015-11-04 Image processing apparatus and image processing method to position images to position images

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014245237A JP6452414B2 (ja) 2014-12-03 2014-12-03 画像処理装置、撮像装置、画像処理方法およびプログラム

Publications (2)

Publication Number Publication Date
JP2016111444A JP2016111444A (ja) 2016-06-20
JP6452414B2 true JP6452414B2 (ja) 2019-01-16

Family

ID=56094606

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014245237A Expired - Fee Related JP6452414B2 (ja) 2014-12-03 2014-12-03 画像処理装置、撮像装置、画像処理方法およびプログラム

Country Status (2)

Country Link
US (1) US10178312B2 (ja)
JP (1) JP6452414B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102031284B1 (ko) * 2013-03-14 2019-11-08 삼성전자주식회사 연속 촬영된 이미지를 합성하는 전자 장치 및 방법
CN109819181B (zh) * 2019-03-19 2021-02-19 联想(北京)有限公司 信息处理方法、装置及设备

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10262258A (ja) * 1997-03-19 1998-09-29 Sony Corp 画像符号化装置及び方法
JP4869572B2 (ja) 2004-08-09 2012-02-08 株式会社ニコン 撮像装置
JP4487191B2 (ja) 2004-12-24 2010-06-23 カシオ計算機株式会社 画像処理装置および画像処理プログラム
JP2007207345A (ja) * 2006-02-01 2007-08-16 Sony Corp ディスク式撮像装置
JP2008219124A (ja) * 2007-02-28 2008-09-18 Sanyo Electric Co Ltd 撮像装置
JP5668364B2 (ja) * 2010-08-20 2015-02-12 株式会社リコー 撮像装置、撮像方法並びにプログラム
JP2012049603A (ja) * 2010-08-24 2012-03-08 Olympus Corp 画像処理装置および画像処理プログラム
JP5708097B2 (ja) * 2011-03-18 2015-04-30 株式会社リコー 撮像装置、撮像方法、及び撮像プログラム
JP5760654B2 (ja) * 2011-04-28 2015-08-12 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム
US9628711B2 (en) * 2011-12-15 2017-04-18 Apple Inc. Motion sensor based virtual tripod method for video stabilization
JP2013168089A (ja) * 2012-02-17 2013-08-29 Sony Corp 情報処理装置および方法、並びにプログラム
JP5567235B2 (ja) * 2012-03-30 2014-08-06 富士フイルム株式会社 画像処理装置、撮影装置、プログラム及び画像処理方法
CN104508703B (zh) * 2012-06-28 2020-06-30 皇家飞利浦有限公司 用于配准图像序列的系统和方法
JP2014039222A (ja) * 2012-08-20 2014-02-27 Canon Inc 画像処理装置、その制御方法、および制御プログラム、並びに撮像装置
JP6045254B2 (ja) * 2012-08-20 2016-12-14 キヤノン株式会社 画像処理装置、その制御方法、および制御プログラム

Also Published As

Publication number Publication date
JP2016111444A (ja) 2016-06-20
US20160162754A1 (en) 2016-06-09
US10178312B2 (en) 2019-01-08

Similar Documents

Publication Publication Date Title
JP4719553B2 (ja) 撮像装置、撮像方法、コンピュータプログラム、及びコンピュータ読み取り可能な記憶媒体
US10419675B2 (en) Image pickup apparatus for detecting a moving amount of one of a main subject and a background, and related method and storage medium
JP4876065B2 (ja) 動きベクトル検出装置及び動きベクトル検出方法及び撮像装置及びプログラム
JP2010041417A (ja) 画像処理装置、画像処理方法、画像処理プログラム、及び、撮像装置
JP2016061609A (ja) 距離計測装置、撮像装置、および距離計測方法
US9413952B2 (en) Image processing apparatus, distance measuring apparatus, imaging apparatus, and image processing method
JP2016201745A (ja) 画像処理装置、撮像装置、画像処理装置の制御方法、及びプログラム
CN105208263B (zh) 图像处理装置及其控制方法
US10116865B2 (en) Image processing apparatus and image processing method for calculating motion vector between images with different in-focus positions
JP6452414B2 (ja) 画像処理装置、撮像装置、画像処理方法およびプログラム
JP4953770B2 (ja) 撮像装置
JPWO2007063675A1 (ja) 画像処理方法、画像処理プログラム、画像処理装置、及び撮像装置
JP6557499B2 (ja) 焦点検出装置およびその制御方法、撮像装置、プログラム、ならびに記憶媒体
JP6642998B2 (ja) 像ズレ量算出装置、撮像装置、および像ズレ量算出方法
JP2008298589A (ja) 位置検出装置及び位置検出方法
JP2014109832A (ja) 画像処理装置、撮像装置、撮像システム、画像処理方法、画像処理プログラム、および、記憶媒体
US10264180B2 (en) Image correction apparatus and method for controlling image correction apparatus
JP6604783B2 (ja) 画像処理装置、撮像装置および画像処理プログラム
JP2010177832A (ja) 画像処理装置及び画像処理方法
JP6016546B2 (ja) 撮像装置、その制御方法、および制御プログラム
JP6245847B2 (ja) 画像処理装置および画像処理方法
US10200674B2 (en) Image processing apparatus, image capturing apparatus, and recording medium
JP2010041416A (ja) 画像処理装置、画像処理方法、画像処理プログラム、及び、撮像装置
JP2017228821A (ja) 画像処理装置および画像処理方法
JP2016076838A (ja) 画像処理装置及び画像処理装置の制御方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20171114

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180809

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180828

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181025

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181113

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181211

R151 Written notification of patent or utility model registration

Ref document number: 6452414

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees