JP6336341B2 - 撮像装置及びその制御方法、プログラム、記憶媒体 - Google Patents

撮像装置及びその制御方法、プログラム、記憶媒体 Download PDF

Info

Publication number
JP6336341B2
JP6336341B2 JP2014129707A JP2014129707A JP6336341B2 JP 6336341 B2 JP6336341 B2 JP 6336341B2 JP 2014129707 A JP2014129707 A JP 2014129707A JP 2014129707 A JP2014129707 A JP 2014129707A JP 6336341 B2 JP6336341 B2 JP 6336341B2
Authority
JP
Japan
Prior art keywords
image
motion vector
metadata
vector detection
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014129707A
Other languages
English (en)
Other versions
JP2016010014A (ja
Inventor
賢一 宮迫
賢一 宮迫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2014129707A priority Critical patent/JP6336341B2/ja
Priority to GB1510251.0A priority patent/GB2529296B/en
Priority to GB1715875.9A priority patent/GB2553447B/en
Priority to KR1020150087126A priority patent/KR20160000423A/ko
Priority to US14/745,773 priority patent/US10430660B2/en
Priority to DE102015110026.6A priority patent/DE102015110026B4/de
Priority to CN201510349846.0A priority patent/CN105208263B/zh
Publication of JP2016010014A publication Critical patent/JP2016010014A/ja
Priority to KR1020170129637A priority patent/KR101830077B1/ko
Application granted granted Critical
Publication of JP6336341B2 publication Critical patent/JP6336341B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/91Television signal processing therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/73Deblurring; Sharpening
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/46Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/144Movement detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/207Analysis of motion for motion estimation over a hierarchy of resolutions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/53Multi-resolution motion estimation; Hierarchical motion estimation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681Motion detection
    • H04N23/6811Motion detection based on the image signal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265Mixing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/91Television signal processing therefor
    • H04N5/93Regeneration of the television signal or of selected parts thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details
    • G06T2207/20201Motion blur correction

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)
  • Television Signal Processing For Recording (AREA)
  • Image Analysis (AREA)

Description

本発明は、撮像装置における画像振れを機械的、あるいは電子的に補正する技術に関するものである。
近年、動画撮影が可能な撮像装置の多画素化が急速に進んでいる。FullHDサイズの動画を撮影する撮像装置は既に広く普及し、4K動画撮影が可能な撮像装置も徐々に市場に出始めている。更に、将来予定されている8Kスーパーハイビジョンの放送に向けて、技術開発も進んでいる。
このような動画像の高精細化によって、撮像装置の振れを補正する技術に対しても、より微細な映像のブレを補正するための高精度な技術が求められるようになってきている。撮像画像の振れを補正する像振れ補正機能については、従来から種々の提案が行われている。例えば特許文献1では、撮像装置にて検出された映像の動きベクトル情報を、映像信号と共に記録し、再生時に像振れ補正処理を行う技術が開示されている。
特開2009−152802号公報
しかしながら、映像信号の画像サイズが大きくなると、上記従来例において映像の振れを検出するために用いている動きベクトル検出回路において、以下のような問題が生じる。
動きベクトルは、画像にエッジ等の特徴的な形状がある場合に、現在のフレーム画像と過去のフレーム画像で、その特徴的な形状同士の画像上での位置変化を演算することにより検出する。そのため、動きベクトルを検出するための画像上での検出エリアは、上記画像の特徴的な形状を含むことができる程度の大きさが必要となる。上記検出エリアが小さいと、動きベクトル検出精度の劣化を招く。画像サイズが大きい動画の場合、画像サイズが小さい動画と比較して、同じ大きさの被写体を含む画像エリア内の画素数が大きくなる。例えば、FullHD(1920×1080画素)サイズの動画と比較すると、4K(3840×2160画素)動画では4倍、8K(7680×4320画素)動画では16倍の画素数となり、回路規模の増大とそれに付随して生じる消費電力の増加が避けられない。
本発明は上述した課題に鑑みてなされたものであり、その目的は、回路規模の増大を抑制しつつ、動きベクトル検出精度の向上を図ることである。
本発明に係わる撮像装置は、被写体像を撮像して画像信号を出力する撮像手段と、前記撮像手段から出力される画像信号を用いて動きベクトルの検出を行う動きベクトル検出手段と、前記動きベクトルの検出結果に関する情報をメタデータとして生成する生成手段と、前記画像信号と前記メタデータとを関連付けて記録媒体に記録する記録手段と、撮影中は、前記動きベクトル検出手段に、前記撮像手段から出力される画像信号に対して縮小処理または間引き処理を行った画像信号を用いて動きベクトルの検出を行わせるとともに、前記生成手段に前記メタデータを生成させ、記録画像の再生中は、前記動きベクトル検出手段に、動きベクトルの検出を行う画像領域を前記メタデータに基づいて決定させるとともに、前記記録媒体から出力される画像信号に対して、縮小処理または間引き処理を行わない画像信号、あるいは撮影中よりも縮小率が小さい縮小処理または間引き率が小さい間引き処理を行った画像信号を用いて動きベクトルの検出を行わせる制御手段と、を備えることを特徴とする。
本発明によれば、回路規模の増大を抑制しつつ、動きベクトル検出精度の向上を実現することが可能となる。
本発明の撮像装置の第1の実施形態であるビデオカメラの構成を示すブロック図。 動きベクトル検出部112の動作を説明するための図。 撮像画像サイズの差異による動きベクトル検出ブロックの大きさの差異を説明するための図。 動画撮影時の動きベクトル検出部112の動きベクトル検出結果を説明するための図。 記録動画再生時の動きベクトル検出部112におけるテンプレート画像とサーチ画像の配置の例を示した図。 動きベクトル検出の信頼性について説明するための図。 記録動画再生時の動きベクトル検出部112におけるテンプレート画像とサーチ画像の配置の他の例を示した図。 画面上に移動被写体が存在するときの、動きベクトル検出部112における動きベクトル検出結果を説明するための図。
以下、本発明の実施形態について、添付図面を参照して詳細に説明する。
(第1の実施形態)
図1(a)、図1(b)は、本発明の撮像装置の第1の実施形態であるビデオカメラの構成を示すブロック図である。図1(a)は、動画撮影時に使用する撮像装置の各ブロックを示しており、図1(b)は、動画再生時に使用する撮像装置の各ブロックを示している。なお、図1に示される各ブロックは、撮像装置に設けられた不図示の制御部により制御される。
まず、図1(a)を用いて、撮像装置100の動画撮影時における各構成部とその動作について具体的に説明する。撮像装置に入力される被写体像は、ズーミング、フォーカシング等の動作を行う撮影光学系101及び補正光学系102を介して、撮像素子103に結像される。補正光学系102は、例えばシフトレンズであり、光軸と垂直な方向に移動されることにより光軸の向きを偏向する、光学的に振れ補正可能な補正系である。補正光学系102によって、装置の振れ等により生じる撮像面上の被写体像の移動が補正され、撮像素子103に結像される。
撮像素子103は、撮影光学系101によって結像された被写体像を撮像画像信号としての電気信号に変換し、信号処理部104に供給する。信号処理部104は、撮像素子103から入力された画像を2系統に分配する。
信号処理部104は、メタデータ生成部108に対しては、撮像素子103から出力されるベイヤ配列のRAW画像をそのまま出力する。メタデータ生成部108では、動きベクトル検出部112からの情報に基づいて所定のメタデータを生成し、RAW画像と共に記録媒体109に記録する。メタデータ生成部108の動作の詳細については後述する。
また、信号処理部104は、撮像素子103から出力されるベイヤ配列のRAW画像に対して、間引き処理あるいは加算処理(縮小処理)などを行って、撮像素子103から出力される画像よりも小さな画像サイズにした後に現像部105と輝度生成部110に供給する。
輝度生成部110では、信号処理部104より供給された画像信号から輝度信号を生成し、画像メモリ111及び動きベクトル検出部112に供給する。動きベクトル検出部112は、輝度生成部110で生成された現在のフレームの画像の輝度信号と、画像メモリ111に一時保存された1フレーム前の画像の輝度信号に基づいて画像の動きベクトルを検出する。動きベクトル検出部112によって検出された動きベクトル出力は、画像処理補正量演算部113及び光学補正量演算部115に供給される。
光学補正量演算部115には、動きベクトル検出部112からの出力と角速度センサ114からの出力が供給される。角速度センサ114は、撮像装置100に加わる振れを角速度信号として検出し、その角速度信号を光学補正量演算部115に供給する。光学補正量演算部115においては、角速度センサ114及び動きベクトル検出部112の出力に基づいて、撮像素子103の撮像面上で生じる画像の振れを補正するために必要な、補正光学系102の駆動量を算出し、モータ駆動部116に指示を送る。モータ117は、補正光学系102の駆動用のボイス・コイル型モータであり、モータ駆動部116で駆動されることにより、補正光学系102が光軸と垂直な方向に移動される。これによって画像振れ補正が行われる。
現像部105は、表示デバイス107に現在撮像されている画像を表示するため、信号処理部104から供給されるベイヤ配列の画像データを、YUV形式等の表示デバイスに適したデータ形式に変換して、画像処理部106に供給する。画像処理部106は、画像処理補正量演算部113の指示に基づいて、現像部105から出力される画像に対して電子式の像振れ補正処理等の所定の画像処理を行い、表示デバイス107に画像を出力する。画像処理補正量演算部113は、動きベクトル検出部112の出力から画像処理部106に供給する出力を決定する。画像処理部106及び画像処理補正量演算部113の処理については後述する。
次に、図1(b)を用いて、撮像装置100の記録動画再生部分における各構成とその動作について具体的に説明する。なお、図1(b)において、図1(a)と同じブロックには同じ符号を付し、詳細な説明は省略する。
撮像装置100に対して、ユーザーから操作部材(不図示)によって、記録動画の再生が指示されると、記録媒体109から動画撮影時に記録されたデータが読み出される。読み出されたデータのうち、RAW画像データは現像部120及び輝度生成部110に供給され、メタデータ生成部108によって生成されたメタデータは、メタデータ解析部123に供給される。
動きベクトル検出部112は、メタデータ解析部123によって供給される、動画撮影時の情報に基づいて、動画撮影時よりも高精度な動きベクトル検出を行う。画像処理補正量演算部122は、動きベクトル検出部112の出力から画像処理部121に供給する出力を決定する。この動画再生時の動作の詳細については後述する。
現像部120は、外部モニタ200や外部記録媒体201に現在再生されている画像を出力するため、記録媒体109から供給されるベイヤ配列の画像データを、YUV形式等の表示デバイスに適したデータ形式に変換して、画像処理部121に供給する。画像処理部121は、画像処理補正量演算部122の指示に基づいて、現像部120から出力される画像に対して所定の画像処理を行い、外部モニタ200及び外部記録媒体201に出力するための映像データを出力する。外部モニタ200や外部記録媒体201とは、例えば撮像装置100の外部端子を介してケーブルで接続され、画像処理部121からは、SDI(Serial Digital Interface)規格等に準拠した形式の映像信号が出力される。
次に、本実施形態の特徴となるブロックについて、詳細に説明する。動きベクトル検出部112は、輝度生成部110によって生成された現在の画像の輝度データと、画像メモリ111に一時的に保持された過去の画像の輝度データを比較して、画像の動き量を算出する。算出方法としては、画像のエッジ等の特徴点をサーチして、特徴点周辺の画像同士を比較する特徴点抽出法や、画像を複数ブロックに分割し、各ブロック毎(検出領域毎)に画像の動き量を演算するブロックマッチング法等、いずれの方法を用いてもよい。本実施形態においては、ブロックマッチング法を用いて説明を行う。
図2(a)は、上記複数ブロックへの分割例を示した図である。図2(a)は、点線で示すように、動きベクトル検出に用いる画像を横8×縦5個のブロックに分割した例を示している。図2(b)は、図2(a)の次(未来)の画像を示しており、図2(b)の被写体の位置は、図2(a)の被写体の位置よりも、撮像装置に加えられた振れの影響で、上方向に動いた画像となっている。
図2(c)及び図2(d)は、図2(a)に示したブロックAにおける画像の動き量の算出方法を説明するための図である。ブロックAにおける画像の動き量を算出するには、まずブロックAに対応する図2(b)の画像のブロックA’内部の、ブロックA’よりも小さく中心位置は一致している画像を、テンプレート画像Bとして設定する。なお、ブロックA、テンプレート画像Bは正方形の画像データとし、図2(c)及び図2(d)に示すように、一辺の長さをそれぞれN、M(N>M)とする。また、説明を分かりやすくするため、ブロックAの画像の左上隅を原点(0,0)として、横方向をX軸、縦方向をY軸として、画像の座標を定義する。
画像の動き量の算出は、以下の手順で行う。まず、図2(c)の原点(0,0)と図2(d)の点Pの位置を一致させて画像を重ね、全画素での輝度値の差分の総和(差分絶対値和=SAD)を算出する。次に、テンプレート画像Bの位置を、ブロックAの画像の中でX方向、Y方向に1画素ずつ動かしながら、図2(d)の点P’と図2(c)の座標(N,N)とが一致するまで、各位置でSADを演算していく。SADは、画像の一致率が高いほど小さな値となるため、SADが最小値となる位置を求めれば、画像の動き量を算出することができる。図2(e)はSADが最小値となるときのブロックAとテンプレート画像Bとの位置関係を示し、図2(e)におけるブロックAの中心座標(N/2,N/2)とテンプレート画像Bの中心座標Oの位置の差分が、ブロックAにおける画像の動き量となる(図2(e)の矢印)。なお、テンプレート画像をブロックAの画像の範囲で移動させて、SADが最小になる位置をサーチすることから、ブロックAの画像をサーチ画像と呼ぶ。
動きベクトル検出部112の回路規模は、上記サーチ画像及びテンプレート画像の画素数が大きいほど大きくなる。そのため、各ブロックの画素数はできるだけ小さい方が回路規模の観点からは望ましい。一方、動きベクトルの検出を精度良く行うためには、各ブロックの中に、被写体のエッジ等の特徴的な絵柄が含まれている必要がある。そのため、各ブロックの画像全体の中で占める割合は、ある程度の大きさがある方が望ましい。
動きベクトルを検出するための画像の画素数が大きくなった場合、動きベクトル検出を行うための各ブロックの画素数を同じにすると、画像全体の中で各ブロックが占める割合は小さくなってしまう。例えば、FullHDサイズの画像と8Kサイズの画像において、動きベクトル検出ブロックの画素数を同じにすると、画像全体の中で各ブロックが占める割合は1/16となる。図3(a)の画像をFullHDサイズ、図3(b)の画像を8Kサイズとして図示すると、画素数を同じとした場合の8K画像における各ブロックの大きさは、図3(b)の小さい正方形で示した大きさとなる。図3(b)から明らかなように、動きベクトル検出に用いる各ブロックの画像全体の中で占める割合が小さくなると、各ブロックの中に被写体のエッジ等の特徴的な絵柄が含まれる確率が小さくなり、動きベクトル検出の精度劣化を免れない。逆に、動きベクトル検出の検出精度劣化を防ぐために、各動きベクトル検出ブロックに含まれる画素数を増やすと、動きベクトル検出を行うための回路規模が増大し、消費電力の増加や演算時間の増加など様々な問題が生じる。
本実施形態においては、上述したように、信号処理部104において、撮像素子103から出力される画像を、間引きあるいは加算などを行って、撮像素子103から出力される画像よりも小さな画像サイズにした後に現像部105と輝度生成部110に供給する構成とした。例えば、撮像素子103から出力される画像が8Kデータである場合、FullHDサイズ等に縮小する。
表示デバイス107は、撮像装置100に搭載されるLCD等の小型の表示デバイスを想定しており、撮像素子103から出力される全画素を用いた映像を供給する必要はなく、縮小画像でも十分な画質を確保することができる。また、輝度生成部110を介して動きベクトル検出部112に供給される画像についても、画素数を小さくすることで、回路規模の増大を招くことなく、図3(a)に示すような広範囲での動きベクトル検出が可能となる。
画像処理部106では、現像部120から供給された映像信号に対して、動きベクトルを使って実現することのできる画像処理を実行した後に、表示デバイス107に映像信号を供給する。例えば、補正光学系102で補正しきれなかった画像振れは、動きベクトル検出部112で検出することができる。このとき、画像処理補正量演算部113では、動きベクトル検出部112で演算された、各動きベクトル検出ブロックにおける動きベクトルに基づいて、画像の動き補正量を演算する。そして、それに従って画像処理部106において、画像の表示範囲を変更する画像処理を行う。また例えば、画像処理部106において、HDR(High dynamic range)合成等の画像合成を行う場合も、画像処理補正量演算部113では、動きベクトル検出部112で演算された動きベクトルに基づいて、画像合成時の画像ずらし量を演算する。そして、画像処理部106でその結果を用いてHDR合成等の画像合成処理を実行する。
表示デバイス107に表示される縮小画像に適用する画像処理においては、縮小画像を用いた動きベクトルの検出精度で十分である。しかし、記録媒体109に記録される原画像に適用する画像処理においては、縮小画像を用いた動きベクトル検出では検出精度が不十分である。そこで、本実施形態においては以下に示すような処理を行うことによって、検出精度を確保する。なお以下の説明においては、説明の簡略化のため、動画撮影時に輝度生成部110に供給される画像サイズは、FullHDであり、記録媒体109に記録される画像サイズは8Kであるものとする。
図4(a)は、信号処理部104から輝度生成部110に供給される縮小画像を用いて、各動きベクトル検出ブロックにて、動きベクトル演算を行った結果を矢印で示した図である。図4(a)において、画像の左上隅の座標を原点(0,0)として、横方向をX軸、縦方向をY軸として、画像の座標を定義する。図4(b)は、図4(a)に示したブロックCを拡大した図であり、ブロックCの中心座標を(a,b)とする。また、座標(a,b)を中心として設定したテンプレート画像を、サーチ画像上で移動したときのSADが最小になる座標を(c,d)とする。
メタデータ生成部108では、各ブロックの中心座標とSADが最小になる座標を、信号処理部104からメタデータ生成部108に供給される画像サイズの座標に変換して、メタデータとして画像と関連付けて記録媒体109に記録する。輝度生成部110に供給される画像がFullHDサイズ、メタデータ生成部108に供給される画像が8Kサイズの場合は、上記各ブロックの中心座標とSADが最小になる座標を4倍することで、座標の変換を行うことができる。
記録画像再生時は、メタデータ生成部108で生成されたメタデータを利用して、より高精度な動きベクトル検出を行う。図1(b)において、上記メタデータは、記録媒体109からメタデータ解析部123によって読み込まれる。メタデータ解析部123は、上記動きベクトル検出を行うための各ブロックの中心座標と、SADが最小になる座標を動きベクトル検出部112に供給する。
動きベクトル検出部112では、メタデータ解析部123からの情報を用いて、画像メモリ111及び輝度生成部110から供給される画像に設定する、サーチ画像範囲とテンプレート画像範囲を決定する。図5は、記録媒体109に記録された縮小なしの画像の中の、図4(a)のブロックCに対応した位置の画像を示している。図5の画像の画素数は、図4(b)の画素数の16倍であり、図4(b)でSADが最小になる座標(c,d)と対応する座標は(C,D)=(4c,4d)、中心座標は(A,B)=(4a,4b)となる。これらの座標情報は、メタデータ解析部123から供給される。テンプレート画像は、図5の座標(A,B)を中心として、動画撮影中に設定されるテンプレート画像と同じ画像サイズの範囲に設定する。一方サーチ画像は、図5の座標(C,D)を中心として、動画撮影中に設定されるサーチ画像、すなわち図4(b)の画像と同じか、あるいはより小さい画素数の範囲に設定する。このとき、テンプレート画像の画面全体で占める割合は小さくなるため、テンプレート画像内に特徴的な絵柄が含まれなくなるリスクはある。しかし、サーチする範囲を、動画記録時に検出された動きベクトルが示す範囲を超えない範囲に限定すれば(例えば、8Kの画像をFullHDに縮小していた場合は±4画素)、動きベクトル検出の誤検出を防ぐことができる。
これによって、動画撮影中に縮小画像で検出したSADが最小となるエリア近辺を、縮小なしの画像でさらに高精度にサーチすることが可能となる。また、記録動画再生時のベクトル検出において、サーチ画像とテンプレート画像の画素数を動画撮影時よりも大きくしないため、回路規模が大幅に増加することを防ぐことができる。
記録動画再生時の画像処理補正量演算部122の演算は、動画撮影時の画像処理補正量演算部113とほぼ同様の演算を行う。ただし画像処理部106と画像処理部121では、処理する画像サイズが異なるため、動きベクトル検出部112から画像処理補正量演算部122へ供給される動きベクトル検出結果も、画像処理補正量演算部122から画像処理部121へ供給されるデータも画像サイズに合わせた分解能の出力とする。
画像処理部121では、現像部120からの映像信号に対して、画像処理部106と同様の画像処理を実行した後に、外部モニタ200及び外部記録媒体201に出力するための映像データを出力する。上記のように、画像処理補正量演算部122からのデータの分解能を画像処理補正量演算部113よりも高くしたため、画像処理部121は画像サイズの大きさに適した高精度な画像処理を行うことができる。一方、画像処理補正量演算部113と画像処理補正量演算部122との出力の差異は、画像サイズに合わせた分解能の違いだけである。そのため、動画撮影中に表示デバイス107に表示される画像と、記録動画再生中に外部モニタ200等に表示される画像も、画素数の違いだけとなる。
以上説明してきたように、本実施形態においては、動画撮影時は動きベクトル検出や表示デバイス出力用に用いる画像サイズを小さくすることにより、回路規模の増加を抑えて必要十分な精度での動きベクトル検出のみを行うようにした。一方、記録動画再生時は、動画撮影中の動きベクトル検出に関するメタデータを利用して、回路規模の増加を招くことなく、再生動画サイズに適した高精度な動きベクトル検出ができるようにした。これによって、動画撮影時・記録動画再生時それぞれに最適な、ブレ補正や画像合成等の画像処理を行うことができる。
なお、図1(a)のブロック図では、補正光学系102によって、光学的にブレ補正を行った後のブレ残りを、動きベクトル検出部で検出する構成としたが、補正光学系102がない構成であっても構わない。また動きベクトルの検出方法やメタデータの生成方法はあくまでも一例にすぎず、メタデータについては、動きベクトル検出を行うための画像エリアの情報と、動きベクトル検出結果に関する情報が付与されていれば、如何なるデータ形式であっても構わない。
また、本実施形態においては、記録動画再生時の動きベクトル検出部112による動きベクトル検出処理について、記録媒体109に記録された画像を縮小せずにそのまま用いることとしたが、これに限定されるものではない。動画撮影中よりも縮小率が小さい範囲で縮小あるいは間引き処理等を行う構成にしてもよい。例えば、動画撮影中は8K画像をFullHDサイズに縮小した画像を用いて動きベクトル検出を行い、記録動画再生中は8K画像を4Kサイズに縮小した画像を用いて動きベクトル検出を行うようにしてもよい。
(第2の実施形態)
ここまでに説明してきた内容は、本発明における基本的な実施形態である。この基本的な実施形態に対してメタデータに更に情報を付与することにより、処理の効率化やベクトル検出精度の向上を実現することができるため、以下説明する。
動きベクトル検出部112による動きベクトルの検出においては、動きベクトル検出ブロック内の絵柄によって、動きベクトル検出結果の精度が低い、あるいは動きベクトル検出結果が正しくない、などの信頼性が存在する。以下、その動きベクトルの信頼性について説明する。
図6(a)乃至図6(c)は、図2(a)乃至図2(e)で説明した、縮小した画像を用いた動きベクトル検出について、X方向のSADの変化の例を示した図である。なお、本来SADはXYの二次元マップになるが、説明を分かりやすくするためにX軸方向のみのSADで説明を行う。図6(a)乃至図6(c)のグラフは、テンプレート画像の中心位置のX座標が、サーチ画像の中心位置のX座標と一致しているときの移動量を0として、横軸をテンプレート画像の移動画素、縦軸をSADの演算結果としたグラフである。テンプレート画像の最大移動量は、サーチ画像の大きさとテンプレート画像の大きさで決まり、図2(c)と図2(d)に示した画像においては、±(N−M)/2となる。
テンプレート画像の移動に応じたSADの変化の仕方は、撮影した画像に応じて変わる。例えば、コントラストのはっきりした被写体が撮像されているブロックにおいては、サーチ画像とテンプレート画像の絵柄が一致したときの輝度値の差分が0に近くなる。そのため、図6(a)に示すように、SADの最大値と最小値の差がはっきりと現れ、画像の動き量の演算結果の精度は高くなる。
しかし、例えばタイル状の模様等、同じ絵柄が繰り返される被写体が撮像されているブロックにおいては、サーチ画像とテンプレート画像の絵柄が一致する箇所が複数存在することとなる。そのため、図6(b)に示すように、SADが最小値近傍となる箇所が複数現れ、画像の動き量の演算結果の精度は低くなる。SADのピークが複数個所現れたことを判断するには、例えばSADの最小値(SAD_MIN)から、所定の閾値(SAD_TH)以内のSADの極小値(ピーク)が、2か所以上存在するかどうかの判定を行う。
また、例えば空などのコントラストが低い被写体が撮像されているブロックにおいては、サーチ画像とテンプレート画像の一致度合いが低い。そのため、図6(c)に示すように、SADの最大値と最小値の差異が小さくなり、画像の動き量の演算結果の精度は低くなる。信頼性の判断としては、SADの最大値(SAD_MAX)とSADの最小値(SAD_MIN)の差分の大きさで定量的に判断することができる。
本実施形態においては、メタデータ生成部108では、既に説明した各ブロックの中心座標とSADが最小になる座標に加えて、上記信頼性の判定結果をメタデータとして画像と関連付けて記録媒体109に記録する。記録画像再生時は、上述したように、上記メタデータを利用してより高精度な動きベクトル検出を行うが、本実施形態においては上記信頼性の判定結果を示すメタデータを用いて、以下に説明するような処理を行う。
第1の例としては、上記信頼性の判定結果として、信頼性が低いと判定された動きベクトル検出ブロックでは、縮小なしの画像を用いた記録画像再生時の動きベクトル検出は行わず、信頼性が高いと判断されたブロックの動きベクトル検出のみを行う。例えば、上記SADのピークが複数個所現れたというメタデータが記録されている場合や、SADの最大値と最小値の差分が所定値以下の場合には、信頼性が低いと判断する。または、記録画像再生時の動きベクトル検出の個数を予め指定し、上記SADの最大値と最小値の差分が大きいブロックから順に、即ち、動きベクトル検出の信頼性が高い方から順に動きベクトル検出を行うようにしてもよい。これによって、信頼性の高い動きベクトル検出ブロックを中心に動きベクトル検出を行うため、高精度な動きベクトル検出を行うことができるとともに、無駄な消費電力を削減することができる。
第2の例は、図7(a)、図7(b)を用いて説明する。図7(a)、図7(b)は、図5を用いて説明した、記録画像再生時の動きベクトル検出時のサーチ画像とテンプレート画像の配置の別の例を示した図である。本例においては、まず記録画像再生時の動きベクトル検出ブロックの個数を、動画撮影中に設定される動きベクトル検出ブロックの個数の8分の1に設定する。そして、第1の例で説明したのと同様に、動きベクトル検出の信頼性が高い方から優先的に動きベクトル検出を行うブロックを割り当て、それらのブロックに対してテンプレート画像とサーチ画像を設定する。
図7(a)は、テンプレート画像の設定例を示しており、図7(b)は、サーチ画像の設定例を示している。図5においては、座標(A,B)を中心座標としたテンプレート画像の設定を行っていた。それに対し図7(a)においては、動画撮影中に設定されていたテンプレート画像領域内の8か所(b1〜b8)に、できるだけ広い範囲でテンプレート画像が配置されるようにした。また図7(b)においてサーチ画像は、上記b1〜b8の位置から、動画撮影中に検出された動きベクトル検出結果分だけシフトした位置に配置するようにした(B1〜B8)。
このように本例においては、元々動きベクトル検出の信頼性が高い動きベクトル検出ブロックに対して、動画撮影中に設定されていたテンプレート画像領域内の範囲でテンプレート画像を複数配置するようにした。これによって、いずれかのテンプレート画像内に被写体のエッジ等の特徴的な絵柄が含まれる確率が高くなり、動きベクトル検出の高精度化を実現することができる。また、動きベクトル検出を行うブロックの数を減らした分、動きベクトル検出の信頼性が高いブロックの内部の複数個所で動きベクトル検出を行うようにしたため、動きベクトル検出を行うための処理負荷が大きくなることによる消費電力の増加も防ぐことができる。
(第3の実施形態)
動きベクトル検出部112による動きベクトルの検出においては、上述した動きベクトル検出自体の信頼性の他に、画面内に移動被写体が存在するかどうかにも注意する必要がある。図8(a)、図8(b)は、画面内に移動被写体が存在する場合の動きベクトル検出結果について説明するための図である。
図8(a)は、画面中央に移動中の被写体が存在している場合の画像を示している。図8(b)は、各動きベクトル検出ブロックにおける動きベクトル検出の結果を、矢印の方向と大きさで示している。太線枠内の動きベクトルは、移動被写体の動きベクトルを示し、太線枠外の動きベクトルは、それ以外の背景領域の動きベクトルを示している。図8(b)から分かるように、画面内に移動被写体が1つ以上存在する場合は、動きベクトルの大きさが異なる領域が2種類以上存在することとなる。画像処理補正量演算部113では、上記大きさが異なる複数の動きベクトルについて、どの領域の動きベクトルを採用するかを決定する。この決定方法については、既に種々の提案がなされており、公知の方法を用いればよい。例えば、手振れなどによる画像振れの補正を行う場合には、背景領域の動きベクトルの大きさを採用する。
本実施形態においては、メタデータ生成部108では、既に説明した各ブロックの中心座標とSADが最小になる座標に加えて、動きベクトルの大きさの分類種別情報をメタデータとして画像と関連付けて記録媒体109に記録する。
記録画像再生時は上記分類種別情報を示すメタデータを用いて、画像処理補正量演算部122の処理を決定する。記録動画再生時の画像処理補正量演算部122の演算は、動画撮影時の画像処理補正量演算部113と、分解能の差異以外は同様の演算を行う必要がある。そのため本実施形態においては、メタデータとして記録された上記動きベクトルの大きさの分類種別情報を用いることにより、どの領域の動きベクトル検出結果を採用するべきかを決める。これによって、画像処理補正量演算部113と画像処理補正量演算部122で、相反する処理を行うことを防止することができる。なお、画像処理補正量演算部113と画像処理補正量演算部122で、複数の領域の動きベクトル検出結果のうち、1つの領域のデータしか用いない場合は、記録画像再生時に詳細な動きベクトル検出を行う領域を、動きベクトルの大きさの分類種別情報に従って、画像処理補正量演算部122で使う領域のみにするようにすればよい。これによって、無駄な消費電力を削減することができる。
以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。また、上述の実施形態の一部を適宜組み合わせてもよい。
(その他の実施形態)
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。
100:撮像装置、101:撮影光学系、103:撮像素子、104:信号処理部、106,121:画像処理部、108:メタデータ生成部、109:記録媒体、112:動きベクトル検出部、113,122:画像処理補正量演算部、123:メタデータ解析部

Claims (11)

  1. 被写体像を撮像して画像信号を出力する撮像手段と、
    前記撮像手段から出力される画像信号を用いて動きベクトルの検出を行う動きベクトル検出手段と、
    前記動きベクトルの検出結果に関する情報をメタデータとして生成する生成手段と、
    前記画像信号と前記メタデータとを関連付けて記録媒体に記録する記録手段と、
    撮影中は、前記動きベクトル検出手段に、前記撮像手段から出力される画像信号に対して縮小処理または間引き処理を行った画像信号を用いて動きベクトルの検出を行わせるとともに、前記生成手段に前記メタデータを生成させ、記録画像の再生中は、前記動きベクトル検出手段に、動きベクトルの検出を行う画像領域を前記メタデータに基づいて決定させるとともに、前記記録媒体から出力される画像信号に対して、縮小処理または間引き処理を行わない画像信号、あるいは撮影中よりも縮小率が小さい縮小処理または間引き率が小さい間引き処理を行った画像信号を用いて動きベクトルの検出を行わせる制御手段と、
    を備えることを特徴とする撮像装置。
  2. 撮影中の前記動きベクトルの検出結果を用いて画像処理を行う第1の画像処理手段と、記録画像の再生中の前記動きベクトルの検出結果を用いて画像処理を行う第2の画像処理手段とを更に備え、
    前記第1の画像処理手段による画像処理よりも前記第2の画像処理手段による画像処理の方が分解能が高いことを特徴とする請求項1に記載の撮像装置。
  3. 前記第1の画像処理手段および前記第2の画像処理手段における画像処理は、電子式の像振れ補正処理あるいは画像合成処理であることを特徴とする請求項2に記載の撮像装置。
  4. 前記生成手段は、撮影中に前記動きベクトル検出手段が動きベクトル検出を行う画像上での位置と、動きベクトルの検出結果とを含む情報をメタデータとして生成することを特徴とする請求項1乃至3のいずれか1項に記載の撮像装置。
  5. 前記生成手段は、撮影中に前記動きベクトル検出手段により得られたそれぞれの動きベクトルの検出領域の信頼性に関する情報をメタデータとして生成し、前記動きベクトル検出手段は、記録画像の再生中に、前記メタデータにより信頼性が低いと判定された領域の動きベクトルの検出を行わないことを特徴とする請求項1乃至4のいずれか1項に記載の撮像装置。
  6. 前記生成手段は、撮影中に前記動きベクトル検出手段により得られたそれぞれの動きベクトルの検出領域の信頼性に関する情報をメタデータとして生成し、前記動きベクトル検出手段は、記録画像の再生中は、前記動きベクトルの検出領域の数を撮影中よりも少ない数とし、前記メタデータにより信頼性が高いと判定された領域の動きベクトルの検出を優先的に行うことを特徴とする請求項1乃至5のいずれか1項に記載の撮像装置。
  7. 前記生成手段は、撮影中に前記動きベクトル検出手段により得られたそれぞれの動きベクトルの検出領域の信頼性に関する情報をメタデータとして生成し、前記動きベクトル検出手段は、記録画像の再生中は、前記動きベクトルの検出領域の数を撮影中よりも少ない数とし、前記メタデータにより信頼性が高いと判定された領域を更に小さく分割した複数の領域について動きベクトルの検出を行うことを特徴とする請求項1乃至6のいずれか1項に記載の撮像装置。
  8. 前記生成手段は、撮影中に前記動きベクトル検出手段により得られた移動被写体が存在するか否かを示す情報をメタデータとして生成し、前記第2の画像処理手段は、記録画像の再生中に前記メタデータに基づいて決定された領域の動きベクトルの検出結果を用いて画像処理を行うことを特徴とする請求項2に記載の撮像装置。
  9. 被写体像を撮像して画像信号を出力する撮像手段と、前記撮像手段から出力される画像信号を用いて動きベクトルの検出を行う動きベクトル検出手段と、前記動きベクトルの検出結果に関する情報をメタデータとして生成する生成手段とを備える撮像装置を制御する方法であって、
    前記画像信号と前記メタデータとを関連付けて記録媒体に記録する記録工程と、
    撮影中は、前記動きベクトル検出手段に、前記撮像手段から出力される画像信号に対して縮小処理または間引き処理を行った画像信号を用いて動きベクトルの検出を行わせるとともに、前記生成手段に前記メタデータを生成させ、記録画像の再生中は、前記動きベクトル検出手段に、動きベクトルの検出を行う画像領域を前記メタデータに基づいて決定させるとともに、前記記録媒体から出力される画像信号に対して、縮小処理または間引き処理を行わない画像信号、あるいは撮影中よりも縮小率が小さい縮小処理または間引き率が小さい間引き処理を行った画像信号を用いて動きベクトルの検出を行わせる制御工程と、
    を有することを特徴とする撮像装置の制御方法。
  10. 請求項9に記載の制御方法の各工程をコンピュータに実行させるためのプログラム。
  11. 請求項9に記載の制御方法の各工程をコンピュータに実行させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。
JP2014129707A 2014-06-24 2014-06-24 撮像装置及びその制御方法、プログラム、記憶媒体 Active JP6336341B2 (ja)

Priority Applications (8)

Application Number Priority Date Filing Date Title
JP2014129707A JP6336341B2 (ja) 2014-06-24 2014-06-24 撮像装置及びその制御方法、プログラム、記憶媒体
GB1510251.0A GB2529296B (en) 2014-06-24 2015-06-12 Image processing apparatus, control method thereof, and storage medium
GB1715875.9A GB2553447B (en) 2014-06-24 2015-06-12 Image processing apparatus, control method thereof, and storage medium
KR1020150087126A KR20160000423A (ko) 2014-06-24 2015-06-19 화상처리장치, 그 제어 방법 및 기억매체
US14/745,773 US10430660B2 (en) 2014-06-24 2015-06-22 Image processing apparatus, control method thereof, and storage medium
DE102015110026.6A DE102015110026B4 (de) 2014-06-24 2015-06-23 Bildverarbeitungsvorrichtung, zugehöriges steuerverfahren und speichermedium
CN201510349846.0A CN105208263B (zh) 2014-06-24 2015-06-23 图像处理装置及其控制方法
KR1020170129637A KR101830077B1 (ko) 2014-06-24 2017-10-11 화상처리장치, 그 제어 방법 및 기억매체

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014129707A JP6336341B2 (ja) 2014-06-24 2014-06-24 撮像装置及びその制御方法、プログラム、記憶媒体

Publications (2)

Publication Number Publication Date
JP2016010014A JP2016010014A (ja) 2016-01-18
JP6336341B2 true JP6336341B2 (ja) 2018-06-06

Family

ID=53784556

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014129707A Active JP6336341B2 (ja) 2014-06-24 2014-06-24 撮像装置及びその制御方法、プログラム、記憶媒体

Country Status (6)

Country Link
US (1) US10430660B2 (ja)
JP (1) JP6336341B2 (ja)
KR (2) KR20160000423A (ja)
CN (1) CN105208263B (ja)
DE (1) DE102015110026B4 (ja)
GB (2) GB2529296B (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6140935B2 (ja) * 2012-05-17 2017-06-07 キヤノン株式会社 画像処理装置、画像処理方法、画像処理プログラム、および撮像装置
CN110557522A (zh) * 2018-05-31 2019-12-10 阿里巴巴集团控股有限公司 一种去除视频抖动的方法及装置
CN110703750A (zh) * 2019-10-12 2020-01-17 南京工业大学 基于图像匹配的自行走机器人转向判定控制装置及方法
KR20210089038A (ko) * 2020-01-07 2021-07-15 삼성전자주식회사 전자 장치 및 그 제어 방법
JP7532040B2 (ja) * 2020-01-28 2024-08-13 キヤノン株式会社 撮像装置およびその制御方法

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5712474A (en) 1993-09-29 1998-01-27 Canon Kabushiki Kaisha Image processing apparatus for correcting blurring of an image photographed by a video camera
GB9422018D0 (en) * 1994-10-31 1994-12-21 Vistek Electronics An improved method of estimating motion in a video signal
KR100275694B1 (ko) * 1998-03-02 2000-12-15 윤덕용 실시간 동영상 부호화를 위한 초고속 움직임 벡터 추정방법
US6907189B2 (en) * 1998-03-06 2005-06-14 Samsung Electronics Co., Ltd. Apparatus for recording and/or playing back catalog information
US20040042552A1 (en) * 2000-07-20 2004-03-04 Dvorkovich Victor Pavlovich Method and apparatus for determining motion vectors in dynamic images
JP4841101B2 (ja) * 2002-12-02 2011-12-21 ソニー株式会社 動き予測補償方法及び動き予測補償装置
US7646891B2 (en) * 2002-12-26 2010-01-12 Mitshubishi Denki Kabushiki Kaisha Image processor
JP4179278B2 (ja) * 2004-12-28 2008-11-12 セイコーエプソン株式会社 撮像装置並びにこれを備えた携帯機器及び携帯電話機
JP5061444B2 (ja) * 2005-09-20 2012-10-31 ソニー株式会社 撮像装置及び撮像方法
JP4548355B2 (ja) * 2006-02-03 2010-09-22 カシオ計算機株式会社 動画再生装置及びそのプログラム
JP2007215114A (ja) * 2006-02-13 2007-08-23 Sony Corp 撮像画像の歪み補正方法、撮像画像の歪み補正装置および撮像装置
CN101356800B (zh) * 2006-03-23 2011-07-27 松下电器产业株式会社 内容拍摄装置
JP4804423B2 (ja) * 2006-08-08 2011-11-02 キヤノン株式会社 動きベクトル検出装置及び動きベクトル検出方法
CN100576919C (zh) * 2006-08-08 2009-12-30 佳能株式会社 运动矢量检测设备及运动矢量检测方法
JP2009055410A (ja) * 2007-08-28 2009-03-12 Sony Corp 画像処理装置および画像処理方法
JP4683031B2 (ja) * 2007-10-17 2011-05-11 ソニー株式会社 電子機器、コンテンツ分類方法及びそのプログラム
US8600189B2 (en) * 2007-11-12 2013-12-03 Qualcomm Incorporated Block-based image stabilization
JP5052301B2 (ja) * 2007-11-21 2012-10-17 オリンパス株式会社 画像処理装置、画像処理方法
JP4876066B2 (ja) 2007-12-19 2012-02-15 キヤノン株式会社 映像処理装置及び映像処理システム及び映像処理方法及びプログラム
US20090207915A1 (en) * 2008-02-15 2009-08-20 Freescale Semiconductor, Inc. Scalable motion search ranges in multiple resolution motion estimation for video compression
JP2009302731A (ja) * 2008-06-11 2009-12-24 Olympus Corp 画像処理装置、画像処理プログラム、画像処理方法、および電子機器
JP5304080B2 (ja) * 2008-07-30 2013-10-02 株式会社ニコン 画像再生装置および画像再生プログラム
GB2471323B (en) 2009-06-25 2014-10-22 Advanced Risc Mach Ltd Motion vector estimator
JP2011097572A (ja) 2009-09-29 2011-05-12 Canon Inc 動画像符号化装置
KR101643606B1 (ko) * 2009-12-11 2016-07-29 삼성전자주식회사 동영상 촬영 장치에서의 움직임 가이드 제공 방법 및 그 장치
JP2011244210A (ja) 2010-05-18 2011-12-01 Sony Corp 画像処理装置および方法
US8379934B2 (en) 2011-02-04 2013-02-19 Eastman Kodak Company Estimating subject motion between image frames
JP5708097B2 (ja) * 2011-03-18 2015-04-30 株式会社リコー 撮像装置、撮像方法、及び撮像プログラム
US20120300844A1 (en) * 2011-05-26 2012-11-29 Sharp Laboratories Of America, Inc. Cascaded motion compensation
US9300980B2 (en) * 2011-11-10 2016-03-29 Luca Rossato Upsampling and downsampling of motion maps and other auxiliary maps in a tiered signal quality hierarchy
US9232230B2 (en) 2012-03-21 2016-01-05 Vixs Systems, Inc. Method and device to identify motion vector candidates using a scaled motion search
US8928765B2 (en) * 2012-06-08 2015-01-06 Apple Inc. Noise reduction based on motion sensors

Also Published As

Publication number Publication date
GB2529296B (en) 2017-11-08
GB201510251D0 (en) 2015-07-29
GB2553447A (en) 2018-03-07
KR101830077B1 (ko) 2018-02-20
US20150371090A1 (en) 2015-12-24
KR20160000423A (ko) 2016-01-04
CN105208263A (zh) 2015-12-30
DE102015110026B4 (de) 2023-08-03
KR20170117991A (ko) 2017-10-24
GB2553447B (en) 2018-10-31
CN105208263B (zh) 2019-04-12
GB201715875D0 (en) 2017-11-15
GB2529296A (en) 2016-02-17
US10430660B2 (en) 2019-10-01
DE102015110026A1 (de) 2015-12-24
JP2016010014A (ja) 2016-01-18

Similar Documents

Publication Publication Date Title
JP5487722B2 (ja) 撮像装置と振れ補正方法
US8593533B2 (en) Image processing apparatus, image-pickup apparatus, and image processing method
JP6385212B2 (ja) 画像処理装置及び方法、撮像装置、及び画像生成装置
JP6355454B2 (ja) 撮像装置及びその制御方法、プログラム、記憶媒体
US8253812B2 (en) Video camera which adopts a focal-plane electronic shutter system
JP6336341B2 (ja) 撮像装置及びその制御方法、プログラム、記憶媒体
JP6222514B2 (ja) 画像処理装置、撮像装置、およびコンピュータブログラム
JP2013165485A (ja) 画像処理装置、撮像装置およびコンピュータブログラム
JP2016038415A (ja) 撮像装置及びその制御方法、プログラム、記憶媒体
JP2013165487A (ja) 画像処理装置、撮像装置、およびプログラム
US20170069104A1 (en) Image processing apparatus and image processing method
JP5996418B2 (ja) 撮像装置および撮像方法
JP5267279B2 (ja) 画像合成装置及びプログラム
JP2007049266A (ja) 画像撮像装置
JP2014126670A (ja) 撮像装置及びその制御方法、並びにプログラム
US11206344B2 (en) Image pickup apparatus and storage medium
JP5641127B2 (ja) 撮像装置と振れ補正方法
JP2009027437A (ja) 画像処理装置,画像処理方法及び撮像装置
JP6454112B2 (ja) ぶれ補正装置、ぶれ補正方法及びプログラム、並びに撮像装置
JP2007243333A (ja) 手ブレ補正方法、手ブレ補正装置、および撮像装置
JP2022170436A (ja) 撮像装置及びその制御方法及びプログラム
JP6150558B2 (ja) 追尾処理装置およびその制御方法
JP2009284051A (ja) 撮像装置
JP2013074372A (ja) 撮像装置、及び歪み検出方法
JP2011175663A (ja) 撮像装置、画像処理方法及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170529

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180219

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180406

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180502

R151 Written notification of patent or utility model registration

Ref document number: 6336341

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151