JP4893471B2 - 画像処理装置及びプログラム - Google Patents

画像処理装置及びプログラム Download PDF

Info

Publication number
JP4893471B2
JP4893471B2 JP2007137926A JP2007137926A JP4893471B2 JP 4893471 B2 JP4893471 B2 JP 4893471B2 JP 2007137926 A JP2007137926 A JP 2007137926A JP 2007137926 A JP2007137926 A JP 2007137926A JP 4893471 B2 JP4893471 B2 JP 4893471B2
Authority
JP
Japan
Prior art keywords
motion vector
block
image
calculating
program
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2007137926A
Other languages
English (en)
Other versions
JP2008294737A (ja
Inventor
博 清水
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Priority to JP2007137926A priority Critical patent/JP4893471B2/ja
Priority to US12/125,234 priority patent/US8411154B2/en
Publication of JP2008294737A publication Critical patent/JP2008294737A/ja
Application granted granted Critical
Publication of JP4893471B2 publication Critical patent/JP4893471B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/144Movement detection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Description

本発明は、動画像情報を構成する複数の画像フレームの全体動きベクトルを算出する画像処理装置及びプログラムに関する。
従来、デジタルカメラ等の撮像装置として、動画像の撮像により生じた手ぶれを画像処理にて補正する、所謂、ぶれ補正を行うものが知られている。
ぶれ補正を行う上で、画像フレームの全体動きベクトルを算出するためには、例えば、細分化した小さなブロック毎に算出した複数の動きベクトルを用いる。この場合、画面内に動く被写体が存すると、手ぶれに係る動きベクトルとは異なる動く被写体成分に係る動きベクトルが局所的に存在する場合がある。この影響を避けるために、各エリアの動きベクトルの平均値と標準偏差によって定まる範囲内のもののみを選択し、更に各エリアのコントラスト係数を求め、それをもとに重み付け係数を求めたのち重み付け平均を求めこれを全体の動きベクトルとする。これにより信頼性の高低を評価して全体の動きベクトルを適確に求める技術が知られている(例えば、特許文献1参照)。
特開2004−15376号公報
しかしながら、上記方法では、画面内である程度の大きさの動く被写体が存すると、判定の基となる平均値と標準偏差自体が影響を受けてしまい、適正な全体動きベクトルを算出することができないといった問題がある。
そこで、本発明の課題は、動画像情報を構成する複数の画像フレームの全体動きベクトルを適正に算出することができる画像処理装置及びプログラムを提供することである。
請求項1に記載の発明の画像処理装置は、
動画像情報を構成する複数の画像フレームのうち、少なくとも何れか一の画像フレームを複数のブロックに分割するブロック分割手段と、
前記ブロック分割手段により分割されたブロックを前記一の画像フレームの前後のうちの何れか一方の画像フレームにて追跡して、当該ブロックの動きベクトルを算出する動きベクトル算出手段と、
前記動きベクトル算出手段により算出された複数の動きベクトルの各々について、何れか一の動きベクトルを評価対象として、他の動きベクトルと比較することにより、前記一の画像フレームの全体動きベクトルを算出する全体動きベクトル算出手段と、
前記全体動きベクトル算出手段による前記全体動きベクトルの算出の際に、前記評価対象としての一の動きベクトルの比較対象から除外され、当該一の動きベクトルに係るブロックから所定距離以内に存するブロックを特定するブロック特定手段と、
を備えることを特徴としている。
請求項2に記載の発明は、請求項1に記載の画像処理装置において、
前記全体動きベクトル算出手段は、何れか一の動きベクトルを評価対象として、他の動きベクトルと比較して当該評価対象の動きベクトルを投票するか否かを決定し、前記一の画像フレームの全体動きベクトルを多数決により決定することを特徴としている。
請求項3に記載の発明のプログラムは、
画像処理装置に、
動画像情報を構成する複数の画像フレームのうち、少なくとも何れか一の画像フレームを複数のブロックに分割する機能と、
分割されたブロックを前記一の画像フレームの前後のうちの何れか一方の画像フレームにて追跡して、当該ブロックの動きベクトルを算出する機能と、
算出された複数の動きベクトルの各々について、何れか一の動きベクトルを評価対象として、他の動きベクトルと比較することにより、前記一の画像フレームの全体動きベクトルを算出する機能と、
前記全体動きベクトルの算出の際に、前記評価対象としての一の動きベクトルの比較対象から除外され、当該一の動きベクトルに係るブロックから所定距離以内に存するブロックを特定する機能と、
を実現させることを特徴としている。
本発明によれば、動画像情報を構成する複数の画像フレームの全体動きベクトルの算出の際に、動く被写体成分の影響を受け難くすることができ、全体動きベクトルを適正に算出することができる。
以下に、本発明について、図面を用いて具体的な態様を説明する。ただし、発明の範囲は、図示例に限定されない。
図1は、本発明を適用した一実施形態の撮像装置100の概略構成を示すブロック図である。
本実施形態の撮像装置100は、動画像の撮像により生成される各画像フレームFの全体動きベクトルを算出する際に、当該一の画像フレームFの複数のマクロブロックMB、…の動きベクトルについて、評価対象の動きベクトルに係るブロックから所定距離d以内に存するブロックの動きベクトルを比較対象から除外して、他の動きベクトルと比較して当該評価対象の動きベクトルを投票するか否かを決定する処理を行う。
具体的には、撮像装置100は、例えば、図1に示すように、撮像部1と、撮像補助部2と、表示部3、操作部4と、記録媒体5と、USB端子6と、制御部7等を備えて構成されている。
撮像部1は、撮像手段として、被写体を連続して撮像して複数の画像フレームF、…を生成する。具体的には、撮像部1は、撮像レンズ群11と、電子撮像部12と、映像信号処理部13と、画像メモリ14と、撮影制御部15等を備えている。
撮像レンズ群11は、複数の撮像レンズから構成されている。
電子撮像部12は、撮像レンズ群11を通過した被写体像を二次元の画像信号に変換するCCD(Charge Coupled Device)やCMOS(Complementary Metal-oxide Semiconductor)等の撮像素子から構成されている。
映像信号処理部13は、電子撮像部12から出力される画像信号に対して所定の画像処理を施すものである。
画像メモリ14は、画像処理後の画像信号を一時的に記憶する。
撮影制御部15は、CPU71の制御下にて、電子撮像部12及び映像信号処理部13を制御する。具体的には、撮影制御部15は、電子撮像部12に所定の露出時間で被写体を撮像させ、当該電子撮像部12の撮像領域から画像信号(画像フレームF)を所定のフレームレートで読み出す処理の実行を制御する。
撮像補助部2は、撮像部1による被写体の撮像の際に駆動するものであり、例えば、フォーカス駆動部21と、ズーム駆動部22等を備えている。
フォーカス駆動部21は、撮像レンズ群11に接続されたフォーカス機構部(図示略)を駆動させる。
ズーム駆動部22は、撮像レンズ群11に接続されたズーム機構部(図示略)を駆動させる。
なお、フォーカス駆動部21、ズーム駆動部22は、撮影制御部15に接続され、撮影制御部15の制御下にて駆動する。
表示部3は、撮像部1により撮像された画像を表示するものであり、例えば、表示制御部31と、画像表示部32等を備えている。
表示制御部31は、CPU71から適宜出力される表示データを一時的に保存するビデオメモリ(図示略)を備えている。
画像表示部32は、表示制御部31からの出力信号に基づいて撮像部1により撮像された画像(図2及び図5等参照)等の所定画像を表示する液晶モニタ等を備えている。
操作部4は、当該撮像装置100の所定操作を行うためのものであり、例えば、操作入力部41と、入力回路42等を備えている。
操作入力部41は、例えば、撮像部1による被写体の撮像を指示するシャッターボタン41a等を備えている。
入力回路42は、操作入力部41から入力された操作信号をCPU71に入力するためのものである。
記録媒体5は、例えば、カード型の不揮発性メモリ(フラッシュメモリ)やハードディスク等により構成され、撮像部1により撮像された画像の画像ファイルを複数記憶する。
USB端子6は、外部機器との接続用の端子であり、USBケーブル(図示略)等を介してデータの送受信を行う。
制御部7は、撮像装置100の各部を制御するものであり、例えば、CPU71と、プログラムメモリ72と、データメモリ73等を備えている。
CPU71は、プログラムメモリ72に記憶された撮像装置100用の各種処理プログラムに従って各種の制御動作を行うものである。
データメモリ73は、例えば、フラッシュメモリ等により構成され、CPU71によって処理されるデータ等を一時記憶する。
プログラムメモリ72は、CPU71の動作に必要な各種プログラムやデータを記憶するものである。具体的には、プログラムメモリ72は、ブロック分割プログラム72a、動きベクトル算出プログラム72b、動きベクトル選択プログラム72c、ブロック特定プログラム72d、全体動きベクトル算出プログラム72e、ぶれ補正プログラム72f等を記憶している。
ブロック分割プログラム72aは、CPU71をブロック分割手段として機能させるものである。即ち、ブロック分割プログラム72aは、撮像部1により生成された動画像情報を構成する複数の画像フレームF、…(図3参照)のうち、少なくとも何れか一の画像フレームFを複数のブロックに分割するブロック分割処理の実行に係る機能をCPU71に実現させるためのプログラムである。
具体的には、CPU71がブロック分割プログラム72aを実行することで、複数の画像フレームF、…の各々について、16×16画素の正方領域であるマクロブロックMB単位に分割する。
動きベクトル算出プログラム72bは、CPU71を動きベクトル算出手段として機能させるものである。即ち、動きベクトル算出プログラム72bは、ブロック分割処理にて分割された所定のブロックを一の画像フレームFの前後のうちの何れか一方の画像フレームFにて追跡して、当該ブロックの動きベクトルを算出する動きベクトル算出処理に係る機能をCPU71に実現させるためのプログラムである。
具体的には、CPU71が動きベクトル算出プログラム72bを実行することで、一の画像フレームFを4×4の計16個のマクロブロックMBからなるエリアに分割し、各エリアから特徴ある一のマクロブロックMBを選択する。そして、当該一のマクロブロックMBを一つ後の画像フレームF(或いは、一つ前の画像フレームF)にて追跡して、当該マクロブロックMBの動きベクトルを算出する(図2参照)。
動きベクトル選択プログラム72cは、CPU71を動きベクトル選択手段として機能させるものである。即ち、CPU71が動きベクトル選択プログラム72cを実行することで、動きベクトル算出処理にて算出された複数の動きベクトルのうち、全体動きベクトル算出処理(後述)に係る評価対象としての一の動きベクトルをランダム(任意)に選択する(ランダム選択処理)。
ブロック特定プログラム72dは、CPU71をブロック特定手段として機能させるものであり。即ち、ブロック特定プログラム72dは、全体動きベクトル算出処理の際に、評価対象としての一の動きベクトルの比較対象から除外され、当該一の動きベクトルに係るブロックから所定距離以内に存するブロック(図4参照)を特定するブロック特定処理に係る機能をCPU71に実現させるためのプログラムである。
具体的には、CPU71がブロック特定プログラム72dを実行することで、ランダム選択処理にて選択された評価対象の一の動きベクトル以外の比較対象となる動きベクトルMVnの中で、下記の一般式(1)を満たすマクロブロックMBを特定する。
(Hm−Hn)2+(Vm−Vn)2<d 式(1)
ここで、評価対象の動きベクトルMVmに係るマクロブロックMBの位置をPm(Hm,Vm)とし、比較対象の動きベクトルMVnに係るマクロブロックMBの位置をPn(Hn,Vn)とし、所定距離をdとする。
これにより、評価対象の動きベクトルMVmに係るマクロブロックMBから所定距離d以内に存するマクロブロックMB、即ち、全体動きベクトル算出処理の際に、評価対象の動きベクトルの比較対象から除外されるマクロブロックMBが特定される。
全体動きベクトル算出プログラム72eは、CPU71を全体動きベクトル算出手段として機能させるものである。即ち、全体動きベクトル算出プログラム72eは、一の画像フレームFの複数の動きベクトルの各々について、何れか一の動きベクトルを評価対象として、他の動きベクトルと比較して当該評価対象の動きベクトルに対して投票するか否かを決定し、一の画像フレームFの全体動きベクトルを多数決により算出する全体動きベクトル算出処理に係る機能をCPU71に実現させるためのプログラムである。
つまり、CPU71が全体動きベクトル算出プログラム72eを実行することで、一の画像フレームFからランダムに選択された評価(投票)対象となる一の動きベクトルについて、他の動きベクトルから投票を得て、最も票を得られた動きベクトルを全体動きベクトルとする。
具体的には、一の画像フレームFから例えば、100個(n=0〜99)の動きベクトルMV(X,Y)が算出されたとすると、評価対象の動きベクトルMV(k;0〜99の任意の実数)がブロック特定処理にて特定されたマクロブロックMB以外の他のマクロブロックMBの動きベクトルを評価対象として下記の一般式(2)を満たす場合に、投票する。
(X−X+(Y−Y<t 式(2)
ここで、tは、しきい値とする。
これをn=0〜99について行うことで、動きベクトルMVについての投票が完了する。
そして、評価対象となる動きベクトルMVを所定回数変更して上記の投票を繰り返し、最終的に最も投票数が多かった動きベクトルを全体動きベクトルとして採用する。
例えば、図2及び図5に係る画像フレームFにあっては、手ぶれに係る動きベクトル(図中、実線で示す)は左斜め上向きであり、全体動きベクトルとしては当該動きベクトルが選択されるのが好ましいが、当該画像フレームF中に存する自動車(動く被写体)に係る動きベクトル(図中、破線で示す)は、左下の自動車はやや左斜め下向きであり、他の自動車も手ぶれに係る左斜め上向きとは異なる方向の動きベクトル(図中、破線で示す)である。このような場合に、評価対象となる動きベクトルMVに係るマクロブロックMBから所定距離d以内に存するマクロブロックMB(太線で囲まれた領域R内のマクロブロックMB)については、全体動きベクトルの算出処理に用いないこととすることで、同一の被写体に係るものと思われる動きベクトルどうしの投票を回避することができ、動く被写体成分の影響を受け難くすることができる。
ぶれ補正プログラム72fは、全体動きベクトル算出処理にて算出された一の画像フレームFの全体動きベクトルに応じて、手ぶれ等を相殺するように撮像画像のぶれ補正処理に係る機能をCPU71に実現させるためのプログラムである。
具体的には、CPU71がぶれ補正プログラム72fを実行することで、一の画像フレームFの全体動きベクトルに基づいて、一の画像フレームFと当該一の画像フレームFに隣接する画像フレームFとの位置合わせを行ったり、撮像素子や撮像レンズを所定方向に移動させて撮像画像のぶれ補正を実行する。
次に、撮像処理について図6及び図7を参照して説明する。
図6及び図7は、撮像処理に係る動作の一例を示すフローチャートである。
図6に示すように、撮像部1による被写体の撮像が開始されると、CPU71は、プログラムメモリ72からブロック分割プログラム72aを読み出して実行し、撮像部1により生成された動画像情報を構成する複数の画像フレームF、…(図3参照)の各々についてマクロブロックMB単位に分割する(ステップS1)。
次に、CPU71は、プログラムメモリ72から動きベクトル算出プログラム72bを読み出して実行し、一の画像フレームFを4×4の計16個のマクロブロックMBからなるエリアAに分割し(ステップS2;図3参照)、各エリアAから特徴ある一のマクロブロックMBを選択する(ステップS3)。そして、CPU71は、選択された全てのマクロブロックMBの動きベクトルを算出する(ステップS4)。
その後、CPU71は、プログラムメモリ72から動きベクトル選択プログラム72cを読み出して実行し、複数の動きベクトルのうち、評価対象となる一の動きベクトルをランダムに選択する(ステップS5)。そして、CPU71は、プログラムメモリ72からブロック特定プログラム72dを読み出して実行し、複数の動きベクトルの中で、評価対象の一の動きベクトル以外の動きベクトルを比較対象として選択して(ステップS6)、一般式(1)に基づいて評価対象の動きベクトルと比較対象の動きベクトル間の距離を計算する(ステップS7;図4参照)。続けて、CPU71は、動きベクトル間の距離が所定値以上であるか否かを判定する(ステップS8)。
ここで、所定値以上であると判定されると(ステップS8;YES)、CPU71は、プログラムメモリ72から全体動きベクトル算出プログラム72eを読み出して実行し、評価対象の動きベクトルと比較対象の動きベクトルとの差(ベクトル差)を一般式(2)に基づいて計算する(ステップS9)。続けて、CPU71は、ベクトル差が所定値以下であるか否かを判定する(ステップS10)。
ここで、所定値以下であると判定されると(ステップS10;YES)、CPU71は、評価対象の動きベクトルが他の比較対象の動きベクトルから支持が得られたと判断して投票する(ステップS11)。
次に、CPU71は、一の評価対象の動きベクトルについて、他の全ての動きベクトルを比較対象として演算したか否かを判定する(ステップS12)。
なお、ステップS8にて、動きベクトル間の距離が所定値以上ではないと判定されるか(ステップS8;NO)、或いは、ステップS10にて、ベクトル差が所定値以下ではないと判定されると(ステップS10;NO)、CPU71は、ステップS12の処理を実行する。
そして、ステップS12にて、比較対象としていないと判定されると(ステップS12;NO)、ステップS6に戻る。
その後、CPU71は、評価対象とした動きベクトルの数が所定値に達したか否かを判定する(ステップS13)。
ここで、所定値に達していないと判定されると(ステップS13;NO)、ステップS5に戻る。
一方、所定値に達したと判定されると(ステップS13;YES)、CPU71は、最も投票数の多かった動きベクトルを全体動きベクトルとして採用する(ステップS14)。
その後、CPU71は、プログラムメモリ72からぶれ補正プログラム72fを読み出して実行し、算出された全体動きベクトルに応じて、手ぶれ等を相殺するように撮像画像のぶれ補正処理を行う(ステップS15)。
以上のように、本実施形態の撮像装置100によれば、複数の動きベクトルの各々について、何れか一の動きベクトルを評価対象として、他の動きベクトルと比較して当該評価対象の動きベクトルに投票するか否かを決定し、一の画像フレームFの全体動きベクトルを多数決により算出する際に、評価対象としての一の動きベクトルに係るマクロブロックMBから所定距離以内に存するマクロブロックMBを特定して、評価対象の一の動きベクトルの比較対象から除外することができる。
即ち、一の画像フレームF中に、手ぶれに係る動きベクトルとは異なる動く被写体成分に係る動きベクトルが局所的に存在する場合であっても、評価対象とした一の動きベクトルに係るマクロブロックMBから所定距離以内に存するマクロブロックMBの動きベクトルを全体動きベクトルの算出に用いないので、同一の被写体に係るものと思われる動きベクトルどうしの投票を回避することができ、全体動きベクトルの算出の際に、動く被写体成分の影響を受け難くすることができる。従って、画像フレームFの全体に満便なく分布する背景等に係る動きベクトルから全体動きベクトルを適正に算出することができる。
また、評価対象としての一の動きベクトルをランダムに選択することによって、一の画像フレームの中から評価対象となる動きベクトルを満便なく選択していくことができる。そして、評価対象や比較対象の動きベクトルの数を十分に大きくしていくことで、当該集合全体の解を適正に求めることができる。従って、処理の効率化及び高速化を図ることができる。
なお、本発明は、上記実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲において、種々の改良並びに設計の変更を行っても良い。
例えば、撮像処理のステップS13にて評価対象とした動きベクトルの数が所定値に達したと判定された場合に、全体動きベクトルを特定するようにしたが、これに限られるものではなく、例えば、一の動きベクトルの投票数が過半数を超えたと判定された場合に、当該動きベクトルを全体動きベクトルとして採用するようにしても良い。
さらに、上記実施形態では、全体動きベクトル算出処理にて、複数の動きベクトルの各々について、何れか一の動きベクトルを評価対象として、他の動きベクトルと比較して当該評価対象の動きベクトルに対して投票するか否かを決定し、一の画像フレームFの全体動きベクトルを多数決により算出するようにしたが、全体動きベクトルの算出方法はこれに限られるものではない。即ち、評価対象の動きベクトルと他の動きベクトルとを比較することにより、一の画像フレームの全体動きベクトルを算出する処理に係る方法であれば如何なる方法であっても良い。
また、上記実施形態では、全体動きベクトルの算出の際に、マクロブロックMBをランダムに選択するようにしたが、これに限られるものではなく、例えば、各エリアAについて予め定められた位置のマクロブロックMBを選択するようにしても良い。
さらに、撮像装置100の構成は、上記実施形態に例示したものは一例であり、これに限られるものではない。
また、画像処理装置として撮像装置100を例示したが、これに限られるものではなく、例えば、撮像部1により取得した動画像を構成する複数の画像フレームFをUSB端子6を介して接続された外部機器に出力して、当該外部機器にてぶれ補正に係る、ブロック分割処理、動きベクトル算出処理、動きベクトル選択処理、ブロック特定処理、全体動きベクトルの算出処理等を行うようにしても良い。
加えて、上記実施形態では、ブロック分割手段、動きベクトル算出手段、ブロック特定手段、全体動きベクトル算出手段、動きベクトル選択手段としての機能を、CPU71によって所定のプログラム等が実行されることにより実現される構成としたが、これに限られるものではなく、例えば、各種機能を実現するためのロジック回路等から構成しても良い。
本発明を適用した一実施形態の撮像装置の概略構成を示すブロック図である。 図1の撮像装置の表示部に表示される画像の一例を模式的に示す図である。 図1の撮像装置の撮像部により生成された画像フレームの一例を模式的に示す図である。 図3の画像フレームの一部分を拡大して模式的に示す図である。 図1の撮像装置の表示部に表示される画像の一例を模式的に示す図である。 図1の撮像装置による撮像処理に係る動作の一例を示すフローチャートである。 図6の撮像処理の続きを示す図である。
符号の説明
100 撮像装置
71 CPU(ブロック分割手段、動きベクトル算出手段、ブロック特定手段、全体動きベクトル算出手段、動きベクトル選択手段)
A エリア
F 画像フレーム
MB マクロブロック

Claims (3)

  1. 動画像情報を構成する複数の画像フレームのうち、少なくとも何れか一の画像フレームを複数のブロックに分割するブロック分割手段と、
    前記ブロック分割手段により分割されたブロックを前記一の画像フレームの前後のうちの何れか一方の画像フレームにて追跡して、当該ブロックの動きベクトルを算出する動きベクトル算出手段と、
    前記動きベクトル算出手段により算出された複数の動きベクトルの各々について、何れか一の動きベクトルを評価対象として、他の動きベクトルと比較することにより、前記一の画像フレームの全体動きベクトルを算出する全体動きベクトル算出手段と、
    前記全体動きベクトル算出手段による前記全体動きベクトルの算出の際に、前記評価対象としての一の動きベクトルの比較対象から除外され、当該一の動きベクトルに係るブロックから所定距離以内に存するブロックを特定するブロック特定手段と、
    を備えることを特徴とする画像処理装置。
  2. 前記全体動きベクトル算出手段は、何れか一の動きベクトルを評価対象として、他の動きベクトルと比較して当該評価対象の動きベクトルを投票するか否かを決定し、前記一の画像フレームの全体動きベクトルを多数決により決定することを特徴とする請求項1に記載の画像処理装置。
  3. 画像処理装置に、
    動画像情報を構成する複数の画像フレームのうち、少なくとも何れか一の画像フレームを複数のブロックに分割する機能と、
    分割されたブロックを前記一の画像フレームの前後のうちの何れか一方の画像フレームにて追跡して、当該ブロックの動きベクトルを算出する機能と、
    算出された複数の動きベクトルの各々について、何れか一の動きベクトルを評価対象として、他の動きベクトルと比較することにより、前記一の画像フレームの全体動きベクトルを算出する機能と、
    前記全体動きベクトルの算出の際に、前記評価対象としての一の動きベクトルの比較対象から除外され、当該一の動きベクトルに係るブロックから所定距離以内に存するブロックを特定する機能と、
    を実現させることを特徴とするプログラム。
JP2007137926A 2007-05-24 2007-05-24 画像処理装置及びプログラム Active JP4893471B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2007137926A JP4893471B2 (ja) 2007-05-24 2007-05-24 画像処理装置及びプログラム
US12/125,234 US8411154B2 (en) 2007-05-24 2008-05-22 Image processing apparatus for calculating global motion vector of plurality of image frames

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007137926A JP4893471B2 (ja) 2007-05-24 2007-05-24 画像処理装置及びプログラム

Publications (2)

Publication Number Publication Date
JP2008294737A JP2008294737A (ja) 2008-12-04
JP4893471B2 true JP4893471B2 (ja) 2012-03-07

Family

ID=40072011

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007137926A Active JP4893471B2 (ja) 2007-05-24 2007-05-24 画像処理装置及びプログラム

Country Status (2)

Country Link
US (1) US8411154B2 (ja)
JP (1) JP4893471B2 (ja)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5054206B2 (ja) * 2008-03-14 2012-10-24 パナソニック株式会社 画像処理方法及び画像処理装置
US8508605B2 (en) * 2009-10-14 2013-08-13 Csr Technology Inc. Method and apparatus for image stabilization
US9131155B1 (en) 2010-04-07 2015-09-08 Qualcomm Technologies, Inc. Digital video stabilization for multi-view systems
JP5643563B2 (ja) * 2010-07-22 2014-12-17 キヤノン株式会社 画像処理装置及びその制御方法
KR101710624B1 (ko) * 2010-07-27 2017-02-27 삼성전자주식회사 객체의 모션 벡터를 이용하여 자동 촬영 기능을 수행하는 디지털 영상 촬영 방법, 디지털 영상 촬영 장치 및 상기 방법을 기록한 기록 매체
JP5691374B2 (ja) * 2010-10-14 2015-04-01 富士通株式会社 データ圧縮装置
US8988536B2 (en) 2010-12-23 2015-03-24 Samsung Electronics Co., Ltd. Image processing circuit, method of operation thereof, and digital camera including same
US8891626B1 (en) * 2011-04-05 2014-11-18 Google Inc. Center of motion for encoding motion fields
JP2014523708A (ja) 2011-07-01 2014-09-11 モトローラ モビリティ エルエルシー 動きベクトル予測設計の簡易化
JP5887777B2 (ja) * 2011-09-14 2016-03-16 セイコーエプソン株式会社 プロジェクター、および、プロジェクターの制御方法
WO2013067440A1 (en) 2011-11-04 2013-05-10 General Instrument Corporation Motion vector scaling for non-uniform motion vector grid
US8810666B2 (en) * 2012-01-16 2014-08-19 Google Inc. Methods and systems for processing a video for stabilization using dynamic crop
US8908767B1 (en) 2012-02-09 2014-12-09 Google Inc. Temporal motion vector prediction
US9172970B1 (en) 2012-05-29 2015-10-27 Google Inc. Inter frame candidate selection for a video encoder
US11317101B2 (en) 2012-06-12 2022-04-26 Google Inc. Inter frame candidate selection for a video encoder
US9503746B2 (en) 2012-10-08 2016-11-22 Google Inc. Determine reference motion vectors
US9485515B2 (en) 2013-08-23 2016-11-01 Google Inc. Video coding using reference motion vectors
JP6028665B2 (ja) * 2013-04-12 2016-11-16 三菱電機株式会社 画像対応付け装置および画像対応付け方法
US9313493B1 (en) 2013-06-27 2016-04-12 Google Inc. Advanced motion estimation
KR102368625B1 (ko) * 2015-07-23 2022-03-02 삼성전자주식회사 디지털 촬영 장치 및 그 방법
DE102017113794A1 (de) * 2017-06-22 2018-12-27 Connaught Electronics Ltd. Klassifizierung statischer und dynamischer Bildsegmente in einer Fahrerassistenzvorrichtung eines Kraftfahrzeugs
TWI618032B (zh) * 2017-10-25 2018-03-11 財團法人資訊工業策進會 目標偵測與追蹤方法及系統
US10529079B2 (en) * 2018-02-04 2020-01-07 Applied Research, LLC Target detection, tracking, and classification in compressive measurement domain

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6512537B1 (en) * 1998-06-03 2003-01-28 Matsushita Electric Industrial Co., Ltd. Motion detecting apparatus, motion detecting method, and storage medium storing motion detecting program for avoiding incorrect detection
KR100833228B1 (ko) * 2002-02-21 2008-05-28 삼성전자주식회사 고정 연산량을 갖는 동영상 부호화 방법 및 그 장치
JP2004015376A (ja) 2002-06-06 2004-01-15 Canon Inc 像振れ防止装置およびカメラ
JP4340968B2 (ja) * 2004-05-07 2009-10-07 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
US7605845B2 (en) * 2005-04-28 2009-10-20 Texas Instruments Incorporated Motion stabilization
JP5003991B2 (ja) * 2005-10-26 2012-08-22 カシオ計算機株式会社 動きベクトル検出装置及びそのプログラム

Also Published As

Publication number Publication date
US8411154B2 (en) 2013-04-02
US20080291285A1 (en) 2008-11-27
JP2008294737A (ja) 2008-12-04

Similar Documents

Publication Publication Date Title
JP4893471B2 (ja) 画像処理装置及びプログラム
US8629915B2 (en) Digital photographing apparatus, method of controlling the same, and computer readable storage medium
JP5126261B2 (ja) カメラ
JP5237721B2 (ja) 撮像装置
US9049372B2 (en) Electronic camera, computer readable medium recording imaging control program thereon and imaging control method
US10313577B2 (en) Focus detection apparatus, focus detection method, and image capturing apparatus
US20180124318A1 (en) Image pickup apparatus and image pickup method
JP2009213114A (ja) 撮像装置及びプログラム
US20200029011A1 (en) Image processing apparatus, image processing method, and image capture apparatus
US8836821B2 (en) Electronic camera
US8571404B2 (en) Digital photographing apparatus, method of controlling the same, and a computer-readable medium storing program to execute the method
JP5387341B2 (ja) 撮像装置
US8040429B2 (en) Electronic apparatus having autofocus camera function
US20200267319A1 (en) Image processing apparatus that detects motion vectors, method of controlling the same, and storage medium
US20100253798A1 (en) Image processing apparatus, digital camera, and recording medium
US20100182460A1 (en) Image processing apparatus
US11653107B2 (en) Image pick up apparatus, image pick up method, and storage medium
RU2761187C1 (ru) Устройство обработки изображения и устройство захвата изображения
JP4888829B2 (ja) 動画処理装置、動画撮影装置および動画撮影プログラム
JP6395621B2 (ja) 焦点調節装置及びそれを用いた撮像装置及び焦点調節方法
US8786677B2 (en) Imaging device
US10237469B2 (en) Information processing apparatus, information processing method, and storage medium
JP2009077321A (ja) 画像記録装置及び画像記録処理方法
US11206350B2 (en) Image processing apparatus, image pickup apparatus, image processing method, and storage medium
US11616902B2 (en) Apparatus to perform alignment to images, image processing method to perform alignment to images, and computer readable non-transitory memory to perform alignment to images

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20091105

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110428

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110510

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110711

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20110711

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20111122

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20111205

R150 Certificate of patent or registration of utility model

Ref document number: 4893471

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150106

Year of fee payment: 3