JPH04281679A - カメラワーク検出方法 - Google Patents

カメラワーク検出方法

Info

Publication number
JPH04281679A
JPH04281679A JP3070475A JP7047591A JPH04281679A JP H04281679 A JPH04281679 A JP H04281679A JP 3070475 A JP3070475 A JP 3070475A JP 7047591 A JP7047591 A JP 7047591A JP H04281679 A JPH04281679 A JP H04281679A
Authority
JP
Japan
Prior art keywords
motion
frame
camera
movement
vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP3070475A
Other languages
English (en)
Other versions
JP2677312B2 (ja
Inventor
Takafumi Miyatake
孝文 宮武
Hirotada Ueda
博唯 上田
Satoshi Yoshizawa
聡 吉沢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
PERSONAL JOHO KANKYO KYOKAI
Original Assignee
PERSONAL JOHO KANKYO KYOKAI
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by PERSONAL JOHO KANKYO KYOKAI filed Critical PERSONAL JOHO KANKYO KYOKAI
Priority to JP3070475A priority Critical patent/JP2677312B2/ja
Priority to DE69219944T priority patent/DE69219944T2/de
Priority to EP92102624A priority patent/EP0509208B1/en
Priority to US07/840,825 priority patent/US5267034A/en
Publication of JPH04281679A publication Critical patent/JPH04281679A/ja
Application granted granted Critical
Publication of JP2677312B2 publication Critical patent/JP2677312B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/11—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information not detectable on the record carrier
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6815—Motion detection by distinguishing pan or tilt from motion
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00—Record carriers by type
    • G11B2220/20—Disc-shaped record carriers
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00—Record carriers by type
    • G11B2220/90—Tape-like record carriers

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】
【０００１】
【産業上の利用分野】本発明は、ビデオや映画の画像編
集時に必要となる動画像のシーンの記述方法に係わり、
特に、カメラのズーム（カメラのレンズの移動による撮
像倍率の変化）やパンおよびチルトなど（カメラの左右
および上下への回転移動）の動き情報に基づいて、ビデ
オテープやビデオディスクに格納された動画像から目的
とする動画像フレームを検索し、画像編集を効率良く行
なうのに好適なカメラワーク検出方法に関するものであ
る。
【０００２】
【従来の技術】従来、ビデオテープ等に格納された動画
像から画像の変化点を自動検出することにより、シーン
の変わり目を検出し、動画像編集時の頭だし操作などを
容易にする技術が、例えば特願平２−２３０９３０に開
示されている。この技術を用いて検出したシーン毎に、
さらに、ビデオカメラ自体の動き、すなわち、ビデオカ
メラのズームやパンなどのカメラワークに関する情報を
用いることにより、例えば、「右から左にパンしている
シーンを見たい」、または、「ズームアップ直後のシー
ンを見たい」などの動画像の検索や、「パンの速度むら
を修正したい」、「パンの速度をもっと速くしたい」な
どの動画像の編集作業を編集システムが支援することが
可能になる。そのためには、ビデオカメラのズームやパ
ンなどのカメラワークを検出して、それを自動的に記述
しておく技術が必要となる。
【０００３】従来、ビデオカメラ自体の動きを検出する
技術としては、例えば、特開平２−１５７９８０号公報
に記載のものがある。これは、ビデオカメラの振動を検
出して、画像ブレを補正するものである。すなわち、画
面上で、比較的大きな検出領域を、例えば４個程度設定
し、所定の偏移における相関値により、フレーム間の動
きベクトルを求め、相関値の状態と、それ以前の動きベ
クトルの信頼性の判定結果とから画面の動きベクトルを
決定する。ビデオカメラの振動による動きベクトルは０
ベクトルを中心に振動し、移動物が侵入した場合は、移
動物の動きとビデオカメラの動きが加算されて動きベク
トルが求まる。この時の動きベクトルは振動による動き
ベクトルに一定値が加算されたものとなり、振動による
動きベクトルとの分離が可能であり、振動による動きベ
クトルだけからビデオカメラの振動による画像のブレを
補正するものである。
【０００４】
【発明が解決しようとする課題】解決しようとする問題
点は、従来の技術では、カメラ自体のゆっくりした動き
を示す動きベクトルの検出を正確に行なうことができな
いために、パンやズームなどのカメラワークを自動的に
検出することができず、効率の良い画像編集ができない
点である。
【０００５】すなわち、特開平２−１５７９８０号公報
に記載の装置は、ビデオカメラの振動検出が目的であり
、パンやズームなどのカメラワークの検出目的には考慮
が払われていない。例えば、右から左にビデオカメラを
パンした画像に関しては、上述の装置では移動物が侵入
したものと判定し、カメラの動きとは見なさない。また
、ズームアップやズームダウン時の画像については、動
きベクトルは画面中心から放射状の方向に検出されるが
、それらの動きベクトルからズームの倍率値に変換する
手段は無い。さらにパンやズーム時のビデオカメラの動
きは、手振れの動きよりも速度が遅い。そのため、一回
の動き検出で画面の動きを決定する上述の装置では十分
な精度が得られない可能性が高い。
【０００６】本発明の目的は、このような従来の課題を
解決し、速度の遅いパンやズームなどの画像からカメラ
の動きを検出して、目的とするパン動作およびズーム動
作の変化点を自動的に検索でき、効率の良い画像編集を
可能とするカメラワーク検出方法を提供することである
。
【０００７】
【課題を解決するための手段】上記目的を達成するため
、本発明のカメラワーク検出方法は、（１）連続した複
数枚の画像からなる動画像を、フレーム単位で時系列に
入力し、このフレーム間で、小ブロック毎に定めたそれ
ぞれの代表点の偏移量に対する相関値に基づき動きベク
トルを検出し、この動きベクトルを用いて、カメラの動
きを検出するカメラワーク検出方法において、任意の第
１のフレームの代表点で検出した動きベクトルを用いて
、もしくは、この動きベクトルと第１のフレームの直前
に入力した第２のフレームの代表点の位置ベクトルとを
用いて、カメラの動きを示す第１の動きパラメータを求
め、この第１の動きパラメータを、フレーム毎に求め、
かつ、予め任意に定めた許容値を越えるまで積分し、第
１の動きパラメータの積分値が許容値を超えた時点で、
この積分値を積分区間で平均して、この積分区間のカメ
ラの動きを示す第２の動きパラメータを算出し、この第
２の動きパラメータに基づき、カメラの動きを検出する
ことを特徴とする。
【０００８】また、（２）上記（１）に記載のカメラワ
ーク検出方法において、第２のフレームで画像のパター
ンが非一様な小ブロックを標準辞書とし、この標準辞書
に対応する第１のフレーム中の小ブロックの近傍で、こ
の標準辞書のパターンと最も一致するパターンを求め、
求めたパターンの第１のフレーム中での位置と、標準辞
書の第２のフレームでの位置との差から動きベクトルを
検出することを特徴とする。
【０００９】また、（３）上記（２）に記載のカメラワ
ーク検出方法において、求めたパターンの第１のフレー
ム中での位置と、第２のフレームでの標準辞書の位置と
の差は、標準辞書のパターンの任意の位置の点を代表点
として求めることを特徴とする。
【００１０】また、（４）上記（１）から（３）のいず
れかに記載のカメラワーク検出方法において、小ブロッ
ク毎に定めたそれぞれの代表点の動きベクトルの方向と
大きさの統計的な偏差を求め、予め任意に定めた許容範
囲内の偏差を有する動きベクトルの平均値を算出し、こ
の動きベクトルの平均値を用いて、第１の動きパラメー
タの内、カメラの回転運動に係わる動きを示すパラメー
タを求め、そして、小ブロック毎に定めたそれぞれの代
表点の位置ベクトルの方向との差が予め任意に定めた許
容範囲内の方向を有する動きベクトルを抽出し、抽出し
たこの動きベクトルと位置ベクトルとの内積をそれぞれ
に算出し、この内積と位置ベクトルの大きさとを加算し
た値を位置ベクトルの大きさで正規化して撮像倍率をそ
れぞれに求め、それぞれに求めた撮像倍率の統計的な偏
差を求め、予め任意に定めた許容範囲内の偏差の撮像倍
率の平均値を算出し、この撮像倍率の平均値を用いて、
第１の動きパラメータの内、カメラのレンズ移動に係わ
る動きを示すパラメータを求めることを特徴とする。
【００１１】そして、（５）上記（１）から（４）のい
ずれかに記載のカメラワーク検出方法において、カメラ
の回転運動に係わる動きを示す第１の動きパラメータに
基づく第２の動きパラメータ、および、カメラのレンズ
移動に係わる動きを示す第１の動きパラメータに基づく
第２の動きパラメータを、フレーム単位に、それぞれ分
けて登録するテーブルに記述し、このテーブルを検索し
て、カメラの動きをフレーム単位に検出することを特徴
とする。
【００１２】
【作用】本発明においては、カメラワークの変化を表す
カメラのズームやパンの情報をフレーム毎に自動的に記
述するために、カメラの回転運動のパラメータ推定（第
１の動きパラメータ）、および、レンズ移動による撮像
倍率のパラメータ推定（第１の動きパラメータ）を行な
う。例えば、カメラの回転運動のパラメータ推定は、フ
レーム単位で時系列に入力して求めたブロック毎の動画
像の動きベクトルを用いて行ない。また、カメラのレン
ズ移動による撮像倍率のパラメータ推定は、この動きベ
クトルと、代表点の位置ベクトルを用いて行なう。さら
に、推定したパラメータをフレーム毎にそれぞれ積分し
、積分した動きパラメータが予め任意に定めた許容値を
越えるまで、この推定と積分処理を繰返し行なう。許容
値を越えた時点で、積分値をその積分区間で平均し、こ
の平均値をその積分区間での正式な動きベクトル（第２
の動きパラメータ）とする。このことにより、カメラワ
ークがゆっくりしたスピードの場合でも、カメラワーク
の検出に必要な動きベクトルを得ることができる。
【００１３】また、第１の動きパラメータの推定に用い
るブロック単位の動きベクトルは、非一様なパターンを
有するブロックのものを抽出し、誤検出の可能性が高く
なるブロックを事前に除去する。さらに、動きパラメー
タの推定は、複数のブロックにおける動きベクトルの方
向や大きさについての統計的な偏差を求め、量子化誤差
やノイズにより本来あるべき方向からずれてしまった許
容範囲外の動きベクトルについても予め除去することが
できる。
【００１４】さらに、このようにして得た信頼性の高い
パンやズームのカメラの動き情報を、それぞれ各フレー
ム毎に自動的に記述し格納することができる。そして、
格納したそれぞれの情報に基づき、目的とするパン動作
およびズーム動作の変化点を検索し、効率の良い画像編
集が可能となる。
【００１５】
【実施例】以下、本発明の実施例を、図面により詳細に
説明する
【００１６】図１は、本発明の一実施例を示す動画像の
カメラワーク検出システムの全体ブロック図である。
【００１７】本実施例のカメラワーク検出システムは、
シーケンシャルにビデオデータを記録するビデオディス
ク装置（図中、ＶＤと記載）１０とビデオテープレコー
ダ１１（図中、ＶＴＲと記載）、および、一定速度で放
送局等から一方的に送信（放送）されてくる画像を受信
するテレビチューナ（図中、ＴＶＴと記載）１２からな
る動画像入出力機器、これらの動画像入出力機器の制御
および入力先の切り換えを行うビデオコントローラ１３
、動画像がフレーム毎に格納されるフレームメモリ１４
、システム全体の制御を行なう中央処理装置１５、中央
処理装置１５で実行されるプログラムや、使用されるデ
ータを格納するメインメモリ１６、そして、メインメモ
リ１６の容量を補充するための外部メモリである磁気デ
ィスク装置１７により構成されている。
【００１８】そして、メインメモリ１６には、フレーム
メモリ１４に格納した動画像から動きベクトルを検出す
る動きベクトル検出プログラム（図中、検出Ｐｇｍと記
載）２と、検出した動きベクトルからパンおよびズーム
の動きを示す動きパラメータ（すなわち、第１、２の動
きパラメータ）の抽出処理を行なう動きパラメータ抽出
処理プログラム（図中、抽出Ｐｇｍと記載）３と、抽出
したパンおよびズームの動きを示す動きパラメータを、
メインメモリ１６の動き記述テーブル１８に登録する登
録処理プログラム（図中、登録Ｐｇｍと記載）４からな
るカメラワーク検出・登録処理プログラム（図中、カメ
ラワーク処理Ｐｇｍと記載）１が格納され、中央処理装
置１５は、このカメラワーク検出・登録処理プログラム
１に基づき、本発明に係わるカメラワーク検出および登
録処理を行なう。
【００１９】ビデオディスク装置１０は、シーケンシャ
ルにビデオデータを記録するが、ランダムアクセスが可
能である。また、ビデオテープレコーダ１１は、シーケ
ンシャルにビデオデータを記録し、アクセスもシーケン
シャルアクセスであるが、スロー再生が可能である。そ
して、テレビチューナ１２は、記録が不可能であって、
画像は一定速度で放送局等から一方適に送信（放送）さ
れてくる。
【００２０】ビデオコントローラ１３は、中央処理装置
１５の指令に基づき、ビデオディスク装置１０、ビデオ
テープレコーダ１１、テレビチューナ１２などの各種の
動画像入出力機器の制御を行うと共に、それらの１つに
、入力先を切り換えて接続し、動画像を取り込み、１フ
レームずつ、フレームメモリ１４に一時記憶する。
【００２１】そして、中央処理装置１５は、カメラワー
ク検出・登録処理プログラム１に基づき、フレームメモ
リ１４から読み出した動画像の動きを解析し、解析した
中間データ、例えば、カットの変わり目間のシーン内に
おける動画像の変化点、すなわち、パンおよびズームか
らなる動画像のカメラワークの情報を、フレーム毎に、
メインメモリ１６の動き記述テーブル１８に記述する。 尚、磁気ディスク装置１７にも動き記述テーブル１８を
設け、カメラワークの情報を、メインメモリ１６に一旦
格納した後、磁気ディスク装置１７に登録しても良い。
【００２２】このようにして、カメラワークの情報を記
述した動き記述テーブル１８を用いることにより、本実
施例のカメラワーク検出システムでは、例えば、「右か
ら左にパンしているシーンを見たい」、または、「ズー
ムアップ直後のシーンを見たい」などの動画像の検索や
、「パンの速度むらを修正したい」、「パンの速度をも
っと速くしたい」などの動画像の編集作業を支援するこ
とが可能になる。尚、動き記述テーブル１８に記述して
おくのではなく、例えば、パンやズームを示す動きベク
トル量を予め指定しておき、入力されてくる動画像の動
きベクトルを、比較しながらカメラワークを検出する操
作も可能である。
【００２３】このように、本実施例のカメラワーク検出
システムでは、特別なハードウェア構成は設けておらず
、ＡＶ機器（音声映像機器）とワークステーションなど
の装置で容易に構成することができる。以下、本実施例
のカメラワーク検出システムによる本発明に係わる処理
動作を詳しく説明する。
【００２４】図２は、図１における中央処理装置の本発
明に係わるカメラワーク検出処理動作を示すフローチャ
ートである。
【００２５】図１の中央処理装置１５による、カメラワ
ークの動きパラメータの検出動作、および、この検出に
よる動画像のフレーム毎の動きの記述動作を示す。
【００２６】初期化処理（ボックス６０）で、各種変数
に初期値を付与する。初期化処理の詳細は、図６で述べ
る。次に、画像入力処理（ボックス６１）では、動画像
を１フレーム（すなわち、第１のフレーム）だけフレー
ムメモリ１４に取り込む。この時の画像をＰｎとした時
、フレームメモリ１４の中には、一つ前のフレーム（す
なわち、第２のフレーム）の画像Ｐｎ−１も格納してお
く。そして、動きベクトル検出処理（ボックス６２）で
は、画像を多数のブロックに分割し、そのブロック毎に
動きベクトル（すなわち、第１の動きパラメータ）を計
算する。ここではブロックの中心位置の点の動きベクト
ルを求める。この動きベクトル検出処理の詳細は、図７
で後述する。このようにして、ブロック毎に求めた動き
ベクトルを用い、図１の中央処理装置１５は、図１のカ
メラワーク検出・登録処理プログラム１に基づき、本発
明に係わるパンの動き、および、ズームの動きに対する
検出および登録処理を行なう。
【００２７】すなわち、パンの動き検出処理（ボックス
６３）で、ブロック毎に求めた動きベクトルを統計的に
処理して、異常な動きベクトルは除外した上で、パンの
動きパラメータを計算する。このことにより、検出した
動きベクトルの信頼性を高める。尚、パンの動き検出処
理の詳細は、図８で述べる。次に、積分処理（ボックス
６４）では、フレーム毎にパンの動きパラメータを積分
する。これにより、速度の遅いパンも正確に検出できる
ようになる。積分処理の詳細は図９で述べる。さらに、
判断ボックス６５では、積分結果の絶対値が所定の閾値
αを超えた時点を検出する。もし超えた場合、積分区間
での平均処理（ボックス６６）で、積分結果を積分区間
で所要したフレーム数で割ることにより、積分区間での
平均値を求める。そして、パンの動き登録処理（ボック
ス６７）で、図１のメインメモリ１６内の動き記述テー
ブル１８に、この平均値からなるパンの動きパラメータ
（すなわち、第２の動きパラメータ）を書き込む。尚、
登録終了後積分処理のための各種変数は初期化しておく
。また、これらの積分区間での平均処理、および、パン
の動き登録処理の詳細は、それぞれ、図１０、図１１で
説明する。
【００２８】次に、ズームの倍率検出処理（ボックス６
８）では、ブロック毎に求めた動きベクトルと位置ベク
トルを統計的に処理して、異常な動きベクトルを除外し
た上で、ズームの倍率パラメータを計算する。このズー
ムの動き検出処理の詳細は、図１２で述べる。さらに、
積分処理（ボックス６９）では、フレーム毎にズームの
倍率パラメータを積分する。これにより、速度の遅いズ
ームも正確に検出できるようになる。積分処理の詳細は
、図１３で述べる。尚、ズームしていない状態では倍率
パラメータは「１」となるので、積分は倍率パラメータ
−「１」の値を用い、これを次の処理に利用する。判断
ボックス７０では、積分結果の絶対値が所定の閾値βを
超えた時点を検出し、もし超えた場合、積分区間で平均
を求め、ズームの倍率パラメータを図１の動き記述テー
ブル１８ヘ登録する。すなわち、積分区間での平均処理
（ボックス７１）で、積分結果を積分区間で所要したフ
レーム数で割ることにより平均値を求め、ズームの倍率
登録処理（ボックス７２）で、図１のメインメモリ１６
内の動き記述テーブル１８にズームの倍率パラメータを
書き込む。尚、登録終了後に、積分処理のための各種変
数は初期化しておく。また、これらの積分区間での平均
処理、および、ズームの倍率登録処理の詳細は、それぞ
れ、図１４、図１５で述べる。
【００２９】このようにして、一フレーム分におけるパ
ンの動き登録処理とズームの倍率登録処理が終了すると
、フレーム更新処理（ボックス７３）を行ない、ボック
ス６１からボックス７２までの処理を繰返し、次のフレ
ームに対して、パンの動き登録処理とズームの倍率登録
処理を行なう。尚、図１の動き記述テーブル１８を図１
のメインメモリ１６に格納する時に、フレーム数が大き
くなる場合は、外部メモリである図１の磁気ディスク１
７に格納するようにしても良い。
【００３０】次に、パンおよびズームの動き検出方法に
関して説明する。
【００３１】図３は、図１におけるカメラワーク検出シ
ステムで検出するカメラワークの透視変換モデルの一実
施例を示す説明図である。
【００３２】図３において、符号２０、２１、２２は空
間の直交座標系の軸であり、それぞれＸ軸２０、Ｙ軸２
１、Ｚ軸２２である。また符号２３は画像面であり、こ
の画像面２３の画像原点ｏをＺ軸２２が貫き、かつ、垂
直になるような平面とする。ｆは直交座標系の原点Ｏと
画像面２３との距離であり、焦点距離と呼ぶ。また、原
点Ｏは視点と呼ぶ。この透視変換モデルでは、空間中の
点Ｐ（Ｘ，Ｙ，Ｚ）は、この点Ｐと原点Ｏを結ぶ直線の
画像面２３との交点ｐに投影される。その点ｐの画像座
標を（ｘ，ｙ）とすれば、透視変換モデルの幾何学的関
係から、 　　　　ｘ＝（ｆ×Ｘ）÷Ｚ　　　　，ｙ＝（ｆ×Ｙ）
÷Ｚ　　　　　　　　　　　　　　　　　　（数１）と
なる。このモデルによれば、パンと呼ぶカメラワークは
、Ｘ軸２０またはＹ軸２１を回転させる運動であり、ズ
ームと呼ぶカメラワークは、画像面２３のＺ軸２２の平
行移動の運動である。まず、パンの動き、例えば、Ｙ軸
２１を回転させる運動に関しての説明を行なう。
【００３３】図４は、図１におけるカメラワーク検出シ
ステムのパンの動き検出動作の一実施例を示す説明図で
ある。
【００３４】図３および図４（ｂ）で示すＹ軸２１回り
の画像面２３の回転による画像面２３上の動きベクトル
の例を示し、図４（ａ）において、各ブロック３０の動
きベクトル（図中の矢印）は、ほぼ同じ大きさのものが
同じ方向を向く。図４（ｂ）では、Ｙ軸２１回りに、Δ
θだけ、座標系が回転した場合の点ｐ（ｘ，ｙ）の動き
ベクトルｖ（ｖｘ，ｖｙ）を示している。
【００３５】ここで、点ｐのＸ軸方向の動きベクトル成
分ｖｘは、図４（ｂ）により、 　　　　ｖｘ＝ｆ×（ｔａｎ（θ＋Δθ）−ｔａｎθ）
　　　　　　　　　　　　　　　　　　（数２）となる
。ここで、θは、点ｐの原点Ｏからの位置ベクトルのＹ
Ｚ平面とのなす角度であり、ｔａｎθ＝ｘ÷ｆである。 そこで、数２を変形すると、 　　　　ｖｘ＝ｆ×（（ｔａｎθ＋ｔａｎΔθ）÷（１
−ｔａｎθ×ｔａｎΔθ）−ｔａｎθ）　　　（数３）
となる。ここで、焦点距離ｆが画像面２３のサイズより
十分大きい時、数３は、 　　　　ｖｘ≒ｆ×ｔａｎΔθ　　　　　　　　　　　
　　　　　　　　　　　　　　　　　　　　　　　　　
　　　　（数４）で近似できる。したがって、動きベク
トルｖを求めることによってカメラの回転速度が間接的
に求められる。
【００３６】次に、ズームの動き、すなわち、画像面２
３のＺ軸２２の平行移動の運動に関しての説明を行なう
。
【００３７】図５は、図１におけるカメラワーク検出シ
ステムのズームの動き検出動作の一実施例を示す説明図
である。
【００３８】図３において、原点ＯからＺ軸２２方向へ
の画像面２３の平行移動Δｆによる画像面２３上の動き
ベクトルの例を示し、各ブロック３０の動きベクトルは
、画像原点ｏから放射状の方向に、画像原点ｏからの距
離に比例して大きくなる。ここで、ズームの倍率ｚは、 　　　　ｚ＝（ｆ＋Δｆ）÷ｆ　　　　　　　　　　　
　　　　　　　　　　　　　　　　　　　　　　　　　
　　　　（数５）であり、図３の透視変換モデルにより
、焦点距離ｆの時の画像面上での点ｐの位置ベクトルｐ
ｖ１（ｘ１，ｙ１）と、焦点距離ｆ＋Δｆの時の点ｐの
位置ベクトルｐｖ２（ｘ２，ｙ２）から、その絶対値を
用いて、　　　　ｚ＝‖ｐｖ２‖÷‖ｐｖ１‖　　　　
　　　　　　　　　　　　　　　　　　　　　　　　　
　　　　　（数６）でも記述できる。数６は、さらに画
像面上での点ｐの動きベクトルｖを用いて、 　　　　ｚ＝‖ｐｖ１＋ｖ‖÷‖ｐｖ１‖　　　　　　
　　　　　　　　　　　　　　　　　　　　　　　　（
数７）で記述できる。また、本実施例では、動きベクト
ルｖがノイズ等で誤差を持つ可能性があるので、位置ベ
クトルｐｖ１と方向が同じ成分の大きさだけを加算する
ようにしている。すなわち、 　　　　ｚ＝（（‖ｐｖ１‖）＋（ｖ・ｐｖ１））÷‖
ｐｖ１‖　　　　　　　　　　（数８）でズーム倍率を
求める。
【００３９】次に、図２で説明した図１におけるカメラ
ワーク検出システムの各処理ボックスの詳細を説明する
。
【００４０】図６は、図２における初期化処理の詳細の
一実施例を示すフローチャートである。
【００４１】ボックス６０１で、各種変数の初期値を０
にリセットする。すなわち、パンの動きパラメータの積
分用のワークエリアを意味する変数ＳＧＭＶＸおよびＳ
ＧＭＶＹと、ズーム倍率の積分用のワークエリアを意味
する変数ＳＧＭＺと、フレーム番号を意味する変数ｎと
、パンの動きパラメータの積分区間の始点と終点のフレ
ーム番号を意味する変数ＰＳおよびＰＥと、ズーム倍率
の動きパラメータの積分区間の始点と終点のフレーム番
号を意味する変数ＺＳおよびＺＥを、全て「０」にする
。
【００４２】図７は、図２における動きベクトル検出処
理の詳細の一実施例を示すフローチャートである。
【００４３】先ず、ボックス６２１で、動きベクトル検
出フラグＦｋを０にリセットする。これはブロックｋで
の動きベクトルの検出がされなかった状態である。次に
、ボックス６２２では、ブロックｋが、動きベクトル検
出に適しているかどうかを判定する。すなわち、本発明
では、動きベクトル検出に、パターンマッチングによる
相関値を用いているので、ブロック内が一様な濃度のパ
ターンでは、たとえ相関値が低くても信頼性はない。 そこで、事前に、ブロック内に縦、横、斜めのパターン
成分が一定値以上含まれているかどうかをチェックする
。
【００４４】ブロック６２３では、ブロック内に縦、横
、斜めのパターン成分が一定値以上含まれ、パターンが
非一様であるかどうかをチェックする。そして、パター
ンが非一様であると判定すると、ブロック６２４で、パ
ターンマッチングによる動きベクトルの検出を行う。 すなわち、ブロック６２４では、１フレーム前の画像Ｐ
ｎ−１のブロックｋのパターンを標準辞書として、画像
Ｐｎ中で最小となる相関値Ｍｉｎと、その時の偏移ΔＸ
ｋとΔＹｋを求める。そして、ブロック６２５では、最
小となる相関値が、閾値γより小さいことを判定する。 小さければ、ボックス６２６で、動きベクトル検出フラ
グＦｋを１にセットし、ブロックｋで、動きベクトルが
求まった状態にする。
【００４５】以上のことを全てのブロックｋについて行
うと、画面の各ブロックで、多数の動きベクトルが得ら
れることになる。このように、本実施例では、動きベク
トルを求める前に、ブロック内のパターンのチェックを
行っているので、信頼性の高い動きベクトルが求まる。 また、パターンマッチングによる動き検出であるので、
ノイズに対しても安定に動作する。
【００４６】図８は、図２におけるパンの動き検出処理
の詳細の一実施例を示すフローチャートである。
【００４７】先ず、ブロック６３１では、各ブロックで
求めた動きベクトルの平均（ＡＶＥＶＸ，ＡＶＥＶＹ）
と、標準偏差（ＳＴＶＸ，ＳＴＶＹ）を計算する。次に
、ブロック６３２で、各ブロックで求められた動きベク
トルから、この平均から標準偏差内に入っている動きベ
クトルを求める。そして、ブロック６３３では、平均か
ら標準偏差内に入っている動きベクトルについて、平均
を求め、パンの動きベクトル（ＶＸ，ＶＹ）とする。 このように本実施例では、単純な平均ではなく、異常な
動きベクトルを除いた上で平均化しており、得られる動
きベクトルの信頼性は高くなる。また、画面中に移動物
体が現われても、全画面の半分以下であればその影響は
ない。
【００４８】図９は、図２におけるパンの動き積分処理
の詳細の一実施例を示すフローチャートである。
【００４９】ブロック６４１で、積分結果をＳＧＭＶＸ
、ＳＧＭＶＹに格納し、ブロック６４２で、積分区間の
終点のフレームを１つ更新し、変数ＰＥに格納する。
【００５０】図１０は、図２におけるパンの積分区間で
の平均処理の詳細の一実施例を示すフローチャートであ
る。
【００５１】ブロック６６１においては、積分区間（Ｐ
Ｅ−ＰＳ）で、ＳＧＭＶＸ、ＳＧＭＶＹを割り、パンの
動きパラメータを変数ＤＸ、ＤＹに格納する。
【００５２】図１１は、図２におけるパンの動き登録処
理の詳細の一実施例を示すフローチャートである。
【００５３】ブロック６７１で、変数ＤＸ、ＤＹを、図
１の動き記述テーブル１８におけるフレーム区間ＰＳか
らＰＥ−１までの該当するＤＸ、ＤＹの項に登録する。 次に、ブロック６７２で、次の積分区間の初期化のため
、変数ＰＳに変数ＰＥの内容を代入する。そして、ブロ
ック６７３で、次の積分の初期化のため、変数ＳＧＭＶ
Ｘ、ＳＧＭＶＹを０にリセットする。
【００５４】図１２は、図２におけるズームの倍率検出
処理の詳細の一実施例を示すフローチャートである。
【００５５】ブロック６８１では、各ブロックの中心の
点の位置ベクトルと、それに対応する動きベクトルから
、数式８により、ズームの倍率Ｚｋを計算する。尚、こ
の時、動きベクトルの方向と、位置ベクトルの方向が大
幅にずれている場合は、異常な動きベクトルと判断し、
ズームの倍率計算は行わない。また、ズームの倍率Ｚｋ
は、値１を中心に、ズームアップ時には１より大きくな
り、ズームダウン時には１より小さくなる。次に、ブロ
ック６８２では、各ブロックで求めたズーム倍率Ｚｋの
平均と標準偏差を計算し、変数ＡＶＥＺ、ＳＴＶＺにそ
れぞれ格納する。そして、ブロック６８３で、各ブロッ
クで求めたズーム倍率Ｚｋが、この平均から標準偏差内
に入っているものについてのみ平均を求め、ズーム倍率
Ｚとする。このように本実施例では、ズームの検出につ
いても、単純な平均ではなく、異常なズーム倍率を除い
た上で平均化しており、得られるズーム倍率の信頼性は
高くなる。また、パンの検出の場合と同様に、画面中に
移動物体が現われても、全画面の半分以下であればその
影響はない。
【００５６】図１３は、図２におけるズームの倍率積分
処理の詳細の一実施例を示すフローチャートである。
【００５７】ブロック６９１で、積分結果を変数ＳＧＭ
Ｚに格納するが、この際、ズーム倍率Ｚから１を差し引
いたものを積分する。次に、ブロック６９２で、積分区
間の終点のフレームを１つ更新し、変数ＺＥに格納する
。
【００５８】図１４は、図２におけるズームの積分区間
での平均処理の詳細の一実施例を示すフローチャートで
ある。
【００５９】ブロック７１１では、積分区間（ＺＥ−Ｚ
Ｓ）でＳＧＭＺを割り、それに１を加算した後、ズーム
の倍率を変数Ｚに格納する。
【００６０】図１５は、図２におけるズームの倍率登録
処理の詳細の一実施例を示すフローチャートである。
【００６１】ブロック７２１では、変数Ｚを、図１の動
き記述テーブル１８におけるフレーム区間ＺＳからＺＥ
−１までの該当するＺの項に登録する。次に、ブロック
７２２で、次の積分区間の初期化のため、変数ＺＳに変
数ＺＥの内容を代入する。また、ブロック７２３で、次
の積分の初期化のため、変数ＳＧＭＺを０にリセットす
る。
【００６２】以上、図１〜図１５を用いて説明したよう
に、本実施例のカメラワーク検出方法によれば、パンや
ズームなどのカメラワークを、フレーム毎に自動的に記
述することができる。この時、動きベクトルを多数のブ
ロックで検出しているので、統計的に矛盾のある動きベ
クトルを、予め除去することが可能となり、記述内容の
信頼性を向上させることができる。また、動きパラメー
タは、フレーム毎に積分するようにしており、カメラワ
ークがゆっくりしたスピードの場合でも、動きパラメー
タの検出ができる。また、処理を高速化するためには、
たとえば画像入力処理時点で、画像を１／８程度のサイ
ズに間引いても良い。この場合、検出精度が粗くなり、
フレーム間で８画素以上の動きがなければ間引き画像上
では検出できない。しかしながら、フレーム毎に積分す
るようにしており、８フレーム積分する間に、動きが検
出できる。従って、通常のワークステーションでも、実
用的な速度で、動画像のカメラワークを記述することが
できる。
【００６３】
【発明の効果】本発明によれば、パンやズームなどのカ
メラワークを、たとえ移動物体が画面に侵入しても正確
に検出でき、かつ、通常のワークステーションでも高速
に検出して記述することが可能となり、このカメラワー
クの記述データを、ビデオ編集時の動画像の検索やパン
などの速度調整作業の情報として有効に利用することが
でき、画像編集処理操作の向上が可能となる。
【００６４】
【図面の簡単な説明】
【図１】本発明の一実施例を示す動画像のカメラワーク
検出システムの全体ブロック図である。
【図２】図１における中央処理装置の本発明に係わるカ
メラワーク検出処理動作を示すフローチャートである。
【図３】図１におけるカメラワーク検出システムで検出
するカメラワークの透視変換モデルの一実施例を示す説
明図である。
【図４】図１におけるカメラワーク検出システムのパン
の動き検出動作の一実施例を示す説明図である。
【図５】図１におけるカメラワーク検出システムのズー
ムの動き検出動作の一実施例を示す説明図である。
【図６】図２における初期化処理の詳細の一実施例を示
すフローチャートである。
【図７】図２における動きベクトル検出処理の詳細の一
実施例を示すフローチャートである。
【図８】図２におけるパンの動き検出処理の詳細の一実
施例を示すフローチャートである。
【図９】図２におけるパンの動き積分処理の詳細の一実
施例を示すフローチャートである。
【図１０】図２におけるパンの積分区間での平均処理の
詳細の一実施例を示すフローチャートである。
【図１１】図２におけるパンの動き登録処理の詳細の一
実施例を示すフローチャートである。
【図１２】図２におけるズームの倍率検出処理の詳細の
一実施例を示すフローチャートである。
【図１３】図２におけるズームの倍率積分処理の詳細の
一実施例を示すフローチャートである。
【図１４】図２におけるズームの積分区間での平均処理
の詳細の一実施例を示すフローチャートである。
【図１５】図２におけるズームの倍率登録処理の詳細の
一実施例を示すフローチャートである。
【符号の説明】
１　　カメラワーク検出・登録処理プログラム２　　動
きベクトル検出プログラム ３　　動きパラメータ抽出処理プログラム４　　登録処
理プログラム １０　　ビデオディスク装置 １１　　ビデオテープレコーダ １２　　テレビチューナ １３　　ビデオコントローラ １４　　フレームメモリ １５　　中央処理装置 １６　　メインメモリ １７　　磁気ディスク装置 １８　　動き記述テーブル ２０　　Ｘ軸 ２１　　Ｙ軸 ２２　　Ｚ軸 ２３　　画像面 ３０　　ブロック

Claims (5)

    【特許請求の範囲】
  1. 【請求項１】　　連続した複数枚の画像からなる動画像
    を、フレーム単位で時系列に入力し、該フレーム間で、
    小ブロック毎に定めたそれぞれの代表点の偏移量に対す
    る相関値に基づき動きベクトルを検出し、該動きベクト
    ルを用いて、カメラの動きを検出するカメラワーク検出
    方法において、任意の上記第１のフレームの代表点で検
    出した動きベクトルを用いて、もしくは、該動きベクト
    ルと該第１のフレームの直前に入力した第２のフレーム
    の代表点の位置ベクトルとを用いて、上記カメラの動き
    を示す第１の動きパラメータを求め、該第１の動きパラ
    メータを、上記フレーム毎に求め、かつ、予め任意に定
    めた許容値を越えるまで積分し、該第１の動きパラメー
    タの積分値が上記許容値を超えた時点で、該積分値を積
    分区間で平均して、該積分区間の上記カメラの動きを示
    す第２の動きパラメータを算出し、該第２の動きパラメ
    ータに基づき、上記カメラの動きを検出することを特徴
    とするカメラワーク検出方法。
  2. 【請求項２】　　請求項１に記載のカメラワーク検出方
    法において、上記第２のフレームで、画像のパターンが
    非一様な小ブロックを標準辞書とし、該標準辞書に対応
    する上記第１のフレーム中の上記小ブロックの近傍で、
    該標準辞書のパターンと最も一致するパターンを求め、
    該求めたパターンの上記第１のフレーム中での位置と、
    上記標準辞書の上記第２のフレームでの位置との差から
    上記動きベクトルを検出することを特徴とするカメラワ
    ーク検出方法。
  3. 【請求項３】　　請求項２に記載のカメラワーク検出方
    法において、上記求めたパターンの上記第１のフレーム
    中での位置と、上記第２のフレームでの上記標準辞書の
    位置との差は、上記標準辞書のパターンの任意の位置の
    点を代表点として求めることを特徴とするカメラワーク
    検出方法。
  4. 【請求項４】　　請求項１から請求項３のいずれかに記
    載のカメラワーク検出方法において、上記小ブロック毎
    に定めたそれぞれの代表点の動きベクトルの方向と大き
    さの統計的な偏差を求め、予め任意に定めた許容範囲内
    の偏差を有する上記代表点の動きベクトルの平均値を算
    出し、該動きベクトルの平均値を用いて、上記第１の動
    きパラメータの内、上記カメラの回転運動に係わる動き
    を示すパラメータを求め、そして、上記小ブロック毎に
    定めたそれぞれの代表点の位置ベクトルの方向との差が
    予め任意に定めた許容範囲内の方向を有する動きベクト
    ルを抽出し、該抽出した動きベクトルと上記位置ベクト
    ルとの内積をそれぞれに算出し、該内積と上記位置ベク
    トルの大きさとを加算した値を上記位置ベクトルの大き
    さで正規化して撮像倍率をそれぞれに求め、該それぞれ
    に求めた撮像倍率の統計的な偏差を求め、予め任意に定
    めた許容範囲内の偏差の撮像倍率の平均値を算出し、該
    撮像倍率の平均値を用いて、上記第１の動きパラメータ
    の内、上記カメラのレンズ移動に係わる動きを示すパラ
    メータを求めることを特徴とするカメラワーク検出方法
    。
  5. 【請求項５】　　請求項１から請求項４のいずれかに記
    載のカメラワーク検出方法において、上記カメラの回転
    運動に係わる動きを示す上記第１の動きパラメータに基
    づく上記第２の動きパラメータ、および、上記カメラの
    レンズ移動に係わる動きを示す上記第１の動きパラメー
    タに基づく上記第２の動きパラメータを、上記フレーム
    単位に、それぞれ分けて登録するテーブルに記述し、該
    テーブルを検索して、上記カメラの動きをフレーム単位
    に検出することを特徴とするカメラワーク検出方法。
JP3070475A 1991-03-11 1991-03-11 カメラワーク検出方法 Expired - Lifetime JP2677312B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP3070475A JP2677312B2 (ja) 1991-03-11 1991-03-11 カメラワーク検出方法
DE69219944T DE69219944T2 (de) 1991-03-11 1992-02-17 Verfahren zur Erfassung der Bewegung einer Kamera
EP92102624A EP0509208B1 (en) 1991-03-11 1992-02-17 Camera work detecting method
US07/840,825 US5267034A (en) 1991-03-11 1992-02-25 Camera work detecting method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP3070475A JP2677312B2 (ja) 1991-03-11 1991-03-11 カメラワーク検出方法

Publications (2)

Publication Number Publication Date
JPH04281679A true JPH04281679A (ja) 1992-10-07
JP2677312B2 JP2677312B2 (ja) 1997-11-17

Family

ID=13432591

Family Applications (1)

Application Number Title Priority Date Filing Date
JP3070475A Expired - Lifetime JP2677312B2 (ja) 1991-03-11 1991-03-11 カメラワーク検出方法

Country Status (4)

Country Link
US (1) US5267034A (ja)
EP (1) EP0509208B1 (ja)
JP (1) JP2677312B2 (ja)
DE (1) DE69219944T2 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002536746A (ja) * 1999-02-01 2002-10-29 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 動画シーケンスを表す記述子とその記述子を使用する画像検索システム
KR100443677B1 (ko) * 2001-09-29 2004-08-09 엘지전자 주식회사 동영상의 모션벡터 양자화를 이용한 카메라 모션 검출방법
KR100453222B1 (ko) * 2001-12-17 2004-10-15 한국전자통신연구원 카메라 움직임 판별 장치 및 방법
KR100618395B1 (ko) * 2005-03-18 2006-09-01 에스케이 텔레콤주식회사 카메라 움직임 입력 수치화 방법 및 그 장치
JP2007081767A (ja) * 2005-09-14 2007-03-29 Hitachi Ltd 撮像装置及び撮像方法
JP2007104516A (ja) * 2005-10-07 2007-04-19 Sony Corp 画像処理装置、および、画像処理方法、プログラム、並びに、記録媒体
EP2273450A2 (en) 2009-06-18 2011-01-12 FUJIFILM Corporation Target tracking apparatus, image tracking apparatus, methods of controlling operation of same, and digital camera
JP2012217165A (ja) * 2011-03-31 2012-11-08 Fujitsu Ltd ビデオにおけるカメラ動きの型を検出する方法および装置

Families Citing this family (53)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB9204117D0 (en) * 1992-02-26 1992-04-08 British Broadcasting Corp Video image processing
GB9206396D0 (en) * 1992-03-24 1992-05-06 British Broadcasting Corp Video image motion measurement
EP0590759B1 (en) * 1992-08-12 1998-12-09 International Business Machines Corporation System and method for locating video segment boundaries
EP0878963A1 (en) * 1992-10-09 1998-11-18 Sony Corporation Producing and recording images
KR100215586B1 (ko) * 1992-11-09 1999-08-16 모리시타 요이찌 다이제스트 화상 자동생성 장치 및 다이제스트 화상 자동생성 방법
US6034723A (en) * 1992-11-20 2000-03-07 Sony Corporation Image movement vector detection apparatus
US6236682B1 (en) * 1993-03-08 2001-05-22 Sony Corporation Video motion vector detection including rotation and/or zoom vector generation
JPH0767015A (ja) * 1993-08-24 1995-03-10 Canon Inc 画像記録装置
JPH07135663A (ja) * 1993-09-17 1995-05-23 Oki Electric Ind Co Ltd 動きベクトル検出方法および動きベクトル検出装置
US6211912B1 (en) * 1994-02-04 2001-04-03 Lucent Technologies Inc. Method for detecting camera-motion induced scene changes
GB9404091D0 (en) * 1994-03-03 1994-04-20 Snell & Wilcox Ltd Video signal processing
US6271892B1 (en) 1994-06-02 2001-08-07 Lucent Technologies Inc. Method and apparatus for compressing a sequence of information-bearing frames having at least two media
US6493031B1 (en) * 1995-03-31 2002-12-10 Canon Kabushiki Kaisha Visual information processing method and apparatus for extracting feature quantities from a two-dimensional image signal
US5973733A (en) * 1995-05-31 1999-10-26 Texas Instruments Incorporated Video stabilization system and method
JPH0973109A (ja) * 1995-09-06 1997-03-18 Nikon Corp ブレ検出装置
US5666504A (en) * 1995-09-29 1997-09-09 Intel Corporation Method for displaying a graphical rocker button control
US5929940A (en) * 1995-10-25 1999-07-27 U.S. Philips Corporation Method and device for estimating motion between images, system for encoding segmented images
DE19545990A1 (de) * 1995-12-09 1997-06-12 Thomson Brandt Gmbh System zur Aufnahme von Bildern
KR100215448B1 (ko) * 1996-04-27 1999-08-16 윤종용 캠코더의 손떨림/이동속도 디스플레이장치
CN1055187C (zh) * 1996-10-07 2000-08-02 广播电影电视部广播科学研究院 视频节目制作参数的提取方法及其系统
JP3907254B2 (ja) * 1996-12-27 2007-04-18 キヤノン株式会社 画像記録装置、画像記録方法及びコンピュータ可読の記録媒体
CN1053547C (zh) * 1997-01-10 2000-06-14 广播电影电视部广播科学研究院 用节目制作参数进行图象运动估计的装置及其方法
AU9449698A (en) * 1997-10-10 1999-05-03 Harlequin Limited Image processing system, method and computer program product
US6266369B1 (en) * 1998-06-09 2001-07-24 Worldgate Service, Inc. MPEG encoding technique for encoding web pages
US6268864B1 (en) 1998-06-11 2001-07-31 Presenter.Com, Inc. Linking a video and an animation
US6307550B1 (en) * 1998-06-11 2001-10-23 Presenter.Com, Inc. Extracting photographic images from video
JP2002518723A (ja) * 1998-06-11 2002-06-25 プレゼンター．コム ビデオからのアニメーションの創出
US6081278A (en) * 1998-06-11 2000-06-27 Chen; Shenchang Eric Animation object having multiple resolution format
JP2002535894A (ja) * 1999-01-12 2002-10-22 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ カメラ動きパラメータを推定する方法
US6748158B1 (en) * 1999-02-01 2004-06-08 Grass Valley (U.S.) Inc. Method for classifying and searching video databases based on 3-D camera motion
TW472484B (en) * 1999-03-09 2002-01-11 Sanyo Electric Co Method and apparatus for processing camera signals
US7996878B1 (en) 1999-08-31 2011-08-09 At&T Intellectual Property Ii, L.P. System and method for generating coded video sequences from still media
EP1944770A3 (en) 1999-12-16 2008-07-23 Muvee Technologies Pte Ltd. System and method for video production
US6249281B1 (en) * 2000-02-28 2001-06-19 Presenter.Com On-demand presentation graphical user interface
US20020039138A1 (en) * 2000-09-29 2002-04-04 Edelson Steven D. Method and apparatus for automatically adjusting video panning and zoom rates
US7751683B1 (en) * 2000-11-10 2010-07-06 International Business Machines Corporation Scene change marking for thumbnail extraction
WO2002052565A1 (en) * 2000-12-22 2002-07-04 Muvee Technologies Pte Ltd System and method for media production
EP1488630B1 (en) * 2002-03-14 2015-07-29 UTC Fire & Security Americas Corporation, Inc. High-speed search of recorded video information to detect motion
EP1376471A1 (en) * 2002-06-19 2004-01-02 STMicroelectronics S.r.l. Motion estimation for stabilization of an image sequence
EP1377040A1 (en) * 2002-06-19 2004-01-02 STMicroelectronics S.r.l. Method of stabilizing an image sequence
JP4223762B2 (ja) * 2002-08-26 2009-02-12 ソニー株式会社 映像処理装置、映像処理方法、プログラム及び記録媒体、並びに映像処理システム
GB0229096D0 (en) * 2002-12-13 2003-01-15 Qinetiq Ltd Image stabilisation system and method
JP3876275B2 (ja) * 2002-12-27 2007-01-31 博 有澤 多視点ビデオキャプチャシステム
FR2882160B1 (fr) * 2005-02-17 2007-06-15 St Microelectronics Sa Procede de capture d'images comprenant une mesure de mouvements locaux
JP4606278B2 (ja) * 2005-09-07 2011-01-05 日本電信電話株式会社 映像構造化方法及び装置及びプログラム
US7553229B2 (en) * 2006-03-21 2009-06-30 Avago Technologies General Ip (Singapore) Pte. Ltd. Active referencing method with interleaved crosshair navigation frames
US8666661B2 (en) * 2006-03-31 2014-03-04 The Boeing Company Video navigation
EP2063635A4 (en) * 2006-09-12 2009-12-09 Panasonic Corp CONTENT IMAGE FORMATION DEVICE
JP5009639B2 (ja) * 2007-02-09 2012-08-22 株式会社リコー レーザ書換システム
US20130089301A1 (en) * 2011-10-06 2013-04-11 Chi-cheng Ju Method and apparatus for processing video frames image with image registration information involved therein
US9420170B2 (en) 2013-12-30 2016-08-16 Nxp B.V. Graphical user interface for video recording device
US20160148648A1 (en) * 2014-11-20 2016-05-26 Facebook, Inc. Systems and methods for improving stabilization in time-lapse media content
EP3453168A4 (en) * 2016-05-02 2019-11-27 HRL Laboratories, LLC EFFICIENT HYBRID PROCESS FOR EGOBEWEGUNG WITH VIDEOS RECORDED ON A VIDEO CAMERA

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07118784B2 (ja) * 1984-10-27 1995-12-18 ソニー株式会社 テレビジヨン信号の動き検出方法
EP0250533B1 (en) * 1985-12-24 1993-01-27 British Broadcasting Corporation Method of coding a video signal for transmission in a restricted bandwidth
ATE74219T1 (de) * 1987-06-02 1992-04-15 Siemens Ag Verfahren zur ermittlung von bewegungsvektorfeldern aus digitalen bildsequenzen.
GB2220319B (en) * 1988-07-01 1992-11-04 Plessey Co Plc Improvements in or relating to image stabilisation
DE68928217T2 (de) * 1988-09-09 1998-01-29 Canon Kk Automatische Bildstabilisierungsvorrichtung
DE68922610T2 (de) * 1989-09-25 1996-02-22 Rai Radiotelevisione Italiana Umfassendes System zur Codierung und Übertragung von Videosignalen mit Bewegungsvektoren.
EP0425288B1 (en) * 1989-10-26 1999-09-22 Canon Kabushiki Kaisha Movement detection apparatus
GB9001468D0 (en) * 1990-01-23 1990-03-21 Sarnoff David Res Center Computing multiple motions within an image region
JP2863818B2 (ja) * 1990-08-31 1999-03-03 工業技術院長 動画像の変化点検出方法

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002536746A (ja) * 1999-02-01 2002-10-29 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 動画シーケンスを表す記述子とその記述子を使用する画像検索システム
KR100443677B1 (ko) * 2001-09-29 2004-08-09 엘지전자 주식회사 동영상의 모션벡터 양자화를 이용한 카메라 모션 검출방법
KR100453222B1 (ko) * 2001-12-17 2004-10-15 한국전자통신연구원 카메라 움직임 판별 장치 및 방법
KR100618395B1 (ko) * 2005-03-18 2006-09-01 에스케이 텔레콤주식회사 카메라 움직임 입력 수치화 방법 및 그 장치
JP2007081767A (ja) * 2005-09-14 2007-03-29 Hitachi Ltd 撮像装置及び撮像方法
JP2007104516A (ja) * 2005-10-07 2007-04-19 Sony Corp 画像処理装置、および、画像処理方法、プログラム、並びに、記録媒体
EP2273450A2 (en) 2009-06-18 2011-01-12 FUJIFILM Corporation Target tracking apparatus, image tracking apparatus, methods of controlling operation of same, and digital camera
US8988529B2 (en) 2009-06-18 2015-03-24 Fujifilm Corporation Target tracking apparatus, image tracking apparatus, methods of controlling operation of same, and digital camera
JP2012217165A (ja) * 2011-03-31 2012-11-08 Fujitsu Ltd ビデオにおけるカメラ動きの型を検出する方法および装置

Also Published As

Publication number Publication date
US5267034A (en) 1993-11-30
DE69219944D1 (de) 1997-07-03
JP2677312B2 (ja) 1997-11-17
EP0509208A3 (en) 1993-03-03
EP0509208A2 (en) 1992-10-21
DE69219944T2 (de) 1998-02-05
EP0509208B1 (en) 1997-05-28

Similar Documents

Publication Publication Date Title
JPH04281679A (ja) カメラワーク検出方法
EP3413236B1 (en) Control apparatus, method of controlling image sensing device, and computer-readable storage medium
EP0666687B1 (en) Method for detecting camera motion induced scene changes
CN100481938C (zh) 活动对象跟踪系统、活动对象跟踪控制设备和方法
EP1914682B1 (en) Image processing system and method for improving repeatability
US11196943B2 (en) Video analysis and management techniques for media capture and retention
KR100676232B1 (ko) 물체추적방법, 물체추적장치 및 물체추적을 행하기 위한 계산기의 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체
US20200160560A1 (en) Method, system and apparatus for stabilising frames of a captured video sequence
JPS63166370A (ja) 画像動き補正装置
US7265777B2 (en) Method for abstracting multiple moving objects
US6965699B2 (en) Camera information coding/decoding method for synthesizing stereoscopic real video and a computer graphic image
EP3718302B1 (en) Method and system for handling 360 degree image content
CN107820041B (zh) 隐私遮挡方法及装置
JP3286360B2 (ja) 動画像ダイジェスト自動表示装置
JPH04148282A (ja) 画像撮像装置の撮像状態検出方法
Rasti et al. Video Stabilization and Completion Using the Scale-Invariant Features and RANSAC Robust Estimator
US20190297265A1 (en) User-feedback video stabilization device and method
JP5003458B2 (ja) 画像信号処理装置、表示装置、画像信号処理方法、プログラム及び記録媒体
CN117011345A (zh) 一种基于区域扩展的高速运动目标的实时跟踪方法及装置
US9773191B2 (en) Video processing method and system
Mohanna et al. Digital image stabilization for video images
JP3263794B2 (ja) 画像処理装置
JPH04320589A (ja) 動画像中の移動物体抽出方法
JPH07284014A (ja) 画像取り扱い装置
JP2019125974A (ja) 画像処理装置、画像処理方法及びプログラム

Legal Events

Date Code Title Description
EXPY Cancellation because of completion of term