JP3502525B2 - カメラパラメータ推定方法 - Google Patents

カメラパラメータ推定方法

Info

Publication number
JP3502525B2
JP3502525B2 JP03541697A JP3541697A JP3502525B2 JP 3502525 B2 JP3502525 B2 JP 3502525B2 JP 03541697 A JP03541697 A JP 03541697A JP 3541697 A JP3541697 A JP 3541697A JP 3502525 B2 JP3502525 B2 JP 3502525B2
Authority
JP
Japan
Prior art keywords
motion vector
camera parameter
value
camera
feature space
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP03541697A
Other languages
English (en)
Other versions
JPH10233958A (ja
Inventor
久美 秦泉寺
聡 石橋
博 小寺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP03541697A priority Critical patent/JP3502525B2/ja
Publication of JPH10233958A publication Critical patent/JPH10233958A/ja
Application granted granted Critical
Publication of JP3502525B2 publication Critical patent/JP3502525B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、時系列画像から該
画像を撮像したカメラの操作による動きを推定するカメ
ラパラメータ推定方法に関するものである。
【0002】
【従来の技術】以下の説明を行うにあたり、実空間の座
標系を(x,y,z)とする。ここでxは水平方向、y
は垂直方向、zは奥行き方向を示す。カメラの操作と
は、パン(カメラのx方向の回転)、チルト(y方向の
回転)、ズーム(焦点距離の変化)、トラック(カメラ
のx方向の移動)、ブーム(y方向の移動)、ドリー
(z方向への移動)の6種類である。
【0003】画像を撮像したカメラの操作による動きを
推定する従来の技術においては、オプティカルフロー
(動きベクトル)を特徴空間の一種であるHough空
間にマッピングして動きベクトルの発散点、収束点か
ら、カメラの移動を伴わない動き(パン、チルト、ズー
ム)の推定を行っていた。
【0004】また、別の従来技術においては、動きベク
トルの大きさをヒストグラムにして、その分布の特性か
ら「カメラ操作の種類が何であるか」を推測することが
可能であった。
【0005】参考文献:「動画像インデクシングを目的
としたカメラ操作の規定方法」阿久津他、電子情報通信
学会論文誌D−II Vol.J75−D−II N
o.2pp.226−235 1992年2月。
【0006】
【発明が解決しようとする課題】しかしながら、上記従
来の技術のうちで、オプティカルフロー(動きベクト
ル)を特徴空間の一種であるHough空間にマッピン
グして動きベクトルの発散点、収束点から、カメラの移
動を伴わない動きを推定する方法では、カメラの移動を
伴う動き(トラック、ブーム、ドリー)の推定を行うこ
とができないという問題点があった。
【0007】また、動きベクトルの大きさをヒストグラ
ムにして、その分布の特性から「カメラ操作の種類が何
であるか」を推測する方法では、カメラパラメータ値
(カメラ操作による動きを数値的に表したもの)の推定
は不可能であるという問題点があった。
【0008】本発明の目的は、時系列画像からその画像
を撮像したカメラの操作の種類の特定だけでなく、その
カメラの操作のカメラパラメータ値そのものを種類を限
定することなく推定する方法を提供することにある。
【0009】
【課題を解決するための手段】上記の目的を達成するた
めに、本発明は、フレーム毎に算出された動きベクトル
の位置座標による微分値を計算する動きベクトル微分係
数算出過程と、前記動きベクトル微分係数算出過程で算
出された動きベクトルの微分値を特徴空間内でクラスタ
リングしクラスタの分布からカメラパラメータの拡大縮
小要因を推定する拡大縮小要因推定過程と、前記拡大縮
小要因推定過程にて推定されたカメラパラメータの拡大
縮小要因ともとの動きベクトルから移動回転要因に相当
する動きベクトルを算出する拡大縮小・移動回転要因分
離過程と、前記拡大縮小・移動回転要因分離過程で算出
された動きベクトルを特徴空間内でクラスタリングしク
ラスタの分布からカメラ操作の移動回転要因を推定する
移動回転要因推定過程と、を有することを特徴とする。
【0010】また、前記拡大縮小要因推定過程では、動
きベクトル微分係数算出過程で算出された動きベクトル
の微分値を特徴空間内でクラスタリングし、前記クラス
タリングされたクラスタの分布から頻度の大きい顕著な
クラスタを検出し、該クラスタが特徴空間の(0,0)
の位置を中心に立つ場合にはズームおよびドリーのカメ
ラパラメータの値をそれぞれ0と推定し、該クラスタが
特徴空間の(α,α)、α≠0の位置を中心に単峰性で
立つ場合にはズームのカメラパラメータの値をαと、ド
リーのカメラパラメータの値を0と推定し、該クラスタ
が特徴空間の複数nの(αn,αn)、αn≠0の位置を
中心に多峰性で立つ場合にはズームのカメラパラメータ
の値を0と、ドリーのカメラパラメータの値をαnと推
定することを特徴とする。
【0011】さらに、前記移動回転要因推定過程では、
拡大縮小・移動回転要因分離過程で算出された動きベク
トルを特徴空間内でクラスタリングし、前記クラスタリ
ングされたクラスタの分布から頻度の大きい顕著なクラ
スタを検出し、該クラスタが特徴空間の(Vx,Vy)の
位置を中心に単峰性で立つ場合にはパンのカメラパラメ
ータの値をVx、チルトのカメラパラメータの値をVy
トラックおよびブームのカメラパラメータの値をそれぞ
れ0と推定し、該クラスタがある特徴空間のある直線上
の複数nの(Vx n,Vy n)の位置に並ぶ場合には該直線
の特徴空間におけるx方向切片をbx、y方向切片をby
としてパンのカメラパラメータの値をbx、チルトのカ
メラパラメータの値をby、トラックのカメラパラメー
タの値をVx n−bxおよびブームのカメラパラメータの
値をVy n−byと推定することを特徴とする。
【0012】本発明では、動きベクトル微分係数算出過
程、拡大縮小要因推定過程、拡大縮小・移動回転要因分
離過程、移動回転要因推定過程を有することを特徴とす
る。従来の技術とは、局所的な動きベクトルを微分した
り、クラスタリングしたりすることで、6つのカメラ操
作における拡大縮小要因(ズーム、ドリー)と移動回転
要因(パン、チルト、トラック、ブーム)を分離して推
定することができ、これらの拡大縮小要因と移動回転要
因を分離できると、通常の動きベクトルのクラスタリン
グでは一見ランダムなクラスタをカメラの操作によって
統合することが可能となる点が異なる。
【0013】本発明では、動きベクトル算出過程で画素
毎にあるいは画素の集合毎に動きベクトルを算出し、動
きベクトル微分係数算出過程でこの動きベクトルを位置
座標で微分し、拡大縮小要因推定過程で、動きベクトル
の微分係数を特徴空間内でクラスタリングし、クラスタ
の分布から拡大縮小要因(ズーム、ドリーの係数)を推
定する。拡大縮小・移動回転要因分離過程では元の動き
ベクトルから拡大縮小要因を引き算し、移動回転要因推
定過程でこの動きベクトルを特徴空間内でクラスタリン
グし、クラスタの分布から移動回転要因(パン、チル
ト、トラック、ブームの係数)を推定する。以上で、全
ての基本的なカメラの操作のカメラパラメータ値を推定
可能にする。
【0014】
【発明の実施の形態】以下、図を用いて本発明の実施形
態例を詳細に説明する。
【0015】図1は本発明の一実施形態例に係るアルゴ
リズムの概略を示す。1は動きベクトル算出部、2は動
きベクトル微分係数算出部、3は拡大縮小要因推定部、
4は拡大縮小・移動回転要因分離部、5は移動回転要因
推定部である。
【0016】図2は本実施形態例における拡大縮小要因
推定部3の概念を示す。
【0017】図3は本実施形態例における拡大縮小要因
推定部3の詳細な手順をフローチャートで示す。
【0018】図4は本実施形態例における移動回転要因
推定部5の概念を示す。
【0019】図5は本実施形態例における移動回転要因
推定部5の詳細な手順をフローチャートで示す。
【0020】カメラ操作と動きベクトル
【0021】
【数1】
【0022】の関係式は、以下の式(1)の様になる。
【0023】
【数2】
【0024】ここで、全ての動きベクトルは、
【0025】
【数3】
【0026】であり、x,y方向の2次元の特徴空間の
成分で表される。zは点
【0027】
【数4】
【0028】における奥行きの値である。
【0029】(2)式の右辺第1項はカメラのズーム、
第2項はパン・チルト、第3項はドリー、第4項はトラ
ック、ブームによる動きを反映している。第5項は個々
のローカルな動きを表す。
【0030】まず最初に、動きベクトル推定部1は、動
画像の隣接フレーム間、もしくは数フレーム離れたフレ
ーム間のブロック単位の動きベクトルを算出する。次
に、動きベクトル微分係数算出部2は、各々の動きベク
トルを位置座標で微分する。具体的には、以下に示す式
(2)に従って、x方向、及びy方向にある一定距離離
れた動きベクトル同士の差分
【0031】
【数5】
【0032】を逐次計算する。これが、動きベクトルの
微分値であり、動きの微分係数とも呼ばれる。
【0033】
【数6】
【0034】ここで、動きの微分係数は、
【0035】
【数7】
【0036】であり、x,y方向の2次元の特徴空間の
成分で表される。
【0037】拡大縮小要因推定部3は、前記動きベクト
ル微分係数算出部2によって算出された動きの微分係数
を図2に示すように特徴空間内でクラスタリングする。
微分係数をクラスタリングした後は、図3に示す手順に
則り頻度の大きい顕著なクラスタを検出した後、そのク
ラスタの分布から拡大縮小要因を推定する。
【0038】以下の(a),(b),(c)は、それぞ
れ図2の(a),(b),(c)に対応する。
【0039】(a)V′y=V′x=0上に顕著なピーク
が立つ場合は拡大縮小要因azoom=adolly=0にな
る。
【0040】(b)V′y=V′x≠0上にピークが立
ち、単峰性ならば、拡大縮小要因はazoom=α,a
dolly=0にする。
【0041】(c)V′y=V′x=αn≠0上にピーク
が立ち、多峰性(複数nのピークが立つ)ならば、拡大
縮小要因はazoom=0,adolly=αnにする。
【0042】さらに拡大縮小・移動回転要因分離部4
は、以下の式(3)で示すように、前出の拡大縮小要因
を元の動きベクトルに代入し、移動回転要因と個々のロ
ーカルな動きからなる動きベクトル
【0043】
【数8】
【0044】を算出する。
【0045】
【数9】
【0046】ここで、移動回転要因と個々のローカルな
動きからなる動きベクトルは、
【0047】
【数10】
【0048】であり、x,y方向の2次元の特徴空間の
成分で表される。
【0049】次に、移動回転要因推定部5は、式(3)
で得られた動きベクトルを図4に示すように特徴空間内
でクラスタリングする。以降は図5のフローチャートで
示すような手順を踏む。以下の(a),(b)は、それ
ぞれ図4の(a),(b)に対応する。まず、頻度の大
きいクラスタを検出し、その分布から移動回転要因を推
定する。すなわち、 (a)単峰性ならば、bpan=Vx,btilt=Vy,b
track=bboom=0にする。
【0050】(b)ある直線Vy=αVx+β上にクラス
タがn個並ぶなら、そのx方向切片bxをパンbpan、y
方向切片byをチルトbtiltのパラメータ値に決定し、
クラスタ中心の値(Vx n,Vy n)からパン・チルトの値
を引いたものをトラックbtrack n、ブームbboom nの値
【0051】
【数11】
【0052】にする。なお、上記のnは各値がn個のク
ラスタに対応してnとおりあることを表している。
【0053】以上の説明とおり、入力画像から基本的な
カメラ操作の6種類のカメラパラメータ値、ズームa
zoom、パンbpan、チルトbtilt、ドリーadolly、トラ
ックbtrack、ブームbboomが推定される。
【0054】
【発明の効果】以上の説明で明らかなように、本発明に
よれば、カメラ操作の種類の特定だけでなく、カメラパ
ラメータ値そのものを種類を限定することなく推定でき
るという効果が得られる。
【図面の簡単な説明】
【図1】本発明の一実施形態例に係るアルゴリズムの概
略を示す図である。
【図2】(a),(b),(c)は、上記実施形態例に
おける拡大縮小要因推定部の概念を示す図である。
【図3】上記実施形態例における拡大縮小要因推定部の
詳細を示す図であって、その推定の手順を示すフローチ
ャートである。
【図4】(a),(b)は、上記実施形態例における移
動回転要因推定部の概念を示す図である。
【図5】上記実施形態例における移動回転要因推定部の
詳細を示す図であって、その推定の手順を示すフローチ
ャートである。
【符号の説明】
1…動きベクトル算出部 2…動きベクトル微分係数算出部 3…拡大縮小要因推定部 4…拡大縮小・移動回転要因分離部 5…移動回転要因推定部
───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 平8−242454(JP,A) 特開 平3−191688(JP,A) 特開 平4−180371(JP,A) 特開 平7−23322(JP,A) 特開 平7−50773(JP,A) (58)調査した分野(Int.Cl.7,DB名) H04N 5/232

Claims (3)

    (57)【特許請求の範囲】
  1. 【請求項1】 フレーム毎に算出された動きベクトルの
    位置座標による微分値を計算する動きベクトル微分係数
    算出過程と、 前記動きベクトル微分係数算出過程で算出された動きベ
    クトルの微分値を特徴空間内でクラスタリングしクラス
    タの分布からカメラパラメータの拡大縮小要因を推定す
    る拡大縮小要因推定過程と、 前記拡大縮小要因推定過程にて推定されたカメラパラメ
    ータの拡大縮小要因ともとの動きベクトルから移動回転
    要因に相当する動きベクトルを算出する拡大縮小・移動
    回転要因分離過程と、 前記拡大縮小・移動回転要因分離過程で算出された動き
    ベクトルを特徴空間内でクラスタリングしクラスタの分
    布からカメラ操作の移動回転要因を推定する移動回転要
    因推定過程と、 を有することを特徴とするカメラパラメータ推定方法。
  2. 【請求項2】 前記拡大縮小要因推定過程では、 動きベクトル微分係数算出過程で算出された動きベクト
    ルの微分値を特徴空間内でクラスタリングし、 前記クラスタリングされたクラスタの分布から頻度の大
    きい顕著なクラスタを検出し、該クラスタが特徴空間の
    (0,0)の位置を中心に立つ場合にはズームおよびド
    リーのカメラパラメータの値をそれぞれ0と推定し、該
    クラスタが特徴空間の(α,α)、α≠0の位置を中心
    に単峰性で立つ場合にはズームのカメラパラメータの値
    をαと、ドリーのカメラパラメータの値を0と推定し、
    該クラスタが特徴空間の複数nの(αn,αn)、αn
    0の位置を中心に多峰性で立つ場合にはズームのカメラ
    パラメータの値を0と、ドリーのカメラパラメータの値
    をαnと推定する、 ことを特徴とする請求項1記載のカメラパラメータ推定
    方法。
  3. 【請求項3】 前記移動回転要因推定過程では、 拡大縮小・移動回転要因分離過程で算出された動きベク
    トルを特徴空間内でクラスタリングし、 前記クラスタリングされたクラスタの分布から頻度の大
    きい顕著なクラスタを検出し、該クラスタが特徴空間の
    (Vx,Vy)の位置を中心に単峰性で立つ場合にはパン
    のカメラパラメータの値をVx、チルトのカメラパラメ
    ータの値をVy、トラックおよびブームのカメラパラメ
    ータの値をそれぞれ0と推定し、該クラスタがある特徴
    空間のある直線上の複数nの(Vx n,Vy n)の位置に並
    ぶ場合には該直線の特徴空間におけるx方向切片を
    x、y方向切片をbyとしてパンのカメラパラメータの
    値をbx、チルトのカメラパラメータの値をby、トラッ
    クのカメラパラメータの値をVx n−bxおよびブームの
    カメラパラメータの値をVy n−byと推定する、 ことを特徴とする請求項1または請求項2記載のカメラ
    パラメータ推定方法。
JP03541697A 1997-02-20 1997-02-20 カメラパラメータ推定方法 Expired - Lifetime JP3502525B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP03541697A JP3502525B2 (ja) 1997-02-20 1997-02-20 カメラパラメータ推定方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP03541697A JP3502525B2 (ja) 1997-02-20 1997-02-20 カメラパラメータ推定方法

Publications (2)

Publication Number Publication Date
JPH10233958A JPH10233958A (ja) 1998-09-02
JP3502525B2 true JP3502525B2 (ja) 2004-03-02

Family

ID=12441280

Family Applications (1)

Application Number Title Priority Date Filing Date
JP03541697A Expired - Lifetime JP3502525B2 (ja) 1997-02-20 1997-02-20 カメラパラメータ推定方法

Country Status (1)

Country Link
JP (1) JP3502525B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007087049A (ja) * 2005-09-21 2007-04-05 Kddi Corp 動画像処理装置

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2372659A (en) * 2001-02-23 2002-08-28 Sharp Kk A method of rectifying a stereoscopic image
US7457438B2 (en) 2003-12-23 2008-11-25 Genesis Microchip Inc. Robust camera pan vector estimation using iterative center of mass
US7499494B2 (en) 2003-12-23 2009-03-03 Genesis Microchip Inc. Vector selection decision for pixel interpolation
US7480334B2 (en) 2003-12-23 2009-01-20 Genesis Microchip Inc. Temporal motion vector filtering
JP4566591B2 (ja) 2004-03-19 2010-10-20 キヤノン株式会社 画像変形推定方法および画像変形推定装置
JP4661514B2 (ja) * 2005-10-07 2011-03-30 ソニー株式会社 画像処理装置、および、画像処理方法、プログラム、並びに、記録媒体
JP4655957B2 (ja) * 2006-02-20 2011-03-23 ソニー株式会社 撮像画像の歪み補正方法、撮像画像の歪み補正装置、撮像方法および撮像装置
WO2011102131A1 (ja) * 2010-02-18 2011-08-25 パナソニック株式会社 画像符号化装置、画像符号化方法、プログラム、及び集積回路

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007087049A (ja) * 2005-09-21 2007-04-05 Kddi Corp 動画像処理装置

Also Published As

Publication number Publication date
JPH10233958A (ja) 1998-09-02

Similar Documents

Publication Publication Date Title
US5727078A (en) Process for estimating disparity between the monoscopic images making up a sterescopic image
JP5306652B2 (ja) 集積された画像プロセッサ
CN109472820B (zh) 单目rgb-d相机实时人脸重建方法及装置
US20060050788A1 (en) Method and device for computer-aided motion estimation
CN107025660B (zh) 一种确定双目动态视觉传感器图像视差的方法和装置
CN110599522B (zh) 一种视频序列中动态目标检测剔除方法
CN107341815B (zh) 基于多目立体视觉场景流的剧烈运动检测方法
JP3502525B2 (ja) カメラパラメータ推定方法
CN106373131B (zh) 基于边缘的图像显著性区域检测方法
Ke et al. A robust subspace approach to layer extraction
JP2967086B1 (ja) 多眼画像処理による人物の三次元姿勢推定方法
JP2002522836A (ja) 静止画像生成方法および装置
US5173946A (en) Corner-based image matching
Hu et al. Real-time video stabilization for fast-moving vehicle cameras
JP3288086B2 (ja) 動物体抽出装置
JP3607717B2 (ja) 映像切り出し方法
JP2001141425A (ja) 3次元形状計測装置
Altunbasak et al. Simultaneous motion-disparity estimation and segmentation from stereo
AlGhamdi et al. Automatic motion tracking of a human in a surveillance video
JP2922503B1 (ja) 3次元座標検出方法
Chen et al. Video stabilization for fast moving camera based on feature point classification
CN111260544A (zh) 数据处理方法及装置、电子设备和计算机存储介质
JP2928356B2 (ja) 動画像領域分割装置
JP3320592B2 (ja) 映像表現方法及び装置
Yang Ego-motion Estimation Based on Fusion of Images and Events

Legal Events

Date Code Title Description
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20031202

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20031205

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20071212

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081212

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091212

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101212

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101212

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111212

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111212

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121212

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121212

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131212

Year of fee payment: 10

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

EXPY Cancellation because of completion of term