JP3502525B2 - カメラパラメータ推定方法 - Google Patents
カメラパラメータ推定方法Info
- Publication number
- JP3502525B2 JP3502525B2 JP03541697A JP3541697A JP3502525B2 JP 3502525 B2 JP3502525 B2 JP 3502525B2 JP 03541697 A JP03541697 A JP 03541697A JP 3541697 A JP3541697 A JP 3541697A JP 3502525 B2 JP3502525 B2 JP 3502525B2
- Authority
- JP
- Japan
- Prior art keywords
- motion vector
- camera parameter
- value
- camera
- feature space
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Description
画像を撮像したカメラの操作による動きを推定するカメ
ラパラメータ推定方法に関するものである。
標系を(x,y,z)とする。ここでxは水平方向、y
は垂直方向、zは奥行き方向を示す。カメラの操作と
は、パン(カメラのx方向の回転)、チルト(y方向の
回転)、ズーム(焦点距離の変化)、トラック(カメラ
のx方向の移動)、ブーム(y方向の移動)、ドリー
(z方向への移動)の6種類である。
推定する従来の技術においては、オプティカルフロー
(動きベクトル)を特徴空間の一種であるHough空
間にマッピングして動きベクトルの発散点、収束点か
ら、カメラの移動を伴わない動き(パン、チルト、ズー
ム)の推定を行っていた。
トルの大きさをヒストグラムにして、その分布の特性か
ら「カメラ操作の種類が何であるか」を推測することが
可能であった。
としたカメラ操作の規定方法」阿久津他、電子情報通信
学会論文誌D−II Vol.J75−D−II N
o.2pp.226−235 1992年2月。
来の技術のうちで、オプティカルフロー(動きベクト
ル)を特徴空間の一種であるHough空間にマッピン
グして動きベクトルの発散点、収束点から、カメラの移
動を伴わない動きを推定する方法では、カメラの移動を
伴う動き(トラック、ブーム、ドリー)の推定を行うこ
とができないという問題点があった。
ムにして、その分布の特性から「カメラ操作の種類が何
であるか」を推測する方法では、カメラパラメータ値
(カメラ操作による動きを数値的に表したもの)の推定
は不可能であるという問題点があった。
を撮像したカメラの操作の種類の特定だけでなく、その
カメラの操作のカメラパラメータ値そのものを種類を限
定することなく推定する方法を提供することにある。
めに、本発明は、フレーム毎に算出された動きベクトル
の位置座標による微分値を計算する動きベクトル微分係
数算出過程と、前記動きベクトル微分係数算出過程で算
出された動きベクトルの微分値を特徴空間内でクラスタ
リングしクラスタの分布からカメラパラメータの拡大縮
小要因を推定する拡大縮小要因推定過程と、前記拡大縮
小要因推定過程にて推定されたカメラパラメータの拡大
縮小要因ともとの動きベクトルから移動回転要因に相当
する動きベクトルを算出する拡大縮小・移動回転要因分
離過程と、前記拡大縮小・移動回転要因分離過程で算出
された動きベクトルを特徴空間内でクラスタリングしク
ラスタの分布からカメラ操作の移動回転要因を推定する
移動回転要因推定過程と、を有することを特徴とする。
きベクトル微分係数算出過程で算出された動きベクトル
の微分値を特徴空間内でクラスタリングし、前記クラス
タリングされたクラスタの分布から頻度の大きい顕著な
クラスタを検出し、該クラスタが特徴空間の(0,0)
の位置を中心に立つ場合にはズームおよびドリーのカメ
ラパラメータの値をそれぞれ0と推定し、該クラスタが
特徴空間の(α,α)、α≠0の位置を中心に単峰性で
立つ場合にはズームのカメラパラメータの値をαと、ド
リーのカメラパラメータの値を0と推定し、該クラスタ
が特徴空間の複数nの(αn,αn)、αn≠0の位置を
中心に多峰性で立つ場合にはズームのカメラパラメータ
の値を0と、ドリーのカメラパラメータの値をαnと推
定することを特徴とする。
拡大縮小・移動回転要因分離過程で算出された動きベク
トルを特徴空間内でクラスタリングし、前記クラスタリ
ングされたクラスタの分布から頻度の大きい顕著なクラ
スタを検出し、該クラスタが特徴空間の(Vx,Vy)の
位置を中心に単峰性で立つ場合にはパンのカメラパラメ
ータの値をVx、チルトのカメラパラメータの値をVy、
トラックおよびブームのカメラパラメータの値をそれぞ
れ0と推定し、該クラスタがある特徴空間のある直線上
の複数nの(Vx n,Vy n)の位置に並ぶ場合には該直線
の特徴空間におけるx方向切片をbx、y方向切片をby
としてパンのカメラパラメータの値をbx、チルトのカ
メラパラメータの値をby、トラックのカメラパラメー
タの値をVx n−bxおよびブームのカメラパラメータの
値をVy n−byと推定することを特徴とする。
程、拡大縮小要因推定過程、拡大縮小・移動回転要因分
離過程、移動回転要因推定過程を有することを特徴とす
る。従来の技術とは、局所的な動きベクトルを微分した
り、クラスタリングしたりすることで、6つのカメラ操
作における拡大縮小要因(ズーム、ドリー)と移動回転
要因(パン、チルト、トラック、ブーム)を分離して推
定することができ、これらの拡大縮小要因と移動回転要
因を分離できると、通常の動きベクトルのクラスタリン
グでは一見ランダムなクラスタをカメラの操作によって
統合することが可能となる点が異なる。
毎にあるいは画素の集合毎に動きベクトルを算出し、動
きベクトル微分係数算出過程でこの動きベクトルを位置
座標で微分し、拡大縮小要因推定過程で、動きベクトル
の微分係数を特徴空間内でクラスタリングし、クラスタ
の分布から拡大縮小要因(ズーム、ドリーの係数)を推
定する。拡大縮小・移動回転要因分離過程では元の動き
ベクトルから拡大縮小要因を引き算し、移動回転要因推
定過程でこの動きベクトルを特徴空間内でクラスタリン
グし、クラスタの分布から移動回転要因(パン、チル
ト、トラック、ブームの係数)を推定する。以上で、全
ての基本的なカメラの操作のカメラパラメータ値を推定
可能にする。
態例を詳細に説明する。
リズムの概略を示す。1は動きベクトル算出部、2は動
きベクトル微分係数算出部、3は拡大縮小要因推定部、
4は拡大縮小・移動回転要因分離部、5は移動回転要因
推定部である。
推定部3の概念を示す。
推定部3の詳細な手順をフローチャートで示す。
推定部5の概念を示す。
推定部5の詳細な手順をフローチャートで示す。
成分で表される。zは点
第2項はパン・チルト、第3項はドリー、第4項はトラ
ック、ブームによる動きを反映している。第5項は個々
のローカルな動きを表す。
画像の隣接フレーム間、もしくは数フレーム離れたフレ
ーム間のブロック単位の動きベクトルを算出する。次
に、動きベクトル微分係数算出部2は、各々の動きベク
トルを位置座標で微分する。具体的には、以下に示す式
(2)に従って、x方向、及びy方向にある一定距離離
れた動きベクトル同士の差分
微分値であり、動きの微分係数とも呼ばれる。
成分で表される。
ル微分係数算出部2によって算出された動きの微分係数
を図2に示すように特徴空間内でクラスタリングする。
微分係数をクラスタリングした後は、図3に示す手順に
則り頻度の大きい顕著なクラスタを検出した後、そのク
ラスタの分布から拡大縮小要因を推定する。
れ図2の(a),(b),(c)に対応する。
が立つ場合は拡大縮小要因azoom=adolly=0にな
る。
ち、単峰性ならば、拡大縮小要因はazoom=α,a
dolly=0にする。
が立ち、多峰性(複数nのピークが立つ)ならば、拡大
縮小要因はazoom=0,adolly=αnにする。
は、以下の式(3)で示すように、前出の拡大縮小要因
を元の動きベクトルに代入し、移動回転要因と個々のロ
ーカルな動きからなる動きベクトル
動きからなる動きベクトルは、
成分で表される。
で得られた動きベクトルを図4に示すように特徴空間内
でクラスタリングする。以降は図5のフローチャートで
示すような手順を踏む。以下の(a),(b)は、それ
ぞれ図4の(a),(b)に対応する。まず、頻度の大
きいクラスタを検出し、その分布から移動回転要因を推
定する。すなわち、 (a)単峰性ならば、bpan=Vx,btilt=Vy,b
track=bboom=0にする。
タがn個並ぶなら、そのx方向切片bxをパンbpan、y
方向切片byをチルトbtiltのパラメータ値に決定し、
クラスタ中心の値(Vx n,Vy n)からパン・チルトの値
を引いたものをトラックbtrack n、ブームbboom nの値
ラスタに対応してnとおりあることを表している。
カメラ操作の6種類のカメラパラメータ値、ズームa
zoom、パンbpan、チルトbtilt、ドリーadolly、トラ
ックbtrack、ブームbboomが推定される。
よれば、カメラ操作の種類の特定だけでなく、カメラパ
ラメータ値そのものを種類を限定することなく推定でき
るという効果が得られる。
略を示す図である。
おける拡大縮小要因推定部の概念を示す図である。
詳細を示す図であって、その推定の手順を示すフローチ
ャートである。
動回転要因推定部の概念を示す図である。
詳細を示す図であって、その推定の手順を示すフローチ
ャートである。
Claims (3)
- 【請求項1】 フレーム毎に算出された動きベクトルの
位置座標による微分値を計算する動きベクトル微分係数
算出過程と、 前記動きベクトル微分係数算出過程で算出された動きベ
クトルの微分値を特徴空間内でクラスタリングしクラス
タの分布からカメラパラメータの拡大縮小要因を推定す
る拡大縮小要因推定過程と、 前記拡大縮小要因推定過程にて推定されたカメラパラメ
ータの拡大縮小要因ともとの動きベクトルから移動回転
要因に相当する動きベクトルを算出する拡大縮小・移動
回転要因分離過程と、 前記拡大縮小・移動回転要因分離過程で算出された動き
ベクトルを特徴空間内でクラスタリングしクラスタの分
布からカメラ操作の移動回転要因を推定する移動回転要
因推定過程と、 を有することを特徴とするカメラパラメータ推定方法。 - 【請求項2】 前記拡大縮小要因推定過程では、 動きベクトル微分係数算出過程で算出された動きベクト
ルの微分値を特徴空間内でクラスタリングし、 前記クラスタリングされたクラスタの分布から頻度の大
きい顕著なクラスタを検出し、該クラスタが特徴空間の
(0,0)の位置を中心に立つ場合にはズームおよびド
リーのカメラパラメータの値をそれぞれ0と推定し、該
クラスタが特徴空間の(α,α)、α≠0の位置を中心
に単峰性で立つ場合にはズームのカメラパラメータの値
をαと、ドリーのカメラパラメータの値を0と推定し、
該クラスタが特徴空間の複数nの(αn,αn)、αn≠
0の位置を中心に多峰性で立つ場合にはズームのカメラ
パラメータの値を0と、ドリーのカメラパラメータの値
をαnと推定する、 ことを特徴とする請求項1記載のカメラパラメータ推定
方法。 - 【請求項3】 前記移動回転要因推定過程では、 拡大縮小・移動回転要因分離過程で算出された動きベク
トルを特徴空間内でクラスタリングし、 前記クラスタリングされたクラスタの分布から頻度の大
きい顕著なクラスタを検出し、該クラスタが特徴空間の
(Vx,Vy)の位置を中心に単峰性で立つ場合にはパン
のカメラパラメータの値をVx、チルトのカメラパラメ
ータの値をVy、トラックおよびブームのカメラパラメ
ータの値をそれぞれ0と推定し、該クラスタがある特徴
空間のある直線上の複数nの(Vx n,Vy n)の位置に並
ぶ場合には該直線の特徴空間におけるx方向切片を
bx、y方向切片をbyとしてパンのカメラパラメータの
値をbx、チルトのカメラパラメータの値をby、トラッ
クのカメラパラメータの値をVx n−bxおよびブームの
カメラパラメータの値をVy n−byと推定する、 ことを特徴とする請求項1または請求項2記載のカメラ
パラメータ推定方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP03541697A JP3502525B2 (ja) | 1997-02-20 | 1997-02-20 | カメラパラメータ推定方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP03541697A JP3502525B2 (ja) | 1997-02-20 | 1997-02-20 | カメラパラメータ推定方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH10233958A JPH10233958A (ja) | 1998-09-02 |
JP3502525B2 true JP3502525B2 (ja) | 2004-03-02 |
Family
ID=12441280
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP03541697A Expired - Lifetime JP3502525B2 (ja) | 1997-02-20 | 1997-02-20 | カメラパラメータ推定方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3502525B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007087049A (ja) * | 2005-09-21 | 2007-04-05 | Kddi Corp | 動画像処理装置 |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2372659A (en) * | 2001-02-23 | 2002-08-28 | Sharp Kk | A method of rectifying a stereoscopic image |
US7457438B2 (en) | 2003-12-23 | 2008-11-25 | Genesis Microchip Inc. | Robust camera pan vector estimation using iterative center of mass |
US7499494B2 (en) | 2003-12-23 | 2009-03-03 | Genesis Microchip Inc. | Vector selection decision for pixel interpolation |
US7480334B2 (en) | 2003-12-23 | 2009-01-20 | Genesis Microchip Inc. | Temporal motion vector filtering |
JP4566591B2 (ja) | 2004-03-19 | 2010-10-20 | キヤノン株式会社 | 画像変形推定方法および画像変形推定装置 |
JP4661514B2 (ja) * | 2005-10-07 | 2011-03-30 | ソニー株式会社 | 画像処理装置、および、画像処理方法、プログラム、並びに、記録媒体 |
JP4655957B2 (ja) * | 2006-02-20 | 2011-03-23 | ソニー株式会社 | 撮像画像の歪み補正方法、撮像画像の歪み補正装置、撮像方法および撮像装置 |
WO2011102131A1 (ja) * | 2010-02-18 | 2011-08-25 | パナソニック株式会社 | 画像符号化装置、画像符号化方法、プログラム、及び集積回路 |
-
1997
- 1997-02-20 JP JP03541697A patent/JP3502525B2/ja not_active Expired - Lifetime
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007087049A (ja) * | 2005-09-21 | 2007-04-05 | Kddi Corp | 動画像処理装置 |
Also Published As
Publication number | Publication date |
---|---|
JPH10233958A (ja) | 1998-09-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US5727078A (en) | Process for estimating disparity between the monoscopic images making up a sterescopic image | |
JP5306652B2 (ja) | 集積された画像プロセッサ | |
CN109472820B (zh) | 单目rgb-d相机实时人脸重建方法及装置 | |
US20060050788A1 (en) | Method and device for computer-aided motion estimation | |
CN107025660B (zh) | 一种确定双目动态视觉传感器图像视差的方法和装置 | |
CN110599522B (zh) | 一种视频序列中动态目标检测剔除方法 | |
CN107341815B (zh) | 基于多目立体视觉场景流的剧烈运动检测方法 | |
JP3502525B2 (ja) | カメラパラメータ推定方法 | |
CN106373131B (zh) | 基于边缘的图像显著性区域检测方法 | |
Ke et al. | A robust subspace approach to layer extraction | |
JP2967086B1 (ja) | 多眼画像処理による人物の三次元姿勢推定方法 | |
JP2002522836A (ja) | 静止画像生成方法および装置 | |
US5173946A (en) | Corner-based image matching | |
Hu et al. | Real-time video stabilization for fast-moving vehicle cameras | |
JP3288086B2 (ja) | 動物体抽出装置 | |
JP3607717B2 (ja) | 映像切り出し方法 | |
JP2001141425A (ja) | 3次元形状計測装置 | |
Altunbasak et al. | Simultaneous motion-disparity estimation and segmentation from stereo | |
AlGhamdi et al. | Automatic motion tracking of a human in a surveillance video | |
JP2922503B1 (ja) | 3次元座標検出方法 | |
Chen et al. | Video stabilization for fast moving camera based on feature point classification | |
CN111260544A (zh) | 数据处理方法及装置、电子设备和计算机存储介质 | |
JP2928356B2 (ja) | 動画像領域分割装置 | |
JP3320592B2 (ja) | 映像表現方法及び装置 | |
Yang | Ego-motion Estimation Based on Fusion of Images and Events |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20031202 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20031205 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20071212 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081212 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091212 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101212 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101212 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111212 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111212 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121212 Year of fee payment: 9 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121212 Year of fee payment: 9 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131212 Year of fee payment: 10 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
EXPY | Cancellation because of completion of term |