JPH11259626A - 順序統計量を用いたカメラパラメータ推定方法およびそのプログラム記録媒体 - Google Patents
順序統計量を用いたカメラパラメータ推定方法およびそのプログラム記録媒体Info
- Publication number
- JPH11259626A JPH11259626A JP10060834A JP6083498A JPH11259626A JP H11259626 A JPH11259626 A JP H11259626A JP 10060834 A JP10060834 A JP 10060834A JP 6083498 A JP6083498 A JP 6083498A JP H11259626 A JPH11259626 A JP H11259626A
- Authority
- JP
- Japan
- Prior art keywords
- camera
- camera parameter
- error amount
- parameter
- histogram
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Processing (AREA)
- Studio Circuits (AREA)
Abstract
定していない変化が映像中に含まれていても安定にカメ
ラパラメータを推定できるようにする。 【解決手段】 画像間の誤差量を,画素値の差分を大き
い順に並べたとき上位α%(0<α<100)に入る値
のうち最小のものとして算出し,該誤差量を最小化する
変換パラメータをカメラパラメータとする。また,差分
の上位α%点を求めるときに,差分値のヒストグラムを
算出して利用する。
Description
像列を撮影したカメラの動きを表すカメラパラメータを
推定する方法に関し,特にカメラパラメータを安定に推
定できるようにした順序統計量を用いたカメラパラメー
タ推定方法およびそのプログラム記録媒体に関する。
に,カメラパラメータを推定する方法として様々な方法
が開示されている。推定されたカメラパラメータを映像
と関連づけてデータベースに格納しておくことにより,
「カメラがパンしたところを提示せよ」といった検索要
求に応えることができるようになる。
説明する。 (1)カメラモデル カメラパラメータを定義するために,まず,カメラモデ
ルを設定する必要がある。カメラモデルとは2次元画像
中の点が,次の時刻の画像中のどの点に移動するかを示
す数学的なモデルである。
つの画像の中の点(x′,y′)に, x′=x+bx , y′=y+by で変換されるとするものである。これは,カメラを動か
すことで画像中の点がすべて(bx ,by )だけ平行移
動するとしたモデルである。このモデルを仮定した場合
のカメラパラメータは(bx ,by )である。
る(Brown,L.G.: A Survey of Image Registration Tec
hniques. ACM Computing Surveys, Vol.24, No.4, pp.3
25-376)。
x+a5 y+1), y′=(a6 x+a7 y+a8 )/(a4 x+a5 y+
1) このモデルでは8つのパラメータを持つ。
てアフィンモデル,Bilinearモデルなどがある。 (2)カメラパラメータ推定方法 誤差尺度 二つの画像の一致度(誤差)を見積もるために,次の平
均二乗誤差(Mean Square Error (MSE))がよく用
いられる。
y′)}2 /N ただし,f(x,y),f′(x′,y′)は画素値を
表し,和(Σx,y )は,すべての対応する画素について
計算されることを表す。Nは対応する画素数である。
は,誤差量を最小にするカメラパラメータを求める最適
化問題に帰着される。単純にカメラパラメータの取りう
るすべての組み合わせについて誤差量を計算し,その最
小値を達成するカメラパラメータを出力する単純な方法
でもよい。しかし,この方法は処理コストが膨大である
ので,多重解像度解析を用いる効率的な方法が開発され
ている。(H.S.Sawhney and S.Ayer: Compact Represen
tation of Videos Through Dominant and Multiple Mot
ion Estimation, IEEE Transactions on Pattern Analy
sis and Machine Intelligence, Vol.18, No.8, pp.814
-830, 1996)。
の動きや編集過程で挿入される字幕などの,カメラモデ
ルで想定していない変化が映像中に含まれている場合
に,間違ったカメラパラメータを出力することがあると
いう問題点があった。
る。図3に示す画像では,二枚の連続する画像31と画
像32の間で,カメラが少し左方向に動いている。この
ことは,背景部分31Aと背景部分32Aのずれから分
かる。この画像の中で,カメラパラメータ推定の間違い
の原因となりうるのは,字幕31B,32Bの部分であ
る。字幕はカメラの動きにかかわらず静止しているの
で,字幕部分のコントラストが背景部分のそれより高い
場合に,間違ってカメラが静止していると判断されやす
い。これは,上記の式(1) で定義される誤差量がコント
ラストの高い字幕領域に反応しやすいことによる。
されたものであり,被写体の動きや字幕などのカメラモ
デルで想定していない変化が映像中に含まれていても安
定にカメラパラメータを推定できる方法を提供すること
を目的とする。
間の誤差量を,画素値の差分を大きい順に並べたとき上
位α%(0<α<100)に入る値のうち最小のものと
して算出し,該誤差量を最小化する変換パラメータをカ
メラパラメータとすることを特徴とする。従来技術で説
明したノイズに影響されやすい平均二乗誤差ではなく,
差分のα%点をもって誤差量としたことにより,ノイズ
の影響を受け難くなり安定にカメラパラメータを推定で
きるようになる。
を算出し,該ヒストグラムに基づいて上位α%点を求め
ることを特徴とする。α%点を求める場合に単純に整列
処理を用いることもできるが処理コストがかかる。画素
値は比較的狭い範囲の整数値をとることが一般的である
ので,ヒストグラムを利用することにより効率的にα%
点を算出できるようになる。
るためのプログラムは,コンピュータが読み取り可能な
可搬媒体メモリ,半導体メモリ,ハードディスクなどの
適当な記録媒体に格納することができる。
システム構成の例を示している。カメラパラメータ推定
処理装置10は,CPUおよびメモリ等からなり,コン
ピュータプログラムによって実現される以下の各処理手
段を備える。画像列入力部11は,カメラによって撮影
された一連の画像データ15を入力する。画素値の差分
計算部12は,2枚の連続する画像を所定の探索ウイン
ドウの範囲でずらしたときの各画素値の差分を計算す
る。差分値のヒストグラム作成部13は,画素値の差分
計算部12が計算した差分の絶対値についてヒストグラ
ムを作成する。誤差量算出部14は,差分値のヒストグ
ラム作成部13が作成したヒストグラムをもとに,上位
α%(0<α<100)に入る値のうち最小のものを誤
差量とし,探索範囲内でその誤差量を最小化する変換パ
ラメータをカメラパラメータとする。なお,差分値のヒ
ストグラムを用いる代わりに,差分値を整列(ソート)
して上位α%に入る値のうち最小のものを誤差量として
求めてもよい。
てさらに詳しく説明する。本実施の形態では,上で説明
した平行移動モデルをカメラモデルとして用いる。ステ
ップ101では,2枚の連続する画像f(x,y),
f′(x,y)を入力する。ただし,各画素は0以上2
55以下の整数の値を持つものとする。ステップ102
では,誤差量の最小値を保持するための変数であるEv
を∞に,カメラパラメータbx ,by を−Wに初期化す
る。ただし,Wは探索ウインドウの幅を示す。
(n),n=0,1,…,255を,以下に説明する方
法で作成する。画素点(x,y)について,差分の絶対
値 diff(x,y)=|f(x,y)−f′(x+bx ,y
+by )|, を計算し,ヒストグラムH(diff(x,y))を1つず
つ増加させる。この処理を画像内のすべての画素点につ
いて行う。ただし,平行移動後に点(x+bx ,y+b
y )が画像から外れてしまう場合には増加させない。
て中央値(50%点)を算出する。具体的には, N(k)=Σn H(n) (だだし,Σn はn=0から
kまでの総和), とし,N(k)>N(255)/2を満たす最小のkを
中央値Eとする。本実施の形態では,上記の式(1) で定
義される平均二乗誤差の代わりに,中央値Eを誤差量と
して用いる。
Ev より小さい場合には,ステップ106でEv ,
bvx,bvyを更新する。ステップ107では,カメラパ
ラメータbx を1だけ増加させ,ステップ108で探索
ウインドウから外れたか否かを判定し,外れた場合には
ステップ109でby を1だけ増加させ,ステップ11
0で探索ウインドウから外れたか否かをもう一度判定す
る。
以上の手続きを実行し終えたら,ステップ111でその
ときのbvx,bvyをカメラパラメータとして出力する。
本実施の形態では,中央値を求めるためにヒストグラム
を用いているが,もちろん単純に差分値を整列(ソー
ト)して中央値を求めるようにしてもよい。しかし,画
素の数が多い場合には,整列処理に時間がかかるので,
画素値が離散値をとる場合にはヒストグラムを使う方が
効率的である。また,本実施の形態では,α%を50%
としているが,もちろんこの値は画像の種類や特性によ
って適宜変更することが可能である。
ログラムとして実現可能であり,プログラムはコンパク
トディスク,フロッピーディスク,などの記録媒体に記
録して提供することが可能である。
被写体の動きや字幕などのカメラモデルで想定していな
い変化が映像中に含まれていても安定にカメラパラメー
タを推定できるという効果がある。
量を求めるようすれば,誤差量として平均二乗誤差を用
いる場合と同程度の計算量で効率的にカメラパラメータ
を推定できるという効果がある。
す図である。
Claims (3)
- 【請求項1】 画像列からカメラパラメータを推定する
方法であって,画像間の誤差量を,画素値の差分を大き
い順に並べたとき上位α%(0<α<100)に入る値
のうち最小のものとして算出し,該誤差量を最小化する
変換パラメータをカメラパラメータとすることを特徴と
する順序統計量を用いたカメラパラメータ推定方法。 - 【請求項2】 請求項1記載の順序統計量を用いたカメ
ラパラメータ推定方法において,画像間の画素差分値の
ヒストグラムを算出し,該ヒストグラムに基づいて上位
α%点を求めることを特徴とする順序統計量を用いたカ
メラパラメータ推定方法およびそのプログラム記録媒
体。 - 【請求項3】 コンピュータによって画像列からカメラ
パラメータを推定するためのプログラムを記録した記録
媒体であって,画像間の誤差量を,画素値の差分を大き
い順に並べたとき上位α%(0<α<100)に入る値
のうち最小のものとして算出し,該誤差量を最小化する
変換パラメータをカメラパラメータとする処理を,コン
ピュータに実行させるプログラムを格納したことを特徴
とするカメラパラメータ推定プログラム記録媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP06083498A JP3408141B2 (ja) | 1998-03-12 | 1998-03-12 | 順序統計量を用いたカメラパラメータ推定方法およびそのプログラム記録媒体 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP06083498A JP3408141B2 (ja) | 1998-03-12 | 1998-03-12 | 順序統計量を用いたカメラパラメータ推定方法およびそのプログラム記録媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH11259626A true JPH11259626A (ja) | 1999-09-24 |
JP3408141B2 JP3408141B2 (ja) | 2003-05-19 |
Family
ID=13153796
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP06083498A Expired - Lifetime JP3408141B2 (ja) | 1998-03-12 | 1998-03-12 | 順序統計量を用いたカメラパラメータ推定方法およびそのプログラム記録媒体 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3408141B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002324234A (ja) * | 2001-02-23 | 2002-11-08 | Sharp Corp | 立体画像を偏歪修正する方法および装置 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS62175080A (ja) * | 1986-01-28 | 1987-07-31 | Sony Corp | 動き補正装置 |
JPH04148282A (ja) * | 1990-10-08 | 1992-05-21 | Nippon Telegr & Teleph Corp <Ntt> | 画像撮像装置の撮像状態検出方法 |
JPH0746582A (ja) * | 1993-07-28 | 1995-02-14 | Nippon Telegr & Teleph Corp <Ntt> | 映像切り出し方法 |
JPH07162738A (ja) * | 1993-12-13 | 1995-06-23 | Nippon Telegr & Teleph Corp <Ntt> | 映像撮影状態検出装置 |
JPH08240421A (ja) * | 1995-03-06 | 1996-09-17 | Meidensha Corp | カメラパラメータの推定方法およびそのパラメータ利用の物体認識方法 |
JPH09161067A (ja) * | 1995-12-08 | 1997-06-20 | Ricoh Co Ltd | 画像マッチング方法 |
JPH10240939A (ja) * | 1997-02-28 | 1998-09-11 | Meidensha Corp | カメラキャリブレーション方法 |
JPH10304244A (ja) * | 1997-05-01 | 1998-11-13 | Sony Corp | 画像処理装置およびその方法 |
-
1998
- 1998-03-12 JP JP06083498A patent/JP3408141B2/ja not_active Expired - Lifetime
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS62175080A (ja) * | 1986-01-28 | 1987-07-31 | Sony Corp | 動き補正装置 |
JPH04148282A (ja) * | 1990-10-08 | 1992-05-21 | Nippon Telegr & Teleph Corp <Ntt> | 画像撮像装置の撮像状態検出方法 |
JPH0746582A (ja) * | 1993-07-28 | 1995-02-14 | Nippon Telegr & Teleph Corp <Ntt> | 映像切り出し方法 |
JPH07162738A (ja) * | 1993-12-13 | 1995-06-23 | Nippon Telegr & Teleph Corp <Ntt> | 映像撮影状態検出装置 |
JPH08240421A (ja) * | 1995-03-06 | 1996-09-17 | Meidensha Corp | カメラパラメータの推定方法およびそのパラメータ利用の物体認識方法 |
JPH09161067A (ja) * | 1995-12-08 | 1997-06-20 | Ricoh Co Ltd | 画像マッチング方法 |
JPH10240939A (ja) * | 1997-02-28 | 1998-09-11 | Meidensha Corp | カメラキャリブレーション方法 |
JPH10304244A (ja) * | 1997-05-01 | 1998-11-13 | Sony Corp | 画像処理装置およびその方法 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002324234A (ja) * | 2001-02-23 | 2002-11-08 | Sharp Corp | 立体画像を偏歪修正する方法および装置 |
Also Published As
Publication number | Publication date |
---|---|
JP3408141B2 (ja) | 2003-05-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3576987B2 (ja) | 画像のテンプレートマッチング方法及び画像処理装置 | |
EP1112661B1 (en) | Tracking semantic objects in vector image sequences | |
CN110378348B (zh) | 视频实例分割方法、设备及计算机可读存储介质 | |
US8842730B2 (en) | Methods and systems for digitally re-mastering of 2D and 3D motion pictures for exhibition with enhanced visual quality | |
US6809758B1 (en) | Automated stabilization method for digital image sequences | |
US7542600B2 (en) | Video image quality | |
US8958484B2 (en) | Enhanced image and video super-resolution processing | |
US8879894B2 (en) | Pixel analysis and frame alignment for background frames | |
JP2978406B2 (ja) | 局所異常の排除による動きベクトルフィールド生成装置およびその方法 | |
Hasler et al. | Outlier modeling in image matching | |
US7751591B2 (en) | Dominant motion analysis | |
US7039110B2 (en) | Methods of and units for motion or depth estimation and image processing apparatus provided with such motion estimation unit | |
US20050275727A1 (en) | Video stabilization method | |
JPH10285602A (ja) | 映像データをエンコードするための動的なスプライト | |
JP2004525472A (ja) | 分割ユニット、その方法、及び画像処理装置 | |
JP2005505841A (ja) | 動き推定のための装置及び方法 | |
US20060215036A1 (en) | Method and apparatus for video stabilization | |
KR100312427B1 (ko) | 비디오 영상에서 템플레이트와 칼만 필터를 이용한 이동물체 추적방법 및 장치 | |
US6553069B1 (en) | Digital image segmenting method and device | |
JP3408141B2 (ja) | 順序統計量を用いたカメラパラメータ推定方法およびそのプログラム記録媒体 | |
JPH07334690A (ja) | 物体の輪郭追跡方法 | |
US6873395B2 (en) | Motion picture analyzing system | |
JP2989325B2 (ja) | 動きベクトル信頼性の判定装置 | |
KR20030070446A (ko) | 동영상의 영상합성장치 및 그 방법 | |
JP2988836B2 (ja) | 動きベクトル探索方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080314 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090314 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090314 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100314 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110314 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110314 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120314 Year of fee payment: 9 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130314 Year of fee payment: 10 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
EXPY | Cancellation because of completion of term |