JPH11259626A - 順序統計量を用いたカメラパラメータ推定方法およびそのプログラム記録媒体 - Google Patents

順序統計量を用いたカメラパラメータ推定方法およびそのプログラム記録媒体

Info

Publication number
JPH11259626A
JPH11259626A JP10060834A JP6083498A JPH11259626A JP H11259626 A JPH11259626 A JP H11259626A JP 10060834 A JP10060834 A JP 10060834A JP 6083498 A JP6083498 A JP 6083498A JP H11259626 A JPH11259626 A JP H11259626A
Authority
JP
Japan
Prior art keywords
camera
camera parameter
error amount
parameter
histogram
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP10060834A
Other languages
English (en)
Other versions
JP3408141B2 (ja
Inventor
Yukinobu Taniguchi
行信 谷口
Akito Akutsu
明人 阿久津
Yoshinobu Tonomura
佳伸 外村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP06083498A priority Critical patent/JP3408141B2/ja
Publication of JPH11259626A publication Critical patent/JPH11259626A/ja
Application granted granted Critical
Publication of JP3408141B2 publication Critical patent/JP3408141B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Landscapes

  • Image Processing (AREA)
  • Studio Circuits (AREA)

Abstract

(57)【要約】 【課題】 被写体の動きや字幕などのカメラモデルで想
定していない変化が映像中に含まれていても安定にカメ
ラパラメータを推定できるようにする。 【解決手段】 画像間の誤差量を,画素値の差分を大き
い順に並べたとき上位α%(0<α<100)に入る値
のうち最小のものとして算出し,該誤差量を最小化する
変換パラメータをカメラパラメータとする。また,差分
の上位α%点を求めるときに,差分値のヒストグラムを
算出して利用する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は,画像列からその画
像列を撮影したカメラの動きを表すカメラパラメータを
推定する方法に関し,特にカメラパラメータを安定に推
定できるようにした順序統計量を用いたカメラパラメー
タ推定方法およびそのプログラム記録媒体に関する。
【0002】
【従来の技術】画像列からカメラ操作を解析するため
に,カメラパラメータを推定する方法として様々な方法
が開示されている。推定されたカメラパラメータを映像
と関連づけてデータベースに格納しておくことにより,
「カメラがパンしたところを提示せよ」といった検索要
求に応えることができるようになる。
【0003】カメラパラメータ推定の従来技術について
説明する。 (1)カメラモデル カメラパラメータを定義するために,まず,カメラモデ
ルを設定する必要がある。カメラモデルとは2次元画像
中の点が,次の時刻の画像中のどの点に移動するかを示
す数学的なモデルである。
【0004】 平行移動モデル 平行移動モデルは,ある画像上の点(x,y)がもう一
つの画像の中の点(x′,y′)に, x′=x+bx , y′=y+by で変換されるとするものである。これは,カメラを動か
すことで画像中の点がすべて(bx ,by )だけ平行移
動するとしたモデルである。このモデルを仮定した場合
のカメラパラメータは(bx ,by )である。
【0005】 射影モデル 実際のカメラにより忠実なモデルとして射影モデルがあ
る(Brown,L.G.: A Survey of Image Registration Tec
hniques. ACM Computing Surveys, Vol.24, No.4, pp.3
25-376)。
【0006】x′=(a1 x+a2 y+a3 )/(a4
x+a5 y+1), y′=(a6 x+a7 y+a8 )/(a4 x+a5 y+
1) このモデルでは8つのパラメータを持つ。
【0007】以上挙げたカメラモデル以外のモデルとし
てアフィンモデル,Bilinearモデルなどがある。 (2)カメラパラメータ推定方法 誤差尺度 二つの画像の一致度(誤差)を見積もるために,次の平
均二乗誤差(Mean Square Error (MSE))がよく用
いられる。
【0008】<式(1) > MSE(t)=Σx,y {f(x,y)−f′(x′,
y′)}2 /N ただし,f(x,y),f′(x′,y′)は画素値を
表し,和(Σx,y )は,すべての対応する画素について
計算されることを表す。Nは対応する画素数である。
【0009】 最適化手法 実際の2枚の画像からカメラパラメータを推定する問題
は,誤差量を最小にするカメラパラメータを求める最適
化問題に帰着される。単純にカメラパラメータの取りう
るすべての組み合わせについて誤差量を計算し,その最
小値を達成するカメラパラメータを出力する単純な方法
でもよい。しかし,この方法は処理コストが膨大である
ので,多重解像度解析を用いる効率的な方法が開発され
ている。(H.S.Sawhney and S.Ayer: Compact Represen
tation of Videos Through Dominant and Multiple Mot
ion Estimation, IEEE Transactions on Pattern Analy
sis and Machine Intelligence, Vol.18, No.8, pp.814
-830, 1996)。
【0010】
【発明が解決しようとする課題】従来技術には,被写体
の動きや編集過程で挿入される字幕などの,カメラモデ
ルで想定していない変化が映像中に含まれている場合
に,間違ったカメラパラメータを出力することがあると
いう問題点があった。
【0011】図3を用いてこの問題点について説明す
る。図3に示す画像では,二枚の連続する画像31と画
像32の間で,カメラが少し左方向に動いている。この
ことは,背景部分31Aと背景部分32Aのずれから分
かる。この画像の中で,カメラパラメータ推定の間違い
の原因となりうるのは,字幕31B,32Bの部分であ
る。字幕はカメラの動きにかかわらず静止しているの
で,字幕部分のコントラストが背景部分のそれより高い
場合に,間違ってカメラが静止していると判断されやす
い。これは,上記の式(1) で定義される誤差量がコント
ラストの高い字幕領域に反応しやすいことによる。
【0012】本発明は,上記問題点を解決するためにな
されたものであり,被写体の動きや字幕などのカメラモ
デルで想定していない変化が映像中に含まれていても安
定にカメラパラメータを推定できる方法を提供すること
を目的とする。
【0013】
【課題を解決するための手段】請求項1の発明は,画像
間の誤差量を,画素値の差分を大きい順に並べたとき上
位α%(0<α<100)に入る値のうち最小のものと
して算出し,該誤差量を最小化する変換パラメータをカ
メラパラメータとすることを特徴とする。従来技術で説
明したノイズに影響されやすい平均二乗誤差ではなく,
差分のα%点をもって誤差量としたことにより,ノイズ
の影響を受け難くなり安定にカメラパラメータを推定で
きるようになる。
【0014】請求項2の発明は,差分値のヒストグラム
を算出し,該ヒストグラムに基づいて上位α%点を求め
ることを特徴とする。α%点を求める場合に単純に整列
処理を用いることもできるが処理コストがかかる。画素
値は比較的狭い範囲の整数値をとることが一般的である
ので,ヒストグラムを利用することにより効率的にα%
点を算出できるようになる。
【0015】以上の処理をコンピュータによって実現す
るためのプログラムは,コンピュータが読み取り可能な
可搬媒体メモリ,半導体メモリ,ハードディスクなどの
適当な記録媒体に格納することができる。
【0016】
【発明の実施の形態】図1は,本発明を実施するための
システム構成の例を示している。カメラパラメータ推定
処理装置10は,CPUおよびメモリ等からなり,コン
ピュータプログラムによって実現される以下の各処理手
段を備える。画像列入力部11は,カメラによって撮影
された一連の画像データ15を入力する。画素値の差分
計算部12は,2枚の連続する画像を所定の探索ウイン
ドウの範囲でずらしたときの各画素値の差分を計算す
る。差分値のヒストグラム作成部13は,画素値の差分
計算部12が計算した差分の絶対値についてヒストグラ
ムを作成する。誤差量算出部14は,差分値のヒストグ
ラム作成部13が作成したヒストグラムをもとに,上位
α%(0<α<100)に入る値のうち最小のものを誤
差量とし,探索範囲内でその誤差量を最小化する変換パ
ラメータをカメラパラメータとする。なお,差分値のヒ
ストグラムを用いる代わりに,差分値を整列(ソート)
して上位α%に入る値のうち最小のものを誤差量として
求めてもよい。
【0017】以上の処理を,図2の処理フロー図を用い
てさらに詳しく説明する。本実施の形態では,上で説明
した平行移動モデルをカメラモデルとして用いる。ステ
ップ101では,2枚の連続する画像f(x,y),
f′(x,y)を入力する。ただし,各画素は0以上2
55以下の整数の値を持つものとする。ステップ102
では,誤差量の最小値を保持するための変数であるEv
を∞に,カメラパラメータbx ,by を−Wに初期化す
る。ただし,Wは探索ウインドウの幅を示す。
【0018】ステップ103では,ヒストグラムH
(n),n=0,1,…,255を,以下に説明する方
法で作成する。画素点(x,y)について,差分の絶対
値 diff(x,y)=|f(x,y)−f′(x+bx ,y
+by )|, を計算し,ヒストグラムH(diff(x,y))を1つず
つ増加させる。この処理を画像内のすべての画素点につ
いて行う。ただし,平行移動後に点(x+bx ,y+b
y )が画像から外れてしまう場合には増加させない。
【0019】ステップ104では,ヒストグラムを用い
て中央値(50%点)を算出する。具体的には, N(k)=Σn H(n) (だだし,Σn はn=0から
kまでの総和), とし,N(k)>N(255)/2を満たす最小のkを
中央値Eとする。本実施の形態では,上記の式(1) で定
義される平均二乗誤差の代わりに,中央値Eを誤差量と
して用いる。
【0020】ステップ105の判定により,誤差量Eが
v より小さい場合には,ステップ106でEv
vx,bvyを更新する。ステップ107では,カメラパ
ラメータbx を1だけ増加させ,ステップ108で探索
ウインドウから外れたか否かを判定し,外れた場合には
ステップ109でby を1だけ増加させ,ステップ11
0で探索ウインドウから外れたか否かをもう一度判定す
る。
【0021】探索ウインドウ内のすべての点について,
以上の手続きを実行し終えたら,ステップ111でその
ときのbvx,bvyをカメラパラメータとして出力する。
本実施の形態では,中央値を求めるためにヒストグラム
を用いているが,もちろん単純に差分値を整列(ソー
ト)して中央値を求めるようにしてもよい。しかし,画
素の数が多い場合には,整列処理に時間がかかるので,
画素値が離散値をとる場合にはヒストグラムを使う方が
効率的である。また,本実施の形態では,α%を50%
としているが,もちろんこの値は画像の種類や特性によ
って適宜変更することが可能である。
【0022】なお,以上説明した方法はコンピュータプ
ログラムとして実現可能であり,プログラムはコンパク
トディスク,フロッピーディスク,などの記録媒体に記
録して提供することが可能である。
【0023】
【発明の効果】本発明によれば,以上説明したように,
被写体の動きや字幕などのカメラモデルで想定していな
い変化が映像中に含まれていても安定にカメラパラメー
タを推定できるという効果がある。
【0024】特に,差分値のヒストグラムを用いて誤差
量を求めるようすれば,誤差量として平均二乗誤差を用
いる場合と同程度の計算量で効率的にカメラパラメータ
を推定できるという効果がある。
【図面の簡単な説明】
【図1】本発明を実施するためのシステム構成の例を示
す図である。
【図2】本発明の実施の形態の処理フロー図である。
【図3】従来技術の問題点を説明するための図である。
【符号の説明】
10 カメラパラメータ推定処理装置 11 画像列入力部 12 画素値の差分計算部 13 差分値のヒストグラム作成部 14 誤差量算出部 15 画像データ

Claims (3)

    【特許請求の範囲】
  1. 【請求項1】 画像列からカメラパラメータを推定する
    方法であって,画像間の誤差量を,画素値の差分を大き
    い順に並べたとき上位α%(0<α<100)に入る値
    のうち最小のものとして算出し,該誤差量を最小化する
    変換パラメータをカメラパラメータとすることを特徴と
    する順序統計量を用いたカメラパラメータ推定方法。
  2. 【請求項2】 請求項1記載の順序統計量を用いたカメ
    ラパラメータ推定方法において,画像間の画素差分値の
    ヒストグラムを算出し,該ヒストグラムに基づいて上位
    α%点を求めることを特徴とする順序統計量を用いたカ
    メラパラメータ推定方法およびそのプログラム記録媒
    体。
  3. 【請求項3】 コンピュータによって画像列からカメラ
    パラメータを推定するためのプログラムを記録した記録
    媒体であって,画像間の誤差量を,画素値の差分を大き
    い順に並べたとき上位α%(0<α<100)に入る値
    のうち最小のものとして算出し,該誤差量を最小化する
    変換パラメータをカメラパラメータとする処理を,コン
    ピュータに実行させるプログラムを格納したことを特徴
    とするカメラパラメータ推定プログラム記録媒体。
JP06083498A 1998-03-12 1998-03-12 順序統計量を用いたカメラパラメータ推定方法およびそのプログラム記録媒体 Expired - Lifetime JP3408141B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP06083498A JP3408141B2 (ja) 1998-03-12 1998-03-12 順序統計量を用いたカメラパラメータ推定方法およびそのプログラム記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP06083498A JP3408141B2 (ja) 1998-03-12 1998-03-12 順序統計量を用いたカメラパラメータ推定方法およびそのプログラム記録媒体

Publications (2)

Publication Number Publication Date
JPH11259626A true JPH11259626A (ja) 1999-09-24
JP3408141B2 JP3408141B2 (ja) 2003-05-19

Family

ID=13153796

Family Applications (1)

Application Number Title Priority Date Filing Date
JP06083498A Expired - Lifetime JP3408141B2 (ja) 1998-03-12 1998-03-12 順序統計量を用いたカメラパラメータ推定方法およびそのプログラム記録媒体

Country Status (1)

Country Link
JP (1) JP3408141B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002324234A (ja) * 2001-02-23 2002-11-08 Sharp Corp 立体画像を偏歪修正する方法および装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62175080A (ja) * 1986-01-28 1987-07-31 Sony Corp 動き補正装置
JPH04148282A (ja) * 1990-10-08 1992-05-21 Nippon Telegr & Teleph Corp <Ntt> 画像撮像装置の撮像状態検出方法
JPH0746582A (ja) * 1993-07-28 1995-02-14 Nippon Telegr & Teleph Corp <Ntt> 映像切り出し方法
JPH07162738A (ja) * 1993-12-13 1995-06-23 Nippon Telegr & Teleph Corp <Ntt> 映像撮影状態検出装置
JPH08240421A (ja) * 1995-03-06 1996-09-17 Meidensha Corp カメラパラメータの推定方法およびそのパラメータ利用の物体認識方法
JPH09161067A (ja) * 1995-12-08 1997-06-20 Ricoh Co Ltd 画像マッチング方法
JPH10240939A (ja) * 1997-02-28 1998-09-11 Meidensha Corp カメラキャリブレーション方法
JPH10304244A (ja) * 1997-05-01 1998-11-13 Sony Corp 画像処理装置およびその方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62175080A (ja) * 1986-01-28 1987-07-31 Sony Corp 動き補正装置
JPH04148282A (ja) * 1990-10-08 1992-05-21 Nippon Telegr & Teleph Corp <Ntt> 画像撮像装置の撮像状態検出方法
JPH0746582A (ja) * 1993-07-28 1995-02-14 Nippon Telegr & Teleph Corp <Ntt> 映像切り出し方法
JPH07162738A (ja) * 1993-12-13 1995-06-23 Nippon Telegr & Teleph Corp <Ntt> 映像撮影状態検出装置
JPH08240421A (ja) * 1995-03-06 1996-09-17 Meidensha Corp カメラパラメータの推定方法およびそのパラメータ利用の物体認識方法
JPH09161067A (ja) * 1995-12-08 1997-06-20 Ricoh Co Ltd 画像マッチング方法
JPH10240939A (ja) * 1997-02-28 1998-09-11 Meidensha Corp カメラキャリブレーション方法
JPH10304244A (ja) * 1997-05-01 1998-11-13 Sony Corp 画像処理装置およびその方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002324234A (ja) * 2001-02-23 2002-11-08 Sharp Corp 立体画像を偏歪修正する方法および装置

Also Published As

Publication number Publication date
JP3408141B2 (ja) 2003-05-19

Similar Documents

Publication Publication Date Title
JP3576987B2 (ja) 画像のテンプレートマッチング方法及び画像処理装置
EP1112661B1 (en) Tracking semantic objects in vector image sequences
CN110378348B (zh) 视频实例分割方法、设备及计算机可读存储介质
US8842730B2 (en) Methods and systems for digitally re-mastering of 2D and 3D motion pictures for exhibition with enhanced visual quality
US6809758B1 (en) Automated stabilization method for digital image sequences
US7542600B2 (en) Video image quality
US8958484B2 (en) Enhanced image and video super-resolution processing
US8879894B2 (en) Pixel analysis and frame alignment for background frames
JP2978406B2 (ja) 局所異常の排除による動きベクトルフィールド生成装置およびその方法
Hasler et al. Outlier modeling in image matching
US7751591B2 (en) Dominant motion analysis
US7039110B2 (en) Methods of and units for motion or depth estimation and image processing apparatus provided with such motion estimation unit
US20050275727A1 (en) Video stabilization method
JPH10285602A (ja) 映像データをエンコードするための動的なスプライト
JP2004525472A (ja) 分割ユニット、その方法、及び画像処理装置
JP2005505841A (ja) 動き推定のための装置及び方法
US20060215036A1 (en) Method and apparatus for video stabilization
KR100312427B1 (ko) 비디오 영상에서 템플레이트와 칼만 필터를 이용한 이동물체 추적방법 및 장치
US6553069B1 (en) Digital image segmenting method and device
JP3408141B2 (ja) 順序統計量を用いたカメラパラメータ推定方法およびそのプログラム記録媒体
JPH07334690A (ja) 物体の輪郭追跡方法
US6873395B2 (en) Motion picture analyzing system
JP2989325B2 (ja) 動きベクトル信頼性の判定装置
KR20030070446A (ko) 동영상의 영상합성장치 및 그 방법
JP2988836B2 (ja) 動きベクトル探索方法

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080314

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090314

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090314

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100314

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110314

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110314

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120314

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130314

Year of fee payment: 10

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

EXPY Cancellation because of completion of term