JPH11353487A - 動画像処理装置及びその方法 - Google Patents
動画像処理装置及びその方法Info
- Publication number
- JPH11353487A JPH11353487A JP10163450A JP16345098A JPH11353487A JP H11353487 A JPH11353487 A JP H11353487A JP 10163450 A JP10163450 A JP 10163450A JP 16345098 A JP16345098 A JP 16345098A JP H11353487 A JPH11353487 A JP H11353487A
- Authority
- JP
- Japan
- Prior art keywords
- image
- time
- information
- moving
- flow
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Analysis (AREA)
Abstract
が可能なセンサから入力される高速な時系列画像から、
様々な速度を持つ移動体を安定して検出する。 【解決手段】 画像取込み部0はシーンの時系列画像
(動画像系列)を取り込み、速度情報抽出部1では、画
像間フロー検出部12によりその時系列画像の各画素の
フローを検出し、画像間対応評価部13で各画素のフロ
ーが一定量に達する移動時間を計測し、その移動時間か
ら各画素の速度情報の抽出を行い、速度情報出力部14
においてこの速度情報を輝度情報に変換し、一定の速度
をもった領域の検出を行い、これを表示出力する。
Description
込むと同時に処理することが可能なセンサから入力され
る高速な時系列画像から、様々な速度を持つ移動体を安
定して検出することに用いられるものであり、画像情報
に基づいて高速に機器の制御を行うことに有用な動画像
処理装置及びその方法に関する。
する手段としてはCCDカメラが利用されることがほと
んどであり、カメラからコンピュータへのデータの転送
はNTSC規格に合わせて1秒間に30フレームの速度
で行なわれていた。この為、計算機の能力が上がっても
画像の取り込み速度がネックとなり、画像情報に基づい
た高速な機器の制御を実現することは困難であった。
しいタイプのセンサを提案されている(特開平6−13
9361号)。
り、簡単な画像処理を行なった結果を1秒間に100枚
程度の割合で出力することが可能となっている。
ログの処理回路であり、処理可能な演算は比較的簡単な
ものである。
ィブゲーム(画像ラボ1998年3月号)では32画素
×32画素の人工網膜チップを利用して対象物体の動き
を求めているが、得られる動き情報は精度、個数とも複
雑な画像処理に利用するには不十分である。
されている(画像ラボ1997年12月号)。
処理しており、領域のラベリングや重心計算などの簡単
な画像処理を高速に行なうことができる。しかし、この
センサはライン毎の並列処理性能に重点がおかれてお
り、2次元に広がる領域内の動き情報を高速に精度良く
求めることは困難である。
理システム(応用物理学会誌第67巻第1号:石川他
著)は、デジタル処理を行なう回路をセンサに搭載して
2次元画像内の領域を1秒間に1000枚の速度で追跡
することが可能である。
べての画像処理をおこなうように設計されているため、
対象物体の複雑さや速度が増すと十分な精度の演算結果
を得ることが出来ない可能性がある。
路を搭載したセンサの開発が進むと考えられ、1秒間に
1000枚以上の速度でカラーや濃淡の画像を処理した
結果を出力できるようになると考えられる。
の方法では、カメラからコンピュータへのデータの転送
が1秒間に30フレーム程度の速度で行なわれている場
合が多く、高速移動体は対処できない。30分の1秒で
は画像上での移動範囲が広いので、複雑な処理を用いて
も正しいフローが得られない。また、画像処理回路を搭
載して比較的高速な処理を可能とする新しいタイプのセ
ンサーも提案されているが、処理可能な演算は領域のラ
ベリングや重心計算などの簡単なものに限られており、
動き情報が求められるものでも、対象物体の複雑さや速
度が増すと、十分な精度の結果を得るには演算の領域設
定などから問題があった。
ので、われわれは画像を高速に取り込むと同時に処理す
ることが可能なセンサから入力される高速な時系列画像
から、様々な速度を持つ移動体を安定して検出すること
のできる動画像処理装置及びその方法を提供することを
目的とする。
を時系列的に取り込む画像取得手段と、この画像取得手
段によって取り込まれた時系列画像から画像間での各画
素の移動量の情報、または、移動量の情報及び移動方向
の情報を有するフローを検出するフロー検出手段と、こ
のフロー検出手段によって検出された前記時系列画像の
各画素に関するフローが一定量に達する移動時間を計測
する移動時間計測手段と、この移動時間計測手段によっ
て計測された移動時間と前記一定量から、前記時系列画
像の各時点における前記各画素での速度情報の抽出を行
う速度情報抽出手段と、を具備したことを特徴とする動
画像処理装置である。
は、前記時系列画像のうち適当な時間における基準画像
と、この基準画像と比較して時系列的に前の画像、また
は、後の画像との間のフローを、前記基準画像中の各画
素においてそれぞれ検出することを特徴とする請求項1
記載の動画像処理装置である。
は、前記一定量を、前記移動時間計測手段によって計測
された移動時間によって割り算演算することにより速度
情報を抽出することを特徴とする請求項1記載の動画像
処理装置である。
は、速度情報を表示する速度情報出力手段を有し、この
速度情報出力手段は、各画素における速度情報を輝度情
報に対応させる輝度情報対応手段と、この輝度情報対応
手段によって輝度情報に変換した速度情報を基に、一定
の速度をもった領域の検出を行う領域検出手段と、この
領域検出手段によって検出した領域に対応して前記輝度
情報に変換した速度情報を表示する表示手段と、を具備
したことを特徴とする請求項1記載の動画像処理装置で
ある。
込む画像取得ステップと、この画像取得ステップによっ
て取り込まれた時系列画像から画像間での各画素の移動
量の情報、または、移動量の情報及び移動方向の情報を
有するフローを検出するフロー検出ステップと、このフ
ロー検出ステップによって検出された前記時系列画像の
各画素に関するフローが一定量に達する移動時間を計測
する移動時間計測ステップと、この移動時間計測ステッ
プによって計測された移動時間と前記一定量から、前記
時系列画像の各時点における前記各画素での速度情報の
抽出を行う速度情報抽出ステップと、を具備したことを
特徴とする動画像処理方法である。
込む画像取得機能と、この画像取得機能によって取り込
まれた時系列画像から画像間での各画素の移動量の情
報、または、移動量の情報及び移動方向の情報を有する
フローを検出するフロー検出機能と、このフロー検出機
能によって検出された前記時系列画像の各画素に関する
フローが一定量に達する移動時間を計測する移動時間計
測機能と、この移動時間計測機能によって計測された移
動時間と前記一定量から、前記時系列画像の各時点にお
ける前記各画素での速度情報の抽出を行う速度情報抽出
機能と、を実現するプログラムを記録媒体であることを
特徴とする動画像処理方法を記録した記録媒体である。
て得られる時系列画像を用い、その時系列画像の各画素
のフローを検出し、そのフロー情報から各画素のフロー
が一定量に達する移動時間を計測し、その移動時間から
各画素の速度情報の抽出を行い、この速度情報を輝度情
報に変換し、必要時応じて一定の速度をもった領域の検
出を行い、これを前記シーンの速度情報として表示出力
するものである。
込むと同時に処理することが可能なセンサから入力され
る高速な時系列画像から、例えば様々な速度を持つ移動
体を安定して検出することができる。
て説明する。
す。
画像が取得可能な装置である画像取込み部0により得ら
れた動画像系列から、速度情報抽出部1により、速度情
報を抽出する。
間フロー検出部12、画像間対応評価部13、速度情報
出力部14から構成される。
の各画素のフローを検出する。次に画像間対応評価部1
3では、各画素のフローが一定量に達する移動時間を計
測し、その移動時間から各画素の速度情報の抽出を行
う。最後に、速度情報出力部14により、得られた速度
情報を輝度情報に変換し、また必要時応じて一定の速度
をもった領域の検出を行い、これを表示出力する。
す。
の輝度パターンの対応づけからフローを求めものであ
り、局所マスク設定部21、相関値計算部22、対応判
定部23よりなる。
7×7などのサイズを持つ局所マスク領域を各々の画像
中に設定する。
の輝度情報から領域間の相関係数の値を計算する。現フ
レームの各画素を中心とした局所マスク領域を、後続フ
レームにおける同一座標、及びその周囲を中心とした局
所マスク領域との間で比較し、各々との相関を算出す
る。相関の計算としてはマスクどうしで対応している画
素の輝度の差分の自乗誤差の和を取る方法、あるいはそ
の自乗誤差をマスク内の平均値及び分散によって正規化
したものを用いる方法などが考えられる。
い値以上、かつ最大となる組を、対応づけが求まったも
のとして記憶部に格納する処理を、現フレームの各画素
について順次行なう。この結果、各画素から後続フレー
ム内の対応画素へのベクトルが定義され、このベクトル
によって直接フローが表される。
31、移動時間検出部32、速度方向登録部33よりな
る。
なる画素数を設定しDとする。Dの選択は任意である
が、簡単のためここではD=1とし、指標の距離Dを1
画素と定義する。
=1)を移動するために掛かる移動時間を検出すると、
その時間が短いほど速く移動していることを、逆に長い
ほどゆっくりと移動していることを意味し、シーンの速
度に逆比例的に対応することになる。
と、これに続く時系列画像との間のフローを入力とす
る。
番目のフレームとの間で計算されたフローを順にf
(x,y;n)とおく。フローは画像間フロー検出部2
で検出されたものを用いる。このとき次式によって所要
移動時間を定義する。
におけるフローを考え、その量が指標の距離Dに等しく
なるのが、後続n番目のフレームとの間のフローである
とき、nをもってその画素(x,y)の所要移動時間t
(x,y)とする。t(x,y)はフレーム内の各画素
ごとに検出され、各画素が1画素を移動するのに必要な
時間を表すため、これから速度を逆比例的に計算するこ
とができる。
y)の検出は適当な周期でサンプリングしたフレームを
基準に行うのが適切で、t(x,y)はこの周期ごとに
全画素について同時に更新されることになる。これに対
し、移動時間検出部32の実現法としては、次の様に各
画素ごとに逐次速度情報を更新していく方法も考えられ
る。
を、それに先行するフレームとの間で計算する。つま
り、フレームk1 におけるある画素(x,y;k1 )
で、このn番目前のフレームとの間で計算されたフロー
fr (x,y;n)が指標の距離D画素に達したとする
とき、フレームk1 での画素(x,y)の速度(移動時
間)を次式で定義する。
T(x,y,k1 )を記憶する。フレームk1 以降の画
素(x,y)における速度は、T(x,y,k1 )との
相関を計算しながら再び画素(x,y)の移動距離がD
画素に達するフレームk2 までの間はt(x,y;
k1 )とする。フレームk2 ではt(x,y;k2 )
に、テンプレートをT(x,y,k2 )に更新し、以後
同様の処理を繰り返す。これによると速いシーンほど移
動量がすぐ指標の距離になるため速度とテンプレートの
更新が頻繁に起こる。ただし、速度情報に関しては速度
の時間変化を考慮に入れて計算することもできる。例え
ば速度の更新が起こらない時間が一定の閾値を越える場
合は速度を零にリセットすることが考えられる。また、
カルマンフィルターなどにより、時間軸上のフィルタリ
ングを行うことで、より滑らかな速度変化を推定するこ
とが可能である。
た所要移動時間t(x,y)に移動方向を併せて持たせ
る。
されたフローの角度で表すことができる。
(x,y)において所要移動時間と移動方向を(t,
θ)としてセットで登録する。
Dが1画素の場合は、所要移動時間t(x,y)に対応
する移動方向は画素(x,y)の周囲の8画素のいずれ
かであるから、角度θ(x,y)の代わりに、これら8
画素のいずれであるかを指示するによって平易に登録を
行うことができる。
3によって得られた速度情報の出力方法に関わるもので
あり、速度輝度変換部41、速度区分設定部42、速度
表示部43よりなる。
て設定された基準フレームの各画素の所要移動時間t
(x,y)を輝度情報I(x,y)に変換する。変換に
は、t(x,y)が短いほど高い輝度値I(x,y)を
割り当てるなど(又はその逆)の正規化処理を行えば良
い。
一定の速度をもった領域の検出を可能にする。速度区分
の最小値と最大値をフレーム数によりt1 ,t2 (t1
<t2 ) などと設定すると、所要移動時間t(x,y)
が t1 ≦t(x,y)≦t2 (3) を満足する画素(x,y)により、所要移動時間t1 と
t2 の間で設定された区分範囲の速度をもった領域が決
定される。ここで、この領域情報を表現する手段として
例えば、 R(x,y)=1(t1 ≦t(x,y)≦t2 ) (4) R(x,y)=0(t(x,y)<t1 またはt2 <t(x,y)) (5) のような2値マスクR(x,y)を利用することができ
る。
(x,y)に併せて登録された速度方向θ(x,y)を
用いることにより、基準フレームにおいて一定の速度方
向をもった領域検出を行うことも可能である。例えば、
速度の向きをθ1 ,θ2 (θ1 <θ2 )の範囲として設
定すると、速度方向θ(x,y)が θ1 ≦t(x,y)≦θ2 (6) を満足する画素(x、y)により、速度方向がθ1 とθ
2 の間である領域を指定できる。こうした領域も前記と
同様の2値マスクとして次のように表現できる。
して選び出すこともできる。
て輝度情報に変換された速度情報を、表示する。
y)に対し、速度t(x,y)に応じた輝度情報I
(x,y)を表示させるが、この輝度情報I(x,y)
の表示を、R(x,y)=1との論理和を経て、つまり
前記速度区分設定部42によって区分された速度の大き
さと方向を参照し、設定区分範囲の速度をもった領域に
限定して行うこともできる。またR(x,y)と、入力
画像の輝度値そのままの論理和を出力するといったよう
に、様々な形式で速度情報を表示するものである。
施例で記載した内容に限定されるものではない。
て、フロー検出は前記の相関による方法に限られず、他
の手法を用いても良い。
めようとする時空間微分法による手法などが適用でき
る。図6に、時空間微分法を用いた前記画像間フロー検
出部12の構成変形例を示す。
勾配と、2フレーム間の時間的な輝度勾配を、各画素に
おいて局所的に計算する。計算された輝度勾配を水平、
垂直方向にそれぞれIx ,Iy とおき、時間的な輝度勾
配をIt とおくことにする。
られた局所勾配を、オプティカルフローの拘束式と呼ば
れる拘束条件に代入し、次式を得る。
の点に対応する画素の輝度がその点の時間的な移動にか
かわらず一定であることと、輝度の空間的変化が線形で
あることが近似的な前提となっている。
た拘束式を例えば水平、垂直方向に各々空間微分するこ
とにより(u,v)に関する連立方程式を立て、これを
解くことで速度ベクトル(u,v)を求めることができ
る。
出部12、画像間対応評価部13、速度情報出力部14
をパソコンで実現するために、画像間フロー検出部1
2、画像間対応評価部13、速度情報出力部14の機能
を実現するプログラムをFD,,MD,CD−ROM,
DVD等の記録媒体に記憶させておき、これを画像取り
込部0が接続されたパソコンに記憶させて処理させても
よい。
置き換えなどにより様々な拡張が可能である。
と同時に処理することが可能なセンサから入力される高
速な時系列画像から、移動速度の速い物体から遅い物体
までを安定して単純な処理で正しく検出することので
き、画像情報に基づいた高速な機器制御などの技術の実
現に、大きく貢献する。
る。
ック図である。
すブロック図である。
ロック図である。
ック図である。
ブロック図である。。
Claims (6)
- 【請求項1】画像を時系列的に取り込む画像取得手段
と、 この画像取得手段によって取り込まれた時系列画像から
画像間での各画素の移動量の情報、または、移動量の情
報及び移動方向の情報を有するフローを検出するフロー
検出手段と、 このフロー検出手段によって検出された前記時系列画像
の各画素に関するフローが一定量に達する移動時間を計
測する移動時間計測手段と、 この移動時間計測手段によって計測された移動時間と前
記一定量から、前記時系列画像の各時点における前記各
画素での速度情報の抽出を行う速度情報抽出手段と、を
具備したことを特徴とする動画像処理装置。 - 【請求項2】前記フロー検出手段は、 前記時系列画像のうち適当な時間における基準画像と、
この基準画像と比較して時系列的に前の画像、または、
後の画像との間のフローを、前記基準画像中の各画素に
おいてそれぞれ検出することを特徴とする請求項1記載
の動画像処理装置。 - 【請求項3】前記速度情報抽出手段は、 前記一定量を、前記移動時間計測手段によって計測され
た移動時間によって割り算演算することにより速度情報
を抽出することを特徴とする請求項1記載の動画像処理
装置。 - 【請求項4】前記動画像処理装置は、速度情報を表示す
る速度情報出力手段を有し、 この速度情報出力手段は、 各画素における速度情報を輝度情報に対応させる輝度情
報対応手段と、 この輝度情報対応手段によって輝度情報に変換した速度
情報を基に、一定の速度をもった領域の検出を行う領域
検出手段と、 この領域検出手段によって検出した領域に対応して前記
輝度情報に変換した速度情報を表示する表示手段と、を
具備したことを特徴とする請求項1記載の動画像処理装
置。 - 【請求項5】画像を時系列的に取り込む画像取得ステッ
プと、 この画像取得ステップによって取り込まれた時系列画像
から画像間での各画素の移動量の情報、または、移動量
の情報及び移動方向の情報を有するフローを検出するフ
ロー検出ステップと、 このフロー検出ステップによって検出された前記時系列
画像の各画素に関するフローが一定量に達する移動時間
を計測する移動時間計測ステップと、 この移動時間計測ステップによって計測された移動時間
と前記一定量から、前記時系列画像の各時点における前
記各画素での速度情報の抽出を行う速度情報抽出ステッ
プと、を具備したことを特徴とする動画像処理方法。 - 【請求項6】画像を時系列的に取り込む画像取得機能
と、 この画像取得機能によって取り込まれた時系列画像から
画像間での各画素の移動量の情報、または、移動量の情
報及び移動方向の情報を有するフローを検出するフロー
検出機能と、 このフロー検出機能によって検出された前記時系列画像
の各画素に関するフローが一定量に達する移動時間を計
測する移動時間計測機能と、 この移動時間計測機能によって計測された移動時間と前
記一定量から、前記時系列画像の各時点における前記各
画素での速度情報の抽出を行う速度情報抽出機能と、を
実現するプログラムを記録媒体であることを特徴とする
動画像処理方法を記録した記録媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP16345098A JP3992253B2 (ja) | 1998-06-11 | 1998-06-11 | 動画像処理装置及びその方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP16345098A JP3992253B2 (ja) | 1998-06-11 | 1998-06-11 | 動画像処理装置及びその方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH11353487A true JPH11353487A (ja) | 1999-12-24 |
JP3992253B2 JP3992253B2 (ja) | 2007-10-17 |
Family
ID=15774120
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP16345098A Expired - Fee Related JP3992253B2 (ja) | 1998-06-11 | 1998-06-11 | 動画像処理装置及びその方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3992253B2 (ja) |
-
1998
- 1998-06-11 JP JP16345098A patent/JP3992253B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP3992253B2 (ja) | 2007-10-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4491965B2 (ja) | 信号処理装置および方法、並びに記録媒体 | |
CN105957110B (zh) | 用于检测对象的设备和方法 | |
JP2004005462A (ja) | 映像信号から対象物を追跡する方法及びその装置 | |
WO2008020598A1 (fr) | Dispositif et procédé de détection d'un nombre d'objets | |
EP3410353A1 (en) | Method for estimating a timestamp in a video stream and method of augmenting a video stream with information | |
JP2016140030A (ja) | 画像処理装置、撮像装置、及び画像処理プログラム | |
KR20170038144A (ko) | 어텐션 검출 장치 및 어텐션 검출 방법 | |
JP2010114752A (ja) | 撮像装置及び撮像方法及びプログラム | |
JP5371040B2 (ja) | 移動物体追跡装置、移動物体追跡方法および移動物体追跡プログラム | |
JP2012073997A (ja) | 物体追尾装置、物体追尾方法およびそのプログラム | |
CN112287805A (zh) | 运动物体的检测方法、装置、可读存储介质及电子设备 | |
US20040022448A1 (en) | Image processor | |
CN116883897A (zh) | 一种低分辨率目标识别方法 | |
JP4124861B2 (ja) | 移動量検出装置及びその方法 | |
JP5539565B2 (ja) | 撮像装置及び被写体追跡方法 | |
JP2011090708A (ja) | 対象個数検出装置および対象個数検出方法 | |
JP4674920B2 (ja) | 対象個数検出装置および対象個数検出方法 | |
JP2022099120A (ja) | 被写体追尾装置およびその制御方法 | |
JPH11353487A (ja) | 動画像処理装置及びその方法 | |
JP5446641B2 (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
JP2017005582A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP3621256B2 (ja) | 動き劣化補正処理装置及びその方法 | |
JP2016051236A (ja) | 画像処理装置、画像処理方法およびそれを用いた検査方法。 | |
JP2019176261A (ja) | 画像処理装置 | |
JP5605492B2 (ja) | 画像処理装置、画像処理方法及び画像処理プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040928 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20041116 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050117 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20050405 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050606 |
|
A911 | Transfer of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20050610 |
|
A912 | Removal of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20050708 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070622 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070723 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100803 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100803 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110803 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110803 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120803 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120803 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130803 Year of fee payment: 6 |
|
LAPS | Cancellation because of no payment of annual fees |