JPH11353487A - 動画像処理装置及びその方法 - Google Patents
動画像処理装置及びその方法Info
- Publication number
- JPH11353487A JPH11353487A JP10163450A JP16345098A JPH11353487A JP H11353487 A JPH11353487 A JP H11353487A JP 10163450 A JP10163450 A JP 10163450A JP 16345098 A JP16345098 A JP 16345098A JP H11353487 A JPH11353487 A JP H11353487A
- Authority
- JP
- Japan
- Prior art keywords
- image
- time
- information
- moving
- flow
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Analysis (AREA)
Abstract
(57)【要約】
【課題】 画像を高速に取り込むと同時に処理すること
が可能なセンサから入力される高速な時系列画像から、
様々な速度を持つ移動体を安定して検出する。 【解決手段】 画像取込み部０はシーンの時系列画像
（動画像系列）を取り込み、速度情報抽出部１では、画
像間フロー検出部１２によりその時系列画像の各画素の
フローを検出し、画像間対応評価部１３で各画素のフロ
ーが一定量に達する移動時間を計測し、その移動時間か
ら各画素の速度情報の抽出を行い、速度情報出力部１４
においてこの速度情報を輝度情報に変換し、一定の速度
をもった領域の検出を行い、これを表示出力する。
が可能なセンサから入力される高速な時系列画像から、
様々な速度を持つ移動体を安定して検出する。 【解決手段】 画像取込み部０はシーンの時系列画像
（動画像系列）を取り込み、速度情報抽出部１では、画
像間フロー検出部１２によりその時系列画像の各画素の
フローを検出し、画像間対応評価部１３で各画素のフロ
ーが一定量に達する移動時間を計測し、その移動時間か
ら各画素の速度情報の抽出を行い、速度情報出力部１４
においてこの速度情報を輝度情報に変換し、一定の速度
をもった領域の検出を行い、これを表示出力する。
Description
【０００１】
【発明の属する技術分野】本発明は、画像を高速に取り
込むと同時に処理することが可能なセンサから入力され
る高速な時系列画像から、様々な速度を持つ移動体を安
定して検出することに用いられるものであり、画像情報
に基づいて高速に機器の制御を行うことに有用な動画像
処理装置及びその方法に関する。
込むと同時に処理することが可能なセンサから入力され
る高速な時系列画像から、様々な速度を持つ移動体を安
定して検出することに用いられるものであり、画像情報
に基づいて高速に機器の制御を行うことに有用な動画像
処理装置及びその方法に関する。
【０００２】
【従来の技術】従来、外界の情報をコンピュータに入力
する手段としてはＣＣＤカメラが利用されることがほと
んどであり、カメラからコンピュータへのデータの転送
はＮＴＳＣ規格に合わせて１秒間に３０フレームの速度
で行なわれていた。この為、計算機の能力が上がっても
画像の取り込み速度がネックとなり、画像情報に基づい
た高速な機器の制御を実現することは困難であった。
する手段としてはＣＣＤカメラが利用されることがほと
んどであり、カメラからコンピュータへのデータの転送
はＮＴＳＣ規格に合わせて１秒間に３０フレームの速度
で行なわれていた。この為、計算機の能力が上がっても
画像の取り込み速度がネックとなり、画像情報に基づい
た高速な機器の制御を実現することは困難であった。
【０００３】これに対して、感度可変素子を利用した新
しいタイプのセンサを提案されている（特開平６−１３
９３６１号）。
しいタイプのセンサを提案されている（特開平６−１３
９３６１号）。
【０００４】この素子には画像処理回路が搭載されてお
り、簡単な画像処理を行なった結果を１秒間に１００枚
程度の割合で出力することが可能となっている。
り、簡単な画像処理を行なった結果を１秒間に１００枚
程度の割合で出力することが可能となっている。
【０００５】しかし、チップに搭載されているのはアナ
ログの処理回路であり、処理可能な演算は比較的簡単な
ものである。
ログの処理回路であり、処理可能な演算は比較的簡単な
ものである。
【０００６】例えば、ジェスチャー入力型インタラクテ
ィブゲーム（画像ラボ１９９８年３月号）では３２画素
×３２画素の人工網膜チップを利用して対象物体の動き
を求めているが、得られる動き情報は精度、個数とも複
雑な画像処理に利用するには不十分である。
ィブゲーム（画像ラボ１９９８年３月号）では３２画素
×３２画素の人工網膜チップを利用して対象物体の動き
を求めているが、得られる動き情報は精度、個数とも複
雑な画像処理に利用するには不十分である。
【０００７】また、スマート・ビジョン・センサを開発
されている（画像ラボ１９９７年１２月号）。
されている（画像ラボ１９９７年１２月号）。
【０００８】このセンサはデジタル回路を使って画像を
処理しており、領域のラベリングや重心計算などの簡単
な画像処理を高速に行なうことができる。しかし、この
センサはライン毎の並列処理性能に重点がおかれてお
り、２次元に広がる領域内の動き情報を高速に精度良く
求めることは困難である。
処理しており、領域のラベリングや重心計算などの簡単
な画像処理を高速に行なうことができる。しかし、この
センサはライン毎の並列処理性能に重点がおかれてお
り、２次元に広がる領域内の動き情報を高速に精度良く
求めることは困難である。
【０００９】これに対して、超並列・超高速視覚情報処
理システム（応用物理学会誌第６７巻第１号：石川他
著）は、デジタル処理を行なう回路をセンサに搭載して
２次元画像内の領域を１秒間に１０００枚の速度で追跡
することが可能である。
理システム（応用物理学会誌第６７巻第１号：石川他
著）は、デジタル処理を行なう回路をセンサに搭載して
２次元画像内の領域を１秒間に１０００枚の速度で追跡
することが可能である。
【００１０】しかし、このシステムは近傍演算のみです
べての画像処理をおこなうように設計されているため、
対象物体の複雑さや速度が増すと十分な精度の演算結果
を得ることが出来ない可能性がある。
べての画像処理をおこなうように設計されているため、
対象物体の複雑さや速度が増すと十分な精度の演算結果
を得ることが出来ない可能性がある。
【００１１】今後はさらに前記のようなデジタル処理回
路を搭載したセンサの開発が進むと考えられ、１秒間に
１０００枚以上の速度でカラーや濃淡の画像を処理した
結果を出力できるようになると考えられる。
路を搭載したセンサの開発が進むと考えられ、１秒間に
１０００枚以上の速度でカラーや濃淡の画像を処理した
結果を出力できるようになると考えられる。
【００１２】
【発明が解決しようとする課題】上述したように、従来
の方法では、カメラからコンピュータへのデータの転送
が１秒間に３０フレーム程度の速度で行なわれている場
合が多く、高速移動体は対処できない。３０分の１秒で
は画像上での移動範囲が広いので、複雑な処理を用いて
も正しいフローが得られない。また、画像処理回路を搭
載して比較的高速な処理を可能とする新しいタイプのセ
ンサーも提案されているが、処理可能な演算は領域のラ
ベリングや重心計算などの簡単なものに限られており、
動き情報が求められるものでも、対象物体の複雑さや速
度が増すと、十分な精度の結果を得るには演算の領域設
定などから問題があった。
の方法では、カメラからコンピュータへのデータの転送
が１秒間に３０フレーム程度の速度で行なわれている場
合が多く、高速移動体は対処できない。３０分の１秒で
は画像上での移動範囲が広いので、複雑な処理を用いて
も正しいフローが得られない。また、画像処理回路を搭
載して比較的高速な処理を可能とする新しいタイプのセ
ンサーも提案されているが、処理可能な演算は領域のラ
ベリングや重心計算などの簡単なものに限られており、
動き情報が求められるものでも、対象物体の複雑さや速
度が増すと、十分な精度の結果を得るには演算の領域設
定などから問題があった。
【００１３】本発明は前記のような点に鑑みなされたも
ので、われわれは画像を高速に取り込むと同時に処理す
ることが可能なセンサから入力される高速な時系列画像
から、様々な速度を持つ移動体を安定して検出すること
のできる動画像処理装置及びその方法を提供することを
目的とする。
ので、われわれは画像を高速に取り込むと同時に処理す
ることが可能なセンサから入力される高速な時系列画像
から、様々な速度を持つ移動体を安定して検出すること
のできる動画像処理装置及びその方法を提供することを
目的とする。
【００１４】
【課題を解決するための手段】請求項１の発明は、画像
を時系列的に取り込む画像取得手段と、この画像取得手
段によって取り込まれた時系列画像から画像間での各画
素の移動量の情報、または、移動量の情報及び移動方向
の情報を有するフローを検出するフロー検出手段と、こ
のフロー検出手段によって検出された前記時系列画像の
各画素に関するフローが一定量に達する移動時間を計測
する移動時間計測手段と、この移動時間計測手段によっ
て計測された移動時間と前記一定量から、前記時系列画
像の各時点における前記各画素での速度情報の抽出を行
う速度情報抽出手段と、を具備したことを特徴とする動
画像処理装置である。
を時系列的に取り込む画像取得手段と、この画像取得手
段によって取り込まれた時系列画像から画像間での各画
素の移動量の情報、または、移動量の情報及び移動方向
の情報を有するフローを検出するフロー検出手段と、こ
のフロー検出手段によって検出された前記時系列画像の
各画素に関するフローが一定量に達する移動時間を計測
する移動時間計測手段と、この移動時間計測手段によっ
て計測された移動時間と前記一定量から、前記時系列画
像の各時点における前記各画素での速度情報の抽出を行
う速度情報抽出手段と、を具備したことを特徴とする動
画像処理装置である。
【００１５】請求項２の発明は、前記フロー検出手段
は、前記時系列画像のうち適当な時間における基準画像
と、この基準画像と比較して時系列的に前の画像、また
は、後の画像との間のフローを、前記基準画像中の各画
素においてそれぞれ検出することを特徴とする請求項１
記載の動画像処理装置である。
は、前記時系列画像のうち適当な時間における基準画像
と、この基準画像と比較して時系列的に前の画像、また
は、後の画像との間のフローを、前記基準画像中の各画
素においてそれぞれ検出することを特徴とする請求項１
記載の動画像処理装置である。
【００１６】請求項３の発明は、前記速度情報抽出手段
は、前記一定量を、前記移動時間計測手段によって計測
された移動時間によって割り算演算することにより速度
情報を抽出することを特徴とする請求項１記載の動画像
処理装置である。
は、前記一定量を、前記移動時間計測手段によって計測
された移動時間によって割り算演算することにより速度
情報を抽出することを特徴とする請求項１記載の動画像
処理装置である。
【００１７】請求項４の発明は、前記動画像処理装置
は、速度情報を表示する速度情報出力手段を有し、この
速度情報出力手段は、各画素における速度情報を輝度情
報に対応させる輝度情報対応手段と、この輝度情報対応
手段によって輝度情報に変換した速度情報を基に、一定
の速度をもった領域の検出を行う領域検出手段と、この
領域検出手段によって検出した領域に対応して前記輝度
情報に変換した速度情報を表示する表示手段と、を具備
したことを特徴とする請求項１記載の動画像処理装置で
ある。
は、速度情報を表示する速度情報出力手段を有し、この
速度情報出力手段は、各画素における速度情報を輝度情
報に対応させる輝度情報対応手段と、この輝度情報対応
手段によって輝度情報に変換した速度情報を基に、一定
の速度をもった領域の検出を行う領域検出手段と、この
領域検出手段によって検出した領域に対応して前記輝度
情報に変換した速度情報を表示する表示手段と、を具備
したことを特徴とする請求項１記載の動画像処理装置で
ある。
【００１８】請求項５の発明は、画像を時系列的に取り
込む画像取得ステップと、この画像取得ステップによっ
て取り込まれた時系列画像から画像間での各画素の移動
量の情報、または、移動量の情報及び移動方向の情報を
有するフローを検出するフロー検出ステップと、このフ
ロー検出ステップによって検出された前記時系列画像の
各画素に関するフローが一定量に達する移動時間を計測
する移動時間計測ステップと、この移動時間計測ステッ
プによって計測された移動時間と前記一定量から、前記
時系列画像の各時点における前記各画素での速度情報の
抽出を行う速度情報抽出ステップと、を具備したことを
特徴とする動画像処理方法である。
込む画像取得ステップと、この画像取得ステップによっ
て取り込まれた時系列画像から画像間での各画素の移動
量の情報、または、移動量の情報及び移動方向の情報を
有するフローを検出するフロー検出ステップと、このフ
ロー検出ステップによって検出された前記時系列画像の
各画素に関するフローが一定量に達する移動時間を計測
する移動時間計測ステップと、この移動時間計測ステッ
プによって計測された移動時間と前記一定量から、前記
時系列画像の各時点における前記各画素での速度情報の
抽出を行う速度情報抽出ステップと、を具備したことを
特徴とする動画像処理方法である。
【００１９】請求項６の発明は、画像を時系列的に取り
込む画像取得機能と、この画像取得機能によって取り込
まれた時系列画像から画像間での各画素の移動量の情
報、または、移動量の情報及び移動方向の情報を有する
フローを検出するフロー検出機能と、このフロー検出機
能によって検出された前記時系列画像の各画素に関する
フローが一定量に達する移動時間を計測する移動時間計
測機能と、この移動時間計測機能によって計測された移
動時間と前記一定量から、前記時系列画像の各時点にお
ける前記各画素での速度情報の抽出を行う速度情報抽出
機能と、を実現するプログラムを記録媒体であることを
特徴とする動画像処理方法を記録した記録媒体である。
込む画像取得機能と、この画像取得機能によって取り込
まれた時系列画像から画像間での各画素の移動量の情
報、または、移動量の情報及び移動方向の情報を有する
フローを検出するフロー検出機能と、このフロー検出機
能によって検出された前記時系列画像の各画素に関する
フローが一定量に達する移動時間を計測する移動時間計
測機能と、この移動時間計測機能によって計測された移
動時間と前記一定量から、前記時系列画像の各時点にお
ける前記各画素での速度情報の抽出を行う速度情報抽出
機能と、を実現するプログラムを記録媒体であることを
特徴とする動画像処理方法を記録した記録媒体である。
【００２０】すなわち、本発明は、シーンの撮影によっ
て得られる時系列画像を用い、その時系列画像の各画素
のフローを検出し、そのフロー情報から各画素のフロー
が一定量に達する移動時間を計測し、その移動時間から
各画素の速度情報の抽出を行い、この速度情報を輝度情
報に変換し、必要時応じて一定の速度をもった領域の検
出を行い、これを前記シーンの速度情報として表示出力
するものである。
て得られる時系列画像を用い、その時系列画像の各画素
のフローを検出し、そのフロー情報から各画素のフロー
が一定量に達する移動時間を計測し、その移動時間から
各画素の速度情報の抽出を行い、この速度情報を輝度情
報に変換し、必要時応じて一定の速度をもった領域の検
出を行い、これを前記シーンの速度情報として表示出力
するものである。
【００２１】このような構成により、画像を高速に取り
込むと同時に処理することが可能なセンサから入力され
る高速な時系列画像から、例えば様々な速度を持つ移動
体を安定して検出することができる。
込むと同時に処理することが可能なセンサから入力され
る高速な時系列画像から、例えば様々な速度を持つ移動
体を安定して検出することができる。
【００２２】
【発明の実施の形態】以下、本発明の実施の形態につい
て説明する。
て説明する。
【００２３】図１に本実施形態の基本的な構成例を示
す。
す。
【００２４】従来技術で説明した１秒間に１０００枚の
画像が取得可能な装置である画像取込み部０により得ら
れた動画像系列から、速度情報抽出部１により、速度情
報を抽出する。
画像が取得可能な装置である画像取込み部０により得ら
れた動画像系列から、速度情報抽出部１により、速度情
報を抽出する。
【００２５】速度情報抽出部１は図２に示すように画像
間フロー検出部１２、画像間対応評価部１３、速度情報
出力部１４から構成される。
間フロー検出部１２、画像間対応評価部１３、速度情報
出力部１４から構成される。
【００２６】画像間フロー検出部１２では、時系列画像
の各画素のフローを検出する。次に画像間対応評価部１
３では、各画素のフローが一定量に達する移動時間を計
測し、その移動時間から各画素の速度情報の抽出を行
う。最後に、速度情報出力部１４により、得られた速度
情報を輝度情報に変換し、また必要時応じて一定の速度
をもった領域の検出を行い、これを表示出力する。
の各画素のフローを検出する。次に画像間対応評価部１
３では、各画素のフローが一定量に達する移動時間を計
測し、その移動時間から各画素の速度情報の抽出を行
う。最後に、速度情報出力部１４により、得られた速度
情報を輝度情報に変換し、また必要時応じて一定の速度
をもった領域の検出を行い、これを表示出力する。
【００２７】（ａ）画像間フロー検出部１２ 図３に、画像間フロー検出部１２の詳細な構成例を示
す。
す。
【００２８】画像間フロー検出部１２では２フレーム間
の輝度パターンの対応づけからフローを求めものであ
り、局所マスク設定部２１、相関値計算部２２、対応判
定部２３よりなる。
の輝度パターンの対応づけからフローを求めものであ
り、局所マスク設定部２１、相関値計算部２２、対応判
定部２３よりなる。
【００２９】局所マスク設定部２１ 局所マスク設定部２１において、各画素を含む５×５や
７×７などのサイズを持つ局所マスク領域を各々の画像
中に設定する。
７×７などのサイズを持つ局所マスク領域を各々の画像
中に設定する。
【００３０】相関値計算部２２ 次に、相関値計算部２２において、これら局所マスク内
の輝度情報から領域間の相関係数の値を計算する。現フ
レームの各画素を中心とした局所マスク領域を、後続フ
レームにおける同一座標、及びその周囲を中心とした局
所マスク領域との間で比較し、各々との相関を算出す
る。相関の計算としてはマスクどうしで対応している画
素の輝度の差分の自乗誤差の和を取る方法、あるいはそ
の自乗誤差をマスク内の平均値及び分散によって正規化
したものを用いる方法などが考えられる。
の輝度情報から領域間の相関係数の値を計算する。現フ
レームの各画素を中心とした局所マスク領域を、後続フ
レームにおける同一座標、及びその周囲を中心とした局
所マスク領域との間で比較し、各々との相関を算出す
る。相関の計算としてはマスクどうしで対応している画
素の輝度の差分の自乗誤差の和を取る方法、あるいはそ
の自乗誤差をマスク内の平均値及び分散によって正規化
したものを用いる方法などが考えられる。
【００３１】対応判定部２３ 次に、対応判定部２３において、前記相関係数値がしき
い値以上、かつ最大となる組を、対応づけが求まったも
のとして記憶部に格納する処理を、現フレームの各画素
について順次行なう。この結果、各画素から後続フレー
ム内の対応画素へのベクトルが定義され、このベクトル
によって直接フローが表される。
い値以上、かつ最大となる組を、対応づけが求まったも
のとして記憶部に格納する処理を、現フレームの各画素
について順次行なう。この結果、各画素から後続フレー
ム内の対応画素へのベクトルが定義され、このベクトル
によって直接フローが表される。
【００３２】（ｂ）画像間対応評価部１３ 図４に、画像間対応評価部１３の詳細な構成例を示す。
【００３３】画像間対応評価部１３は、指標距離設定部
３１、移動時間検出部３２、速度方向登録部３３よりな
る。
３１、移動時間検出部３２、速度方向登録部３３よりな
る。
【００３４】指標距離設定部３１ まず、指標距離設定部３１において、速度計算の指標と
なる画素数を設定しＤとする。Ｄの選択は任意である
が、簡単のためここではＤ＝１とし、指標の距離Ｄを１
画素と定義する。
なる画素数を設定しＤとする。Ｄの選択は任意である
が、簡単のためここではＤ＝１とし、指標の距離Ｄを１
画素と定義する。
【００３５】あるシーンが指標の距離である１画素（Ｄ
＝１）を移動するために掛かる移動時間を検出すると、
その時間が短いほど速く移動していることを、逆に長い
ほどゆっくりと移動していることを意味し、シーンの速
度に逆比例的に対応することになる。
＝１）を移動するために掛かる移動時間を検出すると、
その時間が短いほど速く移動していることを、逆に長い
ほどゆっくりと移動していることを意味し、シーンの速
度に逆比例的に対応することになる。
【００３６】移動時間検出部３２ 次に、移動時間検出部３２では、あるフレームの画像
と、これに続く時系列画像との間のフローを入力とす
る。
と、これに続く時系列画像との間のフローを入力とす
る。
【００３７】各画素（ｘ，ｙ）において、これに続くｎ
番目のフレームとの間で計算されたフローを順にｆ
（ｘ，ｙ；ｎ）とおく。フローは画像間フロー検出部２
で検出されたものを用いる。このとき次式によって所要
移動時間を定義する。
番目のフレームとの間で計算されたフローを順にｆ
（ｘ，ｙ；ｎ）とおく。フローは画像間フロー検出部２
で検出されたものを用いる。このとき次式によって所要
移動時間を定義する。
【００３８】 ｔ（ｘ，ｙ）＝｛ｎ｜ｆ（ｘ，ｙ；ｎ）＝Ｄ｝ （１） すなわち、現在考慮しているフレームの画素（ｘ，ｙ）
におけるフローを考え、その量が指標の距離Ｄに等しく
なるのが、後続ｎ番目のフレームとの間のフローである
とき、ｎをもってその画素（ｘ，ｙ）の所要移動時間ｔ
（ｘ，ｙ）とする。ｔ（ｘ，ｙ）はフレーム内の各画素
ごとに検出され、各画素が１画素を移動するのに必要な
時間を表すため、これから速度を逆比例的に計算するこ
とができる。
におけるフローを考え、その量が指標の距離Ｄに等しく
なるのが、後続ｎ番目のフレームとの間のフローである
とき、ｎをもってその画素（ｘ，ｙ）の所要移動時間ｔ
（ｘ，ｙ）とする。ｔ（ｘ，ｙ）はフレーム内の各画素
ごとに検出され、各画素が１画素を移動するのに必要な
時間を表すため、これから速度を逆比例的に計算するこ
とができる。
【００３９】上述の処理によれば、速度情報ｔ（ｘ，
ｙ）の検出は適当な周期でサンプリングしたフレームを
基準に行うのが適切で、ｔ（ｘ，ｙ）はこの周期ごとに
全画素について同時に更新されることになる。これに対
し、移動時間検出部３２の実現法としては、次の様に各
画素ごとに逐次速度情報を更新していく方法も考えられ
る。
ｙ）の検出は適当な周期でサンプリングしたフレームを
基準に行うのが適切で、ｔ（ｘ，ｙ）はこの周期ごとに
全画素について同時に更新されることになる。これに対
し、移動時間検出部３２の実現法としては、次の様に各
画素ごとに逐次速度情報を更新していく方法も考えられ
る。
【００４０】この場合は、各フレームにおけるフロー
を、それに先行するフレームとの間で計算する。つま
り、フレームｋ1 におけるある画素（ｘ，ｙ；ｋ1 ）
で、このｎ番目前のフレームとの間で計算されたフロー
ｆr （ｘ，ｙ；ｎ）が指標の距離Ｄ画素に達したとする
とき、フレームｋ1 での画素（ｘ，ｙ）の速度（移動時
間）を次式で定義する。
を、それに先行するフレームとの間で計算する。つま
り、フレームｋ1 におけるある画素（ｘ，ｙ；ｋ1 ）
で、このｎ番目前のフレームとの間で計算されたフロー
ｆr （ｘ，ｙ；ｎ）が指標の距離Ｄ画素に達したとする
とき、フレームｋ1 での画素（ｘ，ｙ）の速度（移動時
間）を次式で定義する。
【００４１】 ｔ（ｘ，ｙ；ｋ1 ）＝｛ｎ｜ｆr （ｘ，ｙ；ｎ）＝Ｄ｝ （２） また、ここで画素（ｘ，ｙ）を中心とするテンプレート
Ｔ（ｘ，ｙ，ｋ1 ）を記憶する。フレームｋ1 以降の画
素（ｘ，ｙ）における速度は、Ｔ（ｘ，ｙ，ｋ1 ）との
相関を計算しながら再び画素（ｘ，ｙ）の移動距離がＤ
画素に達するフレームｋ2 までの間はｔ（ｘ，ｙ；
ｋ1 ）とする。フレームｋ2 ではｔ（ｘ，ｙ；ｋ2 ）
に、テンプレートをＴ（ｘ，ｙ，ｋ2 ）に更新し、以後
同様の処理を繰り返す。これによると速いシーンほど移
動量がすぐ指標の距離になるため速度とテンプレートの
更新が頻繁に起こる。ただし、速度情報に関しては速度
の時間変化を考慮に入れて計算することもできる。例え
ば速度の更新が起こらない時間が一定の閾値を越える場
合は速度を零にリセットすることが考えられる。また、
カルマンフィルターなどにより、時間軸上のフィルタリ
ングを行うことで、より滑らかな速度変化を推定するこ
とが可能である。
Ｔ（ｘ，ｙ，ｋ1 ）を記憶する。フレームｋ1 以降の画
素（ｘ，ｙ）における速度は、Ｔ（ｘ，ｙ，ｋ1 ）との
相関を計算しながら再び画素（ｘ，ｙ）の移動距離がＤ
画素に達するフレームｋ2 までの間はｔ（ｘ，ｙ；
ｋ1 ）とする。フレームｋ2 ではｔ（ｘ，ｙ；ｋ2 ）
に、テンプレートをＴ（ｘ，ｙ，ｋ2 ）に更新し、以後
同様の処理を繰り返す。これによると速いシーンほど移
動量がすぐ指標の距離になるため速度とテンプレートの
更新が頻繁に起こる。ただし、速度情報に関しては速度
の時間変化を考慮に入れて計算することもできる。例え
ば速度の更新が起こらない時間が一定の閾値を越える場
合は速度を零にリセットすることが考えられる。また、
カルマンフィルターなどにより、時間軸上のフィルタリ
ングを行うことで、より滑らかな速度変化を推定するこ
とが可能である。
【００４２】速度方向登録部３３ 速度方向登録部３３では移動時間検出部３２で検出され
た所要移動時間ｔ（ｘ，ｙ）に移動方向を併せて持たせ
る。
た所要移動時間ｔ（ｘ，ｙ）に移動方向を併せて持たせ
る。
【００４３】移動方向は、画像間フロー検出部２で検出
されたフローの角度で表すことができる。
されたフローの角度で表すことができる。
【００４４】これを例えばθ（ｘ，ｙ）とおき、各画素
（ｘ，ｙ）において所要移動時間と移動方向を（ｔ，
θ）としてセットで登録する。
（ｘ，ｙ）において所要移動時間と移動方向を（ｔ，
θ）としてセットで登録する。
【００４５】ただし、ここで考えている様に指標の距離
Ｄが１画素の場合は、所要移動時間ｔ（ｘ，ｙ）に対応
する移動方向は画素（ｘ，ｙ）の周囲の８画素のいずれ
かであるから、角度θ（ｘ，ｙ）の代わりに、これら８
画素のいずれであるかを指示するによって平易に登録を
行うことができる。
Ｄが１画素の場合は、所要移動時間ｔ（ｘ，ｙ）に対応
する移動方向は画素（ｘ，ｙ）の周囲の８画素のいずれ
かであるから、角度θ（ｘ，ｙ）の代わりに、これら８
画素のいずれであるかを指示するによって平易に登録を
行うことができる。
【００４６】（ｃ）速度情報出力部１４ 図５に、速度情報出力部１４の詳細な構成例を示す。
【００４７】速度情報出力部１４は画像間対応評価部１
３によって得られた速度情報の出力方法に関わるもので
あり、速度輝度変換部４１、速度区分設定部４２、速度
表示部４３よりなる。
３によって得られた速度情報の出力方法に関わるもので
あり、速度輝度変換部４１、速度区分設定部４２、速度
表示部４３よりなる。
【００４８】速度輝度変換部４１ 速度輝度変換部４１は、基準フレーム設定部３１におい
て設定された基準フレームの各画素の所要移動時間ｔ
（ｘ，ｙ）を輝度情報Ｉ（ｘ，ｙ）に変換する。変換に
は、ｔ（ｘ，ｙ）が短いほど高い輝度値Ｉ（ｘ，ｙ）を
割り当てるなど（又はその逆）の正規化処理を行えば良
い。
て設定された基準フレームの各画素の所要移動時間ｔ
（ｘ，ｙ）を輝度情報Ｉ（ｘ，ｙ）に変換する。変換に
は、ｔ（ｘ，ｙ）が短いほど高い輝度値Ｉ（ｘ，ｙ）を
割り当てるなど（又はその逆）の正規化処理を行えば良
い。
【００４９】速度区分設定部４２ また、速度区分設定部４２により基準フレームにおいて
一定の速度をもった領域の検出を可能にする。速度区分
の最小値と最大値をフレーム数によりｔ1 ，ｔ2 （ｔ1
＜ｔ2 ) などと設定すると、所要移動時間ｔ（ｘ，ｙ）
が ｔ1 ≦ｔ（ｘ，ｙ）≦ｔ2 （３） を満足する画素（ｘ，ｙ）により、所要移動時間ｔ1 と
ｔ2 の間で設定された区分範囲の速度をもった領域が決
定される。ここで、この領域情報を表現する手段として
例えば、 Ｒ（ｘ，ｙ）＝１（ｔ1 ≦ｔ（ｘ，ｙ）≦ｔ2 ） （４） Ｒ（ｘ，ｙ）＝０（ｔ（ｘ，ｙ）＜ｔ1 またはｔ2 ＜ｔ（ｘ，ｙ）） （５） のような２値マスクＲ（ｘ，ｙ）を利用することができ
る。
一定の速度をもった領域の検出を可能にする。速度区分
の最小値と最大値をフレーム数によりｔ1 ，ｔ2 （ｔ1
＜ｔ2 ) などと設定すると、所要移動時間ｔ（ｘ，ｙ）
が ｔ1 ≦ｔ（ｘ，ｙ）≦ｔ2 （３） を満足する画素（ｘ，ｙ）により、所要移動時間ｔ1 と
ｔ2 の間で設定された区分範囲の速度をもった領域が決
定される。ここで、この領域情報を表現する手段として
例えば、 Ｒ（ｘ，ｙ）＝１（ｔ1 ≦ｔ（ｘ，ｙ）≦ｔ2 ） （４） Ｒ（ｘ，ｙ）＝０（ｔ（ｘ，ｙ）＜ｔ1 またはｔ2 ＜ｔ（ｘ，ｙ）） （５） のような２値マスクＲ（ｘ，ｙ）を利用することができ
る。
【００５０】一方、速度方向登録部３３においてｔ
（ｘ，ｙ）に併せて登録された速度方向θ（ｘ，ｙ）を
用いることにより、基準フレームにおいて一定の速度方
向をもった領域検出を行うことも可能である。例えば、
速度の向きをθ1 ，θ2 （θ1 ＜θ2 ）の範囲として設
定すると、速度方向θ（ｘ，ｙ）が θ1 ≦ｔ（ｘ，ｙ）≦θ2 （６） を満足する画素（ｘ、ｙ）により、速度方向がθ1 とθ
2 の間である領域を指定できる。こうした領域も前記と
同様の２値マスクとして次のように表現できる。
（ｘ，ｙ）に併せて登録された速度方向θ（ｘ，ｙ）を
用いることにより、基準フレームにおいて一定の速度方
向をもった領域検出を行うことも可能である。例えば、
速度の向きをθ1 ，θ2 （θ1 ＜θ2 ）の範囲として設
定すると、速度方向θ（ｘ，ｙ）が θ1 ≦ｔ（ｘ，ｙ）≦θ2 （６） を満足する画素（ｘ、ｙ）により、速度方向がθ1 とθ
2 の間である領域を指定できる。こうした領域も前記と
同様の２値マスクとして次のように表現できる。
【００５１】 Ｒ（ｘ，ｙ）＝１（θ1 ≦θ（ｘ，ｙ）≦θ2 ） （７） Ｒ（ｘ，ｙ）＝０（θ（ｘ，ｙ）＜θ1 またはθ2 ＜θ（ｘ，ｙ）） （８） また、速度の大きさと方向との組合せにより領域を設定
して選び出すこともできる。
して選び出すこともできる。
【００５２】速度表示部４３ 最後に、速度表示部４３は、速度輝度変換部４１におい
て輝度情報に変換された速度情報を、表示する。
て輝度情報に変換された速度情報を、表示する。
【００５３】基本的には基準フレームの各画素（ｘ，
ｙ）に対し、速度ｔ（ｘ，ｙ）に応じた輝度情報Ｉ
（ｘ，ｙ）を表示させるが、この輝度情報Ｉ（ｘ，ｙ）
の表示を、Ｒ（ｘ，ｙ）＝１との論理和を経て、つまり
前記速度区分設定部４２によって区分された速度の大き
さと方向を参照し、設定区分範囲の速度をもった領域に
限定して行うこともできる。またＲ（ｘ，ｙ）と、入力
画像の輝度値そのままの論理和を出力するといったよう
に、様々な形式で速度情報を表示するものである。
ｙ）に対し、速度ｔ（ｘ，ｙ）に応じた輝度情報Ｉ
（ｘ，ｙ）を表示させるが、この輝度情報Ｉ（ｘ，ｙ）
の表示を、Ｒ（ｘ，ｙ）＝１との論理和を経て、つまり
前記速度区分設定部４２によって区分された速度の大き
さと方向を参照し、設定区分範囲の速度をもった領域に
限定して行うこともできる。またＲ（ｘ，ｙ）と、入力
画像の輝度値そのままの論理和を出力するといったよう
に、様々な形式で速度情報を表示するものである。
【００５４】＜ 変 更 例 ＞なお、本発明は前記実
施例で記載した内容に限定されるものではない。
施例で記載した内容に限定されるものではない。
【００５５】例えば、画像間フロー検出部１２におい
て、フロー検出は前記の相関による方法に限られず、他
の手法を用いても良い。
て、フロー検出は前記の相関による方法に限られず、他
の手法を用いても良い。
【００５６】例として、輝度値から２次元の速度場を求
めようとする時空間微分法による手法などが適用でき
る。図６に、時空間微分法を用いた前記画像間フロー検
出部１２の構成変形例を示す。
めようとする時空間微分法による手法などが適用でき
る。図６に、時空間微分法を用いた前記画像間フロー検
出部１２の構成変形例を示す。
【００５７】局所勾配計算部２４ まず、局所勾配計算部２４では、画像内の空間的な輝度
勾配と、２フレーム間の時間的な輝度勾配を、各画素に
おいて局所的に計算する。計算された輝度勾配を水平、
垂直方向にそれぞれＩx ，Ｉy とおき、時間的な輝度勾
配をＩt とおくことにする。
勾配と、２フレーム間の時間的な輝度勾配を、各画素に
おいて局所的に計算する。計算された輝度勾配を水平、
垂直方向にそれぞれＩx ，Ｉy とおき、時間的な輝度勾
配をＩt とおくことにする。
【００５８】拘束式生成部２５ 次に、拘束式生成部２５では、前記局所勾配計算部で得
られた局所勾配を、オプティカルフローの拘束式と呼ば
れる拘束条件に代入し、次式を得る。
られた局所勾配を、オプティカルフローの拘束式と呼ば
れる拘束条件に代入し、次式を得る。
【００５９】 Ｉx ・ｕ＋Ｉy ・ｖ＋Ｉt ＝０． （９） ここでは（ｕ，ｖ）が速度ベクトルを表しており、同一
の点に対応する画素の輝度がその点の時間的な移動にか
かわらず一定であることと、輝度の空間的変化が線形で
あることが近似的な前提となっている。
の点に対応する画素の輝度がその点の時間的な移動にか
かわらず一定であることと、輝度の空間的変化が線形で
あることが近似的な前提となっている。
【００６０】フロー計算部２６ フロー計算部２６において、拘束式生成部２５で得られ
た拘束式を例えば水平、垂直方向に各々空間微分するこ
とにより（ｕ，ｖ）に関する連立方程式を立て、これを
解くことで速度ベクトル（ｕ，ｖ）を求めることができ
る。
た拘束式を例えば水平、垂直方向に各々空間微分するこ
とにより（ｕ，ｖ）に関する連立方程式を立て、これを
解くことで速度ベクトル（ｕ，ｖ）を求めることができ
る。
【００６１】また、速度情報抽出部１の画像間フロー検
出部１２、画像間対応評価部１３、速度情報出力部１４
をパソコンで実現するために、画像間フロー検出部１
２、画像間対応評価部１３、速度情報出力部１４の機能
を実現するプログラムをＦＤ，，ＭＤ，ＣＤ−ＲＯＭ，
ＤＶＤ等の記録媒体に記憶させておき、これを画像取り
込部０が接続されたパソコンに記憶させて処理させても
よい。
出部１２、画像間対応評価部１３、速度情報出力部１４
をパソコンで実現するために、画像間フロー検出部１
２、画像間対応評価部１３、速度情報出力部１４の機能
を実現するプログラムをＦＤ，，ＭＤ，ＣＤ−ＲＯＭ，
ＤＶＤ等の記録媒体に記憶させておき、これを画像取り
込部０が接続されたパソコンに記憶させて処理させても
よい。
【００６２】このように、本発明は部分的な要素処理の
置き換えなどにより様々な拡張が可能である。
置き換えなどにより様々な拡張が可能である。
【００６３】
【発明の効果】本発明によれば、画像を高速に取り込む
と同時に処理することが可能なセンサから入力される高
速な時系列画像から、移動速度の速い物体から遅い物体
までを安定して単純な処理で正しく検出することので
き、画像情報に基づいた高速な機器制御などの技術の実
現に、大きく貢献する。
と同時に処理することが可能なセンサから入力される高
速な時系列画像から、移動速度の速い物体から遅い物体
までを安定して単純な処理で正しく検出することので
き、画像情報に基づいた高速な機器制御などの技術の実
現に、大きく貢献する。
【図１】本発明の基本的な構成を示すブロック図であ
る。
る。
【図２】図１の速度情報抽出部の詳細な構成を示すブロ
ック図である。
ック図である。
【図３】図２の画像間フロー検出部の詳細な構成例を示
すブロック図である。
すブロック図である。
【図４】図２の画像間対応評価部の詳細な構成を示すブ
ロック図である。
ロック図である。
【図５】図２の速度情報出力部の詳細な構成を示すブロ
ック図である。
ック図である。
【図６】図２の画像間フロー検出部の構成変形例を示す
ブロック図である。。
ブロック図である。。
０…画像取り込部 １…速度情報抽出部 １２…画像間フロー検出部 １３…画像間対応評価部 １４…速度情報出力部 ２１…局所マスク設定部 ２２…相関値計算部 ２３…対応判定部 ２４…局所勾配計算部 ２５…拘束式生成部 ２６…フロー計算部 ３１…指標距離設定部 ３２…移動時間検出部 ３３…速度方向登録部 ４１…速度輝度変換部 ４２…速度区分設定部 ４３…速度表示部
───────────────────────────────────────────────────── フロントページの続き (72)発明者 中井 宏章 兵庫県神戸市東灘区本山南町８−６−26 株式会社東芝関西研究所内 (72)発明者 渡辺 睦 兵庫県神戸市東灘区本山南町８−６−26 株式会社東芝関西研究所内 (72)発明者 松井 利一 兵庫県神戸市東灘区本山南町８−６−26 株式会社東芝関西研究所内 (72)発明者 田中 英治 兵庫県神戸市東灘区本山南町８−６−26 株式会社東芝関西研究所内
Claims (6)
- 【請求項１】画像を時系列的に取り込む画像取得手段
と、 この画像取得手段によって取り込まれた時系列画像から
画像間での各画素の移動量の情報、または、移動量の情
報及び移動方向の情報を有するフローを検出するフロー
検出手段と、 このフロー検出手段によって検出された前記時系列画像
の各画素に関するフローが一定量に達する移動時間を計
測する移動時間計測手段と、 この移動時間計測手段によって計測された移動時間と前
記一定量から、前記時系列画像の各時点における前記各
画素での速度情報の抽出を行う速度情報抽出手段と、を
具備したことを特徴とする動画像処理装置。 - 【請求項２】前記フロー検出手段は、 前記時系列画像のうち適当な時間における基準画像と、
この基準画像と比較して時系列的に前の画像、または、
後の画像との間のフローを、前記基準画像中の各画素に
おいてそれぞれ検出することを特徴とする請求項１記載
の動画像処理装置。 - 【請求項３】前記速度情報抽出手段は、 前記一定量を、前記移動時間計測手段によって計測され
た移動時間によって割り算演算することにより速度情報
を抽出することを特徴とする請求項１記載の動画像処理
装置。 - 【請求項４】前記動画像処理装置は、速度情報を表示す
る速度情報出力手段を有し、 この速度情報出力手段は、 各画素における速度情報を輝度情報に対応させる輝度情
報対応手段と、 この輝度情報対応手段によって輝度情報に変換した速度
情報を基に、一定の速度をもった領域の検出を行う領域
検出手段と、 この領域検出手段によって検出した領域に対応して前記
輝度情報に変換した速度情報を表示する表示手段と、を
具備したことを特徴とする請求項１記載の動画像処理装
置。 - 【請求項５】画像を時系列的に取り込む画像取得ステッ
プと、 この画像取得ステップによって取り込まれた時系列画像
から画像間での各画素の移動量の情報、または、移動量
の情報及び移動方向の情報を有するフローを検出するフ
ロー検出ステップと、 このフロー検出ステップによって検出された前記時系列
画像の各画素に関するフローが一定量に達する移動時間
を計測する移動時間計測ステップと、 この移動時間計測ステップによって計測された移動時間
と前記一定量から、前記時系列画像の各時点における前
記各画素での速度情報の抽出を行う速度情報抽出ステッ
プと、を具備したことを特徴とする動画像処理方法。 - 【請求項６】画像を時系列的に取り込む画像取得機能
と、 この画像取得機能によって取り込まれた時系列画像から
画像間での各画素の移動量の情報、または、移動量の情
報及び移動方向の情報を有するフローを検出するフロー
検出機能と、 このフロー検出機能によって検出された前記時系列画像
の各画素に関するフローが一定量に達する移動時間を計
測する移動時間計測機能と、 この移動時間計測機能によって計測された移動時間と前
記一定量から、前記時系列画像の各時点における前記各
画素での速度情報の抽出を行う速度情報抽出機能と、を
実現するプログラムを記録媒体であることを特徴とする
動画像処理方法を記録した記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP16345098A JP3992253B2 (ja) | 1998-06-11 | 1998-06-11 | 動画像処理装置及びその方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP16345098A JP3992253B2 (ja) | 1998-06-11 | 1998-06-11 | 動画像処理装置及びその方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH11353487A true JPH11353487A (ja) | 1999-12-24 |
| JP3992253B2 JP3992253B2 (ja) | 2007-10-17 |
Family
ID=15774120
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP16345098A Expired - Fee Related JP3992253B2 (ja) | 1998-06-11 | 1998-06-11 | 動画像処理装置及びその方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3992253B2 (ja) |
-
1998
- 1998-06-11 JP JP16345098A patent/JP3992253B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP3992253B2 (ja) | 2007-10-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4491965B2 (ja) | 信号処理装置および方法、並びに記録媒体 | |
| CN105957110B (zh) | 用于检测对象的设备和方法 | |
| JP2004005462A (ja) | 映像信号から対象物を追跡する方法及びその装置 | |
| WO2008020598A1 (fr) | Dispositif et procédé de détection d'un nombre d'objets | |
| EP3410353A1 (en) | Method for estimating a timestamp in a video stream and method of augmenting a video stream with information | |
| JP2016140030A (ja) | 画像処理装置、撮像装置、及び画像処理プログラム | |
| KR20170038144A (ko) | 어텐션 검출 장치 및 어텐션 검출 방법 | |
| JP2010114752A (ja) | 撮像装置及び撮像方法及びプログラム | |
| JP5371040B2 (ja) | 移動物体追跡装置、移動物体追跡方法および移動物体追跡プログラム | |
| JP2012073997A (ja) | 物体追尾装置、物体追尾方法およびそのプログラム | |
| CN112287805A (zh) | 运动物体的检测方法、装置、可读存储介质及电子设备 | |
| US20040022448A1 (en) | Image processor | |
| CN116883897A (zh) | 一种低分辨率目标识别方法 | |
| JP4124861B2 (ja) | 移動量検出装置及びその方法 | |
| JP5539565B2 (ja) | 撮像装置及び被写体追跡方法 | |
| JP2011090708A (ja) | 対象個数検出装置および対象個数検出方法 | |
| JP4674920B2 (ja) | 対象個数検出装置および対象個数検出方法 | |
| JP2022099120A (ja) | 被写体追尾装置およびその制御方法 | |
| JPH11353487A (ja) | 動画像処理装置及びその方法 | |
| JP5446641B2 (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
| JP2017005582A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
| JP3621256B2 (ja) | 動き劣化補正処理装置及びその方法 | |
| JP2016051236A (ja) | 画像処理装置、画像処理方法およびそれを用いた検査方法。 | |
| JP2019176261A (ja) | 画像処理装置 | |
| JP5605492B2 (ja) | 画像処理装置、画像処理方法及び画像処理プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040928 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20041116 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050117 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20050405 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050606 |
|
| A911 | Transfer of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20050610 |
|
| A912 | Removal of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20050708 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070622 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070723 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100803 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100803 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110803 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110803 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120803 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120803 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130803 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |