JPH09307883A - 被写体追跡方法及び装置並びにそれを用いた画像表示装置 - Google Patents
被写体追跡方法及び装置並びにそれを用いた画像表示装置Info
- Publication number
- JPH09307883A JPH09307883A JP8116029A JP11602996A JPH09307883A JP H09307883 A JPH09307883 A JP H09307883A JP 8116029 A JP8116029 A JP 8116029A JP 11602996 A JP11602996 A JP 11602996A JP H09307883 A JPH09307883 A JP H09307883A
- Authority
- JP
- Japan
- Prior art keywords
- subject
- time
- image
- information
- real
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Closed-Circuit Television Systems (AREA)
- Controls And Circuits For Display Device (AREA)
- Image Analysis (AREA)
Abstract
(57)【要約】
【課題】 解析対象フレーム画像における被写体の位置
を用いて、表示中のフレーム画像の切り出しを行って
も、適正な被写体映像を表示する。また、解析対象フレ
ーム画像における画像解析処理に同期させて画像表示を
行っても、フレームレートが落ちないようにする。 【解決手段】 被写体位置が決定されるまでの処理に要
する時間遅れを補償し、その間の被写体の動きを予想し
て、被写体位置が決定された時点の被写体位置を推定す
る被写体追跡方法及びそれを用いた画像表示方法であっ
て、軌跡情報が存在しない実時間ビデオ映像内の被写体
に対して、実時間での被写体位置の獲得を可能とし、そ
の位置をもとに画像表示を行うことを可能とするととも
に、被写体位置が特定されるフレーム間の表示フレーム
に関して被写体位置を補完し、被写体位置をもとにした
スムーズな画像表示を行うことを可能とするものであ
る。
を用いて、表示中のフレーム画像の切り出しを行って
も、適正な被写体映像を表示する。また、解析対象フレ
ーム画像における画像解析処理に同期させて画像表示を
行っても、フレームレートが落ちないようにする。 【解決手段】 被写体位置が決定されるまでの処理に要
する時間遅れを補償し、その間の被写体の動きを予想し
て、被写体位置が決定された時点の被写体位置を推定す
る被写体追跡方法及びそれを用いた画像表示方法であっ
て、軌跡情報が存在しない実時間ビデオ映像内の被写体
に対して、実時間での被写体位置の獲得を可能とし、そ
の位置をもとに画像表示を行うことを可能とするととも
に、被写体位置が特定されるフレーム間の表示フレーム
に関して被写体位置を補完し、被写体位置をもとにした
スムーズな画像表示を行うことを可能とするものであ
る。
Description
【０００１】
【発明の属する技術分野】本発明は、ビデオカメラから
の実時間映像中における被写体位置を特定し、その位置
をもとに画像表示を行う画像表示方法及び装置に関し、
特に、被写体追跡方法及び装置並びにそれを用いた画像
表示装置に関するものである。
の実時間映像中における被写体位置を特定し、その位置
をもとに画像表示を行う画像表示方法及び装置に関し、
特に、被写体追跡方法及び装置並びにそれを用いた画像
表示装置に関するものである。
【０００２】
【従来の技術】ビデオ映像内の被写体の位置を特定し、
その位置をもとに被写体を切り出して表示するシステム
の例として、情報処理学会データベースシステム研究会
報告「視覚誘導情報獲得モデルに基づくマルチメディア
情報システム-VideoReality-」（94-DBS-97）で述べら
れている「電視水族館」があげられる。
その位置をもとに被写体を切り出して表示するシステム
の例として、情報処理学会データベースシステム研究会
報告「視覚誘導情報獲得モデルに基づくマルチメディア
情報システム-VideoReality-」（94-DBS-97）で述べら
れている「電視水族館」があげられる。
【０００３】
【発明が解決しようとする課題】本発明は、前記従来の
技術を検討した結果、以下の問題点を見い出した。
技術を検討した結果、以下の問題点を見い出した。
【０００４】前記従来の装置においては、事前に蓄積さ
れるビデオ映像を対象とし、事前に準備された各映像フ
レームにおける被写体位置を使用して、画像表示を行う
ものである。そのため、実時間映像に対しそのまま適用
することはではない。実時間映像を対象とするには、入
力される実時間映像に対してオプティカルフロー法等の
画像解析技術を用いることで実時間に処理する方式が考
えられるが、画像処理に時間がかかるため、解析対象と
したフレームと画像切り出しの対象とするフレームに時
間差が生じてしまい適正な被写体映像を表示できないと
いう問題がある。
れるビデオ映像を対象とし、事前に準備された各映像フ
レームにおける被写体位置を使用して、画像表示を行う
ものである。そのため、実時間映像に対しそのまま適用
することはではない。実時間映像を対象とするには、入
力される実時間映像に対してオプティカルフロー法等の
画像解析技術を用いることで実時間に処理する方式が考
えられるが、画像処理に時間がかかるため、解析対象と
したフレームと画像切り出しの対象とするフレームに時
間差が生じてしまい適正な被写体映像を表示できないと
いう問題がある。
【０００５】また、解析対象フレーム画像における画像
解析処理に同期させて画像表示を行うとフレームレート
が落ちてしまうという問題がある。
解析処理に同期させて画像表示を行うとフレームレート
が落ちてしまうという問題がある。
【０００６】ここで、オプティカルフローとは、観測者
と物体の間の相対的な運動によって生じる画面上の見か
けの速度分布であり、画像解析技術の一つである。この
オプティカルフロー法の詳細については、画像処理ハン
ドブック編集委員会編、（株）昭晃堂発行の「画像処理
ハンドブック」第３７９〜３８０頁に記載されている。
と物体の間の相対的な運動によって生じる画面上の見か
けの速度分布であり、画像解析技術の一つである。この
オプティカルフロー法の詳細については、画像処理ハン
ドブック編集委員会編、（株）昭晃堂発行の「画像処理
ハンドブック」第３７９〜３８０頁に記載されている。
【０００７】このオプティカルフローにより、画面内の
速度分布を解釈することにより、解析対象のフレーム内
に存在する移動物体の位置を検出することができる。オ
プティカルフローを用いて移動物体の位置を検出する画
像解析装置としては、ピラミッドアルゴリズムを用いた
Pyramid Vision (Senser, Inc)が存在する。
速度分布を解釈することにより、解析対象のフレーム内
に存在する移動物体の位置を検出することができる。オ
プティカルフローを用いて移動物体の位置を検出する画
像解析装置としては、ピラミッドアルゴリズムを用いた
Pyramid Vision (Senser, Inc)が存在する。
【０００８】本発明の目的は、解析対象フレーム画像に
おける被写体の位置を用いて、表示中のフレーム画像の
切り出しを行っても、適正な被写体映像を表示すること
が可能な技術を提供することにある。
おける被写体の位置を用いて、表示中のフレーム画像の
切り出しを行っても、適正な被写体映像を表示すること
が可能な技術を提供することにある。
【０００９】本発明の他の目的は、解析対象フレーム画
像における画像解析処理に同期させて画像表示を行って
も、フレームレートが落ちないようにすることが可能な
技術を提供することにある。
像における画像解析処理に同期させて画像表示を行って
も、フレームレートが落ちないようにすることが可能な
技術を提供することにある。
【００１０】本発明の他の目的は、ある特定の被写体位
置に依存した画像表示方法及び装置を提供することにあ
る。
置に依存した画像表示方法及び装置を提供することにあ
る。
【００１１】本発明の前記ならびにその他の目的と新規
な特徴は、本明細書の記述及び添付図面によって明らか
にする。
な特徴は、本明細書の記述及び添付図面によって明らか
にする。
【００１２】
【課題を解決するための手段】本願において開示される
発明のうち代表的なものの概要を簡単に説明すれば、以
下のとおりである。
発明のうち代表的なものの概要を簡単に説明すれば、以
下のとおりである。
【００１３】（１）被写体位置が決定されるまでの処理
に要する時間遅れを補償し、その間の被写体の動きを予
想して、被写体位置が決定された時点の被写体位置を推
定する被写体追跡方法において、継続して入力される実
時間映像情報に対して、注目すべき被写体を指定し、指
定された被写体の前記実時間映像上の所在位置を表わす
情報を時間離散的に算出して出力し、この算出された被
写体の実時間映像上の所在位置情報と、それ以前の算出
された被写体の実時間映像上の所在位置情報とを用い
て、前記の算出に要すると見積もられる時間経過後に前
記の被写体が位置すると予測される位置を推定し、この
推定した位置情報を出力するものである。
に要する時間遅れを補償し、その間の被写体の動きを予
想して、被写体位置が決定された時点の被写体位置を推
定する被写体追跡方法において、継続して入力される実
時間映像情報に対して、注目すべき被写体を指定し、指
定された被写体の前記実時間映像上の所在位置を表わす
情報を時間離散的に算出して出力し、この算出された被
写体の実時間映像上の所在位置情報と、それ以前の算出
された被写体の実時間映像上の所在位置情報とを用い
て、前記の算出に要すると見積もられる時間経過後に前
記の被写体が位置すると予測される位置を推定し、この
推定した位置情報を出力するものである。
【００１４】（２）前記（１）の被写体追跡方法におい
て、時間軸上で離散的に得られる被写体推定位置情報を
もとに、実際は得られない任意の時間時点上における被
写体推定位置を算出し、該算出された被写体推定位置情
報と、それ以前の算出された被写体推定位置情報とを用
いて、これら実際に得られている各時点以外の任意の時
点に前記被写体を位置すると予測される位置を推定し、
この推定した位置情報を出力するものである。
て、時間軸上で離散的に得られる被写体推定位置情報を
もとに、実際は得られない任意の時間時点上における被
写体推定位置を算出し、該算出された被写体推定位置情
報と、それ以前の算出された被写体推定位置情報とを用
いて、これら実際に得られている各時点以外の任意の時
点に前記被写体を位置すると予測される位置を推定し、
この推定した位置情報を出力するものである。
【００１５】（３）前記（１）又は（２）の被写体追跡
方法において、前記被写体の所在位置を表わす情報を時
間離散的に算出する方法としてオプティカルフロー法を
用いたものである。
方法において、前記被写体の所在位置を表わす情報を時
間離散的に算出する方法としてオプティカルフロー法を
用いたものである。
【００１６】（４）前記（１）乃至（３）のうちいずれ
か１つの被写体追跡方法において、前記被写体が位置す
ると予測される位置を推定する方法として、線形一次測
を用いたものである。
か１つの被写体追跡方法において、前記被写体が位置す
ると予測される位置を推定する方法として、線形一次測
を用いたものである。
【００１７】（５）前記（１）乃至（４）のうちいずれ
か１つの被写体追跡方法を用いて被写体位置の軌跡を算
出し、この算出した被写体位置の軌跡情報を入力される
動画像に重畳させて表示する被写体位置軌跡表示方法で
ある。
か１つの被写体追跡方法を用いて被写体位置の軌跡を算
出し、この算出した被写体位置の軌跡情報を入力される
動画像に重畳させて表示する被写体位置軌跡表示方法で
ある。
【００１８】（６）前記（１）乃至（４）のうちいずれ
か１つの被写体追跡方法を用いて被写体位置付近の画像
領域を拡大して表示する被写体表示方法である。
か１つの被写体追跡方法を用いて被写体位置付近の画像
領域を拡大して表示する被写体表示方法である。
【００１９】（７）被写体位置が決定されるまでの処理
に要する時間遅れを補償し、その間の被写体の動きを予
想して、被写体位置が決定された時点の被写体位置を推
定する被写体追跡装置において、継続して入力される実
時間映像情報に対して、注目すべき被写体を指定する手
段と、該指定された被写体の前記実時間映像上の所在位
置を表わす情報を時間離散的に算出する被写体所在位置
算出手段と、この算出された被写体所在位置情報と、そ
れ以前の被写体所在位置情報とを用いて前記被写体所在
位置算出に要すると見積もられる時間経過後に前記被写
体が位置すると予測される位置を推定する予測位置推定
手段と、この推定した位置情報を出力する推定位置情報
出力手段とを備えたものである。
に要する時間遅れを補償し、その間の被写体の動きを予
想して、被写体位置が決定された時点の被写体位置を推
定する被写体追跡装置において、継続して入力される実
時間映像情報に対して、注目すべき被写体を指定する手
段と、該指定された被写体の前記実時間映像上の所在位
置を表わす情報を時間離散的に算出する被写体所在位置
算出手段と、この算出された被写体所在位置情報と、そ
れ以前の被写体所在位置情報とを用いて前記被写体所在
位置算出に要すると見積もられる時間経過後に前記被写
体が位置すると予測される位置を推定する予測位置推定
手段と、この推定した位置情報を出力する推定位置情報
出力手段とを備えたものである。
【００２０】（８）ビデオカメラから実時間で入力され
るビデオ映像に対して入力ビデオ映像内に存在する被写
体の位置を獲得する被写体位置獲得手段と、前記入力ビ
デオ映像中における被写体の位置の軌跡情報を格納する
軌跡情報格納手段と、前記被写体位置獲得手段の出力の
最新の被写体位置を前記軌跡情報格納手段に格納すると
ともに、前記最新の被写体位置と前記軌跡情報格納手段
に格納された当該被写体の過去の移動履歴をもとに、前
記被写体位置獲得手段に要する時間経過後の被写体の位
置（現在の被写体の位置）を推測する被写体位置推測手
段とを具備し、実時間で入力されるビデオ映像内に存在
する被写体の位置を実時間で遅れなしに特定する被写体
位置推測装置である。
るビデオ映像に対して入力ビデオ映像内に存在する被写
体の位置を獲得する被写体位置獲得手段と、前記入力ビ
デオ映像中における被写体の位置の軌跡情報を格納する
軌跡情報格納手段と、前記被写体位置獲得手段の出力の
最新の被写体位置を前記軌跡情報格納手段に格納すると
ともに、前記最新の被写体位置と前記軌跡情報格納手段
に格納された当該被写体の過去の移動履歴をもとに、前
記被写体位置獲得手段に要する時間経過後の被写体の位
置（現在の被写体の位置）を推測する被写体位置推測手
段とを具備し、実時間で入力されるビデオ映像内に存在
する被写体の位置を実時間で遅れなしに特定する被写体
位置推測装置である。
【００２１】（９）ビデオカメラから実時間で入力され
るビデオ映像に対して入力ビデオ映像内に存在する被写
体の位置を獲得する被写体位置獲得手段と、前記入力ビ
デオ映像中における被写体の位置の軌跡情報を格納する
軌跡情報格納手段と、前記被写体位置獲得手段の出力の
最新の被写体位置を前記軌跡情報格納手段に格納すると
ともに、前記最新の被写体位置と前記軌跡情報格納手段
に格納された当該被写体の過去の移動履歴をもとに、前
記被写体位置獲得手段に要する時間経過後の被写体の位
置（現在の被写体の位置）を推測する被写体位置推測手
段と、前記被写体位置獲得手段と被写体位置推測手段に
よって得られた移動する被写体の位置を用いて、当該被
写体に依存する画像を表示する画像表示手段とを具備
し、実時間で入力されるビデオ映像内の移動する被写体
に依存する映像を利用者に提供する画像表示装置であ
る。
るビデオ映像に対して入力ビデオ映像内に存在する被写
体の位置を獲得する被写体位置獲得手段と、前記入力ビ
デオ映像中における被写体の位置の軌跡情報を格納する
軌跡情報格納手段と、前記被写体位置獲得手段の出力の
最新の被写体位置を前記軌跡情報格納手段に格納すると
ともに、前記最新の被写体位置と前記軌跡情報格納手段
に格納された当該被写体の過去の移動履歴をもとに、前
記被写体位置獲得手段に要する時間経過後の被写体の位
置（現在の被写体の位置）を推測する被写体位置推測手
段と、前記被写体位置獲得手段と被写体位置推測手段に
よって得られた移動する被写体の位置を用いて、当該被
写体に依存する画像を表示する画像表示手段とを具備
し、実時間で入力されるビデオ映像内の移動する被写体
に依存する映像を利用者に提供する画像表示装置であ
る。
【００２２】（１０）ビデオカメラから実時間で入力さ
れるビデオ映像に対して入力ビデオ映像内に存在する被
写体の位置を獲得する被写体位置獲得手段と、前記入力
ビデオ映像中における被写体の位置の軌跡情報を格納す
る軌跡情報格納手段と、前記被写体位置獲得手段の出力
の最新の被写体位置を前記軌跡情報格納手段に格納する
とともに、前記最新の被写体位置と前記軌跡情報格納手
段に格納された当該被写体の過去の移動履歴をもとに、
前記被写体位置獲得手段に要する時間経過後の被写体の
位置（現在の被写体の位置）を推測する被写体位置推測
手段と、前記被写体位置獲得手段と被写体位置推測手段
によって得られた移動する被写体の位置を用いて、当該
被写体に依存する画像を表示する画像表示手段と、前記
被写体位置推測手段により被写体の新しい位置が通知さ
れるまで、過去の被写体位置情報により前記被写体位置
推測手段と同様の手法でビデオ映像の各フレームに対し
て当該被写体位置を補完する被写体位置補完とを具備
し、実時間で入力されるビデオ映像内の被写体の位置を
実時間でスムーズに表示する画像表示装置である。
れるビデオ映像に対して入力ビデオ映像内に存在する被
写体の位置を獲得する被写体位置獲得手段と、前記入力
ビデオ映像中における被写体の位置の軌跡情報を格納す
る軌跡情報格納手段と、前記被写体位置獲得手段の出力
の最新の被写体位置を前記軌跡情報格納手段に格納する
とともに、前記最新の被写体位置と前記軌跡情報格納手
段に格納された当該被写体の過去の移動履歴をもとに、
前記被写体位置獲得手段に要する時間経過後の被写体の
位置（現在の被写体の位置）を推測する被写体位置推測
手段と、前記被写体位置獲得手段と被写体位置推測手段
によって得られた移動する被写体の位置を用いて、当該
被写体に依存する画像を表示する画像表示手段と、前記
被写体位置推測手段により被写体の新しい位置が通知さ
れるまで、過去の被写体位置情報により前記被写体位置
推測手段と同様の手法でビデオ映像の各フレームに対し
て当該被写体位置を補完する被写体位置補完とを具備
し、実時間で入力されるビデオ映像内の被写体の位置を
実時間でスムーズに表示する画像表示装置である。
【００２３】前述した手段によれば、継続して入力され
る実時間映像情報に対して、注目すべき被写体を指定
し、該指定された被写体の前記実時間映像上の所在位置
を表わす情報を時間離散的に算出し、この算出された被
写体所在位置情報と、それ以前の被写体所在位置情報と
を用いて前記被写体所在位置算出に要すると見積もられ
る時間経過後に前記被写体が位置すると予測される位置
を推定し、この推定した位置情報を出力することができ
る。
る実時間映像情報に対して、注目すべき被写体を指定
し、該指定された被写体の前記実時間映像上の所在位置
を表わす情報を時間離散的に算出し、この算出された被
写体所在位置情報と、それ以前の被写体所在位置情報と
を用いて前記被写体所在位置算出に要すると見積もられ
る時間経過後に前記被写体が位置すると予測される位置
を推定し、この推定した位置情報を出力することができ
る。
【００２４】また、軌跡情報が存在しない実時間ビデオ
映像内の被写体に対して、実時間での被写体位置の獲得
を可能とし、その位置をもとに画像表示を行うことを可
能とするとともに、被写体位置が特定されるフレーム間
の表示フレームに関して被写体位置を補完し、被写体位
置をもとにしたスムーズな画像表示を行うことを可能と
する。
映像内の被写体に対して、実時間での被写体位置の獲得
を可能とし、その位置をもとに画像表示を行うことを可
能とするとともに、被写体位置が特定されるフレーム間
の表示フレームに関して被写体位置を補完し、被写体位
置をもとにしたスムーズな画像表示を行うことを可能と
する。
【００２５】
【実施の形態】以下、図面を参照して本発明の実施形態
（実施例）を詳細に説明する。
（実施例）を詳細に説明する。
【００２６】図１は本発明の実施形態のある移動する被
写体の位置に依存した実時間映像から画像を抽出して表
示する画像表示装置の概略構成を示すブロック図であ
る。
写体の位置に依存した実時間映像から画像を抽出して表
示する画像表示装置の概略構成を示すブロック図であ
る。
【００２７】図１において、１０１はビデオカメラ、１
０２は被写体位置獲得装置、１０３は被写体位置推測装
置、１０４は画像表示装置、１０５は被写体位置補完装
置、１０６はモニタ、１０７は実世界での被写体、１０
８は軌跡情報格納装置、１０９は被写体が存在する実世
界、１１０は時間ｔ＝ｎにおけるビデオ映像、１１１は
時間ｔ＝ｎ＋１におけるビデオ映像、１１２は時間ｔ＝
ｎにおける被写体位置、１１３は被写体位置推測装置で
求められた時間ｔ＝ｎ＋１における被写体推測位置であ
る。なお、被写体位置補完装置１０５を用いない場合に
は、被写体位置推測装置１０３と画像表示装置１０４は
直接接続される。
０２は被写体位置獲得装置、１０３は被写体位置推測装
置、１０４は画像表示装置、１０５は被写体位置補完装
置、１０６はモニタ、１０７は実世界での被写体、１０
８は軌跡情報格納装置、１０９は被写体が存在する実世
界、１１０は時間ｔ＝ｎにおけるビデオ映像、１１１は
時間ｔ＝ｎ＋１におけるビデオ映像、１１２は時間ｔ＝
ｎにおける被写体位置、１１３は被写体位置推測装置で
求められた時間ｔ＝ｎ＋１における被写体推測位置であ
る。なお、被写体位置補完装置１０５を用いない場合に
は、被写体位置推測装置１０３と画像表示装置１０４は
直接接続される。
【００２８】本実施形態のある移動する被写体の位置に
依存した実時間映像から画像を抽出して表示する画像表
示装置は、図１に示すように、ビデオカメラ１０１から
実時間で入力されるビデオ映像に対して入力ビデオ映像
内に存在する被写体の位置を獲得する被写体位置獲得装
置１０２と、前記入力ビデオ映像中における被写体の位
置の軌跡情報を格納する軌跡情報格納装置１０８と、前
記被写体位置獲得装置１０２の出力の最新の被写体位置
を前記軌跡情報格納装置１０８に格納するとともに、前
記最新の被写体位置と前記軌跡情報格納装置１０８に格
納された当該被写体の過去の移動履歴をもとに、前記被
写体位置獲得装置１０２に要する時間経過後の被写体の
位置（現在の被写体の位置）を推測する被写体位置推測
装置１０３と、前記被写体位置獲得装置１０２と被写体
位置推測装置１０３によって得られた移動する被写体の
位置を用いて、当該被写体に依存する画像を表示する画
像表示装置１０４と、前記被写体位置推測装置１０３に
より被写体の新しい位置が通知されるまで、過去の被写
体位置情報により前記被写体位置推測装置１０３と同様
の手法でビデオ映像の各フレームに対して当該被写体位
置を補完する被写体位置補完装置１０５とを備えてい
る。
依存した実時間映像から画像を抽出して表示する画像表
示装置は、図１に示すように、ビデオカメラ１０１から
実時間で入力されるビデオ映像に対して入力ビデオ映像
内に存在する被写体の位置を獲得する被写体位置獲得装
置１０２と、前記入力ビデオ映像中における被写体の位
置の軌跡情報を格納する軌跡情報格納装置１０８と、前
記被写体位置獲得装置１０２の出力の最新の被写体位置
を前記軌跡情報格納装置１０８に格納するとともに、前
記最新の被写体位置と前記軌跡情報格納装置１０８に格
納された当該被写体の過去の移動履歴をもとに、前記被
写体位置獲得装置１０２に要する時間経過後の被写体の
位置（現在の被写体の位置）を推測する被写体位置推測
装置１０３と、前記被写体位置獲得装置１０２と被写体
位置推測装置１０３によって得られた移動する被写体の
位置を用いて、当該被写体に依存する画像を表示する画
像表示装置１０４と、前記被写体位置推測装置１０３に
より被写体の新しい位置が通知されるまで、過去の被写
体位置情報により前記被写体位置推測装置１０３と同様
の手法でビデオ映像の各フレームに対して当該被写体位
置を補完する被写体位置補完装置１０５とを備えてい
る。
【００２９】前記ビデオカメラ１０１は、被写体１０７
が存在する実世界１０９を撮影し、得られたビデオ映像
を被写体位置獲得装置１０２と画像表示装置１０４に入
力する。
が存在する実世界１０９を撮影し、得られたビデオ映像
を被写体位置獲得装置１０２と画像表示装置１０４に入
力する。
【００３０】前記被写体位置獲得装置１０２は、被写体
位置獲得手段を用いてビデオカメラ１０１で撮影された
ビデオ映像１１０内に存在する時間ｔ＝ｎにおける被写
体１０７の位置を検出して獲得する。
位置獲得手段を用いてビデオカメラ１０１で撮影された
ビデオ映像１１０内に存在する時間ｔ＝ｎにおける被写
体１０７の位置を検出して獲得する。
【００３１】この被写体位置獲得装置１０２としては、
例えば、Senser社の「Pyramid Vision」装置を用いる。
例えば、Senser社の「Pyramid Vision」装置を用いる。
【００３２】被写体位置推測装置１０３は、被写体位置
獲得装置１０２で得られた時間ｔ＝ｎにおける被写体位
置１１２を軌跡情報格納装置１０８に、例えば、（id,
x,y,time）という形式で格納するとともに、時間ｔ＝ｎ
における被写体位置１１２と軌跡情報格納装置１０８内
に存在する該被写体の移動履歴から、被写体位置推測手
段を用いて、時間ｔ＝ｎ＋１における被写体位置１１３
を推測する。
獲得装置１０２で得られた時間ｔ＝ｎにおける被写体位
置１１２を軌跡情報格納装置１０８に、例えば、（id,
x,y,time）という形式で格納するとともに、時間ｔ＝ｎ
における被写体位置１１２と軌跡情報格納装置１０８内
に存在する該被写体の移動履歴から、被写体位置推測手
段を用いて、時間ｔ＝ｎ＋１における被写体位置１１３
を推測する。
【００３３】この被写体位置推測手段として、最も簡単
な一次予測を例に説明する。
な一次予測を例に説明する。
【００３４】ここで言う一次予測とは、移動物体の移動
方向および速度は、直前の移動方向および速度に近い値
をとるという前提に基づいて、移動物体の現在の移動方
向および速度の値として、既知の値である直前（過去）
の移動方向および速度であると仮定し、移動物体の現在
位置を推測するものである。一次予測を適用すると、時
間ｔ＝ｎにおける座標（Ｘn，Ｙn）が与えられると、時
間ｔ＝ｎ−１における座標（Ｘn-1，Ｙn-1）を軌跡情報
格納装置１０８より取り出し、時間ｔ＝ｎ＋１における
座標（Ｘn+1，Ｙn+1）を数１の式と仮定して、表示中の
ビデオ映像内の被写体座標を推測する。
方向および速度は、直前の移動方向および速度に近い値
をとるという前提に基づいて、移動物体の現在の移動方
向および速度の値として、既知の値である直前（過去）
の移動方向および速度であると仮定し、移動物体の現在
位置を推測するものである。一次予測を適用すると、時
間ｔ＝ｎにおける座標（Ｘn，Ｙn）が与えられると、時
間ｔ＝ｎ−１における座標（Ｘn-1，Ｙn-1）を軌跡情報
格納装置１０８より取り出し、時間ｔ＝ｎ＋１における
座標（Ｘn+1，Ｙn+1）を数１の式と仮定して、表示中の
ビデオ映像内の被写体座標を推測する。
【００３５】
【数１】Ｘn+1＝Ｘn＋（Ｘn−Ｘn-1） Ｙn+1＝Ｙn＋（Ｙn−Ｙn-1） 画像表示装置１０４は、画像表示手段を用いて実時間映
像における現在の表示フレーム（ｔ＝ｎ＋１）に対し、
ビデオカメラ１０１から得られた時間ｔ＝ｎ＋１におけ
るビデオ映像１１１と被写体位置推測装置１０３から得
られた時間ｔ＝ｎ＋１における被写体推測位置１１３を
合成し、モニタ１０６へ出力する。
像における現在の表示フレーム（ｔ＝ｎ＋１）に対し、
ビデオカメラ１０１から得られた時間ｔ＝ｎ＋１におけ
るビデオ映像１１１と被写体位置推測装置１０３から得
られた時間ｔ＝ｎ＋１における被写体推測位置１１３を
合成し、モニタ１０６へ出力する。
【００３６】軌跡情報格納装置１０８は、被写体位置獲
得装置１０２で得られた被写体位置１１２を各被写体ご
とに蓄えたものである。
得装置１０２で得られた被写体位置１１２を各被写体ご
とに蓄えたものである。
【００３７】被写体位置補完装置１０５は、被写体位置
補完手段を用いて、被写体位置が特定されるフレーム間
の表示フレーム（ｔ＝ｎ＋ａ，０＜ａ＜１）に関して、
そのそれぞれの時間ｔに関して被写体位置を推測する。
補完手段を用いて、被写体位置が特定されるフレーム間
の表示フレーム（ｔ＝ｎ＋ａ，０＜ａ＜１）に関して、
そのそれぞれの時間ｔに関して被写体位置を推測する。
【００３８】ここでの処理を一次予測を例にして説明す
ると、時間ｔ＝ｎにおける座標（Ｘn，Ｙn）と時間ｔ＝
ｎ−１における座標（Ｘn-1，Ｙn-1）から、時間ｔ＝ｎ
＋１＋ａにおける座標（Ｘn+1+a，Ｙn+1+a）を数２の式
と仮定して、各フレーム内の被写体座標を推測する。
ると、時間ｔ＝ｎにおける座標（Ｘn，Ｙn）と時間ｔ＝
ｎ−１における座標（Ｘn-1，Ｙn-1）から、時間ｔ＝ｎ
＋１＋ａにおける座標（Ｘn+1+a，Ｙn+1+a）を数２の式
と仮定して、各フレーム内の被写体座標を推測する。
【００３９】
【数２】Ｘn+1+a＝Ｘn＋（Ｘn−Ｘn-1）×（１＋ａ） Ｙn+1+a＝Ｙn＋（Ｙn−Ｙn-1）×（１＋ａ） 前記実施形態において、被写体位置補完装置１０５を用
いない場合には、被写体位置推測装置１０３と画像表示
装置１０４は直接接続される。
いない場合には、被写体位置推測装置１０３と画像表示
装置１０４は直接接続される。
【００４０】以上の説明からわかるように、本実施形態
（実施例）の手段によれば、テレビカメラ１０１から継
続して入力される実時間映像情報に対して、注目すべき
被写体１０７を指定し、この指定された被写体１０７の
前記実時間映像上の所在位置を表わす情報を時間離散的
に算出し、この算出された被写体１０７の所在位置情報
と、それ以前の被写体１０７の所在位置情報とを用いて
前記被写体１０７の所在位置算出に要すると見積もられ
る時間経過後に前記被写体１０７が位置すると予測され
る位置を推定し、この推定した位置情報を出力すること
ができる。
（実施例）の手段によれば、テレビカメラ１０１から継
続して入力される実時間映像情報に対して、注目すべき
被写体１０７を指定し、この指定された被写体１０７の
前記実時間映像上の所在位置を表わす情報を時間離散的
に算出し、この算出された被写体１０７の所在位置情報
と、それ以前の被写体１０７の所在位置情報とを用いて
前記被写体１０７の所在位置算出に要すると見積もられ
る時間経過後に前記被写体１０７が位置すると予測され
る位置を推定し、この推定した位置情報を出力すること
ができる。
【００４１】また、軌跡情報が存在しない実時間ビデオ
映像内の被写体１０７に対して、実時間での被写体１０
７の位置の獲得が可能となり、その位置をもとに画像表
示を行うことを可能とするとともに、被写体１０７の位
置が特定されるフレーム間の表示フレームに関して被写
体１０７の位置を補完し、被写体１０７の位置をもとに
したスムーズな画像表示を行うことが可能になる。
映像内の被写体１０７に対して、実時間での被写体１０
７の位置の獲得が可能となり、その位置をもとに画像表
示を行うことを可能とするとともに、被写体１０７の位
置が特定されるフレーム間の表示フレームに関して被写
体１０７の位置を補完し、被写体１０７の位置をもとに
したスムーズな画像表示を行うことが可能になる。
【００４２】以上、本発明者によってなされた発明を、
前記実施例に基づき具体的に説明したが、本発明は、前
記実施例に限定されるものではなく、その要旨を逸脱し
ない範囲において種々変更可能であることは勿論であ
る。
前記実施例に基づき具体的に説明したが、本発明は、前
記実施例に限定されるものではなく、その要旨を逸脱し
ない範囲において種々変更可能であることは勿論であ
る。
【００４３】
【発明の効果】本願において開示される発明のうち代表
的なものによって得らる効果を簡単に説明すれば以下の
とおりである。
的なものによって得らる効果を簡単に説明すれば以下の
とおりである。
【００４４】（１）継続して入力される実時間映像情報
に対して、注目すべき被写体を指定し、この指定された
被写体の前記実時間映像上の所在位置を表わす情報を時
間離散的に算出し、この算出された被写体所在位置情報
と、それ以前の被写体所在位置情報とを用いて前記被写
体所在位置算出に要すると見積もられる時間経過後に前
記被写体が位置すると予測される位置を推定し、この推
定した位置情報を出力することができる。
に対して、注目すべき被写体を指定し、この指定された
被写体の前記実時間映像上の所在位置を表わす情報を時
間離散的に算出し、この算出された被写体所在位置情報
と、それ以前の被写体所在位置情報とを用いて前記被写
体所在位置算出に要すると見積もられる時間経過後に前
記被写体が位置すると予測される位置を推定し、この推
定した位置情報を出力することができる。
【００４５】（２）軌跡情報が存在しない実時間ビデオ
映像内の被写体に対して、実時間での被写体位置の獲得
が可能となり、その位置をもとに画像表示を行うことが
できる。
映像内の被写体に対して、実時間での被写体位置の獲得
が可能となり、その位置をもとに画像表示を行うことが
できる。
【００４６】（３）被写体位置が特定されるフレーム間
の表示フレームに関して被写体位置を補完し、被写体位
置をもとにしたスムーズな画像表示を行うことができ
る。
の表示フレームに関して被写体位置を補完し、被写体位
置をもとにしたスムーズな画像表示を行うことができ
る。
【図１】本発明の実施形態のある移動する被写体の位置
に依存した実時間映像から画像を抽出して表示する画像
表示装置の概略構成を示すブロック図である。
に依存した実時間映像から画像を抽出して表示する画像
表示装置の概略構成を示すブロック図である。
１０１…ビデオカメラ、１０２…被写体位置獲得装置、
１０３…被写体位置推測装置、１０４…画像表示装置、
１０５…被写体位置補完装置、１０６…モニタ、１０７
…実世界での被写体、１０８…軌跡情報格納装置、１０
９…被写体が存在する実世界、１１０…時間ｔ＝ｎにお
けるビデオ映像、１１１…時間ｔ＝ｎ＋１におけるビデ
オ映像、１１２…時間ｔ＝ｎにおける被写体位置、１１
３…被写体位置推測装置で求められた時間ｔ＝ｎ＋１に
おける被写体推測位置。
１０３…被写体位置推測装置、１０４…画像表示装置、
１０５…被写体位置補完装置、１０６…モニタ、１０７
…実世界での被写体、１０８…軌跡情報格納装置、１０
９…被写体が存在する実世界、１１０…時間ｔ＝ｎにお
けるビデオ映像、１１１…時間ｔ＝ｎ＋１におけるビデ
オ映像、１１２…時間ｔ＝ｎにおける被写体位置、１１
３…被写体位置推測装置で求められた時間ｔ＝ｎ＋１に
おける被写体推測位置。
Claims (10)
- 【請求項１】 被写体位置が決定されるまでの処理に要
する時間遅れを補償し、その間の被写体の動きを予想し
て、被写体位置が決定された時点の被写体位置を推定す
る被写体追跡方法において、継続して入力される実時間
映像情報に対して、注目すべき被写体を指定し、前記指
定された被写体の実時間映像上の所在位置を表わす情報
を時間離散的に算出して出力し、この算出された被写体
の実時間映像上の所在位置情報と、それ以前の算出され
た被写体の実時間映像上の所在位置情報とを用いて、前
記指定された被写体の実時間映像上の所在位置の算出に
要すると見積もられる時間経過後に前記の被写体が位置
すると予測される位置を推定し、この推定した位置情報
を出力することを特徴とする被写体追跡方法。 - 【請求項２】 請求項１に記載される被写体追跡方法に
おいて、時間軸上で離散的に得られる被写体推定位置情
報をもとに、実際は得られない任意の時間時点上におけ
る被写体推定位置を算出し、該算出された被写体推定位
置情報と、それ以前の算出された被写体推定位置情報と
を用いて、これら実際に得られている各時点以外の任意
の時点に前記被写体を位置すると予測される位置を推定
し、この推定した位置情報を出力することを特徴とする
被写体追跡方法。 - 【請求項３】 請求項１又は２に記載される被写体追跡
方法において、前記被写体の所在位置を表わす情報を時
間離散的に算出する方法としてオプティカルフロー法を
用いたことを特徴とする被写体追跡方法。 - 【請求項４】 請求項１乃至３のうちいずれか１項に記
載される被写体追跡方法において、前記被写体が位置す
ると予測される位置を推定する方法として、線形一次測
を用いたことを特徴とする被写体追跡方法。 - 【請求項５】 請求項１乃至４のうちいずれか１項に記
載される被写体追跡方法を用いて被写体位置の軌跡を算
出し、この算出した被写体位置の軌跡情報を入力される
動画像に重畳させて表示することを特徴とする被写体位
置軌跡表示方法。 - 【請求項６】 請求項１乃至４のうちいずれか１項に記
載される被写体追跡方法を用いて被写体位置付近の画像
領域を拡大して表示することを特徴とする被写体表示方
法。 - 【請求項７】 被写体位置が決定されるまでの処理に要
する時間遅れを補償し、その間の被写体の動きを予想し
て、被写体位置が決定された時点の被写体位置を推定す
る被写体追跡装置において、継続して入力される実時間
映像情報に対して、注目すべき被写体を指定する手段
と、該指定された被写体の前記実時間映像上の所在位置
を表わす情報を時間離散的に算出する被写体所在位置算
出手段と、この算出された被写体所在位置情報と、それ
以前の被写体所在位置情報とを用いて前記被写体所在位
置算出に要すると見積もられる時間経過後に前記被写体
が位置すると予測される位置を推定する予測位置推定手
段と、この推定した位置情報を出力する推定位置情報出
力手段とを備えたことを特徴とする被写体追跡装置。 - 【請求項８】 ビデオカメラから実時間で入力されるビ
デオ映像に対して入力ビデオ映像内に存在する被写体の
位置を獲得する被写体位置獲得手段と、前記入力ビデオ
映像中における被写体の位置の軌跡情報を格納する軌跡
情報格納手段と、前記被写体位置獲得手段の出力の最新
の被写体位置を前記軌跡情報格納手段に格納するととも
に、前記最新の被写体位置と前記軌跡情報格納手段に格
納された当該被写体の過去の移動履歴をもとに、前記被
写体位置獲得手段に要する時間経過後の被写体の位置
（現在の被写体の位置）を推測する被写体位置推測手段
とを具備し、実時間で入力されるビデオ映像内に存在す
る被写体の位置を実時間で遅れなしに特定することを特
徴とする被写体位置推測装置。 - 【請求項９】 ビデオカメラから実時間で入力されるビ
デオ映像に対して入力ビデオ映像内に存在する被写体の
位置を獲得する被写体位置獲得手段と、前記入力ビデオ
映像中における被写体の位置の軌跡情報を格納する軌跡
情報格納手段と、前記被写体位置獲得手段の出力の最新
の被写体位置を前記軌跡情報格納手段に格納するととも
に、前記最新の被写体位置と前記軌跡情報格納手段に格
納された当該被写体の過去の移動履歴をもとに、前記被
写体位置獲得手段に要する時間経過後の被写体の位置
（現在の被写体の位置）を推測する被写体位置推測手段
と、前記被写体位置獲得手段と被写体位置推測手段によ
って得られた移動する被写体の位置を用いて、当該被写
体に依存する画像を表示する画像表示手段とを具備し、
実時間で入力されるビデオ映像内の移動する被写体に依
存する映像を利用者に提供することを特徴とする画像表
示装置。 - 【請求項１０】 ビデオカメラから実時間で入力される
ビデオ映像に対して入力ビデオ映像内に存在する被写体
の位置を獲得する被写体位置獲得手段と、前記入力ビデ
オ映像中における被写体の位置の軌跡情報を格納する軌
跡情報格納手段と、前記被写体位置獲得手段の出力の最
新の被写体位置を前記軌跡情報格納手段に格納するとと
もに、前記最新の被写体位置と前記軌跡情報格納手段に
格納された当該被写体の過去の移動履歴をもとに、前記
被写体位置獲得手段に要する時間経過後の被写体の位置
（現在の被写体の位置）を推測する被写体位置推測手段
と、前記被写体位置獲得手段と被写体位置推測手段によ
って得られた移動する被写体の位置を用いて、当該被写
体に依存する画像を表示する画像表示手段と、前記被写
体位置推測手段により被写体の新しい位置が通知される
まで、過去の被写体位置情報により前記被写体位置推測
手段と同様の手法でビデオ映像の各フレームに対して当
該被写体位置を補完する被写体位置補完手段とを具備
し、実時間で入力されるビデオ映像内の被写体の位置を
実時間でスムーズに表示することを特徴とする画像表示
装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP8116029A JPH09307883A (ja) | 1996-05-10 | 1996-05-10 | 被写体追跡方法及び装置並びにそれを用いた画像表示装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP8116029A JPH09307883A (ja) | 1996-05-10 | 1996-05-10 | 被写体追跡方法及び装置並びにそれを用いた画像表示装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH09307883A true JPH09307883A (ja) | 1997-11-28 |
Family
ID=14677002
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP8116029A Pending JPH09307883A (ja) | 1996-05-10 | 1996-05-10 | 被写体追跡方法及び装置並びにそれを用いた画像表示装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH09307883A (ja) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006060309A (ja) * | 2004-08-17 | 2006-03-02 | Adc Technology Kk | 表示装置 |
| JP2006350618A (ja) * | 2005-06-15 | 2006-12-28 | Kddi Corp | 動画像処理装置 |
| JP2010134915A (ja) * | 2008-11-04 | 2010-06-17 | Omron Corp | 画像処理装置 |
| JP2010273112A (ja) * | 2009-05-21 | 2010-12-02 | Fujifilm Corp | 人物追跡方法、人物追跡装置および人物追跡プログラム |
| JP2017228850A (ja) * | 2016-06-20 | 2017-12-28 | 京セラディスプレイ株式会社 | 車両用カメラモニタシステム及び車両 |
| WO2018225187A1 (ja) * | 2017-06-07 | 2018-12-13 | 株式会社ソニー・インタラクティブエンタテインメント | 情報処理システム、情報処理装置、サーバ装置、画像提供方法および画像生成方法 |
| WO2020174566A1 (ja) * | 2019-02-26 | 2020-09-03 | 日本電気株式会社 | 監視装置、追跡方法、及び非一時的なコンピュータ可読媒体 |
| JP2020177242A (ja) * | 2020-07-01 | 2020-10-29 | 京セラ株式会社 | 車両用カメラモニタシステム及びその制御方法 |
| KR20210036537A (ko) * | 2019-09-26 | 2021-04-05 | 한화테크윈 주식회사 | 영상 누적을 이용한 궤적표시 방법 |
| WO2022259688A1 (ja) * | 2021-06-11 | 2022-12-15 | ソニーグループ株式会社 | 情報処理装置、情報処理方法及び情報処理プログラム |
-
1996
- 1996-05-10 JP JP8116029A patent/JPH09307883A/ja active Pending
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006060309A (ja) * | 2004-08-17 | 2006-03-02 | Adc Technology Kk | 表示装置 |
| JP4573599B2 (ja) * | 2004-08-17 | 2010-11-04 | エイディシーテクノロジー株式会社 | 表示装置 |
| JP2006350618A (ja) * | 2005-06-15 | 2006-12-28 | Kddi Corp | 動画像処理装置 |
| JP4688147B2 (ja) * | 2005-06-15 | 2011-05-25 | Ｋｄｄｉ株式会社 | 動画像処理装置 |
| JP2010134915A (ja) * | 2008-11-04 | 2010-06-17 | Omron Corp | 画像処理装置 |
| JP2010273112A (ja) * | 2009-05-21 | 2010-12-02 | Fujifilm Corp | 人物追跡方法、人物追跡装置および人物追跡プログラム |
| JP2017228850A (ja) * | 2016-06-20 | 2017-12-28 | 京セラディスプレイ株式会社 | 車両用カメラモニタシステム及び車両 |
| WO2018225187A1 (ja) * | 2017-06-07 | 2018-12-13 | 株式会社ソニー・インタラクティブエンタテインメント | 情報処理システム、情報処理装置、サーバ装置、画像提供方法および画像生成方法 |
| US11158101B2 (en) | 2017-06-07 | 2021-10-26 | Sony Interactive Entertainment Inc. | Information processing system, information processing device, server device, image providing method and image generation method |
| WO2020174566A1 (ja) * | 2019-02-26 | 2020-09-03 | 日本電気株式会社 | 監視装置、追跡方法、及び非一時的なコンピュータ可読媒体 |
| JPWO2020174566A1 (ja) * | 2019-02-26 | 2021-12-16 | 日本電気株式会社 | 監視装置、追跡方法、及びプログラム |
| US11882542B2 (en) | 2019-02-26 | 2024-01-23 | Nec Corporation | Monitoring device, tracking method, and non-transitory computer-readable medium |
| KR20210036537A (ko) * | 2019-09-26 | 2021-04-05 | 한화테크윈 주식회사 | 영상 누적을 이용한 궤적표시 방법 |
| JP2020177242A (ja) * | 2020-07-01 | 2020-10-29 | 京セラ株式会社 | 車両用カメラモニタシステム及びその制御方法 |
| WO2022259688A1 (ja) * | 2021-06-11 | 2022-12-15 | ソニーグループ株式会社 | 情報処理装置、情報処理方法及び情報処理プログラム |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7239719B2 (en) | Automatic target detection and motion analysis from image data | |
| US6867799B2 (en) | Method and apparatus for object surveillance with a movable camera | |
| US6106119A (en) | Method for presenting high level interpretations of eye tracking data correlated to saved display images | |
| JP2022024139A5 (ja) | ||
| IL175632A (en) | Method, system and computer product for deriving three dimensional information progressively from a streaming video sequence | |
| JPH09307883A (ja) | 被写体追跡方法及び装置並びにそれを用いた画像表示装置 | |
| JP2016085742A (ja) | 前景画像分割方法及び前景画像分割装置 | |
| JP6120404B2 (ja) | 移動体行動分析・予測装置 | |
| WO2006011706A1 (en) | Vision-based augmented reality system using invisible marker | |
| GB2545900A (en) | Method, device, and computer program for re-identification of objects in images obtained from a plurality of cameras | |
| EP3973446A1 (en) | Forensic video exploitation and analysis tools | |
| JP2001285850A (ja) | 自動追尾装置、自動追尾方法及び自動追尾プログラムを記録した記録媒体 | |
| CN108076355B (zh) | 视频播放控制方法和装置 | |
| Aristidou et al. | Real-time estimation of missing markers in human motion capture | |
| JP5111934B2 (ja) | 監視装置 | |
| Wang et al. | Video content representation on tiny devices | |
| JP2011130409A (ja) | 映像信号処理装置及び映像信号処理方法 | |
| CN114529587B (zh) | 一种视频目标跟踪方法、装置、电子设备及存储介质 | |
| EP3624443A1 (en) | Surveillance device, surveillance method, computer program, and storage medium | |
| CN113448428B (zh) | 一种视线焦点的预测方法、装置、设备及计算机存储介质 | |
| Segen et al. | Visual interface for conducting virtual orchestra | |
| CN112364765A (zh) | 一种人眼运动注视点检测方法及装置 | |
| JPH10174090A (ja) | 監視支援装置 | |
| JP2004070512A (ja) | 運転者の顔状態検出装置 | |
| JPH06301782A (ja) | 監視装置 |