JPH0855131A - 動画像内の物体の同定方法及び動画像内の物体の同定装置 - Google Patents
動画像内の物体の同定方法及び動画像内の物体の同定装置Info
- Publication number
- JPH0855131A JPH0855131A JP6190716A JP19071694A JPH0855131A JP H0855131 A JPH0855131 A JP H0855131A JP 6190716 A JP6190716 A JP 6190716A JP 19071694 A JP19071694 A JP 19071694A JP H0855131 A JPH0855131 A JP H0855131A
- Authority
- JP
- Japan
- Prior art keywords
- moving image
- search
- image information
- likelihood
- coordinates
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Image Analysis (AREA)
Abstract
(57)【要約】
【目的】 本発明は、予め動画像情報内の個々の物体
に、当該物体を同定することが可能な領域を設定し蓄積
しておかなくても、指示された座標に基づき物体を検索
して同定することが可能な動画像内の物体の同定方法及
び動画像内の物体の同定装置を提供することを目的とす
る。 【構成】 本発明は、画像蓄積手段１１０、画像表示手
段１２０、座標指示手段１３０、位置情報蓄積手段１４
０、検索手段１５０、尤度計算手段１６０、同定手段１
７０とで構成される。
に、当該物体を同定することが可能な領域を設定し蓄積
しておかなくても、指示された座標に基づき物体を検索
して同定することが可能な動画像内の物体の同定方法及
び動画像内の物体の同定装置を提供することを目的とす
る。 【構成】 本発明は、画像蓄積手段１１０、画像表示手
段１２０、座標指示手段１３０、位置情報蓄積手段１４
０、検索手段１５０、尤度計算手段１６０、同定手段１
７０とで構成される。
Description
【０００１】
【産業上の利用分野】本発明は、動画像内の物体の同定
方法及び動画像内の物体の同定装置に係り、利用者が動
画像を見ながら指示した物体を同定する動画像内の物体
の同定方法及び動画像内の物体の同定装置に関する。
方法及び動画像内の物体の同定装置に係り、利用者が動
画像を見ながら指示した物体を同定する動画像内の物体
の同定方法及び動画像内の物体の同定装置に関する。
【０００２】詳しくは、利用者が指示した動画像情報内
の物体に関する情報等を提示する動画像ナビゲーション
システム等において、利用者の指示した動画像情報内の
物体を正しく同定する動画像内の物体の同定方法及び動
画像内の物体の同定装置に関する。
の物体に関する情報等を提示する動画像ナビゲーション
システム等において、利用者の指示した動画像情報内の
物体を正しく同定する動画像内の物体の同定方法及び動
画像内の物体の同定装置に関する。
【０００３】
【従来の技術】従来、動画像内の物体を同定する方法と
しては以下の方法がある。従来の方法は、動画像を二次
元の画像と時間軸からなる三次元の時空間としてとら
え、動画像内の物体毎に、当該物体を内包する領域を管
理情報として設定しておき、利用者が指示した画像の位
置と時間の組、即ち利用者が指示した動画像内の座標を
含む領域を持つ物体を管理情報を用いて選択することで
動画像内の物体を同定している（高野 元、的場 ひろ
し、原 良憲：“ビデオ・ハイパーメディアのナビゲー
ション方式”、8th Symposium on Human Interface，pp
607-612,Oct.21-23,1992）。
しては以下の方法がある。従来の方法は、動画像を二次
元の画像と時間軸からなる三次元の時空間としてとら
え、動画像内の物体毎に、当該物体を内包する領域を管
理情報として設定しておき、利用者が指示した画像の位
置と時間の組、即ち利用者が指示した動画像内の座標を
含む領域を持つ物体を管理情報を用いて選択することで
動画像内の物体を同定している（高野 元、的場 ひろ
し、原 良憲：“ビデオ・ハイパーメディアのナビゲー
ション方式”、8th Symposium on Human Interface，pp
607-612,Oct.21-23,1992）。
【０００４】図１０は、従来の方法を説明する図を示
す。図１０（Ａ）は、図１０（Ｂ）に示す映像フレーム
１０内を、図１０（Ｃ）に示す三角形の物体２０が、時
刻ｔ0から時刻ｔ4 （ｔ0 ＜ｔ4 ）までの時間経過に伴
い映像フレーム１０内を移動している様子を示してお
り、時刻ｔ0 における映像フレーム１０（座標（０，
０，０）、（ｘ，０，ｔ0 ）、（ｘ，ｙ，ｔ0 ）、
（０，ｙ，ｔ0 ）の４点を頂点とする四角形の領域）か
ら時刻ｔ4 における映像フレーム１０までの５枚の映像
フレーム１０を、時刻の昇順に時間軸（ｔ）方向に平行
に並べた例を示している。映像フレーム１０内の物体２
０は、時刻ｔ0 から時刻ｔ4 への時間経過に伴い、各映
像フレーム１０内を右下から左上に向かって移動してい
る、映像情報として記録されている物体２０である。ま
た、各映像フレーム１０内の物体２０を内包する四角形
は、物体２０を同定することが可能な領域を示してお
り、映像情報として記録されているものではなく上述の
管理情報として蓄積されている。図１０（Ｄ）は、図１
０（Ａ）に示す時刻ｔ0 から時刻ｔ4 までの各映像フレ
ーム１０内で物体２０を同定することが可能な領域を示
している。この、物体２０を同定することが可能な領域
というのは、利用者が図１０（Ａ）に示す動画像を見な
がら当該動画像内の物体２０を指示する際に、物体２０
の内側の領域でなくても、物体２０の周囲の四角形の領
域内を指示していれば、利用者が物体２０を指示したも
のとして同定することが可能な領域のことである。映像
フレーム１０内の物体２０は時間の経過に伴ってその位
置を右下から左上へと変えているため、例えば、利用者
が時刻ｔ2 の映像フレーム１０内で物体２０の右下を指
示したつもりでも、指示しようと考えてから実際に指示
するまでには多少の時間（仮に、Δｔ＝ｔ3 −ｔ2 とす
る）を要する。そのため、指示した座標が入力された時
（ｔ3＝ｔ2 ＋Δｔ）には、時刻ｔ3 の映像フレーム１
０となってしまい、当該映像フレーム内の指示された座
標には既に物体２０は存在していないという場合が考え
られ、利用者の意図した物体２０を正しく指示すること
ができない場合がある。このような場合、特に物体２０
の移動速度が速い場合や、物体２０の大きさが小さい場
合などであっても利用者が物体２０をできるだけ正しく
指示することができるように、映像フレーム１０内の各
物体２０毎に実際の物体２０よりも広い範囲を当該物体
を同定することが可能な領域として予め設定しているの
である。
す。図１０（Ａ）は、図１０（Ｂ）に示す映像フレーム
１０内を、図１０（Ｃ）に示す三角形の物体２０が、時
刻ｔ0から時刻ｔ4 （ｔ0 ＜ｔ4 ）までの時間経過に伴
い映像フレーム１０内を移動している様子を示してお
り、時刻ｔ0 における映像フレーム１０（座標（０，
０，０）、（ｘ，０，ｔ0 ）、（ｘ，ｙ，ｔ0 ）、
（０，ｙ，ｔ0 ）の４点を頂点とする四角形の領域）か
ら時刻ｔ4 における映像フレーム１０までの５枚の映像
フレーム１０を、時刻の昇順に時間軸（ｔ）方向に平行
に並べた例を示している。映像フレーム１０内の物体２
０は、時刻ｔ0 から時刻ｔ4 への時間経過に伴い、各映
像フレーム１０内を右下から左上に向かって移動してい
る、映像情報として記録されている物体２０である。ま
た、各映像フレーム１０内の物体２０を内包する四角形
は、物体２０を同定することが可能な領域を示してお
り、映像情報として記録されているものではなく上述の
管理情報として蓄積されている。図１０（Ｄ）は、図１
０（Ａ）に示す時刻ｔ0 から時刻ｔ4 までの各映像フレ
ーム１０内で物体２０を同定することが可能な領域を示
している。この、物体２０を同定することが可能な領域
というのは、利用者が図１０（Ａ）に示す動画像を見な
がら当該動画像内の物体２０を指示する際に、物体２０
の内側の領域でなくても、物体２０の周囲の四角形の領
域内を指示していれば、利用者が物体２０を指示したも
のとして同定することが可能な領域のことである。映像
フレーム１０内の物体２０は時間の経過に伴ってその位
置を右下から左上へと変えているため、例えば、利用者
が時刻ｔ2 の映像フレーム１０内で物体２０の右下を指
示したつもりでも、指示しようと考えてから実際に指示
するまでには多少の時間（仮に、Δｔ＝ｔ3 −ｔ2 とす
る）を要する。そのため、指示した座標が入力された時
（ｔ3＝ｔ2 ＋Δｔ）には、時刻ｔ3 の映像フレーム１
０となってしまい、当該映像フレーム内の指示された座
標には既に物体２０は存在していないという場合が考え
られ、利用者の意図した物体２０を正しく指示すること
ができない場合がある。このような場合、特に物体２０
の移動速度が速い場合や、物体２０の大きさが小さい場
合などであっても利用者が物体２０をできるだけ正しく
指示することができるように、映像フレーム１０内の各
物体２０毎に実際の物体２０よりも広い範囲を当該物体
を同定することが可能な領域として予め設定しているの
である。
【０００５】
【発明が解決しようとする課題】しかしながら、上記従
来の方法では、以下に示す４つの問題点がある。
来の方法では、以下に示す４つの問題点がある。
【０００６】第１の問題点は、利用者が指示した映像フ
レーム１０内の物体２０をシステムに正しく同定させる
ためには、利用者が当該システムに予め設定されている
各物体２０を同定することができる領域内を指示しなけ
ればならない点である。利用者が、予めシステムに設定
されている物体２０を同定することができる領域に対し
て少しでも外側の座標を指示してしまうと、システムは
物体２０を指示された物体２０として正しく同定するこ
とはできないため、利用者は注意深く物体２０を指示し
なければならない。
レーム１０内の物体２０をシステムに正しく同定させる
ためには、利用者が当該システムに予め設定されている
各物体２０を同定することができる領域内を指示しなけ
ればならない点である。利用者が、予めシステムに設定
されている物体２０を同定することができる領域に対し
て少しでも外側の座標を指示してしまうと、システムは
物体２０を指示された物体２０として正しく同定するこ
とはできないため、利用者は注意深く物体２０を指示し
なければならない。
【０００７】第２の問題点は、上記従来の方法では、第
１の問題点による影響を軽減するために、映像フレーム
１０内に存在する物体の数が少ない場合には、個々の物
体を同定することができる領域をできるだけ広くとり、
また、映像フレーム１０内に存在する物体の数が多い場
合には、個々の物体を同定することができる領域を狭く
とる等の調整を行なわなければならないという点であ
る。そのため、個々の物体に対する領域の設定に多大の
工程を要することになる。
１の問題点による影響を軽減するために、映像フレーム
１０内に存在する物体の数が少ない場合には、個々の物
体を同定することができる領域をできるだけ広くとり、
また、映像フレーム１０内に存在する物体の数が多い場
合には、個々の物体を同定することができる領域を狭く
とる等の調整を行なわなければならないという点であ
る。そのため、個々の物体に対する領域の設定に多大の
工程を要することになる。
【０００８】第３の問題点は、動きの速い物体を同定す
る場合、利用者が物体を指示する操作が物体の移動に追
いつかないことがあるため、物体を同定することができ
る領域を物体の移動速度を考慮した領域として設定して
おかなければならない点である。この場合にも設定に多
くの工程を要する。
る場合、利用者が物体を指示する操作が物体の移動に追
いつかないことがあるため、物体を同定することができ
る領域を物体の移動速度を考慮した領域として設定して
おかなければならない点である。この場合にも設定に多
くの工程を要する。
【０００９】第４の問題点は、動画像の再生速度が速い
場合などにも、上記第３の問題と同様の問題が発生する
ため、動画像の再生速度に応じて物体を同定することが
可能な領域を複数設定しておかなければならないという
点である。この問題も、上記第２の問題点、第３の問題
点と同様設定に多くの工程を要する。
場合などにも、上記第３の問題と同様の問題が発生する
ため、動画像の再生速度に応じて物体を同定することが
可能な領域を複数設定しておかなければならないという
点である。この問題も、上記第２の問題点、第３の問題
点と同様設定に多くの工程を要する。
【００１０】本発明は、上記の点に鑑みなされたもの
で、予め動画像情報内の個々の物体毎に、当該物体を同
定することができる領域を設定して管理情報として蓄積
しておくことなく、正しく物体を同定することが可能な
動画像内の物体の同定方法及び動画像内の物体の同定装
置を提供することを目的とする。
で、予め動画像情報内の個々の物体毎に、当該物体を同
定することができる領域を設定して管理情報として蓄積
しておくことなく、正しく物体を同定することが可能な
動画像内の物体の同定方法及び動画像内の物体の同定装
置を提供することを目的とする。
【００１１】また、指示された座標が物体の外側であっ
たり、動画像情報内の物体の数が多い場合であっても、
利用者の意図した物体を正しく同定することが可能な動
画像内の物体の同定方法及び動画像内の物体の同定装置
を提供することを目的とする。
たり、動画像情報内の物体の数が多い場合であっても、
利用者の意図した物体を正しく同定することが可能な動
画像内の物体の同定方法及び動画像内の物体の同定装置
を提供することを目的とする。
【００１２】また、動画像情報内を移動する物体の移動
速度が速い場合や、動画像情報の再生速度が速い場合等
であっても、利用者の意図した物体を正しく同定するこ
とが可能な動画像内の物体の同定方法及び動画像内の物
体の同定装置を提供することを目的とする。
速度が速い場合や、動画像情報の再生速度が速い場合等
であっても、利用者の意図した物体を正しく同定するこ
とが可能な動画像内の物体の同定方法及び動画像内の物
体の同定装置を提供することを目的とする。
【００１３】
【課題を解決するための手段】図１は、本発明の原理説
明図を示す。
明図を示す。
【００１４】本発明の、動画像内の物体の同定方法は、
予め蓄積された動画像情報を表示し（ステップ１）、利
用者が表示された動画像情報を見ながら、当該動画像情
報内の座標を指示する（ステップ２）。
予め蓄積された動画像情報を表示し（ステップ１）、利
用者が表示された動画像情報を見ながら、当該動画像情
報内の座標を指示する（ステップ２）。
【００１５】利用者により動画像情報内の座標が指示さ
れると、予め蓄積された当該動画像情報内の物体の位置
情報から物体を検索する（ステップ３）。
れると、予め蓄積された当該動画像情報内の物体の位置
情報から物体を検索する（ステップ３）。
【００１６】利用者によって指示された座標と上記ステ
ップ３で検索された物体との尤度を計算し、計算された
尤度に基づいて利用者の指示した座標に対応する動画像
情報内の物体を同定する（ステップ４）。
ップ３で検索された物体との尤度を計算し、計算された
尤度に基づいて利用者の指示した座標に対応する動画像
情報内の物体を同定する（ステップ４）。
【００１７】図２は、本発明の原理構成図を示す。
【００１８】本発明の、動画像内の物体の同定装置１０
０は、動画像情報を蓄積する画像蓄積手段１１０と、画
像蓄積手段１１０に蓄積された動画像情報を表示する画
像表示手段１２０と、画像表示手段１２０に表示された
動画像情報を見ながら動画像情報内の座標を指示する座
標指示手段１３０と、動画像情報内の個々の物体の位置
情報を蓄積する位置情報蓄積手段１４０と、位置情報蓄
積手段１４０の中から物体を検索する検索手段１５０
と、動画像情報内の各座標と個々の物体の位置情報の組
に対して実数を対応させて尤度とする尤度計算手段１６
０と、指示された座標と該検索手段１５０により検索さ
れた物体の位置情報との組を、尤度計算手段１６０に出
力して尤度を計算し、計算された尤度に基づいて指示さ
れた座標に対応する物体を同定する同定手段１７０とを
有する。
０は、動画像情報を蓄積する画像蓄積手段１１０と、画
像蓄積手段１１０に蓄積された動画像情報を表示する画
像表示手段１２０と、画像表示手段１２０に表示された
動画像情報を見ながら動画像情報内の座標を指示する座
標指示手段１３０と、動画像情報内の個々の物体の位置
情報を蓄積する位置情報蓄積手段１４０と、位置情報蓄
積手段１４０の中から物体を検索する検索手段１５０
と、動画像情報内の各座標と個々の物体の位置情報の組
に対して実数を対応させて尤度とする尤度計算手段１６
０と、指示された座標と該検索手段１５０により検索さ
れた物体の位置情報との組を、尤度計算手段１６０に出
力して尤度を計算し、計算された尤度に基づいて指示さ
れた座標に対応する物体を同定する同定手段１７０とを
有する。
【００１９】上記検索手段１５０は、動画像情報内の各
座標に対して動画像情報内に検索領域を対応させて設定
する検索領域設定手段と、指示された座標を検索領域設
定手段に出力して、指示された座標に対する検索領域を
設定するとともに、位置情報蓄積手段１４０の中の検索
領域内に位置情報を有する物体を検索する検索領域内検
索手段とを有する。
座標に対して動画像情報内に検索領域を対応させて設定
する検索領域設定手段と、指示された座標を検索領域設
定手段に出力して、指示された座標に対する検索領域を
設定するとともに、位置情報蓄積手段１４０の中の検索
領域内に位置情報を有する物体を検索する検索領域内検
索手段とを有する。
【００２０】上記検索領域設定手段は、指示された座標
に対して、動画像情報内の物体を確認してから指示する
までの遅延時間に基づいて、動画像情報内に検索領域を
設定する。
に対して、動画像情報内の物体を確認してから指示する
までの遅延時間に基づいて、動画像情報内に検索領域を
設定する。
【００２１】上記尤度計算手段１６０は、指示された座
標と検索手段１５０によって検索された物体の位置情報
とから距離を計算し、計算された距離に基づいて尤度を
決定する。
標と検索手段１５０によって検索された物体の位置情報
とから距離を計算し、計算された距離に基づいて尤度を
決定する。
【００２２】
【作用】本発明は、動画像情報内の指示された座標に基
づき物体を検索し、検索の結果に基づいて指示された物
体を同定することにより、予め動画像情報内の各物体毎
に、当該物体を同定することができる領域を設定して蓄
積していなくても、物体を同定することが可能となる。
づき物体を検索し、検索の結果に基づいて指示された物
体を同定することにより、予め動画像情報内の各物体毎
に、当該物体を同定することができる領域を設定して蓄
積していなくても、物体を同定することが可能となる。
【００２３】また、予め動画像情報内の各物体毎に、当
該動画像情報内における位置情報を蓄積しているため、
指示された座標に基づき全ての物体を検索することが可
能となる。
該動画像情報内における位置情報を蓄積しているため、
指示された座標に基づき全ての物体を検索することが可
能となる。
【００２４】また、指示された座標に基づいて、動画像
情報内に物体を検索するための検索領域を設定して物体
を検索することにより、検索量、検索時間を短縮するこ
とが可能となる。
情報内に物体を検索するための検索領域を設定して物体
を検索することにより、検索量、検索時間を短縮するこ
とが可能となる。
【００２５】また、表示された動画像情報内の物体を確
認してから実際に指示するまでの遅延時間を考慮し、動
画像情報内の物体を検索するための検索領域を当該遅延
時間に基づき設定することにより、動きの速い物体や、
再生速度の速い動画像情報等であっても、実際に座標が
指示された時刻の動画像情報内での物体の検索が可能と
なる。
認してから実際に指示するまでの遅延時間を考慮し、動
画像情報内の物体を検索するための検索領域を当該遅延
時間に基づき設定することにより、動きの速い物体や、
再生速度の速い動画像情報等であっても、実際に座標が
指示された時刻の動画像情報内での物体の検索が可能と
なる。
【００２６】また、指示された座標と検索された各物体
の位置情報に基づき尤度を計算することで、利用者の指
示した物体を尤度に基づき一意に同定することが可能と
なる。
の位置情報に基づき尤度を計算することで、利用者の指
示した物体を尤度に基づき一意に同定することが可能と
なる。
【００２７】
【実施例】以下、図面と共に本発明の実施例を詳細に説
明する。
明する。
【００２８】図３は、本発明の一実施例の構成図を示
す。同図に示す動画像内の物体の同定装置１００は、画
像蓄積部１１０、画像表示部１２０、座標指示部１３
０、位置情報蓄積部１４０、検索領域設定部１８０、尤
度計算部１６０、制御部２００から構成される。
す。同図に示す動画像内の物体の同定装置１００は、画
像蓄積部１１０、画像表示部１２０、座標指示部１３
０、位置情報蓄積部１４０、検索領域設定部１８０、尤
度計算部１６０、制御部２００から構成される。
【００２９】画像蓄積部１１０は、動画像情報を蓄積し
ているデータベースであり、ｘ軸、ｙ軸、ｔ軸で指定さ
れる、０≦ｘ≦Ｘ、０≦ｙ≦Ｙ、０≦ｔ≦Ｔの範囲にあ
る動画像情報であり、ｘ軸、ｙ軸から構成される映像フ
レームを時刻（ｔ）毎に蓄積している。
ているデータベースであり、ｘ軸、ｙ軸、ｔ軸で指定さ
れる、０≦ｘ≦Ｘ、０≦ｙ≦Ｙ、０≦ｔ≦Ｔの範囲にあ
る動画像情報であり、ｘ軸、ｙ軸から構成される映像フ
レームを時刻（ｔ）毎に蓄積している。
【００３０】画像表示部１２０は、画像蓄積部１１０に
蓄積されている動画像情報を表示するディスプレイであ
る。
蓄積されている動画像情報を表示するディスプレイであ
る。
【００３１】座標指示部１３０は、画像表示部１２０に
表示された動画像情報内の座標（ｘ，ｙ，ｔ）を指示す
るマウスである。画像表示部１２０に表示された動画像
情報を見ながら、当該動画像情報内のある座標（ｘ，
ｙ）の位置で、当該位置を指示するためのボタンを押す
ことにより、ボタンを押した時刻ｔにおける動画像情報
内の座標として、座標（ｘ，ｙ，ｔ）の指定をすること
ができる。以下、座標指示部１３０の指示する座標は、
（ｐｘ，ｐｙ，ｐｔ）と表記する。
表示された動画像情報内の座標（ｘ，ｙ，ｔ）を指示す
るマウスである。画像表示部１２０に表示された動画像
情報を見ながら、当該動画像情報内のある座標（ｘ，
ｙ）の位置で、当該位置を指示するためのボタンを押す
ことにより、ボタンを押した時刻ｔにおける動画像情報
内の座標として、座標（ｘ，ｙ，ｔ）の指定をすること
ができる。以下、座標指示部１３０の指示する座標は、
（ｐｘ，ｐｙ，ｐｔ）と表記する。
【００３２】位置情報蓄積部１４０は、画像蓄積部１１
０に蓄積される動画像情報内の各物体毎の代表点として
物体の中心の位置情報を蓄積している。各物体の位置情
報は、当該動画像情報内の各映像フレーム毎に、フレー
ム内の二次元の座標（ｘ，ｙ）と時刻ｔとからなる三次
元空間内の座標（ｘ，ｙ，ｔ）として表現される、動画
像情報の再生に伴って描く軌跡として蓄積されている。
画像蓄積部１１０に蓄積されている動画像情報内の物体
ｉの位置情報を、
０に蓄積される動画像情報内の各物体毎の代表点として
物体の中心の位置情報を蓄積している。各物体の位置情
報は、当該動画像情報内の各映像フレーム毎に、フレー
ム内の二次元の座標（ｘ，ｙ）と時刻ｔとからなる三次
元空間内の座標（ｘ，ｙ，ｔ）として表現される、動画
像情報の再生に伴って描く軌跡として蓄積されている。
画像蓄積部１１０に蓄積されている動画像情報内の物体
ｉの位置情報を、
【００３３】
【数１】
【００３４】と表記し、物体ｉの時刻ｔにおける動画像
情報内のｘ座標とｙ座標はそれぞれ以下のように表記す
る。
情報内のｘ座標とｙ座標はそれぞれ以下のように表記す
る。
【００３５】
【数２】
【００３６】以下に、図を用いて物体ｉの位置情報につ
いて説明する。図４は、本発明の一実施例の物体ｉの時
刻ｔにおける位置を説明する図を示す。同図に示す太い
実線は物体ｉの時刻０から時刻ｔまでの映像フレーム内
の移動の軌跡を示しており、太い破線は物体ｉの時刻ｔ
以後の移動の軌跡を示している。図中のＡで示した太い
実線と太い破線との接続点（Ａ）は、時刻ｔにおける座
標（Ｘ，０，ｔ）、（Ｘ，Ｙ，ｔ）、（０，Ｙ，ｔ）、
（０，０，ｔ）の４つの座標を頂点とする四角形で示さ
れる映像フレーム１０内の物体ｉの位置を示している。
図５は、本発明の一実施例の位置情報蓄積部の蓄積例を
示す図である。同図に示す位置情報蓄積部１４０の蓄積
例は、画像蓄積部１１０に蓄積されている動画像情報と
対応しており、当該動画像情報内に存在する個々の物体
について、時刻、物体番号、物体番号に対応する物体の
代表点の位置情報としてｘ座標とｙ座標とを蓄積する例
である。時刻ｔ1 における動画像情報内には、座標
（３，７）、（１２，７）、（６，２）の位置に代表点
を持つ物体番号が２１、２２、２３の３つの物体が表示
されていることを示している。
いて説明する。図４は、本発明の一実施例の物体ｉの時
刻ｔにおける位置を説明する図を示す。同図に示す太い
実線は物体ｉの時刻０から時刻ｔまでの映像フレーム内
の移動の軌跡を示しており、太い破線は物体ｉの時刻ｔ
以後の移動の軌跡を示している。図中のＡで示した太い
実線と太い破線との接続点（Ａ）は、時刻ｔにおける座
標（Ｘ，０，ｔ）、（Ｘ，Ｙ，ｔ）、（０，Ｙ，ｔ）、
（０，０，ｔ）の４つの座標を頂点とする四角形で示さ
れる映像フレーム１０内の物体ｉの位置を示している。
図５は、本発明の一実施例の位置情報蓄積部の蓄積例を
示す図である。同図に示す位置情報蓄積部１４０の蓄積
例は、画像蓄積部１１０に蓄積されている動画像情報と
対応しており、当該動画像情報内に存在する個々の物体
について、時刻、物体番号、物体番号に対応する物体の
代表点の位置情報としてｘ座標とｙ座標とを蓄積する例
である。時刻ｔ1 における動画像情報内には、座標
（３，７）、（１２，７）、（６，２）の位置に代表点
を持つ物体番号が２１、２２、２３の３つの物体が表示
されていることを示している。
【００３７】尤度計算部１６０は、座標指示部１３０に
より指示された座標と、物体ｉの位置情報とから、尤度
を計算する尤度計算器Ｌであり、
より指示された座標と、物体ｉの位置情報とから、尤度
を計算する尤度計算器Ｌであり、
【００３８】
【数３】
【００３９】と表記する。尤度計算器Ｌの計算式につい
ては、後述の具体例で示す。
ては、後述の具体例で示す。
【００４０】検索領域設定部１８０は、座標指示部１３
０により指示された座標に基づき物体を検索するための
検索領域を動画像情報内に設定する検索領域設定器Ｒで
あり、 Ｒ（ｐｘ，ｐｙ，ｐｔ） と表記する。検索領域設定器Ｒの右辺については、後述
の具体例で示す。
０により指示された座標に基づき物体を検索するための
検索領域を動画像情報内に設定する検索領域設定器Ｒで
あり、 Ｒ（ｐｘ，ｐｙ，ｐｔ） と表記する。検索領域設定器Ｒの右辺については、後述
の具体例で示す。
【００４１】制御部２００については、以下に図を用い
て詳しく説明する。図６は、本発明の一実施例の制御部
の構成図を示す。同図に示す制御部２００は、検索領域
内検索部１９０、同定部１７０から構成される。検索領
域内検索部１９０は、画像蓄積部１１０から動画像情報
を読み出して画像表示部１２０に表示する。また、表示
された動画像情報を見ながら座標指示部１３０により動
画像情報内の座標が指示され、指示座標が入力される
と、指示座標を検索領域設定部１８０へ出力して、当該
指示座標に対応する動画像情報内の物体を検索するため
の検索領域を設定する。検索領域が設定されると、位置
情報蓄積部１４０の中の検索領域内の位置情報を有する
物体を検索して同定部１７０へ出力する。
て詳しく説明する。図６は、本発明の一実施例の制御部
の構成図を示す。同図に示す制御部２００は、検索領域
内検索部１９０、同定部１７０から構成される。検索領
域内検索部１９０は、画像蓄積部１１０から動画像情報
を読み出して画像表示部１２０に表示する。また、表示
された動画像情報を見ながら座標指示部１３０により動
画像情報内の座標が指示され、指示座標が入力される
と、指示座標を検索領域設定部１８０へ出力して、当該
指示座標に対応する動画像情報内の物体を検索するため
の検索領域を設定する。検索領域が設定されると、位置
情報蓄積部１４０の中の検索領域内の位置情報を有する
物体を検索して同定部１７０へ出力する。
【００４２】同定部１７０は、指示座標と検索領域内検
索部１９０の出力する各物体の位置情報との組を尤度計
算部１６０へ出力して尤度を計算し、計算した結果の尤
度が最も大きい値の物体を、指示座標に対応する動画像
情報中の物体として同定し、同定結果を出力する。
索部１９０の出力する各物体の位置情報との組を尤度計
算部１６０へ出力して尤度を計算し、計算した結果の尤
度が最も大きい値の物体を、指示座標に対応する動画像
情報中の物体として同定し、同定結果を出力する。
【００４３】以下に、上記動画像内の物体の同定装置１
００の動作を図を用いて説明する。図７は、本発明の一
実施例の動作を示すフローチャートを示す。
００の動作を図を用いて説明する。図７は、本発明の一
実施例の動作を示すフローチャートを示す。
【００４４】（ステップ２０） 制御部２００の検索領
域内検索部１９０は、動画像蓄積部１１０から動画像情
報を読み出し画像表部１２０へ表示する。
域内検索部１９０は、動画像蓄積部１１０から動画像情
報を読み出し画像表部１２０へ表示する。
【００４５】（ステップ２１） 検索領域内検索部１９
０は、座標指示装置１３０により利用者が動画像情報を
見ながら当該動画像情報内の座標を指示したか否かをチ
ェックし、指示されていなければ上記ステップ２０へ移
行する。
０は、座標指示装置１３０により利用者が動画像情報を
見ながら当該動画像情報内の座標を指示したか否かをチ
ェックし、指示されていなければ上記ステップ２０へ移
行する。
【００４６】（ステップ２２） 検索領域内検索部１９
０は、上記ステップ２１で、利用者が動画像情報内の座
標を指示した場合に、指示した座標（ｐｘ，ｐｙ，ｐ
ｔ）を検索領域設定部１８０へ出力し、検索領域設定器
Ｒで検索領域を設定する。
０は、上記ステップ２１で、利用者が動画像情報内の座
標を指示した場合に、指示した座標（ｐｘ，ｐｙ，ｐ
ｔ）を検索領域設定部１８０へ出力し、検索領域設定器
Ｒで検索領域を設定する。
【００４７】（ステップ２３） 検索領域内検索部１９
０は、検索領域設定部１８０によって設定された検索領
域に基づいて、位置情報蓄積部１６０の中から当該検索
領域内の位置情報を有する物体を検索し、検索結果とし
て検索された物体の位置情報を同定部１７０へ出力す
る。
０は、検索領域設定部１８０によって設定された検索領
域に基づいて、位置情報蓄積部１６０の中から当該検索
領域内の位置情報を有する物体を検索し、検索結果とし
て検索された物体の位置情報を同定部１７０へ出力す
る。
【００４８】（ステップ２４） 制御部２００の同定部
１７０は、検索領域内検索部１９０の出力する物体の位
置情報に基づいて、利用者の指示した座標（ｐｘ，ｐ
ｙ，ｐｔ）と各物体の位置情報とを尤度計算部１６０へ
出力し、尤度計算器Ｌで尤度を計算する。
１７０は、検索領域内検索部１９０の出力する物体の位
置情報に基づいて、利用者の指示した座標（ｐｘ，ｐ
ｙ，ｐｔ）と各物体の位置情報とを尤度計算部１６０へ
出力し、尤度計算器Ｌで尤度を計算する。
【００４９】（ステップ２５） 同定部１７０は、上記
ステップ２３で検索領域内検索部１９０の出力した全て
の物体の位置情報に基づいて、ステップ２４の尤度の計
算を行なったか否かをチェックし、尤度の計算を行なっ
ていない物体がある場合にはステップ２４へ移行する。
ステップ２３で検索領域内検索部１９０の出力した全て
の物体の位置情報に基づいて、ステップ２４の尤度の計
算を行なったか否かをチェックし、尤度の計算を行なっ
ていない物体がある場合にはステップ２４へ移行する。
【００５０】（ステップ２６） 同定部１７０は、上記
ステップ２５で、全ての物体について尤度の計算が完了
した場合に、計算した物体の尤度の中から最も値の大き
な尤度の物体を選んで、選んだ物体を利用者の指示した
座標に対応する物体であると同定して、同定結果を出力
する。
ステップ２５で、全ての物体について尤度の計算が完了
した場合に、計算した物体の尤度の中から最も値の大き
な尤度の物体を選んで、選んだ物体を利用者の指示した
座標に対応する物体であると同定して、同定結果を出力
する。
【００５１】以下に、上記本発明の一実施例における、
動画像内の物体の同定装置１００の具体的な例を説明す
る。以下の説明に際しては、領域設定部１８０の領域設
定器Ｒ及び尤度計算部１６０の尤度計算器Ｌを以下のも
のとする。
動画像内の物体の同定装置１００の具体的な例を説明す
る。以下の説明に際しては、領域設定部１８０の領域設
定器Ｒ及び尤度計算部１６０の尤度計算器Ｌを以下のも
のとする。
【００５２】 Ｒ（ｐｘ，ｐｙ，ｐｔ）＝｛（ｒｘ，ｒｙ，ｒｔ）｜０
≦ｒｘ≦Ｘ，０≦ｒｙ≦Ｙ，ｒｔ＝ｐｔ｝
≦ｒｘ≦Ｘ，０≦ｒｙ≦Ｙ，ｒｔ＝ｐｔ｝
【００５３】
【数４】
【００５４】また、本動画像内の物体の同定装置１００
の利用者は動画像情報を見ながら、図８に示す動画像情
報が表示された時刻ｔ1 に、座標指示装置１３０で図中
の太い矢印で示す座標指示カーソル１１の位置を指示す
るものとし、指示された座標を（４、６、ｔ1 ）として
説明する。図８のｒ１、ｒ２、ｒ３は、指示された座標
と各物体２１、２２、２３との距離を示しており、距離
に−１を乗じた値、−ｒ１、−ｒ２、−ｒ３が尤度とな
る。
の利用者は動画像情報を見ながら、図８に示す動画像情
報が表示された時刻ｔ1 に、座標指示装置１３０で図中
の太い矢印で示す座標指示カーソル１１の位置を指示す
るものとし、指示された座標を（４、６、ｔ1 ）として
説明する。図８のｒ１、ｒ２、ｒ３は、指示された座標
と各物体２１、２２、２３との距離を示しており、距離
に−１を乗じた値、−ｒ１、−ｒ２、−ｒ３が尤度とな
る。
【００５５】また、位置情報蓄積部１４０には、図５に
示した位置情報が蓄積されているものとする。
示した位置情報が蓄積されているものとする。
【００５６】制御部２００の検索領域内検索部１９０
が、動画像蓄積部１１０から動画像情報を読み出し画像
表部１２０へ表示する（ステップ２０）。
が、動画像蓄積部１１０から動画像情報を読み出し画像
表部１２０へ表示する（ステップ２０）。
【００５７】検索領域内検索部１９０が、座標指示装置
１３０により利用者が動画像情報を見ながら当該動画像
情報内の座標を指示したか否かをチェックすると、利用
者により座標、 （ｐｘ，ｐｙ，ｐｔ）＝（４，６，ｔ1 ） が指示されたので（ステップ２１、ＹＥＳ）、検索領域
内検索部１９０は、利用者が指示した座標、 （ｐｘ，ｐｙ，ｐｔ）＝（４，６，ｔ1 ） を検索領域設定部１８０へ出力し、検索領域設定器Ｒ
で、 ｛（ｒｘ，ｒｙ，ｒｔ）｜０≦ｒｘ≦Ｘ，０≦ｒｙ≦
Ｙ，ｒｔ＝ｔ1 ｝ の検索領域を設定する（ステップ２２）。
１３０により利用者が動画像情報を見ながら当該動画像
情報内の座標を指示したか否かをチェックすると、利用
者により座標、 （ｐｘ，ｐｙ，ｐｔ）＝（４，６，ｔ1 ） が指示されたので（ステップ２１、ＹＥＳ）、検索領域
内検索部１９０は、利用者が指示した座標、 （ｐｘ，ｐｙ，ｐｔ）＝（４，６，ｔ1 ） を検索領域設定部１８０へ出力し、検索領域設定器Ｒ
で、 ｛（ｒｘ，ｒｙ，ｒｔ）｜０≦ｒｘ≦Ｘ，０≦ｒｙ≦
Ｙ，ｒｔ＝ｔ1 ｝ の検索領域を設定する（ステップ２２）。
【００５８】検索領域内検索部１９０は、検索領域設定
部１８０によって設定された検索領域、 ｛（ｒｘ，ｒｙ，ｒｔ）｜０≦ｒｘ≦Ｘ，０≦ｒｙ≦
Ｙ，ｒｔ＝ｔ1 ｝ に基づいて、位置情報蓄積部１６０の中から当該検索領
域内の位置情報を有する物体を検索し、検索結果として
物体２１、２２、２３の３つの物体の位置情報、
部１８０によって設定された検索領域、 ｛（ｒｘ，ｒｙ，ｒｔ）｜０≦ｒｘ≦Ｘ，０≦ｒｙ≦
Ｙ，ｒｔ＝ｔ1 ｝ に基づいて、位置情報蓄積部１６０の中から当該検索領
域内の位置情報を有する物体を検索し、検索結果として
物体２１、２２、２３の３つの物体の位置情報、
【００５９】
【数５】
【００６０】を取得し、取得した位置情報を同定部１７
０へ出力する（ステップ２３）。
０へ出力する（ステップ２３）。
【００６１】制御部２００の同定部１７０は、検索領域
内検索部１９０の出力する物体の位置情報に基づいて、
利用者の指示した座標、 （ｐｘ，ｐｙ，ｐｔ）＝（４，６，ｔ1 ） と各物体２１、２２、２３の位置情報とを尤度計算部１
６０へ出力し、尤度計算器Ｌで各物体２１、２２、２３
の尤度として下記の３つの計算結果を得る（ステップ２
４）。
内検索部１９０の出力する物体の位置情報に基づいて、
利用者の指示した座標、 （ｐｘ，ｐｙ，ｐｔ）＝（４，６，ｔ1 ） と各物体２１、２２、２３の位置情報とを尤度計算部１
６０へ出力し、尤度計算器Ｌで各物体２１、２２、２３
の尤度として下記の３つの計算結果を得る（ステップ２
４）。
【００６２】
【数６】
【００６３】同定部１７０は、上記ステップ２３で検索
領域内検索部１９０の出力した全ての物体の位置情報に
基づいて、ステップ２４の尤度の計算を完了したので
（ステップ２５、ＹＥＳ）、計算した物体の尤度の中か
ら最も値の大きな尤度の物体として物体２１を選択し、
物体２１を利用者の指示した座標に対応する物体として
と同定する（ステップ２６）。
領域内検索部１９０の出力した全ての物体の位置情報に
基づいて、ステップ２４の尤度の計算を完了したので
（ステップ２５、ＹＥＳ）、計算した物体の尤度の中か
ら最も値の大きな尤度の物体として物体２１を選択し、
物体２１を利用者の指示した座標に対応する物体として
と同定する（ステップ２６）。
【００６４】以下に、上記本発明の一実施例の動画像内
の物体の同定装置１００において、領域設定部１８０の
領域設定器Ｒ及び、尤度計算部１６０の尤度計算器Ｌを
以下のものとする、他の実施例についての具体的な例を
説明する。領域設定部１８０の領域設定器Ｒを、 Ｒ（ｐｘ，ｐｙ，ｐｔ）＝｛（ｒｘ，ｒｙ，ｒｔ）｜０
≦ｒｘ≦Ｘ，０≦ｒｙ≦Ｙ，ｒｔ＝ｐｔ−Δｔ｝ とし、尤度計算部１６０の尤度計算器Ｌを、
の物体の同定装置１００において、領域設定部１８０の
領域設定器Ｒ及び、尤度計算部１６０の尤度計算器Ｌを
以下のものとする、他の実施例についての具体的な例を
説明する。領域設定部１８０の領域設定器Ｒを、 Ｒ（ｐｘ，ｐｙ，ｐｔ）＝｛（ｒｘ，ｒｙ，ｒｔ）｜０
≦ｒｘ≦Ｘ，０≦ｒｙ≦Ｙ，ｒｔ＝ｐｔ−Δｔ｝ とし、尤度計算部１６０の尤度計算器Ｌを、
【００６５】
【数７】
【００６６】とする。
【００６７】また、本動画像内の物体の同定装置１００
の利用者は動画像情報を見ながら、図９（Ａ）に示す外
側の四角形で示す映像フレーム１０1 が表示された時刻
ｔ2に、座標指示装置１３０で図９（Ａ）中の破線の矢
印で示す座標指示カーソル１２の位置（８，５，ｔ2 ）
によって四角形の物体２４を指示しようとしているもの
とする。しかし、同図に示す物体２３、２４は移動速度
が速く、利用者が図９（Ａ）の映像フレーム１０1 内の
物体２４を確認してから実際に座標指示部１３０を操作
し終わるまでの遅延時間（Δｔ）のうちに右方向へ移動
してしまい、実際に利用者が指示した結果は、図９
（Ｂ）に示す時刻ｔ3 （ｔ3 ＝ｔ2 ＋Δｔ）における外
側の四角形で示す映像フレーム１０3 内の矢印で示す座
標指示カーソル１３の位置となり、指示された座標は
（８，５，ｔ2 ）ではなく、（８，５，ｔ3 ）になるも
のとして説明する。
の利用者は動画像情報を見ながら、図９（Ａ）に示す外
側の四角形で示す映像フレーム１０1 が表示された時刻
ｔ2に、座標指示装置１３０で図９（Ａ）中の破線の矢
印で示す座標指示カーソル１２の位置（８，５，ｔ2 ）
によって四角形の物体２４を指示しようとしているもの
とする。しかし、同図に示す物体２３、２４は移動速度
が速く、利用者が図９（Ａ）の映像フレーム１０1 内の
物体２４を確認してから実際に座標指示部１３０を操作
し終わるまでの遅延時間（Δｔ）のうちに右方向へ移動
してしまい、実際に利用者が指示した結果は、図９
（Ｂ）に示す時刻ｔ3 （ｔ3 ＝ｔ2 ＋Δｔ）における外
側の四角形で示す映像フレーム１０3 内の矢印で示す座
標指示カーソル１３の位置となり、指示された座標は
（８，５，ｔ2 ）ではなく、（８，５，ｔ3 ）になるも
のとして説明する。
【００６８】また、位置情報蓄積部１４０には、図５に
示した位置情報が蓄積されているものとする。
示した位置情報が蓄積されているものとする。
【００６９】制御部２００の検索領域内検索部１９０
が、動画像蓄積部１１０から動画像情報を読み出し画像
表部１２０へ表示する（ステップ２０）。
が、動画像蓄積部１１０から動画像情報を読み出し画像
表部１２０へ表示する（ステップ２０）。
【００７０】検索領域内検索部１９０が、座標指示装置
１３０により利用者が動画像情報を見ながら当該動画像
情報内の座標を指示したか否かをチェックすると、利用
者により座標、 （ｐｘ，ｐｙ，ｐｔ）＝（８，５，ｔ3 ） が指示されたので（ステップ２１、ＹＥＳ）、検索領域
内検索部１９０は、利用者が指示した座標、 （ｐｘ，ｐｙ，ｐｔ）＝（８，５，ｔ3 ） を検索領域設定部１８０へ出力し、検索領域設定器Ｒ
で、 ｛（ｒｘ，ｒｙ，ｒｔ）｜０≦ｒｘ≦Ｘ，０≦ｒｙ≦
Ｙ，ｒｔ＝ｔ2 ｝ の検索領域を設定する（ステップ２２）。
１３０により利用者が動画像情報を見ながら当該動画像
情報内の座標を指示したか否かをチェックすると、利用
者により座標、 （ｐｘ，ｐｙ，ｐｔ）＝（８，５，ｔ3 ） が指示されたので（ステップ２１、ＹＥＳ）、検索領域
内検索部１９０は、利用者が指示した座標、 （ｐｘ，ｐｙ，ｐｔ）＝（８，５，ｔ3 ） を検索領域設定部１８０へ出力し、検索領域設定器Ｒ
で、 ｛（ｒｘ，ｒｙ，ｒｔ）｜０≦ｒｘ≦Ｘ，０≦ｒｙ≦
Ｙ，ｒｔ＝ｔ2 ｝ の検索領域を設定する（ステップ２２）。
【００７１】検索領域内検索部１９０は、検索領域設定
部１８０によって設定された検索領域、 ｛（ｒｘ，ｒｙ，ｒｔ）｜０≦ｒｘ≦Ｘ，０≦ｒｙ≦
Ｙ，ｒｔ＝ｔ2 ｝ に基づいて、位置情報蓄積部１６０の中から当該検索領
域内の位置情報を有する物体を検索し、検索結果として
物体２３、２４の２つの物体の位置情報、
部１８０によって設定された検索領域、 ｛（ｒｘ，ｒｙ，ｒｔ）｜０≦ｒｘ≦Ｘ，０≦ｒｙ≦
Ｙ，ｒｔ＝ｔ2 ｝ に基づいて、位置情報蓄積部１６０の中から当該検索領
域内の位置情報を有する物体を検索し、検索結果として
物体２３、２４の２つの物体の位置情報、
【００７２】
【数８】
【００７３】を取得し、取得した位置情報を同定部１７
０へ出力する（ステップ２３）。
０へ出力する（ステップ２３）。
【００７４】制御部２００の同定部１７０は、検索領域
内検索部１９０の出力する物体の位置情報に基づいて、
利用者の指示した座標、 （ｐｘ，ｐｙ，ｐｔ）＝（８，５，ｔ3 ） と各物体２３、２４の位置情報とを尤度計算部１６０へ
出力し、尤度計算器Ｌで各物体２３、２４の尤度として
下記の２つの計算結果を得る（ステップ２４）。
内検索部１９０の出力する物体の位置情報に基づいて、
利用者の指示した座標、 （ｐｘ，ｐｙ，ｐｔ）＝（８，５，ｔ3 ） と各物体２３、２４の位置情報とを尤度計算部１６０へ
出力し、尤度計算器Ｌで各物体２３、２４の尤度として
下記の２つの計算結果を得る（ステップ２４）。
【００７５】
【数９】
【００７６】同定部１７０は、上記ステップ２３で検索
領域内検索部１９０の出力した全ての物体の位置情報に
基づいて、ステップ２４の尤度の計算を完了したので
（ステップ２５、ＹＥＳ）、計算した物体の尤度の中か
ら最も値の大きな尤度の物体として物体２４を選択し、
物体２４を利用者の指示した座標に対応する物体として
と同定する（ステップ２６）。
領域内検索部１９０の出力した全ての物体の位置情報に
基づいて、ステップ２４の尤度の計算を完了したので
（ステップ２５、ＹＥＳ）、計算した物体の尤度の中か
ら最も値の大きな尤度の物体として物体２４を選択し、
物体２４を利用者の指示した座標に対応する物体として
と同定する（ステップ２６）。
【００７７】上記他の実施例のように動画像情報内の物
体の移動速度が速い場合、利用者が物体２４を指示しよ
うとして座標指示部１３０を操作した結果の座標は、利
用者の意図した座標（８，５，ｔ2 ）ではなく、Δｔ遅
い、座標（８，５，ｔ3 ）となってしまうことがある。
しかし、上記他の実施例によれば、利用者が物体の移動
速度に追いつかずに、物体を指示しようとしてから実際
に指示するまでに遅延時間（Δｔ）がある場合であって
も、入力される指示座標（８，５，ｔ3 ）ではなく遅延
時間を考慮した（８，５，ｔ2 ）に基づく物体の同定が
可能となり、利用者の意図した物体を正しく同定するこ
とが可能となる。遅延時間Δｔは、利用者、動画像情報
内の物体の移動速度や、動画像情報等の再生速度に応じ
て設定することが可能であり、それぞれのケースで最適
な値を使用することにより物体を正しく同定することが
可能となる。
体の移動速度が速い場合、利用者が物体２４を指示しよ
うとして座標指示部１３０を操作した結果の座標は、利
用者の意図した座標（８，５，ｔ2 ）ではなく、Δｔ遅
い、座標（８，５，ｔ3 ）となってしまうことがある。
しかし、上記他の実施例によれば、利用者が物体の移動
速度に追いつかずに、物体を指示しようとしてから実際
に指示するまでに遅延時間（Δｔ）がある場合であって
も、入力される指示座標（８，５，ｔ3 ）ではなく遅延
時間を考慮した（８，５，ｔ2 ）に基づく物体の同定が
可能となり、利用者の意図した物体を正しく同定するこ
とが可能となる。遅延時間Δｔは、利用者、動画像情報
内の物体の移動速度や、動画像情報等の再生速度に応じ
て設定することが可能であり、それぞれのケースで最適
な値を使用することにより物体を正しく同定することが
可能となる。
【００７８】また、上記他の実施例において動画像情報
の再生速度（表示速度）を変えた場合には、Δｔに再生
速度の比を乗じることで物体を正しく同定することが可
能になる。
の再生速度（表示速度）を変えた場合には、Δｔに再生
速度の比を乗じることで物体を正しく同定することが可
能になる。
【００７９】また、上記実施例によれば、利用者の座標
の指示動作に遅れがある場合であっても尤度計算器Ｌを
変えることによって、利用者の指示する座標が動画像情
報中の物体付近であれば正しく物体を同定することが可
能となる。
の指示動作に遅れがある場合であっても尤度計算器Ｌを
変えることによって、利用者の指示する座標が動画像情
報中の物体付近であれば正しく物体を同定することが可
能となる。
【００８０】なお、上記実施例では位置情報蓄積部１４
０に蓄積する個々の物体の位置情報として物体の１つの
代表点を蓄積しているが、１つの物体に対して複数の位
置情報を設定することにより、複数の物体が重なり合っ
ている場合であっても正しく同定することが可能とな
る。
０に蓄積する個々の物体の位置情報として物体の１つの
代表点を蓄積しているが、１つの物体に対して複数の位
置情報を設定することにより、複数の物体が重なり合っ
ている場合であっても正しく同定することが可能とな
る。
【００８１】また、上記実施例の検索領域設定部１８０
の検索領域設定器Ｒでは、ある時刻における動画像情報
を検索領域として設定する例を示したが、時間軸方向に
幅を持つ検索領域を設定することにより動画像情報内を
特定の方向に移動する物体を選択的に同定することも可
能となる。
の検索領域設定器Ｒでは、ある時刻における動画像情報
を検索領域として設定する例を示したが、時間軸方向に
幅を持つ検索領域を設定することにより動画像情報内を
特定の方向に移動する物体を選択的に同定することも可
能となる。
【００８２】また、上記実施例の尤度検査部１６０の尤
度計算器Ｌでは、指示された座標と物体との尤度をｘ
軸、ｙ軸からなる二次元平面上での距離に基づき計算す
る例を示したが、ｘ軸、ｙ軸に更にｔ軸をも含めた三次
元空間内での距離に基づき計算することにより、時間軸
上に幅を有する検索領域が設定された場合であっても尤
度の計算に基づき物体を同定することが可能となる。
度計算器Ｌでは、指示された座標と物体との尤度をｘ
軸、ｙ軸からなる二次元平面上での距離に基づき計算す
る例を示したが、ｘ軸、ｙ軸に更にｔ軸をも含めた三次
元空間内での距離に基づき計算することにより、時間軸
上に幅を有する検索領域が設定された場合であっても尤
度の計算に基づき物体を同定することが可能となる。
【００８３】また、上記実施例では、座標指示部１３０
としてマウスを使用した例を示したが、画像表示部１２
０に表示された動画像情報内の任意の座標を指示するこ
とが可能であれば、アイカメラのような利用者の視線を
基に座標を指示するものであってもよく、座標指示部１
３０をマウスに限定するものではない。
としてマウスを使用した例を示したが、画像表示部１２
０に表示された動画像情報内の任意の座標を指示するこ
とが可能であれば、アイカメラのような利用者の視線を
基に座標を指示するものであってもよく、座標指示部１
３０をマウスに限定するものではない。
【００８４】また、上記実施例では、各物体の位置情報
として当該物体の中心点を使用する例を示したが、当該
物体を代表する点として予め決めた点であれば中心点で
なくてもよく、位置情報を中心点に限定するものではな
い。
として当該物体の中心点を使用する例を示したが、当該
物体を代表する点として予め決めた点であれば中心点で
なくてもよく、位置情報を中心点に限定するものではな
い。
【００８５】また、上記実施例では、制御部２００の検
索領域内検索部１９０に画像情報蓄積部１１０から動画
像情報を読み出し画像表示部１３０へ表示する機能を持
たせたが、制御部内に画像情報蓄積部１１０から動画像
情報を読み出し画像表示部１３０へ表示する動画像情報
再生部等を設ける事も可能であり、動画像情報の表示を
検索領域内検索部１９０が行なうことに限定するもので
はない。
索領域内検索部１９０に画像情報蓄積部１１０から動画
像情報を読み出し画像表示部１３０へ表示する機能を持
たせたが、制御部内に画像情報蓄積部１１０から動画像
情報を読み出し画像表示部１３０へ表示する動画像情報
再生部等を設ける事も可能であり、動画像情報の表示を
検索領域内検索部１９０が行なうことに限定するもので
はない。
【００８６】更に、本実施例では領域設定部１８０と尤
度計算部１６０に、特定の領域設定器Ｒ及び尤度計算器
Ｌを設定して物体の同定を行なう例を示したが、領域設
定部１８０と尤度計算部１６０に、それぞれ複数の領域
設定器Ｒ及び尤度計算器Ｌを設定して適宜選択して物体
の同定を行なうことも可能であり、領域設定部１８０と
尤度計算部１６０に設定する領域設定器Ｒ及び尤度計算
器Ｌを１つに限定するものではない。
度計算部１６０に、特定の領域設定器Ｒ及び尤度計算器
Ｌを設定して物体の同定を行なう例を示したが、領域設
定部１８０と尤度計算部１６０に、それぞれ複数の領域
設定器Ｒ及び尤度計算器Ｌを設定して適宜選択して物体
の同定を行なうことも可能であり、領域設定部１８０と
尤度計算部１６０に設定する領域設定器Ｒ及び尤度計算
器Ｌを１つに限定するものではない。
【００８７】
【発明の効果】上述のように、本発明によれば、利用者
の指示した座標に基づき物体を検索し、検索された物体
の中から利用者の指示した座標に対応する物体を同定す
るため、予め動画像情報内の個々の物体毎に当該物体を
同定することができる領域を設定して蓄積しておかなく
ても利用者が物体の外側を指示した場合や動画像情報中
の物体の数が多い場合等であっても、利用者の指示する
座標に対応する物体を正しく同定することができる。
の指示した座標に基づき物体を検索し、検索された物体
の中から利用者の指示した座標に対応する物体を同定す
るため、予め動画像情報内の個々の物体毎に当該物体を
同定することができる領域を設定して蓄積しておかなく
ても利用者が物体の外側を指示した場合や動画像情報中
の物体の数が多い場合等であっても、利用者の指示する
座標に対応する物体を正しく同定することができる。
【００８８】また、予め動画像情報内の各物体毎の当該
動画像情報内における位置情報を蓄積しているため、指
示された座標に基づく物体を高速かつ、確実に検索する
ことができ、利用者の指示する座標に対応する物体を精
度よく同定することが可能となる。
動画像情報内における位置情報を蓄積しているため、指
示された座標に基づく物体を高速かつ、確実に検索する
ことができ、利用者の指示する座標に対応する物体を精
度よく同定することが可能となる。
【００８９】また、利用者の指示した座標に基づいて、
動画像情報中の物体を検索する検索領域を設定して検索
することにより、物体の検索量、検索時間を短縮するこ
とが可能となる。
動画像情報中の物体を検索する検索領域を設定して検索
することにより、物体の検索量、検索時間を短縮するこ
とが可能となる。
【００９０】また、利用者が表示された動画像情報内の
物体を確認してから実際に指示するまでの遅延時間を考
慮し、物体の検索を行なう検索領域を遅延時間分だけ過
去の動画像情報に設定することにより、動きの速い物体
や、再生速度の速い動画像情報等であっても正しく物体
を同定することが可能となる。
物体を確認してから実際に指示するまでの遅延時間を考
慮し、物体の検索を行なう検索領域を遅延時間分だけ過
去の動画像情報に設定することにより、動きの速い物体
や、再生速度の速い動画像情報等であっても正しく物体
を同定することが可能となる。
【００９１】また、指示された座標と検索された各物体
の位置情報とから距離を計算し、計算した距離に基づき
尤度を決定することにより、検索された複数の物体の中
から利用者の指示した物体として同定するに尤もな物体
を、尤度に基づいて同定することが可能となる。
の位置情報とから距離を計算し、計算した距離に基づき
尤度を決定することにより、検索された複数の物体の中
から利用者の指示した物体として同定するに尤もな物体
を、尤度に基づいて同定することが可能となる。
【００９２】更に上記効果によって、予め動画像情報内
の物体を同定するための領域を、物体の大きさ、物体の
数、動画像情報の再生速度、利用者の反応速度等を考慮
して作成するといった多くの工程を省略することができ
るため、作成に要する時間、費用等を抑えることが可能
となる。
の物体を同定するための領域を、物体の大きさ、物体の
数、動画像情報の再生速度、利用者の反応速度等を考慮
して作成するといった多くの工程を省略することができ
るため、作成に要する時間、費用等を抑えることが可能
となる。
【００９３】また、動画像内の物体の同定装置を利用す
る人にとっては、動きの速い物体や小さな物体であって
も、物体を注意深く指示することなく目的とする物体を
容易に指示することが可能となる。
る人にとっては、動きの速い物体や小さな物体であって
も、物体を注意深く指示することなく目的とする物体を
容易に指示することが可能となる。
【図１】本発明の原理説明図である。
【図２】本発明の原理構成図である。
【図３】本発明の一実施例の構成図である。
【図４】本発明の一実施例の物体ｉの時刻ｔにおける位
置を説明する図である。
置を説明する図である。
【図５】本発明の一実施例の位置情報蓄積部の蓄積例を
示す図である。
示す図である。
【図６】本発明の一実施例の制御部の構成図である。
【図７】本発明の一実施例の動作を示すフローチャート
である。
である。
【図８】本発明の一実施例の物体の同定を説明する図
（１）である。
（１）である。
【図９】本発明の一実施例の物体の同定を説明する図
（２）である。
（２）である。
【図１０】従来の方法を説明する図である。
１０ 映像フレーム １１ 座標指示カーソル １２ 座標指示カーソル １３ 座標指示カーソル ２０ 物体 ２１ 物体 ２２ 物体 ２３ 物体 ２４ 物体 ３０ 領域 １００ 動画像内の物体の同定装置 １１０ 画像蓄積手段、画像蓄積部 １２０ 画像表示手段、画像表示部 １３０ 座標指示手段、座標指示部 １４０ 位置情報蓄積手段、位置情報蓄積部 １５０ 検索手段 １６０ 尤度計算手段、尤度計算部 １７０ 同定手段、同定部 １８０ 検索領域設定部 １９０ 検索領域内検索部 ２００ 制御部
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.6 識別記号 庁内整理番号 ＦＩ 技術表示箇所 Ｇ０６Ｔ 1/00 7/00 9365−5Ｈ Ｇ０６Ｆ 15/62 ３４０ Ａ ３８０ 9061−5Ｈ 15/70 ４６０ Ａ (72)発明者 片岡 良治 東京都千代田区内幸町１丁目１番６号 日 本電信電話株式会社内
Claims (8)
- 【請求項１】 予め蓄積された動画像情報を表示するス
テップと、 表示された該動画像情報を見ながら該動画像情報内の座
標を指示するステップと、 予め蓄積された該動画像情報内の物体の位置情報の中か
ら物体を検索する検索ステップと、 該指示された座標と該検索ステップにより検索された物
体との尤度を計算し、計算された該尤度に基づいて該指
示された座標に対応する物体を同定する同定ステップと
を有することを特徴とする動画像内の物体の同定方法。 - 【請求項２】 前記検索ステップは、 前記指示された座標に基づいて前記動画像情報内に検索
領域を設定する検索領域設定ステップと、 前記予め蓄積された前記動画像情報内の物体の位置情報
のうち、該検索領域内に位置する物体を検索する検索領
域内検索ステップとを有する請求項１記載の動画像内の
物体の同定方法。 - 【請求項３】 前記検索領域設定ステップは、 前記指示された座標に基づいて、前記動画像情報内の物
体を確認してから指示するまでの遅延時間分だけ過去の
前記動画像情報を、前記検索領域として設定する請求項
２記載の動画像内の物体の同定方法。 - 【請求項４】 前記同定ステップは、 前記指示された座標と前記検索の結果得られた物体の位
置情報との距離に基づいて前記尤度を計算し、 計算された前記尤度が最大となる物体を、前記指示され
た座標に対応する物体として同定する請求項１記載の動
画像内の物体の同定方法。 - 【請求項５】 動画像情報を蓄積する画像蓄積手段と、 該画像蓄積手段に蓄積された該動画像情報を表示する画
像表示手段と、 該画像表示手段に表示された該動画像情報を見ながら該
動画像情報内の座標を指示する座標指示手段と、 該動画像情報内の個々の物体の位置情報を蓄積する位置
情報蓄積手段と、 該位置情報蓄積手段の中から物体を検索する検索手段
と、 該動画像情報内の各座標と個々の物体の位置情報の組に
対して実数を対応させて尤度とする尤度計算手段と、 該指示された座標と該検索手段により検索された物体の
位置情報との組を、該尤度計算手段に出力して該尤度を
計算し、計算された該尤度に基づいて該指示された座標
に対応する物体を同定する同定手段とを有することを特
徴とする動画像内の物体の同定装置。 - 【請求項６】 前記検索手段は、 前記動画像情報内の各座標に対して前記動画像情報内に
検索領域を対応させて設定する検索領域設定手段と、 前記指示された座標を該検索領域設定手段に出力して、
前記指示された座標に対する該検索領域を設定するとと
もに、前記位置情報蓄積手段の中の該検索領域内に位置
情報を有する物体を検索する検索領域内検索手段とを有
する請求項５記載の動画像内の物体の同定装置。 - 【請求項７】 前記検索領域設定手段は、 前記指示された座標に対して、前記動画像情報内の物体
を確認してから指示するまでの遅延時間に基づいて前記
動画像情報内に前記検索領域を設定する請求項６記載の
動画像内の物体の同定装置。 - 【請求項８】 前記尤度計算手段は、 前記指示された座標と前記検索手段によって検索された
物体の位置情報とから距離を計算し、計算された距離に
基づいて前記指示された座標に対する前記尤度を決定す
る請求項５記載の動画像内の物体の同定装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP19071694A JP3380937B2 (ja) | 1994-08-12 | 1994-08-12 | 動画像内の物体の同定方法及び動画像内の物体の同定装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP19071694A JP3380937B2 (ja) | 1994-08-12 | 1994-08-12 | 動画像内の物体の同定方法及び動画像内の物体の同定装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH0855131A true JPH0855131A (ja) | 1996-02-27 |
| JP3380937B2 JP3380937B2 (ja) | 2003-02-24 |
Family
ID=16262641
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP19071694A Expired - Fee Related JP3380937B2 (ja) | 1994-08-12 | 1994-08-12 | 動画像内の物体の同定方法及び動画像内の物体の同定装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3380937B2 (ja) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009081845A (ja) * | 2007-08-22 | 2009-04-16 | Adobe Systems Inc | 双方向映像フレーム検索システム及び方法 |
| JP2012134700A (ja) * | 2010-12-21 | 2012-07-12 | Nippon Telegr & Teleph Corp <Ntt> | 軌跡・場所履歴データ作成装置と動画像表示装置と動画像オブジェクト探索システムと、それらの方法とプログラム |
| WO2013084422A1 (ja) * | 2011-12-08 | 2013-06-13 | 日本電気株式会社 | 情報処理装置、通信端末、情報検索方法、及び非一時的なコンピュータ可読媒体 |
| WO2014132988A1 (ja) * | 2013-02-27 | 2014-09-04 | ブラザー工業株式会社 | 情報処理装置及び情報処理方法 |
| JP2017091455A (ja) * | 2015-11-17 | 2017-05-25 | 株式会社東芝 | 画像処理装置、画像処理方法及び画像処理プログラム |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0352070A (ja) * | 1989-07-20 | 1991-03-06 | Nippon Telegr & Teleph Corp <Ntt> | 動画像の関連情報参照方式 |
| JPH04352076A (ja) * | 1991-05-29 | 1992-12-07 | Nec Corp | 動画像提示方法 |
| JPH05189153A (ja) * | 1991-04-24 | 1993-07-30 | Oki Electric Ind Co Ltd | 動画像ポインティングシステム |
-
1994
- 1994-08-12 JP JP19071694A patent/JP3380937B2/ja not_active Expired - Fee Related
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0352070A (ja) * | 1989-07-20 | 1991-03-06 | Nippon Telegr & Teleph Corp <Ntt> | 動画像の関連情報参照方式 |
| JPH05189153A (ja) * | 1991-04-24 | 1993-07-30 | Oki Electric Ind Co Ltd | 動画像ポインティングシステム |
| JPH04352076A (ja) * | 1991-05-29 | 1992-12-07 | Nec Corp | 動画像提示方法 |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009081845A (ja) * | 2007-08-22 | 2009-04-16 | Adobe Systems Inc | 双方向映像フレーム検索システム及び方法 |
| JP2012134700A (ja) * | 2010-12-21 | 2012-07-12 | Nippon Telegr & Teleph Corp <Ntt> | 軌跡・場所履歴データ作成装置と動画像表示装置と動画像オブジェクト探索システムと、それらの方法とプログラム |
| WO2013084422A1 (ja) * | 2011-12-08 | 2013-06-13 | 日本電気株式会社 | 情報処理装置、通信端末、情報検索方法、及び非一時的なコンピュータ可読媒体 |
| WO2014132988A1 (ja) * | 2013-02-27 | 2014-09-04 | ブラザー工業株式会社 | 情報処理装置及び情報処理方法 |
| JP2014164685A (ja) * | 2013-02-27 | 2014-09-08 | Brother Ind Ltd | 情報処理装置及び情報処理方法 |
| JP2017091455A (ja) * | 2015-11-17 | 2017-05-25 | 株式会社東芝 | 画像処理装置、画像処理方法及び画像処理プログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3380937B2 (ja) | 2003-02-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6339431B1 (en) | Information presentation apparatus and method | |
| US5157511A (en) | Image control apparatus for providing an index number to a video reproducer to cause the reproducer to search for and to reproduce a preselected still image | |
| US9538116B2 (en) | Relational display of images | |
| CN1423796A (zh) | 在电视会议及其它基于摄像机的系统应用中的指向方向校准 | |
| JPH06208500A (ja) | ハイパーテキスト付き映像データ作成装置 | |
| CN102279700A (zh) | 显示控制设备、显示控制方法、显示控制程序及记录介质 | |
| US20090049083A1 (en) | Method and Apparatus for Accessing Data Using a Symbolic Representation Space | |
| CN109697242B (zh) | 拍照搜题方法、装置、存储介质和计算设备 | |
| KR100412932B1 (ko) | 모션 게임 장치의 모션 데이터 디스플레이 방법 및 평가방법 | |
| JP3372096B2 (ja) | 画像情報アクセス装置 | |
| JP3380937B2 (ja) | 動画像内の物体の同定方法及び動画像内の物体の同定装置 | |
| JP2981520B2 (ja) | 画像データ検索方法 | |
| CN108156512B (zh) | 一种视频播放控制方法及装置 | |
| CN112182278B (zh) | 一种打卡足迹的模拟方法和装置 | |
| JPH11153430A (ja) | 撮影画像管理装置およびそのプログラム記録媒体 | |
| JPH0814932A (ja) | ナビゲーション装置 | |
| JPH11195138A (ja) | 画像処理装置 | |
| JPH04246771A (ja) | 画像検索方式 | |
| JPH01284973A (ja) | 画像記録再生装置 | |
| JPS61231630A (ja) | デ−タ検索装置 | |
| JP2979586B2 (ja) | 画像情報処理方法 | |
| JPH07271998A (ja) | 立体表示方法および装置 | |
| JPH05120354A (ja) | ビデオテープ検索装置 | |
| JP2730856B2 (ja) | 業務遂行支援・学習支援兼用システム | |
| JPH04326483A (ja) | プロセス表示監視装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20071220 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081220 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |