JP3427969B2 - 映像表示方法および装置並びに映像表示プログラムを記録した記録媒体 - Google Patents
映像表示方法および装置並びに映像表示プログラムを記録した記録媒体Info
- Publication number
- JP3427969B2 JP3427969B2 JP05913898A JP5913898A JP3427969B2 JP 3427969 B2 JP3427969 B2 JP 3427969B2 JP 05913898 A JP05913898 A JP 05913898A JP 5913898 A JP5913898 A JP 5913898A JP 3427969 B2 JP3427969 B2 JP 3427969B2
- Authority
- JP
- Japan
- Prior art keywords
- video
- motion
- vector
- camera
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Description
【０００１】
【発明の属する技術分野】本発明は、映像を解析して、
映像の一部のフレームを代表画像として表示する映像表
示方法および装置、並びに表示処理用のプログラムを記
録した記録媒体に関するものである。
映像の一部のフレームを代表画像として表示する映像表
示方法および装置、並びに表示処理用のプログラムを記
録した記録媒体に関するものである。
【０００２】
【従来の技術】小型ビデオカメラやビデオデッキの普及
により、一般の人々が映像を記録、撮影することが多く
なっている。
により、一般の人々が映像を記録、撮影することが多く
なっている。
【０００３】しかし、映像の編集に際しては、その内容
を視聴し、把握する必要があり、かつ、繰り返し映像を
視聴するなどの反復作業を必要とするため、編集作業自
体が面倒で困難なものとなり、ほとんどの人々が編集作
業を行っていないという事情がある。
を視聴し、把握する必要があり、かつ、繰り返し映像を
視聴するなどの反復作業を必要とするため、編集作業自
体が面倒で困難なものとなり、ほとんどの人々が編集作
業を行っていないという事情がある。
【０００４】それには、幾つかの問題があると思われる
が、１つには、撮影した映像の内容を把権することが困
難であることが問題であると思われる。また、１つに
は、従来の編集機はテープメディアで編集を行うため、
テープの巻き戻しなどの時間軸方向への作業を行う必要
がある。このため、シーケンシヤルなアクセスしか許さ
れず、ランダムなアクセスができず、編集作業に多大な
時間を必要することになり、このことが原因で利用され
なかったためと思われる。
が、１つには、撮影した映像の内容を把権することが困
難であることが問題であると思われる。また、１つに
は、従来の編集機はテープメディアで編集を行うため、
テープの巻き戻しなどの時間軸方向への作業を行う必要
がある。このため、シーケンシヤルなアクセスしか許さ
れず、ランダムなアクセスができず、編集作業に多大な
時間を必要することになり、このことが原因で利用され
なかったためと思われる。
【０００５】映像の編集を促進させるためには、
１．映像編集のための映像素材の内容把握が容易である
こと、 ２．映像編集作業が容易であること、 ３．映像編集作業の結果、制作された映像の内容がどの
ようなものか理解し易く、かつ、視聴し易くなっている
こと、の３点が必要であると考えられる。
こと、 ２．映像編集作業が容易であること、 ３．映像編集作業の結果、制作された映像の内容がどの
ようなものか理解し易く、かつ、視聴し易くなっている
こと、の３点が必要であると考えられる。
【０００６】上述の問題点を解析するために幾つかの従
来方法が提案されている。
来方法が提案されている。
【０００７】映像の内容を簡単に把握し、かつ、視聴さ
せる１つの提案として、映像情報のカット点の情報を抽
出し、表示したり、カメラワーク情報を抽出し、カメラ
ワークの作用分だけ画像をずらせることで、カメラワー
ク中に撮影された風景をすべてつなぎ合わせたものを画
面上ないしは紙の上に配置して、表示するなどの方法が
幾つか提案されている。(Yukin Taniguti、 Yoshinobu T
onomura、「PanoramaExceps:Extracting and packing Pan
oramas for Video Browsing」1996 ACM Multiｍedia 97)
これは、映像ショットチェンジを検出し、さらに安定し
たカメラワークに対応する部分による代表画像を表示し
ているものである。映像を視聴する際に、ショットチェ
ンジ及びカメラワークに対応する部分だけを見せるだけ
で、内容の把握をある程度行うことができる。しかし、
この方法では、静止したり安定なカメラワークの部分は
表示されても、手ぶれ情報が存在する部分は表示されな
い。
せる１つの提案として、映像情報のカット点の情報を抽
出し、表示したり、カメラワーク情報を抽出し、カメラ
ワークの作用分だけ画像をずらせることで、カメラワー
ク中に撮影された風景をすべてつなぎ合わせたものを画
面上ないしは紙の上に配置して、表示するなどの方法が
幾つか提案されている。(Yukin Taniguti、 Yoshinobu T
onomura、「PanoramaExceps:Extracting and packing Pan
oramas for Video Browsing」1996 ACM Multiｍedia 97)
これは、映像ショットチェンジを検出し、さらに安定し
たカメラワークに対応する部分による代表画像を表示し
ているものである。映像を視聴する際に、ショットチェ
ンジ及びカメラワークに対応する部分だけを見せるだけ
で、内容の把握をある程度行うことができる。しかし、
この方法では、静止したり安定なカメラワークの部分は
表示されても、手ぶれ情報が存在する部分は表示されな
い。
【０００８】映像編集においては、カメラが静止してい
る状態も含めて安定したカメラワークがより編集として
使い易いことが経験的に知られている。しかし、手ぶれ
が発生していても、画面中には利用価値の高い被写体が
撮影されている場合があるため、一概にこれらの手ぶれ
部分の映像を抹消するわけにはいかない。
る状態も含めて安定したカメラワークがより編集として
使い易いことが経験的に知られている。しかし、手ぶれ
が発生していても、画面中には利用価値の高い被写体が
撮影されている場合があるため、一概にこれらの手ぶれ
部分の映像を抹消するわけにはいかない。
【０００９】なお、この手ぶれ情報とは、一般には、カ
メラが左右上下に小刻みに振動する場合を指すが、ここ
では、それ以外に、同一方向のカメラワーク中でも急激
に速さが変化する場合を手ぶれとする。これは、小刻み
な振動以外に、カメラの方向が変化しなくても、速さが
変化する場合は、編集に利用しずらい映像となるからで
ある。
メラが左右上下に小刻みに振動する場合を指すが、ここ
では、それ以外に、同一方向のカメラワーク中でも急激
に速さが変化する場合を手ぶれとする。これは、小刻み
な振動以外に、カメラの方向が変化しなくても、速さが
変化する場合は、編集に利用しずらい映像となるからで
ある。
【００１０】
【発明が解決しようとする課題】上記のように、映像編
集のためには、映像を解析し、代表画像を表示する際
に、全てを表示すること、編集に利用できる価値の高い
ものから内容把握をし易いものができるようになってい
ること、という条件が必要であると考えられる。
集のためには、映像を解析し、代表画像を表示する際
に、全てを表示すること、編集に利用できる価値の高い
ものから内容把握をし易いものができるようになってい
ること、という条件が必要であると考えられる。
【００１１】本発明は、このような事情を解決するため
になされたものであり、その目的は、映像を編集するに
際し、映像の全てを表示しつつ、編集に利用できる価値
の高いものから順次内容を把握できるように、入力映像
を分類して表示することができる映像表示方法および装
置並びに表示処理用のプログラムを記録した記録媒体を
提供することである。
になされたものであり、その目的は、映像を編集するに
際し、映像の全てを表示しつつ、編集に利用できる価値
の高いものから順次内容を把握できるように、入力映像
を分類して表示することができる映像表示方法および装
置並びに表示処理用のプログラムを記録した記録媒体を
提供することである。
【００１２】
【課題を解決するのための手段】本発明は、入力された
映像を解析し、代表画像を表示装置に表示する映像表示
方法であって、入力された映像をショット区間毎に分類
する映像ショット分類段階と、各ショット区間に含まれ
ている動き情報を解析し、動きベクトルを求める動き解
析段階と、前記動きベクトルから加速度ベクトルを求
め、動きベクトルと加速度ベクトルからカメラの動きを
分類する手ぶれ情報解析段階と、分類されたカメラの動
きによって映像を時間軸上で区切り、区切られた映像区
間の代表画面を定め、当該代表画面を、カメラの動きに
よる軸と時間軸の２軸から配置して表示する代表画像表
示段階とを具備することを特徴とする。
映像を解析し、代表画像を表示装置に表示する映像表示
方法であって、入力された映像をショット区間毎に分類
する映像ショット分類段階と、各ショット区間に含まれ
ている動き情報を解析し、動きベクトルを求める動き解
析段階と、前記動きベクトルから加速度ベクトルを求
め、動きベクトルと加速度ベクトルからカメラの動きを
分類する手ぶれ情報解析段階と、分類されたカメラの動
きによって映像を時間軸上で区切り、区切られた映像区
間の代表画面を定め、当該代表画面を、カメラの動きに
よる軸と時間軸の２軸から配置して表示する代表画像表
示段階とを具備することを特徴とする。
【００１３】
【００１４】これらの発明では、時系列上の動きベクト
ルを元に、カメラワーク情報と手ぶれ情報を解析するこ
とで、映像中の代表画像を表示する際に、静止状態を含
めた安定したカメラワーク中の画像の一部を表示しつ
つ、手ぶれ情報の有無による表示レベルを変えること
で、すべての内容を表示しつつ、編集に利用価値の高い
画像を優先的に表示可能になる。
ルを元に、カメラワーク情報と手ぶれ情報を解析するこ
とで、映像中の代表画像を表示する際に、静止状態を含
めた安定したカメラワーク中の画像の一部を表示しつ
つ、手ぶれ情報の有無による表示レベルを変えること
で、すべての内容を表示しつつ、編集に利用価値の高い
画像を優先的に表示可能になる。
【００１５】また、本発明は、入力された映像を解析
し、代表画像を表示する映像表示装置であって、入力さ
れた映像をショット区間毎に分類する映像ショット分類
手段と、各ショット区間に含まれている動き情報を解析
し、動きベクトルを求める動き解析手段と、前記動きベ
クトルから加速度ベクトルを求め、動きベクトルと加速
度ベクトルからカメラの動きを分類する手ぶれ情報解析
手段と、分類されたカメラの動きによって映像を時間軸
上で区切り、区切られた映像区間の代表画面を定め、当
該代表画面を、カメラの動きによる軸と時間軸の２軸か
ら配置して表示する代表画像表示手段とを具備すること
を特徴とする。
し、代表画像を表示する映像表示装置であって、入力さ
れた映像をショット区間毎に分類する映像ショット分類
手段と、各ショット区間に含まれている動き情報を解析
し、動きベクトルを求める動き解析手段と、前記動きベ
クトルから加速度ベクトルを求め、動きベクトルと加速
度ベクトルからカメラの動きを分類する手ぶれ情報解析
手段と、分類されたカメラの動きによって映像を時間軸
上で区切り、区切られた映像区間の代表画面を定め、当
該代表画面を、カメラの動きによる軸と時間軸の２軸か
ら配置して表示する代表画像表示手段とを具備すること
を特徴とする。
【００１６】また、本発明は、入力された映像を解析
し、代表画像を表示装置に表示する映像表示方法をコン
ピュータに実行させるための映像表示プログラムを記録
した媒体であって、前記映像表示プログラムは、コンピ
ュータに、入力された映像をショット区間毎に分類する
映像ショット分類処理と、各ショット区間に含まれてい
る動き情報を解析し、動きベクトルを求める動き解析処
理と、前記動きベクトルから加速度ベクトルを求め、動
きベクトルと加速度ベクトルからカメラの動きを分類す
る手ぶれ情報解析処理と、分類されたカメラの動きによ
って映像を時間軸上で区切り、区切られた映像区間の代
表画面を定め、当該代表画面を、カメラの動きによる軸
と時間軸の２軸から配置して表示する代表画像表示処理
とを実行させることを特徴とする。
し、代表画像を表示装置に表示する映像表示方法をコン
ピュータに実行させるための映像表示プログラムを記録
した媒体であって、前記映像表示プログラムは、コンピ
ュータに、入力された映像をショット区間毎に分類する
映像ショット分類処理と、各ショット区間に含まれてい
る動き情報を解析し、動きベクトルを求める動き解析処
理と、前記動きベクトルから加速度ベクトルを求め、動
きベクトルと加速度ベクトルからカメラの動きを分類す
る手ぶれ情報解析処理と、分類されたカメラの動きによ
って映像を時間軸上で区切り、区切られた映像区間の代
表画面を定め、当該代表画面を、カメラの動きによる軸
と時間軸の２軸から配置して表示する代表画像表示処理
とを実行させることを特徴とする。
【００１７】
【発明の実施の形態】以下、本発明の映像表示方法およ
び装置について図示する実施の形態を参照して詳細に説
明する。
び装置について図示する実施の形態を参照して詳細に説
明する。
【００１８】図１は、本発明の映像表示方法の一実施の
形態を示す流れ図である。
形態を示す流れ図である。
【００１９】図１において、入力映像データＶｉを映像
ショット分類手段１１に入力する。映像ショット分類手
段１１は、入力映像データＶｉにより入力映像を解析
し、ショット区間１に分類する。
ショット分類手段１１に入力する。映像ショット分類手
段１１は、入力映像データＶｉにより入力映像を解析
し、ショット区間１に分類する。
【００２０】次に、動き解析手段１２により、分類され
た各ショット区間１の画像中の動きを解析し、動きベク
トル２を算出する。次に、その動きベクトル２の情報を
手ぶれ情報解析手段１３に入力し、この手ぶれ情報解析
手段１３によってカメラワーク及び手ぶれ情報３を抽出
する。次に、このカメラワーク及び手ぶれ情報３を代表
画像表示手段１４に入力し、この代表画像表示手段１４
により、代表画像４を決定し、表示する。
た各ショット区間１の画像中の動きを解析し、動きベク
トル２を算出する。次に、その動きベクトル２の情報を
手ぶれ情報解析手段１３に入力し、この手ぶれ情報解析
手段１３によってカメラワーク及び手ぶれ情報３を抽出
する。次に、このカメラワーク及び手ぶれ情報３を代表
画像表示手段１４に入力し、この代表画像表示手段１４
により、代表画像４を決定し、表示する。
【００２１】図２は、図１の方法を実現する映像表示装
置の一実施の形態を示すブロック図である。
置の一実施の形態を示すブロック図である。
【００２２】図２に示す映像表示装置は、入力映像デー
タＶｉをテンポラリーに保存する記録メディア３０を備
えている。入力映像データＶｉはこの記録メディア３０
に一時記憶された後、映像ショット分類部４０に入力さ
れる。または入力映像データＶｉは、映像上ショット分
類部４０に直接入力される。
タＶｉをテンポラリーに保存する記録メディア３０を備
えている。入力映像データＶｉはこの記録メディア３０
に一時記憶された後、映像ショット分類部４０に入力さ
れる。または入力映像データＶｉは、映像上ショット分
類部４０に直接入力される。
【００２３】映像ショット分類部４０は、入力映像デー
タＶｉが入力されると、その入力映像データＶｉから入
力映像のショット区間２１を抽出し、その抽出したショ
ット区間２１の情報を映像動き解析部４１に入力する。
タＶｉが入力されると、その入力映像データＶｉから入
力映像のショット区間２１を抽出し、その抽出したショ
ット区間２１の情報を映像動き解析部４１に入力する。
【００２４】映像動き解析部４１は、ショット区間２１
の情報によって各ショット区間における画面内部の動き
ベクトル２２を抽出する。この動きベクトル２２の情報
は映像手ぶれ解析部４２に入力される。映像手ぶれ解析
部４２は、動きベクトル２２の分布から、カメラワーク
及び手ぶれを解析し、カメラワーク及び手ぶれ情報２３
を出力する。このカメラワーク及び手ぶれ情報２３は、
記録メディア３０に格納されると共に、代表画像選択部
４３に入力される。代表画像選択部４３は、入力された
カメラワーク及び手ぶれ情報２３から代表画像２４を選
択し、表示インタフェース４４を介して表示装置画面
（図示せず）に表示し、利用者５０へ映像の内容を提示
する。
の情報によって各ショット区間における画面内部の動き
ベクトル２２を抽出する。この動きベクトル２２の情報
は映像手ぶれ解析部４２に入力される。映像手ぶれ解析
部４２は、動きベクトル２２の分布から、カメラワーク
及び手ぶれを解析し、カメラワーク及び手ぶれ情報２３
を出力する。このカメラワーク及び手ぶれ情報２３は、
記録メディア３０に格納されると共に、代表画像選択部
４３に入力される。代表画像選択部４３は、入力された
カメラワーク及び手ぶれ情報２３から代表画像２４を選
択し、表示インタフェース４４を介して表示装置画面
（図示せず）に表示し、利用者５０へ映像の内容を提示
する。
【００２５】この時、利用者５０に提示されるのは、カ
メラワーク及び手ぶれ情報２３によって分類が行われた
代表画像である。
メラワーク及び手ぶれ情報２３によって分類が行われた
代表画像である。
【００２６】ここで、入力映像データＶｉは、コンピュ
ータが解析可能なデジタル映像であれば良く、ＭＰＥＧ
やＪＰＥＧ等の圧縮符号化されていても構わない。ま
た、その時間及び空間方向へのパラメータは任意で構わ
ない。さらに、デジタル映像でない場合には、アナログ
映像信号をキャプチャツール等によってディジタル化し
たものを入力するようにしてもよいし、ディジタル化機
能を映像ショット分類部４０に内蔵させる構成であって
も構わない。
ータが解析可能なデジタル映像であれば良く、ＭＰＥＧ
やＪＰＥＧ等の圧縮符号化されていても構わない。ま
た、その時間及び空間方向へのパラメータは任意で構わ
ない。さらに、デジタル映像でない場合には、アナログ
映像信号をキャプチャツール等によってディジタル化し
たものを入力するようにしてもよいし、ディジタル化機
能を映像ショット分類部４０に内蔵させる構成であって
も構わない。
【００２７】また、この入力映像データＶｉは、例えば
ファイル単位で計数した場合、１つである必要はなく、
複数個にわたっても構わない。複数個の場合に、それら
の時間的、空間的（サイズ、フレームレート、音声トラ
ックの数等の）フォーマットが異なる場合には、それら
の整合をとる機能を映像ショット分類部４０に内蔵させ
るようにすればよい。
ファイル単位で計数した場合、１つである必要はなく、
複数個にわたっても構わない。複数個の場合に、それら
の時間的、空間的（サイズ、フレームレート、音声トラ
ックの数等の）フォーマットが異なる場合には、それら
の整合をとる機能を映像ショット分類部４０に内蔵させ
るようにすればよい。
【００２８】ところで、映像ショット分類部４０では、
入力映像をショット単位に分類する。これは、フレーム
間の同一画素上の差分を計算し、差分が大きい画素が多
数存在した場合ショットチェンジが発生したものとす
る。ショットチェンジには、漸次変化などのショットチ
ェンジも存在するが、これに対する検出機能を備えてい
ても、いなくても良い。
入力映像をショット単位に分類する。これは、フレーム
間の同一画素上の差分を計算し、差分が大きい画素が多
数存在した場合ショットチェンジが発生したものとす
る。ショットチェンジには、漸次変化などのショットチ
ェンジも存在するが、これに対する検出機能を備えてい
ても、いなくても良い。
【００２９】映像動き解析部４１では、映像中の動きベ
クトル２２を算出する。その一例として、各画面をブロ
ックに小分割し、各ブロック毎に、他のフレームと類似
する領域を対応する位置をずらしながら探索していく。
類似する領域の基準は、類似する領域との差分を算出
し、差分が最も小さかったときの位置のずれを動きベク
トル２２として算出する。こうして算出された動きベク
トル２２の分布を見た場合、カメラが静止した状態では
動きベクトル「０」のベクトルが多数出現する。図３
（ａ），（ｂ）に、手ぶれが発生した場合と、カメラワ
ークが出現した場合の双方の典型的な例をそれぞれ示し
ている。図３（ａ）は、手ぶれ有りの場合の原画像３０
１とその動きベクトル３０２を示し、図３（ｂ）は、カ
メラワーク有りの場合の原画像３０３とその動きベクト
ル３０３を示している。なお、動きベクトル３０２、３
０３の矢印の方向が画像の動き方向を示すものであり、
手ぶれ有りの場合は、図示するように、時間方向で矢印
の方向がばらつき、カメラワーク有りの場合は矢印方向
がほとんど同じ方向になっている。
クトル２２を算出する。その一例として、各画面をブロ
ックに小分割し、各ブロック毎に、他のフレームと類似
する領域を対応する位置をずらしながら探索していく。
類似する領域の基準は、類似する領域との差分を算出
し、差分が最も小さかったときの位置のずれを動きベク
トル２２として算出する。こうして算出された動きベク
トル２２の分布を見た場合、カメラが静止した状態では
動きベクトル「０」のベクトルが多数出現する。図３
（ａ），（ｂ）に、手ぶれが発生した場合と、カメラワ
ークが出現した場合の双方の典型的な例をそれぞれ示し
ている。図３（ａ）は、手ぶれ有りの場合の原画像３０
１とその動きベクトル３０２を示し、図３（ｂ）は、カ
メラワーク有りの場合の原画像３０３とその動きベクト
ル３０３を示している。なお、動きベクトル３０２、３
０３の矢印の方向が画像の動き方向を示すものであり、
手ぶれ有りの場合は、図示するように、時間方向で矢印
の方向がばらつき、カメラワーク有りの場合は矢印方向
がほとんど同じ方向になっている。
【００３０】カメラワークが存在する場合には、各ショ
ットの画像間で、類似していると思われる相関の高い領
域を位置をずらして探索し、高い相関を示した位置ずれ
を記録しておき、ベクトルで表現する。
ットの画像間で、類似していると思われる相関の高い領
域を位置をずらして探索し、高い相関を示した位置ずれ
を記録しておき、ベクトルで表現する。
【００３１】カメラワークや手ぶれが存存する場合に
は、フレーム上のベクトルはある方向と距離をもったベ
クトルが集中的に現れる。もし、これがカメラワークや
手ぶれによるカメラワーク以外の場合には、このベクト
ルがある方向へ集中することはなく、ランダムな値とな
る。これは、ランダムに動く被写体が発生する場合に多
く見受けられる。
は、フレーム上のベクトルはある方向と距離をもったベ
クトルが集中的に現れる。もし、これがカメラワークや
手ぶれによるカメラワーク以外の場合には、このベクト
ルがある方向へ集中することはなく、ランダムな値とな
る。これは、ランダムに動く被写体が発生する場合に多
く見受けられる。
【００３２】次に、カメラワークと手ぶれ情報２３を抽
出する映像手ぶれ解析部４２について説明する。
出する映像手ぶれ解析部４２について説明する。
【００３３】動きベクトル２２の分布に偏りが生じたと
き、これが、カメラワークによるものなのか、手ぶれに
よる変化なのかを判別する必要がある。この判別を行な
うのが映像手ぶれ解析部４２である。この判別の際に
は、複数フレームにわたってどのような変化があるかを
判別することで判断可能となる。偏りベクトルの分布を
仮に局所的な動き方向とすると、カメラワークの場合に
は、この動き方向が複数フレームに渡って一定している
のに対し、手ぶれによるカメラワークは規則性がなく、
時間と共に動き方向がさまざまに変化することが知られ
ている。このことから複数フレームに渡る動き方向を計
数することで、静止状態なのか、意図的なカメラワーク
なのか、手ぶれによるカメラワークなのかを判別するこ
とが可能となる。
き、これが、カメラワークによるものなのか、手ぶれに
よる変化なのかを判別する必要がある。この判別を行な
うのが映像手ぶれ解析部４２である。この判別の際に
は、複数フレームにわたってどのような変化があるかを
判別することで判断可能となる。偏りベクトルの分布を
仮に局所的な動き方向とすると、カメラワークの場合に
は、この動き方向が複数フレームに渡って一定している
のに対し、手ぶれによるカメラワークは規則性がなく、
時間と共に動き方向がさまざまに変化することが知られ
ている。このことから複数フレームに渡る動き方向を計
数することで、静止状態なのか、意図的なカメラワーク
なのか、手ぶれによるカメラワークなのかを判別するこ
とが可能となる。
【００３４】算出方法の１つの例として加速度を用い
る。
る。
【００３５】カメラワーク＝０、すなわち静止している
状態では、動きベクトルは「０」となり、その平均ベク
トルも「０」となる。安定したカメラワークの場合は、
類似したカメラワークに対応するベクトルが数フレーム
に渡って出現する。したがって、カメラワークの平均も
類似したものとなる。安定したカメラワークは、一般に
数フレームに渡って出現する。そこで、各フレームの動
きベクトル同士の差分を計算する。これを１つの加速度
とする。動きベクトルが類似するカメラワークであれ
ば、こうした動きベクトルの加速度ベクトルのサイズは
「０」に近くなる。
状態では、動きベクトルは「０」となり、その平均ベク
トルも「０」となる。安定したカメラワークの場合は、
類似したカメラワークに対応するベクトルが数フレーム
に渡って出現する。したがって、カメラワークの平均も
類似したものとなる。安定したカメラワークは、一般に
数フレームに渡って出現する。そこで、各フレームの動
きベクトル同士の差分を計算する。これを１つの加速度
とする。動きベクトルが類似するカメラワークであれ
ば、こうした動きベクトルの加速度ベクトルのサイズは
「０」に近くなる。
【００３６】一方、手ぶれの場合には、動きベクトルが
ランダムに変化し、速さ、方向とも安定せず、加速度ベ
クトルは「０」にならず、大きなものとなる。加速度ベ
クトルが大きな場合には、手ぶれが存在したと判定す
る。
ランダムに変化し、速さ、方向とも安定せず、加速度ベ
クトルは「０」にならず、大きなものとなる。加速度ベ
クトルが大きな場合には、手ぶれが存在したと判定す
る。
【００３７】したがって、加速度ベクトルの分布を算出
し、同一ショット区間中で、加速度ベクトルが大きいベ
クトルが多数出現している場合を、手ぶれ状態とする。
し、同一ショット区間中で、加速度ベクトルが大きいベ
クトルが多数出現している場合を、手ぶれ状態とする。
【００３８】すなわち、動きベクトル「０」、加速度ベ
クトル「０」というベクトルが多数存在する場合を静止
状態とし、動きベクトルが「０」以外で加速度ベクトル
が「０」の場合は、安定カメラワーク中とし、動きベク
トルが「０」以外で加速度ベクトルも「０」以外の場合
は、非安定カメラワークすなわち手ぶれ中と判定する。
クトル「０」というベクトルが多数存在する場合を静止
状態とし、動きベクトルが「０」以外で加速度ベクトル
が「０」の場合は、安定カメラワーク中とし、動きベク
トルが「０」以外で加速度ベクトルも「０」以外の場合
は、非安定カメラワークすなわち手ぶれ中と判定する。
【００３９】この判定方法によれば、同一方向でも加速
や減速をすることで、加速度が発生し、逆方向へ急激に
動いた場合には、負の加速度が発生することになり、同
一方向でも、急激な速度変化を伴うカメラワークも手ぶ
れ情報として判定され、利用価値の高く、カメラワーク
の安定した映像を優先的に提示可能になることが期待で
きる。
や減速をすることで、加速度が発生し、逆方向へ急激に
動いた場合には、負の加速度が発生することになり、同
一方向でも、急激な速度変化を伴うカメラワークも手ぶ
れ情報として判定され、利用価値の高く、カメラワーク
の安定した映像を優先的に提示可能になることが期待で
きる。
【００４０】こうして得られたカメラワーク及び手ぶれ
情報２３をもとに代表画像を選択する。
情報２３をもとに代表画像を選択する。
【００４１】次に、代表画像選択部４３について説明す
る。代表画像としては、各ショット区間において、ショ
ットチェンジ直後のフレームがまず選択される。さら
に、同一ショット区間でもカメラワークがある場合に
は、カメラワークの開始時とする。手ぶれ有りの場合に
は、手ぶれ情報が発生した部分のフレームとする。ま
た、同様に、カメラワークが終了、手ぶれの終了ないし
は別の方向へのカメラワークとなった場合、そのフレー
ムを代表画像として選択する。これを時系列で表現する
と、図４に示すような画像が代表画像４０１〜４０５と
して各ショット区間毎に選択される。
る。代表画像としては、各ショット区間において、ショ
ットチェンジ直後のフレームがまず選択される。さら
に、同一ショット区間でもカメラワークがある場合に
は、カメラワークの開始時とする。手ぶれ有りの場合に
は、手ぶれ情報が発生した部分のフレームとする。ま
た、同様に、カメラワークが終了、手ぶれの終了ないし
は別の方向へのカメラワークとなった場合、そのフレー
ムを代表画像として選択する。これを時系列で表現する
と、図４に示すような画像が代表画像４０１〜４０５と
して各ショット区間毎に選択される。
【００４２】次に、これを表示するインタフェース４４
について説明する。
について説明する。
【００４３】利用者５０は、編集に利用し易い安定した
カメラワークによる映像を優先的に表示してもらいたい
という要求と、すべての映像区間を同時に見たいという
要求の２つを要求として持つ。このため、１つは、図５
に示すように、全ての映像区間を対象にして、各フレー
ム上の動きベクトルの平均ベクトルの大きさと、加速度
ベクトルの平均ベクトルの大きさを基準に、各映像区間
を分類し、各映像区間の代表画像５０１〜５０４を、そ
の表示位置を変えて表示する。例えば、動きベクトルお
よび加速度ベクトルの双方とも小さいものを静止状態と
して、画面縦軸方向の上方に表示し、双方とも大きなも
のを画面縦軸の下の方に表示する。その判断基準は、動
きベクトル及び加速度ベクトルの和を用いてもよいし、
ある比率による重み付けを行った比を用いてもよい。図
５に示した例は、全映像区間の先頭を画面左端に合わ
せ、静止及び動き状態にあわせて画面上方から下方に向
かって利用価値が低いものとなるように配置したもので
ある。この例は、最も状態の良い映像区間から順に選択
することが出来るという利点を持つ。
カメラワークによる映像を優先的に表示してもらいたい
という要求と、すべての映像区間を同時に見たいという
要求の２つを要求として持つ。このため、１つは、図５
に示すように、全ての映像区間を対象にして、各フレー
ム上の動きベクトルの平均ベクトルの大きさと、加速度
ベクトルの平均ベクトルの大きさを基準に、各映像区間
を分類し、各映像区間の代表画像５０１〜５０４を、そ
の表示位置を変えて表示する。例えば、動きベクトルお
よび加速度ベクトルの双方とも小さいものを静止状態と
して、画面縦軸方向の上方に表示し、双方とも大きなも
のを画面縦軸の下の方に表示する。その判断基準は、動
きベクトル及び加速度ベクトルの和を用いてもよいし、
ある比率による重み付けを行った比を用いてもよい。図
５に示した例は、全映像区間の先頭を画面左端に合わ
せ、静止及び動き状態にあわせて画面上方から下方に向
かって利用価値が低いものとなるように配置したもので
ある。この例は、最も状態の良い映像区間から順に選択
することが出来るという利点を持つ。
【００４４】図６は、他の表示例を示す図であり、時間
順は尊重し、静止及び安定状態にあわせて、代表画像６
０１〜６０６の表示レベル（表示位置）を変えて表示す
る例である。このような表示インタフェースとすること
により、図５に示した例と比較して、撮影、記録された
時間を意識しつつ、映像区間を探しやすいという利点を
有する。また、どの時間帯の映像が安定しているかも把
握することが出来るので、映像が安定している時間帯を
中心に編集することも可能になる。
順は尊重し、静止及び安定状態にあわせて、代表画像６
０１〜６０６の表示レベル（表示位置）を変えて表示す
る例である。このような表示インタフェースとすること
により、図５に示した例と比較して、撮影、記録された
時間を意識しつつ、映像区間を探しやすいという利点を
有する。また、どの時間帯の映像が安定しているかも把
握することが出来るので、映像が安定している時間帯を
中心に編集することも可能になる。
【００４５】また、加速度が小さいものほど高い安定度
であるとし、図６に示すように配置することで、映像静
止画による映像編集装置を用いる編集者は、編集に使い
易い安定したカメラワークのものから順に映像を選択す
ることができる。これにより利用者の選択利便性が向上
する。
であるとし、図６に示すように配置することで、映像静
止画による映像編集装置を用いる編集者は、編集に使い
易い安定したカメラワークのものから順に映像を選択す
ることができる。これにより利用者の選択利便性が向上
する。
【００４６】なお、表示インタフェース４４において、
必要に応じて、任意の個所（映像区間）を再生する機能
などを付加することができる。
必要に応じて、任意の個所（映像区間）を再生する機能
などを付加することができる。
【００４７】なお、上述した映像表示方法をコンピュー
タプログラムで記述し、ＣＤ−ＲＯＭ等の記録媒体に記
録して、映像編集者が使用するコンピュータに読込ませ
て実行させることにより、記録メディア３０に保存した
映像データを、編集者の意図に従って代表画像を選択し
ながら編集することが可能になる。
タプログラムで記述し、ＣＤ−ＲＯＭ等の記録媒体に記
録して、映像編集者が使用するコンピュータに読込ませ
て実行させることにより、記録メディア３０に保存した
映像データを、編集者の意図に従って代表画像を選択し
ながら編集することが可能になる。
【００４８】以上、本発明による映像表示方法とその装
置について、実施形態に基づいて具体的に説明したが、
本発明は上述の実施形態に限定されるものではなく、要
旨を逸脱しない範囲で種々の変更が可能である。
置について、実施形態に基づいて具体的に説明したが、
本発明は上述の実施形態に限定されるものではなく、要
旨を逸脱しない範囲で種々の変更が可能である。
【００４９】
【発明の効果】以上説明したように、本発明は、入力さ
れた映像をショット区間毎に分類した後、各ショット区
間に含まれている動き情報を解析し、その動き情報に基
づき、入力された映像のカメラワーク情報と手ぶれ情報
を解析し、カメラワーク単位及び手ぶれの有無の単位に
対応する各映像区間の代表画像を表示装置に表示するよ
うにしたため、編集作業において利用価値の高い安定し
たカメラワーク状態から順に各映像区間の代表画像が表
示される。これにより、映像編集作業を行なう際に、ど
の映像区間を使用し、またどの映像区間を使用しないか
を容易に判定し、映像の編集作業を遂行することができ
るため、映像編集が極めて容易になるという効果があ
る。
れた映像をショット区間毎に分類した後、各ショット区
間に含まれている動き情報を解析し、その動き情報に基
づき、入力された映像のカメラワーク情報と手ぶれ情報
を解析し、カメラワーク単位及び手ぶれの有無の単位に
対応する各映像区間の代表画像を表示装置に表示するよ
うにしたため、編集作業において利用価値の高い安定し
たカメラワーク状態から順に各映像区間の代表画像が表
示される。これにより、映像編集作業を行なう際に、ど
の映像区間を使用し、またどの映像区間を使用しないか
を容易に判定し、映像の編集作業を遂行することができ
るため、映像編集が極めて容易になるという効果があ
る。
【図１】本発明の映像表示方法の一実施の形態を示す流
れ図である。
れ図である。
【図２】本発明の方法を実現する装置の一実施の形態を
示すブロック図である。
示すブロック図である。
【図３】手ぶれ情報の抽出原理を示す説明図である。
【図４】代表画像の選択例を示す図である。
【図５】代表画像の表示インタフェースの一例を示す図
である。
である。
【図６】代表画像の表示インタフェースの他の例を示す
図である。
図である。
Ｖｉ…入力映像データ、１…映像ショット区間、２…映
像動きベクトル、３…カメラワーク及び手ぶれ情報、４
…代表画像、１１…映像ショット分類手段、１２…映像
動き解析手段、１３…手ぶれ情報解析手段、１４…代表
画像表示手段、４０１〜４０５…代表画像。
像動きベクトル、３…カメラワーク及び手ぶれ情報、４
…代表画像、１１…映像ショット分類手段、１２…映像
動き解析手段、１３…手ぶれ情報解析手段、１４…代表
画像表示手段、４０１〜４０５…代表画像。
フロントページの続き
(58)調査した分野(Int.Cl.7，ＤＢ名)
H04N 5/76 - 5/956
Claims (3)
- 【請求項１】 入力された映像を解析し、代表画像を表
示装置に表示する映像表示方法であって、 入力された映像をショット区間毎に分類する映像ショッ
ト分類段階と、 各ショット区間に含まれている動き情報を解析し、動き
ベクトルを求める動き解析段階と、前記動きベクトルから加速度ベクトルを求め、動きベク
トルと加速度ベクトルからカメラの動きを分類する 手ぶ
れ情報解析段階と、分類されたカメラの動きによって映像を時間軸上で区切
り、区切られた映像区間の代表画面を定め、当該代表画
面を、カメラの動きによる軸と時間軸の２軸から配置し
て 表示する代表画像表示段階とを具備することを特徴と
する映像表示方法。 - 【請求項２】 入力された映像を解析し、代表画像を表
示する映像表示装置であって、 入力された映像をショット区間毎に分類する映像ショッ
ト分類手段と、 各ショット区間に含まれている動き情報を解析し、動き
ベクトルを求める動き解析手段と、 前記動きベクトルから加速度ベクトルを求め、動きベク
トルと加速度ベクトルからカメラの動きを分類する手ぶ
れ情報解析手段と、 分類されたカメラの動きによって映像を時間軸上で区切
り、区切られた映像区間の代表画面を定め、当該代表画
面を、カメラの動きによる軸と時間軸の２軸から配置し
て表示する代表画像表示手段とを具備することを特徴と
する映像表示装置。 - 【請求項３】 入力された映像を解析し、代表画像を表
示装置に表示する映像表示方法をコンピュータに実行さ
せるための映像表示プログラムを記録した媒体であっ
て、 前記映像表示プログラムは、コンピュータに、入力され
た映像をショット区間毎に分類する映像ショット分類処
理と、 各ショット区間に含まれている動き情報を解析し、動き
ベクトルを求める動き 解析処理と、 前記動きベクトルから加速度ベクトルを求め、動きベク
トルと加速度ベクトルからカメラの動きを分類する手ぶ
れ情報解析処理と、 分類されたカメラの動きによって映像を時間軸上で区切
り、区切られた映像区間の代表画面を定め、当該代表画
面を、カメラの動きによる軸と時間軸の２軸から配置し
て表示する代表画像表示処理とを実行させることを特徴
とする映像表示プログラムが記録された記録媒体 。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP05913898A JP3427969B2 (ja) | 1998-03-11 | 1998-03-11 | 映像表示方法および装置並びに映像表示プログラムを記録した記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP05913898A JP3427969B2 (ja) | 1998-03-11 | 1998-03-11 | 映像表示方法および装置並びに映像表示プログラムを記録した記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH11261946A JPH11261946A (ja) | 1999-09-24 |
| JP3427969B2 true JP3427969B2 (ja) | 2003-07-22 |
Family
ID=13104668
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP05913898A Expired - Fee Related JP3427969B2 (ja) | 1998-03-11 | 1998-03-11 | 映像表示方法および装置並びに映像表示プログラムを記録した記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3427969B2 (ja) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000253337A (ja) | 1999-02-24 | 2000-09-14 | Sony Corp | 画面の制御方法および画面の制御装置および映像再生方法および映像再生装置および映像情報の記録方法および映像情報の記録装置およびコンピュータが読み取り可能な記録媒体 |
| US7734144B2 (en) * | 2002-10-30 | 2010-06-08 | Koninklijke Philips Electronics N.V. | Method and apparatus for editing source video to provide video image stabilization |
| KR100530746B1 (ko) | 2002-12-24 | 2005-11-23 | 삼성테크윈 주식회사 | 촬영 상태가 부적절하였음을 알려주는 디지털 카메라 및그 제어방법 |
| JP4311111B2 (ja) * | 2003-07-08 | 2009-08-12 | 日本ビクター株式会社 | メール送信機能付き映像監視装置 |
| US8379154B2 (en) * | 2006-05-12 | 2013-02-19 | Tong Zhang | Key-frame extraction from video |
| JP2009017598A (ja) * | 2008-10-02 | 2009-01-22 | Sony Corp | 撮像装置、および情報処理方法、並びにコンピュータ・プログラム |
| JP6175518B2 (ja) * | 2013-03-08 | 2017-08-02 | トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ | 自動ビデオセグメント化のための方法および装置 |
| JP5997645B2 (ja) * | 2013-03-26 | 2016-09-28 | キヤノン株式会社 | 画像処理装置及び方法、及び撮像装置 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3432348B2 (ja) * | 1996-01-30 | 2003-08-04 | 三菱電機株式会社 | 代表画像表示方法、代表画像表示装置およびこの装置を用いた動画検索装置 |
| JP3131560B2 (ja) * | 1996-02-26 | 2001-02-05 | 沖電気工業株式会社 | 動画像処理システムにおける動画像情報検出装置 |
-
1998
- 1998-03-11 JP JP05913898A patent/JP3427969B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH11261946A (ja) | 1999-09-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP0729117B1 (en) | Method and apparatus for detecting a point of change in moving images | |
| TWI388212B (zh) | An image processing apparatus, an image reproduction apparatus, an image processing method, and a memory medium | |
| JP4973188B2 (ja) | 映像分類装置、映像分類プログラム、映像検索装置、および映像検索プログラム | |
| US7606462B2 (en) | Video processing device and method for producing digest video data | |
| US8768097B2 (en) | Image processing apparatus, moving image reproducing apparatus, and processing method and program therefor | |
| US8184947B2 (en) | Electronic apparatus, content categorizing method, and program therefor | |
| US7483624B2 (en) | System and method for indexing a video sequence | |
| US7734144B2 (en) | Method and apparatus for editing source video to provide video image stabilization | |
| JPH09130732A (ja) | シーンチェンジ検出方法および動画像編集装置 | |
| JP2007110193A (ja) | 画像処理装置 | |
| CN1777282A (zh) | 处理图像的装置和方法及处理再现图像的装置和方法 | |
| JP3427969B2 (ja) | 映像表示方法および装置並びに映像表示プログラムを記録した記録媒体 | |
| JP2003303333A (ja) | 画像表示制御装置 | |
| JPH08251540A (ja) | 映像要約方法 | |
| JP2006081020A (ja) | 電子アルバム表示システム、電子アルバム表示方法、及び電子アルバム表示プログラム | |
| JP4154012B2 (ja) | 画像表示方法を実現するためのプログラムを記録した記録媒体及び画像合成装置 | |
| JP3561942B2 (ja) | ショット検出方法および代表画像記録・表示装置 | |
| JP3469122B2 (ja) | 編集用映像区間分類方法及び装置、並びにこの方法を記録した記録媒体 | |
| JP4667356B2 (ja) | 映像表示装置及びその制御方法、プログラム、記録媒体 | |
| WO1999005865A1 (en) | Content-based video access | |
| JP2008199330A (ja) | 動画像管理装置 | |
| JP3358692B2 (ja) | 映像ブロック分類方法及び装置 | |
| JPH04237284A (ja) | 映像内容圧縮表示処理方法 | |
| JP2001119661A (ja) | 動画編集システムおよび記録媒体 | |
| JP3558886B2 (ja) | 映像処理装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090516 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090516 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100516 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100516 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110516 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120516 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130516 Year of fee payment: 10 |
|
| LAPS | Cancellation because of no payment of annual fees |