JPH07236115A - ショット検出方法および代表画像記録・表示装置 - Google Patents

Abstract

(57)【要約】 【目的】 画像内容に応じた単位で動画像をまとめるこ
と。 【構成】 画像情報出力部１は、ユーザが撮影時にカメ
ラを操作したカメラ操作情報や、撮像した画像を処理し
て得られた画像処理情報や、センサーからの信号を処理
して得られた撮影中の撮影状態情報を出力する。ショッ
ト変化度合検出部２は、画像内容が移行するときに画像
情報出力部１から出力される各種情報が示す変化規則を
予め設定しておき、順次入力される各種情報を変化規則
と比較することで、入力情報毎に画面の変動する度合を
検出する。ショット検出部３では、ショット変化度合検
出部２からの出力を基に、撮影者が特定の被写体を撮影
しつづけた動画像、及び撮影者が特定の画角や撮影条件
や撮影方法で撮影し続けた動画像を１ショットとして検
出し、そのショットの区間を出力する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、動画像の早見、検索、
編集などのために、画像内容に応じた単位で動画像をま
とめる方法、及び、まとめられた動画像を基に代表的な
画像を自動抽出し、その画像を記録・表示する装置に関
するものである。

【０００２】

【従来の技術】従来、動画像の区切りを検出する技術
や、動画像の区切りを編集作業に利用する技術が多数提
案されてきた。

【０００３】動画像の区切りを映像信号から自動検出す
る方法としては、例えば、特開平３−２１４３６４号公
報に開示されたシーン変化検出手法がある。これは、隣
接フレーム間でヒストグラムを比較することにより、シ
ーンが変化したかどうか判定するものである。ここでの
シーンの変化は、撮影・録画の開始／終了時点や、編集
作業によって別々のシーンを連結した時のつなぎ目に対
応している。また、ＶＩＳＳ（VHS Index Search Syste
m）では、録画開始時に、ビデオテープにＶＩＳＳ信号
を自動記録し、高速頭出しなどのタグとして利用してい
る。

【０００４】一方、録画の開始点だけでなく、好みの画
像の時点にタグ付けする、といった柔軟な技術も必要と
されている。例えば、前述のＶＩＳＳでは、ユーザが見
たい場面に対してもＶＩＳＳ信号を記録できるので、ビ
デオテープ上に記録されたＶＩＳＳ信号を利用して、イ
ントロサーチと呼ばれる早送り再生を行うことができ
る。イントロサーチとは、早送り中にＶＩＳＳ信号を見
つけると、ある時間だけ再生状態にし、その後再び早送
りするという動作をテープの終わりまで繰り返すもので
ある。

【０００５】さらに、「好みの画像を選択してＶＩＳＳ
信号を付加する」というユーザの手間を省くために、代
表的な画像を自動抽出する方法も提案されている。例え
ば、特開平５ー１４７３３７では、１カット（録画開始
操作をしてから録画終了操作をするまでの間に連続して
撮影された動画像）の中から、代表的な画像を自動的に
抽出する静止画像自動抽出方法が開示されている。ここ
で、代表的な画像は、撮影者の意図、撮影された画像の
状態、被写体の状態をもとに評価して選び出され、動画
像の早見や検索などに利用される。

【０００６】

【発明が解決しようとする課題】しかしながら、上記の
静止画像自動抽出方法も、録画開始から終了までの動画
像ごとに代表画像を抽出するので、基本的に代表画像の
数は、動画像全体に含まれる録画開始／終了の区切りの
数に依存する。

【０００７】例えば、映画のようにカットの多い動画像
の場合には、代表画像が多くなる。この代表画像は少数
の画像の中から選ばれるので、各カットの画像内容をよ
く表すような画像が選ばれ易い。一方、ビデオカメラで
長時間、撮影しつづけた映像の場合には、どんなに画像
内容が変化しても、録画開始／終了の区切りがないの
で、ほとんど代表画像を抽出できない。従って、代表画
像だけ見ても、動画像全体の内容がわからない場合もあ
る。

【０００８】ここで具体例として、撮影開始から終了ま
でに、２種類の被写体を撮影するような場合を考えてみ
る。図２の画像Ａ〜画像Ｐは、長時間撮影した動画像か
ら、一部分をぬきだしたものである。撮影者はまず、
「黄色の車」を撮影して（画像Ａ，Ｂ）いったん撮影を
止め、撮影開始後、「赤い服の人物」を撮影し（画像Ｃ
〜画像Ｆ）、そのままカメラをパンニングして（画像Ｇ
〜画像Ｉ）、「茶色の屋根の小屋」を撮影（画像Ｊ〜画
像Ｎ）、ここで撮影を中止し、再開後は「高層ビル」を
撮影している（画像Ｏ、Ｐ）。録画開始／終了の区切り
は、画像Ｂと画像Ｃの間、画像Ｎと画像Ｏの間であり、
画像Ｃ〜Ｎが一まとまりの画像とみなされる。しかし、
画像内容から考えると画像Ｃ〜Ｎの中で、「赤い服の人
物」の部分と「茶色の屋根の小屋」の部分は別の場面で
あり、それぞれで代表画像を選んだ方が良い。

【０００９】このように、撮影や編集操作による区切り
で動画像をまとめても、まとまりによって画像内容の変
化する度合が異なるため、内容を表現するのに必要な代
表画像の数が変化し、従来方法では対応できないことが
わかる。従って、画像内容に応じた単位で動画像をまと
めて取り扱うことが必要になる。

【００１０】本発明はかかる点に鑑み、画像内容に応じ
て動画像をまとめる手法、およびまとめられた動画像を
基に代表的画像を自動抽出し、記録表示する装置を提供
することを目的とする。

【００１１】

【課題を解決するための手段】上記課題を解決するため
に、本発明のショット検出方法は、撮影者が撮影開始操
作をしてから撮影終了操作をするまでの間に撮影された
動画像の中で、撮影者が特定の被写体を撮影しつづけた
動画像、及び撮影者が特定の画角や撮影条件や撮影方法
で撮影し続けた動画像をショットとし、動画像を撮影す
る際に撮影者がカメラを操作したカメラ操作情報を取り
込むカメラ操作情報獲得手段と、撮像した画像を処理し
て得られた画像処理情報を取り込む画像処理情報獲得手
段と、センサーからの信号を処理して得られた撮影中の
撮影状態情報を取り込む撮影状態情報獲得手段の３つの
手段のうち少なくとも１つを備えて前記カメラ操作情報
または前記画像処理情報または前記撮影状態情報を出力
する画像情報出力部と、前記画像情報出力部からの複数
の出力それぞれに関して、予め設定された変化の規則に
合っている度合をショット変化度合として検出するショ
ット変化度合検出部と、前記ショット変化度合検出部か
らの出力の少なくとも１つを基にして、動画像中のショ
ットを検出するショット検出部を備える。

【００１２】さらに本発明のショット内代表画像記録・
表示装置は、前記ショット検出部で求められたショット
に属する画像から代表的な画像を抽出する代表画像抽出
部と、動画像の映像信号を取り込む映像情報獲得部と、
前記代表画像抽出部で抽出した代表画像の映像信号を前
記映像情報獲得部から入力し、画像記録媒体に記録、ま
たは画像表示装置に表示する画像記録・表示部を備え
る。

【００１３】

【作用】以上のような構成において、カメラ操作情報や
画像処理情報や撮影状態情報を入力情報とし、動画像の
内容が変化する際の入力情報それぞれの変化規則を予め
選出しておき、変化規則と入力情報を比較することで、
撮影者が特定の被写体を撮影しつづけた動画像や特定の
画角、撮影条件で撮影しつづけた動画像をショットとし
て検出できる。これによって、録画開始から終了までの
動画像の単位にとらわれず、動画像を画像内容に応じた
任意個数のかたまりにまとめることができる。

【００１４】また、上記方法で検出されたショットを基
に代表的画像を選ぶことにより、動画像の内容の変化度
合に応じて必要個数の代表画像が得られるようになり、
さらに、抽出した代表画像の情報を記録・表示すること
で、できるだけ少ない画像で動画像全体の内容をよく表
せるようになる。

【００１５】

【実施例】

（実施例１）まず、本発明のショット検出方法の第１の
実施例について説明する。ここで、「ショット」とは、
１カットの画像を撮影している間に、パンニングやズー
ミングなどのカメラ操作を続けたり、特定の被写体を撮
りつづけたりして、撮影者が１つの場面として意図的に
連続撮影した動画像のかたまりとする。それに対して、
「カット」は、カメラにおいて録画開始操作をしてから
録画終了操作をするまでの間に連続して撮影された動画
像のかたまりとする。

【００１６】例えば、図２の動画像に対して、カットの
単位で区切ると、画像Ｂまでが「黄色い車」の写ったカ
ット、画像Ｃ〜Ｎが「赤い服の人物」と「茶色い屋根の
小屋」の両方の写ったカット、画像Ｏからは「高層ビ
ル」の写ったカットが始まっている。一方、ショットに
ついて考えると、画像Ｃ〜Ｎのカットの中に、 ・「赤い服の人物」をアップショットで撮影した区間
（画像Ｅ〜Ｆ付近） ・「茶色い屋根の小屋」をややロングショットで撮影し
た区間（画像Ｍ〜Ｎ付近） の２つのショットが含まれることがわかる。

【００１７】まず、図１を基に本発明のショット検出方
法の概要を説明する。図に示すように、本発明のショッ
ト検出方法は、画像情報出力部１、ショット変化度合検
出部２、ショット検出部３の３つの部分で実現されてい
る。

【００１８】画像情報出力部１は、映像信号を処理した
情報、撮影時にユーザが行ったカメラ操作の情報、セン
サの出力情報を出力する。この３種類の情報に関して
は、以後、それぞれの種類の情報を総称して、画像処理
情報、カメラ操作情報、撮影状態情報と呼ぶことにす
る。３情報の詳しい説明は後述する。図１では、画像処
理情報２０の例として、高周波成分（の大きさ）２１と
色ヒストグラム２２を、カメラ操作情報３０の例とし
て、録画開始／終了３１とズーム（倍率）３２を、撮影
状態情報４０の例として、パンニング速度４１を挙げて
いる。

【００１９】ショット変化度合検出部２は、画像情報出
力部１からの情報を入力として、画像内容の変化する度
合を検出する。ショット検出部３では、ショット変化度
合検出部２からの結果をもとに、動画像中でショットと
判定される区間を検出する。

【００２０】続いて、画像情報出力部１、ショット変化
度合検出部２、ショット検出部３の各部の動作について
詳細に説明する。

【００２１】始めに、図３を用いて画像情報出力部１に
ついて説明する。図において、４はカメラ、５は映像信
号、２０は画像処理情報、２１は高周波成分の大きさ、
２２は色ヒストグラム、２３は動きベクトル、２４は高
周波成分検出部、２５は色ヒストグラム検出部、２６は
動きベクトル検出部、３０はカメラ操作情報、３１は録
画開始／終了のボタン押下信号、３２はズーム倍率、３
３はオート／マニュアルのモードのボタン設定、４０は
撮影状態情報、４１は角速度センサの出力（パンニング
時の速度）、４２はズーム倍率を換算するためのレンズ
焦点距離、４３は絞り開度センサの出力、４４はフォー
カス距離である。図３に示すように、画像情報出力部１
は、カメラと多数の出力端子からなっており、ビデオカ
メラで撮影中、画像処理情報２０、カメラ操作情報３
０、撮影状態情報４０を順次出力する。

【００２２】ここで画像処理情報は、撮像素子で撮像し
た映像信号をもとにして自動的もしくは人間が関与して
抽出処理した情報の総称である。図３では例として、フ
ォーカス制御を行うために求めた映像信号の高周波成分
の大きさ２１、画面内の色ヒストグラム２２、画面各所
の動きベクトル２３を示している。この情報はすべて、
カメラ４から映像信号５を入力し、それぞれ高周波成分
検出部２４、色ヒストグラム検出部２５、動きベクトル
検出部２６において求められる。その他、フレーム間に
おける輝度信号や色信号の差異を求めたフレーム間差分
値、あるいは映像信号から被写体領域の位置や大きさの
情報なども画像処理情報に含まれる。

【００２３】また、カメラ操作情報は、ユーザがビデオ
カメラで撮影する際に行った、ボタン操作をもとにした
情報の総称である。図３では、例として、撮影の開始／
終了のボタン操作により撮影の開始点／終了点を表す情
報３１、撮影中のズーム操作から換算されたズーム倍率
を表す情報３２、Auto/Manualの設定の情報３３を示し
ている。

【００２４】また撮影状態情報は、カメラの撮影中の状
態をセンサーなどで検出した情報の総称である。図３で
は、例として、角速度センサーによって検出したパンニ
ング速度の情報４１、撮影時のズーム倍率を示すレンズ
焦点距離４２、絞り開度センサによって検出した絞り開
度情報４３、フォーカス距離４４を示している。

【００２５】次に、ショット変化度合検出部２とショッ
ト検出部３について説明する。ただしここでは、例とし
て、高周波成分（の大きさ）２１、色ヒストグラム２
２、録画開始／終了のボタン押下信号３１、ズーム倍率
３２、パンニング速度４１の５つの情報が入力する場合
に限定して説明する。

【００２６】まず、図２の動画像を例にとり、ショット
変化度合検出部２、ショット検出部３において、ショッ
トを検出する原理を説明する。図５は、図２の各画像に
対して、録画開始／終了、ズーム倍率、画面内の高周波
成分の大きさ、色ヒストグラム、パンニングの速度、の
５つの情報をプロットしたものである。ただし、色ヒス
トグラムは多数の色の中から茶色、赤色、黄緑に対する
頻度だけを抽出して表示した。また、パンニング速度
は、水平方向の速度に限定している。図からわかるよう
に、ショットのの区間（Ｅ〜Ｆ、Ｍ〜Ｎ）は、全ての情
報が一定値で安定しているのに対し、１つのショットか
ら別のショットへ移る区間（Ｃ〜Ｅ、Ｆ〜Ｍ）では少な
くとも１つの情報が変化していることがわかる。このこ
とから、入力情報の変化度合を調べれば、現在処理中の
画像が、ショットの区間中なのか、それとも別のショッ
トに移行中なのか、わかるはずである。ここで、「処理
中の画像が別のショットに移行中である」という信頼度
をショット変化度合と呼ぶことにし、以下、入力される
情報の変化度合を、各情報のショット変化度合として検
出し、各情報に関するショット変化度合からショットの
区間を特定する方法を説明する。

【００２７】図４は、ショット変化度合検出部２、ショ
ット検出部３の具体的な構成図である。図において、５
１は微分フィルタ、５２は絶対値処理部、５３はローパ
スフィルタ、５４はゲイン調整部、５６は最大値検出
部、５７は状態判定部、５８はショット区間出力部、５
９はカウンタである。

【００２８】まず、ショット変化度合検出部２では、入
力される情報それぞれのショット変化度合を検出する。
ここで、ショット変化度合は［０，max］（max：定数）
の範囲の値に正規化されており、値が大きいほど、処理
中の画像が別のショットに移行中の可能性が高いことを
示すものとする。

【００２９】ショット変化度合の検出方法は、入力情報
によって多少異なっている。高周波成分（の大きさ）２
１、ズーム倍率３２、パンニング速度４１の情報に関し
ては、まず微分フィルタ５１を通し、絶対値処理部５２
で絶対値を求めることにより、各情報の時間的変動の大
きさを求める。さらに、細かいノイズの影響を少なく
し、大域的な変化だけを検出するため、ローパスフィル
タ５３を通す。最後にゲイン調整部５４において、各情
報固有のゲインをかけて正規化し、出力がショット変化
度合の範囲内の値をとるように調整する。また色ヒスト
グラムのように、多次元のパラメータに関しては、隣接
フレーム間での相関計算を行う。色ヒストグラム２２の
場合、ヒストグラム相関検出部５５において、ヒストグ
ラム差分などの相関計算を行う。さらに他の情報と同様
に、ローパスフィルタ５３を通し、ゲイン調整部５４に
おいて正規化する。ただし、ここでの正規化は、相関が
低いほど大きい値を出力するように調整する。また、録
画開始／終了のボタン押下信号３１に関しては、ゲイン
調整部５４において、カットの切れ目のとき max 、切
れ目でないとき０の値を出力するよう、調整する。以上
のようにして、ショット変化度合検出部２では、入力情
報毎にショット変化度合を検出する。

【００３０】一方、ショット検出部３では、各情報に関
するショット変化度合をもとに、ショットの区間を検出
する。まず、最大値検出部５６では、ショット変化度合
検出部２から同時刻に出力されるすべてのショット変化
度合を比較し、その最大値Ｍを求める。状態判定部５７
では、求めた最大値Ｍを所定のしきい値ＴＨと比較し、
比較結果をもとに、現在処理中の画像の状態を以下のよ
うに判定する。

【００３１】 Ｍ ＞ ＴＨのとき、現在処理中の画像はショット外である （別のショットへ移行中である） …（Ａ） Ｍ ≦ ＴＨのとき、現在処理中の画像はショット区間内にある …（Ｂ） ショット区間出力部５８では、状態判定部５７の出力
（Ａ or Ｂ）に応じて以下のような処理を行う。 ・状態判定部５７の出力がＡのとき、カウンタ５９の内
容Ｃを読み込む。

【００３２】Ｃ＞０の場合、Ｃを出力し、その後カウン
タ５９の内容を０にリセットする。 ・状態判定部５７の出力がＢのとき、カウンタ５９の内
容をインクリメントする。

【００３３】ただし、初期状態で、カウンタは０に設定
されているとする。ショット終了時点で出力される値Ｃ
は、ショット継続中に処理した回数を表している。従っ
て、ショット検出部３から値Ｃが出力された時、その出
力を基に、直前に終了したショットの区間を特定するこ
とができる。

【００３４】ここで、以上説明した構成が、実際の画像
でどのように動作するか調べるため、図２の動画像を例
にとって情報の流れを追ってみる。図６は、ショット変
化度合検出部２とショット検出部３の内部のブロックの
出力の時間変化を示した図である。図の上部のグラフは
ショット変化度合検出部２に対応しており、その中で実
線は微分フィルタ５１またはヒストグラム相関検出部５
５の出力を表し、破線はショット変化度合検出部２の最
終的な出力（ショット変化度合）を表している。また、
図６の下部のショット検出部３に対応するグラフでは、
ショット変化度合検出部２の出力（破線）とその最大値
（太い実線）、しきい値を重ねて示した。また、取り扱
う入力情報は、録画開始／終了３１、ズーム倍率３２、
画面内の高周波成分の大きさ２１、色ヒストグラム２
２、パンニングの速度４１、の５つに限定し、さらに色
ヒストグラムは３色のみ、パンニングの速度は水平方向
に限定して表示してある。図６において、各入力情報に
対するショット変化度合は、ショット以外の区間（Ｃ〜
Ｅ、Ｆ〜Ｍ）で大きな値を出力している。また、ショッ
ト変化度合の最大値は、ショット以外の区間でしきい値
を越えていることがわかる。従って、ＦとＮの画像を処
理する際、ショット検出部３からそれぞれＥ〜Ｆ、Ｍ〜
Ｎの区間中の処理回数（Ｌ１，Ｌ２）が出力され、Ｌ
１、Ｌ２により、Ｅ〜Ｆ、Ｍ〜Ｎがショットの区間であ
ると特定できる。

【００３５】以上のように、カメラ操作情報または画像
処理情報または撮影状態情報を入力とし、各情報に関す
るショット変化度合を検出することにより、ショットの
区間が特定でき、動画像を画像内容に応じた単位でまと
めることができる。

【００３６】なお、上記実施例では、画像情報出力部１
の具体例としては、図３を用いて、撮影中、カメラから
直接情報を出力する方法を説明した。しかし、別の方法
として、撮影中はカメラからの情報を記録媒体に記録
し、ショット検出を行う際に、記録媒体から情報を読み
出しても同様の処理が行える。この方法を図７を用いて
説明する。図において、４はカメラ、５は映像信号、６
は記録媒体、７は符号化処理部、８は復号化処理部、９
は画像処理部、２０は画像処理情報、３０はカメラ操作
情報、４０は撮影状態情報であり、破線枠内が画像情報
出力部１に対応している。

【００３７】以下に各部の動作を説明する。記録媒体６
は、録画時と再生時で切り替わるスイッチを持ってい
る。ここで、「録画時」とは、カメラ４で撮影しなが
ら、各種情報を記録媒体に記録する期間であり、「再生
時」とは、記録媒体に記録された各種情報を出力する期
間である。まず、ユーザが撮影する際、記録媒体６のス
イッチは「録画時」のモードに設定されている。撮影中
にカメラ４から出力された映像信号５、画像処理情報、
カメラ操作情報、撮影状態情報は、符号化処理部７にお
いて、符号化の処理やフォーマット合わせの処理が施さ
れ、記録媒体６に蓄積される。その後、ショットを検出
する際に、記録媒体６のスイッチは「再生時」のモード
に設定される。記録媒体６に蓄えられた情報は、復号化
処理部８でそれぞれの情報として読み出され、画像情報
出力部１の出力として、ショット変化度合検出部２に送
られる。ここで、復号化処理部８をから出力された映像
信号５を画像処理部９で加工し、その結果を他の画像処
理情報と合わせて出力しても同様である。

【００３８】このように、各種情報をいったん記録媒体
に蓄積しても、カメラから直接得るのと同様にして、各
種情報を出力できる。

【００３９】以上の実施例では、画像処理情報、カメラ
操作情報、撮影状態情報を、カメラから直接出力した
り、いったん記録媒体に蓄積して後から読みだしたりす
る場合について説明したが、いずれにしても、必要なす
べての情報は、もともとカメラから与えられていた。し
かし、これら情報の一部、もしくは全部が与えられない
場合でも、カメラあるいは記録媒体から出力される映像
信号を処理することによって、欠如した情報に相当する
情報を獲得し、獲得した情報をもとにショットを検出す
ることができる。これについて、以下の第２の実施例の
ショット検出方法で詳細に説明する。

【００４０】（実施例２）第２の実施例は、映像信号の
みから画像処理情報、カメラ操作情報、撮影状態情報を
獲得し、獲得した情報からショットを検出するものであ
る。本実施例の全体構成は、第１の実施例で用いた図１
と同じであるが、画像情報出力部１の具体的な構成が異
なっている。以下、図８を用いて、本実施例の画像情報
出力部１において映像信号から各種情報を検出・出力す
る方法を説明する。ただし、ここで説明するのは、画像
処理情報に関して高周波成分と色ヒストグラム、カメラ
操作情報に関しては録画開始／終了の情報とズーム倍
率、撮影状態情報に関してはパンニング速度、の５つの
情報に限定している。

【００４１】図８で、５は映像信号、２６は高周波成分
検出部、２１は高周波成分（の大きさ）の情報、２７は
色ヒストグラム検出部、２２は色ヒストグラムの情報、
６０はフレーム間差分値検出部、６１はメモリ、６２は
変化量検出部、６３はカットチェンジ検出部、３１は録
画開始／終了の情報、６４はカメラワーク検出部、６５
は動きベクトル検出部、６６はカメラワークパラメータ
推定部、３２はズーム倍率の情報、４１はパンニング速
度の情報である。以上の構成における各部の動作につい
て以下に説明する。

【００４２】まず、画像処理情報に関しては、高周波成
分検出部２４、色ヒストグラム検出部２５において、そ
れぞれ高周波成分２１、色ヒストグラム２２の情報を検
出する。ここで、高周波成分検出部２４と色ヒストグラ
ム検出部２５は、図３の各部と同じであり、既に第１の
実施例で述べたので、説明は省略する。

【００４３】次に、カメラ操作情報の内、録画開始／終
了３１の情報を検出する方法を説明する。録画開始／終
了の情報の検出は、フレーム間差分値検出部６０とカッ
トチェンジ検出部６３で行われ、さらにフレーム間差分
値検出部６０は、映像信号を１フレーム遅延させるため
のメモリ６１と、連続するフレーム間で映像信号の差分
を求める変化量検出部６２から構成されている。連続す
るフレーム間での差を求める信号は、輝度値やＲＧＢ値
等を用い、変化量検出部６２において画素単位で連続す
るフレーム間の映像信号の差分演算を行い、画素ごとの
差分値の総和を求めてフレーム間差分値として出力す
る。カットチェンジ検出部６３は、フレーム間差分値検
出部６０で求めたフレーム間差分値に対してしきい値処
理をする。すなわち、所定のしきい値とフレーム間差分
値との比較を行い、フレーム間差分値がしきい値より大
きい場合は、２枚のフレーム間で画像内容が大きく変化
していると考えて、その部分でカットチェンジがあった
と判断する。ここで検出したカットチェンジは、撮影の
開始や終了時点に対応するので、カットチェンジの有無
の信号は、カメラのボタン押下信号として得られる録画
開始／終了の情報に相当する。

【００４４】次に、カメラ操作情報の中のズーム倍率３
２の情報と、撮影状態情報のパンニング速度４１の情報
を検出する方法を説明する。この２つの情報は、カメラ
ワーク検出部６４において検出され、さらにカメラワー
ク検出部６４は、動きベクトル検出部６５とカメラワー
クパラメータ推定部６６に分かれる。まず、動きベクト
ル検出部６５は、画面内で複数の座標位置を設定し、隣
接フレームとの画素値の比較により、各座標位置での動
きベクトルを検出する。カメラワークパラメータ推定部
６６では、検出された動きベクトルを基に、カメラの水
平、垂直方向の変化（パンニング、チルティング）や、
カメラ画角の変化（ズーミング）、カメラの水平・垂直
・前後の位置の変化（トラッキング、ブーミング、ドリ
ーイング）等のカメラワークを推定する。ズーム倍率３
２とパンニング速度４１は、カメラワークの１つとして
推定されるので、カメラ操作情報や撮影状態情報に相当
する情報が得られる。ここで、動きベクトル検出部６
５、カメラワークパラメータ推定部６６の詳細な動作
は、例えば特開平４ー３１７２６７で説明されているの
で、ここでの説明は省略する。

【００４５】以上のように、カメラから、カメラ操作情
報や撮影状態情報が得られない場合でも、映像信号を処
理することにより、相当する情報を推定することができ
る。本実施例では、γ補正値、色温度、逆光や過順光の
状態などの情報については記載しなかったが、これらの
情報も、映像信号を処理することによって獲得すること
が可能である。上記情報を獲得後、この情報をもとにシ
ョットを検出する構成と手法については、第１の実施例
と同様であり、説明は省略する。

【００４６】（実施例３）次に、本発明のショット検出
方法の第３の実施例について説明する。本実施例は、図
１のショット変化度合検出部２に関するものである。

【００４７】第１の実施例では、図４に示すように、微
分フィルタやヒストグラム相関処理によって各情報の変
動量を求め、ショット変化度合を検出した。これは、
「撮影者が１つのショットを撮り終わって別のショット
を撮り始めるまでの期間は、各情報が大きく変化す
る」、という性質を利用している。しかしながら、入力
される情報それぞれについて調べると、情報が大きく変
化する現象以外にも、ショットを検出する際に関連する
ような現象があることがわかる。

【００４８】例えば、ある被写体を撮影中に、急に別の
被写体にレンズを向けると、フォーカスがずれ、ピンボ
ケの状態が短時間続くことがあるが、この間、高周波成
分は、小さくなっている。従って、「高周波成分が小さ
いとき、別のショットへの移行期間である」というルー
ルが成り立つ。また、同じパンニングでも、ある被写体
から別の被写体へ移るためのパンニングは、ショットの
移行中と判定してほしいが、ゆっくり移動する被写体を
追いかけてパンする場合には、パンニングの期間を１つ
のショットの区間中として認識したい。このように、同
じパンニングでも、ショットの移行中の場合とそうでな
い場合があるので、第１の実施例のようにパンニング速
度の変動量からパンニングの期間を検出できたとして
も、ショットの区間を特定できないことがある。しか
し、別のショットへ移行するためのパンニングは速くて
短時間でおわるし、被写体をトラッキングする場合に
は、遅くてほぼ一定速度のパンニングが長時間継続する
ので、パンニング速度とパンニングの継続時間によって
両者を区別することができる。

【００４９】このように、ショットが移行する際に各情
報がどのような変動パターンを示すかを予め調べてお
き、この変動パターンに合っているかどうかでショット
変化度合を検出することにより、ショットの検出性能を
高めることができる。本実施例では、各情報の変動量以
外に、各情報の大きさ、各情報が所定の状態を継続する
時間、を基にショット変化度合を検出する方法を説明す
る。

【００５０】図９は、高周波成分２１とパンニング速度
４１の２つの情報に関して、ショット変化度合の検出方
法を示したものである。図において、微分フィルタ５
１、絶対値処理部５２は、図４の各部と同じであり、６
７、６９は推定部、６８は継続時間検出部である。以下
に上記構成におけるショット変化度合検出部２の動作を
説明する。

【００５１】まず、高周波成分２１に関する検出方法を
説明する。第１の実施例と同様に、微分フィルタ５１と
絶対値処理部５２によって、高周波成分の時間的変動の
大きさを求める。推定部６７では、高周波成分と絶対値
処理部５２からの出力を、予め設定した関数で写像し、
ショット変化度合として出力する。ここで、写像の関数
の具体例として、図１０を用いて説明する。図１０は、
２入力（高周波成分、絶対値処理部５２からの出力）、
１出力（ショット変化度合）の写像関係を示している。
図からわかるように、出力の値域は［０，max］であ
り、高周波成分の変動が大きい場合、または高周波成分
が小さい場合に大きい値を出力するよう、設定されてい
る。このような写像関数を予め設定することで、２つの
入力に対して一意の出力がショット変化度合として求め
られる。

【００５２】次にパンニング速度４１に関する検出方法
を説明する。この場合も同様にして、微分フィルタ５１
と絶対値処理部５２によって、パンニング速度の時間的
変動の大きさを求める。さらに、継続時間検出部６８で
は、微分フィルタ５１からの結果を基に、パンニングの
継続時間を求める。ここでパンニングの継続時間とは、
撮影者がほぼ一定の速度でパンニングしつづけた時間と
する。パンニング継続時間の具体的な検出方法として
は、まず、パンニング速度の時間的変動量Ｄが振動許容
範囲をはずれた時点から、初めてＤが許容範囲内に入る
時点をパンニング開始時点として検出し、パンニング開
始時点から初めてＤが振動許容範囲をはずれるまでの時
間をパンニング継続時間として求める。ただし、振動許
容範囲はあらかじめ［ーWIDE,WIDE］（WIDE：正の所定
数）と設定されているものとする。

【００５３】推定部６９は、パンニング速度と、絶対値
処理部５２の出力、パンニング継続時間の３つの値を、
予め設定した関数で写像し、ショット変化度合として出
力する。ここでの写像の関数は、図１０の２入力１出力
の関係を３入力１出力に拡張したものであり、「パンニ
ング速度が速いとき」または「パンニング速度の変動が
大きいとき」または「パンニング継続時間が短いとき」
に、大きい値が出力されるよう設定されている。

【００５４】以上のように、ショットが移行する際に各
情報がどのような変動パターンを示すかを予め調べてお
き、この変動パターンに合っているかどうかでショット
変化度合を検出することにより、ショットの検出性能を
高めることができる。

【００５５】なお、上記実施例では、推定部６７、６９
においてショット変化度合を検出する方法として、２入
力１出力と３入力１出力の予め設定された写像関数を用
いる方法を説明したが、入出力の変換に、例えばファジ
ィ推論や多重線形関数、ニューラルネットなどを用いて
もよい。

【００５６】また、上記実施例では、入力される情報と
して高周波成分とパンニング速度の２種類に限定して説
明したが、他の情報に対しても同様である。

【００５７】また、上記実施例では、各情報の変動量、
各情報の大きさ、各情報の所定状態が継続する時間を基
に、ショット変化度合の検出を行ったが、入力する情報
に応じて、他のパラメータを用いても同様である。

【００５８】（実施例４）次に本発明の代表画像記録・
表示装置における実施例を説明する。

【００５９】本発明の代表画像記録・表示装置は、前述
のショット検出方法を利用して、動画像中の代表画像を
抽出し、記録・表示するものである。ここで、代表画像
とは、ブラウジングや検索などで、動画像を代表する画
像として利用するために選ばれる画像であり、撮影者の
意図、撮影された画像の状態、被写体の状態などの画像
内容が良く表せるように選ばれる。

【００６０】図１１に本発明の代表画像記録・表示装置
の構成図を示す。図において、画像情報出力部１、ショ
ット変化度合検出部２、ショット検出部３、画像処理情
報２０、カメラ操作情報３０、撮影状態情報４０は、既
に本発明のショット検出方法の実施例で説明したよう
に、図１の構成図と同じである。また、１０は代表画像
抽出部、７０はショット内代表情報検出部、７１はメモ
リ、７２は代表情報比較部、１１は映像信号出力部、１
２は画像記録・表示部である。

【００６１】以下、各部の動作を説明する。画像情報出
力部１は、画像処理情報２０、カメラ操作情報３０、撮
影状態情報４０を出力し、ショット変化度合検出部２に
おいて各情報に関するショット変化度合を検出する。シ
ョット検出部３では、複数のショット変化度合を基にし
て、撮影者が１つのショットとして撮影した画像の区間
を特定する。

【００６２】一方、代表画像抽出部１０は、ショット内
代表情報検出部７０、メモリ７１、代表情報比較部７２
から構成されており、ショット検出部３で求めたショッ
トの区間を基に、動画像の代表画像を求める。以下、代
表画像抽出部１０の動作を説明する。

【００６３】まず、ショット内代表情報検出部７０は、
ショット検出部３で検出された各ショットに対して、同
一ショットに属する画像の画像処理情報２０、カメラ操
作情報３０、撮影状態情報４０を入力し、各情報の平均
値を求める。検出された各情報の平均値は「ショットを
代表する情報」として出力される。ここで、ショット検
出部３で第ｉ番目に検出されたショットに注目し、ショ
ットを代表する情報を数式で表すと、以下のようにな
る。

【００６４】

【数１】

【００６５】ただし、ＩＮは、画像処理情報２０、カメ
ラ操作情報３０、撮影状態情報４０の中で入力情報とし
て利用される情報の数とする。例えば、入力情報を、高
周波成分、色ヒストグラム、録画開始／終了、ズーム倍
率、パンニング速度とする場合、ＩＮ＝５であり、ｍ
(1,i)は高周波成分、ｍ(2,i)は色ヒストグラム、ｍ(3,
i)は録画開始／終了、ｍ(4,i)はズーム倍率、ｍ(5,i)は
パンニング速度の平均値を示している。従って、ｋ番目
（0≦k≦IN）の入力情報に関する代表情報ｍ(k,i)は、

【００６６】

【数２】

【００６７】と表される。次に、メモリ７１は、ショッ
ト内代表情報検出部７０において検出されたショット毎
の代表情報 Ｍ(i)を蓄える。代表情報比較部７２では、
ショット間で代表情報 Ｍ(i)の比較を行い、検出された
全てのショットの中から「代表画像を出すべきショッ
ト」を選び、選ばれたショットから代表画像を抽出す
る。代表情報比較部７２の処理手順は以下の通りであ
る。 （１）最初に検出されたショットを「代表画像を出すべ
きショット」に選び、ショットを代表する情報 Ｍ(1)を
メモリ７１内の変数 Ｍpreに代入して、Ｍpre＝Ｍ(1)と
する。 （２）２番目のショットが検出されたとき、ショットを
代表する情報 Ｍ(2)をＭpre と比較し、２つの代表情報
間の距離を検出する。ここで代表情報間の距離とは、入
力情報毎に１つの次元の軸を割り当てて(ＩＮ)次元空間
をつくり、この空間に２つの代表情報をプロットしたと
きの距離である。例えば、ａ番目のショットとｂ番目の
ショットの代表情報の距離Ｄｉｓ(a,b)は、

【００６８】

【数３】

【００６９】で表される。 （３）Ｄｉｓ(1,2)を所定のしきい値Ｅと比較し、以下
の処理を行う。 ・Ｄｉｓ(1,2)＞Ｅのとき、２番目のショットを「代表
画像を出すべきショット」として選択し、ショットに属
する画像の中から、中央に位置する画像Ｆ(2,Ｎ2／２)
を代表画像として抽出する。また、メモリ７１内の変数
Ｍpreに、代表情報Ｍ(2)を代入する。 ・Ｄｉｓ(1,2)≦Ｅのとき、２番目のショットは１番目
のショットと画像内容が似ている、と判断される。 （４）以降で検出されるショットに対しても、（２）、
（３）と同様の処理を行う。すなわち、 （4-1）ｉ番目のショットが検出されたとき、Ｍ(i)とＭ
preを比較し、２つの代表情報間の距離Ｄｉｓ(i,pre)を
検出する。 （4-2）Ｄｉｓ(i,pre)をしきい値Ｅと比較し、 ・Ｄｉｓ(i,pre)＞Ｅのとき、ｉ番目のショットを「代
表画像を出すべきショット」として選択し、ショットに
属する画像の中から、中央に位置する画像Ｆ(ｉ,Ｎi／
２)を代表画像として抽出する。メモリ７１内の変数Ｍp
reに代表情報Ｍ(i)を代入する。 ・Ｄｉｓ(i,pre)≦Ｅのとき、ｉ番目のショットは Ｍpr
eの情報を持つショットと画像内容が似ている、と判断
する。 （4ー3）4-1に戻り、(ｉ＋１)番目のショットに対して同
様の処理を行う。

【００７０】4-1,4-2,4-3の処理は、最後に検出された
ショットまで継続され、動画像の代表画像が抽出され
る。

【００７１】一方、代表画像記録・表示部１２は、映像
信号やその他情報を表示するディスプレイ、または各種
情報を記録する記録媒体で構成されている。代表情報比
較部７２から代表画像に関する情報を入力し、映像信号
出力部１１からは代表画像に対応する映像信号を入力
し、代表画像の表示または記録を行う。

【００７２】以上のようにして、ショット間で代表情報
を比較し、比較結果を基に選んだショットから、代表画
像を抽出することにより、できるだけ少ない代表画像で
すべての画像内容を表現することが可能になる。従っ
て、この代表画像を表示、記録して、動画像のブラウジ
ング、検索などに利用することにより、画像内容が把握
しやすくなる。

【００７３】

【発明の効果】以上説明したように、本発明のショット
検出方法は、カメラ操作情報や画像処理情報や撮影状態
情報を入力情報として画像内容の変化する度合を検出す
ることで、撮影者が特定の被写体を撮影しつづけた動画
像や特定の画角、撮影条件で撮影しつづけた動画像をシ
ョットとして検出できる。

【００７４】本発明の方法によれば、画像内容が変化す
る毎に、動画像が別のショットとして分類されるので、
「話の展開が速い」ときは多くのショットが、「ずっと
同じような画面が続く」ときには少ないショットが検出
され、動画像によって画像内容の変化の仕方が異なる場
合にも、画像内容に応じた動画像の単位化が行える。

【００７５】また本発明の代表画像表示・記録装置は、
上記方法で求めたショットを用いて、代表画像を抽出す
ることにより、少ない代表画像で多くの画像内容を網羅
することが可能になり、抽出した代表画像の情報を記録
・表示することで、動画像の効率的な検索、早見、編集
が行えるようになる。

【図面の簡単な説明】

【図１】本発明のショット検出方法の全体構成を示す図

【図２】動画像のショットとカットの関係を説明するた
めの図

【図３】本発明のショット検出方法の第１の実施例にお
ける画像情報出力部の構成を示す図

【図４】本発明のショット検出方法の第１の実施例にお
けるショット変化度合検出部およびショット検出部の具
体的構成を示す図

【図５】本発明のショット検出方法の画像情報出力部の
出力の時間変化を示す図

【図６】本発明のショット検出方法の第１の実施例のシ
ョット変化度合検出部およびショット検出部に関して、
内部ブロックの出力の時間変化を示す図

【図７】本発明のショット検出方法の第１の実施例の画
像情報出力部に関して、図３とは別の構成を示す図

【図８】本発明のショット検出方法の第２の実施例の画
像情報出力部の構成を示す図

【図９】本発明のショット検出方法の第３の実施例のシ
ョット変化度合検出部の構成を示す図

【図１０】本発明のショット検出方法の第３の実施例の
推定部における２入力１出力の写像関数を示す図

【図１１】本発明の代表画像記録・表示装置の実施例の
構成を示す図

【符号の説明】

１ 画像情報出力部 ２ ショット変化度合検出部 ３ ショット検出部 ４ カメラ ５ 映像信号 ６ 記録媒体 ７ 符号化処理部 ８ 復号化処理部 ９ 画像処理部 １０ 代表画像抽出部 １１ 映像信号出力部 １２ 画像記録表示部 ２０ 画像処理情報 ２１ 高周波成分 ２２ 色ヒストグラム ２３ 動きベクトル ２４ 高周波成分検出部 ２５ 色ヒストグラム検出部 ２６ 動きベクトル検出部 ３０ カメラ操作情報 ３１ 録画開始／終了 ３２ ズーム倍率 ３３ オート／マニュアルのモード ４０ 撮影状態情報 ４１ パンニング速度 ４２ レンズ焦点距離 ４３ 絞り開度センサ出力 ４４ フォーカス距離 ５１ 微分フィルタ ５２ 絶対値処理部 ５３ ローパスフィルタ ５４ ゲイン調整部 ５６ 最大値検出部 ５７ 状態判定部 ５８ ショット区間出力部 ５９ カウンタ ６０ フレーム間差分値検出部 ６１ メモリ ６２ 変化量検出部 ６３ カットチェンジ検出部 ６４ カメラワーク検出部 ６５ 動きベクトル検出部 ６６ カメラワークパラメータ推定部 ６７、６９ 推定部 ６８ 継続時間検出部 ７０ ショット内代表情報検出部 ７１ メモリ ７２ 代表情報比較部

フロントページの続き (51)Int.Cl.⁶ 識別記号 庁内整理番号 ＦＩ 技術表示箇所 Ｈ０４Ｎ 5/782 Ｋ

Claims (6)

【特許請求の範囲】
1. 【請求項１】撮影者が撮影開始操作をしてから撮影終了
   操作をするまでの間に撮影された動画像の中で、撮影者
   が特定の被写体を撮影しつづけた動画像、及び撮影者が
   特定の画角や撮影条件や撮影方法で撮影し続けた動画像
   をショットとし、撮像装置のズームや撮影開始操作など
   のカメラ操作情報と撮像した画像を処理して得られた画
   像処理情報と撮影中のセンサーからの信号を処理して得
   られた撮影状態情報の少なくとも一つを入力情報とし、
   動画像が一方のショットから別のショットへ移行する際
   の前記入力情報それぞれの変化の規則を予め選出してお
   き、前記入力情報それぞれに関して前記変化の規則と合
   っている度合をショット変化度合として検出し、少なく
   とも１つの前記ショット変化度合をもとにして、動画像
   中のショットを検出することを特徴とするショット検出
   方法。
2. 【請求項２】前記カメラ操作情報および前記画像処理情
   報および前記撮影状態情報の前記入力情報は、カメラで
   の撮影の際、または予め前記入力情報の蓄積された記録
   媒体を再生する際、カメラまたは記録媒体から前記入力
   情報を直接読み出す、またはカメラまたは記録媒体から
   出力される映像信号を基に前記入力情報を推定すること
   によって獲得することを特徴とする請求項１記載のショ
   ット検出方法。
3. 【請求項３】動画像が一方のショットから別のショット
   へ移行する際に前記入力情報が大きく変動することを利
   用し、各前記入力情報に関して隣接フレーム間での相関
   値または時間軸の微分フィルタの出力をもとに前記ショ
   ット変化度合を検出することを特徴とする請求項１記載
   のショット検出方法。
4. 【請求項４】入力情報に関して、隣接フレーム間での相
   関値または時間軸の微分フィルタの出力、または前記入
   力情報の大きさ、または前記入力情報が微小な変動のま
   ま継続している時間をもとに前記ショット変化度合を検
   出することを特徴とする請求項１記載のショット検出方
   法。
5. 【請求項５】撮影者が撮影開始操作をしてから撮影終了
   操作をするまでの間に撮影された動画像の中で、撮影者
   が特定の被写体を撮影しつづけた動画像、及び撮影者が
   特定の画角や撮影条件や撮影方法で撮影し続けた動画像
   をショットとし、動画像を撮影する際に撮影者がカメラ
   を操作したカメラ操作情報を取り込むカメラ操作情報獲
   得手段と、撮像した画像を処理して得られた画像処理情
   報を取り込む画像処理情報獲得手段と、センサーからの
   信号を処理して得られた撮影中の撮影状態情報を取り込
   む撮影状態情報獲得手段の３手段のうち少なくとも１つ
   を備えて前記カメラ操作情報または前記画像処理情報ま
   たは前記撮影状態情報を出力する画像情報出力部と、前
   記画像情報出力部からの複数の出力それぞれに関して、
   予め設定された変化の規則に合っている度合をショット
   変化度合として検出するショット変化度合検出部と、前
   記ショット変化度合検出部からの出力の少なくとも１つ
   を基にして、動画像中のショットを検出するショット検
   出部と、前記ショット検出部で求められたショットに属
   する画像から代表的な画像を抽出する代表画像抽出部
   と、動画像の映像信号を取り込む映像情報獲得部と、前
   記代表画像抽出部で抽出した代表画像の映像信号を前記
   映像情報獲得部から入力し、画像記録媒体に記録、また
   は画像表示装置に表示する画像記録・表示部を備えたこ
   とを特徴とする代表画像記録・表示装置。
6. 【請求項６】代表画像抽出部は、前記ショット検出部で
   検出された各ショットに対して、同一ショットに属する
   画像の各種情報を入力して各ショットの代表情報を求め
   るショット内代表情報検出部と、前記ショット内代表情
   報検出部で求められたショットの代表情報を蓄えるメモ
   リと、ショット間で代表情報を比較して、比較結果を基
   にショットを選び、選ばれたショットに属する画像から
   代表画像を抽出する代表情報比較部から構成されること
   を特徴とする請求項５記載の代表画像記録・表示装置。