JP3525493B2

JP3525493B2 - 静止画像抽出装置、動画像記録装置および静止画像自動抽出方法

Info

Publication number: JP3525493B2
Application number: JP14012894A
Authority: JP
Inventors: 裕志赤堀; 雪絵五島; 眞藤本
Original assignee: Panasonic Corp; Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Corp; Panasonic Holdings Corp
Priority date: 1994-06-22
Filing date: 1994-06-22
Publication date: 2004-05-10
Anticipated expiration: 2019-05-10
Also published as: JPH089314A

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、ビデオカメラなどで撮
影された動画像の中から、代表的な画像を自動的に抽出
する静止画像抽出装置、さらには動画像記録装置に関す
る。

【０００２】

【従来の技術】従来の技術として、例えばＶＴＲでは記
録された動画像を管理するための情報を、ビデオテープ
に動画像とともに記録するというものがある。一例とし
て、ＶＩＳＳ（VHS Index Search System）について説
明する。ＶＩＳＳとは、ＶＨＳ方式のＶＴＲにおいて高
速頭出しを行うために開発されたものである。ビデオテ
ープには、通常の画像情報を記録するビデオトラック以
外に、この高速頭出しを行うためのＶＩＳＳ信号を記録
するコントロールトラックが存在する。このＶＩＳＳ信
号は、ビデオテープに画像情報を録画し始めたときに、
コントロールトラックに自動的に記録される。また、ユ
ーザが見たい場面に対してＶＩＳＳ信号を記録すること
もできる。このようにしてビデオテープ上に記録された
ＶＩＳＳ信号を利用して、イントロサーチと呼ばれる早
送り再生を行うことができる。イントロサーチとは、早
送り中にＶＩＳＳ信号を見つけると、ある時間だけ再生
状態にし、その後再び早送りするという動作をテープの
終わりまで繰り返すものである。

【０００３】

【発明が解決しようとする課題】しかしながら、従来の
ＶＴＲにおいて自動的に記録されるＶＩＳＳ信号は、ビ
デオテープに画像情報を録画し始めたときに記録される
ため、イントロサーチのようにＶＩＳＳ信号の付いてい
る部分の画像を抽出した場合、抽出された画像は動画像
の内容を十分に表現するものではない。また、動画像の
内容を十分に表現する部分にＶＩＳＳ信号を付与しよう
とすると、ユーザが手動で行わなければならず、膨大な
手間がかかる。

【０００４】本発明はかかる点に鑑み、動画像の内容を
十分に表現する代表画像を自動的に抽出する静止画像抽
出装置、さらには動画像記録装置を提供することを目的
とする。

【０００５】

【課題を解決するための手段】

【０００６】本発明の静止画像抽出装置は、動画像を撮
影する際に撮影者がカメラを操作したカメラ操作情報を
取り込むカメラ操作情報獲得手段と、撮像した画像を処
理して得られた画像処理情報を取り込む画像処理情報獲
得手段と、センサーからの信号を処理して得られた撮影
中の撮影状態情報を取り込む撮影状態情報獲得手段と、
前記カメラ操作情報獲得手段からのカメラ操作情報と前
記画像処理情報獲得手段からの画像処理情報と前記撮影
状態情報獲得手段からの撮影状態情報をもとにして、撮
影者が撮影開始操作をしてから撮影終了操作をするまで
の間に撮影された動画像の中から少なくとも１枚の静止
画像を抽出する静止画像抽出手段を備え、前記画像処理
情報はフレーム間差分値を含み、かつ前記静止画像抽出
手段は前記フレーム間差分値がしきい値以上である期間
を除いた中から前記静止画像を抽出するか、または前記
静止画像抽出手段は前記フレーム間差分値が小さいほど
高い評価値を出力する静止画像抽出知識にもとづいて各
画像についての評価値を求め、評価値が高い画像を抽出
する。

【０００７】さらに本発明の動画像記録装置は、撮像装
置で撮影した動画像を動画像記録媒体に記録するととも
に、前記静止画像抽出手段で抽出した静止画像の情報を
記録する静止画像情報記録手段を備える。

【０００８】

【作用】以上のような構成において、撮影時における撮
影者のズームなどのカメラ操作情報や、画像処理を行っ
て得られる例えばフォーカスやアイリスの信頼性や被写
体の位置や障害物の存在状況などの画像処理情報や、セ
ンサーから得られる例えばパンなどの撮影状態情報をも
とにして評価を行い、評価値が高いか、もしくは一定の
条件を満足する画像を動画像の中から抽出する。これに
よって、抽出される静止画像は動画像の内容を十分に表
現したものとなる。

【０００９】また、抽出した静止画像の情報を動画像と
ともに記録することによって、静止画像情報をもとに代
表画像を容易に検索したり、出力したりすることが可能
となる。

【００１０】

【実施例】以下、本発明の実施例について、図面を参照
しながら説明する。図１は本発明の動画像記録媒体の一
実施例を示すものである。図１は動画像記録媒体の一例
としてビデオテープを示すが、ビデオディスクやＩＣメ
モリなどの他の記録媒体であってもよい。

【００１１】図１に示すように、ビデオテープには映像
信号とともに、映像信号に対応してフレーム単位で代表
画像の抽出情報を各領域に記録しておく。ここで代表画
像の抽出情報とは、カメラ操作情報と画像処理情報と撮
影状態情報である。尚、ビデオテープのトラックの各領
域に記録する順序は、図に示す順序に限るものではない
ことは言うまでもない。

【００１２】カメラ操作とは、ビデオカメラで撮影した
際の録画開始操作やズーム操作、またはフェードや連写
などの撮影効果を出すための操作などであり、録画開始
操作情報は録画開始操作が行われた時点にフラグを立て
て録画開始点を示す情報であり、ズーム操作情報はズー
ム倍率を表す情報である。録画開始操作情報、ズーム操
作情報、フェード操作情報、連写操作情報はともに、ビ
デオカメラのボタン操作をもとに検出可能な情報であ
る。

【００１３】画像処理情報は撮像素子で撮像した映像信
号をもとにして自動的もしくは人間が関与して抽出処理
した情報で、例えばフォーカス制御を行うために求めた
映像信号の高周波成分の周波数や大きさ、またはフレー
ム間における輝度信号や色信号の差異を求めたフレーム
間差分値、または映像信号から被写体領域の位置や大き
さなどの情報を抽出したもの、逆光や過順光の状態、コ
ントラスト、さらにはγ補正値や色温度などである。

【００１４】撮影状態情報はカメラの撮影状態をセンサ
ーで検出した情報で、例えば角速度センサーによって検
出したパンニングなどのカメラの動き情報、または光量
センサーによる被写体光量や絞り開度センサーで検出し
たレンズの絞り開度、またはレンズ位置検出によるフォ
ーカス距離、測距センサーなどによる被写体までの距離
などがある。

【００１５】以上のような代表画像抽出情報を動画像記
録媒体に備えることによって、以降の実施例で説明する
ように動画像中の代表画像を抽出することが可能とな
る。

【００１６】次に本発明の静止画像抽出装置の第１の実
施例について説明する。図２に本実施例の構成図を示
す。本実施例は、動画像記録媒体に映像信号とともに代
表画像を抽出するための情報を記録しておき、動画像記
録媒体から代表画像の抽出情報を読み出して評価し、評
価結果にもとづいて１カット（カメラにおいて録画開始
操作をしてから録画終了操作をするまでの間に連続して
撮影された動画像のかたまり）の中から代表的な画像を
静止画像として抽出するものである。

【００１７】図２において、１は再生信号入力部、２は
カメラ操作情報獲得部、３は画像処理情報獲得部、４は
撮影状態情報獲得部、５は映像信号獲得部、６は代表画
像抽出情報評価部、７は代表画像管理部、８は代表画像
記憶部、９は出力装置である。以上の構成における各部
の動作について以下で詳細に説明する。

【００１８】まず、再生信号入力部１には動画像記録媒
体に記録された情報を再生して入力する。カメラ操作情
報獲得部２および画像処理情報獲得部３および撮影状態
情報獲得部４では、再生信号入力部１に入力された再生
信号からそれぞれカメラ操作情報と画像処理情報と撮影
状態情報を読み出す。本実施例ではコード化された各情
報をデコードする。代表画像抽出情報評価部６は、カメ
ラ操作情報に含まれる録画開始操作情報を検出し、次の
録画開始操作情報を検出するまでの同一カット内の各画
像に対して、カメラ操作情報の中の録画開始操作情報以
外の情報と画像処理情報と撮影状態情報をもとに、各画
像がカットの代表画像として適当な画像であるかどうか
の評価を行う。代表画像として適当であると評価された
画像に関して、代表画像管理部７は映像信号獲得部５か
ら１フレームの画像を取り込み、代表画像記憶部８に記
憶する。出力装置９は代表画像記憶部８に記憶された代
表画像を取り出して出力するものであり、ディスプレイ
やプリンタなどである。なお、代表画像抽出情報評価部
６の動作については、後述の静止画像自動抽出方法の実
施例で詳細に説明する。

【００１９】以上の実施例では、動画像記録媒体に映像
信号とともに予め代表画像を抽出するための情報を記録
しておき、動画像記録媒体から代表画像の抽出情報を読
み出して代表画像を抽出する場合について説明を行っ
た。しかし、代表画像を抽出するための情報の一部もし
くは全部が動画像記録媒体に存在しない場合でも、動画
像記録媒体に記録された映像信号を処理することによっ
て、代表画像を抽出するための情報を獲得し、獲得した
情報をもとに代表画像を抽出することができる。これに
ついて以下の第２の実施例の静止画像抽出装置で詳細に
説明する。

【００２０】第２の実施例は、映像信号のみからすべて
の代表画像抽出情報を獲得するものである。図３に映像
信号から代表画像抽出情報を獲得する装置の構成例を示
す。図３で１０はフレーム間差分値検出部、１１はメモ
リ、１２は変化量検出部、１３はカットチェンジ検出
部、１４はカメラワーク検出部、１５は動きベクトル検
出部、１６はカメラワークパラメータ推定部、１７は被
写体情報検出部、１８は動領域検出部、１９は領域内特
徴量抽出部、２０はフォーカス情報検出部、２１は高域
通過フィルタ、２２は平均値算出部、４７はコントラス
ト情報検出部である。以上の構成における各部の動作に
ついて以下で詳細に説明する。

【００２１】まず、フレーム間差分値検出部１０および
カットチェンジ検出部１３の動作について説明する。フ
レーム間差分値検出部１０は、動画像信号を１フレーム
遅延させるためのメモリ１１と、連続するフレーム間で
動画像信号の差分を求める変化量検出部１２からなる。
動画像の連続するフレーム間の差を求める信号は輝度値
やｒｇｂ値などを用い、変化量検出部１２において画素
単位で連続するフレーム間の画像信号の差分演算を行
い、画素ごとの差分値の総和を求めてフレーム間差分値
として出力する。カットチェンジ検出部１３は、フレー
ム間差分値検出部１０で求めたフレーム間差分値に対し
て閾値処理をする。すなわち、所定の閾値とフレーム間
差分値との比較を行い、フレーム間差分値が閾値より大
きい場合は、２枚のフレーム間で画像内容が大きく変化
していると考えて、その部分でカットチェンジがあった
と判断する。ビデオカメラでは、録画開始操作を行うこ
とによってカットチェンジが生じるため、逆に画像信号
からカットチェンジを検出することによって録画開始操
作を推定することができる。したがって、カットチェン
ジ検出部１３では、閾値を越えるフレーム間差分値が検
出された時点で、録画開始操作情報を出力する。

【００２２】なお、図３で示したフレーム間差分値検出
部１０の構成は一例であり、図４で示すような他の構成
でもよい。図４で４４は動画像信号の１フレームにおけ
る色ヒストグラムを求める色ヒストグラム検出部、４５
は求めたヒストグラムを記憶するヒストグラムメモリ、
４６は連続するフレーム間で色ヒストグラムの差異を検
出するヒストグラム差分検出部である。図４に示す構成
では、フレーム間で画素ごとの比較を行うのではなくフ
レーム全体で比較を行うものであるが、画面を複数のブ
ロックに分割し、ブロック単位でフレーム間の差分を求
める構成としてもよい。

【００２３】次にカメラワーク検出部１４について説明
する。まず、動きベクトル検出部１５の動作を説明す
る。図５は、検出する動きベクトルの画面内での位置を
説明するための図である。図５(a)は、全画面で水平、
垂直方向にＭ，Ｎ本の直線を格子状に配列した図であ
り、Ｍ・Ｎ個の交点は検出すべき動きベクトルの位置を
示している。以下Ｍ・Ｎ個の交点を格子点と呼び、水
平、垂直方向で各々ｉ，ｊ番目の格子点を、格子点（ｉ，ｊ）（１≦ｉ≦Ｍ，１≦ｊ≦Ｎ）と呼ぶ。

【００２４】本実施例で格子点位置での動きベクトル
は、各格子点の周辺で複数の代表点を選び、代表点マッ
チングにより求める。図５(b)は、図５(a)の格子点
（ｉ，ｊ）近傍を拡大した図であり、格子点とその周辺
の(2・m+1)・(2・n+1)個の代表点の位置関係を示す。以
下、格子点（ｉ，ｊ）の代表点のうち、水平、垂直方向
にそれぞれｋ，ｌ番目のものを、代表点（ｉ，ｊ，ｋ，ｌ）（-m≦ｋ≦m，-n≦ｌ≦n）と呼ぶ。図５(b)からわかるように、代表点（ｉ，ｊ，
０，０）は格子点（ｉ，ｊ）に等しい。

【００２５】以下、動きベクトル検出部１５の具体的な
ブロック図を示した図６を用いて、動きベクトルを求め
る方法を説明する。動きベクトル検出部１５の入力は映
像信号であり、ｒフレームに１回（ｒ：所定数）入力さ
れるように設定されているとする。ここで、ある時刻ｔ
の画像を第０フレーム目の画像とし、以後、時刻（ｔ＋
τ）の画像を第（３０・τ）フレーム目の画像と呼ぶこ
とにする。

【００２６】今、第Ｒフレーム目の画像が入力されたも
のとする。入力画像はまず、ＢＰＦ２３においてバンド
パスフィルタに通される。ここで座標位置（ｘ，ｙ）で
のＢＰＦ処理後の画像の値をＩ（ｘ，ｙ）とする。

【００２７】一方、代表点値記憶部２４は、ｒフレーム
前すなわち第（Ｒ−ｒ）フレーム目のＢＰＦ処理後の画
像の代表点の値が記憶されている。すなわち、代表点
（ｉ，ｊ，ｋ，ｌ）の値Ｙ(i,j,k,l)が記憶される。

【００２８】Ｙ(i,j,k,l)＝Ｉ(pos_x(i,k)，pos_y(j,l)) 1≦i≦M,1≦j≦N,-m≦k≦m,ーn≦l≦n pos_x(i,k)：代表点(i,j,k,l)のｘ座標 pos_y(i,k)：代表点(i,j,k,l)のｙ座標マッチング部２５は、ＢＰＦ２３からＢＰＦ処理後の画
像Ｉ（ｘ，ｙ）を、代表点値記憶部２４からｒフレーム
前の代表点の値Ｙ(i,j,k,l)を入力し、代表点マッチン
グにより各格子点での動きベクトルを求める。即ち、格
子点（ｉ，ｊ）に関して、以下の（数１）で示すよう
に、Ｋが最小となるg,hを(2・Ｇ)・(2・Ｈ)の範囲内（−Ｇ
≦ｇ≦Ｇ，−Ｈ≦ｈ≦Ｈ）で探索することにより、動き
ベクトル(g,h)が求まる。

【００２９】

【数１】

【００３０】代表点値記憶部２４の内容は、マッチング
部２５の処理が終了した後、更新される。具体的には、
代表点位置記憶部２６において記憶されている代表点の
座標 pos_x(i,j,k,l)、pos_y(i,j,k,l) 1≦i≦M，1≦j≦N，-m≦k≦m，ーn≦l≦n を用いて、第Ｒフレーム目のＢＰＦ処理後の画像の代表
点での値を記録する。

【００３１】以上のようにして、入力された画像とｒフ
レーム前の画像の２枚の画像から動きベクトルを求める
ことができる。

【００３２】次に、カメラワークパラメータ推定部１６
において、動きベクトルからカメラワークパラメータを
推定する方法を説明する。

【００３３】動画像から推定できるカメラワークは、カ
メラの水平、垂直方向の変化（パンニング、チルティン
グ）、カメラ画角の変化（ズーミング）、カメラの水平
・垂直・前後の位置の変化（トラッキング、ブーミン
グ、ドリーイング）などが考えられる。本実施例では簡
単のため、パンニング、チルティング、ズーミングの３
種類の操作を推定する方法を説明する。

【００３４】まず、上記３種類のカメラワークによっ
て、カメラの撮像面に投影された点がどのように移動す
るか考える。図７はカメラの撮像面と被写体の位置関係
を示す図であり、カメラの空間の３次元座標を(x,y,z)
で表し、撮像面上の２次元座標を（Ｘ，Ｙ）で表してい
る。また、カメラの位置を３次元座標の原点とし、カメ
ラの光軸をｚ軸とする。撮像面はｚ＝Ｆ（Ｆ：焦点距
離）に位置し、被写体の任意の点の座標ｕ1＝（ｘ1，ｙ
1，ｚ1）が撮像面のＵ1＝（Ｘ1，Ｙ1）に投影されるこ
とを示している。ここで被写体の座標と撮像面上の座標
との関係は、（数２）で表せる。

【００３５】

【数２】

【００３６】図７の座標を用いて、まずズーミングによ
る、被写体の座標の撮像面上の移動を考える。図８(a)
は、焦点距離の変化によって起こるズーミングを示した
ものである。同図に示すように、焦点距離がＦからＦ’
に変化したとき、ｕ1の被写体の投影がＵ1＝（Ｘ1，Ｙ
1）からＵ2＝（Ｘ2，Ｙ2）に移動する。ただし、（数
２）からＵ2はＵ2＝Ｕ１・Ｆ’／Ｆ＝ｆ・Ｕ１を満たす。
ただし、ｆ＝Ｆ’／Ｆである。

【００３７】同様にして図８(b)を用いてパンニング、
チルティングの場合を考える。パンニング、チルティン
グはそれぞれカメラをｙ軸、ｘ軸について回転する操作
に等しい。同図のようにカメラがｘ軸についてθxだけ
回転した場合、被写体の空間での座標ｕ1はｕ3に移動す
る。ただし、ｕ3は（数３）をみたす。

【００３８】

【数３】

【００３９】ｘに関する回転角θxが十分小さいと仮定
すると、移動後の撮像面上の座標Ｕ3＝（Ｘ3,Ｙ3）に対
して（数２）の関係からＸ3＝Ｘ1、Ｙ3＝Ｙ1＋Ｆ・θx の関係が導かれる。これを一般化すると、ｘ軸、ｙ軸に
対してともに回転するカメラ操作の場合、任意の座標の
操作前後の関係は以下のように表すことができる。

【００４０】Ｕ3＝Ｕ1＋Ｐただし、Ｐ＝（ｐx，ｐy）ｐx、ｐy：ｘ軸、ｙ軸の回転成分以上のことからズーミング、パンニング、チルティング
を合成した一般的なカメラ操作に対して、カメラ操作前
後の座標Ｕ1＝（Ｘ1，Ｙ1）、Ｕ’＝（Ｘ’，Ｙ’）は
Ｕ’＝ｆ・Ｕ＋Ｐを満たすことがわかる。以後ｆをズー
ム要素、Ｐを回転ベクトルと呼ぶ。従って、ズーム要素
と回転ベクトルを求めることにより、カメラの操作量を
推定することができることがわかる。

【００４１】以下に、動きベクトル検出部１５で求めた
動きベクトルから、ズーム要素と回転ベクトルを推定す
る方法を説明する。ここで、格子点（ｉ，ｊ）に関し
て、位置（２次元座標）をＵi,j、動きベクトル検出部
１５で求められた動きベクトルをｖi,jとする。今、ズ
ーム要素ｆ、回転ベクトルＰのカメラ操作が起こったと
き、格子点（ｉ，ｊ）はＵ’i,j（ｆ，Ｐ）＝ｆ・Ｕi,j ＋Ｐの位置に移動するはずである。従って実際に起こったカ
メラ操作のｆ、Ｐを推定するには、実際に移動した位置Ｕ^reali,j＝Ｕi,j＋ｖi,j との誤差Ｅ（ｆ，Ｐ）＝Σ（Ｕ’i,j（ｆ，Ｐ）−Ｕ^reali,j）² が最小になるようなｆ、Ｐを求めればよい。誤差Ｅは
ｆ、Ｐに関して２次式なので、誤差Ｅを最小とするｆ、
Ｐは（数４）に示すように一意に決まる。

【００４２】

【数４】

【００４３】但し、＜・，・＞は内積を示す。したがっ
て、カメラワークパラメータ推定部１６では、動きベク
トル検出部１５から動きベクトルｖi,jと格子点位置Ｕ
i,jを入力し、（数４）を用いてｆ,Ｐを計算することに
より、ズーミング、パンニング、チルティングの各カメ
ラワークパラメータを推定することができる。

【００４４】次に被写体情報検出部１７の動作について
説明する。被写体情報検出部１７はビデオカメラで被写
体をトラッキングしている状態において、被写体の位置
や大きさ、色などの被写体情報を抽出するものである。
すなわち、カメラワーク検出部１４でパンニングを検出
し、さらに動領域検出部１８で動領域を検出できた場合
に対して、領域内特徴量抽出部１９で動領域から領域内
の特徴量を抽出する。動領域検出部１８における動作を
さらに詳述する。

【００４５】動領域検出部１８には、動きベクトル検出
部１５で検出した画面内のＭ・Ｎ個の格子点の動きベク
トルｖi,jと、カメラワーク検出部１４で検出したパン
ニングによるカメラの動きベクトルＶp が入力される。
動領域検出部１８では、（数５）を満たす格子点を抽出
し、抽出した格子点の連結関係にもとづいて、パンニン
グによるカメラの動きベクトルとは異なる領域を抽出す
る。

【００４６】

【数５】

【００４７】領域内特徴量抽出部１９では、動領域検出
部１８で検出した動領域から領域内の特徴量として、重
心位置と面積と色を抽出する。

【００４８】次にフォーカス情報検出部２０の動作につ
いて説明する。フォーカス情報検出部２０は画像のピン
ボケ状態を検出するためのもので、画像の高周波成分の
量をもとにしている。すなわち、画像がレンズの焦点ず
れなどでぼけた状態では映像信号の高周波成分の値が小
さくなる。このため、高域通過フィルタ２１で画像の高
周波成分を取り出し、平均値算出部２２で画面全体、も
しくは指定領域内での高周波成分の平均値を求める構成
としている。

【００４９】次にコントラスト情報検出部４７の動作に
ついて説明する。コントラスト情報の検出は、輝度ヒス
トグラム検出部４８で１フレームの輝度ヒストグラムを
求め、求めたヒストグラムをもとにヒストグラム偏り量
検出部４９でヒストグラムの偏りを検出し、これをコン
トラスト情報とする。ここでヒストグラムの偏りの尺度
の一例としては、輝度ヒストグラムの低輝度部分と高輝
度部分の度数の多い方の値とする。なお、ヒストグラム
の偏りの尺度はこれに限ったものではなく、典型的な輝
度のヒストグラム分布からのずれ量などとしてもよい。

【００５０】以上のようにして映像信号を処理すること
によって、代表画像を抽出するための情報を獲得するこ
とができる。本実施例ではγ補正値、色温度、逆光や過
順光状態、被写体光量などについては記載しなかった
が、これらの情報も映像信号を処理することによって獲
得することができる。代表画像を抽出するための情報を
獲得した後、獲得した情報をもとに代表画像を抽出する
構成と手法については静止画像抽出装置の第１の実施例
と同様であり、説明は省略する。

【００５１】以上説明した代表画像抽出情報を獲得する
装置は、動画像記録媒体に代表画像を抽出するための情
報が存在しない場合に、動画像記録媒体から読み込んだ
映像信号をもとにして代表画像抽出情報を獲得するもの
であったが、同様にしてビデオカメラで撮影中に、撮像
素子から取り込んだ映像信号をもとにして代表画像抽出
情報を獲得することもできる。この場合の構成は図３と
同様であり説明は省略するが、ビデオカメラに備えたセ
ンサーによって検出可能な代表画像抽出情報が存在する
場合は、映像信号から代表画像抽出情報を獲得する必要
がないことはいうまでもない。さらに、ビデオカメラで
撮影中に獲得した代表画像抽出情報は、映像信号ととも
に動画像記録媒体に記録してもよい。

【００５２】次に本発明の動画像記録装置の実施例の構
成を図９に示す。本実施例はビデオカメラに静止画像抽
出装置を備えた構成であり、ビデオカメラで撮影中に代
表画像として抽出する静止画像を決定し、動画像記録媒
体に映像信号を記録するとともに抽出する静止画像の情
報を記録するものである。図９で本実施例の動画像記録
装置２７は、カメラ操作情報獲得部２８、画像処理情報
獲得部２９、撮影状態情報獲得部３０、映像信号獲得部
３１、代表画像抽出情報評価部３２、静止画像情報記録
部３３、映像信号記録部３４からなる。以上の構成にお
ける各部の動作について以下で詳細に説明する。

【００５３】カメラ操作情報獲得部２８は、ビデオカメ
ラで撮影した際の録画開始操作やズーム操作、またはフ
ェードや連写などの撮影効果を出すための操作などの情
報を獲得する部分である。録画開始操作情報は録画開始
操作が行われた時点にフラグを立てて録画開始点を示す
情報であり、ズーム操作情報はズーム倍率を表す情報で
ある。録画開始操作情報、ズーム操作情報、フェード操
作情報、連写操作情報はともに、ビデオカメラのボタン
操作をもとに検出する。画像処理情報獲得部２９は、撮
像素子で撮像した映像信号を処理した情報を獲得する部
分で、例えばフォーカス制御を行うために求めた映像信
号の高周波成分の周波数や大きさ、またはフレーム間に
おける輝度信号や色信号の差異を求めたフレーム間差分
値、または映像信号から求めた被写体領域の位置や大き
さなどの情報、逆光や過順光の状態、コントラスト、さ
らにはγ補正値や色温度などを抽出する。撮影状態情報
獲得部３０は、カメラの撮影状態をセンサーで検出した
情報を獲得する部分で、例えば角速度センサーによって
検出したパンニングなどのカメラの動き情報、または光
量センサーによる被写体光量や絞り開度センサーで検出
したレンズの絞り開度、またはレンズ位置検出によるフ
ォーカス距離、測距センサーなどによる被写体までの距
離などを獲得する。

【００５４】代表画像抽出情報評価部３２は、カメラ操
作情報に含まれる録画開始操作情報を検出し、次の録画
開始操作情報を検出するまでの同一カット内の各画像に
対して、カメラ操作情報の中の録画開始操作情報以外の
情報と画像処理情報と撮影状態情報をもとに、各画像が
カットの代表画像として適当な画像であるかどうかの評
価を行う。代表画像として適当であると評価された画像
に関して、静止画像情報記録部３３を介して静止画像情
報を記録媒体３５の静止画像情報記録媒体に記録する。
なお、代表画像抽出情報評価部３２の動作については、
後述の静止画像自動抽出方法の実施例で詳細に説明す
る。

【００５５】以下では、静止画像情報記録部３３で記録
する静止画像情報についてさらに説明する。静止画像情
報とは、代表画像抽出情報評価部３２で代表画像として
適当であると評価された静止画像そのもの、または縮小
などの画像処理したもの、または静止画像に対応する動
画像記録媒体上の格納位置情報、または静止画像に対応
する動画像に付与したフラグなどである。

【００５６】静止画像情報が静止画像そのもの、または
縮小した画像の場合は、映像信号獲得部３１と映像信号
記録部３４によってカメラで撮影した動画像を記録する
動画像記録媒体上の記録位置とは異なる位置、または動
画像を記録する動画像記録媒体とは異なる記録媒体に静
止画像情報である画像を記録する。たとえば動画像記録
媒体がビデオテープの場合は、静止画像情報の画像だけ
をまとめてテープの先頭部分、もしくはテープの終端部
分に記録するか、またはテープとは別に備えたＩＣメモ
リに静止画像情報だけを記録する。

【００５７】静止画像情報が静止画像に対応する動画像
記録媒体上の格納位置情報の場合は、映像信号獲得部３
１と映像信号記録部３４によってカメラで撮影した動画
像を記録する動画像記録媒体上の記録位置とは異なる位
置、または動画像を記録する動画像記録媒体とは異なる
記録媒体に、静止画像情報である静止画像に対応する動
画像記録媒体上の格納位置情報を記録する。

【００５８】静止画像情報が静止画像に対応する動画像
に付与したフラグの場合は、映像信号獲得部３１と映像
信号記録部３４によってカメラで撮影した動画像を記録
する動画像記録媒体上の記録位置と同じ位置に静止画像
情報を記録する。すなわち、たとえば１フレーム単位で
記録する映像信号の先頭部分に静止画像情報のフラグを
記録する。

【００５９】以上のようにしてビデオカメラで撮影した
映像信号を動画像記録媒体に記録するとともに、撮影し
た動画像の中から代表画像を抽出し、代表画像の静止画
像情報を記録媒体に記録する。これによって記録された
静止画像情報を読みだして代表画像をディスプレイやプ
リンタに出力することが可能となる。

【００６０】次に本発明における静止画像自動抽出方法
の実施例を説明する。静止画像自動抽出方法は、図２の
代表画像抽出情報評価部６および図９の代表画像抽出情
報評価部３２における処理方法である。

【００６１】本発明の静止画像自動抽出方法は、録画開
始操作をしてから録画終了操作をするまでの間に連続し
て撮影された動画像の中から、代表的な画像を静止画像
として自動的に抽出するものである。ここで代表的な画
像とは、撮影者の意図、撮影された画像の状態、被写体
の状態をもとに評価して選びだした画像をいう。

【００６２】撮影者の意図は、ズームやパンなどのカメ
ラワークに反映される。すなわち、ズームインしている
ときは、注目している被写体が画面に存在する場合であ
り、重要な画像と考えられる。また、パンしているとき
は、ある場面から別の場面に移動している最中であり、
重要ではないと考えられる。さらに、パンしている場合
でも、トラッキングしている被写体が存在する場合は、
重要であると考えられる。このようにカメラワークから
撮影者の意図を推定し、重要な部分を代表画像として抽
出することが望ましい。

【００６３】撮影された画像の状態とは、撮影時にフォ
ーカス制御がうまく行われていない場合のぼけた画像状
態や、アイリス制御が不適切な場合の過順光や逆光の状
態、さらにはγ補正が不適切な場合などの状態、コント
ラストの悪い状態、または絞りやフォーカスの調整中の
状態などをいう。これらの画像状態は、ビデオカメラで
の撮影時におけるフォーカス制御やアイリス制御の情
報、またはγ補正値をもとに判断することができる。ま
た、フォーカス制御やアイリス制御、γ補正、コントラ
ストの情報がない場合であっても、映像信号を処理する
ことによって求めることが可能である。これらの画像状
態を評価して、代表画像としては画像状態が良好なもの
を抽出することが望ましい。

【００６４】被写体の状態とは、撮影している被写体の
位置や大きさなどの状態、撮影中にカメラの前を人が横
切った場合などの障害物の存在状況、撮影中にフラッシ
ュが光った場合などの状態、被写体にスポットライトが
照射されている状態などをいう。被写体の位置や大きさ
に関しては、位置がカメラの中央で面積が大きいほうが
望ましく、障害物は存在しない方が望ましい。また、フ
ラッシュが光った場合の画像は代表画像として抽出しな
い方が望ましい。また、スポットライトが照射されてい
る画像は注目画像であり、代表画像として抽出すること
が望ましい。

【００６５】ここで、被写体の位置や面積の検出方法に
関しては、第３の実施例において図３の被写体情報検出
部１７で説明している。また、フラッシュや障害物の検
出方法に関しては、図３のフレーム間差分値検出部１０
で求めたフレーム間差分値をもとに検出可能である。す
なわち、フラッシュはフレーム間差分値が急変するた
め、所定のしきい値をもとに検出できる。障害物の場合
は、画面の中に障害物が入るときと画面から障害物が出
るときにフレーム間差分値が変化するため、フレーム間
差分値が所定のしきい値を越えてから、所定の時間内に
再びフレーム間差分値がしきい値を越える場合は、障害
物が画面内に存在するとして検出できる。また、スポッ
トライトの照射は、被写体光量をもとに検出することが
できる。

【００６６】以上のような代表画像を抽出するための知
識に基づいて、以下では具体的な代表画像の抽出手法を
説明する。本実施例の構成例を図１０に示す。図１０で
３６は重み付け加算部、３７はゲート信号発生部、３８
はゲート部、３９は最大値検出部である。重み付け加算
部３６にはズーム倍率と被写体情報が入力され、それぞ
れの信号に重みを付けて加算する。ここで、被写体情報
はカメラで被写体をトラッキングしているときに得られ
る情報で、トラッキング時の被写体の位置と大きさをも
とにしている。被写体情報は、被写体位置がカメラの中
心に近いほど、また被写体の面積が大きいほど大きな値
になるようにする。ゲート部３８は、ゲート信号発生部
３７のゲート信号をもとにスイッチのオン、オフを行
う。最大値検出部３９は、ゲート部３８から入力される
値の最大値を検出する。

【００６７】ゲート信号発生部３７は、パン信号と映像
信号の高周波成分値とフレーム間差分値などをもとにゲ
ート信号を発生する。ゲート信号の発生方法を図１１に
示す。図１１（ａ）はパン信号で、パンニング中が０
で、パンしていないときが１となる信号である。（ｂ）
は映像信号の高周波成分値であり、値が小さいほど画像
がぼけた状態であることを意味する。（ｃ）は（ｂ）の
信号をしきい値処理して２値化したものであり、しきい
値以下の場合は０にしている。（ｄ）はフレーム間差分
値である。（ｅ）は（ｄ）の信号をしきい値処理し、し
きい値以上の場合は０にし、さらに（ｄ）の信号がしき
い値を越えてから所定時間内に再びしきい値を越えた場
合は、０と０の間の区間も０にする処理を行う。

【００６８】すなわち、単独でフレーム間差分値が大き
くなる場合は、フラッシュなどによる画像異常が発生し
たものと判断し、フレーム間差分値がしきい値以上であ
る期間だけ０にする。しかし、前述したように障害物が
カメラの前を通過する場合には、フレーム間差分値は複
数のピークをとるため、障害物が画面の中に存在する期
間はフレーム間差分値がしきい値以下であっても０にす
る。以上のようにして２値化した（ａ）（ｃ）（ｅ）の
３信号の論理積をとることによって、ゲート信号を発生
する。

【００６９】以上のようにして図１０で示した構成で評
価値が最大値となる画像を求めることによって、パンし
ている期間や画像がぼけた期間、さらにフラッシュや障
害物が存在する期間を除いた中から、ズーム倍率が高
く、被写体が画面中央に大きく写っている画像を代表画
像として抽出することができる。なお、最大値検出部３
９で最大値を検出するのは、１カット全体であっても、
または１カット内の複数の区間であってもよい。

【００７０】なお、図１０では重み付け加算部３６とゲ
ート信号発生部３７とゲート部３８の構成によって複数
の入力からひとつの評価値を求めているが、この構成に
限ったものではなく、ファジィ推論などのルールに基づ
いたものや、ニューラルネットワークによって求める構
成も可能である。さらに、本実施例の構成にはγ補正値
や被写体光量、逆光や過順光状態、絞り開度、コントラ
スト、フォーカス距離に関する情報の処理を示さなかっ
たが、これらの信号も同様にして利用することができ
る。すなわち、γ補正値や絞り開度やフォーカス距離の
値が変動しているとき、また逆光や過順光状態のときに
は代表画像として抽出しないようにゲート信号を発生さ
せてもよい。また、被写体光量からスポットライトが照
射されていることを検出して評価値を高くするようにし
てもよい。

【００７１】図１２に静止画像自動抽出方法の他の構成
例を示す。本実施例ではズーム倍率やフレーム間差分値
などの入力情報から評価値を算出し、各評価値に重み付
け加算を行った総合評価値の最大値を求める構成であ
る。図１２において、５０は評価値算出部であり、各入
力情報に対して評価値を求める。例えば入力情報がズー
ム倍率であれば、倍率が高いほど高い評価値を出力す
る。また、入力情報がフレーム間差分値であれば、差分
値が小さいほど高い評価値を出力する。また、入力情報
がコントラストであれば、コントラストが高いほど高い
評価値を出力する。

【００７２】以上のようにして図１２で示した構成で評
価値が最大値となる画像を求めることによって、コント
ラストが高くて画像がぼけておらず、さらにフラッシュ
や障害物が存在するような画像ではなく、ズーム倍率が
高く、被写体が画面中央に大きく写っている画像を代表
画像として抽出することができる。

【００７３】以上の実施例では静止画像を抽出する際
に、ズーム倍率と被写体情報のひとつである被写体の大
きさは独立な情報として利用する構成であったが、本実
施例の静止画像自動抽出方法では、ズーム倍率と被写体
距離から被写体の相対的な大きさに関連した評価値を推
定して静止画像を自動抽出する構成である。

【００７４】撮像装置で撮像された被写体の大きさはズ
ーム倍率に比例し、被写体距離に反比例する。したがっ
て、撮影中の被写体が同一であれば、撮像された被写体
の相対的な大きさはズーム倍率と被写体距離から推定で
きる。

【００７５】本実施例の静止画像自動抽出方法の構成を
図１３に示す。図１３で５１は評価値算出部であり、５
１ａはズーム倍率と被写体距離を入力として被写体の相
対的な大きさに関連した評価値を出力する評価値算出部
である。以下、評価値算出部５１ａの動作についてさら
に詳しく説明する。

【００７６】いま、ズーム倍率の最大値をＺmax 、被写
体距離として対象とする範囲内の最大距離をＤmax とす
る。このとき、被写体距離として対象とする範囲内の最
小距離は、Ｄmax／Ｚmax となる。ここで評価値算出部
５１ａにズーム倍率ｚと被写体距離ｄが入力されると、
ｓ＝ｚ・Ｄmax／ｄに基づいて評価値ｓが求められる。

【００７７】尚、ｄ≧Ｄmax のときｄ＝Ｄmax、ｄ≦Ｄm
ax／Ｚmax のときｄ＝Ｄmax／Ｚmaxである。このように
して求めた評価値ｓは、撮像された被写体の大きさに比
例した値となる。

【００７８】以上のようにして評価値算出部５１で求め
た評価値をもとに、重み付け加算部３６、最大値検出部
３９から代表画像を抽出する方法は前実施例ですでに述
べた通りであり、説明は省略する。なお、本実施例で代
表画像を抽出するために利用している入力情報はズーム
倍率と被写体距離以外には、コントラストとフレーム間
差分値のみであるが、高周波成分などその他の入力情報
を用いてもよい。

【００７９】また、被写体距離の検出は赤外線センサー
や超音波センサーなどの測距センサーを用いて直接検出
する方法や、または合焦時のフォーカスレンズ位置をも
とに被写体距離を演算して算出する方法がある。

【００８０】以上説明した静止画像自動抽出方法の実施
例の構成は、撮影者が撮影開始操作をしてから撮影終了
操作をするまでの間に撮影された動画像のすべてに対し
て評価を行って代表画像を抽出しているが、撮影者が撮
影開始操作をしてから所定時間経過後の画像から評価を
行い、所定の条件を満足した時点の画像を代表画像とし
て抽出する構成でもよい。以下ではこの構成の実施例に
ついて説明する。

【００８１】本実施例の構成を図１４に示す。図１４に
おいて、４０はタイマー、４１はゲート部、４２は評価
部である。タイマー４０は、撮影開始操作が行われてか
らの経過時間を測定し、撮影開始から一定時間が経過し
た時点でゲート部４１のゲートを開くようにゲート信号
を発生する。評価部４２はゲート部４１を通過したフォ
ーカスの高周波成分値と、フレーム間差分値が条件を満
足しているかどうかの評価を行う。評価部４２での条件
は、フォーカスの高周波成分値が所定のしきい値以上
で、かつフレーム間差分値が所定のしきい値以下である
という条件である。評価部４２では条件が満足された時
点でそれ以降の評価を中止し、条件が満足された時点の
静止画像を代表画像として抽出する。なお、本実施例で
は評価に用いた信号はフォーカスの高周波成分値とフレ
ーム間差分値のふたつだけであるが、パンやズームなど
の他の信号を用いてもよい。

【００８２】さらに静止画像自動抽出方法の別の実施例
の構成を説明する。本実施例の構成を図１５に示し、図
１４と同一のものには同一番号を付け説明は省略する。
本実施例は、撮影開始操作から撮影終了操作までの間に
撮影された画像の数に一定比率を乗じた画像数から評価
を行い、所定の条件を満足した時点の画像を代表画像と
して抽出するものである。図１５の構成では撮影開始操
作から撮影終了操作までの間に撮影された画像に対し、
中間フレーム以降の画像を評価するものである。このた
めに中間フレーム検出部４３において、撮影開始操作か
ら撮影終了操作までに撮影されたフレームの中間フレー
ムを検出し、中間フレームを検出した時点でゲート部４
１のゲートを開くようにゲート信号を発生する。ゲート
部４１および評価部４２の動作は図１４の構成と同様で
あり、説明は省略する。

【００８３】

【発明の効果】

【００８４】以上説明したように、本発明の静止画像抽
出装置は、画像抽出情報をもとにして、動画像の中から
動画像の内容を十分に表現する静止画像を代表画像とし
て抽出することが可能となり、動画像の内容を短時間で
把握することができる。

【００８５】さらに、本発明の動画像記録装置は、カメ
ラで撮影した映像信号を動画像記録媒体に記録するとと
もに、撮影した動画像の中から代表画像を抽出し、代表
画像の静止画像情報を記録媒体に記録することによっ
て、記録された静止画像情報を読みだして代表画像をデ
ィスプレイやプリンタに高速に出力することが可能とな
る。

【図面の簡単な説明】

【図１】本発明の一実施例の動画像記録媒体を示す図

【図２】本発明の第１の実施例の静止画像抽出装置の構
成を示すブロック図

【図３】本発明の第２の実施例の静止画像抽出装置にお
ける代表画像情報抽出装置の構成を示すブロック図

【図４】第２の実施例におけるフレーム間差分値検出部
の他の構成を示すブロック図

【図５】（ａ）は第２の実施例の静止画像自動抽出装置
における動きベクトル検出部における動きベクトルを検
出する格子点を示す図（ｂ）は図５(a)の格子点（ｉ，ｊ）近傍を拡大した図

【図６】第２の実施例における動きベクトル検出部の構
成を示すブロック図

【図７】カメラの撮像面と被写体の位置関係を示す図

【図８】（ａ）はズーミングでのカメラの撮像面と被写
体の位置関係を示す図（ｂ）はチルティングでのカメラの撮像面と被写体の位
置関係を示す図

【図９】本発明の実施例の動画像記録装置の構成を示す
ブロック図

【図１０】本発明の第１の実施例の静止画像自動抽出方
法の代表画像抽出情報評価部の構成を示すブロック図

【図１１】（ａ）〜（ｅ）は本発明の第１の実施例の静
止画像自動抽出方法のゲート信号発生部の動作を示す図

【図１２】本発明の第２の実施例の静止画像自動抽出方
法の代表画像抽出情報評価部の構成を示すブロック図

【図１３】本発明の第３の実施例の静止画像自動抽出方
法の代表画像抽出情報評価部の構成を示すブロック図

【図１４】本発明の第４の実施例の静止画像自動抽出方
法の代表画像抽出情報評価部の構成を示すブロック図

【図１５】本発明の第５の実施例の静止画像自動抽出方
法の代表画像抽出情報評価部の構成を示すブロック図

【符号の説明】

１再生信号入力部２カメラ操作情報獲得部３画像処理情報獲得部４撮影状態情報獲得部５映像信号獲得部６代表画像抽出情報評価部７代表画像管理部８代表画像記憶部９出力装置２８カメラ操作情報獲得部２９画像処理情報獲得部３０撮影状態情報獲得部３１映像信号獲得部３２代表画像抽出情報評価部３３静止画像情報記録部３６重み付け加算部３７ゲート信号発生部３８ゲート部３９最大値検出部４０タイマー４１ゲート部４２評価部４３中間フレーム検出部５０評価値算出部５１評価値算出部

───────────────────────────────────────────────────── フロントページの続き (56)参考文献特開平３−186079（ＪＰ，Ａ) 特開平６−165009（ＪＰ，Ａ) 特開平６−217254（ＪＰ，Ａ) 特開平６−165107（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) H04N 5/225,5/76 - 5/956

Claims

(57)【特許請求の範囲】

【請求項１】動画像を撮影する際に撮影者がカメラを
操作したカメラ操作情報を取り込むカメラ操作情報獲得
手段と、撮像した画像を処理して得られた画像処理情報
を取り込む画像処理情報獲得手段と、センサーからの信
号を処理して得られた撮影中の撮影状態情報を取り込む
撮影状態情報獲得手段と、前記カメラ操作情報獲得手段
からのカメラ操作情報と前記画像処理情報獲得手段から
の画像処理情報と前記撮影状態情報獲得手段からの撮影
状態情報をもとにして、撮影者が撮影開始操作をしてか
ら撮影終了操作をするまでの間に撮影された動画像の中
から少なくとも１枚の静止画像を抽出する静止画像抽出
手段を備え、前記画像処理情報はフレーム間差分値を含み、かつ前記
静止画像抽出手段は前記フレーム間差分値がしきい値以
上である期間を除いた中から前記静止画像を抽出する
か、または前記静止画像抽出手段は前記フレーム間差分
値が小さいほど高い評価値を出力する静止画像抽出知識
にもとづいて各画像についての評価値を求め、評価値が
高い画像を抽出することを特徴とする静止画像抽出装
置。
【請求項２】動画像を撮影する際に撮影者がカメラを
操作したカメラ操作情報を取り込むカメラ操作情報獲得
手段と、撮像した画像を処理して得られた画像処理情報
を取り込む画像処理情報獲得手段と、センサーからの信
号を処理して得られた撮影中の撮影状態情報を取り込む
撮影状態情報獲得手段と、前記カメラ操作情報獲得手段
からのカメラ操作情報と前記画像処理情報獲得手段から
の画像処理情報と前記撮影状態情報獲得手段からの撮影
状態情報をもとにして、撮影者が撮影開始操作をしてか
ら撮影終了操作をするまでの間に撮影された動画像の中
から少なくとも１枚の静止画像を抽出する静止画像抽出
手段と、撮像装置で撮像した動画像を動画像記録媒体に
記録するとともに、前記静止画像抽出手段で抽出した静
止画像の情報を記録する静止画像情報記録手段を備え、前記画像処理情報はフレーム間差分値を含み、かつ前記
静止画像抽出手段は前記フレーム間差分値がしきい値以
上である期間を除いた中から前記静止画像を抽出する
か、または前記静止画像抽出手段は前記フレーム間差分
値が小さいほど高い評価値を出力する静止画像抽出知識
にもとづいて各画像についての評価値を求め、評価値が
高い画像を抽出することを特徴とする動画像記録装置。