JPH11136637A - 代表画像生成装置 - Google Patents

代表画像生成装置

Info

Publication number
JPH11136637A
JPH11136637A JP9309548A JP30954897A JPH11136637A JP H11136637 A JPH11136637 A JP H11136637A JP 9309548 A JP9309548 A JP 9309548A JP 30954897 A JP30954897 A JP 30954897A JP H11136637 A JPH11136637 A JP H11136637A
Authority
JP
Japan
Prior art keywords
image
frame
cut
scene
length
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP9309548A
Other languages
English (en)
Other versions
JP3534592B2 (ja
Inventor
Hitoshi Kato
等 加藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Priority to JP30954897A priority Critical patent/JP3534592B2/ja
Publication of JPH11136637A publication Critical patent/JPH11136637A/ja
Application granted granted Critical
Publication of JP3534592B2 publication Critical patent/JP3534592B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Television Signal Processing For Recording (AREA)

Abstract

(57)【要約】 【課題】 動画の中身を的確に表すインデクスとなる画
像を提示できる代表画像生成装置を提供する。 【解決手段】 あらかじめ撮影し蓄積しておいた動画を
読み出して提供できるようにした動画入力手段１と、提
供された動画をフレーム単位で格納するフレームメモリ
２と、フレームメモリ２に格納されたフレーム単位の画
像データを読み出してカットを検出するカット検出手段
３と、各カットのカット長を計算するカット長計算手段
４と、計算されたカット長を記憶するカット長記憶手段
５と、記憶されたカット長の中から最も長いカット長を
有するカットを決定する最長カット決定手段６と、最も
長いカット長を有するカットからインデクスとして相応
しいフレーム画像を決定するインデクス静止画決定手段
７と、決定されたインデクス静止画を出力するインデク
ス静止画出力手段８とから構成されている。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、ランダムアクセス
が可能な記憶装置を備えた動画編集装置、マルチメディ
ア編集装置、動画データベース、動画ファイル管理装置
などにおける代表画像生成装置に関し、特に、編集のた
めの一覧用表示に供するフレームを自動的に決めるに当
たり、これを機械的に一律に決めるのではなく、動画デ
ータの中身を的確に表す画像フレームに決めて表示する
よう構成したものである。
【０００２】
【従来の技術】従来の代表画像生成装置としては、たと
えば、対象となる動画素材の先頭フレームや先頭から一
定時間を経過した時点のフレーム（例えば、先頭から５
フレーム目）の内容をインデクス静止画とする方法（特
開平6-89549）や、映像カットの切替りを検出して検出
されたフレーム（またはその前後のフレーム）画像をイ
ンデクス静止画とする方法（特開平5-183862、特開平9-
200687）などが知られている。
【０００３】しかしながら、上記従来の代表画像生成装
置は、動画の中身（どのような映像であるか）を的確に
示していないという問題があった。
【０００４】そこで本発明は、前記従来の問題を解決す
るものであり、動画の中身を的確に表すインデクスとな
る画像を提示できる代表画像生成装置を提供することを
目的にするものである。
【０００５】
【課題を解決するための手段】前記問題を解決するため
に本発明は、あらかじめ撮影し蓄積しておいた動画を読
み出して提供できるようにした動画入力手段と、提供さ
れた動画をフレーム単位で格納するフレームメモリと、
該フレームメモリに格納されたフレーム単位の画像デー
タを読み出してカットを検出するカット検出手段と、各
カットのカット長を計算するカット長計算手段と、計算
されたカット長を記憶するカット長記憶手段と、記憶さ
れたカット長の中から最も長いカット長を有するカット
を決定する最長カット決定手段と、最も長いカット長を
有するカットからインデクスとして相応しいフレーム画
像を決定するインデクス静止画決定手段と、決定された
インデクス静止画を出力するインデクス静止画出力手段
とから構成されることを特徴とするものである。
【０００６】以上により、動画の中身を的確に表すイン
デクスとなる画像を提示できる代表画像生成装置を提供
することができる。
【０００７】
【発明の実施の形態】本発明の請求項１に記載の発明
は、あらかじめ撮影し蓄積しておいた動画を読み出して
提供できるようにした動画入力手段と、提供された動画
をフレーム単位で格納するフレームメモリと、該フレー
ムメモリに格納されたフレーム単位の画像データを読み
出してカットを検出するカット検出手段と、各カットの
カット長を計算するカット長計算手段と、計算されたカ
ット長を記憶するカット長記憶手段と、記憶されたカッ
ト長の中から最も長いカット長を有するカットを決定す
る最長カット決定手段と、最も長いカット長を有するカ
ットからインデクスとして相応しいフレーム画像を決定
するインデクス静止画決定手段と、決定されたインデク
ス静止画を出力するインデクス静止画出力手段とから構
成されることを特徴とする代表画像生成装置としたもの
であり、映像の撮影および編集時に、制作者の意図を反
映する映像時間配分の面で最も重点が置かれたシーンの
絵をインデクス静止画とすることができるという作用を
有する。
【０００８】本発明の請求項２に記載の発明は、あらか
じめ撮影し蓄積しておいた動画を読み出して提供できる
ようにした動画入力手段と、提供された動画をフレーム
単位で格納するフレームメモリと、該フレームメモリに
格納されたフレーム単位の画像データを読み出してカッ
トを検出するカット検出手段と、各カットのカット長を
計算するカット長計算手段と、計算されたカット長を記
憶するカット長記憶手段と、カット間で似ている絵
（色、ものの配置など）のカットを纏めて映像シーンを
構成するシーン構成手段と、構成したシーンの長さを計
算するシーン長計算手段と、計算したシーン長を記憶す
るシーン長記憶手段と、記憶されたシーン長から最も長
いシーン長を有するシーンを決定する最長シーン決定手
段と、最も長いシーン長を有するシーンからインデクス
として相応しいフレーム画像を決定するインデクス静止
画決定手段と、決定されたインデクス静止画を出力する
インデクス静止画出力手段とから構成されることを特徴
とする代表画像生成装置としたものであり、映像の撮影
および編集時に、制作者の意図を反映する映像時間配分
の面で最も重点が置かれたシーンの絵をインデクス静止
画とすることができるという作用を有する。
【０００９】本発明の請求項３に記載の発明は、あらか
じめ撮影し蓄積しておいた動画を読み出して提供できる
ようにした動画入力手段と、提供された動画をフレーム
単位で格納するフレームメモリと、該フレームメモリに
格納されたフレーム単位の画像データを一定間隔区間毎
に１フレームずつ読み出す一定間隔区間フレーム抽出手
段と、抽出した複数のフレーム間で似ている映像の区間
を纏めることによりシーンを構成するシーン構成手段
と、構成したシーンの長さを計算するシーン長計算手段
と、計算したシーン長を記憶するシーン長記憶手段と、
記憶されたシーン長から最も長いシーン長を有するシー
ンを決定する最長シーン決定手段と、最も長いシーン長
を有するシーンからインデクスとして相応しいフレーム
画像を決定するインデクス静止画決定手段と、決定され
たインデクス静止画を出力するインデクス静止画出力手
段とから構成されることを特徴とする代表画像生成装置
としたものであり、映像の撮影および編集時に、制作者
の意図を反映する映像時間配分の面で最も重点が置かれ
たシーンの絵をインデクス静止画とすることができると
いう作用を有する。
【００１０】本発明の請求項４に記載の発明は、あらか
じめ撮影し蓄積しておいた動画を読み出して提供できる
ようにした動画入力手段と、提供された動画をフレーム
単位で格納するフレームメモリと、該フレームメモリに
格納された対象動画の全フレーム、または一部のフレー
ムを読み出し、そのうちフレーム特徴量（何らかのパラ
メータ値）を抽出する特徴量パラメータ抽出手段と、抽
出した特徴量パラメータから特徴量の大きさを計算する
特徴量計算手段と、計算した特徴量の大きさのうち最大
のものを記憶する最大特徴量記憶手段と、最大の特徴量
を有するフレーム画像をインデクスすべきフレーム画像
であると決定するインデクス静止画決定手段と、決定さ
れたインデクス静止画を出力するインデクス静止画出力
手段とから構成されることを特徴とする代表画像生成装
置としたものであり、例えば、音量が最大のフレーム、
動き量が大きいフレーム、最も絵柄が複雑なフレーム、
赤色が極端に多いフレームなど、最大の特徴量を有する
フレーム画像をインデクス静止画とすることができると
いう作用を有する。
【００１１】本発明の請求項５に記載の発明は、あらか
じめ撮影し蓄積しておいた動画を読み出して提供できる
ようにした動画入力手段と、提供された動画をフレーム
単位で格納するフレームメモリと、該フレームメモリに
格納された対象動画の全フレーム、または一部のフレー
ムを読み出し、そのうち、フレーム特徴量（何らかのパ
ラメータ値）を抽出する特徴量パラメータ抽出手段と、
抽出した特徴量パラメータから特徴量の大きさを計算す
る特徴量計算手段と、計算された特徴量の大きさが規定
の値以上になった時点を判定する特徴量判定手段と、規
定の値を越えたフレーム画像をインデクスすべきフレー
ム画像であると決定するインデクス静止画決定手段と、
決定されたインデクス静止画を出力するインデクス静止
画出力手段とから構成されることを特徴とする代表画像
生成装置としたものであり、通常、動画の先頭画像や動
画途中のシーン変化点の先頭画像は、黒く内容がないフ
レーム画像であることが多いけれども、フレーム特徴
量、例えば輝度情報がある閾値を越えた時点のフレーム
画像を代表画像としているので、真っ黒なインデクス静
止画を生成してしまうことを避けることができるという
作用を有する。
【００１２】本発明の請求項６に記載の発明は、あらか
じめ撮影し蓄積しておいた動画を読み出して提供できる
ようにした動画入力手段と、提供された動画をフレーム
単位で格納するフレームメモリと、該フレームメモリに
格納されたフレーム単位の画像データを走査しながら物
体を検出する物体検出手段と、物体が検出された時点で
その物体がフレーム画像の特定領域（例えば中心付近）
で検出されたかどうかを判定する検出物体判定手段と、
該検出物体判定手段で物体が検出された時点のフレーム
画像をインデクスすべきフレーム画像であると決定する
インデクス静止画決定手段と、決定されたインデクス静
止画を出力するインデクス静止画出力手段とから構成さ
れることを特徴とする代表画像生成装置としたものであ
り、通常、動画の先頭画像や動画途中のシーン変化点の
先頭画像は、動画の対象目的となる人物や物体が表示さ
れていないフレームであることが多いけれども、画像の
特定領域（例えば、中心付近）に物体があると判定され
た時点では動画の対象目的となる人物や物体の画像が検
出されたことになることから、特定領域に人物や物体の
画像を判定する検出物体判定手段を備えることにより、
人物や物体がフレーム領域の特定位置に表示された時点
のフレーム画像を代表画像とすることができるという作
用を有する。
【００１３】本発明の請求項７に記載の発明は、あらか
じめ撮影し蓄積しておいた動画を読み出して提供できる
ようにした動画入力手段と、提供された動画をフレーム
単位で格納するフレームメモリと、該フレームメモリに
格納されたフレーム単位の画像データを走査しながら字
幕スーパーやテロップを検出するテロップ検出手段と、
検出した字幕スーパーやテロップを記憶するテロップ情
報記憶手段と、テロップが検出された時点の字幕スーパ
ーやテロップが挿入されたフレーム画像をインデクスす
べき画像であると決定するインデクス静止画決定手段
と、決定されたインデクス静止画に対して前記テロップ
情報記憶手段に記憶されたテロップ情報をもとにインデ
クス静止画を加工するインデクス静止画加工手段と、加
工されたインデクス静止画を出力するインデクス静止画
出力手段とから構成されることを特徴とする代表画像生
成装置としたものであり、映像編集者により説明用キャ
プションが入れられたフレーム画像がインデクス静止画
となるので、動画がニュース素材、ニュース番組、教育
用動画素材であるような場合には、代表画像として相応
しいものを代表画像に簡単に生成できるという作用を有
する。
【００１４】本発明の請求項８に記載の発明は、あらか
じめ撮影し蓄積しておいた動画を読み出して提供できる
ようにした動画入力手段と、提供された動画をフレーム
単位で格納するフレームメモリと、該フレームメモリに
格納されたフレーム単位の画像データを読み出してカッ
トを検出するカット検出手段と、各カットのカット長を
計算するカット長計算手段と、計算されたカット長を記
憶するカット長記憶手段と、記憶されたカット長の中か
ら最も長いカット長を有するカットを決定する最長カッ
ト決定手段と、最も長いカット長を有するカットにおい
てズーム、パン、チルトなどのカメラ操作を抽出するカ
メラ操作抽出手段と、カメラ操作が施されたフレーム画
像の前後のフレームを記憶するカメラ操作情報記憶手段
と、記憶された前後フレーム画像の中から１フレームを
選択してインデクスすべき画像を決定するインデクス静
止画決定手段と、決定されたインデクス静止画を出力す
るインデクス静止画出力手段とから構成されることを特
徴とする代表画像生成装置としたものであり、映像の撮
影および編集時に、カット時間やカット数量の面で最も
重点が置かれたシーンで、かつカメラ操作による効果の
面で最も重点が置かれたシーンの絵がインデクス静止画
とすることができるという作用を有する。
【００１５】本発明の請求項９に記載の発明は、あらか
じめ撮影し蓄積しておいた動画を読み出して提供できる
ようにした動画入力手段と、提供された動画をフレーム
単位で格納するフレームメモリと、該フレームメモリに
格納されたフレーム単位の画像データを読み出してカッ
トを検出するカット検出手段と、各カットのカット長を
計算するカット長計算手段と、計算されたカット長を記
憶するカット長記憶手段と、記憶された各カット長から
カット長の短いカットが連続する短カット区間の中から
最長の短カット区間を決定する短カット区間決定手段
と、決定された短カット区間からインデクスとして相応
しいフレーム画像を決定するインデクス静止画決定手段
と、決定されたインデクス静止画を出力するインデクス
静止画出力手段とから構成されることを特徴とする代表
画像生成装置としたものであり、映像の撮影および編集
時に、カット数量の面で最も重点が置かれたシーンの絵
をインデクス静止画すなわち代表画像とすることができ
るという作用を有する。
【００１６】本発明の請求項１０に記載の発明は、あら
かじめ撮影し蓄積しておいた動画を読み出して提供でき
るようにした動画入力手段と、提供された動画をフレー
ム単位で格納するフレームメモリと、該フレームメモリ
に格納されたフレーム単位の画像データを一定間隔区間
毎に１フレームずつ読み出す一定間隔区間フレーム抽出
手段と、抽出した複数のフレーム間で似ている映像の区
間を纏めることによりシーンを構成するシーン構成手段
と、構成したシーンの長さを計算するシーン長計算手段
と、計算したシーン長を記憶するシーン長記憶手段と、
記憶された各シーン長からシーン長の短いシーンが連続
する短シーン区間の中から最長の短シーン区間を決定す
る短シーン区間決定手段と、決定された短シーン区間か
らインデクスとして相応しいフレーム画像を決定するイ
ンデクス静止画決定手段と、決定されたインデクス静止
画を出力するインデクス静止画出力手段とから構成され
ることを特徴とする代表画像生成装置としたものであ
り、映像の撮影および編集時に、シーン数量の面で最も
重点が置かれた短シーンの絵をインデクス静止画すなわ
ち代表画像とすることができるという作用を有する。
【００１７】以下、本発明の実施の形態について、図面
を用いて説明する。
【００１８】（第１の実施の形態）図１は、本発明の第
１の実施の形態に係る代表画像生成装置の構成を示すも
のである。図１において代表画像生成装置は、あらかじ
め撮影し蓄積しておいた動画を読み出して提供できるよ
うにした動画入力手段１と、提供された動画をフレーム
単位で格納するフレームメモリ２と、フレームメモリ２
に格納されたフレーム単位の画像データを読み出してカ
ット（１纏まりの映像データ）を検出するカット検出手
段３と、各カットのカット長を計算するカット長計算手
段４と、計算されたカット長を記憶するカット長記憶手
段５と、記憶されたカット長の中から最も長いカット長
を有するカットを決定する最長カット決定手段６と、最
も長いカット長を有するカットからインデクスとして相
応しいフレーム画像を決定するインデクス静止画決定手
段７と、決定されたインデクス静止画を出力するインデ
クス静止画出力手段８とから構成されている。上記構成
において、動画入力手段１から取り出された動画は、フ
レームメモリ２と、インデクス静止画決定手段７にそれ
ぞれ入力される。
【００１９】図２を用いて代表画像が決定される過程を
上記動画入力手段１から取り出される動画のフレーム画
像開始点から始まる複数のカットから構成される動画の
例で説明する。すなわち、上記カット検出手段３は、カ
ット変化点に着目してカットの開始点を把握する。上記
最長カット決定手段６は、把握されたカットの中で最も
長いカット長を有するカットを特定する。上記インデク
ス静止画決定手段７は、そのカットの先頭から一定割合
にあるフレーム画像、たとえばカット長の先頭から30％
近傍の位置（最長カットの３分の１弱）にあるフレーム
画像を代表画像と決定する。そのように決定する理由
は、上記のような動画例においてその動画の中で最も長
いカット長を有するカットの先頭から一定割合にあるフ
レーム画像、たとえば最も長いカット長を有するカット
の先頭から30％近傍の位置にあるフレーム画像がその動
画の中身を代表するに相応しいフレーム画像であること
が多いという映像制作上の経験則に基づいている。な
お、カット検出の方法としては、隣り合うフレーム画像
間の特徴量の相関係数変化率によりカットの変化点を検
出する技術が公知なので、その技術を利用すればよい。
【００２０】このように本発明の第１の実施の形態の代
表画像生成装置によれば、映像の撮影および編集時に、
制作者の意図を反映する映像時間配分の面で最も重点が
置かれたシーンの絵をインデクス静止画とすることがで
き、動画の中身を的確に表すインデクス画像を提示でき
る代表画像生成装置を提供することができる。
【００２１】（第２の実施の形態）図３は、本発明の第
２の実施の形態に係る代表画像生成装置の構成を示すも
のである。図３において代表画像生成装置は、あらかじ
め撮影し蓄積しておいた動画を読み出して提供できるよ
うにした動画入力手段１と、提供された動画をフレーム
単位で格納するフレームメモリ２と、フレームメモリ２
に格納されたフレーム単位の画像データを読み出してカ
ット（１纏まりの映像データ）を検出するカット検出手
段３と、各カットのカット長を計算するカット長計算手
段４と、計算されたカット長を記憶するカット長記憶手
段５と、カット間で似ている絵（色、ものの配置など）
のカットを纏めて映像シーンを構成するシーン構成手段
９と、構成したシーンの長さを計算するシーン長計算手
段10と、計算したシーン長を記憶するシーン長記憶手段
11と、記憶されたシーン長から最も長いシーン長を有す
るシーンを決定する最長シーン決定手段12と、最も長い
シーン長を有するシーンからインデクスとして相応しい
フレーム画像を決定するインデクス静止画決定手段７
と、決定されたインデクス静止画を出力するインデクス
静止画出力手段８とから構成されている。上記構成にお
いて、動画入力手段１から取り出される動画は、フレー
ムメモリ２と、シーン構成手段９と、インデクス静止画
決定手段７にそれぞれ入力される。
【００２２】図４を用いて代表画像が決定される過程を
上記動画入力手段１から取り出される動画のフレーム画
像開始点から始まる複数のカットで構成される動画の例
で説明する。すなわち、上記カット検出手段３は、カッ
ト変化点に着目してカットの開始点を把握する。上記シ
ーン構成手段９は、複数のカットの間で似ている絵
（色、ものの配置など）のカットを纏めて映像シーンを
構成する。上記インデクス静止画決定手段７は、構成し
たシーンの中から最も長いシーン長を有するシーンの先
頭から一定割合にあるフレーム画像、たとえば最も長い
シーン長を有するシーンの先頭から30％近傍の位置（最
長シーンの３分の１弱）にあるフレーム画像を代表画像
と決定する。そのように決定する理由は、上記のような
動画例においてその動画の中で最も長いシーン長のシー
ンの先頭から一定割合にあるフレーム画像、たとえば最
も長いシーン長のシーンの先頭から30％近傍の位置にあ
るフレーム画像がその動画の中身を代表するに相応しい
フレーム画像であることが多いという映像制作上の経験
則に基づいている。なお、複数のカット間で似ているカ
ットを判定することは、結局は、フレーム画像間の類似
を判定することであり、一方フレーム画像間の類似を判
定する技術は公知なので、その技術を利用する。
【００２３】このように本発明の第２の実施の形態の代
表画像生成装置によれば、映像の撮影および編集時に、
制作者の意図を反映する映像時間配分の面で最も重点が
置かれたシーンの絵をインデクス静止画とすることがで
き、動画の中身を的確に表すインデクス画像を提示でき
る代表画像生成装置を提供することができる。
【００２４】（第３の実施の形態）図５は、本発明の第
３の実施の形態の代表画像生成装置の構成を示すもので
ある。図５において代表画像生成装置は、あらかじめ撮
影し蓄積しておいた動画を読み出して提供できるように
した動画入力手段１と、提供された動画をフレーム単位
で格納するフレームメモリ２と、フレームメモリ２に格
納されたフレーム単位の画像データを一定間隔区間毎に
１フレームずつ読み出す一定間隔区間フレーム抽出手段
13と、抽出した複数のフレーム間で似ている映像の区間
を纏めることによりシーンを構成するシーン構成手段９
と、構成したシーンの長さを計算するシーン長計算手段
10と、計算したシーン長を記憶するシーン長記憶手段11
と、記憶されたシーン長から最も長いシーン長を有する
シーンを決定する最長シーン決定手段12と、最も長いシ
ーン長を有するシーンからインデクスとして相応しいフ
レーム画像を決定するインデクス静止画決定手段７と、
決定されたインデクス静止画を出力するインデクス静止
画出力手段８とから構成されている。上記構成におい
て、動画入力手段１から取り出される動画は、フレーム
メモリ２と、シーン構成手段９と、インデクス静止画決
定手段７にそれぞれ入力される。
【００２５】代表画像が決定される過程を上記動画入力
手段１から取り出される動画のフレーム画像開始点から
一定間隔区間毎に１つずつ取り出されるフレーム画像に
ついて説明する。すなわち、上記一定間隔区間フレーム
抽出手段13は、一定間隔区間毎に１フレーム画像ずつフ
レーム画像を取り出す。上記シーン構成手段９は、取り
出された複数のフレーム画像間で似ている画像の区間を
纏めることによりシーンを構成する。上記インデクス静
止画決定手段７は、構成したシーンの中から最も長いシ
ーン長を有するシーンの先頭から一定割合にあるフレー
ム画像、たとえば最も長いシーン長を有するシーンの先
頭から30％近傍の位置（最長シーンの３分の１弱）にあ
るフレーム画像を代表画像と決定する。そのように決定
する理由は、上記のような動画例においてその動画の中
で最も長いシーン長を有するシーンの先頭から一定割合
にあるフレーム画像、たとえば最も長いシーン長を有す
るシーンの先頭から30％近傍の位置にあるフレーム画像
がその動画の中身を代表するに相応しいフレーム画像で
あることが多いという映像制作上の経験則に基づいてい
る。なお、前記したようにフレーム間の類似を判定する
技術は公知なので、その技術を利用すればよい。
【００２６】このように本発明の第３の実施の形態の代
表画像生成装置によれば、映像の撮影および編集時に、
制作者の意図を反映する映像時間配分の面で最も重点が
置かれたシーンの絵をインデクス静止画とすることがで
き、動画の中身を的確に表すインデクス画像を提示でき
る代表画像生成装置を提供することができる。
【００２７】（第４の実施の形態）図６は、本発明の第
４の実施の形態に係る代表画像生成装置の構成を示すも
のである。図６において代表画像生成装置は、あらかじ
め撮影し蓄積しておいた動画を読み出して提供できるよ
うにした動画入力手段１と、提供された動画をフレーム
単位で格納するフレームメモリ２と、フレームメモリ２
に格納された対象動画の全フレーム、または一部のフレ
ームを読み出し、そのうちフレーム特徴量（何らかのパ
ラメータ値）を抽出する特徴量パラメータ抽出手段14
と、抽出した特徴量パラメータから特徴量の大きさを計
算する特徴量計算手段15と、計算した特徴量の大きさの
うち最大のものを記憶する最大特徴量記憶手段16と、最
大の特徴量を有するフレーム画像をインデクスすべきフ
レーム画像であると決定するインデクス静止画決定手段
７と、決定されたインデクス静止画を出力するインデク
ス静止画出力手段８とから構成されている。上記構成に
おいて、動画入力手段１から取り出された動画は、フレ
ームメモリ２と、インデクス静止画決定手段７にそれぞ
れ入力される。
【００２８】代表画像が決定される過程を上記動画入力
手段１から取り出される連続するフレーム画像について
説明する。すなわち、上記特徴量パラメータ抽出手段14
は、読み出された対象動画の全フレーム、または一部の
フレームのうち、フレーム特徴量（何らかのパラメータ
値）を抽出する。つぎに、上記特徴量計算手段15は、抽
出した特徴量パラメータからその特徴量の大きさを計算
する。そして、上記最大特徴量記憶手段16は、計算され
た特徴量の大きさのうち最大のものを記憶する。上記イ
ンデクス静止画決定手段７は、最大の特徴量を呈するフ
レーム画像をインデクスすべきフレーム画像であるとし
て代表画像を決定する。
【００２９】このように本発明の第４の実施の形態の代
表画像生成装置によれば、例えば、音量が最大のフレー
ム、動き量が大きいフレーム、最も絵柄が複雑なフレー
ム、赤色が極端に多いフレームなど、最大の特徴量を有
するフレーム画像をインデクス静止画とすることがで
き、動画の中身を的確に表すインデクス画像を提示でき
る代表画像生成装置を提供することができる。なお、上
記例では、最大の特徴量を有するフレーム画像に着目し
てインデクス画像を決定したが、これとは反対に、最小
の特徴量を有するフレーム画像に着目してインデクス画
像を決定してもよい。また、ＭＰＥＧなどの圧縮動画の
場合、圧縮動画データに含まれる特徴量パラメータによ
り、フレームの動き量、複雑度など、これらの特徴量を
得ることができることが多いため、その場合は、処理時
間を大きく削減できる。
【００３０】（第５の実施の形態）図７は、本発明の第
５の実施の形態に係る代表画像生成装置の構成を示すも
のである。図７において代表画像生成装置は、あらかじ
め撮影し蓄積しておいた動画を読み出して提供できるよ
うにした動画入力手段１と、提供された動画をフレーム
単位で格納するフレームメモリ２と、フレームメモリ２
に格納された対象動画の全フレーム、または一部のフレ
ームを読み出し、そのうち、フレーム特徴量（何らかの
パラメータ値）を抽出する特徴量パラメータ抽出手段14
と、抽出した特徴量パラメータから特徴量の大きさを計
算する特徴量計算手段15と、計算された特徴量の大きさ
が規定の値以上になった時点を判定する特徴量判定手段
17と、規定の値を越えたフレーム画像をインデクスすべ
きフレーム画像であると決定するインデクス静止画決定
手段７と、決定されたインデクス静止画を出力するイン
デクス静止画出力手段８とから構成されている。上記構
成において、動画入力手段１から取り出された動画は、
フレームメモリ２と、インデクス静止画決定手段７にそ
れぞれ入力される。
【００３１】代表画像が決定される過程を上記動画入力
手段１から取り出される連続するフレーム画像について
説明する。すなわち、上記特徴量パラメータ抽出手段14
は、対象動画のフレーム（例えば先頭フレーム）から順
に走査していき、フレーム特徴量（何らかのパラメータ
値、例えば輝度情報）について抽出する。つぎに、上記
特徴量計算手段15は、抽出した特徴量パラメータからそ
の特徴量、例えば輝度情報の大きさを計算する。そし
て、上記特徴量判定手段17は、計算された特徴量例えば
輝度情報の大きさがあらかじめ設定されている規定の値
を越えた時点を判定する。上記インデクス静止画決定手
段７は、規定の値（閾値）を越えた時点のフレーム画像
をインデクスとして相応しいフレーム画像であるとして
代表画像を決定する。そしてそれを出力するようにす
る。
【００３２】このように本発明の第５の実施の形態の代
表画像生成装置によれば、通常、動画の先頭画像や動画
途中のシーン変化点の先頭画像は、黒く内容がないフレ
ーム画像であることが多いけれども、フレーム特徴量、
例えば輝度情報がある閾値を越えた時点のフレーム画像
を代表画像としているので、真っ黒なインデクス静止画
を生成してしまうことを避けることができ、動画の中身
を的確に表すインデクス画像を提示できる代表画像生成
装置を提供することができる。
【００３３】（第６の実施の形態）図８は、本発明の第
６の実施の形態に係る代表画像生成装置の構成を示すも
のである。図８において代表画像生成装置は、あらかじ
め撮影し蓄積しておいた動画を読み出して提供できるよ
うにした動画入力手段１と、提供された動画をフレーム
単位で格納するフレームメモリ２と、フレームメモリ２
に格納されたフレーム単位の画像データを順に（或いは
飛び飛びに）走査しながら物体を検出する物体検出手段
18と、物体が検出された時点でその物体がフレーム画像
の特定領域（例えば中心付近）で検出されたかどうかを
判定する検出物体判定手段19と、検出物体判定手段19で
物体が検出された時点のフレーム画像をインデクスすべ
きフレーム画像であると決定するインデクス静止画決定
手段７と、決定されたインデクス静止画を出力するイン
デクス静止画出力手段８とから構成されている。上記構
成において、動画入力手段１から取り出された動画は、
フレームメモリ２と、インデクス静止画決定手段７にそ
れぞれ入力される。
【００３４】代表画像が決定される過程を上記動画入力
手段１から取り出される連続するフレーム画像について
説明する。すなわち、上記物体検出手段18は、対象動画
のフレーム（例えば先頭フレーム）から順に（或いは飛
び飛びに）走査しながら、例えば明るさの濃度データの
積算値の変化に基づいて物体を検出する。上記検出物体
判定手段19は、物体が検出された領域が画像の特定領域
（例えば、中心付近）にあるかどうかを判定する。そし
て上記インデクス静止画決定手段７は、上記検出物体判
定手段19の判定結果に基づいてその時点のフレーム画像
をインデクスとして相応しいフレーム画像であるとして
代表画像を決定する。上記インデクス静止画出力手段８
は、決定されたフレーム画像を出力する。
【００３５】このように本発明の第６の実施の形態の代
表画像生成装置によれば、通常、動画の先頭画像や動画
途中のシーン変化点の先頭画像は、動画の対象目的とな
る人物や物体が表示されていないフレームであることが
多いけれども、画像の特定領域（例えば、中心付近）に
物体があると判定された時点では動画の対象目的となる
人物や物体の画像が検出されたことになることから、特
定領域に人物や物体の画像を判定する検出物体判定手段
を備えることにより、人物や物体がフレーム領域の特定
位置に表示された時点のフレーム画像を代表画像とする
ことができ、動画の中身を的確に表すインデクス画像を
提示できる代表画像生成装置を提供することができる。
【００３６】（第７の実施の形態）図９は、本発明の第
７の実施の形態に係る代表画像生成装置の構成を示すも
のである。図９において本発明の第７の実施の形態に係
る代表画像生成装置は、あらかじめ撮影し蓄積しておい
た動画を読み出して提供できるようにした動画入力手段
１と、提供された動画をフレーム単位で格納するフレー
ムメモリ２と、フレームメモリ２に格納されたフレーム
単位の画像データを順に（或いは飛び飛びに）走査しな
がら字幕スーパーやテロップを検出するテロップ検出手
段20と、検出した字幕スーパーやテロップを記憶するテ
ロップ情報記憶手段21と、テロップが検出された時点の
字幕スーパーやテロップが挿入されたフレーム画像をイ
ンデクスすべき画像であると決定するインデクス静止画
決定手段７と、決定されたインデクス静止画に対してテ
ロップ情報記憶手段21に記憶されたテロップ情報をもと
に、例えばインデクス静止画でもテロップが確実に読み
取れるようにテロップを拡大して表示できるようインデ
クス静止画を加工するインデクス静止画加工手段22と、
加工されたインデクス静止画を出力するインデクス静止
画出力手段８とから構成されている。上記構成におい
て、動画入力手段１から取り出された動画は、フレーム
メモリ２と、インデクス静止画決定手段７にそれぞれ入
力される。
【００３７】代表画像が決定される過程を上記動画入力
手段１から取り出されるフレーム画像について説明す
る。すなわち、上記テロップ検出手段20が対象動画のあ
るフレーム（先頭フレーム）から順に（或いは飛び飛び
に）走査しながら字幕スーパーやテロップを検出する。
テロップの検出技術それ自体は公知なので、ここでは詳
述しない。次に、上記テロップ情報記憶手段21は、検出
した字幕スーパーやテロップを記憶する。テロップが記
憶されたことを受けて、上記インデクス静止画決定手段
７は、テロップが検出された時点のフレーム画像をイン
デクスすべき画像であると決定する。決定されたインデ
クス静止画は上記インデクス静止画加工手段22に与えら
れ、上記テロップ情報記憶手段21に記憶されたテロップ
情報をもとにテロップ情報の加工、すなわちインデクス
静止画でもテロップが確実に読み取れるように例えばテ
ロップを拡大して表示できるよう加工する。そして上記
インデクス静止画出力手段８よりインデクス静止画を出
力する。
【００３８】このように本発明の第７の実施の形態の代
表画像生成装置によれば、映像編集者により説明用キャ
プションが入れられたフレーム画像がインデクス静止画
となるので、動画がニュース素材、ニュース番組、教育
用動画素材であるような場合には、代表画像として相応
しいものを代表画像に簡単に生成できるので、動画の中
身を的確に表すインデクス画像を提示できる代表画像生
成装置を提供することができる。
【００３９】（第８の実施の形態）図１０は、本発明の
第８の実施の形態に係る代表画像生成装置の構成を示す
ものである。図１０において本発明の第８の実施の形態
に係る代表画像生成装置は、あらかじめ撮影し蓄積して
おいた動画を読み出して提供できるようにした動画入力
手段１と、提供された動画をフレーム単位で格納するフ
レームメモリ２と、フレームメモリ２に格納されたフレ
ーム単位の画像データを読み出してカット（１纏まりの
映像データ）を検出するカット検出手段３と、各カット
のカット長を計算するカット長計算手段４と、計算され
たカット長を記憶するカット長記憶手段５と、記憶され
たカット長の中から最も長いカット長を有するカットを
決定する最長カット決定手段６と、最も長いカット長を
有するカットにおいてズーム、パン、チルトなどのカメ
ラ操作を抽出するカメラ操作抽出手段23と、カメラ操作
が施されたフレーム画像の前後のフレームを記憶するカ
メラ操作情報記憶手段24と、記憶された前後フレーム画
像の中から１フレームを選択してインデクスすべき画像
を決定するインデクス静止画決定手段７と、決定された
インデクス静止画を出力するインデクス静止画出力手段
８とから構成されている。上記構成において、動画入力
手段１から取り出された動画は、フレームメモリ２と、
カメラ操作抽出手段23にそれぞれ入力される。
【００４０】代表画像が決定される過程を上記動画入力
手段１から取り出される連続するフレーム画像について
説明する。すなわち、上記カメラ操作抽出手段23は最も
長いカット長を有するカットにおいてズーム、パン、チ
ルトなどのカメラ操作を抽出する。上記カメラ操作情報
記憶手段24は、カメラ操作が施されたフレーム画像の前
後のフレーム画像を記憶する。ズーム、パン、チルトな
どのカメラ操作の検出技術それ自体は公知なので、ここ
では詳述しない。次に、上記インデクス静止画決定手段
７は、記憶された前後フレームの中から１フレーム、例
えばズームアップ直後のフレーム画像を選択しインデク
スとして相応しいフレーム画像を決定する。そして上記
インデクス静止画出力手段８よりインデクス静止画を出
力する。
【００４１】このように本発明の第８の実施の形態の代
表画像生成装置によれば、映像の撮影および編集時に、
カット時間やカット数量の面で最も重点が置かれたシー
ンで、かつカメラ操作による効果の面で最も重点が置か
れたシーンの絵がインデクス静止画となるので、動画の
中身を的確に表すインデクス画像を提示できる代表画像
生成装置を提供することができる。
【００４２】（第９の実施の形態）図１１は、本発明の
第９の実施の形態に係る代表画像生成装置の構成を示す
ものである。図１１において本発明の第９の実施の形態
に係る代表画像生成装置は、あらかじめ撮影し蓄積して
おいた動画を読み出して提供できるようにした動画入力
手段１と、提供された動画をフレーム単位で格納するフ
レームメモリ２と、フレームメモリ２に格納されたフレ
ーム単位の画像データを読み出してカット（１纏まりの
映像データ）を検出するカット検出手段３と、各カット
のカット長を計算するカット長計算手段４と、計算され
たカット長を記憶するカット長記憶手段５と、記憶され
た各カット長からカット長の短いカットが連続する短カ
ット区間の中から最長の短カット区間を決定する短カッ
ト区間決定手段25と、決定された短カット区間からイン
デクスとして相応しいフレーム画像を決定するインデク
ス静止画決定手段７と、決定されたインデクス静止画を
出力するインデクス静止画出力手段８とから構成されて
いる。上記構成において、動画入力手段１から取り出さ
れた動画は、フレームメモリ２と、インデクス静止画決
定手段７にそれぞれ入力される。
【００４３】図１２を用いて代表画像が決定される過程
を上記動画入力手段１から取り出される動画のフレーム
画像開始点から始まる複数のカットの例で説明する。す
なわち、上記カット検出手段３は、カット変化点に着目
してカットの開始点を把握する。さらに、上記カット長
計算手段４は、各カットの長さを計算する。そして、上
記短カット区間決定手段25は、カット長の短いカットが
連続する短カット区間の中から最長の短カット区間を決
定する。そして、上記インデクス静止画決定手段７は、
最長の短カット区間の先頭から一定割合にあるフレーム
画像、例えば決定された短カット区間の先頭から30％近
傍の位置にあるフレーム画像を代表画像と決定する。そ
のように決定する理由は、上記のような動画例において
その動画の中で最長の短カット区間は、映像の撮影およ
び編集時に、カット数量の面で最も重点が置かれたシー
ンの絵であってこれを視聴覚者に印象付けるために制作
者が多用するという経験則に基づくものである。
【００４４】このように本発明の第９の実施の形態の代
表画像生成装置によれば、映像の撮影および編集時に、
カット数量の面で最も重点が置かれたシーンの絵をイン
デクス静止画すなわち代表画像とすることができ、動画
が映画やドラマ映像のような場合に動画の中身を的確に
表すインデクス画像を提示できる代表画像生成装置を提
供することができる。
【００４５】（第１０の実施の形態）図１３は、本発明
の第１０の実施の形態に係る代表画像生成装置の構成を
示すものである。図１３において本発明の第１０の実施
の形態の代表画像生成装置は、あらかじめ撮影し蓄積し
ておいた動画を読み出して提供できるようにした動画入
力手段１と、提供された動画をフレーム単位で格納する
フレームメモリ２と、フレームメモリ２に格納されたフ
レーム単位の画像データを一定間隔区間毎に１フレーム
ずつ読み出す一定間隔区間フレーム抽出手段13と、抽出
した複数のフレーム間で似ている映像の区間を纏めるこ
とによりシーンを構成するシーン構成手段９と、構成し
たシーンの長さを計算するシーン長計算手段10と、計算
したシーン長を記憶するシーン長記憶手段11と、記憶さ
れた各シーン長からシーン長の短いシーンが連続する短
シーン区間の中から最長の短シーン区間を決定する短シ
ーン区間決定手段26と、決定された短シーン区間からイ
ンデクスとして相応しいフレーム画像を決定するインデ
クス静止画決定手段７と、決定されたインデクス静止画
を出力するインデクス静止画出力手段８とから構成され
ている。上記構成において、動画入力手段１から取り出
される動画は、フレームメモリ２と、シーン構成手段９
と、インデクス静止画決定手段７にそれぞれ入力され
る。
【００４６】代表画像が決定される過程を上記動画入力
手段１から取り出される動画のフレーム画像開始点から
一定間隔区間毎に１フレーム画像ずつ取り出されるフレ
ーム画像について説明する。すなわち、上記一定間隔区
間フレーム抽出手段13は、一定間隔区間毎に１フレーム
画像ずつフレーム画像を取り出す。上記シーン構成手段
９は、取り出された複数のフレーム画像間で似ている画
像の区間を纏めることによりシーンを構成する。上記シ
ーン長計算手段10は、各シーンの長さを計算する。そし
て、上記短シーン区間決定手26は、シーン長の短いシー
ンが連続する短シーン区間の中から最長の短シーン区間
を決定する。そして、上記インデクス静止画決定手段７
は、最長の短シーン区間の先頭から一定割合にあるフレ
ーム画像、例えば決定された短シーン区間の先頭から30
％近傍の位置にあるフレーム画像を代表画像と決定す
る。そのように決定する理由は、上記のような動画例に
おいてその動画の中で最長の短シーン区間は、映像の撮
影および編集時に、シーン数量の面で最も重点が置かれ
たシーンの絵であってこれを視聴覚者に印象付けるため
に制作者が多用するという経験則に基づくものである。
なお、上記したようにフレーム間の類似を判定する技術
は公知なので、その技術を利用すればよい。
【００４７】このように本発明の第１０の実施の形態の
代表画像生成装置によれば、映像の撮影および編集時
に、シーン数量の面で最も重点が置かれた短シーンの絵
をインデクス静止画すなわち代表画像とすることがで
き、動画が映画やドラマ映像のような場合に動画の中身
を的確に表すインデクス画像を提示できる代表画像生成
装置を提供することができる。
【００４８】なお、以上の実施の形態では、静止画が代
表画像となる例について説明したが、代表画像を静止画
に限定する必要はなく、動画像を代表画像とすることも
できることを付け加えておく。
【００４９】
【発明の効果】以上のように本発明によれば、動画の中
身を的確に表すインデクスとなる画像を提示できる代表
画像生成装置を提供することができるという優れた効果
が得られる。
【００５０】さらに念のため、本発明の請求項毎にその
効果を記載すると、請求項１乃至請求項３に記載の発明
によれば、映像の撮影および編集時に、制作者の意図を
反映する映像時間配分の面で最も重点が置かれたシーン
の絵をインデクス静止画とすることができ、動画の中身
を的確に表すインデクス画像を提示できる代表画像生成
装置を提供することができる。
【００５１】請求項４に記載の発明によれば、例えば、
音量が最大のフレーム、動き量が大きいフレーム、最も
絵柄が複雑なフレーム、赤色が極端に多いフレームな
ど、最大の特徴量を有するフレーム画像をインデクス静
止画とすることができ、動画の中身を的確に表すインデ
クス画像を提示できる代表画像生成装置を提供すること
ができる。
【００５２】請求項５に記載の発明によれば、通常、動
画の先頭画像や動画途中のシーン変化点の先頭画像は、
黒く内容がないフレーム画像であることが多いけれど
も、フレーム特徴量、例えば輝度情報がある閾値を越え
た時点のフレーム画像を代表画像としているので、真っ
黒なインデクス静止画を生成してしまうことを避けるこ
とができ、動画の中身を的確に表すインデクス画像を提
示できる代表画像生成装置を提供することができる。
【００５３】請求項６に記載の発明によれば、通常、動
画の先頭画像や動画途中のシーン変化点の先頭画像は、
動画の対象目的となる人物や物体が表示されていないフ
レームであることが多いけれども、画像の特定領域（例
えば、中心付近）に物体があると判定された時点では動
画の対象目的となる人物や物体の画像が検出されたこと
になることから、特定領域に人物や物体の画像を判定す
る検出物体判定手段を備えることにより、人物や物体が
フレーム領域の特定位置に表示された時点のフレーム画
像を代表画像とすることができ、動画の中身を的確に表
すインデクス画像を提示できる代表画像生成装置を提供
することができる。
【００５４】請求項７に記載の発明によれば、映像編集
者により説明用キャプションが入れられたフレーム画像
がインデクス静止画となるので、動画がニュース素材、
ニュース番組、教育用動画素材であるような場合には、
代表画像として相応しいものを代表画像に簡単に生成で
きるので、動画の中身を的確に表すインデクス画像を提
示できる代表画像生成装置を提供することができる。
【００５５】請求項８に記載の発明によれば、映像の撮
影および編集時に、カット時間やカット数量の面で最も
重点が置かれたシーンで、かつカメラ操作による効果の
面で最も重点が置かれたシーンの絵がインデクス静止画
となるので、動画の中身を的確に表すインデクス画像を
提示できる代表画像生成装置を提供することができる。
【００５６】請求項９に記載の発明によれば、映像の撮
影および編集時に、カット数量の面で最も重点が置かれ
たシーンの絵をインデクス静止画すなわち代表画像とす
ることができ、動画が映画やドラマ映像のような場合に
動画の中身を的確に表すインデクス画像を提示できる代
表画像生成装置を提供することができる。
【００５７】請求項１０に記載の発明によれば、映像の
撮影および編集時に、シーン数量の面で最も重点が置か
れた短シーンの絵をインデクス静止画すなわち代表画像
とすることができ、動画が映画やドラマ映像のような場
合に動画の中身を的確に表すインデクス画像を提示でき
る代表画像生成装置を提供することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態に係る代表画像生成
装置の構成を示す図、
【図２】本発明の第１の実施の形態に係る代表画像生成
装置の動作を説明するための図、
【図３】本発明の第２の実施の形態に係る代表画像生成
装置の構成を示す図、
【図４】本発明の第２の実施の形態に係る代表画像生成
装置の動作を説明するための図、
【図５】本発明の第３の実施の形態に係る代表画像生成
装置の構成を示す図、
【図６】本発明の第４の実施の形態に係る代表画像生成
装置の構成を示す図、
【図７】本発明の第５の実施の形態に係る代表画像生成
装置の構成を示す図、
【図８】本発明の第６の実施の形態に係る代表画像生成
装置の構成を示す図、
【図９】本発明の第７の実施の形態に係る代表画像生成
装置の構成を示す図、
【図１０】本発明の第８の実施の形態に係る代表画像生
成装置の構成を示す図、
【図１１】本発明の第９の実施の形態に係る代表画像生
成装置の構成を示す図、
【図１２】本発明の第９の実施の形態に係る代表画像生
成装置の動作を説明するための図、
【図１３】本発明の第１０の実施の形態に係る代表画像
生成装置の構成を示す図である。
【符号の説明】
１ 動画入力手段 ２ フレームメモリ ３ カット検出手段 ４ カット長計算手段 ５ カット長記憶手段 ６ 最長カット決定手段 ７ インデクス静止画決定手段 ８ インデクス出力手段 ９ シーン構成手段 10 シーン長計算手段 11 シーン長記憶手段 12 最長シーン決定手段 13 一定間隔区間フレーム抽出手段 14 特徴量パラメータ抽出手段 15 特徴量計算手段 16 最大特徴量記憶手段 17 特徴量判定手段 18 物体検出手段 19 検出物体判定手段 20 テロップ抽出手段 21 テロップ情報記憶手段 22 インデクス静止画加工手段 23 カメラ操作抽出手段 24 カメラ操作情報記憶手段 25 短カット区間決定手段 26 短シーン区間決定手段

Claims (10)

    【特許請求の範囲】
  1. 【請求項１】 あらかじめ撮影し蓄積しておいた動画を
    読み出して提供できるようにした動画入力手段と、提供
    された動画をフレーム単位で格納するフレームメモリ
    と、該フレームメモリに格納されたフレーム単位の画像
    データを読み出してカットを検出するカット検出手段
    と、各カットのカット長を計算するカット長計算手段
    と、計算されたカット長を記憶するカット長記憶手段
    と、記憶されたカット長の中から最も長いカット長を有
    するカットを決定する最長カット決定手段と、最も長い
    カット長を有するカットからインデクスとして相応しい
    フレーム画像を決定するインデクス静止画決定手段と、
    決定されたインデクス静止画を出力するインデクス静止
    画出力手段とから構成されることを特徴とする代表画像
    生成装置。
  2. 【請求項２】 あらかじめ撮影し蓄積しておいた動画を
    読み出して提供できるようにした動画入力手段と、提供
    された動画をフレーム単位で格納するフレームメモリ
    と、該フレームメモリに格納されたフレーム単位の画像
    データを読み出してカットを検出するカット検出手段
    と、各カットのカット長を計算するカット長計算手段
    と、計算されたカット長を記憶するカット長記憶手段
    と、カット間で似ている絵などのカットを纏めて映像シ
    ーンを構成するシーン構成手段と、構成したシーンの長
    さを計算するシーン長計算手段と、計算したシーン長を
    記憶するシーン長記憶手段と、記憶されたシーン長から
    最も長いシーン長を有するシーンを決定する最長シーン
    決定手段と、最も長いシーン長を有するシーンからイン
    デクスとして相応しいフレーム画像を決定するインデク
    ス静止画決定手段と、決定されたインデクス静止画を出
    力するインデクス静止画出力手段とから構成されること
    を特徴とする代表画像生成装置。
  3. 【請求項３】 あらかじめ撮影し蓄積しておいた動画を
    読み出して提供できるようにした動画入力手段と、提供
    された動画をフレーム単位で格納するフレームメモリ
    と、該フレームメモリに格納されたフレーム単位の画像
    データを一定間隔区間毎に１フレームずつ読み出す一定
    間隔区間フレーム抽出手段と、抽出した複数のフレーム
    間で似ている映像の区間を纏めることによりシーンを構
    成するシーン構成手段と、構成したシーンの長さを計算
    するシーン長計算手段と、計算したシーン長を記憶する
    シーン長記憶手段と、記憶された各シーン長から最も長
    いシーン長を有するシーンを決定する最長シーン決定手
    段と、最も長いシーン長を有するシーンからインデクス
    として相応しいフレーム画像を決定するインデクス静止
    画決定手段と、決定されたインデクス静止画を出力する
    インデクス静止画出力手段とから構成されることを特徴
    とする代表画像生成装置。
  4. 【請求項４】 あらかじめ撮影し蓄積しておいた動画を
    読み出して提供できるようにした動画入力手段と、提供
    された動画をフレーム単位で格納するフレームメモリ
    と、該フレームメモリに格納された対象動画の全フレー
    ム、または一部のフレームを読み出し、そのうちフレー
    ム特徴量（何らかのパラメータ値）を抽出する特徴量パ
    ラメータ抽出手段と、抽出した特徴量パラメータから特
    徴量（値）の大きさを計算する特徴量計算手段と、計算
    した特徴量の大きさのうち最大のものを記憶する最大特
    徴量記憶手段と、最大の特徴量を有するフレーム画像を
    インデクスすべきフレーム画像であると決定するインデ
    クス静止画決定手段と、決定されたインデクス静止画を
    出力するインデクス静止画出力手段とから構成されるこ
    とを特徴とする代表画像生成装置。
  5. 【請求項５】 あらかじめ撮影し蓄積しておいた動画を
    読み出して提供できるようにした動画入力手段と、提供
    された動画をフレーム単位で格納するフレームメモリ
    と、該フレームメモリに格納された対象動画の全フレー
    ム、または一部のフレームを読み出し、そのうち、フレ
    ーム特徴量（何らかのパラメータ値）を抽出する特徴量
    パラメータ抽出手段と、抽出した特徴量パラメータから
    特徴量の大きさを計算する特徴量計算手段と、計算され
    た特徴量の大きさが規定の値以上になった時点を判定す
    る特徴量判定手段と、規定の値を越えたフレーム画像を
    インデクスすべきフレーム画像であると決定するインデ
    クス静止画決定手段と、決定されたインデクス静止画を
    出力するインデクス静止画出力手段とから構成されるこ
    とを特徴とする代表画像生成装置。
  6. 【請求項６】 あらかじめ撮影し蓄積しておいた動画を
    読み出して提供できるようにした動画入力手段と、提供
    された動画をフレーム単位で格納するフレームメモリ
    と、該フレームメモリに格納されたフレーム単位の画像
    データを走査しながら物体を検出する物体検出手段と、
    物体が検出された時点でその物体がフレーム画像の特定
    領域で検出されたかどうかを判定する検出物体判定手段
    と、該検出物体判定手段で物体が検出された時点のフレ
    ーム画像をインデクスすべきフレーム画像であると決定
    するインデクス静止画決定手段と、決定されたインデク
    ス静止画を出力するインデクス静止画出力手段とから構
    成されることを特徴とする代表画像生成装置。
  7. 【請求項７】 あらかじめ撮影し蓄積しておいた動画を
    読み出して提供できるようにした動画入力手段と、提供
    された動画をフレーム単位で格納するフレームメモリ
    と、該フレームメモリに格納されたフレーム単位の画像
    データを走査しながら字幕スーパーやテロップを検出す
    るテロップ検出手段と、検出した字幕スーパーやテロッ
    プを記憶するテロップ情報記憶手段と、テロップが検出
    された時点の字幕スーパーやテロップが挿入されたフレ
    ーム画像をインデクスすべき画像であると決定するイン
    デクス静止画決定手段と、決定されたインデクス静止画
    に対して前記テロップ情報記憶手段に記憶されたテロッ
    プ情報をもとにインデクス静止画を加工するインデクス
    静止画加工手段と、加工されたインデクス静止画を出力
    するインデクス静止画出力手段とから構成されることを
    特徴とする代表画像生成装置。
  8. 【請求項８】 あらかじめ撮影し蓄積しておいた動画を
    読み出して提供できるようにした動画入力手段と、提供
    された動画をフレーム単位で格納するフレームメモリ
    と、該フレームメモリに格納されたフレーム単位の画像
    データを読み出してカットを検出するカット検出手段
    と、各カットのカット長を計算するカット長計算手段
    と、計算されたカット長を記憶するカット長記憶手段
    と、記憶されたカット長の中から最も長いカット長を有
    するカットを決定する最長カット決定手段と、最も長い
    カット長を有するカットにおいてズーム、パン、チルト
    などのカメラ操作を抽出するカメラ操作抽出手段と、カ
    メラ操作が施されたフレーム画像の前後のフレームを記
    憶するカメラ操作情報記憶手段と、記憶された前後フレ
    ーム画像の中から１フレームを選択してインデクスすべ
    き画像を決定するインデクス静止画決定手段と、決定さ
    れたインデクス静止画を出力するインデクス静止画出力
    手段とから構成されることを特徴とする代表画像生成装
    置。
  9. 【請求項９】 あらかじめ撮影し蓄積しておいた動画を
    読み出して提供できるようにした動画入力手段と、提供
    された動画をフレーム単位で格納するフレームメモリ
    と、該フレームメモリに格納されたフレーム単位の画像
    データを読み出してカットを検出するカット検出手段
    と、各カットのカット長を計算するカット長計算手段
    と、計算されたカット長を記憶するカット長記憶手段
    と、記憶された各カット長からカット長の短いカットが
    連続する短カット区間の中から最長の短カット区間を決
    定する短カット区間決定手段と、決定された短カット区
    間からインデクスとして相応しいフレーム画像を決定す
    るインデクス静止画決定手段と、決定されたインデクス
    静止画を出力するインデクス静止画出力手段とから構成
    されることを特徴とする代表画像生成装置。
  10. 【請求項１０】 あらかじめ撮影し蓄積しておいた動画
    を読み出して提供できるようにした動画入力手段と、提
    供された動画をフレーム単位で格納するフレームメモリ
    と、該フレームメモリに格納されたフレーム単位の画像
    データを一定間隔区間毎に１フレームずつ読み出す一定
    間隔区間フレーム抽出手段と、抽出した複数のフレーム
    間で似ている映像の区間を纏めることによりシーンを構
    成するシーン構成手段と、構成したシーンの長さを計算
    するシーン長計算手段と、計算したシーン長を記憶する
    シーン長記憶手段と、記憶された各シーン長からシーン
    長の短いシーンが連続する短シーン区間の中から最長の
    短シーン区間を決定する短シーン区間決定手段と、決定
    された短シーン区間からインデクスとして相応しいフレ
    ーム画像を決定するインデクス静止画決定手段と、決定
    されたインデクス静止画を出力するインデクス静止画出
    力手段とから構成されることを特徴とする代表画像生成
    装置。
JP30954897A 1997-10-24 1997-10-24 代表画像生成装置 Expired - Fee Related JP3534592B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP30954897A JP3534592B2 (ja) 1997-10-24 1997-10-24 代表画像生成装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP30954897A JP3534592B2 (ja) 1997-10-24 1997-10-24 代表画像生成装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2003138472A Division JP2003298983A (ja) 2003-05-16 2003-05-16 代表画像生成装置

Publications (2)

Publication Number Publication Date
JPH11136637A true JPH11136637A (ja) 1999-05-21
JP3534592B2 JP3534592B2 (ja) 2004-06-07

Family

ID=17994347

Family Applications (1)

Application Number Title Priority Date Filing Date
JP30954897A Expired - Fee Related JP3534592B2 (ja) 1997-10-24 1997-10-24 代表画像生成装置

Country Status (1)

Country Link
JP (1) JP3534592B2 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000350156A (ja) * 1999-06-09 2000-12-15 Hitachi Ltd 動画像情報の記憶方法及びこれを記録した記録媒体
JP2002358522A (ja) * 2001-05-31 2002-12-13 Olympus Optical Co Ltd 画像選出支援装置および画像選出支援方法ならびに画像選出支援プログラム
JP2006157463A (ja) * 2004-11-29 2006-06-15 National Institute Of Advanced Industrial & Technology 作業状況記録装置、その記録方法及び記録プログラム
JP2007243501A (ja) * 2006-03-08 2007-09-20 Sanyo Electric Co Ltd 映像再生装置
JP2007536625A (ja) * 2004-05-03 2007-12-13 マイクロソフト コーポレーション メディアオブジェクトの代表サンプルをカプセル化するシステムおよび方法
US7710489B2 (en) 2000-01-14 2010-05-04 Fujifilm Corporation Image reproducing apparatus and digital camera
JP2012105205A (ja) * 2010-11-12 2012-05-31 Nikon Corp キーフレーム抽出装置、キーフレーム抽出プログラム、キーフレーム抽出方法、撮像装置、およびサーバ装置
US10984248B2 (en) 2014-12-15 2021-04-20 Sony Corporation Setting of input images based on input music

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0689549A (ja) * 1992-09-08 1994-03-29 Pioneer Electron Corp 画像再生表示装置および記録媒体
JPH06113253A (ja) * 1992-09-30 1994-04-22 Sony Corp 画像表示方法
JPH06149902A (ja) * 1992-11-09 1994-05-31 Matsushita Electric Ind Co Ltd 動画像記録媒体、動画像記録装置、及び動画像再生装置
JPH07111630A (ja) * 1993-10-14 1995-04-25 Matsushita Electric Ind Co Ltd 動画像編集装置及びカット統合方法
JPH0832924A (ja) * 1994-07-19 1996-02-02 Nippon Telegr & Teleph Corp <Ntt> 代表画面抽出方法および装置
JPH08191411A (ja) * 1994-11-08 1996-07-23 Matsushita Electric Ind Co Ltd シーン判別方法および代表画像記録・表示装置
JPH09233422A (ja) * 1996-02-26 1997-09-05 Oki Electric Ind Co Ltd 動画像処理システムにおける動画像情報検出装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0689549A (ja) * 1992-09-08 1994-03-29 Pioneer Electron Corp 画像再生表示装置および記録媒体
JPH06113253A (ja) * 1992-09-30 1994-04-22 Sony Corp 画像表示方法
JPH06149902A (ja) * 1992-11-09 1994-05-31 Matsushita Electric Ind Co Ltd 動画像記録媒体、動画像記録装置、及び動画像再生装置
JPH07111630A (ja) * 1993-10-14 1995-04-25 Matsushita Electric Ind Co Ltd 動画像編集装置及びカット統合方法
JPH0832924A (ja) * 1994-07-19 1996-02-02 Nippon Telegr & Teleph Corp <Ntt> 代表画面抽出方法および装置
JPH08191411A (ja) * 1994-11-08 1996-07-23 Matsushita Electric Ind Co Ltd シーン判別方法および代表画像記録・表示装置
JPH09233422A (ja) * 1996-02-26 1997-09-05 Oki Electric Ind Co Ltd 動画像処理システムにおける動画像情報検出装置

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000350156A (ja) * 1999-06-09 2000-12-15 Hitachi Ltd 動画像情報の記憶方法及びこれを記録した記録媒体
US7710489B2 (en) 2000-01-14 2010-05-04 Fujifilm Corporation Image reproducing apparatus and digital camera
JP2002358522A (ja) * 2001-05-31 2002-12-13 Olympus Optical Co Ltd 画像選出支援装置および画像選出支援方法ならびに画像選出支援プログラム
US8055030B2 (en) 2001-05-31 2011-11-08 Olympus Corporation Image selection support system for supporting selection of well-photographed image from plural images
JP2007536625A (ja) * 2004-05-03 2007-12-13 マイクロソフト コーポレーション メディアオブジェクトの代表サンプルをカプセル化するシステムおよび方法
JP2006157463A (ja) * 2004-11-29 2006-06-15 National Institute Of Advanced Industrial & Technology 作業状況記録装置、その記録方法及び記録プログラム
JP2007243501A (ja) * 2006-03-08 2007-09-20 Sanyo Electric Co Ltd 映像再生装置
JP2012105205A (ja) * 2010-11-12 2012-05-31 Nikon Corp キーフレーム抽出装置、キーフレーム抽出プログラム、キーフレーム抽出方法、撮像装置、およびサーバ装置
US10984248B2 (en) 2014-12-15 2021-04-20 Sony Corporation Setting of input images based on input music

Also Published As

Publication number Publication date
JP3534592B2 (ja) 2004-06-07

Similar Documents

Publication Publication Date Title
US6930687B2 (en) Method of displaying a digital image
US7912303B2 (en) Apparatus and method for generating thumbnail images
US7606462B2 (en) Video processing device and method for producing digest video data
US8064656B2 (en) Image processing apparatus, imaging apparatus, image processing method, and computer program
US7847828B2 (en) Image capturing apparatus having a moving image capture function, and program and method for controlling same
US8014566B2 (en) Image processing apparatus
CN107430780B (zh) 用于基于视频内容特性的输出创建的方法
US7904815B2 (en) Content-based dynamic photo-to-video methods and apparatuses
KR20030056783A (ko) 비디오 하이라이트 자동 생성 방법 및 장치
WO2008040150A1 (en) Method and device for adaptive video presentation
JP2010503006A5 (ja)
JP2009044463A (ja) 電子カメラ及び被写界像再生装置
JPH11136637A (ja) 代表画像生成装置
JP2011155477A (ja) 映像処理装置、映像処理方法及びプログラム
JP2010245856A (ja) 映像編集装置
US7982792B2 (en) Image processing apparatus
US20090052871A1 (en) Image Playback System, Image Playback Method, and Image Playback Program
JP3327520B2 (ja) Ｎｇ警告機能付き撮影方法、ｎｇ警告機能付き撮影装置および撮影プログラムを記録した記録媒体
JP2003032600A (ja) 画像処理装置、インデックス作成システム、インデックス作成方法、記録媒体及びプログラム
JP4189575B2 (ja) 画像処理装置、サムネイル動画作成方法及びサムネイル動画作成プログラム
JP2004080156A (ja) 画像処理装置、画像処理方法、プログラム及び記録媒体並びに画像処理システム
US7747130B2 (en) Apparatus and method for extracting representative still images from MPEG video
JPH07236153A (ja) 動画像のカット点検出およびカット画面グループ検出装置
JP4656199B2 (ja) 画像処理装置、サムネイル動画作成方法及びサムネイル動画作成プログラム
JP2003298983A (ja) 代表画像生成装置

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20040309

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20040309

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees