JPH06165009A - 動画像の優先度自動選択方法および動画像ダイジェスト自動表示装置 - Google Patents

Abstract

(57)【要約】 【目的】 ビデオカメラなどで撮影された映像の内容を
短時間、かつ簡単に把握するため、撮影時に行われたカ
メラのボタン操作を基に、自動的に画像の重要度合を表
した優先度を求め、優先度に応じて表示する画像を選択
することにより、撮影時のユーザの意図に合わせたダイ
ジェストの表示を可能にする。 【構成】 カメラ１より撮像された画像は、動画像格納
媒体３に蓄積される。優先度算出部５では、撮像時に行
われたボタン操作のボタン名と、そのボタン操作処理の
性質により、自動的に画像の重要度合を表す優先度(Ｐ)
を求め、優先度情報格納媒体４に記録する。ダイジェス
ト再生時、画像選択部７は優先度情報格納媒体４に記録
された優先度(Ｐ)に応じて動画像格納媒体３からの再生
画像を選択する。選択された画像はダイジェストとして
ディスプレイなどの出力装置12に表示される。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、ビデオカメラなどで撮
影された映像のダイジェスト版を作るための装置におい
て使用する映像の内容を、短時間かつ簡単に把握するた
めの映像の優先度を自動的に選択決定する方法および前
記優先度を使用する動画像ダイジェスト自動表示装置に
関する。

【０００２】

【従来の技術】従来、動画像の内容を短時間で把握する
ためには、ダイジェストとしては重要な画像だけに限定
して表示したり、重要な画像ほど表示時間を長くするこ
とが必要になる。このため、ＶＴＲの早送り再生でフレ
ームを均等に間引いて表示したり、ジョグシャトルダイ
ヤルなどの可変速再生を用いて表示速度を手動で調節す
る方法があった。

【０００３】また、ＴＶ番組などのダイジェスト版を作
成する方法としては、例えば特開平３−90968号公報に
開示されているように、編集者が予め画像を見て画像の
フレームごとに優先的に表示して欲しい度合、ダイジェ
ストに長時間表示して欲しい度合などの優先度を判断
し、優先度をフレームごとに割り当てて指定時間内に収
めるためのダイジェスト版の作成方法が提案されてい
る。

【０００４】

【発明が解決しようとする課題】しかしながら、早送り
再生は画像内容に関係なくフレームを均等に間引くた
め、必要なフレームが省かれたり、反対に不要なフレー
ムが表示されたりする。またジョグシャトルダイヤルな
どの可変速再生では、ユーザの興味や理解度に適応した
速度で画像を表示できるが、長時間にわたる動画像の編
集も全て手動で操作しなければならないという問題があ
った。

【０００５】また、編集者が予め画像を見て、優先度を
フレームごとに割り当ててダイジェスト版を作る方法
は、他の人に概要を説明する目的には役立つが、テープ
に何が録画されているか知りたいというような用途に対
しては、画像を見て、フレームごとの優先度の割り当て
作業中に目的を果たしてしまうので、ダイジェストを作
る意味がなくなってしまう。

【０００６】本発明は、このような従来の問題点に鑑み
なされたもので、手作業なしに画像のフレームごとの重
要性の優先度を自動的に検出・計算する動画像の優先度
自動選択方法および該優先度を記録しておき、映像のダ
イジェスト版を作成し、ダイジェストを再生して表示す
る際に、記録された優先度に基づいて画像を選択する動
画像ダイジェスト自動表示装置を提供することを目的と
する。

【０００７】

【課題を解決するための手段】本発明は、画像の撮像時
に行われる撮像装置のズーム，録画などのボタン操作に
使用したボタン名と、そのボタン操作で前記画像のフレ
ームごとに重要度合を表す優先度を自動選択する方法お
よびカメラによる撮像された画像を蓄積する動画像格納
媒体と、前記画像に対応する重要度合を評価する優先度
算出部と、前記画像に対応して該優先度算出部の出力を
優先度として登録する優先度情報格納媒体と、前記優先
度を基にして、前記動画像格納媒体よりの再生画像を選
択する画像選択部と、前記選択された画像を出力する出
力装置を備え、撮像時に行われたボタン名と該ボタンの
操作から前記画像に対応する重要度合を評価する優先度
を算出して、該優先度を撮影時の現フレームに割り当て
る手段を備えた動画像ダイジェスト自動表示装置であ
る。

【０００８】

【作用】本発明によれば、撮影時に用いるズームなどの
ボタン入力信号から画像の状態を推定し、状態に応じた
優先度を設定して表示画像の選択や表示速度の調整を行
うことにより、編集者の撮影意図を反映した表示が可能
となり、内容を把握しやすいダイジェストを表示するこ
とができる。

【０００９】また、ボタン入力信号から自動的に優先度
を計算することにより、予め優先度を割り当てたり、ダ
イジェスト表示時に手動で優先度を操作するなどの手間
がなく、早送り再生と同様の手軽さで画像内容を知るこ
とができる。

【００１０】

【実施例】動画像の内容を短時間で把握するためには、
ビデオ画像のダイジェストを行う。ダイジェストとして
は、重要な画像だけに限定して表示したり、重要な画像
ほど表示時間を長くすることが必要になる。

【００１１】本発明は、ビデオカメラで撮影して録画中
に、人手を要せず自動的に画像の重要性を示す優先度を
選択・計算する方法を与える。

【００１２】(Ａ) 動画像ダイジェスト自動表示装置 ここで、画像の優先度は、ボタン操作によりボタン入力
信号を検出して、ボタン名と該ボタン操作の経過より選
択する。

【００１３】(a) 図１は本発明の第１の実施例の動画像
ダイジェスト自動表示装置の構成を示すブロック図であ
る。図２は前記動画像ダイジェスト自動表示装置のオン
ラインの場合の録画時(a)ならびに再生時(b)に関係する
部分のみ取り出したブロック図である。図１および図２
において、１はカメラ、２はデータベースで、動画像格
納媒体３と優先度情報格納媒体４とで構成される。５は
優先度算出部、６はＳＴＡＲＴ／ＳＴＯＰ入力部、７は
画像選択部で、閾値変更部８と閾値記録部９と判定・同
期部10と比較部11とで構成される。12は出力装置であ
る。

【００１４】図３は動画像格納媒体３と優先度情報格納
媒体４における記録対照を示す説明図であり、(Ｄ)は画
像データ、(Ｐ)は優先度、(Ｆ)はフレーム番号を示す。

【００１５】 録画時 図２(a)に示すようにカメラ１は撮像素子を通して取り
込んだ映像信号(Ａ)，垂直・水平走査の同期信号(Ｂ)、
録画開始やズームなどの操作やボタンの入力操作指示等
の入力信号(以後、ボタン入力信号と呼ぶ)(Ｃ)を出力す
る。ここで、ボタン入力信号(Ｃ)は、ボタンが押されて
いる(ＯＮ状態)ときは１、押されていない(ＯＦＦ状態)
ときは０を示すような信号とする。優先度算出部５で
は、カメラ１からのボタン入力信号(Ｃ)を基に優先度
(Ｐ)を求める。

【００１６】データベース２は２つの記録媒体を有し、
１／30秒毎すなわち１フレームごとに、カメラ１からの
映像信号(Ａ)などの画像データ(Ｄ)と同期信号(Ｂ)を記
録するための動画像格納媒体３と、前記同期信号(Ｂ)お
よび優先度算出部５から出力された優先度(Ｐ)を記録す
るための優先度情報格納媒体４とで構成され、図３に示
すように、フレーム番号(Ｆ)に対応して画像データ(Ｄ)
と優先度(Ｐ)とが記録される。ここにフレーム番号(Ｆ)
は動画像格納媒体３における１フレームごとの画像デー
タに付けた通し番号である。

【００１７】 再生時 動画像データのダイジェストの情報量を削除するための
限界の尺度として、優先度(Ｐ)の閾値を予め設定する。

【００１８】図２(b)に示すＳＴＡＲＴ／ＳＴＯＰ入力
部６でダイジェスト表示開始の合図をデータベース２の
動画像格納媒体３と優先度情報格納媒体４に入力する
と、指定されるフレーム番号(Ｆ)が決まる。該フレーム
番号(Ｆ)に対応する優先度情報格納媒体４に登録されて
いる優先度(Ｐ)と、閾値記録部９からの閾値とを比較部
11で比較して優先度(Ｐ)が大きい場合には、動画像格納
媒体３内の対応する画像だけを出力装置12(例えばディ
スプレイ)に表示する。判定・同期部10は、次のフレー
ム番号(Ｆ)に対応する動画像格納媒体３と優先度情報格
納媒体４より画像と優先度(Ｐ)を読み出す指示を出力す
る。以上が１画像に対する処理で、以下、ＳＴＡＲＴ／
ＳＴＯＰ入力部６で終了の合図が入力されるまで上記処
理が繰り返され、ダイジェストとして選ばれた画像が出
力装置12に表示される。なお、出力装置12は記録装置と
してダイジェストデータを記録することもできる。

【００１９】以上は、優先度(Ｐ)ならびに画像が既に優
先度情報格納媒体４と動画像格納媒体３に記録されてい
る場合であるが、ビデオカメラで撮影中、優先度(Ｐ)な
らびに画像を優先度情報格納媒体４と動画像格納媒体３
に記録しながら実施しても差し支えない。

【００２０】また、ディスプレイ画面を分割して優先度
(Ｐ)の大きい画像を同時に表示し、あるいは優先度(Ｐ)
の大きいものほど広い分割領域を割り当てて表示しても
よい。

【００２１】ダイジェストの情報量削除の尺度として用
いられる優先度(Ｐ)の閾値を変更したいときには、閾値
変更部８において新閾値を入力する。

【００２２】以上は、カメラ１で撮影中、オンラインで
画像ならびに優先度(Ｐ)をそれぞれの動画像格納媒体３
と優先度情報格納媒体４に同時に登録した例である。

【００２３】次に、カメラ１で撮影の際、画像を動画像
格納媒体３に登録するが、優先度 (Ｐ)はオフラインで
算出する第２の実施例を説明する。

【００２４】(b) 図４は本発明の第２の実施例のオフラ
インの場合の動画像ダイジェスト自動表示装置の録画時
(a)ならびに再生時(b)に関係する部分のみ取り出したブ
ロック図である。図において、13はデータベース２に設
けられたボタン入力信号格納媒体であり、他の符号は前
出のものを使用する。

【００２５】ここで、上記データベース２は２つの記録
媒体を有し、１／30秒毎すなわち１フレームごとに、カ
メラ１からの映像信号(Ａ)などの画像データ(Ｄ)と同期
信号(Ｂ)を記録するための動画像格納媒体３と、ボタン
入力信号(Ｅ)と同期信号(Ｂ)を記録するためのボタン入
力信号格納媒体13とで構成される。

【００２６】 録画時 図４(a)に示すカメラ１は撮像素子を通して取り込んだ
映像信号(Ａ)，垂直・水平走査の同期信号(Ｂ)、録画開
始やズームなどの操作をボタンの入力操作指示等のボタ
ン入力信号(Ｅ)として出力する。ここで、ボタン入力信
号(Ｅ)は、ボタンが押されている(ＯＮ状態)ときは１、
押されていない(ＯＦＦ状態)ときは０を示すような信号
とする。

【００２７】 再生時 ここでは、録画時に記録されたボタン入力信号格納媒体
13に記録されているボタン入力信号(Ｅ)を読み出して、
現フレームと過去フレームのボタン入力信号を含め、後
刻オフラインに優先度(Ｐ)を求めることができる。この
優先度(Ｐ)に基づいて動画像のダイジェストを表示す
る。

【００２８】動画像データのダイジェストの情報量を削
除するための限界の尺度として優先度の閾値を予め設定
する。

【００２９】図４(b)に示すＳＴＡＲＴ／ＳＴＯＰ入力
部６でダイジェスト表示開始の合図をデータベース２の
動画像格納媒体３とボタン入力信号格納媒体13に入力す
ると、ボタン入力信号格納媒体13で処理するボタン入力
信号(Ｅ)のフレーム番号(Ｆ)を、動画像格納媒体３にお
いて初めに処理を行う映像信号(Ａ)のフレーム番号と一
致させる。優先度算出部５ではボタン入力信号格納媒体
13からの過去のフレームを含め、ボタン操作の出力に基
づき優先度(Ｐ)を求める。画像選択部７では優先度算出
部５からの優先度(Ｐ)を入力とし、前記図２(b)に示し
た比較部11にて優先度(Ｐ)を閾値と比較して優先度(Ｐ)
が大きい場合には、動画像格納媒体３内の対応するダイ
ジェストの画像を選択して出力装置12(例えばディスプ
レイ)に表示することができる。

【００３０】前記第１の実施例(図１，図２)はオンライ
ンで優先度(Ｐ)を求めるのに対し、第２の実施例(図４)
はオフラインで優先度(Ｐ)を求める。このため、過去の
フレームのボタン操作の情報が使用できる。

【００３１】次に本発明の動画像の優先度自動選択方法
について説明する。

【００３２】(Ｂ) 動画像の優先度自動選択方法 (a) ボタン入力信号と優先度 前記図１等で説明したボタン入力信号(Ｃ)から、優先度
算出部５が優先度(Ｐ)を求める原理を説明する。ビデオ
カメラ１には録画開始／終了，ズーム，フェード，フォ
ーカス，露光，ホワイトバランス，シャッタスピードな
どの機能を果たすボタンがあり、これらのボタン操作に
よって撮影時の撮影者の意図、すなわち撮影時に重要と
思って撮った画像やシーンの区切りなどが推定できる。

【００３３】例えば、録画ボタンやフェードボタンによ
って、明らかにシーンの区切り(カットチェンジ)がわか
る。ズームボタンがＯＮ状態のときは撮影範囲の画角を
調整している最中であると推定できるし、画角を設定し
た後、人物をアップで撮影しているような場合には重要
な画像を撮っていることが多い。

【００３４】したがって、カメラ１のボタン操作から１
フレームごとの画像に割り当てる優先度(Ｐ)を推定でき
る。また、図２(b)に示す画像選択部７のように、所定
の値以上の優先度(Ｐ)をもつ画像だけをダイジェストと
して表示する場合、重要な画像ほど高い優先度(Ｐ)を割
り当てることにより、重要な画像は表示されやすくな
り、削除しても支障のない画像は省かれる。

【００３５】(b) ボタン入力信号とモード 以上のことから、重要な画像を撮影していたかどうか、
シーンの区切りであるかどうかという画像状態の重要性
の推定をボタン操作から行い、推定結果に応じてダイジ
ェストの表示方法を決定することにより、動画像の内容
が把握しやすいように、表示する画像を選択できると考
えられる。

【００３６】図11は録画ボタン集合Ｂ１とズームボタン
集合Ｂ２におけるボタンの種類(ｂ)，ボタン入力信号
(Ｃ)，優先度(Ｐ)の設定方法(ｓ)およびモード(ｍ)の関
係を各欄(ア)，(イ)，(ウ)，(エ)，(オ)，(カ)，(キ)で
示す。図中のＴＨは優先度(Ｐ)の所定数を示す。この図
11で推定できる画像状態において、ボタン操作から優先
度(Ｐ)を設定する方法を説明する。推定できる画像状態
で、録画ボタンのようにカットチェンジを検出できるボ
タンの集合を録画ボタン集合Ｂ1の(ア)、ズームボタン
のように重要な画像を検出できるボタンの集合をズーム
ボタン集合Ｂ2の(イ)とした。

【００３７】また２種類のボタン集合では、ボタン入力
信号(Ｃ)の数も異なっている。録画ボタン集合Ｂ1では
単一のボタンのＯＮ／ＯＦＦ(２パターン)のみであるの
に対し(ウ)、ズームボタン集合Ｂ2では設定ボタン(ズー
ムアップボタン，連写設定ボタン等)と解除ボタン(ズー
ムダウンボタン，連写解除ボタン等)の２つのボタンが
あり(エ)、各ボタンのＯＮ／ＯＦＦの組み合わせとな
る。しかし、一般に設定ボタンと解除ボタンが同時にＯ
Ｎ状態にはならないので、入力パターンとしては、 ・設定ボタンＯＮ ・解除ボタンＯＮ ・ＯＦＦ の３パターンになる。

【００３８】また、優先度(Ｐ)の設定方法(オ)は、調整
中の画像の期間は優先度を低くして、ダイジェストから
省かれるようにし、反対に重要な画像の期間は、優先度
を高くすることによりダイジェストとして表示されやす
くした。また全シーンを網羅したダイジェストを表示す
るために、カットチェンジ終了から所定数(＝ＴＨ)のフ
レームの画像に対して、高い優先度を割り当てて、１シ
ーン中で少なくともシーン始めの部分が表示されるよう
にした。カットチェンジ，調整中の画像，重要な画像の
いずれにも属さない期間は優先度を０とした。

【００３９】以上、ボタン入力信号から画像状態を推定
し、それに応じた優先度を設定する方法を説明したが、
画像状態の推定方法を具体的に説明するため、図11を状
態遷移図に表すと図５のようになる。ここで、図５(a)
は録画ボタン集合Ｂ1、図５(b)はズームボタン集合Ｂ2
であり、図中、Ｆcはモードの継続フレーム数、ＯＮ／
ＯＦＦはボタン入力信号(Ｃ)の状態を示す。ただし、優
先度(Ｐ)を割り当てる４つの画像の期間(調整中の画
像，重要な画像，カットチェンジ，その他)を、以後、
次のように呼ぶ(図11のモードｍ欄参照)。

【００４０】録画ボタン集合(３モード)(カ) Ａ. ＯＮモード(ボタンがＯＮ状態：調整中の画像 優
先度Ｐ＜０) Ｂ. カットモード(カットチェンジからＴＨフレームの
間 優先度Ｐ＞０) Ｃ. ノーマルモード(その他 優先度Ｐ＝０) ズームボタン集合(４モード)(キ) Ａ. 設定ＯＮモード(設定ボタンがＯＮ状態：調整中の
画像 優先度Ｐ＜０) Ｂ. 解除ＯＮモード(解除ボタンがＯＮ状態：調整中の
画像 優先度Ｐ＜０) Ｃ. 重要モード(アップショットなど重要な画像 優先
度Ｐ＞０) Ｄ. ノーマルモード(その他 優先度Ｐ＝０) 図５から、処理中の画像モードは、 ・前フレーム画像のモード ・ボタンのＯＮ／ＯＦＦ ・カットモードが継続するフレーム数(録画ボタン集合
の場合) によって特定できることがわかる。このように、図５に
示した状態遷移の手順で処理中の画像のモードを特定
し、モードに対応する優先度を設定することにより、ボ
タン入力信号から優先度を求められる。

【００４１】以下に、上記優先度を求める原理に基づく
優先度自動選択方法について説明する。

【００４２】(c) 単一ボタン入力信号の優先度自動選択
方法 図６は録画ボタンから優先度を設定するための構成を示
す第１の実施例のブロック図であり、前記図１の優先度
算出部５に対応している。

【００４３】図６において、50は状態検出部で、モード
蓄積部51，モード判定部52およびカウンタ53で構成され
る。54はＭモードの関数Ｋ(Ｍ)をもつ優先度変換部であ
る。

【００４４】次に動作を説明すると、モード蓄積部51で
は前フレームの画像のモードを記憶し、カウンタ53では
現在のモードが継続しているフレーム数(Ｆc)を記憶し
ている。ただし、初期値として、モード蓄積部51はノー
マルモード、カウンタ53は０が設定される。

【００４５】一方、モード判定部52では、カメラ１から
のボタン入力信号、前フレームのモード、モードの継続
フレーム数(Ｆc)を入力し、図５(a)の状態遷移図を用い
て現在入力中の画像のモードを求め、モード蓄積部51の
モードを更新する。さらにモード判定部52は、モードが
変更したとき Ｆc＝０ にリセットし、同一のモードが
継続中のときは継続フレーム数(Ｆc)をインクリメント
し、カウンタ53の値を更新する。

【００４６】優先度変換部54では、モード判定部52から
の出力Ｍを用いて優先度(Ｐ)を決定する。すなわち、優
先度(Ｐ)は関数Ｋ(Ｍ)を用いて次のように求める。

【００４７】Ｐ＝Ｋ(Ｍ) ただし、Ｍ：モード Ｋ(Ｍ)：例えば、ＯＮモードは−１，ノーマルモードは
０，カットモードは１に変換するような関数 以上、録画ボタンから優先度を設定する際の説明を行っ
た。

【００４８】一方、ズームボタン集合のボタンに関して
は、モード判定部52の処理方法が、図５(a)の代わりに
図５(b)の遷移図に基づく方法に変更する。すなわち、
図５(b)の遷移図ではモード判定時にカットモードの継
続フレーム数(Ｆc)を参照しないので、カウンタ53を削
除した図６のブロック構成となる。

【００４９】以上のように、ボタン入力信号に応じて画
像状態を推定することにより、ユーザの意図に応じたダ
イジェストが表示できるように設定することができる。

【００５０】図７はモードの継続フレーム数で優先度
(Ｐ)を変化させる場合の説明図であり、図８は関数Ｌの
説明図である。図７および図８において、(Ｆ)はフレー
ム番号、(Ｆc)は継続フレーム数、Ｌ(Ｆc，Ｍ)は重み付
け関数である。重み付け関数Ｌ(Ｆc，Ｍ)は図８(a)に示
すように、継続フレーム数(Ｆc)の立ち上げ，立ち下げ
部分で優先度(Ｐ)が時間的に変化している。

【００５１】なお、上記実施例では各モード内で図８
(b)の如く、優先度(Ｐ)を常に一定に設定して説明した
が、図７のように時間的に優先度(Ｐ)の大きさを重み付
けＬ (Ｆc，Ｍ)により変更して閾値変更部８(図２(b)参
照)によって、ダイジェストの表示時間を連続的に調整
することも可能である。この場合は、優先度変換部54
(図６)において、(数１)を用いて優先度Ｐを求める。

【００５２】

【数１】Ｐ＝Ｋ(Ｍ)／Ｌ(Ｆc，Ｍ) (d) 複数のボタン入力信号を組み合わせた優先度自動選
択方法 本発明の動画像の優先度自動選択方法の第２の実施例を
説明する。前記第１の実施例では、単一のボタン入力信
号に対して優先度(Ｐ)を設定していた。第２の実施例で
は複数のボタン入力信号の組み合わせで優先度(Ｐ)の設
定を行う方法について説明する。

【００５３】図９は複数のボタンのモードが重複する場
合の説明図であり、図９において、横軸がフレーム番号
で、ズームボタン入力信号Ｂ３と録画ボタン入力信号Ｂ
４のタイムチャートと、各ボタン入力信号Ｂ３，Ｂ４に
対して、第１の実施例で述べた方法で求めた優先度のタ
イムチャートを示す。

【００５４】図９(a)は、録画ボタンとズームボタンの
それぞれの優先度(Ｐ)に重なりがない場合を示してい
る。このとき、１つのボタンだけがＰ≠０で、残りのボ
タンは全てＰ＝０なので、Ｐ≠０の優先度を最終的な値
とすればよい。

【００５５】しかし、一般には図９(b)の場合のよう
に、１つのボタンのＰ≠０のモードが、他のボタンのＰ
≠０のモードの期間と重複する。そのため、本実施例で
は、一旦複数のボタンでそれぞれ独立にモード(以後、
第１の実施例のモードと区別するためにボタン操作モー
ドと呼ぶ)の判定を行い、最後にそれぞれの優先度を統
合した優先度を求める。図10は、本実施例のブロック図
のうち、図１の優先度算出部５に対応する部分を示した
ものである。

【００５６】図中、55はモード判定ユニットで、複数の
ボタン(録画ボタン，ズームボタン，フェードボタン，
フォーカスボタン，連写ボタン)に対してそれぞれ有す
る。56は各ボタンに対する重み算出部で、それぞれウェ
イトｗ11からｗ1Ｃ，……ｗＢ1からｗＢＣを有する。57
は優先度決定部であり、決定された優先度(Ｐ)は優先度
情報格納媒体４へ出力され格納される。

【００５７】カメラ１からボタン入力信号は、ボタンご
とに設けられたモード判定ユニット55に送られる。ここ
でボタン入力信号は、あるボタンがＯＮ状態になったと
き、対応するボタンのユニットだけに１が、その他のユ
ニットには０が送られるよう、結線されているとする。
モード判定ユニット55で行われる処理は、図６とほぼ同
じである。すなわち、ボタン操作の状態検出部50では図
５の遷移図に基づいてボタン操作モードＭを判定し、優
先度変換部54ではボタン操作モードに対応した値を出力
する関数Ｋを用いて、ボタン操作モードＭを｛−１,０,
１｝に変換する。

【００５８】このようにして、モード判定ユニット55の
結果がボタンごとに求められるが、優先度として、どの
ボタンの結果を用いるかを決定する要因がいくつか考え
られる。

【００５９】１つ目の決定要因の例としては、図９(b)
のように、録画ボタンのカットモードとズームボタンの
設定ＯＮモードが重複した場合、後から入力したズーム
アップボタンの方がユーザの意図をよく表していると思
われる。

【００６０】２つ目の決定要因の例としては、ズームボ
タンと連写ボタンは、共に重要な画像を推定できるが、
連写ボタンの方が使用頻度が少ないので重要な画像の度
合が高いと思われる。また、録画ボタンと露光ボタンで
は、録画ボタンで完全にシーンが変わるのに対し、露光
ボタンが押されてもシーンが変わらないこともある。こ
のように、異なるボタン操作から同じ画像状態が推定で
きたとしても、推定がユーザの意図と合っている確率は
ボタンの種類によって異なる。

【００６１】本実施例では、複数のモード判定ユニット
の結果を統合するために、上記決定要因に関する重みを
以下のようにボタンごとに表した。

【００６２】 ｗij(ｉ：ボタンに付けた番号，１≦ｉ≦Ｂ，Ｂ＝ボタ
ンの種類の総数 ｊ：決定要因に付けた番号，１≦ｉ≦Ｃ，Ｃ＝決定要因
の総数) 先ほど例に上げた最初の決定要因を、“新しく更新され
たモードほど重みを大きくする”と書き直すと、ボタン
ｉに関する重みは、例えば

【００６３】

【外１】

【００６４】ただし、Ｆc(i)：ボタンｉが現在のモード
を継続しているフレーム数 ａ ：定数 と表せる。また２番目の決定要因を、“推定結果とユー
ザの意図とが合っている確率の高いボタンほど重みを大
きくする。”とすると、録画ボタン(1)，露光ボタン
(2)，連写ボタン(3)，ズームボタン(4)(かっこ内は、ボ
タンに付けた番号とする。)の各重みは、例えば ｗ12＝１，ｗ22＝0.6，ｗ32＝１，ｗ42＝0.8 のように予め設定できる。

【００６５】以上のことを図10で説明する。ボタンｉに
対するボタン操作モードをＭiとすると、モード判定ユ
ニット55の出力は、Ｋ(Ｍi)と表せる。重み算出部56で
は、決定要因ｊに関するボタンｉの重みｗijから、ボタ
ンｉに関する総重みｗiを次式(数２)のように求め、

【００６６】

【数２】

【００６７】ボタンｉに対する総重み付き優先度Ｐiは
(数３)により、

【００６８】

【数３】Ｐi＝Ｋ(Ｍi)・Ｗｉ を求める。優先度決定部５７では、各ボタンに対する重
み付き優先度の絶対値｜Ｐi｜を比較して、最大をとる
ボタンｉmaxを選択し、ボタンｉmaxに対する重み付き優
先度Ｐi maxを最終的な優先度とする。

【００６９】以上のように、複数のボタンの入力信号か
ら求めた重み付き優先度を統合することにより、様々な
状況でユーザの撮影意図を推定することができる。した
がって、このようにして求めた優先度を基に表示画像の
選択を行うことにより、人が重要と感じる画像を多く表
示することができ、簡単に画像内容を把握することがで
きる。

【００７０】

【発明の効果】以上説明したように、本発明によれば、
ボタン操作のボタン入力信号から画像の状態を推定し、
状態に応じた優先度(Ｐ)を設定することができる。ま
た、この方法を適用した動画像ダイジェスト自動表示装
置により、表示画像の選択や表示速度の調整を行うこと
ができる。またボタン入力信号から自動的に優先度を計
算することにより、予め優先度を割り当てたり、ダイジ
ェスト表示時に手動で優先度を操作するなどの手間がな
く、画像内容把握が早送り再生と同様の簡単操作で行え
る。この結果、使用者の撮影意図を反映した表示が可能
になり、内容を把握しやすいダイジェストを表示するこ
とができる。

【００７１】特に、ボタン操作のボタン名とその操作を
一旦、ボタン入力信号格納媒体に記録してオフラインで
優先度を求めることができるので、優先度の閾値を変更
して、好ましいダイジェストを作ることが可能となっ
た。

【図面の簡単な説明】

【図１】本発明の第１の実施例の動画像ダイジェスト自
動表示装置の構成を示すブロック図である。

【図２】図１のオンラインの場合の録画時(a)、ならび
に再生時(b)に関する部分のみ取り出したブロック図で
ある。

【図３】図１，図２に示す動画像格納媒体３と優先度情
報格納媒体４における記録対照を示す説明図である。

【図４】本発明の第２の実施例のオフラインの場合の動
画像ダイジェスト自動表示装置の録画時(a)、ならびに
再生時(b)に関する部分のみ取り出したブロック図であ
る。

【図５】図11を状態遷移図で示した図であり、(a)は録
画ボタン集合に対するモード遷移図、(b)はズームボタ
ン集合に対するモード遷移図である。

【図６】録画ボタンから優先度を設定するための構成を
示す第１の実施例のブロック図である。

【図７】モードの継続フレーム数で優先度を変化させる
場合の説明図である。

【図８】関数Ｌの説明図である。

【図９】複数のボタンのモードが重複する場合の説明図
である。

【図１０】録画ボタンとズームボタンから優先度を設定
するための構成を示す第２の実施例のブロック図であ
る。

【図１１】本発明の動画像の優先度自動選択方法を説明
する録画ボタン等と優先度設定方法の関連を示す図であ
る。

【符号の説明】

１…カメラ、 ２…データベース、 ３…動画像格納媒
体、 ４…優先度情報格納媒体、 ５…優先度算出部、
６…ＳＴＡＲＴ／ＳＴＯＰ入力部、 ７…画像選択
部、 ８…閾値変更部、 ９…閾値記録部、 10…判定
・同期部、 11…比較部、 12…出力装置、 13…ボタ
ン入力信号格納媒体、 50…状態検出部、51…モード蓄
積部、 52…モード判定部、 53…カウンタ、 54…優
先度変換部、 55…モード判定ユニット、 56…重み算
出部、 57…優先度決定部。

Claims (6)

【特許請求の範囲】
1. 【請求項１】 画像の撮像時に行われる撮像装置のズー
   ム，録画などのボタン操作に使用したボタン名と、その
   ボタン操作で前記画像のフレームごとの重要度合を表す
   優先度を求めることを特徴とする動画像の優先度自動選
   択方法。
2. 【請求項２】 画像の撮像処理の種類を示すモードを、
   現フレームの１フレーム前のモードと処理の継続時間
   と、前記現フレームに使用したボタン名と、そのボタン
   操作で前記現フレームごとの優先度を求めることを特徴
   とする請求項１記載の動画像の優先度自動選択方法。
3. 【請求項３】 ズーム，絞り，焦点，色温度を調節する
   ボタンが操作されている間の画像の状態を調整中モー
   ド，録画開始やフェードなど撮影の開始または終了を示
   すボタン操作後の所定のフレーム数の画像の状態をカッ
   トモード，連写などの撮影の効果を出すためのボタン操
   作が実行されている間の画像の状態を重要モードとし、
   前記各モードを撮像中の画像の現フレームに対応して優
   先度を割り与える際、前記調整中モードの画像に対して
   低い優先度を出力し、前記カットモードと前記重要モー
   ドの画像に対して高い優先度を割り与えることを特徴と
   する請求項２記載の動画像の優先度自動選択方法。
4. 【請求項４】 撮像された画像の現フレームに対応して
   優先度を割り与える際、ボタンごとに予め設定された重
   みを乗じた重み付き優先度を求め、該重み付き優先度の
   うち絶対値が最大となる重み付き優先度を前記現フレー
   ムの総合優先度とすることを特徴とする請求項３記載の
   動画像の優先度自動選択方法。
5. 【請求項５】 カメラによる撮像された画像を蓄積する
   動画像格納媒体と、前記画像に対応する重要度合を評価
   する優先度算出部と、前記画像に対応して該優先度算出
   部の出力を優先度として登録する優先度情報格納媒体
   と、前記優先度を基にして、前記動画像格納媒体よりの
   再生画像を選択する画像選択部と、前記選択された画像
   を出力する出力装置を備え、撮像時に行われたボタン名
   と該ボタンの操作から前記画像に対応する重要度合を評
   価する優先度を算出して、該優先度を撮影時の現フレー
   ムに割り当てる手段を備えたことを特徴とする動画像ダ
   イジェスト自動表示装置。
6. 【請求項６】 撮像時に行われたボタン操作に使用した
   ボタン名と、そのボタン操作をボタン情報として登録す
   るボタン情報格納媒体と、前記ボタン情報格納媒体に登
   録した前記ボタン情報から画像に対応する重要度合を評
   価する優先度算出部とを備えたことを特徴とする請求項
   ５記載の動画像ダイジェスト自動表示装置。