JP3514236B2 - 映像音声自動編集装置、方法及び記憶媒体 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、ユーザがビデオカ
メラ（手持ちカメラまたは頭部搭載カメラ等）で記録し
た映像において、ユーザの覚醒水準が高いときの映像を
自動的に判別し編集する、映像の自動編集装置、方法及
び記憶媒体に関する。

【０００２】

【従来の技術】従来、映像の自動編集手段として、色情
報、動き情報、形状情報、テクスチャ情報などの画像の
特徴量、周波数などの音響の特徴量に基づいて、映像の
ショット検出などの構造化手法が研究されてきた。これ
らの研究は主として放送映像を対象とした研究であっ
た。一方、個人がビデオカメラで撮影した映像等、全く
加工がなされていない映像に対しての取り組みも行なわ
れてきたが、これは画像及び音響の特徴量のみに基づく
解析であり、ユーザーの興味レベルを映像編集に反映さ
せる手段は提供されていなかった。

【０００３】

【発明が解決しようとする課題】このように、従来は映
像及び音響だけからの構造化手段の提供にとどまってい
たため、結果としてユーザーの興味を十分に反映させた
編集は困難であり、長時間の記録映像からユーザーにと
って興味のある映像及び音声だけを抽出するといった要
約はできないという問題があった。

【０００４】

【課題を解決するための手段】そこで、本発明は、映像
自動編集において、ユーザの興味を十分に反映させるこ
とが可能となるような新たな特徴量を提供し、長時間の
映像からユーザの興味のあるところだけを自動的に抽出
する手段を提供する。

【０００５】具体的には、映像及び音声入力手段と、人
間の脳波の計測手段と、前記入力手段により入力された
映像、音声および脳波を同期させて記録する記録手段
と、前記計測手段で計測された脳波から、第１の帯域を
有する前記脳波の振幅が第１の振幅閾値より小さくなる
振幅の谷が第１の時間の時間閾値よりも長く継続する場
合、又は、第２の帯域を有する前記脳波の振幅が第２の
振幅閾値より大きくなる振幅の山が第２の時間閾値より
も長く継続する場合のいずれかに基づいて人間の覚醒水
準が高い状態を検出する検出手段と、前記検出手段の検
出結果に基づき映像及び音声を抽出する抽出手段と、前
記抽出手段によって抽出された映像及び音声から、要約
映像を生成する要約映像生成手段とからなる自動編集装
置を提供することにより、前記課題を解決する。

【０００６】

【発明の実施の形態】図１は映像及び音声の自動編集の
ためのシステムの全体を示す図である。ユーザはビデオ
カメラ１０２で映像及び音声を映像音声記録媒体１０３
に記録する。映像及び音声の記録と同時に、ユーザの頭
部に装着した脳波計１０１を用いて、ユーザ自身の脳波
を映像及び音声と同期して記録する。この時、脳波は帯
域が狭いので映像音声記録媒体１０３の音声チャンネル
を用いることにより同期記録ができる。もちろん独立に
記録チャンネルを設定することも可能である。

【０００７】映像及び音声、脳波の記録が終了した後、
ユーザは映像音声記録媒体１０３から映像音声データ、
脳波データを、自動編集プログラム１０４に入力する。
その際、脳波データはＡＤ変換してコンピュータに取り
込み、高速フーリエ変換し、周波数ごとの時系列データ
として自動編集プログラム１０４で利用する。自動編集
プログラム１０４は脳波データに基づいて、ユーザの覚
醒水準が高いときの映像を自動的に判別して編集し、要
約映像１０５を生成する。ただし、要約映像とは映像だ
けではなく音声も含む。

【０００８】図１２ａ及び図１２ｂは脳波を測定する電
極位置を説明するための図である。図１２ａは人間の頭
部を上から見た図であり、鼻が下の方にある。図１２ｂ
は人間の頭部を横から見た図である。

【０００９】脳波計１０１はユーザの負担を少なくする
ため、例えば携帯可能な小型の１チャンネル脳波計を使
用して前頭極部（１２０１、１２０２、１２１１）の脳
波を測定する。測定する脳波は右（１２０１）と左（１
２０２）のどちらでも良い。なお、脳波計は必ずしも１
チャンネルである必要はないし、測定する脳波も必ずし
も前頭極部の脳波に限定されない。例えば、前頭極部
（１２０１、１２０２、１２１１）及び前頭部（１２０
３、１２０４、１２１２）、中心部（１２０５、１２０
６、１２１３）、頭頂部（１２０７、１２０８、１２１
４）、後頭部（１２０９、１２１０、１２１５）の脳波
のどれかを解析に利用するとしても良い。測定する脳波
はそれぞれ左右どちらでも良い。

【００１０】あるいは複数の電極位置を選択して、例え
ば前頭極部及び前頭部、中心部、頭頂部、後頭部の脳波
をそれぞれ独立に解析して、それぞれの解析によって生
成されるそれぞれの要約映像の論理和をとることで、新
たに要約映像を生成するとしても良い。また、左右両方
の脳波を測定して解析に利用するとしても良い。なお、
電極位置は例えば国際１０−２０標準電極配置法に従う
ものとする。

【００１１】図２は、図１における自動編集プログラム
１０４のフロー図である。７ヘルツから９ヘルツ帯域の
周波数の脳波を解析波１とし、１３ヘルツから３０ヘル
ツ帯域の周波数の脳波を解析波２とする。例えば、７．
５ヘルツの脳波データを解析波１とし、１５ヘルツと２
２．５ヘルツ、３０ヘルツの脳波データのそれぞれの平
均を解析波２とする。解析波１および解析波２を解析
し、ユーザの覚醒水準が高い状態、すなわち興奮及び注
意、集中等の状態にあるときの映像を自動的に判別して
編集する。なお、以降に記載する処理において、映像と
表記する場合、これは必ず音声も含むものとする。

【００１２】ユーザの覚醒水準が高いときは、解析波１
の振幅が減少し解析波２の振幅が増加する。この現象
は、ユーザの覚醒水準が高い間は持続する。また、光や
音などの瞬時的な刺激に対しても、一過性の同様の反応
が生じる。前者の映像はユーザにとって重要度が高く、
後者は低いと考えられるため、この現象の持続時間に対
して時間閾値を設定すれば、一過性の反応を除いて、ユ
ーザの覚醒水準が高いときの映像を抜き出すことができ
る。この処理をショット抽出処理（２０１）と呼ぶこと
にし、ショット抽出処理によって抜き出される映像をシ
ョットと定義する。

【００１３】このショット抽出処理では、解析波１に対
して振幅閾値Ａを、解析波２に対して振幅閾値Ｂを設定
する。解析波１と解析波２の振幅に対して、全映像中の
それぞれの標準偏差を算出し、振幅閾値Ａについては、
例えば偏差値４３に相当する振幅値を設定し、振幅閾値
Ｂについては、例えば偏差値６５に相当する振幅値を設
定する。これらの閾値はユーザが自由に設定変更するこ
とが可能であり、ユーザがこれらの値の組み合わせを変
えることによって、生成される要約映像を調節すること
ができる。

【００１４】解析波１において、前述の振幅閾値Ａを連
続して下回る区間の映像を谷と定義し、谷の番号をａで
表して、全映像中でａ番目の谷を谷（ａ）と定義する。
また、谷（ａ−１）の終了時点から谷（ａ）の開始時点
までの区間の映像を山（ａ−１：ａ）と定義する。図３
は解析波１における谷と山を説明するための図である。
振幅閾値Ａを連続して下回る区間が谷であり、谷（ａ−
１）と谷（ａ）の間の区間が山（ａ−１：ａ）である。
解析波１に関して、全映像中の谷の総数をＶで表すこと
にする。一方、解析波２において、前述の振幅閾値Ｂを
連続して上回る区間の映像を山と定義し、山の番号をｂ
で表して、全映像中でｂ番目の山を山（ｂ）と定義す
る。また、山（ｂ−１）の終了時点から山（ｂ）の開始
時点までの区間の映像を谷（ｂ−１：ｂ）と定義する。
図５は解析波２における山と谷を説明するための図であ
る。振幅閾値Ｂを連続して上回る区間が山であり、山
（ｂ−１）と山（ｂ）の間の区間が谷（ｂ−１：ｂ）で
ある。解析波２に関して、全映像中の山の総数をＭで表
すことにする。

【００１５】なお、解析波１に関して、全映像の開始時
点における振幅が振幅閾値Ａ以上の場合は、全映像の開
始時点から谷（１）の開始時点までの映像を山（Ｓ：
１）と定義する。一方、解析波２に関して、全映像の開
始時点における振幅が振幅閾値Ｂ以下の場合、全映像の
開始時点から山（１）の開始時点までの映像を谷（Ｓ：
１）と定義する。また、解析波１に関して、全映像の終
了時点における振幅が振幅閾値Ａ以上の場合、谷（Ｖ）
の終了時点から全映像の終了時点までの映像を山（Ｖ：
Ｅ）と定義する。一方、解析波２に関して、全映像の終
了時点における振幅が振幅閾値Ｂ以下の場合、山（Ｍ）
の終了時点から全映像の終了時点までの映像を谷（Ｍ：
Ｅ）と定義する。

【００１６】解析波１に関して、次の処理を全映像中の
全ての谷に対して行う。すなわち、谷（ａ）の時間区間
が時間閾値Ｔ０以上ならば、その区間の映像を抜き出
す。一方、解析波２に関して、次の処理を全映像中の全
ての山に対して行う。すなわち、山（ｂ）の時間区間が
時間閾値Ｔ０以上ならば、その区間の映像を抜き出す。
時間閾値Ｔ０は、例えば２００ミリ秒と設定したところ
良好な結果が得られた。なお、この閾値は他の閾値と同
様にユーザが自由に設定変更することが可能である。も
ちろん、解析波１に用いる閾値と解析波２に用いる閾値
が同じ値である必要はない。

【００１７】覚醒水準が高い状態にあっても脳波の振幅
は一定値となって安定することは少なく、振幅は増大と
減少を繰り返す。解析波１に関して、例えば１０秒間と
いう長い区間を見たときは明らかに振幅が減少し覚醒水
準が高い状態にあっても、その区間内のある１秒間だけ
を見れば振幅閾値Ａを上回る場合がある。解析波２に関
しても同様に、例えば１０秒間という長い区間を見たと
きは明らかに振幅が増大し覚醒水準が高い状態にあって
も、その区間内のある１秒間だけを見れば振幅閾値Ｂを
下回る場合がある。従って、前記のショット抽出処理に
よって抜き出される映像は断片的で細切れの映像にな
る。また、覚醒水準が高い状態になく、その時点だけを
見れば抽出すべきでない映像であっても、要約映像を再
生したときの見やすさの観点からは抽出した方が良いと
いう場合がある。よって、興味の対象を中心にして全体
として見やすい映像としてまとめて抽出するために、解
析波１に関しては山の時間区間に対して時間閾値を設定
し、条件を満たした場合に谷だけでなく山の映像もまと
めて抽出するようにする。同様に解析波２に関しては谷
の時間区間に対して時間閾値を設定し、条件を満たした
場合には山だけでなく谷の映像もまとめて抽出するよう
にする。これをシーン生成処理（２０２）と呼ぶことに
し、シーン生成処理の結果、まとめて抽出される映像を
シーンと定義する。

【００１８】図７ａは、シーン生成処理の全体を説明す
るためのフローチャートである。まず、解析波１に関し
て、谷の番号ａを２として初期化し（Ｓ７０１）、図７
ｂに示す解析波１処理部１の処理を行う（Ｓ７０２）。
解析波２に関しては、山の番号ｂを２として初期化し
（Ｓ７０３）、図７ｃに示す解析波２処理部１（Ｓ７０
４）の処理を行う。次に、解析波１に関して、再び谷の
番号ａを２として初期化し（Ｓ７０５）、図７ｄに示す
解析波１処理部２の処理を行う（Ｓ７０６）。解析波２
に関しては、再び山の番号ｂを２として初期化し（Ｓ７
０７）、図７ｅに示す解析波２処理部２の処理を行う
（Ｓ７０８）。最後に、解析波１に関して、再び谷の番
号ａを２として初期化し（Ｓ７０９）、図７ｆに示す解
析波１処理部３の処理を行う（Ｓ７１０）。解析波２に
関しては、再び山の番号ｂを２として初期化し（Ｓ７１
１）、図７ｇに示す解析波２処理部３の処理を行う（Ｓ
７１２）。

【００１９】図７ｂは、シーン生成処理における、解析
波１処理部１（Ｓ７０２）のフローチャートである。

【００２０】解析波１に関して、谷（ａ−１）と谷
（ａ）に挟まれた山（ａ−１：ａ）の時間区間が時間閾
値Ｔ１以下ならば（Ｓ７１３）、Ｓ７１４に続く処理に
移る。そうでないならば、谷の番号ａを１増やして（Ｓ
７１９）、谷の番号ａがこの時点での谷の総数Ｖ以下で
あるならば（Ｓ７２０）、Ｓ７１３に続く処理に移る。
そうでないならば、解析波１処理部１（Ｓ７０２）を終
える。

【００２１】山（ａ−１：ａ）の時間区間が時間閾値Ｔ
１以下の場合、次に示す処理を行う。まず、谷（ａ−
１）と山（ａ−１：ａ）と谷（ａ）をまとめて一つの谷
とし、新たに谷（ａ−１）と定義し直す（Ｓ７１４）。
時間閾値Ｔ１は、例えば５００ミリ秒と設定したところ
良好な結果が得られた。他の閾値と同様に、この値はユ
ーザが自由に設定変更することが可能である。

【００２２】図４は、解析波１において、図３の谷（ａ
−１）と山（ａ−１：ａ）と谷（ａ）をまとめて、新た
に谷（ａ−１）と定義し直した図である。山（ａ−１：
ａ）の時間区間内の振幅が振幅閾値Ａよりも小さいもの
とみなしている。

【００２３】次に、新たに定義し直した谷（ａ−１）の
時間区間が前述のショット抽出処理（２０１）で用いた
時間閾値Ｔ０以上ならば（Ｓ７１５）、谷（ａ−１）の
映像をまとめて抜き出す（Ｓ７１６）。そうでないなら
ば、Ｓ７１７の処理に移る。最後に、ａ＋１番以降の全
ての谷について、谷（ａ＋１）を新たに谷（ａ）と定義
し直して（Ｓ７１７）、谷の総数Ｖを１減らす（Ｓ７１
８）。時間閾値Ｔ０は、２０１のショット抽出処理に用
いた値を設定しても良いし、別の値を設定しても良い。
なお、既に抽出されている映像を再び抽出すると判断さ
れる場合があるが、同じ部分の映像は上書きされ、実際
に抽出されるのは１度だけである。以下の処理について
も同様である。

【００２４】谷の番号ａが、この時点における谷の総数
Ｖ以下であるならば（Ｓ７２０）、Ｓ７１３の処理に移
る。そうでないならば、解析波１処理部１（Ｓ７０２）
を終える。

【００２５】なお、解析波１処理部１（Ｓ７０２）の処
理を終えた後、次の処理を行う。すなわち、山（Ｓ：
１）が存在し、その時間区間が時間閾値Ｔ１以下で、山
（Ｓ：１）と谷（１）の時間区間の合計が時間閾値Ｔ０
以上であるならば、山（Ｓ：１）と谷（１）の映像をま
とめて新たに谷（１）と定義し直して、谷（１）の映像
を抜き出す。また、山（Ｖ：Ｅ）が存在し、その時間区
間が時間閾値Ｔ１以下で、谷（Ｖ）と山（Ｖ：Ｅ）の時
間区間の合計が時間閾値Ｔ０以上であるならば、谷
（Ｖ）と山（Ｖ：Ｅ）の映像をまとめて新たに谷（Ｖ）
と定義し直して、谷（Ｖ）の映像を抜き出す。

【００２６】図７ｃは、シーン生成処理における、解析
波２処理部１（Ｓ７０４）のフローチャートである。

【００２７】解析波２に関して、山（ｂ−１）と山
（ｂ）に挟まれた谷（ｂ−１：ｂ）の時間区間が時間閾
値Ｔ１以下ならば（Ｓ７２１）、Ｓ７２２に続く処理に
移る。そうでないならば、山の番号ｂを１増やして（Ｓ
７２７）、山の番号ｂがこの時点での山の総数Ｍ以下で
あるならば（Ｓ７２８）、Ｓ７２１に続く処理に移る。
そうでないならば、解析波２処理部１（Ｓ７０４）を終
える。

【００２８】谷（ｂ−１：ｂ）の時間区間が時間閾値Ｔ
１以下の場合、次に示す処理を行う。まず、山（ｂ−
１）と谷（ｂ−１：ｂ）と山（ｂ）をまとめて一つの山
とし、新たに山（ｂ−１）と定義し直す（Ｓ７２２）。
時間閾値Ｔ１は、例えば５００ミリ秒と設定したところ
良好な結果が得られた。この閾値は解析波１において設
定した値と同じ値を設定しても良いし、別の値を設定し
ても良い。

【００２９】図６は、解析波２において、図５の山（ｂ
−１）と谷（ｂ−１：ｂ）と山（ｂ）をまとめて、新た
に山（ｂ−１）と定義し直した図である。谷（ｂ−１：
ｂ）の時間区間内の振幅が振幅閾値Ｂよりも大きいもの
とみなしている。

【００３０】次に、新たに定義し直した山（ｂ−１）の
時間区間が前述のショット抽出処理で用いた時間閾値Ｔ
０以上ならば（Ｓ７２３）、山（ｂ−１）の映像をまと
めて抜き出す（Ｓ７２４）。そうでないならば、Ｓ７２
５の処理に移る。最後に、ｂ＋１番以降の全ての山につ
いて、山（ｂ＋１）を新たに山（ｂ）と定義し直して
（Ｓ７２５）、山の総数Ｍを１減らす（Ｓ７２６）。時
間閾値Ｔ０は、２０１のショット抽出処理に用いた値を
設定しても良いし、解析波１処理部１（Ｓ７０２）で用
いた値を設定しても良いし、それらとは別の値を設定し
ても良い。

【００３１】山の番号ｂが、この時点における山の総数
Ｍ以下であるならば（Ｓ７２８）、Ｓ７２１の処理に移
る。そうでないならば、解析波２処理部１（Ｓ７０４）
を終える。

【００３２】なお、解析波２処理部１（Ｓ７０４）の処
理を終えた後、次の処理を行う。すなわち、谷（Ｓ：
１）が存在し、その時間区間が時間閾値Ｔ１以下で、谷
（Ｓ：１）と山（１）の時間区間の合計が時間閾値Ｔ０
以上であるならば、谷（Ｓ：１）と山（１）の映像をま
とめて新たに山（１）と定義し直して、山（１）の映像
を抜き出す。また、谷（Ｍ：Ｅ）が存在し、その時間区
間が時間閾値Ｔ１以下で、山（Ｍ）と谷（Ｍ：Ｅ）の時
間区間の合計が時間閾値Ｔ０以上であるならば、山
（Ｍ）と谷（Ｍ：Ｅ）の映像をまとめて山（Ｍ）と定義
し直して、山（Ｍ）の映像を抜き出す。

【００３３】図７ｄは、シーン生成処理における、解析
波１処理部２（Ｓ７０６）のフローチャートである。

【００３４】解析波１に関して、谷（ａ−１）か谷
（ａ）のどちらか一方でも、この時点において抽出され
ているならば（Ｓ７２９）、Ｓ７３０に続く処理に移
る。そうでないならば、谷の番号ａを１増やして（Ｓ７
３５）、谷の番号ａがこの時点での谷の総数Ｖ以下であ
るならば（Ｓ７３６）、Ｓ７２９に続く処理に移る。そ
うでないならば、解析波１処理部２（Ｓ７０６）を終え
る。

【００３５】谷（ａ−１）か谷（ａ）のどちらか一方で
も抽出されている場合、次に示す処理を行う。まず、山
（ａ−１：ａ）の時間区間が時間閾値Ｔ２以下ならば
（Ｓ７３０）、Ｓ７３１に続く処理に移る。そうでない
ならば、Ｓ７３５の処理に移る。山（ａ−１：ａ）の時
間区間が時間閾値Ｔ２以下の場合、谷（ａ−１）と山
（ａ−１：ａ）と谷（ａ）をまとめて、新たに谷（ａ−
１）と定義し直し（Ｓ７３１）、新たに定義した谷（ａ
−１）の映像をまとめて抜き出す（Ｓ７３２）。時間閾
値Ｔ２は、例えば１０００ミリ秒と設定したところ良好
な結果が得られた。時間閾値Ｔ１と同様に、この値はユ
ーザが自由に設定変更することができる。ただし、この
時間閾値Ｔ２は解析波１において設定した時間閾値Ｔ１
の値よりも大きくなければならない。次に、ａ＋１番以
降の全ての谷について、谷（ａ＋１）を新たに谷（ａ）
と定義し直して（Ｓ７３３）、谷の総数Ｖを１減らす
（Ｓ７３４）。

【００３６】谷の番号ａが、この時点における谷の総数
Ｖ以下であるならば（Ｓ７３６）、Ｓ７２９の処理に移
る。そうでないならば、解析波１処理部２（Ｓ７０６）
を終える。

【００３７】なお、解析波１処理部２（Ｓ７０６）の処
理を終えた後、次の処理を行う。すなわち、山（Ｓ：
１）が存在し、谷（１）が抜き出されていて、山（Ｓ：
１）の時間区間が時間閾値Ｔ２以下であるならば、山
（Ｓ：１）と谷（１）をまとめて新たに谷（１）と定義
し直して、谷（１）の映像を抜き出す。また、山（Ｖ：
Ｅ）が存在し、谷（Ｖ）が抜き出されていて、山（Ｖ：
Ｅ）の時間区間が時間閾値Ｔ２以下であるならば、谷
（Ｖ）と山（Ｖ：Ｅ）をまとめて新たに谷（Ｖ）と定義
し直して、谷（Ｖ）の映像を抜き出す。

【００３８】図７ｅは、シーン生成処理における、解析
波２処理部２（Ｓ７０８）のフローチャートである。

【００３９】解析波２に関して、山（ｂ−１）か山
（ｂ）のどちらか一方でも、この時点において抽出され
ているならば（Ｓ７３７）、Ｓ７３８に続く処理に移
る。そうでないならば、山の番号ｂを１増やして（Ｓ７
４３）、山の番号ｂがこの時点での山の総数Ｍ以下であ
るならば（Ｓ７４４）、Ｓ７３７に続く処理に移る。そ
うでないならば、解析波２処理部２（Ｓ７０８）を終え
る。

【００４０】山（ｂ−１）か山（ｂ）のどちらか一方で
も抽出されている場合、次に示す処理を行う。まず、谷
（ｂ−１：ｂ）の時間区間が時間閾値Ｔ２以下ならば
（Ｓ７３８）、Ｓ７３９に続く処理に移る。そうでない
ならば、Ｓ７４３の処理に移る。谷（ｂ−１：ｂ）の時
間区間が時間閾値Ｔ２以下の場合、山（ｂ−１）と谷
（ｂ−１：ｂ）と山（ｂ）をまとめて、新たに山（ｂ−
１）と定義し直して（Ｓ７３９）、新たに定義した山
（ｂ−１）の映像をまとめて抜き出す（Ｓ７４０）。時
間閾値Ｔ２は、例えば１０００ミリ秒と設定したところ
良好な結果が得られた。この閾値は解析波１において設
定した値と同じ値を設定しても良いし、別の値を設定し
ても良い。ただし、解析波２において設定した時間閾値
Ｔ１の値よりも大きくなければならない。次に、ｂ＋１
番以降の全ての山について、山（ｂ＋１）を新たに山
（ｂ）と定義し直して（Ｓ７４１）、山の総数Ｍを１減
らす（Ｓ７４２）。

【００４１】山の番号ｂが、この時点における山の総数
Ｍ以下であるならば（Ｓ７４４）、Ｓ７３７の処理に移
る。そうでないならば、解析波２処理部２（Ｓ７０８）
を終える。

【００４２】なお、解析波２処理部２（Ｓ７０８）の処
理を終えた後、次の処理を行う。すなわち、谷（Ｓ：
１）が存在し、山（１）が抜き出されていて、谷（Ｓ：
１）の時間区間が時間閾値Ｔ２以下であるならば、谷
（Ｓ：１）と山（１）の映像をまとめて新たに山（１）
と定義し直して、山（１）の映像を抜き出す。また、谷
（Ｍ：Ｅ）が存在し、山（Ｍ）が抜き出されていて、谷
（Ｍ：Ｅ）の時間区間が時間閾値Ｔ２以下であるなら
ば、山（Ｍ）と谷（Ｍ：Ｅ）の映像をまとめて新たに山
（Ｍ）と定義し直して、山（Ｍ）の映像を抜き出す。

【００４３】図７ｆは、シーン生成処理における、解析
波１処理部３（Ｓ７１０）のフローチャートである。

【００４４】解析波１に関して、谷（ａ−１）と谷
（ａ）のどちらも、この時点において抽出されているな
らば（Ｓ７４５）、Ｓ７４６に続く処理に移る。そうで
ないならば、谷の番号ａを１増やして（Ｓ７５１）、谷
の番号ａがこの時点での谷の総数Ｖ以下であるならば
（Ｓ７５２）、Ｓ７４５に続く処理に移る。そうでない
ならば、解析波１処理部３（Ｓ７１０）を終える。

【００４５】谷（ａ−１）と谷（ａ）のどちらも抽出さ
れている場合、次に示す処理を行う。まず、山（ａ−
１：ａ）の時間区間が時間閾値Ｔ３以下ならば（Ｓ７４
６）、Ｓ７４７に続く処理に移る。そうでないならば、
Ｓ７５１の処理に移る。山（ａ−１：ａ）の時間区間が
時間閾値Ｔ３以下の場合、谷（ａ−１）と山（ａ−１：
ａ）と谷（ａ）をまとめて、新たに谷（ａ−１）として
定義し直して（Ｓ７４７）、新たに定義した谷（ａ−
１）の映像をまとめて抜き出す（Ｓ７４８）。時間閾値
Ｔ３は、例えば２０００ミリ秒と設定したところ良好な
結果が得られた。時間閾値Ｔ１及び時間閾値Ｔ２と同様
に、この値はユーザが自由に設定変更することができ
る。ただし、解析波１において設定した時間閾値Ｔ２の
値よりも大きくなければならない。次に、ａ＋１番以降
の全ての谷について、谷（ａ＋１）を新たに谷（ａ）と
定義し直して（Ｓ７４９）、谷の総数Ｖを１減らす（Ｓ
７５０）。

【００４６】谷の番号ａが、この時点における谷の総数
Ｖ以下であるならば（Ｓ７５２）、Ｓ７４５の処理に移
る。そうでないならば、解析波１処理部３（Ｓ７１０）
を終える。

【００４７】図７ｇは、シーン生成処理における、解析
波２処理部３（Ｓ７１２）のフローチャートである。

【００４８】解析波２に関して、山（ｂ−１）と山
（ｂ）のどちらも、この時点において抽出されているな
らば（Ｓ７５３）、Ｓ７５４に続く処理に移る。そうで
ないならば、山の番号ｂを１増やして（Ｓ７５９）、山
の番号ｂがこの時点での山の総数Ｍ以下であるならば
（Ｓ７６０）、Ｓ７５３に続く処理に移る。そうでない
ならば、解析波２処理部３（Ｓ７１２）を終える。

【００４９】山（ｂ−１）と山（ｂ）のどちらも抽出さ
れている場合、次に示す処理を行う。まず、谷（ｂ−
１：ｂ）の時間区間が時間閾値Ｔ３以下ならば（Ｓ７５
４）、Ｓ７５５に続く処理に移る。そうでないならば、
Ｓ７５９の処理に移る。谷（ｂ−１：ｂ）の時間区間が
時間閾値Ｔ３以下の場合、山（ｂ−１）と谷（ｂ−１：
ｂ）と山（ｂ）をまとめて、新たに山（ｂ−１）として
定義し直して（Ｓ７５５）、新たに定義した山（ｂ−
１）の映像をまとめて抜き出す（Ｓ７５６）。時間閾値
Ｔ３は、例えば２０００ミリ秒と設定したところ良好な
結果が得られた。この閾値は解析波１において設定した
値と同じ値を設定しても良いし、別の値を設定しても良
い。ただし、解析波２において設定した時間閾値Ｔ２の
値よりも大きくなければならない。次に、ｂ＋１番以降
の全ての山について、山（ｂ＋１）を新たに山（ｂ）と
定義し直して（Ｓ７５７）、山の総数Ｍを１減らす（Ｓ
７５８）。

【００５０】山の番号ｂが、この時点における山の総数
Ｍ以下であるならば（Ｓ７６０）、Ｓ７５３の処理に移
る。そうでないならば、解析波２処理部３（Ｓ７１２）
を終える。

【００５１】前記の手法により、ユーザーの興味対象を
中心にして全体として見やすい映像をまとめて抽出する
ことが可能となるが、現実にはある刺激に対する脳波の
反応には遅延を伴う。従って、シーンとして本来抽出す
べき映像の開始部分において脳波反応に遅延が生じてい
る場合があり、次に示す処理によって、前述のシーン生
成処理により生成されるシーンの直前に映像を付加す
る。これを脳波反応遅延処理（２０３）と呼ぶことにす
る。

【００５２】解析波１に関して、次の処理を全ての谷に
対して行う。すなわち、谷（ａ）が抜き出されている場
合、谷（ａ）の開始時点よりも時間閾値Ｔｐ前の時点か
ら、谷（ａ）の開始時点までの映像を抜き出す。解析波
２に関しては、次の処理を全ての山に対して行う。すな
わち、山（ｂ）が抜き出されている場合、山（ｂ）の開
始時点よりも時間閾値Ｔｐ前の時点から、山（ｂ）の開
始時点までの映像を抜き出す。時間閾値Ｔｐは例えば５
００ミリ秒と設定したところ良好な結果が得られた。他
の閾値と同様、この値はユーザが自由に設定変更するこ
とができる。もちろん、解析波１に設定する値と解析波
２に設定する値が同じである必要はない。

【００５３】なお、解析波１に関して、谷（１）の開始
時点よりも時間閾値Ｔｐ前の時点の映像が存在しない場
合は、全映像の開始時点から谷（１）の開始時点までの
映像を抜き出す。解析波２に関しては、山（１）の開始
時点よりも時間閾値Ｔｐ前の時点の映像が存在しない場
合は、全映像の開始時点から山（１）の開始時点までの
映像を抜き出す。

【００５４】また、現実に認められる現象として、同様
の刺激が繰り返されると脳波反応が抑制される、すなわ
ち慣れが起こるということがある。慣れは刺激の強度や
頻度、ユーザにとっての興味の大きさに依存している。
刺激が強いと慣れが起こりにくく、単位時間当たりの刺
激の頻度が高いと早く慣れが生じる。また、刺激に何か
他の情報が付加されている場合や刺激に特別な意味があ
る場合には慣れが起こりにくくなる。従って、シーンと
して本来抽出すべき映像の終了部分において脳波反応が
抑制される場合があり、次に示す処理によって、前述の
シーン生成処理により生成されるシーンの直後に映像を
付加する。これを脳波反応抑制処理(２０４）と呼ぶこ
とにする。なお、慣れによる脳波反応の抑制に対して時
間閾値を設定することは困難であり、振幅閾値を設定し
て処理を行う。

【００５５】図８は解析波１における脳波反応抑制処理
を説明するための、脳波の一の状態を示す図である。谷
（ａ）が抜き出されている場合、谷（ａ）の時間区間に
おける振幅の最後の極小値をＡｍ（ａ）とし、Ａｍ
（ａ）のＲａ％に相当する振幅をＡｒ（ａ）として、谷
（ａ）の終了時点から振幅が初めてＡｒ（ａ）となる時
点が、直後の山の時間区間に存在するならば、谷（ａ）
の終了時点から振幅が初めてＡｒ（ａ）となる時点まで
の時間区間をＴｒ（ａ）と定義し、その時間区間の映像
を抜き出す。Ｒａは、例えば１６０と設定したところ良
好な結果が得られた。他の閾値と同様に、ユーザーが自
由に設定変更することが可能である。ただし、Ａｒ
（ａ）が振幅閾値Ａよりも小さい場合は、この脳波反応
抑制処理によって新たに映像が抽出されることはないも
のとする。

【００５６】解析波１に関して、この処理を全ての谷に
ついて行った後、この処理によって定義された時間区間
Ｔｒ（ａ）の最大値をＴａとし、この処理においてＴｒ
（ａ）が存在しなかった全ての谷について、次の処理を
行う。すなわち、谷（ａ）が抜き出されているが、直後
の山の時間区間において振幅がＡｒ（ａ）以上にならな
い場合、谷（ａ）の終了時点から時間区間Ｔａの映像を
抜き出す。

【００５７】図９は解析波２における脳波反応抑制処理
を説明するための、脳波の一の状態を示す図である。山
（ｂ）が抜き出されている場合、山（ｂ）の時間区間に
おける振幅の最後の極大値をＢｍ（ｂ）とし、Ｂｍ
（ｂ）のＲｂ％に相当する振幅をＢｒ（ｂ）として、山
（ｂ）の終了時点から振幅が初めてＢｒ（ｂ）となる時
点が、直後の谷の時間区間に存在するならば、山（ｂ）
の終了時点から振幅が初めてＢｒ（ｂ）となる時点まで
の時間区間をＴｒ（ｂ）と定義し、その時間区間の映像
を抜き出す。Ｒｂは、例えば４０と設定したところ良好
な結果が得られた。Ｒａと同様にユーザーが自由に設定
変更することが可能である。ただし、Ｂｒ（ｂ）が振幅
閾値Ｂよりも大きい場合は、この脳波反応抑制処理によ
って新たに映像が抽出されることはないものとする。

【００５８】解析波２に関して、この処理を全ての山に
ついて行った後、この処理によって定義された時間区間
Ｔｒ（ｂ）の最大値をＴｂとし、この処理においてＴｒ
（ｂ）が存在しなかった全ての山について、次の処理を
行う。すなわち、山（ｂ）が抜き出されているが、直後
の谷の時間区間において振幅がＢｒ（ｂ）以下にならな
い場合、山（ｂ）の終了時点から時間区間Ｔｂの映像を
抜き出す。

【００５９】なお、解析波１に関して、谷（Ｖ）の終了
時点から時間区間Ｔｒ（Ｖ）の映像を抜き出す場合、あ
るいは谷（Ｖ）の終了時点から時間区間Ｔａの映像を抜
き出す場合において、全映像中に抜き出すべき映像の全
てが存在しないならば、谷（Ｖ）の終了時点から全映像
の終了時点までの映像を抜き出す。解析波２に関して
は、山（Ｍ）の終了時点から時間区間Ｔｒ（Ｍ）の映像
を抜き出す場合、あるいは山（Ｍ）の終了時点から時間
区間Ｔｂの映像を抜き出す場合において、全映像中に抜
き出すべき映像の全てが存在しないならば、山（Ｍ）の
終了時点から全映像の終了時点までの映像を抜き出す。

【００６０】図１０は、解析波統合処理（２０５）及び
シーン統合処理（２０６）、要約映像生成処理（２０
７）について模式的に示した図である。解析波１の解析
により抜き出されるシーン（１００１）と、解析波２の
解析により抜き出されるシーン（１００２）において、
重なる部分はその論理和をとって新たなシーン（１００
３）を生成する。これを解析波統合処理（２０５）と呼
ぶことにする。次に解析波統合処理により生成されるシ
ーン（１００３）において、あるシーンの終了時点から
次のシーンの開始時点までの時間区間が時間閾値Ｔｍ以
下ならば、その時間区間と前後のシーンをまとめて新た
なシーン（１００４）を生成する。これをシーン統合処
理（２０６）と呼ぶことにする。この処理は要約映像を
再生する際に見やすくするための便宜的なものであり、
脳波の特性とは関係がない。時間閾値Ｔｍは、例えば１
０００ミリ秒と設定したところ良好な結果が得られた。
この閾値はユーザが自由に設定変更することが可能であ
る。最後に、シーン統合処理により生成されるシーン
（１００４）において、抜き出されるシーンのみを結合
して要約映像（１００５）を生成する。これを要約映像
生成処理（２０７）と呼ぶことにする。なお、要約映像
とは映像だけではなく、音声も含む。

【００６１】又以上説明した各処理を実行する本実施形
態における装置の基本構成を図１１ａ及び図１１ｂに示
す。同図に示す装置の基本構成は一般のコンピュータと
ほぼ同じである。

【００６２】１１０１はＣＰＵで、ＲＡＭ１１０２やＲ
ＯＭ１１０３などのメモリ内に格納されたプログラムや
データなどを用いて装置全体の制御を行う。

【００６３】１１０２はＲＡＭで、外部記憶装置１１０
４からロードされたプログラムやデータなどを一時的に
格納するエリアを備えると共に、ＣＰＵ１１０１が上述
の各種の処理を実行する際のワークエリアも備える。

【００６４】１１０３はＲＯＭで、装置全体の制御プロ
グラムやデータなどを格納すると共に、文字コードなど
の設定データなども格納する。

【００６５】１１０４は外部記憶装置で、ＣＤ−ＲＯＭ
やフロッピー（登録商標）ディスク等の記憶媒体からイ
ンストールされたプログラムやデータなどを保存するこ
とができる。また、ＣＰＵ１１０１のワークエリアのサ
イズがＲＡＭ１１０２のサイズを超えたときに、一時的
にワークエリアとして提供することもできる。

【００６６】１１０５は操作部で、キーボードやマウス
などのポインティングデバイスにより構成されており、
各種の指示を装置に入力することができる。

【００６７】１１０６は出力部で、ＣＲＴや液晶画面等
により構成される映像出力部では、各種の文字や映像を
表示することができる。また、スピーカー、アンプなど
により構成される音声出力部では、音声を出力すること
ができる。

【００６８】１１０７a及び１００７bはＩ／Ｆ（インタ
ーフェース）で、ＲＳ−２３２ＣやＮＣＵ等のインター
フェースにより構成されており、映像、音声及び脳波を
同期記録するレコーダーと接続して、記録データを取り
こむことが可能である。また、プリンタなどの周辺機器
を接続したり、ネットワークに接続することも当然に可
能である。

【００６９】１１０８は上述の各部を繋ぐバスである。

【００７０】１１０９は、同期取得された映像、音声及
び脳波データを格納する多重記録部である。

【００７１】１１１０は処理対象の映像、音声及び脳波
を本発明の実施形態に対応した処理を行うために分離す
る分離部である。

【００７２】１１１１は映像、音声記録部であり、例え
ば、デジタルビデオレコーダー等のような映像と音声の
同時記録が可能な装置により構成される。また、映像及
び音声を共通の同期信号と共に独立に記録できるような
装置で構成されても良い。

【００７３】１１１２は入力部であり、映像及び音声を
取得するために、ＣＣＤ等の小型ビデオカメラやマイク
等によって構成される。また、本発明の実施形態におい
ては、視線方向の映像を撮像可能な頭部に設置可能なカ
メラが好ましいが、カメラの設置場所は必ずしも頭部に
限定されない。

【００７４】１１１３は脳波記録部であり、映像と独立
したハードディスク等の記録媒体で構成されても良い
し、ビデオレコーダーの音声チャネルの片方を利用して
記録する構成でもよい。後者の場合は、映像及び音声デ
ータと同時に脳波データを記録できるので同期を確保す
るのが容易になる利点がある。

【００７５】１１１４は脳波計であり、携帯可能な小型
の１チャンネル脳波計等で構成される。

【００７６】１１１５は上述の各部を繋ぐバスである。

【００７７】また、図１１ａ及び図１１ｂに示すシステ
ムの構成は、各構成要素が一つの機器に統合されている
必要は無く、複数の機器から構成されるシステムで実現
されてもよいし、一方で、例えばビデオカメラ内蔵のパ
ーソナルコンピュータなどのような一つの機器からなる
装置で実現されてもよい。

【００７８】[その他の実施形態]また、本発明の目的
は、前述した実施形態の機能を実現するソフトウェアの
プログラムコードを記録した記憶媒体（または記録媒
体）を、システムあるいは装置に供給し、そのシステム
あるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）
が記憶媒体に格納されたプログラムコードを読み出し実
行することによっても、達成されることは言うまでもな
い。この場合、記憶媒体から読み出されたプログラムコ
ード自体が前述した実施形態の機能を実現することにな
り、そのプログラムコードを記憶した記憶媒体は本発明
を構成することになる。また、コンピュータが読み出し
たプログラムコードを実行することにより、前述した実
施形態の機能が実現されるだけでなく、そのプログラム
コードの指示に基づき、コンピュータ上で稼働している
オペレーティングシステム（ＯＳ）などが実際の処理の
一部または全部を行い、その処理によって前述した実施
形態の機能が実現される場合も含まれることは言うまで
もない。

【００７９】さらに、記憶媒体から読み出されたプログ
ラムコードが、コンピュータに挿入された機能拡張カー
ドやコンピュータに接続された機能拡張ユニットに備わ
るメモリに書込まれた後、そのプログラムコードの指示
に基づき、その機能拡張カードや機能拡張ユニットに備
わるＣＰＵなどが実際の処理の一部または全部を行い、
その処理によって前述した実施形態の機能が実現される
場合も含まれることは言うまでもない。

【００８０】

【発明の効果】本発明は、以上説明したように構成され
ているので、以下に記載されるような効果を奏する。

【００８１】本発明のシステムにおいては、映像及び音
声と同期して記録した脳波を解析して、ユーザの覚醒水
準が高いときの映像及び音声を自動的に判別し、ユーザ
ーの覚醒水準の高い状態のシーンを網羅しつつ、シーン
全体の流れを損なわない見やすい映像及び音声編集が可
能となる。

【００８２】本発明は、映像及び音声を短時間で自動的
に編集できるので、ユーザがこれを手作業で編集した場
合に比べて、ユーザの手間と時間を省くことができる。

【００８３】本発明は、編集作業に従来要していた手間
と時間を省くことができるので、ユーザがカメラを常時
身につけて記録した長期間の膨大な映像であっても自動
編集することができ、例えばユーザの数年から数十年の
要約映像を自動的に作ることができ、ユーザはこれを見
返すことができる。

【００８４】本発明のシステムにおいては、脳波を利用
することによって、ユーザが興味をもったことを忘れて
いたシーンや、脳波反応に表れた潜在的に興味をもった
シーンなど、手作業で編集した場合には含まれないシー
ンも抽出することができ、これを見返すことでユーザは
自分の興味の対象を新たに発見することができる。

【図面の簡単な説明】

【図１】本発明の実施形態における自動編集装置及び方
法を説明するための概略ブロック図である。

【図２】本発明の実施形態における自動編集プログラム
を説明するためのフロー図である。

【図３】本発明の実施形態における解析波１の谷と山を
説明するための図である。

【図４】本発明の実施形態におけるシーン生成処理を説
明するための図である。

【図５】本発明の実施形態における解析波２の山と谷を
説明するための図である。

【図６】本発明の実施形態におけるシーン生成処理を説
明するための図である。

【図７ａ】本発明の実施形態におけるシーン生成処理の
全体を説明するためのフロー図である。

【図７ｂ】本発明の実施形態におけるシーン生成処理の
解析波１処理部１を説明するためのフロー図である。

【図７ｃ】本発明の実施形態におけるシーン生成処理の
解析波２処理部１を説明するためのフロー図である。

【図７ｄ】本発明の実施形態におけるシーン生成処理の
解析波１処理部２を説明するためのフロー図である。

【図７ｅ】本発明の実施形態におけるシーン生成処理の
解析波２処理部２を説明するためのフロー図である。

【図７ｆ】本発明の実施形態におけるシーン生成処理の
解析波１処理部３を説明するためのフロー図である。

【図７ｇ】本発明の実施形態におけるシーン生成処理の
解析波２処理部３を説明するためのフロー図である。

【図８】本発明の実施形態における脳波反応抑制処理を
説明するための図である。

【図９】本発明の実施形態における脳波反応抑制処理を
説明するための図である。

【図１０】本発明の実施形態における解析波統合処理及
びシーン統合処理、要約映像生成処理を説明するための
図である。

【図１１ａ】本発明の実施形態におけるシステムの概略
図である。

【図１１ｂ】本発明の実施形態におけるシステムの概略
図である。

【図１２ａ】本発明の実施形態における電極位置を説明
するための人間の頭部を上から見た図である。

【図１２ｂ】本発明の実施形態における電極位置を説明
するための人間の頭部を横から見た図である。

───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 平８−87870（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) H04N 5/76 - 5/956 A61B 5/0476 A61B 5/16

Claims (15)

(57)【特許請求の範囲】
1. 【請求項１】 記録した映像及び音声を編集し、要約映
   像を自動生成する映像音声自動編集装置であって、 映像入力手段と、 音声入力手段と、 人間の脳波の計測手段と、 前記入力手段により入力された映像、音声及び脳波を同
   期させて記録する記録手段と、 前記計測手段で計測された脳波から、第１の帯域を有す
   る前記脳波の振幅が第１の振幅閾値より小さくなる振幅
   の谷が第１の時間の時間閾値よりも長く継続する場合、
   又は、第２の帯域を有する前記脳波の振幅が第２の振幅
   閾値より大きくなる振幅の山が第２の時間閾値よりも長
   く継続する場合、のいずれかに基づいて人間の覚醒水準
   の高い状態を検出する検出手段と、 前記検出手段の検出結果に基づき映像及び音声を抽出す
   る抽出手段と、 前記抽出手段によって抽出された映像及び音声から、要
   約映像を生成する要約映像生成手段とを備える事を特徴
   とする映像音声自動編集装置。
2. 【請求項２】 前記第１の帯域を有する脳波が、７ヘル
   ツから９ヘルツ帯域の脳波であり、前記第２の帯域を有
   する脳波が１３ヘルツから３０ヘルツ帯域の脳波である
   ことを特徴とする、請求項１に記載の映像音声自動編集
   装置。
3. 【請求項３】 記録した映像及び音声を編集し、要約映
   像を自動生成する映像音声自動編集方法であって、 映像入力工程と、 音声入力工程と、 人間の脳波の計測工程と、 前記入力工程において入力された、映像、音声及び脳波
   を同期させて記録する記録工程と、 前記計測工程で計測された脳波から、第１の帯域を有す
   る前記脳波の振幅が第１の振幅閾値より小さくなる振幅
   の谷が第１の時間の時間閾値よりも長く継続する場合、
   又は、第２の帯域を有する前記脳波の振幅が第２の振幅
   閾値より大きく なる振幅の山が第２の時間閾値よりも長
   く継続する場合、のいずれかに基づいて人間の覚醒水準
   の高い状態を検出する検出工程と、 前記検出工程の検出結果に基づき映像及び音声を抽出す
   る抽出工程と、 前記抽出工程によって抽出された映像及び音声から、要
   約映像を生成する要約映像生成工程とを備える事を特徴
   とする映像音声自動編集方法。
4. 【請求項４】 前記第１の帯域を有する脳波が、７ヘル
   ツから９ヘルツ帯域の脳波であり、前記第２の帯域を有
   する脳波が１３ヘルツから３０ヘルツ帯域の脳波である
   ことを特徴とする、請求項３に記載の映像音声自動編集
   方法。
5. 【請求項５】 人間の脳波から人間の覚醒水準の高い状
   態を検出し、検出結果に基づき脳波と同期して記録した
   映像及び音声を自動編集するプログラムを記憶したコン
   ピュータで読取可能な記憶媒体であって、 人間の覚醒水準の高い状態における２種類の脳波を検出
   する検出ステップのコードと、 前記検出ステップにおいて検出された前記２種類の脳波
   にそれぞれ対応する映像及び音声のショットを抽出する
   ショット抽出ステップのコードと、 前記ショット抽出ステップにおいて抽出された各映像及
   び音声のショットをそれぞれ統合して前記２種類の脳波
   に対応するシーンを生成するシーン生成ステップのコー
   ドと、 前記シーン生成ステップにおいて生成された前記各シー
   ンにつき、２種類の脳波の反応遅延に基づき欠落した各
   シーン開始映像及び音声を補完する、脳波反応遅延処理
   ステップのコードと、 前記脳波反応遅延処理ステップにおいて補完されたシー
   ンにつき、２種類の脳波反応の抑制に基づき欠落した各
   シーン終了映像及び音声を補完する、脳波反応抑制処理
   ステップのコードと、 前記脳波反応抑制処理ステップにおいて処理された、前
   記２種類の脳波に対応するシーンを一に統合する解析波
   統合処理ステップのコードと、 前記解析波統合処理ステップにおいて統合されたシーン
   を、更に統合するシーン統合処理ステップのコードと、 前記シーン統合処理ステップにおいて統合されたシーン
   を結合させて要約映像及び音声を生成する要約映像音声
   生成処理ステップのコードとを備えることを特徴とする
   コンピュータで読取可能な記憶媒体。
6. 【請求項６】 前記検出ステップにおいて検出される前
   記２種類の脳波が、脳波周波数７ヘルツから９ヘルツ帯
   域の第１の解析波と、脳波周波数１３ヘルツから３０ヘ
   ルツ帯域の第２の解析波であることを特徴とする、請求
   項５に記載のコンピュータで読取可能な記憶媒体。
7. 【請求項７】 前記第１の解析波が７．５ヘルツの周波
   数の脳波であり、かつ、前記第２の解析波が１５ヘルツ
   と２２．５ヘルツと３０ヘルツの脳波の平均であること
   をさらに特徴とする、請求項６に記載のコンピュータで
   読取可能な記憶媒体。
8. 【請求項８】 前記ショット抽出ステップは、前記解析
   波１の振幅を第１の振幅閾値と比較し、前記第１の振幅
   閾値よりも小さくなる振幅の谷が第１の時間閾値よりも
   長く継続する場合に、対応する映像及び音声を第１のシ
   ョットとして抽出し、 前記解析波２の振幅を第２の振幅閾値と比較し、前記第
   ２の振幅閾値よりも大きくなる振幅の山が第１の時間閾
   値よりも長く継続する場合に、対応する映像及び音声を
   第２のショットとして抽出することを特徴とする、請求
   項５乃至請求項７のいずれかに記載のコンピュータで読
   取可能な記録媒体。
9. 【請求項９】 前記第１の時間閾値が２００ｍｓである
   ことを特徴とする請求項８に記載のコンピュータで読み
   取り可能な記憶媒体。
10. 【請求項１０】 前記シーン生成ステップは、 ２つの前記振幅の谷に挟まれた映像及び音声に対応する
    前記解析波１の振幅が、前記第１の振幅閾値よりも大き
    く、かつ、その大小関係が持続する時間が第２の時間閾
    値よりも短い場合には、前記映像及び音声をその前後の
    前記振幅の谷に対応する映像及び音声と結合し、その長
    さが前記第１の時間閾値よりも長い場合には第１のシー
    ンとして生成し抽出する第１のシーン生成抽出ステップ
    と、 前記ショット抽出ステップにおいて抽出された前記第１
    のショットまたは前記第１のシーン生成抽出ステップに
    おいて抽出された前記第１のシーンの直前または直後の
    映像及び音声に対応する前記解析波１の振幅が、前記第
    １の振幅閾値よりも大きく、かつ、その大小関係が持続
    する時間が第３の時間閾値よりも短い場合には、前記映
    像及び音声を、その前後の前記第１のショット、前記第
    １のシーン、またはこれらに含まれない前記振幅の谷に
    対応する映像及び音声のうちいずれか２つと結合して第
    ２のシーンを生成し抽出する第２のシーン生成抽出ステ
    ップと、 前記第１または第２のシーン生成抽出ステップにおいて
    抽出された複数の前記第１または第２のシーンと、前記
    ショット抽出ステップによって抽出された複数の第１の
    ショットのうちのいずれか２つによって直接に挟まれた
    映像及び音声に対応する解析波１が、前記第１の振幅閾
    値よりも大きく、かつ、その大小関係が持続する時間が
    第４の時間閾値よりも短い場合には、前記映像及び音声
    を前後の前記第１または第２のシーンと前記第１のショ
    ットのいずれか２つと結合して第３のシーンを生成し抽
    出する第３のシーン生成抽出ステップと、 ２つの前記振幅の山に挟まれた映像及び音声に対応する
    前記解析波２の振幅が、前記第２の振幅閾値よりも小さ
    く、かつ、その大小関係が持続する時間が第２の時間閾
    値よりも短い場合には、前記映像及び音声をその前後の
    前記振幅の山に対応する映像及び音声と結合し、その長
    さが前記第１の時間閾値よりも長い場合には第４のシー
    ンとして生成し抽出する第４のシーン生成抽出ステップ
    と、 前記ショット抽出ステップにおいて抽出された前記第２
    のショットまたは前記第４のシーン生成抽出ステップに
    おいて抽出された前記第４のシーンの直前または直後の
    映像及び音声に対応する前記解析波２の振幅が、前記第
    ２の振幅閾値よりも小さく、かつ、その大小関係が持続
    する時間が第３の時間閾値よりも短い場合には、前記映
    像及び音声を、その前後の前記第２のショット、前記第
    ４のシーン、またはこれらに含まれない前記振幅の山に
    対応する映像及び音声のうちいずれか２つと結合して第
    ５のシーンを生成し抽出する第５のシーン生成抽出ステ
    ップと、 前記第４または第５のシーン生成抽出ステップにおいて
    抽出された複数の前記第４または第５のシーンと、前記
    ショット抽出ステップによって抽出された複数の第２の
    ショットのうちのいずれか２つによって直接に挟まれた
    映像及び音声に対応する解析波２が、前記第２の振幅閾
    値より小さく、かつ、その大小関係が持続する時間が第
    ４の時間閾値よりも短い場合には、前記映像及び音声を
    前後の前記第４または第５のシーンと前記第２のショッ
    トのいずれか２つと結合して第６のシーンを生成し抽出
    する第６のシーン生成抽出ステップとを有することを特
    徴とする請求項８または請求項９に記載のコンピュータ
    で読み取り可能な記憶媒体。
11. 【請求項１１】 前記第２の時間閾値が５００ｍｓであ
    り、前記第３の時間閾値が１０００ｍｓであり、前記第
    ４の時間閾値が２０００ｍｓであることを特徴とする請
    求項１０に記載のコンピュータで読み取り可能な記憶媒
    体。
12. 【請求項１２】 前記脳波反応遅延処理ステップが、 前記第３のシーン生成抽出ステップで抽出した第３のシ
    ーン及びこれに含まれない前記第１のショットに対し、
    シーン及びショット開始時点から第５の時間閾値だけ遡
    った時点からシーン及びショット開始時点までの映像及
    び音声から第７のシーンを生成して抽出する第７のシー
    ン生成抽出ステップと、 前記第６のシーン生成抽出ステップで抽出した第６のシ
    ーン及びこれに含まれない前記第２のショットに対し、
    シーン及びショット開始時点から第５の時間閾値だけ遡
    った時点からシーン及びショット開始時点までの映像及
    び音声から第８のシーンを生成して抽出する第８のシー
    ン生成抽出ステップとを有することを特徴とする、請求
    項１０または請求項１１に記載のコンピュータで読み取
    り可能な記憶媒体。
13. 【請求項１３】 前記第５の時間閾値が５００ｍｓであ
    ることを特徴とする請求項１２に記載のコンピュータで
    読み取り可能な記憶媒体。
14. 【請求項１４】 前記脳波反応抑制処理ステップが、 前記第７のシーンに対応する解析波１の振幅の極小値の
    うち、前記第７のシーンの末尾に位置するものの直後の
    振幅の山の振幅値が、前記シーン末尾の振幅の極小値に
    対し第１の振幅倍率だけ増加した場合は、その時点から
    前記第７のシーンの終了時点までの映像及び音声を前記
    第７のシーンに結合し、 増加しなかった場合は、前記第７のシーンとその直後の
    シーンとの間に挟まれる映像及び音声について、前記第
    ７のシーン終了時点から第６の時間閾値の長さだけ抽出
    し、前記第７のシーンに結合するステップと、 前記第８のシーンに対応する解析波２の振幅の極大値の
    うち、前記第８のシーンの末尾に位置するものの直後の
    振幅の谷の振幅値が、前記シーン末尾の振幅の極大値に
    対し第２の振幅倍率だけ減少した場合は、その時点から
    前記第８のシーンの終了時点までの映像及び音声を前記
    第８のシーンに結合し、 減少しなかった場合は、前記第８のシーンとその直後の
    シーンとの間の映像及び音声について、前記第８のシー
    ン終了時点から第７の時間閾値の長さだけ抽出し、前記
    第８のシーンに結合するステップとを有することを特徴
    とする請求項１２または請求項１３に記載のコンピュー
    タで読み取り可能な記憶媒体。
15. 【請求項１５】 前記第１の振幅倍率が１６０％であ
    り、前記第２の振幅倍率が４０％であることを特徴とす
    る請求項１４に記載のコンピュータで読み取り可能な記
    憶媒体。