JPH11331760A - 映像の要約方法および記憶媒体 - Google Patents

Abstract

(57)【要約】 【課題】 映像と台本から挿し絵付き台本を生成する際
に有効な映像の要約方法および当該方法のプログラムを
記憶した記憶媒体に関し、内容を的確に把握するのに便
利な台本を生成すること。 【解決手段】 テキストから時刻情報を抜き出し（Ｓ４
１）、話題となる言葉を抽出する（Ｓ４２）。Ｓ４３で
話題となる言葉が固有名詞のときに、登場する時刻を求
め（Ｓ４４）、その時刻の静止画を求め（Ｓ４５）、静
止画を話題となる言葉の近くに挿入する（Ｓ４６）。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は映像の要約方法およ
び記憶媒体に関し、特に、映像とその台本（テキスト）
から挿し絵付きの台本を生成する際に有効な映像の要約
方法および当該方法のプログラムを記憶した記憶媒体に
関する。

【０００２】

【従来の技術】従来、複数の静止画から構成される映像
を要約するために映像中の画像を選択的に取り出すため
の手法としては、ショットの切り替わりを検出して各シ
ョットごとに画像を一つ取り出す手法があった。しか
し、通常この手法では数秒に一つの画像が生成され、映
像を要約するには画像の数が多くなりすぎるという問題
があった。また、結果として得られるものは単に画像を
並べたもので、必ずしも内容を要約的に把握するのに役
立つとは言えなかった。

【０００３】このため、ナレーション、台詞を記載した
台本など、映像にともなって発生させる音声に対応する
テキストから、そこでの話題を表す語（話題語）を抽出
し、話題語が登場する瞬間の画像だけを取り出す手法も
ある（Takeshita,T.Inoue,K.Tanaka. Topic-basedMulti
mediaStructuring,ProceedingsofInternationalJointCo
nferenceonArtificialIntelligence:WorkshoponIntelli
gentMultimediaInformationRetvieval,pp.46-58,August
1955. 、および、早川・大久保・井上・竹下「Ｉｎｆｏ
Ｂｅｅマルチメディア速覧技術」，ＮＴＴ Ｒ＆Ｄ，Ｖ
ｏｌ．４６，Ｎｏ．１０，ｐｐ．１１１５−１１２２，
１９９７．）。

【０００４】これら文献の手法では、平均してテキスト
２００字につき一つ程度、話題語が抽出される。

【０００５】

【発明が解決しようとする課題】しかし、前者の手法に
より取り出した画像を台本に挿し絵として挿入すること
を考えると、およそ２００字毎に挿し絵を挿入すること
になり、全体として挿し絵が多くなりすぎる。

【０００６】また後者の手法では、話題語が一般的・抽
象的な内容を表す語（たとえば「時代の変化」とか「教
育」など）である場合には、そもそも挿し絵を入れるこ
と自体の有効性が疑わしく、挿し絵としてその話題語が
登場する瞬間の画像を用いても、内容の要約的な説明に
ならないことが多い。この利用は、話題語が登場する瞬
間の映像は、たとえば司会者やインタビューされている
人物など、 話題語を話している人物の映像であること多
いからである。

【０００７】ところが、話題語が一般的・抽象的なもの
でなく具体性が高い場合（たとえば「Ｘ社」や「Ｙ氏」
などの固有名詞）には、挿し絵が話題語の追加説明とし
て有効であると考えられる。また、この話題語が登場し
た時点の映像には、話題語が指し示すそのもの（「Ｘ
社」や「Ｙ氏」）が映像として捉えられている可能性が
高い。したがって、このような具体性が高い話題語を抽
出した場合に限って、その時点の映像を取り出すための
方法が求められていた。

【０００８】そこで、本発明は上記の課題に鑑みてなさ
れたものであって、台本テキストと映像を用いて、内容
の把握に便利な挿し絵付きの台本を生成することのでき
る映像の要約方法および当該方法のプログラムを記憶し
た記憶媒体を提供することを目的とする。

【０００９】

【課題を解決するための手段】上記の課題を解決するた
めに請求項１の本発明方法は、連続する映像に付随させ
る言葉を発音すべき発音時刻情報とともに記載したテキ
ストから話題を示す言葉を抽出するとともに前記発音時
刻情報を抽出するステップと、前記話題を示す言葉が固
有名詞のときに、前記連続する映像が有する表示時刻情
報と前記発音時刻情報を対応させて前記連続する映像中
の静止画を抽出するステップとを含み、前記抽出した静
止画で前記連続する映像を要約することを特徴とする。

【００１０】また請求項２では、請求項１において、前
記抽出した静止画を前記テキスト中の前記話題を示す言
葉が記載される位置の近くに挿入するステップをさらに
含み、前記テキストと前記連続する映像の要約映像を合
成することができる。

【００１１】上記の課題を解決するために請求項３の本
発明記憶媒体は、連続する映像に付随させる言葉を発音
すべき発音時刻情報とともに記載したテキストから話題
を示す言葉を抽出させるとともに前記発音時刻情報を抽
出させるステップと、前記話題を示す言葉が固有名詞の
ときに、前記連続する映像が有する表示時刻情報と前記
発音時刻情報を対応させて前記連続する映像中の静止画
を抽出させるステップとを含み、前記抽出させた静止画
で前記連続する映像を要約することを特徴とする映像の
要約方法のプログラムを記憶した。

【００１２】また請求項４では、請求項３において、前
記抽出させた静止画を前記テキスト中の前記話題を示す
言葉が記載される位置の近くに挿入させるステップをさ
らに含み、前記テキストと前記連続する映像の要約映像
を合成することを特徴とする映像の要約方法のプログラ
ムを記憶することができる。

【００１３】上記構成の本発明方法および記憶媒体によ
れば、テキストとそれに基づく連続映像から、話題を示
す固有名詞が発音されるべき時刻の静止画の要約映像付
きのテキストを自動的に生成することができる。

【００１４】

【発明の実施の形態】以下、本発明の実施の形態につい
て図面を参照して詳細に説明する。

【００１５】図１は本発明の一実施形態の概略ハードウ
エア構成の全体を示すブロック図である。

【００１６】ここでは、図１の各要素の作用についてま
ず概略的に説明する。

【００１７】入力装置１０１は台本生成命令を入力す
る、周知の構成のマン−マシン・インタフェースであ
る。１０２は表示装置である。記憶装置１０４は、映像
ファイル、台本テキスト・ファイル（台本テキスト）等
を記憶する。制御装置１０３は、記憶装置１０４から台
本テキスト・ファイルを読み出して後述の処理を行な
い、テキスト・ファイル中の話題後が固有名詞であると
きにはその語が出現する時刻情報を取り出す。さらに、
制御装置１０３は記憶装置１０４から映像ファイルを読
み出し、先に取り出された時刻情報に対応する時刻にお
ける映像を取り出す。この映像は、先の台本テキスト・
ファイル中の固有名詞の近くに掲示されるように台本テ
キスト・ファイルに挿入する。

【００１８】図２は、ＣＰＵを用いて図１の構成を実現
したハードウエア構成を示すブロック図であり、図１の
構成と同様に作用することができる。

【００１９】図２において、ＣＰＵ２０１にはメモリ２
０２、入力装置に相当するキーボード２０４、表示装置
に相当するディスプレイ２０３、記憶装置に相当するハ
ード・ディスク記憶装置２０５がシステム・バスを介し
て接続されている。ＲＡＭ等のメモリ２０２はＣＰＵ２
０１のワークエリアやデータの一時記憶用に使用され、
両者で図１の制御装置１０３に相当する。ハード・ディ
スク記憶装置２０５は記憶装置１０４に相当し、台本テ
キスト・ファイル２０６、映像ファイル２０７、形態素
解析プログラム２０８、話題抽出プログラム２０９、編
集プログラム２１０を格納する。

【００２０】これらの各プログラム２０８，２０９，２
１０はＣＰＵ２０１によって実行されて本発明の特徴的
な作用を発揮させるもので、ハード・ディスク記憶装置
２０５に限らず、その他の読み書き自在な各種記憶媒体
にロードして実行することができる。また、ＲＯＭ、Ｎ
ＶＲＡＭ等の不揮発性メモリ素子に予め記憶させておい
ても構わないし、ネットワークを介して他の装置等と通
信することで記憶装置にロードするようにしても構わな
い。さらに、コンピュータのディスク記憶装置等に着脱
自在で持ち運びが可能な記録媒体、たとえばフロッピィ
・ディスク、ＣＤ−Ｒ、ＭＯ，ＪＡＺＺ（商標），ＪＩ
Ｐ（商標）、各種磁気テープ等に記憶させておいてロー
ドすることもできる。

【００２１】図３は本発明の台本と映像の合成方法（映
像の要約方法）で用いる台本テキスト・ファイルの一例
を示す説明図である。

【００２２】図示の台本は映像に合わせてナレーション
を行うためのもので、たとえばナレーション３１〜３５
が記載され、これらのナレーションをアナウンサーが行
なうべき時刻の指示が、各ナレーションの行末に記載さ
れている。ナレーション３１を開始する時刻は０分１９
秒である。

【００２３】また、このような時刻情報を含んだ台本が
あらかじめ用意されていなくても、たとえば文字放送の
９９９チャネルで行われている字幕放送のデータを台本
テキスト・ファイルに記録していけば、図３に示したも
のと同等の時刻情報を合んだ台本テキスト・ファイルを
作成することが可能である。

【００２４】なお、ここでは図示しないが、映像ファイ
ル中の代表画像にはビデオ映像中での時刻情報としてタ
イム・スタンプが付与された代表画像がある。このタイ
ム・スタンプは、代表画像が属するショットの間始時刻
を表す情報である。

【００２５】たとえば上記した図２の構成において、形
態素解析プログラム２０８、話題抽出プログラム２０
９、編集プログラム２１０を実行することにより、本発
明方法を実行する装置は以下の通りに動作する。

【００２６】すなわち、キーボード２０４（入力装置１
０１）から台本生成命令が入力されると、ＣＰＵ２０１
（制御装置１０３）は上記台本テキスト・ファイルをハ
ード・ディスク記憶装置２０５（記憶装置１０４）から
読み出し、台本中に記載された時刻情報を取り出す。ま
た、台本テキスト・ファイルを分析して話題となる言葉
（話題語）を抽出する。そして、話題となる言葉が地
名、人名、企業名など固有名詞に相当するものであるか
どうかを調ベ、固有名詞である場合のみ、その語が出現
すべき時間を台本テキスト・ファイル中に記載された時
刻情報から取り出す。

【００２７】さらに、ハード・ディスク記憶装置２０５
（記憶装置１０４）から映像ファイルを読み出し、先に
取り出された時刻情報に基づき、映像中の対応する時刻
の映像を取り出す。取り出された映像は、文書として掲
示するときに先の台本中の固有名詞の近くに掲示される
ように、台本テキスト・ファイルに挿入される。

【００２８】以下、図４および図５のフローチャートを
用いて各プログラムによる処理について詳細に説明す
る。

【００２９】図４は本発明方法を表すフロー・チャート
である。本フロー・チャートにおけるステップＳ４２以
外の処理は、図２における編集プログラム２１０の処理
に相当する。

【００３０】まずステップＳ４１において、既に読み出
した台本テキスト・ファイルから時刻情報を抜き出す。
次にステップＳ４２において、台本テキスト・ファイル
から話題となる言葉（話題語）を抽出する。この抽出方
法については後で詳細に説明するが、図２における形態
素解析プログラム２０８と話題抽出プログラム２０９を
用いることにより行うものとする。両プログラムを実行
して話題語が抽出されると、抽出された各話題語につい
てステップＳ４３以下の処理を行う。

【００３１】ステップＳ４３ではまず、話題となる言葉
が人名、地名、企業名などの固有名詞であるか否かを調
べる。これは形態素解析の辞書を用いることで容易に判
定することができる。固有名詞でない場合は次の話題語
に処理を移し、このステップの処理を繰り返し実行す
る。

【００３２】一方、ステップＳ４３において固有名詞で
あった場合はステップＳ４４に進み、話題となる言葉が
登場すべき（アナウンサー等により発音されるべき）時
刻を求める。これは、先に台本テキスト・ファイルから
抜き出した時刻情報から算出することができる。

【００３３】登場時刻（発音されるべき時刻）を求める
と次にステップＳ４５で映像ファイルを読み出し、タイ
ム・スタンプを参照して話題となる言葉の登場時刻に表
示される静止画を一枚抽出する。続くステップＳ４６で
は、抽出された静止画が台本テキスト・ファイルの対応
する話題語とともに表示されるように、台本テキスト・
ファイル中の当該話題語近傍位置に挿入する。

【００３４】台本テキスト・ファイルに、たとえばＷＷ
Ｗ（Ｗｏｒｌｄ Ｗｉｄｅ Ｗｅｂ）システム等で用い
られるＨＴＭＬ形式ファイルを用いるならば、静止画を
ファイルに書き出し、そのファイル名を含むイメージ・
タグをテキスト中の上記話題語近傍位置に配置すること
で、図７を参照して後述する通りに所望の出力結果を得
ることができる。

【００３５】図５は上記ステップＳ４２において用いら
れる話題抽出プログラムの例を示すフロー・チャートで
ある。

【００３６】テキストからの話題抽出にはいくつかの手
法が在るが、本実施の形態では「テキスト速覧技術」
（ＮＴＴ Ｒ＆Ｄ，Ｖｏｌ．４６，Ｎｏ．１０，１９９
７年１０月）に基づく手法を用いた例について説明す
る。

【００３７】まずステップＳ５２において、台本テキス
ト・ファイルを形態素解析する。すなわち、形態素解析
プログラム２０８を実行し、ステップＳ４１で読み出し
た台本テキスト・ファイルを単語に分解し、単語の品詞
名を求める。

【００３８】つぎにステップＳ５４では、台本テキスト
・ファイルから話題転換語を探す。

【００３９】ここで話題転換語とは、「次に」、「さ
て」、「ところで」など、話題が変わることを示すとき
に用いる単語である。

【００４０】話題転換語が見つかるとステップＳ５６で
は、この話題転換語が先頭となるように区切ったテキス
トの区間において、顕著名詞句を抽出する。ここで顕著
名詞句とは、何かを説明しようとするような名詞句であ
り、「は」、「とは」、「が」、「について」などの助
詞が説明対象の名詞の後に付いて構成されるものであ
る。抽出された顕著名詞句には、助詞の種類に応じてス
コアを付与する。すなわち、最も説明的な助詞がついた
顕著名詞句のスコアは最も高い値とする。最も説明的で
ない助詞がついた顕著名詞句のスコアは最も低い値とす
る。たとえば「について」は「が」よりもより説明的で
あるので、「について」が付いている顕著名詞句には
「が」が付いている顕著名詞句よりも高いスコアが与え
られる。

【００４１】抽出した各顕著名詞句にスコアを付与する
と、最後にステップＳ５８で、これらの顕著名詞句のう
ちで最も高いスコアが与えられた名詞句、または最高ス
コアが同一スコアであった場合にはより区間の先頭に近
い、すなわち話題転換語に近い名詞句を、話題を表す言
葉（話題語）として最も可能性が高い単語として出力す
る。

【００４２】図６は実際の映像および台本に対して本発
明方法を適用した例を説明するための説明図である。

【００４３】図６では理解を容易にするため、台本中の
アナウンサー等がナレーションするテキスト部分を当該
テキストが対応する時刻の映像とともにディスプレイ２
０３の表示画面内に表しているが、このテキスト部分は
実際は表示画面には表示されない。

【００４４】まず、図６（Ａ）の１番目のシーンＳｃ１
では、台本中のテキスト６１に話題転換語は入っていな
い。図６（Ｂ）の２番目のシーンＳｃ２では、台本中の
テキスト６２に「次は」という話題転換語６３が含まれ
ており、話題が変わることを示している。したがって、
この部分が話題の区切りとなるので、これ以後の区切り
内の台本テキスト・ファイルから話題語を探す。このよ
うにして区切ったことにより時間区間が与えられ、この
区間は実際に話題が提示されている時間区間の近似値に
過ぎないが、一文の時間区間は通常３〜８秒と短いの
で、十分正確であるといえる。

【００４５】ここでは、次の図６（Ｃ）の３番目のシー
ンＳｃ３に対応する台本中のテキスト６４中の「横須賀
大学医学部」が話題語６５として抽出されたとする。た
とえば、このような固有名詞がナレーションされるとき
には、図示のようにたとえば大学の風景の映像６６が表
示される可能性が非常に高い。そこで、「横須賀大学医
学部」というナレーションが登場するシーンＳｃ３の映
像６６から静止画を１枚抽出する。そして、この静止画
が台本テキスト・ファイル中のテキスト６４近傍位置に
挿入される。

【００４６】図７は図６を参照して説明した例による台
本テキスト・ファイルの出力結果の一例を示す説明図で
あり、ディスプレイ２０３の表示画面に表示する例を示
している。表示のためのソフトウエアは本発明とは直接
関係しないので、ここではその説明を省略する。

【００４７】ディスプレイ２０３には、台本テキスト・
ファイル７０がたとえば本の形態で表示される。台本テ
キスト・ファイル７０において、話題語６５（「横須賀
大学医学部」）に対応する映像６６から抽出された静止
画６６ａがテキスト６４とともに同一ページ中に挿入さ
れている。

【００４８】なお、図７の例では、テキスト６４と静止
画６６ａの間にテキスト６２が介在し、さらに静止画６
６ａの直下にも話題語６５を表示する配置となっている
が、話題語６５を含むテキスト６４、または話題語６５
の近傍位置に静止画６６ａが表示されるように配置され
れば良く、それぞれが隣接するページにおいて近接する
ように配置しても構わない。

【００４９】上記の実施の形態では出力結果を表示する
場合について説明したが、記録紙に印刷出力することも
当業者であれば容易になし得るものである。

【００５０】以上説明した通り本実施の形態によれば、
台本テキスト・ファイルの内容からナレーションや台詞
で話題になっていると想定される映像を顕著名詞句によ
って抽出するので、顕著名詞句の数だけの映像を台本の
内容の要約として自動的に取り出して映像の要約を作成
することができる。また、作成したこれら要約映像を台
本中の当該顕著名詞句を含むテキストの近傍位置に配置
して表示、または印刷して自動的に出力することができ
るので、従来と比べて挿し絵数が多すぎることもなく、
内容を的確に把握するのに便利な台本テキストを生成す
ることができる効果がある。

【００５１】

【発明の効果】以上説明したように、本発明方法および
本発明方法のプログラムを記憶した記憶媒体によれば、
テキストとそれに基づく連続映像から、話題を示す固有
名詞が発音されるべき時刻の静止画の要約映像付きのテ
キストを自動的に生成するので、内容を的確に把握する
のに便利な付随する映像が多すぎることのないテキスト
を生成することができる効果を奏する。

【図面の簡単な説明】

【図１】本発明の一実施形態の概略ハードウエア構成の
全体を示すブロック図である。

【図２】ＣＰＵを用いて図１の構成を実現したハードウ
エア構成を示すブロック図である。

【図３】本発明の台本と映像の合成方法（映像の要約方
法）で用いる台本テキスト・ファイルの一例を示す説明
図である。

【図４】本発明方法を表すフロー・チャートである。

【図５】図４の方法において用いられる話題抽出プログ
ラムの例を示すフロー・チャートである。

【図６】実際の映像および台本に対して本発明方法を適
用した例を説明するための説明図である。

【図７】図６を参照して説明した例による台本テキスト
・ファイルの出力結果の一例を示す説明図である。

【符号の説明】

１０１ 入力装置 １０２ 表示装置 １０３ 制御装置 １０４ 記憶装置 ２０１ ＣＰＵ ２０２ メモリ ２０３ ディスプレイ ２０４ キーボード ２０５ ハード・ディスク記憶装置 ２０６ 台本テキスト・ファイル ２０７ 映像ファイル ２０８ 形態素解析プログラム ２０９ 話題抽出プログラム ２１０ 編集プログラム

Claims (4)

【特許請求の範囲】
1. 【請求項１】 連続する映像に付随させる言葉を発音す
   べき発音時刻情報とともに記載したテキストから話題を
   示す言葉を抽出するとともに前記発音時刻情報を抽出す
   るステップと、 前記話題を示す言葉が固有名詞のときに、前記連続する
   映像が有する表示時刻情報と前記発音時刻情報を対応さ
   せて前記連続する映像中の静止画を抽出するステップと
   を含み、前記抽出した静止画で前記連続する映像を要約
   することを特徴とする映像の要約方法。
2. 【請求項２】 前記抽出した静止画を前記テキスト中の
   前記話題を示す言葉が記載される位置の近くに挿入する
   ステップをさらに含み、 前記テキストと前記連続する映像の要約映像を合成する
   ことを特徴とする請求項１に記載の映像の要約方法。
3. 【請求項３】 連続する映像に付随させる言葉を発音す
   べき発音時刻情報とともに記載したテキストから話題を
   示す言葉を抽出させるとともに前記発音時刻情報を抽出
   させるステップと、 前記話題を示す言葉が固有名詞のときに、前記連続する
   映像が有する表示時刻情報と前記発音時刻情報を対応さ
   せて前記連続する映像中の静止画を抽出させるステップ
   とを含み、前記抽出させた静止画で前記連続する映像を
   要約することを特徴とする映像の要約方法のプログラム
   を記憶した記憶媒体。
4. 【請求項４】 前記抽出させた静止画を前記テキスト中
   の前記話題を示す言葉が記載される位置の近くに挿入さ
   せるステップをさらに含み、 前記テキストと前記連続する映像の要約映像を合成する
   ことを特徴とする請求項３に記載の映像の要約方法のプ
   ログラムを記憶した記憶媒体。