JPH07264545A - 動画再生装置 - Google Patents

Abstract

(57)【要約】 【目的】 本発明は動画の内容に対応してフキダシを表
示し、動画と相俟ってダイナミックな表現を実現する動
画再生装置を提供することを目的とする。 【構成】 記憶手段１は、動画データと、動画データに
重ねて表示すべき第１図形データと、その動画上の位置
を示す第１図形データ座標と、第１図形データを表示す
べき静止画を示す表示情報と、第１図形データの枠であ
って、区分された領域に対応する複数の第２図形データ
とを記憶する。第２図形データ生成手段５は、記憶手段
１の表示情報が示す再生すべき静止画に対応する第１図
形データ座標と、各領域を参照して、その第１図形デー
タ座標が含まれる領域に対応する第２図形データを選択
する。図形合成手段４は、選択された第２図形データ
と、第１図形データとを合成し、静止画に上書きする。
出力手段６は上書きされた静止画を表示する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、動画を再生する際に、
動画中に現れる人物が話す文章を動画中に表示する動画
再生装置に関する。

【０００２】

【従来の技術】一般に、カラオケなどにおいて動画中に
文章を表示する場合、文字のみが表示されていた。以
下、従来の動画再生装置について説明する。図１６は従
来の動画再生装置の構成図である。図１６において、記
憶手段２０１は、複数の連続した静止画（以下、コマと
略す）からなる動画データと、動画と同時に再生すべき
音楽等の音声データと、動画中に表示されるべき文章
（セリフ）を表す第１図形データと、コマの中に表示す
べき第１図形データの位置を示す第１図形データ座標
と、第１図形データの表示を開始すべきコマ及び終了す
べきコマを示す第１図形データ表示情報と、セリフのフ
キダシ枠を表す第２図形データとを記憶する。

【０００３】記憶手段２０１の記憶内容の一例を図１７
に示す。図１７（ａ）は動画データのうちの８コマ分
と、およびそれに対応する音声データを示す。音声デー
タは、有声部分と無声部分とがある。（ｂ）は第１図形
データ表示情報を示す。番号１の第１図形データは、２
コマ目から４コマ目まで表示されることを、番号２の第
１図形データは、６コマ目から７コマ目まで表示される
ことを示している。（ｃ）は第１図形データを、その番
号と第１図形データ表示座標とともに示している。

【０００４】時間計測手段２０２は、動画が再生され始
めてからの動画再生時間をコマ数単位で計測する。再生
手段２０３は、記憶手段２０１から１コマの動画データ
すなわち静止画データと、その静止画データと同時に再
生すべき音声データと第１図形データ表示情報をすべて
取り出し、時間計測手段２０２が計測する動画再生時間
がすべての第１図形データ表示情報の開始時間と終了時
間の間でなければ、記憶手段２０１から取り出した静止
画データを第２動画データとし、いずれかの第１図形デ
ータ表示情報の開始時間と終了時間の間であれば、記憶
手段２０１から取り出された静止画データと表示される
第１図形データの番号を図形合成手段２０４に送る。

【０００５】図形合成手段２０４は、再生手段２０３か
らの第１図形データの番号に対応する第１図形データ
と、第２図形データを記憶手段から取り出し、第２図形
データで第１図形データを囲い、さらに記憶手段２０１
から第１図形データ座標を取り出し、動画データの前記
第１図形データ座標で示される位置にフキダシ（第２図
形データで囲った第１図形データ）を上書きした第２動
画データを生成する。

【０００６】出力手段２０５は、再生手段２０３又は図
形合成手段２０４からの第２動画データおよび音声デー
タを出力する。図１７（ｄ）に再生例を示す。１、５、
８コマは、再生手段２０３により、２、３、４、６、７
コマは第２図形データで囲われた第１図形データを上書
きした結果を示している。以上のように構成された動画
再生装置について、図１８に示す従来の動画再生の処理
の流れ図を用いてその動作を説明する。

【０００７】まず、再生手段２０３が記憶手段２０１か
ら静止画データとその静止画データと同時に再生する音
声データと第１図形データ表示情報をすべて取り出す
（ステップ２１０）。次に現在の動画再生時間を時間計
測手段２０２から取り出し、すべての第１図形データ表
示情報について、その開始時間と終了時間の間に現在の
動画再生時間が入るかどうかを調べる（ステップ２１
１）。

【０００８】もし間に入らなければ（ステップ２１１：
NO）、静止画データをそのまま第２動画データとし、再
生手段２０３は出力手段２０５上に動画と音声を再生す
る（ステップ２１５）。図１７（ｄ）の左から１、５、
８コマ目はこの例である。もし、開始時間と終了時間の
間に現在の動画再生時間が入る第１図形データ表示情報
があれば（ステップ２１１：YES）、再生手段２０３
は、その第１図形データ表示情報が示す第１図形データ
の番号と静止画データを図形合成手段２０４に送り、音
声データを出力手段２０５に送る。図１７の例では２コ
マから４コマまでの再生時は１番の第１図形データがこ
れにあたり、６コマから７コマまでの再生時は２番の第
１図形データがこれにあたる。図形合成手段２０４は再
生手段２０３から第１図形データの番号が送られると、
相当する第１図形データと第２図形データと第１図形デ
ータ座標を記憶手段２０１から取り出し、第２図形デー
タで第１図形データを囲い（ステップ２１２）、再生手
段２０３から送られた静止画データの第１図形データ座
標で示される位置（ステップ２１３）に第２図形データ
で囲った第１図形データを上書きした新たな静止画デー
タを作成し第２動画データとし（ステップ２１４）、出
力手段２０５上に動画と音声を再生する（ステップ２１
５）。 再生手段２０３は次の静止画データに対して同
様の処理を続ける。 図１７（ｄ）の左から２、３、
４、６、７コマ目はこの例である。

【０００９】

【発明が解決しようとする課題】しかしながら上記の従
来の構成では、セリフ（第１図形データ）を表示する位
置にかかわらずフキダシ（第２図形データ）は同じ形状
しか取ることができなかったので、例えば動画中の人物
の大きさや動きに対応してフキダシの位置、大きさを変
えて表示したり、音声データの再生状況に応じてフキダ
シを表示することができなかった。つまり、動画とフキ
ダシを組み合わせた表現パターンが画一的であるため、
動画のダイナミックな表現特性を生かしきれず、表現が
制限されていたという問題があった。

【００１０】上記課題に鑑み、本発明は動画の内容に対
応してフキダシを表示し、動画とあいまってダイナミッ
クな表現を実現する動画再生装置を提供することを目的
とする。

【００１１】

【課題を解決するための手段】上記の課題を解決するた
め、請求項１の発明における動画再生装置は、連続した
静止画からなる動画データを記憶する第１の記憶手段
と、動画データに重ねて表示すべき第１図形データと、
それを表示すべき動画上の位置を示す第１図形データ座
標と、第１図形データを表示すべき静止画がどれである
かを示す表示情報とを記憶する第２の記憶手段と、第１
図形データと共に静止画上に重ねて表示すべき枠を表す
図形データであって、予め定められた複数の領域に区分
された静止画のそれぞれの領域に対応し、互いに形状が
異なる複数の第２図形データを記憶する第３の記憶手段
と、前記表示情報が示す再生すべき静止画に対応する第
１図形データ座標と、第３の記憶手段の各領域を参照し
て、その第１図形データ座標が含まれる領域に対応する
第２図形データを選択する第２図形データ選択手段と、
選択された第２図形データと、第１図形データとを合成
し、静止画に上書きする合成手段と、上書きされた静止
画を表示する出力手段とを備えている。

【００１２】また、請求項２の発明における動画再生装
置は、連続した静止画からなる動画データを記憶する第
１の記憶手段と、動画データに重ねて表示すべき第１図
形データと、それを表示すべき動画上の位置を示す第１
図形データ座標と、第１図形データを表示すべき静止画
がどれであるかを示す表示情報とを記憶する第２の記憶
手段と、第１図形データと共に静止画上に重ねて表示す
べき枠を表す図形データであって、静止画上において互
いに異なる位置に配置されるべき複数の第２図形データ
候補を記憶する第３の記憶手段と、第３の記憶手段の各
第２図形データ候補のそれぞれと再生すべき静止画に対
応する第１図形データ座標との距離に基づいて、すべて
の第２図形データ候補の評価値を求める評価手段と、評
価手段による評価値が最良の第２図形データ候補を第２
図形データとして選択する第２図形データ選択手段と、
選択された第２図形データと、第１図形データとを合成
し、静止画に上書きする合成手段と、上書きされた静止
画を表示する出力手段とを備えることを特徴とする動画
再生装置。

【００１３】請求項３の発明における動画再生装置で
は、請求項２の前記評価手段は、前記距離に第２図形デ
ータ候補の位置を調整するためのオフセット値を加算し
て評価値を算出し、前記第２図形データ選択手段は、評
価値が最小となる第２図形データ候補を第２図形データ
として選択することを特徴とする。

【００１４】請求項４の発明における動画再生装置は、
請求項２に対して前記評価手段の代わりに、第３の記憶
手段の各第２図形データ候補のそれぞれについて、再生
すべき静止画と重なる部分において、静止画上で使用さ
れている色数に基づいて評価値を算出する色数評価手段
を備えている。

【００１５】また、請求項５の発明における動画再生装
置は、連続した静止画からなる動画データと、それに対
応する音声データとを記憶する第１の記憶手段と、動画
データに重ねて表示すべき第１図形データと、それを表
示すべき動画上の位置を示す第１図形データ座標と、第
１図形データを表示すべき静止画がどれであるかを示す
表示情報とを記憶する第２の記憶手段と、第１図形デー
タと共に静止画上に重ねて表示すべき枠を表す第２図形
データ候補を記憶する第３の記憶手段と、再生すべき静
止画データに対応する音声データについて、その音声レ
ベルを検出する音声レベル検出手段と、音声レベルが所
定の値を越えているとき、第２図形データと、第１図形
データとを合成し、静止画に上書きする合成手段と、上
書きされた静止画及び音声データを表示及び出力する出
力手段とを備えている。

【００１６】また、請求項６の発明における動画再生装
置は、連続した静止画からなる動画データを記憶する第
１の記憶手段と、動画データに重ねて表示すべき第１図
形データと、それを表示すべき動画上の位置を示す座標
と、第１図形データを表示すべき静止画がどれであるか
を示す表示情報と、静止画における所定の部分領域とを
記憶する第２の記憶手段と、第１図形データと共に静止
画上に重ねて表示すべき枠を表す第２図形データ候補を
記憶する第３の記憶手段と、再生すべき静止画データと
その次の静止画データにおける前記部分領域の差分を求
める差分検出手段と、前記差分に基づいて再生すべき静
止画データとその次の静止画データとの変化量を求める
変化量検出手段と、前記変化量が所定の閾値を越えてい
るとき、第２図形データと、第１図形データとを合成
し、静止画に上書きする合成手段と、上書きされた静止
画を表示する出力手段とを備えている。

【００１７】また、請求項７の発明における動画再生装
置は、請求項１ないし６の何れかに対して、前記第１図
形データは、動画中に表示すべきセリフであり、前記第
２図形データは、第１図形データを囲うフキダシである
ように構成されている。

【００１８】

【作用】上記の手段により、請求項１の発明における動
画再生装置では、第１の記憶手段は、連続した静止画か
らなる動画データを記憶する。第２の記憶手段は、動画
データに重ねて表示すべき第１図形データと、それを表
示すべき動画上の位置を示す第１図形データ座標と、第
１図形データを表示すべき静止画がどれであるかを示す
表示情報とを記憶する。第３の記憶手段は、第１図形デ
ータと共に静止画上に重ねて表示すべき枠を表す図形デ
ータであって、予め定められた複数の領域に区分された
静止画のそれぞれの領域に対応する複数の第２図形デー
タを記憶する。

【００１９】第２図形データ選択手段は、第２の記憶手
段の表示情報が示す再生すべき静止画に対応する第１図
形データ座標と、第３の記憶手段の各領域を参照して、
その第１図形データ座標が含まれる領域に対応する第２
図形データを選択する。合成手段は、選択された第２図
形データと、第１図形データとを合成し、静止画に上書
きする。出力手段は上書きされた静止画を表示する。

【００２０】また、請求項２の発明における動画再生装
置では、第１の記憶手段は、連続した静止画からなる動
画データを記憶する。第２の記憶手段は、動画データに
重ねて表示すべき第１図形データと、それを表示すべき
動画上の位置を示す第１図形データ座標と、第１図形デ
ータを表示すべき静止画がどれであるかを示す表示情報
とを記憶する。第３の記憶手段は、第１図形データと共
に静止画上に重ねて表示すべき枠を表す図形データであ
って、静止画上において互いに異なる位置に配置される
べき複数の第２図形データ候補を記憶する。評価手段
は、第３の記憶手段の各第２図形データ候補のそれぞれ
と再生すべき静止画に対応する第１図形データ座標との
距離に基づいて、すべての第２図形データの評価値を求
める。第２図形データ選択手段は、評価手段による評価
値が最良の第２図形データを選択する。合成手段は、選
択された第２図形データと、第１図形データとを合成
し、静止画に上書きする。出力手段は、上書きされた静
止画を表示する。

【００２１】請求項３の発明における動画再生装置で
は、請求項２に対して評価手段は、前記距離に第２図形
データ候補の位置を調整するためのオフセット値を加算
して評価値を算出し、前記第２図形データ選択手段は、
評価値が最小となる第２図形データ候補を第２図形デー
タとして選択する。また、請求項４の発明における動画
再生装置では、請求項２のける評価手段の代わりに、色
数評価手段が、第３の記憶手段の各第２図形データ候補
のそれぞれについて、再生すべき静止画と重なる部分に
おいて、静止画上で使用されている色数に基づいて評価
値を算出する構成となっている。

【００２２】また、請求項５の発明における動画再生装
置では、第１の記憶手段は、連続した静止画からなる動
画データと、それに対応する音声データとを記憶する。
第２の記憶手段は、動画データに重ねて表示すべき第１
図形データと、それを表示すべき動画上の位置を示す第
１図形データ座標と、第１図形データを表示すべき静止
画がどれであるかを示す表示情報とを記憶する。第３の
記憶手段は、第１図形データと共に静止画上に重ねて表
示すべき枠を表す第２図形データ候補を記憶する。音声
レベル検出手段は、再生すべき静止画データに対応する
音声データについて、その音声レベルを検出する。合成
手段は、音声レベルが所定の値を越えているとき、第２
図形データと、第１図形データとを合成し、静止画に上
書きする。出力手段は、上書きされた静止画及び音声デ
ータを表示及び出力する。

【００２３】また、請求項６の発明における動画再生装
置では、第１の記憶手段は、連続した静止画からなる動
画データを記憶する。第２の記憶手段は、動画データに
重ねて表示すべき第１図形データと、それを表示すべき
動画上の位置を示す座標と、第１図形データを表示すべ
き静止画がどれであるかを示す表示情報と、静止画にお
ける所定の部分領域とを記憶する。第３の記憶手段は、
第１図形データと共に静止画上に重ねて表示すべき枠を
表す第２図形データ候補を記憶する。差分検出手段は、
再生すべき静止画データとその次の静止画データにおけ
る前記部分領域の差分を求める。変化量検出手段は、前
記差分に基づいて再生すべき静止画データとその次の静
止画データとの変化量を求める。合成手段は、前記変化
量が所定の閾値を越えているとき、第２図形データと、
第１図形データとを合成し、静止画に上書きする。出力
手段は、上書きされた静止画を表示する。

【００２４】また、請求項７の発明における動画再生装
置では、請求項１ないし６何れかの動画再生装置に対し
て、前記第１図形データが、動画中に表示すべきセリフ
であり、前記第２図形データが、第１図形データを囲う
フキダシであるようになっている。

【００２５】

【実施例】

（第１実施例）図１は本実施例の動画再生装置の構成を
示す図である。この動画再生装置は、動画中にセリフを
フキダシ枠で囲ったフキダシを挿入する装置である。同
図において、１は記憶手段で、動画データと、音声デー
タと、それらとともに表示すべきセリフに関する情報
と、複数の第２図形データを記憶する。

【００２６】ここで、動画データは複数の連続する静止
画（以下、コマともいう）からなっている。音声データ
は動画データと同時に再生すべき音声や音楽を示す。セ
リフに関する情報には、第１図形データ、第１図形デー
タ座標、第１図形データ表示情報、判定領域と称する情
報を含む。第１図形データは動画中に表示すべき文章
（以下、セリフともいう）を表す。第１図形データ座標
は動画におけるセリフの表示位置を示す。第１図形デー
タ表示情報はセリフを動画に合成すべき開始時間と終了
時間を、セリフを表示すべきコマが何コマ目から何コマ
目であるか示すコマ数で表す。判定領域は第１図形デー
タ座標がコマ上のどの領域にあたるかを判定するための
領域である。第２図形データはセリフを囲うフキダシ枠
を表し、判定領域の各領域に対応して形状の異なる複数
個が記憶されている。

【００２７】図２に記憶手段１の記憶内容の一例を示
す。図２（ａ）は上から動画データのうちの８コマ分
と、それに対応する音声データである。（ｂ）は第１図
形データ表示情報を示す。番号１の第１図形データは２
コマ目から４コマ目まで表示されることを、番号２の第
１図形データは６コマ目から７コマ目まで表示されるこ
とを示している。（ｃ）は第１図形データと、その番号
と、それに対応する第１図形データ座標を示している。
（ｄ）は第１図形データ座標を区分するための判定領域
を示し、この実施例では(1)(2)の２つの領域を示す。
（ｅ）は領域に対応して表示すべき第２図形データ（フ
キダシ枠）を示す。

【００２８】２は時間計測手段で、動画が再生され始め
てからの動画再生時間として、表示すべきコマが何コマ
目であるかを示すコマ数を計測して出力する。３は再生
手段で、時間計測手段２が出力するコマ数に対応する１
コマの動画データすなわち静止画データと、そのコマと
ともに再生すべき音声データと、すべての第１図形デー
タ表示情報とを記憶手段１から取り出し、コマとともに
表示すべき第１図形データ（セリフ）が存在しない場合
には静止画データ及び音声データを再生して再生結果を
出力手段６に表示及び出力させ、存在する場合には静止
画データと表示すべき第１図形データの番号とを図形合
成手段４に送り、音声データを出力手段６に出力させ
る。具体的には、再生手段３は、時間計測手段２が出力
するコマ数がどの第１図形データ表示情報の開始時間と
終了時間の間に入っていなければ、記憶手段１から取り
出した静止画データを再生し、いずれかの第１図形デー
タ表示情報の開始時間と終了時間の間に入っていれば、
記憶手段１から取り出された静止画データと表示すべき
セリフの番号を図形合成手段４に送るとともに、音声デ
ータを出力手段６に送る。

【００２９】４は図形合成手段で、再生手段３からセリ
フの番号を受けると、対応するセリフと第１図形データ
座標を記憶手段１から取り出して第２図形データ生成手
段５に送る。この後、第２図形データ生成手段５からフ
キダシ枠が指定されると、そのフキダシ枠でセリフを囲
い、再生手段３から送られた静止画データ上の第１図形
データ座標で示される位置にフキダシを合成したあらた
な静止画データを作成し、作成した静止画データを出力
手段に表示させる。

【００３０】５は第２図形データ生成手段で、図形合成
手段４からの第１図形データ座標が記憶手段１に記憶さ
れた判定領域のどの領域内にあるかを判定し、判定結果
の領域に対応する第２図形データ（フキダシ）を選択
し、選択した第２図形データを図形合成手段４に指定す
る。例えば、図２（ｄ）に示す判定領域において、第１
図形データ座標が（１）の領域内にあるときは対応する
図２（ｅ）の(1)のフキダシ枠を選択し、図２（ｄ）の
（２）の領域内にあるときは第１図形データは図２
（ｅ）の(2)のフキダシ枠を選択する。

【００３１】６は出力手段で、再生手段３、図形合成手
段４によって再生された動画データおよび音声データを
表示及び出力する。以上のように構成された動画再生装
置について、図３に示す動画再生の処理フローチャート
を用いてその動作を説明する。まず、再生手段３によっ
て時間計測手段２が出力するコマ数に対応する静止画デ
ータと、音声データと、第１図形データ表示情報とが記
憶手段１から取り出される（ステップ３０）。再生手段
３は、すべての第１図形データ表示情報について、時間
計測手段２が出力するコマ数が開始時間と終了時間の間
に現在の動画再生時間が入るかどうかを調べる（ステッ
プ３１）。

【００３２】まず、コマ数が１である場合、図２（ｂ）
に示すように再生すべきセリフが存在しないので（ステ
ップ３１:NO）、再生手段３によって動画データ及び音
声データとが再生され出力手段６により表示及び再生さ
れる（ステップ３６）。次に、コマ数が２である場合、
図２（ｂ）に示すように再生すべき番号１のセリフが存
在するので（ステップ３１:YES）、再生手段３によって
そのセリフの番号と静止画データとが図形合成手段４に
送られる（ステップ３２）。さらに、セリフの番号はさ
らに図形合成手段４から第２図形データ生成手段５に送
られ、図２（ｃ）に示すように番号１の第１図形データ
座標が図２（ｄ）の領域(1)内にあることから、図２
（ｅ）のフキダシ枠(1)が選択される（ステップ３
３）。

【００３３】選択されたフキダシ枠(1)は図形合成手段
４により番号１のセリフを囲うように合成され（ステッ
プ３４）、さらに１コマ目の静止画データに上書きされ
る（ステップ３５）。フキダシ付きのセリフが上書きさ
れた２コマ目の静止画データは出力手段により表示され
ると同時に音声データも出力される（ステップ３６）。

【００３４】以後、時間計測手段２が出力するコマ数の
順に、上記と同様の処理が繰り返される。このように、
セリフの座標に応じたフキダシ枠が第２図形データ生成
手段５によって選択されるので、動画の内容に応じてセ
リフの座標を設定しておくことにより適切なフキダシ枠
を合成できることになる。尚、上記の例では、判定領域
として図２（ｄ）に示すように２つの領域を用いたが、
もっと多数の領域を設けることにより、セリフの位置を
より柔軟かつ高い精度で決定することができる。その場
合、多数の領域に区分された判定領域と、その領域のそ
れぞれに対応するフキダシ枠とが記憶手段１に記憶され
ている構成となる。

【００３５】（第２実施例）図４は本発明の第２の実施
例における動画再生装置の構成を示す図である。同図に
おいて時間計測手段２、再生手段３、出力手段６は、第
１の実施例における同じ符号の構成要素と同じものであ
るので説明を省略する。７は、記憶手段で、動画データ
と、音声データと、それらとともに表示すべきセリフに
関する情報とを記憶する。ここで、動画データ及び音声
データは第１の実施例と同じである。セリフに関する情
報には、第１図形データ、第１図形データ配置座標、第
１図形データ表示情報と称する情報を含む。第１の実施
例とは、第１図形データ座標と判定領域とを含まない点
と、新たに第１図形データ配置座標を含む点とが異な
る。ここで第１図形データ配置座標は、第１図形データ
（セリフ）の話し手の位置を示す座標であり、例えば、
図５（ｂ）に示すようにセリフの話者の口元の座標を示
している。また、図２に示した記憶内容の例のうち
（ａ）〜（ｃ）は記憶手段７についても同じである。

【００３６】８は、図形合成手段で、再生手段３からセ
リフの番号を受けると、それを第２図形データ生成手段
５及び第１図形データ配置領域算出手段１２に送るとと
もに、対応するセリフと第１図形データ座標を記憶手段
７から取り出す。この後、第２図形データ生成手段９に
より生成されるフキダシ枠でセリフを囲ったフキダシを
合成し、第１図形データ配置領域算出手段１２によって
求められる静止画データ上の第１図形データ配置領域に
フキダシを合成（上書き）し、合成した静止画データを
出力手段６に表示させる。

【００３７】９は、第２図形データ生成手段で、図形合
成手段８からのセリフの番号が送られると、セリフに対
応するフキダシ枠を生成する。ここで、フキダシ枠は、
静止画上の位置を表す情報までは含まず、単にフキダシ
枠のみを表す図形情報である。図５（ａ）に第２図形デ
ータ生成手段９によって生成されたフキダシ枠と、第１
図形データ（セリフ）とが、図形合成手段８によって合
成されたフキダシの一例を示す。

【００３８】１０は、第１図形データ配置領域候補生成
手段で、フキダシを静止画上に合成すべき位置の候補と
なる第１図形データ配置領域候補（以下、候補と略す）
を生成する。この候補の説明図を図５（ｃ）に示す。同
図（ｃ）では、説明の便宜上静止画上にフキダシを重ね
た状態を示している。この場合、第１図形データ配置領
域候補生成手段１０は候補１〜９の中心座標を生成し、
配置領域候補として出力する。

【００３９】１１は、領域評価値算出手段で、図形合成
手段８からのセリフの番号が送られてくると、候補のそ
れぞれについて、その中心座標と第１図形データ配置座
標とに基づいて領域評価値を求める。具体的には、領域
評価値は、以下の式で求められる。領域評価値＝｜中心
座標−第１図形データ配置座標｜＋オフセット値ここで
オフセット値は、第１図形データ配置座標にフキダシが
上書きされるのを避けてその横にフキダシを位置付ける
ための変数で、フキダシの位置を調整するために用いら
れる。例えば、オフセット値は、話者の顔の横にフキダ
シを位置付けるために、話者の口元から顔の横までの距
離に相当する値が設定される。

【００４０】オフセット値の具体例を図５（ｂ）に示
す。同図（ｂ）のようにオフセット値は、静止画上のｘ
方向の座標１００を境界線にして、中心座標が境界線の
左（中心座標＜１００）であれば＋１００に、境界線の
右（１００＜中心座標）であれば−１００に設定されて
いて、「×」印が示す第１図形データ配置座標（話者の
口元）の横にフキダシを位置付けるのに適切な値となっ
ている。このように、領域評価値は、候補から第１図形
データ配置座標までの距離にオフセット値を加算して求
められる。

【００４１】第１図形データ配置領域算出手段１２は、
第１図形データ配置領域候補生成手段１０で生成される
全ての候補の領域評価値を領域評価値算出手段１１によ
って求めて、領域評価値が最小の候補を第１図形データ
配置領域として選ぶ。以上のように構成された本発明の
第２の実施例における動画再生装置について、図６に示
す動画再生の処理フローチャートを用いてその動作を説
明する。

【００４２】まず、再生手段３によって時間計測手段２
が出力するコマ数に対応する静止画データと、音声デー
タと、第１図形データ表示情報とが記憶手段７から取り
出される（ステップ６０）。再生手段３は、すべての第
１図形データ表示情報について、時間計測手段２が出力
するコマ数が開始時間と終了時間の間に現在の動画再生
時間が入るかどうかを調べる（ステップ６１）。

【００４３】今、図５（ｂ）に示したコマの再生時間
に、同図（ａ）のフキダシが入っているとする（ステッ
プ６１:YES）。そのセリフの番号と静止画データは、再
生手段３によって図形合成手段８に送られる（ステップ
３２）。さらに、セリフの番号はさらに図形合成手段８
から第１図形データ配置領域算出手段１２に送られる。
第１図形データ配置領域算出手段１２は、第１図形デー
タ配置領域候補生成手段１０に候補を生成させる（ステ
ップ６３）。この場合、図５（ｃ）に示した９つの候補
が生成される。これらの候補が生成されると、第１図形
データ配置領域算出手段１２は、候補の１つを選び（ス
テップ６４、６５）、領域評価値算出手段１１によって
その候補についての領域評価値を求めさせ（ステップ６
６）、既に求められた領域評価値と比較して小さけれ
ば、仮の第１図形データ配置領域とする（ステップ６
７）。この後、第１図形データ配置領域算出手段１２
は、上記の処理をすべての候補について繰り返して（ス
テップ６４〜６７）、最小となる領域評価値を第１図形
データ配置領域と決定する。その結果、本実施例では図
５（ｃ）の５の領域候補が第１図形データ配置領域と決
定される。

【００４４】さらに、第１図形データ配置領域が示す静
止画上の位置に、図５（ａ）に示したフキダシが図形合
成手段８により合成され（ステップ６８）、合成された
画像と対応する音声データが同時に表示、出力される
（ステップ６９）。以後、時間計測手段２が出力するコ
マ数の順に、上記と同様の処理が繰り返される。このよ
うに、フキダシを表示すべき複数の候補の全てについ
て、フキダシの表示位置の適正さを表す領域評価値が最
良になるものを決定することにより、セリフの話し手の
位置（第１図形データ配置座標）に応じてフキダシを適
切な位置に合成できることになる。

【００４５】（第３実施例）図７は本発明の第３の実施
例における動画再生装置の構成を示す図である。同図に
おいて、時間計測手段２、再生手段３、出力手段６、記
憶手段７、図形合成手段８、第２図形データ生成手段
９、第１図形データ配置領域候補生成手段１０は第２の
実施例における同じ符号の構成要素と同じなので説明を
省略し、異なる点のみ説明する。

【００４６】同図において、１３は領域評価値算出手段
で、図形合成手段８からセリフの番号が送られてくる
と、候補のそれぞれについて、候補が示す領域にフキダ
シを配置した場合にその領域内の静止画が何色使われて
いるかを調べて、その色数を領域評価値とする。例え
ば、図８（ｂ）に示すように候補１では４色（太陽、太
陽の境界、光線、背景）使われているので、領域評価値
は４になる。また、候補２では３色（雲、雲の境界、背
景）使われているので、領域評価値は３になる。同様に
候補３、４、５、６、７、８、９では領域評価値は１、
１、３、２、３、３、１になる。

【００４７】以上のように構成された本発明の第３の実
施例における動画再生装置について、図９に示す動画再
生の処理フローチャートを用いてその動作を説明する。
同図においてステップ９６以外は、図６に示したフロー
チャートと同じであるので、主に異なる点を説明する。
図５（ｃ）に示した９つの候補がに対して、第１図形デ
ータ配置領域算出手段１２は、候補の１つ選び（ステッ
プ９４、９５）、領域評価値算出手段１３によってその
候補についての色数で表される領域評価値を求めさせ
（ステップ９６）、既に求められた領域評価値と比較し
て小さければ、仮の第１図形データ配置領域とする（ス
テップ９７）。この後、第１図形データ配置領域算出手
段１２は、上記の処理をすべての候補について繰り返し
て（ステップ９４〜９７）、最小となる領域評価値を第
１図形データ配置領域と決定する。その結果、本実施例
では図８（ｂ）の４の領域候補が第１図形データ配置領
域と決定される。

【００４８】さらに、この第１図形データ配置領域が示
す静止画上の位置に、図８（ａ）に示したフキダシが図
形合成手段８により合成され（ステップ９８）、合成さ
れた画像と対応する音声データが同時に表示、出力され
る（ステップ９９）。以後、時間計測手段２が出力する
コマ数の順に、上記と同様の処理が繰り返される。この
ように、フキダシを表示すべき複数の候補の全てについ
て、フキダシが上書きされる静止画の色数によって領域
評価値を計算することによって、静止画上における情報
量がより少ない位置にフキダシをに合成できることにな
る。

【００４９】（第４実施例）図１０は本発明の第４の実
施例における動画再生例の構成を示す図である。同図に
おいて、記憶手段１、時間計測手段２、図形合成手段
４、第２図形データ生成手段５、出力手段６は、それぞ
れ第１の実施例における同じ付号の構成要素と同じであ
るので異なる点のみ説明する。異なる点は、音声レベル
検出手段１５が新たに追加され、再生手段３の代わりに
再生手段１４を備えている点である。

【００５０】同図において、１５は音声レベル検出手段
で、再生手段１４から音声データが送られると、その音
声レベルを検出する。１４は再生手段で、時間計測手段
２が出力するコマ数に対応する１コマの動画データすな
わち静止画データと、そのコマとともに再生すべき音声
データと、すべての第１図形データ表示情報とを記憶手
段１から取り出し、コマとともに表示すべき第１図形デ
ータ（セリフ）が存在しない場合には静止画データ及び
音声データを再生して再生結果を出力手段６に表示及び
出力させる。第１図形データが存在する場合には音声デ
ータを音声レベル検出手段１５に送り、音声データを送
った後、音声レベル検出手段１５の検出レベルが所定の
閾値を越えていなければ、記憶手段１から取り出した音
声データを静止画データ及び音声データを再生して再生
結果を出力手段６に表示及び出力させる。逆に検出レベ
ルが所定の閾値を越えていれば、記憶手段１から取り出
した静止画データを図形合成手段４に送る。

【００５１】以上のように構成された本発明の第４の実
施例における動画再生装置について、図１２に示す動画
再生の処理フローチャートを用いてその動作を説明す
る。再生手段１４によってを記憶手段１から静止画デー
タとその静止画データと同時に再生すべき音声データが
取り出され（ステップ１２０、１２１）、音声データ
は、さらに音声レベル検出手段１５に送られ、音声レベ
ルが検出される。検出結果を受けて、再生手段１４は、
所定の閾値を越えているか否かを判定し、越えていれば
（ステップ１２２:YES）、セリフの番号と静止画データ
とが図形合成手段４に送られる（ステップ１２３）。以
後、第１の実施例と同様にしてフキダシ付きの静止画及
び音声が表示及び出力される（ステップ１２３〜１２
７）。図１１（ａ）に示す動画データ及び音声データの
場合、同図（ｂ）の「上」は音声レベルが閾値を越えて
いることを示すので、それに対応する２、３、４、６、
７コマにはフキダシが合成されることになる。

【００５２】また、音声レベルが所定の閾値を越えてい
なければ（ステップ１２２:NO）、再生手段１４は、静
止画データと音声データを再生し、出力手段６に表示及
び出力させる（ステップ１２７）。図１１（ａ）に示す
動画データ及び音声データの場合、同図（ｂ）の「下」
は音声レベルが閾値を越えていないことを示すので、そ
れに対応する１、５、８コマにはフキダシが合成されな
いことになる。

【００５３】このように本実施例の動画再生装置によれ
ば、フキダシの合成を音声データのレベルに応じてフキ
ダシを表示することができるので、音声データと相俟っ
て適切なタイミングでフキダシを表示することができ
る。 （第５実施例）図１３は本発明の第５の実施例の動画再
生装置の構成を示す図である。同図において、時間計測
手段２、図形合成手段４、第２図形データ生成手段５、
出力手段６は、それぞれ第１の実施例における同じ付号
の構成要素と同じであるので異なる点のみ説明する。異
なる点は、差分画像生成手段１７、画像変化量算出手段
１８が新たに追加され、記憶手段１、再生手段３の代わ
りに記憶手段１６、再生手段１９を備えている点であ
る。

【００５４】記憶手段１６は、第１の実施例の記憶手段
１の記憶内容に加えて、セリフに関連する静止画上の部
分領域を示す部分領域情報を記憶している。部分領域の
一例を図１４（ａ）に示す。この例では、動画中に現れ
る人物の口のまわりにある矩形内部を部分領域としてい
る。差分画像生成手段１７は、画像変化量算出手段１８
の指示に従って、２枚の静止画データの差分画像を生成
する。

【００５５】画像変化量算出手段１８は、再生手段１９
の指示に従って、２枚の静止画データの差分画像を差分
画像生成手段１７に生成させ、記憶手段１６から部分領
域情報を取り出し、差分画像において部分領域情報によ
って示される部分領域の画素値を累計して、２枚の静止
画データの画像変化量とする。１９は再生手段で、時間
計測手段２が出力するコマ数に対応する１コマの静止画
データと、そのコマとともに再生すべき音声データと、
その次の静止画データと、すべての第１図形データ表示
情報とを記憶手段１６から取り出し、コマとともに表示
すべき第１図形データ（セリフ）が存在しない場合には
静止画データ及び音声データを再生して再生結果を出力
手段６に表示及び出力させる。第１図形データが存在す
る場合には取り出した２枚の静止画データを画像変化量
算出手段１８に送り、２枚の静止画データの画像変化量
を求めさせる。求めさせた画像変化量が所定の閾値を越
えていなければ、記憶手段１６から取り出した音声デー
タを静止画データ及び音声データを再生して再生結果を
出力手段６に表示及び出力させる。逆に検出レベルが所
定の閾値を越えていれば、記憶手段１６から取り出した
静止画データを図形合成手段４に送る。

【００５６】以上のように構成された本発明の第５の実
施例における動画再生装置について、図１５に示す動画
再生の処理フローチャートを用いてその動作を説明す
る。再生手段１４によってを記憶手段１から２枚の静止
画データと、１枚目の静止画データと同時に再生すべき
音声データとが取り出され（ステップ１５０、１５
１）、２枚の静止画データは、さらに画像変化量算出手
段１８に送られる。画像変化量算出手段１８は、差分画
像生成手段１７に２枚の静止画の矩形領域における差分
画像を求めさせ、画像の変化量を算出する（ステップ１
５２）。さらに、再生手段１４は、画像の変化量が所定
の閾値を越えているか否かを判定し、越えていれば（ス
テップ１５３:YES）、セリフの番号と静止画データとが
図形合成手段４に送られる（ステップ１５４）。以後、
第１の実施例と同様にしてフキダシ付きの静止画及び音
声が表示及び出力される（ステップ１５５〜１５７）。
図１４（ａ）に示す動画データ及び音声データの場合、
同図（ｂ）の「上」は部分領域の変化量が閾値を越えて
いることを示すので、それに対応する２、３、４、６、
７コマにはフキダシが合成されることになる。

【００５７】また、画像の変化量が所定の閾値を越えて
いなければ（ステップ１５３:NO）、再生手段１４は、
静止画データと音声データを再生し、出力手段６に表示
及び出力させる（ステップ１５７）。図１４（ａ）に示
す動画データ及び音声データの場合、同図（ｂ）の
「下」は部分領域の変化量が閾値を越えていないことを
示すので、それに対応する１、５、８コマにはフキダシ
が合成されない結果となる。

【００５８】このように本実施例の動画再生装置によれ
ば、部分領域の画像の変化量に応じてフキダシを表示す
ることができるので、画像の動きと相俟って適切なタイ
ミングでフキダシを表示することができる。なお、上記
第１から第５の実施例において、記憶手段１、７、１６
は何れも動画データを記憶するに足る記憶容量を有して
いればよく、具体的には、ＣＤ（コンパクトディス
ク）、ＬＤ（レーザーディスク）、ＶＴＲテープ、ハー
ドディスクなどの何れでもよい。

【００５９】また、上記第１から第５の実施例では、第
１図形データはセリフを表す図形データとしているが、
画像であっても、文字以外を表す図形であってもよい。
例えば、話者の回想シーンを表す画像データを順次表示
すれば、回想シーンを効果的に表現することができる。
また、話者の思考内容を表す図形又は画像データを順次
表示すれば、話者の思考過程を効果的に表現することが
できる。

【００６０】

【発明の効果】以上説明してきたように、本発明の動画
再生装置によれば、動画の内容に応じてフキダシを表示
し、動画とあいまってダイナミックに表現できるという
効果がある。具体的には、請求項１の発明に係る動画再
生装置によれば、第１図形データの座標に応じて第２図
形データ選択手段が第２図形データを選択するので、第
１図形データ（セリフ等）を表示する位置に合わせて、
異なる第２図形データ（フキダシ）を表示することがで
きるという効果がある。

【００６１】また、請求項２の発明に係る動画再生装置
によれば、第２図形データを表示すべき複数の候補の全
てについて、フキダシの表示位置の適正さを表す領域評
価値を求めて、それが最良になる第２図形データを選定
することにより、第１図形データと関連する話し手の位
置（第１図形データ配置座標）に応じてフキダシを適切
な位置に合成できるという効果がある。

【００６２】請求項３の発明に係る動画再生装置によれ
ば、請求項２の発明に対してさらに、第２図形データの
表示位置をオフセット値によって調整することができる
という効果がある。請求項４の発明に係る動画再生装置
によれば、第２図形データを表示すべき複数の候補の全
てについて、フキダシが重なる静止画上の色数を表す領
域評価値を求めて、それが最良になる第２図形データを
選定することにより、動画を損なわない位置にフキダシ
を合成できるという効果がある。

【００６３】また、請求項５の発明に係る動画再生装置
によれば、音声データの再生状況にタイミングを合わせ
てフキダシを表示することができるという効果がある。
請求項６の発明に係る動画再生装置によれば、動画の動
きにタイミングを合わせてフキダシを表示することがで
きるという効果がある。

【図面の簡単な説明】

【図１】本発明の第１の実施例における動画再生装置の
構成を示す図である。

【図２】同実施例における動画再生例を示す図である。

【図３】同実施例における動画再生の処理の流れを示す
フローチャートである。

【図４】本発明の第２の実施例における動画再生装置の
構成を示す図である。

【図５】同実施例の第１図形データ座標を求める例の説
明図である。

【図６】同実施例における動画再生の処理の流れを示す
フローチャートである。

【図７】本発明の第３の実施例における動画再生装置の
構成を示す図である。

【図８】同実施例の第１図形データ座標を求める例を示
す説明図である。

【図９】同実施例における動画再生の処理の流れを示す
フローチャートである。

【図１０】本発明の第４の実施例における動画再生装置
の構成を示す図である。

【図１１】同実施例の動画再生例の図である。

【図１２】同実施例における動画再生の処理の流れを示
すフローチャートである。

【図１３】本発明の第５の実施例における動画再生装置
の構成を示す図である。

【図１４】同実施例の動画再生例の図である。

【図１５】同実施例における動画再生の処理の流れを示
すフローチャートである。

【図１６】従来の動画再生装置の構成例を示す図であ
る。

【図１７】従来の動画再生例の図である。

【図１８】従来の動画再生の処理の流れを示す図であ
る。

【符号の説明】

１ 記憶手段 ２ 時間計測手段 ３ 再生手段 ４ 図形合成手段 ５ 第２図形データ生成手段 ６ 出力手段 ７ 記憶手段 ８ 図形合成手段 ９ 第２図形データ生成手段 １０ 第１図形データ配置領域候補生成手段 １１ 領域評価値算出手段 １２ 第１図形データ配置領域算出手段 １３ 領域評価値算出手段 １４ 再生手段 １５ 音声レベル検出手段 １６ 記憶手段 １７ 差分画像生成手段 １８ 画像変化量算出手段 １９ 再生手段

───────────────────────────────────────────────────── フロントページの続き (72)発明者 ガリー・マギル イギリス国エジンバラ・アンダーソンプレ ース２番地オフィスワークステーションズ リミテッド内

Claims (7)

【特許請求の範囲】
1. 【請求項１】連続した静止画からなる動画データを記憶
   する第１の記憶手段と、 動画データに重ねて表示すべき第１図形データと、それ
   を表示すべき動画上の位置を示す第１図形データ座標
   と、第１図形データを表示すべき静止画がどれであるか
   を示す表示情報とを記憶する第２の記憶手段と、 第１図形データと共に静止画上に重ねて表示すべき枠を
   表す図形データであって、予め定められた複数の領域に
   区分された静止画のそれぞれの領域に対応し、互いに形
   状が異なる複数の第２図形データを記憶する第３の記憶
   手段と、 前記表示情報が示す再生すべき静止画に対応する第１図
   形データ座標と、第３の記憶手段の各領域を参照して、
   その第１図形データ座標が含まれる領域に対応する第２
   図形データを選択する第２図形データ選択手段と、 選択された第２図形データと、第１図形データとを合成
   し、静止画に上書きする合成手段と、 上書きされた静止画を表示する出力手段とを備えること
   を特徴とする動画再生装置。
2. 【請求項２】連続した静止画からなる動画データを記憶
   する第１の記憶手段と、 動画データに重ねて表示すべき第１図形データと、それ
   を表示すべき動画上の位置を示す第１図形データ座標
   と、第１図形データを表示すべき静止画がどれであるか
   を示す表示情報とを記憶する第２の記憶手段と、 第１図形データと共に静止画上に重ねて表示すべき枠を
   表す図形データであって、静止画上において互いに異な
   る位置に配置されるべき複数の第２図形データ候補を記
   憶する第３の記憶手段と、 第３の記憶手段の各第２図形データ候補のそれぞれと再
   生すべき静止画に対応する第１図形データ座標との距離
   に基づいて、すべての第２図形データ候補の評価値を求
   める評価手段と、 評価手段による評価値が最良の第２図形データ候補を第
   ２図形データとして選択する第２図形データ選択手段
   と、 選択された第２図形データと、第１図形データとを合成
   し、静止画に上書きする合成手段と、 上書きされた静止画を表示する出力手段とを備えること
   を特徴とする動画再生装置。
3. 【請求項３】 前記評価手段は、前記距離に第２図形デ
   ータ候補の位置を調整するためのオフセット値を加算し
   て評価値を算出し、 前記第２図形データ選択手段は、評価値が最小となる第
   ２図形データ候補を第２図形データとして選択すること
   を特徴とする請求項２記載の動画再生装置。
4. 【請求項４】 前記評価手段の代わりに、 第３の記憶手段の各第２図形データ候補のそれぞれにつ
   いて、再生すべき静止画と重なる部分において、静止画
   上で使用されている色数に基づいて評価値を算出する色
   数評価手段を備えることを特徴とする請求項２記載の動
   画再生装置。
5. 【請求項５】連続した静止画からなる動画データと、そ
   れに対応する音声データとを記憶する第１の記憶手段
   と、 動画データに重ねて表示すべき第１図形データと、それ
   を表示すべき動画上の位置を示す第１図形データ座標
   と、第１図形データを表示すべき静止画がどれであるか
   を示す表示情報とを記憶する第２の記憶手段と、 第１図形データと共に静止画上に重ねて表示すべき枠を
   表す第２図形データ候補を記憶する第３の記憶手段と、 再生すべき静止画データに対応する音声データについ
   て、その音声レベルを検出する音声レベル検出手段と、 音声レベルが所定の値を越えているとき、第２図形デー
   タと、第１図形データとを合成し、静止画に上書きする
   合成手段と、 上書きされた静止画及び音声データを表示及び出力する
   出力手段とを備えることを特徴とする動画再生装置。
6. 【請求項６】連続した静止画からなる動画データを記憶
   する第１の記憶手段と、 動画データに重ねて表示すべき第１図形データと、それ
   を表示すべき動画上の位置を示す座標と、第１図形デー
   タを表示すべき静止画がどれであるかを示す表示情報
   と、静止画における所定の部分領域とを記憶する第２の
   記憶手段と、 第１図形データと共に静止画上に重ねて表示すべき枠を
   表す第２図形データ候補を記憶する第３の記憶手段と、 再生すべき静止画データとその次の静止画データにおけ
   る前記部分領域の差分を求める差分検出手段と、 前記差分に基づいて再生すべき静止画データとその次の
   静止画データとの変化量を求める変化量検出手段と、 前記変化量が所定の閾値を越えているとき、第２図形デ
   ータと、第１図形データとを合成し、静止画に上書きす
   る合成手段と、 上書きされた静止画を表示する出力手段とを備えること
   を特徴とする動画再生装置。
7. 【請求項７】 前記第１図形データは、動画中に表示す
   べきセリフであり、 前記第２図形データは、第１図形データを囲うフキダシ
   であることを特徴とする請求項１ないし６記載の動画再
   生装置。