JPH11261890A - 映像字幕挿入方法および装置並びに該映像字幕挿入方法を記録した記録媒体 - Google Patents

映像字幕挿入方法および装置並びに該映像字幕挿入方法を記録した記録媒体

Info

Publication number
JPH11261890A
JPH11261890A JP10059336A JP5933698A JPH11261890A JP H11261890 A JPH11261890 A JP H11261890A JP 10059336 A JP10059336 A JP 10059336A JP 5933698 A JP5933698 A JP 5933698A JP H11261890 A JPH11261890 A JP H11261890A
Authority
JP
Japan
Prior art keywords
area
subject
caption
video
subtitle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP10059336A
Other languages
English (en)
Other versions
JP3468404B2 (ja
Inventor
Yasumasa Niikura
康巨 新倉
Yoshinobu Tonomura
佳伸 外村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP05933698A priority Critical patent/JP3468404B2/ja
Publication of JPH11261890A publication Critical patent/JPH11261890A/ja
Application granted granted Critical
Publication of JP3468404B2 publication Critical patent/JP3468404B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Abstract

(57)【要約】 【課題】 ある映像区間の画面上に字幕を挿入する際
に、被写体の位置を考慮し、かつ、被写体の話している
内容を反映しつつ、被写体が動いている場合でも最適な
位置にセリフ字幕を挿入すること。 【解決手段】 編集対象である入力映像に対し、被写体
領域を指定した後、その指定された被写体領域を追跡
し、指定された被写体領域の周辺に字幕を挿入する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、映像の画面上に字
幕情報を挿入する際に、挿入される字幕情報の位置を対
応する被写体の動きに合わせて制御する映像字幕挿入方
法および装置並びに字幕挿入処理用のプログラムを記録
した記録媒体に関するものである。
【0002】
【従来の技術】映像に字幕情報を埋め込むことは、外国
映画のスーパーや、聴覚障害者のための映像番組や、多
チャンネル時代の並列映像再生表示において、映像内容
を音声情報なしで理解するためには欠かせないものとな
っている。
【0003】こうしたスーパーを画面に挿入する際に、
1つの簡単な方法は、決まった領域に固定して埋め込む
方法であった。しかし、この方法では、誰が発声者であ
るか分からないときがあるという問題点があった。最も
望ましいのは、視聴者に、被写体の誰が、何を話してい
るのか、音声を聞かない状態でも分かるようにすること
である。
【0004】旧来の字幕は、フィルムに手書きで書き込
んでいた。それがディジタル編集システムの発達ととも
に、コンピュータの電子メディア上で処理することにな
ってきている。これにより、簡単に字幕情報を挿入し、
変更し、加工することが可能となっている。
【0005】
【発明が解決しようとする課題】しかし、現在のディジ
タル編集システムでも、ある時刻において、指定した領
域に固定して表示されるだけである。したがって、被写
体が動いた場合、字幕と被写体の関係が保てなくなると
いう問題が依然として残っている。
【0006】また、現在のディジタル編集システムで
は、字幕と被写体の関係を明示するためには、各フレー
ム毎に字幕情報の位置を指定してやる必要があり、多く
の時間がかかるという問題点があった。
【0007】本発明は、このような問題を解決するため
になされたものであり、その目的は、ある映像区間の画
面上に字幕を挿入する際に、被写体の位置を考慮し、か
つ、被写体の話している内容を反映しつつ、被写体が動
いている場合でも最適な位置にセリフ字幕を挿入するこ
とができる映像字幕挿入方法および装置、並びに字幕挿
入処理用のプログラムを記録した記録媒体を提供するこ
とである。
【0008】
【課題を解決するのための手段】上記目的を達成するた
めに、請求項1の発明は、編集対象である入力映像に対
し、被写体領域を指定する被写体領域指定段階と、指定
された被写体領域を追跡する被写体追跡段階と、指定さ
れた被写体領域の周辺に字幕を挿入する字幕挿入段階
と、を具備することを特徴とする。
【0009】この方法により、被写体領域を追跡し、最
適な位置に字幕を挿入することが可能となり、動き被写
体が存在しても、発声者である動き被写体との位置関係
を保ちながらセリフ字幕を挿入することができる。
【0010】請求項2の発明は、請求項1の発明を装置
化したものであり、編集対象である入力映像に対し、被
写体領域を指定する被写体領域指定手段と、指定された
被写体領域を追跡する被写体追跡手段と、指定された被
写体領域の周辺に字幕を挿入する字幕挿入手段と、を具
備することを特徴とする。
【0011】請求項3の発明は、請求項1の発明をコン
ピュータが読み取り可能なプログラムで記述し、このプ
ログラムを用いて本発明の映像字幕挿入方法を実施可能
なようにする記録媒体に関するものであり、編集対象で
ある入力映像に対し、被写体領域を指定する被写体領域
指定処理と、指定された被写体領域を追跡する被写体追
跡処理と、指定された被写体領域の周辺に字幕を挿入す
る字幕挿入処理と、を含むコンピュータが読み取り可能
なプログラムが記録されていることを特徴とする。
【0012】
【発明の実施の形態】以下、本発明の映像字幕納入方法
および装置について図示する実施の形態を参照して詳細
に説明する。図1は、本発明の映像字幕挿入方法の一実
施の形態を示す流れ図である。図1において、字幕を挿
入する対象となる入力映像データViは、被写体領域指
定手段11に入力される。被写体領域指定手段11は、
入力映像データViにより、入力映像中のフレーム中の
一部に当たる被写体を指定する。指定された一部の被写
体領域1が指定されたならば、その指定された被写体領
域1を被写体領域追跡手段12に入力し、対象映像区間
中の被写体領域を追跡させ、複数フレームにわたる被写
体領域1の領域である複数フレーム被写体領域2を算出
させる。利用者3は、複数フレーム被写体領域2に対し
て、字幕挿入手段13を用いて、任意の字幕を挿入し、
字幕挿入映像4を生成させる。
【0013】図2は、図1の方法を実現する装置の一実
施の形態を示すブロック図である。図2に示す映像字幕
挿入装置は、入力映像データViをテンポラリーに保存
する記録メディア30を備えており、入力映像中の字幕
を挿入したい区間である映像区間20における一部フレ
ーム21を抽出する。入力映像データViは、記録メデ
ィア30に一時記憶された後、または直接に被写体領域
指定部40に入力される。
【0014】対象となる映像区間は、コンピュータが解
析可能なディジタル映像の区間であれば良く、MPEG
やJPEG等の圧縮符号によって圧縮符号化されていて
も構わない。また、その時間及び空間方向へのパラメー
タは任意で構わない。また、一部フレーム21は、映像
区間の先頭でも良いし、最後でも良いし、真ん中でも良
い。さらに1フレームだけでなく複数フレームであって
構わない。
【0015】この一部フレーム21に対して、利用者5
0は、指示インタフェース44を介して、被写体領域指
定部40において、被写体領域22を指定する。この被
写体領域は、長方形でも良いし、任意の形状でも構わな
い。被写体額域22が指定されたならば、映像区間中の
全フレームのどこにその被写体領域が対応するのか複数
フレームに渡る被写体領域である複数フレーム被写体領
域23を被写体領域追跡部41にて追跡する。この領域
追跡の原理は、選択された領域を幾つかのブロックに分
類し、まず、そのブロック毎に隣接する時系列上で離れ
たフレーム上における類似領域を位置をずらして探索す
ることにより、それぞれに最も類似した位置情報を検出
するというものである。そして、各位置ずれ情報に当た
る動きベクトルの情報を集約し、対応する領域を決定す
る。領域の形状は、指定された形状が反映されていても
良いし、任意の形状に変化していても構わない。なお、
ここでは類似した領域群の外接直方体を追跡された複数
フレーム被写体領域23として決定する。
【0016】一方、利用者50は、指示インタフェース
44を介して、一部フレーム21に対し、字幕領域指定
部42で、字幕領域を指定し、字幕内容24を決定す
る。ここでは、領域のみでなく、その内容も反映される
ようにする。なお、一部フレームに含まれる同一映像区
間中に、必ずしも1種類の字幕だけが挿入される必要は
なく、同一映像区間で、任意の字幕を、任意に切替えて
挿入する指定を行うことも可能である。
【0017】複数フレーム被写体領域23が決定され、
字幕内容24が決定されたならば、それらの情報から、
字幕を字幕挿入部43によって挿入する。これにより、
字幕挿入映像25を得ることができる。
【0018】被写体が動いている場合には、利用者50
によって指定された字幕領域と被写体の位置が重なった
り、離れてしまう場合がある。その場合には、動いた被
写体領域とフレーム枠とフレーム枠との間で最適な字幕
領域を決定し、字幕を挿入する。利用者50によって指
定された字幕領域と被写体の位置が重なった場合の例を
図3(d)の符号301、302で示す。この場合に
は、図3(e)の符号303、304に示すように、字
幕位置を被写体と重ならない位置に変更し、その位置に
字幕を挿入する。この結果、字幕が挿入された映像は図
3(f)に示すように表示される。
【0019】もし、ここで字幕に対してスペースが小さ
い場合には、編集された映像を時系列に分割し、セリフ
を分割して挿入するようにする。これは、セリフの長さ
と、映像区間の長さとを計数し、余白の関係から、セリ
フが入りきらないと判定された場合には、セリフを区切
り、映像区間に割り当てる。セリフの区切りかたは、機
械的に文字数で区切っても良いし、カンマなどの区切り
文字を基準に区切っても構わない。
【0020】また、映像区間への割り当ては、映像区間
の時間長さを基に機械的に区切っても良いし、映像区間
中のカメラワークや、動き被写体の動きの変化などを基
準に区切っても構わない。
【0021】字幕領域が離れているかどうかの場合の判
断は、字幕領域と被写体領域同士の最短距離から決定す
る。また、重なっているかどうかの判断は、字幕領域と
被写体領域同士を重ねることで容易に判定することがで
きる。最適な位置の探索は、字幕領域を様々な方向にず
らし、フレーム内で元の領域を保てる位置を探索する。
もし、元の領域を保てない場合には、字幕領域は、その
ままの位置としても良いし、利用者に警告を発して修正
を促すなどして修正させるようにしても良い。また、字
幕領域の形状を変更するなどの処理を行っても構わな
い。
【0022】次に、字幕領域が被写体の移動と共にちら
ちら動いては困るという場合が存在すると思われる。こ
の問題点を回避するための処理を図4を参照して説明す
る。
【0023】まず、複数フレーム被写体領域23の互い
に干渉しない領域を算出する。すなわち、図4(d)に
示すように、複数フレームの被写体領域を除いた余白部
401を検出し、この余白部401を字幕を配置する領
域の候補として決定し、さらに図4(e)に示すよう
に、指定された字幕領域を中心に、最も近い領域で、か
つ被写体を隠蔽しない領域402を決定する。
【0024】そして、隠蔽しない領域402とフレーム
枠との関係から、隠蔽しない領域402の内接長方形を
求め、この内接長方形の領域を字幕挿入候補領域403
に決定し、この字幕挿入候補領域403に字幕404を
挿入する。なお、内接長方形は最大でも指定された字幕
領域の面積以下になるように、内接長方形の位置を決定
する。
【0025】なお、字幕領域が固定され、被写体領域が
動く場合、被写体の動きについていけない場合がある。
この場合には、図4(g)に示すように、吹き出し矢印
405を挿入し、どの被写体が話している内容なのかを
明示する。
【0026】なお、ナレーションなどのように被写体に
関係のいない字幕が存在する場合があり得る。このよう
な場合は、字幕を挿入する対象の被写体を指定しないこ
とになるが、挿入される字幕は、字幕領域の指定どおり
に配置したり、予め決まった位置に固定して配置するな
ど、任意に指定することができる。
【0027】このようにすることにより、従来、映像区
間で固定した領域に挿入するか、ないしは、各フレーム
毎に挿入する領域の指定を与えなければならなかったセ
リフや字幕などの挿入を、本発明では、簡易に行い、か
つ時系列で、被写体を追跡することで、被写体が動いて
もどの被写体が何を話しているのかを追跡することが可
能になる。
【0028】なお、上述した映像字幕挿入方法をコンピ
ュータプログラムで記述し、CD・ROM等の記録媒体
に記録して、映像編集者が使用するコンピュータに読込
ませて実行させることにより、記録メディア30に保存
した映像データを、編集者の意図に従って選択しながら
必要な字幕を挿入して編集することが可能になる。
【0029】以上、本発明による映像字幕挿入方法とそ
の装置について、実施形態に基づいて具体的に説明した
が、本発明は上述の実施形態に限定されるものではな
く、要旨を逸脱しない範囲で種々の変更が可能である。
【0030】
【発明の効果】以上説明したように、本発明は、編集対
象である入力映像に対し、被写体領域を指定した後、そ
の指定された被写体領域を追跡し、指定された被写体領
域の周辺に字幕を挿入するようにしたため、映像に字幕
を挿入する際に、被写体の位置を考慮し、かつ、被写体
の話している内容を反映しつつ、被写体が動いていて
も、その動きに合わせた最適な位置に字幕を自動的に配
置することができ、視聴者に分かり易い映像編集を行な
うのに極めて有効なものとなる。
【図面の簡単な説明】
【図1】本発明の映像字幕挿入方法の一実施の形態を示
す流れ図である。
【図2】本発明の方法を実現する装置の一実施の形態を
示すブロック図である。
【図3】字幕挿入アルゴリズムの一例を示す説明図であ
る。
【図4】字幕挿入アルゴリズムの他の例を示す説明図で
ある。
【符号の説明】
Vi…入力映像データ、1…一部被写体領域、2…複数
フレーム被写体領域、3利用者、11…被写体領域指定
手段、12…被写体領域追跡手段、13…字幕挿入手
段、44…指示インタフェース。

Claims (3)

    【特許請求の範囲】
  1. 【請求項1】 映像の画面上に字幕情報を挿入する際
    に、挿入される字幕情報の位置を対応する被写体の動き
    に合わせて制御する映像字幕挿入方法であって、 編集対象である入力映像に対し、被写体領域を指定する
    被写体領域指定段階と、 指定された被写体領域を追跡する被写体追跡段階と、 指定された被写体領域の周辺に字幕を挿入する字幕挿入
    段階と、を具備することを特徴とする映像字幕挿入方
    法。
  2. 【請求項2】 映像の画面上に字幕情報を挿入する際
    に、挿入される字幕情報の位置を対応する被写体の動き
    に合わせて制御する映像字幕挿入装置であって、 編集対象である入力映像に対し、被写体領域を指定する
    被写体領域指定手段と、 指定された被写体領域を追跡する被写体追跡手段と、 指定された被写体領域の周辺に字幕を挿入する字幕挿入
    手段と、を具備することを特徴とする映像字幕挿入装
    置。
  3. 【請求項3】 映像の画面上に字幕情報を挿入する際
    に、挿入される字幕情報の位置を対応する被写体の動き
    に合わせて制御する映像字幕挿入方法を実施するための
    プログラムを記録した媒体であって、 編集対象である入力映像に対し、被写体領域を指定する
    被写体領域指定処理と、 指定された被写体領域を追跡する被写体追跡処理と、 指定された被写体領域の周辺に字幕を挿入する字幕挿入
    処理と、を含むコンピュータが読み取り可能なプログラ
    ムが記録されていることを特徴とする映像字幕挿入処理
    用の記録媒体。
JP05933698A 1998-03-11 1998-03-11 映像字幕挿入方法および装置並びに該映像字幕挿入方法を記録した記録媒体 Expired - Fee Related JP3468404B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP05933698A JP3468404B2 (ja) 1998-03-11 1998-03-11 映像字幕挿入方法および装置並びに該映像字幕挿入方法を記録した記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP05933698A JP3468404B2 (ja) 1998-03-11 1998-03-11 映像字幕挿入方法および装置並びに該映像字幕挿入方法を記録した記録媒体

Publications (2)

Publication Number Publication Date
JPH11261890A true JPH11261890A (ja) 1999-09-24
JP3468404B2 JP3468404B2 (ja) 2003-11-17

Family

ID=13110390

Family Applications (1)

Application Number Title Priority Date Filing Date
JP05933698A Expired - Fee Related JP3468404B2 (ja) 1998-03-11 1998-03-11 映像字幕挿入方法および装置並びに該映像字幕挿入方法を記録した記録媒体

Country Status (1)

Country Link
JP (1) JP3468404B2 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004521571A (ja) * 2001-06-25 2004-07-15 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ ビデオにおける重ね書き要素の適応的配置
JP2007027990A (ja) * 2005-07-13 2007-02-01 Canon Inc 動画データから字幕を作成する装置及び方法、プログラム、並びに記憶媒体
WO2008035704A1 (fr) * 2006-09-21 2008-03-27 Panasonic Corporation Dispositif de génération de sous-titre, procédé de génération de sous-titre, et programme de génération de sous-titre
JP2012128701A (ja) * 2010-12-16 2012-07-05 Casio Comput Co Ltd 画像処理装置、画像処理方法及びプログラム
WO2012153475A1 (ja) * 2011-05-11 2012-11-15 パナソニック株式会社 描画合成装置
CN109862422A (zh) * 2019-02-28 2019-06-07 腾讯科技(深圳)有限公司 视频处理方法、装置、计算机可读存储介质和计算机设备
WO2021147461A1 (zh) * 2020-01-21 2021-07-29 北京字节跳动网络技术有限公司 展示字幕信息的方法、装置、电子设备和计算机可读介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101804912B1 (ko) * 2011-01-28 2017-12-05 엘지전자 주식회사 입체영상 디스플레이 장치 및 입체영상 자막 디스플레이 방법

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004521571A (ja) * 2001-06-25 2004-07-15 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ ビデオにおける重ね書き要素の適応的配置
JP2007027990A (ja) * 2005-07-13 2007-02-01 Canon Inc 動画データから字幕を作成する装置及び方法、プログラム、並びに記憶媒体
WO2008035704A1 (fr) * 2006-09-21 2008-03-27 Panasonic Corporation Dispositif de génération de sous-titre, procédé de génération de sous-titre, et programme de génération de sous-titre
JP2008079018A (ja) * 2006-09-21 2008-04-03 Matsushita Electric Ind Co Ltd 字幕生成装置、字幕生成方法および字幕生成プログラム
US8223269B2 (en) 2006-09-21 2012-07-17 Panasonic Corporation Closed caption production device, method and program for synthesizing video, sound and text
JP2012128701A (ja) * 2010-12-16 2012-07-05 Casio Comput Co Ltd 画像処理装置、画像処理方法及びプログラム
WO2012153475A1 (ja) * 2011-05-11 2012-11-15 パナソニック株式会社 描画合成装置
CN109862422A (zh) * 2019-02-28 2019-06-07 腾讯科技(深圳)有限公司 视频处理方法、装置、计算机可读存储介质和计算机设备
WO2021147461A1 (zh) * 2020-01-21 2021-07-29 北京字节跳动网络技术有限公司 展示字幕信息的方法、装置、电子设备和计算机可读介质
US11678024B2 (en) 2020-01-21 2023-06-13 Beijing Bytedance Network Technology Co., Ltd. Subtitle information display method and apparatus, and electronic device, and computer readable medium

Also Published As

Publication number Publication date
JP3468404B2 (ja) 2003-11-17

Similar Documents

Publication Publication Date Title
JP3892342B2 (ja) ビデオプロジェクトを編集するためのビデオ編集方法および装置
US7623756B2 (en) Apparatus, method, and computer program for processing information
US6970639B1 (en) System and method for editing source content to produce an edited content sequence
US9881215B2 (en) Apparatus and method for identifying a still image contained in moving image contents
JP2007072520A (ja) 映像処理装置
EP0774756A2 (en) Method of recording material data of broadcasting programs and displaying the content of the data, and system for executing the method, and recording medium recording a procedure of implementing the method
JP2001333379A (ja) オーディオ/ビデオ信号生成装置、及びオーディオ/ビデオ信号生成方法
JP2019148681A (ja) テキスト修正装置、テキスト修正方法およびテキスト修正プログラム
KR102055766B1 (ko) 동영상 요약 정보 재생 장치, 동영상 요약 정보 제공 서버 및 그 방법
JP2010124224A (ja) 番組情報表示装置および方法
KR101440168B1 (ko) 개요 및 리포트를 이미 포함하는 시청각 도큐먼트의 새로운 개요를 생성하기 위한 방법 및 상기 방법을 구현할 수 있는 수신기
GB2326516A (en) Method of and apparatus for editing audio or audio-visual recordings
US7643723B2 (en) Image processing apparatus and image processing method
JPH11261890A (ja) 映像字幕挿入方法および装置並びに該映像字幕挿入方法を記録した記録媒体
US6272279B1 (en) Editing method of moving images, editing apparatus and storage medium storing its editing method program
JP3934780B2 (ja) 放送番組管理装置、放送番組管理方法、及び放送番組管理処理プログラムを記録した記録媒体
JP2008167256A (ja) 情報処理装置および方法、並びにプログラム
CN100432984C (zh) 包含交互式图形流的信息存储介质的再现设备和方法
JPH0991928A (ja) 映像の編集方法
US20060056740A1 (en) Apparatus and method for editing moving image data
JP2001209361A (ja) マルチメディア表示装置
WO2007114241A1 (ja) 映像処理装置
JP2006101076A (ja) 動画編集方法、動画編集装置及びプログラム
JP4401740B2 (ja) 編集装置
JP2006333189A (ja) 映像要約生成装置

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080905

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080905

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090905

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090905

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100905

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100905

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110905

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120905

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130905

Year of fee payment: 10

LAPS Cancellation because of no payment of annual fees