JPH0623380U - 歌詞字幕映像の一括自動生成装置 - Google Patents

Abstract

(57)【要約】 （修正有） 【目的】 歌唱楽曲における楽曲進行に連動する歌詞字
幕映像と、歌唱進行を促すための歌詞字幕の滑らかな色
替え処理等の合理的一括自動生成装置を提供する。 【構成】 歌詞データの字幕画像及び、歌詞データと楽
譜データとの合成編集画像を表示するための表示装置
と、データ入力、操作入力のための入力装置と、楽譜デ
ータ、歌詞データ、字幕文字フォントの記憶装置と、歌
詞字幕の映像出力装置と、前記入力装置からの操作指令
に応じて歌詞データの字幕編集処理・楽譜合成編集処理
・歌詞字幕画像の生成処理を行なう処理装置と、歌詞字
幕画像の生成処理をリアルタイム管理のためのタイマ装
置とから構成される。 これにより楽曲進行と歌詞字幕
映像の連動性に関わる作業の改善と品質向上が図れ、字
幕書式の変更に際しても連動性は維持され、多彩な書式
の歌詞字幕映像が容易に制作できる。

Description

【考案の詳細な説明】

【０００１】

【産業上の利用分野】

本考案は、歌唱楽曲の映像に欠かすことにできない歌詞字幕映像の合理的な制 作装置に関するものである。

【０００２】

【従来の技術】

従来、歌詞字幕映像の制作工程において、字幕文字の画面レイアウトを設定す る工程には、画面対話形式のテキスト編集技術が導入され、一連の字幕映像を素 材として生成できる装置はあったが、この映像素材を楽曲進行に連動した字幕の 変化を施した映像としてまとめあげる作業では、手動操作の映像編集機器が使用 され、楽曲進行とのタイミング合わせには、収録済みの楽曲の再生音を実際に聴 きながら、歌詞字幕の表示タイミングを調整し、さらに歌詞進行を促す字幕の色 替え映像の製作に際しての微妙な動きについても手動操作により表現するように していた。

【０００３】

【考案が解決しようとする課題】

しかし、楽曲を聴きながら手動操作で行われる映像編集作業では、手の動きが そのまま映像に反映されることから、各楽曲毎に相当量の練習が必要で、完成度 の高い映像を得るまでには何度もやり直す必要があるといった手数のかかる、し かも熟練性が要求される面倒な作業となっていた。 また、字幕の書体や画面レ イアウトを変更した場合などにおいては、たとえ同じ楽曲であっても映像編集作 業も含めて、すべてやり直すことを余儀なくされていた。

【０００４】

【課題を解決するための手段】

そこで本考案にあっては、上記した従来技術における種々の課題を解決し、映 像編集作業の合理化をはかるとともに、歌いやすい歌詞字幕映像の一括自動生成 を可能としたものである。 とくに歌唱楽曲における歌詞字幕映像としての必須 条件は、第１に、歌いやすく、詩情も汲みとりやすい適切な文節単位で画面レイ アウトされた歌詞字幕であること、第２に、楽曲進行に連動して歌詞字幕を歌い やすいタイミングで表示しながら、歌われている部分をなぞるように字幕の表示 色を滑らかに色替えしていくこと、といった２つの基本的な条件がある。

【０００５】 本考案は上記した２つの基本的な条件を満たすことができるようにしたもので あって、具体的には、歌詞楽曲における歌詞字幕映像として、楽曲進行に連動し た歌詞字幕の表示と、歌唱進行を促すための歌詞字幕の滑らかな色替え等の処理 が施された映像の生成装置において、歌詞データの字幕画像及び、歌詞データと 楽譜データとの合成編集画像を表示するための表示装置と、データ入力及び操作 入力のための入力装置と、曲単位の楽譜データ、歌詞データの保存及び、字幕文 字フォントを格納するための記憶装置と、前記歌詞データの字幕画像を映像信号 として出力するための映像出力装置と、前記入力装置からの操作指令に応じて歌 詞データの字幕編集処理・楽譜合成編集処理・字幕画像の生成処理を行うための 処理装置と、歌詞字幕画像の生成処理をリアルタイム管理するためのタイマ装置 とからなる、歌詞字幕映像の一括自動生成装置に関する。

【０００６】 また本考案は、前記した歌詞字幕画像の生成処理をリアルタイム管理するため のタイマ装置に対し、これに連動するメトロノーム音発生装置を備えてなること を特徴とした歌詞字幕映像の一括自動生成装置に関する。

【０００７】 さらに本考案は、前記した歌詞字幕画像の生成処理をリアルタイム管理するた めのタイマ装置に代えて、演奏音と共にタイムコードを記録した録音媒体の音声 再生装置を用い、かつＭＩＤＩキーボードを備えてなることを特徴とした歌詞字 幕映像の一括自動生成装置にも関する。

【０００８】

【作用】

演奏音との高い同期性のとれた楽譜データおよび歌詞データをデータベースに 蓄積しておくことにより、歌詞字幕を映像化する工程における人手による作業対 象を、楽譜という一般に馴染み深く受け入れやすい媒体を通じた机上の編集に集 約でき、歌詞字幕の画面レイアウトを設定するための歌詞の字幕編集という作業 に加え、歌詞字幕の楽曲進行に対する連動性を設定するための歌詞と楽譜の合成 編集という作業を兼ね備えた、２つの作業形態をもって歌詞字幕の映像信号を曲 単位で一括自動生成される。

【０００９】

【実施例】

以下において本考案の第１実施例を図１に基づいて説明すると、１はＣＲＴデ ィスプレイによる表示装置、２はキーボードを用いた入力装置、３はハードディ スクによる記憶装置、４は映像出力装置、５はＣＰＵ処理装置、６はタイマ装置 をあらわす。

【００１０】 歌詞字幕映像の第１の条件を満たすための作業工程である歌詞データの字幕編 集について述べると、歌いやすく、詩情も汲みとりやすい適切な文節単位で画面 レイアウトされた歌詞字幕を生成するためには、まず歌詞の文字情報を入力し、 曲単位の歌詞データを作成し、歌詞データを字幕文字フォントを使用して表示装 置１に表示し、表示される画像１０を確認しながら歌詞字幕の画面レイアウトを 設定する作業により、歌詞データに字幕としての文字レイアウトに関する情報（ 字幕座標）を付加していく処理機能により歌詞データの字幕編集をおこなう。 なおこの場合において、字幕文字フォントは、字幕文字の書体を必要に応じて変 更できるように記憶装置に格納しておく。

【００１１】 具体的には、キーボード２を用いてＣＲＴディスプレイ１の画面との対話形式 による文書作成機能を利用して歌詞データの入力を行ない、曲単位で作成された 歌詞文書は歌詞データファイルとしてハードディスク３にストアされる。 さら にハードディスク３の字幕文字フォント・パターンを使用して描いた歌詞データ の字幕画像１０をＣＲＴディスプレイ１へ写しだし、歌詞字幕のページ割付け、 ページ毎の字幕レイアウト機能を利用して編集をおこなう。 これらの機能を活 用した適切な字幕編集を施すことによりページ割付け、字幕レイアウトを含む、 字幕座標情報の確定した歌詞データを得ることができる。

【００１２】 この場合画面の横軸を、拍子、テンポ等に依存する時間座標として扱い、歌詞 データを文字単位で楽譜上の音符に対応させて楽譜原本どおり正確に配置してい く作業により、歌詞データに曲進行との連動性に関する情報（歌唱時間）を付加 していく処理機能を備えるようにする。

【００１３】 一方、楽譜データの入力は、キーボード２から音符単位の音程、音長等を、数 値で入力する形式で行なうものとし、楽譜の内容としては、歌唱進行を認識する ためのメロディーパートのみで十分ではあるが、前奏、間奏を含む曲全体の時間 経過が表現された、曲単位の楽譜データ・ファイルとしてハードディスク３にス トアされる。 楽譜データと歌詞データとを合成・編集した合成編集画像１１を ＣＲＴディスプレイ１に表示し、楽譜に対応した歌詞配置ができるように、歌詞 を文字単位で左右に移動させ、任意の位置へ効率よく配置させるために備えられ ている各種機能を利用して種々の編集をおこなう。

【００１４】 なおこの場合において、ＣＲＴディスプレイ１の一画面上では楽譜の全体は表 示しきれないので、ページ送り機能により前後の楽譜を順送りに表示させて、全 体を網羅するようにする。 また、繰り返して歌唱される小節を共通小節として 扱えば、１番の歌詞１２、２番の歌詞１３、３番の歌詞１４、を並列表示でき、 編集作業の効率向上が図れる。 これらの機能を活用して楽譜原本どおりに、歌 詞データの楽譜合成編集が施され文字単位の歌詞時間情報の確定した歌詞データ を作成し、これをハードディスク３にストアしなおしておく。

【００１５】 つぎに、歌詞字幕映像の第２の条件を満たすための作業工程について述べると 、楽曲進行に連動して歌詞字幕を歌いやすいタイミングで表示しながら、歌われ ている部分をなぞるように字幕の表示色を滑らかに色替えしていくには、歌詞字 幕の楽曲進行との連動性を設定する作業における、楽曲進行をイメージする手段 として楽譜を利用することが有効である。

【００１６】 この歌詞データの楽譜合成編集について述べると、音符、休符、拍子、テンポ 等の楽譜を表現するのに不可欠なデータを入力して曲単位の楽譜のデータを作成 し、歌詞データと楽譜データを合成した画像１１を表示装置１に表示する。 こ の画面の横軸を、拍子、テンポ等に依存する時間座標として扱い、歌詞データを 文字単位で楽譜上の音符に対応させて楽譜原本どおり正確に配置していく作業に より、歌詞データに曲進行との連動性に関する情報（歌唱時間）を付加していく 処理機能を備える。

【００１７】 すなわち、より具体的には文字単位の字幕座標情報、歌詞時間情報の確定した 歌詞データを基に、前奏から始まり刻々と経過する楽曲進行の時間経過を想定し て、ページ割付けされた文字群の先頭文字の歌唱時間から推定される、そのペー ジの最適表示タイミングにおける字幕表示を、字幕座標情報にしたがった画面レ イアウトで行ない、表示された文字それぞれの歌唱時間情報を基準に実行される 歌唱文字を滑らかになぞっていくような文字色の塗り替え等、楽曲進行に適切に 連動した一連の字幕展開を画像化するための描画信号を映像出力装置４へ連続送 出していくような、歌詞字幕画像の一括生成処理機能を備える。

【００１８】 なおこの場合において、演奏音との高い同期性のとれた楽譜データおよび歌詞 データをデータベースに蓄積しておけば、歌詞字幕の画面レイアウトを設定する ための歌詞の字幕編集という作業に加え、歌詞字幕の楽曲進行に対する連動性を 設定するための歌詞と楽譜の合成編集という作業を兼ね備えた、２つの作業形態 をもって歌詞字幕の映像信号を曲単位で一括自動生成できる制作環境を提供する ことができ、歌詞字幕を映像化する工程における人手による作業対象を楽譜とい う一般に馴染み深く受け入れやすい媒体を通じた机上の編集に集約できる。

【００１９】 以上の処理機能を活用した作業工程により、歌詞データに付加された字幕座標 情報と歌唱時間情報および、字幕文字フォント情報に基づいて、曲の開始からの 時間経過に従って最適なタイミングでの歌詞字幕表示のための描画信号と、その 字幕の歌唱進行を表現した滑らかな色替えのための描画信号を映像出力装置４へ 送出する処理機能を曲の終了まで連続して実行させることで、歌詞字幕の一括自 動生成処理が完結される。

【００２０】 なお楽曲の速さをあらわすテンポの値に応じた時間管理をするためのタイム ベース信号はタイマ装置６で生成される。 この時間経過を管理するためのタ イムベース信号は、楽曲の速度を再現するもので楽譜上のテンポの値に依存した 周波数のタイミングクロックとして処理装置５に出力する。

【００２１】 この場合のテンポ値は１分間に演奏される４分音符の数であり、４分音符に相 当するタイミングクロック数を４８とした場合は、１分間あたり、テンポ値の４ ８倍の数のタイミングクロックで与えられる。 このような、テンポ値に比例し たタイミングクロックを時間管理のためのタイムベース信号とすることで、任意 のテンポ値で与えられる楽曲の速さと正確に連動した歌詞字幕映像を自動的に一 括生成する処理が達成される。

【００２２】 また映像出力装置４は、図４に示したように、処理装置５から入力される描画 信号、即ち映像画面をイメージしたフレームメモリへの書込みアドレスと色情報 によって刻々と変化していくフレームメモリ上の字幕画像が、アドレスカウンタ からビデオ信号のためのタイミングと走査順で発生される読出しアドレスによっ て続出され、ビデオ信号エンコーダでビデオ信号へと変換していくことにより歌 詞字幕映像がビデオ信号として得られるようにしてもよい。

【００２３】 この場合、図５のように、外部映像に同期をあわせた読出しアドレスで、フレ ームメモリを読出して得られる字幕画像信号を優先して外部映像信号上に混成さ せるようにすると、外部映像に歌詞字幕をスーパーインポーズした映像信号とし て得ることもできる。

【００２４】 また前記した処理操作において、楽譜データどおりにリアルタイム生成された 一連の歌詞字幕画像と、同じ楽譜どおりに演奏された音楽とで時間的なズレが生 ずるとすれば、それはテンポの相違によるものである。 図２はこれを解消する ようにした本考案の第２実施例をあらわしたものである。 すなわち上記したテ ンポの相違をなくすために設けられるのがタイマ装置６に連動したメトロノーム 音発生装置７であり、楽譜データの音長の基準となるタイムベース信号は、メト ロノーム音の４８倍の周波数のタイミングクロックとして出力し、楽譜上の４分 音符を４８クロックとして歌詞字幕映像の進行テンポを管理する。

【００２５】 これは入力した楽譜データどおりにリアルタイム生成された歌詞字幕映像と楽 曲の演奏音との同期性を、より高めるために設けられたものであり、任意に設定 されるテンポ値により決定される拍子のメトロノーム音を発生し、このメトロノ ーム音と楽譜上の音長を刻むための基準となるタイムベース信号とを統一管理し 発生するものであり、このメトロノーム音に合わせたテンポで演奏された音楽に 対して完全に同期のとれた歌詞字幕画像を生成できる。 上記した実施例２で生 成された歌詞字幕映像は、演奏速度のほうを制御して同期性を高めるようにした ものであり、メトロノーム音に合わせたテンポで演奏された楽曲に対して、より 同期性の高いものとなる。

【００２６】 また図３には反対に演奏に合わせた楽譜データを入力することで同期性を高め るようにした本考案の第３実施例があらわされている。 これは前記したタイマ 装置をタイムコード付き音声再生装置９に置き換え、演奏された楽曲のテンポに 合わせた楽譜データを得るようにしたもので、 演奏音と共にタイムコードを記 録した録音媒体（テープ）を音声再生装置９で再生し、これにより得られるタイ ムコードをタイムベース信号として活用するようにしたものである。 これによ る場合には、すでに収録済みの楽曲や、テンポの不定な楽曲に対して有効な歌詞 字幕映像生成が可能となる。

【００２７】 すなわち楽譜データ入力は、演奏音に合わせてＭＩＤＩキーボード８でメロデ ィーをリアルタイムで演奏して得られる演奏情報と、収録済みの録音テープの伴 奏再生音によるタイムコードを基にして楽譜データを自動生成していくようにし たもので、ＭＩＤＩ信号を通じて入力されるメロディー演奏情報とテープからの 再生タイムコードを基に楽譜データを自動生成させることで、収録済みの伴奏音 に対して完全に同期した楽譜データが得られることになる。 なお、歌詞字幕画 像を生成する段階でも音声再生装置９から再生されるタイムコードをタイムベー ス信号として時間管理することで、より完全な同期性が確保される。

【００２８】 映像出力装置４は、処理装置５から出力される描画信号を画像化したものを、 映像信号に変換し出力するものであり、ＶＴＲ（ビデオテープレコーダ）、ＬＤ （レーザディスク）等、に収録するためのビデオ信号を出力するようにするほか 、ＣＤ（コンパクトディスク）グラフィックス、ＣＤ−I等、種々のコンピュー タグラフィックス映像媒体のためのコード体系に対応したエンコード機能を備え 、ディジタルコード化した映像信号として出力できるようにしてもよい。 また 、外部映像を入力し、その映像に歌詞字幕をスーパーインポーズされた映像信号 を出力できるようにしてもよい。

【００２９】

【考案の効果】

本考案は上記したように、歌詞データの字幕画像及び、歌詞データと楽譜デー タとの合成編集画像を表示するための表示装置と、データ入力及び操作入力のた めの入力装置と、曲単位の楽譜データ、歌詞データの保存及び、字幕文字フォン トを格納するための記憶装置と、前記歌詞データの字幕画像を映像信号として出 力するための映像出力装置と、前記入力装置からの操作指令に応じて歌詞データ の字幕編集処理・楽譜合成編集処理・字幕画像の生成処理を行うための処理装置 と、歌詞字幕画像の生成処理をリアルタイム管理するためのタイマ装置とを備え た歌詞字幕映像の一括自動生成装置であるために、以下に示す本願独自の作用効 果を奏する。

【００３０】 すなわち、従来、熟練技術が要求されていたこの分野において、手軽に高品質 な歌詞字幕映像の制作ができるばかりでなく、歌詞字幕の文字書体や文字レイア ウトを変更しても、歌唱時間情報は有効であり、演奏音との連動性を維持したま ま自動生成が可能で、様々な映像媒体における歌詞字幕の表示様式の多様化に対 応した、歌詞字幕映像が容易に制作でき、映像編集作業の合理化をはかることが できること、さらに歌いやすく、詩情も汲みとりやすい適切な文節単位で画面レ イアウトされた歌詞字幕の形成という第１の条件と、楽曲進行に連動して歌詞字 幕を歌いやすいタイミングで表示しながら、歌われている部分をなぞるように字 幕の表示色を滑らかに色替えしていく歌詞進行を促す字幕の色替え映像の製作に 際しての微妙な動きを実現できるという第２の条件とによる、歌唱楽曲における 歌詞字幕映像としての二つの必須条件を満足させることができる。

【図面の簡単な説明】

【図１】本考案の第１実施例を示した歌詞字幕映像一括
自動生成装置のブロック図、および編集画面の一例図。

【図２】本考案の第２実施例を示した歌詞字幕映像一括
自動生成装置のブロック図。

【図３】本考案の第３実施例を示した歌詞字幕映像一括
自動生成装置のブロック図。

【図４】本考案において用いられる映像出力装置の一例
を示すブロック図。

【図５】本考案において用いられるスーパーインポーズ
機能付き映像出力装置の一例を示すブロック図。

【符号の説明】

１ 表示装置 ２ 入力装置 ３ 記憶装置 ４ 映像出力装置 ５ 処理装置 ６ タイマ装置 ７ メトロノーム音発生装置 ８ ＭＩＤＩキーボード ９ 音声再生装置 １０ 歌詞データの字幕画像 １１ 合成編集画像 １２ １番の歌詞 １３ ２番の歌詞 １４ ３番の歌詞

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁵ 識別記号 庁内整理番号 ＦＩ 技術表示箇所 Ｈ０４Ｎ 5/782 Ａ 7916−5Ｃ 5/91 Ｎ 4227−5Ｃ

Claims (3)

【実用新案登録請求の範囲】
1. 【請求項１】 歌詞楽曲における歌詞字幕映像として、
   楽曲進行に連動した歌詞字幕の表示と、歌唱進行を促す
   ための歌詞字幕の滑らかな色替え等の処理が施された映
   像の生成装置であって、 歌詞データの字幕画像及び、歌詞データと楽譜データと
   の合成編集画像を表示するための表示装置と、データ入
   力及び操作入力のための入力装置と、曲単位の楽譜デー
   タ、歌詞データの保存及び、字幕文字フォントを格納す
   るための記憶装置と、前記歌詞データの字幕画像を映像
   信号として出力するための映像出力装置と、前記入力装
   置からの操作指令に応じて歌詞データの字幕編集処理・
   楽譜合成編集処理・字幕画像の生成処理を行うための処
   理装置と、歌詞字幕画像の生成処理をリアルタイム管理
   するためのタイマ装置とからなる、歌詞字幕映像の一括
   自動生成装置。
2. 【請求項２】 請求項１に記載の装置において、歌詞字
   幕画像の生成処理をリアルタイム管理するためのタイマ
   装置には、これに連動するメトロノーム音発生装置を備
   えてなることを特徴とした歌詞字幕映像の一括自動生成
   装置。
3. 【請求項３】 請求項１に記載の装置において、歌詞字
   幕画像の生成処理をリアルタイム管理するためのタイマ
   装置に代えて、演奏音と共にタイムコードを記録した録
   音媒体の音声再生装置を用い、かつＭＩＤＩキーボード
   を備えてなることを特徴とした歌詞字幕映像の一括自動
   生成装置。