JPH11341350A - マルチメディア情報編集および再生装置、マルチメディア情報再生プログラムを記録した記録媒体ならびにシーケンス情報を記録した記録媒体 - Google Patents

マルチメディア情報編集および再生装置、マルチメディア情報再生プログラムを記録した記録媒体ならびにシーケンス情報を記録した記録媒体

Info

Publication number
JPH11341350A
JPH11341350A JP14692298A JP14692298A JPH11341350A JP H11341350 A JPH11341350 A JP H11341350A JP 14692298 A JP14692298 A JP 14692298A JP 14692298 A JP14692298 A JP 14692298A JP H11341350 A JPH11341350 A JP H11341350A
Authority
JP
Japan
Prior art keywords
information
music
image
event
progress
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP14692298A
Other languages
English (en)
Inventor
Yasushi Kurakake
掛 靖 鞍
Toshiyuki Ito
藤 俊 之 伊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yamaha Corp
Original Assignee
Yamaha Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yamaha Corp filed Critical Yamaha Corp
Priority to JP14692298A priority Critical patent/JPH11341350A/ja
Priority to US09/316,807 priority patent/US6078005A/en
Publication of JPH11341350A publication Critical patent/JPH11341350A/ja
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/034—Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/102—Programmed access in sequence to addressed parts of tracks of operating record carriers
    • G11B27/105—Programmed access in sequence to addressed parts of tracks of operating record carriers of operating discs
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/34—Indicating arrangements 

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Electrophonic Musical Instruments (AREA)
  • Processing Or Creating Images (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Studio Circuits (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

(57)【要約】 【課題】 楽曲の流れに沿った形式で画像進行のシーケ
ンス情報を作成記録する。 【解決手段】 シーケンス情報領域２１には、演奏すべ
き楽曲を表示するソング領域、該楽曲の演奏の進行に沿
って表示するピクチャー、エフェクト、改シーン情報を
アイコンで表示するピクチャー領域および表示するテキ
ストデータを表示するテキスト領域が設けられている。
イベント領域から各シーンに表示させたいピクチャーを
選択し、楽曲を選択するソング選択メニュー２２により
演奏する楽曲を選択し、予めエフェクトや改シーンが設
定されているシナリオをシナリオ選択メニューボタン２
４で選択することにより、容易に画像進行情報を作成す
ることができる。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、楽曲の演奏ととも
に、該楽曲の進行に対応して画像情報を再生することの
できるマルチメディア情報の編集および再生装置、マル
チメディア情報再生プログラムを記録した記録媒体なら
びに演奏される楽曲の進行に対応して画像情報を再生す
るためのシーケンス情報を記録した記録媒体に関する。
【０００２】
【従来の技術】従来より、パーソナルコンピュータなど
において、画像情報と楽音情報とを対応させて再生させ
ることは知られている。その一例として、ユーザー自身
が撮影した写真などをもとに、パソコン上でイラストや
文字、サウンドなどを組み合わせたオリジナルのデジタ
ル写真アルバムを作成するソフトウエアがある。このよ
うなソフトウエアによれば、ユーザ自身が撮影した写真
などをもとに、パーソナルコンピュータ上で、イラスト
や文字、サウンドなどを組合せて、スライドのように順
番に写真を再生することができる。そして、所望の１ま
たは複数の写真に対して所望のＢＧＭを付加することが
でき、また、アルバムのページをめくるときに、ワイ
プ、フェードイン、フェードアウトなどの画面効果を付
加してページめくりを行う等の画面効果を施すことがで
きるようになされている。
【０００３】
【発明が解決しようとする課題】上述した従来技術にお
いては、画像の再生がメインであり、ビデオクリップの
ような、楽曲の進行に沿った画像進行のシーケンス情報
を容易に作成することができなかった。また、上述した
ソフトウエアにおいては、複数用意された表示画面の背
景や写真の切り換え時の画面効果（フェードイン、フェ
ードアウト）を、適当に並べて画像進行情報を作成して
いた。したがって、一連の写真あるいは効果の流れが効
果的なものとなるように画像進行情報を作成することは
初心者には困難なものがあった。さらに、画像進行情報
の編集時に、編集したい写真毎あるいは効果毎に差替え
や消去等の編集作業を行う必要があり、編集作業が煩わ
しいものとなっていた。
【０００４】そこで本発明は、このような不都合をなく
し、楽曲の進行をメインとし、楽曲の進行に沿った画像
進行のシーケンス情報を容易に作成することが可能なマ
ルチメディア情報の編集および再生装置、マルチメディ
ア情報再生プログラムを記録した記録媒体を提供するこ
とを目的としている。また、当該楽曲の進行に対応して
再生される画像情報および効果を容易に編集することの
できるマルチメディア情報の編集および再生装置、マル
チメディア情報再生プログラムを記録した記録媒体を提
供することを目的としている。さらに、演奏される楽曲
の進行に沿った形式で画像を再生することのできる新規
なデータ構造を有するシーケンス情報が記録された記録
媒体を提供することを目的としている。
【０００５】
【課題を解決するための手段】上記目的を達成するため
に、本発明のマルチメディア情報編集装置は、演奏すべ
き楽曲に対応する楽曲情報と、その楽曲の進行に対応し
て再生される画像に関するイベントを規定する画像進行
情報と、前記画像進行情報により規定されるイベントに
対応するイベント情報とを有するシーケンス情報を作成
編集することのできるマルチメディア情報の編集装置で
あって、所定の画像進行設定情報を記録したシナリオ情
報を有し、当該楽曲データに、前記シナリオ情報を選択
して割り当てることにより、各シーンに対応するエフェ
クトおよび改シーン情報等を一括して割り当てることが
できるようになされているものである。また、前記楽曲
情報を差し換えることができるようになされているもの
である。
【０００６】さらに、本発明のマルチメディア情報再生
装置は、演奏すべき楽曲に対応する楽曲情報と、その楽
曲の進行に対応して再生される画像に関するイベントを
規定する画像進行情報と、前記画像進行情報により規定
されたイベントに対応するイベント情報とを有するシー
ケンス情報に基づいて、前記楽曲の演奏とともに、該楽
曲の進行に対応して画像情報を再生するマルチメディア
情報再生装置であって、前記楽曲の演奏処理を実行する
第１の手段と、前記画像進行情報および前記イベント情
報に基づいて画像情報を生成する第２の手段と、前記第
２の手段により生成された画像情報を表示する第３の手
段とを有するものである。
【０００７】さらにまた、本発明のマルチメディア情報
再生プログラムを記録した記録媒体は、コンピュータ
に、演奏すべき楽曲に対応する楽曲情報と、その楽曲の
進行に対応して再生される画像に関するイベントを規定
する画像進行情報と、前記画像進行情報により規定され
るイベントに対応するイベント情報とを有するシーケン
ス情報に基づいて、前記楽曲の演奏とともに、該楽曲の
進行に対応して画像情報を再生させるためのプログラム
を記録した記録媒体であって、前記プログラムは、前記
コンピュータに、前記楽曲の演奏処理を実行させる第１
の機能と、前記画像進行情報および前記イベント情報に
基づいて画像情報を生成させる第２の機能と、前記第２
の機能により生成された画像情報を表示させる第３の機
能とを実行させるものである。
【０００８】さらにまた、本発明のシーケンス情報を記
録した記録媒体は、楽曲の演奏とともに、該楽曲の進行
に対応して画像情報を再生させるためのシーケンス情報
を記録した記録媒体であって、前記シーケンス情報は、
演奏すべき楽曲に対応する楽曲情報と、その楽曲の進行
に対応して再生される画像に関するイベントを規定する
画像進行情報と、該画像進行情報により規定されるイベ
ントに対応するイベント情報とを有し、前記画像進行情
報は、前記画像に関するイベントの発生するタイミング
を指定するイベントタイミングデータと前記イベント情
報中に含まれている当該イベントに対応するデータを指
定するためのイベント関連情報とが前記タイミング順に
配列された情報であり、前記イベント情報は、前記各イ
ベントに用いられるデータあるいは前記各イベントに用
いられるデータを指定するデータとされているものであ
る。
【０００９】
【発明の実施の形態】以下、図面を参照して本発明のマ
ルチメディア情報編集および再生装置、マルチメディア
情報再生プログラムを記録した記録媒体ならびに演奏さ
れる楽曲の進行に対応して画像情報を再生するためのシ
ーケンス情報について詳細に説明する。なお、本発明の
マルチメディア情報編集および再生装置は、専用の処理
装置として実現すること、あるいは、汎用のパーソナル
コンピュータとその上で動作するマルチメディア情報の
編集および再生プログラムを用いて実現することのいず
れも可能であるが、ここでは、汎用のパーソナルコンピ
ュータとその上で動作するマルチメディア情報編集およ
び再生プログラムにより実現するものとして説明する。
【００１０】図１は、本発明のマルチメディア情報の編
集および再生装置の一実施の形態のハードウエア構成の
一例を示すブロック図である。この図において、１はこ
のマルチメディア情報の編集および再生装置全体の制御
を行うＣＰＵ、２はＣＰＵ１が実行する制御プログラム
および各種の制御情報を記憶するＲＯＭ、３はプログラ
ムや各種制御情報、後述する各種のデータの記憶および
一時記憶領域（バッファ）として使用されるＲＡＭ、４
は時刻を指示するとともにタイマ割込処理などのタイミ
ングを前記ＣＰＵ１に指示するタイマである。なお、本
発明に係るマルチメディア情報の編集および再生プログ
ラムは、前記ＲＯＭ２あるいは前記ＲＡＭ３のいずれに
記憶するようにしてもよい。ＲＡＭ３に記憶する場合
は、後述する外部記憶装置１１から当該プログラムを読
み出してＲＡＭ３に格納するか、あるいは、後述する通
信インターフェース１６を介して通信ネットワーク１７
に接続されたサーバコンピュータなどから当該プログラ
ムを一旦ハードディスク装置などに取得した後、前記Ｒ
ＡＭ３に格納することとなる。
【００１１】また、５はテキストデータやファンクショ
ンデータなどを入力するためのキーボード、６は該キー
ボード５を接続するための検出回路、７はマウスなどの
ポインティングデバイス、８は該ポインティングデバイ
ス７を接続するための検出回路、９はディスプレイ装
置、１０は該ディスプレイ装置９への画像の表示を制御
するための表示回路である。さらに、１１は外部記憶装
置であり、ハードディスク装置、ＣＤ−ＲＯＭ、ＦＤ、
ＭＯ、ＤＶＤ、ＺＩＰ、ｊａｚなど各種外部記憶媒体が
接続される。また、１２は音源装置１４と接続するため
の入出力インターフェース回路、１３はＭＩＤＩ機器、
１４は音源装置、１５は前記音源装置１４に接続された
サウンドシステムである。さらに、１６は通信ネットワ
ーク１７と接続するための通信インターフェース回路、
１７は、電話回線、インターネット、ＬＡＮなどの通信
ネットワークである。
【００１２】本発明のマルチメディア情報編集および再
生プログラムについて説明する前に、まず、マルチメデ
ィア情報編集および再生プログラムの実行時に前記ＲＡ
Ｍ３に保持される各種のデータについて図２を参照して
説明する。図２の（ａ）はエフェクト情報であり、画像
再生時の背景効果として使用される画像（動画）情報
が、例えばＡＶＩ（Audio-Video Interleave）等の通常
の動画フォーマットで格納されている。このエフェクト
情報には、ピクチャー用のエフェクトとテキスト用のエ
フェクトとがあり、例えば、雪が降る様子のエフェクト
など、各種のエフェクト情報が前記ＲＡＭ３中の所定領
域に予め複数種類格納されている。
【００１３】図２の（ｂ）は改シーン情報であり、２つ
のシーンを効果的に接続するために、シーンのつなぎ位
置で使用される動画情報である。この改シーン情報は、
例えば、前のシーンから後ろのシーンにフェードインさ
せたり、本の頁をめくるようにして次のシーンに移らせ
る等の効果を付与するための情報である。この改シーン
情報も、前記ＲＡＭ３中の所定領域に予め複数種類格納
されている。
【００１４】図２の（ｃ）はピクチャー情報であり、各
シーンにおけるメインの画像情報である。このピクチャ
ー情報は、動画、静止画のいずれでもよく、ＧＩＦ、Ｊ
ＰＥＧ、ＡＶＩ等の汎用のフォーマットで、前記ＲＡＭ
３中の所定の領域に予め複数種類格納されている。ま
た、ユーザが、新規なピクチャー情報を当該所定領域に
追加記録することもできる。
【００１５】図２の（ｄ）は楽曲データであり、例え
ば、ＳＭＦ（Standard MIDI File）に準拠して作成され
た楽曲データである。この楽曲データも、前記ＲＡＭ３
内の所定領域に予め複数種類格納されており、また、ユ
ーザが任意に追加記録することが可能となっている。
【００１６】図２の（ｅ）はシナリオ情報であり、この
シナリオ情報は画像の進行を設定する情報である。図示
するように、１つのシナリオ情報は、シナリオナンバ、
タイトル情報および進行情報の３種類の情報により構成
されている。シナリオナンバはシナリオの種類毎に付与
されている識別番号であり、タイトル情報は画像の再生
開始時のタイトル画像に関する画像進行情報が含まれて
いる。また、進行情報は、ピクチャー用エフェクト、改
シーン情報、テキスト、テキスト用エフェクトの出現パ
ターンおよびシーン区切り位置を表わす情報から構成さ
れており、各シーン毎の画像進行情報が順次格納されて
いる。なお、この進行情報には、時間を指示するデータ
は含まれていない。
【００１７】前記シナリオ情報は、例えば、ビデオクリ
ップ（ポップス、テクノ等）やムービー（８ｍｍ、劇場
等）など複数の種類のものが予め前記ＲＡＭ３中に準備
される。例えば、８ｍｍムービー用のシナリオ情報を例
にとれば、そのタイトル情報には、「３」、「２」、
「１」と順に番号が表示される画像進行情報が含まれて
おり、各シーン毎の画像進行情報も実際の８ｍｍムービ
ーに類似したエフェクトが付加されるようになされてい
る。このように、代表的なシナリオ情報が予め準備され
ていることにより、ユーザはシナリオ情報を選択するだ
けで、該選択したシナリオ情報に基づく効果的な画像進
行情報を容易に作成することが可能となる。例えば、ユ
ーザは、後述するように演奏する楽曲を選択し、シーン
の分割および各シーンにおいて表示したい画像データを
決定した後に、前記シナリオ情報を選択することで、前
記タイトル画面および各シーンに効果的なエフェクトお
よび改シーン情報を自動的に設定することが可能とな
る。
【００１８】次に、図３を参照して、本発明のマルチメ
ディア情報編集および再生プログラムを用いて作成ある
いは編集されるマルチメディア情報を再生するためのシ
ーケンス情報について説明する。図３の（ａ）は一つの
シーケンス情報の全体構造を示す図であり、図示するよ
うに、各シーケンス情報は、このシーケンス情報を識別
するためのシーケンスナンバ、このシーケンス情報で用
いられる楽曲に対応する楽曲情報、前記楽曲の演奏に沿
って発生される各種画像イベントに関する情報が発生タ
イミング順に格納されている画像進行情報、前記各種画
像イベントに関するイベント情報およびこのシーケンス
情報の終了を示すエンドデータとから構成されている。
なお、この実施の形態においては、前記シーケンス情報
を識別するための情報としてシーケンスナンバを用いて
いるが、当該シーケンス情報の名称など他の情報を用い
てもよい。また、当該楽曲に対応する前記楽曲情報とし
ては、当該楽曲データ（楽曲シーケンスデータ）を指定
するための楽曲指定データ、当該楽曲データそのものな
どを用いることができる。なお、この実施の形態では、
楽曲データを指定する楽曲指定データが用いられている
ものとする。
【００１９】図３の（ｂ）は、前記画像進行情報の内容
を示す図である。この図に示すように、画像進行情報
は、この情報ブロックが画像進行情報であることを示す
チャンクタイプデータおよびこの画像進行情報ブロック
の大きさを示すチャンクサイズデータがその先頭部分に
格納され、以下、各画像イベントについて、その発生す
るタイミングを指定するイベントタイミングデータと当
該画像イベントに関連する情報、すなわち、ピクチャー
関連情報、エフェクト関連情報、テキスト関連情報、改
シーン関連情報などの各種画像イベント関連情報（各種
関連情報）が、発生タイミング順に順次格納されたイベ
ントシーケンスデータとされている。ここで、本発明に
おいては、楽曲の進行が基本とされているため、前記イ
ベントタイミングデータは楽曲の進行に対応するタイミ
ング情報、例えば、ＭＩＤＩクロックを単位としたデー
タとされている。また、演奏終了指示データは、画像表
示の終了時に、楽音情報の演奏を終了させることを指示
するためのデータである。
【００２０】前記ピクチャー関連情報、エフェクト関連
情報、テキスト関連情報、改シーン関連情報などの画像
イベント関連情報（各種関連情報）は、いずれも同一の
構造を有するデータとされており、図示するように、そ
の関連情報の種類（ピクチャー、エフェクト、テキスト
あるいは改シーン）を示す種類データ、該当シーンの時
間長を示す表示時間データ、再生する画像情報の再生時
間分解能を示す時間分解能データ、各画像あるいはテキ
ストの表示サイズや表示位置、フォント等の設定に関す
る設定情報、その画像イベントが静止画、動画あるいは
テキストのいずれであるのかを示すイベント種類情報、
および、前述した図３の（ａ）のイベント情報中に含ま
れている対応するイベント情報を指定するためのイベン
トナンバデータとからなっている。
【００２１】図３の（ｃ）は前記画像進行情報に後続す
るイベント情報の内容を示す図である。イベント情報
は、前記各種関連情報内に格納されているイベントナン
バに対応する画像情報の記録領域である。この図に示す
ように、イベント情報は、この情報ブロックがイベント
情報であることを示すチャンクタイプ、および、このイ
ベント情報ブロックの大きさを示すチャンクサイズがそ
の先頭部分に格納され、以下、各イベントのイベントナ
ンバと対応するイベントを指定するイベント指定データ
が格納されている。ここで、当該イベントがテキストで
あるときは、イベント指定データとしてそのテキストデ
ータそのものが記録され、イベントが静止画あるいは動
画であるときは、その画像データが記録されている記録
領域を示すデータ（イベント指定データ）が記録されて
いる。
【００２２】上述のようなデータ構造を有する本発明の
シーケンス情報によれば、画像イベントの発生タイミン
グを示すイベントタイミング情報が楽曲の進行に対応す
るタイミング情報とされているので、楽曲演奏の進行に
対応して画像情報を再生させることができる。また、画
像進行情報内にイベント指示データが直接書き込まれて
いないので、イベント指示データを用いた記録形式とイ
ベント指示データを用いない（画像情報を用いた）記録
形式とのデータの書き替えが、前記イベント情報領域を
書き換えるだけで容易に行うことができる。
【００２３】図４は、本発明のマルチメディア情報編集
および再生プログラムを前記図１に示したパーソナルコ
ンピュータ上で実行したときに、前記ディスプレイ装置
９に表示される初期画面の一例を示す図である。この図
において、２１はシーケンス情報（Sequence Info）表
示領域である。このシーケンス情報表示領域２１におい
て、横軸方向は時間軸であり、例えば、楽曲の小節位置
に対応する目盛りが付されている。そして、楽曲データ
を表示するソング領域（ＳＯＮＧ）、画像データを表示
するピクチャー領域（ＰＩＣＴＵＲＥ）、テキストデー
タを表示するテキスト領域（ＴＥＸＴ）の３つの領域が
並べて設けられている。このように、このシーケンス情
報表示領域２１は、シーケンス情報、すなわち、楽曲情
報により指定される楽曲データ、画像情報およびテキス
ト情報が組み合わされたマルチメディア情報を同一時間
軸上にまとめて表示する領域であり、ユーザは、このシ
ーケンス情報表示領域２１上で、新規なシーケンス情報
の作成及び既に作成されたシーケンス情報の編集を行う
こととなる。
【００２４】２２は演奏したい楽曲を選択するための楽
曲選択用のメニューボタンであり、このメニューボタン
２２をマウス等により選択することにより、プルダウン
メニュー方式により前述のように予め記憶されている楽
曲データを選択することができる。２３はシーケンス選
択用のメニューボタンであり、既に作成されているシー
ケンス情報を選択するためのものである。さらに、２４
は予め作成され準備されている前記シナリオ情報を選択
するためのシナリオ選択用のメニューボタンである。
【００２５】２５はプレイ領域であり、前記シーケンス
情報表示領域２１に現在表示されているシーケンス情報
を再生したときの画像情報を表示する領域である。２６
はイベント領域であり、シーケンス情報を編集するとき
に、選択可能なピクチャー、エフェクト、改シーンなど
の情報を選択するための領域である。図示するように、
このイベント領域２６は、例えば、タブダイアログ式の
メニューにより構成されており、ピクチャー、エフェク
トおよび改シーンと記載されたタブが設けられ、それぞ
れのタブが選択されたときにその選択されたイベントの
うちの選択可能なもののアイコンが表示される。図にお
いては、ピクチャーが選択された場合が示されており、
選択可能な１〜７のピクチャーを示すアイコンが表示さ
れている。ユーザは、編集あるいは作成しているシーケ
ンスのうちの所望のシーンに表示させたいピクチャーの
アイコンを選択して当該ピクチャー領域にドラッグする
ことにより、そのシーンに所望のピクチャーを割り当て
ることができる。
【００２６】２７〜３０は当該シーケンスの再生を制御
するための制御ボタンであり、２７は巻き戻し、２８は
通常速度による再生、２９は停止、３０は早送りのため
のボタンである。ユーザはマウス等のポインティングデ
バイスによりこの制御ボタン２７〜３０をクリックする
ことにより当該シーケンスの再生を制御することができ
る。
【００２７】図５は、本発明のマルチメディア情報編集
および再生プログラムにおいて、シーケンス情報を読み
出したとき、あるいは、シーケンス情報が作成されたと
きの前記表示画面の様子を説明するための図である。こ
の図に示すように、前記シーケンス領域２１におけるソ
ング領域には、選択された楽曲データが表示される。こ
こで、この楽曲データを選択し所定のメニューを選択す
ることあるいはこの楽曲データをダブルクリックするこ
とにより、当該楽曲データの編集ウインドウが開かれ、
通常のシーケンサソフトウエアの場合と同様に楽曲デー
タの編集が可能となる。
【００２８】また、ピクチャー領域およびテキスト領域
は図中に縦線で示すシーン区切り線でそれぞれのシーン
に区切られ、各シーンに対応するピクチャー情報やテキ
スト情報が表示されている。図示した例においては、タ
イトル画面におけるテキスト情報は当該シーケンス情報
の名称である「ハイキング」および主演者と作者の名前
となっている。また、第１番目のシーンのピクチャー領
域には「１」で示されるユーザにより選択されたピクチ
ャーのアイコン、その下に所定のエフェクトを示すアイ
コン、および、さらにその下に所定の改シーンを示すア
イコンが表示されている。また、そのテキスト領域に
は、日付やそのシーンを説明するためのキャプション、
および、テキストに対するエフェクト（例えば、表示色
の変化や表示のさせ方）を指示するアイコンが表示され
ている。さらに、第２番目のシーンのピクチャー領域に
は「２」で示されるピクチャーが選択されている。な
お、この第２番目のシーンには、ピクチャーに対するエ
フェクトおよび改シーン情報が設定されておらず、ま
た、テキストおよびテキストのエフェクトも設定されて
いない。さらにまた、第３番目のシーンには、「３」で
示されるピクチャーとそれに対する例えば背景のエフェ
クトのみが設定されており、そのことを示すアイコンが
表示されている。以下、後続する第４、第５、…のシー
ンにも、同様に、ピクチャー領域には、各シーンに対応
するピクチャー、設定エフェクトおよび設定改シーンが
アイコンで表示され、テキスト領域には、各シーンに表
示するテキスト情報およびそのテキストに対するエフェ
クトを示すアイコンが表示される。
【００２９】この図に示すように、作成あるいは編集中
のシーケンス情報を表示しているときに、ユーザが、前
記楽曲選択用のメニューボタン２２を用いて別の楽曲を
選択することにより、表示する画像シーケンスはそのま
まに演奏させる楽曲のみを変更することができる。ま
た、前記シナリオ選択用のメニューボタン２４を用いて
新たなシナリオを選択することにより、演奏すべき楽曲
および各シーンにおいて表示する画像情報はそのまま
に、エフェクトおよび改シーンをそっくり変更すること
ができる。
【００３０】また、ユーザは、前記イベント領域に表示
される各種のピクチャー、エフェクトおよび改シーンの
アイコンの中から、所望のものを前記シーケンス情報領
域の所望のシーンの領域にドラッグすることにより、所
望のシーケンス情報を作成することができる。また、既
に作成されているシーケンス情報を編集するときには、
前記シーケンス情報領域に表示されているピクチャーや
エフェクト情報などを選択し、図示しない編集メニュー
を用いて削除したり、コピーしたりすることにより、シ
ーケンス情報の編集を実行することができる。また、前
記制御ボタン２７〜３０を操作することにおり、作成あ
るいは編集中のシーケンス情報を適宜再生し、作業内容
を確認しながら作業を行なうことができる。
【００３１】次に、この実施の形態のマルチメディア情
報編集および再生装置の動作フローチャートについて説
明する。図６は、このマルチメディア情報編集および再
生装置におけるメイン処理のフローチャートである。な
お、このマルチメディア情報編集および再生装置は、図
６に示したメイン処理と、後述する３種類の割込処理に
より動作するように構成されている。作成あるいは編集
されたシーケンス情報を再生する動作は、前記３種類の
割込処理により実行されることととなる。
【００３２】図６のメイン処理の実行が開始されると、
先ず、ステップＳ１の初期設定処理が実行され、前記初
期画面の表示処理、各種フラグや各種データ領域の初期
設定処理が実行される。次に、ステップＳ２に進み、ラ
ン（ＲＵＮ）フラグが「１」であるか否かが判定され
る。ここで、ＲＵＮフラグはシーケンス情報に基づく楽
曲および画像の再生が実行されているか否かを示すフラ
グであり、再生が実行されているときに「１」、再生が
実行されていないときは「０」とされる。ここで、ＲＵ
Ｎフラグが「０」のときには、ステップＳ３の編集処理
が実行される。この編集処理において、ユーザはシーケ
ンス情報の作成あるいは編集を実行することができる。
この編集処理の詳細については、図７を参照して後述す
る。
【００３３】また、シーケンス情報に基づく楽曲及び画
像の再生処理が実行されており、ＲＵＮフラグが「１」
のとき、あるいは前記編集処理が終了したときは、ステ
ップＳ４に進み、再生開始が指示されたか否かが判定さ
れる。この再生の開始は、図示しないメニューからの指
示あるいは前記再生ボタン２８を操作することにより行
なわれる。再生開始が指示されたときは、ステップＳ５
に進み、再生初期設定処理が実行される。この再生初期
設定処理においては、当該楽曲データおよび画像情報の
再生に使用されるフラグやレジスタ、バッファ領域など
の初期化処理などが実行される。また、再生されるシー
ケンス情報内の画像進行情報の先頭から所定量分の進行
情報が読み出され、該読み出した進行情報を解釈した結
果を前記ＲＡＭ３中に確保された一時記録領域に記録す
る。そして、ステップＳ６に進み、前記ＲＵＮフラグを
「１」にセットし、画像再生のための前記一時記録領域
における読出位置をセットする。
【００３４】前記ステップＳ６の処理が終了したのち、
あるいは、前記ステップＳ４の判定結果がＮＯのとき
は、ステップＳ７に進み、再生終了が指示されたか否か
を判定する。この再生終了は、図示しないメニューによ
る再生終了指示か、あるいは、前記再生終了ボタン２９
の操作により指示される。そして、この判定の結果がＹ
ＥＳの時は、ステップＳ８に進み、ＲＵＮフラグを
「０」にセットするとともに、楽音の消音処理および画
像表示の終了処理を実行する。
【００３５】前記ステップＳ７の判定結果がＮＯのと
き、あるいは、前記ステップＳ８が終了した後は、ステ
ップＳ９に進み、前記早送りボタン３０あるいは前記巻
き戻しボタン２７の操作に対応する処理などその他の処
理が実行される。この早送りあるいは巻き戻し処理は、
前記シーン毎に順方向あるいは逆方向に再生処理を実行
することにより実現することができる。そして、次に、
ステップＳ１０に進み、このマルチメディア情報編集お
よび再生処理の終了が指示されたか否かを判定し、該判
定結果がＹＥＳのときは、このメイン処理を終了する。
また、ステップＳ１０の判定結果がＮＯの時は、前記ス
テップＳ２に戻り、前記ステップＳ２〜ステップＳ１０
を繰り返し実行する。
【００３６】図７は、前記ステップＳ３の編集処理にお
ける動作を示すフローチャートである。この編集処理が
開始されると、まず、ステップＳ１１において、シーケ
ンス情報の新規作成であるのかあるいは既存のシーケン
ス情報の編集であるのかが判定される。ここで、前記図
４のメニューボタン２２等によりユーザが新規に楽曲を
選択した場合などには、新規作成であると判定され、ス
テップＳ１２に進み楽曲データの選択が行なわれる。こ
のように、本発明のシーケンス情報は、楽曲データに対
応させて画像に関する情報を割り当てることにより作成
されるため、新規にシーケンス情報を作成する場合に
は、ステップＳ１２において、まず、楽曲データの選択
が行なわれる。
【００３７】一方、前記図４のシーケンス選択用のメニ
ューボタン２３等によりユーザが既に作成されているシ
ーケンス情報を選択した場合など、新規作成ではなく既
存のシーケンス情報の編集のときには、ステップＳ１３
に進み、編集の対象となるシーケンス情報が選択されて
読み出される。ステップＳ１２あるいはＳ１３が終了す
ると、ステップＳ１４に進み、表示処理が実行される。
これにより、前記ステップＳ１２が実行された場合に
は、前記図４に示した初期画面において前記ソング領域
に選択された楽曲データが表示され、ステップＳ１３が
実行されたときには、前記図５に示した表示画面が表示
されることとなる。
【００３８】そして、ステップＳ１５に進み、シナリオ
の選択操作が行なわれたか否かが判定される。このシナ
リオの選択操作は、前記シナリオ選択用のメニューボタ
ン２４の操作により行なわれ、前記ポインティングデバ
イスを用いて、このメニューボタン２４を選択してクリ
ックすることにより予め前記ＲＡＭ３に格納されている
シナリオ情報（前記図２（ｅ））が例えばプルダウンメ
ニュー方式で表示され、所望のシナリオ情報を選択する
ことにより実行される。
【００３９】シナリオ選択操作が行われたときはステッ
プＳ１６に進み、前記シナリオの選択がシナリオの差換
え指示のためのものであるのかあるいは新規シーケンス
情報の作成時におけるシナリオ選択操作であるのかが判
定される。シーケンス情報に対して既にシナリオが設定
されているときには、このシナリオ選択がシナリオの差
換え指示であると判定され、ステップＳ１７に進む。ス
テップＳ１７では、選択されたシナリオ情報に基づい
て、現在編集中のシーケンス情報内の画像進行情報が書
き換えられる。すなわち、当該画像進行情報内のタイト
ル、エフェクトおよび改シーン関連情報が、選択された
シナリオ情報に相当する情報に一括して書き換えられ
る。なお、このとき、選択されている楽曲データおよび
各シーンに配置されているピクチャーが変更されること
はない。また、シナリオ差換え時に、画像進行情報内に
エフェクトおよび改シーン関連情報が含まれていない場
合には、書き換えは行なわれない。このようにして、一
括してタイトル、エフェクトおよび改シーン関連情報の
変更が可能となる。例えば、設定されていたシナリオ情
報をポップスからジャズに変更することにより、それに
対応してタイトル情報、各種エフェクトおよび改シーン
情報が一括して変更され、全く異なる雰囲気の画像を表
示させることが可能となる。
【００４０】一方、新規シーケンス情報作成時などシナ
リオ情報が設定されていないときに前記シナリオ選択が
実行されたときは、前記ステップＳ１６の判定結果がＮ
Ｏとなり、ステップＳ１８が実行される。このステップ
Ｓ１８では、選択されたシナリオ情報に基づいて、作成
中のシーケンス情報内に画像進行情報が作成される。す
なわち、選択されたシナリオ情報に含まれている進行情
報に基づいて、タイトル、エフェクトおよび改シーン関
連情報に係る画像進行情報が自動的に作成される。な
お、このときすでにピクチャーが配置されている場合に
は、該ピクチャーの配置はそのまま維持される。
【００４１】前記ステップＳ１５の判定結果がＮＯのと
き、あるいは、前記ステップＳ１７またはステップＳ１
８が実行された後、ステップＳ１９が実行される。ステ
ップＳ１９では、楽曲の差換えが行なわれたか否かが判
定される。この楽曲の差換えは、前記楽曲選択用メニュ
ーボタン２２をポインティングデバイスで操作すること
により指示される。前記楽曲選択用メニューボタン２２
が操作され、現在選択されている楽曲とは異なる楽曲が
選択されたときは、このステップＳ１９の判定結果がＹ
ＥＳとなり、ステップＳ２０において、シーケンス情報
内の楽曲情報の書き換えが実行される。なお、このと
き、シーケンス情報内の他の情報はなんら変更されるこ
とはない。これにより、演奏する楽曲情報のみを簡単に
変更することが可能となる。
【００４２】前記ステップＳ２０の処理が終了した後、
あるいは、前記ステップＳ１９の判定結果がＮＯのとき
は、ステップＳ２１に進み、情報の記録が指示されたか
否かが判定される。この情報の記録の指示は、前記図５
に示した表示画面上で、ユーザにより各種情報の編集処
理が実行されたか否かを判定する処理であり、ユーザに
より、前記シーケンス情報領域に対し何らかの編集処
理、例えば、前記イベント領域２６から所望のピクチャ
ーやエフェクトあるいは改シーンのアイコンが選択さ
れ、前記ピクチャー領域あるいはテキスト領域にドラッ
グするなどの処理が実行されたときにこの判定結果がＹ
ＥＳとなる。そして、このときにはステップＳ２２に進
み、シーケンス情報表示領域２１内に対応するシーケン
ス情報を記録する。
【００４３】前記ステップＳ２２の処理が終了した後、
あるいは、前記ステップＳ２１の判定結果がＮＯのとき
は、ステップＳ２３に進み、その他の編集処理を行な
う。このその他の編集処理としては、例えばシーンや改
シーンの試し再生処理、テキスト領域へのテキストの記
入処理などである。例えば、所望のシーンのテキスト領
域をユーザがダブルクリックすると、テキスト入力画面
が表示され、ユーザは所望のテキストデータをそのテキ
スト領域に記入することができる。また、編集あるいは
作成したシーケンス情報の保存処理なども行われる。以
上のようにして、ユーザは、容易にシーケンス情報を作
成あるいは編集することができる。
【００４４】次に、上述のようにして作成あるいは編集
されたシーケンス情報の再生処理について説明する。前
述したように、このシーケンス情報の再生処理は３種類
の割込処理により実行される。図８の（ａ）は、第１の
割込処理（割込処理１）の動作を示すフローチャートで
ある。この割込処理１は再生されているシーケンス情報
内の楽曲情報により指定される楽曲データを再生する処
理であり、例えば４分音符長間に２４回発生されるクロ
ックパルスのクロックタイミング毎に実行されるように
なされている。前記クロックパルスが発生されるとこの
割込処理１（演奏割込処理）が開始され、まず、ステッ
プＳ３１においてＲＵＮフラグが「１」にセットされて
いるか否かが判定される。そして、ＲＵＮフラグが
「０」のときはシーケンス情報が再生されていない非演
奏状態であるため、なにも実行することなく、この割込
処理１を終了する。
【００４５】また、ＲＵＮフラグが「１」にセットされ
ているときは、ステップＳ３２に進み、前記楽曲データ
（図２（ｄ））を参照し、当該楽曲データに含まれてい
るＭＩＤＩデータに関するイベントを実行すべきタイミ
ングとなったか否かを判定する。この判定の結果、イベ
ントタイミングに達していないときは、この割込処理１
を終了する。また、イベントタイミングに達していると
きは、ステップＳ３３に進み、その楽曲イベント処理を
実行する。この処理は、通常の楽音発生装置における処
理と同様であり、例えば、当該ＭＩＤＩイベントに対応
する音源制御パラメータを生成して、前記音源１３に出
力する処理である。
【００４６】図８の（ｂ）は、前記再生されているシー
ケンス情報内に含まれている画像進行情報を先読みし
て、表示すべき画像データを作成する第２の割込処理
（割込処理２）のフローチャートである。この割込処理
２（先読み割込処理）は、前記割込処理１よりも短い時
間間隔、例えば、４分音符長間に７２回実行される。こ
の割込処理２が起動されると、まず、ステップＳ４１に
おいて、ＲＵＮフラグが「１」であるか否かが判定さ
れ、ＲＵＮフラグが「０」のときには、そのままこの割
込処理２は終了される。また、ＲＵＮフラグが「１」の
ときは、ステップＳ４２に進み、先読み処理が可能であ
るか否かが判定される。例えば、前記一時記憶領域とし
て割り当てられている領域に空き領域がないなどの理由
により、先読み処理が実行できないときは、この判定結
果がＮＯとなり、この割込処理２は終了される。
【００４７】また、前記ステップＳ４２の判定結果がＹ
ＥＳのときは、ステップＳ４３に進み、再生されるシー
ケンス情報中の画像進行情報を１シーン分だけ先読みす
る。前記図３に関して説明したように、画像進行情報中
には、各画像イベントの発生タイミングを示すイベント
タイミングデータとそれに対応する画像イベント関連情
報、すなわち、ピクチャー関連情報、エフェクト関連情
報、テキスト関連情報、改シーン関連情報とが組になっ
て格納されており、同一のイベントタイミングデータを
有する画像イベント関連情報が１シーン分の画像進行情
報として読み出され、該先読みした１シーン分の画像関
連情報に含まれているイベントナンバに基づいて、前記
シーケンス情報中のイベント情報を参照し、イベント指
定データに基づいて対応するイベントデータも読み出
す。
【００４８】次に、ステップＳ４４に進み、該読み出し
た情報圧縮されたピクチャーデータなどのデータを解凍
したのち、前記画像関連情報における表示時間データ、
時間分解能データおよび設定情報を参照して、当該表示
時間長に相当する時間分解能毎の画像情報、すなわち、
先読みした１シーン分のピクチャー、エフェクト、テキ
ストおよび改シーンに対応する各画像の対応する時間分
解能毎の合成画像情報を作成する。そして続くステップ
Ｓ４５に進み、該作成した情報を前記一時記憶領域にイ
ベント順に記録する。ここで、前記イベント指定データ
の指示する記録領域に画像情報が記録されていないとき
は、そのイベント指定データが始めからなかったものと
して扱う。たとえば、エフェクトとピクチャーが指示さ
れていて、エフェクトの情報が記録されていなかったと
きは、ピクチャーのみに基づく情報を作成する。あるい
は、指定された画像情報と類似する画像情報を使用する
ようにしてもよい。また、前記画像進行情報中に含まれ
ているイベントタイミングデータと前記画像関連情報中
の時間分解能データに基づいて、前記合成した画像情報
を再生するタイミングに関する時間情報を作成して、前
記一次記憶領域に格納する。すなわち、前記一時記憶領
域には、１シーン毎の後述する割込処理３の割込タイミ
ングを示す時間データと、それに続けて、タイミングデ
ータ＋イベント（合成画像）データという形式での画像
再生シーケンスデータが記憶されることとなる。
【００４９】図８の（ｃ）は、前記割込処理２によりＲ
ＡＭ３中の一時記録領域内に作成記録された画像情報
（画像再生シーケンスデータ）を読み出して再生を行な
う第３の割込処理（割込処理３）の動作を示すフローチ
ャートである。この割込処理３（画像割込処理）は、前
記画像進行情報で設定されていた時間分解能に基づく周
期で実行される。これにより、再生される画像が静止画
であるか動画であるかに応じて、実行周期が変更され、
動作処理の迅速化を図ることが可能となる。
【００５０】前記当該時間分解能に基づく周期のタイマ
割込が発生すると、この割込処理３が開始され、まず、
ステップＳ５１において、前記ＲＵＮフラグが「１」で
あるか否かが判定される。そして、ＲＵＮフラグが
「０」のときは、この割込処理３を終了する。また、Ｒ
ＵＮフラグが「１」のときは、ステップＳ５２に進み、
前記一次記憶領域からデータを読み出す。そして、この
読み出したデータが前記時間データであるか否かを判定
し（ステップＳ５３）、時間データであるときは、ステ
ップＳ５４に進み、該時間データを前記タイマ４にこの
第３の割込を発生させるために設定する。これにより、
シーンの変わり位置に記憶されている時間データに基づ
き、割込処理３の割込タイミングが変更されることとな
る。そして、再び、前記一次記憶領域からデータを読み
出す。一方、前記ステップＳ５４の判定結果がＮＯのと
きは、ステップＳ５５に進み、一時記録領域内に今回の
割り込みタイミングに対応するイベント（表示すべき合
成画像情報）が記録されているか否かを判定する。そし
て、対応するイベントがないときには、この割込処理３
を終了する。また、対応するイベントがあるときは、ス
テップＳ５６に進み、前記一時記憶領域に記憶されてい
る当該画像情報を表示回路に出力し、画像イベント処理
を実行する。そして、ステップＳ５７に進み、処理済み
の情報を前記一時記憶領域から削除して、この割込処理
３を終了する。なお、前記ステップＳ５５におけるイベ
ントが演奏終了指示データであるときは、ステップＳ５
６において、ＲＵＮフラグを「０」にするとともに、楽
音信号の消音処理および表示終了処理が実行されること
となる。
【００５１】なお、上述においては、前記割込処理２
（先読み割込処理）の割込タイミングをＭＩＤＩクロッ
クに関連するタイミングとしていたが、これに限られる
ことはなく、この割込タイミングは任意のタイミングと
することができる。また、シーケンス情報再生開始指示
時あるいはシーケンス情報のオープン時に前記先読み割
込処理を当該画像進行情報全体について実行し、再生動
作を開始する前に、すべての合成画像データ（画像再生
シーケンスデータ）を一時記憶領域に格納するようにし
てよい。これにより、ＣＰＵの処理能力が不足するよう
な場合であっても、安定した再生が可能となる。また、
上記画像イベント処理周期（割込処理３の処理周期）を
楽曲イベント処理周期（ＭＩＤＩクロックタイミング）
として、上記割込処理１と上記割込処理３とを同一の割
込処理において実行するようにしてもよい。
【００５２】さらに、上記実施の形態においては、前記
図５に示したように、１シーン内に１つのピクチャーお
よびエフェクトを割り当てるようにしたが、これに限ら
れることなく、２つ以上のピクチャーやエフェクトを割
り当てることができるようにしてもよい。さらにまた、
上述においては、前記エフェクト、改シーン情報および
ピクチャー情報は圧縮された形式のものとしたが、これ
に限られることはない。また、前記楽曲情報もＭＩＤＩ
データであるとしたが、これに限られることはなく、オ
ーディオ信号を用いても良い。
【００５３】さらにまた、前記実施の形態においては、
シーケンス情報中に楽曲情報と画像進行情報とが別個に
格納されていたが、楽曲情報を楽曲イベントデータと
し、楽曲イベントデータと前記画像進行情報（画像イベ
ントデータ）とを時間順に配置した両者が混在した記録
形式としても良い。さらにまた、前記イベント情報内に
は、各画像情報の記録領域を指示するイベント指示デー
タが記録されているものとしたが（前記図３（ｃ））、
イベント情報内にテキスト情報と同様に、画像情報を直
接格納するようにしてもよい。上述した実施の形態の場
合には、シーケンス情報のデータ量を少なくすることが
できるが、この場合にはデータ量が多くなる。ただし、
イベント指示データで指示される画像データが格納され
ていないコンピュータなどにおいても、当該シーケンス
情報を再生することが可能となる。
【００５４】さらにまた、前記シナリオ情報を前記シー
ケンス情報内に記録するようにしてもよい。この場合に
は、シナリオ変更時に、旧シナリオと新シナリオとを対
応させることにより、新規画像進行情報を作成するため
の情報として役立たせることが可能となる。さらにま
た、前記シナリオ情報を楽曲情報に対応させるようにし
ても良い。例えば、楽曲毎に複数のシナリオ情報を持た
せるようにし、当該シナリオ情報内の設定情報を対応楽
曲に馴染むものとすれば、楽曲毎のより効果的な画像進
行情報を容易に作成することが可能となる。さらにま
た、前記設定情報にシーンの区切り位置情報を含ませる
ようにしてもよい。さらにまた、前記編集処理において
は、シナリオまたは楽曲の差替えを全体的に一括して実
行するようにしていたが、これに限られることは無く、
所定範囲についてのみ差替えを実行できるようにしても
よい。
【００５５】さらにまた、上述した実施の形態において
は、汎用のパーソナルコンピュータを用いるものとした
が、音源装置、自動演奏装置を内蔵した電子楽器、ある
いは、ＭＩＤＩや各種ネットワーク等の通信手段を用い
て接続された複数の装置により、上述した処理を実行さ
せるようにしたものであっても良い。
【００５６】
【発明の効果】以上説明したように、本発明のマルチメ
ディア情報編集および再生装置によれば、画像進行のシ
ーケンス情報を合楽曲の流れに沿った形式で作成し、記
録することが可能となり、ビデオクリップ風のデジタル
アルバムなどが容易に作成することができる。また、効
果的なエフェクトや流れを持った画像進行情報を容易に
作成することができる。さらに、簡単な編集作業で、現
在作成している画像の進行に関する情報を維持させなが
ら、当該画像進行の雰囲気や対応付けられている楽曲情
報を変更することができる。さらにまた、本発明のシー
ケンス情報を記録した記録媒体によれば、楽音信号の再
生に対応して画像情報を再生させることが可能となる。
【図面の簡単な説明】
【図１】 本発明のマルチメディア情報編集および再生
装置のハードウエア構成の一例を示すブロック図であ
る。
【図２】 ＲＡＭ３中に記憶される各種データを説明す
るための図である。
【図３】 本発明のシーケンス情報を説明するための図
である。
【図４】 本発明のマルチメディア情報編集および再生
装置の初期画面の一例を示す図である。
【図５】 本発明のマルチメディア情報編集および再生
装置における動作時の画面の一例を示す図である。
【図６】 本発明のマルチメディア情報編集および再生
装置におけるメイン処理を説明するためのフローチャー
トである。
【図７】 マルチメディア情報の編集処理を説明するた
めのフローチャートである。
【図８】 本発明のマルチメディア情報編集および再生
装置におけるマルチメディア情報の再生処理を説明する
ためのフローチャートである。
【符号の説明】
１ ＣＰＵ、２ ＲＯＭ、３ ＲＡＭ、４ タイマ、５
キーボード、６，８検出回路、７ ポインティングデ
バイス、９ ディスプレイ装置、１０ 表示回路、１１
外部記憶装置、１２ 入出力インターフェース、１３
ＭＩＤＩ機器、１４ 音源装置、１５ サウンドシス
テム、１６ 通信インターフェース、１７ 通信ネット
ワーク、１８ バス、２１ シーケンス情報表示領域、
２２楽曲選択用メニューボタン、２３ シーケンス選択
用メニューボタン、２４ シナリオ選択用メニューボタ
ン、２５ 画像表示領域、２６ イベント領域、２７〜
３０ 制御用ボタン
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.6 識別記号 ＦＩ Ｇ０６Ｆ 17/30 Ｇ０６Ｆ 15/40 ３７０Ｇ

Claims (5)

    【特許請求の範囲】
  1. 【請求項１】 演奏すべき楽曲に対応する楽曲情報と、
    その楽曲の進行に対応して再生される画像に関するイベ
    ントを規定する画像進行情報と、前記画像進行情報によ
    り規定されるイベントに対応するイベント情報とを有す
    るシーケンス情報を作成編集することのできるマルチメ
    ディア情報の編集装置であって、 所定の画像進行設定情報を記録したシナリオ情報を有
    し、 当該楽曲データに、前記シナリオ情報を選択して割り当
    てることにより、 各シーンに対応するエフェクトおよび改シーン情報等を
    一括して割り当てることができるようになされているこ
    とを特徴とするマルチメディア情報編集装置。
  2. 【請求項２】 前記楽曲情報を差し換えることができる
    ようになされていることを特徴とする前記請求項１記載
    のマルチメディア情報編集装置。
  3. 【請求項３】 演奏すべき楽曲に対応する楽曲情報と、
    その楽曲の進行に対応して再生される画像に関するイベ
    ントを規定する画像進行情報と、前記画像進行情報によ
    り規定されたイベントに対応するイベント情報とを有す
    るシーケンス情報に基づいて、前記楽曲の演奏ととも
    に、該楽曲の進行に対応して画像情報を再生するマルチ
    メディア情報再生装置であって、 前記楽曲の演奏処理を実行する第１の手段と、 前記画像進行情報および前記イベント情報に基づいて画
    像情報を生成する第２の手段と、 前記第２の手段により生成された画像情報を表示する第
    ３の手段とを有することを特徴とするマルチメディア情
    報再生装置。
  4. 【請求項４】 コンピュータに、演奏すべき楽曲に対応
    する楽曲情報と、その楽曲の進行に対応して再生される
    画像に関するイベントを規定する画像進行情報と、前記
    画像進行情報により規定されるイベントに対応するイベ
    ント情報とを有するシーケンス情報に基づいて、前記楽
    曲の演奏とともに、該楽曲の進行に対応して画像情報を
    再生させるためのプログラムを記録した記録媒体であっ
    て、 前記プログラムは、前記コンピュータに、 前記楽曲の演奏処理を実行させる第１の機能と、 前記画像進行情報および前記イベント情報に基づいて画
    像情報を生成させる第２の機能と、 前記第２の機能により生成された画像情報を表示させる
    第３の機能とを実行させるものであることを特徴とする
    マルチメディア情報再生プログラムを記録した記録媒
    体。
  5. 【請求項５】 楽曲の演奏とともに、該楽曲の進行に対
    応して画像情報を再生させるためのシーケンス情報を記
    録した記録媒体であって、 前記シーケンス情報は、演奏すべき楽曲に対応する楽曲
    情報と、その楽曲の進行に対応して再生される画像に関
    するイベントを規定する画像進行情報と、該画像進行情
    報により規定されるイベントに対応するイベント情報と
    を有し、 前記画像進行情報は、前記画像に関するイベントの発生
    するタイミングを指定するイベントタイミングデータと
    前記イベント情報中に含まれている当該イベントに対応
    するデータを指定するためのイベント関連情報とが前記
    タイミング順に配列された情報であり、 前記イベント情報は、前記各イベントに用いられるデー
    タあるいは前記各イベントに用いられるデータを指定す
    るデータとされていることを特徴とするシーケンス情報
    を記録した記録媒体。
JP14692298A 1998-05-28 1998-05-28 マルチメディア情報編集および再生装置、マルチメディア情報再生プログラムを記録した記録媒体ならびにシーケンス情報を記録した記録媒体 Pending JPH11341350A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP14692298A JPH11341350A (ja) 1998-05-28 1998-05-28 マルチメディア情報編集および再生装置、マルチメディア情報再生プログラムを記録した記録媒体ならびにシーケンス情報を記録した記録媒体
US09/316,807 US6078005A (en) 1998-05-28 1999-05-21 Apparatus for editing and reproducing visual events along musical events

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP14692298A JPH11341350A (ja) 1998-05-28 1998-05-28 マルチメディア情報編集および再生装置、マルチメディア情報再生プログラムを記録した記録媒体ならびにシーケンス情報を記録した記録媒体

Publications (1)

Publication Number Publication Date
JPH11341350A true JPH11341350A (ja) 1999-12-10

Family

ID=15418613

Family Applications (1)

Application Number Title Priority Date Filing Date
JP14692298A Pending JPH11341350A (ja) 1998-05-28 1998-05-28 マルチメディア情報編集および再生装置、マルチメディア情報再生プログラムを記録した記録媒体ならびにシーケンス情報を記録した記録媒体

Country Status (2)

Country Link
US (1) US6078005A (ja)
JP (1) JPH11341350A (ja)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002015043A1 (fr) * 2000-08-17 2002-02-21 E Media Ltd. Procede de preparation d'une publication, publication electronique utilisant le procede, procede d'affichage afferent et systeme de reseau
JP2003099035A (ja) * 2001-09-20 2003-04-04 Yamaha Corp 自動演奏装置、情報配信サーバ装置、及びそれらに用いるプログラム
JP2006317792A (ja) * 2005-05-13 2006-11-24 Yamaha Corp コンテンツ配信サーバ、方法及びプログラム
JP2007086572A (ja) * 2005-09-26 2007-04-05 Yamaha Corp 画像表示装置及びプログラム
JP2007202025A (ja) * 2006-01-30 2007-08-09 Olympus Imaging Corp 音楽画像送信装置、カメラ、送信制御方法
JP2007219054A (ja) * 2006-02-15 2007-08-30 Yamaha Corp オーディオ再生装置及びファイルフォーマット
JP2007221498A (ja) * 2006-02-17 2007-08-30 Olympus Imaging Corp カメラ、音楽画像装置、音楽画像再生方法、プログラム
US7371956B2 (en) 2003-01-14 2008-05-13 Yamaha Corporation Musical content utilizing apparatus
WO2008069037A1 (ja) * 2006-12-01 2008-06-12 Megachips Corporation コンテンツベースおよびコミュニケーションシステム
JP2008209586A (ja) * 2007-02-26 2008-09-11 Yamaha Corp 自動演奏装置、再生システム、配信システム及びプログラム
JP2009104638A (ja) * 2009-01-23 2009-05-14 Sony Corp 情報提供方法及び情報提供装置、並びに、情報提示方法及び情報提示装置
US7797620B2 (en) 2000-01-26 2010-09-14 Sony Corporation Information processing apparatus and processing method, and program storage medium
US8244104B2 (en) 2002-06-25 2012-08-14 Sony Corporation System for creating content using content project data
US10607384B2 (en) 2016-09-29 2020-03-31 Fujifilm Corporation Page image display control system, page image display control method, and program therefor

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5973734A (en) 1997-07-09 1999-10-26 Flashpoint Technology, Inc. Method and apparatus for correcting aspect ratio in a camera graphical user interface
US6317141B1 (en) 1998-12-31 2001-11-13 Flashpoint Technology, Inc. Method and apparatus for editing heterogeneous media objects in a digital imaging device
DE69938904D1 (de) 1999-12-16 2008-07-24 Muvee Technologies Pte Ltd System und verfahren zur videoproduktion
EP1119178B1 (en) 1999-12-28 2010-04-14 Sony Corporation Image commercial transactions system and method
US6917373B2 (en) * 2000-12-28 2005-07-12 Microsoft Corporation Context sensitive labels for an electronic device
US7103839B1 (en) * 2000-10-03 2006-09-05 Adobe Systems Incorporated Tracking the validity of cache frames in digital movie editing
JP3926090B2 (ja) * 2000-10-04 2007-06-06 日本電気株式会社 移動通信端末装置及びそれに用いるメロディ同期表示制御方法
JP4438217B2 (ja) * 2000-11-10 2010-03-24 ソニー株式会社 番組付加データ作成装置、映像番組編集装置及び番組付加データの作成画面表示方法
WO2003015090A1 (en) * 2001-08-07 2003-02-20 Kent Justin A System for converting turntable motion to midi data
JP3929741B2 (ja) * 2001-10-16 2007-06-13 富士フイルム株式会社 画像情報記録媒体、画像情報処理装置及び画像情報処理プログラム
US8285111B2 (en) * 2002-04-19 2012-10-09 Tivo Inc. Method and apparatus for creating an enhanced photo digital video disc
US8000584B1 (en) 2002-04-26 2011-08-16 Tivo Inc. Approach for storing digital content onto digital versatile discs (DVDs)
US7434165B2 (en) * 2002-12-12 2008-10-07 Lawrence Charles Kleinman Programmed apparatus and system of dynamic display of presentation files
JP3843947B2 (ja) * 2003-01-14 2006-11-08 ヤマハ株式会社 音楽コンテンツ利用装置および同装置に適用されるコンピュータプログラム
JP4000468B2 (ja) * 2003-01-14 2007-10-31 ヤマハ株式会社 音楽コンテンツ利用装置および同装置に適用されるコンピュータプログラム
DE10304098B4 (de) * 2003-01-31 2006-08-31 Miclip S.A. Verfahren und Vorrichtung zur Steuerung eines Tonfolge gekoppelten Bildfolgeablaufs sowie zugehöriges Programm
US20040264917A1 (en) * 2003-06-25 2004-12-30 M/X Entertainment, Inc. Audio waveform cueing for enhanced visualizations during audio playback
US7202408B2 (en) * 2004-04-22 2007-04-10 James Calvin Fallgatter Methods and electronic systems for fingering assignments
TW200604922A (en) * 2004-07-23 2006-02-01 Hon Hai Prec Ind Co Ltd Apparatus and method for controlling sounds and images
JP4257607B2 (ja) * 2004-09-14 2009-04-22 ソニー株式会社 情報処理装置および方法、並びにプログラム
CN1949212A (zh) * 2005-10-13 2007-04-18 鸿富锦精密工业（深圳）有限公司 多媒体播放装置及方法
US8805164B2 (en) * 2006-05-24 2014-08-12 Capshore, Llc Method and apparatus for creating a custom track
US8831408B2 (en) 2006-05-24 2014-09-09 Capshore, Llc Method and apparatus for creating a custom track
US9224145B1 (en) 2006-08-30 2015-12-29 Qurio Holdings, Inc. Venue based digital rights using capture device with digital watermarking capability
JP5861467B2 (ja) * 2012-01-23 2016-02-16 ヤマハ株式会社 音響信号処理システム
WO2018068316A1 (en) 2016-10-14 2018-04-19 Sunland Information Technology Co. , Ltd. Methods and systems for synchronizing midi file with external information
US11322184B1 (en) * 2021-12-16 2022-05-03 William Craig Kenney System and method for synchronizing media files with audio track

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06243023A (ja) * 1993-02-12 1994-09-02 Nec Corp シナリオ編集装置
JPH06351034A (ja) * 1993-06-14 1994-12-22 Hitachi Ltd マルチ画面編集装置及びマルチ画面表示装置
JPH0876728A (ja) * 1994-09-01 1996-03-22 Hitachi Ltd シナリオ表示操作方法および画像情報表示装置
JPH08115311A (ja) * 1994-10-18 1996-05-07 Toshiba Corp オーサリングシステム
JPH08305720A (ja) * 1995-05-01 1996-11-22 Nippon Telegr & Teleph Corp <Ntt> マルチメディアデータ管理方法及び装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0561491A (ja) * 1991-09-02 1993-03-12 Sanyo Electric Co Ltd カラオケ装置及びその記録媒体
JP3206619B2 (ja) * 1993-04-23 2001-09-10 ヤマハ株式会社 カラオケ装置
JP3671433B2 (ja) * 1994-04-18 2005-07-13 ヤマハ株式会社 カラオケ演奏装置
JP3564753B2 (ja) * 1994-09-05 2004-09-15 ヤマハ株式会社 歌唱用伴奏装置
JP3381510B2 (ja) * 1996-03-27 2003-03-04 ヤマハ株式会社 カラオケ装置
CA2214161C (en) * 1996-08-30 2001-05-29 Daiichi Kosho, Co., Ltd. Karaoke playback apparatus utilizing digital multi-channel broadcasting
JPH10268887A (ja) * 1997-03-28 1998-10-09 Yamaha Corp カラオケ装置
US5898119A (en) * 1997-06-02 1999-04-27 Mitac, Inc. Method and apparatus for generating musical accompaniment signals, and method and device for generating a video output in a musical accompaniment apparatus

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06243023A (ja) * 1993-02-12 1994-09-02 Nec Corp シナリオ編集装置
JPH06351034A (ja) * 1993-06-14 1994-12-22 Hitachi Ltd マルチ画面編集装置及びマルチ画面表示装置
JPH0876728A (ja) * 1994-09-01 1996-03-22 Hitachi Ltd シナリオ表示操作方法および画像情報表示装置
JPH08115311A (ja) * 1994-10-18 1996-05-07 Toshiba Corp オーサリングシステム
JPH08305720A (ja) * 1995-05-01 1996-11-22 Nippon Telegr & Teleph Corp <Ntt> マルチメディアデータ管理方法及び装置

Cited By (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7797620B2 (en) 2000-01-26 2010-09-14 Sony Corporation Information processing apparatus and processing method, and program storage medium
JP2011204245A (ja) * 2000-08-17 2011-10-13 E Media Ltd 電子化出版物の表示方法
KR100853349B1 (ko) * 2000-08-17 2008-08-21 가부시키가이샤 이 미디어 출판물 작성방법, 그 방법에 의한 전자화 출판물 및 그표시방법 및 네트워크 시스템
JP4820526B2 (ja) * 2000-08-17 2011-11-24 株式会社イーメディア 出版物作成方法、その方法による電子化出版物及びその表示方法並びにネットワークシステム
WO2002015043A1 (fr) * 2000-08-17 2002-02-21 E Media Ltd. Procede de preparation d'une publication, publication electronique utilisant le procede, procede d'affichage afferent et systeme de reseau
JP2003099035A (ja) * 2001-09-20 2003-04-04 Yamaha Corp 自動演奏装置、情報配信サーバ装置、及びそれらに用いるプログラム
US8244104B2 (en) 2002-06-25 2012-08-14 Sony Corporation System for creating content using content project data
US7985910B2 (en) 2003-01-14 2011-07-26 Yamaha Corporation Musical content utilizing apparatus
US7371956B2 (en) 2003-01-14 2008-05-13 Yamaha Corporation Musical content utilizing apparatus
US7576279B2 (en) 2003-01-14 2009-08-18 Yamaha Corporation Musical content utilizing apparatus
US7589270B2 (en) 2003-01-14 2009-09-15 Yamaha Corporation Musical content utilizing apparatus
JP4513644B2 (ja) * 2005-05-13 2010-07-28 ヤマハ株式会社 コンテンツ配信サーバ
JP2006317792A (ja) * 2005-05-13 2006-11-24 Yamaha Corp コンテンツ配信サーバ、方法及びプログラム
JP2007086572A (ja) * 2005-09-26 2007-04-05 Yamaha Corp 画像表示装置及びプログラム
JP4534926B2 (ja) * 2005-09-26 2010-09-01 ヤマハ株式会社 画像表示装置及びプログラム
JP2007202025A (ja) * 2006-01-30 2007-08-09 Olympus Imaging Corp 音楽画像送信装置、カメラ、送信制御方法
JP2007219054A (ja) * 2006-02-15 2007-08-30 Yamaha Corp オーディオ再生装置及びファイルフォーマット
JP4595828B2 (ja) * 2006-02-15 2010-12-08 ヤマハ株式会社 オーディオ再生装置
JP2007221498A (ja) * 2006-02-17 2007-08-30 Olympus Imaging Corp カメラ、音楽画像装置、音楽画像再生方法、プログラム
JP4646822B2 (ja) * 2006-02-17 2011-03-09 オリンパスイメージング株式会社 カメラ及び音楽画像装置
JP2008139560A (ja) * 2006-12-01 2008-06-19 Mega Chips Corp コンテンツベース、コミュニケーションシステム
WO2008069037A1 (ja) * 2006-12-01 2008-06-12 Megachips Corporation コンテンツベースおよびコミュニケーションシステム
JP2008209586A (ja) * 2007-02-26 2008-09-11 Yamaha Corp 自動演奏装置、再生システム、配信システム及びプログラム
JP2009104638A (ja) * 2009-01-23 2009-05-14 Sony Corp 情報提供方法及び情報提供装置、並びに、情報提示方法及び情報提示装置
US10607384B2 (en) 2016-09-29 2020-03-31 Fujifilm Corporation Page image display control system, page image display control method, and program therefor
US11080913B2 (en) 2016-09-29 2021-08-03 Fujifilm Corporation Page image display control system, page image display control method, and program therefor

Also Published As

Publication number Publication date
US6078005A (en) 2000-06-20

Similar Documents

Publication Publication Date Title
JPH11341350A (ja) マルチメディア情報編集および再生装置、マルチメディア情報再生プログラムを記録した記録媒体ならびにシーケンス情報を記録した記録媒体
US8086335B2 (en) Playback apparatus, playback method, and recording medium
JP3569191B2 (ja) オーディオ情報の記録、編集、再生方法及び情報記憶媒体
US5621538A (en) Method for synchronizing computerized audio output with visual output
JP5110706B2 (ja) 絵本画像再生装置、絵本画像再生方法、絵本画像再生プログラム及び記録媒体
JP2895064B2 (ja) 静止画ファイル方法、静止画再生装置および静止画ファイル記憶媒体システムならびに静止画ファイル装置
JP7226709B2 (ja) 映像制御システム、及び映像制御方法
JP5044503B2 (ja) 演出画像再生装置、演出画像再生方法、演出画像再生プログラム及び記録媒体
JP2003037806A (ja) ノンリニア編集方法、ノンリニア編集装置、プログラム及びそのプログラムを格納した記録媒体
JP3846425B2 (ja) 演奏情報再生装置及びプログラム
JP4401740B2 (ja) 編集装置
JP2736070B2 (ja) 静止画ファイル編集装置
JP2005167822A (ja) 情報再生装置及び情報再生方法
JP4136606B2 (ja) 音楽再生装置、プログラム及び記録媒体
JP3558051B2 (ja) 動画編集再生プログラム、動画編集再生プログラムを記録したコンピュータ読み取り可能な記録媒体、動画編集再生装置および方法
JP5095489B2 (ja) 演出画像作成装置、演出画像作成方法、演出画像作成プログラム及び記録媒体
JP2000083194A (ja) 映像デ―タ編集方法
JP3491981B2 (ja) マルチメディア・プレゼンテーション方法およびシステム，ならびにマルチメディア・データ作成方法およびシステム
WO2024093798A1 (zh) 音乐创作方法、装置、电子设备及可读存储介质
JP4068915B2 (ja) 映像データ編集装置及び編集方法
JP3794299B2 (ja) 演奏情報編集装置及び演奏情報編集プログラム
JP2003141859A (ja) 画像音声再生システム、プログラム、及び記録媒体
JP2005020202A (ja) 再生装置、再生方法、その記録媒体およびプログラム
Eagle Vegas Pro 9 Editing Workshop
JP3569244B2 (ja) オーディオ情報の記録、編集、再生方法及び情報記憶媒体

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040629

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20041102